DE3626208A1 - Verfahren und geraet zur schnellen bestimmung der entfernung aus der kantenverschiebung von 2 oder mehr videobildern - Google Patents

Description

Die Erfindung betrifft ein Verfahren und ein Gerät zur schnellen Entfernungsbestimmung aus der Kantenverschiebung von Videobildern, wel­ ches bei mäßigem apparativem Aufwand geeignet ist, die Entfernungen der Kanten in Bildern mit mehreren 100 Bildpunkten Höhe und Breite von on-line, das heißt bei jedem Bildwechsel, durchzuführen. Sie kann in der Indu­ strieautomation und bei selbstfahrenden Robotern auf vielfältige Weise eingesetzt werden.

Die Erfindung verwendet ein Auswerteverfahren, bei welchem die Kanten, das heißt Sprünge der Bildhelligkeit, auf Bruchteile eines Bild­ punktes genau bestimmt und durch mindestens je ein Merkmal links und rechts der Kante gekennzeichnet werden. Ein solches Merkmal kann zum Beispiel die Helligkeit je eines oder mehrerer Bildpunkte links und rechts der Kante oder/und ihre Farbe sein.

Solche Verfahren sind zur Auswertung von Luftbildaufnahmen bekannt (H. H. Baker: Depth from Egde and Intensity Based Stereo, Stanford University, Stanford, CA 94 305, Report No. STAN-CS-82-930 (1982)). Sie sind jedoch sehr zeitaufwendig, da Kanten und Merkmale zuerst nach 3 verschiedenen Methoden auf einer Bildlinie bestimmt werden und zur Zu­ ordnung der Kanten noch der Verlauf der Kanten in den darüberliegenden Bildteilen berücksichtigt wird. Eine on-line Auswertung wäre daher nur möglich, wenn die Bilder in viele Bildteile zerlegt und diese gleichzei­ tig mit sehr vielen schnellen Parallelprozessoren ausgewertet würden.

Dieser hohe Rechneraufwand ist für Anwendungen in der Automatisierungs- und Robotertechnik viel zu teuer.

Erfindungsgemäß wird daher, entsprechend Anspruch 1, ein Verfahren zur schnellen Bestimmung von Entfernungen aus der Verschiebung der Kan­ tenlage in 2 oder mehr digitalisierten Helligkeitsbildern längs je einer Bildlinie mit den digitalen Helligkeitswerten H (1), H (2), . . H(x), . . H(n) mittels elektronischer Schaltungen vorgeschlagen, bei dem die Kantenlage K auf Bruchteile eines Bildpunktes x genau bestimmt wird, und zur Kenn­ zeichnung jeder Kante mindestens je 1 Merkmal ML und MR der Bildteile links und rechts der Kante verwendet wird, dadurch gekennzeichnet, daß die genaue Kantenlage K und die Kantenmerkmale ML und MR mit einer geeigneten elektronischen Schaltung weitgehend wortseriell, das heißt nach dem pipe-line-Verfahren, im Takt der Eingabe der Helligkeitswerte H(x) erfolgt, und daß die genaue Kantenlage K sowie die Kantenmerkmale ML und MR wenigstens eines Bildes zwischengespeichert werden, und Kanten zweier Bilder nur dann als zugeordnet betrachtet und zur Abstandsbestim­ mung aus der Differenz der Kantenlagen verwendet werden, wenn wenigstens die Kantenmerkmale einer Seite ML oder MR um wenigstens als den Betrag ei­ ner vorgegebenen Merkmaldifferenz DM voneinander abweichen.

Als Bildlinie wird man in vielen Fällen die Zeile eines Videobildes verwenden. Wenn man die Videobilder zwischenspeichert, können als Bild­ linien auch Spalten der Videobilder verwendet werden. Dies ist insbesondere dann vorteilhaft, wenn man die Entfernungen sowohl von waagrechten als auch von senkrechten Kanten bestimmen will, weil man dann nur 3 Kameras (Mitte, Rechts, Oben) benötigt. Für dynamische Entfernungsbestimmung bei fahrenden Kameras kann man interpolierte Bild­ linien H(x) verwenden, welche vom Fluchtpunkt ausgehen, und statt der Stereobilder zeitlich aufeinanderfolgende Videobilder einer Kamera nach den erfindungsgemäßen Verfahren auswerten.

Bei vielen technischen Videokameras ist die Abtastdauer eines Bildpunk­ tes kleiner als die durch optische Unschärfe und Bandbegrenzung des Ver­ stärkers verursachte Anstiegszeit einer ideal scharfen Kante. Um für die Auswertung trotzdem scharfe Kanten zu erhalten, ist es dann vorteilhaft, wenn man nach Anspruch 2, vor der Anwendung der obengenannten Verfahren, je 2 oder mehr benachbarte Bildpunkte zu einem neuen, komprimierten Bildpunkt zusammenfaßt. Dies bringt auch Vorteile, wenn die verwendeten Analog-Digitalwandler nicht, wie für die Feinkanten­ auswertung vorausgesetzt wird, ideal integrieren, und verringert außer­ dem das Rauschen eines Bildpunktes und verlängert die zur Auswertung verfügbare Taktzeit.

Zum erfolgreichen Einsatz des vorgeschlagenen Verfahrens müssen noch eine Reihe weiterer Bedingungen erfüllt sein, die in den folgenden Unteransprüchen beansprucht werden. Jede der vorgeschlagenen Maßnahmen erhöht die Sicherheit der Kantenzuordnung beträchtlich. Wenn alle, oder die meisten der Unteransprüche verwendet werden, lassen sich bessere Er­ gebnisse als mit den bekannten, sehr rechenzeitintensiven, Verfahren erhalten.

Die wichtigste Verbesserung der Kantenzuordnung erhält man nach An­ spruch 3 dadurch, daß diese Kantenmerkmale ML und MR entsprechend der genauen Kantenlage K verschoben und durch Interpolation aus den gemes­ senen Werten, zum Beispiel den Helligkeitswerten H(x) links beziehungs­ weise rechts der Kante, bestimmt werden. Dies ist bei den bis jetzt be­ kannten Verfahren noch nicht verwendet worden.

Dieses Verschieben der Merkmale entsprechend der genannten Kantenlage ist so wirksam, daß man überraschenderweise bei fast allen Bildinhalten die besten Ergebnisse erhält, wenn man, entsprechend Anspruch 4, als Merkmale die interpolierten Mittelwerte der Helligkeiten in einem Bereich K + 1 . . . K + 1 + BM, beziehungsweise K - 1 - BM . . . K - 1, vorzugsweise mit BM = 1, verwendet, welche also effektiv nur 1 Bildpunkt breit sind.

Die meisten Kanten in realen Bildern haben, wie die analoge Hel­ ligkeitskurve 1 in Fig. 1 zeigt, den Charakter von schiefen Treppen mit einer Sprunghöhe T, welche größer ist als der konstante Helligkeits­ anstieg über einige Bildpunkte. Nach einer ideal integrierenden Analog- Digitalwandlung erhält man daraus einen Spannungsverlauf H(x) nach Kur­ ve 2. Die Mitte der Kante liegt bei K und ist um den Bruchteil A eines Bildpunktes von dem Ende v des letzten Bildpunktes vor der Kante entfernt. Da in realen Bildern zwischen den Kanten oft nur 2 bis 3 Bild­ punkte einen einigermaßen gleichmäßigen Helligkeitsverlauf haben, ist es vorteilhaft, wenn die genaue Kantenlage K und die Kantenmerkmale ML und MR (siehe Anspruch 4) aus möglichst wenig Bildpunkten nahe der Kante ge­ wonnen werden.

Das in Anspruch 5 vorgeschlagene Verfahren benötigt dazu nur 5 Bildpunkte, welche symmetrisch zum Kantenbildpunkt v + 1 liegen, und ist, wie Fig. 3 zeigt, einfach on-line durchzuführen. Nach Anspruch 5 wird zuerst die Auswertefunktion Z(x) = H(x - 1) -H(x) -H(x + 1) +H(x + 2) gebildet, welche als Kurve 3 in Fig. 1 aufgetragen ist. Die Lage v des Bildpunktes vor der Kante wird dadurch bestimmt, daß zwischen x = v und x = v + 1 ein Nulldurchgang von Z(x) erfolgt.

Für eine eindeutige und fehlerfreie Kantenerkennung müssen außerdem alle in Anspruch 5 angegebenen 3 Nebenbedingungen erfüllt sein. Die erste, daß der Betrag von Z(v) - Z(v + 1) = T 1 sein soll, verhindert un­ echte Kanten, welche durch das Kamerarauschen vorgetäuscht werden, wenn man den Schwellwert T 1 höher als das 4fache der mittleren Rausch­ spannung eines (komprimierten) Bildpunktes legt. Die Schemata 4 und 5 zeigen, wie diese Werte der Auswertefunktion H(x) aus den Hel­ ligkeitswerten gewonnen werden, und daß sie symmetrisch zum Kantenbild­ punkt v + 1 liegen. Das Rauschen wird weiter verringert durch die Nebenbedingung 2, daß der Betrag der Differenz H(v + 3) -H(v - 1) = T 2 sein soll, wobei T 2 vorzugsweise so gewählt wird, daß T 1/3 < T 2 < = T 1 ist.

Die 3. Nebenbedingung, daß diese Differenz und Z(v) dasselbe Vor­ zeichen besitzen sollen, ist bis jetzt, auch in modifizierter Form, nir­ gendwo verwendet worden. Sie ist aber sehr wichtig, da sie bei Kanten mit großem Sprung T << T 1 die Ausbildung von Satellitenkanten infolge Schwankungen der Bildhelligkeit verhindern. Wie Fig. 1, Kurve 3 zeigt, können sonst dadurch zwischen v - 3 und v - 2, sowie zwischen v + 2 und v + 3, Nulldurchgänge von Z(x) entstehen, welche bei hohem T der echten Kante durch die übrigen Nebenbedingungen nicht ausgeschaltet werden. Satelli­ ten könnten noch besser unterdrückt werden, wenn man den Abstand der beiden Bildpunkte vergrößert, also H(v + 4) -H(v - 2) als Differenz wählen würde. Der vergrößerte Auswertebereich bringt jedoch, wie oben erwähnt wurde, auch Nachteile bei eng benachbarten Kanten, so daß die vorzugsweise vorgeschlagenen Werte einen brauchbaren Kompromiß darstellen.

Die Bestimmung der genauen Kantenlage K erfolgt dann, ähnlich wie bei bekannten Verfahren (Baker, siehe oben), nach der Beziehung

K = v + Z(v)/(Z(v) - Z(v) + 1)).

Fig. 1 zeigt außerdem die Lage der Kantenmerkmale ML und MR als schraffierte Rechtecke 6 und 7 .

Da man im allgemeinen die gemessenen Entfernungen in das nicht zwi­ schengezeichnete Hauptbild der Videokamera VA (siehe Fig. 2) einträgt, ist es vorteilhaft, nach Anspruch 6 die Schwellwerte T 1 und T 2 für dieses Bild höher als für die Bilder mit zwischengespeicherten Kanten zu wählen, weil dann im nicht zwischengespeicherten Hauptbild weniger Kan­ tenausfälle auftreten.

Die Zahl der nicht zuordnungsfähigen Mehrfachkanten, deren Kanten­ merkmale ML und MR innerhalb der zulässigen Merkmaldifferenz DM liegen, läßt sich sehr stark verringern, wenn man während der Auswertung einer Kante des Hauptbildes die Merkmalsdifferenz DM entsprechend An­ spruch 7 oder Anspruch 8 sukzessiv verändert. Im allgemeinen ist die Verwendung von 3 oder 4 verschiedenen Werten von DM ausreichend.

Ein großer Teil der Kanten sind Innenkanten von Flächen, welche von allen Kameras gesehen werden können und daher in allen Videobildern die­ selben Kantenmerkmale ML und MR besitzen. Diese können wesentlich siche­ rer zugeordnet werden als Außenkanten, bei denen nur eine Merkmalsart, ML oder MR, allen Videobildern gemeinsam ist. Man erhält daher eine be­ trächtliche Verbesserung der Kantenzuordnung, wenn man nach Anspruch 9 zuerst nach Innenkanten sucht.

Im allgemeinen wird man zwischengespeicherte Kanten löschen und die Speicher neu belegen, wenn sie entweder eindeutig zugeordnet oder länger als die Taktzahl DXmax der maximal zulässigen Kantenverschiebung (entspricht der kürzesten meßbaren Entfernung) gespeichert waren.

Die optimale Auswertung von 2 Videobildern erhält man nach dem Verfahren des Anspruchs 10, welches aber einer etwas höheren Schaltungs­ aufwand als die bis jetzt beschriebenen Verfahren erfordert. Man benötigt eine zusätzliche Abstandseinheit ABZ, deren Bilddaten K, ML und MR gegenüber denen er normalen Abstandseinheit AB (siehe Fig. 2) durch eine zusätzliche Verzögerungseinheit WAZ um mindestens DXmax Takte ver­ zögert wurden, sowie mehr und etwas kompliziertere Zwischenspeicher.

Zuerst wird mit Abstandseinheit AB nur nach Innenkanten ausgewertet und bei Zuordnung außer dem entsprechenden Zwischenspeicher auch die entsprechenden, in die in die zusätzliche Verzögerungseinheit WAZ einzulesenden, Daten als ausgewertet markiert. Wenn die Taktzahl DXmax der maximal zulässigen Kantenverschiebung erreicht ist, werden die noch nicht gelöschten Zwischenspeicher von SB durch geeignete Multiplexer auf die zusätzliche Auswerteeinheit ABZ umgeschaltet und damit getrennt für ML und MR, das heißt nach Außenkanten, ausgewertet. Bei Zuordnung, oder wenn die Taktzahl DXmax auch für die 2. Auswertung verstrichen ist, wer­ den die Zwischenspeicher gelöscht und können von der Ladeeinheit LB neu geladen werden.

Bei Videobildern mit durchschnittlichem Kontrast, welche mit norma­ len Industriekameras aufgenommen wurden, schwankt die zur Entfer­ nungsbestimmung verwendete Differenz der Kantenlagen zweier zugeordneter Kanten infolge des Kamerarauschens im Mittel um etwa ±σ = 0,2 (komprimierte) Bildpunkte; 10% bis 20% der Bildpunkte sind Kantenpunkte. Mit den in den Ansprüchen 1 bis 11 beschriebenen Verfahren läßt sich et­ wa bis zu einer maximalen Kantenverschiebung DXmax = 20 erreichen, daß weniger als 10% der zugeordneten Kantenverschiebungen mehr als den 3 fachen Streuwert σ vom Sollwert abweichen. Bei der minimalen Entfernung, welche der maximalen Kantenverschiebung DXmax = 20 entspricht, liegen also mehr als 90% der gemessenen Entfernungen im Bereich ±3% um den Sollwert; der Rest sind Ausreißer, also Kanten, wel­ che fehlzugeordnet sind.

Weil der Prozentsatz der fehlzugeordneten Kanten mit steigender ma­ ximaler Kantenverschiebung DXmax stark ansteigt, kann man die Meßgenau­ igkeit nicht dadurch steigern, daß man DXmax größer macht. Wenn man aber zusätzlich eine dritte, weiter entfernte, Videokamera VC verwendet und in deren Bild, welches die größte Kantenverschiebung besitzt, entsprechend Anspruch 11 nur nach Kanten suchen läßt, welche im Streubereich der, aus dem Bild der Videokamera VB mit kleinerer Kanten­ verschiebung bestimmten, Entfernungen liegen, läßt sich die relative Streuung der Entfernungsbestimmung im Verhältnis des Abstandes der Kameras (VB . . . VA)/(VC . . . VA) verringern. Gleichzeitig wird die Zahl der fehlzugeordneten Ausreißer stark reduziert. Es dürften sich damit 3σ- Streubereiche von unter 1% der Entfernung bei weniger als 3% Ausreißer erreichen lassen. Zur weiteren Erhöhung der Genauigkeit kann man die mit 3 Kameras bestimmten Werte als Vorgabewerte für das Bild einer 4., noch weiter entfernten, Videokamera verwenden.

Fig. 2 zeigt das Blockschaltbild eines Gerätes zur Entfernungs­ bestimmung nach Anspruch 12, bei welchem nahezu alle erfindungsgemäß vorgeschlagenen Verfahren realisiert werden. Die Zahlen in Fig. 2 geben an, aus wievielen Einzelleitungen die Leitungsbündel der gezeichneten Verbindungen bestehen, sind also nicht, wie z. B. in Fig. 1, Hinweis­ zeichen.

Das Gerät verwendet einen Taktgenerator TG, welcher ein Signal C 4 mit 28 MHz und einem Ein/Ausverhältnis 1 : 1, sowie ein davon abgeleite­ tes Signal C 1 mit 7 MHz und einem Ein/Ausverhältnis 1 : 3, ausgibt. Aus diesen erzeugt er analoge Synchronsignale SYNC nach der Fersehnorm, sowie das Zeilenrücklaufsignal Zr, dessen Ende den Beginn einer neuen Zeile signalisiert.

Ferner werden 3 Videokameras VA, VB und VC verwendet, welche von dem Signal SYNC gemeinsam synchronisiert werden. Der Mittenabstand der Videokamera VB von der Grundvideokamera VA sei so gewählt, daß beim mi­ nimal zulässigen Bildabstand die maximale Kantenverschiebung zwischen den beiden Kameras DXmax = 16 komprimierten Bildpunkten entspricht, wel­ che eine Bildpunktfrequenz 7 MHz besitzen. Der Mittenabstand der Vi­ deokamera VC von VA sei genau 4mal größer als derjenige von VB. Dies erleichtert die Auswertung, weil dann Multiplikationen und Divisionen durch Bitverschiebungen ersetzt werden können.

Wegen der verlangten hohen Übereinstimmung der Abmessungen verwen­ det man am besten Festkörpervideokameras. Diese müssen mechanisch sehr stabil miteinander verbunden sein und sehr genau so justiert werden, daß die 3 Kameras Objekte in sehr großer Entfernung deckungsgleich abbilden.

Die, gestrichelt gezeichneten, Ausgangssignale müssen in 3 Digitalisierungseinheiten DA, DB und DC digitalisiert werden. Dabei ist es vorteilhaft, die dazu notwendigen Digital-Analogwandler mit einer, aus C 4 und C 1 abgeleiteten, Abtastfrequenz von 14 MHz zu betreiben und, entsprechend Anspruch 2, je 2 Abtastwerte durch Addition zu einem komprimierten Bildpunkt zusammenzufassen.

Wenn die Lichtempfindlichkeit der 3 Kameras nicht sehr homogen ist und sich durch die üblichen globalen Ausgleichmaßnahmen nicht auf weniger als 1% gleich machen läßt, muß jeder komprimierte Bildpunkt einzeln korrigiert werden. Für eine Korrektur von Nullpunkt und Anstieg benötigt man dazu für jede Digitalisierungseinheit ein 128 k*16 bit-RAM und je einen 8 bit Nultiplizierer und Addierer. Das RAM muß zum Abgleich vom Steuerrechner, z. B. einem personal computer, gesetzt und gelesen werden können. Dieser muß es auch so umschalten können, daß es automatisch entweder seine Werte zur Korrektur in Addierer und Multiplizierer ausliest, oder die komprimierten Ausgangswerte des Digital- Analogwandlers einliest. Die Digitalisierungseinheiten geben je ein 8 bit breites, komprimiertes und korrigiertes, digitales Helligkeitssignal H(x) nach Anspruch 1 aus.

Für die gewählte Dimensionierung kommen bei der minimal zulässigen Entfernung die Kanten des Bildes der Videokamera VC um 4*DXmax = 64 Takte früher als die entsprechenden Kanten des Bildes der Grundvi­ doekamera VA an. Da, wegen der Verwendung des Verfahrens nach Anspruch 10, schon ein Wartespeicher WAZ mit DXmax = 16 Takten vorhanden sein muß, müssen die Ausgangswerte von DA mittels eines zusätzlichen (first in - first out) Wartespeicher WA um etwa 48 Takte verzögert werden. Für die Ausgangswerte von DB muß die Verzögerung durch den Wartespeicher WB um DXmax = 16 Takte kleiner sein. Man kann auch statt dessen die SYNC- Signale der entsprechenden Videokameras verzögern.

In den 3 Einheiten EA, EB und EC werden die Feinkantenentfernungen Ka, Kb und Kc sowie die zugehörigen Merkmale MRa, MRb, MRc bzw. MLa, Mlb und MLc nach den Ansprüchen 1 bis 6 wortseriell mit dem Takt C 1 bestimmt. Eine für die Feinkantenbestimmung besonders geeignete Schaltung zeigt Fig. 3, welche später eingehend besprochen wird. Die Ein­ heiten EA, EB und EC geben je für jeden Bildpunkt ein 31 bit breites Wort aus. Es besteht aus den 2, je 8 bit breiten Merkmalen MR und ML dem 14 bit breiten Wert K der Kantenlage, welche sich aus dem 10 bit breiten Vorkantenabstand v in Bildpunkten und dem 4 bit breiten Bruch­ teil A zusammensetzt (siehe Fig. 1), sowie einer 1 bit breiten Flagge Kg, die anzeigt, daß es sich um eine gültige Kante handelt. Um kleine Fehler in der mechanischen Justierung einfach beseitigen zu können, ist es vorteilhaft, vor der Ausgabe von K noch einen 14-bit Addierer vorzusehen, mit dem, entweder rechnergesteuert oder durch einen DIL- Schalter einstellbar, die K-Werte, zumindest für die Kameras VB und VC, korrigiert werden können.

Wenn DB Kg anzeigt, setzt die Ladeeinheit LB die 30 bit breiten Werte von Kb, MRb und MLb in einen freien der 8 Speicher der Zwischen­ speichereinheit SB. Jeder Speicher der frei wird, meldet dies auf einer eigenen Leitung. LB meldet dann zurück, welcher von diesen geladen werden soll.

Abb. 4 zeigt die Schaltung einer Ausführungsform einer der Speicher der Zwischenspeichereinheit. Sie wird später eingehend besprochen. Für die Anwendung im Zusammenhang mit Anspruch 10 ist es wichtig, daß jeder Speicher für die ersten DXmax = 16 Takte die Daten von KB erhält und nur nach Innenkanten auswertet. Bei eindeutiger Zuordnung wird er vorher gelöscht, sonst auf die Daten der Auswerteeinheit ABZ und auf getrennte Kantensuche für MR und ML umgeschaltet. Falls vorher keine Zuordnung gefunden wurde, wird der Speicher 2*DXmax = 32 Takte nach dem Laden gelöscht.

Wenn DA die Flagge Kg zeigt, übergibt die Auswerteeinheit AB dreimal, im schnellen Takt C 4, an die Speichereinheit SB vier 8-bit breite Werte ML + DM, ML - DM, MR + DM und MR - DM, wobei DM durch eine geeignete Logik jedesmal entsprechend Anspruch 7 oder Anspruch 8 verän­ dert wird. Wenn in SB nur eine zugeordnete Kante gefunden wird, gibt SB zu Beginn des nächsten Taktes T 1 deren Kantenlage Kb aus, sonst Kb = 0. AB bildet daraus die 8 bit breite Kantendifferenz DKb = Kb - Ka und gibt diese nach einem weiteren Takt C 1 zusammen mit Ka, MRa, MRb, Kg und ei­ ner Flagge Ig aus, welche anzeigt, daß die Kantendifferenz einer Innenkante erfolgreich bestimmt wurde.

Wie oben schon beschrieben, werden diese Daten in dem Wartespeicher WAZ für DXmax Takte C 1 zwischengespeichert, bevor sie in die nächste Aus­ werteeinheit ABZ kommen. Diese arbeitet wie die Auswerteeinheit AB mit dem Unterschied, daß SB nur geladen wird, wenn Kg wahr und Ig unwahr ist.

Für diejenigen Kanten im Bild der Grundvideokamera VA, für die eine Kantendifferenz DKb erfolgreich bestimmt wurde, erfolgt nun eine genau­ ere Auswertung gemäß Anspruch 11 mittels der Videokamera VC. Ihr Zwi­ schenspeicher SC ist grundsätzlich anders aufgebaut als der Zwischen­ speicher SB der Videokamera VB. Er besteht im Prinzip aus 2 Teilen. 4 RAMS mit 256*30 bit Speicherkapazität, welche so schnell sein müssen, daß sie in der Taktzeit C 1 = 143 ns einmal gelesen und einmal einge­ schrieben werden können, und 4 sehr schnelle Speicher für je 30 bit, welche eine ähnliche Auswertelogik mit Komparatoren besitzen, wie die in Fig. 4 beschriebenen 30-bit Speiche der Speichereinheit SB. Die Zähler und die Umschaltemöglichkeit von SB fallen jedoch weg, weil die 30 bit Speicher von SC bei Beginn jeden Taktes C 1 von den 4 Speichern mit 256*30 bit neu geladen und dann, wie bei SB, 3mal mit den von der Aus­ werteeinheit AC mit Takt C 4 gelieferten Werten MR + MD, MR - MD, ML + MD und ML - MD verglichen werden, wobei entsprechend Ig zwischen der Auswertung auf Innenkanten oder Außenkanten umgeschaltet werden kann.

Das Bereitstellen der Werte aus den 4 Speichern 256*30 bit erfolgt einen Takt C 1 vorher durch eine geeignete Logik so, daß diejenigen 4 Vorkantenwerte vc ausgelesen werden, welche dem, von der Auswerteeinheit AC gelieferten, voraussichtlichen Vorkantenwert vc ≈ va -DKb/4 am näch­ sten liegen. Dazu ist es vorteilhaft, daß AC auch den höchstwertigen Bruchteilsbit Aa an SC übergibt. Diese Art von Auslesen ist möglich, weil die Ladeeinheit LC diese Speicher entsprechend dem ihr vorliegenden Vorkantenwert vc so lädt, daß die 4 Speichereinheiten den beiden nie­ drigstwertigen bits von vc entsprechen. Diese Ladeart ist auf eine Kan­ tenunsicherheit von σ = 0,16 komprimierten Bildpunkten ausgelegt. Wenn σ größer ist, empfiehlt es sich, 8 Speicher mit 128*30 bit zu verwenden.

Die Auswerteeinheit AC ist prinzipiell wie AB aufgebaut, außer daß sie, wie schon erwähnt, einen Takt vorher die voraussichtliche Lage von vc ≈ va - DKb/4 ausgibt, wenn DKb richtig erkannt war. Falls diese Kante auch von SC eindeutig zugeordnet wurde, wird eine neue Kantendifferenz DKc = (Kc - Ka)/4 errechnet und an die Ausgabeeinheit ausgegeben, sonst als Zeichen der Nichterkennung, z. B. der Maximalwert 255.

Der Ausgabeeinheit werden auch noch die 8 bit breiten Werte der Helligkeit der Grundvideokamera aus WA zugeführt, damit nach entsprechender Verzögerung, z. B. auf einem Farbbildschirm das Hel­ ligkeitsbild in schwarz-weiß und die Kanten verschiedener Entfernungs­ bereiche, welche den Kehrwerten von DKc proportional sind, in Farbe dar­ gestellt werden können. Die Entfernungsbereiche und etwa statistisch auszuwertende Bildbereiche werden vorzugsweise durch einen kleinen Rech­ ner (personal computer) eingestellt. Für genauere Auswertungen mit dem Rechner kann man auch in der Ausgabeeinheit die Helligkeits- und Ab­ standsbilder zwischenspeichern.

Fig. 3 zeigt in einem schematischen Schaltbild, wie sich die Feinkantenauswertung wortseriell nach den Ansprüchen 1 bis 5 durchführen läßt. Als Beispiel dient die Einheit EA. Das aus dem Wartespeicher WA kommende, digitalisierte Helligkeitsbild WA wird zuerst einem 8 bit breiten Schieberegister 8 zugeführt, welches mit C 1 weitergeschaltet wird. Aus dessen verschobenen Helligkeitswerten H(x) wird mit den Ad­ dierern 9 und 10 und dem Subtrahierer 12, entsprechend Anspruch 5, die Auswertefunktion Z(x) gebildet. Um mit Recheneinheiten auszukommen, wel­ che nur 8 bit verarbeiten, kann man als Eingabewerte für 12 die Überträge und die 7 höchstwertigen bits von 9 und 10 verwenden, und für Z den Übertrag und die 7 höchstwertigen bits von 12.

Mit dem Komparator 11 und dem UND-ODER-Glied 13 lassen sich die Nebenbedingungen 2 und 3 von Anspruch 5 erfüllen. Der Schwellwert T 2 läßt sich in Stufen des Faktors 2 einstellen, wenn man als Eingabewerte von 11 nur die höchstwertigen bits verwendet.

Der Bruchteil A der Feinkantenlage K läßt sich am einfachsten nach Anspruch 14 dadurch bestimmen, daß man die Auswertefunktion Z(x) durch ein Verzögerungsglied 14 um einen Takt C 1 verzögert, und das verzögerte und unverzögerte Z(x) einem programmierbaren Speicher (PROM), hier mit 64 k*5 bit, zuführt, welcher den berechneten Bruchteil A sowie ein bit ausgibt, welches anzeigt, ob die Nebenbedingung 1 von Anspruch 5 er­ füllt ist. Dies ergibt, mit 13 durch das UND-Glied 17 verknüpft, das bit Kg, welches anzeigt, daß die Kante richtig bestimmt ist. Damit A und Kg während eines ganzen Taktes zur Verfügung stehen, müssen sie durch das 5 bit breite D-Kippglied 18 einen Takt C 1 zwischengespeichert werden. Die Vorkantenlage v in Bildpunkten wird mit dem Zähler 16 bestimmt.

Fig. 4 zeigt vereinfacht die Schaltung eines der 8 Zwischenspeicher der Speichereinheit SB nach Anspruch 15. Es ist dabei, im Gegensatz zu SB von Fig. 2, nur die Auswertung auf Innenkanten mit Auswerteeinheit AB gezeichnet, nicht jedoch die, für die spätere Auswertung nach Außenkan­ ten mit Auswerteeinheit SBZ, notwendige zusätzliche Umschaltlogik.

Der 30 bit breite Speicher 19 wird von der Ladeeinheit LB durch das Signal "Laden" mit Kb, MLb und MRb geladen. Während die beiden 8 bit breiten Werte MLb und MRb sofort nach dem Laden an den Ausgängen anliegen, werden die 14 Ausgänge von Kb erst dann aktiviert, wenn das Kippglied 20 gesetzt ist.

Die Komparatoren 21 bis 24 vergleichen MLb und MRb mit den von der Abstandseinheit AB kommenden Minimal- und Maximalwerten. Wenn alle ein­ gehalten werden, und der Speicher mit gültigen Werten "belegt" ist, gibt das UND-Glied 25 das Signal Mn aus, welches anzeigt, daß eine zu­ geordnete Innenkante gefunden wurde. Das NAND-Glied 26 prüft, ob die übrigen 7 Speicher auch eine zugeordnete Innenkante gefunden haben. Wenn dies nicht der Fall ist, setzt das UND-Glied 27 das Kippglied 20, so daß der Speicher 19 die Kantenadresse Kb an die Abstandseinheit AB ausgibt. Kippglied 20 und damit Kb wird mit dem nächsten Takt C 1 wieder gelöscht. Diese Methode setzt ein Verfahren nach Anspruch 7 voraus, bei dem die Merkmalsdifferenz DM sukzessiv verkleinert wird.

Wenn 27 eine eindeutig zugeordnete Kante meldet, oder der Zähler 28, welcher beim Laden zurückgesetzt wurde, anzeigt, daß seit dem Laden mehr als 16 Takte C 1 vergangen sind, setzt das Oderglied 29 das beim La­ den gesetzte Kippglied 30 zurück. Dadurch verschwindet das Signal "Belegt", so daß der Speicher vor der Ladeeinheit LB neu belegt werden kann.

Claims (15)

1. Verfahren zur schnellen Bestimmung von Entfernungen aus der Ver­ schiebung der Kantenlage in 2 oder mehr digitalisierten Helligkeits­ bildern längs je einer Bildlinie mit den digitalen Helligkeitswerten H (1), H (2), . . H(x), . . H(n) mittels elektronischer Schaltungen, bei dem die Kantenlage K auf Bruchteile eines Bildpunktes x genau bestimmt wird und zur Kennzeichnung jeder Kante mindestens je 1 Merkmal ML und MR der Bildteile links und rechts der Kante verwendet wird, dadurch kennzeichnt, daß die genaue Kantenlage K und die Kantenmerkmale ML und MR mit einer geeigneten elektronischen Schaltung weitgehend wortseriell, das heißt nach dem pipe-line-Verfahren, im Takt der Eingabe der Helligkeitswerte H(x) bestimmt werden, und daß die Werte von K sowie ML und MR wenigstens eines Bildes zwischengespeichert werden, und daß außerdem Kanten zweier Bilder nur dann als zugeordnet betrachtet und zur Abstandsbestimmung aus der Differenz der Kantenlagen verwendet werden, und daß wenn wenigstens die Kantenmerkmale einer Seite ML oder MR um weniger als den Betrag einer vorgegebenen Merkmalsdifferenz DM voneinander abweichen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß man, insbesondere bei unscharfen Bildern, von der Anwendung des obengenann­ ten Verfahrens je 2 oder mehr benachbarte Bildpunkte einer Bildlinie zu einem neuen komprimierten Bildpunkt zusammenfaßt. Wenn die Bilder ganz oder teilweise zwischengespeichert werden, können auch Bildpunkte benachbarter Bildlinien zwecks Verringerung des Rauschens zu einer neuen komprimierten Bildlinie zusammengefaßt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß diese Kantenmerkmale ML und MR entsprechend der genauen Kantenlage K verschoben und durch Interpolation aus den gemessenen Werten, zum Beispiel den Helligkeitswerten H(x) links beziehungsweise rechts der Kante, bestimmt werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß als Merkmale die interpolierten Mittelwerte der Helligkeiten in einem Bereich K + 1 . . . K + 1 + BM beziehungsweise K - 1 - BM . . K - 1, vorzugsweise BM = 1, ver­ wendet werden.

5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die (ganzzahlige) Lage x = v des Endes des Vorkan­ tenbildpunktes durch den Nulldurchgang der Auswertefunktion Z(x) = H(x -1 -H(x) -H(x + 1) +H(x + 2) derart bestimmt wird, daß Z(v) und Z(v + 1) entgegengesetztes Vorzeichen besitzen, und als Nebenbedingungen erstens der Betrag der Differenz der Auswertefunktionen Z(v) - Z(v + 1) größer als ein vorgegebener Schwellwert T 1 ist, zweitens die Differenz zweier Helligkeitswerte rechts und links der Kante, vorzugs­ weise H(v + 3) -H(v - 1), einen größeren Betrag als ein zweiter Schwellwert T 2 hat, und daß drittens diese Differenz der Helligkeitswerte dasselbe Vorzeichen wie Z(v) besitzt. Die genaue Kantenlage K wird dann durch ei­ ne elektronische Schaltung, welche den Wert
K = v + Z(v)/(Z(v) - Z(v + 1)) bildet, genauer als auf einen Bild­ punkt bestimmt.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Schwell­ werte T 1 und T 2 für die nicht zwischengespeicherten Kanten höher als für die zwischengespeicherten Kanten gewählt werden.

7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Merkmalsdifferenz DM bei jeder Kante, ausgehend von einem vorgegebenen Maximalwert DMM, solange sukzessiv verkleinert wird, bis nur noch eine oder keine zwischengespeicherte Kante zugeordnet ist oder ein unterer Schwellwert DMU erreicht ist.

8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Merkmalsdifferenz DM bei jeder Kante, ausgehend von einem unteren Schwellwert DMU, solange sukzessiv vergrößert wird, bis wenigstens eine zwischengespeicherte Kante zugeordnet oder der Maxi­ malwert DMM erreicht ist.

9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß zuerst nur nach zwischengespeicherten Kanten gesucht wird, bei denen beide Merkmale ML und MR gleichzeitig zugeordnet sind (Innenkanten). Erst wenn keine derartigen beidseitig zugeordnete Kante gefunden wird, soll eine Zuordnung nach den Einzelmerkmalen ML und MR versucht werden.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Auswer­ tung nach Einzelmerkmalen mindestens um die Taktzahl DXmax der maximal zulässigen Kantenverschiebung, welche der kürzesten meßbaren Entfernung entspricht, später als die Auswertung nach Innenkanten vorgenommen wird, und daß die erkannten Innenkanten vorher für beide Bilder gelöscht oder geeignet markiert werden.

11. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß mindestens 3 Bilder verwendet werden, und daß im Bild mit der größten Kantenverschiebung nur nach Kanten gesucht wird, welche Entfernungen ergeben, die im Streubereich der aus den Kanten der Bilder mit kleinerer Kantenverschiebung bestimmten Entfernung liegen.

12. Gerät zur schnellen Bestimmung der Entfernungen aus der Kantenver­ schiebung von 2 oder mehr Videobildern nach Verfahren einer der vor­ stehenden Ansprüche, dadurch gekennzeichnet, daß es mindestens aus fol­ genden Funktionsgruppen aufgebaut ist, welche auch ganz oder teilweise oder zusammen als eine oder mehrere hochintegrierte Schaltungen realisiert sein können:
Zwei oder mehr Videokameras, welche von demselben Taktgenerator, eventuell mit individuell verzögerten Synchronisierungssignalen, ge­ steuert werden. Eine dieser Videokameras, im allgemeinen die am weite­ sten links befindliche, wird im folgenden als Grundvideokamera VA bezeichnet, die nächste mit VR , die weiter entfernten mit VC, VD usw.
Für jede Kamera, sofern sie nicht schon direkt Digitalwerte ausgibt, wird eine Digitalisierungseinheit verwendet, welche eventuell auch eine Kompression nach Anspruch 2 und eine Korrektur der Hel­ ligkeitswerte vornimmt.
Jeder Kamera ist eine Einheit zur Kantenbestimmung nachgeschaltet, welche diese Helligkeitswerte im Takt der Frequenz der (komprimierten) Bildpunkte auf Kanten auswertet und als Kantendaten die genaue Kantenla­ ge K auf Bruchteile eines Bildpunktes und daraus mindestens 2 Merkmale ML und MR der Kante bestimmt, deren Lage feste Abstände zu der genauen Kantenlage K besitzen.
Der Grundvideokamera VA sind ein oder mehrere Auswerteeinheiten nachgeschaltet, welche die Merkmale MLa und MRa der erkannten Kanten des Bildes dieser Kamera mit gespeicherten Kantendaten der Bilder der übri­ gen Kameras vergleichen oder ihren Vergleich veranlassen, und bei ein­ deutiger Übereinstimmung der Merkmale im Rahmen einer Schwankungsbreite DM, aus der Kantenlage Ka vom Bild der Kamera Va und der entsprechenden Kantenlage Kb oder Kc die abstandsbedingte Kantenverschiebung berechnen.
Die übrigen Kameras besitzen mindestens je eine Speichereinheit, in welcher die noch auszuwertenden Kantendaten gespeichert werden. Diese Speichereinheiten können aus mehreren Speichern bestehen und eine eigene Komparatorlogik besitzen, welche die Zuordnung der gespeicherten Kanten­ daten zu den, von den Auswerteeinheiten ausgegebenen, Merkmalen MLa und MRa feststellt und gegebenenfalls die Kantenlage K ausgibt.

13. Schaltung einer Speichereinheit für die Kantendaten der Kamera VC oder weiter von VA entfernt liegender Kameras nach Anspruch 12, dadurch gekennzeichnet, daß deren Kantendaten derart in 4 oder mehr Teilspei­ cher eingelesen werden, daß die einzelnen Teilspeicher den niedrigstwer­ tigen bits der Lage v des Vorkantenbildpunktes entsprechen, und daß eine geeignete Logik vorgesehen ist, um daraus diejenigen Kantendaten in 4 oder mehr Auswertespeicher auszulesen, welche dem von einer Auswerte­ einheit gelieferten voraussichtlichen Vorkantenwert am nächsten liegen.

14. Schaltung zur Bestimmung der Feinkantenlage nach Anspruch 5 und Anspruch 12, dadurch gekennzeichnet, daß die Auswertefunktion Z(x) durch ein Verzögerungsglied um einen Takt verzögert wird, und daß der verzö­ gerte und der unverzögerte Wert von Z(x) einem programmierbaren Speicher zugeführt werden, welcher den berechneten Bildpunktbruchteil A der Kan­ tenlage und eventuell auch ein bit ausgibt, welches angibt, ob die Nebenbedingung 1 von Anspruch 5 erfüllt ist.

15. Schaltung einer Speichereinheit nach Anspruch 12, für die Kantenda­ ten der Kamera VB, dadurch gekennzeichnet, daß diese aus mehreren ge­ trennten Teilspeichern besteht, von denen jeder einen Zähler besitzt, welcher den Teilspeicher umschaltet oder zur Neubelegung frei gibt, wenn er länger als eine vorgegebene Taktzahl geladen war.