DE3626208C2 - - Google Patents

Description

Die Erfindung betrifft ein Verfahren und ein Gerät zur schnellen Entfernungsbestimmung aus der Kantenverschiebung von Videobildern, welches bei mäßigem apparativem Aufwand geeignet ist, die Entfernungen der Kanten in Bildern mit mehreren 100 Bildpunkten Höhe und Breite on-line, das heißt bei jedem Bildwechsel, durchzuführen. Sie kann in der Industrieautomation und bei selbstfahrenden Robotern auf vielfältige Weise eingesetzt werden.

Die Erfindung verwendet ein Auswerteverfahren, bei welchem die Kanten, das heißt Sprünge der Bildhelligkeit, auf Bruchteile eines Bildpunktes genau bestimmt und durch mindestens je ein Merkmal links und rechts der Kante gekennzeichnet werden. Ein solches Merkmal kann zum Beispiel die Helligkeit je eines oder mehrerer Bildpunkte links und rechts der Kante oder/und ihre Farbe sein.

Solche Verfahren sind zur Auswertung von Luftbildaufnahmen bekannt (H. H. Baker: Depth from Edge and Intensity Based Stereo, Stanford University, Stanford, CA 94 305, Report No. STAN-CS-82-930 (1982)). Sie sind jedoch sehr zeitaufwendig, da Kanten und Merkmale zuerst nach 3 verschiedenen Methoden auf einer Bildlinie bestimmt werden und zur Zuordnung der Kanten noch der Verlauf der Kanten in den darüberliegenden Bildteilen berücksichtigt wird. Eine on-line Auswertung wäre daher nur möglich, wenn die Bilder in viele Bildteile zerlegt und diese gleichzeitig mit sehr vielen schnellen Parallelprozessoren ausgewertet würden. Dieser hohe Rechneraufwand ist für Anwendungen in der Automatisierungs- und Robotertechnik viel zu teuer.

Erfindungsgemäß wird daher, entsprechend Anspruch 1, ein Verfahren zur schnellen Bestimmung von Entfernungen aus der Verschiebung der Kantenlage in 2 oder mehr digitalisierten Helligkeitsbildern längs je einer Bildlinie mit den digitalen Helligkeitswerten H (1), H (2), . . . H(x), . . . H(n) mittels elektronischer Schaltungen vorgeschlagen, bei dem die Kantenlage K auf Bruchteile eines Bildpunktes x genau bestimmt wird, und zur Kennzeichnung jeder Kante mindestens je 1 Merkmal ML und MR der Bildteile links und rechts der Kante verwendet wird, dadurch gekennzeichnet, daß die genaue Kantenlage K und die Kantenmerkmale ML und MR mit einer geeigneten elektronischen Schaltung weitgehend wortseriell, das heißt nach dem pipe-line-Verfahren, im Takt der Eingabe der Helligkeitswerte H(x) erfolgt, und daß die genaue Kantenlage K sowie die Kantenmerkmale ML und MR wenigstens eines Bildes zwischengespeichert werden, und Kanten zweier Bilder nur dann als zugeordnet betrachtet und zur Abstandsbestimmung aus der Differenz der Kantenlagen verwendet werden, wenn wenigstens die Kantenmerkmale einer Seite ML oder MR um weniger als den Betrag einer vorgegebenen Merkmaldifferenz DM voneinander abweichen.

Als Bildlinie wird man in vielen Fällen die Zeile eines Videobildes verwenden. Wenn man die Videobilder zwischenspeichert, können als Bildlinien auch Spalten der Videobilder verwendet werden. Dies ist insbesondere dann vorteilhaft, wenn man die Entfernungen sowohl von waagrechten als auch von senkrechten Kanten bestimmen will, weil man dann nur 3 Kameras (Mitte, Rechts, Oben) benötigt. Für dynamische Entfernungsbestimmung bei fahrenden Kameras kann man interpolierte Bildlinien H(x) verwenden, welche vom Fluchtpunkt ausgehen, und statt der Stereobilder zeitlich aufeinander folgende Videobilder einer Kamera nach den erfindungsgemäßen Verfahren auswerten.

Bei vielen technischen Videokameras ist die Abtastdauer eines Bildpunktes kleiner als die durch optische Unschärfe und Bandbegrenzung des Verstärkers verursachte Anstiegszeit einer ideal scharfen Kante. Um für die Auswertung trotzdem scharfe Kanten zu erhalten, ist es dann vorteilhaft, wenn man nach Anspruch 2, vor der Anwendung der oben genannten Verfahren, je 2 oder mehr benachbarte Bildpunkte zu einem neuen, komprimierten Bildpunkt zusammenfaßt. Dies bringt auch Vorteile, wenn die verwendeten Analog-Digitalwandler nicht, wie für die Feinkantenauswertung vorausgesetzt wird, ideal integrieren, und verringert außerdem das Rauschen eines Bildpunktes und verlängert die zur Auswertung verfügbare Taktzeit.

Zum erfolgreichen Einsatz des vorgeschlagenen Verfahrens müssen noch eine Reihe weiterer Bedingungen erfüllt sein, die in den folgenden Unteransprüchen beansprucht werden. Jede der vorgeschlagenen Maßnahmen erhöht die Sicherheit der Kantenzuordnung beträchtlich. Wenn alle, oder die meisten der Unteransprüche verwendet werden, lassen sich bessere Ergebnisse als mit den bekannten, sehr rechenzeitintensiven, Verfahren erhalten.

Die wichtigste Verbesserung der Kantenzuordnung erhält man nach Anspruch 3 dadurch, daß diese Kantenmerkmale ML und MR entsprechend der genauen Kantenlage K verschoben und durch Interpolation aus den gemessenen Werten, zum Beispiel den Helligkeitswerten H(x) links beziehungsweise rechts der Kante, bestimmt werden. Dies ist bei den bis jetzt bekannten Verfahren noch nicht verwendet worden.

Dieses Verschieben der Merkmale entsprechend der genauen Kantenlage ist so wirksam, daß man überraschenderweise bei fast allen Bildinhalten die besten Ergebnisse erhält, wenn man, entsprechend Anspruch 4, als Merkmale die interpolierten Mittelwerte der Helligkeiten in einem Bereich K+1 . . . K+1+BM, beziehungsweise K-1-BM . . . K-1, vorzugsweise mit BM=1, verwendet, welche also effektiv nur 1 Bildpunkt breit sind.

Die meisten Kanten in realen Bildern haben, wie die analoge Helligkeitskurve 1 in Fig. 1 zeigt, den Charakter von schiefen Treppen mit einer Sprunghöhe T, welche größer ist als der konstante Helligkeitsanstieg über einige Bildpunkte. Nach einer ideal integrierenden Analog- Digitalwandlung erhält man daraus einen Spannungsverlauf H(x) nach Kurve 2. Die Mitte der Kante liegt bei K und ist um den Bruchteil A eines Bildpunktes von dem Ende v des letzten Bildpunktes vor der Kante entfernt. Da in realen Bildern zwischen den Kanten oft nur 2 bis 3 Bildpunkte einen einigermaßen gleichmäßigen Helligkeitsverlauf haben, ist es vorteilhaft, wenn die genaue Kantenlage K und die Kantenmerkmale ML und MR (siehe Anspruch 4) aus möglichst wenig Bildpunkten nahe der Kante gewonnen werden.

Das in Anspruch 5 vorgeschlagene Verfahren benötigt dazu nur 5 Bildpunkte, welche symmetrisch zum Kantenbildpunkt v+1 liegen, und ist, wie Fig. 3 zeigt, einfach on-line durchzuführen. Nach Anspruch 5 wird zuerst die Auswertefunktion

Z(x) = H(x-1) - H(x) - H(x+1) + H(x+2)

gebildet, welche als Kurve 3 in Fig. 1 aufgetragen ist. Die Lage v des Bildpunktes vor der Kante wird dadurch bestimmt, daß zwischen x=v und x=v+1 ein Nulldurchgang von Z(x) erfolgt.

Für eine eindeutige und fehlerfreie Kantenerkennung müssen außerdem alle in Anspruch 5 angegebenen 3 Nebenbedingungen erfüllt sein. Die erste, daß der Betrag von Z(v)-Z(v+1)<=T 1 sein soll, verhindert unechte Kanten, welche durch das Kamerarauschen vorgetäuscht werden, wenn man den Schwellwert T 1 höher als das 4fache der mittleren Rauschspannung eines (komprimierten) Bildpunktes legt. Die Schemata 4 und 5 zeigen, wie diese Werte der Auswertefunktion H(x) aus den Helligkeitswerten gewonnen werden, und daß sie symmetrisch zum Kantenbildpunkt v+1 liegen. Das Rauschen wird weiter verringert durch die Nebenbedingung 2, daß der Betrag der Differenz H(v+3)-H(v-1)<=T 2 sein soll, wobei T 2 vorzugsweise so gewählt wird, daß T 1/3 <T 2 <=T 1 ist.

Die 3. Nebenbedingung, daß diese Differenz und Z(v) dasselbe Vorzeichen besitzen sollen, ist bis jetzt, auch in modifizierter Form, nirgendwo verwendet worden. Sie ist aber sehr wichtig, da sie bei Kanten mit großem Sprung T»T 1 die Ausbildung von Satellitenkanten infolge Schwankungen der Bildhelligkeit verhindern. Wie Fig. 1, Kurve 3 zeigt, können sonst dadurch zwischen v-3 und v-2, sowie zwischen v+2 und v+3, Nulldurchgänge von Z(x) entstehen, welche bei hohem T der echten Kante durch die übrigen Nebenbedingungen nicht ausgeschaltet werden. Satelliten könnten noch besser unterdrückt werden, wenn man den Abstand der beiden Bildpunkte vergrößern, also H(v+4)-H(v-2) als Differenz wählen würde. Der vergrößerte Auswertebereich bringt jedoch, wie oben erwähnt wurde, Nachteile bei eng benachbarten Kanten, so daß die vorzugsweise vorgeschlagenen Werte einen brauchbaren Kompromiß darstellen.

Die Bestimmung der genauen Kantenlage K erfolgt dann, ähnlich wie bei bekannten Verfahren (Baker, siehe oben), nach der Beziehung

K = v + Z(v)/(Z(v) - Z(v+1)).

Fig. 1 zeigt außerdem die Lage der Kantenmerkmale ML und MR als schraffierte Rechtecke 6 und 7.

Da man im allgemeinen die gemessenen Entfernungen in das nicht zwischengespeicherte Hauptbild der Videokamera VA (siehe Fig. 2) einträgt, ist es vorteilhaft, nach Anspruch 6 die Schwellwerte T 1 und T 2 für dieses Bild höher als für die Bilder mit zwischengespeicherten Kanten zu wählen, weil dann im nicht zwischengespeicherten Hauptbild weniger Kantenausfälle auftreten.

Die Zahl der nicht zuordnungsfähigen Mehrfachkanten, deren Kantenmerkmale ML und MR innerhalb der zulässigen Merkmaldifferenz DM liegen, läßt sich sehr stark verringern, wenn man während der Auswertung einer Kante des Hauptbildes die Merkmalsdifferenz DM entsprechend Anspruch 7 oder Anspruch 8 sukzessiv verändert. Im allgemeinen ist die Verwendung von 3 oder 4 verschiedenen Werten von DM ausreichend.

Ein großer Teil der Kanten sind Innenkanten von Flächen, welche von allen Kameras gesehen werden können und daher in allen Videobildern dieselben Kantenmerkmale ML und MR besitzen. Diese können wesentlich sicherer zugeordnet werden als Außenkanten, bei denen nur eine Merkmalsart, ML oder MR, allen Videobildern gemeinsam ist. Man erhält daher eine beträchtliche Verbesserung der Kantenzuordnung, wenn man nach Anspruch 9 zuerst nach Innenkanten sucht.

Im allgemeinen wird man zwischengespeicherte Kanten löschen und die Speicher neu belegen, wenn sie entweder eindeutig zugeordnet oder länger als die Taktzahl DXmax der maximal zulässigen Kantenverschiebung (entspricht der kürzesten meßbaren Entfernung) gespeichert waren.

Die optimale Auswertung von 2 Videobildern erhält man nach dem Verfahren des Anspruchs 10, welcher aber einen etwas höheren Schaltungsaufwand als die bis jetzt beschriebenen Verfahren erfordert. Man benötigt eine zusätzliche Abstandseinheit ABZ, deren Bilddaten K, ML und MR gegenüber denen der normalen Abstandseinheit AB (siehe Fig. 2) durch eine zusätzliche Verzögerungseinheit WAZ um mindestens DXmax Takte verzögert wurden, sowie mehr und etwas kompliziertere Zwischenspeicher.

Zuerst wird mit Abstandseinheit AB nur nach Innenkanten ausgewertet und bei Zuordnung außer dem entsprechenden Zwischenspeicher auch die entsprechenden, in die in die zusätzliche Verzögerungseinheit WAZ einzulesenden, Daten als ausgewertet markiert. Wenn die Taktzahl DXmax der maximal zulässigen Kantenverschiebung erreicht ist, werden die noch nicht gelöschten Zwischenspeicher von SB durch geeignete Multiplexer auf die zusätzliche Auswerteeinheit ABZ umgeschaltet und damit getrennt für ML und MR, das heißt nach Außenkanten, ausgewertet. Bei Zuordnung, oder wenn die Taktzahl DXmax auch für die 2. Auswertung verstrichen ist, werden die Zwischenspeicher gelöscht und können von der Ladeeinheit LB neu geladen werden.

Bei Videobildern mit durchschnittlichem Kontrast, welche mit normalen Industriekameras aufgenommen wurden, schwankt die zur Entfernungsbestimmung verwendete Differenz der Kantenlagen zweier zugeordneter Kanten infolge des Kamerarauschens im Mittel um etwa ±σ=0,2 (komprimierte) Bildpunkte; 10% bis 20% der Bildpunkte sind Kantenpunkte. Mit den in den Ansprüchen 1 bis 11 beschriebenen Verfahren läßt sich etwa bis zu einer maximalen Kantenverschiebung DXmax=20 erreichen, daß weniger als 10% der zugeordneten Kantenverschiebungen mehr als den 3fachen Streuwert σ vom Sollwert abweichen. Bei der minimalen Entfernung, welche der maximalen Kantenverschiebung DXmax=20 entspricht, liegen also mehr als 90% der gemessenen Entfernungen im Bereich ±3% um den Sollwert; der Rest sind Ausreißer, also Kanten, welche fehlzugeordnet sind.

Weil der Prozentsatz der fehlzugeordneten Kanten mit steigender maximaler Kantenverschiebung DXmax stark ansteigt, kann man die Meßgenauigkeit nicht dadurch steigern, daß man DXmax größer macht. Wenn man aber zusätzlich eine dritte, weiter entfernte, Videokamera VC verwendet und in deren Bild, welches die größte Kantenverschiebung besitzt, entsprechend Anspruch 11 nur nach Kanten suchen läßt, welche im Streubereich der, aus dem Bild der Videokamera VB mit kleinerer Kantenverschiebung bestimmten, Entfernungen liegen, läßt sich die relative Streuung der Entfernungsbestimmung im Verhältnis des Abstandes der Kameras (VB . . . VA)/(VC . . . VA) verringern. Gleichzeitig wird die Zahl der fehlzugeordneten Ausreißer stark reduziert. Es dürften sich damit 3σ- Streubereiche von unter 1% der Entfernung bei weniger als 3% Ausreißer erreichen lassen. Zur weiteren Erhöhung der Genauigkeit kann man die mit 3 Kameras bestimmten Werte als Vorgabewerte für das Bild einer 4., noch weiter entfernten, Videokamera verwenden.

Fig. 2 zeigt das Blockschaltbild eines Gerätes zur Entfernungsbestimmung nach Anspruch 12, bei welchem nahezu alle erfindungsgemäß vorgeschlagenen Verfahren realisiert werden. Die Zahlen in Fig. 2 geben an, aus wievielen Einzelleistungen die Leitungsbündel der gezeichneten Verbindungen bestehen, sind also nicht, wie z. B. in Fig. 1, Hinweiszeichen.

Das Gerät verwendet einen Taktgenerator TG, welcher ein Signal C 4 mit 28 MHz und einem Ein/Ausverhältnis 1 : 1, sowie ein davon abgeleitetes Signal C 1 mit 7 MHz und einem Ein/Ausverhältnis 1 : 3, ausgibt. Aus diesen erzeugt er analoge Synchronsignale SYNC nach der Fernsehnorm, sowie das Zeilenrücklaufsignal Zr, dessen Ende den Beginn einer neue Zeile signalisiert.

Ferner werden 3 Videokameras VA, VB und VC verwendet, welche von dem Signal SYNC gemeinsam synchronisiert werden. Der Mittenabstand der Videokamera VB von der Grundvideokamera VA sei so gewählt, daß beim minimal zulässigen Bildabstand die maximale Kantenverschiebung zwischen den beiden Kameras DXmax = 16 komprimierten Bildpunkten entspricht, welche eine Bildpunktfrequenz 7 MHz besitzen. Der Mittenabstand der Videokamera VC von VA sei genau 4mal größer als derjenige von VB. Dies erleichtert die Auswertung, weil dann Multiplikationen und Divisionen durch Bitverschiebungen ersetzt werden können.

Wegen der verlangten hohen Übereinstimmung der Abmessungen verwendet man am besten Festkörpervideokameras. Diese müssen mechanisch sehr stabil miteinander verbunden sein und sehr genau so justiert werden, daß die 3 Kameras Objekte in sehr großer Entfernung deckungsgleich abbilden.

Die, gestrichelt gezeichneten, analogen Ausgangssignale müssen in 3 Digitalisierungseinheiten DA, DB und DC digitalisiert werden. Dabei ist es vorteilhaft, die dazu notwendigen Digital-Analogwandler mit einer, aus C 4 und C 1 abgeleiteten, Abtastfrequenz von 14 MHz zu betreiben und, entsprechend Anspruch 2, je 2 Abtastwerte durch Addition zu einem komprimierten Bildpunkt zusammenfassen.

Wenn die Lichtempfindlichkeit der 3 Kameras nicht sehr homogen ist und sich durch die üblichen globalen Abgleichmaßnahmen nicht auf weniger als 1% gleich machen läßt, muß jeder komprimierte Bildpunkt einzeln korrigiert werden. Für eine Korrektur von Nullpunkt und Anstieg benötigt man dazu für jede Digitalisierungseinheit ein 128 k*16-bit-RAM und je einen 8-bit Multiplizierer und Addierer. Das RAM muß zum Abgleich vom Steuerrechner, z. B. einem personal computer, gesetzt und gelesen werden können. Dieser muß es auch so umschalten können, daß es automatisch entweder seine Werte zur Korrektur in Addierer und Multiplizierer ausliest, oder die komprimierten Ausgangswerte des Digital-Analogwandlers einliest. Die Digitalisierungseinheiten geben je ein 8 bit breites, komprimiertes und korrigiertes, digitales Helligkeitssignal H(x) nach Anspruch 1 aus.

Für die gewählte Dimensionierung kommen bei der minimal zulässigen Entfernung die Kanten des Bildes der Videokamera VC um 4*DXmax = 64 Takte früher als die entsprechenden Kanten des Bildes der Grundvideokamera VA an. Da, wegen der Verwendung des Verfahrens nach Anspruch 10, schon ein Wartespeicher WAZ mit DXmax = 16 Takten vorhanden sein muß, müssen die Ausgangswerte von DA mittels eines zusätzlichen (first in - first out) Wartespeichers WA um etwa 48 Takte verzögert werden. Für die Ausgangswerte von DB muß die Verzögerung durch den Wartespeicher WB um DXmax = 16 Takte kleiner sein. Man kann auch statt dessen die SYNC-Signale der entsprechenden Videokameras verzögern.

In den 3 Einheiten EA, EB und EC werden die Feinkantenentfernungen Ka, Kb und Kc sowie die zugehörigen Merkmale MRa, MRb, MRc bzw. MLa, MLb und MLc nach den Ansprüchen 1 bis 4 wortseriell mit dem Takt C 1 bestimmt. Eine für die Feinkantenbestimmung besonders geeignete Schaltung zeigt Fig. 3, welche später eingehend besprochen wird. Die Einheiten EA, EB und EC geben je für jeden Bildpunkt ein 31 bit breites Wort aus. Es besteht aus den 2, je 8 bit breiten Merkmalen MR und ML, dem 14 bit breiten Wert K der Kantenlage, welche sich aus dem 10 bit breiten Vorkantenabstand v in Bildpunkten und dem 4 bit breiten Bruchteil A zusammensetzt (siehe Fig. 1), sowie einer 1 bit breiten Flagge Kg, die anzeigt, daß es sich um eine gültige Kante handelt. Um kleine Fehler in der mechanischen Justierung einfach beseitigen zu können, ist es vorteilhaft, vor der Ausgabe von K noch einen 14-bit Addierer vorzusehen, mit dem, entweder rechnergesteuert oder durch einen DIL-Schalter einstellbar, die K-Werte, zumindest für die Kameras VB und VC, korrigiert werden können.

Wenn DB Kg anzeigt, setzt die Ladeeinheit LB die 30 bit breiten Werte von Kb, MRb und MLb in einen freien der 8 Speicher der Zwischenspeichereinheit SB. Jeder Speicher, der frei wird, meldet dies auf einer eigenen Leitung. LB meldet dann zurück, welcher von diesen geladen werden soll.

Abb. 4 zeigt die Schaltung einer Ausführungsform einer der Speicher der Zwischenspeichereinheit. Sie wird später eingehend besprochen. Für die Anwendung im Zusammenhang mit Anspruch 10 ist es wichtig, daß jeder Speicher für die ersten DXmax = 16 Takte die Daten von KB erhält und nur nach Innenkanten auswertet. Bei eindeutiger Zuordnung wird er vorher gelöscht, sonst auf die Daten der Auswerteeinheit ABZ und auf getrennte Kantensuche für MR und ML umgeschaltet. Falls vorher keine Zuordnung gefunden wurde, wird der Speicher 2*DXmax = 32 Takte nach dem Laden gelöscht.

Wenn DA die Flagge Kg zeigt, übergibt die Auswerteeinheit AB dreimal, im schnellen Takt C 4, an die Speichereinheit SB vier 8-bit breite Werte ML + DM, ML-DM und MR + DM und MR-DM, wobei DM durch eine geeignete Logik jedesmal entsprechend Anspruch 7 oder Anspruch 8 verändert wird. Wenn in SB nur eine zugeordnete Kante gefunden wird, gibt SB zu Beginn des nächsten Taktes T 1 deren Kantenlänge Kb aus, sonst Kb = 0. AB bildet daraus die 8 bit breite Kantendifferenz DKb = Kb-Ka und gibt diese nach einem weiteren Takt C 1 zusammen mit Ka, MRa, MRb, Kg und einer Flagge Ig aus, welche anzeigt, daß die Kantendifferenz einer Innenkante erfolgreich bestimmt wurde.

Wie oben schon beschrieben, werden diese Daten in dem Wartespeicher WAZ für DXmax Takte C 1 zwischengespeichert, bevor sie in die nächste Auswerteeinheit ABZ kommen. Diese arbeitet wie die Auswerteeinheit AB mit dem Unterschied, daß SB nur geladen wird wenn Kg wahr und Ig unwahr ist.

Für diejenigen Kanten im Bild der Grundvideokamera VA, für die eine Kantendifferenz DKb erfolgreich bestimmt wurde, erfolgt nun eine genauere Auswertung gemäß Anspruch 11 mittels der Videokamera VC. Ihr Zwischenspeicher SC ist grundsätzlich anders aufgebaut als der Zwischenspeicher SB der Videokamera VB. Er besteht im Prinzip aus 2 Teilen. 4 RAMS mit 256*30 bit Speicherkapazität, welche so schnell sein müssen, daß sie in der Taktzeit C 1 = 143 ns eimal gelesen und eimal eingeschrieben werden können, und 4 sehr schnelle Speicher für je 30 bit, welche eine ähnliche Auswertelogik mit Komparatoren besitzen, wie die in Fig. 4 beschriebenen 30 bit Speicher der Speichereinheit SB. Die Zähler und die Umschaltmöglichkeit von SB fallen jedoch weg, weil die 30-bit Speicher von SC bei Beginn jedes Taktes C 1 von den 4 Speichern mit 256*30 bit neu geladen und dann, wie bei SB, 3mal mit den von der Auswerteeinheit AC mit Takt C 4 gelieferten Werten MR + MD, MR-MD, ML + MD und ML-MD verglichen werden, wobei entsprechend Ig zwischen der Auswertung auf Innenkanten oder Außenkanten umgeschaltet werden kann.

Das Bereitstellen der Werte aus den 4 Speichern 256*30-bit erfolgt einen Takt C 1 vorher durch eine geeignete Logik so, daß diejenigen 4 Vorkantenwerte vc ausgelesen werden, welche dem, von der Auswerteeinheit AC gelieferten voraussichtlichen Vorkantenwert vc ≈ va-DKb/4 am nächsten liegen. Dazu ist es vorteilhaft, daß AC auch den höchstwertigen Bruchteilsbit Aa an SC übergibt. Diese Art von Auslesen ist möglich, weil die Ladeeinheit LC diese Speicher entsprechend dem ihr vorliegenden Vorkantenwert vc so lädt, daß die 4 Speichereinheiten den beiden niedrigstwertigen bits von vc entsprechen. Diese Ladeart ist auf eine Kantenunsicherheit von s = 0,16 komprimierten Bildpunkten ausgelegt. Wenn σ größer ist, empfiehlt es sich, 8 Speicher mit 128*30 bit zu verwenden.

Die Auswerteeinheit AC ist prinzipiell wie AB aufgebaut, außer daß sie, wie schon erwähnt, einen Takt vorher die voraussichtliche Lage von vc ≈ va-DKb/4 ausgibt, wenn DKb richtig erkannt war. Falls diese Kante auch von SC eindeutig zugeordnet wurde, wird eine neue Kantendifferenz DKc = (Kc-Ka)/4 errechnet und an die Ausgabeeinheit ausgegeben, sonst als Zeichen der Nichterkennung, z. B. der Maximalwert 255.

Der Ausgabeeinheit werden auch noch die 8 bit breiten Werte der Helligkeit der Grundvideokamera aus WA zugeführt, damit nach entsprechender Verzögerung, z. B. auf einem Farbbildschirm das Helligkeitsbild in schwarz-weiß und die Kanten verschiedener Entfernungsbereiche, welche den Kehrwerten von DKc proportional sind, in Farbe dargestellt werden können. Die Entfernungsbereiche und etwa statistisch auszuwertende Bildbereiche werden vorzugsweise durch einen kleinen Rechner (personal computer) eingestellt. Für genauere Auswertungen mit dem Rechner kann man auch in der Ausgabeeinheit die Helligkeits- und Abstandsbilder zwischenspeichern.

Fig. 3 zeigt in einem schematischen Schaltbild, wie sich die Feinkantenauswertung wortseriell nach den Ansprüchen 1 bis 5 durchführen läßt. Als Beispiel dient die Einheit EA. Das aus dem Wartespeicher WA kommende, digitalisierte Helligkeitsbild Wa wird zuerst einem 8 bit breiten Schieberegister 8 zugeführt, welches mit C 1 weitergeschaltet wird. Aus dessen verschobenen Helligkeitswerten H(x) wird mit den Addierern 9 und 10 und dem Subtrahierer 12, entsprechend Anspruch 5, die Auswertefunktion Z(x) gebildet. Um mit Recheneinheiten auszukommen, welche zur 8 bit verarbeiten, kann man als Eingabewerte für 12 die Überträge und die 7 höchstwertigen bits von 9 und 10 verwenden, und für Z den Übertrag und die 7 höchstwertigen bits von 12.

Mit dem Komparator 11 und dem UND-ODER-Glied 13 lassen sich die Nebenbedingungen 2 und 3 von Anspruch 5 erfüllen. Der Schwellwert T 2 läßt sich in Stufen des Faktors 2 einstellen, wenn man als Eingabewerte von 11 nur die höchstwertigen bits verwendet.

Der Bruchteil A der Feinkantenlage K läßt sich am einfachsten nach Anspruch 14 dadurch bestimmen, daß man die Auswertefunktion Z(x) durch ein Verzögerungsglied 14 um einen Takt C 1 verzögert, und das verzögerte und unverzögerte Z(x) einem programmierbaren Speicher (PROM), hier mit 64 k*5 bit, zuführt, welcher den berechneten Bruchteil A sowie ein bit ausgibt, welches anzeigt, ob die Nebenbedingung 1 von Anspruch 5 erfüllt ist. Dies ergibt, mit 13 durch das UND-Glied 17 verknüpft, das bit Kg, welches anzeigt, daß die Kante richtig bestimmt ist. Damit A und Kg während eines ganzen Taktes zur Verfügung stehen, müssen sie durch das 5 bit breite D-Kippglied 18 einen Takt C 1 zwischengespeichert werden. Die Vorkantenlage v in Bildpunkten wird mit dem Zähler 16 bestimmt.

Fig. 4 zeigt vereinfacht die Schaltung eines der 8 Zwischenspeicher der Speichereinheit SB nach Anspruch 15. Es ist dabei, im Gegensatz zu SB von Fig. 2, nur die Auswertung auf Innenkanten mit Auswerteeinheit AB gezeichnet, nicht jedoch die, für die spätere Auswertung nach Außenkanten mit Auswerteeinheit SBZ, notwendige zusätzliche Umschaltlogik.

Der 30 bit breite Speicher 19 wird von der Ladeeinheit LB durch das Signal "Laden" mit Kb, MLb und MRb geladen. Während die beiden 8 bit breiten Werte MLb und MRb sofort nach dem Laden an den Ausgängen anliegen, werden die 14 Ausgänge von Kb erst dann aktiviert, wenn das Kippglied 20 gesetzt ist.

Die Komparatoren 21 bis 24 vergleichen MLb und MRb mit den von der Abstandseinheit AB kommenden Minimal- und Maximalwerten. Wenn alle eingehalten werden, und der Speicher mit gültigen Werten "belegt" ist, gibt das UND-Glied 25 das Signal Mn aus, welches anzeigt, daß eine zugeordnete Innenkante gefunden wurde. Das NAND-Glied 26 prüft, ob die übrigen 7 Speicher auch eine zugeordnete Innenkante gefunden haben. Wenn dies nicht der Fall ist, setzt das UND-Glied 27 des Kippglied 20, so daß der Speicher 19 die Kantenadresse Kb an die Abstandseinheit AB ausgibt. Kippglied 20 und damit Kb wird mit dem nächsten Takt C 1 wieder gelöscht. Diese Methode setzt ein Verfahren nach Anspruch 7 voraus, bei dem die Merkmalsdifferenz DM sukzessiv verkleinert wird.

Wenn 27 eine eindeutig zugeordnete Kante meldet, oder der Zähler 28, welcher beim Laden zurückgesetzt wurde, anzeigt, daß seit dem Laden mehr als 16 Takte C 1 vergangen sind, setzt das Oderglied 29 das beim Laden gesetzte Kippglied 30 zurück. Dadurch verschwindet das Signal "Belegt", so daß der Speicher von der Ladeeinheit LB neu belegt werden kann.

Claims (15)

1. Verfahren zur schnellen Bestimmung von Entfernungen aus der Verschiebung der Kantenlage in 2 oder mehr digitalisierten Videobildern längs je einer Bildlinie mit den digitalen Helligkeitswerten H (1), H (2), . . . H(x), . . . H(n) mittels elektronischer Schaltungen, bei dem die Kantenlage K auf Bruchteile eines Bildpunktes x genau bestimmt wird und zur Kennzeichnung jeder Kante mindestens je 1 Merkmal ML und MR der Bildteile links und rechts der Kante verwendet wird, dadurch gekennzeichnet, daß die genaue Kantenlage K und die Kantenmerkmale ML und MR mit einer geeigneten elektronischen Schaltung weitgehend wortseriell, das heißt nach dem pipe-line-Verfahren, im Takt der Eingabe der Helligkeitswerte H(x) bestimmt werden, und daß die Werte von K sowie ML und MR wenigstens eines Bildes zwischengespeichert werden, und daß außerdem Kanten zweier Bilder nur dann als zugeordnet betrachtet und zur Abstandsbestimmung aus der Differenz der Kantenlagen verwendet werden, wenn wenigstens die Kantenmerkmale einer Seite ML oder MR um weniger als den Betrag einer vorgegebenen Merkmalsdifferenz DM voneinander abweichen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß man, insbesondere bei unscharfen Bildern, vor der Anwendung des oben genannten Verfahrens, je 2 oder mehr benachbarte Bildpunkte einer Bildlinie zu einem neuen komprimierten Bildpunkt zusammenfaßt. Wenn die Bilder ganz oder teilweise zwischengespeichert werden, können auch Bildpunkte benachbarter Bildlinien zwecks Verringerung des Rauschens zu einer neuen komprimierten Bildlinie zusammengefaßt werden.

3. Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, daß diese Kantenmerkmale ML und MR entsprechend der genauen Kantenlage K verschoben und durch Interpolation aus den gemessenen Werten, zum Beispiel den Helligkeitswerten H(x) links beziehungsweise rechts der Kante, bestimmt werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß als Merkmale die interpolierten Mittelwerte der Helligkeiten in einem Bereich K+1 . . . K+1+BM, beziehungsweise K-1-BM . . . K-1, vorzugsweise mit BM =1, verwendet werden.

5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die (ganzzahlige) Lage x = v des Endes des Vorkantenbildpunktes durch den Nulldurchgang der Auswertefunktion Z(x) = H(x-1) - H(x) - H(x+1) + H(x+2)derart bestimmt wird, daß Z(v) und Z(v+1) entgegengesetztes Vorzeichen besitzen, und als Nebenbedingungen erstens der Betrag der Differenz der Auswertefunktionen Z(v)-Z(v+1) größer als ein vorgegebener Schwellwert T 1 ist, zweitens die Differenz zweier Helligkeitswerte rechts und links der Kante, vorzugsweise H(v+3)-H(v-1), einen größeren Betrag als ein zweiter Schwellwert T 2 hat, und daß drittens diese Differenz der Helligkeitswerte dasselbe Vorzeichen wie Z(v) besitzt. Die genaue Kantenlage K wird dann durch eine elektronische Schaltung, welche den WertK = v + Z(v)/(Z(v)-Z(v+1))bildet, genauer als auf einen Bildpunkt bestimmt.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Schwellwerte T 1 und T 2 für die nicht zwischengespeicherten Kanten höher als für die zwischengespeicherten Kanten gewählt werden.

7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Merkmalsdifferenz DM bei jeder Kante, ausgehend von einem vorgegebenen Maximalwert DMM, solange sukzessiv verkleinert wird, bis nur noch eine oder keine zwischengespeicherte Kante zugeordnet ist oder ein unterer Schwellwert DMU erreicht ist.

8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Merkmalsdifferenz DM bei jeder Kante, ausgehend von einem unteren Schwellwert DMU, solange sukzessiv vergrößert wird, bis wenigstens eine zwischengespeicherte Kante zugeordnet oder der Maximalwert DMM erreicht ist.

9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß zuerst nur nach zwischengespeicherten Kanten gesucht wird, bei denen beide Merkmale ML und MR gleichzeitig zugeordnet sind (Innenkanten). Erst wenn keine derartige beidseitig zugeordnete Kante gefunden wird, soll eine Zuordnung nach den Einzelmerkmalen ML und MR versucht werden.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Auswertung nach Einzelmerkmalen mindestens um die Taktzahl DXmax der maximal zulässigen Kantenverschiebung, welche der kürzesten meßbaren Entfernung entspricht, später als die Auswertung nach Innenkanten vorgenommen wird, und daß die erkannten Innenkanten vorher für beide Bilder gelöscht oder geeignet markiert werden.

11. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß mindestens 3 Bilder verwendet werden, und daß im Bild mit der größten Kantenverschiebung nur nach Kanten gesucht wird, welche Entfernungen ergeben, die im Streubereich der aus den Kanten der Bilder mit kleinerer Kantenverschiebung bestimmten Entfernung liegen.

12. Gerät zur schnellen Bestimmung der Entfernung aus der Kantenverschiebung von 2 oder mehr Videobildern nach Verfahren einer der vorstehenden Ansprüche, dadurch gekennzeichnet, daß es mindestens aus folgenden Funktionsgruppen aufgebaut ist, welche auch ganz oder teilweise oder zusammen als eine oder mehrere hochintegrierte Schaltungen realisiert sein können:
Zwei oder mehr Videokameras, welche von demselben Taktgenerator, eventuell mit individuell verzögerten Synchronisierungssignalen, gesteuert werden. Eine dieser Videokameras, im allgemeinen die am weitesten links befindliche, wird im folgenden als Grundvideokamera VA bezeichnet, die nächste mit VB, die weiter entfernten mit VC, VD usw.
Für jede Kamera, sofern sie nicht schon direkt Digitalwerte ausgibt, wird eine Digitalisierungseinheit verwendet, welche eventuell auch eine Kompression nach Anspruch 2 und eine Korrektur der Helligkeitswerte vornimmt.
Jeder Kamera ist eine Einheit zur Kantenbestimmung nachgeschaltet, welche diese Helligkeitswerte im Takt der Frequenz der (komprimierten) Bildpunkte auf Kanten auswertet und als Kantendaten die genaue Kantenlage K auf Bruchteile eines Bildpunktes und daraus mindestens 2 Merkmale ML und MR der Kante bestimmt, deren Lagen feste Abstände zu der genauen Kantenlage K besitzen.
Der Grundvideokamera VA sind ein oder mehrere Auswerteeinheiten nachgeschaltet, welche die Merkmale MLa und MRa der erkannten Kanten des Bildes dieser Kamera mit gespeicherten Kantendaten der Bilder der übrigen Kameras vergleichen oder ihren Vergleich veranlassen und, bei eindeutiger Übereinstimmung der Merkmale im Rahmen einer Schwankungsbreite DM, aus der Kantenlage Ka vom Bild der Kamera Va und der entsprechenden Kantenlage Kb oder Kc die abstandsbedingte Kantenverschiebung berechnen. Die übrigen Kameras besitzen mindestens je eine Speichereinheit, in welcher die noch auszuwertenden Kantendaten gespeichert werden. Diese Speichereinheiten können aus mehreren Speichern bestehen und eine eigene Komparatorlogik besitzen, welche die Zuordnung der gespeicherten Kantendaten zu den, von den Auswerteeinheiten ausgegebenen, Merkmalen MLa und MRa feststellt und gegebenenfalls die Kantenlage K ausgibt.

13. Schaltung einer Speichereinheit für die Kantendaten der Kamera VC oder weiter von VA entfernt liegender Kameras nach Anspruch 12, dadurch gekennzeichnet, daß deren Kantendaten derart in 4 oder mehr Teilspeicher eingelesen werden, daß die einzelnen Teilspeicher den niedrigstwertigen bits der Lage v des Vorkantenbildpunktes entsprechen, und daß eine geeignete Logik vorgesehen ist, um daraus diejenigen Kantendaten in 4 oder mehr Auswertespeicher auszulesen, welche dem von einer Auswerteeinheit gelieferten voraussichtlichen Vorkantenwert am nächsten liegt.

14. Schaltung zur Bestimmung der Feinkantenlage nach Anspruch 5 und Anspruch 12, dadurch gekennzeichnet, daß die Auswertefunktion Z(x) durch ein Verzögerungsglied um einen Takt verzögert wird, und daß der verzögerte und der unverzögerte Wert von Z(x) einem programmierbaren Speicher zugeführt werden, welcher den berechneten Bildpunktbruchteil A der Kantenlage und eventuell noch ein bit ausgibt, welches angibt, ob die Nebenbedingung 1 von Anspruch 5 erfüllt ist.

15. Schaltung einer Speichereinheit nach Anspruch 12 für die Kantendaten der Kamera VB, dadurch gekennzeichnet, daß diese aus mehreren getrennten Teilspeichern besteht, von denen jeder einen Zähler besitzt, welcher den Teilspeicher umschaltet oder zur Neubelegung freigibt, wenn er länger als eine vorgegebene Taktzahl geladen war.