DE68918263T2

DE68918263T2 - Maskierbarer zweistufen korrelator.

Info

Publication number: DE68918263T2
Application number: DE68918263T
Authority: DE
Inventors: Kazuo Hosokawa; Lynne Karlin; Leonard Lee; Thomas Lo; Harrison Nguyen; Andy Quan; Jack Sacks; Wayne Simoni
Original assignee: Hughes Aircraft Co
Current assignee: Raytheon Co
Priority date: 1988-08-08
Filing date: 1989-07-03
Publication date: 1995-04-13
Anticipated expiration: 2009-07-04
Also published as: AU616986B2; KR930002338B1; DE68918263D1; NO901531L; WO1990001744A1; IL90984A0; US5020113A; NO901531D0; NO177472C; CA1316264C; NO177472B; EP0386181B1; TR24992A; ES2016050A6; AU3851089A; IL90984A; EP0386181A1; JP2552010B2; JPH03501901A; KR900702466A

Description

1. Technisches Gebiet

Die Erfindung bezieht sich auf Bildverarbeitungstechniken und insbesondere auf Techniken zur Durchführung eines Übereinstimmungsvergleichs von Mustern unter Verwendung von Bereichskorrelatoren

2. Diskussion des Standes der Technik

Bereichskorrelation ist eine wichtige Signalverarbeitungsfunktion in vielen Bildverarbeitungsvorrichtungen. Seine Anwendungen umfassen Zielverfolgungseinrichtungen, Einrichtungen zur Mustererkennung, Bildstabilisatoren die Ausrichtung der Sensorziellinie. Traditionell wurde die Bereichskorrelation entweder unter Verwendung von Graustufenproduktkorrelation oder mittels zweistufiger Korrelation implementiert. Diese zwei Techniken stellen entgegengesetzte Extreme hinsichtlich der zwischen Leistungsfähigkeit und Komplexität auftuenden Schere dar.
Der Produktkorrelator führt die Abgleichfunktion durch Multiplizierung eines jeden Bildelements in einem Referenzbild mit einem entsprechenden Bildelement in einem Live-Bild und Akkumulieren der Summe der Produkte durch. Um mit der Sensorbildabtastgeschwindigkeit (typischerweise 60 Hz) schrittzuhalten, ist üblicherweise bei der Hardware eine Parallelverarbeitung notwendig. Es führt zu hohen Kosten, hoher Leistungsaufnahme und einer Hardware mit großem Raumbedarf, was bei Anwendungen bei denen der vorhandene Raum klein ist, ungeeignet ist. Zusätzlich führt die große Zahl von Multiplikationen ebenfalls mit der Tendenz dazu, den Suchbereich des Korrelators einzuschränken. D.h., daß der Korrelator den Abgleich nicht durchführen kann, wenn die Versetzung der Ziellinien zwischen den Sensoren groß ist.
Diese Beschränkung macht sie ungeeignet für Anwendungen mit axialer Ausrichtung.
Der Zweistufenkorrelator führt die Abgleichfunktion mittels Vergleich der Polarität des räumlichen Gradienten zwischen dem Referenzbild und dem Live-Bild durch. Ein Gradientenoperator wird auf das "rohe" Graustufenbild angewendet und jedes Bildelement wird durch die Polarität ihres räumlichen Gradienten ersetzt. Die Abgleichfunktion wird durch Akkumulation der Zahl der Bildelementpaare in den zwei Bildern errechnet, deren Polarität übereinstimmt. Dieses Verfahren führt die "Multiplikationen" bei dem Produktkorrelator effektiv durch eine logische "ausschließende-NOR-Operation" durch und führt zu einer Vereinfachung der Hardware mit einer entsprechenden Verbesserung des Durchsatzes. Zweistufenkorrelatoren können daher in einer vergleichsweise kompakten Hardware mit niedrigen Kosten implementiert werden, was sie für Anwendungen geeignet macht, bei denen der vorhandene Raum klein ist. Der erhöhte Durchsatz erlaubt auch einen vergrößerten Suchbereich, was den Korrelator auch geeignet für Anwendungen mit Senorausrichtung macht.
Das Problem bei dem Zweistufenkorrelator besteht darin, daß alle Bildelemente in dem Referenzbild gleich behandelt werden. In denjenigen Bildelementen, in denen der Bildinhalt vergleichweise gleichförmig ist, ist der Gradient der Amplituden klein und die Polarität des Gradienten wird oft durch das Rauschen dominiert. Statistisch kann sich die Kreuzkorrelation von verrauschten Bildelementen mit der Korrelationsfunktion mit gleicher Wahrscheinlichkeit aufaddieren bzw. gegeneinander auslöschen. Das Einschließen bzw. Mitberücksichtigen von verrauschten Bildelementen trägt daher nicht zu dem Haupt-Peak der Korrelationsfunktion bei sondern erhöht die Streubreite. Das führt effektiv zu einer Reduzierung des Signal/Rauschverhältnisses am Ausgang des Korrelators. Bei einförmigen bzw. gleichförmigen Bildszenen, bei denen der größte Teil des Referenzbildes ziemlich gleichförmig ist, können die verrauschten Bildelemente die Zahl der signaltragenden Bildelemente übertreffen. Bei solchen Einsatzbedingungen funktioniert der Zweistufenkorrelator nicht gut.
Beispielsweise beschreibt EP-A-0 005 918 einen Bildszenenverfolger der einen digitalen Korrelator zum Vergleich eines "Live-Bildes" mit gespeicherten Daten nutzt. Das Live- Video wird durch Vergleich mit einem verzögerten Video kodiert, um an den Schnittpunkten ein digitales Videosignal zu erzeugen. Ein ausschließendes NOR-Netzwerk detektiert Übereinstimmungen zwischen Elementen in den gespeicherten Daten und Elementen in den Live-Daten. Dann wird durch Verwendung der Ausgangsdaten von dem NOR-Netzwerk ein RAM adressiert, um die Summenzahl der durch das Ausschließen des NOR-Netzwerk detektierten Übereinstimmungen auszulesen.
US-A-4 244 029 beschreibt einen digitalen Videokorrelator, bei dem ein Referenzbild und ein Live-Bild digitalisiert und miteinander in einem Schiebenetzwerk verglichen werden, um die Korrelation bzw. den Grad der Korrelation zwischen den beiden Bildern zu bestimmen. Eine Maskierungsfunktion wird ebenfalls in einem entsprechenden Schieberegister gespeichert und wird dazu verwendet die mittels Einzelbitkorrelationen durchgeführte Korrelation zwischen Referenz- und Live-Bildern auf einer Bit-für-Bit-Basis zu ermöglichen bzw. zu sperren.

KURZFASSUNG DER ERFINDUNG

Die vorliegende Erfindung ist in den Ansprüchen definiert.
Die Erfindung offenbart einen maskierbaren Zweistufenkorrelator der die vorteilhaften Merkmale des Zweistufenkorrelators beibehält, während er die Probleme mit verrauschten Bildelementen abschwächt. Ein Nebenprodukt dieses Korrelationskonzepts ist eine automatisch korrelierende Bereichsauswahltechnik, die Bereich mit einer hohen Dichte von signaltragenden Bildelementen als Referenzbereiche auswählt. Dieses Merkmal erhöht die Korrelatorleistung bei gleichförmigen Bildszenen enorm. Zusätzlich stellt der maskierbare Zweistufenkorrelator ein Maß für die "Gestörtheit" der Bildszene zum Zwecke der Algorithmus-Adaption bzw. -Anpassung bereit.
Gemäß den Prinzip in der vorliegende Erfindung werden die Signale, die das Live-Bild und das Referenzbild darstellen, differentiert und einer Schwellenwertschaltung unterworfen, um ein Polaritätsbit und ein Maskierungsbit für jede Bildelementposition bereitzustellen. Der Wert des Maskierungsbits ist ein digitaler Status (Aus), falls die Amplitude des analogen Signals zwischen zwei vorgewählten Schwellenwertpegeln zu liegen kommt und weist einen entgegengesetzten digitalen Status auf (Ein), falls die Amplitude größer als der Schwellenwertpegel ist. Der Wert des Polaritätsbits hängt davon ab, ob die Amplitude des Signals positiv oder negativ ist. Die Polaritätsbits und die Maskierungsbits der resultierenden Bilder werden verwendet, um eine Korrelationsfunktion zu erzeugen, bei der die Werte des Polaritätsbits für diejenigen Bildelementpositionen ignoriert werden, die Maskierungsbits des einen Status aufweisen, der den Aus-Zustand repräsentiert.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Die verschiedenen Vorteile der Erfindung werden für den Durchschnittsfachmann durch Studium der nachfolgenden Beschreibung anhand der Zeichnungen deutlicher. Es zeigt:
Fig. 1 Wellenformen und Graphen, die hilfreich für das generelle Verständnis der Korrelationsfunktion gemäß dem Stand der Technik sind;
Fig. 2 besteht in ähnlicher Weise aus Wellenformen und zugeordneten Charakteristika, die hilfreich für das Verstehen der Probleme mit Korrelatoren nach dem Stand der Technik bei Live-Bildern ist, die vergleichsweise gleichförmig sind;
Fig. 3 ist ähnlich Fig. 2 mit der Ausnahme, daß es die durch die vorliegende Erfindung erreichte Verbesserung illustriert;
Fig. 4 ist ein Funktionsblockdiagramm einer Hardware zur Ausführung der Lehre der vorliegenden Erfindung gemäß einer bevorzugten Ausführungsform; und
Fig. 5 ist hilfreich für das Verständnis des Zugriffs auf das Korrelationsvideo in den Bildrahmen speichern während des Konvolutionsprozesses.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM DER ERFINDUNG

Nahezu alle Korrelatoren arbeiten aufgrund der Prämisse, daß das Referenzbild ein Teilbild eines größeren Bildes bildet, das Live-Bild genannt wird. Es ist die Funktion des Korrelators den Teil des Live-Bildes zu lokalisieren, der dem Referenzbild am nächsten kommt. Der Korrelator führt diese Funktion durch aufeinanderfolgendes Überlagern des Referenzbildes und des Live-Bildes mit unterschiedlichen Versetzungen und Errechnen eines Maßes für die Ähnlichkeit bei jeder Versetzung durch. Das Ähnlichkeitsmaß wird Korrelationsfunktion genannt. Die Position des globalen Maximums der Korrelationsfunktion ergibt eine bestmögliche Abschätzung der Verschiebung zwischen dem Referenzbild und dem Live-Bild.
Die Zweistufen-Korrelationsfunktion wird durch Akkumulation der Zahl der Bildelemente der beiden Bilder entwickelt, deren Polarität übereinstimmt, wie dies in Fig. 1 gezeigt ist. Hierbei ist zu beachten, daß jedes in dem Abgleichprozeß verwendete Bildelement mit der gleichen Gewichtung versehen wird. In denjenigen Bildelementen, in denen die Signalstärke kleiner als das Rauschen ist, wird die dem Bildelement zugeordnete Polarität durch die Polarität des Rauschens bestimmt. Diese Bildelemente weisen mit gleicher Wahrscheinlichkeit eine positive oder negative Polarität auf. Da das Rauschen von einem Bild zum andern unabhängig ist, stimmen die durch Rauschen dominierten Referenzbildelemente mit gleicher Wahrscheinlichkeit mit den entsprechenden Bildelementen in dem Live-Bild überein oder nicht überein. Statistisch tragen diese Bildelemente nicht zur Größe des Korrelationsspitzenwerts bei, sondern vergrößern die Streubreite oder der die Fluktuation des Spitzenwertes. In gleichförmigen Bildszenen, bei denen der Großteil der Referenzbildelemente durch das Rauschen dominiert wird, wie dies in Fig. 2 gezeigt ist, können die Fluktuationen des Spitzenwerts im Vergleich zu dem Hauptspitzenwert so groß sein, daß die Spitzenwertposition der Korrelationsfunktion nicht mehr die wahre Verschiebung bzw. Versetzung zwischen den zwei Bildern anzeigt.
Der maskierbare Zweistufenkorrelator gemäß der vorliegenden Erfindung löst das Problem mit gleichförmigen Bildszenen in einer konzeptuell sehr einfachen Art und Weise. Es wird davon ausgegangen, daß die durch Rauschen dominierten Bildelemente die Fähigkeit des Korrelators zum Korrelieren verschlechter, da sie nicht zur Verstärkung der Größe des Korrelationsspitzenwertes beitragen, sondern seine statistische Fluktuation erhöhen. Daher müssen sie von dem Korrelationsprozeß ausgeschlossen werden. Anstatt jedes Bildelement in dem Referenzbild in dem Korrelationsprozeß zu verwenden, ignoriert es die durch Rauschen dominierten Bildelemente. Dies geschieht dadurch, daß ein Paar von Schwellenwerten errechnet werden, die bei kσ um die mittlere Gradientenamplitude der Eingangsbildszene platziert sind (k ist eine Konstante, typischerweise im Bereich von 1 bis 2 und σ ist die Standardabweichung des Rauschens in dem Bild). Diejenigen Referenzbildelemente mit einer Größe zwischen den Schwellenwertpaaren besitzen ein niedriges Signal/Rauschverhältnisse und werden Aus-maskiert. Referenzbildelemente mit einer Stärke außerhalb der durch das Schwellenwertpaar signalbegrenzten Region besitzen ein gutes Signal/Rauschverhältnis und werden nicht maskiert. Im Effekt werden nur unmaskierte Bildelemente in dem Korrelationsprozeß verwendet.
Der Prozeß des Maskierens ist in Fig. 3 illustriert, wo eine "0" ein Bildelement bezeichnet, das Aus-maskiert wurde. In dem Korrelationsprozeß werden die maskierten Bildelemente ignoriert. Das Ignorieren der maskierten Bildelemente wird bezeichnend eines jeden Bildelements mit einem Maskierungsbit und einem Polaritätsbit bewerkstelligt. Das Polaritätsbit bezeichnet die Polarität der Polarität. Das Maskierungsbit nimmt den Wert "0" für maskierte Bildelemente und den Wert "1" für unmaskierte Bildelemente an. In dem Konvolutionsprozeß werden die Polaritätsbits wie bei dem Zweistufenkorrelator unter Verwendung einer "ausschließenden-NOR-Funktion verglichen. Das Ergebnis des ausschließenden NOR ist eine "1" für übereinstimmende Polarität und eine "0" für das Fehlen von Koinzidenz. Der Ausgang des "ausschließenden-NOR" wird dann logisch mit dem Maskierungsbit des Referenzbildelementes UND-verknüpft. Für ein Pixel mit dem Maskierungsbit "0" wird der Ausgang der UND-Funktion immer "0" sein, unabhängig von der Polaritätsübereinstimmung der miteinander verglichenen Bildelementpaare. Wenn das Maskierungsbit eine "1" ist, ist der Ausgang eine "1", wenn die Polaritäten übereinstimmen. Fig. 3 illustriert die Korrelationsfunktion, die sich ergibt, wenn der maskierbare Zweistufenkorrelator die gleiche Wellenform wie in Fig. 2 verarbeitet. Es sei darauf hingewiesen daß der Zweistufenkorrelatorspitzenwert in Fig. 2 die falsche Versetzung angezeigt hat, während der maskierbare Zweistufenkorrelator nach Fig. 3 zu dem korrekten Ergebnis führt.
Durch das Maskieren schafft es der maskierbare Zweistufenkorrelator die Arbeitsbereichsgrenzen in Richtung von Bildszenen zu verschieben, die für Zweistufenkorrelatoren zu gleichförmig sind.
Ein zweiter Vorteil des maskierbaren Zweistufenkorrelators ist seine Fähigkeit Teile von Bildern auszugrenzen, die reich im Detail sind und daher gute Referenzbilder darstellen. Das Maskierungsbit markiert jedes Bildelement entsprechend seinem Signal/Rauschverhältnis (d. h. diejenigen mit einem Maskierungsbitwert von "1" besitzen ein gutes Signal/Rauschverhältnis, währen diejenigen mit dem Wert "0" ein niedriges Signal/Rauschverhältnis besitzen). Die Leistung der Korrelation verbessert sich allgemein monoton mit der Anzahl von Signal-dominierten Bildelementen in dem Referenzbereich. Bei den meisten praktischen Korrelatoren, die für die Führung von Fahrzeugen verwendet werden, werden die Referenzbilder aus "Live-Bildern" extrahiert und mit aufeinanderfolgenden Bildern in einer Bootstrap-Manier korreliert. Die Größe der Referenzzellenbereiche ist verglichen zu den Dimensionen des Live-Bildes aus der sie extrahiert werden klein. Typischerweise kann das Referenzbild 1 bis 2% der Größe des Live-Bildes aufweisen. Es besteht daher ein Freiheitsgrad dahingehend wo das Live-Bild durch die Referenzzelle abgetastet wird. Bei jedem Bildelement wird die Dichte der unmaskierten Bildelemente errechnet und in einem RAM gespeichert. Orte mit der höchsten Dichte unmaskierter Bildelemente stellen gute Referenzbereiche dar.
Eine dritte Verwendungsmöglichkeit des maskierbaren Zweistufenkorrelators besteht in der Bestimmung der "Gestörtheit" einer Bildszene für die Verwendung in Multimode-Signalprozessoren. Bei vielen Anwendungen läßt sich der Signalverarbeitungsalgorithmus hinsichtlich des Inhalts der Bildszenen anpassen bzw. adaptieren. Die Zahl der unmaskierten Bildelemente in dem Bild stellt ein Maß für die "Gestörtheit" einer Bildszene dar. Eine hohe Dichte von unmaskierten Bildelementen zeigt global, daß die Bildszene eine hohe Dichte großer räumlicher Gradienten aufweist. Dieser Zustand impliziert, daß die Bildszene räumlich inhomogen ist und eine starke Variation hinsichtlich der Intensität aufweist und daher "gestört" ist. Es zeigt auch an daß die Szene stark korrelierbar ist. Dieses Wissen über die "Gestörtheit" der Bildszene kann als Eingangsvariable für die adaptive Auswahl der Signalverarbeitungsalgorithmen gewählt werden.
Der maskierbare bzw. maskierende Zweistufenkorrelationsmethode der vorliegenden Erfindung kann Hardware-mäßig auf vielerlei Arten implementiert werden. Nachfolgend beschriebene Wahl wurde ausgewählt, um eine maximale Flexibilität bei herkömmlichen Systemanwendungen bereitzustellen.
Ein solches Korrelatorsystem ist in Fig. 4 gezeigt. Es besteht aus dem Rahmen und Speicher- und Datenstapel-Netzwerk 12, dem Zwischenspeicher-RAM 20, dem Zwischenspeicheradressgenerator 22, der Arithmetik 24 und den Zeitsteuer- und Steuerschaltkreisen 26. Die Funktionen dieser Subsysteme werden nachfolgend beschrieben.
Das Herz des Korrelators ist die Bitvergleichsfunktion (Falteinrichtung) 18. Diese Funktion wurde bereits als eine auschließende-NOR angewandt auf die Leistungs- und Referenzbilder gefolgt von der "UND-Funktion" mit dem Maskierungsbit des Referenzbildes. Unter Verwendung von DeMorgans Theorien kann jeder der mit den ausschließenden-NOR und der UND-Funktion gekoppelten Eingänge mit anderen Kombinationen logische Elemente vertauscht werden, um die gleichen Ausgänge zu erhalten. Diese Änderung der logischen Elemente ermöglicht uns die Vorteile der heute erhältlichen Technologie zu nutzen. Die für das Breadboard-System gewählte Hardware-mäßige Umsetzung mit dem ausschließenden- ODER angewandt auf die Leit- und Referenzbilder über Gatter 17, gefolgt durch das NOR-Element mit dem Maskierungsbit der Referenz invertiert über Gatter 19 und Inverter 21. Der Ausgang dieses Schaltkreises führt zu dem gleichen Ergebnis wie das zuvor beschriebene Verfahren, eine "1" als Live- und Referenzbild hinsichtlich der Polarität mit der unmaskierten Referenz übereinstimmend und eine "0" andernfalls.
Ein Einzelbitvergleich, Hardware-mäßig genügsam, schränkt aufgrund der zeitlichen Beschränkungen die Fähigkeit der Falteinrichtung ein, große Referenzbereiche mit großem Suchbereichen zu korrelieren. Im vorliegenden Fall arbeitet das System mit 60 Hz mit einer Mehrzahl von Referenzen. Um den höheren Durchsatz zu bewerkstelligen, wird die Referenz in Zellen aufgeteilt, die 8 Bildelemente horizontal und 8 Zeilen vertikal umfassen (64 Bildelementpositionen im Bereich). Das 8·8-Format wurde gewählt, um die 8-Bit-Daten im Bereiche der erhältlichen RAM-Speichereinrichtungen zu nutzen. Die Bit-Falteinrichtung wird aufgeweitet, um 64 Live- Bildelemente, 64 Referenzbildelement und 64 Maskierungsbits zu akzeptieren.
Das Videosignal von dem Vorverarbeitungsschaltkreis 30 besteht aus einem Polaritätsbit und einem Maskierungsbit, das jeder Bildelementposition entsprechend dem zuvor erwähnten Differenzierungs- und Schwellenwertprozeß zugeordnet worden ist. Kurz gesagt umfaßt der Vorverarbeitungsschaltkreis 30 geeignete Einrichtungen und Mittel wie bekannte Analog/Digital-Wandler, um das rohe Analogsignal von dem Sensor in ein digitales Graustufenbild zu digitalisieren. Ein Gradientenprozessor bearbeitet dieses digitale Graustufenbild, um ein Gradientenbild zu erzeugen, bei dem jeder Bildelementwert eine Funktion des räumlichen Gradienten oder der Differenz zwischen benachbarten Bildelementwerten ist. Die vorliegende Erfindung arbeitet vorzugsweise mit solchen Gradientenbildern, um die Polaritäts- und Maskierungsbits für jede Bildelementposition zu erzeugen. Falls der Wert des Gradientensignals bei einer vorgegebenen Bildelementposition über- oder unterhalb einem positiven bzw.
negativen Schwellenwert kσ ist, wird dem Maskierungsbit ein digitaler 1-Wert zugeordnet. Andernfalls wird dem Maskierungsbit ein digitaler 0-Wert für diese Bildelementposition zugewiesen. Das Polaritätsbit ist eine Funktion der Polarität der Amplitude des Gradientensignals bei einer vorgegebenen Bildelementposition. Falls die Amplitude positiv ist, dann wird dem Polaritätsbit ein digitaler Wert einer "1" zugewiesen, während dem Polaritätsbit bei dieser Bildelementposition ein digitaler Wert einer "0" zugewiesen wird, wenn der Gradientensignalwert negativ ist. In dieser Ausführungsform wird das Referenzbild durch Ausführungen dieses Differentiations- und Schwellenwertprozesses und Speichern der resultierenden Daten in dem Zwischenspeicher-RAM 20 erreicht, wo es später mit Live-Bildern verglichen werden kann, die aus nachfolgend in gleicher Weise erzeugten Bilddaten bestehen.
Das in gleicher Weise vorverarbeitete Leit-Signal (Maskierung plus Polarität) wird über ein Schieberegister 34 in einem Einzelbildspeicher-RAM 32 gespeichert. Ein Einzelbildspeicher wird verwendet, um das Bild einzufangen, so daß eine Vielzahl von Zellen über das ganze Bild mit einer Falteinrichtung in einer zeitlich nacheinander ablaufenden Art und Weise gefaltet werden können. Echtzeitfaltung von Videosignalen ohne Einzelbildspeicher würde generell eine Falteinrichtung für jede Zelle in dem Referenzbild erfordern, oder würde eine einzelne Falteinrichtung mit nicht überlappenden Referenzsuchorten erfordern. Ein zweifacher Einzelbildspeicher wird nach Ping-Pong-Art genutzt, um eine Echtzeitbetriebsweise zu erreichen. Ein Satz von Einzelbildspeicherelementen wird durch den Vorprozessor 30 beschrieben, während der zweite Satz durch den Korrelator 10 genutzt wird. Das Schieberegister 34 am Eingang des Einzelbildspeicher-RAM 32 wird verwendet, um die Daten in Form von 8-Bit-Worten für den parallelen Zugriff durch die Falteinrichtung zu stapeln.
Der Korrelator 10 extrahiert Daten aus dem Einzelbildspeicher-RAM 32 anhand von Adressausgaben aus dem Einzelbildspeicher-Adressgenerator 14 und gibt diese Daten durch den Selektor 16 weiter. Der Adressgenerator 14 umfaßt X- und Y- Adressen (über die Zähler 36 bzw. 38), die die horizontale und vertikale Richtung der Abtastung der Referenzbilder darstellen. Die Adresse auf der X-Achse ist ein "Bit-Ort", die unteren drei Adreßzeilen werden durch den Datenselektor verwendet, um die Eingangsdaten zu der Falteinrichtung auszurichten, die unteren drei Adreßzeilen werden durch den Datenselektor genutzt um die Eingangsdaten zu der Falteinrichtung auszurichten. Die Y-Adresse ist die Videozeilenlokalisierung. Zwei aufeinanderfolgende 8-Bit-Datenworte werden abgerufen, dann gemischt, um sie auf den richtigen Bit- Ort auszurichten. Fig. 5 zeigt diesen Prozeß in funktioneller Hinsicht.
Der Datenselektor 16 besteht aus zwei Registern 33 und 35 und einem Multiplex-Selektorschaltkreis 39. Wie in Fig. 5 gezeigt ist, erfordert der Selektor 16 zwei Zugriffe auf den Einzelbildspeicher um ein 8-Bit-Byte zu erhalten, das dann zu der Falteinrichtung ausgegeben wird. Bei dem ersten Zugriff zu dem Einzelbildspeicher werden die 8-Bit-Daten in dem Register 33 zwischengespeichert. Die Daten von dem zweiten Zugriff werden in dem Register 35 zwischengespeichert. Die zwei Register halten die Daten stabil, während der Multiplexselektor 39 sie hinsichtlich der richtigen Bit-Orte bzw. Bit-Lokalsierungen ausrichtet. Während dieser Zeit wird der nächste Zugriff auf den Einzelbildspeicher initiiert. Ein Multiplexer bzw. Mux 41 wird zur Steuerung des Ping-Pong-Einzelbildspeicher-RAM 32 verwendet. Es ist ein Satz von Multiplexern für jeden der zwei Speicher vorgesehen, die in dem Einzelbildspeicher enthalten sind. Die Multiplexer wählen aus welche Adreß- und Steuerleitungen bzw. -zeilen zu den Einzelbildspeicherelementen eingegeben werden. Während eines jeden einzelnen Feldvideosignals wählt der Mux 41 den Einzelbildspeicheradreßgenerator 14 für eines der Einzelbildspeicherelemente aus und die Videoadreßeingabe für die andere. Das ändert sich für jedes Feld, was zu der benötigten Ping-Pong-Arbeitsweise der Einzelbildspeicherelemente führt.
Die durch das Einzelbildspeicher-RAM 32 ausgewählten 8-Bit- Lehrdaten zu den Live-Speicherregistern der Falteinrichtung eingegeben. Es ist durch 8-Bit-Schieberegister realisiert (eines davon ist mit 40 bezeichnet). Diese Register werden dazu verwendet um die Eingangsdaten in den 8·8-Format einer Zelle zu stapeln und um die 64 Bildelemente der Falteinrichtung zuzuführen. Diese Sektion umfaßt auch ein 64-Bit- Referenzregister 42 und 64-Bit-Maskierungsregister 44, die jeweils aus dem Zwischenspeicher-RAM 46 mit vier 16-Bit- Worten beschrieben werden. Diese drei 64-Bit-Register bilden die Eingabe für die Bit-Vergleiche der Falteinrichtung. Die 64-Bit-Vergleiche werden wie bereits oben erwähnt durch die Falt-Gatter 17 und 19 bewerkstelligt. Ein Summiernetzwerk 23 ist der Falteinrichtung nachgeschaltet, um die Zahl der Übereinstimmungen (1's) aus den Bit-Vergleichen zu addieren und um einen Ausgang bereitzustellen, der eine Funktion der Korrelation von Live- und Referenzbildern ist, die die Schwellenwerte durchlaufen haben. Insbesondere wird der Summierer 23 einen Spitzenwert aufweisen, wenn das Live-Bild mit dem Referenzbild korreliert (siehe z. B. Fig. 1).
Das Falt- und Summiernetzwerk versorgt die Arithmetikeinheit 24, die einen Multiplexer 43, ein Register 45 und ein Arithmetiklogikeinheit 47 umfaßt. Die Arithmetikeinheit wird zum Akkumulieren von Korrelationsflächen zum Akkumulieren unmaskierter Bildelementflächen und zum Addieren oder Substrahieren partieller Korrelationsflächen verwendet.
Das Zwischenspeicher-RAM 20 ist der Speicherort für alle Variablen und Daten die von der Korrelator-Hardware benötigt werden. Diese Daten werden folgendermaßen definiert:
1. Der Referenzspeicher - eine Mehrzahl von 8·8- Referenzzellen werden in aufeinanderfolgenden Speicherbereiche gepackt.
2. Maskierungsspeicher - eine Mehrzahl von 8·8- Maskierungszellen die jedem der Referenzen entsprechen, werden in dem gleichen Format wie ihre zugehörigen Referenzen gespeichert.
3. Flächenspeicher - zweidimensionale Felder mit Konvolutionssummen, die die Korrelationsfläche einer Zelle oder einer Mehrzahl von Zellen darstellen.
4. Korrelierbare Regionen - zweidimensionale Felder, die die Summe unmaskierter Pixelelemente an jedem möglichen Referenzort darstellen.
5. Instruktionsspeicher - eine Liste mit Instruktionen und Konstanten die die Abfolge der Operationen des Korrelators der Anzahl der Zellen, der Plazierung der Zellen, des Suchbereiches und von Adressen definiert, die auf Datenspeicherbereiche zeigen.
Der Zwischenspeicher-Adreßgenerator 22 umfaßt einem RAM- Speicher 49, einen Multiplexer 51, ein Adreßregister 53 und einen Inkrementierer 55. Der Adreßgenerator ist für Beibehaltung der aktuellen Adressen für alle Prozesse verantwortlich, die zur Zeit in dem Korrelator ablaufen. Das RAM 49 ist eine 16·16-Wort-Speichereinrichtung die Adreßzeiger enthält, die auf Zwischenspeicherorte zeigen. Die Daten des RAM 49 sind folgende:
0 - Programmzähler
1 - Tabellenadresse für die Faltfreigabe
2 - Tabellenadresse für den Spitzenwert
3 - Tabellenadresse für die Suchgröße
4 - Tabellenadresse für den Zellenort
5 - Zellenmaskierungsadresse
6 - Zellenreferenzenadresse
7 - Tabellenadresse der akkumulierten Maskensumme
8 - Flächentabellenadresse
9 - Tabellenadresse der Auffrischungsfreigabe
10 - Auffrischungstabellenadresse
11 - Temporäre Adresse
12 - Temporäre Adresse
13 - Temporäre Adresse
14 - Temporäre Adresse
15 - Temporäre Adresse
Der erste Orte bzw. Bereich in dem RAM 49 ist die Adresse für die nächste Instruktion bzw. für den nächsten durch den Korrelator auszuführenden Befehl. Die Bereiche 1 bis 10 enthalten Adressen zu den benötigten Informationen, wie sie während eines Korrelationsbefehls verwendet werden. Diese Adressen werden durch den Inkrementierer 55 inkrementiert, so daß sie immer auf den nächsten Adreßbereich für die gültigen Daten zeigen. Die Bereiche 11 bis 15 werden als temporäre Adreßbereiche für Datenmanipulationsinstruktionen zum Addieren, Subtrahieren, Bewegen oder Löschen von Korrelationsflächendaten verwendet. Mux 51 selektiert die dem RAM 49 einzugebenden Daten. Wenn die Daten in dem RAM für eine neue Korrelation erneuert werden, wählt der Mux 51 Daten aus dem Zwischenspeicher/RAM 20 aus. Während des Ausführens der Korrelationsinstruktionen wählt der Mux 51 Daten von dem Inkrementierer 55 aus, um die Parameteradressen lokal auf dem neuesten Stand zu bringen. Während des Update-Schreibens mit dem neuerlich inkrementierten Wert von dem Inkrementierer 45 hält das Adreßregister 53 eine stabile Adresse für das Zwischenspeicher-RAM 20. Die Auswahl eines automatisch korrelierbaren Bereichs wird durch Akkumulation einer Fläche bewerkstelligt, die aus einer Anzahl von unmaskierten Bildelementen an jedem Zell- oder Regionsort in dem Feld besteht. Eine große Zahl von unmaskierten Pixelelementen entspricht einem Bereich der reich an räumlichen Gradienten ist. Eine in dem Korrelator implementierte Spitzenwert-Detektionsinstruktion wird verwendet, um die "n" höchsten Spitzenwerte bzw. Maxima innerhalb einer lokal spezifizierten Region aufzufinden (z. B. Quadranten des Bildfeldes). Die Koordinaten von dem Spitzenwertdetektor zeigen die am besten korrelierbaren Regionen.
In Fig. 4 wird diese Funktion durch Ausführung einer Korrelation der Masken-Bits der Live-Bildszene durchgeführt. Das RAM 32 wird angewählt, um Maskierungs-Bits auszugeben (in der gleichen Weise wie dies zum auf dem neuesten Stand bringen der Zellenreferenzmaskierungen notwendig ist). Der Datenselektor 16 richtet die Daten in der vorhergehend beschriebenen Weise aus und gibt sie zu der Falt- und Summiereinrichtung 10 aus. Ein Register 40 stapelt die Maskierungsbits in einer 8·8-Zellen-Konfiguration für die 64-Bit- Faltung. Für die Maskierungsakkumulation wird das Referenzregister 42 auf Null gelöscht, wodurch die Maskierungsbits mit Null verglichen werden ("0" ist der Zustand eines unmaskierten Bildelements) und das Maskierungsregister 44 wird auf Null gelöscht, was anzeigt, daß keine maskierten Bildelemente in der Faltung sind. Der Ausgang des Gatters 19 ist für jedes unmaskierte Bildelemente eine "1" und der Ausgang des Summierers 23 ist die Anzahl der unmaskierten Bildelemente innerhalb einer 8·8-Bildelementregion oder - zelle. Falls die 8·8-Region über das gesamte Videofeld geführt ist, bildet die Arithmetikeinheit 24 eine zweidimensionale Fläche von unmaskierten Bildelementwerten die die Korrelierbarkeit innerhalb des Bildfeldes anzeigen.

Claims

1. In einem Verfahren zum Korrelieren von zwei Eingangssignalen, die mit einem aktuellen Bild bzw. mit einem Live- Bild und einem Referenzbild in Zusammenhang stehen, umfaßt die Verbesserung die Schritte:

a) Verarbeiten des Referenzbildes, um ein Polaritätsbit und ein Maskierungsbit für jede darin enthaltene Bildelementposition bereitzustellen, wobei der Wert des Maskierungsbits einen digitalen Status aufweist, der einen Aus- Zustand definiert, falls die Amplitude des Signals zwischen zwei vorgewählten Schwellenwertpegeln zu liegen kommt, und einen entgegengesetzten Status innehat, der einen Ein-Zustand definiert, falls die Amplitude außerhalb der Schwellenwertpegel liegt, und wobei der Wert des Polaritätsbits einen digitalen Status aufweist, falls die Amplitude positiv ist, und den entgegengesetzten Status aufweist, falls die Amplitude an dieser Bildelementposition negativ ist;

b) Verarbeiten des Live-Bildes, um ein Polaritätsbit für jede darin enthaltene Bildelementposition bereitzustellen, wobei der Wert des Polaritätsbits einen digitalen Status aufweist, falls die Amplitude positiv ist, und einen entgegengesetzten Status aufweist, falls die Amplitude an dieser Bildelementposition negativ ist; und

c) Verwenden der verarbeiteten Referenz- und Live-Signale, um durch Akkumulation der Zahl der Übereinstimmungen der Polaritätsbits der verarbeiteten Referenz- und Live-Signale eine Korrelationsausgabesumme zu erzeugen, wodurch verhindert wird, daß diejenigen Bildelemente zur Korrelationsausgabesumme beitragen, deren zugehöriges Maskierungsbit einen Aus-Zustand anzeigt.

2. Das Verfahren nach Anspruch 1, worin Schritt b) das Messen der Dichte von Maskierungsbits umfaßt, die den Ein- Zustand definieren; und

das Verwenden der Bereiche in dem Referenzbild zum Korrelieren mit dem Live-Bild umfaßt, deren Dichte an solchen Maskierungsbits am höchsten ist.

3. Das Verfahren nach Anspruch 1 oder 2, worin die Polaritätsbits durch ein AUSSCHLIESSENDES-ODER-Gatter geführt werden.

4. Das Verfahren nach Anspruch 3, worin der Ausgang des AUSSCHLIESSENDEN-ODER-Gatters mit einem Eingang eines NOR- Gatters gekoppelt wird und ein anderer Eingang des NOR-Gatters zum Empfang des Maskierungsbits des Referenzsignals verschaltet wird.

5. Das Verfahren nach Anspruch 4, worin der Ausgang des NOR-Gatters mit einem Summierer gekoppelt wird, um die Anzahl logischer Einsen aus dem NOR-Gate aufzusummieren, wobei der Summierer ein Ausgangssignal bereitstellt, das einen Spitzenwert zeigt, wenn das Live-Bild mit dem Referenzbild korreliert.

6. Vorrichtung (10) zum Korrelieren von zwei Eingangssignalen, die mit einem aktuellen Bild bzw. mit einem Live- Bild und einem Referenzbild in Zusammenhang stehen, mit:

einer Einrichtung zum Verarbeiten des Referenzbildes, um ein Polaritätsbit und ein Maskierungsbit für jede darin enthaltene Bildelementposition bereitzustellen,

wobei der Wert des Maskierungsbits einen digitalen Status aufweist, der einen Aus-Zustand definiert, falls die Amplitude des Signals zwischen zwei vorgewählten Schwellenwertpegeln zu liegen kommt, und einen entgegengesetzten Status innehat, der einen Ein-Zustand definiert, falls die Amplitude außerhalb der Schwellenwertpegel liegt, und wobei der Wert des Polaritätsbits einen digitalen Status aufweist, falls die Amplitude positiv ist, und einen entgegengesetzten Status aufweist, falls die Amplitude an dieser Bildelementposition negativ ist;

einer Einrichtung (30) zum Verarbeiten des Live-Bildes, um ein Polaritätsbit für jede darin enthaltene Bildelementposition bereitzustellen, wobei der Wert des Polaritätsbits einen digitalen Status aufweist, falls die Amplitude positiv ist, und einen entgegengesetzten Status aufweist, falls die Amplitude an dieser Bildelementposition negativ ist; und

einer Einrichtung (18) zum Erzeugen einer Korrelationsausgabesumme aus den verarbeiteten Referenz- und Live- Signalen durch Akkumulation der Zahl der Übereinstimmungen der Polaritätsbits der verarbeiteten Referenz- und Live-Signale, wodurch verhindert wird, daß diejenigen Bildelemente zur Korrelationsausgabesumme beitragen, deren zugehöriges Maskierungsbit einen Aus-Zustand anzeigt.

7. Vorrichtung nach Anspruch 6, weiter aufweisend:

eine Polaritätsbitspeichereinrichtung (20; 42) zum Speichern der Polaritätsbits des Referenzbildes;

eine Maskierungsbitspeichereinrichtung (20; 44) zum Speichern der Maskierungsbits des Referenzbildes.

8. Vorrichtung nach Anspruch 6 oder 7, mit:

einem AUSSCHLIESSENDEN-ODER-Gatter (17), von dem ein Eingang mit der Speichereinrichtung für das Referenzpolaritätsbit verbunden ist und von dem ein anderer Eingang zum Empfang des Polaritätsbits des Live-Bildes geschaltet ist;

einem logischen NOR-Gatter (19), von dem ein Eingang mit dem Ausgang des AUSSCHLIESSENDEN-ODER-Gatters gekoppelt ist und von dem ein Eingang über einen Inverter (21) mit der Speichereinrichtung für das Referenzmaskierungsbit gekoppelt ist; und

einer Summiereinrichtung (23), die mit dem Ausgang des NOR-Gatters gekoppelt ist, um die logischen Einsen daraus zu akkumulieren, die die Zahl der unmaskierten Polaritätsbitübereinstimmungen zwischen dem Live- und Referenzbildern anzeigen.