DE3740066C1

DE3740066C1 - Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes

Info

Publication number: DE3740066C1
Application number: DE3740066A
Authority: DE
Inventors: Udo Dr Peters
Original assignee: Messerschmitt Bolkow Blohm AG
Current assignee: Airbus Defence and Space GmbH
Priority date: 1987-11-26
Filing date: 1987-11-26
Publication date: 1989-03-23
Also published as: GB8827471D0; GB2213017A; FR2623927B1; FR2623927A1; GB2213017B

Description

Die Erfindung betrifft eine Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes gemäß dem Oberbegriff des Patentanspruchs 1.

Das Auffinden der Position eines gegebenen Bildausschnittes in einem größeren Bild ist ein wichtiges Problem der Bildverarbeitung. Diese als Bildlokalisierung bezeichnete Aufgabe läßt sich auf verschiedene Arten lösen. Die wichtigsten Verfahren beruhen auf der Kreuzkorrelation und der Bestimmung von Fehlergrößen. Siehe Buch D. Casasent: Optical Data Processing, Chap. 1, Basic Concepts, Springer Verlag, Berlin, Heidelberg, New York 1978. Für beide Verfahren sind aus der Literatur zahlreiche Modifikationen und Verfeinerungen bekannt. Unter gewissen Vorraussetzungen lassen sich diese Verfahren jedoch ineinander umrechnen und führen daher zu vergleichbaren Ergebnissen.

Im folgenden wird zunächst von ortsdiskreten Bildern ausgegangen, die durch Pixel beschrieben werden können. Zur Vereinfachung wird bis auf weiteres angenommen, daß auch die Verschiebungen der Bilder untereinander zunächst nur ganze Pixel (Bildelemente) betragen.

Gegeben sind zwei rechteckige Bilder B und R, die durch ihre Grauwerte B (i,j) und R (i,j) an den diskreten Punkten mit den Koordinaten i und j dargestellt werden, wobei gilt:

B (i,j) = 0 falls i < 0 oder i < n _bi oder j < 0 oder i < n _bj
R (i,j) = 0 falls i < 0 oder i < n _ri oder j < 0 oder j < n _rj (1)

Das Bild R stellt einen kleineren Ausschnitt aus dem Bild B im gleichen Maßstab dar. Es gilt also

n _bi < n _ri und
n _bj < n _rj (2)

Es sei jedoch zugelassen, daß die Grauwerte R (i,j) des Bildes R sich von den entsprechenden Grauwerten B (i,j) des Bildes B durch eine additive Störung N (i,j) unterscheiden. Mit der tatsächlichen Verschiebeposition i _vt und j _vt in Spalten- und Zeilenrichtung ergibt sich:

R (i,j) = B (i + i _vt,j + j _vt) + N (i + i _vt,j + j _vt) (3)

Eine optimale Lokalisierungsstrategie liefert den Verschiebungsvektor [i _vo,j_vo], der unter allen möglichen zulässigen Verschiebungsvektoren [i _v,j_v] der wahrscheinlichste ist.

Für die bedingten Wahrscheinlichkeiten p(a/b) gilt also bei einer optimalen Strategie:

p ([i _vo,j_vo] = [i _vt,j_vt]/B,R) < p ([i _v,j_v] =[i _vt,j_vt]/B,R) (4)
mit [i _v,j_v] ≠ [i _vo,j_vo]

Dazu müssen alle bedingten Wahrscheinlichkeiten p ([i _v,j_v] = [i _vt,j_vt]/B,R) bestimmt werden, die ausdrücken, mit welcher Wahrscheinlichkeit die Verschiebung [i _v,j_vt] mit der tatsächlichen Verschiebung [i _vt,j_vt] übereinstimmt, unter der Voraussetzung, daß die Bilder B und R vorliegen.

Mit dem Bayes-Theorem läßt sich diese Gleichung umformen:

p (B,R/[i _vo,j_vo] = [i _vt,j_vt]) · p ([i _vo,j_vo] = [i _vt,j_vt])/p (B,R) < p (B,R/[i _v,j_v] = [i _vt,j_vt]) · p ([i _v,j_v] = [i _vt,j_vt])/p (B,R) (5)
mit [i _v,j_v] ≠ [i _vo,j_vo]

Für den Fall, daß alle Verschiebepositionen die gleiche a-priori-Wahrscheinlichkeit aufweisen oder daß keine Information über diese Wahrscheinlichkeiten vorliegen, und sie daher als gleich angenommen werden, ergibt sich:

p (B,R/[i _vo,j_vo] = [i _vt,j_vt]) < p (B,R)/[i _v,j_v] = [i _vt,j_vt]) (6)
mit [i _v,j_v] ≠ [i _vo,j_vo]

Bezeichnet man die Differenz zwischen dem um [i _v,j_v] verschobenen Bild R (i -i _v,j -j _v) und dem Bild B (i,j) mit

N (i,j)[i _v,j_v] = R (i -i _v,j -j _v) - B (i,j) (7)

so erhält man für die in Gl. 6 benötigten Wahrscheinlichkeiten:

p (B,R/[i _v,j_v] = [i _vt,j_vt]) = p (N(i,j) = (N i,j)[i _v,j _v]) (8)

Die Berechnung dieser Wahrscheinlichkeiten ist in der Regel nur unter gewissen Voraussetzungen möglich. Falls die Störungen Ni,j), die nach Gl. 7 definiert sind, örtlich unkorreliert sind und eine Gauß'sche Wahrscheinlichkeitsdichtefunktion aufweisen, läßt sich die optimale Lokalisierungsstrategie nach Gl. 6 unter Verwendung von Gl. 8 angeben. Nach einer Logarithmierung und nach Weglassen gleicher Terme auf beiden Seiten der Ungleichung erhält man:

Führt man analog zu Gl. 7 ein Bild Ri,j)[iv,jv] ein, wobei gilt

so erhält man durch einige Umformungen und Weglassen gleicher Terme auf beiden Seiten der Ungleichung aus Gl. 9:

Diese beiden bekannten Gleichungen - die Bestimmung von Fehlergrößen nach Gl. 9 und die Korrelationsgleichung 11 - liefern jedoch nur unter den oben angegebenen strengen Voraussetzungen eine optimale Lokalisierung.

Durch ein ortsdiskretes Filter, mit dem das Bild B (i,j) und das Teilbild R (i,j) gefiltert wird, läßt sich die Korrelation der Grauwerte der Störungen verändern. Ein solches Filter, das die vorhandenen Korrelationen vollständig beseitigt, wird Dekorrelationsfilter genannt. Die Bestimmung der Filterkoeffizienten ist jedoch nur möglich, falls die statistischen Kenngrößen der Störung Ni,j) bekannt sind. Dies ist jedoch aus Kausalitätsgründen technisch nicht möglich. Bei den bekannten Verfahren mit festen ortsdiskreten Filtern (Vorverarbeitungsfilter) wird daher unter einer statistischen Annahme nur versucht, die örtlichen Korrelationen der Störungen zu vermindern. Das Ergebnis hängt jedoch stark vom Bildmaterial ab.

Aufgabe der Erfindung ist es eine Einrichtung zum Auffinden Lokalisieren eines Bildausschnittes in einem größeren Bild (Gesamtbild) anzugeben, mit dem eine größere Lokalisierungssicherheit erreicht wird, auch dann, wenn die Störungen, die nach Gl. 7 definiert sind, korreliert sind.

Mit der erfindungsgemäßen Lösung, wie sie in Anspruch 1 gekennzeichnet ist, wird auch bei unterschiedlichen Bildern für eine bessere Dekorrelation der Störungen gesorgt. In Unteransprüchen sind Weiterbildungen der Erfindung enthalten.

Im Gegensatz zu bekannten Einrichtungen erfolgt eine Bildlokalisierung mit normierter Korrelation mittels adaptiver Vorverarbeitung, wobei die Filterkoeffizienten in einem Rechner, dem Bildinhalt angepaßt, berechnet werden.

Dem Rechner ist eine Vorstufe zur näherungsweisen Bestimmung der Autokorrelationsfunktion der Störung zugeordnet. Bei dieser Bestimmung der Autokorrelation sowie der Bestimmung der Filterkoeffizienten kommt ein Rechenmodell (Algorithmus) zur Anwendung.

Nachfolgend sei zur Erläuterung das in der Vorstufe E des Rechners C - gemäß Fig. 1b und Fig. 2 "Bestimmung der Autokorrelation" - angewandte Rechenmodell sowie zum allgemeinen Verständnis die normierte Korrelation gemäß Fig. 3 vorgestellt.

Werden, wie meist der Fall, die beiden Bilder (Gesamtbild und Ausschnitt) von verschiedenen Aufnahmeeinheiten erzeugt, so unterscheiden sie sich auch zusätzlich durch einen multiplikativen (positiven) Faktor, der im folgenden berücksichtigt wird. Zudem ist es sinnvoll, aus den additiven Störungen eine Konstante so abzuspalten, daß die Energie der Störung N (i,j) minimiert wird.

Verwendet man die tatsächliche Verschiebeposition i _vt und j _vt, so erhält man analog zu Gl. 3:

Mit der Substitution

B′(i + i _vt,j +j _vt) = k _m · B (i +i _vt,j +j _vt) + k _a (13)

läßt sich die Lokalisierung im wesentlichen mit den im vorangegangenen Abschnitt beschriebenen Lokalisierungsalgorithmen nach Gl. 9 oder Gl. 11 durchführen, falls die Störungen N (i,j) eine Gauß'sche Wahrscheinlichkeitsdichtefunktion aufweisen und unkorreliert sind. In den vorhergehenden Gleichungen ist das Bild B (i,j) jeweils durch eine Schätzung B′′ (i,j) sowie das Bild Ri,j)[i _v,j_v] durch

zu ersetzen.

Bei einer Schätzung für das Bild B′′ (i,j) sind die Konstanten k _m und k _a in diesem Zusammenhang nicht immer von Interesse und werden hier nicht weiter betrachtet. Wie im folgenden gezeigt wird, läßt sich eine Schätzung auch aus den vorliegenden Bildern B′ (i,j) und R (i,j) gewinnen.

Der in Gl. 9 verwendete Ausdruck

ist ein Maß für die Energie der störenden Anteile. Mit dem Ansatz

B′′ (i,j) = c₁ · (B′ (i,j) - c₂) (16)

lassen sich durch partielles Differenzieren und anschließendes Nullsetzen die Konstanten c₁ und c₂ so bestimmen, daß die Energie nach Gl. 15 ein Minimum annimmt. Dabei darf die Summation nur über die Bildbereiche erfolgen, in denen das Bild R existiert.

Der lineare Mittelwert der Grauwerte hat bei diesem Modell keinen Einfluß auf die Lokalisierung. Es ist daher auch zulässig, das Bild R (i,j) vorher so zu normieren, daß der lineare Mittelwert gleich Null wird. Für diesen Fall vereinfachen sich die Gleichungen erheblich. Eine Näherungslösung läßt sich finden, falls die in Gl. 10 definierten Teilbilder R′′i,j)[i _v,j_v] in gleicher Weise wie das Bild R (i,j) normiert werden.

Als Normierung für das gewählte Modell bietet sich die Kombination zweier aufeinanderfolgender Normierungsstufen an. Im ersten Schritt wird der Gleichanteil der Grauwerte der Bilder beseitigt. Darauf werden beide Bilder jeweils mit einem Faktor multipliziert. Dieser Faktor bewirkt, daß beide Bilder die gleiche Energie aufweisen.

Fig. 3 zeigt das Blockschaltbild einer nach diesem Konzept arbeitenden Bildlokalisierung. In diesem Blockschaltbild wird davon ausgegangen, daß die Bestimmung der einzelnen Werte der Korrelationsfunktion bzw. der Fehlerfunktion in aufeinanderfolgenden Stufen erfolgt. Als gefundene Verschiebung i _vo,j_vo wird diejenige ausgegeben, zu der der größte Wert der Korrelationsfunktion bzw. der kleinste Wert der Fehlerfunktion gehört.

Das bisher vorgestellte bekannte Verfahren der normierten Korrelation läßt sich durch Vorverarbeitungsfilter verbessern, wobei die Lokalisierungshäufigkeit erhöht wird.

Bei der Bestimmung der Koeffizienten für ein festes Filter ist es jedoch von Nachteil, daß die Filterkoeffizienten nur für einen einzelnen Fall optimiert werden können. Ändern sich die statistischen Kenngrößen der Bilder in einer ungünstigen Weise, dann kann durch die Verwendung eines Vorverarbeitungsfilters die Lokalisierungsfehlerwahrscheinlichkeit oder Lokalisierungsgenauigkeit verschlechtert werden. Für die Filteroptimierung ist es daher erforderlich, eine sehr große Anzahl von repräsentativen Bildern zu verwenden.

Die Korrelation der Grauwerte untereinander läßt sich durch eine normierte zweidimensionale Autokorrelationsfunktion L _n (i,j) beschreiben:

Die Störungen N (i,j) sind dann unkorreliert, falls gilt: 1

Sind die Werte der normierten Autokorrelationsfunktion für i ≠ 0 oder j ≠ 0 von Null verschieden, so ist ein Dekorrelationsfilter zu verwenden, um eine bessere Lokalisierung zu erhalten.

Im folgenden wird davon ausgegangen, daß ein zweidimensionales Vorverarbeitungsfilter mit den Größen n _fi und n _fj in Spalten- und Zeilenrichtung verwendet wird. Die Filterkoeffizienten werden mit F (i,j) bezeichnet. Es gilt:

F (i,j) = 0 falls i < 0 oder i < n _fi oder j < 0 oder j < n _fj (19)

Eine Dekorrelation der Störung N (i,j) ist gleichbedeutend mit einer Minimierung der Störenergie E _nf der gefilterten Störung, für die gilt:

Durch partielles Differenzieren und Nullsetzen lassen sich die Filterkoeffizienten F (i,j) des Vorverarbeitungsfilters bestimmen, wobei ein Filterkoeffizient festgehalten werden muß, da für dieses Verfahren nur die Relationen zwischen den Filterkoeffizienten erforderlich sind. Bei der Bestimmung der Koeffizienten ergibt sich ein lineares Gleichungssystem, das relativ einfach gelöst werden kann.

Für die Berechnung eines Dekorrelationsfilters ist es erforderlich die statistischen Kenngrößen der Störung N (i,j) zu kennen. Diese Störung, die gemäß Gl. 3 bestimmt werden muß, kann nur dann angegeben werden, wenn eine richtige Lokalisierung durchgeführt wurde. Um die statistischen Kenngrößen bestimmen zu können, muß eine sehr große Zahl von Lokalisierungen ausgewertet werden.

Die Erfindung bezieht sich insbesondere auf ein adaptives Verfahren zur Bildvorverarbeitung. Dabei werden Schätzungen über die Autokorrelation der Störungen in Abhängigkeit vom Bildinhalt und dem jeweiligen Suchbereich durchgeführt.

Bei einem großen Suchbereich besteht die Annahme, daß die Störung nach Gl. 3 zu einem großen Teil aus dem negierten Bild besteht. Die Autokorrelation der Störung wird daher im wesentlichen mit der Autokorrelation des Bildes übereinstimmen. Bei einem großen Suchbereich kann die Autokorrelation gemäß Fig. 1b aus dem Bild B (i,j) näherungsweise bestimmt werden.

Für die Bestimmung der genauen Lokalisierung ist eine weitere Korrelation um den vorher gefundenen wahrscheinlichsten Lokalisierungspunkt erforderlich. Da dann die vorher genutzte Annahme über die Störungen nicht mehr gültig ist, ist nun eine Umschaltung auf ein festes ortsdiskretes Filter erforderlich, bei dem eine Bestimmung der festen Filterkoeffizienten aus einer statistischen Annahme über die Störungen erfolgt. Dieses Prinzip ist in Fig. 2 dargestellt. Alternativ kann statt zwei Filtern und einer Umschalteinrichtung auch nur ein variables Filter benutzt werden, wobei dann wahlweise entweder feste oder adaptive Filterkoeffizienten (nach Gl. 20 berechnete) geladen und verwendet werden.

Ausführungsbeispiele der Erfindung sind in den Fig. 1 bis 4 dargestellt. Es zeigt

Fig. 1a einen gesuchten Ausschnitt in einem größeren Bild;

Fig. 1b eine Bildlokalisation mit adaptiver Vorverarbeitung;

Fig. 2 eine Bildlokalisierung mit umschaltbarer adaptiver Vorverarbeitung;

Fig. 3 ein Blockschaltbild einer Bildlokalisierung;

Fig. 4 eine Bestimmung der normierten Werte der Autokorrelationsfunktion.

Die Erfindung bezieht sich insbesondere auf eine adaptive Bildvorverarbeitung zur teilweisen Dekorrelation.

Durch die Anwendung der Dekorrelation ergeben sich örtlich sehr scharf begrenzte Extremwerte in der Fehler- bzw. in der Korrelationsfunktion. Die Bestimmung der Extremwerte kann daher häufig erst nach Anwendung Interpolationsverfahrens erfolgen. Will man auf ein aufwendiges Interpolationsverfahren verzichten, so lassen sich durch Vorgabe einer Autokorrelationsfunktion der gefilterten Bilder Extremwerte der Fehler- bzw. Korrelationsfunktion in ihrer Form anpassen. In diesem Fall ist die Berechnung der Filterkoeffizienten erheblich aufwendiger. Durch die Faltung der aus Gl. 20 berechneten Koeffizienten mit einer Musterfunktion, die zu der gewünschten Korrelationsfunktion führt, läßt sich aber auch hier eine einfache Bestimmung der endgültigen Filterkoeffizienten erreichen.

Für eine Realisierung der Erfindung, die eine Bildlokalisierung in Videoechtzeit (< 1 sec) ermöglicht, sind möglichst einfache Strukturen zu verwenden. In dem hier vorgestellten Konzept wird durch eine schnelle, parallel arbeitende Hardware eine Lokalisierung mittels Vorverarbeitung und Korrelation in Videoechtzeit durchgeführt.

Bei Verwendung einer Vorverarbeitung wurde in diesem Beispiel ein Filter mit der Größe

n _fi = 1 (Werte in Spaltenrichtung)
n _ÿ = 5 (Werte in Zeilenrichtung)

jeweils optimiert. Bei der adaptiven Vorverarbeitung wurden jedoch nur drei Koeffizienten gemäß Gl. 20 bestimmt. Bezeichnet man diese Koeffizienten mit F′ (i,j), so erhält man folgendes Gleichungssystem:

Einer der drei zu bestimmenden Filterkoeffizienten kann frei gewählt werden, zum Beispiel:

F (1,1) = 1

Beachtet man die Symmetrieeigenschaften der Autokorrelationsfunktion

L _n (i,j) = L _n (i,-j)

und ihren Wert an der Stelle (0,0) nach Gl. 17

L _n (0,0) = 1,

so erhält man aus Gl. 21:

E _nf =
2 · L _n (0,2) · F′ (1,3)
	+ 2 · L _n (0,1) · (F′ (1,2) + F′ (1,2) · F′ (1,3))
	+ (1 + F′ (1,2)² + F′ (1,3)²)

Für die Bestimmung von F′ (1,2) ist diese Gleichung partiell nach F′ (1,2) zu differenzieren und nullzusetzen:

0 = 2 · L _n (0,1) + 2 · L _n (0,1) · F′ (1,3) + 2 · F′ (1,2)

Für die Größe F′ (1,3) ergibt sich in gleicher Weise:

0 = 2 · L _n (0,2) + 2 · L _n (0,1) · F′ (1,2) + 2 · F′ (1,3)

Aus diesem linearen Gleichungssystem ergibt sich:

F′ (1,1) = 1 (lt. Voraussetzung)
F′ (1,2) = L _n (0,1) · (L _n (0,2) - 1) / (1 - L _n (0,1)²)
F′ (1,3) = (L _n (0,1)² - L _n (0,2)) / (1 - L _n (0,1)²)

Gewünschtenfalls kann zu einer leichteren Maximumbestimmung der Korrelationswerte dieser Ergebnisvektor zusätzlich mit einem Formvektor gefaltet werden. Für die Koeffizienten des verwendeten Filters gilt dann:

F (1,1) = F′ (1,1)
F (1,2) = 2 · F′ (1,1) + F′ (1,2)
F (1,3) = F′ (1,1) + 2 · F (1,2) + F′ (1,3)
F (1,4) = F′ (1,2) + 2 · F′ (1,3)
F (1,5) = F′ (1,3)

Für die Bestimmung dieser Koeffizienten, die Bild für Bild neu bestimmt werden müssen, werden nur die Korrelationswerte L _n (0,1) und L _n (0,2) benötigt. Diese lassen sich in Videoechtzeit einfach bestimmen, wie das Blockschaltbild in Fig. 4 zeigt. Es wird dabei davon ausgegangen, daß die Bilddaten seriell zeilenweise übertragen werden. Durch eine Steuerung wird erreicht, daß die Summenbildung nur über die Punkte einer Zeile erfolgt. Die Steuerung ist in Fig. 4 enthalten.

In Fig. 4 sind sowohl der Bildausschnitt R (i,j) als auch das größere Bild oder Restbild B (i,j) (Gesamtbild - Ausschnitt = Restbild) in Teilbildspeichern T abrufbar. Die Multiplizierglieder sind mit M und die Addierer mit A bezeichnet, die Dividierstufen mit D. Die Addierer werden angesteuert von ihren zugeordneten Treibern.

Claims

1. Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes in einem Gesamtbild mit Hilfe einer Einrichtung zur Bildverarbeitung, in der in Zeilen und Spalten aufgeteilte Bildpunktsignale von optoelektronischen Wandlern verarbeitet werden, mit wenigstens einem Filter, dadurch gekennzeichnet, daß zur adaptiven Bildvorverarbeitung jedem Bildspeicher (Memo 1, 2) für

- das Gesamtbild (B (i,j)),
- das Teilbild oder Bildausschnitt (R (i,j)),

ein variables ortsdiskretes Filter (f) zugeordnet ist und beide Filter (f _v) mit einem Rechner (C) verbunden sind, in dem eine Berechnung der Filterkoeffizienten für jedes Bild aus den statistischen Kenngrößen der gefilterten oder ungefilterten Bilder erfolgt.

2. Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes nach Anspruch 1, dadurch gekennzeichnet, daß jedes variable ortsdiskrete Filter (f _v) entweder mit einem festen ortsdiskreten Filter (f _f) kombiniert ist und zwischen zwei Filtern und/oder Moden ausgewählt wird oder mit mindestens zwei auf verschiedene Weise bestimmten Filterkoeffizientensätzen alternativ geladen wird.

3. Einrichtung zur Bildlokalisierung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß mit dem Rechner (C) eine Eingangsstufe (E) zur Bestimmung der Autokorrelation verbunden ist, die

- die Bilddaten für jedes Bild aus dem zugehörigen Speicher (Memo 1, 2) seriell, zeilenweise (in den Spalten Punkt für Punkt) oder spaltenweise (in den Zeilen Punkt für Punkt) abruft,
- zur Multiplikation derselben Multiplizierglieder (M) und
- zur Summenbildung Additionsglieder (A) ansteuert, deren Ausgänge mit je einer Dividierstufe (D) verbunden sind, wobei einige oder alle dieser Funktionen der Eingangsstufe (E) auch wahlweise im Rechner (C) durchgeführt werden.