DE2063932A1

DE2063932A1 - Verfahren zum Korrelieren zweier Bilder

Info

Publication number: DE2063932A1
Application number: DE19702063932
Authority: DE
Inventors: Glenn E. lowson Tisdale, Md (V St A)
Original assignee: Westinghouse Electric Corp
Current assignee: CBS Corp
Priority date: 1969-12-31
Filing date: 1970-12-28
Publication date: 1971-07-08
Also published as: BE761104A; US3748644A; FR2074514A5; GB1339027A

Description

-,-.■--■--■■ . : '2 München, den cK.i.^a: J9/0

!«r..:;-aj.-»:iaa· 40 W 552

WESTINGHOUSB ELECTRIC CORPORATION, Pittsburgh, Pa., V.St.A.

Verfahren zum Korrelieren zweier Bilder

Die Erfindung betrifft ein Verfahren zum automatischen Korrelieren zweier Bilder zwecks Feststellung, ob sie einen gemeinsamen Bereich enthalten.

Unter einem Bild wird hierbei ein Gesichtsfeld verstanden, d. h. eine Menge von einem oder mehreren Tastern beliebiger Art beobachteter Erscheinungen. Beispielsweise ist ein Bild eine zweidimensionale Darstellung, die von lichtempfindlichen Vorrichtungen abgeleitet ist (z. B, optischen Abtastern, die auf reflektiertes Licht ansprechen, oder fotografischen Geräten wie Kameras) ; die zweidimensionale Darstellung kann auch von Infrarotstrahlen herrühren oder auf dem Schirm einer Kathodenstrahlröhre in Abhängigkeit von elektrischen Signalen erscheinen usw.

Ein Bild kann ein oder mehrere Muster enthalten, muß es aber nicht. Ein Muster ist nichts anderes als ein charakteristisches Merkmal eines Bildes und entspricht beispielsweise

^109828/1330

Dr.Hk/Du.

einer oder mehreren Figuren, Gegenständen oder Zeichen innerhalb des Bildes.

Es besteht ein ständig steigendes Bedürfnis für automatische Korrelation von Bildern, die in irgendeiner Weise aufgenommen wurden (z. B. elektrooptischen Bildern, Infrarotbildern und Radarbildern). Am Ausgang der Taster steht eine große Informationsmenge zur Verfügung, die zur Auswertung auf ein vernünftiges Maß beschränkt werden muß. Um möglichst viele charakteristische Daten aus der vorhandenen Informationsmenge zu erhalten, müssen häufig zwei oder mehr Gesichtsfeldern gemeinsame Gebiete erkannt und korreliert, d. h. umkehrbar eindeutig zueinander in Beziehung gesetzt werden. Manchmal ist es erwünscht, große Bilder aus kleineren einander überlappenden Ausschnitten, die zu verschiedenen Zeiten oder von verschiedenen Aufnahmegeräten angefertigt wurden, zusammenzusetzen. " Manchmal ist es auch erwünscht, zwei Bilder zu vergleichen, die möglicherweise oder sicher die gleiche Gegend darstellen, jedoch zu verschiedenen Zeiten oder mit Geräten verschiedener Spektraleigenschaften aufgenommen wurden.

Es kann vorkommen, daß zwei oder mehr Bilder, z. B. Diapositive, die gleiche Gegend darstellen, aber in der relativen Lage der dargestellten Objekte, sowie im Maßstab oder der Orientierung voneinander abweichen. Dies gilt z. B. für die Fotogrammetrie, also die Vermessung der Oberfläche der Erde oder anderer Himmelskörper mit Hilfe von Luft- bzw. Weltraum-

109828/1330 Bad ordinal

-3-

aufnahmen. Hier wird immer die Aufgabe gestellt, die Existenz eines gemeinsamen Gebietes in zwei oder mehr Bildern festzustellen und für jeden Punkt des einen Bildes die Koordinaten des entsprechenden Punktes in dem anderen Bild zu bestimmen, und zwar unabhängig von Unterschieden in Maßstab, Orientierung und Lage der betreffenden Objekte in den Bildern.

Die bekannten Verfahren zum automatischen Korrelieren begrenzter Bereiche in zwei oder mehr Bildern sind nur für geringe anfängliche Deckungsabweichungen brauchbar und werden außerdem durch örtliche Abweichungen der dargestellten Objekte ungünstig beeinflußt.

Die Erfindung geht au*s von einem älteren eigenen Vorschlag zum Vorbehandeln der in einem Bild enthaltenen Information (deutsche Patentanmeldung P 20 50 924.4 vom 16. 10. 1970). Nach diesem Vorschlag wird so vorgegangen, daß eine Gruppe von Bildpunkten, die als wesentliche Informationsträger in Frage kommen, ausgewählt wird, daß hinsichtlich der ausgewählten Bildpunkte Meßergebnisse von BiIdeigenschaften, die invariant gegen Orientierung und Maßstab eines etwa einem solchen Punkt zugeordneten Musters sind, gewonnen werden und daß hieraus die gegenseitige geometrische Anordnung mindestens einiger der ausgewählten Bildpunkte in dem betreffenden Bild abgeleitet wird.

-4-

109828/1330

Das erfindungsgemäße Verfahren zum Korrelieren zweier Bilder macht von dieser Vorbehandlung für jedes der beiden Bilder Gebrauch und besteht darin, daß die aus den beiden Bildern gewonnenen invarianten Meßergebnisse miteinander verglichen werden und daß, wenn eine ausreichende Korrespondenz zwischen ihnen festgestellt wird, diejenigen Punkte der beiden Bilder, auf die sich die Korrespondenz bezieht, korreliert werden.

Die korrespondierenden Punkte in den gemeinsamen Gebieten der beiden Bilder können dann selbsttätig registriert werden.

Ein "Merkmal" in dem hier gebrauchten Sinne besteht einfach aus einem oder mehreren meßbaren Parametern einer beobachteten Eigenschaft innerhalb eines Musters und ist demgemäß synonym mit"Meßergebnissen" in dem Sinne, daß jedes Meßergebnis eii.e Gruppe von Meßgrößen umfassen kann, welche bestimmte von den Tastei'-n beobachtete BiI deigen schäften wiedergeben.

Z-- der Gewinnung der Informationen ist zunächst eine Entscheidung zu treffen, vmlche EildrunVtr- zur Kennzeichnung der zu vergleichenden Gebiete- besonders geeignet sind. Solche iü ldpunkte können irgei-i^O in dem Bild vorhanden sein. Jedes Bild besteht aus einer ungeheuer gref-fh Menge von Punkten, dir-; theoretisch alle aJr Endpunkte füi die Weiterbehandlung in Frage kommen könnten. Aus prakti rchfji) Gründen muß jedoch ^if; I-ienge der BildpuuMe n^el-lich r·-ju;-iert werden, und zwar ■ ."_; ^r!ii5cl; u?l· mohr we Gt!'! οίοι ämnrjen _r ϊ-.:-_ müssen elso Auswahl-

¹ ° -' ^{;: (}' ^ί ' ^{% A} ^Ö BAD ORlOtNAL

kriterien aufgestellt werden, um diejenigen Punkte des Bildes bestimmen zu können, die als Bildpunkte für die Weiterbearbeitung und Korrelation ausgewählt werden sollen. Diese Kriterien sind so zu wählen, daß nur diejenigen Punkte als Bildpunkte im engeren Sinne ausgewählt werden, die eine möglichst große Informationsmenge hinsichtlich einer oder mehrerer charakteristischen Eigenschaften des Bildes liefern und einen möglichst geringen Aufwand zur Weiterbehandlung erfordern. Dies kommt darauf hinaus, daß die auszuwählenden Bildpunkte aus dem Durchschnitt herausragen bzw. singular sind und daß sie einen erheblichen Informationswert besitzen. Es handelt sich also um verhältnismäßig selten anzutreffende Punkte, die gerade deshalb wesentliche Informationen liefern. Die Auswahl der Bildpunkte wird somit durch den Wunsch gelenkt, eine erhebliche Verringerung der verfügbaren Informationsmenge zu erzielen, ohne daß die Fähigkeit geopfert wird, die in den Bildern vorhandenen Muster mit merklichen! Genauigkeitsgrad zu erkennen und schließlich zu korrelieren.

Solche vorzugsweise auszuwählenden Bildpunkte sind insbesondere Punkte, die sich am Ende von Linien oder Kanten einer Figur, eines Gegenstandes, eines Gchriftzeichens od. dgl. in dem untersuchten Bild befinden oder an Kreuzungspunkten von Linien des Bildes liegen. Auch außergewöhnliche Farbabstufungen bzw. Abstufungen der Grauskala können theoretisch Bildpunkte ergeben, die erhebliche verwertbare Informations-

828/1330

mengen tragen, aber in der Praxis sind solche Bildeigenschaften nicht immer genügend bedeutungsvoll, da z. B. in Fotografien starke Schwankungen der Beleuchtung und der Farbe mit der Tageszeit auftreten.

Nach der Auswahl dieser Bildpunkte, deren Anzahl mindestens teilweise von der Kompliziertheit des betrachteten Bildes

W abhängt, werden die Punkte zu je zweien oder mehr kombiniert, die relative geometrische Anordnung der Punkte wird festgestellt und die beobachteten Eigenschaften werden zu dieser geometrischen Anordnung in Beziehung gesetzt. Die beobachteten Eigenschaften bilden zusammen mit der gegenseitigen Anordnung der Bildpunkte die aus den einzelnen zu vergleichenden Bildern zu entnehmenden Merkmale. Wesentlich ist, daß diese Merkmale in Form von Meßergebnissen abgeleitet werden, die hinsichtlich des Maßstabes, der Orientierung und der Lage irgend-

J^ welcher Muster, mit denen sie vielleicht verknüpft sind , invariat sind. Beispielsweise hat eine von einem Bildpunkt ausgehende Linie in einem bestimmten Muster eine Orientierung, die invariant hinsichtlich einer gedachten Linie ist, welche diesen Bildpunkt mit einem zweiten Bildpunkt in dem gleichen Muster verbindet,,unabhängig von Lage, Orientierung oder Maßstab des Musters in diesem Bild. Andererseits sind Orientierung und Maßstab der gedachten Verbindungslinie der beiden Bildpunkte unmittelbar mit der Orientierung und dem Maßstab des Musters, zu dem die Linie gehört, verknüpft. Ferner haben die Linien, welche andere paare von Bildpunkten im gleichen

109828/1330 bad or,ginal

-7-

— 7 —

Muster verbinden, eine feste Orientierung und einen festen Maßstab hinsichtlich der ersten Linie, unabhängig von Orientierung und Maßstab des Musters im Bild. Von diesen Tatsachen wird Gebrauch gemacht, unVeine Menge beobachteter Merkmale des einen Bildes mit einer entsprechenden Menge beobachteter Merkmale des anderen Bildes zu vergleichen und so die Existenz gemeinsamer Gebiete festzustellen.

Der Vergleich wird nun anfangs hinsichtlich der invarianten Stücke bzw. Meßergebnisse durchgeführt. Wenn sich hierbei eine deutliche Uebereinstimmung zwischen den verglichenen Merkmalen innerhalb bestimmter Toleranzen ergibt, kann dies bereits ausreichen, um die beiden Merkmale eindeutig in Beziehung zu setzen. In diesem Falle können die einander entsprechenden Funkte in dem beiden Bildern gemeinsamen Gebiet unmittelbar registriert werden. Erscheint jedoch eine nähere Untersuchung erforderlich, so kann diese so durchgeführt werden, daß Informationen über Orientierung und Maßstab auf der Grundlage der geometrischen Anordnung je zweier Bildpunktf? miteinander in Beziehung gesetzt werden. Dies wird dadurch erreicht, daß die Meßergebnisse, welche die geometrischen Beziehungen von Punkten der beiden betrachteten Bilder definieren, relativ zueinander normiert werden. Die Normierungsergebnisse über Maßstab und Orientierung in den beiden Bilder)] werder anschließend mit Normierungswerten verglichen, die Ii i i.sicbtli rh anderer Merkmale von je zwei Bildpunl ten abgeleitet werden, um so zu bestimmen, ob und wo pirn³ ΙΓίυί ;ng solcLci Worte

10 9 8 2 0/1330

stattfindet. Eine solche Häufung bezieht sich auf die Uebereinstimmung einer erheblichen Anzahl von Werten zwischen Merkmalen der beiden Bilder innerhalb vorgeschriebener Toleranzen und ist als solche ein Maß für die Korrespondenz, d. h. das Ausmaß der Uebershstimmung zwischen den betreffenden Gebieten der beiden Bilder. Wenn eine beträchtliche Punkthäufung .erhalten wird, können die diesem Haufen angehörigen Punkte verwendet werden, um bestimmte Stellen der beiden Bilder und mittel* Extrapolation auch sämtliche Punkte beider Bilder in Beziehung zueinander zu setzen.

Die Erfindung wird nachstehend an Hand der Zeichnung erläutert. Hierin sind

Fig. 1 und 2 Beispiele zweier Bilder, die zwecks Feststellung einer Korrelation verglichen werden sollen und

w Fig. 3 eine Blockdarstellung einer Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens.

Die in Fig. 1 und 2 dargestellten Bilder 10 und 12 sollen verglichen werden, um festzustellen, ob sie ein gemeinsames Gebiet, ein gemeinsames Muster od. dgl. enthalten bzw. ob irgendeine offensichtliche Korrelation zwischen ihnen existiert; gegebenenfalls sollen die einander entsprechenden Punkte der beiden Bilder automatisch registriert werden. Zu diesem Zweck wird jedes Bild gesondert in irgendeiner Weise abgetastet. Beispielsweise kann zur Auswertung der in einem

109828/1330

BAD Qf§i£lNAL

Foto enthaltenen Informationen ein optischer Abtaster verwendet werden, der die Schwärzungsgrade bzw. Intensitätswerte in horizontaler und vertikaler Sichtung des Bildes in regelmäßigen Abständen aufnimmt und anschließend in Digitalform umsetzt. Es werden vorzugsweise diejenigen Bildpunkte zur Weiterbehandlung ausgewählt, die herausragende Bildeigenschaften anzeigen, z. B. Punkte auf Linien (Intensitätsgradienten der Schwärzungsskala), an Ecken, Endpunkten von Linien oder Kreuzungspunkten in Figuren, Gegenständen, Schriftzeichen oder anderen Mustern. Die Auswahlkriterien hinsichtlich dieser Eigenschaften werden im voraus festgelegt. In Fig. 1 werden z. B. die Bildpunkte 14 und 15 zur Prüfung und Gewinnung verschiedener Meßergebnisse ausgewählt. Selbstverständlich werden aber alle Bildpunkte, die den festgelegten Auswahlkriterien entsprechen (z. B. die Punkte 17, 18, 20, 21) abgelesen und weiterverarbeitet.

Die hier zum Vergleich und zur Durchführung der Korrelation verwendeten Merkmale bestehen aus Meßergebnissen hinsichtlich zwei oder mehrerer Bilrlpunkte und der geometrischen Lage der Verbindungslinie solcher Punkte. Wie erwähnt, sollen die Meßergebnisse in erster Linie invariant hinsichtlich Maßstab, Orientierung und Lage der zu bestimmenden Muster sein. Ein solches Meßergebnis ist z. B. die Richtung von Kanten oder Umrissen (d. h. Linien) innerhalb des Bildes relativ zur Verbindungslinie zweier Bildpunkte. So werden in Fig. 1 herausragende beobachtete Merkmale in der Umgebung des

BAD OBtGlNAU

109828/1330 -10-

Punktes 14 von den Linien 25 und 26, die sich im Punkt 14 schneiden, gebildet. Zur Erläuterung sind in Fig. 1 und 2 bestimmte Punkte und Linien verstärkt gezeichnet; dies entspricht selbstverständlich nicht den natürlichen Verhältnissen.

Die Linie 25 bildet einen Winkel O, mit der gedachten Linie 23, welche die Punkte 14 und 15 verbindet. Die Linie 26 bildet einen Winkel O_ mit dieser Linie 23. Diese Winkel Q, und O₂ sind unabhängig von Maßstab und Orientierung des Bildes 10 und von der Lage des Bildmusters, zu dem sie gehören,

innerhalb des Bildes 10. Ebenso sind die vom Punkt 15 ausgehenden Linien 27 und 28 unter Winkeln O und O zur Linie 23 orientiert. Auch diese Meßergebnisse sind invariant gegen Orientierung, Lage und Maßstab des Bildes. Es könnten auch andere invariante Meßergebnisse erhalten werden, z. B. die w Orientierung der den Bildpunkten 17 und 18 bzw. den Bildpunkten 20 und 21 zugeordneten Linien relativ zu deren gedachten Verbindungslinien. Die Anzahl der zur Weiterbehandlung und zum Vergleich ausgewählten Punkte und der hinsichtlich ihrer zu gewinnenden invarianten Meßergebnisse ist eine Funktion der im voraus festgelegten Auswahlkriterien.

Die Beziehung zwischen zwei Bildpunkten, hinsichtlich derer invariante Meßergebnisse gewonnen wurden, läßt sich durch Bezugnahme auf die Geometrie ihrer Verbindungslinie darstellen, also'auf den Abstand S zwischen ihnen und/oder die Orien-

109828/1330 $^> original

-11-

tierung 0 ihrer Verbindungslinie relativ zu einer im voraus festgelegten Bezugsachse; diese Beziehung kann aber auch durch Bezugnahme auf die Lage (d. h. die Koordinaten) der betreffenden Punkte in einem festen Koordinatensystem dargestellt werden.

Ein Merkmal eines Bildes besteht nun aus einer Anzahl invarianter Meßergebnisse von Bildeigenschaften, die sich auf bestimmte Bildpunkte beziehen, und aus Meßergebnissen über die gegenseitige geometrische Anordnung dieser Bildpunkte. Mathematisch kann dies in Form einer Funktion wie folgt ausgedrückt werden:

^FA ^{= £} (S"ai» Ta2' ^A · ^SA' ^XA' ^YA1' ^XA2' ^YA2^ Hierbei sind

F. ein dem Bild A entnommenes Merkmal; f (ΊΓΊ eine mathematische Funktion im weitesten Sinne; Y"_A1 undV_A2 invariante Meßergebnisse hinsichtlich zweier Bildpunkte 1 und 2 im Bild A; ^XAi« ^YA1' ^XA2' ^YA2 ^d^^e Koordinaten der Bildpunkte 1 und 2 in einem festen Koordinatensystem; 0_A die Richtung der gedachten Verbindungslinie der Punkte 1 und 2, bezogen auf die Bezugsachse des Bildes und-

S_A die Länge dieser Verbindungslinie.

-12-109828/1330 BAD

Offenbar sind 0_A und S_A durch die Werte X_A1, Y_A1, X_A2r Y_A2 vollständig bestimmt, so daß sie ohne Informationsverlust aus der Funktion weggelassen werden könnten.

Meßergebnisse des gleichen allgemeinen Typs werden von einem Bild B (ζ. B. dem Bild 12 in Fig. 2) gewonnen, um mit den Merkmalen des Bildes A (hier des Bildes 10 in Fig. l) ver-

" gleichbare Merkmale zu erhalten. Unter den innerhalb der festgelegten Kriterien annehmbaren Bildpunkten in Fig. 2 befinden sich die Punkte 30 und 31 und es werden entsprechende invariante Meßergebnisse hinsichtlich dieser Punkte gewonnen, nämlich die Orientierung der dem Punkt 30 zugeordneten Linien 33 und 34 und der dem Punkt 31 zugeordneten Linien 35 und 36 hinsichtlich der gedachten Verbindungslinie 37 der beiden Punkte. Auch die Koordinaten der Punkte 30 und 31 werden in der oben beschriebenen Weise ermittelt. Im Verlauf der Abtastung der beiden Bilder werden noch zahlreiche andere Bildpunkte geprüft und vermessen. Zwar zeigt schon die nähere Betrachtung der Bilder 10 und 12 mit blossem Auge, daß sie gemeinsame Objekte enthalten, jedoch in Maßstab und Orientierung abweichen; in der Praxis wird dies jedoch im allgemeinen nicht der Fall sein, denn die Bilder Ϊ0 und 12 sind absichtlich so gezeichnet worden, daß sie ein übereinstimmendes Gebiet aufweisen. Das hier geschilderte Verfahren ist aber von Sinneseindrücken völlig unabhängig und führt zur automatischen Identifizierung einander entsprechender Punkte zweier Bilder, falls solche vorhanden sind.

10 9 8 2 8/1330

Aus den gewonnenen invarianten Meßergebnisse hinsichtlich der Punkte 30 und 31 des Bildes 12 wird nun wie oben ein Merkmal Fg gebildet, das als Funktion wie folgt ausgedrückt werden kann:

^FB ⁼ ^£ ' 0Bl' *B2' ^B' ^SB' ^XB1' ^YB1' ^XB2' ^YB2'

Hierbei haben die einzelnen Glieder die oben erläuterte Bedeutung.

Die Merkmale des einen Bildes können nun mit den Merkmalen des anderen Bildes verglichen werden, bis alle möglichen Kombinationen erschöpft sind oder bis bereits früher eine ausreichende Uebereinstimmung festgestellt wurde.

Vorzugsweise wird ein Merkmal F_A des Bildes A mit einem Merkmal F„ des Bildes B in der Weise verglichen, daß zuerst die Uebereinstimmung (oder mangelnde Uebereinstimmung) zwischen den invarianten Meßergebnissen, die zu diesen Merkmalen gehören, untersucht wird und daß bei Uebereinstimmung innerhalb festgelegter Toleranzen anschließend die geometrischen Beziehungen zwischen den Bildpunkten, denen diese Merkmale zugeordnet sind, verglichen werden.

Der Vergleich der invarianten Meßergebnisse vor dem Vergleich der geometrischen Beziehungen ist aus zwei Gründen empfehlenswert. Erstens können so die Merkmale der beiden Bilder unab-

109828/1330

-14-

hängig von der Orientierung, dem Maßstab und der Lage der verglichenen Merkmale innerhalb der Bilder zur Uebereinstimmung gebracht werden und zweitens wird auf diese Weise jeder weitere Vergleich zwischen den beiden Merkmalen überflüssig, wenn die erste Prüfung mangelnde Uebereinstimmung innerhalb der fest-• gelegten Grenzen ergibt.

ψ Wenn das Merkmal F^ dem Merkmal F„ entspricht, entsprechen sich die jeweiligen invarianten Meßergebnisse, d. h.

Ya₂ ^
innerhalb zugelassener Toleranzen.

Manchmal genügt diese Information allein bereits, um ein solches Maß an Uebereinstimmung zwischen den beiden Merkmalen anzuzeigen, daß dieselben umkehrbar eindeutig miteinander korreliert werden können. In diesem Falle können die Koordinaten der den beiden Merkmalen zugeordneten Bildpunkte unmittelbar in Beziehung gesetzt werden, ohne daß ein weiterer Vergleich der übrigen Meßergebnisse innerhalb dieser Merkmale stattfindet. Häufiger ist aber eine nähere Untersuchung erforderlich und hierzu müssen die Informationen über Maßstab und Orientierung durch eine Normierung vergleichbar gemacht werden, d. h. durch die Berechnung der Werte

und

_/c 109828/1330

^SB^/faA

-15-

Diese Rechenergebnisse verden mit in gleicher Weise berechneten Werten für andere Paare von Bildpunkten verglichen. Die Normierung liefert Relativwerte, die für alle gemessenen Orientierungs- und Maßstabverte die gleichen oder nahezu die gleichen sind, falls die verglichenen Merkmale der beiden Bilder sich auf ein gemeinsames Gebiet derselben beziehen. Wenn die beiden Bilder gleichen Maßstab und gleiche Orientierung haben, ist selbstverständlich S_B/S_A = 1 und

Normalerveise ist die Feststellung einer gewissen Uebereinstimmung zwischen je einem Merkmal des Bildes A und einem Merkmal des Bildes B keine ausreichende Basis für die Entscheidung, daß die zvei Bilder ein gemeinsames Gebiet enthalten. Eine solche Entscheidung wird besser auf eine Mehrzahl von Merkmalvergleichen gestützt, die bei einer ausreichenden Anzahl von Uebereinstimmungen zu einer Punkthäufung in einer Ebene mit den Koordinaten 0 und S (d. h. der 0-S-Ebene) führte Je stärker die Häufung, desto größer ist die Wahrscheinlichkeit, daß identische oder nahezu identische Muster miteinander verglichen werden bzw. daß das Gebiet, dem diese Merkmale entnommen wurden, beiden Bildern gemeinsam ist. Da jeder Punkt innerhalb des Haufens aus zwei den verschiedenen Bildern zugehörigen Merkmalen abgeleitet ist, kann die für diese Merkmale verzeichnete Lage dazu dienen, die relative Lage der beiden Bilder zu bestimmen und durch Extrapolation können weitere korrespondierende Punkte der beiden Bilder aufgesucht werden.

10 9828/133 0 __l6_

Ein Gerät zur Ausführung des geschilderten Verfahrens ist in Fig. 3 schematisch dargestellt. Ein Bild 50 wird von einem optischen Abtaster 51 zeilenweise abgetastet. Der Abtaster erzeugt Analogwerte, welche die Lichtintensitäten (Schwärzungswerte) in vorgeschriebene Intervallen längs der abgetasteten Zeilen darstellen. Diese Analogwerte werden dann in einem Analog-Digital-Umsetzer 52 mit dem gewünschten Auflösungsgrad quantisiert. Die codierten Signale werden einer Stufe 53 zugeführt, die Linienstücke oder Umrisse innerhalb des Bildes aufsucht, indem sie Gruppen von Punkten mit vergleichbaren Richtungen des Schwärzungsgradienten zusammenstellt und jeder Gruppe ein gerades Linienstück einpaßt.

Zur Merkmalsbildung werden diejenigen Bildpunkte ausgewählt, die eine bestimmte Eigenschaft haben, z. B. am Ende eines Linienstücks liegen. Nach der Bestimmung dieser Punkte durch die Stufe 53 werden dieselben paarweise zusammengefaßt. Dann bestimmt die Stufe 54 Orientierung und Abstand je zweier solcher Punkte; anschließend wird die Orientierung der von den Punkten ausgehenden Linien in Bezug auf die Richtung der Verbindungslinie der Punkte in der Stufe 55 gemessen. Am Ausgang dieser Stufe stehen die invarianten Meßergebnisse und die übrigen Merkmalskomponenten bereit. Die Ausbildung der beschriebenen Stufen im einzelnen gehört zum Stand der Technik und braucht hier nicht näher beschrieben zu werden.

-17-109828/1330

Nunmehr kann der Vergleich der einzelnen Merkmale mit den Merkmalen eines anderen Bildes beginnen. Wie oben erläutert, werden hierzu zunächst die invarianten Meßergebnisse beider Bilder miteinander verglichen. Zu diesem Zweck werden die in der Stufe 55 abgeleiteten invarianten Meßergebnisse des einen Bildes zusammen mit den invarianten Meßergebnissen des zu vergleichenden Bildes einer Vergleichsstufe 56 zugeführt. Das zweite Bild kann gleichzeitig mit dem Bild 50 abgetastet und analysiert werden; im allgemeinen wird aber die Analyse ähnlicher Bilder bereits früher stattgefunden haben und die hierbei gewonnenen Merkmale sind in geeigneter Weise gespeichert worden. Der Vergleich der invarianten Meßergebnisse kann nun bereits zu der Erkenntnis führen, daß bestimmte Gebiete der beiden Bilder weitgehend übereinstimmen, und zwar genügt hierzu oft bereits die Peststellung der Uebereinstimmung in einem verhältnismäßig kleinen Bereich. Tritt dieser Fall §in, so können die korrespondierenden Punkte sofort nach dem Vergleich der invarianten Meßergebnisse zur Deckung gebracht und extrapoliert werden, so daß alle Punkte im gemeinsamen Gebiet der beiden Bilder korreliert sind. Häufiger tritt aber der Fall ein, daß die Uebereinstimmung zwischen invarianten Eigenschaften in einem gewissen Ausmaß eine nähere Untersuchung nötig macht.

Hierzu verdtn «inander entsprechende Paare von Bildpunkten in der Stuf* 57 hinsichtlich Maßstab und lichtung normiert. Der Stufe 57 werden also die Maßstabs- und lichtungsinformatio ntn der beiden zu vergleichenden Bilder zugeführt. Dann vtrden

109828/1300 _ia

—18 —

die normierten Werte für eine erhebliche Anzahl von Merkmalen bzw. Punktpaaren der Stufe 58 zugeführt, die einen Punkthaufen in der £f-S-Ebene erzeugt, dessen Gestalt ein Maß für das Ausmaß der Merkmalsübereinstimmung ist. Die Größe des Punkthaufens hängt nämlich unmittelbar von der . Anzahl der Uebereinstimmungen von Merkmalspaaren zwischen den beiden betrachteten Bildern ab. Die in der Umgebung der Haufungsstelle liegenden Punkte werden verwendet, um einander entsprechende Bildpunkte aufzusuchen und durch Extrapolation wird die gegenseitige geometrische Anordnung aller Punkte innerhalb des beiden Bildern gemeinsamen Gebietes bestimmt. Die korrespondierenden Punkte der beiden Bilder werden in einem Bildkomparator 59 zur Deckung gebracht.

Auf Wunsch können die von der Stufe 55 gelieferten invarianten Meßergebnisse und die von der Stufe 54 gelieferten Informationen über Maßstab und Orientierung in getrennten Plätzen eines Speichers 60 gespeichert werden, um sie für spätere Vergleiche mit den Merkmalen anderer Bilder zur Verfügung zu haben.

109828/1330

Claims

WESTINGHOUSE ELECTRIC CORPORATION, Pittsburgh, Pa. V.St.A.

Patentansprüche

Verfahren zum Korrelieren zweier Bilder zwecks Feststellung, ob sie ein gemeinsames Gebiet enthalten, bei dem in jedem Bild eine Gruppe von Bildpunkten, die als wesentliche Informationsträger in Frage kommen, ausgewählt wird, bei dem weiterhin hinsichtlich der ausgewählten Bildpunkte Meßergebnisse von Bildeigenschaften, die invariant gegen Orientierung und Maßstab eines etwa einem solchen Punkt zugeordneten Musters sind, gewonnen werden und aus jedem Bild die gegenseitige geometrische Anordnung mindestens einiger der in ihm ausgewählten Bildpunkte abgeleitet wird, dadurch gekennzeichnet, daß die aus den beiden Bildern gewonnenen invarianten Meßergebnisse miteinander verglichen werden und daß, wenn eine ausreichende Korrespondenz zwischen ihnen festgestellt wird, diejenigen Punkte der beiden Bilder, auf die sich die Korrespondenz bezieht, korreliert werden.

-2-Dr.Hk/Du.

• 109828/1330

ίο
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die ausgewählten Bildpunkte (14, 15; 30, 31) auf Linien innerhalb der betreffenden Bilder liegen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß mindestens einige der ausgewählten Bildpunkte längs Schwärzungsgradienten des betreffenden Bildes angeordnet sind.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die invarianten Meßergebnisse sich auf die Orientierung von Linien in dem betreffenden Bild bezüglich einer Verbindungslinie zweier Bildpunkte beziehen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die invarianten Meßergebnisse sich auf Schwärzungsgradienten in der Umgebung ausgewählter Bildpunkte beziehen.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gegenseitige geometrische Anordnung von Bildpunkten sich auf den Abstand zweier Bildpunkte und die Richtung der gedachten Verbindungslinie derselben relativ zu einer festen Bezugsachse bezieht.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zur rorrelierung von Bildpunkten die abgeleiteten Werte über die gegenseitige geometrische Anordnung in Bezug auf die beiden Bilder normiert werden, daß

109828/1330

die normierten Werte für eine Mehrzahl solcher geometrischer Anordnungen verglichen verden und daß diejenigen Bildpunkte als korrespondierende Punkte in einem beiden Bildern gemeinsamen Gebiet miteinander in Beziehung gesetzt werden, bei denen der Grad der JCorrespondenz der normierten Werte eine bestimmte Grenze überschreitet.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß zum Vergleich der normierten Werte ein Punkthaufen in einer Abbildungsebene gebildet wird derart, daß die Größe des Punkthaufens ein Maß für das Ausmaß der Uebereinstimmung der normierten Werte ist,
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die verglichenen Bilder verschiedenen Abschnitten des Frequenzspektrums entsprechen.
10, Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bilder ein erhebliches gemeinsames Gebiet aufweisen.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die zu vergleichenden Bilder zu verschiedenen Zeiten angefertigt wurden.

—4_

109828/1330

ML
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bilder sich hinsichtlich der dargestellten Objekte überschneiden, jedoch nur ein verhältnismäßig kleines gemeinsames Gebiet aufweisen.

109828/1330

Le 6 rse i t.e