DE69725505T2

DE69725505T2 - Bildkombinationsgerät und -verfahren

Info

Publication number: DE69725505T2
Application number: DE69725505T
Authority: DE
Inventors: Tatsushi Ohta-ku Katayama; Hideo Ohta-ku Takiguchi; Kotaro Ohta-ku Yano; Kenji Ohta-ku Hatori
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-05-28
Filing date: 1997-05-27
Publication date: 2004-08-05
Anticipated expiration: 2017-05-28
Also published as: EP0810776A3; EP0810776B1; EP0810776A2; US5982951A; DE69725505D1

Description

Hintergrund der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zum Kombinieren von Bildern, und insbesondere auf eine Bildkombiniervorrichtung und ein Verfahren dafür zum Kombinieren einer Vielzahl von Bildern, die teilweise eine überlappende Region mit dem gleichen Bild enthalten, um ein Panoramabild mit einer Weitwinkelansicht zu erzeugen.
Gemäß dem herkömmlichen Verfahren zur Erzeugung eines Panoramabildes mit einer Weitwinkelansicht durch Kombinieren einer Vielzahl von Bildern, die teilweise eine überlappende Region des gleichen Bildes haben, werden zwei Bilder in einer Ebene durch eine geometrische Transformation kombiniert, wie einer affinen Transformation oder dergleichen, um Koordinatenwerte von zwei entsprechenden Punkten zusammenfallen zu lassen, die aus den überlappenden Regionen mit dem gleichen Bild aber mit verschiedenen Koordinatenwerten extrahiert sind.
In einem Fall aber, wenn Bedingungen, insbesondere Belichtungsbedingungen beim Fotografieren der Vielzahl an Bildern für jedes Bild aufgrund einiger Faktoren beim Fotografieren eines Subjekts verschieden sind, hat die Grenze der Bilder eine sichtbare Linie aufgrund des Unterschieds in der Helligkeit der Bilder, selbst wenn die zwei Bilder präzise gemäß dem herkömmlichen Verfahren kombiniert werden, bei dem die entsprechenden Punkte zusammenfallen.
Der Nachteil des herkömmlichen Bildkombinationsverfahrens wird bezüglich der 1, 2A, 2B und 3 beschrieben.
Dabei wird angenommen, dass ein Bild eines in 1 gezeigten Subjekts durch eine elektronische Stehbildkamera oder dergleichen aufgenommen wird, wobei zwei Fotografiebilder (Bild f1 und Bild f2) aufgenommen werden. Da das durch das Bild f1 aufgenommene Subjekt insgesamt eine dunkle Atmosphäre hat, korrigiert die Kamera eine Belichtungsmenge der Bildaufnahme, sodass der Dunkelabschnitt heller ist. Infolgedessen wird ein in 2A gezeigtes Bild erhalten. Da das durch das Bild f2 aufgenommene Subjekt insgesamt eine hellere Atmosphäre hat, korrigiert die Kamera eine Belichtungsmenge zum Zeitpunkt der Bildaufnahme derart, dass der helle Abschnitt dunkler wird. Infolgedessen wird ein in 2B gezeigtes Bild erhalten. Selbst wenn die zwei eingegebenen Bilder (Bilder in den 1A und 1B) präzise kombiniert werden, hat dementsprechend das in 3 gezeigte kombinierte Bild eine auffallende Linie aufgrund der Helligkeitsunterschiede.
Die Erfindung wurde unter Berücksichtigung der vorstehenden Situation ausgebildet, und hat die Ausbildung einer Bildkombinationsvorrichtung und eines Verfahrens zur Kombination von Bildern auf eine Weise zur Aufgabe, dass die Grenze der Bilder selbst in einem Fall nicht auffällt, in dem Belichtungsbedingungen für jedes eingegebene Bild unterschiedlich sind.
In der JP-A-7-11 55 34 ist eine Bildlesevorrichtung zum Kombinieren von Bildern zum Ausbilden eines übergroßen Bildes beschrieben. Beim Kombinieren von zwei Bildern korrigiert die in dieser Druckschrift beschriebene Vorrichtung zuerst Daten in einem überlappenden Bereich, und dann werden die Daten in Abhängigkeit davon geglättet oder binarisiert, ob der Überlappungsbereich als Zeichen oder Fotobild erfasst wird.
In der GB-A-21 30 838 sind ein Verfahren und eine Vorrichtung zum Bilden eines kombinierten Bildsignals beschrieben, wobei Bildsignale, die eines benachbarter Bilder darstellen, hinsichtlich der Bildhelligkeit innerhalb einer vorbestimmten Entfernung von einer Schnittstelle zwischen den benachbarten Bildern modifiziert werden, sodass sich die Bildhelligkeit allmählich von der vorbestimmten Entfernung zur der Schnittstelle mit einer gewünschten Änderungsrate ändert.
Gemäß einer ersten Ausgestaltung der Erfindung ist eine Bildkombinationsvorrichtung nach Patentanspruch 1 ausgebildet.
Gemäß einer zweiten Ausgestaltung der Erfindung ist ein Bildkombinationsverfahren nach Patentanspruch 13 ausgebildet.
Ein Ausführungsbeispiel der Erfindung stellt eine Bildkombinationsvorrichtung und ein Verfahren bereit, die ein kombiniertes Bild erzeugen können, dessen Grenze der Bilder nicht auffallend ist, indem eine überlappende Region mit dem gleichen Bild in zwei eingegebenen Bildern unterschieden und identifiziert wird, und Töne eines der eingegebenen oder beider Bilder entsprechend dem Unterschied in der Tonhelligkeit zwischen den zwei eingegebenen Bildern korrigiert werden.
Ein Ausführungsbeispiel der Erfindung stellt eine Bildkombinationsvorrichtung und ein Verfahren bereit, die ein kombiniertes Bild erzeugen können, dessen Grenze der Bilder nicht auffällt, indem eine Tonkorrektur insbesondere in der Nachbarschaft der Grenze durchgeführt wird.
Ein Ausführungsbeispiel der Erfindung liefert eine Bildkombinationsvorrichtung und eine Verfahren, die ein kombiniertes Bild erzeugen können, dessen Grenze der Bilder nicht auffällt, indem eine Tonkorrektur bei Bildelementen in der Nachbarschaft der Grenze in der überlappenden Region dementsprechend durchgeführt wird, wie weit das interessierende Bildelement von der Grenze entfernt ist.
Ein Ausführungsbeispiel liefert eine Bildkombinationsvorrichtung und ein Verfahren, die ein kombiniertes Bild erzeugen können, dessen Grenze der Bilder unauffällig ist, indem falsch erkannte entsprechende Punkte aus einer Gruppe entsprechender Punkte entfernt werden, die zum Identifizieren der überlappenden Region der Bilder erfasst wurde, und indem Parameter einer Tonkorrektur auf der Grundlage der Gruppe entsprechender Punkte bestimmt werden, aus denen die falschen entsprechenden Punkte entfernt sind, wodurch die Präzision der Tonkorrektur erhöht wird.
Weitere Merkmale und Vorteile der Erfindung werden aus der folgenden Beschreibung unter Bezugnahme auf die beiliegende Zeichnung ersichtlich, in der die gleichen Bezugszeichen gleiche oder ähnliche Abschnitte in den Figuren bezeichnen.
Kurzbeschreibung der Zeichnung
Die beiliegende Zeichnung, die einen Teil der Beschreibung bildet, veranschaulicht Ausführungsbeispiele der Erfindung und dient zusammen mit der Beschreibung der Erläuterung der Prinzipien der Erfindung.
1 zeigt eine Darstellung von Bildaufnahmebedingungen eingegebener Bilder entsprechend dem herkömmlichem Beispiel und dem vorliegenden Ausführungsbeispiel,
2A und 2B zeigen Beispiele des eingegebenen Bildes,
3 zeigt ein mit dem herkömmlichen Verfahren kombiniertes Bild,
4 zeigt ein Blockschaltbild einer Anordnung einer Bildkombinationsvorrichtung gemäß dem ersten Ausführungsbeispiel der Erfindung,
5 zeigt ein Ablaufdiagramm eines Verarbeitungsalgorithmus, der durch eine Entsprechungspunktextrahiereinheit gemäß dem ersten Ausführungsbeispiel durchgeführt wird,
6A zeigt eine Darstellung eines Verfahrens zur Extraktion einer Vorlage, die zum Extrahieren entsprechender Punkte aus eingegebenen Bildern verwendet wird,
6B zeigt eine Darstellung eines Verfahrens zum Extrahieren einer Vorlage, die zum Extrahieren entsprechender Punkte in einem Fall verwendet wird, wenn eingegebene Bilder übereinander angeordnet sind,
7A und 7B zeigen Darstellungen eines Verfahrens zum Einstellen eines Suchobjektbereichs zum Extrahieren entsprechender Punkte,
8 zeigt ein Ablaufdiagramm eines Verarbeitungsalgorithmus einer Tonkorrektur,
9 zeigt eine grafische Darstellung einer Kennlinie einer Beziehung von Abtastdaten,
10 zeigt eine Tabelle, die Werte von Umwandlungsfunktionen für eine Tonumwandlungseinheit speichert,
11 zeigt ein Ablaufdiagramm eines durch eine Bildkombinationseinheit durchgeführten Verarbeitungsalgorithmus,
12 zeigt eine Beispieldarstellung des Bildkombinationsverfahrens,
13 zeigt eine Beispieldarstellung des Bildkombinationsverfahrens,
14 zeigt ein kombiniertes Bild,
15 zeigt eine grafische Darstellung der Schwankung in der Helligkeit im in 14 gezeigten kombinierten Bild,
16 zeigt eine Beispieldarstellung zur Beschreibung einer Extraktion von Abtastdaten gemäß einem modifizierten Ausführungsbeispiel des ersten Ausführungsbeispiels,
17 zeigt eine grafische Darstellung einer Kennlinie einer Tonumwandlung gemäß einem zweiten modifizierten Ausführungsbeispiel des ersten Ausführungsbeispiels,
18 zeigt eine grafische Darstellung einer Kennlinie eines Bildkombinationsvorgangs gemäß dem zweiten modifizierten Ausführungsbeispiel,
19 zeigt ein Blockschaltbild der Anordnung der Bildkombinationsvorrichtung und den Verarbeitungsablauf eines eingegebenen Bildes gemäß dem zweiten Ausführungsbeispiel,
20 zeigt eine Beispieldarstellung eines Punkts Pi in einem Bild a und eines entsprechenden Bilds Qi in einem Bild b gemäß dem zweiten Ausführungsbeispiel,
21 zeigt ein Ablaufdiagramm mit den Schritten einer Tonkorrekturverarbeitung gemäß dem zweiten Ausführungsbeispiel, die durch eine Korrekturkoeffizientenbestimmungseinheit und Tonumwandlungseinheiten durchgeführt wird,
22 zeigt eine Beispieldarstellung von zur Bestimmung von Tonkorrekturkoeffizienten erhaltenen Abtastdaten,
23A und 23B zeigen grafische Darstellungen zur Beschreibung des Verfahrens der Tonkorrektur gemäß dem zweiten Ausführungsbeispiel,
24 zeigt eine Tabelle, die zur Umwandlung von Bildelementwerten im Bild b in Bildelementwerte im Bild a gemäß dem zweiten Ausführungsbeispiel verwendet wird,
25A–25C zeigen Beispieldarstellungen zur Beschreibung der Schritte zum Entfernen falscher entsprechender Komponenten durch eine Entsprechungspunktauswahleinheit gemäß dem dritten Ausführungsbeispiel,
26A und 26B zeigen grafische Darstellungen zur Beschreibung der Schritte zur Bestimmung von Tonkorrekturkoeffizienten durch eine Korrekturkoeffizientenbestimmungseinheit gemäß einem dritten Ausführungsbeispiel und
27 zeigt eine Beispieldarstellung zum Erhalten von Abtastdaten gemäß dem vierten Ausführungsbeispiel.
Ausführliche Beschreibung der bevorzugten Ausführungsbeispiele Nachstehend werden bevorzugte Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegende Zeichnung näher beschrieben.
(Erstes Ausführungsbeispiel)
4 zeigt die Anordnung einer Bildkombinationsvorrichtung 1000 gemäß dem ersten Ausführungsbeispiel der Erfindung.
Die Kombinationsvorrichtung 1000 kann eine einzelne Vorrichtung sein oder in einer Kamera oder dergleichen eingebaut sein. Die Vorrichtung dient der Eingabe zweier Eingangsbilder a und b und zur Ausgabe eines kombinierten Bildes c.
Gemäß 4 werden Eingangsbilder a und b durch eine elektronische Stehbildkamera oder eine Videokamera oder dergleichen derart aufgenommen, dass beide Bilder teilweise eine überlappende Region mit dem gleichen Bild enthalten. Selbst wenn die Eingangsbilder a und b mit unterschiedlichen Belichtungszuständen aufgenommen werden, wie jenen in den 2A und 2B gezeigten (beispielsweise wird ein Bild in einem dunklen Zustand aufgenommen, und das andere Bild in einem hellen Zustand), gibt die Kombinationsvorrichtung 1000 ein kombiniertes Bild c aus, dessen Grenze der Bilder nicht auffällt.
Die Kombinationsvorrichtung 1000 umfasst eine Entsprechungspunktextrahiereinheit 1, eine Parameterschätzeinheit 2, eine Korrekturkoeffizientenbestimmungseinheit 3, zwei Tonumwandlungseinheiten 4 und 5 und eine Bildkombinationseinheit 6.
Die Entsprechungspunktextrahiereinheit 1 extrahiert entsprechende Punkte aus den zwei Eingangsbildern a und b. Hier sind entsprechende Punkte jeweils Punkte in zwei Bildern, die ein identisches Subjekt enthalten, die in separaten Bildaufnahmevorgängen mit der gleichen Lichtquelle aufgenommen werden. Die entsprechenden Punkte beziehungsweise Entsprechungspunkte werden in der Form von Vektoren ausgegeben. Die Entsprechungspunktextrahiereinheit 1 identifiziert eine überlappende Region der Bilder a und b.
Eine Parameterschätzeinheit 2 schätzt Parameter, die für eine Bildumwandlung zum Zweck der Kombination der zwei Bilder verwendet werden, auf der Grundlage der durch die Extrahiereinheit 1 extrahierten Entsprechungspunktvektoren.
Eine Korrekturkoeffizientenbestimmungseinheit 3 bestimmt Koeffizienten, die für eine Tonkorrektur verwendet werden, die bei jedem der Eingangsbilder a und b durchgeführt wird. Die Korrekturkoeffizienten werden auf der Grundlage von Bilddaten in der überlappenden Region der Eingangsbilder a und b bestimmt.
Tonumwandlungseinheiten 4 und 5 führen jeweils eine Tonkorrektur bei den Eingangsbildern a und b derart durch, dass Helligkeit und Tönung jeder Farbe in der überlappenden Region der zwei Bilder gleich sind.
Eine Bildkombinationseinheit 6 wandelt die Eingangsbilder a und b, deren Helligkeit korrigiert wurde, unter Verwendung der Umwandlungsparameter um und kombiniert die zwei Bilder in ein einziges Bild.
Eine Steuereinheit 7 steuert die gesamte Bildkombinationsvorrichtung.
Entsprechungspunktextraktion durch Einheit 1 Nachstehend wird der Vorgang zur Erzeugung eines kombinierten Bildes c beruhend auf den Eingangsbildern a und b beschrieben. Es wird ein Fall beschrieben, in dem die Eingangsbilder a und b N Helligkeitsbilddatentöne haben.
Die Entsprechungspunktextrahiereinheit 1 extrahiert Entsprechungspunkte aus den Eingangsbildern a und b zum Identifizieren einer überlappenden Region. Der durch die Entsprechungspunktextrahiereinheit 1 durchgeführte Verarbeitungsalgorithmus ist in 5 gezeigt. Der in 5 gezeigte Algorithmus wird zur Durchführung einer Vorlagenübereinstimmung und Extraktion entsprechender Punkte (das heißt, der Überlappungsregion) ausgeführt.
In Schritt S1 bestimmt die Entsprechungspunktextrahiereinheit 1 eine Region, die eine Vorlage enthält (die nachstehend als Vorlagenregion bezeichnet wird), um einen Vorlagenübereinstimmungsvergleich durchzuführen. Da die Eingangsbilder a und b willkürlich aufgenommen werden, kann die überlappende Region nicht vorab bestimmt werden. Somit stellt die Extrahiereinheit 1 eine vorbestimmte Region als Vorlagenregion ein.
Die vorbestimmte Region kann auf verschiedene Weise bestimmt werden.
Im ersten Ausführungsbeispiel wird angenommen, dass das Bild des Rahmens f1 zuerst fotografiert ist, und das Bild des Rahmens f2 als nächstes fotografiert ist. Daher wird das Eingangsbild a links und das Eingangsbild b rechts angeordnet. Das heißt, eine überlappende Region der zwei Bilder sollte der rechte Abschnitt des Eingangsbildes a und der linke Abschnitt des Eingangsbildes b sein. Dementsprechend wird eine vorbestimmte Region T wie in 6A gezeigt eingestellt. Die Region T befindet sind im rechten Abschnitt des Bildes a. die horizontale Länge der Region T beträgt 30% der horizontalen Länge des Bildes a, und eine vertikale Länge der Region T beträgt 80% der vertikalen Länge des Bildes a. Die Region T befindet sind im Zentrum der vertikalen Länge des Bildes a, wobei ihr rechtes Ende an das rechte Ende des Bildes a angrenzt.
Sind die Eingangsbilder a und b vertikal angeordnet, dass heißt, übereinander, wird die Vorlagenregion T wie in 6B gezeigt eingestellt. Insbesondere befindet sich die Region T im unteren Abschnitt des Bildes a. Die vertikale Länge der Region T beträgt 30% der vertikalen Länge des Bildes a, und die horizontale Länge der Region T beträgt 80% der horizontalen Länge des Bildes a. Die Region T befindet sich im Zentrum der horizontalen Länge des Bildes a, wobei das untere Ende an das untere Ende des Bildes a angrenzt.
Bei dem Vorgang der Extraktion entsprechender Punkte wie in 5 gezeigt wird ein Übereinstimmungsvergleichsvorgang hinsichtlich der Region T mehrmals wiederholt. Eine Region (die nachstehend als Suchvorlage bezeichnet wird), die einer einzelnen Übereinstimmungsvergleichsverarbeitung unterzogen wird, beträgt 1/24(= 1/3 × 1/8) der Region T. Eine einzelne Suchvorlage ist in 6A mit „t" bezeichnet.
Die nachstehend beschriebenen Schritte S2 bis S4 werden hinsichtlich der in Schritt S1 extrahierten Region T durchgeführt.
In Schritt S2 bestimmt die Entsprechungspunktextrahiereinheit 1 einen Suchobjektbereich S im Eingangsbild b, und setzt im Berech S einen gesuchten Bereich s, der der im Bild a bestimmten Suchvorlage t entspricht. Der Suchobjektbereich S wird auf ähnliche Weise wie bei der Einstellung der Region T eingestellt. Das heißt, der Suchobjektbereich S sowie die Suchvorlage t werden wie in den 7A und 7B gezeigt beruhend auf einer Annahme bestimmt, dass dann, wenn ein Benutzer Fotografien zur Erzeugung eines Panoramabildes macht, der Benutzer die Rahmen f1 und f2 derart setzen würde, dass nicht mehr als 50% des Eingangsbildes a mit dem Eingangsbild b in der horizontalen Richtung überlappen, und nicht mehr als ±10% des Bildes a in der vertikalen Richtung von Bild b abweichen. Insbesondere wird die Vorlage t, die ein gesuchter Bereich s ist, auf eine Größe von 10% in der vertikalen Richtung und von weniger als 50 (vorzugsweise 40%) in der horizontalen Richtung des Bildes a eingestellt.
Ist ein geschätzter Überlappungszustand der Eingangsbilder a und b anders, kann die Einstellung des Suchobjektbereichs zur Extraktion entsprechender Punkte geändert werden.
Der in 7B gezeigte Bereich S ist der Suchobjektbereich S, der entsprechend der Vorlage t in 7A eingestellt wird. Die Extrahiereinheit 1 identifiziert einen Entsprechungspunkt in Schritt S3. Insbesondere bewegt die Extrahiereinheit 1 die Vorlage t, die im Bild a innerhalb des Suchobjektbereichs S eingestellt ist, der im Bereich t eingestellt ist, parallel, das heißt, der Bereich s wird im Bereich S bewegt. Die Extrahiereinheit 1 berechnet dann eine Summe von Absolutwerten der Differenz zwischen allen in der Suchvorlage t enthaltenen Bilddaten und allen im Bereich s enthaltenen Bilddaten. Die Extrahiereinheit 1 bestimmt eine Position im Bild b mit der minimalen Summe ΣD der Absolutwerte der Differenzen als Entsprechungspunkt der Vorlage t.
In Schritt S4 bestimmt die Entsprechungspunktextrahiereinheit 1 die Zuverlässigkeit des Ergebnisses der in Schritt S3 erfassten Entsprechungspunkte. Die Bestimmung der Zuverlässigkeit wird auf der Grundlage des minimalen Werts ΣD¹ _min und des zweiten minimalen Werts ΣD¹ _min der Summe FD der Absolutwerte der Differenzen durchgeführt. Das heißt, unter der Annahme, dass Th₁ und Th₂ die jeweiligen vorbestimmten Schwellenwerte sind, wird der erfasste Entsprechungspunkt als zuverlässig bestimmt, wenn die folgenden Gleichungen erfüllt sind. ΣD1 min ≤ Th1 (1) ΣD1 min – ΣD1 min ≥ Th2 (2)
Dann speichert die Entsprechungspunktextrahiereinheit 1 die Koordinaten der Entsprechungspunkte für die Bilder a und b jeweils in einem Speicher (nicht gezeigt).
Zur Erfassung der Positionen der Entsprechungspunkte kann die Extrahiereinheit 1 neben dem vorstehenden Verfahren, bei dem die Position mit der minimalen Summe ΣD der Absolutwerte der Differenzen als Entsprechungspunkt bestimmt wird, eine Korrelation berechnen und eine Position mit dem größten Korrelationswert als Entsprechungspunkt bestimmen.
Außerdem kann die Entsprechungsposition von einem Benutzer bestimmt werden. beispielsweise kann ein Benutzer einen zu bestimmenden identischen Punkt in beiden Bildern mit einem Cursor oder dergleichen bestimmen, indem er auf die zwei Bilder a und b Bezug nimmt, die auf einer Anzeige angezeigt werden.
Auf diese Weise wird die überlappende Region der Bilder a und b durch wiederholte Durchführung der in 5 beschriebenen Steuerschritte durchgeführt.
Bestimmung eines Koordinatenumwandlungsparameters durch die Schätzeinheit 2
Die Parameterschätzeinheit 2 schätzt Parameter für eine Koordinatenumwandlung auf der Grundlage der extrahierten Entsprechungspunkte aus der überlappenden Region. Hier ist die Koordinatenumwandlung der Vorgang zum Zusammenfallen lassen der überlappenden Region des Bildes a mit der überlappenden Region des Bildes b. Bei dem ersten Ausführungsbeispiel wird eine Affintransformation angewendet.
Es wird angenommen, dass das Bild b um θ° hinsichtlich der Position des Bildes a gedreht wird, um eine Entfernung dx in der Richtung von X und eine Entfernung von dy in der Richtung von Y parallel bewegt wird, und gegenüber dem Bild a m-mal vergrößert wird, wodurch ein willkürlicher Punkt (x_a, y_a) im Bild a dem Punkt (x_b, y_b) im Bild b entspricht, der durch die folgende Gleichung (3) definiert ist:
mit A = m·cosθ B = m·sinθ C = -m·dx D = –m·dy (3)
Die Parameterschätzeinheit 2 schätzt die Parameter A, B, C und D unter Anwendung des Verfahrens der kleinsten Quadrate. Zur Schätzung der Parameter unter Verwendung des Verfahrens der kleinsten Quadrate sind zumindest zwei Paare von Entsprechungspunkten erforderlich.
Wurde lediglich ein Paar von Entsprechungspunkten gefunden, kann die Schätzeinheit 2 die Übereinstimmungsverarbeitung nicht durchführen, da die Rotationskomponente θ nicht bestimmt werden kann. In diesem Fall nimmt die Schätzeinheit 2 θ = 0 und m = 1 an, was bewirkt, dass das Bild nicht gedreht wird. Das heißt, A und B werden jeweils auf 1 und 0 gesetzt. Unter der Annahme, dass die Entsprechungspunktvektoren mit (a_x, a_y) bezeichnet werden, gibt die Einheit 2 somit die folgenden Parameter aus: A = 1(= cos0), B = 0(= sin0) C = – ax, D = – ay (4)
Im Fall, dass keine Entsprechungspunkte erhalten werden, wird die folgende Verarbeitung nicht durchgeführt; stattdessen wird beispielsweise eine Nachricht oder dergleichen zu einer Katodenstrahlröhre CRT ausgegeben und die Verarbeitung wird beendet. Die auf die vorstehend beschriebene Art und Weise erhaltenen Parameter werden verwendet, wenn eine überlappende Region geschätzt wird.
Tonumwandlung
Zur Erzeugung eines kombinierten Bildes, dessen Grenze der Bilder nicht auffällt, führen die Tonumwandlungseinheiten 4 und 5 bei den eingegebenen Bildern a und b jeweils eine Tonumwandlung durch, sodass die Helligkeit und Tönung der Farben (R, G und B) in der überlappenden Region der zwei Bilder gleich sind. Die Korrekturkoeffizientenbestimmungseinheit 3 bestimmt Korrekturkoeffizienten für die Tonumwandlungsverarbeitung.
Dabei wird bei dem Ausführungsbeispiel die Tonumwandlung bei Helligkeitskomponenten durchgeführt. Verwendet das Ausführungsbeispiel Farbbilder, kann eine Tonkorrektur bei jeder Farbe (R, G und B) durchgeführt werden. Insbesondere wird eine Tonumwandlung unter Verwendung einer individuellen Tonkorrekturfunktion jeweils bei den R-, Gund B-Bildern durchgeführt.
8 zeigt den durch die Korrekturkoeffizientenbestimmungseinheit 3 und die Tonumwandlungseinheiten 4 und 5 durchgeführten Verarbeitungsalgorithmus. Die Korrekturkoeffizientenbestimmungseinheit 3 erhält durch die Schätzeinheit 2 für die Koordinatenumwandlung geschätzte Parameter A, B, C und D und die Bilder a und b. Die Tonumwandlungseinheiten 4 und 5 erhalten jeweils die Bilder a und b.
In Schritt S11 in 8 bestimmt die Korrekturkoeffizientenbestimmungseinheit 3, ob sich ein Bildelement der Eingangsbilder a und b in der überlappenden Region befindet oder nicht. Für diese Bestimmung werden Koordinatenwerte jedes Bildelements in den eingegebenen Bildern der Affintransformation gemäß Gleichung (3) unter Verwendung der Parameter A, B, C und D unterzogen. Dann wird bestimmt, ob die Koordinatenwerte, bei denen die Affintransformation durchgeführt wurde, sich innerhalb des Bereichs befinden oder nicht, der als die überlappende Region des Bildes b bestimmt ist.
Als nächstes nimmt die Korrekturkoeffizientenbestimmungseinheit 3 in Schritt S12 in 8 Abtastwerte von Bilddaten für alle oder eine vorbestimmte Anzahl von Bildelementen, die als in der überlappenden Region enthalten bestimmt sind. So wird angenommen, dass eine Anzahl N von Abtastbildelementen erhalten wird. Das heißt, es werden Bildelementwerte P_a(k) und P_b(k)(k = 1 bis N) erhalten. Die folgende Gleichung (5) kann erhalten werden, wenn die Affintransformation in Gleichungen (3) einfach durch die Matrix H ausgedrückt wird: S(Pb(x', y')) = Pa(x, y) (5)
P_a(x, y) stellt einen Bildelementwert an einer (x, y) Koordinatenposition dar, die der Affintransformation nicht unterzogen wird. P_b(x', y') stellt einen Bildelementwert an einer (x, y) Koordinatenposition dar, die dem Ort (x', y') entspricht, der der Affintransformation unterzogen wurde. S in der Gleichung (5) stellt eine Funktion dar, die eine Tonumwandlungsverarbeitung bei Bildelementen durchführt, die von der vorstehenden Koordinatentransformation begleitet wird. Die Tonumwandlungsverarbeitung wird nachstehend näher beschrieben.
Die Korrekturkoeffizientenbestimmungseinheit 3 kann die Abtastung von Bildelementwerten bildelementweise oder für willkürliche Bildelemente durchführen. Des Weiteren kann die Korrekturkoeffizientenbestimmungseinheit 3 aus Abtastdaten einen Durchschnittswert der benachbarten Bildelementwerte beruhend auf den Koordinaten der Entsprechungspunkte verwenden, die durch die Verwendung der Parameter erhalten werden.
Die Korrekturkoeffizientenbestimmungseinheit 3 erhält dann Tonkorrekturkoeffizienten in Schritt S13 in 8 auf der Grundlage der Abtastdaten P_a(k) und P_b(k).
9 zeigt das Verfahren zur Berechnung der Tonkorrekturkoeffizienten in Kürze.
In 9 gibt die Abszisse einen Dichtewert bzw. Helligkeitswert der Abtastbildelementdaten P_b(k) des Bildes b und die Ordinate einen Helligkeitswert der Abtastbildelementdaten P_a(k) des Bildes a an. In Schritt S13 in 8 erzeugt die Korrekturkoeffizientenbestimmungseinheit 3 eine Umwandlungsfunktion (Funktion f900 in 9) auf der Grundlage der vorstehenden Abtastdaten, damit der Bildelementhelligkeitswert eines Bildes (beispielsweise des Bildes a) dem Bildelementhelligkeitswert des anderen Bildes (beispielsweise des Bildes b) entspricht.
Experimentell gesagt haben Helligkeitswerte der Bilder a und b eine Verteilung ähnlich einer quadratischen Funktion. Zur Umwandlung eines Bildelementwerts in der überlappenden Region des Bildes b in einen Bildelementwert in der überlappenden Region des Bildes a wird somit die folgende quadratische Funktion angewendet. F(Pb) = Tb1 × Pb 2 + Tb 2 × Pb + Tb3 (6)wobei T_b1, T_b2 und T_b3 Koeffizienten sind.
In Schritt S13 in 8 erhält die Korrekturkoeffizientenbestimmungseinheit 3 die Koeffizienten T_b1, T_b2 und T_b3 zur Erzeugung von f(P_b) in Gleichung (6). Zum Erhalten dieser Werte berechnet die Korrekturkoeffizientenbestimmungseinheit 3 T_b1, T_b2 und T_b3, die eine Bewertungsfunktion ε minimieren, die durch die folgende Gleichung ausgedrückt ist: ε = Σ{Pa(k) – (Tb1 × P2 b(k) + Tb2 × Pb(k) + Tb3)} (7)
Die Korrekturkoeffizientenbestimmungseinheit 3 führt den Tonumwandlungseinheiten 4 und 5 die berechneten Koeffizienten T_b1, T_b2 und T_b3 zu. Da die Korrekturkoeffizientenbestimmungseinheit 3 die Koeffizienten zum Übereinstimmen der Bildelementwerte des Bildes mit den Bildelementwerten des Bildes a gemäß dem ersten Ausführungsbeispiel berechnet, sind die Tonkorrekturkoeffizienten T_b1, T_b2 und T_b3 für das Bild a jeweils T_a1 = 0, T_a2 = 1 und T_a3 = 0.
Als nächstes wandeln die Tonumwandlungseinheiten 4 und 5 Bildelementwerte jedes Bildes a und b entsprechend den Tonkorrekturkoeffizienten T_b1, T_b2 und T_b3 in Schritt S14 in 8 um. Im Folgenden wird die durch die Tonumwandlungseinheit 5 durchgeführte Verarbeitung beschrieben.
Die Tonumwandlungseinheit 5 wandelt Töne des Bildes b in Töne des Bildes a um. Die Tonumwandlungseinheit 5 erzeugt eine Tabelle zur Umwandlung der Töne des Bildes b in Töne des Bildes a auf der Grundlage der Tonkorrekturkoeffizient T_b1, Tb₂ und T_b3. Beträgt der dynamische Bereich des Bildes 8 Bits, haben Bildelementwerte 0 bis 255 des Bildes b die Werte f(0) bis f(255) im Raum des Bildes entsprechend der quadratischen Funktion f(P_b) in der Gleichung (6). Beispiele von f(0) bis f(255) in einer Umwandlungstabelle 910 sind in 10 gezeigt.
Obwohl die Tonumwandlungseinheit 4 die Helligkeitswerte des Bildes a in Helligkeitswerte im Raum des Bildes b umwandeln kann, müssen Bildelementwerte des Bildes a gemäß dem ersten Ausführungsbeispiel nicht umgewandelt werden; somit gilt f(P_a) = P_a. Daher wandelt die Umwandlungstabelle in der Tonumwandlungseinheit 4 die Bildelementwerte 0 bis 255 in Bildelementwerte 0 bis 255 um, das heißt, es wird keine Umwandlung durchgeführt.
Im Fall eines Farbbildes ist es von Vorteil, die Tonumwandlung durch Erzeugung einer Umwandlungsfunktion durchzuführen, die gemeinsam von R, G und B verwendet wird. Die Tonumwandlungsfunktionen der jeweiligen Farben können so vorgesehen werden, dass die Farbübereinstimmung verbessert werden kann.
Obwohl die quadratische Funktion als Umwandlungsfunktion bei dem ersten Ausführungsbeispiel verwendet wird, ist es möglich, eine andere Form einer Funktion zu verwenden. Natürlich ist es auch möglich, die Tonumwandlung unter Verwendung einer nichtlinearen Tabelle durchzuführen.
Kombinieren von Bildern
Die Bildkombinationseinheit 6 erzeugt ein einzelnes kombiniertes Bild auf der Grundlage der Eingangsbilder und der Bilder, bei denen die Tonkorrektur jeweils durch die Tonumwandlungseinheiten 4 und 5 durchgeführt wurden.
Die Bildkombinationseinheit 6 erzeugt ein kombiniertes Bild b entsprechend einem in 11 gezeigten Algorithmus.
In Schritt S21 stellt die Bildkombinationseinheit 6 einen Bildbereich für das kombinierte Bild c ein.
Der durch die gestrichelten Linien in 12 angegebene Bereich bezeichnet den Bereich für das kombinierte Bild, der auf der Grundlage eines Koordinatensystems des Eingangsbildes a eingestellt wurde. Da die Beschreibung des ersten Ausführungsbeispiels auf den Koordinaten des Eingangsbildes a beruht, wird für eine einfache Beschreibung angenommen, dass die Ober- und Unterseite des Bildes a parallel zur Koordinatenachse X verlaufen.
Die Bildkombinationseinheit 6 lässt zuerst das linke Ende des kombinierten Bildes c mit dem linken Ende des Bildes a zusammenfallen. Die Bildkombinationseinheit 6 wandelt eine Position des Bildelementes (100) am oberen rechten Ende des Bildes b und eine Position des Bildelements (101) am unteren rechten Ende des Bildes b jeweils in Positionen im Koordinatensystem des Bildes a um. Dann lässt die Bildkombinationseinheit 6 das rechte Ende des kombinierten Bildes c mit einer Position mit einem größeren Koordinatenwert unter den umgewandelten zwei Positionen zusammenfallen. Da in 12 das untere rechte Ende 101 einen größeren Koordinatenwert hat, passt die Bildkombinationseinheit 6 das rechte Ende des kombinierten Bildes c mit dem unteren rechten Ende 101 zusammen.
Für den Vorgang der Umwandlung eines Koordinatenwerts des Bildes b in einen Koordinatenwert des Bildes a zum Erhalten einer Position mit größeren Koordinaten verwendet die Bildkombinationseinheit die inverse Transformation der Affintransformation, wie in Gleichung (8) gezeigt. Xa = A'·xb + B'yb + C' Ya = – B'·xb + A'·yb + D'mit A' = A/(A2 + B2 ) B' = –B/(A2 + B2) C' = (–A·C + B·D)/(A2 + B2) D' = (–B·C – A·D)/(A2 + B2) (8)
Hier sind A', B', C' und D' Parameter der inversen Transformation.
Gleichermaßen (siehe 12) wird das obere Ende des kombinierten Bildes c auf folgende Weise bestimmt. Insbesondere werden die Position des Bildelements (100) am oberen rechten Ende des Bildes b und die Position des Bildelements (103) am unteren linken Ende jeweils in Positionen im Koordinatensystem des Bildes a umgewandelt. Die Bildkombinationseinheit 6 lässt das untere Ende des kombinierten Bildes c mit einer Position mit dem kleinsten Koordinatenwert unter den zwei umgewandelten Positionen und der Position des Bildelements (102) am oberen linke Ende des Bildes a zusammenfallen. Des Weiteren lässt die Bildkombinationseinheit 6 das untere Ende des kombinierten Bildes c mit einer Position mit einem größeren Koordinatenwert unter der Position des Bildelements (101) am unteren rechten Ende und der Position des Bildelements (105) am unteren linke Ende des Bildes b zusammenfallen.
Der in 12 gezeigte kombinierte Bildbereich c wird in vorstehend beschriebener Weise bestimmt.
In Schritt S22 in 11 stellt die Bildkombinationseinheit 6 eine Grenze der Bilder so ein, dass die Grenze sich im Zentrum der überlappenden Region befindet. Da die Bilder a und b in dem ersten Ausführungsbeispiel Seite an Seite angeordnet sind, ist die grenze L, die im Zentrum eingestellt wurde, durch gestrichelte Linien L in 12 gezeigt. Zur genaueren Beschreibung ist die Grenze L parallel zur vertikalen Koordinatenachse eingestellt. In der horizontalen Richtung ist die Grenze L so eingestellt, dass die zwei Bilder am Schwerpunkt zwischen den Koordinaten des Bildelements 106 am unteren rechten Ende des Bildes a und einem kleineren Koordinatenwert der zwei Bildelemente 103 oder 105 kombiniert werden, die sich jeweils am oberen linken Ende und unteren linken Ende des Bildes b befinden, die jeweils in Bildelementpositionen im Koordinatensystem des Bildes a umgewandelt wurden.
In Schritt S23 führt die Bildkombinationseinheit 6 wiederholt die Verarbeitung in den Schritten S24 und S25 bei dem Bereich für das kombinierte Bild c durch, der in Schritt 521 eingestellt wird.
Aufgabe der Erfindung ist die Erzeugung eines kombinierten Bildes, dessen Helligkeitsunterschied an der Grenze der Bilder nicht auffällt. Diese Aufgabe wird teilweise durch die Tonkorrektur in Schritt S14 in 8 gelöst. Allerdings wird die in Schritt S14 durchgeführte Tonumwandlung für jedes Eingangsbild a und b unabhängig durchgeführt, und minimiert daher nicht immer den Helligkeitsunterschied nahe der Grenze der Bilder in der überlappenden Region. Die in den Schritten S24 und S25 durchgeführte Verarbeitung glättet den Helligkeitsunterschied nahe der Grenze der Bilder in der überlappenden Region noch weiter.
Wie es in 13 gezeigt ist, wird ein Tonumwandlungsbereich 150 mit einer vorbestimmten Breite 2W in den Schritten S24 und S25 in 11 eingestellt, wobei die Grenze L der Bilder in seinem Zentrum liegt. Das heißt, der Tonumwandlungsbereich 150 ist ein rechteckiger Bereich jeweils mit einer Breite W links und rechts von der Grenze L.
In Schritt S24 schreibt die Bildkombinationseinheit Bildelementwerte der Bildelemente des Bildes a in den entsprechenden Bereich des kombinierten Bildbereichs c. Hinsichtlich solcher in einem Bereich 140a des Bildes a in 13 enthaltener Bildelemente, die aber nicht im Tonumwanclungsbereich 150 enthalten sind, schreibt die Bildkombinationseinheit 6 die Bildelementwerte des ursprünglichen Bildes a. Hinsichtlich eines Bildelements P_a im Bild a, das im Tonumwandlungsbereich 150 enthalten ist, bestimmt die Bildkombinationseinheit 6 einen Tonumwandlungswert P'_a dementsprechend wie weit (dx_a) das Bildelement P_a von der Grenze L entfernt ist. Der Tonumwandlungswert P'_a wird durch die folgende Gleichung bestimmt, wobei eine Funktion f verwendet wird, die in der vorstehend beschriebenen in der Tonumwandlungseinheit 4 gespeicherten Umwandlungstabelle (10) definiert ist.
Gemäß Gleichung (9) wird der Tonumwandlungswert P'_a durch Addieren eines Korrekturterms
entsprechend einer Entfernung dx_a zum Wert f(P_a) erhalten, der entsprechend einer Funktion f in der Umwandlungstabelle korrigiert wurde.
Da die Tonumwandlungseinheit wie vorstehend beschrieben den Ton des Bildes b mit dem des Bildes a gemäß dem ersten Ausführungsbeispiel entsprechend macht, ist f = 1.
Dementsprechend ist Gleichung (9) durch die folgende Gleichung ausgedrückt: P'a = Pa (10)
In Schritt S25 schreibt die Bildkombinationseinheit 6 gleichermaßen Bildelementwerte hinsichtlich des Bereichs des Bildes b. Das heißt, bezüglich solcher in einem Bereich 140b des Bildes b in 13 enthaltener Bildelemente, die aber nicht im Tonumwandlungsbereich 150 enthalten sind, schreibt die Bildkombinationseinheit 6 den Bildelementwert des ursprünglichen Bildes b. Bezüglich eines Bildelementes P_b in Bild b, das im Tonumwandlungsbereich 150 enthalten ist, bestimmt die Bildkombinationseinheit 6 einen Tonumwandlungswert P'_b dementsprechend, wie weit (dx_b) das Bildelement P_b von der Grenze L entfernt ist. Der Tonumwandlungswert P'_b wird durch die folgende Gleichung unter Verwendung einer Funktion f' bestimmt, die in der in der Tonumwandlungseinheit 5 gespeicherten Umwandlungstabelle definiert ist.
14 zeigt das auf die vorstehend beschriebene Art und Weise erhaltene kombinierte Bild c.
Ein durch die Schraffierung in 14 angegebener Leerbereich 160 ist eine Region, in die weder Bildelemente des Bildes a noch des Bildes geschrieben sind. Im Leerbereich 160 wird ein Leerbildelement (beispielsweise ein weißes Bildelement oder dergleichen) geschrieben.
15 zeigt die Veränderung von Bildelementen an einer willkürlichen Geraden H im kombinierten Bild c aus 14. In der grafischen Darstellung in 15 stellt der Abfall 170 des Bildelementwerts P_a ein dunkles Subjekt dar; und der Anstieg 171 des Bildelementwerts P_b stellt ein helles Subjekt dar.
Die Varianz im Grafen aus 15 wird nachstehend beschrieben. Da die Bildelementwerte des Bildes a in dem kombinierten Bildbereich c gemäß dem ersten Ausführungsbeispiel ohne Verarbeitung geschrieben werden, sind die Bildelementwerte auf der linken Seite der Grenze L die Bildelementwerte des ursprünglichen Bildes a. Das heißt, wie durch Gleichung (10) ausgedrückt, sind die Bildelementwerte auf der linken Seite der Grenze L nicht umgewandelt, obwohl sich die Bildelemente im Tonumwandlungsbereich 150 befinden.
Unterdessen wäre hinsichtlich der Bildelementwerte auf der rechten Seite der Grenze L eine bei jedem Bildelement durchgeführte Tonumwandlung unabhängig davon unterschiedlich, ob das Bildelement im Tonumwandlungsbereich 150R (Weite W) liegt. Insbesondere wird hinsichtlich eines Bildelementwerts 133 im Tonumwandlungsbereich 150R der Bildelementwert durch die Gleichung (11) derart umgewandelt, dass sich der Wert allmählich vom Bildelementwert 131 des ursprünglichen Bildes b in den Bildelementwert 132 ändert, der entsprechend der Korrekturtabelle (Funktion f') umgewandelt ist, die in der Tonumwandlungseinheit 5 gespeichert ist.
Im Bereich außerhalb des Tonumwandlungsbereichs 150R werden Bildelementwerte des ursprünglichen Bildes b geschrieben.
Gemäß der vorstehenden Beschreibung führt die Bildkombinationseinheit 6 das Schreiben von Bildelementwerten für den Bereich des Bildes a separat vom Bereich des Bildes b durch, wobei der kombinierte Bildbereich durch die Grenze L geteilt ist. Allerdings kann eine Vielzahl von Bereichen in der überlappenden Region des Bildes (150L und 150R) eingestellt werden, und Gewichte können zu den Bildelementwerten jedes Bildes in jedem der Vielzahl der Bereich zur Erzeugung von Bildelementwerten eines kombinierten Bildes hinzugefügt werden.
Das durch die vorstehende Verarbeitung erzeugte kombinierte Bild c wird zu einem Drucker oder dergleichen ausgegeben.
(Modifikation des ersten Ausführungsbeispiels)
Erstes modifiziertes Ausführungsbeispiel
Nachstehend ist eine Modifikation des ersten Ausführungsbeispiels (erstes modifiziertes Ausführungsbeispiel) beschrieben.
Eine Bildkombinationseinheit gemäß dem ersten modifizierten Ausführungsbeispiel hat den gleichen Aufbau wie die des ersten Ausführungsbeispiels in 4. Allerdings unterscheiden sich die Funktionen und die Verarbeitung der Korrekturkoeffizientenbestimmungseinheit 3 und der Bildkombinationseinheit 6 von denen des ersten Ausführungsbeispiels. Die Verarbeitung wird nachstehend beschrieben. Die Korrekturkoeffizientenbestimmungseinheit 3 gemäß dem ersten modifizierten Ausführungsbeispiel bestimmt im Tonumwandlungsbereich 150 enthaltene Bildelementwerte auf der Grundlage von Bildelementwerten in der überlappenden Region der Eingangsbilder a und b. Das Verfahren der Bestimmung wird unter Bezugnahme auf 16 beschrieben.
Wie bei dem ersten Ausführungsbeispiel erzeugt die Korrekturkoeffizientenbestimmungseinheit 3 Abtastdaten P_a(k) und P_b(k) von Entsprechungspunkten auf der Grundlage der Bildelementwerte (siehe 16), die in der überlappenden Region der Bilder a und b enthalten sind. Bei der Erzeugung der Abtastdaten berechnet die Korrekturkoeffizientenbestimmungseinheit 3 einen Durchschnittswert dP_avg der Differenz dP in jedem Paar der Entsprechungspunkte und führt den Durchschnittswert dP_avg der Bildkombinationseinheit 6 zu. In 16 bezeichnet das Bezugszeichen Y eine laterale Breite des Bildes a. Das Bild b hat die gleiche laterale Breite Y.
Unter der Annahme, dass der dynamische Bereich eines Bildelementwerts 8 Bits beträgt, stellt die Bildkombinationseinheit 6 den Tonumwandlungsbereich 2W auf der Grundlage von P_avg durch die folgende Gleichung ein:
dP_avg in Gleichung (12) bezeichnet die Tondifferenz zwischen jedem Paar entsprechender Punkte in der überlappenden Region der Bilder mit einem maximalem Wert von 255 und einem minimalen Wert 0. Ist der Unterschied der Tonstufen groß, wird gemäß Gleichung (12) die Breite 2W im Tonumwandlungsbereich groß; und ist der Unterschied der Tonstufen klein, wird die Breite 2W klein.
Vorstehend wurde das Verfahren der Bestimmung des Tonumwandlungsbereichs gemäß dem ersten modifizierten Ausführungsbeispiel beschrieben, insbesondere das Verfahren der Bestimmung einer Breite des Tonumwandlungsbereichs entsprechend dem Unterschied in Tonstufen in einem Fall, in dem Töne des Bildes a von Tönen des Bildes b in der Überlappungsregion verschieden sind.
Gemäß dem ersten modifizierten Ausführungsbeispiel wird ein kombiniertes Bild auf die gleiche Weise wie bei dem ersten Ausführungsbeispiel erzeugt.
Da bei dem ersten modifizierten Ausführungsbeispiel der Tonumwandlungsbereich geeignet entsprechend dem Unterschied in Tonstufen in der Überlappungsregion der Bilder eingestellt werden kann, ist es möglich, eine glatte Tonkorrektur durchzuführen, die für ein eingegebenes Bild geeignet ist.
Modifikation des ersten Ausführungsbeispiels
Zweites modifiziertes Ausführungsbeispiel
Der Aufbau einer Bildkombinationsvorrichtung gemäß dem zweiten modifizierten Ausführungsbeispiel ist mit dem des ersten Ausführungsbeispiels (4) identisch. Da das Verfahren der Tonkorrektur alleine sich von dem des ersten Ausführungsbeispiels unterscheidet, wird das Verfahren nachstehend beschrieben.
Die Bildkombinationsvorrichtung gemäß dem zweiten modifizierten Ausführungsbeispiel extrahiert Abtastdaten auf der Grundlage von Bildelementwerten in der überlappenden Region der eingegebenen Bilder a und b. Dieser Vorgang ist mit dem des ersten Ausführungsbeispiels identisch. Die Korrelation zwischen einem Paar von Bildelementwerten P_a und P_b, die als Abtastdaten extrahiert werden, wird entsprechend dem in 9 gezeigten Verfahren bestimmt.
Bei dem ersten Ausführungsbeispiel wird die Umwandlungsfunktion f900 (9) zum Zusammenfallen von Tönen des Bildes b mit Tönen des Bildes a auf der Grundlage der Beziehung jedes Abtastdatenwerts unter Verwendung des Verfahrens der kleinsten Quadrate erzeugt. Dementsprechend wird bei dem ersten Ausführungsbeispiel die Umwandlung von Bildelementwerten, die zur Tonkorrektur durchgeführt wird, lediglich bei dem Bild b ausgeführt. Bei dem zweiten modifizierten Ausführungsbeispiel wird eine Tonkorrektur bei Bildelementwerten P_a und P_b jedes Bildes ausgeführt.
Das heißt, die Korrekturkoeffizientenbestimmungseinheit 3 gemäß dem zweiten modifizierten Ausführungsbeispiel erzeugt eine Umwandlungsfunktion f ähnlich wie bei dem im ersten Ausführungsbeispiel bezüglich 9 beschriebenen Verfahren und führt den Tonumwandlungseinheiten 4 und 5 Tonkorrekturkoeffizienten (T_b1, T_b2 und T_b3) zu, die die Funktion f vorschreiben. Die Umwandlungsfunktion f dient dem Zusammenfallenlassen von Bildelementwerten des Bildes b mit Bildelementwerten des Bildes a wie beim ersten Ausführungsbeispiel.
Die Tonumwandlungseinheit 5 zur Umwandlung des eingegebenen Bildes b führt eine Tonumwandlung unter Verwendung der Umwandlungsfunktion f auf der Grundlage der Bildelementwerte des Bildes b durch. Die Tonumwandlung wird durch die Gleichung (13) ausgeführt, wobei P_b einen Bildelementwert des ursprünglichen Bildes b und f(P_b) einen Bildelementwert bezeichnet, der durch die Umwandlungsfunktion umgewandelt ist.
Das heißt, die Bildkombinationsvorrichtung gemäß dem zweiten modifizierten Ausführungsbeispiel führt eine Tonumwandlung bei dem eingegebenen Bild b durch die Verwendung eines Durchschnittswerts des ursprünglichen Bildelementwerts P_b und des Bildelementwerts f(P_b) durch, der durch die Umwandlungsfunktion f erhalten wird.
Währenddessen führt die Tonumwandlungseinheit 4 eine Tonumwandlung entsprechend der folgenden Gleichung (14) durch:
wobei P_a ein Bildelementwert des ursprünglichen Bildes a ist.
17 zeigt in Kürze den Vorgangs der bei dem Bild b entsprechend der Gleichung (14) durchgeführten Tonumwandlung. Wie es in 17 gezeigt ist, bezeichnet {f(P_b) – P_b} einen Verschiebungs-Betrag zwischen der Umwandlungsfunktion f(P_b) und dem ursprünglichen Bildelementwert P_b. Gleichung (14) drückt aus, dass die Tonumwandlung durch Hinzufügen/Subtrahieren der Hälfte des Werts von {f(P_b) – P_b} zu/von den Bildern a und b durchgeführt wird. Mittels dieser Berechnung ändern sich Bildelementwerte jedes Bildes allmählich, wodurch eine glatte Tonkorrektur realisiert wird.
Die durch jede der Tonumwandlungseinheiten 4 und 5 umgewandelten Bildelementwerte werden in der Form einer Tabelle wie in 10 gezeigt wie bei dem ersten Ausführungsbeispiel aufbewahrt.
Bei dem zweiten modifizierten Ausführungsbeispiel führt die Bildkombinationseinheit 6 ein Schreiben von Bildelementwerten in das kombinierte Bild c wie bei dem ersten Ausführungsbeispiel durch.
18 zeigt eine Schwankung der Bildelementwerte auf der Geraden H in 14 bezüglich des durch das zweite modifizierte Ausführungsbeispiel kombinierten Bildes. Aus dem Graf ist ersichtlich, dass Bildelementwerte jedes Bildes sich allmählich ändern, wodurch eine glatte Tonkorrektur realisiert werde kann.
Zweites Ausführungsbeispiel
19 zeigt ein Blockschaltbild des Aufbaus einer Bildkombiniervorrichtung 210 und des Arbeitsablaufs bei einem eingegebenen Bild gemäß dem zweiten Ausführungsbeispiel.
Gemäß 19 umfasst die Bildkombiniervorrichtung 210 hauptsächlich Eingabeanschlüsse 210a oder 210b, eine Entsprechungspunktextrahiereinheit 220, die entsprechende Punkte aus zwei eingegebenen Bildern extrahiert, eine Entsprechungspunktauswahleinheit 225, die falsch als entsprechende Punkte erfasste Komponenten aus einem Satz entsprechender Punkte beseitigt, die durch die Entsprechungspunktextrahiereinheit 220 extrahiert wurden, und die lediglich die korrekten Entsprechungspunkte auswählt, eine Parameterschätzeinheit 240, die Parameter zum Kombinieren von Bildern schätzt, eine Korrekturkoeffizientenbestimmungseinheit 230, die Koeffizienten für eine Tonkorrektur des Bildes bestimmt, Tonumwandlungseinheiten 231 und 232, die jeweils Töne eingegebener Bilder a und b korrigieren, und eine Bildkombiniereinheit 250, die zwei Bilder kombiniert, bei denen eine Tonumwandlung durchgeführt wurde.
Die Bilder a und b werden jeweils in die Eingabeanschlüsse 210a und 210b eingegeben. Die eingegebenen Bilder a und b werden durch eine elektronische Stehbildkamera oder eine Videokamera oder dergleichen auf eine Art und Weise aufgenommen, dass beide Bilder teilweise eine überlappende Region mit dem gleichen Bild enthalten. Wie bei dem ersten Ausführungsbeispiel sind die Belichtungsbedingungen zum Zeitpunkt der Bildaufnahme für die zwei Bilder verschieden.
Jeder Eingabeanschluss 210a und 210b ist mit der Entsprechungspunktextrahiereinheit 220, der Korrekturkoeffizientenbestimmungseinheit 230 und den Tonumwandlungseinheiten 231 und 323 verbunden. Die eingegebenen Bilder a und b werden zur Entsprechungspunktextrahiereinheit 220 geführt, wo entsprechende Punkte aus jedem Bild a und b extrahiert werden.
Die Entsprechungspunktextrahiereinheit 220 ist mit der Entsprechungspunktauswahleinheit 225 und der Parameterschätzeinheit 240 verbunden. Die durch die Entsprechungspunktextrahiereinheit 220 extrahierten entsprechenden Punkte werden zur Entsprechungspunktauswahleinheit 225 und Parameterschätzeinheit 240 geführt. Die Entsprechungspunktauswahleinheit 225 und Parameterschätzeinheit 240 sind interaktiv miteinander verbunden. Auf der Grundlage von durch die Parameterschätzeinheit 240 geschätzten Koordinatenumwandlungsparametern und eines Koordinatenwerts, der die durch die Entsprechungspunktextrahiereinheit 220 extrahierten entsprechenden Punkte angibt, entfernt die Entsprechungspunktauswahleinheit 225 Komponenten, die falsch als entsprechende Punkte erfasst wurden, aus den durch die Entsprechungspunktextrahiereinheit 220 extrahierten Entsprechungspunkten und sendet das Ergebnis zur Parameterschätzeinheit 240. Die Parameterschätzeinheit 240 schätzt Parameter für eine Bildumwandlung auf der Grundlage des Ergebnisses, aus dem falsche entsprechende Punkte beseitigt sind.
Die Parameterschätzeinheit 240 ist mit der Korrekturkoeffizientenbestimmungseinheit 230 und der Bildkombiniereinheit 250 verbunden. Die durch die Parameterschätzeinheit 240 geschätzten Bildumwandlungsparameter werden zur Korrekturkoeffizientenbestimmungseinheit 230 und zur Bildkombiniereinheit 250 geleitet.
Die Korrekturkoeffizientenbestimmungseinheit 230, die durch die Eingabeanschlüsse 210a und 210b eingegebene Bilder a und b und durch die Parameterschätzeinheit 240 geschätzte Bildumwandlungsparameter (A, B, C und D) hält, bestimmt Koeffizienten (T_a und T_b) für eine Tonkorrektur eines Bildes auf der Grundlage des in der Überlappungsregion der Bilder a und b enthaltenen Bildes. Die Korrekturkoeffizientenbestimmungseinheit 230 ist mit den Tonumwandlungseinheiten 231 und 232 verbunden. Die Korrekturkoeffizientenbestimmungseinheit 230 schickt die bestimmten Koeffizienten (T_a und T_b) jeweils zu den Tonumwandlungseinheiten 231 und 232. die Tonumwandlungseinheiten 231 und 232 führen bei jedem Bild a und b eine Tonumwandlung unter Verwendung des von der Korrekturkoeffizientenbestimmungseinheit 230 geschickten Koeffizienten (T_b) durch, sodass in der Überlappungsregion der Bilder a und b die Helligkeit gleich ist.
Jede Tonumwandlungseinheit 231 und 232 ist mit der Bildkombiniereinheit 250 verbunden. Die Bildkombiniereinheit 250 wandelt die Bilder a und b, bei denen jeweils durch die Tonumwandlungseinheiten 231 und 232 eine Tonkorrektur durchgeführt wurde, unter Verwendung der durch die Parameterschätzeinheit 240 geschätzten Parameter um und kombiniert die zwei Bilder in ein einzelnes Bild.
Bei der vorstehenden Anordnung steuert die Steuereinheit 270 die gesamte Bildkombiniervorrichtung.
Wie nachstehend beschrieben unterscheidet sich das zweite Ausführungsbeispiel weitgehend vom ersten Ausführungsbeispiel durch die Aufnahme der Entsprechungspunktauswahleinheit 225.
Nachstehend wird die Arbeitsweise der Bildkombiniervorrichtung 210 für einen Fall beschrieben, in dem ein kombiniertes Bild c beruhend auf den Bildern a und b erzeugt wird. Bei diesem zweiten Ausführungsbeispiel enthalten die eingegebenen Bilder a und b jeweils Helligkeitsbilddaten mit einer Anzahl N an Tönen.
Extrahieren entsprechender Punkte
Die eingegebenen zwei Bilder a und b werden zuerst zur Entsprechungspunktextrahiereinheit 220 geschickt, wo entsprechende Punkte extrahiert werden.
Der durch die Entsprechungspunktextrahiereinheit 220 durchgeführte Vorgang zur Extraktion entsprechender Punkte ist im Wesentlichen mit dem durch die Extrahiereinheit 1 bei dem ersten Ausführungsbeispiel durchgeführten Vorgang identisch. Das heißt, die Extrahiereinheit 220 gemäß dem zweiten Ausführungsbeispiel führt im Wesentlichen die gleichen Verarbeitungsschritte wie die Extrahierverarbeitungsschritte gemäß dem ersten Ausführungsbeispiel (5) aus. Das heißt, die Extrahiereinheit 220 extrahiert einen Satz entsprechender Punkte durch die Durchführung einer Vorlagenzusammenpassung.
Schätzen von Koordinatenumwandlungsparametern
Die Entsprechungspunktextrahiereinheit 220 schickt die extrahierten Entsprechungspunkte zur Parameterschätzeinheit 240 und zur Entsprechungspunktauswahleinheit 225.
Die Parameterschätzeinheit 240 schätzt Parameter (A, B, C und D) für eine Koordinatenumwandlung auf der Grundlage der extrahierten Entsprechungspunkte.
Das zweite Ausführungsbeispiel erfordert auch eine Koordinatenumwandlung zum Zusammenfallenlassen der überlappenden Region des Bildes a mit der überlappenden Region des Bildes b. Somit wird wie bei dem ersten Ausführungsbeispiel eine Affintransformation angewendet. Dementsprechend bestimmt die Parameterschätzeinheit 240 gemäß dem zweiten Ausführungsbeispiel Parameter A, B, C und D, die bei der durch Gleichung (3) ausgedrückten Affintransformation anzuwenden sind, und gibt das Ergebnis zur Korrekturkoeffizientenbestimmungseinheit 230 aus. Das heißt, die Schätzeinheit 240 gemäß dem zweiten Ausführungsbeispiel ist im Wesentlichen mit der Schätzeinheit 3 gemäß dem ersten Ausführungsbeispiel identisch.
Auswählen von Entsprechungspunkten
Ein Satz von durch die Entsprechungspunktextrahiereinheit 220 extrahierten Entsprechungspunkten und von durch die Parameterschätzeinheit 240 geschätzten Koordinatenumwandlungsparametern (A, B, C und D) werden in die Entsprechungspunktauswahleinheit 225 eingegeben. Die Entsprechungspunktauswahleinheit 225 entfernt falsch erfasste Entsprechungspunkte aus dem Satz der durch die Entsprechungspunktextrahiereinheit 220 extrahierten Entsprechungspunkte. Mittels dieses Vorgangs werden Entsprechungspunkte, die von der Parameterschätzeinheit 240 zum Schätzen der Bildumwandlungsparameter verwendet werden, auf geeignetere Werte eingeengt. Die durch die Extrahiereinheit 220 zum Extrahieren von Entsprechungspunkten durchgeführte Vorlagenzusammenpassung beinhaltet eine mögliche falsche Erkennung. Daher müssen die Entsprechungspunkte durch ein Verfahren erneut bestätigt werden, dass sich von der Vorlagenzusammenpassung unterscheidet.
20 zeigt die durch die Auswahleinheit 225 durchgeführte Verarbeitung, wobei eine Bestimmung durchgeführt wird, ob Entsprechungspunkte falsch erkannt wurden oder nicht. In 20 wird angenommen, dass ein Satz einer Vielzahl von Paaren von Punkten P_i(x, y) und Q_i(x', y') (i = 0, 1,...) ein Satz von Entsprechungspunkten der Bilder a und b ist. Die Entsprechungspunktauswahleinheit 225 verwendet die Affintransformationsparameter A, B, C und D, die durch die Parameterschätzeinheit 240 erhalten werden, um Komponenten falscher Entsprechungspunkte gemäß der folgenden Gleichung zu erfassen. |x' – (A·x + B·y + C)| < Th |y' – (–B·x + A·y + D| < Th (15)
In Gleichung (15) geben (A·x + B·y + C) und (–B·x + A·y + D) jeweils Koordinaten (x, y) eines willkürlichen Punkts (der als Entsprechungspunkt geschätzt ist) im Bild a an, bei dem eine Affintransformation durchgeführt wurde. Ist demnach ein Absolutwert der Differenz zwischen den Koordinaten (A·x + B·y + C, –B·x + A·y + D), bei denen eine Affintransformation bezüglich (x, y) durchgeführt wurde, und den Koordinaten (x', y') im Bild b größer als ein Schwellenwert Th (das heißt, ist Gleichung (15) nicht erfüllt), wird das Paar der Entsprechungspunkte P_i(x, y) und Q_i(x', y') als falsch erkannt betrachtet.
Die Entsprechungspunktauswahleinheit 225 wählt lediglich die Entsprechungspunkte, die Gleichung (15) erfüllen, aus dem Satz der durch die Entsprechungspunktextrahiereinheit 220 erhaltenen Entsprechungspunkte aus.
In 20 stellen durch durchgezogene Linien und gestrichelte Linien angegebene Pfeile eine Bewegung von Positionen der Punkte entsprechend der Affintransformation dar. Beispielsweise wird ein durch die durchgezogene Linie angegebenes Paar von Entsprechungspunkten, beispielsweise ein Paar aus den Punkte P₀ und Q₀ oder ein Paar aus den Punkten P₂ und Q₂ als Paar der Entsprechungspunkte ausgewählt, da die nach der Affintransformation erhaltene Position und eine als Entsprechungspunkt angenommene Position im Wesentlichen gleich sind. Andererseits weicht ein Paar von Entsprechungspunkten P₁ und Q₁ oder ein Paar der Entsprechungspunkte P₃ und Q₃, die durch die Entsprechungspunktextrahiereinheit 220 erhalten werden, um mehr als einen Schwellenwert von den auf der Grundlage der vorstehenden Parameter erhaltenen Koordinaten ab. Diese Entsprechungspunkte werden als falsch erkannte Komponenten beseitigt.
Gemäß 19 schickt die Entsprechungspunktauswahleinheit 225 das Ergebnis der Auswahl zur Parameterschätzeinheit 240. Die Parameterschätzeinheit 240 schätzt zum Kombinieren von Bildern unter Verwendung der ausgewählten Entsprechungspunkte verwendete Parameter. Wie vorstehend angeführt werden Parameter zum Kombinieren von Bildern auf der Grundlage der Koordinaten von Entsprechungspunkten geschätzt, aus denen falsche Komponenten beseitigt wurden. Daher kann die Bildkombiniervorrichtung ein genaueres kombiniertes Bild erzeugen.
Tonkorrekturverarbeitung
Die Parameterschätzeinheit 240 schickt die geschätzten Parameter (A, B, C und D) zur Korrekturkoeffizientenbestimmungseinheit 230. Die Korrekturkoeffizientenbestimmungseinheit 230 bestimmt von den Tonumwandlungseinheiten 231 und 232 für die Tonkorrektur zu verwendende Korrekturkoeffizienten.
21 zeigt ein Ablaufdiagramm der durch die Korrekturkoeffizientenbestimmungseinheit 230 und die Tonumwandlungseinheiten 231 und 232 durchgeführten Tonkorrekturverarbeitung.
Zuerst werden Abtastbildelemente aus den Bildern a und b zur Bestimmung der Tonkorrekturkoeffizienten erhalten (Schritt S31).
22 veranschaulicht erhaltene Abtastbildelemente. Die Korrekturkoeffizientenbestimmungseinheit 230 bestimmt zuerst auf der Grundlage der durch die Parameterschätzeinheit 240 geschätzten Bildkombinierparameter (A, B, C und D), ob sich ein Koordinatenwert eines Abtastbildelements P_a1 des Bildes a in der Überlappungsregion befindet oder nicht. Für diese Bestimmung wandelt die Korrekturkoeffizientenbestimmungseinheit 230 die Koordinatenwerte eines Abtastbildelements P_a1 des Bildes a in einen Koordinatenwert des Bildes b durch eine Affintransformation unter Verwendung der Gleichung (3) um und bestimmt, ob der umgewandelte Koordinatenwert im Bild b enthalten ist oder nicht. Wird bestimmt, dass das Abtastbildelement P_a1 sich in der Überlappungsregion der Bilder a und b befindet, wird ein Koordinatenwert, der dem Abtastbildelement P_a1 im Bild b entspricht, als Abtastbildelement P_b1 eingestellt. Die Korrekturkoeffizientenbestimmungseinheit 230 führt die gleiche Verarbeitung bei einer Vielzahl von Abtastbildelementen P_a1 bis P_ak (k = 1 bis N) des eingegebenen Bildes a durch, und die erhaltenen Bildelementwerte werden als Abtastbildelemente P_b1 bis P_bk (k = 1 bis N) eingestellt.
Wie bei dem ersten Ausführungsbeispiel kann die Korrekturkoeffizientenbestimmungseinheit 230 die Abtastung von Bildelementwerten bildelementweise oder beruhend auf jeder willkürlichen Zahl von Bildelementen durchführen. Des Weiteren kann die Korrekturkoeffizientenbestimmungseinheit 230 als Abtastdaten einen Mittelwert benachbarter Bildelementwerte beruhend auf Koordinaten der Entsprechungspunkte verwenden, die unter Verwendung der Bildkombinierparameter erhalten werden.
Gemäß 21 erhält die Korrekturkoeffizientenbestimmungseinheit 230 Tonkorrekturkoeffizienten des Bildes a auf der Grundlage von Abtastbildelementen P_ak und P_bk, die auf die vorstehende Art und Weise erhalten werden (Schritt S32). Die Tonkorrekturkoeffizienten werden als Koeffizient einer Tonkorrekturfunktion f_a berechnet.
Das Verfahren der Durchführung der Tonkorrektur gemäß dem zweiten Ausführungsbeispiel wird unter Bezugnahme auf 23A beschrieben. In 23A bezeichnet die Abszisse Töne eines Bildes vor einer Korrektur und die Ordinate bezeichnet Töne nach der Korrektur.
Zuerst werden Mittelwerte Avg(P_a) und Avg(P_b) der Abtastbildelemente P_ak und P_bk der Bilder a und b berechnet, und die Differenz D jedes Mittelwerts wird durch folgende Gleichung berechnet: D = Avg(Pa) – Avg(Pb) (16)
Dann wird wie in 23A gezeigt eine Korrekturfunktion f_a bestimmt, sodass die Töne des Bildes a durch eine quadratische Funktion (Tonkorrekturfunktion) ausgedrückt werden können, die durch drei Punkte läuft (0, 0), (255, 255) und (128, 128 + D/2). Da hier eine willkürliche quadratische Funktion durch drei Parameter definiert werden kann, wird angenommen, dass die Tonkorrekturfunktion f_a als T_a1, T_a2 und T_a3 definiert ist. Außerdem wird ein durch die Umwandlung des Abtastbildelementes P_ak des Bildes a unter Verwendung der Tonkorrekturfunktion f_a erhaltener Wert als f_a(P_ak) definiert.
Gemäß dem Ablaufdiagramm in 21 berechnet die Korrekturkoeffizientenbestimmungseinheit 230 bei der Berechnung der Koeffizienten (T_a1, T_a2 und T_a3) der Tonkorrekturfunktion f_a des Bildes a Koeffizienten (T_b1, T_b2 und T_b3) der Tonkorrekturfunktion f_b des Bildes b (Schritt S33).
Die Tonkorrekturfunktion f_b wird zur Verwendung als Funktion zum Zusammenfallenlassen des Abtastbildelementes Pbx mit dem Abtastbildelement f_a(P_ak) erhalten. Die Koeffizienten (T_b1, T_b2 und T_b3) der Tonkorrekturfunktion fb werden durch das Verfahren der kleinsten Quadrate unter Verwendung der in 23B gezeigten Abtastbildelemente zum Minimieren von e in Gleichung (17) berechnet. ε = {fa(Pak) – (Tb1 × Pbk 2 + Tb2 × Pbk + Tb3)}2 (17)
Gemäß der vorstehenden Verarbeitung werden Tonkorrekturfunktionen f_a und f_b zur Umwandlung von Tönen der Bilder a und b durch die folgende Gleichung (18) erhalten: fa(i) = Ta1·i2 + Ta2·i + Ta3 fb(i) = Tb1·i2 + Tb2·i + Tb3 (18)wobei i die Töne vor der Umwandlung bezeichnet. Die Korrekturkoeffizientenbestimmungseinheit 230 schickt die Tonkorrekturkoeffizienten T_a und T_b jeweils zu den Tonumwandlungseinheiten 231 und 232.
Gemäß den Ablaufdiagrammen in 21 wandeln die Tonumwandlungseinheiten 231 und 232 jeweils jeden Bildelementwert der Bilder a und b jeweils unter Verwendung der durch die Korrekturkoeffizientenbestimmungseinheit 230 zugeführten Tonkorrekturkoeffizienten um (Schritt S34).
Die Arbeitsweise der Tonumwandlungseinheit 232 ist nachstehend beschrieben. Die Tonumwandlungseinheit 231 führt die gleiche Verarbeitung wie die Tonumwandlungseinheit 232 durch.
In der Tonumwandlungseinheit 232 wird eine Tabelle zur Umwandlung von Tönen des Bildes b auf der Grundlage der Tonkorrekturkoeffizienten T_b1, T_b2 und T_b3 erzeugt.
Insbesondere wird unter der Annahme, dass der dynamische Bereich des Bildes 8 Bits beträgt, eine in 24 erzeugte Tabelle zur Umwandlung eines Bildelementwertes (0 bis 255) des Bildes b in einen Bildelementwert f_b(0) ~ f_b(255) entsprechend der quadratischen Funktion in Gleichung (18) erzeugt.
Im Fall eines Farbbildes kann die Tonumwandlungseinheit eine Tonumwandlung für jede Farbe R, G und B durchführen. Alternativ dazu kann die Tonumwandlungseinheit eine Tonumwandlung durch die Erzeugung einer Umwandlungsfunktion, die gemeinsam für die Farben R, G und B verwendet wird, entsprechend einem Luminanzsignal durchführen. In diesem Zusammenhang kann die Funktion f_a, die die Tönung des Bildes a korrigiert, auf der Grundlage von Bildelementwerten von G-Bildsignalen erzeugt werden. Alle R-, G- und B-Komponenten des Bildes a können durch die Funktion f_a umgewandelt werden. Umwandlungsfunktionen f_b für R-, G-, B-Farben des Bildes b werden auf solche Weise erzeugt, dass Bildelementwerte jeder Farbkomponente des durch f_b umgewandelten Bildes b mit jenen des Bildes a übereinstimmen, die unter Verwendung der Funktion f_a umgewandelt wurden.
Obwohl die quadratische Funktion bei der vorstehenden Beschreibung angewendet wird, kann eine andere Form einer Funktion verwendet werden. Die Tonumwandlung kann auch unter Verwendung einer nicht-linearen Tabelle durchgeführt werden.
Kombinieren von Bildern
Die Tonumwandlungseinheiten 231 und 232 schicken die Bilder a und b, bei denen eine Tonumwandlung durchgeführt wurde, zur Bildkombiniereinheit 250, wo die Bilder in ein einzelnes Bild kombiniert werden. Da der Vorgang der Kombination der Bilder mit dem im ersten Ausführungsbeispiel identisch ist (11), wird auf eine ausführliche Beschreibung verzichtet. Wie vorstehend beschrieben werden gemäß der Bildkombiniervorrichtung des zweiten Ausführungsbeispiels falsch erfasste entsprechende Punkte zuerst in einer Überlappungsregion der Bilder a und b, die teilweise dasselbe Objekt umfassen, bestimmt. Dann werden auf der Grundlage eines Ergebnisses der extrahierten Entsprechungspunkte, aus denen die falsch erfassten Entsprechungspunkte beseitigt sind, Parameter (A, B, C und D) zum Kombinieren der Bilder beschrieben. Als nächstes werden für die Tonkorrektur verwendete Abtastbildelemente (P_ak und P_bk) erzeugt, indem die Bildkombinierparameter verwendet werden, und ein Tonkorrekturkoeffizient (T_a) des Bildes wird auf der Grundlage eines Mittelwerts der Abtastbildelemente berechnet. Auf der Grundlage der Abtastbildelemente des Bildes a, bei denen eine Tonkorrektur unter Verwendung des Tonkorrekturkoeffizienten durchgeführt wurde, wird ein Tonkorrekturkoeffizient (T_b) des Bildes b berechnet. Da die Bilder a und b nach der Durchführung einer Tonkorrektur bei den Bildern a und b jeweils unter Verwendung der auf vorstehenden Weise berechneten Tonkorrekturkoeffizienten kombiniert werden, ist es möglich, ein kombiniertes Bild zu erzeugen, dessen Grenze der Bilder nicht auffallend ist, selbst wenn die zwei Bilder unterschiedliche Belichtungsbedingungen aufweisen.
Aufgrund der Tonumwandlung des Bildes a, die auf der Grundlage einer Durchschnittsstufe der Bildelementwerte in der Überlappungsregion der Bilder durchgeführt wird, die entsprechend den vorstehend beschriebenen Bildparametern erhalten wird, und auch aufgrund der Korrektur, die zum Zusammenfallen der Töne des Bildes b mit den korrigierten Tönen des Bildes a durchgeführt wird, sind die korrigierten Töne der Bilder a und b natürlich.
Modifikation des zweiten Ausführungsbeispiels
Drittes modifiziertes Ausführungsbeispiel
Im Folgenden wird eine Modifikation des zweiten Ausführungsbeispiels (ein drittes modifiziertes Ausführungsbeispiel) unter Bezugnahme auf die 25A bis 26B beschrieben.
Eine Bildkombiniervorrichtung gemäß dem dritten modifizierten Ausführungsbeispiel hat den gleichen Aufbau wie die des zweiten in 19 gezeigten Ausführungsbeispiels. Allerdings sind die Funktionen und die Arbeitsweise der Entsprechungspunktextrahiereinheit 220, der Entsprechungspunktauswahleinheit 225 und der Korrekturkoeffizientenbestimmungseinheit 230 von denen des zweiten Ausführungsbeispiels verschieden. Dies wird im Folgenden beschrieben.
Anders als die Entsprechungspunktextrahiereinheit des zweiten Ausführungsbeispiels bestimmt die Entsprechungspunktextrahiereinheit 220 der Bildkombiniervorrichtung 210 gemäß dem dritten modifizierten Ausführungsbeispiel keine Zuverlässigkeit (Schritt S4 in 5) der durch den Zusammenpassungsvorgang erhaltenen Entsprechungspunkte. Stattdessen erkennt das dritte modifizierte Ausführungsbeispiel eine Position mit einem minimalen Wert einer Nicht-Koinzidenz als Entsprechungspunkt.
Die Entsprechungspunktauswahleinheit 225 wiederholt die Verarbeitung der Entfernung falscher Entsprechungspunkte, die in der vorstehenden Gleichung (15) gezeigt ist, wodurch die Genauigkeit bei der Extraktion von Entsprechungspunkten verbessert wird.
Die 25A bis 25C sind Beispieldarstellung zur Beschreibung der Schritte der Entfernung falscher Entsprechungspunkte, die durch die Entsprechungspunktauswahleinheit 225 durchgeführt werden.
Gemäß einem Ergebnis der Extraktion (25A), das durch die Entsprechungspunktextrahiereinheit 220 erhalten wird, berechnet die Parameterschätzeinheit Bildumwandlungsparameter A, B, C und D. Die Differenz jedes Paars von Entsprechungspunkten wird dann entsprechend Gleichung (15) erhalten. Als nächstes werden Mittelwerte Avg(dx) und Avg(dy) der Differenzen berechnet. Bei dem dritten modifizierten Ausführungsbeispiel wird der Mittelwert der Differenzen als Schwellenwert verwendet. Das heißt, die Entsprechungspunktauswahleinheit 225 beseitigt falsch erkannte Entsprechungspunkte wie in 15B gezeigt unter Verwendung der Werte Th_x = Avg(dx) und Th_y = Avg(dy).
Die Entsprechungspunktauswahleinheit 225 wiederholt die vorstehende Verarbeitung, bis die Mittelwerte Avg(dx) und Avg(dy) der Differenzen auf einen vorbestimmten Wert konvergieren. Die resultierenden Entsprechungspunkte ( 25C) werden zur Parameterschätzeinheit 240 geschickt, wo Bildkombinierparameter geschätzt werden.
Wie bei dem zweiten Ausführungsbeispiel erhält die Korrekturkoeffizientenbestimmungseinheit 230 Tonkorrekturkoeffizienten T_a und T_b auf der Grundlage der Abtastbildelemente P_ak und P_bk, die in den Schritten S32 und S33 im Ablaufdiagramm in 21 erhalten werden.
Die 26A und 26B zeigen Grafen zur Beschreibung der Schritte der Bestimmung von Tonkorrekturkoeffizienten durch die Korrekturkoeffizientenbestimmungseinheit 230.
Die Korrekturkoeffizientenbestimmungseinheit 230 berechnet die Mittelwert Rvg(P_a) und Avg(P_b) der Abtastbildelemente P_ak und P_bk, die jeweils aus den Bildern a und b erhalten werden, und berechnet ferner die Differenz D jedes Mittelwerts. Wie in 26A gezeigt, werden Töne des Bildes a derart umgewandelt, dass die Töne durch die lineare Funktion f_a' ausgedrückt werden, die durch die Punkte (0, 0) und (128, 128 + D/2) läuft. Das Abtastbildelement P_ak des Bildes a wird entsprechend der Tonkorrekturfunktion f_a' umgewandelt, und das umgewandelte Abtastbildelement wird als f_a'(P_ak) definiert. Die Koeffizienten der Tonkorrekturfunktion f_a' sind T_a1' und T_a2'.
Des Weiteren wird der Tonkorrekturkoeffizient f_b' erzeugt, damit das Abtastbildelement P_bk mit dem Abtastbildelement f_a' (P_ak) zusammenfällt. Die Abszisse in 26B bezeichnet Töne vor der Korrektur und die Ordinate bezeichnet Töne, die unter Verwendung des Tonkorrekturkoeffizienten f_b' korrigiert sind.
Die zur Erzeugung der Tonkorrekturfunktion f_b' verwendeten Koeffizienten T_b1, T_b2 und T_b3 werden durch das Verfahren der kleinsten Quadrate unter Verwendung der in 26B gezeigten Abtastbildelemente zur Minimierung von e in Gleichung (17) berechnet.
Entsprechend der vorstehenden Verarbeitung werden Tonkorrekturfunktion f_a' und f_b' zum Umwandeln von Tönen der Bilder a und b durch die folgende Gleichung (19) erhalten: fa'(i) = T'a1·i + T'a2 fb'(i) = T'b1·i2 + T'b2·i + T'b3 (19)wobei i Töne vor der Umwandlung bezeichnet.
Wie vorstehend beschrieben bestimmt bei dem dritten modifizierten Ausführungsbeispiel die Entsprechungspunktextrahiereinheit keine Zuverlässigkeit der durch die Zusammenpassungsverarbeitung erhaltenen Entsprechungspunkte. Stattdessen wird eine Position mit einem minimalen Wert einer Nicht-Koinzidenz als Entsprechungspunkt erkannt. Mittels dieser Verarbeitung ist es möglich, die Genauigkeit bei der Extraktion von Entsprechungspunkten zu verbessern. Außerdem werden Bildkombinierparameter gemäß den Entsprechungspunkten mit großer Genauigkeit eingestellt, aus denen falsche Entsprechungspunkte beseitigt sind. Des Weiteren werden die Abtastbildelemente für die Tonkorrektur unter Verwendung der Bildkombinierparameter erzeugt. Daher ist es möglich, ein kombiniertes Bild zu erzeugen, dessen Grenzen der Bilder nicht auffallend ist, selbst wenn die zwei Bilder unterschiedliche Belichtungsbedingungen aufweisen.
Modifikation des zweiten Ausführungsbeispiels
Viertes modifiziertes Ausführungsbeispiel
Das vierte modifizierte Ausführungsbeispiel wird nachstehend unter Bezugnahme auf 27 beschrieben.
Der Aufbau der Bildkombiniervorrichtung gemäß dem vierten modifizierten Ausführungsbeispiel ist mit dem des zweiten Ausführungsbeispiels in 29 identisch. Allerdings unterscheidet sich die Arbeitsweise der Korrekturkoeffizientenbestimmungseinheit 230 von der des zweiten Ausführungsbeispiels. Nachstehend wird diese Arbeitsweise beschrieben.
Bei dem vorstehenden zweiten Ausführungsbeispiel und dem dritten modifizierten Ausführungsbeispiel erhält die Korrekturkoeffizientenbestimmungseinheit die in 22 gezeigten Abtastbildelemente P_ak und P_bk, die zur Erzeugung von Tonkorrekturkoeffizienten verwendet werden, aus Bildelementwerten von Entsprechungspunkten unter den Bildern a und b, die auf der Grundlage von Affintransformationsparametern (A, B, C und D) erhalten werden. Bei dem vierten modifizierten Ausführungsbeispiel wird die Zusammenpassungsverarbeitung in der Nachbarschaft der Koordinaten der Entsprechungspunkte durchgeführt, die auf der Grundlage der Affintransformationsparameter erhalten werden, sodass Abtastbildelemente mit großer Genauigkeit erhalten werden.
Der Vorgang zum Erhalten von Abtastbildelementen gemäß dem vierten modifizierten Ausführungsbeispiel wird nachstehend unter Bezugnahme auf 27 beschrieben.
In 27 sind Punkte P und P' ein Paar von Entsprechungspunkten, die auf der Grundlage der Affintransformationsparameter erhalten werden. Hier wird die Vorlage T mit dem Punkt P als Mittelpunkt des Bildes a' erzeugt. Der Zusammenpassungsvorgang wird bezüglich der Punkte in der Vorlage T im Bereich des Suchobjektbereichs S des Bildes b' mit einem Punkt P' als Mittelpunkt ausgeführt. Der erhaltene Entsprechungspunkt wird als Punkt P " definiert, der präzise mit dem Punkt P zusammenfällt. Demnach wird eine Abweichung von Abtastbildelementen, die herkömmlich aufgrund von Fehlern in den Parametern erzeugt wird, korrigiert (ein zwischen P' – P'' erzeugter Fehler), wodurch genauere Abtastbildelemente erzeugt werden.
Das Ergebnis der Zusammenpassungsverarbeitung wird als korrekt bestimmt, wenn ein Wert einer Nicht-Koinzidenz an einem Spitzenwert niedriger als ein Schwellenwert ist.
Wird angenommen, dass keine passende Position im Suchobjektbereich gefunden werden kann, können Abtastbildelemente unter Verwendung von Koordinaten eines Entsprechungspunkts erzeugt werden, der durch eine Affintransformation erhalten wird.
Der Tonkorrekturvorgang der Bilder a' und b' und der Erzeugungsvorgang eines kombinierten Bildes c', der durch die Bildkombiniereinheit 250 durchgeführt wird, werden wie beim zweiten Ausführungsbeispiel durchgeführt.
Wie vorstehend beschrieben können mit dem vierten modifizierten Ausführungsbeispiel sehr genaue Abtastbildelemente durch die Durchführung einer Zusammenpassungsverarbeitung in der Nachbarschaft der Koordinaten der Entsprechungspunkte erhalten werden, die auf der Grundlage der Affintransformationsparameter erhalten werden.
Die Erfindung ist nicht auf die vorstehenden Ausführungsbeispiele beschränkt, und es können verschiedene Änderungen und Modifikationen innerhalb des Schutzbereichs der Erfindung ausgeführt werden. Der Schutzbereich der Erfindung ist lediglich durch die folgenden Patentansprüche beschränkt.

Claims

Vorrichtung zum Kombinieren eines ersten und eines zweiten Bildes mit überlappenden Regionen, mit einer Identifizierungseinrichtung (1) zum Identifizieren der überlappenden Regionen durch Einstellen eines Suchbereichs (s) in einem Bild und Abtasten des anderen Bildes mit einem Vorlagenbereich (t) zum Extrahieren entsprechender Punkte in den zwei Bildern, einer Umwandlungseinrichtung (2) zur Umwandlung des Koordinatensystems eines Bildes entsprechend dem Koordinatensystem des anderen Bildes, einer Kombinationseinrichtung (2,6) zum Kombinieren des ersten und zweiten Bildes zur Erzeugung eines kombinierten Bildes, einer Erfassungseinrichtung (3) zur Erfassung der Tonerdichte eines ersten, der überlappenden Region des ersten Bildes entsprechenden Teilbildes und der Tonerdichte eines zweiten, der überlappenden Region des zweiten Bildes entsprechenden Teilbildes auf der Grundlage der Ausgabe der Identifizierungseinrichtung, und einer Tonkorrektureinrichtung (4,5) zur Durchführung einer Tonkorrektur bei zumindest einem der Teilbilder auf der Grundlage der Differenz der Tondichte, wie sie durch die Erfassungseinrichtung erfasst wird, so dass die Tondichten der zwei Teilbilder sich aneinander annähern, und einer Einrichtung (6) zur Erzeugung einer Grenze, die die zwei Teilbilder trennt, wobei die Kombinationseinrichtung zur weiteren Korrektur der Ausgabe der Tonkorrektureinrichtung hinsichtlich der Entfernung jedes Bildelements in einer Ton-korrigierten Teilregion von der Grenze eingerichtet ist.
Vorrichtung nach Anspruch 1, wobei die Erfassungseinrichtung eine Berechnungseinrichtung zur Berechnung einer Korrekturfunktion umfasst, die eine Korrelation zwischen der Tondichte des ersten Teilbildes und der Tondichte des zweiten Teilbildes definiert, und die Tonkorrektureinrichtung zur Durchführung einer Tonkorrektur bei dem ersten Bild oder dem zweiten Bild unter Verwendung der berechneten Korrekturfunktion eingerichtet ist.
Vorrichtung nach Anspruch 2, wobei die Berechnungseinrichtung zur Berechnung der Korrekturfunktion derart eingerichtet ist, dass die Korrekturfunktion durch eine quadratische Funktion genähert wird.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Kombinationseinrichtung zum Hinzufügen von Gewichtungsfaktoren zu dem durch die Tonkorrektureinrichtung korrigierten Bild eingerichtet ist, wobei die Gewichtungsfaktoren auf der Entfernung von der Grenze beruhen.
Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die Kombinationseinrichtung zum Einstellen eines Tonumwandlungsbereichs in der Region der Überlappung zwischen den zwei Bildern eingerichtet ist.
Vorrichtung nach Anspruch 5, wobei die Kombinationseinrichtung zur Durchführung einer Tonumwandlung lediglich bei dem zweiten Teilbild eingerichtet ist.
Vorrichtung nach Anspruch 4 oder 5, wobei die Kombinationseinrichtung zur Änderung der Größe des Tonumwand lungsbereichs entsprechend der Differenz zwischen der Dichte des ersten Teilbildes und der Dichte des zweiten Teilbildes eingerichtet ist.
Vorrichtung nach Anspruch 7, wobei die Kombinationseinrichtung zum Einstellen des Tonumwandlungsbereichs entsprechend der Differenz des Durchschnittsdichtewerts zwischen dem ersten Bild und dem zweiten Bild in der Region der Überlappung zwischen den zwei Bildern eingerichtet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Umwandlungseinrichtung zur Bestimmung einer Abbildung für eine Koordinatenumwandlung der Koordinaten des ersten Teilbildes in die Koordinaten des zweiten Teilbildes eingerichtet ist, und die Kombinationseinrichtung zur Verwendung einer inversen Transformation der Abbildung zur Abbildung des zweiten Teilbildes auf die Koordinaten des ersten Teilbildes eingerichtet ist, wodurch das erste Bild und das zweite Bild kombiniert werden.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Identifizierungseinrichtung umfasst eine Entfernungseinrichtung zur Entfernung von Daten aus dem extrahierten Satz entsprechender Punkte, die entsprechende Punkte angeben, die irrtümlich als entsprechende Punkte durch die Entsprechungspunktextrahiereinrichtung erfasst werden, auf der Grundlage von Koordinatenumwandlungsparametern, die unter Verwendung des Satzes entsprechender Punkte geschätzt werden, die durch die Entsprechungspunktextrahiereinrichtung extrahiert werden, wobei die Kombinationseinrichtung zum Schätzen von Bildkombinationsparametern auf der Grundlage des Satzes entsprechender Punkte eingerichtet ist, aus dem falsche entsprechende Punkte entfernt wurden.
Vorrichtung nach Anspruch 10, wobei die Tonkorrektureinrichtung zur Erzeugung einer ersten Korrekturfunktion zur Durchführung einer Tonkorrektur bei dem ersten Bild auf der Grundlage der Differenz zwischen einem Durchschnittswert der aus dem ersten Bild extrahierten Bildelementwerte und dem Durchschnittswert der aus dem zweiten Bild extrahierten Bildelementwerte, zur Durchführung einer Tonkorrektur bei dem ersten Bild unter Verwendung der ersten Korrekturfunktion, zur Erzeugung einer zweiten Korrekturfunktion zum Zusammenfallen der Bildelementwerte der entsprechenden Punkte in dem zweiten Bild, aus denen die falschen entsprechenden Punkt durch die Entfernungseinrichtung entfernt wurden, mit den Bildelementwerten der entsprechenden Punkte in dem korrigierten ersten Bild, aus denen die falschen entsprechenden Punkte entfernt wurden, und zur Durchführung einer Tonkorrektur bei dem zweiten Bild unter Verwendung der zweiten Korrekturfunktion eingerichtet ist.
Vorrichtung nach Anspruch 1, wobei die Tonkorrektureinrichtung (4,5) zur Durchführung einer Tonkorrektur bei einer Tonumwandlungsregion eingerichtet ist, die größer als die überlappende Region ist, so dass die Tondichte des zumindest einen Teilbildes sich an die andere annähert, wobei die Kombinationseinrichtung das kombinierte Bild auf der Grundlage des ersten Bildes, des zweiten Bildes und zumindest eines der Teilbilder erzeugt, dessen Tondichte durch die Tonkorrektureinrichtung korrigiert wurde.
Verfahren zum Kombinieren eines ersten und zweiten Bildes mit überlappenden Regionen, mit einem Schritt der Identifizierung der überlappenden Regionen durch Einstellen eines Suchbereichs (s) in einem Bild und Abtasten des anderen Bildes mit einem Vorlagenbereich (t), um entsprechende Punkte in den zwei Bildern zu extrahieren, einem Schritt der Umwandlung des Koordinatensystems eines Bildes entsprechend dem Koordinatensystem des anderen Bildes und einem Schritt der Kombination des ersten und zweiten Bildes zur Erzeugung eines kombinierten Bildes, und einem Schritt der Erfassung der Tondichte eines ersten, der überlappenden Region des ersten Bildes entsprechenden Teilbildes und der Tondichte eines zweiten, der überlappenden Region des zweiten Bildes entsprechenden Teilbildes auf der Grundlage der Ausgabe des Identifizierungsschritts und einem Schritt der Erzeugung einer Grenzlinie, die die zwei Teilbilder trennt, wobei der Kombinationsschritt die Durchführung eines Schritts einer Tonkorrektur bei zumindest einem der Teilbilder auf der Grundlage der Differenz der Tondichte beinhaltet, wie sie durch den Erfassungsschritt erfasst wird, so dass die Tondichten der zwei Teilbilder sich aneinander annähern, und wobei der Kombinationsschritt ferner die Ausgabe des Tonkorrekturschritts hinsichtlich der Entfernung jedes Bildelements in einer Dichte-korrigierten Teilregion von der Grenze korrigiert.
Verfahren nach Anspruch 13, wobei der Identifizierungsschritt umfasst Entfernen von Daten aus dem Satz extrahierter entsprechender Punkte, die entsprechende Punkte angeben, die irrtümlich als entsprechende Punkte im Extrahier schritt erfasst werden, auf der Grundlage von Koordinatenumwandlungsparametern, die unter Verwendung des Satzes entsprechender Punkte geschätzt werden, die im Extrahierschritt extrahiert werden, wobei im Kombinationsschritt Bildkombinationsparameter auf der Grundlage des Satzes entsprechender Punkte geschätzt werden, aus denen falsche entsprechende Punkte entfernt wurden.
Verfahren nach Anspruch 14, wobei der Schritt der Durchführung einer Tonkorrektur die Schritte umfasst Extrahieren von Bildelementwerten des Satzes entsprechender Punkte, aus denen die falschen entsprechenden Punkte entfernt wurden, jeweils aus dem ersten und zweiten Bild auf der Grundlage der geschätzten Bildkombinationsparameter und Durchführen einer Tonkorrektur jeweils bei dem ersten und zweiten Bild unter Verwendung der extrahierten Bildelementwerte.
Verfahren nach Anspruch 14, wobei der Schritt der Durchführung der Tonkorrektur die Schritte umfasst Erzeugen einer ersten Korrekturfunktion zur Durchführung einer Tonkorrektur bei der Teilregion des ersten Bildes auf der Grundlage der Differenz zwischen dem Durchschnittswert der aus dem ersten Bild extrahierten Bildelementwerte und dem Durchschnittswert der aus dem zweiten Bild extrahierten Bildelementwerte, Durchführen einer Tonkorrektur bei der Teilregion des ersten Bildes unter Verwendung der ersten Korrekturfunktion, Erzeugen einer zweiten Korrekturfunktion zum Zusammenfallen der Bildelementwerte der entsprechenden Punkte im zweiten Bild, aus denen die falschen entsprechenden Punkte im Entfernungsschritt entfernt wurden, mit den Bildelementwerten der entsprechenden Punkte im korrigierten ersten Bild, aus denen die falschen entsprechenden Punkte entfernt wurden, und Durchführen einer Tonkorrektur bei dem zweiten Bild unter Verwendung der zweiten Korrekturfunktion.