DE60008346T2

DE60008346T2 - Verfahren und Rechnerprogramm zum Erkennen von Bilddrehungen und Bildvergrößerungen

Info

Publication number: DE60008346T2
Application number: DE60008346T
Authority: DE
Inventors: Chris W. Rochester Honsinger
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1999-12-01
Filing date: 2000-11-20
Publication date: 2004-12-30
Anticipated expiration: 2020-11-21
Also published as: EP1107183A2; EP1107183B1; JP2001209806A; US6711303B1; DE60008346D1; EP1107183A3

Description

Die vorliegende Erfindung betrifft allgemein den Bereich der Bildverarbeitung und insbesondere Verfahren zum Erkennen, wann ein Bild gedreht oder vergrößert oder verkleinert worden ist.
US-A-5,835,639 von Honsinger et al. mit dem Titel "Method For Detecting Rotation And Magnification In Images" (Verfahren zur Erfassung von Drehung und Vergrößerung in Bildern) beschreibt ein Verfahren zur Einbettung zweier identischer Träger in ein Bild, um Veränderungen durch Drehung oder Vergrößerung nachzuvollziehen. Die Verfahren basieren auf der Tatsache, dass die Autokorrelation des Bildes die Kreuzkorrelation der beiden Träger enthält, und dass die Kreuzkorrelation zwei Deltafunktionen aufweist, deren Abstand proportional zur Vergrößerung ist, und deren Winkel ohne Drehung erhalten bleibt oder um denselben Betrag wie die Drehung des Originalbildes gedreht wird. Durch Identifikation der Lage (Abstand und Drehung) der beiden Deltafunktionen lässt sich das Ausmaß der Drehung und Vergrößerung eines Bildes ermitteln. In Bildern, die eine große Menge ausgeprägter linearer und Winkelmerkmale aufweisen, bewirken diese Merkmale tendenziell, dass die Autokorrelation des Bildes eine Reihe von Merkmalen aufweist, die die Deltafunktionen maskieren, wodurch die Erfassung der Deltafunktionen erschwert wird.
Es besteht daher Bedarf nach einem verbesserten Verfahren zum Erkennen von Winkeldrehung und Vergrößerung der in dem zuvor genannten Patent beschriebenen Art, das dieses Problem vermeidet.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eines oder mehrere der zuvor genannten Probleme zu überwinden. Nach einem Aspekt betrifft die vorliegende Erfindung ein verbessertes Verfahren und Rechnerprogramm-Produkt zum Erkennen des Ausmaßes einer Bilddrehung oder Bildvergrößerung in einem modifizierten Bild mit folgenden Schritten:

a) Einfügen eines Markierungsbildes mit zwei identischen Merkmalen, die durch einen Abstand d getrennt und unter einem Winkel α ausgerichtet sind, in ein Originalbild, um ein markiertes Bild zu erzeugen, welches gedreht und/oder vergrößert wurde, um ein modifiziertes Bild zu erzeugen;
b) Durchführen einer Autokorrelation in dem modifizierten Bild, um zwei der Lage der Merkmale des Markierungsbildes im modifizierten Bild entsprechende Autokorrelationsspitzenwerte zu erzeugen; und
c) Vergleichen des Abstands d und der Ausrichtung α der Autokorrelationsspitzenwerte mit dem Abstand d und der Ausrichtung α der Merkmale im Markierungsbild, um das Ausmaß der Bilddrehung und -vergrößerung des modifizierten Bildes zu bestimmen, gekennzeichnet durch:
d) Verarbeiten des modifizierten Bildes vor der Autokorrelation, um eine konstante, lokale Standardabweichung der Pixelwerte in allen Bereichen des Bildes zu erhalten.

Die vorliegende Erfindung hat den Vorteil, dass sie die Autokorrelationsspitzenwerte in einem Bild mit einer großen Menge linearer und winkliger Merkmale leichter erfassen kann.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen
1 ein schematisches Diagramm zur Darstellung des Verfahrens nach dem Stand der Technik zum Einfügen eines Markierungsbildes in ein Originalbild;
2 ein Ablaufdiagramm zur Darstellung eines Verfahrens nach dem Stand der Technik zur Herstellung eines Markierungsbildes;
3 ein schematisches Diagramm zur Darstellung einer Drehung und Vergrößerung des markierten Bildes nach dem Stand der Technik zur Erzeugung eines modifizierten Bildes;
4 ein schematisches Diagramm zur Darstellung des Verfahrens nach dem Stand der Technik zur Wiederherstellung des Abstands und der Ausrichtung der Merkmale in einem Markierungsbild in dem modifizierten Bild;
5 ein Ablaufdiagramm zur Darstellung der Ermittlung der Drehung und Vergrößerung des modifizierten Bildes und der erfindungsgemäßen Wiederherstellung der Originalbildgröße und Ausrichtung;
6 ein Ablaufdiagramm zur Darstellung der Schritte der erfindungsgemäßen Vorverarbeitung des Bildes; und
7 und 8 Diagramme zum Beschreiben eines bevorzugten Filters zur Filterung der Autokorrelation gemäß einem bevorzugten Verfahren zur praktischen Verwertung der vorliegenden Erfindung.
1 und 2 zeigen die Anfertigung eines digitalen Bildes 10 durch Einfügen 12 eines Markierungsbildes 11 mit zwei identischen Merkmalen 14 und 16 zur Anfertigung eines kombinierten Bildes 18. Die identischen Merkmale 14 und 16 in dem Markierungsbild 11 sind in einem Abstand "d" zueinander und um einen Winkel "α" in Bezug zur Vertikalen im Bild 10 ausgerichtet. Wie in 2 gezeigt, werden vor dem Hinzufügen des Markierungsbildes 11 zu dem Bild 10 die Merkmale 14 und 16 in dem Markierungsbild 11 mit einem Trägerbild 22 gefaltet 20 und vergrößert (oder verkleinert) derart, dass ihre Amplitude relativ zur Amplitude des Originalbildes klein ist, so dass das Markierungsbild in dem kombinierten Bild 18 nicht sichtbar ist. In einem Beispiel sind die Markierungsmerkmale 14 und 16 Deltafunktionen (ein Pixel bei Maximalamplitude), die mit einem Zufallsträgersignal 22 gefaltet sind, das eine gleichmäßige Frequenzamplitude und eine beliebige Phase aufweist. In einem alternativen Beispiel kann das Markierungsbild Informationen enthalten, wie einen digitalen Code (z.B. eine Folge von 0 und 1 in einer eine Botschaft darstellenden Weise) oder ein Textbild, beispielsweise einen Urheberrechtsvermerk.
Der identische digitale Code oder die Textbilder werden mit dem Trägersignal 22 gefaltet, wie zuvor beschrieben, und dann dem Bild 10 hinzugefügt. 3 zeigt eine veränderte Winkelausrichtung und/oder Vergrößerung des kombinierten Bildes 18, beispielsweise in einem optischen oder digitalen Druck- oder Kopierverfahren, um ein modifiziertes, kombiniertes Bild 24 zu erzeugen.
Um zu ermitteln, ob und um wie viel das modifizierte, kombinierte Bild 24 gedreht und vergrößert worden ist, wird, wie in 4 und 5 gezeigt, das modifizierte, kombinierte Bild 24 zunächst vorverarbeitet 25, um eine gewünschte konstante lokale Standardabweichung zu erhalten. Wie in 6 gezeigt, kann dies durch Angabe einer gewünschten Standardabweichung σ_D erfolgen, die relativ klein gewählt ist, jedoch nicht zu klein (vorzugsweise 0,1 bis 0,3), und einen Umgebungsbereich A (vorzugsweise über 3×3 bis 5×5 Pixelbereiche) zur Durchführung der Normalisierung 38. Für jedes Pixel innerhalb des modifizierten Bildes wird eine lokale Standardabweichung σ_A berechnet 40. Die lokale Standardabweichung wird getestet 42, und falls die berechnete Standardabweichung kleiner als die gewünschte Standardabweichung σ_D ist, wird die Standardabweichung durch eine Zufallszahl ersetzt, die aus einem Verfahren 46 erzeugt wurde, das dieselbe Standardabweichung wie die gewünschte Standardabweichung aufweist. Der Pixelwert wird dann mit dem Verhältnis der gewünschten Standardabweichung und der lokalen Standardabweichung multipliziert 48, um einen modifizierten Pixelwert zu bilden. Abschließend werden alle im modifizierten Bild vorhandenen Pixelwerte durch die modifizierten Pixelwerte ersetzt 50. Das resultierende Bild hat die gewünschte konstante, lokale Standardabweichung σ_D. Da das vorverarbeitete Bild eine konstante, lokale Standardabweichung aufweist, wird die Wirkung der Autokorrelation aufgrund des hohen Kontrasts in den Kanten- und Winkelmerkmalen des Bildes erheblich verringert.
Als nächstes wird das vorverarbeitete Bild einer Autokorrelation 26 unterzogen. Die Autokorrelation ergibt zwei Autokorrelationsspitzen 28 und 39, die den Mittelpunkten der Merkmale in dem Markierungsbild 11 entsprechen. Vorzugsweise wird die Autokorrelation in dem Frequenzbereich mithilfe von Fourier-Transformationstechniken durchgeführt. Die Autokorrelation ist einfach die inverse Fourier-Transformation des Betrags der Fourier-Vorwärtstransformation. Die beiden Autokorrelationsspitzen können wahlweise während der Autokorrelationsverfahren in der Frequenzdomäne weiter verstärkt werden, indem die Fourier-Transformationskoeffizienten durch die Frequenzdomänendarstellung eines Wiener-Filters 32 gewichtet werden, das isolierte Spitzen verstärkt und glatte Bereiche unterdrückt. 6 und 7 zeigen ein Beispiel eines für diesen Zweck geeigneten Wiener-Filters. 6 ist eine zweidimensionale Frequenzkurve mit Frequenzachsen f_x und f_y von null zur Nyquist-Frequenz N_x, N_y. Das Filter hat die Wirkung, dass es die Fourier-Transformationskoeffizienten für Frequenzen im Bereich 52 auf null setzt, der einen um die Nullfrequenz mittigen Radius R besitzt. Für Regionen außerhalb dieses Radius ist die Gewichtungsfunktion eine monoton steigende Funktion, wie durch Linie 54 in 7 gezeigt. Das Wiener-Filter lässt sich folgendermaßen ausdrücken:
für (f2x + f2y )0,5 > R w(fx, fy) = α(f2x + f2y )β (1)und für (f2x + f2y )0,5 ≤ R w(fx, fy) = 0wobei α in einem bevorzugten Ausführungsbeispiel eine willkürliche Konstante ist, und β erstreckt sich von 0,50 bis 1,00. Wahlweise kann eine lineare Steigung angelegt werden, um den Übergangsbereich am Radius R zu glätten.
Die Autokorrelationsspitzenpositionen 28 und 30 in dem modifizierten Bild können gemessen 34 werden, um den modifizierten Abstand "d" und den modifizierten Winkel "α" zu erhalten, gemessen in Bezug zur Vertikalen. Wenn Drehungen von mehr als 180 Grad gemessen werden sollen, sollte auch die Amplitude der Autokorrelationsspitzen gemessen werden. Der modifizierte Abstand "d" und der modifizierte Winkel "α" können benutzt werden, um anhand folgender Formel die Vergrößerung und Drehung des Bildes zu berechnen 36, der das Bild unterzogen worden ist: Vergrößerung M = d'/d × 100prozent. (2)
Wenn die Autokorrelationsspitze in der oberen linken Ecke stärker als die in der unteren rechten Ecke ist: Drehwinkel Ω = α' – α (3)
Wenn die Autokorrelationsspitze in der unteren rechten Ecke stärker als die in der oberen linken Ecke ist: Drehwinkel Ω = α' – α + 180 Grad (4)
Die vorliegende Erfindung wird vorzugsweise in einem Bildverarbeitungssystem verwertet, das eine Digitalbildquelle einschließt, beispielsweise einen Scanner, sowie einen zur Verarbeitung digitaler Bilder programmierten Rechner und eine Ausgabevorrichtung, wie einen Thermo- oder Tintenstrahldrucker. Das erfindungsgemäße Verfahren kann als Rechnerprogramm-Produkt verkauft werden, einschließlich eines rechnerlesbaren Speichermediums, auf dem sich Rechnercode zur Implementierung der erfindungsgemäßen Schritte befindet. Rechnerlesbare Speichermedien können beispielsweise folgendes einschließen: Magnetspeichermedien, wie eine Magnetplatte (z.B. Diskette) oder Magnetband; optische Speichermedien, wie eine optische Scheibe oder ein optisches Band; Strichcode; elektronische Halbleiterbausteine, wie einen Schreib-/Lesespeicher (RAM) oder einen Lesespeicher (ROM) oder andere physische Geräte oder Medien, die zur Speicherung eines Rechnerprogramms dienlich sind.

Claims

Verfahren zum Erkennen des Ausmaßes einer Bilddrehung oder Bildvergrößerung in einem modifizierten Bild mit folgenden Schritten: a) Einfügen eines Markierungsbildes mit zwei identischen Merkmalen, die durch einen Abstand d getrennt und unter einem Winkel α ausgerichtet sind, in ein Originalbild, um ein markiertes Bild zu erzeugen, welches gedreht und/oder vergrößert wurde, um ein modifiziertes Bild zu erzeugen; b) Durchführen einer Autokorrelation in dem modifizierten Bild, um zwei der Lage der Merkmale des Markierungsbildes im modifizierten Bild entsprechende Autokorrelationsspitzenwerte zu erzeugen; und c) Vergleichen des Abstands d und der Ausrichtung α der Autokorrelationsspitzenwerte mit dem Abstand d und der Ausrichtung α der Merkmale im Markierungsbild, um das Ausmaß der Bilddrehung und -vergrößerung des modifizierten Bildes zu bestimmen, gekennzeichnet durch d) Verarbeiten des modifizierten Bildes vor der Autokorrelation, um eine konstante, lokale Standardabweichung der Pixelwerte in allen Bereichen des Bildes zu erhalten.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Autokorrelations- und Filteroperationen im Frequenzbereich durchgeführt werden.
Verfahren nach Anspruch 1, gekennzeichnet durch folgenden Schritt: Verarbeiten der Autokorrelation mit einem Wiener-Filter, um das Signal-Rausch-Verhältnis der Autokorrelationsspitzenwerte zu verbessern.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Verarbeitungsschritt folgende Schritte einschließt: a) Festlegen einer gewünschten Standardabweichung; b) für jedes Pixel innerhalb des modifizierten Bildes i) Berechnen einer lokalen Standardabweichung, und falls die berechnete Standardabweichung geringer als die gewünschte Standardabweichung ist, Ersetzen der Standardabweichung durch eine Zufallszahl, die aus einem Verfahren erzeugt wurde, das dieselbe Standardabweichung wie die gewünschte Standardabweichung aufweist, ii) Multiplizieren des Pixelwerts mit dem Verhältnis der gewünschten Standardabweichung und der lokalen Standardabweichung, um einen modifizierten Pixelwert zu bilden; und c) Ersetzen aller im modifizierten Bild vorhandenen Pixelwerte durch die modifizierten Pixelwerte.
Rechnerprogramm-Produkt, mit einem rechnerlesbaren Speichermedium und einem darin gespeicherten Rechnerprogramm zum Erkennen des Ausmaßes einer Bilddrehung oder -vergrößerung in einem modifizierten Bild, das folgende Schritte durchführt: a) Einfügen eines Markierungsbildes mit zwei identischen Merkmalen, die durch einen Abstand d getrennt und unter einem Winkel α ausgerichtet sind, in ein Originalbild, um ein markiertes Bild zu erzeugen, welches gedreht und/oder vergrößert wurde, um ein modifiziertes Bild zu erzeugen; b) Durchführen einer Autokorrelation in dem modifizierten Bild, um zwei der Lage der Merkmale des Markierungsbildes im modifizierten Bild entsprechende Autokorrelationsspitzenwerte zu erzeugen; und c) Vergleichen des Abstands d' und der Ausrichtung α' der Autokorrelationsspitzenwerte mit dem Abstand d und der Ausrichtung α der Merkmale im Markierungsbild, um das Ausmaß der Bilddrehung und -vergrößerung des modifizierten Bildes zu bestimmen, gekennzeichnet durch d) Verarbeiten des modifizierten Bildes vor der Autokorrelation, um eine konstante, lokale Standardabweichung der Pixelwerte in allen Bereichen des Bildes zu erhalten.
Rechnerprogramm-Produkt nach Anspruch 5, dadurch gekennzeichnet, dass die Autokorrelations- und Filteroperationen im Frequenzbereich durchgeführt werden.
Rechnerprogramm-Produkt nach Anspruch 6, gekennzeichnet durch folgenden Schritt: Verarbeiten der Autokorrelation mit einem Wiener-Filter, um das Signal-Rausch-Verhältnis der Autokorrelationsspitzenwerte zu verbessern.
Rechnerprogramm-Produkt nach Anspruch 5, dadurch gekennzeichnet, dass der Verarbeitungsschritt folgende Schritte einschließt: a) Festlegen einer gewünschten Standardabweichung; b) für jedes Pixel innerhalb des modifizierten Bildes i) Berechnen einer lokalen Standardabweichung, und falls die berechnete Standardabweichung geringer als die gewünschte Standardabweichung ist, Ersetzen der Standardabweichung durch eine Zufallszahl, die aus einem Verfahren erzeugt wurde, das dieselbe Standardabweichung wie die gewünschte Standardabweichung aufweist, ii) Multiplizieren des Pixelwerts mit dem Verhältnis der gewünschten Standardabweichung und der lokalen Standardabweichung, um einen modifizierten Pixelwert zu bilden; und c) Ersetzen aller im modifizierten Bild vorhandenen Pixelwerte durch die modifizierten Pixelwerte.