-
Hintergrund der Erfindung
-
Die
vorliegende Erfindung betrifft ein Erhöhen der Qualität von Hochauflösungs-Bildern,
und insbesondere ein Erhöhen
einer Auflösung
an nicht-ganzzahligen Pixelpositionen für eine bestimmte Szene (als
das Referenzbild bezeichnet) unter Verwendung mehrfacher Bilder
der Szene.
-
Ein
Erhöhen
der Pixelauflösung
eines Bilds über
die Auflösung
des Bildsensors hinaus über
eine digitale Nachverarbeitung unter Verwendung mehrfacher Bilder
stellt ein nützliches
Mittel dar, um Hochqualitätsbilder
mit Kameras zu erhalten, die mit kostengünstigen Niedrigauflösungs-Sensoren
ausgestattet sind, oder um die physikalische Fähigkeit jedweden vorgegebenen
Sensors auszuweiten und Bilder höherer
Qualität
zu erhalten.
-
Unterschiedliche
Einzelbild-Interpolationstechniken werden verwendet, um die Menge
einer Pixelinformation, die verwendet wird, um ein Bild darzustellen,
zu erhöhen.
Lineare Interpolationstechniken erhöhen den tatsächlichen
Informationsinhalt eines Bilds nicht, sondern erhöhen einfach
die Anzahl von Pixeln und Linien in dem Bild. Nichtlineare Interpolationstechniken
benutzen eine A-priori-Information über den Bildaufbau (z.B. Richtung
von Kanten und Bildobjektgeometrie) und können in manchen Fällen bessere
Ergebnisse als die lineare Interpolation bereitstellen.
-
Unter
Bezugnahme auf die 1 und 2 werden
mehrfache Bilder 16 einer Szene verwendet, um die Bildauflösung zu
verbessern. Die mehrfachen Bilder 16 können einzelne Aufnahmen, die
von einer digitalen Standbildkamera aufgenommen sind, oder aufeinander
folgende Rahmen/Felder sein, die von einer Videokamera aufgenommen
sind. Eine neue Bildinformation ist in Bildproben (Pixeln) 17 der
unterschiedlichen Bilder 16 enthalten, die durch eine relative
Bewegung aufeinander bezogen sind. Dieses Verfahren ist in A. M.
Tekalp, M. K. Ozkan and M. I. Sezan, "High resolution Image Reconstruction
from Lower-resolution image sequences and space-varying Image Restoration", IEEE International
Conference on Acoustics, Speech and Signal Processing, San Francisco,
CA, Band III, März
1992, S. 169–172, beschrieben.
-
In
diesem Verfahren wird ein Referenzbild 12 zuerst aus mehrfachen
Bildern 16 gewählt.
Eine Bewegungsinformation schließt ein Bewegungsvektorfeld 14 ein,
das aus einem Niedrigauflösungs-Bild 16 auf
dem Referenz-Niedrigauflösungs-Bild 12 abgeschätzt wird.
Jedes Bewegungsvektorfeld 14 stellt den relativen Versatz
von dem Bild 16 an jeder Pixelposition auf dem Referenzbild 12 dar.
Bildproben aus dem Bild 16 werden auf das Referenzbild 12 abgebildet,
um ein Hochauflösungs-Bild 19 unter
Verwendung der Bewegungsvektoren 14 zu erzeugen. Das Bild 19 ist
eine Hochauflösungs-Version
der Szene, die in dem Referenzbild 12 aufgenommen ist.
Neue Bildproben 20, die von den anderen Niedrigauflösungs-Bildern 16 abgeleitet
sind, sind durch "x" in dem Hochauflösungs-Bild 19 gezeigt.
-
Das
Niedrigauflösungs-Referenzbild 12 kann nicht
in der Lage sein, ein Bilddetail, wie ein Bilddetail 10,
in der Nachbarschaft der Niedrigauflösungs-Pixelproben 17 in
dem Referenzbild 12 wiedergabegetreu aufzunehmen. Diese
Unfähigkeit,
ein Detail darzustellen, ist eine direkte Konsequenz des Nyquist-Theorems für ein- und
mehrdimensional abgetastete Signale, das besagt, dass jedwedes Detail, das
bei einer Frequenz gleich oder höher
als die Hälfte
der Abtastrate ist, in dem Bild 12 nicht wiedergabegetreu
dargestellt werden kann. Jedoch kann aufgrund der Kamerabewegung,
während
elektronisch die Bilder 16 aufgenommen werden, oder der
Bewegung in dem Bild, das von der Kamera zu unterschiedlichen Zeiten
aufgenommen wird, das Bilddetail 10 eindeutig über die
zusätzliche
Bildinformation rekonstruiert werden, die in einem oder mehreren
der Niedrigauflösungs-Bilder 16 aufgedeckt
ist. Das Hochauflösungs-Bild 19 verwendet
die Niedrigauflösungs-Proben 17 aus
den anderen Bildern 16, um die zusätzlichen Bilddetails 10 zu
rekonstruieren.
-
Unter
Bezugnahme auf 2 zeigen Schnittpunkte gestrichelter
Linien 18 Stellen der zusätzlichen Abtastgitterpunkte 20 (Pixel)
an, die verwendet werden, um die Auflösung in dem Referenzbild 12 über seinen
gegenwärtigen
Auflösungspegel, der
durch Quadrate 17 identifiziert ist, hinaus zu erhöhen. Wie
in 2 veranschaulicht, werden die Proben x von den
anderen Niedrigauflösungs-Bildern 16 im
Allgemeinen in beliebige Zwischenpixelstellen abgebildet, die nicht
mit irgendeiner Hochauflösungs-Zwischenpixelstelle 20 übereinstimmen.
Probenstellen 20 bilden ein gleichförmiges Abtastgitter einer hohen
Auflösung.
Ein Erzeugen neuer Proben an diesen Stellen ist das letztliche Ziel
jedweder Auflösungsverbesserungstechnik,
da sämtliche
Bildanzeigevorrichtungen auf der Grundlage eines gleichförmigen Abtastgitters
arbeiten. Die ursprünglichen Niedrigauflösungs-Proben 17 und
die neuen Proben x bilden Proben des Bilds einer höheren Auflösung über ein
nicht-gleichförmiges Abtastgitter
aus.
-
Ein
sehr komplexer Interpolationsprozess ist erforderlich, um Pixelwerte
für das
Hochauflösungs-Bild 19 an
gleichförmigen
Gitterstellen 20 aus den nicht-gleichförmig angeordneten Proben x
abzuleiten. Beispielsweise müssen
mehrfache Proben 21 gleichzeitig von einem mehrdimensionalen
digitalen Filter verwendet werden, um den Pixelwert an dem Hochauflösungs-Gitterpunkt 20A zu
erzeugen. In typischer Weise können
Proben an Gitterstellen 20 maximale Bilddetails aufgrund
von Beschränkungen
in der Größe der digitalen
Filter, die zum Interpolieren der Proben x an der Stelle 20A verwendet
werden, nicht aufnehmen. Zusätzlich
besteht keine Garantie, dass jedwede Proben x in dem Stützbereich
des digitalen Interpolationsfilters vorhanden sind, und folglich kann
keine weitere Bildqualität
gewonnen werden, wenn dies auftritt.
-
Ein ähnliches
Verfahren zur Erzeugung eines Hochauflösungs-Standbilds aus Niedrigauflösungs-Bewegungsbildern
ist in der US-A-5696848 offenbart. Dieses Verfahren schließt ein Erzeugen einer
Abbildungstransformation für
jedes Niedrigauflösungs-Bild ein, um Pixel
in jedem Niedrigauflösungs-Bild
in Stellen in dem Hochauflösungs-Bild
abzubilden. Eine kombinierte Punktstreufunktion wird für jedes
Pixel in jedem Niedrigauflösungs-Bild
berechnet, indem die Abbildungstransformationen eingesetzt werden.
-
Dementsprechend
verbleibt ein Bedarf zum Erzeugen von Hochauflösungs-Bildern unter Verwendung
von Proben, die von anderen Bildern genommen werden, während die
Qualität
des Hochauflösungs-Bilds
erhöht
wird und die Komplexität
des Prozesses, der verwendet wird, um das Hochauflösungs-Bild
zu erzeugen, verringert wird.
-
Zusammenfassung
der Erfindung
-
Ein
Hochauflösungs-Bild
wird aus mehrfachen Niedrigauflösungs-Bildern abgeleitet,
die jeweils ein Feld von Niedrigauflösungs-Pixeln aufweisen. Die
Niedrigauflösungs-Bilder
stellen Niedrigauflösungs-Darstellungen
einer Szene in unterschiedlichen Phasen bereit. Phasendifferenzen
rühren
von der nicht-ganzzahligen
Pixelbewegung des Bildinhalts in der Zeit her. Eine Bewegung wird
entweder durch den Bediener der Kamera absichtlich (Schwenken oder
Zoomen) oder auf eine nicht kontrollierte Weise (freie Bewegung
der Hand des Kamerabedieners) induziert. Eine Bewegung kann auch mechanisch
in der optischen Vorrichtung der Kamera induziert werden. Bewegungsvektoren
werden an jedem unbekannten Hochauflösungs-Gitterpunkt abgeleitet.
Diese Bewegungsvektoren werden entweder von einem abgeschätzten Bewegungsvektorfeld oder
von einem Bewegungsmodell abgeleitet, für welches die Parameter abgeschätzt worden
sind oder auf irgendeine andere Weise verfügbar gemacht worden sind (siehe
detaillierte Beschreibung der Erfindung). Folglich wird ein Bewegungsvektor
an jedem der Hochauflösungs-Gitterstellen
und für
jedes der mehrfachen Niedrigauflösungs-Bilder
erzeugt. Bewegungsvektoren gehen aus dem Referenzbild hervor und
zeigen auf die Niedrigauflösungs-Bilder.
-
Die
Bewegungsvektoren bilden die unbekannten Hochauflösungs-Abtastgitterpunkte
auf Zwischenpixelpositionen auf den zugeordneten Niedrigauflösungs-Bildern
ab. Für
jedes Niedrigauflösungs-Bild
werden Niedrigauflösungs-Pixel
identifiziert, die den nächsten
Abstand zu jeder Zwischenpixelposition aufweisen. Eines oder mehrere
der identifizierten Niedrigauflösungs-Pixel, die einen
kürzesten
Abstand aufweisen, werden an jedem der Hochauflösungs-Gitterpunkte gewählt. Pixelintensitätswerte
werden dann zurück
auf die Hochauflösungs-Gitterpunkte
gemäß der ausgewählten Niedrigauflösungs-Pixel
abgebildet.
-
Ein
Abbilden der Pixelintensitätswerte
zurück
auf die Hochauflösungs-Gitterpunkte
in dem Referenzbild umfasst ein Interpolieren des Probenwerts an
der Zwischenpixelposition von den ausgewählten Niedrigauflösungs-Pixeln,
indem möglicherweise
die zugeordneten Bewegungsvektoren oder Bewegungsparameter verwendet
werden. Alternativ umfasst ein Abbilden der Pixelintensitätswerte
ein direktes Abbilden der Werte der ausgewählten Niedrigauflösungs-Pixel
zurück
als den Pixelwert an den Hochauflösungs-Gitterstellen.
-
In
einer anderen Ausführungsform
der Erfindung wird ein Abstandsschwellenwert ausgewählt. Eine
geschickte räumliche
Interpolation oder eine kantenadaptive Interpolation wird verwendet,
um Pixelwerte an den Hochauflösungs-Gitterstellen,
die keine Pixel aufweisen, mit Abständen geringer als jenen des
Abstandsschwellenwerts abzuleiten.
-
Die
voranstehenden und anderen Aufgaben, Merkmale und Vorteile der Erfindung
werden aus der folgenden detaillierten Beschreibung einer bevorzugten
Ausführungsform
der Erfindung auf einfache Weise offensichtlich werden, die unter
Bezugnahme auf die zugehörigen
Zeichnungen fortgesetzt wird.
-
Kurze Beschreibung der
Zeichnungen
-
In
den Zeichnungen zeigen:
-
1 ein
schematisches Diagramm nach dem Stand der Technik, das zeigt, wie
Bewegungsvektoren, die anderen Bildern zugeordnet sind, zurück in ein
Referenzbild abgebildet werden;
-
2 ein
schematisches Diagramm nach dem Stand der Technik einer nicht-gleichförmigen Interpolationstechnik,
die zum Abbilden von Proben von den anderen Bildern auf das Referenzbild
verwendet wird;
-
3 ein
schematisches Diagramm gemäß der Erfindung,
das zeigt, wie Bewegungsvektoren, die Zwischenpixelstellen in dem
Referenzbild entsprechen, verwendet werden, um auf Pixelstellen
in den anderen Bildern zu zeigen;
-
4 und 5 schematische
Diagramme, die zeigen, wie Pixelintensitätswerte für Hochauflösungs-Gitterpunkte bestimmt
werden;
-
6 ein
Flussdiagramm, das weiter zeigt, wie unbekannte Intensitätswerte
bestimmt werden; und
-
7 ein
Blockdiagramm, das ein System zum Erzeugen von Hochauflösungs-Bildern
zeigt.
-
Detaillierte
Beschreibung
-
Unter
Bezugnahme auf die 3–4 werden,
anstelle eines Abbildens von Proben von jedem Bild 16 zurück auf das
Referenzbild 12, Bewegungsvektoren 22, die jedem
Hochauflösungs-Gitterpunkt 20 zugeordnet
sind, verwendet, um den Hochauflösungs-Gitterpunkt 20 auf
die anderen Niedrigauflösungs-Bilder 16 abzubilden.
Die Niedrigauflösungs-Bildprobe,
die am nächsten
(gemäß einem
bestimmten vordefinierten Abstandsmaß) zu der Zwischenpixelposition
angeordnet ist, die durch die Bewegungsvektoren identifiziert ist,
wird identifiziert und verwendet, um einen Bildintensitätswert an
den Hochauflösungs-Gitterstellen 20 zu
erzeugen. Es ist möglich,
dass mehrere (im Gegensatz zu einer) "nächste" Niedrigauflösungs-Bildproben
zum Zweck eines Berechnens der Bildintensität an jeder Hochauflö sungs-Gitterstelle 20 gehalten
werden. Die Bewegungsvektoren 22 an den Hochauflösungs-Gitterpunkten 20 werden
in dem Schritt 30 der 6 abgeschätzt. In
einer Ausführungsform
werden Bewegungsvektoren 22 von einem parametrischen Globalbewegungsmodell,
wie etwa einem Verschiebungs-, einem affinen oder einem perspektivischen
Modell, das zwei, sechs bzw. acht Parameter erfordert, unter Verwendung
wohlbekannter Bewegungsmodellparameter-Abschätzungsverfahren in der Literatur,
wie etwa jenes, das von S. Mann und R. W. Picard, "Video Orbits of The
Projective Group: A New Perspective on Image Mosaicking", MIT Media Laboratory Technical
Report Nr. 338, 1995, oder ihren Variationen gegeben ist, abgeleitet.
Die Globalbewegungsparameter werden unter Verwendung des Niedrigauflösungs-Referenzbilds 12 und
eines anderen Niedrigauflösungs-Bilds 16 abgeschätzt. Ein
Bewegungsmodell wird zwischen dem Referenzbild 12 und jedem
anderen Niedrigauflösungs-Bild 16 abgeschätzt. Alternativ
können
die Globalbewegungsparameter direkt von einer mechanischen/optischen
Hilfsvorrichtung in der Kamera zugeführt werden. Sobald die Globalbewegungsparameter
verfügbar
sind, wird das Globalbewegungsmodell nachfolgend verwendet, um einen
Pixelversatzvektor 22 an jeder Hochauflösungs-Probenstelle zu bestimmen.
-
Spezifischer
weist jede Zwischenpixelposition 20 in dem Referenzbild 12 Versatzvektoren 22 auf,
die auf beliebige Pixel- oder
Zwischenpixelstellen in den Niedrigauflösungs-Bildern 16 zeigen. Wenn
N Bilder 16 vorhanden sind, werden N-1 Vektoren 22 für jede Zwischenpixelposition 20 abgeschätzt. Die
Erfindung bildet die entsprechenden Pixelintensitätswerte
in den anderen Niedrigauflösungs-Bildern 16 in
unbekannte Hochauflösungs-Gitterpunkte 20 in
einem Hochauflösungs-Bild 19 ab.
-
Die
neue Abbildungstechnik erzeugt neue Bildintensitätswerte an den unbekannten
Hochauflösungs-Gitterstellen 20,
während
die Berechnungskomplexität,
die erforderlich ist, um Werte von den anderen Bildern zurück auf das
Hochauflösungs-Bild abzubilden
und um nachfolgend eine nicht-gleichförmige Interpolation durchzuführen, verringert
wird. Der Effekt des Abbildens besteht darin, ein eindeutiges (nicht-aliased)
Bilddetail in der Nähe
jeder neuen Hochauflösungs-Abtastgitterstelle 20 und
Niedrigauflösungs-Probe 17 zu
rekonstruieren. Es sei darauf hingewiesen, dass eine niedrige Zahl
von Niedrigauflösungs-Bildern zu einem
mehrfachen Verwenden der gleichen Niedrigauflösungs-Bildprobe führen kann.
-
In
einer alternativen Ausführungsform
werden Versatzvektoren 22 für jeden unbekannten Hochauflösungs-Gitterpunkt 20 unter
Verwendung der Pixelbewegungsinformation 14 für die ursprünglichen
Pixel 17 in dem Referenzbild 12 abgeschätzt, wo
eine Pixelbewegungsinformation eine Bewegung zwischen dem Referenzrahmen 12 und
anderen Niedrigauflösungs-Bildern 16 beschreibt.
In diesem Fall kann die Pixelbewegungsinformation unter Verwendung
wohlbekannter optischer Flusstechniken abgeschätzt werden, wie jener, die
in J. L. Barron, D. J. Fleet und S. S. Beauchemin, "Performance of Optical Flow
Techniques", International
Journal of Computer Vision, Band 12, Nr. 1, 1994, S. 43–77, und
in B. K. P. Horn und B. G. Schunck, "Determining Optical Flow", Artificial Intelligence,
Band 17, 1981, S. 185–203,
diskutiert sind. In diesem Fall werden die Bewegungsvektoren 22 von
benachbarten Bewegungsvektoren, die aus den ursprünglichen
Pixeln 17 abgeschätzt sind,
unter Verwendung eines Mehrkanal-Interpolationsfilters abgeschätzt.
-
Ein
Beispiel eines Mehrkanal-Interpolationsfilters zum Abschätzen von
Bewegungsvektoren 22 aus einem Satz von benachbarten Bewegungsvektoren 17 ist
der Vektormedianfilter. Der Vektormedianfilter ist von J. Astola,
P. Haavisto, Y. Neuvo, "Vector Median
Filters", Proceedings
of the IEEE, Band 78, Nr. 4, April 1990, S. 678–689, definiert.
-
Ein
Vektormedianfilter weist die Eigenschaften eines Identifizierens
des repräsentativsten
Vektors aus einem endlichen Satz von Eingangsvektoren auf. Die Identifikation
eines derartigen Vektors wird durch ein Minimieren des Abstands
von einem Vektor zu sämtlichen
der anderen Vektoren in den Satz ausgeführt. Beispielsweise seien drei
zweidimensionale Bewegungsvektoren angenommen, die die folgenden
Werte annehmen: [1, 2], [3, 5] und [2, 10]. Unter Verwendung der
Summe der absoluten Komponenten differenzen als eine Abstandsmetrik
kann berechnet werden, dass der Abstand von dem ersten Vektor zu
dem zweiten Vektor und dem dritten Vektor gleich 14 ist,
der Abstand von dem zweiten zu dem ersten und dem dritten Vektor
gleich 11 ist und der Abstand von dem dritten Vektor zu
dem ersten und dem zweiten Vektor gleich 15 ist.
-
Der
Ausgang des Vektormedianfilters ist in diesem Fall der Vektor [3,
5], weil er der nächste
zu den anderen beiden Vektoren ist (11 ist der minimale Abstand
unter 14, 11 und 15). Die Bewegungsschätzvektoren
an den Niedrigauflösungs-Gitterpunkten 17 werden
unter Verwendung eines bekannten optischen Flussfeld- oder einem
Blockanpass-basierten Bewegungsschätzverfahren abgeschätzt, wie
in M. Bierling, "Displacement
Estimation by Hierarchical Block Matching", SPIE Band 1001, Visual Communications
and Image Processing, 1988, S. 942–951 angegeben.
-
In
noch einer anderen Ausführungsform kann
ein Satz lokaler parametrischer Modelle aus den Bewegungsvektoren 14,
die die Bewegung der Niedrigauflösungs-Pixel 17 in
der Nähe
des Hochauflösungs-Gitters
beschreiben, abgeleitet werden. In diesem besonderen Fall können die
Modellparameter von einem Hochauflösungs-Probenwert zu einem anderen
variieren. Die Größe der Pixelnachbarschaft,
die verwendet wird, um die Modellparameter abzuschätzen, hängt von
der Ordnung des Modells ab. Beispielsweise wird, unter der Bedingung,
dass die lokalen Bewegungsmodelle affine Bewegungsmodelle sind,
eine endliche Zahl (zumindest sechs) von Niedrigauflösungs-Pixelentsprechungen
in der Nähe
jedes Hochauflösungs-Gitterpunkts 20 verwendet,
um die Parameter jedes affinen Modells abzuschätzen. Das lokale Bewegungsmodell
wird dann verwendet, um einen Versatzvektor bei dem Hochauflösungs-Gitter 20 abzuleiten.
Diese oben beschriebenen Techniken sind Durchschnittsfachleuten wohlbekannt
und werden deswegen im weiteren Detail nicht beschrieben. Sobald
die Bewegungsvektoren 22, die den Hochauflösungs-Gitterstellen 20 zugeordnet
sind, abgeschätzt
sind, werden die Intensitätswerte
von den anderen Bildern 16, die unter Verwendung der Bewegungsvektoren 22 erhalten
werden, zurück
auf die Hochauflösungs-Gitterpunkte 20 abgebildet.
-
Unter
Bezugnahme auf die 5 und 6 sind N-1
Bewegungsvektoren 22(1)–22(N-1) vorhanden,
die jedem der Hochauflösungs-Gitterpunkte 20 in
dem Referenzbild 12 zugeordnet sind. Jeder Bewegungsvektor 22 zeigt
auf ein zugeordnetes der anderen N-1 Bilder 16 und wird
in einem Schritt 30 abgeschätzt. Folglich sind N-1 Intensitätswert-Auswahlmöglichkeiten
für jeden
Hochauflösungs-Gitterpunkt 20 vorhanden.
Unterschiedliche Auswahlkriterien werden verwendet, um die besten
oder einen Satz der besten Intensitätswerte zum Abbilden in jeden Hochauflösungs-Gitterpunkt 20 auszuwählen.
-
Zwischenpixelpositionen 24 sind
an jedem der Bilder 16 für jede N-1 Zwischenpixelposition 24 angeordnet,
auf die die Vektoren 22 zeigen. Ein Abstand wird zu der
nächsten
ganzzahligen Pixelposition 26 (d.h. einer vorhandenen Niedrigauflösungs-Pixelprobe) in einem
Schritt 32 bestimmt. Ein Paar (Ai, di) wird für jede der
N-1 Zwischenpixelpositionen 24 für jeden Hochauflösungs-Gitterpunkt 20 abgeleitet. Der
Wert Ai ist der Intensitätswert,
der durch eine räumliche
Interpolation an der Zwischenpixelposition 24 erhalten
wird. Der Wert di ist der Abstand zwischen der nächsten Pixelposition 26 und
der Zwischenpixelposition 24. Eine räumliche Interpolation ist Durchschnittsfachleuten
wohlbekannt. Eine räumliche
Nächste-Nachbar-Interpolation
wird beispielsweise den Wert bei 26 an der Zwischenpixelposition 24 erzeugen.
Eine bilineare räumliche
Interpolation wird beispielsweise die vier nächsten Pixelwerte benutzen,
die den Pixelwert bei 26 einschließen, um den Wert an der Zwischenpixelposition 24 zu
interpolieren. Ein Wert Aj, der den kleinsten Abstand dj aufweist,
wird in einem Schritt 34 bestimmt und wird nachfolgend
in die Hochauflösungs-Pixelstelle 20 in einem
Schritt 36 abgebildet. Es sei darauf hingewiesen, dass
in dem Schritt 34 mehrere der nächsten Pixel (im Gegensatz
zu nur dem nächsten)
verwendet werden können.
In diesem Fall verwendet der Interpolationsprozess die zugeordneten
Abstandswerte, um den Probenwert an dem Hochauflösungs-Gitterpunkt 20 zu
berechnen. Beispielsweise kann jeder Abstandswert verwendet werden,
um einen Gewichtungsfaktor zu bestimmen, der den Beitrag des zugeordneten
Probenwerts in dem endgültigen
Bildprobenwert bei dem Gitterpunkt 20 spezifiziert. Beispielsweise
weist in 5 der Bewegungsvektor 22(2),
der auf das Bild 16 abgebildet ist, zu der Zeit t = t0
+ 2 eine Zwischenpixelposition 24B auf, die am nächsten zu
der existierenden Pixelposition 26B ist. Der Abstand di
zwischen der Position 24B und 26B ist der kleinste
Abstand für
jedweden der Bewegungsvektoren 22 an einem Hochauflösungs-Punkt 20A.
Der Pixelintensitätswert
für die
Gitterstelle 20A wird unter Verwendung einer räumlichen
Interpolation abgeleitet.
-
Das
in den 5 und 6 gezeigte Beispiel dient einer
Auflösungsverbesserung
von 2X, kann aber jedweder beliebige ganzzahlige oder rationale
Wert sein. Wenn die Auflösungsverbesserung beispielsweise
4x ist, werden typischerweise zumindest sechzehn andere Bilder für die besten
Ergebnisse verwendet. Wie oben beschrieben, können Bewegungsvektoren 22 durch
ein parametrisches Bewegungsmodell erzeugt werden, dessen Parameter über eine
optische Flussabschätzung
oder über
eine hierarchische Blockanpassung mit einer nicht-ganzzahligen Pixelverfeinerung
abgeschätzt
werden. Parametrische Bewegungsmodelle schließen affine und perspektivische
Modelle ein und sind insbesondere nützlich, wenn eine Bildbewegung
nur aufgrund einer Kamerabewegung vorhanden ist.
-
7 ist
ein Blockdiagramm, das das System zeigt, das zum Erzeugen des Hochauflösungs-Bilds 23 verwendet
wird. Eine Kamera 38 nimmt mehrfache Niedrigauflösungs-Bilder 16 einer Szene
auf. Eines der Bilder 16 wird als das Referenzbild 12 bezeichnet.
Ein Prozessor 40 empfängt
und speichert die mehrfachen Bilder 16 in einem Speicher 70.
Der Prozessor 40 führt
das Abbilden der Niedrigauflösungs-Proben
in den Bildern 16 in das Referenzbild 12 durch,
wie oben beschrieben, um das Hochauflösungs-Bild 19 zu erzeugen.
Die Abbildungstechnik ist typischerweise in einer Software implementiert,
die in den Prozessor 40 geladen ist, aber eine Hardware-Implementierung
ist auch möglich, ohne
von dem Umfang der Erfindung abzuweichen.
-
Andere
Variationen dieser Technik sind möglich. Die Paare (Ai, di) und
der kleinste Abstand dj sind identifiziert. Wenn dj größer als
ein Schwellenwert T ist, dann wird eine zeitliche Verarbeitung (unter
Verwendung von Bildern 16, die zu anderen Zeitpunkten aufgenommen
sind) nicht für
den bestimmten Hochauflösungs-Gitterpunkt 20 verwendet.
Der Wert des Gitterpunkts 20 wird dann unter Verwendung
einer geschickten räumlichen
Interpolation bestimmt. Beispielsweise kann ein kantenadaptives
Interpolationsverfahren, wie etwa das in S. D. Bayrakeri und R.
M. Mersereau, "A
New Method for Directional Image Interpolation", Proceedings of 1995 International
Conference on Acoustics, Speech and Signal Processing, 1995, S.
2383–2386,
vorgeschlagene verwendet werden.
-
In
der oben beschriebenen Bewegungsvektorableitung kann ein zusätzliches
Kriterium eingeführt
werden, um die Genauigkeit der Bewegungsentsprechung zu testen.
Obwohl der Bewegungsvektor 22 nahe an eine Pixelstelle 26 (5)
zeigen kann, kann der Vektor aufgrund von Verdeckungen ungenau sein.
Derartige Verdeckungen treten beispielsweise auf, wenn ein globaler
Bewegungsparameter verwendet wird, um Bewegungsvektoren 22 abzuschätzen und
ein Vordergrundobjekt über
der Hintergrundszene vorhanden ist, das sich nicht gemäß dem globalen
Bewegungsmodells bewegt. Um das Auftreten derartiger Fälle zu überwachen,
wird ein lokaler Bewegungskompensationsfehler auf der Grundlage
der Summe der Bildproben-Absolutdifferenz berechnet, die über einem
Block benachbarter Bildpixel 17 in dem bezeichneten Bild 12 und
der Nähe
der Zielposition in dem (den) ausgewähltem(n) Niedrigauflösungs-Bild(ern) 16 berechnet
wird. Dies kann als ein temporäres
Hochpassfilter implementiert werden, das die Niedrigauflösungs-Pixelwerte,
die den Hochauflösungs-Gitterpunkt umgeben,
und die Niedrigauflösungs-Pixelwerte,
die die Zielposition umgeben, einschließt. Ein höherer Fehlerwert zeigt an,
dass die Bewegungsschätzung
ungenau sein kann. In diesem Fall fällt der Algorithmus zurück zu einer
geschickten räumlichen
Interpolation. Es sind andere mögliche
Wege eines Zuweisens dieses zusätzlichen
Genauigkeitskriteriums vorhanden, das die Hochauflösungs-Abbildung,
die oben beschrieben ist, beim Vorhandensein von Bewegungsschätzfehlern
robust ausführt.
-
Anstelle
eines Zurück-Abbildens
des Werts Aj, der unter Verwendung der räumlichen Interpolation (z.B.
bilinear) bestimmt ist, wird der Wert des nächsten Pixels direkt zurück auf die
zugeordnete Hochauflösungs-Stelle 20 abgebildet
(d.h. kopiert), d.h. indem eine räumliche Nächste-Nachbar-Interpolation implementiert
wird.
-
Ein
unverarbeiteter Ausgang einer ladungsgekoppelten Vorrichtung (Charged
Couple Device, CCD) kann insbesondere verwendet werden, wenn die
CCD ein Farbfilterfeld (CFA) einsetzt. Wenn dieses Muster bekannt
ist, werden RGB-Werte (die als "unverarbeiteter
CCD-Ausgang" bezeichnet
werden) direkt (über
einem spärlichen
Satz von Gitterpunkten) verwendet, bevor diese Farbwerte gefiltert
werden, um das Bild auf die volle RGB-Auflösung
zu interpolieren. In einem derartigen Fall wird jeder Farbkanal
unabhängig
verarbeitet, wie oben beschrieben. Der Bewegungsschätzprozess
kann jedoch nur auf einem der Farbfilter (typischerweise dem grünen Feld)
durchgeführt
werden. Eine Alternative besteht darin, eine Bewegungsschätzung in
dem Luminanzkanal (d.h., einer linearen oder nicht-linearen Kombination
der roten, grünen
und blauen Kanäle)
durchzuführen
und sie dann beim Verarbeiten der RGB-Kanäle zu verwenden.
-
Eine
wichtige Anwendung der Erfindung besteht darin, Hochauflösungs-Dokumentenbilder durch
ein Bewegen einer Kamera zu erhalten, um mehrfache Bilder aufzunehmen
und ihren Inhalt auf ein Bild einer höheren Auflösung nachfolgend abzubilden.
Es ist möglich,
die visuelle Qualität
des Bilds einer verbesserten Auflösung durch eine Nachfilterung
weiter zu erhöhen.
Beispielsweise kann ein Wiener-Filter mit einer Gauß'schen Unschärfe-Punktstreufunktion
angewandt werden, um eine Bildschärfe zu verbessern, wenn das
Bild aufgrund einer Sensorintegration geringfügig unscharf ist.
-
Indem
die Prinzipien der Erfindung in einer bevorzugten Ausführungsform
davon beschrieben und veranschaulicht worden sind, sollte es offensichtlich
sein, dass die Erfindung in Anordnung und Detail modifiziert werden
kann, ohne von derartigen Prinzipien abzuweichen.