DE69906031T2 - System und Verfahren zur massstäblichen Umformung von Bildern - Google Patents
System und Verfahren zur massstäblichen Umformung von BildernInfo
- Publication number
- DE69906031T2 DE69906031T2 DE69906031T DE69906031T DE69906031T2 DE 69906031 T2 DE69906031 T2 DE 69906031T2 DE 69906031 T DE69906031 T DE 69906031T DE 69906031 T DE69906031 T DE 69906031T DE 69906031 T2 DE69906031 T2 DE 69906031T2
- Authority
- DE
- Germany
- Prior art keywords
- image
- interpolator
- frequency response
- scaled
- passband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000006870 function Effects 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 31
- 230000007704 transition Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000013072 incoming material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf das Gebiet der digitalen Videoformatumwandlung. Insbesondere bezieht sich die vorliegende Erfindung auf eine Universalformatumwandlungsarchitektur, welche kombinierte Video- und Computer-erzeugte Bilder verarbeitet.
- Heute ist in einer Nachbearbeitungsumgebung des Digitalfernsehens (DTV) der Gebrauch von Video- und Computer-generierten Bildern (CGI) verschiedener Formate gebräuchlich geworden. Formatumwandlung hoher Qualität und Echtzeitvideoraster-CGI werden ein integraler Bestandteil der Routinebearbeitung für effiziente DTV-Inhaltserzeugung und -bereitstellung. Die meisten existierenden Video/Grafik-Arbeitsplätze sind auf die CPU und sein Grafikuntersystem angewiesen, um Software-Bildinterpolation durchzuführen. Wenn diese Softwaresysteme benutzt werden, müssen die eingehenden Materialien in ein geeignetes Format umgewandelt werden, bevor die Bildeditierung oder Zusammensetzung stattfinden kann. Eine Alternative mit höherer Produktivität kann der Gebrauch eines geeigneten, darauf abgestimmten Hardware-Formatumwandlers (FC) sein.
- Wegen der ausgeprägten Signalcharakteristiken (z. B. die Bandbreite) von Live- Video und CGI muss ein Formatumwandler, welcher für die Skalierung von Video optimiert ist, jedoch nicht unbedingt geeignet sein für CGI. Leistungskompromisse wie Bild-Aliasing, Überschwingen- und Unschärfeartefakte müssen bei einem einzigen Interpolator-Design eingegangen werden. Um die Leistungsgrenze, welche durch einen Interpolator gesetzt ist, zu überwinden, besteht ein Bedürfnis für eine neue FC-Architektur (FC = Format Konverter) zur gleichzeitigen Video- und CGI- Skalierung.
- Am Beginn des DTV-Zeitalters wurden die DTV-Übertragungsformate, die durch ATSC spezifiziert wurden, von allen größeren US-TV-Netzwerken angenommen. Ein TV-Netzwerk mag jedoch ein DTV-Format bevorzugen, während ein anderes Netzwerk ein anderes bevorzugen kann. Vielerlei DTV-Formate werden weiterhin die Video-Nachproduktion verkomplizieren, weil Video/Grafik-Arbeitsplätze so konstruiert sein müssen, dass sie mit vielen Eingangs- und Ausgangsformaten zurecht kommen. Deshalb ist die Formatumwandlung in der DTV-Nachbearbeitung unumgänglich, und es muss eine praktikable Lösung gefunden werden. Obwohl einige High-End- Video/Grafik-Arbeitsplätze eine Auflösungsunabhängigkeit durch die Verwendung von Software-Bildinterpolation bieten, bedeutet dies jedoch einen Kompromiss zwischen der Bearbeitungsgeschwindigkeit und der Bereitstellung von Systemressourcen für die Bildskalierungsbelange. Um produktiver zu sein, wird eine zweckbestimmte Bildskalierungs-Hardwarelösung benötigt, welche effizient mit irgendeiner Mischung aus DTV-Formatquellen arbeitet. Dies ist besonders wichtig für Nachbearbeitungsfirmen, welche eine breite Bandbreite von Kunden bedienen wollen, die eine Vielzahl von Standards verwenden. Zusätzlich erlaubt die Möglichkeit, Formate zu mischen, den freien Gebrauch von allen Programmbeständen, einschließlich sowohl der traditionellen Video- als auch der Computer-generierten Bildverarbeitung (CGI).
- Die ausgeprägten unterschiedlichen Signalcharakteristiken eines traditionellen Video- und CGI-Signals werden wunschgemäß beim Entwurf eines Formatumwandlers in Betracht gezogen. Allgemein bekannt ist, dass alle CGIs, welche Bandweiten haben, die die Nyquist-Grenze erreichen (d. h. 0,5 Perioden bzw. Zyklen pro Pixel), sinnvollerweise durch ein Anti-Aliasing-Filter geschickt werden, bevor sie skaliert werden, um Überschwingen-Artefakte zu vermeiden. Unnötiges Anti-Aliasing-Filtern für CGI-Bildbestandteile kann jedoch eine Bildunschärfe verursachen, welche den visuellen Reiz dieser Bildkomponenten vermindert. Andererseits ist es wünschenswert, die Bandweite von CGI-Bild-Komponenten aufrechtzuerhalten, sodass sie auf digitalen Wiedergabegeräten wie Plasmawiedergabe-Panels (PDP) und digitalen lichtverarbeitende (DLP für Digital Light Processing) Videoprojektoren gut wiedergegeben werden können, da diese Einrichtungen in der Lage sind, CGI bis zu deren 0,5 Zyklen pro Pixel- Bandweitengrenze darzustellen. Weil digitale Wiedergabegeräte 100%ige Modulationstransferfunktionen (MTVs) haben, hat ein Grafik-Künstler nun die Möglichkeit, sein Kunstwerk in der Art und Weise, wie er es will, darzustellen. Es besteht ein Bedürfnis für eine Architektur, die jede CGI skalieren kann, ohne die grafische Schärfe für die Reduktion anderer Skalierungsartefakte (wie das Überschwingen) zu opfern.
- Das US-Patent US-A-5446804 offenbart ein Verfahren zur Vergrößerung eines digitalen Bildes, welches auf einer vergrößerten Randkarte basiert, die auf das vergrößerte Bild projiziert wird, um zusätzliche Pixel zu produzieren.
- Die vorliegende Erfindung stellt eine einfache und effektive Einrichtung für eine universelle Formatumwandlung für Bilder mit gemischten Video- und Computergenerierten Bilddaten zur Verfügung. Ein erstes skaliertes Zwischenbild wird durch den Gebrauch eines ersten Interpolators erzeugt. Das erste skalierte Zwischenbild wird dann durch einen Randextraktor verarbeitet, um ein skaliertes Randbild zu erzeugen. Als nächstes wird ein zweites skaliertes Zwischenbild unter Verwendung eines zweiten Interpolators generiert. Dann wird das skalierte Randbild zum zweiten skalierten Zwischenbild dazuaddiert, um ein umgewandeltes Bild zu erzeugen.
- In einer Ausführungsform basiert eine neue Formatumwandlungsarchitektur auf einem zweifachen Formatumwandler, wobei die Interpolatoren, welche in den beiden Formatumwandlern sitzen, komplementäre Charakteristiken haben.
- Die Erfindung wird am besten anhand der folgenden detaillierten Beschreibung zusammen mit den anliegenden Zeichnungen verständlich. In den Zeichnungen sind die folgenden Figuren enthalten:
- Fig. 1A ist ein Graph der Amplitude über der Frequenz, welcher den Filterkernel bzw. Nucleus einer bilinearen Interpolation zeigt.
- Fig. 1B ist ein Graph der Amplitude über der Frequenz, welcher die Frequenzabhängigkeitscharakteristik des bilinearen Interpolationskernels, der in Fig. 1A gezeigt ist, zeigt.
- Fig. 2A ist ein Graph der Amplitude über der Frequenz, welcher zwei beispielhafte Filtercharakteristiken (filter kernels) für zwei Kaiser- Fenster-Si-Funktionen (kaiser windowed sinc function) zeigt.
- Fig. 2B ist ein Graph der Amplitude über der Frequenz, der die Frequenzabhängigkeit der Kaiser-Fenster-Si-Funktionen, welche in Fig. 2A gezeigt sind, darstellt.
- Fig. 3A ist ein Graph der Amplitude über der Frequenz, welcher zwei beispielhafte Filtercharakteristiken für zwei erhobene bzw. potenzierte Kosinus-Funktionen zeigt.
- Fig. 3B ist ein Graph der Amplitude über der Frequenz, welcher zwei beispielhafte Frequenzabhängigkeitscharakteristiken für die erhobenen bzw. potenzierten Kosinus-Funktionen, die in Fig. 3A gezeigt sind, darstellt.
- Fig. 4A ist ein Graph der Amplitude über der Frequenz, welcher das beispielhafte Abtasten einer analogen Wellenform eines Interpolationskernels, welcher einen Dreiphasenfilterkernel definiert, zeigt.
- Fig. 4B ist ein Graph der Frequenz über der Amplitude, welcher die Frequenzabhängigkeitscharakteristik für jede der drei Phasen, welche in Fig. 4A gezeigt sind, darstellt.
- Fig. 5 (Stand der Technik) ist ein Beispiel für einen endlichen eindimensionalen-4-Abgriffe Impulsantwortinterpolator mit drei Phasen.
- Fig. 6 (Stand der Technik)ist ein Beispiel einer 1-D-Bildskalierarchitektur.
- Fig. 7 (Stand der Technik) ist ein Beispiel für eine 2-Pass-1-D- Interpolationsarchitektur, welche für die Bildskalierung verwendet werden kann.
- Fig. 8 ist ein Beispiel einer universellen Formatumwandlungsarchitektur gemäß der vorliegenden Erfindung.
- Fig. 9 (Stand der Technik) ist ein Beispiel eines Originaltextbildes, welches zur Beschreibung der Arbeitsweise der vorliegenden Erfindung benutzt wird.
- Fig. 10A (Stand der Technik) ist ein Textdiagramm, welches ein Beispiel einer Aufwärtskonvertierung mittels eines einzelnen Interpolators zeigt.
- Fig. 10B ist ein Textdiagramm, welches ein Beispiel einer Aufwärtskonvertierung mittels der universellen Formatumwandlungsarchitektur, wie sie in Fig. 8 gezeigt ist, darstellt.
- Fig. 11 (Stand der Technik) ist ein Bilddiagramm eines Fernsehtestmusters.
- Fig. 12A ist ein Bilddiagramm des Testmusters, welches in Fig. 11 gezeigt ist, aufwärtskonvertiert mit einem einzigen Interpolator.
- Fig. 12B ist ein Bilddiagramm des Testmusters, welches in Fig. 11 gezeigt ist, aufwärtskonvertiert mittels der universellen Formatumwandlungsarchitektur, welche in Fig. 8 gezeigt ist.
- Fig. 13A ist ein Bilddiagramm des Testmusters, welches in Fig. 11 gezeigt ist, abwärtskonvertiert mittels eines einzelnen Interpolators.
- Fig. 13B ist ein Bilddiagramm des Testmusters, welches in Fig. 11 gezeigt ist, abwärtskonvertiert mittels der universellen Formatumwandlungsarchitektur, die in Fig. 8 gezeigt ist.
- Das Herz eines Video- und CGI-Formatumwandlers ist ein Bildskalierer, welcher ein digitales Bild durch Wiederabtasten des Originalbildes in einer zweidimensionalen Ebene von einem Abtastgitter zu einem anderen transformiert. Vor dem Entwerfen eines Bildskalierers ist es wichtig, die Rolle, die ein Interpolator in einer Bildskalierungseinheit spielt, zu verstehen.
- Bildskalierung für gleich beabstandete Datenabtastungen kann als Faltungsoperation einer diskreten Interpolationsfunktion (oder eines Kernels) und der Datenabtastungen gesehen werden. Die numerische Genauigkeit und die rechnerische Komplexität eines Bildskalierers sind direkt von seinem Interpolationskernel abhängig. Somit sind die Interpolationskernels beim Kreieren des Interpolationsalgorithmus die Ziele des Entwurfs und der Analyse. Es gibt eine Anzahl von Interpolationskernels, die in Bild- skalierenden Anwendungen verwendet werden. Die Hauptunterschiede sind die Kompromisse betreffend die Genauigkeit, die Effizienz und die Hardware- Komplexität.
- Bilineare Interpolation ist eine sehr geläufige Methode, welche ausgiebig durch die PC-Hersteller bevorzugt für Endkunden-Video- und -Grafik-Applikationen benutzt wird. In einem eindimensionalen Fall wird die Ausgangsabtastung gemäß einer gewichteten Summe seiner zwei benachbarten Abtastungen, wie in der Gleichung (1) gezeigt, berechnet.
- wobei x&sub0; und x&sub1; die Eingangsabtastmarkierungen sind und x die Ausgangsabtastungsmarkierung, welche zwischen x&sub0; und x&sub1; liegt, ist; y() ist ein Funktionswert (z. B. die Bildintensität).
- Im räumlichen Bereich ist die bilineare Interpolation gleichbedeutend mit einem Falten bzw. Zusammenrollen des Eingangssignals mit dem Interpolationskern, der in Gleichung (2) gezeigt wird:
- Die Wellenform und die Frequenzabhängigkeitscharakteristiken eines bilinearen Interpolationkernels sind jeweils in den Fig. 1A und 1B gezeigt. Obwohl die bilineare Interpolation sehr ökonomisch zu implementieren ist, wird sie nur selten zur Verarbeitung von professionellen Qualitätsvideosignalen verwendet. Aus Fig. 1B ist ersichtlich, dass der bilineare. Interpolationskernel eine signifikante Anzahl von störenden Sperrbandhochfrequenz-komponentenverlusten hat, welche zum Aliasing führen. Zusätzlich ist der Durchlassbereich leicht gedämpft, was zu einer Bildglättung führt. Um Durchlassbereichsdämpfung zu verhindern, ist die ideale Frequenzantwort für einen Kernel ein BOXCAR-Filter, wie es in Gleichung (3) spezifiziert wird.
- Ein Kompromiss zwischen einem echten BOXCAR-Interpolationsfilter und einem Filter mit der Frequenzantwortcharakteristik, wie sie in Fig. 1B gezeigt ist, ist ein Interpolationsfilter dritter Ordnung. Die Anregung zur Interpolationsfilterung dritter Ordnung(z. B. kubischer B-Spline) ist, aus Polynomen generierte Abschnitte zu kombinieren, wobei eine endliche Menge von Unterstützungen benutzt wird, um die Nulldurchgänge einer abgeschnittenen Si-Funktion (sinc function) anzupassen. Dieser Kerneltyp liefert eine bessere Interpolationsgenauigkeit als ein bilinearer Interpolationskernel und erfordert nur eine geringe Unterstützung im räumlichen Bereich. Dies erlaubt einen Interpolationsfilter mit einem abgeschnittenen Si-Kernel, um Ausgangsabtastungen mit geringerem Berechnungsaufwand zu produzieren. Die nicht-linearen Terme im Kernel steigern jedoch die Kosten der Hardware relativ zu einem linearen Interpolationsfilter. Zusätzlich hat der abgeschnittene Si- Interpolationsfilter eine unerwünschte Dämpfung im Durchlassbereich, welche zu einer Bildglättung führen kann.
- Die Abtastungstheorie hat herausgefunden, dass die Si-Funktion der ideale Interpolationskernel ist. Er ist jedoch physikalisch nicht realisierbar, da er unendliche Unterstützung im räumlichen Bereich erfordert. In der Praxis wird eine glatter "Abroll"-Fenster Funktion ("roll-off" windowing function) mit einer endlichen Unterstützung benutzt, um den Überschwingen-Artefakt als ein Ergebnis der direkten Si-Funktionsabschneidung zu mindern. Zu den besonders weit verbreiteten Fensterfunktionen gehört die Kaiser-Fenster-Funktion, welche durch die Gleichung (4) definiert ist:
- wobei β ein freier Parameter ist, welcher durch die Gleichung (5) definiert ist:
- Der Interpolationskernel ist deshalb das Produkt der Kaiser-Fenster-Funktion und der Si-Funktion, wie sie in Gleichung (6) angegeben ist
- Die Fig. 2A und 2B zeigen die gefensterte Kaiser-Si-Funktion mit jeweils β = 5 und β = 20. Wenn β ansteigt, wird der Rest im räumlichen Bereich schnell minimiert. Dieser Anstieg in β führt in dem Frequenzgebiet zu einem engeren Durchgangsbereich und einen weiteren Übergangsbereich, was zu höheren Rückfaltungs- bzw. Aliasing- Artefakten und Bildunschärfen ("blurring") führen kann. Ein gräduellerer Übergangsbereich produziert jedoch reduzierte Unschärfe-Artefakte in der Nähe von scharfen Kanten. Die Wahl zwischen der Durchlassbereichsweite und der Übergangsbereichsweite ist basierend auf der jeweiligen Anwendung ausgewogen. Zum Beispiel kann sich jemand für einen höheren β-Wert für die CGI-Skalierung entscheiden, wenn Randüberschwingen ein dominanter Artefakt wird, während ein kleineres β für natürliches Videoskalieren geeignet ist in Abhängigkeit von den Grenzbereichsgrenzcharakteristiken, die durch die Videokamera verursacht werden können.
- Es ist allgemein bekannt, dass Filter, die auf gefensterten Si-Funktionen basieren, in der Nähe von Rändern Überschwing-Artefakte produzieren. Obwohl sie gegenüber einer direkt abgeschnittenen Si-Funktion Verbesserungen bieten, behalten sie einen ziemlich scharfen Übergang vom Durchgangsbereich zum Sperrbereich. Deshalb ist es wünschenswert, Glättungsbeschränkungen in der Filterantwort im Frequenzbereich zu erzwingen. Wenn die wünschenswerte Frequenzantwort als eine glatte Funktion vom Durchlassbereich zum Sperrbereich definiert ist, klingt ihre Impulsantwort sehr viel schneller ab und kann ohne explizites Fenstern abgeschnitten werden.
- Eine bestimmte Funktion, welche einen glatten Übergang zwischen dem Durchlassbereich und dem Sperrbereich bietet, ist die angehobene bzw. potenzierte Kosinus-Funktion. Ihr korrespondierender Interpolationskernel ist definiert durch die Gleichung (7):
- Wie die Si-Funktion ist auch die potenzierte Kosinus-Funktion physikalisch nicht realisierbar. Die Reste bzw. Enden der angehobenen bzw. potenzierten Kosinus- Funktion klingen aber mit einer Rate von 1:x³ aus und vermindern sich sehr viel schneller als die Reste bzw. Enden der Si-Funktion. In der Praxis kann die angehobene bzw. potenzierte Kosinus-Funktion durch Abschneiden des Pulses an einer Integerzahl (Integer-Vielfaches der Nyquist-Periode) angenähert werden, was vom γ-Wert abhängt. Es ist klar, dass der Parameter γ (bekannt als Roll-Off- Parameter) die Zugriffsbandbreite steuert, welche von 0% bis 100% der Minimalbandweite im Hinblick auf die der Si-Funktion variiert.
- Die Fig. 3A und 3B zeigen eine angehobene bzw. potenzierte Kosinus-Funktion mit 50% Zugriffsbandbreite (γ = 50%) im Vergleich mit einer andererseits sehr ähnlichen gefensterten Kaiser-Si-Funktion mit β = 30. In diesem Fall ist die gefensterte Kaiser-Funktion besser zur Reduzierung von Aliasing-Verzerrung geeignet, während die angehobene bzw. potenzierte Kosinus-Funktion besser für die Reduzierung von Überschwingenverzerrungen geeignet ist.
- Wenn eine Bildskalierung ausgeführt wird, ist es wünschenswert, die Eingangsabtastungen mit geeigneten Werten des Interpolationskernels zu gewichten. Um die Berechnung der Koeffizienten des Interpolators in Echtzeit zu vermeiden, würde es genügen, verschiedene Sätze der Koeffizienten in einem Auslesespeicher (ROM) zu speichern, welcher durch einen Phasenselektor adressiert werden kann, basierend auf der Phase einer Ausgangsabtastung (Position, welche zwischen zwei Eingangsabtastungen liegt). Es ist jedoch wünschenswert, Abtastwerte zu berechnen, welche eine beliebige Beziehung zum Eingangsabtastgitter haben. Deshalb würde, um einen idealen Interpolator zu definieren, eine unendliche Anzahl von Filterkoeffizienten und Phasen benötigt werden. Eine praktikable Lösung ist es, eine hohe, aber endliche Anzahl von Phasen zur Verfügung zu haben. Deshalb wird das Ausgangsabtastgitter zur nächstliegenden Interpolationsphase quantifiziert, was der ROM-Nachschlagetabelle ermöglicht, den entsprechenden Koeffizientensatz zu erzeugen. Es wurde gezeigt, dass eine Nachschlagetabelle mit 65 Phasen fast keine quadratische Abweichung zum Fehler, welcher wegen der Bilddatenrundung auftritt, addiert.
- Fig. 4A zeigt einen analogen Interpolatorkernel mit einer gefensterten Kaiser-Si- Funktion, welche durch ein 4-Abgriff-FIR-Filter mit drei Phasen angenähert wurde. Die drei Koeffizientensätze, gezeigt als Punkt- (C&sub0;&sub0;, C&sub0;&sub1;, C&sub0;&sub2; und C&sub0;&sub3;), als Dreieck- (C&sub1;&sub0;, C&sub1;&sub1; und C&sub1;&sub2;) und als Viereck- (C&sub2;&sub0;, C&sub2;&sub1; und C&sub2;&sub2;) Formen korrespondieren jeweils zu den Phasen 0, 1 bzw. 2. Die Frequenzspektren nach der Normalisierung sind in Fig. 4B aufgetragen.
- Eine mögliche Hardwareausführung eines solchen Interpolators ist in Fig. 5 gezeigt. Der beispielhafte Interpolator, welcher in Fig. 5 dargestellt ist, ist ein 4-Stufen- bzw. Abgriffe-Dreiphasen-FIR-Filter. Die Eingangsabtastungen werden vier seriengeschalteten Verzögerungselementen 510 zugeführt. Jedes der Verzögerungselemente 510 ist gekoppelt mit einem Koeffizientenvervielfacher 512. Jeder der Vervielfacher 512 beinhaltet einen Koeffizienten-Nachschlagetabellen- Speicher (nicht gezeigt), welcher drei Koeffizienten enthält, einen für jede Phase. Ein Phasenauswahlsignal wird dem Interpolator 614 aufgegeben, um einen Koeffizientensatz, welcher auf einen Eingangskanal eines jeden der Vervielfacher 512 angewendet werden soll, auszuwählen. Die Ausgangssignale der Vervielfacher 512 werden durch einen Addierer 514 addiert, um das Ausgangssignal des Filters 614 zu erzeugen.
- Der Interpolationsfilter, welches in Fig. 5 gezeigt ist, ist ein 4-Abgriffe Dreiphasen- FIR-Filter. Wie weiter unten angegeben, ist der Filter, welches in einer beispielhaften Ausführungsform der Erfindung eingesetzt ist, ein 16-Abgriffe 128-Phasen-Filter. Dieser Filter kann eingesetzt werden unter Verwendung eines Formatumwandlungsfilters, wie er in dem US-Patent Nr. 5,057,911, welches den Titel "System und Verfahren zum Umwandeln von digitalen Videosignalen" hat, beschrieben wird, auf welche hiermit Bezug genommen wird bezüglich seiner Lehren betreffend digitale Interpolationsfilter.
- Üblicherweise kann ein typischer 1-D-Bildskalierer so wie der, welcher in Fig. 6 gezeigt ist, aus einem Vorpuffer 610 bestehen, welcher Abtastwerte speichert, wenn viele Ausgangsabtastungen aus den gleichen Eingangsabtastungen geformt werden. Der Tiefpassfilter (LFP) 612 wird beim Abwärtsabtasten (downsampling) als Anti- Aliasing-Filter benutzt. Der 1-D-Interpolator 614 ist oben beschrieben in Bezug auf Fig. 5. Der Puffer 616 wird zur Glättung der Ausgangsdaten während der Abwärtskonvertierung benutzt. Das DROP-Signal wird gesetzt, wenn keine Ausgangsabtastungen zwischen zwei Eingangsabtastungen vorliegen. Während dieser Periode werden keine Ausgangsabtastungen in den Puffer 616 geschrieben.
- Der Phasenselektor 618 stellt dem Interpolator 614 das Phasenauswahlsignal zur Verfügung und steuert das Abrufen von Eingangsabtastungen vom Puffer 610 und das Speichern von Ausgangsabtastungen in dem Puffer 616. Die Phasenabfolge, welche zur Adressierung der Koeffizienten-Nachschlagetabelle im Interpolator 614 verwendet wird, kann über die Gleichung (8) berechnet werden:
- wobei X die gegenwärtige Abtastungsposition und A und B jeweils die Ausgangs- und Eingangsabtastungsintervalle sind; Np ist die Gesamtanzahl der Phasen.
- Obwohl alle oben beschriebenen Interpolationskernels auf den 2-D-Fall verallgemeinert werden können, ist die Bildinterpolation basierend auf einem 2-D- Kernel hinsichtlich der Hardware aufwändig. Alternativ kann eine 2-D-Interpolation durch das Ausführen von 1-D-Interpolationen in jeder Dimension durchgeführt werden. Wie in Fig. 7 gezeigt, werden zuerst die horizontalen Abtastlinien mittels eines 1-D-Interpolators 710 verarbeitet. Das Zwischenergebnis wird in einem Transponierspeicher 712 horizontal (d. h. Linie für Linie) gespeichert und wird dann vertikal ausgelesen (d. h. Spalte für Spalte), um einem zweiten Passinterpolator aufgegeben zu werden, welcher identisch mit dem ersten Pass ist. Die Abfolge der Abarbeitung ist beliebig, weil der äquivalente 2-D-Interpolationskernel teilbar ist (z. B. h(x) h(y))
- Wie in der Tabelle 2 dargestellt, stellt eine getrennte Interpolation für einen N · N-Bild- und einen nxn-Filterkernel eine wesentliche Reduktion der Berechnungskomplexität von O(n²N²) auf O(nN²) dar. Tabelle 2
- Der Interpolationskernel spielt eine entscheidende Rolle beim Bildskalieren. Ein enger Übergangsbereich in dem Frequenzraum ist wünschenswert, da ein scharfer Übergang zwischen dem Durchgangsbereich und dem Sperrbereich die Unschärfe und das Aliasing minimiert. Leider trägt der scharfe Übergang auch zum Überschwingen-Artefakt bei. Die Überschwing-Artefakte sind besonders störend beim CGI-Skalieren. (Beispielsweise bei Video mit grafischer Überlagerung (z. B. Film-Vor oder Nachspannen) oder Text, z. B. eine Internetseite). Das Ziel, die Überschwing-Artefakte zu reduzieren und das Ziel, die Unschärfe und das Aliasing zu reduzieren, sind sich gegenseitig ausschließend inkompatibel.
- Weil es schwierig, ist, einen einzigen Interpolator zu entwerfen, welcher Lösungen für die oben genannten Probleme bietet, kann ein besserer Kompromiss durch die Verwendung von zwei Interpolatoren erreicht werden. Wenn die durch die beiden Interpolatoren skalierten Bilder sorgfältig zusammengesetzt werden, wird das Ergebnis ein zusammengesetztes Bild mit einer besseren Gesamtqualität sein, als es durch einen einzelnen Interpolator mit vergleichbarer Qualität erreicht werden kann.
- Wie oben ausgeführt, kann eine gefensterte Kaiser-Si-Funktion so eingestellt werden, dass sie einen engen Übergangsbereich, welcher zur Minimierung von Aliasing-Störungen und Unschärfen gewünscht wird, besitzt, während eine angehobene bzw. potenzierte Kosinus-Funktion so ausgebildet werden kann, dass sie einen glatten Übergangsbereich hat, welcher zur Minimierung der Überschwing- Störungen wünschenswert ist. Die wünschenswerten Charakteristiken dieser beiden Filter können mittels einer Heuristik zusammengeführt werden. Eine beispielhafte Heuristik ist in der Vorrichtung, wie sie in Fig. 8 gezeigt ist, implementiert.
- Fig. 8 ist ein Blockdiagramm eines Formatumwandlungssystems entsprechend der vorliegenden Erfindung. Die Interpolatoren, welche in den beiden Formatumwandlern vorhanden sind, sind so ausgelegt, dass sie gegensätzliche Charakteristiken haben, so dass durch Bildzusammenführung eine bessere Qualität erreicht werden kann.
- Fig. 8 kann ebenso für die Beschreibung des Verfahrens zum Skalieren eines Eingangsbildes verwendet werden. Das Verfahren kann als Computerprogramm implementiert sein, welches sich auf einem Datenträger, wie einer Disc oder einer Diskette, oder auf einer modulierten. Trägerwelle befindet. Sofern das Beispielsverfahren als ein Computerprogramm implementiert ist, können die Eingangs- und Ausgangsbilder in entsprechenden Bildspeichern gespeichert werden, und hierbei besteht keine Notwendigkeit für eine separate Austauschoperation, da die Daten in den Bildspeichern gespeichert und/oder von den Bildspeichern empfangen werden können, entweder entlang einer Spalte oder entlang einer Zeile. Weiterhin können die beiden eindimensionalen Filter zu einem einzelnen zweidimensionalen Filter in einer oder beiden Interpolationsoperationen kombiniert werden.
- Zurück zur Fig. 8: das Eingangsbild wird in einem ersten Interpolator 800 skaliert. In der beispielhaften Ausführungsform der Erfindung ist der Interpolator 800 ein Zwei- Pass-1-D-Skalierer, welcher einen Interpolationskernel benutzt, der eine Frequenzantwort mit einem relativ scharfen Abschluss (sowie eine gefensterte - Kaiser-Si-Funktion mit einem kleinen β besitzt), um ein erstes skaliertes Zwischenbild zu erzeugen.
- Das gleiche Eingangsbild, welches durch den Skalierer 800 verarbeitet wurde, wird durch den Skalierer 810 verarbeitet, welcher beispielsweise ein Zwei-Pass-1-D- Skalierer sein kann, welcher ein Interpolationsfilter mit einem graduelleren Auslauf in seinem Übergangsbereich (so wie eine angehobene bzw. potenzierte Kosinus- Funktion mit einem moderaten Auslauf-Parameter γ) verwendet, um ein zweites skaliertes Zwischenbild zu erzeugen.
- Ein rauschunempfindlicher Randextraktor 805 (z. B. ein 2-D-3 · 3-Marr-Filter) verarbeitet das erste skalierte Zwischenbild, welches durch den Interpolator 800 zur Verfügung gestellt wurde, damit die Hochfrequenzkomponente des ersten skalierten Zwischenbildes abgetrennt wird.
- Die Begründung für die Verwendung eines Interpolators mit einem relativ scharfen Übergangsbereich von seinem Durchlassbereich zu seinem Sperrbereich zur Erzeugung des ersten skalierten Zwischenbildes ist die Reduzierung von Kantenweichzeichnung und Aliasing, ohne übermäßiges Kanten-Überschwingen bzw. -Bildverdoppeln hervorzurufen. Der 2-D-Marr-Filter, welcher den Randextraktor 805 bildet, ist grundsätzlich ein Hochpassfilter, welcher als widerstandsfähig gegenüber störenden Signalen wie z. B. sanftes Überschwingen bzw. Bildverdoppeln dargestellt wurde. Die Hochfrequenzausgangssignale des Randextraktors 805 werden in ihrer Amplitude skaliert durch einen Verstärker-Block 820, um die Auslauf- Ränder, welche durch den Interpolator 810 erzeugt wurden, zu kompensieren. Das resultierende Ausgangssignal des Schrittes 820 ist ein überschwingen-reduziertes Hochpasssignal des skalieren Bildes und wird zur Kompensation des Ausgangssignals, welches durch den Skalierer 810 zur Verfügung gestellt wird, verwendet. Obwohl der Verstärkerblock 820 als eine separate Komponente des Formatumwandlungssystems in Fig. 8 gezeigt ist, kann dieser auch durch geeignetes Skalieren der Koeffizienten innerhalb des Randextraktors 805 implementiert sein, welche zur Implementierung des Randextraktors benutzt werden.
- Die Verwendung eines Interpolators 810 mit einem glatten Übergangsbereich ist sinnvoll, weil er Überschwingen-Artefakte auf ein unmerkliches Niveau reduzieren kann. Der Nachteil ist jedoch eine Frequenzantwortdämpfung in der Nähe des Randes des Durchlassbereichs und Aliasing. Die gedämpften Frequenzen können größtenteils durch die Hochfrequenzausgangssignale des Verstärkerblocks 820, wie oben dargestellt, kompensiert werden.
- Der Additionskreis 840 addiert die Hochfrequenzkomponenten und den Verstärkerblock 820, welche durch den Randextraktor 805 extrahiert wurden, um das endgültig skalierte Bild zu liefern. Dieses Bild hat die scharfen Ränder, welche durch den gefensterten Kaiser-Si-Interpolator 800, den Randextraktor 805 und den Verstärkerblock 820 zur Verfügung gestellt wurden, wobei es im Wesentlichen keine Überschwingen-Artefakte aufgrund des Signals, welches durch die angehobenen bzw. potenzierten Kosinus-Interpolator 810 zur Verfügung gestellt wurde, besitzt.
- Die Tabellen 3, 4 und 5 zeigen jeweils die Filterinformation für einen Interpolator, basierend auf einer angehobenen bzw. potenzierten Kosinus-Antwortfunktion (γ = 50 %), für einen gefensterten Kaiser-Si-Funktionsinterpolator (β = 5) und für einen 5 · 5 Randextraktor für ein Verstärkung von k = 1. Der beispielhafte Interpolationsfilter hat 128 Phasen, wobei jede Phase 16 Koeffizienten hat. Obwohl diese beispielhafte Ausführungsform ein Filter mit 128 Phasen beschreibt, haben die Erfinder herausgefunden, dass auch gute Ergebnisse erreicht werden können, wenn ein Interpolationsfilter nur 65 Phasen hat, wobei jede Phase eine eindeutige Zwischenabtastungsposition definiert. Die Koeffizienten für solch ein Filter können beispielsweise durch Löschen der geradzahligen Phasen, wie unten in Tabelle 3 und 4 beschrieben, erhalten werden. Tabelle 3 Filterinformation für einen Interpolator, basierend auf einer angehobenen bzw. potenzierten Kosinus-Antwortfunktion (γ = 50%) Phasen 1 bis 7: Phasen 8 bis 14 Phasen 15 bis 21 Phasen 22 bis 28 Phasen 29 bis 35 Phasen 36 bis 42 Phasen 43 bis 49 Phasen 50 bis 56 Phasen 57 bis 63 Phasen 64 bis 70 Phasen 71 bis 77 Phasen 78 bis 84 Phasen 85 bis 91 Phasen 92 bis 98 Phasen 99 bis 105 Phasen 106 bis 112 Phasen 113 bis 119 Phasen 120 bis 126 Phasen 127 bis 128 Tabelle 4 Filterinformation für einen Interpolator, basierend auf einer gefensterten Kaiser-Funktion (γ = 5) Phasen 1 bis 7 Phasen 8 bis 14 Phasen 15 bis 21 Phasen 22 bis 28 Phasen 29 bis 35 Phasen 36 bis 42 Phasen 43 bis 49 Phasen 50 bis 56 Phasen 57 bis 63 Phasen 64 bis 70 Phasen 71 bis 77 Phasen 78 bis 84 Phasen 85 bis 91 Phasen 92 bis 98 Phasen 99 bis 105 Phasen 106 bis 112 Phasen 113 bis 119 Phasen 120 bis 126 Phasen 127 bis 128 Tabelle 5 Filterinformation für einen 5 · 5 Randextraktor für Verstärkungsfaktor k = 1 (Marr- Filter)
- Obwohl die Erfindung bislang für den Fall von Interpolatoren, welche auf einer gefensterten Kaiser-Si-Funktion und auf angehobenen, bzw. potenzierten Kosinus- Funktionen basieren, beschrieben wurde, wird in Erwägung gezogen, dass auch andere Arten von Interpolationsfunktionen verwendet werden können. Beispielsweise kann ein geeignetes Filter als ein verallgemeinerndes Frequenzbereichs-Leased- Square-(LS)-FIR-Design ausgebildet werden, welches eine Frequenzbereichsgewichtung des LS-Fehlers ermöglicht, wobei jeder solche Interpolator verwendet werden kann, so lange die Entwurfskriterien, welche oben beschrieben wurden, berücksichtigt werden. Alternativ können gefensterte Si-Funktionen mit anderen (oder gleichen) gefensterten Funktion und/oder verschiedenen Parametern verwendet werden.
- Idealerweise sollten die Charakteristiken der beiden Interpolatoren komplementär sein. Der dem Randextraktor vorhergehende Interpolator ist wünschenswerterweise relativ flach in seinem Durchlassbereich, um den Hochfrequenzinhalt des Bildes zu schützen. Dieser Interpolator hat ebenfalls wünschenswerterweise eine einigermaßen scharfen Trennung, ohne übermäßiges Kantenüberschwingen zu verursachen. Zusätzlich hat der andere Interpolator wünschenswerterweise einen graduelleren Auslauf an der Bereichskante, um die Überschwingen-Artefakte zu minimieren, und er weist ebenfalls eine gute Sperrbereichsdämpfung auf, um Aliasing-Fehler zu minimieren.
- Die fig. 9, 10a und 10b zeigen ein Originalbild und jeweils zwei aufwärts konvertierte Textbilder. Alle diese Bilder wurden kontrastverstärkt, um die Anwesenheit oder Abwesenheit von Überschwingen-Artefakten klarer darzustellen. Die Fig. 10a wurde durch die Verwendung eines implementierten gefensterten Kaiser-Si-Interpolators β = 5 unter Benutzung eines 16-Stufen 12-Bit und 128-Phasen-1-D FIR-Filters erhalten. Starke Überschwingen-Artefakte können rund um jeden Buchstaben erkannt werden, was die Lesbarkeit stört. Es ist klar, dass ein gefensterter 31- Interpolator alleine nicht in der Lage ist, eine im Ergebnis befriedigende Skalierung ohne Kompromisse zu erzeugen.
- Die Fig. 10 wurde erhalten unter Verwendung der neuen Formatumwandlungsarchitektur, welche in der Fig. 8 gezeigt wurde, mit einem identischen gefensterten Kaiser-Si-Interpolator und einem angehobenen bzw. potenzierten Kosinus-Interpolator mit 50% Auslauf. Der skalierte Text ist angenehmer zu lesen mit nahezu keinen sichtbaren Überschwingen-Artefakten.
- Die offenbarte Skalierarchitektur ist geeignet für konventionelle Videoskalierungsanwendungen, wie sie durch die aufwärts und abwärts konvertierten TV-Testmuster in den Fig. 12A und 12B, und den Fig. 13A und 13B jeweils gezeigt werden, wobei die Fig. 11 das originale Testmuster darstellt. Das vorgeschlagene Skalierungsverfahren erzeugt im Vergleich zu einem einzelnen Interpolator ein nahezu identisches Bild, und deswegen wird kein Kompromiss für das traditionelle Videoskalieren eingegangen. Die Simulationen anhand der Testbilder bestätigen die Effektivität des neuen Skalierungsverfahrens, wenn es mit der Skalierungstechnik, bei der nur ein Interpolator verwendet wird, verglichen wird.
- Digitale Videoformatumwandlung erlaubt Videonachbearbeitungs-einrichtungen, die eine hohe Bandbreite von Kunden, welche in einer Vielfalt von Standards bei den gegenwärtigen DTV-Multiformatsendeumgebungen arbeiten, bedienen können. Zusätzlich kann die Formatumwandlung es Nachbearbeitungseinheiten ermöglichen, jeden Programmbestand unabhängig von seiner Herkunft zu verwenden. Obwohl viele Video/Grafik-Arbeitsplätze eine Bildskalierungsfähigkeit im Rahmen von Software anbieten, werden dezidierte Hardwarelösungen belegen, dass sie eine effizientere Alternative sind. Die vorliegende Erfindung benutzt eine effiziente Zwei- Pass-1-D-Interpolationsarchitektur, wie oben beschrieben. Um die Überschwingen- Artefakte zu eliminieren, welche typischerweise in einem skalierten CGI auftreten, benutzt die neue universelle Formatumwandlungsarchitektur zwei Formatumwandler. Der vorrangige Unterschied zwischen den beiden Formatumwandlern ist, dass deren Interpolationskernels so programmiert sind, dass sie komplementäre Frequenzantwortcharakteristiken haben. Deshalb produziert der eine Interpolator weniger Aliasing und Unschärfe, wobei der andere ein geringes Überschwingen produziert. Durch die Verwendung einer Randextraktionstechnik werden die beiden skalierten Bilder in eines zusammengeführt, welches die beste Leistung zur gleichzeitigen Video- und CGI-Skalierung aufweist.
- Obwohl diese Erfindung unter Bezugnahme auf spezielle Ausführungsformen beschrieben wurde, ist sie nicht notwendigerweise hierauf beschränkt. Dementsprechend sind die anliegenden Ansprüche so auszulegen, dass sie nicht nur diese Formen und Ausführungsformen der Erfindung, die spezifisch oben beschrieben wurden, beinhalten, sondern auch andere Formen und Ausführungsformen, wie sie durch den Fachmann ohne von seinem Umfang, welcher durch die anliegenden Ansprüche definiert ist, abzuweichen, entwickelt werden können.
Claims (13)
1. Verfahren zur maßstäblichen Umformung bzw. Skalierung eines eingegebenen
Bildes, das sowohl video- als auch computergenerierte Bild-Komponenten
enthält, mit den Schritten:
a) Erzeugung eines ersten skalierten Zwischenbildes durch Verarbeitung des
eingegebenen Bildes mit einer ersten Frequenzgang- bzw.
Frequenzabhängigkeit-Kennlinie, die einen Durchlassbereich und einen
Sperrbereich und einen Übergangsbereich zwischen dem Durchlassbereich
und dem Sperrbereich hat;
b) Verarbeitung des ersten skalierten Zwischenbildes, um ein skaliertes
Randbild daraus zu extrahieren;
c) Erzeugung eines zweiten skalierten Zwischenbildes durch Verarbeitung des
eingegebenen Bildes mit einer zweiten Frequenzgang- bzw.
Frequenzabhängigkeit-Kennlinie, die einen Durchlassbereich und einen
Sperrbereich und einen Übergangsbereich zwischen dem Durchlassbereich
und dem Sperrbereich hat, wobei der Übergangsbereich der zweiten
Frequenzgang-Kennlinie stärker bzw. mehr graduell als der
Übergangsbereich der ersten Frequenzgang-Kennlinie ist; und
d) Addieren des skalierten Randbildes zu dem zweiten skalierten Zwischenbild,
um das Ausgangsbild zu erzeugen.
2. Verfahren nach Anspruch 1, wobei:
der Schritt der Erzeugung des ersten skalierten Zwischenbildes den Schritt
des Zusammenrollens des eingegebenen Bildes mit einer gefensterten Kaiser-Si-
Funktion (Kaiser windowed sinc function) enthält; und
der Schritt der Erzeugung des zweiten skalierten Zwischenbildes den Schritt
des Zusammenrollens des eingegebenen Bildes mit einer abgerundeten,
erhobenen bzw. potentierten Kosinus-Funktion enthält.
3. Verfahren nach Anspruch 1, wobei der Schritt der Verarbeitung des ersten
skalierten Zwischenbildes zur Extraktion eines skalierten Randbildes daraus den
Schritt der Verarbeitung des ersten skalierten Zwischenbildes durch einen Marr-
Filter enthält.
4. Verfahren nach Anspruch 1, wobei das eingegebene Bild ein zweidimensionales
(2-D) Bild ist und der Schritt der Erzeugung des ersten skalierten Bildes die
Schritte enthält:
Verarbeitung des eingegebenen Bildes mit einer ersten eindimensionalen (1-
D) Frequenzgang-Kennlinie zur Erzeugung eines horizontal gefilterten Bildes;
Transponieren des horizontal gefilterten Bildes; und
Verarbeitung des transponierten, horizontal gefilterten Bildes mit der 1-D
Frequenzgang-Kennlinie zur Erzeugung eines horizontal und vertikal gefilterten
Bildes;
wobei die 1-D Frequenzgang-Kennlinie den Durchlassbereich, den
Übergangsbereich und den Sperrbereich der ersten Frequenzgang-Kennlinie hat.
5. System zur maßstäblichen Umformung bzw. Skalierung eines eingegebenen
Bildes, das sowohl video- als auch computergenerierte Bilder enthält, mit:
a) einem ersten Interpolator mit einer Frequenzgang- bzw.
Frequenzabhängigkeit-Kennlinie, die einen Durchlassbereich, einen
Sperrbereich und einen Übergangsbereich zwischen dem Durchlassbereich
und dem Sperrbereich enthält, zur Verarbeitung des eingegebenen Bildes zur
Erzeugung eines ersten skalierten Zwischenbildes;
b) einem Rand-Extraktor, der das erste skalierte Zwischenbild verarbeitet, um
daraus ein skaliertes Randbild zu extrahieren;
c) einem zweiten Interpolator mit einer Frequenzgang- bzw.
Frequenzabhängigkeit-Kennlinie, die einen Durchlassbereich, einen
Sperrbereich und einen Übergangsbereich zwischen dem Durchlassbereich
und dem Sperrbereich definiert, zur Verarbeitung des eingegebenen Bildes
zur Erzeugung eines zweiten skalierten Zwischenbildes, wobei der
Übergangsbereich des zweiten Interpolators stärker bzw. mehr graduell als
der Übergangsbereich des ersten Interpolators ist; und
d) einem Addierglied zum Addieren des skalierten Randbildes zu dem zweiten
skalierten Zwischenbild.
6. System nach Anspruch 5, wobei die Frequenzgang-Kennlinie des ersten
Interpolators eine Frequenzgang-Kennlinie dritter Ordnung ist.
7. System nach Anspruch 6, wobei der erste Interpolator ein gefensterter Kaiser-Si-
Interpolator und der zweite Interpolator ein Kosinuspotenz-Interpolator (raised-
cosine interpolator) ist.
8. System nach Anspruch 7, wobei der Rand-Extraktor ein Marr-Filter ist:
9. System nach Anspruch 5, wobei das eingegebene Bild ein zweidimensionales (2-
D) Bild ist, das durch eine Folge von horizontalen Abtastzeilen (lines of samples)
definiert ist, und der erste Interpolator enthält:
einen ersten eindimensionalen (1-D) Interpolator, der das eingegebene Bild
zur Erzeugung eines horizontal gefilterten Bildes verarbeitet;
einen Transponierungsspeicher, der so gekoppelt ist, um das horizontal
gefilterte Bild zu empfangen und das horizontale gefilterte Bild als eine Folge von
vertikalen Zeilen von Abtastwerten zur Verfügung zu stellen;
einen zweiten 1-D Interpolator, der das von dem Transponierungs-Speicher
zur Verfügung gestellte horizontal gefilterte Bild zur Erzeugung eines horizontal
und vertikal gefilterten Bildes verarbeitet; und
einen zweiten Transponierungs-Speicher, der so gekoppelt ist, um das
horizontal und vertikal gefilterte Bild als eine Folge von vertikalen Abtastzeilen zu
empfangen und das horizontal und vertikal gefilterte Bild als eine Folge von
horizontalen Abtastzeilen zur Verfügung zu stellen.
10. System zur maßstäblichen Umformung bzw. Skalierung eines eingegebenen
Bildes, das sowohl video- als auch computererzeugte Bilder enthält, mit:
a) einem ersten Interpolator mit einem Eingang, der gekoppelt ist, um das
eingegebene Bild zu empfangen, und mit einem Ausgang, wobei der erste
Interpolator eine Frequenzgang- bzw. Frequenzabhängigkeit-Kennlinie hat,
die einen Durchlassbereich, einen Sperrbereich und einen Übergangsbereich
zwischen dem Durchlassbereich und dem Sperrbereich definiert;
b) einem Rand-Extraktor mit einem Eingang und einem Ausgang, wobei der
Eingang mit dem Ausgang des ersten Interpolators gekoppelt ist;
c) einem zweiten Interpolator mit einem Eingang, der gekoppelt ist, um das
eingegebene Bild zu empfangen, und einem Ausgang, wobei der zweite
Interpolator eine Frequenzgang- bzw. Frequenzabhängigkeit-Kennlinie hat,
die einen Durchlassbereich, einen Sperrbereich und einen Übergangsbereich
zwischen dem Durchlassbereich und dem Sperrbereich definiert, wobei der
Übergangsbereich des zweiten Interpolators mehr bzw. stärker graduell als
der Übergangsbereich des ersten Interpolators ist; und
d) einem Addierglied mit einem ersten Eingang, der mit dem Ausgang des
Rand-Extraktors gekoppelt ist, und einem zweiten Eingang, der mit dem
Ausgang des zweiten Interpolators gekoppelt ist, zum Addieren (der
entsprechenden Signale).
11. System nach Anspruch 10, wobei:
der erste Interpolator ein gefensterter Kaiser-Si-Interpolator ist;
der zweite Interpolator ein Kosinus-Potenz Interpolator ist; und
der Rand-Extraktor ein Marr-Filter ist.
12. Träger, kodiert mit einem Computerprogramm, das bei seiner Ausführung einen
Computer veranlasst, ein eingegebenes Bild maßstäblich zu verformen bzw. zu
skalieren, das sowohl video- als auch computergenerierte Bild-Komponenten
enthält, wobei das Computerprogramm den Computer veranlasst, die Schritte
auszuführen:
a) Erzeugung eines ersten skalierten Zwischenbildes durch Verarbeitung des
eingegebenen Bildes mit einer ersten Frequenzgang- bzw.
Frequenzabhängigkeit-Kennlinie, die einen Durchlassbereich und einen
Sperrbereich und einen Übergangsbereich zwischen dem Durchlassbereich
und dem Sperrbereich hat;
b) Verarbeitung des ersten skalierten Zwischenbildes, um daraus ein skaliertes
Randbild zu extrahieren;
c) Erzeugung eines zweiten skalierten Zwischenbildes durch Verarbeitung des
eingegebenen Bildes mit einer zweiten Frequenzabhängigkeit- bzw.
Frequenzgang-Kennlinie, die einen Durchlassbereich und einen Sperrbereich
und einen Übergangsbereich zwischen dem Durchlassbereich und dem
Sperrbereich hat, wobei der Übergangsbereich der zweiten Frequenzgang-
Kennlinie mehr bzw. stärker graduell als der Übergangsbereich der ersten
Frequenzgang-Kennlinie ist; und
d) Addieren des skalierten Randbildes zu dem zweiten skalierten Zwischenbild;
um das Ausgabe-Bild zu erzeugen;
13. Träger nach Anspruch 12, wobei das eingegebene Bild ein zweidimensionales (2-
D) Bild ist und der Schritt der Erzeugung des ersten skalierten Bildes die Schritte
enthält:
Verarbeitung des eingegebenen Bildes mit einer ersten eindimensionalen (1
D) Frequenzgang-Kennlinie zur Erzeugung eines horizontal gefilterten Bildes;
Transponierung des horizontal gefilterten Bildes; und
Verarbeitung des transponierten, horizontal gefilterten Bildes mit der 1-D
Frequenzgang-Kennlinie zur Erzeugung eines horizontal und vertikal gefilterten
Bildes;
wobei die 1-D Frequenzgang-Kennlinie den Durchlassbereich, den
Übergangsbereich und den Sperrbereich der ersten Frequenzgang-Kennlinie hat.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/281,554 US6424749B1 (en) | 1999-03-30 | 1999-03-30 | System and method for scaling combined video and computer generated imagery |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69906031D1 DE69906031D1 (de) | 2003-04-24 |
DE69906031T2 true DE69906031T2 (de) | 2003-12-18 |
Family
ID=23077775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69906031T Expired - Lifetime DE69906031T2 (de) | 1999-03-30 | 1999-12-08 | System und Verfahren zur massstäblichen Umformung von Bildern |
Country Status (4)
Country | Link |
---|---|
US (1) | US6424749B1 (de) |
EP (1) | EP1041511B1 (de) |
JP (1) | JP2000310984A (de) |
DE (1) | DE69906031T2 (de) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ377899A0 (en) * | 1999-10-29 | 1999-11-25 | Canon Kabushiki Kaisha | Phase three kernel selection |
US6714258B2 (en) * | 2000-03-15 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Video-apparatus with noise reduction |
GB2371458A (en) * | 2001-01-17 | 2002-07-24 | Eastman Kodak Co | Method of enlargement of a digital image |
US6993207B1 (en) * | 2001-10-05 | 2006-01-31 | Micron Technology, Inc. | Method and apparatus for electronic image processing |
US20030189581A1 (en) * | 2002-04-08 | 2003-10-09 | Nasoff David G. | Content based window filtering for simultaneous display of multiple high-quality video and graphics windows |
AU2003287577A1 (en) * | 2002-11-06 | 2004-06-03 | Digivision, Inc. | Systems and methods for image enhancement in multiple dimensions |
US7171055B2 (en) * | 2003-04-24 | 2007-01-30 | Eastman Kodak Company | Parametric means for reducing aliasing artifacts |
US7164807B2 (en) * | 2003-04-24 | 2007-01-16 | Eastman Kodak Company | Method and system for automatically reducing aliasing artifacts |
DE602004009558T2 (de) * | 2003-04-29 | 2008-02-07 | Nxp B.V. | Digitale filteranordnung |
KR20040100735A (ko) * | 2003-05-24 | 2004-12-02 | 삼성전자주식회사 | 영상보간장치 및 영상보간방법 |
FR2860629B1 (fr) * | 2003-10-01 | 2005-12-02 | Sagem | Dispositif de positionnement d'un utilisateur par reperage sur les deux yeux |
KR100548206B1 (ko) * | 2003-10-08 | 2006-02-02 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그의 영상처리방법 |
US7391933B2 (en) * | 2003-10-30 | 2008-06-24 | Samsung Electronics Co., Ltd. | Method and apparatus for image interpolation based on adaptive polyphase filters |
DE102004024855A1 (de) * | 2004-05-19 | 2005-12-15 | Océ Document Technologies GmbH | Verfahren und Vorrichtung zur Interpolation und Korrektur eines Bildes |
US7602997B2 (en) * | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
US8666196B2 (en) * | 2005-01-19 | 2014-03-04 | The United States Of America As Represented By The Secretary Of The Army | System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images |
US8577184B2 (en) * | 2005-01-19 | 2013-11-05 | The United States Of America As Represented By The Secretary Of The Army | System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images |
US7856154B2 (en) * | 2005-01-19 | 2010-12-21 | The United States Of America As Represented By The Secretary Of The Army | System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images |
US7446820B2 (en) * | 2005-03-30 | 2008-11-04 | Intel Corporation | Methods and apparatus for re-scaling image by variable re-scaling factor using B-spline interpolator |
US7619639B1 (en) * | 2005-09-12 | 2009-11-17 | Nvidia Corporation | Adaptive scaling using a programmable video engine |
US8199149B2 (en) * | 2007-12-13 | 2012-06-12 | Tektronix, Inc. | Automatic generation of frequency domain mask |
US8602994B2 (en) | 2009-03-09 | 2013-12-10 | Mayo Foundation For Medical Education And Research | Method for ultrasound vibrometry using orthogonal basis functions |
JP5706177B2 (ja) * | 2010-02-09 | 2015-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 超解像処理装置及び超解像処理方法 |
US8249395B2 (en) * | 2010-03-05 | 2012-08-21 | Intel Corporation | System, method, and computer program product for picture resizing |
KR101484101B1 (ko) * | 2010-03-08 | 2015-01-16 | (주)테크노니아 | 동영상 변환 장치 |
US8520971B2 (en) * | 2010-09-30 | 2013-08-27 | Apple Inc. | Digital image resampling |
US20120081388A1 (en) * | 2010-09-30 | 2012-04-05 | Sharp Laboratories Of America, Inc. | Scaling for a lcd based upon viewing angle |
KR101749925B1 (ko) * | 2012-12-05 | 2017-06-23 | 한화테크윈 주식회사 | 영상 처리 방법 및 장치 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5057911A (en) | 1989-10-19 | 1991-10-15 | Matsushita Electric Industrial Co., Ltd. | System and method for conversion of digital video signals |
CA2134277C (en) | 1993-10-27 | 2000-04-18 | Mitsuyoshi Nakaya | Video format conversions systems -- |
US5446804A (en) | 1994-04-14 | 1995-08-29 | Hewlett-Packard Company | Magnifying digital image using edge mapping |
US5587742A (en) | 1995-08-25 | 1996-12-24 | Panasonic Technologies, Inc. | Flexible parallel processing architecture for video resizing |
-
1999
- 1999-03-30 US US09/281,554 patent/US6424749B1/en not_active Expired - Lifetime
- 1999-12-08 EP EP99124008A patent/EP1041511B1/de not_active Expired - Lifetime
- 1999-12-08 DE DE69906031T patent/DE69906031T2/de not_active Expired - Lifetime
-
2000
- 2000-03-30 JP JP2000095919A patent/JP2000310984A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
DE69906031D1 (de) | 2003-04-24 |
EP1041511A3 (de) | 2001-09-19 |
EP1041511B1 (de) | 2003-03-19 |
US6424749B1 (en) | 2002-07-23 |
JP2000310984A (ja) | 2000-11-07 |
EP1041511A2 (de) | 2000-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69906031T2 (de) | System und Verfahren zur massstäblichen Umformung von Bildern | |
DE69723451T2 (de) | Deformation eines digitalen bildes mit effizienter berechnung | |
DE69406306T2 (de) | Verfahren zur bildskalierung und zum filtern mit diskreter cosinustransformation | |
DE69504371T2 (de) | Digitales videoumwandlungsschaltsystem | |
DE3044915C2 (de) | Vorrichtung zur Veränderung der Größe eines Fernsehbildes | |
DE69411470T2 (de) | Methode und Vorrichtung zur Verbesserung der Schärfe einer einem kontinuierlichem Zoom unterworfenen Bildfolge | |
DE69021365T2 (de) | Halbtonbildabtastsystem. | |
DE69632622T2 (de) | Universaler MPEG-Dekoder mit skalierbarer Bildgrösse | |
DE60022237T2 (de) | Bidverarbeitungsverfahren und -System und Aufzeichnungsmedium zur Durchfürung des Verfahrens | |
DE602004001483T2 (de) | Verfahren und System zur automatischen Reduzierung von Aliasing-Artefakten | |
DE2937282C2 (de) | ||
DE10129926B4 (de) | Abtastratenwandlungsapparat und Verfahren dazu | |
US6295322B1 (en) | Processing apparatus for synthetically extending the bandwidth of a spatially-sampled video image | |
DE3512278C3 (de) | Bildsignalverarbeitungsvorrichtung | |
DE69221228T2 (de) | Adaptives Filterverfahren eines in Teilbändern transformierten Signals und entsprechende Filteranordnung | |
EP2052550A2 (de) | Bildverarbeitungsvorrichtung für farb-bilddaten und verfahren zur bildverarbeitung von farb-bilddaten | |
EP0069325A2 (de) | Verfahren zur Wandlung der Zeilenzahl | |
DE69818751T2 (de) | Dekompression von interpolierten Bildern | |
DE69412368T2 (de) | Digitale Signalverarbeitung | |
DE69419768T2 (de) | Bildreduktions-vergrösserungsvorrichtungen und verfahren zum generieren von niedrigfrequenz-gefilterten bildern | |
DE60303614T2 (de) | Verfahren zur bildskalierung | |
DE60037860T2 (de) | Verfahren und Vorrichtung zur Skalierung von numerischen Bildern mit adaptiver Konstrastverstärkung | |
DE69601175T2 (de) | Verfahren und vorrichtung zur umsetzung der bildabtastrate mittels diskreter cosinus-transformation | |
DE69524827T2 (de) | Verbesserungen an Filtern | |
DE69410811T2 (de) | Spiegelbild- und erweiterungsfunktion für digitale filterung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: PANASONIC CORP., KADOMA, OSAKA, JP |