-
Die
vorliegende Erfindung bezieht sich auf die Umwandlung von Eingangsdaten
in Ausgangsdaten, beispielsweise von einem Format in ein anderes. Bei
einer speziellen Anwendung bezieht sich die vorliegende Erfindung
auf die Verwendung klassifizierter adaptiver Filterungstechnologie
in Bezug auf die Bildung von Bilddaten in zeitlichen und räumlichen
Koordinaten, die sich von denjenigen der Eingangsdaten unterscheiden.
-
Bei
vielen Anwendungen ist es notwendig, ein digitales Bildformat in
ein anderes umzusetzen. Diese Anwendungen variieren breit bezüglich Begriffsschwierigkeit
und Qualität.
Unter den einfachsten Umsetzungen sind diejenigen, die keine Änderung
der Datenpunktlage erfordern. Beispielsweise erfordert die RGB-YUV-Formatumsetzung
und die GIF-JPEG-Formatumsetzung
keine Änderung
der Datenpunktlage. Umsetzungen, welche die Anzahl von Datenpunkten ändern oder
reduzieren, sind schwieriger. Diese Art von Umsetzung kommt beispielsweise
vor, wenn ein Bild bezüglich
der Größe reduziert
wird. Die schwierigste Art der Bildumsetzung ist jedoch diejenige,
welche Zusatzdatenpunkte erfordert, die zu neuen Zeitpunkten zu
erzeugen sind. Beispielsweise von diesen umfassen das Umsetzen eines
Films in Video, Video im PAL-Format in das NTSC-Format, und zeitlich
komprimierte Daten in ein Vollrahmen-Ratenvideo.
-
Herkömmliche
Verfahren zum Bilden von Datenpunkten zu neuen Zeitpunkten umfassen
rechzeitig das Abtasten und das Halten, das zeitliche Mitteln und
die Objektspurführung.
Das Abtast- und Halteverfahren ist ein Verfahren, bei dem Ausgangsdatenpunkte
vom zuletzt vergangenen Moment rechtzeitig hergenommen werden. Dieses
Verfahren neigt dazu, ruckartige Bewegung zu bewirken, da die genaue
zeitliche Distanz zwischen Abtastpunkten nicht beibehalten wird.
-
Das
zeitliche Mitteln nutzt Abtastungen, welche durch zeitliche Distanz
gewichtet sind. Der Hauptvorteil dieses Verfahrens ist der, dass
es keine unnatürliche
ruckartige Bewegung gibt. Ein Nachteil besteht darin, dass es einen
signifikanten Verlust zeitlicher Auflösung gibt, der insbesondere
an den Rändern
von schnell sich bewegenden Objekten auftritt.
-
Die
Objektnachführung
steht in Verbindung mit Bewegungsvektoren mit sich bewegenden Objekten
im Bild. Der Bewegungsvektor wird dann dazu verwendet, die Position
des Objekts zwischen Bildrahmen zu schätzen. Es gibt zwei Hauptnachteile:
es ist rechnerisch teuer und die Schätzfehler können ziemlich bemerkbar sein.
-
Die
EP-A 0 746 157 offenbart ein Videoumsetzungsverfahren, bei dem eine
Klassifikationseinheit eine Vielzahl von Signalmerkmalen von Eingangsdaten
reflektiert, um Hochauflösungs-Ausgangsdaten
bereitzustellen. Die Eingangsdaten werden durch ein ausgewähltes Filter
auf der Basis der Klassifikation gefiltert, um die Ausgangsdaten
zu liefern.
-
Die
vorliegende Erfindung liefert die Übertragung von Eingangsdaten
in Ausgangsdaten gemäß dem Verfahren
nach Anspruch 1, das computer-lesbare Medium nach Anspruch 6, das
System nach Anspruch 7 und die Vorrichtung nach Anspruch 12.
-
Bei
einer bevorzugten Ausführungsform
der Erfindung wird ein klassifizierter adaptiver räumlich-zeitlicher
Bildungsprozess verwendet, um Daten von einem Format in das andere
zu übertragen.
Dieses Verfahren bildet neue Pixel, wobei ein Filter, welches in
Bezug auf ein Ausgangssignal ausgewählt wird, auf Pixel-Pixel-Basis
angewandt wird, welches adaptiv von einem anwendungs-spezifischen
Satz von dreidimensionalen Filtern ausgewählt wird.
-
Bei
einer Ausführungsform
werden die Eingangsdaten räumlich
und zeitlich wenn notwendig gekippt, um die Datenausgangsposition
mit der Ausgangsposition der Standardorientierung auszurichten,
die gemäß jeder
Ausgangsdatenposition definiert ist. Eine Klassifizierung wird unter
Verwendung der gekippten Eingangsdaten durchgeführt, und es wird ein geeignetes
Filter gemäß der Klassifikation ausgewählt. Das
Filtern wird dann für
die gekippten Eingangsdaten ausgeführt, um den Wert des Ausgangsdatenpunkts
zu erzeugen.
-
Die
Merkmale und Vorteile nach der vorliegenden Erfindung werden aus
der folgenden ausführlichen
Beschreibung deutlich, in der:
-
1a ein
vereinfachtes Blockdiagramm ist, welches eine Ausführungsform
des Systems nach der vorliegenden Erfindung zeigt;
-
1b ein
vereinfachtes Blockdiagramm ist, welches eine weitere Ausführungsform
des Systems nach der vorliegenden Erfindung zeigt;
-
2a ein
vereinfachtes Flussdiagramm ist, welches eine Ausführungsform
eines Verfahrens zeigt, um eine Formatumsetzungsspezifikation gemäß der Lehre
der vorliegenden Erfindung zu bestimmen;
-
2b ein
vereinfachtes Flussdiagramm ist, um eine Ausführungsform des Verfahrens nach
der vorliegenden Erfindung zu zeigen;
-
3a, 3b, 3c, 3d und 3e ein
Beispiel der Umsetzung gemäß der Lehre
der vorliegenden Erfindung zeigen; und
-
4a, 4b, 4c, 4d und 4e ein
weiteres Beispiel einer Datenumsetzung gemäß der Lehre der vorliegenden
Erfindung zeigen.
-
Die
vorliegende Erfindung dient zur Umsetzung von Daten unter Verwendung
klassifizierter räumlich-zeitlicher
Verfahren. Bei einer Ausführungsform
wird der klassifizierte adaptive räumlich-zeitliche Formatumsetzungsprozess
dazu verwendet, eine Umsetzung von einem Videoformat in das andere
durchzuführen.
Bei einer Ausführungsform
trifft auf Pixelbasis das Umsetzungsverfahren adaptiv eine Auswahl
von einem Satz von dreidimensionalen Filtern und wendet lokal ein
ausgewähltes
Filter aus, um Ausgangspixel zu erzeugen. Bei einer Ausführungsform
werden Mehrfachklassen dazu verwendet, Filter auszuwählen. Bei
einer Ausführungsform
werden räumliche
und zeitliche Symmetrien dazu verwendet, die Anzahl von erforderlichen
Filtersätzen
zu reduzieren.
-
In
der folgenden Beschreibung werden aus Erläuterungsgründen zahlreiche Details beschrieben,
um ein gründliches
Verständnis
der vorliegenden Erfindung zu liefern. Es wird jedoch für den Fachmann
deutlich sein, dass diese spezifischen Details nicht erforderlich
sind, die vorliegende Erfindung auszuüben. Bei anderen Beispielen
sind bekannte elektrische Strukturen und Schaltkreise in Blockdiagrammform
gezeigt, um die vorliegende Erfindung nicht unnötig zu verschleiern.
-
Die
vorliegende Erfindung wird im Zusammenhang von Videodaten beschrieben.
Die vorliegende Erfindung ist jedoch auf eine Vielzahl von Arten
korrelierter Daten einschließlich
korrelierter Daten und Audiodaten anwendbar.
-
Eine
Ausführungsform
des Systems nach der vorliegenden Erfindung ist in 1a gezeigt. 1a ist
ein vereinfachtes Funktionsblockdiagramm eines Schaltungsaufbaus,
welches dazu verwendet werden kann, die hier beschriebenen Verfahren
durchzuführen.
Beispielsweise kann der Schaltungsaufbau bei einer speziell konfigurierten
Logik, beispielsweise einer Integrationslogik mit großem Aufbau
(LSI) oder programmierbaren Gate-Gruppen durchgeführt werden.
Alternativ kann, wie in 1b gezeigt
ist, der Schaltungsaufbau als Code durchgeführt werden, der durch einen
speziell-konfigurierten oder einen Mehrzweckprozessor ausgeführt wird,
der Instruktionen ausführt,
welche in einem Speicher oder in einer anderen Speichereinrichtung
gespeichert sind oder über
einen Übertragungsträger übertragen
werden. Außerdem
kann die vorliegende Erfindung als Kombination von oben durchgeführt werden.
-
Gemäß 1a prüft die Klassifikationslogik 10 den
Eingangsdatenstrom und klassifiziert die Daten zur nachfolgenden
Filterauswahl und zur Erzeugung von Ausgangsdaten. Bei einer Ausführungsform
werden die Daten gemäß Mehrfachklassen klassifiziert,
beispielsweise einer Bewegungsklasse und einer räumlichen Klasse. Andere Klassifikationen,
beispielsweise eine temporäre
Klasse, eine räumliche
Aktivitätsklasse
usw. können
verwendet werden.
-
Wenn
die Eingangsdaten einmal klassifiziert sind, werden die Eingangsdaten-Filteranzapfungen und
die entsprechenden Filterkoeffizienten durch einen Koeffizientenspeicher 20 und
eine Auswahllogik 21 ausgewählt. Wie später beschrieben wird, kann die
Anzahl von Filtersätzen
reduziert werden, indem der Vorteil von räumlichen und zeitlichen Beziehungen
zwischen Eingangs- und Ausgangsdaten hergenommen wird. Damit kann
bei einer Ausführungsform die
Auswahllogik ebenfalls Daten-"Springen" durchführen, um
die Ausgangsdatenposition mit der Ausgangsposition einer Standardorientierung
auszurichten, welche für
jede Ausgangsposition definiert ist. Aus Gründen der hier angegebenen Beschreibung bezieht
sich eine Anzapfungsstruktur auf die Lagen von Eingangsdatenanzapfungen,
welche zur Klassifizierung oder für Filterungszwecke verwendet
werden. Datenanzapfungen beziehen sich auf individuelle Datenpunkte,
d.h., Eingangsdatenpunkte, die kollektiv dazu verwendet werden,
zu klassifizieren, und auf ein Filter, um einen spezifischen Ausgangsdatenpunkt
zu erzeugen.
-
Das
Filter
30 führt
die notwendigen Berechnungen durch, die verwendet werden, die Ausgangsdaten
zu erzeugen. Beispielsweise schreibt bei einer Ausführungsform
die Filterauswahl die Filterkoeffizienten vor, die in Verbindung
mit den entsprechenden Filteranzapfungen zu verwenden sind, um Ausgangswerte
zu bestimmen. Beispielsweise kann ein Ausgangswert gemäß folgender
Gleichung bestimmt werden:
wobei t die Anzahl von Filteranzapfungen
zeigt, x
1 einen Eingangswert zeigt und w
i einen entsprechenden Filterkoeffizienten
zeigt.
-
Die
Filterkoeffizienten können
in verschiedener Weise erzeugt werden. Beispielsweise können die
Koeffizienten Wichtungen entsprechend räumlichen und/oder zeitlichen
Distanzen zwischen der Eingangsdatenanzapfung und einem gewünschten Ausgangsdatenpunkt
sein. Filterkoeffizienten können außerdem für jede Klasse
durch einen Lernprozess erzeugt werden, der vor der Übersetzung
der Daten durchgeführt
wird.
-
Beispielsweise
kann das Lernen gemäß dem folgenden
Kriterium erreicht werden: minw |X·W – Y|2 wobei
min eine Minimalfunktion zeigt, und X, W und Y beispielsweise die
folgenden Matrizen sind: X ist eine Eingangsdatenmatrix, W ist die
Koeffizientenmatrix und Y entspricht der Zieldatenmatrix. Matrizenbeispiele
sind unten gezeigt:
-
-
Der
Koeffizient wi kann gemäß diesem Kriterium erhalten
werden, so dass Schätzungsfehler
gegenüber
Zieldaten minimiert werden.
-
Eine
alternative Ausführungsform
des Systems nach der vorliegenden Erfindung ist in 1b gezeigt.
Das Prozessorsystem weist den Prozessor 55, den Speicher 60,
die Eingangsschaltung 65 und die Ausgangsschaltung 70 auf.
Die hier beschriebenen Verfahren können bei einem speziell-konfigurierten
oder einem Mehrzweckprozessor angewandt werden. Instruktionen sind
im Speicher 60 gespeichert, auf die durch den Prozessor 55 zugegriffen wird,
um viele hier beschriebene Schritte durchzuführen. Der Eingang empfängt den
Ein gangsdatenstrom und leitet die Daten weiter zum Prozessor 65.
Der Ausgang 70 gibt die Daten aus, die gemäß den hier beschriebenen
Verfahren übersetzt
(umgesetzt) sind.
-
Das
Verfahren nach der vorliegenden Erfindung liefert einen klassifizierten
adaptiven räumlich-zeitlichen
Formatprozess, wobei der Vorteil räumlicher und zeitlicher Symmetrien
unter Anzapfungsstrukturen genutzt wird, um die Anzahl von erforderlichen
Filtern zu reduzieren.
-
2a ist
ein vereinfachtes Blockdiagramm, welches eine Ausführungsform
einer Methode zeigt, um eine Formatumsetzungsanwendung zu bilden. Obwohl 2a als
Prozess beschrieben ist, der vor dem Umsetzungsprozess von Daten
durchgeführt wird,
kann der Prozess im Zeitpunkt der Umsetzung der Daten durchgeführt werden.
-
Die
meisten Bildformate können
einfach unter Bezugnahme auf eine gemeinsam verstandene Strukturdefinition
beschrieben werden. Die Besonderheiten des Formats werden durch
Parameter angegeben, die diese Struktur verfeinern. Beispielsweise
wird eine Bildkomponente bezeichnet als 30 Hz, 480-Zeilen-Progressivbild
mit 704 Pixeln pro Zeile, wonach jedes strukturelle Detail über diese
Komponenten spezifiziert ist.
-
Wenn
das Eingangsbildformat ein Aufbau des Typus Y mit Hin Zeilen,
Win Pixeln pro Zeile und Tin Bruchteilssekunden
zwischen Feldern ist, und das Ausgangsbildformat eine Struktur des
Typus Z mit Hout Zeilen, Wout Pixeln
pro Zeile und Tout Bruchteilsekunden zwischen
Feldern ist, können
die allgemeinen Umsetzungsformeln mathematisch gedrückt werden
wie folgt: Z(Hout, Wout, Tout) = f [Y(Hin, Win, Tin); Δh; Δw; Δt]wobei Δh, Δw und Δt jeweils
entsprechend vertikale, horizontale und zeitliche Verschiebungen
darstellen.
-
Bei
einer nicht adaptiven räumlich-zeitlichen Formatumsetzung
kann die Funktion f[•]
ein dreidimensionales lineares Filter sein. Bei einer Ausführungsform
adaptiver räumlichzeitlicher
Formatumsetzung wird die Funktion f[•] durch selektives Anwenden
eines von mehreren Filtern realisiert. Das Verfahren ist adaptiv,
da die Filterauswahl auf Basis von Pixel zu Pixel datenabhängig ist.
Der Ausdruck bezieht sich auf die Art und Weise, mit der das Filter
ausgewählt
ist.
-
Gemäß 2a wird
im Schritt 210 Information in Bezug auf das Eingangsdatenformat
und das Ausgangsdatenformat empfangen. Beispielsweise kann das Eingangsformat
ein 30 Hz, 240-Zeilen-Progressivbild mit 704 Pixeln pro Zeile sein,
und das Ausgangsformat kann ein 60 Hz, 480-Zeilen-Verschachtelungsbild
mit 704 Pixeln pro Zeile sein.
-
Im
Schritt 220 werden Δh, Δw und Δt definiert.
Während
die Eingangs- und Ausgangsformate durch Systembeschränkungen
spezifiziert sind, kann der Konstrukteur des Umsetzungssystems üblicherweise Δh, Δw und Δt spezifizieren.
Allgemein sollten diese so gewählt
werden, bestimmte Symmetriebeschränkungen zu erfüllen. Diese
Beschränkungen stellen
sicher, dass lediglich eine Minimalzahl von Filtern benötigt werden
muss und dass die Ausgangsqualität
so gleichförmig
wie möglich
ist. Signifikante Kosteneinsparungen können durch Reduzieren der Anzahl
von Filtersätzen,
die zu verwenden sind, erreicht werden.
-
Bei
allen Bildumsetzungsproblemen kann das Verhältnis der Anzahl von Ausgangspixeln
pro Eingangspixel berechnet werden. Dieses Verhältnis liefert eine angenehme
Referenz zum Entwerfen der Umsetzungs-Anwendung. Um die Erläuterung
zu vereinfachen, sei angenommen, dass n Pixel für jeweils m zugeführte Pixel
ausgegeben werden. Nach Auswählen
eines repräsentativen
Satzes von m Pixeln (vom gleichen lokalen Bereich) muss der Konstrukteur
einen entsprechenden Satz von n Ausgangspixeln in der Nähe der Eingangspixel
finden. Wenn zwei der Ausgangspixel bei der gleichen räumlich-zeitlichen
Distanz vom Referenzpixel sind, kann der gleiche Satz von Filtern
für deren
Erzeugung verwendet werden (unter der Annahme, dass die Umgebungsbedingungen
identisch sind).
-
Horizontale,
vertikale und zeitliche Symmetrierelationen bilden sich auffallend
an diesem Punkt der Konstruktion, da sie verwendet werden, die räumlich-zeitliche
Distanz zwischen Pixeln auszugleichen. Es ist wünschenswert, bei einer Ausführungsform, die
Offsets (Δh, Δw und Δt) mit diesen
Symmetrien im Gedächtnis
auszuwählen,
so dass lediglich eine minimale Anzahl von räumlich-zeitlichen Beziehungen definiert
wird, wodurch die Anzahl von erforderlichen Filtersätzen begrenzt
wird.
-
Im
Schritt 230 werden die Klassenanzapfungen ausgewählt, um
eine oder mehrere Klassen zur Filterauswahl zu bestimmen. Aus Gründen der
Erläuterung
hier werden Pixel oder Datenpunkte, die verwendet werden, die Eingangsdaten
zur Filterauswahl zu klassifizieren, als Klassenanzapfungen bezeichnet.
Eingangsdaten, welche bei der nachfolgenden Filterberechnung verwendet
werden, um Ausgangsdaten zu erzeugen, werden als Filteranzapfungen bezeichnet.
-
Bei
einer Ausführungsform
muss ein einzelner Klassentypus verwendet werden. Alternativ können Mehrfachklassen
verwendet werden, um eine Kombinationsklassifizierung bereitzustellen.
Wie vorher angemerkt können
eine Vielzahl von Klassifikationsarten verwendet werden; die folgende
Erläuterung
wird jedoch auf Bewegung und räumliche
Klassifikation begrenzt werden.
-
Eine
Bewegungsklassifikation findet unter Abwägung der Differenz zwischen
Positionspixeln in Differenzzeitbeispielen statt. Die Größe, Richtung oder
Geschwindigkeit der Bildobjektbewegung wird über den Ausgangspunkt von Interesse
geschätzt. Somit
umfassen die Klassenanzapfungen Pixel von mehr als einem Zeitbeispiel.
Die Klassen von Klassenidentifikationen (Klassen-ID), die verwendet
werden, um die Eingangsdaten zu beschreiben, können gemäß der Anwendung variieren.
Beispielsweise kann eine Bewegungsklassen-ID von "0" definiert werden, um keine Bewegung
zu zeigen, und eine Bewegungsklassen-ID von "1" kann
definiert werden, einen hohen Wert an Bewegung zu zeigen. Alternativ können mehrere
verfeinerte Werte an Bewegung klassifiziert werden und beim Filterauswahlprozess verwendet
werden. Die Klassenanzapfungen können gemäß der Anwendung
variieren und können
gemäß einer
Vielzahl von Verfahren ausgewählt
werden, die verwendet werden, Information in Bezug auf Bewegung
der Bilder zu sammeln. Beispielsweise kann in ihrer einfachsten
Form eine Bewegungsklassen-ID unter Verwendung eines Eingangspixels
von einem ersten Periodenzeitwert und einem zweiten Periodenzeitwert
bestimmt werden.
-
Die
räumliche
Klassifikation betrifft das räumliche
Muster der Eingangspunkte, welche den Ausgangspunkt räumlich und
zeitlich umgeben. Bei einer Ausführungsform
wird ein Schwellenwert wie folgt berechnet: L
= MIN + (MAX – MIN)/2wobei
MIN und MAX die minimalen und maximalen Pixelwerte genommen über die
räumlichen
Anzapfungswerte sind. Jedes Pixel der Anzapfung gibt Anlass zu einem
Binär-Zeichen – a1, wenn
der Pixelwert größer als
L ist, und – a0,
wenn der Pixelwert kleiner als L ist. Wenn die räumliche Klasse definiert wird, kann
die Helligkeitssymmetrie (1's-Komplement) dazu
verwendet werden, die Anzahl von räumlichen Klassen zu halbieren.
Beispielsweise kann die räumliche
Klasse 00101 und 11010 so angesehen werden, dass sie die gleiche
ist.
-
Bei
einer Ausführungsform
kann die Bewegungsklassifikation und die räumliche Klassifikation in Bezug
auf ein Ausgangspixel durch Ausgabe auf Pixelbasis kombiniert werden,
um eine kombinierte Klasse zu bestimmen, die verwendet wird, ein
Filter von einem Satz von Filtern für eine bestimmte Klassenanzapfungsstruktur
auszuwählen.
Wenn beispielsweise ein erster Wert an Bewegung bestimmt wird, kann
die räumliche
Klassifizierung die Auswahl einer kombinierten Klasse von einem
ersten Satz kombinierter Klassen-IDs veranlassen; wenn ähnlich ein
zweiter Wert an Bewegung bestimmt wird, wird die räumliche
Klassifizierung die Auswahl einer kombinierten Klasse von einem
zweiten Satz von Klassen-IDs veranlassen. Da die Anzahl von Klassenanzapfungen,
die verwendet wird, groß sein
kann, ist es im Schritt 240 wünschenswert, Klassenanzapfungen
auf Standardorientierung zu beziehen, um die Anzahl von erforderlichen
Filtersätzen
zu minimieren. Im Schritt 241 werden Filterkoeffizienten
bestimmt, welche jeder Kombination räumlicher und/oder zeitlicher
Klassen entsprechen.
-
Wie
oben angemerkt sollten Δh, Δw und Δt so ausgewählt werden,
Symmetrie zu maximieren, wobei die Anzapfungsstrukturen durch identische räumliche
und/oder zeitliche Differenzen variieren. Wenn die Symmetrien identifiziert
und auf Standardorientierungen bezogen sind, wird Datenkippen selektiv
in Bezug auf den Eingangsstrom ausgewählt, um die Daten auf die ausgewählten verwendeten Standardorientierungen
einzustellen. Dies wird unter Bezugnahme auf den Prozess von 2b realisiert.
-
Im
Schritt 245 wird der Eingangsdatenstrom empfangen. Der
Eingangsdatenstrom ist in einem bekannten oder bestimmten Format. Ähnlich ist
das gewünschte
Ausgangsformat bekannt oder identifiziert. Somit werden die Ausgangsdatenpunkte
oder Pixel definiert, und die Klassenanzapfungen, welche zur Filterauswahl
verwendet werden, werden identifiziert, einschließlich der
räumlich-zeitlichen
Beziehungen in Bezug auf eine Standardorientierung. Somit werden
die entsprechenden Datenkippungen, die vertikale, horizontale und/oder
zeitliche Kippungen von Anzapfungsdaten enthalten können, in
Bezug auf die Eingangsdaten ausgeführt, um Anzapfungsdaten zu
erzeugen, die zur Klassifikation verwendet werden (Schritt 260).
-
Im
Schritt 260 werden die Ausgangsdatenpunkte unter Verwendung
der Filter erzeugt, die auf Basis von Pixel zu Pixel ausgewählt werden.
Bei der vorliegenden Ausführungsform
umfasst die Filterauswahl die Auswahl von Filterkoeffizienten und
Filteranzapfungsdaten, die von den Eingangsdaten ausgewählt werden.
Wenn die Eingangsdaten einmal genau orientiert sind, werden die
ausgewählten
Filterpunkte gekippt, um die Ausgangsdaten in ihre genaue Lage zu
versetzen (Schritt 270).
-
3a, 3b, 3c, 3d und 3e und 4a, 4b, 4c, 4d und 4e zeigen
zwei Beispiele zum Umsetzen von Daten und die Verwendung von gemeinsamen
Anzapfungsstrukturen, um die Anzahl von erforderlichen Filtersätzen zu minimieren.
-
3a–3e definieren
die gewünschte Eingangs-
und Ausgangsbeziehung eines beispielhaften Raum-Zeit-Umsetzungssystems
mit progressivem Eingang. In diesem Beispiel wird das Eingangssignal
von einem progressiv-gescannten Bild in ein größeres Bild in einem Verschachtelungsformat
umgesetzt. Die Anzahl von Pixel pro Zeile wird um einen Faktor 2
vergrößert; die
Anzahl von Zeilen pro Rahmen wird um einen Faktor von 2 vergrößert; die
Anzahl von Teilbildern pro Sekunde wird ebenfalls um einen Faktor
2 vergrößert, wobei
es jedoch eine Änderung
von progressiven zu Verschachtelungsstrukturen gibt, die Gesamtzahl
von Rahmen pro Sekunde unverändert
ist und daher der Effekt besteht, 4 Ausgangspixel pro Eingangspixel
zu erzeugen. Unter Verwendung der obigen beschriebenen allgemeinen Formeln
ist Z eine Verschachtelungsstruktur, Y ist eine progressive Struktur
und Hout = 2Hin,
Wout = 2Win, Tout = Tin/2, Δh ist 1/4
der Interpixelvertikallücke, Δw ist 1/4
der Interpixel-Horizontallücke und Δt ist Tin/4.
-
Daten
von den Zeitpunkten 0 und 4 werden dazu verwendet, Ausgangssignale
in den Zeitpunkten 1 und 3 zu erzeugen, wie in 3a gezeigt
ist. Die Ausgangspunkte werden zweckmäßigerweise in gleich beabstandeten
Punkten zwischen den Eingangssignalen angeordnet. Dies dient nicht
nur dazu, zu garantieren, dass die Qualität der Ausgangssignale in jedem
Zeitpunkt gleich ist, sondern erlaubt auch, dass die temporäre Symmetrie
angewandt werden kann, um die Anzahl von Filtern, die erforderlich
sind, zu halbieren. Das heißt,
der gleiche Filtersatz, der die Daten im Zeitpunkt 1 erzeugt, kann
dazu verwendet werden, die Daten im Zeitpunkt 3 zu erzeugen, wenn die
Eingangssignale von Zeitpunkten 0 und 4 ausgetauscht werden.
-
In ähnlicher
Weise wird räumliche
Symmetrie dazu verwendet, die erforderliche Anzahl von Filtern zu
reduzieren. Die vier Ausgangspositionen in diesem Beispiel sind
durch ihre Nähe
zu den Eingangsdatenpunkten definiert. Gemäß 3b ist
der mittlere Eingangspunkt so definiert, ein Referenzpunkt zu sein,
und der Ausgangspunkt 1 ist als Ausgangsposition der Referenz identifiziert,
wenn alle Anzapfungen und Filter in ihren natürlichen Positionen angewandt
werden. Der Ausgangspunkt 2 wird erzeugt, indem die gleichen Filter
verwendet werden, indem die Eingangsdaten horizontal gekippt werden.
Die Ausgangspunkte 3 und 4 erfordern sowohl räumliche als auch zeitliche
Kippungen, wie man besser durch Prüfen der gleichen Anzapfungen
in 3d und 3e sieht.
Der Ausgangspunkt 3 erfordert, dass die Daten vertikal und zeitlich
gekippt werden, da die Ausgangsdaten unter den Eingangsdaten sind
und bei der komplementären
Zeit auftreten. Der Ausgangspunkt 4 erfordert, dass die Eingangsdaten
horizontal, vertikal und zeitlich gekippt werden. 3c liefert
eine räumliche
und zeitliche Ansicht von Eingangspixeln und Ausgangspixeln. 3d und 3e zeigen
Anzapfungspositionen, die verwendet werden, Ausgänge 1, 2, 3 und 4 zu erzeugen.
-
4a–4e zeigen
ein Beispiel mit verschachteltem Eingang und Ausgang, wie in 4a gezeigt
ist. Bei diesem Beispiel wird die Anzahl von Pixeln pro Zeile um
einen Faktor 2 vergrößert; die
Anzahl von Zeilen pro Rahmen wird um einen Faktor 2 vergrößert; die
Anzahl von Feldern pro Sekunde wird ebenfalls um einen Faktor 2
vergrößert. Da
das Format unverändert
ist, gibt es 8 Ausgangspixel pro Eingangspixel, wie in 4b gezeigt
ist. Diese Beziehung wird am besten mit Hilfe der vollständigen Ansicht
verstanden, welche in 4d und 4e gezeigt
ist. In dieser Ansicht kann man sehen, dass, obwohl Ausgangspositionen
in den Zeitpunkten 1 und 5 die gleichen sind, deren Beziehung zu
den Eingangsdaten unterschiedlich ist. Als Ergebnis gibt es 8 Ausgangsmoden,
die mit a1–a4
und b1–b4
bezeichnet sind (siehe 4b).
-
Wenn
man die Symmetriebedingungen betrachtet, sind die Ausgangswerte
an den Positionen a1–a4
bei dem gleichen räumlich-zeitlichen
Abstand vom Referenzpunkt, und teilen sich anteilig daher den gleichen
Filtersatz, wie in 4d und 4e gezeigt
ist. Ähnlich
können
andere Filtersätze
verwendet werden, die Ausgangswerte an Positionen b1–b4 zu erzeugen,
da sie alle in dem gleichen räumlich-zeitlichen
Abstand vom Referenzpunkt sind. Insgesamt werden zwei getrennte
Filtersätze
benötigt, um
diese Umsetzungsanwendung zu realisieren.
-
Die
Erfindung wurde in Verbindung mit der bevorzugten Ausführungsform
beschrieben. Es ist klar, dass zahlreiche Alternativen, Modifikationen, Variationen
und Verwendungen dem Fachmann im Lichte der obigen Beschreibung
deutlich werden.
