DE69601175T2 - Verfahren und vorrichtung zur umsetzung der bildabtastrate mittels diskreter cosinus-transformation - Google Patents

Description

HINTERGRUND DER ERFINDUNG
• Die Erfindung bezieht sich im allgemeinen auf ein verbessertes Bildverarbeitungssystem sowie auf Verfahren zur Verwendung mit diesem System. Insbesondere bezieht sich die Erfindung auf ein System und auf dazugehörende Verfahren zur erneuten Probennahme an einem Bild mit einer unterschiedlichen Probennahmegeschwindigkeit.
• Bilder können als zweidimensionale Darstellungen einer visuellen Wirklichkeit aufgefaßt werden, die im Raum und/oder der Zeit verteilt ist. Gewöhnlicherweise sind Bilder das, was das menschliche visuelle System als Änderungen äußerer Reize wahrnimmt, wie z. B. Helligkeit, Farbe und manchmal Hinweise auf die Tiefe. Es wurden zwar über die Jahre hinweg viele Verfahren zum Einfangen und Wiedergeben von Bildern entwickelt, doch ist ihre Darstellung als kontinuierliche diskrete oder digitale Signale, die manipuliert, verarbeitet oder durch Verwendung von Rechnern oder anderer elektronischer Spezial-Hardware angezeigt werden können, das aktuellste Verfahren. Dieses inzwischen gut etablierte Verfahren hat eine Vielzahl günstiger Anwendungen. So können z. B. in elektronischer Form vorliegende Bilder zur Erzeugung spezieller visueller Effekte verbessert, wiederhergestellt, zur Übertragung an entfernte Orte kodiert, in einem Speicher (wie z. B. einem CDROM, DAT, Floppy- Disks, etc.) gespeichert, rekonstruiert, angezeigt oder in eine andere greifbare Form umgewandelt werden.
• Bildverarbeitung kann entweder im räumlichen Bereich oder im Frequenzbereich stattfinden. Man sagt von einem Bild, daß es im räumlichen Bereich vorliegt, wenn die Werte der zu seiner Beschreibung verwendeten Parameter, wie z. B. Helligkeit, einen direkten Bezug zum räumlichen Ort haben. Im Frequenzbereich können die Bilder des räumlichen Bereichs durch eine Serie von Frequenzkomponenten in Form trigonometrischer Funktionen dargestellt werden, die, wenn sie für jeden Bilddatenpunkt (d. h. Bildelement) des räumlichen Bereichs summiert werden, den Wert des Parameters ergeben, der zur Kennzeichnung des Bildes dieses speziellen Bilddatenpunkts im räumlichen Bereich verwendet wird, oder eine solche Darstellung kann ausgedehnt werden, um alle Bilddatenpunkte eines Bildes abzudecken.
• Im räumlichen Bereich können ursprüngliche Bilddaten als eine kontinuierliche Funktion der räumlichen Position dargestellt werden, die für den zweidimensionalen Fall als sc(y, x) dargestellt wird. Für die meisten Anwendungen ist es akzeptabel sowie vorteilhaft, dieses Bild des kontinuierlichen Raums entlang der horizontalen und vertikalen Richtung bei x = iTh und y = jTv abzutasten bzw. an ihm Proben zu nehmen, wobei i und j ganze Zahlen sind und Th und Tv die horizontale bzw. vertikale Probennahmeperiode ist. Dies ergibt eine Punktmatrix sc(jTV, iTh), die von nun an mit dem als s(j, i) bezeichneten diskreten Signal für den zweidimensionalen Fall identifiziert wird, wobei der Kleinbuchstabe s den räumlichen Bereich bezeichnet, i der Index der Zeilen ist, j der Index der Spalten ist und i und j initialisiert werden können, um bei 0 zu beginnen. Im Frequenzbereich können Matrizen auch verwendet werden, um ein Bild als Satz von Transformationskoeffizienten (auch als Frequenzkoeffizienten bezeichnet) zu beschreiben, die Frequenzdaten in einer Transformationsmatrix darstellen, die konventionell als S(v, u) bezeichnet wird, wobei der Großbuchstabe S den Frequenzbereich bezeichnet, u der Index der Zeilen ist und v der Index der Spalten ist.
• Räumliche Bilddatenpunkte können in den Frequenzbereich transformiert werden, indem man Transformationen verwendet, wie z. B. Fourier-Transformationen oder diskrete Cosinustransformationen. Die Verwendung diskreter Cosinustransformationen und inverser diskreter Cosinustransformationen für die Bildkompression ist im Stand der Technik weitgehend bekannt, und diese Praxis wurde in der Tat von der Joint Photographic Experts Group (JPEG) und der Motion Picture Experts Group (MPEG) in der Industrie als Standard übernommen, wobei diese Gruppen als Teil einer gemeinsamen Anstrengung des Consultative Committee on International Telegraphy and Telephony (CCITT) und von The International Standards Organization (ISO) gegründet wurden.
• Wenn eine diskrete gerade Cosinustransformation (im folgenden als DCT bezeichnet) verwendet wird, bezeichnet man den Frequenzbereich als den DCT-Bereich, und die Frequenzkoeffizienten werden als DCT-Koeffizienten bezeichnet. Üblicherweise bezeichnet man die Transformation von Daten vom räumlichen Bereich in den Frequenzbereich als eine Vorwärts-Transformation, wohingegen man die Transformation von Daten vom Frequenzbereich in den räumlichen Bereich als eine Umkehr-Transformation bezeichnet. Somit wird eine diskrete Vorwärts- Cosinustransformation als eine Transformation definiert, die ein Bild von den ursprünglichen Bilddatenpunkten s(j, i) im räumlichen Bereich zu den DCT- Koeffizienten S(v, u) im DCT-Bereich entsprechend der Basisfunktion der Vorwärts- DCT transformiert, wohingegen eine diskrete gerade Umkehr-Cosinustransformation (oder IDCT) als eine Transformation definiert wird, welche die DCT-Koeffizienten S(v, u) vom DCT-Bereich zu rekonstruierten Bilddatenpunkten (j, i) im räumlichen Bereich gemäß der Basisfunktion der IDCT abbildet.
• Die Verarbeitung eines elektronisch aufgenommenen Bildes in einem Bildverarbeitungssystem enthält manchmal eine Probennahmegeschwindigkeit- Konversion, d. h. eine erneute Probennahme der Probennahmegeschwindigkeit des ursprünglichen Bildes. Wenn eine erneute Probennahme an einem Bild durchgeführt wird, wird entweder die Auflösung oder die Abmessung des Bildes verändert.
• Das am 1. Dezember 1992 an Reisch et al. erteilte US-Patent Nr. 5,168,375 beschreibt ein Verfahren zum Verarbeiten eines Feldes aus Bilddatenproben, um eine oder mehrere der Funktionen Dezimation, Interpolation und Schärfung bereitzustellen, wobei ein Matrixtransformations-Prozessor, wie z. B. der in einem JPEG-Kompressionssystem eingesetzte, verwendet wird. Datenblöcke werden durch die diskrete gerade Cosinustransformation sowohl beim Dezimations- als auch beim Interpolationsvorgang transformiert, woraufhin die Anzahl der Frequenzterme verändert wird. Im Falle der Dezimation wird die Anzahl der Frequenzterme verringert, woraufhin eine Umkehr- Transformation folgt, um eine Matrix verringerter Größe auf Probennahmepunkten zu erzeugen, die den ursprünglichen Datenblock darstellt. Im Falle der Interpolation werden zusätzliche Frequenzkomponenten mit Wert 0 in die Matrix aus Frequenzkomponenten eingefügt, woraufhin eine Umkehr-Transformation einen vergrößerten Daten-Probennahmesatz ohne Vergrößerung der spektralen Bandbreite erzeugt.
• In "Interpolation Using The Discrete Cosine Transform" von J. I. Agbinya, Electronics Letters, 24. September 1992, Band 28, Nr. 20 wird ein diskreter Interpolationsalgorithmus auf der Grundlage diskreter Cosinustransformationen beschrieben, der sich zur Vorhersage von Probennahmen zwischen zwei beliebigen benachbarten Probennahmen einer Sequenz der Länge N mit einer ganzzahligen Potenz von zwei eignet. Die diskrete Cosinustransformation wird nicht modifiziert. Der Interpolationsvorgang verwendet einen Zoom-Algorithmus, der zwischen dem Nyquist- Punkt der Hauptsequenz Nullen einfügt. Bei einem zweiten Verfahren werden bei den Transformationskoeffizienten die Nullen aufgefüllt, um die Probennahmesequenz auszudehnen.
• In "Scale Factor Of Resolution Conversion Based On Orthogonal Transforms" von Muramatsu et al., IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 76a (1993) Juli, Nr. 7, Tokio, Japan wird ein Dezimationsverfahren beschrieben, das orthogonale Transformationen verwendet, um die Luminanz umgewandelter Bilder gegenüber dem Original zu verändern. Insbesondere wird ein zum Korrigieren der Luminanz der umgewandelten Bilder notwendiger Skalierungsfaktor beschrieben.
• Die am 8. Juni 1995 veröffentlichte internationale Veröffentlichung Nr. WO 95/15538 beschreibt ein Verfahren und eine Vorrichtung zur Bildverarbeitung, durch die Bilder im räumlichen Bereich durch Verwendung diskreter Cosinustransformationen im Frequenzbereich dargestellt werden können, die herkömmlicherweise zur Erzielung von Skalierungs- und Filterungseffekten im Frequenzbereich bearbeitet werden und daraufhin erneut in den räumlichen Bereich transformiert oder gespeichert, angezeigt, wiedergegeben oder an entfernte Orte für eine später stattfindende Verwendung übertragen werden. Die Skalierungstechniken können zur Bildvergrößerung über eine Interpolation oder zur Bildverkleinerung über eine Dezimation verwendet werden. Im Falle der Dezimation wird ein Filterungsvorgang vorzugsweise zuerst im Frequenzbereich durchgeführt, um Artefakte im Dezimationsvorgang zu vermeiden. Sowohl beim Interpolations- als auch beim Dezimationsvorgang verwendet man eine inverse diskrete Hybrid-Cosinustransformation, bei der das Argument der Serie aus Cosinustermen anstatt der üblichen Probennahmeindex-Inkremente bei Werten ausgewertet wird, zu denen man durch Skalierungsverhältnis-Betrachtungen gelangt. Folglich können von den ursprünglichen Bilddaten im räumlichen Bereich unterschiedliche Bildpunkte durch ein Näherungsverfahren erzeugt oder ersetzt werden, bei dem die Darstellung der Bildpunkte im Frequenzraum durch eine Serie aus Termen vorkommt, die über den Bereich des Probennahmeindex, der demjenigen der ursprünglichen Bilddaten entspricht, als kontinuierlich betrachtet werden können.
• Die primäre Aufgabe der vorliegenden Erfindung besteht darin, ein System zur Probennahmegeschwindigkeit-Konversion eines Bildes bereitzustellen, welches effizienter als vorhandene Systeme und zu den internationalen Kompressionsstandards komplementär ist, wie z. B. ISO/IEC 10918-1, Abschnitt A.3.3, der durch die International Organization of Standards, die Joint Photographic Experts Group festgelegt wird, sowie ähnliche Standards, die durch die Motion Picture Experts Group anerkannt werden. Weitere Aufgaben der Erfindung ergeben sich zum Teil weiter unten und zum Teil aus der nun folgenden ausführlichen Beschreibung anhand der Zeichnung.
ZUSAMMENFASSUNG DER ERFINDUNG
• Kurz gesagt enthält ein Bildverarbeitungssystem für die Probennahmegeschwindigkeit- Konversion eines Bildsignals, welches ein Bild aus Bildelementen darstellt, von einer ersten Probennahmegeschwindigkeit in eine zweite Probennahmegeschwindigkeit: eine Bilderfassungsvorrichtung zum Erfassen des Bildsignals von einer Bildsignalquelle mit der ersten Probennahmegeschwindigkeit; einen ersten Speicher zum Puffern des Bildsignals; einen zweiten Speicher zum Speichern vorbestimmter diskreter Cosinustransformations-Koeffizienten; einen Skalarprodukt-Multiplizierer zum Multiplizieren des Bildsignals mit den vorbestimmten Koeffizienten, um ein Ausgangssignal mit der zweiten Geschwindigkeit der erneuten Probennahme zu erzeugen; einen dritten Speicher zum Puffern des Ausgangssignals; eine Steuerungs- Sequenzierlogik zum Steuern des Betriebs des Bildverarbeitungssystems; und eine Ausgangsvorrichtung zum Erzeugen eines auf erneuter Probennahme beruhenden Bildes von dem Ausgangssignal mit der zweiten Probennahmegeschwindigkeit.
• Erfindungsgemäß wird ein Verfahren und ein System zur Probennahmegeschwindigkeit- Konversion gemäß Anspruch 1 und 2 bereitgestellt.
• Das erfindungsgemäße Bildverarbeitungssystem erleichtert die Probennahmegeschwindigkeit-Konversion durch Segmentieren des Bildes in Segmente aus Bilddatenpunkten, wobei ein gesonderter und unterschiedlicher Versatz für jedes Segment bestimmt wird. Eine diskrete Cosinustransformation wird an jedem Segment aus Bilddatenpunkten durchgeführt, um entsprechende DCT-Koeffizienten zu erzeugen. Daraufhin werden auf erneuter Probennahme beruhende Bilddatenpunkte erzeugt, indem man eine modifizierte IDCT der DCT-Koeffizienten unter Verwendung einer modifizierten IDCT-Basismatrix nimmt, die von einem Probennahmegeschwindigkeit- Konversionsverhältnis und/oder einem Versatz abhängig ist.
KURZBESCHREIBUNG DER ZEICHNUNG
• Die zuvor erwähnten Gesichtspunkte sowie andere Merkmale der Erfindung werden anhand der begleitenden Zeichnung ausführlich beschrieben, in der durchwegs die gleichen Bezugsziffern verwendet werden, um entsprechende Elemente zu bezeichnen, wobei:
• Fig. 1 ein Blockdiagramm eines elektronischen Abbildungssystems gemäß der Erfindung ist;
• Fig. 2A ein ausführliches Blockdiagramm des elektronischen Abbildungssystems von Fig. 1 ist;
• Fig. 2B ein Logikdiagramm der Skalarprodukt-Multiplizierermatrix 200 von Fig. 2A ist;
• Fig. 2C und 2D benachbarte Signalverlaufsdiagramme von Signalen sind, die durch den Probennahmegeschwindigkeit-Wandler von Fig. 2A verwendet und erzeugt werden;
• Fig. 2E ein Diagramm ist, das die Korrelation zwischen auf Probennahme beruhenden Bilddatenpunkten in einem Eingangsbild sowie auf Aufwärts-Probennahme beruhenden Bilddatenpunkten für eine erneute Probennahmegeschwindigkeit von 4/3 zeigt;
• Fig. 3A ein Flußdiagramm eines erfindungsgemäßen Verfahrens zur erneuten Probennahme von Zeilen eines Bildes in Übereinstimmung mit sowohl einem Konversionsverhältnis δ der erneuten Probennahmegeschwindigkeit als auch einem Versatz γ ist;
• Fig. 3B ein Blockdiagramm der Schritte von Block 364 in Fig. 3A ist, wobei das Segment alle Bilddatenpunkte in einer Zeile enthält;
• Fig. 3C ein Blockdiagramm der Schritte von Block 364 der Fig. 3A ist, wobei das Segment weniger als die Gesamtzahl der Bilddatenpunkte in einer Zeile enthält;
• Fig. 4A ein Flußdiagramm eines erfindungsgemäßen Verfahrens zur erneuten Probennahme von Spalten eines Bildes in Übereinstimmung mit sowohl einem Konversionsverhältnis δ der erneuten Probennahmegeschwindigkeit als auch einem Versatz γ ist;
• Fig. 4B ein Blockdiagramm der Schritte von Block 404 der Fig. 4A ist, wobei die Segment alle Bilddatenpunkte in einer Spalte enthalten;
• Fig. 4C ein Blockdiagramm der Schritte von Block 404 der Fig. 4A ist, wobei das Segment weniger als die Gesamtzahl der Bilddatenpunkte in einer Spalte enthält;
• Fig. 5A ein Diagramm eines eindimensionalen Signals s(j) für die erneute Probennahme gemäß dem Verfahren zur erneuten Probennahme von Fig. 3A oder 4A ist, wobei s(j) bezüglich einer Probennahmeperiode T&sub1; geplottet ist;
• Fig. 5B ein Diagramm eines eindimensionalen Signals sc(y) ist, das eine kontinuierliche Darstellung des diskreten Signales s(j) von Fig. 5A ist, wobei Proben von sc(y) bei einer Periode von T&sub1; den Proben von s(j) entsprechen;
• Fig. 5C ein Diagramm desselben kontinuierlichen Signals sc(y) von Fig. 5B ist, wobei die Proben bei einer Periode von T&sub2; angezeigt sind;
• Fig. 5D ein Diagramm des diskreten Zeitsignals s&sub1;(y) ist, das durch Probennahme sc(y) zu einer Probennahmeperiode T&sub2; gewonnen wird, wobei der reelle Index von s&sub1;(y) die zeitliche Beziehung zu den Proben s(j) in Fig. 5A zeigt; und
• Fig. 5E ein Diagramm eines diskreten Zeitsignals s&sub2;(y) mit ganzzahligen Indizes ist, deren Proben dieselben sind wie s&sub1;(y).
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
• Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem und entsprechende Bildverarbeitungsverfahren für die erneute Probennahme eines Bildes einer Szene. Fig. 1 stellt ein exemplarisches Ausführungsbeispiel eines solchen Systems dar. Wie man sieht, stellt Fig. 1 ein elektronisches Bildverarbeitungssystem dar, bei dem eine Bildsignalquelle, wie z. B. eine Kamera 10 oder ein Scanner (Abtastvorrichtung) 12, ein elektronisches Bildsignal liefert, das für ein Bild (nicht gezeigt) des Gegenstands steht. Ein Rechner 18 empfängt das elektronische Signal von der Bildsignalquelle und verarbeitet daraufhin das Bildsignal elektronisch, um eine beliebige Zahl bekannter Bildverarbeitungsfunktionen bereitzustellen, wie z. B. Größenänderung, Schärfung, Rauschbeseitigung, Reflexion oder Randerfassung. Das verarbeitete Bild kann übertragen werden, d. h., an eine beliebige Bestimmungsvorrichtung oder Bestimmungsanwendung ausgegeben werden, wie z. B. eine Diskette 16, einen Benutzermonitor 20, einen Drucker 14 oder einen entfernten Monitor 26. Die Benutzerinteraktivität mit dem System wird unter Verwendung einer Tastatur 22 oder einer Maus 24 erleichtert. Selbstverständlich sind die in Fig. 1 gezeigten Komponenten lediglich beispielhaft anstatt sämtliche der vielen äquivalenten Vorrichtungen zu beinhalten, die dem Fachmann bekannt sind. So kann z. B. die Bildsignalquelle eine beliebige Vorrichtung enthalten, die als Bildsignalquelle wirkt, wie z. B. eine elektronische Kamera, ein Scanner, ein Camcorder, eine ladungsgekoppelte Vorrichtung (CCD), eine Ladungsinjektionsvorrichtung (CID), etc. Es sei auch bemerkt, daß die Verarbeitung des Bildes nicht notwendigerweise in dem Rechner 18 allein stattfinden muß. So könnten in der Tat verschiedene Phasen oder Gesichtspunkte der Bildverarbeitung in der Bildsignalquelle, dem Rechner oder der Bestimmungs- Ausgabevorrichtung stattfinden.
1. DCT-Mathematik
• Dieser Abschnitt stellt einige grundlegende Konzepte dar, die sich auf diskrete Vorwärts- und Umkehr-Cosinustransformationen beziehen.
• Ein Bild besteht typischerweise aus einer zweidimensionalen PxQ-Anordnung aus Deskriptoren, die man als Bildelemente (Pixel) oder Bilddatenpunkte bezeichnet, wobei B die Anzahl der Zeilen und Q die Anzahl der Spalten ist, die das Bild darstellen. Das Bild kann entweder durch Datenpunkte im räumlichen Bereich oder durch entsprechende DCT-Koeffizienten im Frequenzbereich dargestellt werden. Eine Vorwärts-DCT erzeugt die DCT-Koeffizienten, indem man eine diskrete gerade Cosinustransformation (DECT, abgekürzt DCT) von den Bilddatenpunkten nimmt. Umgekehrt erzeugt eine diskrete gerade Umkehr-Cosinustransformation (IDECT, abgekürzt als IDCT) die IDCT-Koeffizienten (d. h. rekonstruierte Bilddatenpunkte), indem man eine diskrete Umkehr-Cosinustransformation der DCT-Koeffizienten nimmt.
• Eine DCT-Transformation kann in jeder beliebigen Anzahl von Dimensionen stattfinden, wie dem Fachmann bekannt ist. In dem folgenden eindimensionalen Beispiel kann eine Zeile (allgemein als Segment bezeichnet) aus N Bilddatenpunkten s(j) vom räumlichen Bereich zu entsprechenden DCT-Koeffizienten S(v) im Frequenzbereich gemäß Gleichung (1) transformiert werden.
• wobei: 0 ≤ v ≤ (N-1), v ganzzahlig;
• s(j) die Basismatrix von Bilddatenpunkten in dem Segment darstellt;
• S(v) die entsprechende Matrix aus DCT-Koeffizienten darstellt;
• N die Anzahl der Bilddatenpunkte in dem Segment darstellt;
• für v = 0; und
• Cv = 1 für v ≠ 0.
• Die DCT-Koeffizienten S(v) werden aus Gleichung (1) bestimmt, wobei die normierten Cosinus-Basisterme für ein Segment mit N Bilddatenpunkten abgeleitet werden. Der Wert für S(0) wird bestimmt für v = 0, indem man jeden der Bilddatenpunkte s(j) für 0 ≤ j ≤ (N-1) mal die Cosinusterme der Basisfunktion summiert. Der Wert für S(1) wird bestimmt als die Summierung von Bilddatenpunkten s(j) mal den Cosinustermen für v = 1. Diese Vorgehensweise, deren Index zuerst über v und dann über j läuft, wird zur Herleitung der DCT-Koeffizienten S(0) bis S(N-1) wiederholt.
• Eine modifizierte gerade Umkehr-Cosinustransformation ist in Gleichung (2) mathematisch definiert, wobei die eindimensionale Matrix S(v) der DCT-Koeffizienten zu einer rekonstruierten Matrix (y) aus rekonstruierten Bilddatenpunkten transformiert wird, und y ist als eine reelle Zahl innerhalb des gegebenen Bereichs definiert.
• wobei: 0 ≤ y ≤ (N-1), y eine reelle Zahl;
• S(v) die Matrix der DCT-Koeffizienten darstellt;
• (y) die räumliche Matrix der rekonstruierten Bilddatenpunkte darstellt;
• N die Anzahl der Bilddatenpunkte in dem Segment darstellt;
• für v = 0; und
• Cv = 1 für v ≠ 0.
• Wenn die DCT-Koeffizienten S(v) von Gleichung (1) aus einem Satz von Bilddatenpunkten s(j) berechnet werden und die rekonstruierten Bilddatenpunkte (y) von Gleichung (2) aus den entsprechenden DCT-Koeffizienten S(v) berechnet werden, dann gilt s(j) (y), wenn y = j, und der Vorgang wird als invertierbar oder als eine eineindeutige Abbildung bezeichnet, da die rekonstruierten Bilddatenpunkte von (y) innerhalb bestimmter Grenzen mit den ursprünglichen Bilddatenpunkten von s(j) identisch sind. Durch Auswerten von y in Gleichung (2) bei anderen (nichtganzzahligen) Werten, bei denen 0 ≤ y ≤ (N-1), wird eine modifizierte IDCT gewonnen, die für verschiedene Vorgänge verwendet werden kann, wie z. B. die Interpolation von Werten, die zwischen diskrete Bilddatenpunkte fallen, die ein Bild darstellen.
• Beim Bestimmen der die rekonstruierten Bilddatenpunkte (y) darstellenden Werte unter Verwendung von Gleichung (2) wird (0) bestimmt, indem man jeden der DCT- Koeffizienten S(v) mal den Cosinustermen der Umkehr-Basisfunktion für y = 0 summiert. So wird z. B. der Wert für (0,5) bestimmt als die Summierung von DCT- Koeffizienten S(v) mal den Cosinustermen für y = 0,5. Diese Vorgehensweise, deren Index zuerst über y und dann über v läuft, wird für die Herleitung aller gewünschten rekonstruierten Bilddatenpunkte (y) wiederholt, wobei 0 ≤ y ≤ (N-1).
• Wie schon zuvor bemerkt, läßt sich die obige Mathematik ohne weiteres auf mehrfache Dimensionen ausdehnen, wie dem Durchschnittsfachmann bekannt ist. So kann z. B. ein Bild im räumlichen Bereich in zweidimensionalem Format dargestellt werden, wobei s(y, x) die Bilddatenpunkte bei den reellen Werten y und x im räumlichen Bereich darstellt, S(v, u) die entsprechenden DCT-Koeffizienten im Frequenzbereich darstellt, x im Bereich von 0 bis (P-1) liegt, y im Bereich von 0 bis (Q-1) liegt, P die Gesamtzahl der Zeilen darstellt und Q die Gesamtzahl der Spalten darstellt. Die Bilddatenpunkte s(y, x) können Parameter wie z. B. Helligkeit, Luminanz, Farbe oder Farbton, darstellen, sind jedoch nicht darauf beschränkt.
• Sowohl die Gleichung (1) als auch (2) kann alternativ in Matrixschreibweise ausgedrückt werden. Die Matrixschreibweise (ohne Indizes) für Gleichung (1) ist:
• S = FB · s (3)
• wobei S die Matrix der DCT-Koeffizienten darstellt, s die Matrix der Bilddatenpunkte im räumlichen Bereich darstellt und FB die Vorwärts-DCT-Basismatrix darstellt. Die Matrixschreibweise für Gleichung (2) ist:
• = IB · S (4)
• wobei die räumliche Matrix der rekonstruierten Bilddatenpunkte darstellt und IB die Umkehr-DCT-Basismatrix für die gewünschten Ausgabepunkte (d. h. die rekonstruierten Bilddatenpunkte) darstellt. Eine Kombination der Matrixgleichungen (3) und (4) verringert die Anzahl der arithmetischen Operationen gegenüber der Durchführung der Matrixalgebra in zwei unterschiedlichen Schritten, wie zuvor beschrieben. Die Kombination der Matrixgleichungen (3) und (4) ergibt:
• = IB · (FB · s) = MB · s (5)
• wobei MB eine kombinierte DCT-Basismatrix ist, die aus der Matrixmultiplikation der Umkehr-DCT-Basismatrix IB mit der Vorwärts-DCT-Basismatrix FB hergeleitet wird. Die kombinierte DCT-Basismatrix MB kann gleichzeitig berechnet werden, während Gleichung (5) gelöst wird, oder MB kann vorab berechnet und in einer Nachschlagetabelle gespeichert werden.
2. Hardware für die erneute Probennahme
• Das bevorzugte Ausführungsbeispiel eines Bildverarbeitungssystems für die erneute Probennahme an einem Bild enthält, wie in Fig. 2A gezeigt: eine Bilderfassungsvorrichtung 207; einen Skalarprodukt-Multiplizierer (DPM) 200; Direktzugriffsspeicher RAM 208 und RAM 210; Koeffizienten-Nur-Lese-Speicher ROM 202, ROM 204 und ROM 206; einen Haupttaktgeber 214; eine Steuerungs-Sequenzierlogik (CSL) 212; und einen Bildgenerator 221. Der Haupttaktgeber 214 erzeugt ein Haupttaktsignal 217, das von der Steuerungs-Sequenzierlogik 212 verwendet wird, um Taktsignale CK1 und CK2 zu erzeugen. Die Bilderfassungsvorrichtung 207 könnte jede beliebige Hardware zum Erfassen eines Bildes von der Quelle 250 sein, wie z. B. ein Eingangsanschluß, ein A/D-Wandler, etc. Ähnlich könnte der Bildgenerator 221 eine beliebige Vorrichtung oder ein System zum Erzeugen eines Bildes aus den in den RAMs 208 oder 210 gespeicherten Koeffizienten sein, wie z. B. ein Drucker, eine Kathodenstrahlröhre etc. Die gesamte Hardware-Konfiguration hat Allzweckcharakter für eine vielseitige Verwendung in einer Vielzahl von Matrixprodukt-Multiplikationen.
• Der Probennahmegeschwindigkeit-Wandler 201 stellt bereit: den DPM 200 als einen arithmetischen Festpunktprozessor, der das Skalarprodukt eines (1 · 3)-Vektors mit einem (3 · 1)-Vektor in einem Taktzyklus berechnen kann; ein RAM 208 und ein RAM 210 als Direktzugriffsspeicher zum Speichern und Puffern von Eingabedaten und verarbeiteten Daten; ein ROM 202, ROM 204, ROM 206 zum Speichern vorab berechneter modifizierter IDCT-Basismatrix-Koeffizienten; und eine Steuerungs- Sequenzierlogik 212 zum Abwickeln der Steuerung und Zeitabstimmung der Speicher und des DPM 200.
• Der in Fig. 2B ausführlich gezeigte DPM 200 ist eine Drei-Fixpunkt-Multiplizieranordnung mit zwei auf der Leiterplatte montierten Addierern 216 und 218, Eingangs- Verriegelungsschaltungen 220, 222, 224, einer Ausgangs-Verriegelungsschaltung 227, einem Datenschieberegister 226, einer Busübertragungslogik 242, welche die Richtung der Übertragung von Daten entlang von bi-direktionalen Bussen 209 und 211 steuert; und eine Steuerungslogik 240. Die bi-direktionalen Busse 209 und 211 erlauben die Überlappung von Speicherzugriffen und sind besonders vorteilhaft, wenn mehr als ein Durchlauf des DPM 200 erforderlich ist. Die Busse 209 und 211 sind konfigurierbar, um Daten direkt zwischen dem RAM 208 und RAM 210 im Durchlaufmodus zu übertragen oder um Daten zu dem Skalarprodukt-Multiplizierer für eine Verarbeitung im Prozessmodus gemäß der Wahrheitstabelle I zu verarbeiten, welche die Funktionen der Datenbusse 209 und 211 gemäß der Steuerung durch Signale I&sub0; und I&sub1; definiert. Für das folgende Beispiel werden alle DCT-Koeffizientendaten vorab bestimmt und in den RAM 208 gespeichert, durch den Datenbus 209 eingegeben, in dem DPM 200 verarbeitet und dann zu dem RAM 210 durch den Datenbus 211 hindurch überführt. Allerdings sorgen die bi-direktionalen Datenbusse 209, 211 für eine vielseitige Einsetzbarkeit des DPM, so daß andere Operationen, die hier nicht speziell beschrieben sind, vom Fachmann jedoch leicht erkennbar sind (wie z. B. Bestimmung von DCT- Koeffizienten aus Bilddatenpunkten des räumlichen Bereichs), durchgeführt werden können.
• Die vorab bestimmten DCT-Koeffizienten für ein Dreipunkt-Probennahmesegment werden in den Registern SR0, SR1 und SR2 des Verschieberegisters 226 gespeichert, und die Werte des vorbestimmten modifizierten Basisvektors IBmod werden in den Verriegelungsschaltungen 220, 222 bzw. 224 gespeichert. Die Multiplizierer 230, 232 und 234 bilden jeweils die Produkte der in den Eingangs-Verriegelungsschaltungen 220, 222, 224 gespeicherten Daten mit den in den Registern SR2, SR1, SR0 gespeicherten Daten. Der Addierer 216 erzeugt die Summierung der Produkte der Multiplizierer 232 und 234. Die Summierung des Addierers 216 wird dann zu dem Produkt des Multiplizierers 230 addiert, um das endgültige Skalarprodukt zu erzeugen, das in der Ausgangs-Verriegelungsschaltung 227 zum Stabilisieren der Daten auf dem ausgewählten Ausgangsbus 209 oder 211 während des folgenden CK2-Taktzyklus gespeichert wird.
• Die Steuerungs-Sequenzierlogik 212 steuert das Adressieren der Speicher, steuert Datenbusfunktionen und erzeugt geeignete Zeitabstimmungssignale für den DPM 200. Insbesondere liefert die Steuerungs-Sequenzierlogik 212: Adressdaten 203 an das RAM 208; Adressdaten 205 an das RAM 210; ein Lese/Schreib-(R/W)-Steuerungssignal 213 an das RAM 208; ein Lese/Schreib-Steuerungssignal 215 an das RAM 210; ein Taktsignal CK1 an das Schieberegister 226; ein Taktsignal CK2 an die Verriegelungsschaltungen 220, 222, 224; Signale I&sub0; und I&sub1; für die direktionale Bussteuerung; und Adressdaten 219 an die ROMs 202, 204 und 206. Die Steuerungs- Sequenzierlogik 212 kann ohne weiteres mit einem Mikrorechner oder einer programmierbaren Logikanordnung (nicht gezeigt) implementiert werden. Die Auswahl hängt von der Anwendung ab. Der Mikrorechner ist, vom Standpunkt des Programmierens betrachtet, im allgemeinen flexibler, jedoch etwas kostspieliger als eine programmierbare Logikanordnung.
• Fig. 2C und 2D veranschaulichen die Zeitabstimmungsbeziehungen zahlreicher Signale innerhalb des Probennahmegeschwindigkeit-Wandlers 200 für ein Beispiel, das die Hardware von Fig. 2A und 2B verwendet, um eine Zeile aus acht DCT-Datenpunkten S(0), S(1), S(2), S(3), S(4), S(5), S(6), S(7) zu verarbeiten. In diesem Beispiel wird das Verhältnis der erneuten Probennahmegeschwindigkeit δ auf 4/3 eingestellt, was zu einer Auswärts-Probennahme führt, wie zuvor beschrieben. Die Dreipunkt-DCT-Verarbeitung gemäß Gleichung (9), die eine Einpunkt-Überlappung verwendet, um die Kontinuität der erneuten Probennahme zu gewährleisten, wird für das Beispiel verwendet, obwohl die Anzahl der Datenpunkte zur Verarbeitung veränderlich ist. Im allgemeinen liefert die Verarbeitung von mehr Datenpunkten je Probe ausführlichere Ergebnisse, erfordert jedoch mehr Verarbeitungszeit, wohingegen die Verarbeitung von weniger Datenpunkten je Probe weniger genaue Ergebnisse liefert, jedoch weniger Verarbeitungszeit erfordert. Man hat empirisch bestimmt, daß Dreipunkt- und Vierpunkt-Proben die beste Abwägung zwischen Verarbeitungszeit und Genauigkeit liefern. Für das vorliegende Beispiel wird die Zeile aus acht DCT-Datenpunkten in vier Dreipunkt-Segmente unterteilt, d. h. N = 3 in Gleichung (9), was zu {S(0), S(1), S(2)}, {S(2), S(3), S(4)}, {S(4), S(S), S(6)} und {S(6), S(7), S(8)} führt. Wie zuvor bemerkt, wird der Zugriff auf die Speicheradressen durch die Steuerungs-Sequenzierlogik 212 gesteuert.
• Die DCT-Daten werden ursprünglich in den RAM 208 gespeichert und in Segmenten über den Bus 209 zu dem DPM 200 überführt. Die drei DCT-Koeffizienten S(0), S(1), S(2) des Segments Nr. 1 werden auf den RAM 208 gelesen und in die Register SR0, SR1 bzw. SR2 des Schieberegisters 226 bei der ansteigenden Flanke von CK1 zu den Zeitpunkten T&sub0;, T&sub2; und T&sub4; überführt. Der Einfachheit halber zeigt das Signalverlaufsdiagramm kein Haupttaktsignal 217, keine Lese/Schreib-Signale 213; 215, keine direktionalen Bussignale I&sub0; und I&sub1; und keine Adress-Signale 203, 205 und 219. An der ansteigenden Flanke von CK2 zum Zeitpunkt T&sub4; wird der modifizierte Vektor der IDCT-Basiskoeffizienten C&sub0;(0), C&sub0;(1), C&sub0;(2) über die Leitungen 236, 238, 240 zu den Eingangs-Verriegelungsschaltungen 224, 222 und 220 von ROMs 206, 204 bzw. 202 überführt. Zum Zeitpunkt T&sub5; erzeugt der Multiplizierer 234 das Produkt C&sub0;(0)*S(0), erzeugt der Multiplizierer 272 das Produkt C&sub0;(1)*S(0), und der Multiplizierer 230 das Produkt C&sub0;(2)*S(0). Der Addierer 216 erzeugt die Summierung der Produkte der Multiplizierer 232 und 234. Die Summierung des Addierers 216 wird dann zu dem Produkt des Multiplizierers 230 addiert, um das endgültige Skalarprodukt O&sub0; zu erzeugen, das zeitweilig im Ausgangspuffer 227 gespeichert wird. Nach der abfallenden Flanke von CK2 zum Zeitpunkt T&sub5; wird das Skalarprodukt O&sub0; vom Ausgangspuffer 227 durch die Busübertragungslogik 228 über den Bus 211 zum dem RAM 210 überführt.
• Bei der ansteigenden Flanke von CK2 zum Zeitpunkt T&sub6; wird der modifizierte Vektor der IDCT-Basiskoeffizienten C&sub1;(0), C&sub1;(1), C&sub1;(2) über die Leitungen 236, 238, 240 zu den Eingangs-Verriegelungsschaltungen 224, 222 und 220 von den ROMs 206, 204 bzw. 202 überführt. Zum Zeitpunkt T&sub7; erzeugt der Multiplizierer 234 das Produkt C&sub1;(0)*S(1), erzeugt der Multiplizierer 232 das Produkt C&sub1;(1)* S(1), und der Multiplizierer 230 erzeugt das Produkt C&sub1;(2)*S(1). Der Addierer 216 erzeugt die Summierung der Produkte der Multiplizierer 232 und 234. Die Summierung des Addierers 216 wird dann zu dem Produkt des Multiplizierers 230 addiert, um das endgültige Skalaprodukt O&sub1; zu erzeugen, das im Ausgangspuffer 227 zeitweilig gespeichert wird. Nach der abfallenden Flanke von CK2 zum Zeitpunkt T&sub7; wird das Skalarprodukt O&sub1; vom Ausgangspuffer 227 durch die Busübertragungslogik 228 über den Bus 211 zum dem RAM 210 überführt.
• Bei der ansteigenden Flanke von CK2 zum Zeitpunkt T&sub8; wird der modifizierte Vektor der IDCT-Basiskoeffizienten C&sub2;(0), C&sub2;(1), C&sub2;(2) über die Leitungen 236, 238, 240 den Eingangs-Verriegelungsschaltungen 224, 222 und 220 von den ROMs 206, 204 bzw. 202 überführt. Zum Zeitpunkt T&sub9; erzeugt der Multiplizierer 234 das Produkt C&sub2;(0)*S(2), erzeugt der Multiplizierer 232 das Produkt C&sub2;(1)*S(2), und der Multiplizierer 230 erzeugt das Produkt C&sub2;(2)*S(2). Der Addierer 216 erzeugt die Summierung der Produkte der Multiplizierer 232 und 234. Die Summierung des Addierers 216 wird dann zu dem Produkt des Multiplizierers 230 addiert, um das endgültige Skalarprodukt O&sub2; zu erzeugen, das in dem Ausgangspuffer 227 zeitweilig gespeichert wird. Nach der abfallenden Flanke von CK2 zum Zeitpunkt T&sub9; wird das Skalarprodukt O&sub2; von dem Ausgangspuffer 227 durch die Busübertragungslogik 228 über den Bus 211 zu dem RAM 210 überführt.
• Wenn die Segmentgröße ausgedehnt wird, folgt die Verarbeitungssequenz für die Aufwärts-Probennahme um 4/3 dem in Fig. 2E gezeigten Muster. Das erste Segment verwendet speziell die Vektorkoeffizienten C&sub0;, C&sub1;, C&sub2;; das zweite Segment verwendet die Vektorkoeffizienten C&sub3;, C&sub4;, C&sub5;; das dritte Segment verwendet die Vektorkoeffizienten C&sub6;, C&sub7;, C&sub8;; das vierte Segment verwendet die Vektorkoeffizienten C&sub1;, C&sub2;; das fünfte Segment verwendet die Vektorkoeffizienten C&sub3;, C&sub4;, C&sub5;; das sechste Segment verwendet die Vektorkoeffizienten C&sub6;, C&sub7;, C&sub8;; das siebte Segment verwendet die Vektorkoeffizienten C&sub1;, C&sub2;; das achte Segment verwendet die Vektorkoeffizienten C&sub3;, C&sub4;, C&sub5;; etc.
• Der oben beschriebene Vorgang wird für jede Zeile des Bildes wiederholt. Somit müssen nur neun Koeffizientenvektoren gespeichert werden, um das Bild des vorliegenden Beispiels horizontal zu verarbeiten. Wenn alle Zeilen verarbeitet worden sind, ist an dem Bild eine Aufwärts-Probennahme in der horizontalen Richtung durchgeführt worden. Die oben beschriebene Hardware läßt sich gleichermaßen verwenden für die erneute Probennahme bei einem Bild in der vertikalen Richtung unter Verwendung des Verhältnisses der erneuten Probennahme von δ = 4/3. Die modifizierten DCT-Basisvektoren für die vertikale erneute Probennahme sind dieselben wie diejenigen, die für die obige horizontale erneute Probennahme verwendet wurden, wobei jedoch die DCT-Koeffizientenvektoren für jedes Segment entlang der Spalten anstatt der Zeilen des Bildes genommen werden müssen.
3. Methodologie der Probennahmegeschwindigkeit-Konversion
• Die Aufgabe der Probennahmegeschwindigkeit-Konversion tritt bei Anwendungen der Signalverarbeitung und Bildverarbeitung häufig auf. Im Falle der Foto-Abbildung werden die Proben als Bildelemente dargestellt, die auch als Bilddatenpunkte bezeichnet werden.
• Übliche Vorgehensweisen für die Probennahmegeschwindigkeit-Konversion hängen davon ab, ob man eine Aufwärts-Probennahme, d. h. eine Probennahme mit einer höheren Geschwindigkeit, oder eine Abwärts-Probennahme, d. h. eine Probennahme mit einer geringeren Geschwindigkeit wünscht. Bei der Abwärts-Probennahme um einen ganzzahligen Faktor wird üblicherweise ein Tiefpaßfilter für das Anti-Aliasing mit nachfolgender Dezimation verwendet. Die Aufwärts-Probennahme durch einen ganzzahligen Faktor wird üblicherweise durchgeführt, indem man entweder Nullen zwischen den Proben einfügt und dann eine Tiefpaß-Filterung durchführt, oder indem man eine äquivalente Polyphasen-Vorgehensweise verwendet. Eine Nullte-Ordnung- Halte- sowie eine lineare Interpolation sind spezielle Fälle der Vorgehensweise zur Aufwärts-Probennahme unter Verwendung spezieller Tiefpaßfilter. Wenn die Probennahmegeschwindigkeit-Konversion einen rationalen Faktor verwendet, wird oftmals eine Kombination aus Aufwärts-Probennahme und Abwärts-Probennahme verwendet. Darüber hinaus wird eine Probennahmegeschwindigkeit-Konversion, die einen nicht-rationalen Faktor verwendet, aufgrund der Kompliziertheit des Algorithmus häufig nicht implementiert.
• Das System für die Probennahmegeschwindigkeit-Konversion eines Bildes unter Verwendung diskreter Cosinustransformationen gemäß der vorliegenden Erfindung funktioniert sowohl für die Aufwärts-Probennahme als auch die Abwärts-Probennahme, wobei ganzzahlige, rationale oder irrationale Probennahmegeschwindigkeit- Konversionsverhältnisse verwendet werden. Darüber hinaus kann eine herkömmliche Polyphasen-Vorgehensweise die Erzeugung vieler unterschiedlicher Filter zum Zwecke der Aufwärts-Probennahme je nach der Aufwärts-Probennahmegeschwindigkeit erfordern. Die DCT-Vorgehensweise umgeht andererseits die Notwendigkeit zur Generierung vieler unterschiedlicher Filter.
• Das Bildverarbeitungssystem von Fig. 2A funktioniert unter Verwendung eines Verfahrens zur Probennahmegeschwindigkeit-Konversion auf DCT-Basis an einem Bild in der horizontalen Richtung, wie in dem Flußdiagramm von Fig. 3A gezeigt. Das System funktioniert auch unter Verwendung eines ähnlichen Verfahrens für die Probennahmegeschwindigkeit-Konversion in der vertikalen Richtung, wie in Fig. 4A gezeigt.
• Betrachtet man die Probennahmegeschwindigkeit-Konversion in der horizontalen Richtung, so wird ein Bild in Block 360 von Fig. 3A als zweidimensionale Anordnung s(j, i) von Bilddatenpunkten mit P Zeilen und Q Spalten dargestellt. Ein Zeilenindex r wird auf null initialisiert, wobei der Zeilenindex r dem i entspricht und der Spaltenindex c dem j entspricht. Die Zeile r wird als eine eindimensionale Anordnung aus Bildelementen s(j) für j = 0, 1, 2, ..., (Q-1) dargestellt, wobei s(j) eine diskrete Darstellung eines kontinuierlichen eindimensionalen Signals sc(y) ist, das durch Probennahme bei y = jT&sub1; hervorgeht, j ein wie oben gegebener ganzzahliger Index ist, und T&sub1; die horizontale Probennahmeperiode definiert. In Block 362 wird das gewünschte Probennahmegeschwindigkeit-Konversionsverhältnis δ auf das Verhältnis der ursprünglichen Probennahmeperiode T&sub1; zu der gewünschten Probennahmeperiode T&sub2; eingestellt, und ein Versatz γ wird auf null eingestellt.
• Aufgrund der Umkehrbarkeit der DCT kann die modifizierte IDCT-Gleichung (2) umgeschrieben werden, indem man die Substitution y = (yT&sub1;)/T&sub1; durchführt und für ganzzahlige Werte von y in Gleichung (6) die Auswertung folgendermaßen durchführt:
• wobei für j = 0, 1, 2, ..., (N-1) der Wert von sc(y) y = jT1 durch die obige Gleichung (6) gegeben ist. Die Signalverläufe von Gleichung (6) sind in Fig. 5A-5E gezeigt. Die gewünschten Proben von sc(y) nach der erneuten Probennahme treten bei y = jT&sub2; auf, so daß:
• Hieraus folgt:
• In Gleichung (8) ist j gültig für ganzzahlige Werte 0 ≤ j ≤ (N-1)δ, und das Ausgangssignal s&sub2;(j) in Fig. 5E ist eine Version des Eingangssignals s(j) mit Aufwärts- Probennahme (d. h. δ > 1), wobei das Probennahmegeschwindigkeit-Konversionsverhältnis δ = 4/3 ist.
• In Block 364 wird an jedem Bildelement der Zeile r des Bildes eine Aufwärts- Probennahme durchgeführt. Dies wird gemäß den Schritten von Fig. 3B durchgeführt, wenn man die Zeilenlänge als Segmentgröße für die DCT-Verarbeitung in Gleichung (1) verwendet, obwohl, wie in Fig. 3C gezeigt, ein bevorzugtes Verfahren implementiert wird, indem man jede Linie in kleinere überlappende Segmente der Größe N segmentiert. Eine erfolgreiche Auswahl für die Segmentierung ist die Verwendung von Dreipunkt-Segmenten (d. h. N = 3 in Gleichung (1) und in Fig. 3C), die um einen Punkt überlappen. Wenn die Segmentierung auf diese Weise durchgeführt wird, enthält das erste Segment von s(j) die Bilddatenpunkte {s(0); s(1), s(2)}; das zweite Segment von s(j) enthält die Bilddatenpunkte {s(2), s(3), s(4)}; und das dritte Segment von s(j) enthält die Bilddatenpunkte {s(4), s(5), s(6)}. Diese Segmente entsprechen Proben des kontinuierlichen Signals sc(y), d. h. {s(0), s(1), s(2)} {sc(0T&sub1;), sc(1T&sub1;), sc(2T&sub1;)}; {s(2), s(3), s(4)} {sc(2T&sub1;), sc(3T&sub1;), sc(4T&sub1;)}; und {s(4), s(5), s(6)} {sc(4T&sub1;), sc(5T&sub1;), sc(6T&sub1;)}.
• In Block 376 von Fig. 3C wir der Spaltenindex c auf null rückgesetzt, und die Segmentgröße N wird auf drei eingestellt. In Block 378 werden DCT-Koeffizienten berechnet, wenn eine diskrete Cosinustransformation an dem ersten Dreipunkt-Segment durchgeführt wird. In Block 380 wird die modifizierte IDCT an den DCT-Koeffizienten von Block 378 durchgeführt, um das Ausgangssignal s&sub2;(y) zu bestimmen. Der richtige Zusammenhang zwischen dem Eingangssignal s(j) und dem Ausgangssignal s&sub2;(y) muß beibehalten werden, so daß, wenn Bilddatenpunkte aus dem DCT-Koeffizienten rekonstruiert werden, das Ausgangssignal nicht verzerrt wird. Um den richtigen Zusammenhang aufrecht zu erhalten, müssen die Segmentgrenzen von s(j) in dem zugrundeliegenden kontinuierlichen Signal sc(y) konsequent in s&sub1;(y) und s&sub2;(y) gehalten werden. Mit anderen Worten sollten die Segmentgrenzen, die sich in s(j) bei j = {0, 2, 4, 6} befinden, den Punkten in sc(y) entsprechen, wobei y = {0, 2T&sub1;, 4T&sub1;, 6T&sub1;} {0, 2δT&sub2;, 4δT&sub2;, 6δT&sub2;}, oder alternativ den Punkten in s&sub2;(y) entsprechen, wobei y = {0, 2δ; 4δ, 6δ}. Wenn das Signal für ein gegebenes Segment interpoliert wird, ist es daher nützlich, Gleichung (8) zu Gleichung (9) umzuschreiben als:
• wobei γ der Versatz des ersten rekonstruierten Bilddatenpunkts in einem Segment vom Anfang der Segmentgrenze ist. Der Versatz γ wird in Block 382 aktualisiert und kann ohne weiteres für das k-te-Segment bestimmt werden, da das (k-1)-te Segment bei s&sub1;((k-1)(N-1)δ) endet, was genau der Ort ist, bei dem das k-te Segment beginnt. Daher werden die Werte von s&sub1;(j), die für j eine ganze Zahl im Bereich 0 ≤ j ≤ (k-1) (N-1)δ sind, in den ersten (k-1) Segmenten rekonstruiert, und der erste zu rekonstruierende Punkt in dem k-ten Segment ist s&sub1;(jk), wobei jk die kleinste ganze Zahl ist, die größer als (k-1)(N-1)δ ist und γk = jk - (k-1)(N-1)δ. Für das vorliegende Beispiel, bei dem δ = 4/3 und N = 3, befinden sich die Segmentgrenzen der ersten drei Segmente von s&sub1;(y) bei y = {0, 8/3, 16/3}, wobei (N-1)δ = 8/3. Das erste Segment beginnt immer bei 0 und wird als ein Spezialfall behandelt mit γ&sub1; = 1. Die kleinsten ganzen Zahlen, die größer als die beiden von null verschiedenen Grenzpunkte sind, befinden sich bei y = {3, 6}, was zu Versatzwerten von γ&sub2; = 1/3 und γ&sub3; = 2/3 führt, d. h.,
• yk = jk - (k-1)(N-1)δ
• jk = (k-1)(N-1)δ
• und daher
• γ&sub2; = (2-1)(3-1)4/3 - (2-1)(3-1)4/3 = 1/3.
• Jedes Bildelement der Zeile r wird verarbeitet, indem man den Spaltenindex c in Block 384 auf eine Art und Weise inkrementiert, die ein Dreipunkt-Segment mit einer Einpunkt-Überlappung erleichtert. Wenn die Spaltenzahl c gleich der Gesamtzahl der Spalten Q im Entscheidungskasten 386 ist, verläßt der Vorgang den Block 364 für die erneute Probennahme an dem Segment, und ansonsten wird ein anderes Segment in den Blöcken 378-386 für den inkrementierten Wert von c verarbeitet, bis jedes Bildelement in der Zeile r verarbeitet worden ist.
• Der Zeilenindex r wird in Block 366 inkrementiert und daraufhin gegenüber der Anzahl der Zeilen P des Bildes in Block 368 geprüft. Wenn r = P, ist an dem Bild eine vollständige Probennahme durchgeführt worden, und der Vorgang der erneuten Probennahme endet in Block 370. Wenn jedoch r ≠ P, wird an der inkrementierten Zeile aus Bilddatenpunkten in Block 364 eine erneute Probennahme durchgeführt, wie zuvor beschrieben.
• Das obige Verfahren für eine Probennahmegeschwindigkeit-Konversion auf DCT-Basis eines Bildes kann in der vertikalen Richtung gemäß dem Flußdiagramm von Fig. 4A angewendet werden. Betrachtet man die Probennahmegeschwindigkeit-Konversion in der vertikalen Richtung, so wird ein Bild in Block 400 in Fig. 4A als zweidimensionale Anordnung s(j, i) eines Bilddatenpunktes mit P Zeilen und Q Spalten dargestellt. Ein Spaltenindex c wird auf null initialisiert, wobei der Zeilenindex r dem Buchstaben i und der Spaltenindex c dem Buchstaben j entspricht. Die Zeile r wird als eine eindimensionale Anordnung aus Bildelementen dargestellt, und zwar s(i) für i = 0, 1, 2, ..., (P-1), wobei s(i) eine diskrete Darstellung eines kontinuierlichen eindimensionalen Signals sc(y) ist, bei dem eine Probennahme bei y = jT&sub1; durchgeführt, wobei j ein ganzzahliger Index ist, wie oben gegeben, und T&sub1; definiert eine vertikale Probennahmeperiode. In Block 402 wird das gewünschte Probennahmegeschwindigkeit- Konversionsverhältnis δ auf das Verhältnis der ursprünglichen Probennahmeperiode T&sub1; zu der gewünschten Probennahmeperiode T&sub2; eingestellt, und ein Versatz γ wird auf null gesetzt. Die obige Analyse bezüglich der Gleichungen (6), (7) und (8) gilt auch hier.
• In Block 404 wird an jedem Bildelement jeder Spalte des Bildes eine Aufwärts- Probennahme durchgeführt. Dies wird gemäß den Schritten von Fig. 4B durchgeführt, wenn man die Spaltenlänge als Segmentgröße für die DCT-Verarbeitung in Gleichung (1) verwendet, obwohl ein bevorzugtes Verfahren implementiert wird, wie in Fig. 4C gezeigt, indem man jede Linie in kleinere überlappende Segmente der Größe N segmentiert. Wie in dem obigen Beispiel der Probennahmegeschwindigkeit-Konversion in der horizontalen Richtung wird die Segmentgröße in dem Beispiel von Fig. 4C als N = 3 ausgewählt.
• In Block 416 von Fig. 4C wird der Zeilenindex r auf null gesetzt und die Segmentgröße N auf 3 eingestellt. In Block 418 werden DCT-Koeffizienten berechnet, wenn eine diskrete Cosinustransformation an dem ersten Dreipunkt-Segment durchgeführt wird. In Block 420 wird die modifizierte IDCT an den DCT-Koeffizienten von Block 418 durchgeführt, um das Ausgangssignal s&sub2;(y) zu bestimmen. Die richtige Beziehung zwischen dem Eingangssignal s(j) und dem Ausgangssignal s&sub2;(y) muß, wie zuvor beschrieben, beibehalten werden, so daß, wenn Bilddatenpunkte aus den DCT- Koeffizienten rekonstruiert werden, das Ausgangssignal nicht verzerrt wird.
• Der Zeilenindex r wird in Block 424 inkrementiert, um ein Dreipunkt-Segment mit einer Einpunkt-Überlappung zu erleichtern. Wenn die Zeilennummer gleich der Gesamtzahl der Zeilen ist, wie in dem Entscheidungskasten 426 entschieden wird, verläßt der Vorgang den Block 404 für die erneute Probennahme an dem Segment, und ansonsten wird ein anderes Segment der Spalte c in den Blöcken 418-426 verarbeitet.
• Die oben genannten Probennahmegeschwindigkeit-Konversionsverfahren lassen sich sowohl für die Aufwärts-Probennahme verwenden, wenn &delta; > 1, wie gezeigt, als auch für die Abwärts-Probennahme verwenden, wenn &delta; < 1. Es funktioniert genauso gut, wenn das Probennahmegeschwindigkeit-Konversionsverhältnis &delta; eine ganze Zahl, eine rationale Zahl oder eine irrationale Zahl ist. Desweiteren läßt sich die Mathematik der erfinderischen Verfahren unter Verwendung von Matrixalgebra vereinfachen. So kann z. B. die modifizierte IDCT von Gleichung (2) für ein Dreipunkt-Probensegment, d. h. N = 3, ausgedrückt werden als:
• wobei jeder Punkt des Ausgangssignals s&sub1;(y), an dem eine erneute Probennahme durchgeführt wurde, aus dem inneren Produkt von (i) der Transponierten der modifizierten IDCT-Basismatrix mit Versatzkompensation und (ii) der Matrix der DCT- Koeffizienten bestimmt wird.
• Die Probennahmegeschwindigkeit-Konversion kann unter Verwendung von Matrizen so ausgedrückt werden, daß die DCT-Gleichung (1) ausgedruckt wird als S = FB · s und die modifizierte IDCT von Gleichung (10) ausgedrückt wird als = IB · S. Somit hat man = IB · FB · s = MB · s, wobei S die Matrix der DCT-Koeffizienten darstellt, s die Matrix der Bilddatenpunkte im räumlichen Bereich darstellt, FB die Vorwärts-DCT- Basismatrix darstellt, IB die modifizierte Umkehr-DCT-Basismatrix darstellt, MB die kombinierte modifizierte Basismatrix darstellt, die sich aus dem Produkt der modifizierten Umkehr-DCT-Basismatrix mit der Vorwärts-DCT-Basismatrix ergibt, und die räumliche Matrix der rekonstruierten Bilddatenpunkte darstellt.
• Da ein Cosinusargument eine beliebige Anzahl von Werten annehmen kann, müssen die Cosinus-Werte der modifizierten Umkehr-DCT-Basismatrix IB oder der kombinierten modifizierten Basismatrix MBmod für jedes Segment gesondert berechnet werden. Mit anderen Worten müssen die auf erneuter Probennahme beruhenden Bilddatenpunkte (y), die von &delta; und &gamma;n in Gleichung (10) abhängen, entweder zur Laufzeit oder aber vorab berechnet, quantisiert und in Nachschlagetabellen gespeichert werden. Die Grobheit der Quantisierung kann zur Laufzeit spezifiziert werden, und eine MxN- Tabelle kann vorab berechnet werden, um die Koeffizienten aufzubewahren, wodurch ein wenig zusätzlicher Rechenaufwand notwendig wird, der von der Größe des Bildes unabhängig ist. M ist gleich {(N-1)/&Psi;} + 1, wobei &Psi; die Genauigkeit darstellt, mit der die Probennahmeorte des Ausgangssignals (y) spezifiziert werden können. Wenn z. B. &Psi; = 0,01 ist, befinden sich die wirklichen Probennahmeorte von (y) bei Werten von y = (j/&delta;), die auf das nächstliegende Hundertstel gerundet sind, wobei y eine ganze Zahl ist. In diesem Fall wird die Tabellengröße bestimmt als {(100 (N-1) + 1) · N}.
• Selbstverständlich dienen die oben beschriebenen Ausführungsbeispiele lediglich der Veranschaulichung der vorliegenden Erfindung und stellen eine begrenzte Zahl der möglichen speziellen Ausführungsformen dar, die Anwendungsmöglichkeiten der Prinzipien der Erfindung liefern. Zahlreiche und unterschiedliche andere Anordnungen können ohne weiteres in Übereinstimmung mit diesen Prinzipien durch den Fachmann ersonnen werden, ohne daß er den beanspruchten Umfang der Erfindung verläßt.

Claims (2)

1. Probennahmegeschwindigkeit-Konversionsverfahren zur erneuten Probennahme eines Bildsignals, das ein Eingabebild aus Bildelementen mit einer vorbestimmten ersten Probennahmegeschwindigkeit in einem Raumbereich darstellt, wobei das Verfahren folgende Schritte umfaßt: Initialisieren (360, 460) eines Spaltenindex oder eines Zeilenindex, die jeweils Spalten und Zeilen des Eingabebildes entsprechen; Auswählen (362, 402) eines Probennahmegeschwindigkeit-Konversionsverhältnisses &delta;, das definiert ist als die erste Probennahmegeschwindigkeit, dividiert durch eine vorausgewählte zweite Probennahmegeschwindigkeit; und Erzeugen (364, 404) diskreter gerader Cosinustransformation-Koeffizienten eines Segments des Bildsignals, das zu dem Spaltenindex oder Zeilenindex in Beziehung steht, durch Ausführen (378, 418) einer diskreten geraden Cosinustransformation des Segments, wobei das Verfahren gekennzeichnet ist durch den Schritt zum Erzeugen rekonstruierter Bilddatenpunkte, die zu den diskreten geraden Cosinustransformation-Koeffizienten in Beziehung stehen, durch Ausführen (380, 420) einer modifizierten inversen diskreten geraden Cosinustransformation-Basismatrix in Abhängigkeit von sowohl dem Probennahmegeschwindigkeit-Konversionsverhältnis und einem Versatz, wobei der Versatz von dem Probennahmegeschwindigkeit-Konversionsverhältnis und dem Spaltenindex oder dem Zeilenindex abhängt, wobei die rekonstruierten Bilddatenpunkte das auf erneuter Probennahme beruhende Bildsignal darstellen und wobei die modifizierte inverse diskrete gerade Cosinustransformation dargestellt wird als:

wobei: 0 &le; y &le; (N 1);

N eine Zahl der Bildelemente in jedem der Segmente ist;

v und j ganze Zahlen sind; y reell ist;

k eine ganzzahlige Segmentanzahl ist;

S(v) die diskreten geraden Cosinustransformation-Koeffizienten darstellt;

(y) die rekonstruierten Bilddatenpunkte darstellt;

&delta; das Probennahmegeschwindigkeit-Konversionsverhältnis ist;

für v = 0;

Cv = 1 für v &ne; 0; und

&gamma;k der Versatz ist, definiert als &gamma;k = jk - (k - 1)(N - 1)&delta;;

jk die kleinste ganze Zahl ist, die größer als (k - 1)(N - 1)&delta; ist.

2. Probennahmegeschwindigkeit-Konversionssystem zur erneuten Probennahme eines Bildsignals, das ein Eingabebild aus Bildelementen mit einer vorbestimmten ersten Probennahmegeschwindigkeit in einem Raumbereich darstellt, wobei das System aufweist: Mittel (212) zum Initialisieren eines Spaltenindex oder eines Zeilenindex, die jeweils Spalten und Zeilen des Eingabebildes entsprechen, Mittel (22) zum Auswählen eines Probennahmegeschwindigkeit-Konversionsverhältnisses &delta;, das definiert ist als die erste Probennahmegeschwindigkeit dividiert durch eine vorausgewählte zweite Probennahmegeschwindigkeit, und Mittel (201) zum Erzeugen diskreter gerader Cosinustransformation-Koeffizienten eines Segments des Bildsignals, das zu dem Spaltenindex oder Zeilenindex in Beziehung steht, durch Ausführen einer diskreten geraden Cosinustransformation des Segments, wobei das System gekennzeichnet ist durch Mittel (201) zum Erzeugen rekonstruierter Bilddatenpunkte, die zu den diskreten geraden Cosinustransformation-Koeffizienten in Beziehung stehen, durch Ausführen einer modifizierten inversen diskreten geraden Cosinustransformation-Basismatrix in Abhängigkeit von sowohl dem Probennahmegeschwindigkeit-Konversionsverhältnis und einem Versatz, wobei der Versatz von dem Probennahmegeschwindigkeit- Konversionsverhältnis und dem Spaltenindex oder dem Zeilenindex abhängt, wobei die rekonstruierten Bilddatenpunkte das auf erneuter Probennahme beruhende Bildsignal darstellen und wobei die modifizierte inverse diskrete gerade Cosinustransformation dargestellt wird als:

wobei: 0 &le; y &le; (N - 1);

N eine Zahl der Bildelemente in jedem der Segmente ist;

v und j ganze Zahlen sind; y reell ist;

k eine ganzzahlige Segmentanzahl ist;

S(v) die diskreten geraden Cosinustransformation-Koeffizienten darstellt;

(y) die rekonstruierten Bilddatenpunkte darstellt;

&delta; das Probennahmegeschwindigkeit-Konversionsverhältnis ist;

für v &ne; 0; und

&gamma;k der Versatz ist, definiert als &gamma;k = jk - (k - 1) (N - 1)&delta;;

jk die kleinste ganze Zahl ist, die größer als (k - 1) (N - 1)&delta; ist.