DE10248019A1

DE10248019A1 - Verfahren der adaptiven Codierung und Decodierung von bewegten Bildern und Apparat dafür

Info

Publication number: DE10248019A1
Application number: DE2002148019
Authority: DE
Inventors: Byung-Cheol Song; Kang-Wook Chun
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-05-22
Filing date: 2002-10-15
Publication date: 2003-12-11
Also published as: CN1459981A; US20030219160A1; KR100850706B1; JP2003348583A; KR20030090308A; CN1233160C; US7457471B2; US20070058877A1

Abstract

Ein Verfahren der adaptiven Codierung eines Bewegtbildes unter Berücksichtigung der zeitlichen Komplexität des Bewegtbildes und ein Apparat dafür werden vorgesehen. In diesem Verfahren wird zuerst die zeitliche Komplexität der eingegebenen Bilddaten berechnet. Als Nächstes wird die Rahmenrate der eingegebenen Bilddaten auf der Basis der berechneten, zeitlichen Komplexität umgewandelt. Danach werden die eingegebenen Bilddaten codiert, deren Rahmenrate umgewandelt worden ist, und die codierten Daten der codierten Bilddaten werden gesteuert, so dass die codierten Bilddaten die Information über die umgewandelte Rahmenrate haben. Dementsprechend werden die eingegebenen Bilddaten mit unterschiedlichen Rahmenraten unter Berücksichtigung der zeitlichen Komplexität der eingegebenen Bilddaten codiert. Folglich werden Bilddaten effizient gespeichert.

Description

1. Feld der Erfindung

Die vorliegende Erfindung bezieht sich auf das Feld der Codierungs- und Decodierungsverfahren und -apparate von bewegten Bildern, und besonders auf ein Verfahren der adaptiven Codierung und Decodierung bewegter Bilder unter Berücksichtigung der zeitlichen Komplexität eines eingegebenen Bilds, und auf einen Apparat dafür.

2. Beschreibung des Stands der Technik

Mit der kürzlich erfolgten Verbreitung von DVR (digital Image recorder, digitaler Videoaufzeichner) oder PVR (personal Image recorder, privater Videoaufzeichner) wurde Forschung und Entwicklung von Bildcodierung aktiv durchgeführt. Existierende DVR oder PVR komprimieren Bilder mit einer festen Rahmenrate ohne Berücksichtigung einer Charakteristik eines eingegebenen Bildes, d. h. der zeitlichen Komplexität, wodurch die Codierungseffizienz degradiert wird.

Fig. 1 ist ein Blockdiagramm eines konventionellen Bewegtbildcodierers. Eine diskrete Cosinustransformationseinheit 110 (DCT) führt DCT an den eingegebenen Bilddaten mit einem 8 × 8- Bildpunkteblock zu jeder Zeit durch, um räumliche Redundanz zu entfernen. Ein Quantisierungseinheit 120 (Q) quantisiert DCT- Koeffizienten, die durch die DCT-Einheit 110 ermittelt wurden, und drückt die DCT-Koeffizienten in einigen repräsentativen Werten aus, wodurch eine hocheffiziente Verlust-Codierung erreicht wird. Ein Codierungseinheit variabler Länge 130 (VLC) führt VLC an den quantisierten DCT-Koeffizienten durch und gibt einen Entropie-codierten Datenstrom aus.

Eine umgekehrte Quantisierungseinheit 140 (IQ) quantisiert umgekehrt quantisierte Bilddaten, die von der Q-Einheit 120 erhalten wurden. Eine umgekehrte DCT-Einheit 150 (IDCT) führt IDCT an dequantisierten Bilddaten durch, die von der IQ-Einheit 140 erhalten wurden. Ein Rahmenspeicher 160 speichert IDCT-transformierte Bilddaten, die von der IDCT-Einheit 150 erhalten wurden, auf einer Rahmen-für-Rahmen-Basis. Eine Bewegungsabschätzungseinheit 170 (ME, motion estimation) wird verwendet, um zeitliche Redundanz durch die Verwendung eines gegenwärtig empfangenen Rahmens von Bilddaten und den vorangegangenen, in dem Rahmenspeicher 160 gespeicherten Rahmen von Bilddaten beseitigen.

Um Datencodierung durchzuführen, verwenden konventionelle DVR und PVR einen MPEG-2-Codierer, wie in Fig. 1 gezeigt. Falls einlaufende Daten noch nicht codiert sind, werden sie durch den MPEG-2-Codierer codiert, und ein Bitstrom wird in einem Speichermedium, wie etwa einer Festplatte (HDD, hard disk drive) oder einer digitalen vielseitigen Platte (DVD, digital versatile disk) gespeichert. Falls einlaufende Daten codiert worden sind, führt ein konventioneller Bewegtbild-Transcodierer von Fig. 2 eine MPEG-2-Decodierung der einlaufenden Daten durch, um einen gewünschten MPEG-2-Strom zu produzieren, führt eine vorbestimmte Skalierungs- und Formatwandlung an dem produzierten MPEG-2-Strom durch und führt dann eine MPEG-2- Codierung der sich ergebenden Daten durch.

Falls einlaufende Daten mit Bezug auf Fig. 2 ein codierter Bitstrom sind, werden sie durch einen Bewegtbilddecodierer 220 decodiert, welcher eine Decodierungseinheit variabler Länge 222 (VLD), eine IQ-Einheit 224, eine IDCT-Einheit 226, einen Rahmenspeicher 228 und eine Bewegungskompensationseinheit 230 (MC, motion compensation) umfasst. Danach wird der decodierte Bitstrom mit einer gegebenen Auflösung durch einen MPEG-2- Codierer 260 codiert, welcher derselbe ist wie der Bewegtbildcodierer von Fig. 1, um einen gewünschten MPEG-2-Strom zu produzieren. Solch ein Prozess wird als Transcodierung bezeichnet. Bei der Transcodierung skaliert eine Skalierungs- und Formatwandlungseinheit 240 nach Bedarf das durch den Bewegtbilddecodierer 220 decodierte Bild herab und wandelt das Abtastformat des decodierten Bildes um, und der MPEG-2-Codierer 260 führt MPEG-2-Codierung mit einer gegebenen Rahmenrate durch.

Wie oben beschrieben, wird nach dem Stand der Technik eine MPEG-2-Codierung immer mit einer festen Rahmenrate durchgeführt. Dementsprechend wird Codierung mit einer festen Rahmenrate durchgeführt, ohne Rücksicht darauf, ob die zeitliche Komplexität abhängig von den Charakteristiken der einlaufenden Bewegtbilder hoch oder niedrig ist. Insbesondere muss dieselbe Rahmenrate beibehalten werden, selbst wenn ein einlaufendes Bild sich mit der Zeit kaum verändert. Dies degradiert die Codierungseffizienz.

Zusammenfassung der Erfindung

Um die oben beschriebenen Probleme zu lösen, ist es ein Ziel der vorliegenden Erfindung, ein Verfahren der adaptiven Codierung einlaufender Bewegtbilder unter Berücksichtigung der Charakteristiken der einlaufenden Bewegtbilder und einen Apparat dafür vorzusehen, um die Codierungseffizienz zu verbessern.

Es ist ein anderes Ziel der vorliegenden Erfindung, ein Verfahren der adaptiven Codierung eines Bewegtbildes und einen Apparat dafür vorzusehen, um die Speicherungseffizienz zu verbessern, wenn das Bewegtbild durch MPEG-2-Codierung auf einem Festplattenlaufwerk (HDD) oder einer digitalen, vielseitigen Platte (DVD) gespeichert wird.

Um das erste Ziel der vorliegenden Erfindung zu erreichen, wird in dem Verfahren der adaptiven Codierung eines Bewegtbildes unter Berücksichtigung der zeitlichen Komplexität zuerst die zeitliche Komplexität der eingegebenen Bilddaten berechnet. Als Nächstes wird die Rahmenrate der eingegebenen Bilddaten auf der Basis der berechneten, zeitlichen Komplexität umgewandelt. Danach werden die eingegebenen Bilddaten codiert, deren Rahmenrate umgewandelt worden ist, und die codierten Daten in den codierten Bilddaten werden angepasst, so dass die codierten Bilddaten die Information über die umgewandelte Rahmenrate haben.

Vorzugsweise wird die Umwandlung der Rahmenrate der eingegebenen Bilddaten durchgeführt durch Bestimmung einer Rahmenrate durch Vergleichen der berechneten, zeitliche Komplexität mit mindestens einem vorbestimmten Schwellwert und darauf folgender Umwandlung der Rahmenrate der eingegebenen Bilddaten auf der Basis der bestimmten Rahmenrate.

Vorzugsweise wird die Berechnung der zeitlichen Komplexität der eingegebenen Bilddaten erreicht durch Decodierung der eingegebenen Bilddaten und darauf folgender Berechnung der zeitlichen Komplexität unter Verwendung von Bewegungsvektoren, die bei der Decodierung der einlaufenden, codierten Bilddaten ermittelt werden.

Vorzugsweise sind die codierten Daten mindestens einer der codierten Datenwerte der Bildcodierungserweiterung in der Datenstruktur der codierten Bilddaten. Es ist auch vorzuziehen, dass die codierten Daten mindestens ein Datenwert von dem repeat_first_field-(RFF)-Wert und dem top_field_first-(TFF)-Wert der Bildcodierungserweiterung sind.

Falls die berechnete, zeitliche Komplexität größer als ein erster Schwellwert ist, werden der RFF-Wert und der TFF-Wert beide vorzugsweise auf 0 gesetzt. Falls die berechnete, zeitliche Komplexität größer als ein zweiter Schwellwert und kleiner als der erste Schwellwert ist, werden der RFF-Wert auf 1 und der TFF-Wert auf 0 gesetzt. Falls die berechnete, zeitliche Komplexität kleiner als der zweite Schwellwert ist, werden der RFF-Wert und der TFF-Wert beide vorzugsweise auf 1 gesetzt.

Um die Ziele der vorliegenden Erfindung zu erreichen, umfasst der Apparat für die adaptive Codierung eines Bewegtbildes unter Berücksichtigung der zeitlichen Komplexität eine Berechnungseinheit der zeitlichen Komplexität, eine Rahmenratenumwandlungseinheit und einen Codierer. Die Berechnungseinheit der zeitlichen Komplexität berechnet die zeitliche Komplexität der eingegebenen Bilddaten. Die Rahmenratenumwandlungseinheit wandelt die Rahmenrate der eingegebenen Bilddaten auf der Basis der berechneten, zeitlichen Komplexität um. Der Codierer codiert die eingegebenen Bilddaten, deren Rahmenrate umgewandelt worden ist, und die codierten Bilddaten werden angepasst, so dass sie die Information der umgewandelten Rahmenrate haben.

Vorzugsweise umfasst die Rahmenratenumwandlungseinheit ferner einen Rahmenratenbestimmer für die Bestimmung einer Rahmenrate durch Vergleich der berechneten, zeitlichen Komplexität mit mindestens einem vorbestimmten Schwellwert. Die Rahmenratenumwandlungseinheit wandelt die Rahmenrate der eingegebenen Bilddaten auf der Basis der durch den Rahmenratenbestimmer bestimmten Rahmenrate um.

Es ist ebenfalls vorzuziehen, dass die Berechnungseinheit der zeitliche Komplexität ferner einen Decodierer für die Decodierung der einlaufenden, codierten Bilddaten umfasst, um die zeitliche Komplexität unter Verwendung von Bewegungsvektoren zu berechnen, welche durch den Decodierer ermittelt werden.

Vorzugsweise vergleicht die Rahmenratenumwandlungseinheit die berechnete, zeitliche Komplexität mit einem ersten und einem zweiten Schwellwert, und setzt sowohl den RFF-Wert als auch den TFF-Wert auf 0, falls die berechnete, zeitliche Komplexität größer ist als ein erster Schwellwert. Falls die berechnete, zeitliche Komplexität größer als ein zweiter Schwellwert und kleiner als der erste Schwellwert ist, setzt die Rahmenratenumwandlungseinheit den RFF-Wert auf 1 und den TFF-Wert auf 0. Falls die berechnete, zeitliche Komplexität kleiner als der zweite Schwellwert ist, setzt die Rahmenratenumwandlungseinheit sowohl den RFF-Wert als auch den TFF-Wert auf 1.

Kürzlich wurden Forschungen und Entwicklungen über Bildcodierung in DVR und PVR aktiv durchgeführt. Der Kern der Bildcodierung für die Speicherung ist, wie effizient gegebene Bilder zu codieren sind. Existierende DVR und PVR codieren ein Bild nur mit einer festen Rahmenrate und speichern das codierte Bild.

Um die Probleme zu lösen, die durch die existierende, gleichförmige Codierungsweise erzeugt werden, bei der ein Bild mit einer festen Rahmenrate codiert wird, nimmt die vorliegende Erfindung ein Verfahren der Codierung eines einlaufenden Bewegtbildes individueller, vorbestimmter Abschnitte (z. B. 30 Rahmen oder einer Gruppe von Bildern (GOP, group of pictures)) mit unterschiedlichen Rahmenraten auf, abhängig von der zeitlichen Komplexität eines jeden der Abschnitte unter Berücksichtigung der Charakteristiken der Abschnitte, in denen die zeitliche Komplexität hoch oder niedrig ist.

Ein Abschnitt mit niedriger zeitlicher Komplexität wird mit einer Rahmenrate niedriger als die ursprünglich Rahmenrate codiert, durch einen Decodierer decodiert, durch Interpolation vergrößert und dann angezeigt. Ein Abschnitt mit hoher zeitlicher Komplexität, d. h. ein Abschnitt mit signifikanter Bewegungsveränderung, wird mit der ursprünglichen Rahmenrate codiert. Diese Codierungsweise verbessert eine Codierungsrate ohne signifikante Degradierung der Qualität des Bilds, und verbessert folglich die Speicherungseffizienz.

Kurze Beschreibung der Zeichnungen

Das obige Ziel und andere Vorteile der vorliegenden Erfindung werden offensichtlicher werden aus der folgenden Beschreibung ihrer bevorzugten Ausführungsformen mit Verbindung auf die angefügten Zeichnungen, in denen:
Fig. 1 ein Blockdiagramm eines konventionellen Bewegtbildcodierers ist;
Fig. 2 ein Blockdiagramm eines konventionellen Bewegtbildtranscodierers ist;
Fig. 3 ein Blockdiagramm eines adaptiven Bewegtbildcodierungsapparats ist, der die zeitliche Komplexität berücksichtigt, nach einer ersten Ausführungsform der vorliegenden Erfindung;
Fig. 4A, 4B und 4C unterschiedliche Rahmenratenumwandlungen in unterschiedlichen Abschnitten nach der vorliegenden Erfindung veranschaulichen;
Fig. 5 die Datenstruktur der Bildcodierungserweiterung in einer sechsschichtigen MPEG-2-Datenstruktur nach der vorliegenden Erfindung zeigt;
Fig. 6 ein Blockdiagramm eines adaptiven Bewegtbildcodierungsapparats ist, der die zeitliche Komplexität berücksichtigt, nach einer zweiten Ausführungsform der vorliegenden Erfindung;
Fig. 7 ein Blockdiagramm eines adaptiven Bewegtbildcodierungsapparats ist, der die zeitliche Komplexität berücksichtigt, nach einer dritten Ausführungsform der vorliegenden Erfindung;
Fig. 8 ein Blockdiagramm eines adaptiven Bewegtbildcodierungsapparats ist, der die zeitliche Komplexität berücksichtigt, nach einer vierten Ausführungsform der vorliegenden Erfindung;
Fig. 9 ein Flussdiagramm für die Veranschaulichung eines adaptiven Bewegtbildcodierungsverfahrens unter Berücksichtigung der zeitlichen Komplexität nach der vorliegenden Erfindung ist.

Detaillierte Beschreibung der bevorzugten Ausführungsform

Fig. 3 ist ein Blockdiagramm eines adaptiven Bewegtbildcodierungsapparats, der die zeitliche Komplexität berücksichtigt, nach einer ersten Ausführungsform der vorliegenden Erfindung. Der Bewegtbildcodierungsapparat umfasst einen Bewegungsaktivitätsberechner 320, einen Rahmenratenbestimmer 340, einen Rahmenratenwandler 360 und einen Codierer 380.
Der Bewegungsaktivitätsberechner 320 berechnet die zeitliche Komplexität eines eingegebenen Bilds in Einheiten eines Abschnitts vorbestimmter Größe. In der ersten Ausführungsform sind zwecks Vereinfachung der Erläuterung 30 Rahmen als ein Einheitsabschnitt bestimmt. Jedoch kann eine Gruppe von Bildern (GOP) oder eine Sequenz als ein Einheitsabschnitt für die Berechnung der zeitlichen Komplexität bestimmt werden, oder die Benutzer können den Einheitsabschnitt bestimmen.
In der ersten Ausführungsform wird die Bewegungsaktivität, d. h. die Größe eines Bewegungsvektors, verwendet, um die zeitliche Komplexität zu berechnen. Die Bewegungsvektoren der Makroblöcke, die innerhalb eines vorbestimmten Einheitsabschnitts existieren, d. h. 30 Rahmen, werden berechnet, dann werden die Bewegungsaktivitäten der Makroblöcke aus den berechneten Bewegungsvektorwerten (MV) berechnet und dann wird ein Mittelwert gebildet. Falls der MV-Wert eines einzigen Makroblocks (MV1, MV2) ist, dann ist die Bewegungsaktivität des Makroblocks MV1² + MV2². Auf diese Weise berechnet der Bewegungsaktivitätsberechner 320 die mittlere Bewegungsaktivität pro Makroblock innerhalb 30 Rahmen.
Jedoch kann diese Ausführungsform andere Berechnungen als die oben beschriebene Berechnung unter Verwendung der Bewegungsaktivität annehmen.
Der Rahmenratenbestimmer 340 bestimmt die Rahmenrate des vorbestimmten Einheitsabschnitts durch Vergleich der mittleren, von dem Bewegungsaktivitätsberechner 320 erhaltenen Bewegungsaktivität pro Makroblock mit vorbestimmten Schwellwerten. Hier können die vorbestimmten Schwellwerte unter Berücksichtigung der Systemumgebung (z. B. einer Puffer- oder einer Speicherkapazität) anfänglich eingestellt sein oder von den Benutzern abhängig von dem Typ der eingegebenen Bilder willkürlich bestimmt sein. Die Schwellwerte können beeinflussen, wie die durch den Rahmenratenbestimmer 340 bestimmte Rahmenrate gesteuert wird. Die bestimmte Rahmenrate kann auch durch Auswählen verschiedener Schwellwerte und ihren Vergleich mit dem berechneten, mittleren Bewegungsaktivitätswerten gesteuert werden.
Wenn zwei Schwellwerte TH1 und TH2 (TH1 > TH2) verwendet werden, wird dann, wenn die mittlere Bewegungsaktivität pro Makroblock größer als TH1 ist, das eingegebene Bild mit der ursprünglichen Rahmenrate codiert. Wenn die mittlere Bewegungsaktivität pro Makroblock größer als TH2 und kleiner als TH1 ist, wird das eingegebene Bild mit der Hälfte der ursprünglichen Rahmenrate codiert. Wenn die mittlere Bewegungsaktivität pro Makroblock kleiner als TH2 ist, wird das eingegebene Bild mit dem Drittel der ursprünglichen Rahmenrate codiert.
Z. B., wenn die ursprüngliche Rahmenrate 30 Hz ist und die zwei Schwellwerte 10 und 20 sind, wird dann, wenn die mittlere Bewegungsaktivität größer als 20 ist, ein eingegebenes Bild mit 30 Hz codiert. Wenn die mittlere Bewegungsaktivität größer als 10 und kleiner als 20 ist, wird ein eingegebenes Bild mit 15 Hz codiert. Wenn die mittlere Bewegungsaktivität kleiner als 10 ist, wird ein eingegebenes Bild mit 10 Hz codiert.
Die Schwellwerte TH1 und TH2 können durch ein Experiment ausgewählt werden. Obgleich die erste Ausführungsform die mittlere Bewegungsaktivität eines jeden der Makroblöcke innerhalb eines bestimmten Einheitsabschnitts verwendet, um die Rahmenrate des bestimmten Einheitsabschnitts zu bestimmen, kann die mittlere Bewegungsaktivität einer vorbestimmten Anzahl von Makroblöcken ebenfalls verwendet werden.
Der Rahmenratenwandler 360 steuert die Rahmenrate von eingegebenen Bilddaten auf der Basis der durch den Rahmenratenbestimmer 340 bestimmten Rahmenrate und gibt sie an den Codierer 380 aus.
Fig. 4A, 4B und 4C zeigen unterschiedliche Rahmenraten, die der Rahmenratenwandler 360 auf der Basis der bestimmten Rahmenrate umwandelt. In Fig. 4A, 4B und 4C sind die schwarzen Rahmen aktuell zu codieren, und die weißen Rahmen sind ohne Codierung zu überspringen. Fig. 4A zeigt die Rahmenumwandlung, die durchgeführt wird, wenn die mittlere Bewegungsaktivität pro Makroblock innerhalb von 30 Rahmen größer als der erste Schwellwert TH1 ist. Fig. 4B zeigt die Rahmenumwandlung, die durchgeführt wird, wenn die mittlere Bewegungsaktivität pro Makroblock innerhalb von 30 Rahmen kleiner als der erste Schwellwert TH1 und größer als der zweite Schwellwert TH2 ist. Fig. 4C zeigt die Rahmenumwandlung, die durchgeführt wird, wenn die mittlere Bewegungsaktivität pro Makroblock innerhalb von 30 Rahmen kleiner als der zweite Schwellwert TH2 ist.
Z. B. bei MPEG-2-Codierung codiert der Codierer 380 Rahmen mit den durch den Rahmenratenumwandler 360 gesteuerten Rahmenraten abhängig von dem Grad der zeitlichen Komplexität. Zusätzlich werden bei MPEG-2-Codierung die Parameter in der Synthaxstufe eines codierten Bitstroms geeignet gesteuert, so dass der codierte Bitstrom Information hat, welche die gesteuerten Rahmenraten repräsentiert. Dies ermöglicht einem Decodierer, die Decodierung mit der ursprünglichen Rahmenrate durchzuführen.
In dieser Ausführungsform werden bei der MPEG-2-Codierung der "repeat_first_field"-(RFF)-Wert und der "top_field_first"- (TFF)-Wert, welches die Parameter der Bildcodierungserweiterung der Synthaxstufe in der Architektur der codierten Daten sind, passend eingestellt.
Um es genauer darzustellen: wenn die Rahmen in dem Einheitsabschnitt, in dem die mittlere Bewegungsaktivität pro Makroblock größer als TH1 ist, mit der ursprünglichen Rahmenrate codiert werden, werden sowohl der RFF-Wert als auch der TFF- Wert auf 0 gesetzt.
Wenn die Rahmen in dem Einheitsabschnitt, in dem die mittlere Bewegungsaktivität pro Makroblock größer als TH2 und kleiner als TH1 ist, mit der Hälfte der ursprünglichen Rahmenrate codiert werden, werden der RFF-Wert auf 1 und der TFF- Wert auf 0 gesetzt. Dementsprechend werden die Rahmen bei der Decodierung einmal wiederholt.
Da die Rahmen in dem Einheitsabschnitt, in dem die mittlere Bewegungsaktivität pro Makroblock kleiner als TH2 ist, mit dem Drittel der ursprünglichen Rahmenrate codiert werden, werden sowohl der RFF-Wert als auch der TFF-Wert auf 0 gesetzt. Dementsprechend werden die Rahmen bei der Decodierung zweimal wiederholt.
Fig. 5 zeigt die Datenstruktur der Bildcodierungserweiterung in einer MPEG-2-Datenarchitektur mit sechs Schichten. In der ersten Ausführungsform werden die Parameter TFF und RFF von den Codierungsdaten der Bildcodierungserweiterung verwendet, so dass ein mit einer umgewandelten Rahmenrate codierter Bitstrom die Information über die umgewandelte Rahmenrate hat. Wie oben beschrieben, ermöglicht ein Bewegtbildcodierungsapparat nach der vorliegenden Erfindung es, dass ein codierter Bitstrom durch Steuerung einiger Parameter der Bildcodierungserweiterung des codierten Bitstroms die Information über seine korrespondierende, umgewandelte Rahmenrate hat.
Dementsprechend kann ein Decodierungsapparat für das Decodieren eines Bitstroms, der mit einer Rahmenrate codiert wurde, die in dem Codierungsapparat nach der vorliegenden Erfindung umgewandelt wurde, den codierten Bitstrom mit der ursprünglichen Rahmenrate auf der Basis der Information in dem codierten Bitstrom decodieren.
Da die durch den Bewegungsaktivitätsberechner 320 berechneten Bewegungsvektoren bei der MPEG-2-Codierung verwendet werden, wie in Fig. 3 gezeigt, kann die Menge der Berechnungen reduziert werden, die für die MPEG-2-Codierung erforderlich ist.
Fig. 6 zeigt einen adaptiven Bewegtbildcodierungsapparat nach einer zweiten Ausführungsform der vorliegenden Erfindung, wenn ein eingegebenes Bild nicht eine fortschreitende Sequenz ist. Dieser Bewegtbildcodierungsapparat umfasst einen verschachtelt-zu-fortschreitend-Umwandler 610 (IPC, interlaced progressive converter), einen Bewegungsaktivitätsberechner 620, einen Rahmenratenbestimmer 640, einen Rahmenratenwandler 660 und einen Codierer 680. Der Bewegungsaktivitätsberechner 620, der Rahmenratenbestimmer 640, der Rahmenratenwandler 660 und der Codierer 680 führen dieselben Operationen aus wie die Gegenstücke von Fig. 3, so dass sie nicht im Detail beschrieben werden.
Wenn ein eingegebenes Bild nicht eine fortschreitende Sequenz ist, wird es durch eine verschachtelt-zu-fortschreitend- Umwandlung in eine fortschreitende Sequenz umgewandelt, und dann wird dieselbe Codierung durchgeführt, wie sie in dem Bewegtbildcodierungsapparat von Fig. 4 durchgeführt wird.
In dieser Ausführungsform wird angenommen, dass die Rahmenrate und räumliche Auflösung eines eingegebenen Bilds, das durch den IPC 610 empfangen wird, beibehalten wird, bis das eingegebene Bild von dem IPC 610 ausgegeben wird. D. h. es wird angenommen, dass ein verschachteltes 720 × 480-Bild in ein fortschreitendes 720 × 480-Bild umgewandelt wird. Jedoch kann die räumliche Auflösung und Rahmenrate bei einer Umwandlung in eine fortschreitende Sequenz passend durch die Benutzer gesteuert werden.
Fig. 7 zeigt einen adaptiven Bewegtbildcodierungsapparat unter Berücksichtigung der zeitlichen Komplexität nach einer dritten Ausführungsform der vorliegenden Erfindung. Dieser adaptive Bewegtbildcodierungsapparat umfasst einen Bewegtbilddecodierer 720, einen Bewegungsaktivitätsberechner 740, einen Rahmenratenbestimmer 750, einen Rahmenratenwandler 760 und einen Codierer 780. Der Bewegtbilddecodierer 720 umfasst einen Decodierer variabler Länge (VLD) 722, einen umgekehrten Quantisierer (IQ) 724, einen umgekehrten Diskrete-Cosinus-Transformator (IDCT) 726, einen Rahmenspeicher 728 und einen Bewegungskompensator (MC) 730.
Die Funktionseinheiten des Bewegtbilddecodierers 720 führen dieselben Operationen durch wie jene Gegenstücke eines konventionellen MPEG-Decodierers, und so werden sie nicht im Detail beschrieben.
In dieser Ausführungsform werden die Bewegungsaktivitäten der Intermakroblöcke der B-Rahmen oder P-Rahmen innerhalb eines Einheitsabschnitts berechnet und gemittelt, um die mittlere Aktivität pro Makroblock innerhalb des Einheitsabschnitts zu ermitteln.
D. h., falls eingegebene Bilddaten ein codierter Strom sind, berechnet der Bewegungsaktivitätsberechner 740 die Bewegungsaktivität eines jeden der Makroblöcke innerhalb eines Einheitsabschnitts unter Verwendung von Bewegungsvektoren, die bei der Decodierung ermittelt werden, welche in dem Bewegtbilddecodierer 720 durchgeführt wird. Dementsprechend benötigt der Bewegungsaktivitätsberechner 740 anders als der Bewegungsaktivitätsberechner 320 von Fig. 3 keinen zusätzlichen Bewegungsabschätzer.
Z. B. empfängt der Bewegungsaktivitätsberechner 740 die MV von dem VLD 722 und berechnet die mittlere Bewegungsaktivität pro Makroblock unter Verwendung der empfangenen MV.
Der Rahmenratenbestimmer 750, der Rahmenratenwandler 760 und der Codierer 780 führen dieselben Operationen aus wie jene Gegenstücke von Fig. 3, und so werden sie nicht in größerem Detail beschrieben.
Der Rahmenratenbestimmer 750 bestimmt die Rahmenrate der Rahmen, die mit einem Einheitsabschnitt korrespondieren, durch Vergleich der mittleren, durch den Bewegungsaktivitätsberechner 740 pro Makroblock berechneten Bewegungsaktivität mit vorbestimmten Schwellwerten.
Wenn zwei Schwellwerte TH1 und TH2 (TH1 > TH2) verwendet werden, dann werden bei einer mittleren Bewegungsaktivität pro Makroblock größer als TH1 Rahmen mit der ursprünglichen Rahmenrate codiert. Fall die mittlere Bewegungsaktivität pro Makroblock größer als TH2 und kleiner als TH1 ist, dann werden Rahmen mit der Hälfte der ursprünglichen Rahmenrate codiert. Fall die mittlere Bewegungsaktivität pro Makroblock kleiner als TH2 ist, dann werden Rahmen mit einem Drittel der ursprünglichen Rahmenräte codiert.
Der Rahmenratenumwandler 760 steuert die Rahmenrate der eingegebenen Bilddaten auf der Basis der durch den Rahmenratenbestimmer 750 bestimmten Rahmenrate, wie in Fig. 4A, 4B und 4C gezeigt, und gibt sie an den Codierer 780 aus.
Z. B. bei MPEG-2-Codierung codiert der Codierer 780 Rahmen mit den durch den Rahmenratenumwandler 760 gesteuerten Rahmenraten abhängig von dem Grad der zeitlichen Komplexität. Zusätzlich werden bei MPEG-2-Codierung einige Parameter in der Synthaxstufe eines codierten Bitstroms, d. h. in den codierten Daten in der Datenarchitektur, geeignet gesteuert, so dass der codierte Bitstrom die Information hat, welche die gesteuerten Rahmenraten repräsentiert. Dies ermöglicht einem Decodierer, die Decodierung mit der ursprünglichen Rahmenrate durchzuführen.
Wie oben beschrieben, ermöglicht ein Bewegtbildcodierungsapparat nach der vorliegenden Erfindung, dass ein codierter Bitstrom durch geeignete Steuerung einiger Parameter der Bildcodierungserweiterung des codierten Bitstroms die Information über seine korrespondierende, umgewandelte Rahmenrate hat.
Dementsprechend kann ein Decodierungsapparat für das Decodieren eines Bitstroms, der mit einer Rahmenrate codiert wurde, die in dem Codierungsapparat nach der vorliegenden Erfindung umgewandelt wurde, den codierten Bitstrom auf der Basis der Information in dem codierten Bitstrom mit der ursprünglichen Rahmenrate decodieren.
Fig. 8 zeigt einen adaptiven Bewegtbildcodierungsapparat unter Berücksichtigung der zeitlichen Komplexität nach einer vierten Ausführungsform der vorliegenden Erfindung, der vorgesehen wird, wenn ein eingegebenes Bild nicht eine fortschreitende Sequenz ist. Dieser adaptive Bewegtbildcodierungsapparat umfasst einen Bewegtbilddecodierer 820, einen Bewegungsaktivitätsberechner 840, einen Rahmenratenbestimmer 850, einen IPC 860, einen Rahmenratenwandler 870 und einen Codierer 880. Der Bewegtbilddecodierer 820 umfasst einen VLD 822, einen IQ 824, einen IDCT 826, einen Rahmenspeicher 828 und einen MC 830.
Der Bewegtbilddecodierer 820, der Bewegungsaktivitätsberechner 840, der Rahmenratenbestimmer 850, der Rahmenratenwandler 870 und der Codierer 880 führen dieselben Operationen durch wie die in Fig. 6 gezeigten Gegenstücke, und so werden sie nicht im Detail beschrieben.
Wenn ein eingegebenes Bild nicht eine fortschreitende Sequenz ist, wird es durch den Bewegtbilddecodierer 820 decodiert. Die decodierten Daten werden durch die von dem IPC 860 durchgeführte verschachtelt-zu-fortschreitend-Umwandlung in eine fortschreitende Sequenz umgewandelt. Dann wird dieselbe Codierung durchgeführt, wie sie in dem Bewegtbildcodierungsapparat von Fig. 6 durchgeführt wird.
In dieser Ausführungsform wird angenommen, dass die Rahmenrate und räumliche Auflösung eines eingegebenen Bilds, das durch den IPC 860 empfangen wird, beibehalten wird, bis das eingegebene Bild von dem IPC 860 ausgegeben wird. D. h. es wird angenommen, dass ein verschachteltes 720 × 480-Bild in ein fortschreitendes 720 × 480-Bild umgewandelt wird. Jedoch kann die räumliche Auflösung und Rahmenrate bei einer Umwandlung in eine fortschreitende Sequenz passend durch die Benutzer gesteuert werden.
Fig. 9 ist ein Flussdiagramm für die Veranschaulichung eines adaptiven Bewegtbildcodierungsverfahrens unter Berücksichtigung der zeitlicher Komplexität nach der vorliegenden Erfindung. In Schritt 920 wird die zeitliche Komplexität der eingegebenen Bilddaten in Einheiten eines Abschnitts vorbestimmter Größe berechnet. Hier wird die mittlere Bewegungsaktivität pro Makroblock innerhalb eines Einheitsabschnitts unter Verwendung einer Bewegungsaktivität, d. h. einer Bewegungsvektorgröße, berechnet, um die zeitliche Komplexität zu berechnen.
In Schritt 940 wird die Rahmenrate des Einheitsabschnitts durch Vergleich der in Schritt 920 berechneten, mittleren Bewegungsaktivität pro Makroblock mit vorbestimmten Schwellwerten bestimmt. Wenn zwei Schwellwerte TH1 und TH2 (TH1 > TH2) verwendet werden, wird das eingegebene Bild bei einer mittleren Bewegungsaktivität größer als TH1 mit der ursprünglichen Rahmenrate codiert. Falls die mittlere Bewegungsaktivität größer als TH2 und kleiner als TH1 ist, wird das eingegebene Bild mit der Hälfte der ursprünglichen Rahmenrate codiert. Falls die mittlere Bewegungsaktivität kleiner als TH2 ist, wird das eingegebene Bild mit einem Drittel der ursprünglichen Rahmenrate codiert.
In Schritt 960 wird die Rahmenrate der eingegebenen Bilddaten auf der Basis der in Schritt 940 bestimmten Rahmenraten gesteuert.
In Schritt 980 werden die eingegebenen Bilddaten codiert, deren Rahmenrate in Schritt 960 umgewandelt worden ist. Auch werden einige Parameter in der Synthaxstufe der codierten Daten, d. h. in der Datenstruktur eines codierten Bitstroms auf geeignete Weise gesteuert, so dass der codierte Bitstrom die Information hat, welche die umgewandelte Rahmenrate repräsentiert. Hier sind die Parameter der RFF-Wert und der TFF-Wert, welches die Parameter der Bildcodierungserweiterung in der Synthaxstufe in der Architektur der codierten Daten sind.
Wenn z. B. bei MPEG-2-Codierung die mittlere Bewegungsaktivität pro Makroblock größer als TH1 ist, werden die Rahmen mit der ursprünglichen Rahmenrate codiert. Dementsprechend wird sowohl der RFF-Wert als auch der TFF-Wert auf 0 gesetzt.
Falls die mittlere Bewegungsaktivität pro Makroblock größer als TH2 und kleiner als TH1 ist, werden die Rahmen mit der Hälfte der ursprünglichen Rahmenrate codiert, und der RFF-Wert wird auf 1 und der TFF-Wert wird auf 0 gesetzt. Dementsprechend werden die Rahmen bei der Decodierung einmal wiederholt.
Falls die mittlere Bewegungsaktivität pro Makroblock kleiner als TH2 ist, werden die Rahmen mit einem Drittel der ursprünglichen Rahmenrate codiert, und sowohl der RFF-Wert als auch der TFF-Wert wird auf 0 gesetzt. Dementsprechend werden die Rahmen bei der Decodierung zweimal wiederholt.
Wie oben beschrieben, ermöglicht das Bewegtbildcodierungsverfahren nach der vorliegenden Erfindung, dass ein Bitstrom durch geeignete Steuerung einiger Parameter der Bildcodierungserweiterung des codierten Bitstroms die Information über seine korrespondierende, umgewandelte Rahmenrate hat.
Dementsprechend kann ein Decodierungsapparat für die Decodierung eines Bitstroms, der mit einer Rahmenrate codiert wurde, welche in dem Codierungsapparat nach der vorliegenden Erfindung umgewandelt wurde, den codierten Bitstrom auf der Basis der an den codierten Bitstrom angefügten Information mit der ursprünglichen Rahmenrate decodieren.
Während die Erfindung besonders gezeigt und beschrieben wurde mit Bezug auf ihre bevorzugten Ausführungsformen, ist von den in der Technik Bewanderten zu verstehen, dass verschiedene Auswechselungen in Form und Detail darin gemacht werden können, ohne vcm Geist und Umfang der Erfindung abzuweichen, wie durch die angefügten Ansprüche definiert.
Das Bewegtbildcodierungsverfahren nach der vorliegenden Erfindung kann als Computercode in einem vom Computer lesbaren Aufzeichnungsmedium geschrieben werden. Das Aufzeichnungsmedium umfasst alle Arten von Aufzeichnungsmedien für die Speicherung von Daten, die von einem Computer gelesen werden können. Z. B. umfasst das Aufzeichnungsmedium ROM, RAM, CD-ROM, Magnetbänder, Festplatten, Floppy Disk, Flash-Speicher und optische Datenaufzeichnungsmedien. Auch können die Computercodes über eine Trägerwelle wie das Internet transportiert werden. Das Aufzeichnungsmedium ist dezentralisiert in einem Computersystem, das über ein Netzwerk verbunden ist, und das Bewegtbildcodierungsverfahren kann als Computercodes geschrieben und auf eine dezentralisierte Weise ausgeführt werden.
In der vorliegenden, oben beschriebenen Erfindung wird die zeitliche Komplexität eines Bilds in Abschnitten vorbestimmter Größe berechnet, wobei der Bildabschnitt mit einer relativ niedrigen zeitlichen Komplexität mit einer Rahmenrate codiert wird, die niedriger als die ursprüngliche Rahmenrate ist, und der Bildabschnitt mit einer relativ hohen zeitlichen Komplexität mit der ursprüngliche Rahmenrate codiert wird. Die Synthaxstufe der codierten Daten wird auf geeignete Weise gesetzt, um die codierten Daten mit der ursprünglichen Rahmenrate zu decodieren. Somit können Bewegtbilder in einem Speicherungsmedium effizienter und ohne Degradierung der Bildqualität gespeichert werden.

Claims

1. Verfahren der adaptiven Codierung eines Bewegtbildes, und das Verfahren umfasst die Schritte:

a) Berechnen der zeitlichen Komplexität der eingegebenen Bilddaten;

b) Umwandeln der Rahmenrate der eingegebenen Bilddaten auf der Basis der berechneten, zeitlichen Komplexität; und

c) Codierung der eingegebenen Bilddaten, deren Rahmenrate umgewandelt worden ist, und Anpassung der codierten Daten der codierten Bilddaten, so dass die codierten Bilddaten die Information über die umgewandelte Rahmenrate haben.

2. Verfahren nach Anspruch 1, wobei der Schritt (b) umfasst:

1. Bestimmen einer Rahmenrate durch Vergleichen der berechneten zeitliche Komplexität mit mindestens einem vorbestimmten Schwellwert; und

2. Umwandeln der Rahmenrate der eingegebenen Bilddaten auf der Basis der bestimmten Rahmenrate.

3. Verfahren nach Anspruch 1, wobei der Schritt (a) umfasst:

1. Decodierung der eingegebenen Bilddaten; und

2. Berechnen der zeitlichen Komplexität unter Verwendung von Bewegungsvektoren, die in Schritt (a1) ermittelt wurden.

4. Verfahren nach Anspruch 1, wobei die codierten Daten in Schritt (c) mindestens einer der codierten Datenwerte der Bildcodierungserweiterung in der Datenstruktur der codierten Bilddaten sind.

5. Verfahren nach Anspruch 4, wobei die codierten Daten mindestens ein Datenwert von dem repeat_first_field-(RFF)-Wert und dem top_field_first-(TFF)-Wert der Bildcodierungserweiterung sind.

6. Verfahren nach Anspruch 5, wobei dann, wenn die berechnete, zeitliche Komplexität größer als ein erster Schwellwert ist, sowohl der RFF-Wert als auch der TFF-Wert auf 0 gesetzt werden, und dann, wenn die berechnete, zeitliche Komplexität größer als ein zweiter Schwellwert und kleiner als der erste Schwellwert ist, der RFF-Wert auf 1 und der TFF-Wert auf 0 gesetzt werden, und dann, wenn die berechnete, zeitliche Komplexität kleiner als der zweite Schwellwert ist, sowohl der RFF- Wert als auch der TFF-Wert auf 1 gesetzt werden.

7. Verfahren nach Anspruch 6, wobei der erste Schwellwert größer als der zweite Schwellwert ist.

8. Verfahren nach Anspruch 1, wobei die zeitliche Komplexität auf der Basis der Bewegungsaktivität pro Makroblock in den eingegebenen Bilddaten berechnet wird.

9. Verfahren nach Anspruch 8, wobei die Bewegungsaktivität die Größe des Bewegungsvektors des Makroblocks ist.

10. Verfahren nach Anspruch 9, wobei dann, wenn der Bewegungsvektor des Makroblocks (MV1, MV2) ist, die Bewegungsaktivität MV1² + MV2² ist.

11. Verfahren nach Anspruch 1, wobei die Berechnung der zeitlichen Komplexität und die Bestimmung der Rahmenrate in vorbestimmten Abschnitten der eingegebenen Bilddaten durchgeführt wird.

12. Verfahren nach Anspruch 11, wobei der vorbestimmte Einheitsabschnitt der eingegebenen Bilddaten eine Bildgruppe (GOP, group of pictures) ist.

13. Verfahren nach Anspruch 11, wobei der vorbestimmte Einheitsabschnitt der eingegebenen Bilddaten eine Sequenz ist.

14. Apparat für die adaptive Codierung eines Bewegtbildes, und der Apparat umfasst:
eine Berechnungseinheit der zeitlichen Komplexität für die Berechnung der zeitlichen Komplexität der eingegebenen Bilddaten;
eine Rahmenratenumwandlungseinheit für die Umwandlung der Rahmenrate der eingegebenen Bilddaten auf der Basis der berechneten, zeitlichen Komplexität; und
einen Codierer für die Codierung der eingegebenen Bilddaten, deren Rahmenrate umgewandelt worden ist, und für die Anpassung der codierten Bilddaten, so dass die codierten Bilddaten die Information der umgewandelten Rahmenrate haben.

15. Apparat nach Anspruch 14, wobei die Rahmenratenumwandlungseinheit ferner umfasst: einen Rahmenratenbestimmer für die Bestimmung einer Rahmenrate durch Vergleich der berechneten, zeitlichen Komplexität mit mindestens einem vorbestimmten Schwellwert, und die Rahmenrate der eingegebenen Bilddaten auf der Basis der durch den Rahmenratenbestimmer bestimmten Rahmenrate umgewandelt wird.

16. Apparat nach Anspruch 14, wobei die Berechnungseinheit der zeitliche Komplexität ferner umfasst: einen Decodierer für die Decodierung der eingegebenen, codierten Bilddaten, und die zeitliche Komplexität unter Verwendung der durch den Decodierer ermittelten Bewegungsvektoren berechnet wird.

17. Apparat nach Anspruch 14, wobei die codierten Daten mindestens einer der codierten Datenwerte der Bildcodierungserweiterung in der Datenstruktur der codierten Bilddaten sind.

18. Apparat nach Anspruch 17, wobei die codierten Daten mindestens ein Datenwert von dem repeat_first_field-(RFF)-Wert und dem top_field_first-(TFF)-Wert der Bildcodierungserweiterung sind.

19. Apparat nach Anspruch 18, wobei die Rahmenratenumwandlungseinheit sowohl den RFF-Wert als auch den TFF-Wert auf 0 setzt, wenn die berechnete, zeitliche Komplexität größer als ein erster Schwellwert ist, und den RFF-Wert auf 1 und den TFF-Wert auf 0 setzt, wenn die berechnete, zeitliche Komplexität größer als ein zweiter und kleiner als der erste Schwellwert ist, und sowohl den RFF-Wert als auch den TFF-Wert auf 1 setzt, wenn die berechnete, zeitliche Komplexität kleiner als der zweite Schwellwert ist.

20. Apparat nach Anspruch 19, wobei der erste Schwellwert größer als der zweite Schwellwert ist.

21. Apparat nach Anspruch 14, wobei die zeitliche Komplexität auf der Basis der Bewegungsaktivität pro Makroblock in den eingegebenen Bilddaten berechnet wird.

22. Apparat nach Anspruch 21, wobei die Bewegungsaktivität die Größe des Bewegungsvektors des Makroblocks ist.

23. Apparat nach Anspruch 22, wobei dann, wenn der Bewegungsvektor des Makroblocks (MV1, MV2) ist, die Bewegungsaktivität MV1² + MV2² ist.

24. Apparat nach Anspruch 20, wobei die Berechnung der zeitlichen Komplexität und die Bestimmung der Rahmenrate in Bildgruppen (GOP, group of pictures) durchgeführt wird.

25. Apparat nach Anspruch 20, wobei die Berechnung der zeitlichen Komplexität und die Bestimmung der Rahmenrate in Sequenzen durchgeführt wird.