DE69814212T2

DE69814212T2 - Gerät zur Bildsignalumwandlung

Info

Publication number: DE69814212T2
Application number: DE69814212T
Authority: DE
Inventors: Daisaku Suginami-ku Komiya; Tsutomu Kawasaki-ku Uenoyama
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-02-28
Filing date: 1998-02-27
Publication date: 2004-04-01
Anticipated expiration: 2018-02-28
Also published as: SG65739A1; EP0862332A2; EP0862332B1; CA2228361C; AU719060B2; AU5637098A; CN1192101A; EP0862332A3; DE69814212D1; US6192078B1; CA2228361A1; MY129589A; CN1125570C

Description

ALLGEMEINER STAND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Gerät zur Bildsignalumwandlung für eine Formatumsetzung mit Bewegungsbildkompression. Genauer gesagt, die Erfindung bezieht sich auf ein Gerät zur Bildsignalumwandlung, wobei beabsichtigt ist, die Geschwindigkeit der Bewegungsbildformatumsetzung zu erhöhen, um den Umfang an Operationen für eine Bewegungsvektorfeststellung zu reduzieren.
Beschreibung des Standes der Technik
In letzter Zeit ist die Digitalumsetzung einer Übertragungstechnik vorangeschritten, und es existiert auch ein Plan, ein laufendes analoges Rundfunksystem zu digitalisieren, wie das System NTSC/PAL/SECAM. Ein neuer Rundfunkdienst, der eine Digitaltechnik anwendet, ist ein direktes Senden per Satellit durch Bereitstellen eines Multikanaldienstes, eines Grundwellensendens für einen hochauflösenden Fernsehrundfunk (ATV: Advanced Television), ein Video auf Anfrage oder dergleichen. Wenn jedoch ein derartiges Bewegungsbild übertragen wird durch ein digitales Signal, kommt das Problem der großen Informationsmenge auf. Eine Bewegungsbildkompressionstechnik ist wesentlich, um eine Echtzeitwiedergabe mit einer hohen Bildfolgerate auszuführen, um den Verkehr im Netz zu erleichtern.
Um in effizienter Weise Bewegungsbilddaten mit einer großen Informationsmenge zu komprimieren, wird ein Versuch zum Reduzieren der Redundanz durch Verwendung einer Zeitachsenrichtung oder einer Korrelation in der Zeitachsenrichtung verwendet. Ein typischer Lösungsweg ist ein MPEG-System (Motion Picture Image Coding Experts Group System). Dieser Lösungsweg ist abgehandelt und vorgeschlagen in ISO-IEC/JTC1/SC2/WG11 als Normen. In diesem System wird ein Hybridsystem einer Kombination einer Bewegungskompensationscodierung, einer DCT-Codierung (Discrete Cosine Transform Coding) und eine variable Längencodierung (VLC) verwendet. Der Aufbau eines typischen MPEG-Codiergerätes ist in 15 dargestellt. Ein aktuelles Bild wird eingegeben in einen Vektorfeststellabschnitt und in einen Subtrahierer. Im Bewegungsvektorfeststellabschnitt wird das aktuelle Bild eingeteilt in rechteckige Blöcke. Durch Errechnen der Korrelation zwischen einem jeden Block und einem vorherigen Bild, das vorher in einem Bildspeicher zwischengespeichert wurde, wird ein Bewegungsvektor für jeden Block festgestellt. Ein vorhergesagtes Bild, erzeugt durch Verschieben des vorherigen Bildes aus dem Ort des aktuellen Bildblockes zu dem Punkt, den der Bewegungsvektor aufzeigt, wird dann dem Subtrahierer eingegeben. Im Subtrahierer wird ein Differentialbild zwischen dem aktuellen Bild und dem vorhergesagten Bild errechnet. Das Differentialbild wird dann transformiert in Diskret-Kosinus-Art und quantisiert durch DCT-Mittel beziehungsweise durch Quantisierungsmittel. Die Daten werden dann längenvariabel codiert von einem längenvariablen Codiermittel und dann nach außen abgegeben. Zu dieser Zeit wird der vom Bewegungsvektorfeststellabschnitt festgestellte Bewegungsvektor ebenfalls durch Bewegungsinformationscodiermittel codiert und dann nach außen gemeinsam mit den Daten abgegeben. Zur selben Zeit, zu der die quantisierten Daten in das längenvariable Codiermittel eingegeben werden, erfolgt auch die Eingabe in ein inverses Quantisierungsmittel. Die Daten werden dann erneut im differentialen Bild über das inverse DCT-Mittel wiederhergestellt. In einem Addierer werden das laufende Bild, das vorhergesagte Bild und das Differentialbild miteinander addiert, so daß das laufende Bild wiederhergestellt ist. Das wiederhergestellte Bild wird im Bildspeicher in Vorbereitung auf die nachfolgende Bildcodierung gespeichert.
In der Serie derartiger Codierprozesse erfordert es viel Zeit für den Bewegungsvektorfeststellabschnitt, eine Operation durchzuführen. Eine Studie ist hierfür erstellt worden, um diese Verarbeitung zu verringert beziehungsweise zu vereinfachen. Da jedoch diese Verringerung oder Vereinfachung in äquivalenter Weise zu Makroblöcken erfolgt, wird eine Bewegungsvektorfeststellgenauigkeit verschlechtert. Der Bewegungsvektor ist so festgelegt, daß die Verarbeitungseinheit den Makroblock dafür einrichten kann (16 × 16 Pixel). Der Makroblock wird klassifiziert in drei Arten (Intra: der Block selbst wird verwendet wegen einer starken Bewegung; Nicht-MC-codiert: eine einfache Differenz zwischen Bildern wird hergestellt wegen geringerer Bewegung; und MC-codiert: eine normale Bewegungskompensation) gemäß dem Bewegungsvektor. Bekannt ist ein Verfahren, das in der japanischen offengelegten Patentanmeldung Nr. 4-181888 offenbart ist, in dem eine Blockbestimmungsschaltung vorgesehen ist vor dem Bewegungsvektorfeststellabschnitt, wodurch der Makroblock so klassifiziert wird, daß sich die Verarbeitung als Ergebnis des Klassifizierungsergebnisses ändert. Wenn jedoch die Bewegung nach diesem Verfahren bestimmt ist, wird der Block verglichen mit dem Block, der allein im Makroblock positioniert ist (entsprechend dem Bewegungsvektor 0) im vorherigen Bild. Die Blöcke werden einfach klassifiziert danach, ob sie in Bewegung sind. Ist ein Block als bewegungslos klassifiziert, wird keine Bewegungsfeststellung für diesen Block ausgeführt.
Ein digitaler Videobandrekorder ist andererseits einer von wichtigen Faktoren digitaler Rundfunkübertragungstechnik, wie zuvor beschrieben. Ein unkomprimierter digitaler Videobandrekorder ist bislang verwendet worden als digitaler Videobandrekorder für eine Rundfunksendestation in der Sendestation oder dergleichen. Der digitale Videobandrekorder hat einen Vorteil darin, daß er eine hohe Qualität und eine Verschlechterung während des Kopierens nicht feststellbar ist.
Die Digitalisierung verursacht jedoch ein Problem, bei dem sich die aufgezeichnete Information erhöht. Da darüber hinaus der digitale Videobankrekorder große Abmessungen besitzt und teuer ist, ist im allgemeinen weniger gut zu verwenden. Neueste Fortschritte in einer Bandkompressionstechnik und Verbesserung bei der Aufzeichnungsdichte gestatten jedoch den Bau eines kleinen Heimdigital-Videobandrekordes, der noch zu entwickeln ist. Ein DVC-Format (Digital Video Cassette Format), standardisiert in der HD-digital VTR conference, wird für diesen digitalen Videobandrekorder verwendet. DVC-Daten werden in folgender Weise charakterisiert. Das heißt, die Daten werden in räumlicher Richtung unter Verwendung von DCT komprimiert, die Daten werden dann längenvariabel nach der Huffman-Codierung codiert. Obwohl die DVC-Daten einen großen Informationsumfang aufgrund ihrer Kompression ohne Verwendung einer Zeitrichtungskorrelation haben, haben sie doch eine hohe Qualität und lassen sich leicht für jedes Bild bearbeiten. Da des weiteren die DVC-Daten so eingerichtet sind, daß sie in einen Computer aufgenommen werden können, ist zu erwarten, daß DVC-Daten häufiger in der Zukunft Verwendung finden. In einem solchen System, wie dem Video nach Anforderung zum Austausch von Bewegungsbildern durch das Netzwerk, ist es auch schwierig, DVC-Daten in Echtzeit zu senden/zu empfangen, abhängig von den Übertragungseigenschaften für das Netzwerk. In diesem Falle ist ein Verfahren, bei dem das Bewegungsbild als DVC-Daten gespeichert wird und die Daten umgesetzt werden in ein Bildformat, wie erforderlichenfalls MPEG, effektiv in Hinsicht auf die effektive Nutzung von Plattenressourcen. Obwohl die Bewegungsbildformatumsetzung ausgeführt wurde durch Verwendung einer ausschließlichen Hardware, ist es wünschenswert, daß die Bewegungsbildformatumsetzung unter Verwendung einer Software in Hinsicht auf die Bildqualität, die Kosten und die Flexibilität hinsichtlich unterschiedlicher Formate, einer Arbeit des Implementierens in einen Computer, einer Kompatibilität mit dem Computer, einer leichten Verteilweise oder dergleichen einzusetzen.
Jedoch gibt es ein Problem, bei dem es eine lange Verarbeitungszeit für die Software zum Decodieren der DVC-Daten und zum Codieren dieser in MPEG zur selben Zeit erfordert. In Hinsicht auf das obige Problem ist es eine Aufgabe der vorliegenden Erfindung, eine Belastung zu reduzieren, die eine Bewegungsvektorfeststellung beim MPEG-Codieren erfordert und die Umsetzgeschwindigkeit bei der Bewegungsbildumsetzung zu verbessern. Wie bei der Bewegungsvektorfeststellverarbeitung nach dem Stand der Technik ist ein Verfahren bekannt, das in der japanischen offengelegten Patentanmeldung Nr. 4-181888 offenbart ist, bei dem eine Blockbestimmungsschaltung bereitsteht vor der Bewegungsvektorfeststellung bei der MPEG-Codierung, wodurch ein Makroblock so klassifiziert wird, daß die Verarbeitung sich abhängig vom Klassifizierungsergebnis ändert. Dieses Verfahren enthält jedoch folgende Probleme:

1. Das Klassifizieren durch eine Blockbestimmungsschaltung ergibt nur zwei Arten (Nicht-MC-codiert und andere). Obwohl Makroblöcke in drei Arten von Blöcken klassifiziert werden bei MPEG, wird das Klassifizieren nicht in Verbindung mit Intra ausgeführt, wobei der Bewegungsvektor in vorherigen Bildern nicht gefunden wird.
2. Eine Bestimmung der Blockbestimmungsschaltung, ob die Bewegung festgestellt wurde, erfolgt gemäß einer einfachen Differenz zwischen Blöcken, womit das Problem über die Feststellgenauigkeit eines Bewegungsvektors aufkommt, dessen Länge gleich 0 ist.

Da das Klassifizieren des Makroblockes, wie zuvor beschrieben, nicht hinreichend ist und das Klassifizierungsverfahren ineffektiv, bleibt das Problem über das geringere Reduzieren der Verarbeitung und der Verschlechterung der Bewegungsvektorfeststellgenauigkeit.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung ist zum Lösen der obigen Probleme entstanden. Es ist daher eine Aufgabe der vorliegenden Erfindung, das MPEG-Codieren zu reduzieren. Nach der Erfindung wird ein Eingangs- und ein Ausgangssignal eines jeden Blockes beschränkt auf DCT/DVC-Daten beziehungsweise auf MPEG-Daten. Vor dem Decodieren der DVC-Daten werden die Daten klassifiziert gemäß dem Bewegungsumfang eines Makroblockes, wodurch das MPEG-Codieren reduziert wird.
Nach einem ersten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, mit: einem Eingabemittel zur Eingabe eines digitalen Bildsignals, das gebildet ist aus einem Makroblock, der eine Ansammlung von Blöcken darstellt, wobei jeder Block orthogonal transformiert ist; einem Bildspeicher zum Speichern des digitalen Bildsignals; einem Blocklesemittel zum Lesen der Blöcke oder des Makroblockes aus dem Bildspeicher als Reaktion auf eine Anforderung; einem Steuermittel zur Zonenteilauswahl, um eine gelesene Anforderung an das Blocklesemittel zu senden; einem Komponentenauslesemittel zum alleinigen Auslesen einer Gleichstromkomponente von einem aufgenommenen Bild; zwei geringauflösenden Vollbildspeichern zum Speichern von Informationen der ausgelesenen Komponente; einem Bewegungsfeststellmittel zum Feststellen einer Bewegung unter Verwendung der Information in den geringauflösenden Vollbildspeichern; einem Zonenteilabschnitt, der ausgestattet ist mit: einem Makroblockklassifizierungsmittel zum Beurteilen des Makroblockes als Reaktion auf ein Bewegungsfeststellergebnis vom Bewegungsfeststellmittel, und einem Bewertungsspeichermittel zum Speichern einer Bewertung des Makroblockes; einem Decodiermittel zum Decodieren von Daten aus dem Blocklesemittel als Erwiderung einer Anforderung; einem Codierabschnitt zum Ändern einer Codierung des Makroblockes als Reaktion auf die Bewertung im Bewertungsspeichermittel; und mit einem Ausgabemittel zur Ausgabe des codierten Signals. Somit wird der Makroblock in drei Arten gemäß dem Umfang der Bewegung gekennzeichnet aus der vorangehenden Codierung. Das Codieren wird geändert gemäß der Kennzeichnung, wodurch eine Belastung, die der Bewegungsvektorfeststellung auferlegt wird, reduziert ist, so daß eine Bewegungsbildumsetzung mit hoher Geschwindigkeit ausgeführt wird.
Nach einem zweiten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, bei dem das Bewertungsspeichermittel die Bewertung abgibt, die aufzeigt, daß die Bewegung vom Makroblock gering ist, wobei der Codierabschnitt einen kleinen Suchbereich für einen Bewegungsvektor auswählt, so daß eine Bewegungsvektorfeststellung ausführbar ist. Somit ist es möglich, eine Vektorfeststellgenauigkeit im Codierabschnitt zu verbessern.
Nach einem dritten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, bei dem der Zonenteilabschnitt des weiteren über ein Auflösungsumsetzmittel verfügt, um die Auflösung durch Interpolieren eines eingegebenen Bildes umzusetzen. Wenn die Auflösung eines Suchbereichs geringer Auflösung zu schwach ist für die Bewegungsfeststellung aufgrund unzureichenden Auslesens vom Komponentenauslesemittel, wird die Auflösung der aus dem Bildspeicher niedriger Auflösung ausgelesenen Daten umgesetzt, wodurch die Auflösung des Suchbereichs verbessert wird.
Nach einem vierten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, bei dem das Komponentenauslesemittel die Gleichstromkomponente und eine Niederfrequenzkomponente des aufgenommenen Bildes abtastet und wobei der Zonenteilabschnitt ein inverses DCT-Mittel enthält, um eine inverse DCT für die Niederfrequenzkomponente auszuführen, die das Komponentenauslesemittel gelesen hat. Da somit eine Musteranpassung durch Verwendung eines Pixelwertes eines aktuellen Bildes erfolgt mit Nicht-DCT-Daten, kann die Feststellgenauigkeit verbessert werden.
Nach einem fünften Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, mit: einem Eingabemittel zum Eingabe eines digitalen Bildsignals, gebildet aus einem Makroblock, der eine Ansammlung von Blöcken darstellt, wobei jeder Block orthogonal transformiert ist; einem Vollbildspeicher zum Speichern des digitalen Bildsignals; einem Blocklesemittel zum Lesen der Blöcke oder des Makroblockes aus dem Vollbildspeicher als Reaktion auf eine Anforderung; einem Steuermittel zur Zonenteilauswahl, um eine Leseanforderung an das Blocklesemittel zu senden; einem Komponentenauslesemittel zum alleinigen Auslesen einer speziellen Komponente, aufgelöst durch eine orthogonale Basis für ein aufgenommenes Bild; einem inversen orthogonalen Transformationsmittel zum Ausführen der inversen orthogonalen Transformation in Hinsicht auf die ausgelesene Komponente; zwei Vollbildspeichern zum Speichern der durch das inverse orthogonale Transformationsmittel gewonnenen Information; einem Bewegungsvektorfeststellmittel zum Feststellen einer Bewegung gemäß der vom inversen orthogonalen Transformationsmittel gewonnenen Information; einem Zonenteilabschnitt, der ausgestattet ist mit: einem Makroblockklassifizierungsmittel zum Beurteilen des Makroblockes als Reaktion auf den Betrag eines Bewegungsvektors aus dem Bewegungsfeststellmittel und mit einem Bewertungsspeichermittel zum Speichern einer Bewertung des Makroblockes; einem Decodiermittel zum Decodieren von aus dem Blocklesemittel als Reaktion auf eine Anforderung empfangenen Daten; einem Codierabschnitt zum Ändern einer Codierung des Makroblockes als Reaktion auf die Bewertung im Bewertungsspeichermittel; und mit einem Ausgabemittel zur Ausgabe des codierten Signals. Die Bewegungsfeststellung wird somit ausgeführt innerhalb einer Hochlastverarbeitung, wie einer Gesamtsuche. Der Makroblock wird gekennzeichnet, und das Codieren wird dann gemäß der Kennzeichnung geändert, wodurch die Belastung, die die Bewegungsvektorfeststellung mit sich bringt, reduziert ist, so daß die Bewegungsbildumsetzung mit hoher Geschwindigkeit ausführbar ist.
Nach einem sechsten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, mit: einem Eingabemittel zur Eingabe eines digitalen Bildsignals, aufgebaut aus einem Makroblock, der eine Ansammlung von Blöcken darstellt, wobei jeder Block orthogonal transformiert ist; einem Bildspeicher zum Speichern des digitalen Bildsignals; einem Blocklesemittel zum Lesen der Blöcke oder des Makroblockes aus dem Bildspeicher als Reaktion auf eine Anforderung; einem Steuermittel zur Zonenteilauswahl, um eine gelesene Anforderung an das Blocklesemittel zu senden; einem Komponentenauslesemittel zum alleinigen Auslesen einer Gleichstromkomponente aus einem aufgenommenen Bild; zwei niedrigauflösenden Bildspeichern zum Speichern von Informationen der ausgelesenen Information; und mit einem Bewegungsfeststellmittel zum Feststellen einer Bewegung unter Verwendung der Information in den niedrigauflösenden Bildspeichern; wobei das Zonenteilauswahlmittel des weiteren verfügt über: ein Makroblockklassifizierungsmittel zum Beurteilen des Makroblockes gemäß einem Ausgangssignal vom Bewegungsfeststellmittel, ein Bewegungsvektorwiederherstellmittel zum Wiederherstellen eines Bewegungsvektors des Makroblockes, dessen Bewegung gemäß einem Ergebnis des Bewegungsfeststellmittels festgestellt ist, und über ein Beurteilungsspeichermittel zum Speichern einer Beurteilung des Makroblockes; ein Decodiermittel zum Decodierung von Daten, empfangen aus dem Blocklesemittel als Reaktion auf eine Anforderung; einen Codierabschnitt, mit: einem DCT-Mittel, einem Quantisierungsmittel, einem variablen Längencodiermittel, einem inversen Quantifizierungsmittel, einem inversen DCT-Mittel, einem Bildspeichermittel, einem Bilddifferenzierglied, einem Bildhinzufüger, einem Bewegungsvektorfeststellabschnitt, in dem sich ein Suchbereichsänderungsmittel befindet, und einem Bewegungsinformationscodiermittel; und mit einem Ausgabemittel zur Ausgabe des codierten Signals; wobei der Bewegungsvektorfeststellabschnitt im Codierabschnitt einen Suchbereich für den Bewegungsvektor gemäß dem Bewegungsfeststellergebnis vom Bewegungsfeststellmittel im Zonenteilabschnitt bestimmt, wobei eine Bewegungsvektorfeststellung zur Ausführung kommt. Somit wird ein Klassifizieren gemäß dem Bewegungsumfang des Makroblockes ausgeführt. Der Bewegungsvektor eines erforderlichen Makroblockes allein wird festgestellt aus diesem Klassifizierungsergebnis, wodurch die Belastung, die die Codierung verursacht, verringert ist, so daß die Bewegungsbildumsetzung mit hoher Geschwindigkeit ausführbar ist.
Nach einem siebenten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, bei dem der Zonenteilabschnitt nach dem sechsten Aspekt ersetzt ist durch einen Zonenteilabschnitt nach dem fünften Aspekt, und wobei der Bewegungsvektorfeststellabschnitt im Codierabschnitt den Suchbereich für den Bewegungsvektor durch Verwendung des vom Bewegungsvektorfeststellmittel festgestellten Bewegungsvektors im Zonenteilabschnitt bestimmt, wodurch die Bewegungsvektorfeststellung zur Ausführung kommt. Die Bewegungsvektorfeststellung wird somit in hoher Geschwindigkeit ausgeführt.
Nach einem achten Aspekt der vorliegenden Erfindung vorgesehen ist ein Gerät zur Bildsignalumwandlung, bei dem der Bewegungsvektorfeststellabschnitt im Codierabschnitt aus dem Codierabschnitt herausgenommen ist, wodurch der Codierabschnitt absolut nicht den Bewegungsvektor, aber den vom Bewegungsvektorfeststellmittel im Zonenteilabschnitt festgestellten Bewegungsvektor feststellt. Die Belastung bei der Bewegungsvektorfeststellung beim MPEG-Codieren ist somit beseitigt.
KURZE BESCHREIBUNG DER ZEICHNUNG
Die Aufgabe und Aspekte der vorliegenden Erfindung werden aus der nachstehenden detaillierten Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlich.
1 zeigt den Aufbau eines Bewegungsbildumsetzgerätes nach einem ersten Ausführungsbeispiel der vorliegenden Erfindung;
2 ist ein Ablaufdiagramm, das die Arbeitsweise des gesamten Bewegungsbildumsetzgerätes vom ersten Ausführungsbeispiel der vorliegenden Erfindung darstellt;
3 ist ein Ablaufdiagramm, das den Verarbeitungsfluß gemäß einer Differenz zwischen Kennzeichnungen in einem Codierabschnitt darstellt;
4 zeigt den Aufbau einer zweiten Variation des Bewegungsbildumsetzgerätes vom ersten Ausführungsbeispiel;
5 zeigt den Aufbau des Bewegungsbildumsetzgerätes nach einem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
6 ist ein Ablaufdiagramm, das die Arbeitsweise eines Zonenteilabschnitts vom Bewegungsbildumsetzgerät nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung darstellt;
7 zeigt ein Verfahren des Auslesens einer Komponente aus einem eingegebenen Bild und ein inverses DCT-Verfahren;
8 ist ein Ablaufdiagramm, das den Fluß einer Bewegungsfeststellverarbeitung des Bewegungsumsetzgerätes nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung darstellt;
9 zeigt den Aufbau eines Bewegungsbildumsetzgerätes nach einem dritten Ausführungsbeispiel der vorliegenden Erfindung;
10 ist ein Ablaufdiagramm, das den Fluß der Verarbeitung zur Annäherung eines Suchbereichs und zur Feststellung eines Bewegungsvektors darstellt;
11 zeigt ein Beispiel eines eingegebenen Bewegungsbildes in das Bewegungsbildumsetzgerät vom dritten Ausführungsbeispiel;
12 zeigt ein Beispiel des eingegebenen Bewegungsbildes in einer ersten Abwandlung des Bewegungsbildumsetzgerätes vom dritten Ausführungsbeispiel;
13 zeigt ein Beispiel des eingegebenen Bewegungsbildes in die zweite Variation des Bewegungsbildumsetzgerätes vom dritten Ausführungsbeispiel;
14 zeigt ein Beispiel des eingegebenen Bewegungsbildes in die zweite Variation des Bewegungsbildumsetzgerätes vom erstem Ausführungsbeispiel;
15 zeigt den Aufbau eines typischen MPEG-Codiergerätes;
16 zeigt ein DVC-Format für einen digitalen Heimvideobandrekorder;
17 zeigt das DVC-Format für den digitalen Heimvideobandrekorder; und
18 zeigt das Verfahren des Bestimmens vom Bewegungsvektor aus einer Komponente in einer Richtung maximalen Bildgradienten vom Bewegungsvektor.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung sind nachstehend anhand der beiliegenden Zeichnung beschrieben.
[Ausführungsbeispiel 1]
1 zeigt einen Aufbau eines Bewegungsbildumsetzgerätes nach einem ersten Ausführungsbeispiel der vorliegenden Erfindung.
An erster Stelle beschrieben ist das Gerät des ersten Ausführungsbeispiels in einer Zusammenfassung. Das Gerät dient der Umsetzung eines im DVC-Format eingegebenen Bildes in ein Bild des MPEG-Formats und dem Ausgeben des umgesetzten Bildes. Das Gerät ist dadurch gekennzeichnet, daß ein grober Bewegungsvektor von einer Makroblockeinheit festgestellt wird, ein Makroblock wird klassifiziert als Reaktion auf die Größe des Vektors, wodurch eine mit der Codierung zusammenhängende Verarbeitung verringert wird. Das DVC-Format ist nachstehend kurz anhand der 16 und 17 beschrieben. 16(a) zeigt Bilder, die man als Ergebnis des Auslesens eines Leuchtdichtesignals und eines Chrominanzsignals in einem A/D-Umsetzabschnitt gewinnt. Ein Leuchtedichtebild hat die Größe von 720 × 480 Pixeln. Ein Chrominanzbild hat die Größe von 180 × 480 Pixeln. Wird das Bild eingeteilt in kleine Blöcke (DCT-Blöcke) für die DCT, erfolgt das Einteilen des Leuchtdichtebildes in 90 × 60 Blöcke, gleich der Gestalt, wie sie in 16(a) gezeigt ist. Das Chrominanzbild wird eingeteilt in Blöcke, in denen sich die Blöcke in ihrer Gestalt allein in der ganz rechten Spalte unterscheiden. 16(b) zeigt einen Block, der aus dem Bild von 16(a) herausgenommen ist und zeigt eine Größe eines jeden Blockes. Ein Leuchtdichteblock hat die Größe von 8 × 8, während ein Chrominanzblock die Größen von 8 × 8 und 4 × 16 hat. Einige DCT-Blöcke sind zusammengefügt, so daß der Makroblock gebildet ist. 16(c) zeigt den Aufbau des Makroblockes. Der Makroblock umfaßt vier Leuchtdichteblöcke, die einander in einer Zeile benachbart sind, und zwei Chrominanzblöcke gemäß den vier Leuchtdichteblöcken. Der Makroblock ganz rechts enthält vier Leuchtdichteblöcke, jeden Leuchtdichteblock, dessen Seiten den anderen zwei Blöcken benachbart sind, beziehungsweise zwei Chrominanzblöcke gemäß den vier Leuchtdichteblöcken. Eine Anordnung es Makroblockes im Bild ist in 17(d) gezeigt. Eine Sammlung von 27 Makroblöcken wird als ein Superblock bezeichnet. Ein Einzelbild hat Superblöcke von 5 Zeilen × 10 Spalten. 17(e) zeigt die Anordnung der Superblöcke in einem Bild. 17(f) zeigt den Aufbau des Superblockes, der aus 27 Makroblöcken aufgebaut ist. Vor einer Datenkompression wird die Reihenfolge der Daten geändert, um eine Bildqualität in einem Bildschirm nach der Kompression gleichmäßig zu halten und einen Einfluß eines Codefehlers in Hinsicht auf einen Aussetzer und eine spezielle Wiedergabeart zu verteilen. Die Verarbeitung wird mit Mischen bezeichnet. Beim Mischen wird ein Superblock aus jeder Spalte ausgewählt, und ein Makroblock wird dann aus jedem Superblock herausgenommen, so daß ein Videosegment von 5 Makroblöcken gebildet wird. Zur Zeit der Kompression werden DCT, Quantisierung und längenvariables Codieren so gesteuert, daß die Daten immer innerhalb einer vorbestimmten Menge eines jeden Videosegments gehalten werden. Im DVC-Format wird DCT somit für jeden Block ausgeführt, und die Redundanz in räumlicher Richtung ist beseitigt.
Der Aufbau des Gerätes vom ersten Ausführungsbeispiel ist nachstehend erläutert. Eingabemittel 101 zum Aufnehmen des Bildes von Außen, ein Bildspeicher 102 zum Speichern des Bildes und Blocklesemittel 103 zum Lesen des Blockes oder Makroblockes sind miteinander verbunden. Ein Komponentenauslesemittel 104, das eine Gleichstromkomponente allein aus dem Bild liest, zwei Bildspeicher 105a, 105b niedriger Auflösung zum Speichern ausgelesener Informationen, ein Bewegungsfeststellmittel 106 zum Nachweis einer Bewegung unter Verwendung der Information aus den Bildspeichern 105a, 105b niedriger Auflösung, ein Makroblockklassifizierungsmittel 107 zum Kennzeichnen des Makroblockes gemäß einem Ausgangssignal aus dem Bewegungsfeststellmittel 106, ein Zoneneinteilabschnitt 113 mit einem Kennzeichenspeichermittel 114 und einem Zonenteilauswahlsteuermittel 109, einem Decodiermittel 110, einem Codierabschnitt 111 und einem Ausgabemittel 112 sind nacheinander geschaltet miteinander verbunden.
Die Arbeitsweise des gesamten Gerätes vom ersten Ausführungsbeispiel ist nachstehend anhand eines Ablaufdiagramms von 2 beschrieben. In der Figur ist ein Schritt mit St. Abgekürzt.
Schritt 101: An erster Stelle schreibt das Eingabemittel 101 das DVC-formatige Eingabebild in den Bildspeicher 102.
Schritt 102: Das Zoneneinteilauswahlsteuermittel 109 sendet eine Blockleseanforderung an das Blocklesemittel 103. Empfängt das Blocklesemittel 103 die gelesene Anforderung, sendet es das Bild (Blöcke Nr. 1 bis Nr. N) an das Komponentenauslesemittel 104.
Schritt 103: Das Komponentenauslesemittel 104 tastet allein die Gleichstromkomponente aus jedem Block ab.
Schritt 104: Das Komponentenauslesemittel 104 schreibt die ausgelesenen Daten in den Bildspeicher 105a niedriger Auflösung in der Reihenfolge des Auslesens.
Schritt 105: Wenn das in den Bildspeicher 105a mit niedriger Auflösung eingeschriebene Bild ein Kopfbild einer zu verarbeitenden Bewegungsbildsequenz ist,
Schritt 106: bestimmt das Zonenteilauswahlsteuermittel 109, daß alle Makroblöcke im Bild Intrablöcke sind und sendet das Merkmal, das einen großen Bewegungsvektor vom Makroblock aufzeigt, an das Kennzeichenspeichermittel 114.
Schritt 107: Wenn das geschriebene Bild nicht das Kopfbild ist, liest das Bewegungsfeststellmittel 106 das laufende Bild und das vorherige Bild aus den Bildspeichern 105a beziehungsweise 105b mit niedriger Auflösung.
Schritt 108: Das Bewegungsfeststellmittel 106 überprüft die Bewegung eines jeden Makroblockes und gibt den groben Bewegungsvektor ab.
Schritt 109: Das Makroblockklassifizierungsmittel 107 kennzeichnet die Makroblöcke in drei Arten von "starke Bewegung", "Bewegung festgestellt" und "geringe Bewegung" gemäß der Größe des groben Bewegungsvektors. Die Kennzeichen des Makroblockes werden an das FIFO-Kennzeichenspeichermittel 114 gesandt.
Schritt 110: Das Zonenteilauswahlsteuermittel 109 überprüft den Status einer Schlange im Kennzeichenspeichermittel 114.
Schritt 111: Sind die Makroblockkennzeichen für ein Bild in der Schlange gespeichert, wird eine Makroblockleseanfrage an das Blocklesemittel 103 gesandt. Empfängt das Blocklesemittel 103 die gelesene Anfrage, sendet sie das Bild (die Makroblöcke von ID Nr. 0 bis M) an das Decodiermittel 110.
Schritt 112: Empfängt das Decodiermittel 110 den Makroblock mit der ID Nr. m aus dem Blocklesemittel 103, nimmt sie das Kopfkennzeichen aus der Schlange im Kennzeichenspeichermittel 114 heraus.
Schritt 113: zeigt das Kennzeichen die geringe Bewegung oder die festgestellte Bewegung auf, wird eine inverse DCT ausgeführt für den Makroblock der ID Nr. m. Nachdem der Makroblock solchermaßen zum Originalbild wiederhergestellt worden ist, wird das Bild gemeinsam mit dem Kennzeichen an den Codierabschnitt 111 gesandt. Zeigt das Kennzeichen anderes auf, wird nichts für den Makroblock der ID Nr. m ausgeführt. Der ungeänderte Makroblock wird dann gemeinsam mit dem Kennzeichen an den Codierabschnitt 111 gesandt.
Schritt 114: Der Codierabschnitt 111 codiert den vom Decodiermittel 110 als Reaktion auf das Kennzeichen eingegebenen Makroblock.
Schritt 115: Das Ausgabemittel gibt die Daten, die der Codierabschnitt 111 codiert hat, vom Gerät nach außen ab.
Schritt 116: Das Zonenteilauswahlsteuermittel 109 überprüft den Status der Schlange im Kennzeichenspeichermittel 114.
Schritt 117: Sind die in der Schlange gespeicherten Kennzeichen aufgebraucht, wird das im Bildspeicher 105a geringer Auflösung gehaltene Bild in den Bildspeicher 105b mit geringer Auflösung geschrieben.
Schritt 118: Ist das laufende Bild nicht das letzte Bild der Bewegungsbildsequenz, die zu verarbeiten ist, sendet das Zoneneinteilauswahlsteuermittel 109 nacheinander die Blockleseanforderung an das Blocklesemittel 103 für die nächste Bildverarbeitung (Schritt 102).
Ein Verfahren zum Lesen des Makroblockes durch die Verwendung des Blocklesemittels 103 (Schritt 102) ist nachstehend beschrieben. Jedes Mittel des Gerätes in diesem Ausführungsbeispiel verwendet eine Block-ID, die eine Seriennummer aus dem linkeren oberen Block an den rechten unteren Block im Bild ist, um das Bild für jeden Block oder Makroblock zu verarbeiten. Für jedes Bild wird die Block-ID auf Nr. 0 bis N gesetzt und die Makroblock-ID wird auf Nr. 0 bis M gesetzt. Das Blocklesemittel 103 greift das Bild aus dem Speicher für jeden Block oder Makroblock auf als Reaktion auf die Block- oder Makroblockleseanforderung aus dem Zonenteilauswahlsteuermittel 109. Die Blöcke der Block-ID Nr. 0 bis n oder die Makroblöcke der Makroblock-ID Nr. 0 bis M werden sequentiell abgegeben.
Das Verfahren des Lesens der Daten durch das Bewegungsfeststellmittel 106 (Schritt 107) ist nachstehend beschrieben. Das Bewegungsfeststellmittel 106 liest eine Schablone (2 × 2 Pixel in ihrer Größe) gemäß dem Makroblock mit der ID Nr. m aus dem Bildspeicher 105a niedriger Auflösung. Das Bewegungsfeststellmittel 106 liest auch einen Suchbereich niedriger Auflösung gemäß dem Suchbereich des Makroblockes mit der ID Nr. m aus dem Bildspeicher 105b niedriger Auflösung. Das Bewegungsfeststellmittel 106 führt die Bewegungsfeststellung aus in der Reihenfolge des Makroblockes mit der ID Nummern 0 bis M in einer Weise, wie sie nachstehend beschrieben ist (Schritt 108). Wenn das Bewegungsfeststellmittel 106 die Schablone und den Suchbereich niedriger Auflösung erhält, startet es die Musteranpassung unter Verwendung dieser. Das Bewegungsfeststellmittel 106 stellt aus dem Reduktionssuchbereich den Block der Größe fest, die der Schablone gleich ist, mit der höchsten Korrelation mit dem Muster der Schablone. Eine Summe absoluter Differenz, ein Verhältnis der Schablone zum Suchbereich in einen Leuchtdichtewert oder dergleichen läßt sich als Musteranpassung verwenden. In jedem Fall ist es dem Bewegungsfeststellmittel möglich, einen Schwellwert bei der Entscheidungskorrelation zu verwenden. Wenn die Korrelation nicht für den Schwellwert ausreicht, gibt das Bewegungsfeststellmittel 106 die Information ab, die die Abwesenheit des Blockes aufzeigt, der mit dem Makroblock der ID Nr. m hoch korreliert ist, das heißt, es wird aufgezeigt, daß der Bewegungsvektor unbemerkt blieb. Wenn der Block hoher Korrelation festgestellt ist, legt das Bewegungsfeststellmittel 106 eine Mitte des Suchbereichs als Ursprung fest und gibt den groben Bewegungsvektor ab, der eine Position des festgestellten Blockes aufzeigt. Das Bewegungsfeststellmittel 106 sendet ein Paket, das die Makroblock-ID und eine Bewegungsinformation (Bewegungsvektor, nicht festgestellt, oder den groben Bewegungsvektor) des Speicherblockes, in dem die Bewegungsfeststellung erfolgt, an das Makroblockklassifizierungsmittel 107.
Das Verfahren des Klassifizierens von Makroblöcken durch das Makroblockklassifizierungsmittel 107 (Schritt 109) ist nachstehend beschrieben. Das Makroblockklassifizierungsmittel 107 liest die Bewegungsinformation aus dem vom Bewegungsfeststellmittel 106 eingegebenen Paket. Wenn die Größe des groben Bewegungsvektors gleich 0 ist, wird das Kennzeichen dem Paket hinzugefügt, das die geringe Bewegung aufzeigt. Wenn der grobe Bewegungsvektor nicht vorhanden ist, wird das Kennzeichen dem Paket hinzugefügt, das die starke Bewegung aufzeigt. In anderen Fällen wird das Kennzeichen dem Paket hinzugefügt, daß die festgestellte Bewegung aufzeigt. Dann sendet das Makroblockklassifizierungsmittel 107 das Paket an das Kennzeichenspeichermittel 114. Das Kennzeichenspeichermittel 114 verwendet ein FIFO-System, und somit fügt es die gesendeten Pakete der Schlange in Aufeinanderfolge hinzu.
Im Codierabschnitt 111 beschrieben ist eine Codierung (Schritt 114) des Makroblockes, den das Decodiermittel 110 gemäß der Differenz zwischen den Kennzeichen eingegeben hat, die nachstehend anhand des Ablaufdiagramms von 3 zu beschreiben sind.
Schritt 121: Ist das Makroblockkennzeichen geeignet, die festgestellte Bewegung aufzuzeigen,
Schritt 122: führt der Codierabschnitt 111 die Bewegungsvektorfeststellung für den Makroblock aus.
Schritt 123: Zeigt das Kennzeichen geringe Bewegung auf, läßt der Codierabschnitt 111 die Bewegungsvektorfeststellung aus (Schritt 122). Der Codierabschnitt 111 errechnet die Differenz zwischen dem Makroblock und dem Block der Größe, die gleich dem Makroblock ist, der sich im Bewegungsvektor des Suchbereichs befindet. Das Differentialsignal wird eingeteilt in Blöcke (8 × 8).
Schritt 124: DCT wird für jeden Block ausgeführt.
Schritt 125: Wenn das Kennzeichen die starke Bewegung aufzeigt, läßt der Codierabschnitt 111 die Bewegungsvektorfeststellung aus (Schritt 122), die Differenzerrechnung (Schritt 123) und die DCT-Verarbeitung (Schritt 124), und führt allein die Quantisierung der längenvariablen Codierung aus.
Im Gerät dieses Ausführungsbeispiels ist somit der Zonenteilabschnitt 113 vor dem Codieren vorgesehen, wodurch der Makroblock gemäß dem Umfang der Bewegung klassifiziert wird. Die nachfolgende Makroblockverarbeitung wird geändert, wodurch die der Bewegungsvektorfeststellung zugeordnete Belastung reduziert wird.
In einer ersten Variation des Gerätes nach dem ersten Ausführungsbeispiel kann der Codierabschnitt 111 den Vektorsuchbereich für kleine Bewegung für den Makroblock auswählen, der klassifiziert ist als geringe Bewegung, um so die Bewegungsvektorfeststellung auszuführen. Obwohl die für die Verarbeitung des Makroblockes erforderliche Belastung in diesem Falle, der gekennzeichnet ist als gering bewegt, erhöht wird, ist die Genauigkeit der Bewegungsvektorfeststellung verbessert in dem Maß des Betragsanstiegs. Die Differenz zwischen dem Makroblock und dem Block der Größe, die gleich dem Makroblock ist, positioniert im Bewegungsvektor im Suchbereich, wird verringert, so daß auch ein Quantisierungsfehler kleiner wird.
4 zeigt den Aufbau einer zweiten Variation vom Zonenteilabschnitt 113 des Bewegungsbildumsetzgerätes des ersten Ausführungsbeispiels. Zusätzlich zum Aufbau des in 1 gezeigten Zonenteilabschnitts befindet sich das Auflösungsumsetzmittel 406 zwischen einem Bildspeicher 402b geringer Auflösung und einem Bewegungsfeststellmittel 403. Im Auflösungsumsetzmittel 406 wird eine Auflösungsumsetzung durchgeführt durch Interpolieren des eingegebenen Bildes. Wenn die Auflösung des Suchbereichs geringer Auflösung zu gering ist für die Bewegungsfeststellung aufgrund nicht ausreichenden Auslesens durch das Komponentenauslesemittel 401, wird somit die Auflösung der aus dem Bildspeicher 402b für geringe Auflösung ausgelesenen Daten umgesetzt, wodurch die Auflösung des Suchbereichs verbessert werden kann.
In einer dritten Variation des Zeilenteilabschnitts vom Bewegungsbildumsetzgerät des ersten Ausführungsbeispiels ist das inverse DCT-Mittel zwischen dem Komponentenauslesemittel 104 und dem Bildspeicher 105a geringer Auflösung angeordnet. Das Komponentenauslesemittel 104 tastet eine niederfrequente Komponente sowie die Gleichstromkomponente ab. Bevor die niederfrequente Komponente in den Bildspeicher 105a geringer Auflösung eingegeben wird, erfolgt die inverse DCT für die niederfrequente Komponente durch da inverse DCT-Mittel, womit es möglich wird, ein Bild geringer Auflösung zu erzeugen, das geeignet ist für die Bewegungsfeststellung durch das Bewegungsfeststellmittel 106. Obwohl in diesem Falle die Belastung, die der Errechnung des inversen DCT-Mittels auferlegt ist, erhöht wird, kann die Musteranpassung unter Verwendung des Pixelwertes eines aktuellen Bildes, nicht von DCT-Daten, ausgeführt werden, und die Auflösung läßt sich ebenfalls gemäß der niederfrequenten DCT-Komponente ändern, die das Komponentenauslesemittel 104 ausgelesen hat. Die Feststellgenauigkeit ist somit verbessert.
Als spezielles Beispiel wird als nächstes die Eingabe eines Bewegungsbildes, wie es in 14(a) dargestellt ist, in das Gerät mit der dritten Variation betrachtet. In 14(a) enthält der Suchbereich eines gewissen Makroblockes einen Block A einer Größe, die dem Makroblock gleich ist. Sowohl der Makroblock als auch der Block A enthalten vier Blöcke mit gleichen Mustern. Ein 1/4-Makroblock und ein 1/4-Block A sind in 14(b) dargestellt. Im 1/4-Makroblock wechseln die Pixel vom Pixelwert 10 mit den Pixeln vom Pixelwert 0 in einer Gitteranordnung ab. Im 1/4-Block A haben alle Pixel den Pixelwert 5. 14(b) zeigt auch den 1/4-Makroblock, bei dem DCT ausgeführt wird. Wenn ein derartiges Bewegungsbild in das Gerät der dritten Variation eingegeben wird, tastet das Komponentenauslesemittel 104 die niederfrequente DCT-Komponente ab, das heißt, die Komponenten, die im wesentlichen gleich 0 sind, mit Ausnahme der Gleichstromkomponente für den Makroblock. Das inverse DCT-Mittel führt die inverse DCT aus, so daß das Bild mit einem einheitlichen Pixelwert erzeugt wird. Das Bewegungsfeststellmittel 106 stellt somit einen groben Bewegungsvektor hin zur Position des Blockes A dar.
Wie aus der obigen Beschreibung des Gerätes dieses Ausführungsbeispiels hervorgeht, ist der Zonenteilabschnitt 133 vor dem Codieren in einem Prozeß des Decodierens eingegebener DVC-Daten und dem Codieren der Daten in MPEG-Daten vorgesehen, womit das Klassifizieren gemäß dem Umfang der Bewegung des Makroblockes zur Ausführung kommt. Da die niederfrequente Komponente und/oder die Gleichstromkomponente allein eines DCT-Koeffizienten für die Bewegungsfeststellung zur Grundlage wird, ist die Belastung, die der Musteranpassung zukommt, sehr gering. Da sich ein großer Teil der Bildenergie auf die Niederfrequenzkomponente konzentriert, wird eine Genauigkeitsverschlechterung geringer wahrnehmbar als die Verschlechterung in einem Falle des Anpassens unter Verwendung des aktuellen Bildes. Da der Zonenteilabschnitt 113 auf diese Weise jeden Makroblock mit hoher Geschwindigkeit zuvor klassifiziert und der Codierabschnitt 111 die Bewegungsfeststellung für den erforderlichen Makroblock allein gemäß dem Klassifizierungsergebnis ausführt, wobei die Verarbeitung folglich vereinfacht ist. Das Gerät dieses Ausführungsbeispiels beabsichtigt, eine Codierzeit in einer Bewegungsbildformatumsetzung zu reduzieren und mit der Bewegungsbildformatumsetzung durch eine Software zu Rande zu kommen.
[Ausführungsbeispiel 2]
5 zeigt den Aufbau eines Bewegungsbildumsetzgerätes nach einem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
An erster Stelle wird das Gerät des zweiten Ausführungsbeispiels in Zusammenfassung beschrieben. Das Gerät dieses Ausführungsbeispiels dient der Umsetzung des im DVC-Format eingegebenen Bildes in das MPEG-Format und der Ausgabe des umgesetzten Bildes. Das Gerät des zweiten Ausführungsbeispiels unterscheidet sich von dem des ersten Ausführungsbeispiels im Aufbau eines Zonenteilabschnitts 508. Der Zonenteilabschnitt 508 dient der Feststellung der Bewegung des Bildes für die Klassifizierung eines jeden Makroblockes gemäß der Größe der Bewegung.
Der Aufbau des Gerätes von diesem Ausführungsbeispiel ist nachstehend beschrieben. Ausschließlich des Zoneneinteilabschnitts 508 gleicht das Bewegungsbildumsetzgerät des zweiten Ausführungsbeispiels demjenigen vom ersten Ausführungsbeispiel. Der Zonenteilabschnitt 508 umfaßt ein Komponentenauslesemittel 501 zum Auslesen allein einer spezifischen Komponente des DCT-Bildes, ein inverses orthogonales Transformationsmittel 502 zum Ausführen der inversen DCT für die ausgelesene Information; zwei Bildspeicher 503a, 503b zum Speichern des Bildes, das gewonnen wurde durch das inverse orthogonale Transformationsmittel 502; ein Bewegungsvektorfeststellmittel 504 zum Feststellen der Bewegung gemäß dem Bild, das gewonnen wurde durch das inverse orthogonale Transformationsmittel 502; ein Makroblockklassifizierungsmittel 505; ein Kennzeichenspeichermittel 506; und ein Zonenteilauswahlsteuermittel 507. Das Makroblockklassifizierungsmittel 505, das Kennzeichenspeichermittel 506 und das Zonenteilauswahlsteuermittel 507 sind dieselben wie das Makroblockklassifizierungsmittel 107, das Kennzeichenspeichermittel 114 beziehungsweise das Zonenteilauswahlsteuermittel 109 vom ersten Ausführungsbeispiel.
Die Arbeitsweise des Gerätes von diesem Ausführungsbeispiel ist nachstehend beschrieben. Die Arbeitsweise, wie die Eingabe eines Bildes mit dem Eingabemittel 109, das Lesen vom Lesemittel 512, das Block für Block arbeitet, das Speichern des Bildes mit einem Bildspeicher 510, das Decodieren vom Decodiermittel 513, das Codieren durch einen Codierabschnitt 514 und die Ausgabe nach außen durch das Ausgabemittel 514 ist dasselbe wie die Arbeitsweise des Bewegungsbildumsetzgerätes vom ersten Ausführungsbeispiel. Das Bewegungsbildumsetzgerät vom zweiten Ausführungsbeispiel unterscheidet sich von demjenigen des ersten Ausführungsbeispiels darin, daß die Arbeitsweise des Zonenteilabschnitts 508 anders ist. Die Arbeitsweise des Zonenteilabschnitts 508 ist nachstehend anhand des Ablaufdiagramms von 6 beschrieben. Die Arbeitsweise entspricht der Arbeitsweise von einer Komponentenauslesung (Schritt 103) für eine Kennzeichnung (Schritt 109) im Ablaufdiagramm von 2, das die gesamte Arbeitsweise des Bewegungsbildumsetzgerätes vom ersten Ausführungsbeispiel darstellt. In der Zeichnung ist der Schritt abgekürzt mit St.
Schritt 201: Das Komponentenauslesemittel 501 tastet allein die spezifische Komponente des Bildes ab, das das Blocklesemittel 512 empfangen hat.
Schritt 202: Das inverse orthogonale Transformationsmittel 502 führt die inverse DCT für die ausgelesenen Daten aus.
Schritt 203: Die Daten werden sequentiell in jeden Block des Bildspeichers 503a eingeschrieben.
Schritt 204: Das Bewegungsvektorfeststellmittel 504 liest das aktuelle Bild aus dem Bildspeicher 503a und bestimmt einen Raumgradienten des Bildes. Als nächstes wird das vorherige Bild aus dem Bildspeicher 503b gelesen, so daß ein Zeitrichtungsgradient des Bildes bestimmt werden kann. Aus diesen beiden Ergebnissen gewinnt das Bewegungsvektorfeststellmittel 504 eine spezielle Richtungskomponente des Bewegungsvektors eines jeden Blockes. Die spezielle Richtung bedeutet eine Richtung des maximalen Gradienten in diesem Block. Das Bewegungsvektorfeststellmittel 504 führt die Musteranpassung für einen Blockkandidaten innerhalb des eindimensionalen Bereichs gemäß der gewonnenen Komponente der Richtung des maximalen Gradienten vom Bewegungsvektor aus, so daß der Bewegungsvektor erzielt wird. Das Bewegungsvektorfeststellmittel 504 sendet den Bewegungsvektor an das Makroblockklassifizierungsmittel 505.
Schritt 205: Das Makroblockklassifizierungsmittel 505 charakterisiert den Makroblock gemäß der Größe des Bewegungsvektors. Die Kennzeichen werden auf folgende Weise klassifiziert. Das heißt, wenn der Bewegungsvektor den normalen Suchbereich vom Makroblock überschreitet, wird das Kennzeichen, das die Bewegung aufzeigt, groß. Wenn der Bewegungsvektor innerhalb einer vorbestimmten Mikrozone liegt, ist das Kennzeichen für eine geringfügige Bewegung kennzeichnend. In anderen Fällen zeigt das Kennzeichen die festgestellte Bewegung auf. Die Kennzeichen der Makroblöcke werden dann an das Kennzeichenspeichermittel 506 abgegeben.
Die Arbeitsweise des Komponentenauslesemittels 501 (Schritt 201) und die Arbeitsweise des inversen orthogonalen Transformationsmittels 502 (Schritt 202) sind nachstehend in Einzelheiten beschrieben. Das Komponentenauslesemittel 501 nimmt sequentiell die Blöcke der Block-ID-Zahlen 0 bis N auf, die das Blocklesemittel 512 gelesen hat. 7 zeigt das Komponentenauslesen und inverses DCT. Der linke obere Block ist als Ursprung festgelegt. Wie dargestellt, ist eine Rechtsrichtung als positive Richtung der x-Achse festgelegt, während eine Richtung nach unten als positive Richtung der y-Achse festgelegt ist. Das Komponentenauslesemittel 501 maskiert den Block der ID-Zahl n mit einer Maske, in der alle Komponenten der x-Achsen 1 sind und die anderen Komponenten alle 0 sind. Als nächstes führt das inverse Orthogonaltransformationsmittel 502 eine zweidimensionale inverse DCT für den maskierten Block aus. Wie in der Zeichnung dargestellt, wird folglich das Bild ohne Gradienten in y-Richtung, das heißt, das Bild, dessen Querschnitt entlang der ebenen Oberfläche parallel zur x-Achse verläuft, gleicht dem Kreuzungsabschnitt eines optionalen Wertes von y. Das Bild wird dann in den Bildspeicher 503a geschrieben (Schritt 203). In 7 bedeutet Bezugszeichen I eine Stärke des Bildes. Als nächstes maskiert das Komponentenauslesemittel 501 denselben Block (von ID-Zahl n) mit der Maske, in der alle Komponenten in der y-Achse auf 1 sind und die anderen Komponenten alle auf 0 sind. Dann führt das inverse orthogonale Transformationsmittel 502 die zweidimensionale inverse DCT für den maskierten Block aus. Wie in der Zeichnung dargestellt, wird folglich das Bild ohne Gradienten in x-Richtung, das heißt, das Bild dessen Querschnitt entlang der Oberfläche parallel zur y-Achse gleich dem Schnittabschnitt eines optionalen Wertes von x ist, abgegeben. Das Bild wird dann in den Bildspeicher 503a geschrieben (Schritt 203). Somit hält der Bildspeicher 503a gleichzeitig das Bild ohne Frequenzkomponente in y-Richtung und das Bild ohne Frequenzkomponente in x-Richtung.
Da das Bild ohne Gradienten in y-Richtung und das Bild ohne Gradienten in x-Richtung eine eindimensionale Information enthalten, ist es nutzlos, alle zweidimensionalen Bilder in den Bildspeicher 503a einzuschreiben. Eindimensionale Informationen in x-Richtung und eindimensionale Informationen in y-Richtung können folglich aus dem Bild ausgelesen werden, das keinen Gradienten in y-Richtung hat, bzw. das Bild, das keinen Gradienten in x-Richtung hat, so daß die ausgelesene Information in den Bildspeicher 503a eingeschrieben werden kann. Anstelle eines zweidimensionalen Maskierens durch das Komponentenauslesemittel 501 kann alternativ das inverse orthogonale Transformationsmittel 502 die eindimensionale inverse DCT für die DCT-Komponente ausführen, die sich in der Positionsübertragung der Maske befindet, wodurch jede eindimensionale Information in x-Richtung und in y-Richtung gewonnen wird.
Eine Bewegungsfeststellverarbeitung im Bewegungsvektorfeststellmittel 504 (Schritt 204) ist nachstehend anhand des Ablaufdiagramms von 8 beschrieben.
Schritt 211: Zuerst liest das Bewegungsvektorfeststellmittel 504 das Bild ohne Gradienten in y-Richtung gemäß dem Makroblock von Nr. m aus dem Bildspeicher 503a.
Schritt 212: Als nächstes wird im Bild ohne Gradienten in y-Richtung die Aufmerksamkeit auf einen Punkt A gelenkt, der in der Mitte des Makroblockes liegt. Ein Gradient I_x in x-Richtung wird errechnet aus den Pixeln auf einer geraden Linie parallel zur x-Achse, die durch den Punkt A verläuft. Bezugszeichen I bedeutet die Stärke des Bildes. I_x bedeutet den Gradienten der Leuchtdichte in x-Richtung auf dem Punkt A und wird angegeben durch Einteilen der Differenz zwischen den Leuchtdichtewerten durch einen Abstand zwischen den Pixeln. Ein Rechenergebnis wird zeitweilig im Bewegungsvektorfeststellmittel 504 gehalten.
Schritt 213: Das Bewegungsvektorfeststellmittel 504 liest den Pixelwert, der sich an einer Stelle befindet, die dem Punkt A gleicht, der verwendet wird zur Bestimmung des Gradienten in x-Richtung (Schritt 212) aus dem Bild, das keinen Gradienten in y-Richtung aufweist von einigen zuvor im Bildspeicher 503b gespeicherten Bildern.
Schritt 214: Das Bewegungsvektorfeststellmittel 504 errechnet einen Gradienten I_t in derselben Richtung vom gelesenen Pixel. I_t bedeutet eine Änderung des Pixelwertes pro Bild.
Schritt 215: Das Bewegungsvektorfeststellmittel 504 errechnet –I_t/I_x aus dem Gradienten I_x in Richtung der x-Achse und den Gradienten I_t in der Zeitrichtung, die zuvor im Bewegungsvektorfeststellmittel 504 gehalten wurde (Schritt 212). Wenn I_x gleich 0 ist, wird die Komponente in x-Richtung unendlich, da eine Bildgeschwindigkeit prinzipiell nicht gefunden wurde, und eine Unendlichsignal wird abgegeben. Dieser Wert von –I_t/I_x stellt eine Geschwindigkeitskomponente in x-Richtung der Komponente in der Richtung des maximalen Bildgradienten vom Bewegungsvektor dar. Man kann auch sagen, daß der Wert von –I_t/I_x darstellt, daß der Bewegungsvektor, der zu bestimmen ist, in Richtung des maximalen Bildgradienten auf den Punkt A im Makroblock projiziert ist und des weiteren in x-Achse projiziert wurde.
Schritt 216: Als nächstes liest das Bewegungsvektorfeststellmittel 504 das Bild ohne Gradienten in x-Richtung gemäß dem Makroblock von Nr. m aus dem Bildspeicher 503a aus.
Schritt 217: Auf dieselbe Weise wie beim Errechnen der Komponente in x-Richtung (Schritte 212 bis 217) bestimmt das Bewegungsvektorfeststellmittel 504 einen Gradienten I_y in y-Richtung.
Schritt 218: Das Bewegungsvektorfeststellmittel 504 liest die Pixel aus dem Bild ohne Gradienten in x-Richtung in einige zuvor gespeicherte Bilder im Bildspeicher 503b.
Schritt 219: Das Bewegungsvektorfeststellmittel 504 errechnet den Gradienten I_t in Zeitrichtung.
Schritt 220: Das Bewegungsvektorfeststellmittel 504 errechnet die y-Richtungskomponente –2_t/I_y. Diese Komponente in y-Richtung ist die Geschwindigkeitskomponente in y-Richtung von der Komponente in der Richtung des maximalen Bildgradienten vom Bewegungsvektor des Makroblockes mit der ID-Nr. m.
Schritt 221: Durch den obigen Prozeß werden die Komponenten (–I_t/I_x, –I_t/I_y) vom Bewegungsvektor in Richtung des maximalen Bildgradienten gewonnen. Um den Bewegungsvektor vom Makroblock mit der ID-Nr. m festzustellen, wird als nächstes das Bewegungsvektorfeststellmittel 504 die Musteranpassung ausführen. Zu dieser Zeit ist der Suchbereich beschränkt auf den eindimensionalen Suchbereich von den zuvor gewonnenen Komponenten vom Bewegungsvektor in Richtung des maximalen Bildgradienten. Der eindimensionale Suchbereich ist ein Liniensegment, das einen Punkt B durchläuft, der sich ergibt aus der Addition der Bewegungsvektorkomponente in der Richtung des maximalen Bildgradienten, um sich auf einem Punkt A als Vektor zu befinden, und hat eine konstante Länge über den Punkt B auf der geraden Linie hinaus, die senkrecht zur Richtung des maximalen Bildgradienten verläuft.
Schritt 222: Das Bewegungsvektorfeststellmittel 504 führt die Musteranpassung für das Bild im eindimensionalen Suchbereich aus, und erzielt somit den Bewegungsvektor.
Obwohl das Pixel in der Mitte des Makroblockes ausgewählt wird als Focuspixel A, können beliebige Pixel ausgewählt werden, sofern das Pixel sich im Makroblock befindet. Des weiteren können die Gradienten in der Zeit- und in Raumrichtung bestimmt werden durch Errechnen der einfachen Differenz zwischen den Pixeln durch Anpassen der geraden Linien unter Verwendung des Verfahrens kleinsten Quadrates.
Im Gerät dieses Ausführungsbeispiels, wie es zuvor beschrieben wurde, ist der Zonenteilabschnitt 508 vor dem Codieren des Prozesses vom Decodieren der eingegebenen DVC-Daten und dem Codieren der Daten in die MPEG-Daten vorgesehen, wodurch das Klassifizieren gemäß dem Ausmaß der Bewegung vom Makroblock ausgeführt wird. Während der Bewegungsfeststellung wird die spezielle Frequenzkomponente allein vom DCT-Koeffizienten verwendet, um so dadurch das Bild zu erzeugen, das keine Frequenzkomponente in y-Richtung hat, und das Bild, das keine Frequenzkomponente in x-Richtung hat. Dann wird die Komponente des Bewegungsvektors in Richtung des maximalen Bildgradienten aus den Gradienten in Raum- und Zeitachsenrichtung der Bilder errechnet. Es ist auch möglich, den Bewegungsvektor vom Makroblock aus dem eindimensional begrenzten Suchbereich durch Musteranpassung zu gewinnen. Die Größe des solchermaßen gewonnenen Vektors wird verwendet zum Klassifizieren des Makroblockes.
Da auf solche Weise der Zonenteilabschnitt 508 zuvor jeden Makroblock mit hoher Geschwindigkeit klassifiziert und der Codierabschnitt 514 die hochgenaue Bewegungsvektorfeststellung für den erforderlichen Makroblock allein gemäß dem Klassifizierungsergebnis ausführt, kann die Verarbeitung folglich vereinfacht werden. Das Gerät dieses Ausführungsbeispiels beabsichtigt, die Codierzeit bei der Bewegungsbildformatumsetzung zu verringern und die Bewegungsbildformatumsetzung durch die Software zu bewerkstelligen.
[Ausführungsbeispiel 3]
9 zeigt ein drittes Ausführungsbeispiel der vorliegenden Erfindung und zeigt den Aufbau des Bewegungsbildumsetzgerätes zum Ausführen der Bewegungsvektorfeststellung mit hoher Geschwindigkeit durch Annähern des Bewegungsvektorsuchbereichs gemäß dem Ausgangssignal aus dem Bewegungsfeststellmittel.
Zur Beschreibung des Gerätes von diesem Ausführungsbeispiel wird das Verfahren des Feststellens vom Bewegungsvektor als erstes zusammenfassend beschrieben. Ein Bewegungsvektorfeststellabschnitt 924 in einem Codierabschnitt 925 gewinnt die Bewegung vom Makroblock, der klassifiziert ist als bewegungsfestgestellt unter Bezug auf das vorherige Bild. Der Bewegungsvektorfeststellabschnitt 924 ist dadurch gekennzeichnet, daß er einen Bewegungsvektorsuchbereich beschränkt gemäß dem Ausgangssignal aus, genauer gesagt, einem Zonenteilabschnitt 911, wodurch die Bewegungsvektorfeststellung ausgeführt wird.
Als nächstes beschrieben ist der Aufbau des Bewegungsbildumsetzgerätes vom dritten Ausführungsbeispiel. Eingabemittel 901 zum Aufnehmen des Bildes von außen, ein Bildspeicher 902 zum Speichern des Bildes und Blocklesemittel 903 sind untereinander verbunden. Ein Komponentenauslesemittel 904 zum Auslesen allein der Gleichstromkomponente des Bildes; zwei Bildspeicher 905a, 905b geringer Auflösung zum Speichern der ausgelesenen Information; ein Bewegungsfeststellmittel 906 zum Feststellen der Bewegung unter Verwendung der Information in den Bildspeichern 905a, 905b mit niedriger Auflösung; ein Zonenteilabschnitt 911, der ein Makroblockklassifizierungsmittel 907 enthält, um den Makroblock gemäß dem Ausgangssignal aus dem Bewegungsfeststellmittel 906 zu charakterisieren, ein Bewegungsvektorwiederherstellmittel 909 zum Wiederherstellen des Bewegungsvektors vom Makroblock, dessen Bewegung festgestellt wurde, gemäß dem Ergebnis des Bewegungsfeststellmittels 906, ein Kennzeichenspeichermittel 908 und ein Zonenteilauswahlsteuermittel 910 zum Senden der gelesenen Anforderung an das Blocklesemittel 903 und zum Steuern von Elementen im Zonenteilabschnitt 911; ein Decodiermittel 912; ein Codierabschnitt 925 mit einem DCT-Mittel 914, ein Quantisierungsmittel 915, ein längenvariables Codiermittel 91, ein inverses Quantisierungsmittel 917, ein inverses DCT-Mittel 918, ein Bildspeicher 921, ein Bilddifferenzierglied 913, ein Bildaddierer 920, ein Bewegungsvektorfeststellabschnitt 924 und ein Bewegungsinformationscodiermittel 922; und Ausgabemittel 926 sind untereinander verbunden. Ein Suchbereichsänderungsmittel 923 befindet sich im Bewegungsvektorfeststellabschnitt 924.
Die Arbeitsweise des Bewegungsbildumsetzgerätes vom dritten Ausführungsbeispiel ist nachstehend beschrieben. Obwohl der grundlegende Arbeitsfluß dem des Ablaufdiagramms von 2 gleicht, das die Arbeitsweise des Gerätes vom ersten Ausführungsbeispiel darstellt, unterscheidet sich das dritte und erste Ausführungsbeispiel darin, daß das Bewegungsvektorwiederherstellmittel 909 das Paket aus dem Makroblockklassifizierungsmittel 907 empfängt, der Grobbewegungsvektor wird zum Bewegungsvektor wiederhergestellt, und dann wird das Paket an das Kennzeichenspeichermittel 908 gesandt. Das Bewegungsfeststellmittel 906 im Zonenteilabschnitt 911 stellt den Grobbewegungsvektor vom Makroblock im Suchbereich niedriger Auflösung fest. Dann klassifiziert das Makroblockklassifizierungsmittel 907 die Makroblöcke gemäß dem festgestellten Grobbewegungsvektor. Im Bewegungsbildumsetzgerät vom ersten Ausführungsbeispiel wird der Bewegungsvektor vom Makroblock, gekennzeichnet als Bewegung festgestellt, aus der Richtung von Minus gesucht durch den Bewegungsvektorfeststellabschnitt im Codierabschnitt 111. Andererseits ist das Gerät vom dritten Ausführungsbeispiel dadurch gekennzeichnet, daß der Suchbereich gemäß dem Grobbewegungsvektor beschränkt ist, der gewonnen wird vom Bewegungsfeststellmittel 906 im Zonenteilabschnitt 911, womit die Suche durchgeführt wird. Die Verarbeitung zur Feststellung des Bewegungsvektors mit hoher Geschwindigkeit durch Annähern des Bewegungsvektorsuchbereichs ist nachstehend anhand des Ablaufdiagramms von 10 beschrieben. Der Schritt ist in der Zeichnung abgekürzt mit St.
Schritt 301: Das Bewegungsvektorwiederherstellmittel 909 liest das Kennzeichen aus dem Paket, das das Makroblockklassifizierungsmittel 907 eingegeben hat.
Schritt 302: Zeigt das Kennzeichen die kleine Bewegung von der großen Bewegung auf, wird das Paket zum Kennzeichenspeichermittel 908 unverändert gesandt (Schritt 305). Zeigt das gelesene Kennzeichen Bewegung festgestellt,
Schritt 303: dann wird die zusätzliche Bewegungsinformation (der Grobbewegungsvektor) aus dem Paket gelesen,
Schritt 304: Der im Suchbereich geringer Auflösung gewonnene Grobbewegungsvektor wird so wiederhergestellt, daß er die Originalauflösung wiedergeben kann, wodurch die Bewegungsinformation im Paket aktualisiert wird.
Schritt 305: Das Bewegungsvektorwiederherstellmittel 909 sendet das Paket an das Kennzeichenspeichermittel 908.
Schritt 306: Wenn das Decodiermittel 912 den Makroblock von Nr. m aus dem Blocklesemittel 903 aufnimmt, ergreift es das Kopfpaket aus der Schlange im Kennzeichenspeichermittel 908. Nachdem die Decodierverarbeitung vom Kennzeichen des Gerätes vom ersten Ausführungsbeispiel decodiert ist (Schritt 113)
Schritt 307: Wenn das Kennzeichen die kleine oder die große Bewegung aufzeigt, werden der Makroblock von Nr. m und das Kennzeichen an den Codierabschnitt 925 gesandt. Zeigt das Kennzeichen auf, daß die Bewegung festgestellt ist,
Schritt 308: wird der Bewegungsvektor aus dem Paket herausgenommen und der Makroblock von Nr. m und das Kennzeichen werden an den Codierabschnitt 925 gesandt.
Schritt 309: Das Suchbereichsänderungsmittel 923 im Bewegungsvektorfeststellabschnitt 924 bestimmt einen neuen Suchbereich, so daß ein neuer Suchbereich kleiner sein kann als der Originalsuchbereich und kann den Originalsuchbereich über den empfangenen Bewegungsvektor enthalten.
Schritt 310: Der Bewegungsvektorfeststellabschnitt 924 erhält den Bewegungsvektor aus dem neu bestimmten Suchbereich.
Wie zuvor beschrieben, ist im Gerät dieses Ausführungsbeispiels ein Zonenteilabschnitt 911 vorgesehen, vor dem Codieren im Prozeß des Decodierens der eingegebenen DVC-Daten und vor Codieren der Daten in die MPEG-Daten, wodurch das Klassifizieren gemäß dem Umfang der Bewegung im Makroblock ausgeführt wird. Da der Codierabschnitt 925 die Bewegungsvektorfeststellung allein für den erforderlichen Makroblock gemäß dem Klassifizierungsergebnis ausführt, kann die Verarbeitung folglich vereinfacht werden. Da während der Bewegungsvektorfeststellung der Bewegungsvektorfeststellabschnitt 924 dem Suchbereich annähert und die Suche gemäß dem Grobbewegungsvektor ausführt, der gewonnen ist vom Bewegungsfeststellmittel 906 im Zonenteilabschnitt 911, kann der Bewegungsvektor mit hoher Geschwindigkeit gewonnen werden. Das Gerät dieses Ausführungsbeispiels beabsichtigt, die Codierzeit weiterhin zu verringern und die Bewegungsbildformatumsetzung durch Software auszuführen, verglichen mit dem Bewegungsbildumsetzgerät vom ersten Ausführungsbeispiel.
Als spezifisches Beispiel wird als nächstes die Eingabe eines Bewegungsbildes, wie es in 11(a) gezeigt ist, im Gerät dieses Ausführungsbeispiels unter die Lupe genommen. In 11(a) enthält der Suchbereich eines gewissen Makroblockes einen Block A, der in der Größe gleich einem solchen Makroblock ist, der die Summe aller Pixelwerte im Makroblock enthält und gleich der Summe aller Pixelwerte im Block A ist; und ein Block B, der gleich in der Größe ist, mit einem derartigen Makroblock, bei dem jeder Pixelwert im Block B kleiner ist als jeder Pixelwert im Makroblock, und zwar um 1. Die Blöcke A und B sind voneinander im Suchbereich getrennt. Der Makroblock und die Blöcke A und B umfassen vier Blöcke, die jeweils ein gleiches Muster aufweisen. Der 1/4-Makroblock, der 1/4-Block B sind in 11(b) dargestellt. Im 1/4-Makroblock sind die Pixelwerte von 1 bis 127 in Aufeinanderfolge vom linken oberen Pixel zum rechten unteren Pixel angeordnet, so daß eine arithmetische Progression mit einer gemeinsamen Differenz von 2 gegeben ist. Im 1/4-Block A haben alle Pixel den Pixelwert von 64. Im 1/4-Block B sind die Pixelwerte kleiner als die Pixelwerte im Makroblock, und zwar um 1, das heißt, die Pixelwerte sind von 0 bis 126 in Aufeinanderfolge vom Pixel links oben zum Pixel rechts unten so, daß die arithmetische Progression die gemeinsame Differenz von 2 hat.
Wenn ein derartiges Bewegungsbild in das Gerät dieses Ausführungsbeispiels hereinkommt, tastet das Komponentenauslesemittel 904 die Gleichstromkomponente ab, die genau denselben Wert vom Makroblock und dem Block A hat. Die Gleichstromkomponente vom Block B ist geringer als die Gleichstromkomponente, die das Komponentenauslesemittel 904 ausliest. Das Bewegungsfeststellmittel 906 stellt somit den Grobbewegungsvektor hin zur Position des Blockes A fest. Im Ergebnis gibt der Bewegungsvektorfeststellabschnitt 924 den Bewegungsvektor nahe dem festgestellten groben Bewegungsvektor ab oder kann den Bewegungsvektor nicht feststellen und gibt die Information ab, die aufzeigt, daß der Bewegungsvektor nicht vorhanden ist.
Hinsichtlich der ersten Variation des Bewegungsbildumsetzgerätes vom dritten Ausführungsbeispiel wird der Zonenteilabschnitt 911 ersetzt durch den Zonenteilabschnitt 508 vom Bewegungsbildumsetzgerät des zweiten Ausführungsbeispiels. Durch die Verwendung des Bewegungsvektors, abgegeben vom Bewegungsvektorfeststellmittel 504 im Zonenteilabschnitt 508, wird der Bewegungsvektorsuchbereich angenähert durch den Bewegungsvektorfeststellabschnitt 924 im Codierabschnitt 925, wodurch die Bewegungsvektorfeststellung mit hoher Geschwindigkeit erfolgen kann.
Als nächstes wird als das spezifische Beispiel der Fall betrachtet, bei dem ein Bewegungsbild 1201, wie es in 12 gezeigt ist, zu den DVC-Daten codiert wird, und die DVC-Daten werden dann in das Gerät der ersten Variation eingegeben. Im Bewegungsbild 1201 wird der Makroblock gebildet aus vier Blöcken 1, und die Blockgröße gleicht dem Makroblock, der aus vier Blöcken B gebildet ist und getrennt wird vom Makroblock durch mehrere Pixel im vorherigen Bild. Im Block A sind alle Pixelwerte in einer Blockspalte Nummer 0 gleich 100, und alle Pixelwerte in einer Blockspalte Nummer 1 sind gleich 90. Da in dieser Weise die Anzahl von Spalten erhöht wird, wird der Pixelwert um 10 verringert. Die Blockspalte ist hier so eingestellt, daß das Pixel ganz links im Block als die Spalte Nummer 0 festgelegt werden kann, und das nächste Pixel auf der rechten Seite kann als Spalte Nummer 1 definiert werden. Das heißt, wenn sich das Pixel auf der Seite ganz rechts befindet, wird ein jedes sequentiell der Anzahl von Spalten hinzugefügt. Eine Blockzeile wird hier so eingestellt, daß das oberste Pixel im Block als Zeile Nummer 0 festgelegt ist, und das nächste oberste Pixel kann festgelegt werden als Zeile Nummer 1. Das heißt, wenn sich das Pixel auf der unteren Seite befindet, wird ein jedes sequentiell der Zahl der Zeile hinzugefügt. Im Block B haben die Pixel denselben Wert in den Blockzeilen Nummer 0, 2, 4 und 6. Im Wert der Zeile ist der Wert des Blockes B der doppelte von dem des Blockes A. Das heißt, in dieser Weise sind die Werte 200 und 180 in den Spalten Nummer 0 und Nummer 1 sind, beziehungsweise, da die Anzahl der Spalte ansteigt, wird der Wert um 20 verringert. Die Pixelwerte sind 0 im Block der Zeilen mit den Nummern 1, 3, 5 und 7.
Die DCT wird ausgeführt für die Blöcke A und B, und die Blöcke A und B werden maskiert mit der Maske, in der die Pixelwerte in der Blockzeile Nummer 0 gleich 1 sind, und die Pixelwerte werden in den anderen Zeilen zu 0, wodurch inverses DCT zur Ausführung kommt. Das Ergebnis ist in der rechten Darstellung von 12 gezeigt. Obwohl beide Daten bei der Musteranpassung der zuvor verarbeiteten Daten eine geringe Korrelation untereinander haben, sind beide Daten nach der Verarbeitung durch das Gerät dieser Variation gleich. Das Bewegungsvektorfeststellmittel 504 vom dieses Gerät dieser Variation verwendet die auf der rechten Seite von 12 gezeigten Daten während des Bestimmens der Bildgeschwindigkeit in x-Achsenrichtung. Da beide Daten denselben Gradienten in x-Achsenrichtung haben, gibt das Bewegungsvektorfeststellmittel 504, als x-Komponente der Komponente in Richtung des maximalen Gradienten des Bewegungsvektors, den Wert derselben Stelle als Differenz zwischen dem Makroblock und dem Block ab, der aus den vier Blöcken B an der Stelle auf der x-Achse gebildet ist.
Im Falle einer y-Komponente der Komponente in Richtung des maximalen Bildgradienten vom Bewegungsvektor, wenn I_y gleich 0 ist, wird das unbegrenzte Signal abgegeben. Da jedoch die Größe des Bewegungsvektors gleich oder größer ist als der Wert, der als x-Komponente der Komponente in Richtung des maximalen Bildgradienten vom Bewegungsvektor ausgegeben wird, wird das Makroblockkennzeichen als Bewegung festgestellt.
Hinsichtlich der zweiten Variation des Bewegungsbildumsetzgerätes vom dritten Ausführungsbeispiel ist der Bewegungsvektorfeststellabschnitt 924 aus dem Codierabschnitt 925 herausgenommen, und es ist auch möglich, den unveränderten Bewegungsvektor zu verwenden, den das Bewegungsvektorfeststellmittel 504 im Zonenteilabschnitt 508 festgestellt hat. In diesem Falle ist die Belastung, die zur Bewegungsvektorfeststellung im Codierabschnitt 925 gehört, beseitigt, und die Verarbeitung ist erleichtert.
Als spezifisches Beispiel ist als nächstes die Eingabe eines Bewegungsbildes 1302, wie es in 13 gezeigt ist, in das Gerät dieser Variation abgehandelt. In jedem Block in den DVC-Daten 1301 wird angenommen, daß der linke obere Block festgelegt ist als Ursprung, die Rechtsrichtung ist festgelegt als positive Richtung der x-Achse und die Richtung nach unten ist festgelegt als positive Richtung der y-Achse, wobei das Bewegungsbild 1302 mit der Maske maskiert ist, in der die Komponenten auf der x-Achse und der y-Achse gleich 1 und die anderen Komponenten gleich 0 sind. Wenn das Bewegungsbild 1302 eingegeben wird in das Gerät dieser Variation, gibt das Bewegungsvektorfeststellmittel 504 den Bewegungsvektor ab, der derselbe ist wie der Bewegungsvektor, wenn die DVC-Daten in das Bewegungsvektorfeststellmittel 504 eingegeben werden. Der Bewegungsvektorfeststellabschnitt 924 kann somit den unveränderten Bewegungsvektor durch das Mittel 504 als Bewegungsvektor verwenden, ohne den zusätzlichen Bewegungsvektor bestimmen zu müssen.
Wie sich aus der obigen Beschreibung ergibt, ist im Gerät dieses Ausführungsbeispiels der Zonenteilabschnitt 911 vor dem Codieren im Prozeß des Decodierens der eingegebenen DVC-Daten und vor Codieren der Daten in MPEG-Daten vorgesehen, womit das Klassifizieren gemäß dem Umfang der Bewegung des Makroblockes ausgeführt wird. Da der Codierabschnitt 925 die Bewegungsvektorfeststellung allein für den notwendigen Makroblock gemäß dem Klassifizierungsergebnis ausführt, kann die Verarbeitung folglich erleichtert werden. Während der Bewegungsvektorfeststellung nähert sich der Bewegungsvektorfeststellabschnitt 924 an den Suchbereich und sucht den Bewegungsvektor gemäß dem Bewegungsvektor, der gewonnen wird vom Bewegungsvektorfeststellmittel 504 im Zonenteilabschnitt 508. Der Bewegungsvektorfeststellabschnitt 924 bestimmt folglich nicht den Bewegungsvektor und verwendet als Bewegungsvektor den unverändert Bewegungsvektor, der gewonnen wird durch das Bewegungsvektorfeststellmittel 504 im Zonenteilabschnitt 508, wodurch der Bewegungsvektor mit hoher Geschwindigkeit gewonnen wird. Das Gerät dieses Ausführungsbeispiels beabsichtigt, die Codierzeit weiter zu verringern und die Bewegungsbildumsetzung per Software auszuführen, verglichen mit dem Bewegungsbildumsetzgerät vom zweiten Ausführungsbeispiel.
Wie zuvor beschrieben, wird ein Makroblock klassifiziert durch einen Zonenteilabschnitt, der nach der vorliegenden Erfindung vorgesehen ist vor einer Bildkompressionsverarbeitung, und ein Codieren wird geändert als Reaktion auf dieses Klassifizierungsergebnis, wodurch der Arbeitsumfang für eine Vektorfeststellung verringert wird und die Geschwindigkeit der Bildkompressionsverarbeitung erhöht wird.
Verschiedene Abwandlungen und Variationen der zuvor beschriebenen Ausführungsbeispiele sind möglich, ohne vom Umfang der Erfindung abzuweichen, wie er in den nachstehenden Patentansprüchen angegeben ist.

Claims

Gerät zur Bildsignalumwandlung, mit: einem Eingabemittel (101) zur Eingabe eines digitalen Bildsignals, das gebildet ist aus einem Makroblock, der eine Ansammlung von Blöcken darstellt, wobei jeder Block orthogonal transformiert ist; einem Bildspeicher (102) zum Speichern des digitalen Bildsignals; einem Blocklesemittel (103) zum Lesen der Blöcke oder des Makroblockes aus dem Bildspeicher als Reaktion auf eine Anforderung; einem Steuermittel (109) zur Zonenteilauswahl, um eine gelesene Anforderung an das Blocklesemittel zu senden; einem Komponentenauslesemittel (104) zum alleinigen Auslesen einer Gleichstromkomponente von einem aufgenommenen Bild; zwei geringauflösenden Vollbildspeichern (105) zum Speichern von Informationen der ausgelesenen Komponente; einem Bewegungsfeststellmittel (106) zum Feststellen einer Bewegung unter Verwendung der Information in den geringauflösenden Vollbildspeichern (105); einem Zonenteilabschnitt (113), der ausgestattet ist mit: einem Makroblockklassifizierungsmittel (107) zum Beurteilen des Makroblockes als Reaktion auf ein Bewegungsfeststellergebnis vom Bewegungsfeststellmittel, und einem Bewertungsspeichermittel (114) zum Speichern einer Bewertung des Makroblockes; einem Decodiermittel (110) zum Decodieren von Daten aus dem Blocklesemittel als Erwiderung einer Anforderung; einem Codierabschnitt (111) zum Ändern einer Codierung des Makroblockes als Reaktion auf die Bewertung im Bewertungsspeichermittel (114); und mit einem Ausgabemittel (112) zur Ausgabe des codierten Signals.
Gerät zur Bildsignalumwandlung nach Anspruch 1, bei dem das Bewertungsspeichermittel (114) die Bewertung abgibt, die aufzeigt, daß die Bewegung vom Makroblock gering ist, wobei der Codierabschnitt (111) einen kleinen Suchbereich für einen Bewegungsvektor auswählt, so daß eine Bewegungsvektorfeststellung ausführbar ist.
Gerät zur Bildsignalumwandlung nach Anspruch 1, bei dem der Zonenteilabschnitt (408) des weiteren über ein Auflösungsumsetzmittel (406) verfügt, um die Auflösung durch Interpolieren eines eingegebenen Bildes umzusetzen.
Gerät zur Bildsignalumwandlung nach Anspruch 1, bei dem das Komponentenauslesemittel (104; 401) die Gleichstromkomponente und eine Niederfrequenzkomponente des aufgenommenen Bildes abtastet und wobei der Zonenteilabschnitt ein inverses DCT-Mittel enthält, um eine inverse DCT für die Niederfrequenzkomponente auszuführen, die das Komponentenauslesemittel gelesen hat.
Gerät zur Bildsignalumwandlung, mit: einem Eingabemittel (509) zum Eingabe eines digitalen Bildsignals, gebildet aus einem Makroblock, der eine Ansammlung von Blöcken darstellt, wobei jeder Block orthogonal transformiert ist; einem Vollbildspeicher (510) zum Speichern des digitalen Bildsignals; einem Blocklesemittel (512) zum Lesen der Blöcke oder des Makroblockes aus dem Vollbildspeicher als Reaktion auf eine Anforderung; einem Steuermittel (507) zur Zonenteilauswahl, um eine Leseanforderung an das Blocklesemittel (512) zu senden; einem Komponentenauslesemittel (501) zum alleinigen Auslesen einer speziellen Komponente, aufgelöst durch eine orthogonale Basis für ein aufgenommenes Bild; einem inversen orthogonalen Transformationsmittel (502) zum Ausführen der inversen orthogonalen Transformation in Hinsicht auf die ausgelesene Komponente; zwei Vollbildspeichern (503A, 503B) zum Speichern der durch das inverse orthogonale Transformationsmittel (502) gewonnenen Information; einem Bewegungsvektorfeststellmittel (504) zum Feststellen einer Bewegung gemäß der vom inversen orthogonalen Transformationsmittel (502) gewonnenen Information; einem Zonenteilabschnitt (508), der ausgestattet ist mit: einem Makroblockklassifizierungsmittel (505) zum Beurteilen des Makroblockes als Reaktion auf den Betrag eines Bewegungsvektors aus dem Bewegungsfeststellmittel (504) und mit einem Bewertungsspeichermittel (506) zum Speichern einer Bewertung des Makroblockes; einem Decodiermittel (513) zum Decodieren von aus dem Blocklesemittel als Reaktion auf eine Anforderung empfangenen Daten; einem Codierabschnitt (514) zum Ändern einer Codierung des Makroblockes als Reaktion auf die Bewertung im Bewertungsspeichermittel (506); und mit einem Ausgabemittel (515) zur Ausgabe des codierten Signals.
Gerät zur Bildsignalumwandlung, mit: einem Eingabemittel (901) zur Eingabe eines digitalen Bildsignals, aufgebaut aus einem Makroblock, der eine Ansammlung von Blöcken darstellt, wobei jeder Block orthogonal transformiert ist; einem Bildspeicher (902) zum Speichern des digitalen Bildsignals; einem Blocklesemittel (903) zum Lesen der Blöcke oder des Makroblockes aus dem Bildspeicher als Reaktion auf eine Anforderung; einem Steuermittel (910) zur Zonenteilauswahl, um eine gelesene Anforderung an das Blocklesemittel zu senden; einem Komponentenauslesemittel (904) zum alleinigen Auslesen einer Gleichstromkomponente aus einem aufgenommenen Bild; zwei niedrigauflösenden Bildspeichern (503A, 503B) zum Speichern von Informationen der ausgelesenen Information; und mit einem Bewegungsfeststellmittel zum Feststellen einer Bewegung unter Verwendung der Information in den niedrigauflösenden Bildspeichern; wobei das Zonenteilauswahlmittel des weiteren verfügt über: ein Makroblockklassifizierungsmittel zum Beurteilen des Makroblockes gemäß einem Ausgangssignal vom Bewegungsfeststellmittel, ein Bewegungsvektorwiederherstellmittel (909) zum Wiederherstellen eines Bewegungsvektors des Makroblockes, dessen Bewegung gemäß einem Ergebnis des Bewegungsfeststellmittels festgestellt ist, und über ein Beurteilungsspeichermittel (908) zum Speichern einer Beurteilung des Makroblockes; ein Decodiermittel zum Decodierung von Daten, empfangen aus dem Blocklesemittel als Reaktion auf eine Anforderung; einen Codierabschnitt (925), mit: einem DCT-Mittel, einem Quantisierungsmittel, einem variablen Längencodiermittel, einem inversen Quantifizierungsmittel, einem inversen DCT-Mittel, einem Bildspeichermittel, einem Bilddifferenzierglied, einem Bildhinzufüger, einem Bewegungsvektorfeststellabschnitt, in dem sich ein Suchbereichsänderungsmittel befindet, und einem Bewegungsinformationscodiermittel; und mit einem Ausgabemittel (926) zur Ausgabe des codierten Signals; wobei der Bewegungsvektorfeststellabschnitt im Codierabschnitt einen Suchbereich für den Bewegungsvektor gemäß dem Bewegungsfeststellergebnis vom Bewegungsfeststellmittel im Zonenteilabschnitt bestimmt, wobei eine Bewegungsvektorfeststellung zur Ausführung kommt.
Gerät zur Bildsignalumwandlung nach Anspruch 6, bei dem der Zonenteilabschnitt (911) ersetzt ist durch einen Zonenteilabschnitt nach Anspruch 5, und wobei der Bewegungsvektorfeststellabschnitt im Codierabschnitt den Suchbereich für den Bewegungsvektor durch Verwendung des vom Bewegungsvektorfeststellmittel festgestellten Bewegungsvektors im Zonenteilabschnitt bestimmt, wodurch die Bewegungsvektorfeststellung zur Ausführung kommt.
Gerät zur Bildsignalumwandlung nach Anspruch 7, bei dem der Bewegungsvektorfeststellabschnitt im Codierabschnitt aus dem Codierabschnitt herausgenommen ist, wodurch der Codierabschnitt absolut nicht den Bewegungsvektor, aber den vom Bewegungsvektorfeststellmittel im Zonenteilabschnitt festgestellten Bewegungsvektor feststellt.