DE69737443T2

DE69737443T2 - Verfahren für skalierbares zwischenkonturverschlüsseln und vorrichtung dafür

Info

Publication number: DE69737443T2
Application number: DE1997637443
Authority: DE
Inventors: Seok-Won 541 5-Ga Namdaemoon-Ro Jung-Gu Han
Original assignee: Daewoo Electronics Co Ltd
Current assignee: WiniaDaewoo Co Ltd
Priority date: 1997-06-26
Filing date: 1997-08-15
Publication date: 2007-11-15
Anticipated expiration: 2017-08-16
Also published as: EP0888011A3; IN191385B; US6097756A; CN1204215A; CN1149852C; DE69737443D1; JPH1127682A; EP0888011B1; KR100244769B1; EP0888011A2; KR19990003658A

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung für das Zwischenkonturkodieren eines Objekts in einem Videosignal mit Skalierbarkeit; und insbesondere auf ein Verfahren und eine Vorrichtung, die dazu fähig sind, die Qualität eines Videobilds durch das Übertragen zuerst von einer Basisschicht und danach von Erweiterungsschichten sequentiell zu verbessern, und auch dazu fähig sind, die Menge an Übertragungsdaten durch die Verwendung einer Konturbewegungsschätzungstechnik zu reduzieren.
In Digitalfernsehsystemen, wie z.B. Videotelefon-, Telefonkonferenz- und hochauflösenden Fernsehsystemen, wird eine große Menge an digitalen Daten gebraucht, um jedes Videorahmensignal zu definieren, da ein Videozeilensignal in dem Videorahmensignal eine Sequenz von digitalen Daten aufweist, die als Pixelwerte bezeichnet werden. Da jedoch die verfügbare Frequenzbandbreite eines herkömmlichen Übertragungskanals beschränkt ist, ist es dadurch für das Übertragen der großen Menge an digitalen Daten unvermeidlich, das Datenvolumen durch die Verwendung von verschiedenen Datenkompressionstechniken zu komprimieren oder zu reduzieren, besonders im Fall von solchen Videosignal-Codierern, die eine niedrige Bitrate haben, wie Videotelefon- und Telefonkonferenzsysteme.
Eine solche Technik für das Kodieren von Videosignalen für ein Kodierungssystem mit niedriger Bitrate ist eine Technik für skalierbares Intrakonturkodieren, die dazu fähig ist, die Qualität eines Videobilds durch das Übertragen zuerst von einer Basisschicht und danach von Erweiterungsschichten sequentiell zu verbessern.
WO 97/15902 A (MOTOROLA INC), 1. Mai 1997, offenbart ein Verfahren für skalierbares Intrakonturverschlüsseln eines Videosignals, das folgende Schritte aufweist: Erzeugen einer vorhergesagten Kontur, Abtasten des Unterschieds zwischen der Kontur und der vorhergesagten Kontur und Verschlüsseln der Abtastwerte in eine Mehrzahl von Schichten.
Im Allgemeinen werden, um eine (n)te Erweiterungsschicht zu entschlüsseln, Schichten mit niedrigeren Ebenen von der Basisschicht zu einer (n – 1)ten Erweiterungsschicht im Voraus entschlüsselt, wobei n eine ganze Zahl ist, die größer als 2 ist. Ein Decoder entschlüsselt keine Schichten von einer (n + 1)ten Schicht, wenn kein Bedarf besteht, die Qualität des Videobilds noch weiter zu verbessern. Mit anderen Worten entschlüsselt ein Decoder nur so viele Schichten wie notwendig und reduziert dadurch den Bitverlust, der sich aus dem Übertragen von übermäßig genauen oder fein aufgeteilten Videobilden ergibt.
Mit Bezug auf 1A, 1B und 1C sind beispielhafte Diagramme der Technik für skalierbares Intrakonturverschlüsseln dargestellt. Eine Basisschicht L₀ enthält 5 Ecken P₀(1) bis P₀(5), eine erste Erweiterungsschicht L₁ enthält 6 Ecken P₁(1) bis P₁(6) und eine zweite Erweiterungsschicht L₂ enthält 4 Ecken P₂(1) bis P₂(4). Wie in 1B gezeigt, befindet sich P₁(1) zwischen P₀(1) und P₀(2), befindet sich P₁(2) zwischen P₀(2) und P₀(3), befindet sich P₁(3) zwischen P₀(3) und P₀(4), befinden sich sowohl P₁(4) als auch P₁(5) zwischen P₀(4) und P₀(5) und befindet sich P₁(6) zwischen P₀(5) und P₀(1); und wie in 1C gezeigt, befindet sich P₂(1) zwischen P₀(1) und P₁(1), befindet sich P₂(2) zwischen P₁(1) und P₀(2), befindet sich P₂(3) zwischen P₁(4) und P₁(5) und befindet sich P₂(4) zwischen P₀(5) und P₁(6).
Währenddessen weisen Bit-Ströme B_is, von denen jeder jeder der Schichten L_is entspricht, Eckensequenzinformation und Eckenpositionsinformation auf, wobei i eine ganze Zahl im Bereich von 0 bis 2 ist. Der Bit-Strom B₀ der Basisschicht L₀ enthält die Eckenpositionsinformation, die die Position von P₀(1) bis P₀(5) anzeigt.
Der Bit-Strom B₁ der ersten Erweiterungsschicht L₁ enthält die Eckensequenzinformation 1, 1, 1, 2, 1 und die Eckenpositionsinformation P₁(1) bis P₁(6), wobei die Eckensequenzinformation 1, 1, 1, 2, 1 die Anzahl von Ecken der ersten Erweiterungsschicht L₁ anzeigt, die zwischen zwei benachbarte Ecken der Basis schicht L₀ eingeführt werden sollen. Das heißt, 1 Ecke wird zwischen P₀(1) und P₀(2), 1 Ecke zwischen P₀(2) und P₀(3), 1 Ecke zwischen P₀(3) und P₀(4) eingeführt, 2 Ecken werden zwischen P₀(4) und P₀(5) eingeführt und 1 Ecke wird zwischen P₀(5) und P₀(1) eingeführt; und die Einfügungssequenz ist in der Reihenfolge von P₁(1), P₁(2), P₁(3), P₁(4), P₁(5) und P₁(6).
Der Bit-Strom B₂ der zweiten Erweiterungsschicht L2 enthält die Eckensequenzinformation 1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0 und die Eckenpositionsinformation P₂(1) bis P₂(4), wobei die Eckensequenzinformation 1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0 die Anzahl von Ecken der zweiten Erweiterungsschicht L₂ anzeigt, die zwischen zwei benachbarte Ecken der Basisschicht L₀ und der ersten Erweiterungsschicht L₁ eingeführt werden sollen. Das heißt, 1 Ecke wird zwischen P₀(1) und P₁(1) eingeführt, 1 Ecke wird zwischen P₁(1) und P₀(2) eingeführt, keine Ecke wird zwischen P₀(2) und P₁(2) eingeführt usw.; und die Einfügungssequenz ist in der Reihenfolge von P₂(1), P₂(2), P₂(3) und P₂(4).
Wie in 1A, 1B und 1C gezeigt, kommt die Form eines wiederhergestellten Videobilds einer Originalform einer Kontur näher, wenn mehr Schichten entschlüsselt werden.
Obwohl die Technik des skalierbaren Intrakonturverschlüsselns dazu fähig ist, einen Bit-Verlust zu reduzieren, der sich aus dem Übertragen eines übermäßig genauen oder sequentiellen Videobilds ergibt, berücksichtigt sie nicht die zeitliche Redundanz zwischen zwei aufeinander folgenden Rahmen. Folglich bleibt es immer noch wünschenswert, das Volumen von Übertragungsdaten durch die Verwendung einer Konturbewegungsschätzungstechnik weiter zu reduzieren, um ein Ver-/Entschlüssungssystem mit einer niedrigen Bitrate, das z.B. eine Übertragungskanalbandbreite von 64 kb/s hat, effizienter zu implementieren.
Es ist deshalb eine Hauptaufgabe der Erfindung, ein Verfahren und eine Vorrichtung für eine verbesserte Konturkodierung mit Skalierbarkeit für Zwischenkonturverschlüsselungskonturinformation zu schaffen, um dadurch die Qualität eines Videobilds sequentiell zu verbessern und das Volumen von Übertragungsdaten weiter zu reduzieren.
Gemäß der vorliegenden Erfindung ist ein Verfahren für skalierbares Zwischenkonturverschlüsseln eines Videosignals mit einem vorhergehenden und einem gegenwärtigen Rahmen vorgesehen, wobei sowohl der vorhergehende als auch der gegenwärtige Rahmen eine Kontur enthält, wobei das Verfahren die folgenden Schritte aufweist: Erzeugen einer vorhergesagten Kontur durch die Bewegungsschätzung und -kompensation einer vorhergehenden Basisschicht; Erweitern der vorhergesagten Kontur um einen vorherbestimmten Schwellenwert D_max(j); Erzeugen von (j)ten primären und sekundären Ecken; Rekonstruieren einer gegenwärtigen Basisschicht; Erweitern der vorhergesagten Kontur um einen vorherbestimmten Schwellenwert D_max(j + 1); Erzeugen von (j + 1)ten primären und sekundären Ecken; Aktualisieren der (j)ten primären und sekundären Ecken. Dann werden die (j)ten primären und sekundären Ecken kodiert; und die Information der kodierten primären und sekundären Ecken wird auf eine vorherbestimmte Weise formatiert. Zuletzt wird der Wert von j um 1 erhöht und werden die Schritte für das Erweitern der vorhergesagten Kontur um D_max(j + 1) bis zu den Schritten für das Formatieren der Information der kodierten primären und sekundären Ecken wiederholt, bis j N wird, wobei N eine positive ganze Zahl ist.
Die oben genannten und andere Aufgaben und Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von bevorzugten Ausführungsformen in Verbindung mit den begleitenden Zeichnungen ersichtlich. In denen zeigen:
1A, 1B und 1C beispielhafte Diagramme einer herkömmlichen Technik für skalierbare Intrakontur-Verschlüsselung;
2 ein Blockdiagramm einer Vorrichtung für skalierbares Zwischenkonturverschlüsseln gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung;
3 einen Prozess für das Anpassen einer gegenwärtigen Kontur an eine vorhergesagte Kontur und das Erweitern der vorhergesagten Kontur um einen vorherbestimmten Schwellenwert;
4 einen Prozess für das Bestimmen von sekundären Ecken an unpassenden Segmenten;
5 eine beispielhafte Basisschicht, die unter Verwendung von passenden Segmenten und den sekundären Ecken rekonstruiert wird;
6 die sich ändernde Konturinformation, wenn die Operation gemäß der vorliegenden Erfindung fortfährt; und
7 ein Verfahren für das Kodieren von Information der primären Ecke durch die ,Reference Contour Based' (auf einer Referenzkontur basierende)-Verschlüsselungstechnik.
Mit Bezug auf 2 ist ein Blockdiagramm einer Vorrichtung 1 für das Kodieren einer Kontur gemäß der vorliegenden Erfindung gezeigt.
Gegenwärtige Konturdaten werden auf einer Leitung L10 an eine Bewegungsschätzungseinheit 10 und eine Erweiterungseinheit 30 geliefert. Die Bewegungsschätzungseinheit 10 bestimmt durch die Bewegungsschätzung einen Bewegungsvektor MV. In einer bevorzugten Ausführungsform der vorliegenden Erfindung wird eine vorhergehende Basisschicht auf einer Pixel-um-Pixel-Basis verschoben, um dadurch mit der gegenwärtigen Kontur zu überlappen, und werden die Pixel, die sowohl zu der gegenwärtigen Kontur als auch zu der vorhergehende Basisschicht gehören, bei jeder Verschiebung gezählt.
Danach wird die Verschiebung der vorhergehenden Basisschicht, die eine größte Zahl von Pixeln bringt, die sowohl zu der gegenwärtigen Kontur als auch zu der vorhergehenden Basisschicht gehören, als der Bewegungsvektor MV ausgewählt. Der Bewegungsvektor MV wird auf einer Leitung L20 an eine Bewegungskompensationseinheit 20 und einen Formstierer 90 geliefert.
Die Bewegungskompensationseinheit 20 erzeugt eine vorhergesagte Kontur. Das heißt, alle Pixel auf der vorhergehenden Basisschicht werden um den Bewegungsvektor MV in die Richtung der gegenwärtigen Kontur bewegt, um dadurch die vorhergesagte Kontur zu erzeugen. Die vorhergesagte Kontur wird an die Erweiterungseinheit 30 geliefert.
Die Erweiterungseinheit 30 überlappt die vorhergesagte Kontur mit der gegenwärtigen Kontur, detektiert Koinzidenzteile, wobei der Koinzidenzteil ein Teil der gegenwärtigen Kontur ist, wo die vorhergesagte Kontur mit der gegenwär tigen Kontur überlappt und bestimmt Koinzidenzecken. Wenn der Koinzidenzteil mehr als ein Pixel enthält, werden Endpunkte des Koinzidenzteils als die Koinzidenzecken bestimmt. Wenn der Koinzidenzteil nur ein Pixel enthält, wird das eine Pixel als die Koinzidenzecke bestimmt.
Mit Bezug auf 3 werden 26 beispielhafte Koinzidenzecken A bis Z erzeugt. A, B, F, G, L, M, N, O, R, S, W und X sind die beispielhaften Koinzidenzecken, die jede ein Endpunkt eines entsprechenden beispielhaften Koinzidenzteils sind, wobei jeder beispielhafte Koinzidenzteil ein Teil einer beispielhaften gegenwärtigen Kontur 34 ist, der mit der beispielhaften vorhergesagten Kontur 32 überlappt. C, D, E, H, I, J, K, P, Q, T, U, V, Y und Z sind die beispielhaften Koinzidenzecken, an denen die beispielhafte vorhergesagte Kontur 32 die beispielhafte gegenwärtige Kontur 34 nur kreuzt.
Nach dem Bestimmen der Koinzidenzecken erweitert die Erweiterungseinheit 30 die vorhergesagte Kontur um einen vorherbestimmten Schwellenwert D_max(j), um dadurch ein erstes erweitertes Konturband zu erzeugen, wobei j 0 ist. D_max(j) nimmt ab, wenn j zunimmt, wobei D_max(j) nicht negativ ist. In der in 3 gezeigten bevorzugten Ausführungsform wird die beispielhafte vorhergesagte Kontur 32 um D_max(0) erweitert, um dadurch ein erstes beispielhaftes erweitertes Konturband 32' zu erzeugen.
Die Erweiterungseinheit 30 liefert Information über die gegenwärtige und vorhergesagte Kontur, über das erste erweiterte Konturband und die Koinzidenzecken an eine Einheit zur Bestimmung von passenden Segmenten 40.
Die Einheit zur Bestimmung von passenden Segmenten 40 detektiert erste passende Teile. Jeder der ersten passenden Teile stellt einen Teil der gegenwärtigen Kontur dar, der mit dem ersten erweiterten Konturband zwischen zwei Koinzidenzecken überlappt, und zwei benachbarte erste passende Teile, die einen Endpunkt gemeinsam haben, werden als ein erster passender Teil betrachtet.
Danach vergleicht die Einheit zur Bestimmung von passenden Segmenten 40 jede Länge der ersten passenden Teile mit einem vorherbestimmten Schwellenwert TH, um dadurch erste passende Teile, deren Längen länger sind als der vorherbestimmte Schwellenwert TH, als erste passende Segmente auszuwählen. Endpunkte der ersten passenden Segmente werden als erste primäre Ecken bestimmt. Wieder mit Bezug auf 3 sind Teile A bis I, K bis O, R bis U und V bis Z beispielhafte erste passende Segmente der beispielhaften gegenwärtigen Kontur 34 und sind A, I, K, O, R, U, V und Z beispielhafte erste primäre Ecken der beispielhaften gegenwärtigen Kontur 34.
Information über die gegenwärtige und die vorhergesagte Kontur und die ersten primären Ecken wird an eine Sekundäreckenbestimmungseinheit 50 geliefert.
Die Sekundäreckenbestimmungseinheit 50 bestimmt erste unpassende Segmente, wobei das erste unpassende Segment ein Segment auf der gegenwärtigen Kontur ist, das zu keinem der ersten passenden Segmente gehört. Dann werden die ersten sekundären Ecken an jedem der ersten unpassenden Segmente an der gegenwärtigen Kontur durch die Verwendung der herkömmlichen polygonalen Annäherungstechnik basierend auf dem vorherbestimmten Schwellenwert D_max(j) bestimmt, wobei der vorherbestimmte Schwellenwert D_max(j) der gleiche Schwellenwert ist, der bei der Erweiterungseinheit 30 verwendet wird. Gemäß der herkömmlichen polygonalen Annäherungstechnik wird ein Konturpixel auf einem beliebigen ersten unpassenden Segment, das einen größten Abstand zu einem ihm entsprechenden Liniensegment hat, als eine erste Anfangsecke bestimmt, wenn der größte Abstand größer ist als der D_max(j). Die von der polygonalen Annäherung bestimmten ersten Anfangsecken werden als erste sekundäre Ecken definiert.
Mit Bezug auf 4 sind Teile von I bis K, O bis R, U bis V und Z bis A beispielhafte erste unpassende Segmente auf der beispielhaften gegenwärtigen Kontur 34 und sind 1V₁ bis 1V₇ beispielhafte erste sekundäre Ecken der beispielhaften gegenwärtigen Kontur 34.
Die Sekundäreckenbestimmungseinheit 50 liefert Information über die gegenwärtige und vorhergesagte Kontur, die ersten primären und die ersten sekundären Ecken und die ersten passenden und die ersten unpassenden Segmente an einen Speicher für überlappte Konturen 60. Der Speicher für überlappte Konturen 60 gibt den ersten primären Ecken Indizes, um dadurch Information über die ersten sekundären und die indizierten ersten primären Ecken als eine erste überlappte Kontur OC(1) zu speichern. Zum Beispiel zeigt 1S₁ einen ersten Anfangspunkt des ersten passenden Segments an, zeigt IS₂ einen zweiten Anfangspunkt des ersten passenden Segments an usw. und zeigt 1E₁ einen ersten Endpunkt des ersten passenden Segments an, zeigt IE₂ einen zweiten Endpunkt des ersten passenden Segments an usw.
Nach dem Speichern der ersten überlappten Kontur OC(1) liefert der Speicher für überlappte Konturen 60 einer Basisschichtrekonstruktionseinheit 100 auf einer Leitung L40 Information über das erste passende Segment und die erste sekundäre Ecke nur dann, wenn der Wert von j 0 ist. Dann rekonstruiert die Basisschichtrekonstruktionseinheit 100 eine gegenwärtige Basisschicht. Mit Bezug auf 5 weist eine beispielhafte gegenwärtige Basisschicht 36 dicke Linien, die die beispielhaften ersten passenden Segmente sind, und dünne Linien, die zwei benachbarte beispielhafte primäre oder sekundäre Ecken verbinden, auf. Die rekonstruierte gegenwärtige Basisschicht wird in einer Basisschichtspeichereinheit 110 gespeichert.
Währenddessen erhöht der Speicher für überlappte Konturen 60 j um 1 und liefert Information über die gegenwärtige und die vorhergesagte Kontur und die erste überlappte Kontur OC(1) über eine Leitung L50 an die Erweiterungseinheit 30.
Die Erweiterungseinheit 30 erweitert die vorhergesagte Kontur aus dem Speicher für überlappte Konturen 60 um einen vorherbestimmten Schwellenwert D_max(j), um dadurch ein zweites erweitertes Konturband zu erzeugen, wobei j 0 ist und D_max(1) kleiner ist als D_max(0). Die Erweiterungseinheit 30 liefert Information über die gegenwärtige und die vorhergesagte Kontur, das zweite erweiterte Konturband und die erste überlappte Kontur OC(1) an die Einheit zur Bestimmung von passenden Segmenten 40.
Die Operation der Einheit zur Bestimmung von passenden Segmenten 40 ist für den Fall, in dem j 1 ist, dem Fall ähnlich, wenn j 0 ist. Das heißt, Teile, wo das zweite erweiterte Konturband mit der gegenwärtigen Kontur zusammenfällt, werden als zweite passende Teile bestimmt. Danach werden die zweiten passenden Teile, deren Längen länger sind als der vorherbestimmte Schwellenwert TH, als zweite passende Segmente bestimmt und werden Endpunkte der zweiten passenden Segmente als zweite primäre Ecken bestimmt.
Information über die gegenwärtige und die vorhergesagte Kontur, die zweiten primären Ecken und die erste überlappte Kontur OC(1) wird an die Sekundäreckenbestimmungseinheit 50 geliefert.
Die Sekundäreckenbestimmungseinheit 50 bestimmt zweite unpassende Segmente, wobei das zweite unpassende Segment ein Teil der gegenwärtigen Kontur zwischen zwei benachbarten Punkten aus den ersten primären Ecken, den ersten sekundären Ecken und den zweiten primären Ecken ist, die zu keinem der zweiten passenden Segmente gehören.
Dann werden zweite sekundäre Ecken an jedem der zweiten unpassenden Segmente an der gegenwärtigen Kontur durch die Verwendung der herkömmlichen polygonalen Annäherungstechnik basierend auf dem vorherbestimmten Schwellenwert D_max(j) bestimmt, wobei der vorherbestimmte Schwellenwert D_max(j) der gleiche Schwellenwert ist wie der an der Erweiterungseinheit 30 verwendete. Gemäß der herkömmlichen polygonalen Annäherungstechnik wird ein Konturpixel auf einem beliebigen zweiten unpassenden Segment, das einen größten Abstand zu einem ihm entsprechenden Liniensegment hat, als eine zweite Anfangsecke bestimmt, wenn der größte Abstand größer ist als der vorherbestimmte Schwellenwert D_max(j). Die von der polygonalen Annäherung bestimmten zweiten Anfangsecken werden als zweite sekundäre Ecken bezeichnet.
Die Sekundäreckenbestimmungseinheit 50 liefert Information über die gegenwärtige und die vorhergesagte Kontur, die zweiten primären und zweiten sekundären Ecken und die zweiten passenden und die zweiten unpassenden Segmente an den Speicher für überlappte Konturen 60. Der Speicher für überlappte Konturen 60 gibt den zweiten primären Ecken Indizes, um dadurch Information über die zweiten sekundären und indizierten zweiten primären Ecken als eine zweite überlappte Kontur OC(2) zu speichern. Zum Beispiel zeigt 2S₁ einen ersten Anfangspunkt des zweiten passenden Segments an, zeigt 2S₂ einen zweiten Anfangspunkt des zweiten passenden Segments an usw. und zeigt 2E₁ einen ersten Endpunkt des zweiten passenden Segments 2 an, zeigt 2E₂ einen zweiten Endpunkt des zweiten passenden Segments an usw..
Nach dem Speichern der zweiten überlappten Kontur OC(2) aktualisiert der Speicher für überlappte Konturen 60 die erste überlappte Kontur OC(1). Im Detail kann es einige erste primäre Ecken geben, die nicht die zweiten primären Ecken sind. Folglich gibt der Speicher für überlappte Konturen 60 solchen Punkten Indizes, die anzeigen, dass die entsprechenden Punkte erste Anfangsendpunkte sind. Die ersten Anfangsendpunkte sind die Punkte, die die ersten primären Ecken, aber nicht die zweiten primären Ecken sind. Zum Beispiel zeigt 1SE₁ einen ersten Anfangsendpunkt der Basisschicht an, zeigt 1SE₂ einen zweiten Anfangsendpunkt der Basisschicht an usw.. Eine aktualisierte erste überlappte Kontur OC'(1) wird in dem Speicher für überlappte Konturen 60 gespeichert.
Mit Bezug auf 6A bis 6H gibt es Diagramme, von denen jedes die sich ändernde Konturinformation darstellt, wenn die Operation gemäß der vorliegenden Erfindung fortfährt. 6A beschreibt die beispielhaften Koinzidenzecken A bis Z und die beispielhaften Koinzidenzteile AB, FG, LM, NO, RS und WX gemäß der bevorzugten Ausführungsform der vorliegenden Erfindung. 6B stellt die beispielhaften ersten primären Ecken A, I, K, O, R, U, V und Z, die beispielhaften ersten sekundären Ecken 1V1 bis 1V7 und die beispielhaften ersten passenden Segmente Al, LO, RU und VZ dar, die sich aus der Konstruktion der beispielhaften gegenwärtigen Basisschicht ergeben. 6C ist eine beispielhafte erste überlappte Kontur OC(1), die in dem Speicher für überlappte Konturen 60 gespeichert wird, wenn j 0 ist, und 1S₁ bis 1S₄ sind beispielhafte Anfangspunkte der beispielhaften ersten passenden Segmente und 1E₁ bis 1E₄ sind beispielhafte Endpunkte der beispielhaften ersten unpassenden Segmente. 6D stellt beispielhafte zweite primäre Ecken A, C, E, H, L, O, R, S, W und Y und beispielhafte zweite passende Segmente AC, EH, LO, RS und WY als das Ergebnis der Konturerweiterung um D_max(1) dar. 6E zeigt beispielhafte zweite unpassende Segmente CE, HI, I1V₁, 1V₁1V₂, 1V₂K, KL, O1V₃, 1V₃1V₄, 1V₄1V₅, 1V₅R, SU, U1V₆, 1V₆V, VW, YZ, Z1V₇ und 1V₇A. 6F stellt beispielhafte zweite sekun däre Ecken 2V₁ bis 2V₁₅ dar. 6G ist eine beispielhafte zweite überlappte Kontur OC(2), die in dem Speicher für überlappte Konturen 60 gespeichert wird, wenn j 1 ist, und 2S₁ bis 2S₅ sind beispielhafte Anfangspunkte der beispielhaften zweiten passenden Segmente und 1E₅ bis 2E₅ sind beispielhafte Endpunkte der beispielhaften zweiten passenden Segmente. 6H ist eine beispielhafte erste aktualisierte überlappte Kontur OC'(1), die in dem Speicher für überlappte Konturen 60 gespeichert wird, wenn j 1 ist.
Währenddessen liefert der Speicher für überlappte Konturen 60 Information über die vorhergesagte Kontur und die ersten primären Ecken über eine Leitung L60 an eine Primäreckenverschlüsselungseinheit 70, Information über die ersten sekundären Ecken und die aktualisierte erste überlappte Kontur OC'(1) über eine Leitung L70 an eine Sekundäreckenverschlüsselungseinheit 80. Da jedoch j 1 ist, liefert der Speicher für überlappte Konturen 60 die Information über das erste passende Segment und die erste sekundäre Ecke nicht über die Leitung L40 an die Basisschichtrekonstruktionseinheit 100.
Die Primäreckenverschlüsselungseinheit 70 bestimmt einen Referenzpunkt RP unter Verwendung eines vorherbestimmten Verfahrens, zum Beispiel Rasterabtastung, berechnet die Länge jedes Segments zwischen zwei benachbarten ersten primären Ecken und kodiert Information über die ersten primären Ecken unter Verwendung des ,Reference Contour Based'-Verschlüsselungsverfahrens in eine vorherbestimmte Richtung, zum Beispiel im Uhrzeigersinn. Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung wird die Zahl der Pixel, die jedes Segment bilden, als die Länge jedes Segments definiert.
Wenn die Maximallänge m länger als oder gleich 2ⁿ und kürzer als 2ⁿ⁺¹ ist, wird eine erste primäre Ecke neben RP durch das Darstellen der Länge von RP zu sich selber unter Verwendung von n Bits kodiert. Danach werden die übrigen Ecken folgendermaßen kodiert: Wenn die Länge von RP zu einer ersten gerade entschlüsselten primären Ecke länger als m ist, wird die nächste erste primäre Ecke durch das Darstellen der Länge von der ersten gerade entschlüsselten primären Ecke zu sich selber unter Verwendung von n Bits kodiert. Und wenn die Länge von RP zu der ersten gerade entschlüsselten primären Ecke kürzer als m ist, wird die nächste erste primäre Ecke durch das Darstellen der Länge von der ersten gerade entschlüsselten primären Ecke zu sich selber unter Verwendung von n' Bits kodiert, was es ermöglicht, die Länge von der ersten gerade entschlüsselten primären Ecke zu RP darzustellen.
Mit Bezug auf 7 ist die Länge des Segments Al, nämlich m1, die länger als oder gleich 2ⁿ¹ und kürzer als 2ⁿ¹⁺¹ ist, am längsten, ist die Länge von U zu RP länger als m1 und ist die Länge von V zu RP kürzer als m1. Die beispielhaften ersten primären Ecken A bis U werden durch das Darstellen der Länge zwischen zwei benachbarten beispielhaften ersten primären Ecken unter Verwendung von n1 Bits kodiert, V wird durch das Darstellen der Länge von U zu V unter Verwendung von n1' Bits kodiert, was es ermöglicht, die Länge von U zu RP darzustellen, und Z wird durch das Darstellen der Länge von V zu Z unter Verwendung von n1'' Bits kodiert, was es ermöglicht, die Länge von V zu RP darzustellen.
Währenddessen kodiert die Sekundäreckenverschlüsselungseinheit 80 die ersten sekundären Ecken. Jede der ersten sekundären Ecken wird durch das Darstellen einer zweidimensionalen Verschiebung von einer nächsten ersten primären oder sekundären Ecke kodiert, die sich im Gegenuhrzeigersinn zu ihr selber befindet. In der in 4 gezeigten bevorzugten Ausführungsform der vorliegenden Erfindung wird 1V₁ durch das Darstellen der Verschiebung von I zu 1V₁ kodiert, wird 1V₂ durch das Darstellen der Verschiebung von 1V₁ zu 1V₂ kodiert und wird 1V₃ durch das Darstellen der Verschiebung von O zu 1V₃ kodiert usw..
Kodierte Information über die ersten primären und sekundären Ecken wird an den Formstierer 90 geliefert.
Der Formstierer 90 formatiert die kodierte Information über die ersten primären und sekundären Ecken auf der Basis der aktualisierten ersten überlappten Kontur OC'(1) auf eine vorherbestimmte Weise. Das heißt, der Formstierer 90 formatiert die kodierte Information in der Reihenfolge des Bewegungsvektors MV, der Zahl der primären Ecken, der Zahl der Anfangsendpunkte unter den primären Ecken, der Zahlen, die die Anfangsendpunkte anzeigen, der Zahl der sekundären Ecken zwischen den unpassenden Segmenten, der Information über die kodierten primären und sekundären Ecken, um sie dabei an einen (nicht gezeigten) Sender zu liefern.
In dem Fall der in 5 gezeigten beispielhaften gegenwärtigen Basisschicht 36 ist die Information über die formatierte gegenwärtige Basisschicht MV, 8, 3, 2, 6, 8, 2, 3, 1, 1, A, I, K, O, R, U, V, Z, 2, 6, 8, 1V₁, 1V₂, 1V₃, 1V₄, 1V₅, 1V₆, 1V₇.
Ein (nicht gezeigter) Decoder kann die gegenwärtige Basisschicht durch das Entschlüsseln der formatierten Information und unter Verwendung der zuvor entschlüsselten vorhergehenden Basisschicht wiederherstellen.
Während die vorliegende Erfindung in Bezug auf bestimmte bevorzugte Ausführungsformen beschrieben wurde, können andere Modifikationen und Variationen gemacht werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen, wie er in den folgenden Ansprüchen dargelegt ist.

Claims

Verfahren für ein skalierbares Zwischenkonturverschlüsseln eines Videosignals, das einen vorhergehenden und einen gegenwärtigen Rahmen aufweist, wobei sowohl der vorhergehende als auch der gegenwärtige Rahmen eine Kontur enthält, wobei das Verfahren folgende Schritte aufweist: (a) Erzeugen einer vorhergesagten Kontur durch Bewegungsschätzung und Kompensation einer vorhergehenden Basisschicht; (b) Erweitern der vorhergesagten Kontur durch einen vorherbestimmten Schwellenwert D_max(j), Erzeugen (j)ter primärer und sekundärer Ecken, um sie dabei als die (j)te Schichtinformation zu speichern, wobei j 0 ist, und Rekonstruieren einer gegenwärtigen Basisschicht; (c) Erweitern der vorhergesagten Kontur um einen vorherbestimmten Schwellenwert D_max(j + 1), Erzeugen (j + 1)ter primärer und sekundärer Ecke, um sie dabei als die (j + 1)te Schichtinformation zu speichern, und Aktualisierung der (j)ten Schichtinformation durch die Verwendung der (j + 1)ten Schichtinformation; (d) Kodieren der (j)ten primären und sekundären Ecke der (j)ten Schichtinformation; (e) Formatieren der verschlüsselten Information der (j)ten primären und sekundären Ecke auf eine vorherbestimmte Weise; und (f) Erhöhen von j um 1 und Wiederholen der Schritte (c) bis (e), bis j N wird, wobei N eine positive ganze Zahl ist.
Verfahren nach Anspruch 1, wobei der Schritt (a) folgende Schritte aufweist: (a1) Verschieben der vorhergehenden Basisschicht auf einer Pixel-um-Pixel-Basis und Zählen der Zahl von Pixeln, die sowohl zu der vorhergehenden Basisschicht als auch zu der gegenwärtigen Kontur gehören, bei jeder Verschiebung; (a2) Bestimmen einer Verschiebung, wobei die Zahl der Pixel, die sowohl zu der vorhergehenden Basisschicht als auch zu der gegenwärtigen Kontur gehören, die maximale ist, als einen Bewegungsvektor; und (a3) Erzeugen der vorhergesagten Kontur durch das Bewegen der vorhergehenden Basisschicht um den Bewegungsvektor, damit sie dadurch mit der gegenwärtigen Kontur überlappt.
Verfahren nach Anspruch 2, wobei der Schritt (b) folgende Schritte aufweist: (b1) Detektieren von Koinzidenzecken, wobei jede der Koinzidenzecken ein Kreuzungspunkt zwischen der vorhergesagten Kontur und der gegenwärtigen Kontur oder ein Endpunkt eines Teils ist, wo die vorhergesagte Kontur mit der gegenwärtigen Kontur überlappt; (b2) Erweitern der vorhergesagten Kontur um den vorherbestimmten Schwellenwert D_max(j), um dadurch ein (j)tes erweitertes Konturband zu erzeugen, und Detektieren von (j)ten passenden Teilen, wo die gegenwärtige Kontur mit dem (j)ten erweiterten Konturband zwischen zwei der in Schritt (b1) bestimmten Koinzidenzecken überlappt, wobei j 0 ist; (b3) Bestimmen der (j)ten passende Teile, deren Längen länger oder gleich einem vorherbestimmten nicht negativen Schwellenwert TH sind, als (j)te passende Segmente und Bestimmen von Endpunkten der (j)ten passenden Segmente als die (j)ten primären Ecken; (b4) Bestimmen von Teilen auf der gegenwärtigen Kontur, die nicht zu irgendeinem der (j)ten passenden Segmente gehören, als die (j)ten unpassenden Segmente, Bestimmen der (j)ten sekundären Ecken durch das Anwenden eines polygonalen Annäherungsverfahrens auf der Basis des vorherbestimmten Schwellenwerts D_max(j) auf die (j)ten unpassenden Segmente und Speichern der (j)ten primären und der sekundären Ecken als die (j)te Schichtinformation; und (b5) Rekonstruieren der gegenwärtigen Basisschicht durch die Verwendung der (j)ten passenden Segmente und der (j)ten sekundären Ecken und Speichern der gegenwärtigen Basisschicht;
Verfahren nach Anspruch 3, wobei der Schritt (c) folgende Schritte aufweist: (c1) Erweitern der vorhergesagten Kontur um den vorherbestimmten Schwellenwert D_max(j +1), um dadurch ein (j + 1)tes erweitertes Konturband zu erzeugen, Detektieren der (j + 1)ten passenden Teile, wo die gegenwärtige Kontur mit dem (j + 1)ten erweiterten Konturband zwischen zwei der in Schritt (b1) determinierten Koinzidenzecken überlappt; (c2) Bestimmen der (j + 1)ten passenden Teile, deren Längen länger oder gleich dem vorherbestimmten nicht negativen Schwellenwert TH sind, als (j + 1)te passende Segmente und Bestimmen von Endpunkten der (j + 1)ten passenden Segmente als die (j + 1)ten primären Ecken; (c3) Bestimmen von Teilen auf der gegenwärtigen Kontur zwischen zwei benachbarten Punkten aus den (j)ten primären Ecken, den (j)ten sekundären Ecken und den (j + 1)ten primären Ecken, die zu keinem der (j + 1)ten passenden Segmente gehören, als (j + 1)te unpassende Segmente und Bestimmen der (j + 1)ten sekundären Ecken durch das Anwenden des polygonalen Annäherungsverfahrens auf der Basis des vorherbestimmten Schwellenwerts D_max(j + 1) auf die (j + 1)ten unpassenden Segmente und Speichern der primären und sekundären Ecken als die (j + 1)te Schichtinformation; und (c4) Auswählen der (j)ten primären Ecken, die nicht die (j + 1)ten primären Ecken sind, als SE-Punkte und Aktualisieren der (j)ten Schichtinformation durch das Hinzufügen der SE-Punktinformation.
Verfahren nach Anspruch 4, wobei der vorherbestimmte Schwellenwert D_max(j +1) kleiner ist als der vorherbestimmte Schwellenwert D_max(j).
Verfahren nach Anspruch 5, wobei der Schritt (d) folgende Schritte aufweist: (d1) Berechnen der Längen aller Segmente, von denen jedes zwei benachbarte (j)te primäre Ecken verbindet, und Bestimmen einer Maximallänge m, wobei m größer oder gleich 2ⁿ und kleiner als 2ⁿ⁺¹ ist; (d2) Kodieren einer (j)ten primären Ecke, die einem Referenzpunkt RP benachbart ist, in einer vorherbestimmten Richtung durch das Darstellen der Länge von dem RP zu der zu kodierenden (j)ten primären Ecke durch die Verwendung von n Bits, Kodieren einer nächsten (j)ten primären Ecke durch das Darstellen der Länge von der gerade verschlüsselten (j)ten primären Ecke zu der zu verschlüsselnden (j)ten primären Ecke durch das Verwenden von n Bits, wenn d größer ist als m, und Kodieren der nächsten (j)ten primären Ecke durch das Darstellen der Länge durch das Verwenden von s Bits auf eine andere Weise, wobei d die Länge von dem RP zu der gerade kodierten (j)ten primären Ecke ist und d größer oder gleich 2^s und kleiner als 2^s+1 ist; und (d3) Kodieren jeder der (j)ten sekundären Ecken durch das Darstellen einer zweidimensionalen Verschiebung von der nächsten (j)ten primären oder sekundären Ecke, die sich in einer vorherbestimmten Richtung befindet zu der (j)ten zu kodierenden sekundären Ecke.
Verfahren nach Anspruch 6, wobei der Schritt (e) die (j)te Schichtinformation in der Reihenfolge des Bewegungsvektors, der Zahl der (j)ten primären Ecken, der Zahl der SE-Punkte unter den (j)ten primären Ecken, von Zahlen, die die SE-Punkte anzeigen, der Zahl der (j)ten sekundären Ecken auf jedem der (j)ten unpassenden Segmente und der kodierten Information der (j)ten primären und sekundären Ecken formatiert.
Vorrichtung für das skalierbare Interkonturverschlüsseln eines Videosignals, das einen vorhergehenden und einen gegenwärtigen Rahmen aufweist, wobei sowohl der vorhergehende als auch der gegenwärtige Rahmen eine Kontur aufweist, wobei die Vorrichtung aufweist: eine Einrichtung für das Erzeugen einer vorhergesagten Kontur durch Bewegungsschätzung und Kompensation einer vorhergehenden Basisschicht; eine Eckenbestimmungseinrichtung für das Erweitern der vorhergesagten Kontur um einen vorherbestimmten Schwellenwert D_max(J) und das Erzeugen von (j)ten primären und sekundären Ecken, wobei j von 0 bis N reicht, wobei N eine positive ganze Zahl ist: eine Einrichtung für das Speichern der (j)ten Schichtinformation; eine Einrichtung für das Rekonstruieren einer gegenwärtigen Basisschicht, wenn j 0 ist; eine Einrichtung für das Kodieren der (j)ten primären und sekundären Ecken der (j)ten Schichtinformation; eine Einrichtung für das Formatieren der kodierten Information der (j)ten primären und sekundären Ecken auf eine vorherbestimmte Weise.
Vorrichtung nach Anspruch 8, wobei die Einrichtung zur Erzeugung einer vorhergesagten Kontur aufweist: eine Bewegungsschätzungseinrichtung für das Verschieben der vorhergehenden Basisschicht auf einer Pixel-um-Pixel-Basis, das Zählen der Zahl von Pixeln, die sowohl zu der vorhergehenden Basisschicht als auch zu der gegenwärtigen Kontur gehören, bei jeder Verschiebung, das Bestimmen einer Verschiebung, wobei die Zahl der Pixel, die sowohl zu der vorhergehenden Basisschicht als auch der gegenwärtigen Kontur gehören, die maximale ist, als einen Bewegungsvektor; und eine Bewegungskompensationseinrichtung für das Erzeugen der vorhergesagten Kontur durch das Bewegen der vorhergehenden Basisschicht um den Bewegungsvektor, damit sie dadurch mit der gegenwärtigen Kontur überlappt.
Vorrichtung nach Anspruch 9, wobei die Eckenbestimmungseinrichtung aufweist: eine Anpassungseinrichtung für das Detektieren von Koinzidenzecken, wobei jeder der Koinzidenzecken ein Kreuzungspunkt zwischen der vorhergesagten Kontur und der gegenwärtigen Kontur oder ein Endpunkt eines Teils ist, wo die vorhergesagte Kontur mit der gegenwärtigen Kontur überlappt; eine Einrichtung für das Erweitern der vorhergesagten Kontur um den vorherbestimmten Schwellenwert D_max(j), um dadurch ein (j)tes erweitertes Konturband zu erzeugen und das Detektieren von (j)ten passenden Teilen, wo die gegenwärtige Kontur mit dem (j)ten erweiterten Konturband zwischen zwei der in der Anpassungseinrichtung bestimmten zufälligen Scheitel überlappt; eine Einrichtung zur Bestimmung der primären Ecken für das Bestimmen der (j)ten passenden Teile, deren Längen länger oder gleich einem vorherbestimmten nicht negativen Schwellenwert TH sind, als (j)te passen de Segmente und Bestimmen von Endpunkten der (j)ten passenden Segmente als die (j)te primäre Ecke; und eine Einrichtung zur Bestimmung der sekundären Ecken für das Bestimmen von Teilen auf der gegenwärtigen Kontur, die zu keinem der (j)ten passenden Segmente gehören, als die (j)ten unpassenden Segmente, Bestimmen der (j)ten sekundären Ecken durch die Anwendung eines polygonalen Annäherungsverfahrens auf der Basis des vorherbestimmten Schwellenwerts D_max(j) auf die (j)ten unpassenden Segmente und Speichern der (j)ten primären und sekundären Ecken als die (j)te Schichtinformation;
Vorrichtung nach Anspruch 10, wobei die Einrichtung zur Speicherung der (j)ten Schichtinformation nach dem Speichern der Information auf der (j)ten primären und sekundären Ecke den Wert von j um 1 erhöht, um dadurch die Operation der Eckenbestimmungseinrichtung zu wiederholen, bis j N wird.
Vorrichtung nach Anspruch 11, wobei die Rekonstruktionseinrichtung der gegenwärtigen Basisschicht aufweist: eine Einrichtung für die Erzeugung einer gegenwärtigen Basisschicht für das Rekonstruieren der gegenwärtigen Basisschicht durch die Verwendung der (j)ten passenden Segmente der (j)ten sekundären Ecken, wenn j 0 ist; und eine Einrichtung für das Speichern der gegenwärtigen Basisschicht für das Speichern der gegenwärtigen Basisschicht.
Vorrichtung nach Anspruch 12, wobei der vorherbestimmte Schwellenwert D_max(j) abnimmt, wenn j zunimmt.
Vorrichtung nach Anspruch 13, wobei die Verschlüsselungseinrichtung aufweist: eine Einrichtung für das Berechnen der Längen aller Segmente, von denen jedes zwei benachbarte (j)te primäre Ecken verbindet, und das Bestimmen einer Maximallänge m, wobei m größer oder gleich 2ⁿ und kleiner als 2ⁿ⁺¹ ist; eine Primäreckenkodiereinrichtung für das Kodieren der (j)ten primären Ecke, die einem Referenzpunkt RP benachbart ist, in einer vorherbestimmten Richtung durch das Darstellen der Länge von dem RP zu der (j)ten zu verschlüsselnden primären Ecke durch das Verwenden von n Bits, Kodieren einer nächsten (j)ten primären Ecke durch das Darstellen der Länge von der gerade kodierten (j)ten primären Ecke zu der zu verschlüsselnden (j)ten primären Ecke durch das Verwenden von n Bits, wenn d größer ist als m, und ansonsten Kodieren der nächsten (j)ten primären Ecke durch das Darstellen der Länge durch das Verwenden von s Bits, wobei d die Länge von dem RP zu der gerade kodierten (j)ten primären Ecke ist und d größer oder gleich 2^s und kleiner als 2^s+1 ist; und eine Sekundäreckenkodiereinrichtung für das Kodieren von jeder der (j)ten sekundären Ecken durch das Darstellen einer zweidimensionalen Verschiebung von der nächsten (j)ten primären oder sekundären Ecke, die sich in einer vorherbestimmten Richtung befindet, zu der zu verschlüsselnden (j)ten sekundären Ecke.
Verfahren nach Anspruch 14, wobei die Formatierungseinrichtung die (j)te Schichtinformation in der Reihenfolge des Bewegungsvektors, der Zahl der (j)ten primären Ecken der (j)ten Schicht, der Zahl der SE-Punkte von den (j)ten primären Ecken, der Zahl, die die SE-Punkte anzeigt, der Zahl der (j)ten sekundären Ecken auf den (j)ten unpassenden Segmenten und der kodierten (j)ten Information der primären und sekundären Ecken formatiert.