DE4138979C2

DE4138979C2 - Einrichtung zur objekt-orientierten Codierung von Bildsignalen

Info

Publication number: DE4138979C2
Application number: DE4138979A
Authority: DE
Inventors: Michael Hoetter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1991-11-27
Filing date: 1991-11-27
Publication date: 2003-08-07
Anticipated expiration: 2011-11-28
Also published as: DE4138979A1

Description

Stand der Technik

Die Erfindung geht aus von einer Einrichtung nach der Gattung des Hauptanspruchs. Aus Michael Hötter:

"Object orientated Analysis synthesis-coding based on two-dimension objects", Signal Processing: Image Communication, Vol. 2, No. 4, Dez 1990, S. 409-428 ist ein Verfahren zur Codierung von Bildsignalen bekannt, wobei Formparameter die Umrisslinie jeweils eines Objekts beschreiben. Mit einer genügend großen Anzahl von Stützstellen lässt sich dort ein Approximationsfehler unterhalb einer bestimmten Qualitätswelle halten. Für die Approximation werden insbesondere Polygone und Splinefunktionen verwendet.

Zur datenreduzierten Übertragung von bewegten Bildern sind verschiedene Verfahren und Einrichtungen bekannt geworden. Eine besonders hohe Datenreduzierung versprechen objekt-orientierte Verfahren, wenn sich der gesamte Inhalt eines Bildes in relativ wenige Objekte einteilen lässt, die sich moderat bewegen. Zur Detektion und Beschreibung der einzelnen Objekte sind Modelle erforderlich, die das Objekt unter Verwendung ihrer Form und Farbe vollständig festgelegt. Dabei werden im vorliegenden Zusammenhang unter Farbe sowohl die Luminanz- als auch die Chrominanzwerte der Objektoberfläche verstanden. Die Form wird durch eine angenäherte Umrisslinie des Objekts im Kamerabild und die Bewegung durch ein Verschiebungsfeld (sogenanntes Displacementvektorfeld) dargestellt. Die drei genannten Parametersätze, nämlich Form, Farbe und Bewegung werden für jedes erkannte Objekt übertragen und dienen dem Decoder zur Synthese des zu übertragenden Bildes.

Eine vorteilhafte Form der objekt-orientierten Codierung besteht in der objekt-orientierten Analyse-Synthese-Codierung, beschrieben von Michael Hötter: "Object-oriented Analysis-Synthesis Coding based on moving two-dimensional Objects", Signal Processing: Image Communication, Vol. 2, No. 4, December 1990, pp. 409-428.

Der Gewinn bei einer objekt-orientierten Codierung wird jedoch in Frage gestellt, wenn die Codierung der Formparameter eine große zu übertragende Datenmenge ergibt. Bei dem bekannten Verfahren erfolgt eine Reduzierung dieser Datenmenge durch eine Annäherung an die Umrißlinie des Objekts. Aufgabe der vorliegenden Erfindung ist es jedoch, eine möglichst einfache realisierbare Einrichtung zur Codierung der Formparameter anzugeben, welche eine weitere Reduzierung der zur Übertragung der Formparameter erforderlichen Datenmenge gestattet.

Die erfindungsgemäße Einrichtung ist dadurch gekennzeichnet, daß

a) vier auf der Umrißlinie liegende Stützstellen bestimmt werden, deren Entfernung voneinander ein Maximum ist oder die am Bildrand liegen,
b) von allen jeweils zwischen zwei benachbarten Stützstellen auf der Umrißlinie liegenden Punkten der Abstand zu einer Geraden zwischen den benachbarten Stützstellen berechnet wird,
c) je eine weitere Stützstelle zwischen zwei Stützstellen auf der Umrißlinie dort bestimmt wird, wo ihr Abstand zur jeweiligen Geraden am größten und größer als ein vorgegebener Abstand ist,
d) die Berechnung der Abstände und die Bestimmung weiterer Stützstellen solange wiederholt werden, bis alle Punkte der Umrißkurve nicht weiter als der vorgegebene Abstand von den Geraden entfernt sind.

Die erfindungsgemäße Einrichtung hat den Vorteil, daß bereits die ersten, nicht durch Rückgriff auf bereits vorhandene Stützstellen ermittelbaren Stützstellen derart ausgewählt werden, daß sie eine gute Annäherung an die Form des Objekts darstellen. Besonders vorteilhaft ist es, als zunächst festzulegende Stützstellen die Schnittpunkte der Umrißlinie des Objekts mit dem Bildrand, sofern solche vorhanden sind, und die von diesen am weitesten entfernten Punkte zu verwenden. Schnittpunkte mit dem Bildrand sind bei einem bevorzugten Anwendungsgebiet der erfindungsgemäßen Einrichtung, nämlich bei einem Bild- bzw. Funkbildtelefon, regelmäßig vorhanden, wenn Porträts übertragen werden.

Eine besonders gute Annäherung bei einer nicht allzu großen Zahl von Stützstellen ergibt sich bei einer Weiterbildung der Erfindung dadurch, daß jeweils zwischen zwei benachbarten Stützstellen ferner Polynome vierter Ordnung (kubische Splines) gebildet werden und daß jeweils zwischen zwei benachbarten Stützstellen geprüft wird, ob eine Gerade oder das gebildete Polynom kleinere Abweichungen von der Umrißlinie aufweist, und daß der zu übertragende Code die Stützstellen und die Art der zwischen benachbarten Stützstellen verlaufenden Funktion beinhaltet.

Da bei dieser Weiterbildung bereits durch die vorangegangenen Berechnungsschritte sichergestellt wurde, daß keiner der Abstände zu den jeweiligen Geraden größer als der vorgegebene Abstand ist, kann die Prüfung gemäß der Weiterbildung derart vereinfacht werden, daß jeweils zwischen zwei Stützstellen ein Polynom codiert wird, wenn der größte Abstand des Polynoms zur Umrißlinie kleiner als der vorgegebene Abstand ist.

Eine weitere Verringerung der Datenmenge bei der erfindungsgemäßen Einrichtung ergibt sich gemäß einer anderen Weiterbildung dadurch, daß die Stützstellen unter Verwendung eines für das Objekt bestimmten Bewegungsparameters prädiktiv codiert werden.

Dabei ist vorzugsweise vorgesehen, daß codierte Formparameter eines Bildes angeben, welche Stützstellen sich übereinstimmend mit dem Bewegungsparameter gegenüber dem vorangegangenen Bild bewegt haben, welche Stützstellen sich abweichend vom Bewegungsparameter bewegt haben und welche Stützstellen gegebenenfalls neu einzufügen sind oder entfallen. Dabei ist besonders günstig, wenn die Angaben zu den Stützstellen in Form einer Lauflängencodierung in den codierten Formparametern enthalten sind.

Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 ein Blockdiagramm einer erfindungsgemäßen Einrichtung,

Fig. 2 Bildbeispiele für eine an sich bekannte objekt-orientierte Codierung,

Fig. 3 ein Blockdiagramm einer an sich bekannten Einrichtung zur objekt-orientierten Codierung,

Fig. 4 Bildbeispiele zur Erläuterung der Funktion der Einrichtung,

Fig. 5 ein Blockdiagramm einer Einrichtung zur prädiktiven Codierung der mit der Einrichtung nach Fig. 1 erhaltenen Formparameter und

Fig. 6 Bildbeispiele zur Erläuterung der Einrichtung nach Fig. 5.

Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen. Aus drucktechnischen Gründen wurden die in den Zeichnungen im Zusammenhang mit den Parametern L, C, F und B dargestellten Vektorpfeile in der Beschreibung fortgelassen.

Die erfindungsgemäße Einrichtung kann in Anlehnung an die dargestellten Blockdiagramme mit Hilfe einzelner Funktionseinheiten realisiert werden, welche im wesentlichen aus Rechnern bestehen. Je nach Leistungsfähigkeit der zur Verfügung stehenden Rechner, Signalprozessoren und ähnlichem kann auch eine Vielzahl der dargestellten Funktionen in einer Einheit ausgeführt werden. Für einen solchen Fall stellen die Blockdiagramme die Strukturen der Programme für eine solche Einheit dar.

Vor der weiteren Erläuterung des Ausführungsbeispiels wird im folgenden anhand der Fig. 2 bis 5 die objekt-orientierte Analyse-Synthese-Codierung erläutert, soweit es zum Verständnis der vorliegenden Erfindung erforderlich ist. Die objekt-orientierte Analyse-Synthese-Codierung unterteilt jedes reale, beispielsweise von einer Kamera aufgenommene Bild in bewegte Objekte der Kameraebene und beschreibt jedes Objekt i der Kameraebene durch drei Parametersätze, welche die Farbe, Form und Bewegung des Objekts definieren. Dabei beinhalten die Farbparameter C_i die Luminanz- und Chrominanzwerte des durch das Objekt i festgelegten Bildbereichs im realen Kamerabild k + 1, die Formparameter F_i eine Beschreibung der Lage des Objekts i in der Kameraebene und seine Berandung und die Bewegungsparameter B_i die Verschiebung und Drehung des Objekts in der Kameraebene. Die Parameter C_i, F_i und B_i hängen davon ab, welches Quellenmodell für die Codierung angewendet wird. Dabei sind verschiedene Modelle möglich. Bei dem Ausführungsbeispiel wird zur Vereinfachung der Darstellung das einfache Modell starrer, rein translatorisch bewegter Objekte der Kameraebene angenommen. Für diesen Fall sind die Bewegungsparameter B_i für alle Bildpunkte eines Objekts gleich.

Bei den folgenden Erläuterungen des Standes der Technik und des Ausführungsbeispiels wird ferner davon ausgegangen, daß die Analyse der einzelnen Objekte anhand des Luminanzsignals erfolgt und daß im Falle einer Übertragung eines farbigen Bildes die bei der Analyse gewonnenen Bewegungs- und Formparameter bei der Codierung der Chrominanzinformation genutzt werden.

In Fig. 2a beinhaltet das zu übertragende Bild l_k+1 drei Objekte O1, O2 und O3. Dabei steht l für Luminanz, während k eine Zählvariable der einzelnen Bilder ist. Durch eine Synthese der zuvor erzeugten Parameter ist das synthetisierte Bild _k entstanden. Ein Vergleich der beiden Bilder ergibt Bewegungsparameter B1, B2, B3 für das Bild l_k+1. Bei verschiedenen Anwendungen - wie beispielsweise beim Bildtelefon - stellt das Objekt O1 meist einen nicht bewegten Hintergrund dar, so daß in diesem Fall B1 = 0 ist.

Fig. 2b zeigt schematisch die Farb-, Form- und Bewegungsparameter der Objekte O1, O2, O3 für das Bild l_k+1 aus Fig. 2a. Die Farbparameter C_i eines Objekts können durchaus eine große Anzahl von Werten, nämlich die Luminanz- und Chrominanzwerte aller zum Objekt gehörenden Bildpunkte umfassen. Auch die Formparameter F_i können in Abhängigkeit von der jeweiligen Form des Objekts aus vielen einzelnen Werten bestehen. Der Vorteil der objekt-orientierten Codierung besteht jedoch darin, daß nach einer anfänglichen Übertragung der Farb- und Formparameter jedes Objekts nur die Bewegungsparameter B_i übertragen zu werden brauchen, solange die Farbe und die Form der Objekte gleich bleiben.

Dieses ist jedoch nur ein idealisierter Fall, denn eine Bewegung ohne Farbänderung ist bereits dadurch nicht möglich, daß ein vor einem Hintergrund bewegtes Objekt während der Bewegung jeweils zuvor verdeckte Teile des Hintergrundes freigibt, deren Luminanz- und Chrominanzwerte dem Empfänger unbekannt sind und deshalb codiert und übertragen werden müssen, und neue Teile des Hintergrundes verdeckt. Außerdem entsprechen bei natürlichen bewegten Bildern längst nicht alle Bildbereiche den angenommenen Modellen - es sei denn, man würde beliebig kleine Bildbereiche als Objekte zulassen. Dieses würde jedoch dann den durch die objekt-orientierte Codierung erzielten Vorteil einer Datenreduzierung wieder zunichte machen. Deshalb wird bei der Analyse des Bildes durch eine Bildsynthese und anschließende Überprüfung der Bewegungsbeschreibung festgestellt, ob die Objekte den Annahmen der Quellenmodelle entsprechen, das heißt, ob sich zeitliche Bildsignaländerungen durch die Bewegung der Objekte der Kameraebene mit ausreichender Genauigkeit beschreiben lassen.

Fig. 3 zeigt ein Blockdiagramm eines objekt-orientierten Analyse-Synthese-Coders. Das jeweils zu codierende Bild l_k+1 wird einem Eingang 11 zugeführt und gelangt in eine Bildanalyse 12, der ferner von einer Bildsynthese 13 das synthetisierte vorangegangene Bild l_k zugeleitet wird. Außerdem wird der Bildanalyse 12 das Quellenmodell zur Verfügung gestellt, das im dargestellten Ausführungsbeispiel starre, rein translatorisch bewegte Objekte der Kameraebene beinhaltet.

Durch die Bildanalyse 12 werden die aktuellen Objektparameter C, F, B gewonnen, die bei 14 codiert werden. Die codierten Parameter werden zum Übertragungskanal und zu einer Parameterdecodierung 15 geleitet. Die wieder decodierten Parameter werden in einem Speicher 16 abgelegt, aus dem die abgelegten Parameter C', F' und B' des vorangegangenen Bildes ausgelesen und zur Bildsynthese 13, zur Parametercodierung 14 und zur Parameterdecodierung 15 verwendet werden.

Die Speicher des Coders und eines nicht dargestellten Decoders im Empfänger enthalten gleiche Inhalte und ermöglichen damit sowohl dem Coder als auch dem Decoder unter Verwendung der Bildsynthese ein identisches Bild k zu erzeugen. Das synthetisierte Bild k wird vom Decoder ausgegeben und beim Coder für die Bildanalyse des nächsten realen Kamerabildes k + 1 verwendet.

Das in Fig. 1 dargestellte Ausführungsbeispiel dient zur Bestimmung von Formparametern, die eine Umrißlinie eines Objekts angenähert beschreiben. Zur weiteren Erläuterung des Ausführungsbeispiels nach Fig. 1 wird auf die in Fig. 4 gezeigten Bildbeispiele hingewiesen. Die von der Bildanalyse 12 (Fig. 3) erzeugten Formparameter F beschreiben beispielsweise die Umrißlinie 40 (Fig. 4a). Zunächst werden bei 21 (Fig. 1) auf der Umrißlinie 40 liegende Stützstellen bestimmt, deren Entfernung voneinander ein Maximum ist oder die am Bildrand liegen. Bei dem in Fig. 4a dargestellten Porträt liegen die Stützstellen 41, 42 am unteren Bildrand. Zusätzlich werden die von diesen Stützstellen extrem weit entfernten Stützstellen 43, 44 ermittelt.

Bei 22 (Fig. 1) werden zwischen den Stützstellen 41 bis 44 Geraden und der Abstand zwischen der Umrißlinie 40 und der jeweiligen Gerade berechnet. Der Abstand ist dabei jeweils das Lot von der Geraden auf die Umrißlinie. Bei 23 wird für jeweils eine Gerade der maximale Abstand ermittelt. Er führt jedoch nur zu einer neuen Stützstelle, wenn dieser Abstand einen vorgegebenen Wert A_max von beispielsweise 15 Bildelementen überschreitet. Dieses ist bei dem in Fig. 4 dargestellten Beispiel für die neuen Stützstellen 45, 46, 47 der Fall (Fig. 4b). Eine Wiederholung der Bildung von Geraden und der Berechnung des maximalen Abstandes ergibt weitere in Fig. 4c dargestellte Stützstellen 48, 49. Liegen alle Abstände zwischen der Umrißlinie und den Verbindungsgeraden zwischen den Stützstellen 41 bis 49 unterhalb von A_max, werden keine weiteren Stützstellen mehr gebildet.

Außer den Geraden zwischen den Stützstellen 41 bis 49, die in Fig. 4d gestrichelt dargestellt sind, werden die Stützstellen verbindende Polynome vierter Ordnung, sogenannte kubische Splines, berechnet, die in Fig. 4d punktiert dargestellt sind. Bei 26 werden die Abstände zwischen der Umrißlinie und den Splines einerseits und der Umrißlinie und den Geraden andererseits miteinander verglichen. Immer dann, wenn für den Spline der Abstand zwischen dem Spline und der Umrißlinie innerhalb zweier Stützstellen kleiner als der maximal zulässige Approximationsfehler A_max ist, wird der Spline zur Beschreibung der Umrißlinie verwendet und codiert, sonst die Gerade. Der bei 27 gebildete Code enthält dementsprechend in Form einer Lauflängencodierung die Koordinaten der Stützstellen und die Information, ob bei der Decodierung zwischen zwei Stützstellen ein Spline oder eine Gerade gebildet werden soll. Das Bildbeispiel mit der Information dieses Codes ist in Fig. 4e dargestellt.

Die im Zusammenhang mit den Fig. 1 und 4 beschriebenen Vorgänge beziehen sich auf die Codierung eines neu erkannten Objekts, für das keine vorangegangenen Bewegungsphasen vorliegen. Bei bereits erkannten, sich bewegenden Objekten erfolgt eine prädiktive Codierung, die im folgenden anhand der Fig. 5 und 6 beschrieben wird. Fig. 5 zeigt ein Blockdiagramm der prädiktiven Codierung, während Fig. 6 ein Bildbeispiel darstellt, bei dem Stützstellen für zwei Bewegungsphasen, nämlich k und k + 1, wie im Zusammenhang mit den Fig. 1 und 4 erläutert, ermittelt wurden. Dabei liegen bei der Bewegungsphase k (Fig. 6a) die Stützstellen 61 bis 68 vor. Demgegenüber haben bei der Bewegungsphase k + 1 (Fig. 6b) die Stützstellen 61 bis 65 und 68 ihre Lage verändert, die Stützstelle 67 ist entfallen, und die Stützstelle 69 ist neu hinzugekommen. Zur Codierung der Stützstellen - und damit der Formparameter - des Bildes der Bewegungsphase k + 1 werden zunächst bei 51 (Fig. 5) die Stützstellen der Bewegungsphase k um den durch die Analyse 12 (Fig. 3) ermittelten Bewegungsparameter B bewegt. Daraus ergibt sich die in Fig. 6c dargestellte Lage der Stützstellen 61 bis 68.

Bei 52 werden die somit bewegten Stützstellen mit den Stützstellen der Bewegungsphase k + 1 derart verglichen, daß alle bewegten Stützstellen, die von der aus den Stützstellen der Bewegungsphase k + 1 ermittelten Kontur weiter als A_max entfernt liegen, gelöscht werden. Dieses ist bei dem Beispiel nach Fig. 6 die Stützstelle 67 (Fig. 6d). Bei 53 werden die verbleibenden Stützstellen als Startwert für die Aproximation der Umrißlinie der Bewegungsphase k + 1 benutzt, wie in Fig. 1 und 4 dargestellt. Die beibehaltenen Stützstellen sind in Fig. 6e angegeben, während eine neu hinzugefügte Stützstelle 69 in Fig. 6f sichtbar ist. Bei 54 erfolgt die Codierung der Formparameter der Bewegungsphase k + 1 nach der im folgenden beschriebenen Vorschrift.

Zunächst werden, ausgehend von der Stützstelle 61, die verworfenen Stützstellen in Form einer Lauflängencodierung codiert. Dabei bedeutet eine 1, daß eine Stützstelle beizubehalten ist. Der im Falle des Beispiels nach Fig. 6 entstehende Code lautet dann 11111101, was besagt, daß die Stützstellen 61 bis 66 beibehalten werden sollen, die Stützstelle 67 wird verworfen und die Stützstelle 68 soll wiederum beibehalten werden.

Die neu hinzugefügten Stützstellen werden ebenfalls in Form eines Lauflängencodes übertragen, wobei eine 1 eine unveränderte Stützstelle und eine 0 eine neu eingefügte Stützstelle bezeichnet. Der Code 11110111 besagt demnach, daß nach der vierten Stützstelle, nämlich der Stützstelle 64, eine neue Stützstelle hinzuzufügen ist.

Die Koordinaten der neuen Stützstellen - im Fall von Fig. 6 der Stützstelle 69 - werden als Differenzwerte zur im Uhrzeigersinn vorangegangenen Stützstelle übertragen. Dieses ist bei der Stützstelle 69 die Stützstelle 64.

Außerdem wird bezüglich der neuen Stützstellen die Information, ob ein Spline oder eine Gerade zur Verbindung der Stützstellen dient, codiert. In diesem Zusammenhang sei noch erwähnt, daß die beibehaltenen Stützstellen als solche nicht zu übertragen werden brauchen, da sie für die Bewegungsphase k + 1 aus den Stützstellen der vorangegangenen Bewegungsphase k + 1 anhand des Bewegungsparameters im Decoder gewonnen werden können.

Claims

1. Einrichtung zur Codierung von Formparametern bei einer objekt-orientierten Codierung von Bildsignalen, wobei die Formparameter die Umrißlinie jeweils eines Objekts beschreiben, dadurch gekennzeichnet, daß

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß jeweils zwischen zwei benachbarten Stützstellen ferner Polynome gebildet werden und daß jeweils zwischen zwei benachbarten Stützstellen geprüft wird, ob eine Gerade oder das gebildete Polynom kleinere Abweichungen von der Umrißlinie aufweisen, und daß der zu übertragende Code die Stützstellen und die Art der zwischen benachbarten Stützstellen verlaufenden Funktion beinhaltet.

3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß jeweils zwischen zwei Stützstellen ein Polynom codiert wird, wenn der größte Abstand des Polynoms zur Umrißlinie kleiner als der vorgegebene Abstand ist.

4. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Stützstellen unter Verwendung eines für das Objekt bestimmten Bewegungsparameters prädiktiv codiert werden.

5. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß codierte Formparameter eines Bildes angeben, welche Stützstellen sich übereinstimmend mit dem Bewegungsparameter gegenüber dem vorangegangenen Bild bewegt haben, welche Stützstellen sich abweichend vom Bewegungsparameter bewegt haben und welche Stützstellen gegebenenfalls neu einzufügen sind oder entfallen.

6. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die Angaben zu den Stützstellen in Form einer Lauflängencodierung in den codierten Formparametern enthalten sind.