DE69714530T2 - Verfahren und vorrichtung zur kodierung und dekodierung von bildern - Google Patents

Description

BEREICH DER ERFINDUNG
• Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Codieren von Bildern mit Gebieten relevanter Bilddaten und mit Gebieten nicht relevanter Bilddaten, wobei dieses Verfahren den Verfahrensschritt der Identifizierung der genannten nicht relevanten Bilddaten umfasst. Die vorliegende Erfindung bezieht sich ebenfalls auf ein Verfahren zum Decodieren codierter Bilder und auf entsprechende Anordnungen zum Codieren und Decodieren.
HINTERGRUND DER ERFINDUNG
• Videobilder haben meistens eine rechteckige Form, aber der Benutzer ist nicht immer an dem ganzen rechteckigen Bildbereich interessiert. So können beispielsweise medizinische Bilder oft in einem kreisförmigen Gebiet medizinisch relevante Information enthalten. Die Bilder zeigen auf diese Weise zwischen diesem kreisförmigen Gebiet und einem nicht relevanten (meistens schwarzen) Hintergrund einen scharfen Übergang. In dem Deutschen Patent DE-A-36 13 759 wird ein Verfahren zum Aufzeichnen solcher Bilder beschrieben. Datenkompression wird dabei dadurch erhalten, dass auf die Pixel der nicht relevanten Bildgebiete verzichtet wird. Die Begrenzung zwischen dem relevanten Bildgebiet und dem nicht relevanten Bildgebiet ist im Voraus dem Sender sowie dem Empfänger bekannt. Der Empfänger kennt auf diese Weise für jedes empfangene Pixel die Wiedergabeposition am Schirm.
• Zur Zeit werden Videobilder oft codiert und komprimiert durch Codierungsverfahren, wie Blocktransformationscodierung oder DPCM, wobei die Korrelation zwischen benachbarten Pixeln innerhalb eines Bildes benutzt wird. Bei derartigen Codierungsverfahren erfordern scharfe Übergänge zwischen benachbarten Pixeln eine Vielzahl von Bits. Die Grenzen zwischen relevanten und nicht relevanten Gebieten in den oben genannten Typen von Bildern beeinträchtigen auf diese Art und Weise die Codierungseffizienz wesentlich.
• In US-A-5 267 333 ist ein Bildkompressionsgerät beschrieben, das ein künstliches Bild aus einer Anzahl Bilddaten schafft. Das Gerät umfasst eine Anordnung zum Sortieren einer Anzahl Bilddaten zu einer Anzahl Bildtypen entsprechend wenigstens einer Art und einer Verwendung aller Bilddaten, eine Anordnung zum Selektieren eines Bildkompressionsverfahrens aus einer Anzahl vorbestimmter verschiedener Bildkompressionsverfahren für alle Bilddaten entsprechend dem sortierten Bildtyp, und eine Anordnung zum Komprimieren der Bilddaten entsprechend dem selektierten Bildkompressionsverfahren und zum Aufzeichnen der komprimierten Bilddaten in einem Aufzeichnungsmedium. Weiterhin beschreibt dieses Dokument: das Sortieren einer Anzahl Bilddaten zu einem Bildteil und zu einem gesamten Bildhintergrund; das Unterscheiden eines Gegenstandbildes vom einem zusammengesetzten Hintergrundbild in den Bildteilen und das Erzeugen einer Gebietsinformation, die angibt, ob jedes Pixel in den Bildteilen zu dem Gegenstandsbild oder zu dem zusammengesetzten Hintergrundbild gehört.
AUFGABE UND ZUSAMMENFASSUNG DER ERFINDUNG
• Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung ein Verfahren zum Codieren von Bildern zu schaffen, wodurch die Codierungseffizienz verbessert wird.
• Das Verfahren nach der vorliegenden Erfindung weist dazu das Kennzeichen auf, dass wenigstens nicht relevante Bilddaten in der Nähe einer Grenze zwischen den genannten Gebieten durch Pseudobilddaten ersetzt werden, die den Übergang zwischen relevanten und nicht relevanten Bilddaten glätten. Versuche haben gezeigt, dass medizinische Bilder nun mit einer um 30% niedrigeren Bitrate codiert werden können.
• Das entsprechende Verfahren zum Decodieren von Bildern ist gekennzeichnet durch Identifizierung von Pseudobilddaten in Reaktion auf Grenzinformation und durch Ersatz der genannten Pseudobilddaten durch vorbestimmte Bilddaten. Die scharfen Grenzen zwischen Gebieten relevanter Bilddaten und Gebieten vorbestimmter Bilddaten werden auf diese Weise rekonstruiert. Das rekonstruierte Bild hat dieselbe Erscheinungsform wie das ursprüngliche Bild, das ein medizinischer Sachverständiger meistens sieht.
KURZE BESCHREIBUNG DER ZEICHNUNG
• Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
• Fig. 1 ein Diagramm eines Systems zum Codieren und Decodieren von Videobildern nach der vorliegenden Erfindung,
• Fig. 2A-2E Signalformen, welche die Wirkungsweise von Ausführungsformen einer in Fig. 1 dargestellten Modifizierschaltung erläutern,
• Fig. 3A-3C eine Darstellung von Bildbereichen, die weiterhin die Wirkungsweise einer bestimmten Ausführungsform der in Fig. 1 dargestellten Modifizierschaltung erläutern.
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
• Fig. 1 zeigt ein Darstellung eines Systems zum Codieren und Decodieren von Videobildern nach der vorliegenden Erfindung. Das Bezugszeichen 1 bezeichnet ein rechteckiges zu codierendes Bild. Wie versucht wird in Fig. 1 darzustellen, umfasst das Bild ein kreisförmiges Bildgebiet 11 relevanter Pixel und ein Bildgebiet 12 nicht relevanter Pixel. Die Grenze zwischen den beiden Gebieten ist durch das Bezugszeichen 13 angegeben. Nachstehend werden relevante Pixel durch x[i, j] bezeichnet und nicht relevante Pixel werden durch y[i, j] bezeichnet. Pseudopixel werden durch p[i, j] bezeichnet.
• Das Bild wird einer Grenzendetektionsschaltung 2 zugeführt, welche die Grenze 13 detektiert, beispielsweise schroffe Übergänge von (schwarzen) Pixeln mit einem Hintergrundwert zu relevanten Pixeln und umgekehrt detektiert. Eine praktische Ausführungsform einer Grenzschaltung 2 ist in dem US Patent 5.014.198 beschrieben. Die Grenze 13 wird verlustfrei codiert durch eine Grenzencodierstufe 3 und übertragen oder aufgezeichnet. Verlustfreie Codierungsverfahren sind an sich bekannt. So kann beispielsweise Lauflängen-Codierung auf eine Maske angewandt werden, die das Gebiet nicht relevanter Pixel definiert. Wenn das Gebiet relevanter Pixel kreisförmig ist, brauchen nur die Mitte und der Radius eines Kreises übertragen zu werden. Auf die Grenzendetektionsschaltung 2 und die Codierstufe 3 kann verzichtet werden, wenn die Grenzen im Voraus bekannt sind.
• Das Bild 1 wird weiterhin einer Modifizierschaltung 4 zugeführt. Diese Schaltungsanordnung empfängt Grenzeninformation von der Grenzendetektionsschaltung 2 und bestimmt in Reaktion darauf, ob zugeführte Pixel relevante Pixel aus dem Gebiet 11 oder nicht relevante Pixel aus dem Gebiet 12 sind. Nicht relevante Pixel werden geändert, was nachher noch näher beschrieben wird. Danach werden die Pixel einem herkömmlichen Bildcodierer 5, beispielsweise einem Transformationscodierer auf Blockbasis oder einem DPCM-Codierer zugeführt. Die codierte Grenzeninformation B und die Bildinformation I werden auf einem Speichermedium zur späteren Rückgewinnung gespeichert oder zu einem entfernten Empfänger übertragen. Das Speicher- oder das Übertragungsmedium ist durch das Bezugszeichen 6 angegeben.
• Ausführungsformen der Modifizierschaltung 4 werden nun anhand deren betreffender Ausgangssignale näher beschrieben. Praktische Schaltungsanordnungen können auf einfache Weise vom Fachmann auf dem Gebiete der digitalen Signalverarbeitung entworfen werden. Die Fig. 2A-2E zeigen Wellenformen der betreffenden Signale. Der Bequemlichkeit halber sind eindimensionale Signale dargestellt, aber es dürfte einleuchten, dass der Modifiziervorgang vorzugsweise in dem zweidimensionalen Bildraum angewandt wird. Fig. 2A zeigt das Eingangssignal als Bezugswert. Dieses Signal umfasst eine Reihe nicht relevanter Pixel y[n] und eine Reihe relevanter Pixel x[n]. Der Hintergrund des Bildes wird hier als Schwarz vorausgesetzt, folglich haben alle Pixel y[n] den Wert Null. Die Fig. 2B-2E zeigen geeignete Ausgangssignale der Modifizierschaltung. Die betreffenden Signale umfassen nun eine Reihe von Pseudopixeln p[n] und die Reihe relevanter Pixel x[n].
• Die in Fig. 2B dargestellte Wellenform wird dadurch erhalten, dass die nicht relevanten Pixel y[n] durch identische Pseudopixel p[n] ersetzt werden, deren Wert dem ersten relevanten Pixel x[n] hinter der Grenze entspricht. In der in Fig. 2C dargestellten Wellenform sind die Pseudopixel p[n] derart gewählt worden, dass sie von ihrem ursprünglichen Wert Null zu dem Wert des ersten relevanten Pixels hinter der Grenze allmählich variieren. In der Wellenform nach Fig. 2D ist der relevante Bildsignalteil in das nicht relevante Gebiet gespiegelt. Außerdem kann der Pseudosignalteil eventuell tiefpassgefiltert werden um den Übergang weiterhin geschmeidig verlaufen zu lassen, so dass vermieden wird, dass signifikante AC-Koeffizienten auftreten und dass die Codierungseffizienz weiter verbessert wird. Die Wellenform nach Fig. 2E zeigt Pseudopixel p[n], erhalten durch Extrapolation der Pixel x[n] des relevanten Gebietes in das nicht relevante Gebiet.
• Die Extrapolation nach Fig. 2E wird nachstehend für den zweidimensionalen Bildraum beschrieben. In den Fig. 3A-3C ist die obere linke Ecke eines rechteckigen Bildes dargestellt. In Fig. 3A wird ein Pixelblock 41 mit einer angemessenen Größe (hier ist ein 4·4 Block dargestellt) derart gewählt, dass der Block ein einziges nicht relevantes Pixel 51 in der linken oberen Ecke enthält. Das nicht relevante Pixel y[i, j] wird danach durch ein Pseudopixel p[i, j] mit dem mittleren Wert aller anderen Pixel in dem Block ersetzt. In einer mathematischen Notierung heißt das:
• wobei n und m (n ,m = 0 ... N) Pixelstellen in dem N·N-Block bezeichnen. Der oben beschriebene Vorgang wird für alle nicht relevanten Pixel y[i, j] an der Grenze zwischen dem relevanten Gebiet 11 und dem nicht relevanten Gebiet 12 wiederholt, bis das letzte nicht relevante Pixel 55 verarbeitet worden ist. Auf diese Weise verlagert sich der Block 41 längs der Grenze, wie durch den Pfeil 42 angegeben. Während der Block fortschreitet, kann er vorher erzeugte Pseudopixel enthalten, sowie nicht relevante Pixel, die noch nicht ersetzt worden sind. Wenn das Pixel 52 extrapoliert wird, enthält der Block auch Pseudopixel 51. Wenn das Pixel 53 verarbeitet wird, enthält der Block auch nicht relevante Pixel 54. Pseudopixel werden in dem Mittelwertbestimmungsschritt einverleibt, nicht relevante Pixel nicht.
• Fig. 3B zeigt die Situation nachdem alle Grenzpixel y[i, j] durch Pseudopixel p[i, j] (schraffiert dargestellt) ersetzt worden sind. Der Block verlagert sich dann in einer umgekehrten Richtung längs der auf diese Weise neu geschaffenen Grenze. Fig. 3C zeigt die Situation in einer weiteren Stufe des Prozesses. Das nicht relevante Pixel 56 wird nun durch den Mittelwert der Pixel in dem Block 41 ersetzt und der Block verlagert sich nun längs der Grenze, wie durch den Pfeil 43 angegeben. Je nachdem der Extrapolationsprozess fortschreitet, werden mehr Pseudopixel in dem Block 41 eingeschlossen. Ggf. wird der Scheitelpunkt 57 des rechteckigen Bildes erreicht. Dadurch werden alle Pseudopixel nahezu denselben Wert haben. Das Bildgebiet 12 kann auf diese Weise sehr effizient codiert werden. Das extrapolierte Bildgebiet kann noch weiter geglättet werden, und zwar durch Verwendung eines 2- dimensionalen Tiefpassfilters. Diese Glättung gewährleistet, dass das extrapolierte Gebiet nicht einen wesentlichen Betrag an Energie enthält.
• In Fig. 1 wird ein Verfahren zum Decodieren beschrieben. Ein herkömmlicher Decoder 7 (beispielsweise ein Transformationsdecoder auf Blockbasis oder ein DPCM-Decoder) führt den invertierten Vorgang des Codierers 5 an dem Senderende durch. Der Decoder 7 rekonstruiert auf diese Weise die Pixel, wie sie durch den Codierer übertragen worden sind. Wenn sie am Schirm in einer ungeänderten Form verlagert worden sind, werden die Pseudopixel dafür sorgen, dass ein Bild erscheint, das dem Zuschauer (in diesem Fall ein medizinischer Fachmann) nicht geläufig ist. Ein Grenzendecoder 8 empfängt die Codewörter B, welche die Grenze zwischen relevanten und Pseudodaten darstellen. Auf alternative Weise sind die Grenzen im Voraus bekannt, wobei sie in dem Fall örtlich gespeichert werden. Die decodierten Pixel und die Grenzeninformation werden einer Rekonstruktionsschaltung 9 zugeführt. In Reaktion auf die Grenzeninformation identifiziert die Rekonstruktionsschaltung, welche Pixel Pseudopixel p[i, j] sind und welche relevante Pixel x[i, j] sind. Aus der obenstehenden Beschreibung dürfte es einleuchten, dass die Rekonstruktionsschaltung 9 nur Pseudopixel beeinflusst. Die Pseudobildpixel werden durch vorbestimmte Bild- Daten, beispielsweise schwarze Pixel, ersetzt. Das auf diese Weise rekonstruierte Bild zeigt die gleichen scharfen Grenzen wie das ursprüngliche Bild.
• Der herkömmliche Videocodierer 5 (Fig. 1) kann ein Blocktransformationscodierer sein. In dem Fall wird das Videobild in Bildblöcke aufgeteilt, die einer bestimmten orthogonalen Transformation, wie der durchaus bekannten Diskreten Kosinustransformation, ausgesetzt wird. Die meisten Blöcke werden nur relevante Pixel enthalten, andere werden nur nicht relevante Pixel enthalten, und sog. "gemischte Blöcke" werden relevante sowie nicht relevante Bilddaten enthalten. Das oben beschriebene Ersetzen nicht relevanter Pixel durch Pseudopixel soll nun nur auf gemischte Blöcke angewandt werden. Die Blöcke mit nicht relevanten Pixeln brauchen überhaupt nicht transformiert zu werden. Sie können entweder ignoriert oder zu einem einzigen DC-Koeffizienten (vorzugsweise Null, beispielsweise schwarz) codiert werden.
• Zusammenfassend; es wird ein Verfahren zum Codieren von Bildern mit Gebieten relevanter Pixel und Gebieten nicht relevanter Pixel (beispielsweise Hintergrund) beschrieben. Die Pixel des nicht relevanten Gebietes werden durch Pixel ersetzt, die den Übergang zwischen den genannten Gebieten glätten. Das auf diese Weise erhaltene Bild wird danach einer herkömmlichen Bildcodierung ausgesetzt, wodurch nun wesentlich weniger Bits erhalten werden. Am Empfängerende werden die Pseudopixel durch vorbestimmte Hintergrundpixel ersetzt zum Rekonstruieren der ursprünglichen Grenzen. Wenn die Grenze zwischen den beiden Gebieten nicht im Voraus bekannt ist, wird die Grenze detektiert, codiert und zu dem Empfänger übertragen. Die vorliegende Erfindung lässt sich insbesondere anwenden zum Komprimieren medizinischer Bilder mit einem kreisförmigen, interessanten Gebiet. Sie kann aber auch angewandt werden zum Codieren anderer Videobilder mit nicht relevanten Gebieten, wie Videophonbilder, bei denen nur das Kopf-und-Schulter-Gebiet relevant ist.

Claims (11)

1. Verfahren zum Codieren von Bildern mit Gebieten (11) relevanter Bilddaten und mit Gebieten (12) nicht relevanter Bilddaten, wobei dieses Verfahren den Verfahrensschritt der Identifizierung (2) der genannten nicht relevanten Bilddaten umfasst, dadurch gekennzeichnet, dass wenigstens nicht relevante Bilddaten in der Nähe einer Grenze (13) zwischen den genannten Gebieten durch Pseudobilddaten ersetzt werden (4), die den Übergang zwischen relevanten und nicht relevanten Bilddaten glätten.

2. Verfahren nach Anspruch 1, gekennzeichnet durch Detektion (2) und Codierung (3) der Grenze zwischen den genannten Gebieten.

3. Codierer zum Codieren von Bildern mit Gebieten (11) relevanter Bilddaten und Gebieten (12) nicht relevanter Bilddaten, mit Mitteln (2) zum Identifizieren der genannten nicht relevanten Bilddaten, gekennzeichnet durch Mittel (4) zum Ersetzen wenigstens nicht relevanter Bilddaten in der Nähe einer Grenze (13) zwischen den genannten Gebieten durch Pseudobilddaten, die den Übergang zwischen relevanten und nicht relevanten Bilddaten glätten.

4. Codierer nach Anspruch 3, gekennzeichnet durch Mittel (2) zum Detektieren und durch Mittel (3) zum Codieren der Grenze zwischen den genannten Gebieten.

5. Verfahren zum Decodieren von Bildern mit Gebieten (11) relevanter Bilddaten und Gebieten (12) nicht relevanter Bilddaten, gekennzeichnet durch das Identifizieren (8) von Pseudobilddaten in Reaktion auf Grenzeninformation und durch Ersetzen (9) der genannten Pseudobilddaten durch vorbestimmte Bilddaten.

6. Verfahren nach Anspruch 5, gekennzeichnet durch den Empfang (8) codierter Grenzeninformation und durch Decodierung (8) der genannten Grenzeninformation.

7. Decoder zum decodieren von Bildern mit Gebieten (11) relevanter Bilddaten und Gebieten (12) nicht relevanter Bilddaten, gekennzeichnet durch Mittel (8) zum Identifizieren von Pseudobilddaten in Reaktion auf Grenzeninformation und durch Mittel (9) zum Ersetzen der genannten Pseudobilddaten durch vorbestimmte Bilddaten.

8. Decoder nach Anspruch 7, gekennzeichnet durch Mittel (8) zum Empfangen codierter Grenzeninformation und durch Mittel (8) zum Decodieren der genannten Grenzeninformation.

9. Codiertes Bildsignal, das ein Bild mit Gebieten relevanter Bilddaten und mit Gebieten nicht relevanter Bilddaten darstellt, dadurch gekennzeichnet, dass wenigstens nicht relevante Bilddaten in der Nähe einer Grenze (13) zwischen den genannten Gebieten durch Pseudobilddaten ersetzt worden sind, die den Übergang zwischen relevanten und nicht relevanten Bilddaten glätten.

10. Bildsignal nach Anspruch 9, weiterhin mit Grenzeninformation (B), welche die Grenze zwischen den genannten Gebieten definiert.

11. Digitales Speichermedium (6), auf dem ein Signal nach Anspruch 9 oder 10 gespeichert ist.