DE69519462T2

DE69519462T2 - Bildübertragungssystem und Verfahren zur Datenreduktion von Farbbildern mittels Farbtabellen und Zusammenfassung von Bildbereichen

Info

Publication number: DE69519462T2
Application number: DE69519462T
Authority: DE
Inventors: Nobuya Suzuki
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1994-09-30
Filing date: 1995-09-26
Publication date: 2001-06-13
Anticipated expiration: 2015-09-27
Also published as: EP0705027B1; US5825917A; DE69519462D1; KR100387341B1; EP0705027A3; EP0705027A2; KR960013081A

Description

Hintergrund der Erfindung

Gebiet der Erfindung

Die vorliegende Erfindung bezieht sich allgemein auf ein Bildverarbeitungsverfahren, ein Bildverarbeitungsgerät und ein Bildübertragungsgerät und insbesondere auf ein Bildverarbeitungsverfahren zum Komprimieren von Bilddaten gemäß der Farbe jedes Abschnitts eines Bildes und auf ein Bildübertragungssystem zum Senden und Empfangen von Bilddaten, die durch das Verfahren komprimiert worden sind.

Beschreibung des Standes der Technik

Mit der jüngsten Ausbreitung von Informationsterminals oder Vergnügungsausrüstung in Haushalten und Geschäften besteht eine steigende Nachfrage an einer Technik zur Realisierung einer Hochgeschwindigkeitsübertragung von Farbbildern. Ein Beispiel für solch eine Technik ist ein Video-auf-Abruf- System (Video-on-demand-System), in welchem eine zentrale Station auf Anfrage von einem Zuschauer jeden Spielfilm oder ähnliches liefert. Es ist zu erkennen, daß bei der Bildübertragung die Genauigkeit und Schärfe des zu übertragenden Bildes fast immer inkompatibel mit der Übertragungsrate ist. Würde die Genauigkeit und die Geschwindigkeit gleichzeitig ausreichend berücksichtigt, wäre es notwendig, die Kommunikationsbandbreite zu erhöhen. Obwohl ein genaues und scharfes Bild nicht so wichtig ist wie ein natürliches Bild, müssen andererseits manche Anwendungen kostengünstig sein und benötigen ein großes Datenübertragungsvolumen unter Verwendung einer existierenden Leitung, wie etwa eine Telefonleitung. Hier wird hauptsächlich letztere Anwendung beschrieben.

[Konventionelles Beispiel 1]

Im Falle einer Bildübertragung durch eine Leitung mit einer niedrigen Bitrate werden Daten für die Übertragung oft komprimiert. Eine existierende einfache Datenkompressionsmethode kann eine sein, in der Bilder zeitweise in eine Anzahl matrixähnlicher Blöcke eingeteilt werden, um die niederfrequenten Komponenten jedes Blockes zu extrahieren. Eine Bildübertragungsvorrichtung muß nur Blocknummern und die ihnen zugeordneten niederfrequenten Komponenten der Blöcke übertragen. Eine niedrigere Anzahl an Blöcken kann die für die Übertragung eines Bildes benötigte Zeit weiter reduzieren. Die Anzahl an Blöcken kann im Hinblick auf die Genauigkeit und Schärfe, die für das zu übertragende Bild notwendig ist, bestimmt werden, d. h. im Hinblick auf die Bildqualität und die für die Übertragung notwendige Zeit. Trotz der Tatsache, daß dies eine einfache Methode ist, kann ein gewisser Effekt erwartet werden.
Ein ähnliches Verfahren ist z. B. in EP-A-0164825 offenbart. Darin ist ein Verfahren zum Kodieren von Bilddaten offenbart, in welchem Blöcke anhand von geometrischen Grenzen von Regionen gebildet werden.

[Konventionelles Beispiel 2]

Wie später beschrieben werden wird, bringt das konventionelle Beispiel 1 das Problem mit sich, daß sich die Bildqualität verschlechtert. Ein typisches Verfahren zum Lösen dieses Nachteils und digitalen Verarbeiten des Bildes ist z. B. ein Bildsegmentierungsverfahren (d. h. ein Verfahren zum Einteilen eines Bildes in eine Anzahl von Regionen) unter Verwendung einer Histogrammverarbeitung. Dieses Segmentierungsverfahren ändert die Graustufeninformation jedes Pixels abhängig von der Häufigkeit seines Auftretens. Ein kumulatives Häufigkeitsdiagramm, das die Graustufeninformation aller Pixel eines Bildes repräsentiert, wird zeitweilig geschaffen, wobei seine Häufigkeitsachse gleichmäßig so unterteilt ist, daß sie mit dem vollen dynamischen Bereich des Bildverarbeitungsgerätes korreliert. Diese Technik wird auch Kontrastverstärkungsverfahren genannt. In dieser Technik wird eine häufig auftretende Graustufe fein unterteilt, wohingegen eine weniger häufig auftretende Graustufe grob unterteilt wird, um diese in mehrere Graustufen einzuteilen. Diese Technik ermöglicht es, daß signifikante Komponenten in der Graupegelinformation eines Bereiches verstärkt werden und daß Daten in anderen Abschnitten gelöscht werden, um so die Daten zu komprimieren.
Ein weiteres Verfahren zum Komprimieren von Bilddaten ist in EP-A-0301207 offenbart. In diesem Verfahren werden die Farben eines Farbbildes durch eine Anzahl von n Farben ersetzt, wobei n kleiner ist als die Anzahl an Farben im Originalbild. Somit kann die Menge an Farbinformation reduziert werden.
Die oben erwähnten konventionellen Beispiele beinhalten die nachfolgenden Probleme.

[Zum konventionellen Beispiel 1]

Sollte eine Grenze eines Bildes in einem Block enthalten sein, kann das durch das Wiederherstellen des Blockes erhaltene Bild stark vom Originalbild abweichen.
Fig. 1 stellt das Bild eines auf dem Meer 1 schwimmenden Schiffes 3 dar. Man nehme nun an, daß die Daten des Abschnittes des Blockes 5 komprimiert werden. Der Block 5 enthält eine Grenze zwischen dem Schiff 3 und dem Meer 1. Angenommen, die Farbe des Meeres sei blau und die Farbe des Schiffes 3 sei rot, dann würde die Farbe des Blockes 5 gemittelt werden, was zu Lila führt. Wie einfach vorstellbar ist, wäre die Kontur des Schiffes 3 von einem Farbgürtel umgeben, der im Originalbild nicht zu sehen ist, was zu einem unnatürlichen Bild führt. Die Verschlechterung des Bildes in Einheiten von Blöcken wird "Blockverzerrung" genannt, was ein ernster Nachteil des konventionellen Beispiels 1 ist.

[Zum konventionellen Beispiel 2]

Abhängig von der Art der Anwendung ermöglicht dieses Segmentierungsverfahren eine Bildverarbeitung mit ziemlich hoher Genauigkeit und Datenkomprimierung. Während des Einteilprozesses wäre es jedoch nötig, eine große Menge an Berechnungen für jedes Bild durchzuführen. Im Fall, daß das Histogramm systematische Fehler enthält oder das Bild einen extrem engen dynamischen Bereich (z. B. Weltraumbilder) besitzt, wäre nach der Transformation eine Modulation der Häufigkeitsverteilung nötig. Solch ein Prozeß würde für jedes Bild benötigt, was den Computer stark auslasten würde. Daher erfüllt das Segmentierungsverfahren unter Verwendung einer Histogrammverarbeitung nicht den Bedarf, eine Menge an Daten bei niedrigen Kosten zu verarbeiten.
Im in EP-A-0301207 beschriebenen Verfahren besteht ein Problem darin, daß nach dem Durchführen des Verfahrens jedes Bildelement noch immer seine eigene Farbinformation besitzt. Daher ist die Komprimierung nicht sehr effektiv oder die Anzahl an Farben muß drastisch reduziert werden, was zu einer spürbaren Verschlechterung des Bildes führt.

Zusammenfassung der Erfindung

Daher ist es eine Aufgabe der vorliegenden Erfindung, ein auf Bereichen basierendes Bildverarbeitungsverfahren und -gerät zur Verfügung zu stellen, das dazu gedacht ist, Bilddaten dadurch zu komprimieren, daß ein Bild in Einheiten von Bereichen mit ähnlichen Farben eingeteilt wird, anstatt das Bild in matrixförmige Blöcke (nämlich Positionskoordinaten) einzuteilen, und ein Bildübertragungsgerät zur Verfügung zu stellen, das dazu gedacht ist, die Bilddaten zu übertragen und zu empfangen, die unter Verwendung des Bildverarbeitungsgerätes verarbeitet worden sind. Es wird ein Bildverarbeitungsgerät eines Typs offenbart, welches die benötigte Computerarbeit minimiert und welches das Bildsegmentierungsgerät, das die Histogrammverarbeitung oder ähnliches verwendet, ersetzt. Ein Bildverarbeitungsverfahren gemäß der vorliegenden Erfindung ist ein Verfahren, bei dem Bilder auf eine Bereichsbasis verarbeitet werden, das einen Schritt des Abwägens der Nähe einer Farbe feines jeden Abschnitts des zu verarbeitenden Bildes zu vorbereiteten Standardelementfarben umfaßt; einem Ersetzungsschritt zum Ersetzen der Farbe eines jeden Abschnitts durch eine Elementfarbe gemäß dem Ergebnis der Abwägung; und einen Integrationsschritt zum Integrieren der Regionen, die der Ersetzung unterworfen worden sind, nach der Ersetzung umfaßt. Eine einzelne Farbe, die wiederum vom Abwägeschritt und vom Ersetzungsschritt durch eine Elementfarbe ersetzt wird, wird dem so integrierten Abschnitten zugeteilt. Jeder Abschnitt kann ein Pixel sein, oder eine Gesamtheit von Pixels. Die Elementfarbe ist z. B. in einer Farbtabelle enthalten. Die Näherung wird z. B. durch die Farbdifferenz beurteilt.
Als erstes wird die Farbe jedes Abschnittes des Bildes durch eine der Elementfarben ersetzt. Zum Beispiel wird die Farbe jedes Pixels durch ein Element aus den Elementen der Farbtabelle ersetzt, das die Farbdifferenz relativ zur Farbe jedes Elementes minimiert. Selbst wenn das Originalbild 10000 Farben enthalten hat, wird das Bild durch 100 Farben repräsentiert, falls die Anzahl an Elementfarben 100 beträgt. Nach der Ersetzung können, falls Farben von Pixeln, die im Originalbild in ihrer Position aneinander angrenzen, in Bereichen enthalten sind, die im eingeteilten Farbraum aneinander angrenzen, diese Pixel integriert werden. Wenn ein Bild z. B. durch 100 Farben dargestellt worden ist, können die aneinander angrenzenden Pixel oder Bereiche (jeweils mit einer anderen Farbe) im Originalbild möglicherweise durch die gleiche Elementfarbe dargestellt sein. In diesem Fall werden diese Pixel oder Bereiche in einen einzigen Bereich integriert. In dem Fall, daß aneinander angrenzende Pixel oder Bereiche von Elementfarben dargestellt werden, die einander extrem ähnlich sind (sich aber voneinander geringfügig unterscheiden), können diese Pixel oder Bereiche ebenfalls integriert werden. In diesem Fall wird eine Elementfarbe, die vor der Integration entweder durch einem Pixel oder einem Bereich eigen war, dem Bereich nach der Integration zugeteilt.
Das Verfahren umfaßt außerdem einen Schritt zum Erzeugen einer Farbtabelle, um beim Beenden des Ersetzungsschrittes und des Integrationsschrittes Elemente aus der Farbtabelle zu extrahieren, die nötig sind, um das Endbild darzustellen, so daß eine weitere Farbtabelle erzeugt wird. Im obigen Beispiel wird eine Farbtabelle erzeugt, die aus hundert Farben zusammengesetzt ist.
In einem Bildübertragungsgerät (Übertragungssystem) gemäß der Vorliegenden Erfindung schließt der Sender Sendemittel zum Senden einer Farbtabelle an den Empfänger ein, während der Empfänger Speichermittel zum Speichern der empfangenen Farbtabelle einschließt. Das heißt, die Farbtabelle wird vom Sender an den Empfänger übertragen, und der Empfänger speichert die Farbtabelle. Vor der Übertragung der Bilddaten wird es dem Sender und dem Empfänger ermöglicht, eine gemeinsame Farbtabelle zu enthalten. Aufgrund der Tatsache, daß die gleiche Farbtabelle verwendet wird, muß der Sender danach nur Farbzahlen übertragen. Der Empfänger reproduziert die Originalfarben durch Bezugnahme auf die Farbzahlen und die Farbtabelle.
Gemäß einem weiteren Aspekt enthält der Sender Entscheidungsmittel zum Entscheiden über die Übertragungshäufigkeit der Daten eines Bereiches in Abhängigkeit von der Signifikanz dieses Bereiches. Der Empfänger enthält Reproduktionsmittel zum Kombinieren von Daten in Einheiten von Bereichen, die vom Sender übertragen worden sind, um ein Bild zu reproduzieren. In Abhängigkeit von der Signifikanz eines Bereiches entscheidet der Sender über die Sendehäufigkeit der Daten in diesem Bereich, wohingegen der Empfänger die Daten in Einheiten von Bereichen, die vom Sender gesendet worden sind, kombiniert, um so ein Bild zu reproduzieren. Ein signifikanter Bereich schließt z. B. einen Bereich mit einer großen Fläche oder einen Bereich, der einem menschlichen Gesicht entspricht, ein. Die Erhöhung der Sendehäufigkeit stellt z. B. sicher, daß das Fehlen signifikanter Information, das aufgrund von Sendefehlern auftritt, vermieden wird.

Kurze Beschreibung der Zeichnungen

Fig. 1 ist eine Ansicht eines Bildes eines Schiffes 3, das auf dem Meer 1 schwimmt;
Fig. 2 ist ein Diagramm, das einen schematischen Aufbau für ein Gerät zum Ausführen des Bildverarbeitungsverfahrens gemäß der vorliegenden Erfindung darstellt;
Fig. 3 ist eine Ansicht eines gleichförmigen HVC- Farbraumes;
Fig. 4 ist ein Diagramm, das durch die Vergrößerung eines zu verarbeitenden Bildes 16 Pixel zeigt;
Fig. 5 ist ein Diagram, das die Beziehung der Positionen im gleichförmigen HVC-Farbraum darstellt, die den Farbzahlen der 16 Pixel aus Fig. 4 entnommen sind;
Fig. 6 ist ein Diagramm, das den Aufbau eines Bildübertragungsgerätes gemäß einer zweiten Ausführungsform darstellt;
Fig. 7 ist eine Ansicht eines Originalbildes vor der Integration einer dritten Ausführungsform;
Fig. 8 ist eine Ansicht eines Bildes, das der Integration unterworfen war, die bis zu einem gewissen Grad in der dritten Ausführungsform fortgeschritten ist;
Fig. 9 ist eine Ansicht eines Bildes, das der Integration unterworfen war, die in der dritten Ausführungsform bedeutend vorangeschritten ist.
Fig. 10 ist eine Ansicht des Endbildes, das als Ergebnis des Prozesses B der dritten Ausführungsform erhalten worden ist;

Beschreibung der bevorzugten Ausführungsformen

Ausführungsform 1

Eine bevorzugte, beispielhafte Ausführungsform des Bildverarbeitungsverfahrens der vorliegenden Erfindung wird nun mit Bezug auf die Fig. 2 bis 5 beschrieben.
Zuerst ist in Fig. 2 schematisch der Aufbau eines Bildverarbeitungsgerätes gezeigt, das dazu gedacht ist, das Verfahren durchzuführen. Das Gerät umfaßt einen Bildeingabeabschnitt 10 zum Eingeben eines Bildes;
ein Rauschbeseitigungsabschnitt 12, der aus einem Tiefpaß- Filter zum Beseitigen von Rauschen, das in den Bildeingang eingemischt sein kann, aufgebaut ist; einen Raumtransformationsabschnitt 14 zum Transformieren der Skala des Bildes, das durch den Rauschbeseitigungsabschnitt 12 vom Rauschen befreit worden ist, aus dem RGB-Farbraum in den gleichförmigen HVC-Farbraum, was später beschrieben wird; einen Bildersetzungsabschnitt 16 zum Ersetzen des Bildes, das vom Raumtransformationsabschnitt 14 transformiert worden ist durch Elemente, die in einer Farbtabelle, die später beschrieben werden wird, vorliegen; und einen Bildintegrationsabschnitt 18, um aus den Pixeln des Bildes, das durch den Bildersetzungsabschnitt 16 ersetzt worden ist, diejenigen Pixel, die in ihrer Position einander benachbart sind und in ihrer Farbe im Originalbild nahe beieinander liegen, zu integrieren.
Es wird nun der gleichförmige HVC-Farbraum beschrieben, in den der RGB-Farbraum durch den Raumtransformationsabschnitt 14 transformiert wird.
Fig. 3 stellt den Aufbau des gleichförmigen HVC-Farbraumes dar. Wie wohl bekannt ist, ist der gleichförmige HVC- Farbraum ein zylindrischer Farbraum zum Klassifizieren von Farben mit dem Farbton in Umfangsrichtung, dem Wert in Richtung der Höhe und dem Farbwert in radialer Richtung, der durch eine bekannte Transformation aus dem RGB-Farbraum erhalten werden kann. Der gleichförmige HVC-Farbraum ist dadurch gekennzeichnet, daß er im Vergleich mit dem RGB- Farbraum eine einfache intuitive Wahrnehmung durch das menschliche Sehen ermöglicht. Farben, die zwei Punkten entsprechen, welche in großer Nähe zueinander in gleichförmigen HVC-Farbraum liegen, werden von Menschen als Farben wahrgenommen, die einander ähneln. Wie später beschrieben werden wird, werden eine Anzahl Farben, die innerhalb einer bestimmten Zone dieses Raumes enthalten sind, durch eine einzige Farbe ersetzt, wodurch es möglich gemacht wird, Datenkompression durchzuführen, was das letztendliche Ziel ist.
Dieser Vorgang wird erklärt.
Ein zu verarbeitendes Bild wird durch den Bildeingabeabschnitt 10 in das Gerät eingebracht. Aufgrund einer relativ zufälligen Rauschkomponente, die im allgemeinen im Bild enthalten sein kann, wird der Rauschbeseitigungsabschnitt 12 zum Beseitigen des Rauschens zur Verfügung gestellt. Dann dient der Raumtransformationsabschnitt 14 dazu, dieses Bild vom RGB-Farbraum in den gleichförmigen HVC-Farbraum zu transformieren. Neben der Ausführung dieser Transformation teilt der Raumtransformationsabschnitt 14 den gleichförmigen HVC-Farbraum nach der Transformierung in eine Anzahl Bereiche ein, um im Voraus eine Farbtabelle vorzubereiten. Zum Beispiel wird der gleichförmige HVC-Farbraum für die Verwendung in 40 Segmente in den Richtungen H, V bzw. C eingeteilt. Somit wird der Farbraum in 40 · 40 · 40 = 64.000 Bereiche eingeteilt. Für jeden Bereich wird eine mittlere Farbe als die Farbe festgelegt, die den Bereich repräsentiert. Dies führt zu 64.000 repräsentativen Farben, was ausreicht, um ein Bild nahe dem natürlichen Bild darzustellen.
Unter Verwendung der repräsentativen Farben als Elemente erzeugt der Raumtransformationsabschnitt 14 die Farbtabelle. Die repräsentativen Farben als Elemente der Farbtabelle können durch die Zahlen 1 bis 64.000 individuell spezifiziert werden, was bedeutet, daß alle Farben durch Daten von 16 Bit identifiziert werden können.
Der Bildersetzungsabschnitt 16 dient zum Ersetzen der Farbe jedes Pixels des zu verarbeitenden Bildes durch eine der Farbzahlen 1 bis 64.000. Trotz der Tatsache, daß es 64.000 Farben gibt, wäre es unmöglich, daß die Farbe jedes Pixels vollständig mit einem Element in der Farbtabelle übereinstimmt, da jedes Pixel eine beliebige Farbe besitzt. Daher mißt der Bildersetzungsabschnitt 16 eine Farbdifferenz zwischen jedem Pixel und jedem Element in der Farbtabelle und verwendet als Farbe zum Ersetzen der Farbe des Pixels das Element, das die Farbdifferenz minimiert. Es ist zu erwähnen, daß für die Ersetzung auch solch ein Element, das eine Farbdifferenz aufweist, die innerhalb eines vorbestimmten Bereiches liegt, verwendet werden kann. Dies ergibt sich aufgrund der Tatsache, daß, obwohl es wünschenswert ist, nach einem Element zu suchen, welches die Farbdifferenz minimiert, diese Suche eine gewisse Berechnungszeit benötigen würde. In jedem Fall wird als Ergebnis der Ersetzung eine vollständige Repräsentation des zu verarbeitenden Bildes durch die Farbzahlen 1 bis 64.000 erreicht.
Das so in einem Zwichenstadium der Verarbeitung erhaltene Bild wird vom Bildintegrationsabschnitt 18 integriert und komprimiert. Fig. 4 stellt in einem vergrößerten Maßstab 16 Pixel dar, die in einem Teil eines zu verarbeitenden Bildes vorhanden sind. Fig. 5 zeigt die Beziehung der Positionen im gleichförmigen HVC-Farbraum, die durch die Farbzahlen, die diesen 16 Pixeln entsprechen, definiert werden.
In Fig. 4 sind die Farbzahlen, die den 8 Pixeln zugeordnet werden, die in der oberen Hälfte der 16 Pixel liegen (die nachfolgend als Pixelgruppe A bezeichnet werden), die Zahlen
n-1, n, n + 1
während die Farbzahlen, die den Pixeln, die in der unteren Hälfte liegen (im folgenden als Pixelgruppe B bezeichnet), zugeordnet sind, die Zahlen
m - 1, m, m + 1
sind.
Wie in Fig. 5 zu sehen ist, liegen Elemente mit benachbarten Farbzahlen im gleichförmigen HVC-Farbraum direkt nebeneinander. Es ist daher ersichtlich, daß die Pixelgruppen A und B jeweils aus im wesentlichen denselben Farben zusammengesetzt sind. Daher werden die Pixel, die zur Pixelgruppe A gehören, so integriert, daß sie jeweils dieselbe Farbzahl n besitzen, wohingegen die Pixel, die zur Pixelgruppe B gehören, so integriert werden, daß sie jeweils dieselbe Farbzahl m besitzen. Der Pixelintegrationsabschnitt 18 führt solch einen Integrationsprozeß über dem gesamten Bild aus, um infolgedessen alle Bereiche zu integrieren. Die obige Verarbeitung beendet die Datenkompression.
Es ist mit Bezug auf dieses Gerät zu würdigen, daß aufgrund der Tatsache, daß es 64.000 Farbzahlen gibt, möglich ist, alle Pixel mit Farbzahlen, die innerhalb eines bestimmten Bereiches variieren, zusätzlich zu den Pixel mit den benachbarte Farbzahlen zu integrieren. Diese Pixel können der Integration unterworfen werden, solange sie innerhalb eines bestimmten Bereiches angeordnet sind, ohne auf den Fall beschränkt zu sein, in dem sie im Originalbild einander benachbart sind. Der Bereich, der integriert werden soll, hängt von der Datenkompressionsrate und der benötigten Bildqualität ab.
Im hier vorgestellten Gerät wurde die Farbtabelle vom Raumtransformationsabschnitt 14 erstellt, obwohl die Tabelle auch außerhalb des Geräts angeordnet sein kann. In diesem Wall wird in der externen Tabelle nachgeschlagen, falls dies nötig ist.
Gemäß dem Bildverarbeitungsverfahren der vorliegenden Erfindung ist die kleinste Einheit für die Integration der Bilddaten ein Pixel, so daß alle benachbarten Pixel mit ausreichend unterschiedlichen Farbzahlen nicht integriert werden, wodurch die im konventionellen Beispiel 1 enthaltene Blockverzerrung vermieden wird. Der Vorteil der vorliegenden Erfindung gegenüber dem konventionellen Beispiel 1 ergibt sich aus deren intrinsischem Unterschied, nämlich daß die Datenkompression im konventionellen Beispiel 1 nur auf der Positionsinformation des Originalbildes beruht, wohingegen in der vorliegenden Erfindung die Daten in Abhängigkeit von der Farbinformation komprimiert werden. Daher wird für die Integration der Bereiche weniger Berechnung nötig, was das Problem überwindet, welches das konventionelle Beispiel 2 mit sich bringt.
Zudem stellt die Ausführung der Integration der Bilddaten durch das beschriebene Gerät nicht nur die Datenkompression sicher, sondern auch die Extraktion von Pixelbereichen mit ähnlichen Farben im Farbraum. Dieses Gerät kann auch als ein Bilderkennungsgerät verwendet werden. Aufgrund der Fähigkeit dieses Gerätes, nicht den RGB-Farbraum, sondern einen Farbraum wie etwa den gleichförmigen HVC-Farbraum, der eine natürliche, dem menschlichen Sehen gemäße Einteilung Liefert, zu verwenden, ist es möglich, Erkennung und Analyse bequem durchzuführen.

Ausführungsform 2

Es wird nun ein Bildübertragungsgerät (Übertragungssystem) beschrieben, das dazu gedacht ist, das Senden und Empfangen von unter Verwendung des Bildverarbeitungsverfahrens des Ausführungsbeispiels 1 komprimierten Bilddaten durchzuführen.
In Fig. 6 ist ein Aufbau des Bildübertragungsgerätes gemäß der zweiten Ausführungsform dargestellt.
Das Bildübertragungsgerät umfaßt einen Bildsender 30 und einen Bildempfänger 32, die beide das Bildübertragungsverfahren der vorliegenden Erfindung verwenden. Der Bildsender 30 verwendet insbesondere das Verfahren, das wie folgt verbessert ist. Um die Übertragungssicherheit beim Senden von komprimierten Bilddaten zu gewährleisten, ist der Bildsender 30 mit einem Signifikanz-Zuordnungsabschnitt 34 ausgestattet. Der Bildsender 30 enthält außerdem einen Farbtafel-Erzeugungsabschnitt 36, der eine neue Farbtabelle erzeugt, indem diejenigen Farbtabellenelemente, die für das Darstellen des Endbildes nach dem Abschluß der Bereichsintegration durch den Pixelintegrationsabschnitt 18 nötig sind, extrahiert werden. Die Signifikanz und die Farbtabelle werden zeitweilig in einem Speicherabschnitt 38 gespeichert und dann über einen Sendeabschnitt 40 an den Bildempfänger 32 gesendet. Über einen Empfangsabschnitt 42 empfängt der Empfänger 32 die Daten und speichert diese zeitweilig in einem Speicherabschnitt 44. Danach werden die Daten in einen Reproduktionsabschnitt 46 zum Erzeugen des Bildes eingegeben.
Der Zustand des Bilddatensendens und des Bilddatenempfangens wird erklärt.
Das Bild wird vom Bildsender 30 in der gleichen Weise verarbeitet wie in der ersten Ausführungsform. Der Farbtabellenerzeugungsabschnitt 36 extrahiert dann alle Farben, die im Endbild verwendet sind, um eine neue Farbtabelle zu erzeugen. Die so erzeugte Farbtabelle wird vor dem Senden der Bilddaten an den Bildempfänger 32 übergeben. Als Ergebnis ist es dem Bildsender 30 und dem Bildempfänger 32 möglich, die gleiche Farbtabelle zu besitzen, was für die Reproduktion des anschließend zu sendenden Bildes notwendig und ausreichend ist.
Der Signifikanz-Zuordnungsabschnitt 34 bewertet die Signifikanz aller Bereiche des bereits integrierten Endbildes und gibt eine Priorität beim Senden aus. Dies ist eine Maßnahme, die getroffen wird, um den Datenverlust im am wenigsten signifikanten Teil zu minimieren, wenn eine unerwartete Situation aufgetreten ist, wie etwa Datenverlust im Kommunikationskanal. Der Signifikanz-Zuordnungsabschnitt 34 wird z. B. einem Bereich mit einer großen Fläche eine höhere Priorität zuordnen. Die den Bereichen zugeordneten Prioritäten werden im Bildsender 30 gespeichert, und eine Zahl, die die Zahl der feinsten Wiederholungssendung für den Bereich mit einer hohen Priorität in der Sendung anzeigt, wird auf einen größeren Wert eingestellt. Dies stellt eine wiederholte Sendung im Einklang mit der Priorität sicher und, sollte der Kommunikationskanal einen Fehler erleiden, ermöglicht es, das Schlimmste zu vermeiden, nämlich die Situation, in der ein großer Bereich verloren sein kann, wenn das Bild im Bildempfänger 32 reproduziert wird.
Das Vorangegangene ist eine Zusammenfassung des Bildübertragungsgerätes gemäß dieser Ausführungsform.
Es ist besonders zu erwähnen, daß die Kriterien zum Zuordnen der Prioritäten durch den Signifikanzzuordnungsabschnitt 34 nicht auf die Größe der Bereiche begrenzt ist. Z. B. kann, abhängig von seiner Anwendung, einem Bereich, der vom menschlichen Auge aufgrund seiner Farbzahl, die sich von anderen Bereichen deutlich unterscheidet, klar gesehen werden kann, oder einem Bereich mit einer großen Helligkeit, eine höhere Priorität zugeordnet werden. In Anwendungen, die mit einem Bild verknüpft sind, das hauptsächlich ein menschliches Gesicht beinhaltet, wie etwa insbesondere bei einem Bildtelefon, ist es vorzuziehen, daß ein Fleischfarbener Bereich, der im Mittelpunkt des Bildschirmes liegt, oder ein Bereich, der Augen oder einen Mund innerhalb eines fleischfarbenen Bereiches darstellt, einer Verarbeitung unterworfen wird, z. B. um die Priorität zu heben.
Gemäß dem Bildübertragungsgerät der vorliegenden Erfindung, wie es oben beschrieben worden ist, kann das Senden und Empfangen der Bilddaten ausgeführt werden, während gleichzeitig die Abwesenheit jeglicher signifikanter Bereiche vermieden wird. In diesem Fall ist das Gerät aufgrund der Patsache, daß sowohl der Sender als auch der Empfänger eine Earbtabelle teilen können, die notwendig und ausreichend Für die Reproduktion des zu übertragenden Bildes ist, geeignet, den Bedarf für das Senden von deutlicherer Information über eine Leitung mit niedriger Bitrate zu decken und ist im praktischen Gebrauch überlegen.

Ausführungsform 3

Es wird ein Bildverarbeitungsverfahren beschrieben, das die Verwendung des Bildbereichsintegrationsverfahren der ersten Ausführungsform ermöglicht. In dieser Ausführungsform werden die Bildbereiche nacheinander integriert. Spezieller, das Verfahren der ersten Ausführungsform ist auf einen Prozeß A anwendbar, der später beschrieben werden wird.

[Hintergrund]

Wie durch MPEG repräsentiert, ist Bildkodierung eine der wichtigsten Basistechniken, wenn die Realisierung in Bildempfangsausrüstungen der nächsten Generation oder wenn verschiedene Bildübertragungsdienste in Betracht gezogen werden. Es liefert Bildinformation mit höherer Qualität und mehr Natürlichkeit bei einer begrenzten Übertragungsrate, während eine Verbesserung in der Kodierungseffizienz oder Bildkompressionsrate sichergestellt ist.
Diskrete Kosinustransformation (DCT) ist ein Beispiel solcher MPEG-Kodierungstechniken. In dieser Technik wird ein Bild in eine Anzahl matrixähnlicher Blöcke eingeteilt. Im einfachsten Beispiel wird eine niedrigfrequente Komponente von jedem der Blöcke extrahiert, und die Farben der Pixel, die in jedem Block enthalten sind, werden gleichmäßig durch z. B. eine typische Farbe ersetzt. Danach werden die Blockzahlen entsprechend den typischen Farben zugeordnet, um die Kodierung zu komplettieren.
Unter der steigenden Anzahl von bildassoziierten Techniken ist insbesondere eine Technik zum korrekten Erfassen und Vorhersagen der Bewegungen dynamischer Bilder, um sie zu kodieren (nachfolgend einfach als Bewegungskodierung bezeichnet), von besonderer Bedeutung. Eines der Ziele bildkodierender Techniken ist es, ihre Anwendung auf häuslichen Vorrichtungen, wie etwa persönlichen Informationsgeräten, zu ermöglichen. Die Voraussetzungen sind in diesem Fall, daß dynamische Bilder in Echtzeit innerhalb eines Bereiches mit einer niedrigen Senderate übertragen werden und daß die Bilder, die durch die Dekodierung erhalten werden, eine ausreichend hohe Qualität besitzen. Um diese Voraussetzungen zu erfüllen, wäre es unvermeidlich, eine Bewegungskodierung durchzuführen.

[Probleme]

Da die MPEG-Kodierungstechnik, die oben beschrieben worden ist, alleine für implementierbare Anwendungen, wie etwa hochintegrierte Schaltungen (LSI, Vibe Scale Integration Circuits) unter Verwendung der existierenden Techniken entwickelt worden ist, scheint es schwierig, sie zur Zeit direkt auf die Realisierung einer verbesserten Bewegungskodierung anzuwenden. MPEG ermöglicht es, daß Bewegungsvektoren von Blöcken übertragen werden, während die Bildkodierung für jeden Block durchgeführt wird, und die Bewegungsvektoren werden alle für jeden Block unabhängig vom Inhalt des Bildes berechnet. Dies bedeutet, daß alle Objekte innerhalb des Bildes gleichförmig durch die Verwendung von Blöcken der gleichen Größe dargestellt werden. Information, die die Unterschiede zwischen dem Originalbild und dem erzeugten Bild darstellen, ist für dieses Verfahren unverzichtbar. Da jedoch die Differenzinformation gewöhnlicherweise einen zu großen Anteil in Anspruch nimmt, war es na- türlicherweise schwierig, genügend Bildinformation mit einer Leitung niedriger Bitrate zu übertragen.

[Aufgabe dieser Ausführungsform]

Das Ziel der vorliegenden Erfindung ist es, ein Problem zu identifizieren und zu lösen. Der Anmelder (1) betrachtet das Fehlen von Forschung mit dem Ziel, das Segmentierungsverfahren effektiv auf die Bewegungskodierung anzuwenden als ein Problem und (2) berücksichtigt, daß die auf DCT basierende Kodierung von Bewegungen aufgrund der niedrigen Kompressionseffektivität und der schlechten Übereinstimmung zwischen Bereichen, Einschränkungen haben kann, was später beschrieben werden wird, und
(3) offenbart ein auf Bereichen basierendes Bildbereichsintegrationsverfahren im Hinblick auf fortgeschrittene Bewegungskodierung.

[Lösung]

Im Verfahren zum Integrieren von Bildbereichen dieser Ausführungsform werden eine Anzahl von Kriterien zum Bereichsintegrieren, die wiederholt angewendet werden können, komhiniert, um die Integration der Bereiche fortzuführen. Der Ausdruck "die wiederholt angewendet werden können" bedeutet, daß auf die Verwendung eines Kriteriums die Verwendung eines weiteren Kriteriums folgt, und danach das ursprüngliche Kriterium wiederholbar ist. Der Ausdruck "integrieren" oder "Integration" bedeutet, daß eine Anzahl Bereiche zu einem einzigen Bereich integriert werden. Der Ausdruck "Bildbereich" meint einen Bereich, der aus Bildpunkten mit irgendeiner Gemeinsamkeit zusammengesetzt ist. Der Bildbereich kann aus einem einzigen Bildpunkt zusammengesetzt sein, kurz gesagt, die kleinste Einheit eines Bildbereiches ist ein Bildpunkt.
Diese Ausführungsform schließt einen Prozeß A ein, in welchem Bildbereiche auf der Basis individueller Bildpunktinformation integriert werden, und schließt einen Prozeß B ein, in welchem Bildbereiche auf der Basis von Gesamtbildpunktinformation integriert werden. Die Individualinformation bezieht sich auf Information, die durch lediglich individuelle Bildpunkte definiert werden kann, wie etwa die Farbe des Bildpunktes, wohingegen sich die Gesamtinformation auf Information bezieht, die durch die Gesamtheit einer Anzahl von Bildpunkten, wie etwa die Geometrie, des Bereiches, definiert werden kann. Obwohl im Prozeß A die Integration auf der Basis der individuellen Information ausgerührt wird, kann eine Anzahl von tatsächlichen individuellen Informationen für eine Anzahl Bildpunkte kollektiv behandelt werden, solange die Integration auf der individuellen Information basiert. Um ein Beispiel zu geben, der Durchschnitt der Farben einer Anzahl Bildpunkte kann die Basis der Integration bilden.
In dieser Ausführungsform kann die Individualinformation die Farbinformation für jeden Bildpunkt sein, und die oben erwähnte Gesamtinformation kann die Größe des Bildbereiches sein. Der Ausdruck "Farbinformation" beinhaltet die Information für alle Faktoren, die sich auf Licht bezieht, das als Ergebnis optischer Reflektion auf die menschliche Netzhaut auftrifft, und kann Information über die Helligkeit, die Farbe oder den Farbton, die Attribute von Farben sind, sein. Die tatsächliche Form der Information kann z. B. als Farbzahlen im HVC- oder im RGB-Farbraum vorliegen. Dieser Aufbau ermöglicht es, daß Bildbereiche unter zwei Gesichtspunkten integriert werden, nämlich der Farbinformation und der Größe.
In dieser Ausführungsform werden der Prozeß A und der Prozeß B in dieser Reihenfolge ausgeführt. Entsprechend schreitet z. B. die Integration anfänglich unter Verwendung der Farbinformation fort, und dann werden die Bereiche, die nach der Integration übrig bleiben, entsprechend ihrer Größe integriert.
In einem Aspekt dieser Ausführungsform ist die Farbinformation eine Farbdifferenz zwischen Bereichen, wobei der Prozeß A es ermöglicht, eine Anzahl Bereiche, die in ihrer Position aneinander angrenzen, nacheinander, beginnend mit einer niedrigen Farbdifferenz, zu integrieren, nämlich in aufsteigender Ordnung der Farbdifferenz. Die Farbdifferenz ist der Grad des Unterschieds in der Farbe, und eine größere Farbdifferenz resultiert in einem größeren Unterschied in der Farbe. Der Grund, daß das Kriterium "in der Position einander benachbart" definiert ist, ist, daß eine hohe Wahrscheinlichkeit vorliegt, daß diese Bereiche in einer körperlich definierten Entität (Objekt) enthalten sind. Das gleiche trifft auf das Kriterium "von einem mit niedriger Farbdifferenz" zu. Mit einem roten Apfel, der obere und untere Enden einschließt, wobei jedes eine geringfügig von der anderen verschiedene Farbe besitzt, ist es ersichtlich, daß eine Farbdifferenz zwischen den beiden Enden im allgemeinen klein ist, da ihre Farben zum gleichen Rot gehören, und daß der Abstand zwischen den beiden Enden im Bild relativ gering ist, wodurch es ermöglicht wird, den gesamten Apfel in einen Bereich zu integrieren. Selbst wenn in diesem Fall ein Glas mit im wesentlichen der gleichen Farbe wie der Apfel im Bild getrennt angeordnet ist, würde die Integration nicht durchgeführt werden, solange sie voneinander um einen gewissen Betrag getrennt sind.
In einem weiteren Aspekt dieser Ausführungsform ermöglicht es der Prozeß B, daß ein Bereich mit einer kleineren Fläche nachfolgend in einen anderen Bereich mit einer größeren Fläche, der in großer Nähe zu diesem angeordnet ist, integriert wird. Dies geschieht aufgrund der Tatsache, daß im Hinblick auf die Bereichsanpassung, die beim Bewegungskodieren durchgeführt werden soll, Information mit Bezug auf einen Bereich mit einer relativ großen Fläche im Bild, die so früh wie möglich zu bilden ist, signifikant ist. Dieser Aspekt würde dazu führen, daß Bereiche mit einer relativ kleinen Fläche nacheinander verschwinden, und würde die Gesamtzahl an im Bild enthaltenen Bereichen reduzieren.
In einem weiteren Aspekt dieser Ausführungsform schreitet der Prozeß A fort, bis die minimale Farbdifferenz zwischen den Bereichen einen vorbestimmten Referenzwert erreicht, und daraufhin folgt der Prozeß B. Mit der Ausführung des Prozesses A verringert sich die Farbdifferenz zwischen den Bereichen allmählich. In diesem Fall schreitet der Prozeß A zum Beispiel fort bis die Farbdifferenz 6,0 in der Einheit, die NBS-Farbdifferenz genannt wird, erreicht ist. Danach werden die so integrierten Bereiche basierend auf den Abmessungen weiterer Integration unterworfen.
In noch einem weiteren Aspekt dieser Ausführungsform wird der Prozeß A ausgeführt, bis die Zahl der Bereiche mit vorbestimmten Abmessungen einen bestimmten Wert erreicht, daraufhin folgt der Prozeß B. Mit dem Fortschreiten des Prozesses A verringert sich nicht nur die minimale Farbdifferenz, sondern auch die Zahl der Bereiche, wobei der Bereich selbst durch die Integration vergrößert wird. Zum Beispiel kann der Prozeß A angehalten werden, wenn etwa 10 Bereiche aufgetreten sind, die die Abmessung von einem Prozent der Gesamtbildgröße besitzen.
Es ist in dieser Ausführungsform anzumerken, daß mit Bezug auf einen Bereich, der vollständig von einem einzigen Bereich gegeben ist (nachfolgend als "isolierter Bereich" bezeichnet) die Integration durch den Prozeß B verschoben werden kann. In diesem Fall können die Abmessungen des isolierten Bereichs im Prinzip aus der Berücksichtigung weggelassen werden. Obwohl der isolierte Bereich gewöhnlicherweise keine so große Größe haben kann, kann der Fall auftreten, in welchem es ersichtlich ist, daß der isolierte Bereich als Bildinformation bedeutend ist, wie etwa Augen in einem menschlichen Gesicht. Somit ermöglicht es der Prozeß B, daß der isolierte Bereich tatsächlich als Teil seiner speziellen Verarbeitung übrig bleibt. Zur Zeit des weiteren Fortschreitens der Integration könnte der isolierte Bereich abhängig von der Situation integriert werden.

[Konkrete Beispiele]

Das Merkmal dieser Ausführungsform liegt darin, daß die Integration der Bildbereiche über zwei oder mehrere verschiedene Prozesse ausgeführt wird. Die Integration wird im anfänglichen Prozeß A auf der Basis der Farbdifferenz ausgeführt und dann im nachfolgenden Prozeß B auf der Basis der Größe des Bereichs.

[Prozeß A] Auf Farbdifferenz basierende Integration

Die Integration wird gemäß dem Verfahren der ersten Ausführungsform durchgeführt. Jedesmal, wenn Bildpunkte (oder Bereiche) integriert worden sind, werden die Position und die Farbzahl des neu integrierten Bereichs mit denen der anderen Bereiche verglichen, um die Integrationsverarbeitung zu wiederholen. Mit der Zunahme an Wiederholungen der Verarbeitung würde das Bild in eine begrenzte Anzahl Bereiche integriert, von denen jeder die gleiche Farbe besitzt. Hier besteht das Problem, wie die Beendigung des Prozesses A beurteilt werden soll. Es ist denkbar, daß zwei Hauptbeurteilungsverfahren verfügbar sind.

(1) Bewertung mittels Farbdifferenz

Jedesmal, wenn die Integrationsverarbeitung durchgeführt worden ist, wird eine minimale Farbdifferenz zwischen den zu diesem Zeitpunkt existierenden Bereichen abgeleitet. Wenn die minimale Farbdifferenz einen Referenzwert erreicht, ist der Prozeß A abgeschlossen. In der NBS-Farbdifferenzeinheit wird die Farbdifferenz z. B. wie folgt erinittelt.

Tarbdifferenz Bestimmung

0,0 ~ 0,5 im wesentlichen kein Unterschied in der Farbe
0,5 ~ 1,5 geringe Differenz in der Farbe
1,5 ~ 3,0 bemerkbare Differenz in der Farbe
3,0 ~ 6,0 bemerkenswerte Differenz in der Farbe
6,0 ~ 12,0 sehr bemerkenswerte Differenz in der Farbe
12,0 ~ gehört zu einer anderen Farbe
Es hängt von der Gestaltung ab, welcher Farbunterschied als Referenzwert verwendet werden soll. Tendiert das Bild im allgemeinen dazu, relativ große Farbunterschiede zwischen Bereichen zu besitzen, kann ein großer Referenzwert verwendet werden. In dieser Ausführungsform wird ein Referenzwert von 6,0 angenommen, was es ermöglicht, den Prozeß A in einem Stadium abzuschließen, in dem die Integration noch nicht sehr weit fortgeschritten ist. Der Grund hierfür ist, daß übermäßiges Fortschreiten des Prozesses A z. B. zur Produktion von unter dem Gesichtspunkt der nachfolgenden Bewegungskodierung unerwünschten Bildern führen würde.
In den Fig. 7 bis 9 sind die Unannehmlichkeiten dargestellt, die durch ein übermäßiges Fortschreiten des Prozesses A verursacht werden können. Fig. 7 stellt ein Originalbild vor dem Beginn der Integration dar, in welchem vier Hauptobjekte mit unterschiedlichen Geometrien in einem Hintergrundbereich 5, der durch nach rechts absteigende geneigte Linien schraffiert ist, vorhanden sind. Fig. 8 stellt das Bild dar, nachdem es einen Grad an Integration erfahren hat, und Fig. 9 stellt das Bild dar, nachdem es eine übermäßige Integration erfahren hat.

< Änderung des Bildes von Fig. 7 zu Fig. 8>

Vorausgesetzt, daß in Fig. 7 eine geringe Farbdifferenz zwischen den Bereichen 1 und 2, die mit nach rechts ansteigenden in Linien schraffiert sind, und den weißen Bereichen 3 und 4 besteht, wird die Integration zwischen den Bereichen 1 und 3 sowie zwischen den Bereichen 2 und 4 durchgeführt. Falls hier die schraffierten Bereiche in die weißen Bereichen integriert werden, würde Fig. 8 folgen. Obwohl es andere Bereiche gibt, die ebenso wie die Bereiche 1 und 2 mit nach rechts ansteigenden geneigten Linien schraffiert sind, werden diese nicht in die weißen Bereiche integriert, weil ihre Positionen weit von den weißen Bereichen entfernt sind.

< Änderung des Bildes von Fig. 8 zu Fig. 9 >

Wenn die Integration zum Zustand, der in Fig. 8 gezeigt ist, fortgeschritten ist, werden der Hintergrundbereich 5 und die weißen Bereiche in derselben Weise integriert, vorausgesetzt, daß sich die Farbdifferenz zwischen ihnen gering ist. Wenn der Hintergrundbereich in die weißen Bereiche integriert wird, würde Fig. 9 folgen, in der sich ein weißer Bereich über das gesamte Bild erstreckt.
Somit ermöglicht das schließlich erhaltene Bild (Fig. 9) Lediglich das Zeigen der Regionen 6 und ähnlicher Regionen aus dem Originalbild. Die schwarzen Regionen besitzen jedoch Formen, die von denen der vier Objekte, die ursprünglich im Originalbild existiert haben, ganz verschieden sind, was es sehr schwierig macht, auf der Basis der schwarzen Bereiche Bewegungskodierung für jedes Objekt durchzuführen. Tatsächlich würde der Versuch, diese Kodierung durchzuführen, von der hohen Wahrscheinlichkeit, daß entsprechende Bereiche in verschiedenen Vollbildern (Bilder) nicht gefunden werden können, verhindert werden, was dazu führt, daß die Integration von Beginn an neu probiert werden muß oder daß die Richtigkeit der Kodierung bewertet werden muß, während das Bild Schritt für Schritt von Fig. 9 in den Zustand vor der Integration zurückgeführt wird. Dies würde natürlich zu einer komplizierten Verarbeitung führen und die Verarbeitungseffizienz verringern. In dieser Ausführungsform wird der Prozeß A früh genug angehalten, um diese Unzulänglichkeit zu vermeiden, sobald die Farbdifferenz 6,0 erreicht.
Die oben beschriebenen Unzulänglichkeit könnte als "Zustand in welchem ein zu großer Bereich erzeugt worden ist", beschrieben werden. Es ist daher denkbar, daß der Prozeß A zu einem Ende kommt, wenn die Zahl der Bereiche mit einer vorbestimmten Größe einen bestimmten Wert erreicht hat. Die vorbestimmte Größe kann z. B. eine Fläche sein, die 1% der gesamten Bildfläche entspricht, und der vorgegebene Wert kann z. B. 10 bis 20 sein. Es ist natürlich, daß diese Werte abhängig von den Bildern variieren können. Jedoch würde der Übergang zum Prozeß B zu diesem Zeitpunkt sicherstellen, daß danach kleinere Bereiche früher integriert werden, was es einfacher macht, den Zustand, in dem eine Region in solch einer Weise schnell expandiert, daß sie sich über das gesamte Bild erstreckt, zu vermeiden.
Es ist ersichtlich, daß das Endbild des Prozesses A gewöhnlicherweise innerhalb eines Bereiches liegt, der es dem menschlichen Auge ermöglicht, das Originalbild durch Analogie zu identifizieren. Wird die Bewegungskodierung aus der Betrachtung weggelassen, ist es möglich, den Bildintegrationsprozeß ohne den Prozeß B zu beenden.

[Prozeß B] Auf Bereichsgröße basierende Integration

Während des Prozesses B werden die existierenden Bereiche nacheinander von einem mit geringerer Größe ausgehend integriert, nämlich in aufsteigender Ordnung der Größe. Die Größe des Bereiches kann z. B. durch die Anzahl an Bildpunkten bewertet werden. Die Gründe dafür, daß kleine Bereiche Früher integriert werden, sind die, daß die Unzulänglichkeiten des Prozesses A vermieden werden sollten, und daß ein größerer Bereich einen größeren Teil der Fläche im Originalobjekt belegt. Da es für die Bewegungskodierung wichtig ist, Konturen des gesamten Objektes zu extrahieren, zielt sie darauf ab, die Konturen des Objektes durch Integrieren eines kleineren Bereiches in einen größeren Bereich korrekt zu erfassen.
Die Verarbeitung im Prozeß B ist abgeschlossen, wenn sich die Bereiche bis zu einem gewissen Grad in ihrer Größe angenähert haben. Im allgemeinen würden gleiche Größen von Bereichen die Wichtigkeit eines Schrittes zum Vergleichen der Größen beim Anpassen von Bereichen zwischen zwei Vollbildern (image frames) verringern. Dies führt zu einer Verkürzung der Gesamtverarbeitungszeit, die für die Bewegungskodierung benötigt wird. Da für eine Mehrfach-Mehrfach- Korrelation zwischen den Vollbildern (Image Frames) üblicherweise eine lange Berechnungszeit benötigt wird, wird eine Verringerung der Vergleichselemente einen signifikanten Effekt haben.
Fig. 10 zeigt ein Endbild, das als Ergebnis des Prozesses B erhalten worden ist, bei dem zur in Fig. 8 dargestellten Zeit ein Übergang vom Prozeß A zum Prozeß B stattgefunden hat. Während des Prozesses B werden kleinere Bereiche in andere Bereiche, die in ihrer Position näher zu ihnen liegen, unabhängig von der Farbe integriert, was es ermöglicht, daß die Konturen der Objekte gegen den verbleibenden größten Hintergrundsbereich zu erkennen sind. Somit ist ein Endbild, das für die Bewegungskodierung am besten geeignet ist, das Ergebnis.
Das obengesagte ist ein Überblick über den Prozeß B, aber es ist wünschenswert, daß besondere Aufmerksamkeit auf den Fall gelegt wird, daß innerhalb des Bildes isolierte Bereiche vorhanden sind. Die isolierten Bereiche sind oft von größerer Bedeutung oder sind charakteristische Bereiche, und daher sollte die Ordnung, in der die isolierten Bereiche integriert werden, verringert werden, selbst wenn sie kleine Flächen besitzen. Wenn die isolierten Bereiche von geringer Wichtigkeit sind und insbesondere wenn ihre Flächen extrem klein sind (z. B. geringer als einige Bildpunkte), können die isolierten Bereiche einer Integration unterworfen werden.
Dieses Verfahren kann die folgenden Ersetzungen und Varianten aufweisen.

[Prozeß A]

1. Der gleichförmige HVC-Farbraum kann durch einen anderen Farbraum, wie etwa den RGB-Farbraum ersetzt werden.
2. Da für die Bewegungskodierung die Integration nicht notwendigerweise für das menschliche Auge natürlich erscheinen muß, können andere Kriterien als die Farbdifferenz für die Integration angewendet werden, wie etwa der Unterschied in der Helligkeit, der Unterschied im Farbton und der Unterschied in der Flächenhelligkeit. Es ist ersichtlich, daß für Monochrombilder die Integration anhand des Helligkeitsunterschiedes am typischsten ist.
3. Als individuelle Information über Bildpunkte kann die Information über das Ergebnis des Verfolgens des optischen Flusses jedes Bildpunktes verwendet werden. Dies ergibt sich aus der Tatsache, daß Bildpunkte, deren Ergebnis der Verfolgung eine ähnliche Tendenz zeigen, oft ineinander integriert werden können.
4. Es ist überflüssig zu sagen, daß diese Techniken miteinander kombiniert werden können.

[Prozeß B]

1. Die Integration ist in solch einer Weise entwickelt, daß Positionen der Schwerpunkte derjenigen Bereiche, die im Endbild verbleiben, geeignet verteilt sind. Zum Beispiel wird, wenn die Schwerpunkte aller Bereiche in der Nähe des Bildmittelpunktes konzentriert sind, die Wirksamkeit der Bereichsanpassung zwischen einer Anzahl Vollbildern (frames) verringert werden. Im Gegensatz dazu würden geeignet verteilte Schwerpunkte die Begrenzung des Wiederherstellungsbereiches der entsprechenden Bereiche vereinfachen und würde ein im allgemeinen zufriedenstellendes Anpassungsergebnis sicherstellen. Somit sollte, wenn es eine Anzahl an Kandidaten zum Integrieren gibt, einer ausgewählt werden, der zu einem Ergebnis führt, in welchem die Positionen der Schwerpunkte der Bereiche nach der Integration soweit wie möglich verteilt sind.
2. Wenn in den Auftrittsmustern einer Anzahl von Bereichen eine Regelmäßigkeit gefunden wird, sind diese Bereiche zu integrieren. Falls es zum Beispiel in einem Bild eine Person gibt, die einen schwarzweiß gestreiften Anzug trägt, würde eine bloße Integration anhand von Farbinformationen es nicht ermöglichen, die Konturen dieser Person zu identifizieren. Entsprechend werden, im Fall daß schwarze und weiße Bereiche wiederholt und mit einer bestimmten Regelmäßigkeit auftreten, diese Bereiche integriert. Neben dem gestreiften Muster ist dies auf jede Regelmäßigkeit anwendbar und braucht nicht auf eine Regelmäßigkeit, die dem menschlichen Auge ersichtlich ist, beschränkt zu sein, und somit wäre es möglich, Raumfrequenzen von einem relativ kleinen Bereich zu extrahieren, um dadurch feine Texturen oder feine Muster zu detektieren.
3. Bereiche, die mit einem Bildmuster, das im Voraus präpariert worden ist, übereinstimmen, sind zu integrieren. Im Falle eines Bildtelefons zum Beispiel, ist es ersichtlich, daß ein menschliches Gesicht im Mittelpunkt steht, und daher werden, falls ein fleischfarbener Bereich mit zwei schwarzen Bereichen (Auge) darin im zentralen Abschnitt eines Bildes plaziert ist, diese Bereiche in einen Bereich als ein Gesicht integriert. Dies wäre von Vorteil für die Bild-zu-Bild-Anpassung mit Bezug auf die Bewegung einer Person und könnte auf modellbasierende Kodierung anwendbar sein. Es ist zu erwähnen, daß die Wichtigkeit der Information, die sich auf die Augen bezieht, steigt, wenn das Gesicht sich dreht, ohne sich horizontal oder vertikal zu bewegen. In diesem Fall können die Augen als isolierte Bereiche verbleiben, ohne in den Bereich des Gesichtes integriert zu werden.
4. Wenn ein dynamisches Bild das Objekt ist, sollte auf den vergangenen Zustand der Bereichsintegration Bezug genommen werden. Die Integration der Bereiche, die für das aktuellste Vollbild (image frame) ausgeführt worden ist, bleibt oft für das nächste Vollbild (frame) wirksam.
5. Um zu verhindern, daß die Bereiche in ihrer Form kompliziert werden, wird die Integratin so durchgeführt, daß Ungleichmäßigkeiten beseitigt werden. Komplizierte Geometrien würden die Zahl der Bereiche, die als Fehler lediglich im Hinblick auf die Geometrie von Kandidaten beim Anpassen entfernt werden müßten, erhöhen. Dies kann zu dem Risiko des Fehlers führen, daß die optimale Anpassung übersehen wird.
6. Diese Techniken können kombiniert werden.
Gemäß der oben beschriebenen Erfindung macht es die Verwendung von mindestens zwei Prozessen möglich, Bildintegration unter Berücksichtigung der Bewegungskodierung durchzuführen. Diese Prozesse sind besonders effektiv, wenn sie es ermöglichen, die Verarbeitung auf der Basis individueller Informationen von Bildpunkten bzw. Gesamtinformationen durchzuführen. Zudem würde die Ausführung der Prozesse A und B in der erwähnten Reihenfolge es erleichtern, die Erzeugung eines unerwünschten Bereiches, der sich z. B. über das gesamte Bild erstreckt, zu vermeiden.
Vorausgesetzt, daß während des Prozesses A eine Anzahl Bereiche in großer Nähe zueinander nacheinander der Integration von einer geringeren Farbdifferenz ausgehend unterworren werden, nämlich in aufsteigender Ordnung der Farbdifferenz, so wird die Integration von Bereichen, die z. B. zum gleichen Objekt gehören, vereinfacht. Vorausgesetzt, daß während des Prozeßes B Bereiche mit einer kleineren Größe in andere, größere Bereiche der Reihe nach integriert werden, nämlich in aufsteigender Ordnung der Größe, so gibt es eine hohe Wahrscheinlichkeit dafür, daß Bereiche, die als Objektinformation wichtig sind, am Ende intakt verbleiben, was es möglich macht, ein Bild zu erzeugen, das für die Bewegungskodierung geeignet ist.
Vorausgesetzt, daß der Prozeß A fortschreitet, bis die minimale Farbdifferenz zwischen den Bereichen einen Referenzwert erreicht, und danach der Prozeß B folgt, so werden Unzulänglichkeiten, die durch übermäßige Ausführung lediglich des Prozesses A verursacht werden können, leicht überwunden. Dies hat auch eine vorteilhafte Wirkung auf die Bewegungskodierung.
In ähnlicher Weise wird die Erzeugung von unerwünschten und zu großen Bereichen unterdrückt, vorausgesetzt, daß der Prozeß A fortschreitet, bis die Zahl der Bereiche mit einer vorbestimmten Größe einen bestimmten Wert erreicht und danach der Prozeß B folgt, was es vereinfacht, die obenerwähnten Unzulänglichkeiten zu beseitigen.
Wenn die Ordnung, in der die isolierten Bereiche integriert werden, im Prozeß B verringert wird, können Bereiche, die als Bildinformation wichtig sind, weiterhin bis zum Endbild geführt werden.

Claims

1. Verfahren zum Verarbeiten von Bildern auf Bereichsbasis mit:

einem Beurteilungsschritt (14) zum Beurteilen einer Annäherung zwischen einer Farbe jedes Pixels oder Teils des zu verarbeitenden Bildes und Elementfarben, die im Voraus vorbereitet wurden, und

einem Ersetzungsschritt (16) zum Ersetzen der Farbe jedes Pixels oder Teils durch eine Elementfarbe in Übereinstimmung mit dem Ergebnis der Beurteilung,

dadurch gekennzeichnet, daß das Verfahren ferner einen Integrationsschritt (18) aufweist, in dem, nach der Ersetzung, eine Zahl von Pixeln oder Teilen entsprechend ihren Farben zu einem Bereich integriert werden, durch Vergeben einer einzelnen Elementfarbe an die Anzahl von Teilen.

2. Verfahren zum Verarbeiten von Bildern nach Anspruch 1, wobei die Elementfarben in Form von Elementen einer Farbtabelle gegeben sind, die einen diskretisierten Farbraum repräsentiert.

3. Verfahren zum Verarbeiten von Bildern nach Anspruch 2, wobei der Ersetzungsschritt (16) in Übereinstimmung mit dem Ergebnis der Beurteilung die Farbe jedes Pixels durch ein Element der Farbtabelle ersetzt, das die Farbdifferenz in Bezug auf die Farbe des zu ersetzenden Pixels minimiert.

4. Verfahren zur Verarbeitung von Bildern nach Anspruch 2, wobei der Integrationsschritt (13) nebeneinanderliegende Pixel nach der Ersetzung integriert, wenn die Farben von Pixeln, die in einem Originalbild positionsmäßig nebeneinander liegen, in Bereichen enthalten sind, die in dem diskretisierten Farbraum nebeneinander liegen.

5. Verfahren zum Verarbeiten von Bildern nach einem der Ansprüche 2 bis 4, wobei das Verfahren ferner aufweist: einen Kreationsschritt zum Bilden einer weiteren Farbtabelle durch Extrahieren von Elementen der Farbtabelle, die den diskretisierten Farbraum repräsentieren und notwendig sind, um das Endbild wiederzugeben, nach Beendigung der Verarbeitung eines Bildes durch den Ersetzungsschritt (16) und den Integrationsschritt (18).

6. Verfahren zum Verarbeiten von Bildern nach einem der vorstehenden Ansprüche, wobei das Verfahren ferner aufweist:

einen Erkennungsschritt (34) zum Erkennen, bei Beendigung der Verarbeitung eines Bildes durch den Ersetzungsschritt (16) und den Integrationsschritt (18), der Bedeutung jedes integrierten Gebiets in Übereinstimmung mit der Geschichte der Integration.

7. Bildübertragungssystem mit

einem Transmitter (30) zum Übertragen von Bilddaten und einem Empfänger (32) zum Empfang der Bilddaten, die von dem Transmitter (30) übertragen wurden, wobei sowohl der Transmitter (30) als auch der Empfänger (32) vor der Übertragung des Bildes von Bilddaten eine erste Farbtabelle gemeinsam halten,

wobei der Transmitter Beurteilungsmittel (14) aufweist zum Beurteilen einer Annäherung zwischen einer Farbe jedes Pixels, die ein zu verarbeitendes Bild bilden, und Elementen der ersten Farbtabelle,

Ersetzungsmittel (16) zum Ersetzen der Farbe jedes Pixels durch ein Element der ersten Farbtabelle in Übereinstimmung mit dem Ergebnis der Beurteilung,

dadurch gekennzeichnet, daß der Transmitter (30) ferner ein Integrationsmittel (18) aufweist zum Integrieren, nach der Ersetzung, einer Anzahl von Pixeln in Übereinstimmung mit ihrer Farbe zu Gebieten zum Vergeben einer einzelnen Elementfarbe an die Anzahl von Pixeln, und ein Kreationsmittel (36) zum Extrahieren einer zweiten Farbtabelle einschließlich der Elemente der ersten Farbtabelle, die zum Wiedergeben eines Endbildes nach der Verarbeitung des Bildes durch den Ersetzungsschritt (16) und den Integrationsschritt (18) erforderlich sind, und wobei der Empfänger (32) Speichermittel (44) aufweist zum Speichern der zweiten Farbtabelle, die durch den Transmitter übertragen wird.

8. Bildübertragungssystem nach Anspruch 7, wobei der Transmitter (30) ferner aufweist:

Erkennungsmittel (34) zum Erkennen, nach der Beendigung der Verarbeitung eines Bildes durch den Ersetzungsschritt (16) und den Integrationsschritt (18), der Bedeutung jedes integrierten Gebietes in Übereinstimmung mit der Geschichte der Integration, und

Entscheidungsmittel (34) zum Entscheiden über eine Anzahl von Malen, in der Daten für das Gebiet übertragen werden, abhängig von der gespeicherten Bedeutung, wobei der Empfänger (32) weiterhin aufweist:

Reproduktionsmittel (46) zum Kombinieren von Daten für jedes Gebiet, das durch den Transmitter (30) übertragen wird, um ein Bild zu reproduzieren.