-
Die
Erfindung betrifft ein Bildverarbeitungssystem. Insbesondere betrifft
die Erfindung ein Bildverarbeitungssystem zum Bearbeiten von Vordergrundbilddaten,
die Pixel darstellen, welche zusammen einen Vordergrundgegenstand
vor einem Farbtonuntergrund bilden, und von Hintergrundbilddaten, die
Pixel darstellen, welche zusammen ein Bild eines Hintergrundes bilden.
-
Es
sind Bildverarbeitungssysteme bekannt, um Daten, die ein zusammengesetztes
Bild darstellen, aus Daten zu erzeugen, die ein Bild eines Vordergrundgegenstandes
vor einem Matt- oder
einem Farbtonuntergrund darstellen, und aus Daten, die ein Bild
eines Hintergrundes darstellen. Zum Beispiel beschreibt die Europäische Patentanmeldung EP-A-171829
ein System zum Kombinieren von Daten, die zwei solche Bilder darstellen,
in welchen Systemen Daten, die einen Farbbereich festlegen, verwendet
werden, um die Daten zu identifizieren, die dem Farbtonuntergrund
entsprechen, und um diese Daten Pixel für Pixel durch die Daten zu
ersetzen, die das Hintergrundbild darstellen, um die Daten zu erzeugen,
die das zusammengesetzte Bild darstellen.
-
Es
gibt verschiedene Probleme, die mit derartigen Systemen verknüpft sind.
Das Bild des Vordergrundgegenstandes und des Matthintergrunds wird
normalerweise durch eine Kamera in einem Studio mit dem Vordergrundgegenstand
(gewöhnlich eine
Person) vor einem Mattschirm aufgenommen. Der Mattschirm sollte
von einer gleichmäßigen Farbe sein
(gewöhnlich
gesättigtes
Blau), aber oft ist er es nicht, zum Beispiel wegen eines ungleichmäßig angestrichenen
und/oder beleuchteten Schirms. Der Vordergrundgegenstand kann Farben
oder Farbkomponenten enthalten, die mit der Farbe des Matthintergrunds übereinstimmen,
zum Beispiel wegen der Kleidung, welche die Person trägt, oder
weil das Licht von dem Mattschirm reflektiert oder auf andere Weise
auf den Vordergrundgegenstand gestreut wird. Der Vordergrundgegenstand
kann schwache Grenzliniendetails, zum Beispiel abste hende Haare,
enthalten, die keinen starken Kontrast zum Matthintergrund ergeben
und die während
der Herstellung des zusammengesetzten Bildes durch das Hintergrundbild ersetzt
werden.
-
Die
Erfindung hat zum Ziel, die oben ausgewiesenen und zugehörige Probleme
zu überwinden oder
zumindest zu verringern.
-
Entsprechend
einem Gesichtspunkt der Erfindung wird ein Bildverarbeitungssystem
bereitgestellt, in dem: Vordergrundbilddaten bearbeitet werden,
die Pixel darstellen, welche zusammen ein Bild eines Vordergrundgegenstandes
vor einem Farbtonuntergrund bilden, um erste bearbeitete Vordergrunddaten
zu erzeugen, die Pixel darstellen, welche zusammen ein farbkorrigiertes
Bild des Vordergrundgegenstandes vor dem Farbtonuntergrund bilden, sowie
zweite bearbeitete Vordergrunddaten zu erzeugen, die Pixel darstellen,
welche zusammen ein Bild des Vordergrundgegenstandes vor einem Leerhintergrund
bilden; die ersten und zweiten bearbeiteten Vordergrunddaten gesteuert
durch erste Steuerdaten kombiniert werden, die Pixel darstellen,
welche zusammen ein erstes Steuerbild bilden, um kombinierte Vordergrunddaten
zu erzeugen, die Pixel darstellen, welche zusammen ein Bild des
farbkorrigierten Vordergrundgegenstandes vor dem Leerhintergrund
bilden; Hintergrundbilddaten, die Pixel darstellen, welche zusammen
ein Bild eines Hintergrundes bilden, gesteuert durch zweite Steuerdaten,
welche Pixel darstellen, die zusammen ein zweites Steuerbild bilden,
bearbeitet werden, um bearbeitete Hintergrundbilddaten herzustellen,
die Pixel darstellen, welche zusammen ein Bild des Hintergrunds
mit einem oder mehreren Leeranteilen in Bereichen bilden, die in
der Lage denen des Vordergrundgegenstandes in dem Bild entsprechen,
das durch die Vordergrundbilddaten dargestellt wird; und die kombinierten
Vordergrunddaten und die bearbeiteten Hintergrunddaten zueinander
addiert werden, um Daten zu erzeugen, die Pixel darstellen, welche
zusammen ein Bild des farbkorrigierten Vordergrundgegenstandes vor dem
Hintergrund bilden.
-
Das
obige und weitere Merkmale der Erfindung werden ausführlich in
den angefügten
Ansprüchen
dargelegt und werden zusammen mit ihren Vorzügen deutlicher bei einer Betrachtung
der folgenden ausführlichen
Beschreibung eines Ausführungsbeispiels
der Erfindung, das mit Bezug auf die beigefügten Zeichnungen gegeben ist.
-
In
den Zeichnungen ist:
-
1 eine
schematische Darstellung eines Bildverarbeitungssystems;
-
2 eine
schematische Darstellung des Bildverarbeitungssystems, konfiguriert
für kombinierte
Daten, die ein Vordergrundbild darstellen, mit Daten, die ein Hintergrundbild
darstellen;
-
3 eine
Veranschaulichung verschiedener Bilder, die durch Daten im System
von 2 dargestellt werden;
-
4 eine
schematische Darstellung eines Farbwürfel-Schaltkreises;
-
5 eine
schematische Darstellung eines Farbwürfels im Farbraum; und
-
6 eine
schematische Darstellung der Farbkonvertermatrix.
-
Mit
Bezug auf 1 der beigefügten Zeichnungen umfasst ein
Bildverarbeitungssystem, das durchgängig mit 1 gekennzeichnet
wird, einen Bildspeicher 2 zum Speichern von Daten, die
ein oder mehr Bilder darstellen, einen Anzeige- und Steuerungsprozessor 3 und
einen Bildschirm 4. Die Inhalte des Bildspeichers 2 werden
kontinuierlich in einer Rasterabfolge über einen seriellen Anschluss
durch den Anzeigeprozessor 3 gelesen, und die so gerasterten
Daten werden durch den Anzeigeprozessor 3 zur Anzeige des
durch sie dargestellten Bildes auf dem Bildschirm 4 ausgegeben.
-
Daten,
die ein Bild darstellen, können
in den Bildspeicher 2 von einer Quelle 5 her eingegeben werden,
die zum Beispiel ein anderer Bildspeicher, ein Rahmenspeicher mit
wahlweisem Zugriff, wie z.B. in der Britischen Patentanmeldung Nr. GB-A-2273584
und der entsprechenden US-Patentanmeldung Nr. 08/162,645 beschrieben,
ein Videobandrekorder, eine Kamera usw. sein kann. Alternativ oder
zusätzlich
können
Daten in dem Bildspeicher 2 durch einen Zeichnungsprozessor 6 als
Antwort auf die Benutzerbetätigung
einer vom Benutzer bedienbaren Stift/Berührungstablettvorrichtung 7 erzeugt werden.
Der Anzeige- und Steuerungsprozessor 3 und der Zeichnungsprozessor 6 sind
als getrennte Einheiten dargestellt, um das Verständnis durch
Vereinfachen der folgenden Erläuterung
zu erleichtern. In der Praxis können
die beiden Prozessoren 3, 6 als eine einzige Prozesseinheit
bereitgestellt werden.
-
Der
Anzeige- und Steuerungsprozessor 3 ist eingerichtet, ein
Options-Menü (nicht
dargestellt) anzuzeigen, durch das der Benutzer Parameter auswählen und
variieren kann, die durch das System bei der Bearbeitung der Bilddaten
verwendet werden. Das Menü kann
solche Optionen einschließen,
wie eine Farbpalette und einen Satz von Zeichenwerkzeugen, aus denen
der Benutzer beim „Malen" auswählen kann,
eine Video-Zeitzeile, aus welcher der Benutzer einzelne Videorahmen
zur Bearbeitung auswählen
kann, und einen Satz von Wertboxen, durch die der Benutzer Werte
festlegen kann, die bei der Bearbeitung der Bilddaten zu verwenden
sind.
-
Der
Zeichnungsprozessor 6 ist eingerichtet, die Bilddaten im
Speicher 2 und folglich das durch sie dargestellte Bild
als Antwort auf eine Benutzerbetätigung
der Stift/Berührungstablettvorrichtung 7 zu
modifizieren. Wird der Stift über
das Berührungstablett hinweg
gezogen, dann werden Signale an den Anzeigeprozessor 3 und
einen Zeichnungsprozessor 6 ausgegeben, welche die momentane
Lage X, Y des Stifts kennzeichnen.
-
Der
Zeichnungsprozessor 6 wandelt die X-,Y-Daten vom Berührungstablett
in x-,y-Daten um, die Korrekturbereiche von Speicheradressen im Speicher 2 festlegen.
Jeder Adressenkorrekturbereich ist über dem Ort im Speicher zentriert,
welcher der zugehörigen
X-,Y-Position entspricht, die durch das Berührungstablett erzeugt wird.
-
Der
Stift der Stift/Berührungstablettvorrichtung 7 enthält auch
einen Drucksensor, der ein druckabhängiges Signal zur Verwendung
als ein Parameter durch den Anzeigeprozessor 3 und den
Zeichnungsprozessor 6 ausgibt. Moderne Stift/Berührungstablettvorrichtungen
sind auch in der Lage, Daten zu erzeugen, welche die Orientierung
(Drehung) sowie den Winkel des Stifts mit Bezug auf das Berührungstablett
festlegen. Diese Parameter können
ebenso gut wie oder anstelle der Druckdaten im Stiftregister für die Nutzung
durch die Prozessoren verwendet werden.
-
In
dem System 1 werden fiktive Zeichenwerkzeuge und Farben
vorgegeben, die durch den Benutzer aus dem Optionsmenü (nicht
dargestellt), welches durch den Anzeigeprozessor 3 erzeugt
und auf dem Bildschirm 4 angezeigt wird, ausgewählt werden
können.
Wählt der
Benutzer ein angezeigtes Werkzeug und eine Farbe aus, dann werden
die Daten, die eine kontinuierliches dreidimensionales Gebilde festlegen,
welches einen Pixel-Korrekturbereich überdeckt und das Profil des
Werkzeugs darstellt, sowie die Daten, welche die ausgewählte Farbe
darstellen, durch den Zeichnungsprozessor 6 zusammen mit
den Positions- und Druckdaten aus der Stift/Berührungstablettvorrichtung verwendet,
um das „Malen" zu simulieren, wie
es zum Beispiel in der Britischen Patentschrift Nr. 2089625 und
der entsprechenden US-Patentschrift Nr. 4514818 beschrieben ist.
-
Das
System 1 kann verwendet werden, um unbewegte Bilder zu
bearbeiten oder um bewegte Bilder Rahmen für Rahmen zu bearbeiten. Das
System kann auch verwendet werden, um zwei Bilder (entweder bewegt
oder unbewegt) zu kombinieren, von denen ein Bild einen Vordergrundgegenstand
vor einem Matt- oder
Farbton-) Untergrund (d.h. einem Untergrund von weitgehend gleichmäßiger Farbe) und
das andere Bild einen Hintergrund umfasst, um den Matthintergrund
zu ersetzen. 2 der beigefügten Zeichnungen zeigt das
System 1, das entsprechend konfiguriert ist, um Daten zu
kombinieren, die zwei derartige Bilder darstellen, um ein zusammengesetztes
Bild zu erzeugen.
-
Mit
Bezug auf 2 umfasst das System 11, wenn
es wie dort dargestellt konfiguriert ist, eine Vordergrund- und
Farbtonuntergrund-Bilddatenquelle 12 (nachfolgend „Vordergrundquelle") und eine Hintergrund-Bilddatenquelle 13 (nachfolgend „Hintergrundquelle"). Die Vordergrund-
und Hintergrundquellen 12, 13 können die
in 1 gezeigte einzelne Quelle 5 sein, oder
sie können
eine Kombination von zum Beispiel Bildspeichern, Videobandrekordern,
Kameras usw. sein.
-
Wie
in 3 gezeigt ist, stellen die Daten F aus der Vordergrundquelle 12 ein
Vordergrundbild 14 dar, das zwei Bildkomponenten umfasst,
nämlich
den Vordergrundgegenstand FG (zum Beispiel den Kopf einer Person)
und ein Farbton- oder
Mattuntergrund CB, d.h. F = FG + CB. Im Folgenden wird angenommen,
dass der Farbtonuntergrund gesättigt
blau ist, weil das eine Farbe ist, die gewöhnlich verwendet wird. Es sollte
angemerkt werden, das andere Farben, wie z.B. grün, als die Farbtonfarbe verwendet werden
können,
und dass das System natürlich
nicht auf den Einsatz eines blauen Untergrundes beschränkt ist.
Die Daten aus der Hintergrundquelle stellen ein Bild 15 eines
Hintergrundes B dar, vor welchem der Vordergrundgegenstand FG anzuordnen ist.
-
Wieder
mit Bezug auf 2 umfasst das System 11 auch
einen Untergrundfarbspeicher 16, der Farbdaten speichert,
welche die Farbe C des Farbtonuntergrundes CB darstellen. Der Untergrundfarbspeicher 16 kann
Daten C enthalten, die eine einzige Farbe, einen Farbbereich oder
sogar ein Steuerbild darstellen, das auf einer pixelweisen Basis
die Daten festlegt, die den Mattuntergrundpixeln CB in den Daten
aus der Vordergrundquelle 12 entsprechen. Im Interesse
einer Vereinfachung der folgenden Erläuterung wird angenommen, dass
die Daten C im Untergrundfarbspeicher 16 eine einzige Farbe darstellen,
weil für
Fachleute mit einschlägiger
Erfahrung bei einer Durchsicht der oben zitierten EP-A-171892 leicht
einzuschätzen
ist, wie das System 11 modifiziert werden kann, um Daten
aufzunehmen, die einen Farbbereich oder ein Farbbild festlegen.
-
Zum
Beispiel können
Farbdaten zur Speicherung im Farbspeicher durch Auswahl eines Pixels aus
dem Bild des Farbtonuntergrundes CB ausgewählt werden, das die Farbe des
Untergrundes darstellt. Diese Auswahl kann zum Beispiel durch Anzeige
des Bildes, das durch die Daten in der Vordergrundquelle 12 dargestellt
wird, auf dem Bildschirm 14 und durch anschließendes Handhaben
der Stift/Berührungstablettvorrichtung 7 erfolgen,
um den Cursor (nicht dargestellt) über dem Repräsentativpixel
anzuordnen, wodurch das Pixel ausgewählt wird.
-
Die
Daten aus der Vordergrundquelle 12 werden in einen Überlappungs-
und Farbkorrektor 17 eingegeben, der benutzergesteuert
eine Korrektur der Farbüberlappung
im Vordergrundbild 14 bewirkt. Farbüberlappung kann zum Bei spiel
während
des Aufnahme des Bildes 14 auftreten, zum Beispiel wegen
einer Lichtreflexion vom Farbtonuntergrund CB auf den Vordergrundgegenstand
FG, durch den Linsen-Reflexionsfleck
im Inneren der Kamera oder durch das „Ausbleichen" des Films während der
Entwicklung. Im Ergebnis können
die Daten, die den Vordergrundgegenstand FG darstellen, eine blaue
Komponente oder eine „Überlappung" vom Farbtonuntergrund
her enthalten.
-
Wie
in 3 dargestellt ist, kann der Vordergrundgegenstand
FG in dem Bild 14 zum Beispiel der Kopf 18 einer
Person sein. Es wird angenommen, dass die Person (nicht dargestellte)
Haare einschließlich
einiger abstehender Haare 19 hat. Der Kopf 18 kann
ein blaues Überlappungsgebiet 20 enthalten,
und wenn die Haare der Person von heller Farbe, z.B. blond, sind,
können
sie auch eine blaue Überlappungskomponente
enthalten. Blondes Haar wird hier lediglich als ein Beispiel für ein schwaches Detail
angeführt,
das in einem groben Austastprozess. verloren gehen kann. Ähnliche
Probleme treten auf bei beliebigen Merkmalen schwacher Details, einschließlich z.B.
der Takelage in einem großen Schiff
oder bei einem Spinnennetz. Probleme treten auch auf mit halbdurchsichtigen
Gegenständen,
wie z.B. Blasen, den Flügeln
einer Fliege oder einem Seidengewebe.
-
Der Überlappungs-
und Farbkorrektor 17 führt
zwei Funktionen aus. Erstens beseitigt der Korrektor 17 unter
Verwendung der Farbdaten C im Untergrundspeicher 16 die
Blauüberlappung
aus den Vordergrunddaten FG, wobei er den Blaugehalt der Farbtonuntergrunddaten
CB unverändert
lässt.
Zweitens gleicht der Korrektor 17 den Farbgehalt der Bilddaten
aus, um die Veränderungen
in diesen Daten zu kompensieren, die beim Beseitigen der Blauüberlappung
in dem dadurch dargestellten Bild erzeugt wurden. Diese zweiteilige
Korrektur ist nötig,
um das Erzeugen von Daten zu vermeiden, die den Vordergrundgegenstand
mit einem zu geringen Blaugehalt darstellen. Zum Beispiel bleibt
nach dem Beseitigen von Blau aus dem blonden Haar das Haar grau
aussehend zurück.
Auch deshalb wird der Farbgehalt der Daten angepasst (zum Beispiel
durch Verändern
des Rot- und Grüngehalts
der Bilddaten für
ein Verändern der
Farbe des ergrauten Haars zum Gelb hin), so dass die Farbe des Haars
der Person näher
zum ursprünglichen
Blond gebracht wird. Der Überlappungs-
und Farbkorrektor 17 wird nachfolgend ausführlicher
beschrieben.
-
Die
Daten aus dem Überlappungs-
und Farbkorrektor 17 werden in einen Farbkorrektor 22 eingegeben,
der den Benutzer des Systems in die Lage versetzt, wunschgemäß weitere
Korrekturen an den Daten F auszuführen, welche das Gesamtbild 14 darstellen,
um so Daten F' zu
erzeugen, die ein überlappungs-
und farbkorrigiertes Bild des Vordergrundgegenstandes und des Farbtonuntergrundes
darstellen.
-
Die
auf diesem Wege erzeugten Daten F' stellen den Vordergrundgegenstand weitgehend
in der richtigen Farbe dar, d.h. mit einer aus ihm entfernten Blauüberlappung.
Die schwachen Details, wie z.B. die abstehenden Haare 19,
können
jedoch verloren gehen oder zum Teil vom Farbuntergrund verdeckt
werden. Solche schwachen Details werden durch getrenntes Bearbeiten
der Daten aus der Vordergrundquelle 12 auf eine andersartige
Weise wiederhergestellt, wie nun dargelegt wird.
-
Die
Daten aus der Vordergrundquelle 12 und die Daten C aus
dem Untergrundfarbspeicher 16 werden auch in einen Subtraktor 23 eingegeben,
der auf einem von zwei Wegen, die von dem gewünschten Ergebnis abhängen, die
Untergrundfarbe C aus allen Vordergrunddaten F subtrahiert. Gewöhnlich subtrahiert
der Subtraktor 23 einfach den Farbwert C von den Werten
der Pixel, die durch die Vordergrunddaten F dargestellt werden.
Arbeitet der Subtraktor auf diese Weise, dann liefert ein Subtrahieren
der Farbdaten von den Pixeldaten, welche zum Farbtonhintergrund
CB gehören,
Pixeldaten mit einem Nullwert, d.h. Daten, die wegen C = CB zur
Farbe Schwarz gehören.
Das Subtrahieren der Farbdaten C von den Pixeldaten, die zum Vordergrundgegenstand
FG gehören,
erzeugt Pixeldaten, die einen falschfarbigen Vordergrundgegenstand
FG'' darstellen.
-
Die
Daten F'' aus dem Subtraktor 23 werden in
einen Farbkorrektor 24 eingegeben, der normalerweise die
Pixelwerte, welche durch die Daten F'' dargestellt
werden, mit einem Faktor multipliziert, welcher die Werte vergrößert. Die
Wirkung des Konverters 24 besteht darin, die Pixel schwarz
zu lassen, die zum Untergrund CB gehören (weil der Wert dieser Pixel
bei Null liegt), und die Farben der Pixel im falsch kolorierten
Vordergrund FG'' zu steigern. Somit
dient der Farbkorrektor 24, wenn er auf diese Weise betrieben
wird, einer Erhöhung
der Intensität
des Vordergrundgegenstandes, d.h. des Kopfes 18 und der
abstehenden Haare 19, wie in 3 dargestellt
ist.
-
Der
Farbkorrektor 24 kann auch die Farbe des Vordergrundgegenstandes
FG'' anpassen, um das
Beseitigen der blauen Komponente zu kompensieren. Wird wieder blondes
Haar betrachtet, dann können
die Rot- und Grünkomponenten
angepasst werden, um das ursprünglich
blonde Haar, das zu grauem Haar geworden ist, wieder zu einer gelben Farbe
hin zu verändern,
welche näher
bei dem ursprünglichen
Blond liegt. Somit wird mit dem auf diese Weise arbeitenden Subtraktor
der Abdunkelungseffekt beim Subtrahieren des Blau aus beispielsweise den
blonden Haaren kompensiert, so dass die blonden Haare nicht gegen
einen dunklen Hintergrund verloren gehen.
-
Es
gibt jedoch Umstände,
unter denen es nicht wünschenswert
ist, diesen Arbeitsgang auszuführen.
Betrachtet man zum Beispiel in der Realität eine Person mit blondem Haar
gegen einen hellen Himmel, dann kompensiert das Auge des Be trachters
automatisch den Kontrast zwischen Himmel und Haar, und im Ergebnis
erscheint das Haar dunkler als der Himmel. Ein Bild, in dem blondes
Haar heller ist als ein heller Hintergrund erscheint künstlich,
weil es nicht so ist, wie die Szene in der Realität gesehen würde. Der
Subtraktor 23 kann deshalb eingestellt werden, einen Wert
zu subtrahieren, der geringer ist als der Wert der Farbdaten C aus
den Werten der Pixel in den Vordergrundbilddaten.
-
Im
digitalen Fernsehen wird die Farbe Schwarz nicht durch den Wert
Null, sondern stattdessen durch den Wert 16 oder kleiner
dargestellt. Der Subtraktor 23 ist eingerichtet, von den
Vordergrunddaten F einen Farbwert zu subtrahieren, der jedes Pixel,
das dem Farbtonuntergrund CB in den Daten F'' entspricht,
bei einem Wert lässt,
der kleiner als oder gleich ein vorgegebener Wert ist. Mit anderen
Worten wird der Wert der Daten bis zu einem Sockelpegel hin vergrößert, welcher
dem vorgegebenen Wert entspricht. Es wurde gefunden, dass akzeptable
Ergebnisse erzielt werden, wenn der vorgegebene Wert, d.h. der Sockelwert,
gleich 32 gewählt
wird. Mit dem auf diese Weise arbeitenden Subtraktor 23 ist
der Farbkorrektor 24 eingerichtet, die Pixeldaten aus dem
Subtraktor 23 wie oben beschrieben zu multiplizieren und
dann ein Offset zu subtrahieren, das den Wert der Pixel, die dem
Farbtonuntergrund entsprechen, zurück herunter auf 16 oder
weniger bringt. Das hat zum Ergebnis, dass blonde Haare gedunkelt werden,
so dass der gewünschte
Kontrast gegen einen hellen Hintergrund erreicht werden kann. Fleischfarbtöne können durch
den Farbkorrektor 24 angepasst werden, indem z.B. die Magenta-Komponente
der Bilddaten F'' variiert wird.
-
Die überlappungs-
und farbkorrigierten Bilddaten F' und
die farbkorrigierten falsch kolorierten Bilddaten F'' werden zusammen mit Austastdaten K1, die durch einen Austastgenerator 26 erzeugt
werden, in einen Kombinator 25 einge geben. Die Austastdaten
K1 stellen ein Steuerbild 28 dar,
das zwischen Pixeldaten des Vordergrundes FG und Pixeldaten des Farbtonuntergrundes
CB in den Bilddaten F aus der Vordergrundquelle 12 unterscheidet,
wie in 3 dargestellt ist.
-
Die
Erzeugung solcher Austastdaten ist gut bekannt und wird hier nicht
ausführlich
beschrieben. Es genügt
zu sagen, dass die Austastdaten K1 durch den
Austastgenerator 26 erzeugt werden, der die Farbe eines
jeden Pixels überprüft und den
Pixeln von einer blauen Farbe, die dem Blau des Farbtonuntergrundes
entspricht, einen Wert Null und den Pixeln anderer Farbe einen Wert
von Eins zuweist. Diese Vorgehensweise erzeugt zwei unterschiedliche
Bereiche in dem Austaster, einen mit dem Wert Null und einen anderen
mit dem Wert Eins mit einem scharfen Rand zwischen den beiden Bereichen.
Wie gut bekannt ist, kann der Rand zwischen den Bereichen „aufgeweicht" werden, indem den
Pixeln in der Nähe des
scharfen Randes Werte zwischen Null und Eins zugewiesen werden,
so dass sich ein allmählicher Übergang
zwischen den Bereichen ergibt.
-
Somit
erzeugt der Austastgenerator 26 Austastdaten K1,
welche ein Steuerbild 28 festlegen, das einen Bereich 29 bestimmt,
welcher dem Kopf 18, jedoch ausschließlich der abstehenden Haare 19,
des Vordergrundbildes 14 entspricht, wie es in 3 dargestellt
ist. Die Austastdaten K1 werden in den Kombinator 25 eingegeben,
wo sie verwendet werden, selektiv die Daten des überlappungskorrigierten Vordergrundbildes
F' mit den Daten
des falsch kolorierten Bildes F'' zu kombinieren,
um Vordergrundbilddaten F''' zu erzeugen.
-
Wie
aus 2 ersichtlich ist, umfasst der Kombinator 25 einen
ersten Multiplikator 30, der das Signal F' mit den Austastdaten
K1 multipliziert, und einen zweiten Multiplikator 31,
der das Signal F'' mit den aus den
Austastdaten K1 abgeleiteten (1 – K1) multipliziert. Ein Addierer 32 addiert
die derart gewichteten Signale von den Multiplikatoren 30, 31,
um die Vordergrundbilddaten F''' als eine gewichtete Aufsummation der
Vordergrundbilddaten F' und
F'' zu erzeugen. Somit
erzeugt der Kombinator 25 das Signal F''' entsprechend der
Gleichung F''' =
K1 F' +
(1 – K1) F''. (1)
-
Das
Steuerbild 28, das durch die Austastdaten K1 festgelegt
ist, weist einen Wert Null außerhalb des
Bereiches 29 und einen Wert Eins innerhalb des Bereiches
auf. Die Steuerdaten (1 – K1) stellen das Umgekehrte dar, d.h. (1 – K1) hat einen Wert Eins außerhalb des Bereiches 29 und
einen Wert Null innerhalb. Wird der „weiche" Übergang
am Rand des Bereiches 29 vernachlässigt, dann bewirkt der Kombinator 25,
dass die überlappungskorrigierten
Daten, die dem Kopf 18 entsprechen, zu den farbkorrigierten Daten,
die den abstehenden Haaren 19 entsprechen, mit einem schwarzen
Hintergrund zusammengefügt werden.
Somit stellen die Daten F''', die vom Kombinator 25 ausgegeben
werden, den Vordergrundgegenstand, d.h. den Kopf 18 und
die abstehenden Haare 19, gegen einen schwarzen Hintergrund
dar.
-
Die
Hintergrunddaten B aus der Hintergrundquelle 13 werden
in einen Farbkorrektor 35 eingegeben, der wahlweise den
Benutzer in die Lage versetzt, die Farbe des Hintergrundbildes,
das durch die Hintergrunddaten B dargestellt wird, zu korrigieren. Es
kann zum Beispiel wünschenswert
sein, die Farbe des Hintergrundes so anzupassen, dass sich der Gegenstand
des Hintergrundes vom Vordergrundgegenstand besser abhebt. Ein zweiter
Austastgenerator 36 ist eingerichtet, zweite Austastdaten
K2 zu erzeugen, die durch einen Hintergrund-Cutter 37 verwendet
werden, ein „Loch" in das Bild, das
durch die Hintergrunddaten B dargestellt wird, zu schneiden. Gewissermaßen reagiert
der Hintergrund-Cutter 37 auf
die Austastdaten K2 durch Ausgabe von unver änderten
Daten für
Pixel in einigen Bereichen und durch Ausgabe von Daten in anderen
Bereichen (d.h. dem „Loch"), wo die Daten gleich
Null gesetzt werden, d.h. die Farbe Schwarz darstellen.
-
3 der
beigefügten
Zeichnungen zeigt ein zweites Steuerbild 38, das durch
die zweiten Austastdaten K2 dargestellt
wird. Das Steuerbild 38 kann identisch dem Steuerbild 28 sein. 3 zeigt
auch ein beispielhaftes Hintergrundbild 39. In dem Fall,
wo die beiden Steuerbilder 28 und 38 die gleichen
sind, werden die beiden Austastungen K1 und
K2 die gleichen sein und der Hintergrund-Cutter 37 wird
auf die Austastung K2 reagieren, indem er
modifizierte Hintergrunddaten B' erzeugt,
die das Hintergrundbild 39 mit einem (durch die gestrichelte
Linie 40 dargestellten) Loch im Hintergrundbild darstellen,
das identisch zu dem Bereich 29 im Kontrollbild 28 ist.
-
Dieses
Vorgehen kann jedoch zu unerwünschten
Artefakten führen,
die zwischen dem Vordergrund und dem Hintergrund erzeugt werden, wenn
die Vordergrund- und Hintergrunddaten kombiniert werden. Zum Beispiel
kann eine schwarze Linie an der Grenze zwischen dem Vordergrund
und dem Hintergrund sichtbar werden. Offensichtlich ist das unerwünscht. Um
solche unerwünschten
Artefakte zu vermeiden, kann der Austastgenerator 36 eingerichtet
werden, die Austastdaten K2 so zu erzeugen, dass
sie ein Loch 40 festlegen, das innerhalb des Vordergrundgegenstandes,
d.h. des Kopfes 18, liegt. Wie in 3 dargestellt
ist, legt das Steuerbild 39, das durch das Austastsignal
K2 dargestellt wird, einen Bereich 42 fest,
welcher innerhalb einer Grenzlinie 43 liegt, entsprechend
der gestrichelten Linie 40 im Hintergrundbild 39 und
dem Bereich 29 im ersten Kontrollbild 28.
-
Ein
Weg, auf dem die Austastdaten K2 erzeugt
werden können,
ist das Bearbeiten der Austastdaten K1,
um das durch sie dargestellte Steuerbild entweder positiv oder negativ
zu „entwickeln", wie es in unserer
Britischen Patentanmeldung Nr. GB-A-2260673 und der entsprechenden
US-Patentanmeldung Nr. 07/961,291 dargestellt ist. Ein anderer Weg,
auf dem die Austastdaten K2 erzeugt werden
können,
besteht in einer Bearbeitung der Vordergrunddaten F durch den Generator 36 unter
Verwendung unterschiedlicher Parameter, um die Grenze zwischen dem
Vordergrund FG und dem Farbtonhintergrund CB nachzuweisen.
-
Die
modifizierten Hintergrund-plus-Loch-Bilddaten B' und die neuen Vordergrunddaten F''' werden
in einen Addierer 44 eingegeben, wo die Daten addiert werden,
um Daten FB zu erzeugen, die den Vordergrundgegenstand vor dem Hintergrund
darstellen. Diese Daten FB werden zusammen mit den Hintergrunddaten
in einen Kombinator 45 eingegeben, wo die Daten in Abhängigkeit von
einer Austastung K3, die durch einen dritten
Austastgenerator 46 erzeugt wird, kombiniert werden.
-
Wie
bereits erwähnt
wurde, weisen die Matthintergründe
nicht immer eine gleichmäßige Färbung auf.
Folglich müssen
die schwarzen Flächen
in dem neuen Vordergrundbild, das durch die neuen Vordergrunddaten
F''' dargestellt wird, nicht exakt Schwarz entsprechen.
Das heißt,
die Daten können
ein Rauschen enthalten, was sich in einigen Teilen des ursprünglichen
Matt auswirkt, indem es in dem Schwarz durchscheint, welches das
Matt ersetzt haben sollte. Werden die Daten F''' und B' durch den Addierer 44 einfach
zueinander addiert, dann enthält das
Bild, das durch die entstehenden Daten dargestellt wird, Anteile
des Matt, das durch den Hintergrund durchscheint. Der Austastgenerator 46 und
der Kombinator 45 ermöglichen
es, zusammen dieses Problem zu überwinden.
-
Wie
in 2 dargestellt ist, ist der Austastgenerator 46 angeschlossen,
um die Vordergrunddaten F aus der Vordergrundquelle 12 zu
empfangen und daraus ein drittes Austast signal K3 zu
erzeugen. Der Austastgenerator 46 kann eingerichtet sein,
die Austastdaten K3 auf eine ähnliche
Weise zu erzeugen, wie es bereits mit Bezug auf die Austastgeneratoren 26 und 36 beschrieben
wurde. Der Austastgenerator 46 kann auch die Austastdaten
K3 erzeugen, indem er Pixel in den Vordergrunddaten
F, die dem Vordergrundgegenstand FG bzw. dem Farbtonuntergrund CB
entsprechen, identifiziert, eine Austastung davon erzeugt und dann
eine „Unschärfe"- oder „Steigerungs"-Funktion auf die
erzeugte Austastung anwendet, um Daten zu erzeugen, die als das
Austastsignal K3 ein verschwommenes Steuerbild,
wie z.B. das in 3 dargestellte Bild 48,
darstellen. Es kann eine beliebige der gut bekannten und weithin verfügbaren Unschärfefunktionen
verwendet werden.
-
Zusätzlich zur
Unschärfeerzeugung
des Steuerbildes kann der Austastgenerator 46 ein sogenanntes
HICON-Filter umfassen, das einen starken Kontrast im Steuerbild
erzeugt. Ein HICON-Filter bewirkt ein Absenken aller Signalwerte
unter einem ersten ausgewählten
Wert bis auf Null herunter und ein Anheben aller Signalwerte über einem
zweiten ausgewählten
Wert auf Eins hinauf. Je näher
die beiden ausgewählten
Werte zueinander liegen, umso stärker wird
der Kontrast sein, umso schärfer
wird aber auch der Übergang
zwischen Bereichen im Steuerbild sein. Umgekehrt, je weiter die
beiden ausgewählten Werte
voneinander weg liegen, umso geringer wird der Kontrast und umso
weicher der Übergang
sein. Durch Bereitstellen einer Benutzersteuerung für die ausgewählten Werte
wird der Benutzer so in die Lage versetzt, zu beurteilen, wie die
Austastung durch den HICON-Filter
am besten zu erzeugen ist. Eine andere Alternative würde sein,
dem Benutzer zu erlauben, als die Austastung K3 ein
Steuerbild unter Verwendung der oben erwähnten „Mal"-Funktionen
des Systems zu erzeugen.
-
Die
auf beliebige Weise erzeugten Austastdaten K3 legen
ein Gebiet 49 fest, das den gesamten Vordergrundgegenstand
FG einschließlich
der abstehenden Haare 19 enthält. Die Austastdaten K3 veranlassen den Kombinator, den farbkorrigierten
Hintergrund B' aus
dem Hintergrund-Cutter 37 mit dem addierten Signal FB aus
dem Addierer 44 zu kombinieren, um ein Ergebnis R gemäß der Gleichung R = K3 B' + (1 – K3) FB (2)zu
erzeugen. Aus den obigen Gleichungen (1) und (2) wird ersichtlich,
dass der Kombinator 45 die gleiche innere Struktur wie
der Kombinator 25 aufweist.
-
Wie
in 3 gezeigt ist, stellen die Ergebnisdaten R ein
Bild 50 dar, das den Kopf der Person 18 mit abstehenden
Haaren 19 vor dem Hintergrund 38 umfasst. Dieses
Ergebnis wird erreicht, weil für
Werte K3 = 1, d.h. außerhalb des Gebietes 49,
die Ausgabedaten R dem farbkorrigierten Hintergrund B' entsprechen und
weil für
Werte K3 = 0, d.h. innerhalb des Gebietes 49,
die Ausgabedaten R dem addierten Signal FB entsprechen, welches
den Vordergrundgegenstand FG'' (d.h. den Kopf 18 mit
den abstehenden Haaren 19) und den Hintergrund B' mit Farbtonuntergrundrauschen
darstellt. Wenn der Farbtonuntergrund in der Nähe des Vordergrundgegenstandes eine
ungleiche Farbe aufweist (d.h., die Farbe ist unrein oder die Daten
sind rauschbehaftet), dann sollte die Grenze des Gebietes 49 so
nahe wie möglich
am Vordergrundgegenstand liegen, wenn aber der Farbtonuntergrund
in der Nähe
des Vordergrundgegenstandes eine annehmbar gleichmäßige Farbe
aufweist, dann muss die Grenze des Gebietes nicht so nahe daran
sein. Natürlich
wird die Gleichmäßigkeit des
Untergrundes in der Nähe
des Vordergrundgegenstandes die vom Benutzer getroffene Auswahl des
Verfahrens, durch welches das Austastsignal K3 erzeugt
oder durch den Austastgenerator 46 hergestellt wird, beeinflussen.
-
Der Überlappungs-
und Farbkorrektor 17, und zwar ein beliebiger oder alle
Farbkorrektoren 22, 24 und 35, kann eine benutzerkonfigurierbare
Nachschlagetabelle enthalten, die eingerichtet ist, einen sogenannten
Farbwürfel
festzulegen, so wie er in der Britischen Patentschrift Nr. GB-A-1369702
beschrieben ist.
-
Wie
in der 4 der beigefügten
Zeichnungen dargestellt ist, enthält ein Farbwürfelschaltkreis 51 ganz
allgemein eine Nachschlagetabelle 52 und einen Interpolator 53.
Wie in 4 dargestellt ist, wird eine ausgegebene R'G'B'-Farbe aus eingegebenen
RGB-Komponenten abgeleitet. Jede Komponente wird durch eine Acht-Bit-Binärzahl dargestellt.
Die vier signifikantesten Bits (Bits 4–7) einer jeden RGB-Farbkomponente
werden in die Nachschlagetabelle 52 eingegeben. Da nur
die vier signifikantesten Bits der RGB-Farbkomponentendaten verwendet werden,
ist die Festlegung der Farbe relativ grob. Die Nachschlagetabelle
ist deshalb eingerichtet, zwei Werte für jede R'G'B'-Farbkomponente auszugeben, wobei
die beiden Werte jeder Komponente einen Farbbereich festlegen, in
welchem die gewünschte Farbe
liegt. Die zwei Werte für
jede R'G'B'-Farbkomponente werden durch die Symbole
R+ und R–,
G+ und G–,
B+ und B– in 4 dargestellt,
und zwischen diesen legen sie die Ecken eines Würfels im R'G'B'-Farbraum fest.
-
5 der
beigefügten
Zeichnungen zeigt einen Würfel 54 im
R'G'B'-Farbraum, der Ecken bei Koordinatenlagen
aufweist, die durch Werte R+ und R–, G+ und G–, B+ und
B– festgelegt
sind. Die tatsächliche Farbe,
die durch die eingegebenen RGB-Farbdaten festgelegt ist, liegt bei
einem Punkt P irgendwo innerhalb des Würfels 54, und die
genauen Koordinaten des Punktes können durch Interpolieren zwischen den
Werten R+ und R–,
G+ und G–,
B+ und B– bestimmt werden,
wobei die Werte in den Interpolator 53 eingegeben werden.
Die vier am wenigsten signifikanten Bits (Bits 0–3) der RGB-Farbkomponentendaten werden auch in
den Interpolator 53 eingegeben und dort dazu verwendet,
um Interpolations-Wichtungsfaktoren
zu berechnen, welche auf die Werte R+ und R–,
G+ und G–,
B+ und B– angewendet
werden, um die genauen Werte von R' G' und
B' zu finden, welche
die Farbe am Punkt P darstellen. Eine ausführlichere Beschreibung des
Farbwürfelschaltkreises
kann in GB-A-1369702 gefunden werden.
-
Wie
in
5 dargestellt ist, können einige oder alle Korrektoren
17,
22,
24,
35 eine
Matrix
60 von Nachschlagetabellen
61 bis
69 umfassen,
welche zusammen die eingegebenen Farbsignalkomponenten RGB in korrigierte
Ausgabefarbsignalkomponenten R'G'B' umwandeln. In
5 sind zwar RGB-Format-Signale
dargestellt, es können
aber auch andere Formate, wie z.B. Cyan, Magenta und Gelb (und Schwarz)
CMY(K) oder Chrominanz und Luminanz YUV, in dem System verwendet
werden, und die Matrix
60 würde dementsprechend konstruiert
werden. Jede der Nachschlagetabellen
61 bis
69 legt
eine betreffende Übertragungsfunktion
fest, deren Form einfach dadurch verändert werden kann, dass in
die Nachschlagetabellen
61 bis
69 unterschiedliche
Werte eingelesen werden. In der Europäischen Patentanmeldung, die
unter EP-A-245943 veröffentlicht
wurde, und der entsprechenden US-Patentschrift
Nr.
US 4829455 wird
die Konstruktion einer Matrix, die ähnlich zu der in
5 dargestellten ist,
offengelegt.
-
Parameter,
die zum Erzeugen der Daten für die
Farbwürfel-Nachschlagetabelle
oder die Farbmatrix-Nachschlagetabelle verwendet werden, werden über eine
auf dem Bildschirm 4 (siehe 1) wiedergegebenes
Optionsmenü (nicht
dargestellt) eingegeben. In Reaktion auf das Betätigen einer Stift/Berührungstablettvorrichtung 7 verwendet
der Anzeige- und
Steuerungsprozessor 3 solche Parameter, wie z.B. maximale,
minimale oder fixierte Werte der Farbkomponenten Rot, Grün und Blau,
Farbänderungs- und
Farbdifferenzwerte, wie sie durch den Benutzer ausgewählt wurden,
zum Berechnen der Nachschlagetabelle. Auf diesem Wege wird die Benutzersteuerung
der Korrekturen ausgeführt.
-
Die
verschiedenen Korrektoren 17, 22, 24, 35 im
System 11 sind begrifflich getrennt und werden durch unterschiedliche
Einheiten in 2 dargestellt. In der Praxis
können
die Korrektoren 17, 22, 24, 35 in einer
einzigen Korrektureinheit bereitgestellt werden, die in der Lage
ist, alle benötigten
Korrekturfunktionen auszuführen.
In einer solchen Einheit würden
die geeigneten Funktionen für
die geforderte Korrektur wählbar
sein. Auf gleiche Weise können
die verschiedenen begrifflich getrennten Austastgeneratoren 26, 36, 46 durch
eine einzige Austasterzeugungseinheit bereitgestellt werden. Die
Wahl einer einzigen Einheit oder verschiedener getrennter Einheiten
erfolgt nach Bedarf und hat keine Beziehung zur Erfindung an sich.
-
Nachdem
die vorliegende Erfindung mit Bezug auf eine bevorzugte Ausführungsform
beschrieben wurde, ist es gut verständlich, dass die in Betracht
kommende Ausführungsform
nur exemplarisch ist und dass Modifikationen sowie Abänderungen ausgeführt werden
können,
wie sie denen einfallen, die über
einschlägige
Kenntnisse und Fertigkeiten verfügen,
ohne den Geltungsbereich der Erfindung zu verlassen, wie er in den
angefügten
Ansprüchen dargelegt
ist.