DE3854753T2 - Einrichtung und Verfahren zur Farbbildverbesserung. - Google Patents
Einrichtung und Verfahren zur Farbbildverbesserung.Info
- Publication number
- DE3854753T2 DE3854753T2 DE3854753T DE3854753T DE3854753T2 DE 3854753 T2 DE3854753 T2 DE 3854753T2 DE 3854753 T DE3854753 T DE 3854753T DE 3854753 T DE3854753 T DE 3854753T DE 3854753 T2 DE3854753 T2 DE 3854753T2
- Authority
- DE
- Germany
- Prior art keywords
- image
- values
- luminance
- saturation
- hue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012546 transfer Methods 0.000 claims abstract description 25
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 9
- 238000004040 coloring Methods 0.000 claims description 5
- 241001270131 Agaricus moelleri Species 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 235000019646 color tone Nutrition 0.000 claims 2
- 239000011159 matrix material Substances 0.000 claims 2
- 239000003086 colorant Substances 0.000 abstract description 16
- 230000033001 locomotion Effects 0.000 abstract description 13
- 235000019557 luminance Nutrition 0.000 description 25
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- OSUHJPCHFDQAIT-UHFFFAOYSA-N ethyl 2-{4-[(6-chloroquinoxalin-2-yl)oxy]phenoxy}propanoate Chemical compound C1=CC(OC(C)C(=O)OCC)=CC=C1OC1=CN=C(C=C(Cl)C=C2)C2=N1 OSUHJPCHFDQAIT-UHFFFAOYSA-N 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/36—Scanning of motion picture films, e.g. for telecine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/11—Scanning of colour motion picture films, e.g. for telecine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Ink Jet Recording Methods And Recording Media Thereof (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Color Television Image Signal Generators (AREA)
- Silicon Compounds (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Of Color Television Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
- Die vorliegende Erfindung betrifft ein Verfahren zur Farbverstärkung eines Bildes und auch ein System zum Durchführen dieses Verfahren.
- In strikten mathematischen Ausdrücken ist das Bild, das auf Schwarz-Weiß-Filmen erzeugt wird, eindimensional (Helligkeit), während die Originalszene als dreidimensional angesehen werden kann (bei Benutzung des HLS-Modells der Farbe, wobei der Farbton die Leuchtdichte und die Sättigung die Dimensionen sind). Die chemische Reaktion der Filmemulsion und die Kameramechanismen und Filter reduzieren im wesentlichen die dreidimensionale Information zu einer Dimension durch eine komplizierte Abbildung und löschen für immer die ursprüngliche Farbton-, Leuchtdichte-, Sättigungs- Information aus.
- Bemerkung: Es sollte betont werden, daß Leuchtdichte und Helligkeit nicht dasselbe sind. Dies liegt daran, daß die Helligkeit eines Schwarz-Weiß-Bildes aus einer komplizierten Interaktion der drei Elemente des HLS-Systems stammt. Es besteht lediglich eine statistische Korrelation zwischen Helligkeit und Leuchtdichte, sie sind jedoch nicht identisch.
- Farbe ist sowohl eine absolute Eigenschaft des Lichts (ihre Wellenlänge oder Frequenz) als auch eine relative Qualität, die vom menschlichen Wahrnehmer abhängt. Aus diesem Grund sind verschiedene "Farbtonleitern" vorgeschlagen worden, die es ermöglichen, wahrgenommene Farben zu quantifizieren. Unter diesen Modellen befindet sich die CIE- Chromatizitätsskala, die eine Quantifizierung der Farbe durch die Kombination sog. Primärausdrücke (die selbst für den menschlichen Beobachter nicht sichtbar sind) erlaubt. (Siehe Foley & VanDam, Fundamentals of Interactive Computer Graphics, Addison Wesley, Reading, MA 1984, Seiten 606-608.) Zusätzlich zu theoretischen Modellen der Farbe (CIE-Chromatizität, Farbton-Leuchtdichte-Sättigung und Rot-Grün-Blau) gibt es viele Repräsentationssysteme für die Farbwiedergabe in verschiedenen Medien, wie z.B. das RGB-System für Kathodenstrahlröhren, das Verfahrensfarbsystem zum Drucken und die NTSC-, PAL- und SECAM-Systeme für das Fernsehen. Jedes dieser Modelle ist in der Tat eine relativ kleine Teilmenge sowohl hinsichtlich des theoretischen absoluten Bereichs der Farben als auch hinsichtlich des tatsächlichen Bereichs menschlich wahrgenommener Farben.
- Eines der theoretischen Modelle (Ostwald, W., Colour Science, Winsor & Winson, London, 1931), das für die Analyse von Farben besonders hilfreich ist, ist das HLS- Modell von Farbton, Leuchtdichte und Sättigung. Dieses Modell nutzt einen dreidimensionalen zylindrischen Raum (der absolute theoretische Farbraum), innerhalb dessen sich ein Raum befindet, der durch ein Kegelpaar mit gemeinsamen Basen begrenzt wird (der Wahrnehmungsraum). Die Zylinderachse (vom Hochpunkt des einen zum Hochpunkt des anderen Kegels) ist die Leuchtdichteachse, wobei der untere Hochpunkt die Leuchtdichte 0 (alles schwarz) und der Hochpunkt des oberen Kegels die Leuchtdichte 1 (alles weiß) ist. Der Abstand von der Leuchtdichteachse (senkrecht zu der Achse) bestimmt die Sättigung (das Verhältnis einer Farbe, die aus ihren Komplementärfarben zusammengesetzt ist), wobei die Achse der Sättigung 0 entspricht (gleiche Anteile der Primärfarbe und ihres Komplements und deshalb keine Farbe) und die Oberfläche des Kegels maximale Sättigung bei gegebener Leuchtdichte darstellt. Schließlich stellt die angulare Verschiebung um die Leuchtdichteachse den Farbton dar, wie bei einem herkömmlichen Farbrad, wobei Komplementärfarben durch 180 Grad voneinander getrennt sind.
- Der feste Raum, der durch das HLS-Kegelmodell definiert wird, ist an seinem oberen und unteren Ende spitz zulaufend, um die Tatsache darzustellen, daß, wenn die Farben schwarzer oder weißer werden, sie von der Wahrnehmung her Farbton verlieren. Sättigung ist eine Charakteristik, die hauptsächlich von der Enge oder Reinheit des Wellenlängenbandes abhängt, das eine Farbe umfaßt. Am exakten Mittelpunkt des Raumes befindet sich ein mittleres Grau, das eine mittlere Emittierung und Reflektierung für alle Wellenlängen des Lichts darstellt.
- Das RGB-System wird beispielsweise in CRT-Anzeigen eingesetzt, wo jede der drei Elektronenkanonen (rot, grün und blau) direkt durch ein Signal gesteuert wird, das seine entsprechende Intensität anzeigt. Eine HLS-Farbe kann in die RGB-Darstellung umgewandelt werden (siehe Foley & VanDam, Seiten 648-9), wobei es viele HLS-Kombinationen gibt, die "abgeschnitten" werden müssen, um in RGB dargestellt zu werden. Dasselbe gilt für das NTSC-Fernsehen (auch als YIQ bekannt), das einen noch beschränkteren Bereich aufweist als RGB. Deshalb kann nicht jede Farbe der "realen Welt" durch Videosysteme reproduziert werden, die entweder RGB- oder NTSC-Standards verwenden. Gemäß Foley & VanDam "entspricht weder das V in HSV (Farbton, Sättigung, Wert) noch das L in HLS der Leuchtdichte im YIQ-Modell, so daß zwei verschiedene Farben, die im jeweiligen Raum definiert sind, leicht dieselbe Leuchtdichte haben können und deshalb ununterscheidbar auf dem Schwarz-Weiß-Fernsehen oder Videoband sind" (Foley & VanDam, Seite 618).
- Ungefähr seit 1970 sind verschiedene Techniken entwickelt worden für das Hinzufügen von Farben zu monochromatischen Bildern. Oft nutzen diese Techniken Videotechnologie, um das Videosignal in definierter Weise zu ergänzen, typischerweise durch Hinzufügen eines Chrominanzkomponentensignals zu dem bereits vorher existierenden Leuchtdichtesignal. Diese Technik resultiert in einer Erscheinung, die der von Thomas Edison nicht unähnlich ist, die er erreichte bei seinen frühen Anstrengungen, Farbtönungen zu Schwarz-Weiß- Filmen hinzuzufügen, indem er die Rahmen bemalte: ein farbiges Gebiet über einem Schwarz-Weiß-Bild. Alle diese Systeme leiden, da sie sich auf Videotechnologie verlassen, an einem Mangel an Lebendigkeit der Farben und an der Unfähigkeit, Farben genauer zu reproduzieren.
- Aus dem Dokument "Journal of the Society of Motion Picture and Television", Vol. 93, No. 7, Juli 1984, SCARS- DALE USA, Seiten 632-635; Wilson Markle: "The Development and Application of Colorization" ist es bekannt, einen Dubner Graphics Computer zur Kolorierung von Schwarz-Weiß-Filmen zu verwenden. Dieser Artikel beschreibt das Verfahren des Kolorierens von Schwarz-Weiß-Filmen im allgemeinen und beschreibt dann kurz die Verwendung der Dubner Graphics beim Durchführen des Verfahrens. Aus diesem Artikel kann man jedoch keine Vorschläge für die Anwendung einer Farbe, die das HLS-System verwendet, welches sich auf die ursprünglichen Grauskalenwerte bezieht, ableiten. Dieses bekannte Verfahren basiert auf dem "Überlagerungsprinzip" des Filmkolorierens.
- Aus der Druckschrift US-A-4189743 ist ein Pseudokolorierungsverfahren bekannt. Die Pseudofarbe ist die Dekkanwendung einer einzigen Farbe auf einen Bereich von Grauskalenwerten eines darunterliegenden Bildes. Man sieht dies oft bei medizinischen Bilddarstellungen. Darüber hinaus resultiert das bekannte Pseudokolorierungsverfahren in Bildern, die wie Comics aussehen, die nicht mit tatsächlichen Photographien verglichen werden können. Comics weisen einen homogenen Anblick für Farben auf, wohingegen tatsächliche Bilder Variationen hinsichtlich Farbton und Sättigung aufweisen. Darüber hinaus erscheinen pseudokolorierte Arbeiten nicht realistisch.
- Es ist deshalb Aufgabe der vorliegenden Erfindung, ein Verfahren und ein System zur Farbverstärkung einer Reihe von Bildrahmen zu schaffen, die eine verbesserte Bildqualität aufweisen und die darüber hinaus einen Bediener in die Lage versetzen, leicht und schneller die Verstärkungsoperation durchzuführen.
- Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit der Kombination der Schritte a) bis e) des Anspruchs 1 gelöst.
- Ein System zum Durchführen des erfinderischen Verfahrens ist in Anspruch 16 beschrieben.
- Weitere vorteilhafte Ausführungsformen der Erfindung resultieren aus den Unteransprüchen.
- Fig. 1 zeigt in schematischer Form die Herstellung zweier benachbarter Rahmen graphischer Information gemäß dem erfindungsgemäßen Verfahren.
- Fig. 2 zeigt eine schematische Darstellung eines Teiles der Bildspeicherstruktur gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
- Fig. 3 zeigt die Replizierung eines Regionsspeicherteils der Bildspeicherstruktur der vorliegenden Erfindung.
- Fig. 4 zeigt die Korrektur eines gespeicherten Wertes in dem replizierten Regionsspeicherteil von Fig. 3.
- Fig. 5 zeigt die Anwendung des HLS-Farbmodells auf die Kolorierung eines Datenfeldes von Bildelementen, die in der Bildspeicherstruktur der Fig. 2 bis 4 gespeichert sind.
- Fig. 6 zeigt eine schematische Darstellung der "Histogramm-Dia"-Operation gemäß dem erfindungsgemäßen Verfahren.
- Fig. 7 zeigt eine schematische Darstellung der "Histogramm-Multiplikation unten"-Operation gemäß dem erfindungsgemäßen Verfahren.
- Fig. 8 zeigt eine schematische Darstellung der "Histogramm-Multiplikation oben"-Operation gemäß dem erfindungsgemäßen Verfahren.
- Fig. 9 zeigt eine schematische Darstellung der "Farbbiege"-Operation gemäß dem erfindungsgemäßen Verfahren.
- Der zu kolorierende oder farbzuverstärkende Film wird als erstes digital aufgenommen bei einer vorherbestimmten Auflösung. In Fällen, wo das Endprodukt auf einem konventionellen Videoband plaziert wird, werden geeignete Auflösungen gewählt (z.B. NTSC = 525 Zeilen, PAL = 640, HDTV = 1125-1500). Wenn das Endprodukt für theatrische Präsentationen verwendet wird, werden Auflösungen von 1024 Zeilen oder mehr verwendet. Das Digitalisierungsverfahren (in Fig. 1 gezeigt) umfaßt die Projektion jeden Rahmens des Originalfilms (typischerweise schwarz-weiß) durch eine Flüssigtoranordnung, die Kratzer und andere Fehler maskiert. Der projizierte Rahmen wird vermittels einer Videokamera, wie einer Saticonröhre, eingefangen und das Videosignal digitalisiert und in einem RAM (Random Access Memoroy) Rahmenpuffer gespeichert. Der Digitalisierungsprozeß ermöglicht die Anpassung der Intensität des Lichts, das auf den Film fällt, um den besten Kontrast für den speziellen Rahmen, der digitalisiert wird (Gamma-Korrektur) zu errechnen. Nach Erwerben eines Rahmens wird die digitale Darstellung des Rahmens in einem nichtflüchtigen Speicher zur Weiterverarbeitung gespeichert. Das Digitalisierungsverfahren wird auf einer Rahmen-für-Rahmen-Basis wiederholt, wobei jeder Rahmen mit einer Zeit- und Sequenzangabe (SMPTE-Zeitcode) markiert wird.
- Für jede Szene (Folge von Rahmen) wird ein Rahmen ausgewählt, der repräsentativ für die Mehrheit der Elemente, die in der Sequenz anwesend sind, ist. Dieser "Schlüsselrahmen" wird als Modell für die Verstärkung anderer Rahmen innerhalb der Szenensequenz verwendet. Aus diesem Grund wird größte Sorgfalt für die Verarbeitung von Schlüsselrahmen angewandt.
- Nachdem Schlüsselrahmen farbverstärkt und definiert sind, werden sie mit den übrigen Rahmen, die eine Szene umfassen, an eine Workstation weitergegeben, wo die Regionen, die die Anwendung der Farbe definieren, von einem zum anderen Rahmen weiterverfolgt werden. Nachdem jeder Rahmen verstärkt worden ist, wird er auf einem nichtflüchtigen Speicher erneut abgespeichert und zu einem zentralen Speicher geschickt, wo alle verstärkten Szenen schließlich wieder zusammengesetzt werden gemäß ihrer ursprünglichen Sequenz als eine Endproduktfilmaufnahme.
- Die erste Aufgabe des Schlüsselrahmenkoloristen besteht darin, die Gebiete des Bildes zu identifizieren, die Objekte umfassen, die als von ähnlichem Farbton bestimmt werden. Verschiedene Softwarewerkzeuge stehen dem Koloristen zur Verfügung, um ihm bei diesem computerinteraktiven Definierungsprozeß zu helfen.
- Ein "Freie Hand"-Modus erlaubt das Zeichnen und Löschen sowie die Kontrolle über Cursor variabler Größe. Eine Zeigeeinrichtung kontrolliert einen interaktiven Cursor, der auf einem Bildschirm gezeigt ist, der die Schlüsselrahmen, die verarbeitet werden sollen, überlagert. Die Bewegung der Zeigeeinrichtung bewirkt eine analoge Bewegung des Cursors und die durch diese Bewegung ausgewählten Bildelemente (die auf der Graphikebene, die als "Maskenebene" bekannt ist, angezeigt werden) werden dazu verwendet, um die Kanten eines Gebiets zu definieren. Da die Cursorgröße zu nur einem Bildpunkt reduziert werden kann, besteht das kleinste Gebiet, das reproduziert werden kann, auch aus einem Bildpunkt.
- Ein zweites Zeichenwerkzeug, das dem Koloristen zur Verfügung steht, ist eines, welches Polygone definiert, anstatt völlig freihand gezeichneter Formen. Unter Verwendung der Zeigevorrichtung kann der Kolorist die genaue Plazierung der Eckpunkte angeben, die den Umfang einer polygonalen Fläche definieren sollen. Jeder Scheitelpunkt kann zugeordnet oder entfernt werden und, wenn vollständig, können die Scheitelpunkte vervollständigt werden, um einen geschlossenen Pfad zu definieren.
- Nach dem Definieren eines geschlossenen Umfangs durch eine Freihand- oder Polygonmethode kann die eingeschlossene Fläche einem Gebiet (durch Setzen der Bits in der Maskenebene) zugeordnet werden unter Verwendung von einem von zwei Füllalgorithmen. Ein "Flächen-Füll" ordnet alle Bildelemente innerhalb der geschlossenen Form und bis zu den definierten Kanten dem Gebiet zu. Ein "Comics-Füll" kombiniert die definierten Kanten mit dem Kantenerkennungsalgorithmus um ein Gebiet zu füllen, das durch eine Grenzlinie, wie z.B. Linien eines schwarzen Stiftes, was typisch für Comics ist, begrenzt ist. Der Comics-Füllmodus füllt bis zu solchen dicken Grenzlinien oder etwas darüber hinaus auf.
- Nachdem die Gebiete für alle Objekte mit gemeinsamem Farbton definiert worden sind, besteht der letzte Schritt in der Auswahl und Anwendung eines vorgegebenen Farbtons auf das Gebiet. Farben können interaktiv ausgewählt werden, indem man auf ein Farbrad zeigt, das auf einem Videoschirm angezeigt ist und dann im Manipulieren der Kontrollanzeigen auf dem Videoschirm, die eine Verfeinerung der Grauskaleninformation für das Gebiet, wie es unten beschrieben wird, erlauben. Nach der Auswahl kann die Farbe durch ihre Anwendung auf die Gebiete (die gemeinsam als Farbmasken bekannt sind) angezeigt werden. Nachdem eine Farbmaske definiert worden ist, werden die damit assoziierten Bildelemente als "Regionen" identifiziert, wobei die Maskenebene geräumt wird und zusätzliche Masken in ähnlicher Weise definiert werden, eine für jeden Farbton, der in dem Rahmen angezeigt werden wird.
- Wenn alle Regionen definiert sind, werden die Regionen, die zugrundeliegenden Rahmen und die Farben, die jeder Region zugeordnet sind, zur späteren Wiedergewinnung durch Koloristen gespeichert, die das Verfahren wieder durchlaufen werden, unter Verwendung aufeinanderfolgender Rahmen jeder Szene und des Schlüsselrahmens, der definiert worden ist.
- Das Verfahren des Extrapolierens der Farbverstärkung von Schlüsselbildern zu ganzen Szenen wird durch die Identifizierung und Verfolgung von Bewegung, wie auch dem Erscheinen oder Verschwinden von Objekten durchgeführt. Im allgemeinen wechseln weniger als 5% der Bildelemente in einem Rahmen einer Szene in dem darauffolgenden Rahmen. Da Bewegungsbilder bzw. Filme mit 24 Rahmen pro Sekunden gefilmt werden, sind die Inkremente der Bewegung auf allen bis auf die sehr schnell bewegenden Objekte sehr gering und können leicht verfolgt werden. Nachdem eine Bewegung identifiziert worden ist, ist eine Anpassung der Regionen und Anwendung der vordefinierten Farben der Schlüsselrahmen zu diesen Regionen alles, was nötig ist.
- Implizit in allen Rahmen-zu-Rahmen-Verfolgungen ist die Fähigkeit, vordefinierte Teile des vorhergehenden oder Regionsspeicherinhalts des Schlüsselrahmens zu kopieren und diese Teile bei dem Verarbeiten aufeinanderfolgender Rahmen zu nutzen. Nach dem Kopieren können kleine Anpassungen zu einem neuen Regionsspeicherinhalt gemacht werden und sie können mit dem neuen Rahmen gespeichert werden. Da, was wichtig ist, der Digitalisierungsprozeß eine Konsistenz der Helligkeit und Graustufen sicherstellt, und da Farben durch einen Kunstdirektor, der mit Schlüsselrahmen arbeitet, vordefiniert sind, ist eine Gesamtkonsistenz von Rahmen zu Rahmen und Szene zu Szene sichergestellt.
- Die einfachste Form des Verfolgens von Rahmen zu Rahmen ist da, wo Bewegung in dem Rahmen erkennbar ist, nur als das Resultat eines Kameranachführens. In solchen Fällen kann der gesamte Regionsspeicher von dem des vorhergehenden Rahmens kopiert werden und in die Richtung des Nachschwenkens "verschoben" werden. Eine derartige Verschiebung erzeugt ein undefiniertes Gebiet an dem Ende, das der Bewegung entgegengesetzt ist. Dieses Gebiet muß dann zu der existierenden Region hinzugefügt werden, um vollständig Farbe hinzuzufügen.
- Wenn nur einige der Objekte eines Rahmens sich bewegen, kann ein korrespondierender Anteil des Regionsspeichers auch verschoben werden. Bei dieser Operation wird der Teil des Regionsspeichers, der verschoben werden soll, durch den Bediener bezeichnet und von Hand zu seiner neuen Position verschoben, wobei der ursprüngliche Inhalt des Regionsspeichers an der neuen Stelle überschrieben wird. Die alte Position muß dann neu definiert werden und/oder zu einer oder mehreren vorher existierenden Regionen hinzugefügt werden, um Farbe hinzuzufügen.
- Bei hochkomplexen Szenen, wo verschiedene Typen von Bewegung präsent sind (vor allem zusammengesetzte Bewegung von Subjekt und Kamera), wird eine "Differenzierungs"- Prozedur verwendet. Ein Rahmen, für den Gebiete definiert worden sind und zu dem Farbe hinzugefügt worden ist, wird von dem darauffolgenden Rahmen subtrahiert, um die Bildelemente, die sich geändert haben, zu zeigen (in Grauskalenwerten). Diese Gebiete des Unterschieds werden dann als eine kontrastierende Überlagerung auf dem darauffolgenden Rahmen, der verarbeitet werden soll, angezeigt. Wahlweise kann ein Algorithmus zur Kantenerkennung in Grauskalenbildern verwendet werden und mit dem Regionsspeicher des vorherigen Rahmens korreliert werden. Wahrgenommene Unterschiede können dann dazu führen, daß die Regionen aufeinanderfolgender Rahmen angepaßt oder gelöscht werden, sofern dies erforderlich ist. Indem man die Koinzidenz dieser Überlagerung und die Regionsstruktur, die von dem vorhergehenden Rahmen dupliziert worden ist, überprüft, ist der Produktionskolorist in der Lage, Gebiete schnell zu bezeichnen, die zu der Regionsstruktur hinzugefügt werden sollten und solche, die von einer gegebenen Region entfernt und neu zugeordnet werden müssen.
- Die endgültige Operation besteht darin, sicherzustellen, daß keine Objekte entweder vollständig auf dem Rahmen erschienen oder von diesem verschwunden sind. Wenn ein Objekt verschwindet, so muß seine Region entfernt werden. In ähnlicher Weise müssen neu erscheinende Objekte für sie eine Region "auf dem Flug" definiert haben und auch eine Farbe zugeordnet bekommen. Nachdem die Region für das nächste darauffolgende Bild angepaßt worden ist, speichert der Kolorist wieder das Bild zusammen mit seinem Regionsspeicher und wiederholt das Verfahren für jeden darauffolgenden Rahmen.
- Um Qualitätskontrolle sicherzustellen und eine Sequenz von farbverstärkten Rahmen erneut zu prüfen, werden zwei Modi des Anschauens verwendet, der Cinemodus und der Zyklusmodus. Im Cinemodus werden eine Reihe von Rahmen sequentiell angezeigt, wobei erst in die Vorwärtsrichtung transportiert wird und dann unmittelbar in die Umkehrrichtung. Die Geschwindigkeit kann durch den Bediener kontrolliert werden. Beim Zyklusmodus sind Anzeigerichtung und Geschwindigkeit direkt an die Zeigeeinrichtung gekoppelt, um eine feine Steuerung des Anschauens der Rahmen-zu-Rahmenübergänge zu ermöglichen.
- Das erfindungsgemäße Verfahren ist auf einer für diesen speziellen Zweck zugeschnittenen Version eines RTI- Station-Bildverarbeitungssystems implementiert, die mit einem PC bzw. Personal Computer über ein Interface verbunden ist (wie z.B. der IBM/Personal Computer AT). Das RTI-Bildverarbeitungsuntersystem (verfügbar von Recognition Technology, Inc. aus Holliston, MA) umfaßt einen Videodigitalisierer, einen Pipelinearchitektur-Bildpunktprozessor und Bildspeicher, wobei alle sowohl durch einen Host-Computerbus bzw. einen Gast-Computerbus als auch durch einen Sychronvideobus verbunden sind. Der Videodigitalisierer bekommt seine Eingabe von einer Videokamera der Art, wie oben beschrieben, zum Digitalisieren von Filmrahmen und gibt seine Information an einen High-Definition- bzw. hochdefinierten Farb-CRT (obwohl nicht notwendigerweise an einen, der die Schnittstelle mit konventionellem NTSC-Videoschaltkreisen bildet). Der Host-Computerbus erlaubt es dem Bildverarbeitungsuntersystem, mit dem Benutzer durch die Host-CPU, seinem Speicher, damit verbundenen Massenspeichereinrichtungen und Eingabe/Ausgabeeinrichtungen einschließlich Zeigeeinrichtungen und Tastaturen zu kommunizieren.
- Das Bildverarbeitungsuntersystem der bevorzugten Ausführungsform der vorliegenden Erfindung umfaßt einen Bildspeicher mit 512 x 512 räumlicher Auflösung, 8 Bits Helligkeitsauflösung und 4 Bits für die Regionsidentifizierung. Alternativ kann dasselbe System für eine 6-Bit-Helligkeitsauflösung und 6-Bit-Regionsidentifizierung oder 7-Bit- Helligkeitsauflösung und 5-Bit-Regionsidentifizierung konfiguriert werden (ein zusätzliches Bit ist für die Benutzung durch das System bei der Konstruktion der Maskenbitebene reserviert). Allgemeine Informationen betreffend die Struktur und den Betrieb der RTI-Station und ihre zugehörige Softwarebibliothek (RTILIB) kann in dem RTILIB/500 Tutorial Revision 1.00 und dem RTILIB/500 User Manual Revision A, die durch Recognition Technology, Inc. veröffentlicht werden, gefunden werden.
- Obwohl die zur Zeit verwendete Implementierung eine räumliche Auflösung von 512 Zeilen verwendet, wird der Fachmann erkennen, daß Steigerungen bis zu 2.000 Zeilen räumlicher Auflösung oder darüber hinaus innerhalb des Schutzbereichs der vorliegenden Erfindung liegt. Zusätzlich kann der Bildspeicher Teil eines größeren Rahmenspeichers sein, z.B. 4096 x 4096 x 16 Dits. Die Anzeige von Rahmen kann dann durch einen Speicherzeiger in diesen Rahmenspeicher gesteuert werden.
- Zum Zweck der Farbauswahl ist die Host-CPU mit einem 24 Bit RGB-Videoboard (wie z.B. dem Targa 24, einem Produkt von AT&T Information Systems, Inc.) ausgestattet. Ein Farbrad, welches der üblichen Grundlage des HLS-Kegels entspricht, ist auf einem Bildschirm angezeigt. Unter Verwendung einer Zeigeeinrichtung wählt der Kolorist eine besondere Farbe auf dem Rad aus und definiert dadurch sowohl den Farbton (angulare Position auf dem Farbrad) als auch die Sättigung (Entfernung von der Mitte). Wie genauer unten beschrieben, wird dieser eindeutige 24-Bit-RGB-Wert sofort in den HLS-Koordinatenraum übersetzt, mit der modifzierten Bildgrauskala korreliert und zur Ausgabe auf einem RGB-Bildschirm zurückübersetzt.
- Bezugnehmend auf Fig. 1 bis 4 werden gemäß dem erfindungsgemäßen Verfahren eine Reihe von digitalisierten monochromatischen Bildern in einem RAM bzw. Random Access Memory eines Computers als Feld von Grauskalenwerten gespeichert. Zum Beispiel können 8 Bit Informationen verwendet werden, um jedes Bildelement zu repräsentieren, wodurch eine Gesamtheit von 256 eindeutigen Grauskalenwerten repräsentiert werden können. (Selbstverständlich können mehr Bits verwendet werden, um eine bessere Auflösung und einen dynamischen Bereich für die Grauskaleninformation zu erreichen.) Der Digitalisierungsschritt kann wahlweise die Verwendung von Nachschau- bzw. Look-up-Tabellen umfassen, um den Kontrast zu verstärken, Gamma anzupassen, die Kantendefinitionen zu verstärken oder die Grauskala eines schwachen Bildes zu "dehnen". Mit dem Speicher, der zum Speichern der Grauskalenwerte verwendet wird, ist ein Regionsspeicher verbunden, der dazu verwendet wird, jedes Bildelement eindeutig mit einem aus einer Zahl von Regionen zu identifizieren (als 4-Bit-Speicherstruktur in Fig. 2-5 dargestellt). Zusätzlich zu dem Bildspeicher und den Regionsspeicherstrukturen ist auch ein Maskenebenenspeicher mit dem Bild zur Verwendung bei der Identifizierung von Bildelementen verbunden. Durch herkömmliche Techniken können die Inhalte oder Teile der Inhalte dieser Speicherstrukturen von einer Struktur in eine andere kopiert werden (z.B. von dem Regionsspeicher in den Maskenebenenspeicher) oder von dem Speicher eines Rahmens zu einem anderen (wie in Fig. 3 dargestellt für die Übertragung von Rahmen-1-Regionsspeicher zum Rahmen-2-Regionsspeicher). Die kopierten Inhalte können selbstverständlich durch den Bediener geändert werden, üm sie zugrundeliegenden Rahmeninhalte, wie in Fig. 4 dargestellt, anzupassen.
- Wie in Fig. 5-9 dargestellt, hat der Kolorist zu seiner oder ihrer Verfügung eine Zahl von software-implementierten Werkzeugen, die die Konstruktion der Farbübertragungsfunktion steuern. Für die Berechnungseffizienz wird die Leuchtdichteachse des HLS-zylindrischen Raumes als ein ganzzahliger Bereich von [0.1000] dargestellt (im Gegensatz zu der üblichen Darstellung in Form reeller Zahlen in dem Bereich [0. .1,0]). Die Grauskala eines Rahmens steht linear mit dem ganzzahligen Bereich in Beziehung, wobei per Vordefinition ein Grauskalenwert von 128 einem Leuchtdichtewert von 500 entspricht und jede diskrete Grauskaleneinheit jeder ganzen Zahl von Leuchtdichten entspricht. (Auf die Weise entsprechen 255 Grauskalen per Vordefinition bzw. Default einer Leuchtdichte von 627.)
- Um die Farbübertragungsfunktion, die durch das System konstruiert worden ist, zu beeinflussen, manipuliert der Kolorist die Rahmengrauskaleninformation durch Anwendung von Histogrammtechniken, wie z.B. Verschiebung, Kompression und Dehnung.
- Insbesondere kann für die gesamte Grauskala erreicht werden, daß sie entweder mehr oder weniger leuchtend erscheint durch eine einfache "Verschiebung" der Grauskala (GS) bezüglich der Leuchtdichteskala (Fig. 6). Anstelle der korrespondierenden GS = 128 bis L = 500 kann der Bediener stattdessen wählen, den Rahmen zu erhellen, indem er L = 750 wählt. In ähnlicher Weise kann der Rahmen verdunkelt werden, indem L = 350 gewählt wird. Wie in Fig. 6 dargestellt, wird der Teil der Farbübertragungsfunktion, der in den HLS-Kegelraum fällt, der der Grauskala entspricht, durch diese Verschiebungsoperation gesteuert. In ihren Extremen erzeugt die Operation einen Schwellwert in der Übertragungsfunktion jenseits dessen alle Grauskalenwerte entweder als Weiß (oberhalb des oberen Schwellwerts) oder als Schwarz (unterhalb des unteren Schwellwerts) angezeigt werden. Programmliste 1
- Eine weitere Operation, die dem Koloristen zur Verfügung steht, ist eine ratio- bzw. verhältnismetrische Multiplikation der Grauskala mit einem Wert (in Fig. 7-8 dargestellt). Wenn der Multiplikatorwert ein Bruch kleiner als 1 ist, tritt eine ratiometrische Kompression der Grauskalenwerte ein, die die 256 diskreten Grauskalenwerte mit weniger als 256 ganzzahligen Leuchtdichtewerten in Bezug setzt. Wenn der Multiplikatorwert größer als 1 ist, tritt eine "Dehnung" der Grauskala ein, die in einer Entsprechung der 256 Grauskalenwerte mit einem Leuchtdichtebereich größer als 256 resultiert. Diese Multiplikationen können auch stattfinden, wenn eines der beiden Enden der Grauskala als Fixpunkt verwendet wird, was zu vier Variationen, wie in Fig. 7-8 gezeigt, führt. Programmliste 2
- Bei der Darstellung reflektierten Lichts (das entweder von einer kolorierten Quelle ausgeht, von einer kolorierten Fläche reflektiert wird oder beidem) ist es notwendig, die Farbübertragungsfunktion zu "biegen". Wie in Fig. 9 gezeigt, hat der Kolorist die Option verfügbar, ein Paar "Biegepunkt" für die Funktion festzusetzen, die die Natur und das Ausmaß des Biegens bestimmen. Diese Punkte, die in Fig. 9 dargestellt sind (als Punkte A und B) definieren die Endpunkte des Dreiliniensegmens (0B, BA und A1). Von diesem Segment weisen das erste und letzte jeweils mit ihnen verbundene eindeutige bedienergewählte Werte des Farbtons auf, während das AB-Segment eine Mischung von Farbtönen und Sättigungen darstellt. Die Positionen der Punkte A und B werden durch Vordefinitionen zu 25 und 75% des vorliegenden Grauskalenbereichs gesetzt, wodurch Farbmischungen über die Hälfte der Grauskala geschaffen werden. Die Positionen können jedoch durch den Bediener verändert werden, um die "Rate" des Farbbiegens zu verändern. Programmliste 3
- Als ein Beispiel des Biegens möge man die Auswahl eines 0B-Farbtons als Fleischton und des A1-Farbtons als Orange betrachten (was der Fall sein würde, wenn ein Gesicht durch reflektiertes Licht eines Feuers angesehen würde) Das BA-Segment würde Farbtöne enthalten, die Fleischtöne in den weniger hellen Gebieten sind, jedoch die helleren Gebiete nehmen eine zunehmend orangene Erscheinung an. Es ist klar, daß die Auswahl der Position der Punkte A und B oder der Einfluß zusätzlicher Biegepunkte voll innerhalb des Geistes der Technik liegen.
- Da Regionen so definiert sind, daß sie alle Objekte ähnlichen Farbtons enthalten, enthalten die Regionen einen großen Bereich von Bildelementgrauskalenwerten. Um die Grauskalenwerte in dem endgültigen kolorierten Bild genau darzustellen, muß eine Farbübertragungsfunktion zum Umwandeln der eindimensionalen Grauskala in eine Menge von dreidimensionalen HLS-Werten definiert werden. Von dem Punkt auf dem angezeigten Farbrad, der durch einen Schlüsselrahmenkoloristen ausgewählt worden ist, wird ein Liniensegment ver tikal parallel zu der Achse des zylindrischen HLS-Universums erstreckt. Dieses Zeilensegment erstreckt sich durch die Punkte in dem HLS-Kegel, die die Farben darstellen, die innerhalb der Region angewandt werden sollen und umfaßt die Farbübertragungsfunktion. Zum Beispiel wird ein 8-Bit-Bildelement mit einem Grauskalenwert von 190 auf der Grauskala von Fig. 5 dargestellt. Der entsprechende Punkt auf dem oberen Segment der Farbübertragungsfunktion definiert einen eindeutigen HLS-Wert, der angewandt werden wird, um jene Bildelemente innerhalb der Region zu definieren, die den Grauskalenwert 190 haben. Wenn das Zeilensegment nicht in den HLS-Kegelraum fällt, ist die Darstellung entweder reines Weiß (in der Region oberhalb von L = 0,5) oder reines Schwarz (in der Region unterhalb von L = 0,5). Man erkennt, daß, da die Farbübertragungsfunktion einen Teil der Höhe des HLS-Koordinatenraums durchdringt, Punkte, die in eines der beiden Extreme der Grauskala fallen, entsprechend weniger saturiert sind, wenn sie in Farbe dargestellt werden. Dies führt zu einer sehr viel realistischeren Änzeige der Farben, als bei Systemen, die konstante Sättigung verwenden.
- Spiegelnde Glanzpunkte sind solche Gebiete besonders heller Reflexion, die aufgrund von Effekten auftreten, die auf den Einfallswinkel zurückzuführen sind. Die Produktion farbloser spiegelnder Glanzpunkte kann produziert werden, indem die Histogrammdehntechnik angewandt wird, die oben beschrieben wurde, um hellere Grauskalenwerte außerhalb des HLS-Kegels zu "ziehen", wodurch man sie weiß erscheinen läßt. Das Ausmaß dieses Dehnens steuert die Erscheinung spiegelnder Glanzpunkte.
- Wieder bezugnehmend auf Fig. 9, ist eine schematische Darstellung des Verfahrens gezeigt, durch das sowohl spiegelnde Glanzpunkte als auch die Reflexion kolorierter Lichtquellen erreicht werden kann. Obwohl die menschliche Wahrnehmung in der Tat am besten durch den HLS-Doppelkeqel dargestellt ist, wird die tatsächliche Physik von Farbe und Licht am besten durch einen HLS-Zylinder dargestellt, der die Leuchtdichte als seine Achse und die Sättigung als seinen Radius aufweist. In diesen Zylinder eingeschrieben ist der kegelförmige Wahrnehmungsraum. Dieser Kegelraum definiert die Grenzen der menschlichen Wahrnehmung und die genaue Form und Größe der Kegel variiert von Mensch zu Mensch. (Ein farbenblinder Mensch z.B. weist einen Kegel mit einer "abgeflachten" Seite auf, wohingegen ein Mensch mit Nachblindheit einen stark verkürzten unteren Kegel aufweist.) Durch die Manipulierung der Grauskaleninformation, die ein Bild darstellt, wird die Farbübertragungsfunktion, durch die die Grauskala in Farbton, Leuchtdichte und Sättigung transformiert wird, beeinflußt und eine Vielzahl von Effekten produziert.
- Bild - monochromes oder farbiges Analogbild
- Bildelemente - diskrete Positionen in einem Bild
- Helligkeit - die absolute Menge des Lichts, das durch ein monochromes Bild übertragen wird (abhängig von der einfallenden Lichtintensität)
- Digitales Einfangen eines Bildes - Aufnahme digitaler Daten, die repräsentativ für ein Bild sind und aus denen ein Bild wieder erzeugt werden kann.
- Grauskalenwerte - relative Menge des Lichts, das durch einen Punkt auf einem monochromen Bild übertragen wird (abhängig von der einfallenden Lichtintensität)
- Leuchtdichte - die absolute Menge des Lichts, das von einem Punkt auf einem Farbbild emittiert wird bzw. durch den Punkt übertragen wird
- Farbton - die Spitze oder primäre Wellenlänge, die von einem Punkt auf einem Farbbild emittiert wird oder durch diesen Punkt übertragen wird
- Sättigung - die relative Zahl von Primär- bzw. Grundfarbezu Komplementärpunkten in einem gegebenen Gebiet eines Farbbildes (mehr Grundfarbe = höhere Sättigung)
- Region - eine Datenstruktur im Speicher, die dazu verwendet wird, um eine Gruppe von Bildelementen zu identifizieren, auf die eine definierte Farbübertragungsfunktion angewandt werden soll.
- Maske - eine Datenstruktur (üblicherweise auf einer Graphikebene) in einem Speicher, die dazu verwendet wird, um eine Gruppe von Bildelementen zu identifizieren, die bearbeitet werden sollen, wie z.B. durch deren Einfügen in eine Region.
- Karte - eine Datenstruktur (üblicherweise eine Viel-Bit-Graphikebene) zur Identifizierung einer oder mehrerer Regionen auf einem Bild, wobei jede der Regionen Bildelemente aufweist, die repräsentativ für ein oder mehrere Objekte oder Bildgebiete sind, die die gemeinsame Eigenschaft aufweisen.
- Spiegelnder Glanzpunkt - Region hoher Helligkeit (monochrom) oder hoher Leuchtdichte (Farbe), was durch direkte (Einfallswinkel) Reflexion einer Lichtquelle bewirkt wird.
- Das erfindungsgemäße Verfahren und die Vorrichtung sind bei der Farbverstärkung von achromatischen Bildern nützlich, wie z.B. stehender Photographien, Filmen, Bildern auf Videobändern, telemetrischen Daten und ähnlichem.
Claims (24)
1. Verfahren zur Farbverstärkung eines Bildes mit den
folgenden Schritten:
a) digitales Einfangen des Bildes als eine Reihe von
Bildelementen, die jeweils einen Grauskalenwert aufweisen,
der repräsentativ für ihre Leuchtdichte ist;
b) Definieren einer oder mehrerer Masken, die jeweils eine
oder mehrere geschlossene Regionen von Bildelementen
aufweisen, die repräsentativ für ein oder mehrere
bediener-wahrgenommene Objekte innerhalb des Bildes sind,
die denselben bediener-bestimmten Farbton aufweisen;
c) Definieren einer Farbübertragungsfunktion auf der Basis
des HLS-Modells des Farbtons, der Leuchtdichte und der
Sättigung für jede der Masken, wobei jeder der
Bildelementgrauskalenwerte innerhalb jeder der Masken mit
einer eindeutigen Kombination von Farbton-,
Leuchtdichte- und Sättigungswerten identifiziert wird, mit den
folgenden Schritten:
1. Auswahl eines beliebigen bediener-definierten
Farbtonwertes, der für die Anwendung auf die
Bildelemente bestimmt ist, die jeder der Masken
entsprechen, wobei der Farbtonwert einer Ebene
besonderer angularer Verschiebung um die
Leuchtdichteachse des HLS-Modells entspricht,
2. Auswahl eines Bereichs von Leuchtdichtewerten, die
repräsentativ für die Leuchtdichte der
Bildelemente sind, die jeder der Masken entsprechen, indem
entlang der Leuchtdichteachse ein entsprechendes
Gebiet auf der Ebene erstreckt wird,
3. Auswahl eines Bereichs von Sättigungswerten, die
repräsentativ für die Sättigung der Bildelemente
sind, die jeder der Masken entsprechen, indem ein
entsprechender Bereich von Entfernungen von der
Leuchtdichteachse ausgewählt wird und
4. Konstruktion einer vorherbestimmten
Farbübertragungsfunktion, die den Bereich von
Leuchtdichtewerten zu dem Bereich von Sättigungswerten für
jede der Masken in Beziehung setzt, indem ein
Liniensegment parallel zu der Leuchtdichteachse auf
der Ebene innerhalb der Region und innerhalb des
Bereichs der Abstände erstreckt wird;
d) Anwenden der Farbübertragungsfunktion für jede der
Masken auf die entsprechenden
Bildelementgrauskalenwerte, wodurch eindeutige Kombinationen von Farbton-,
Sättigungs- und Leuchtdichtewerten abgeleitet werden, die
jedem der Grauskalenwerte entsprechen; und
e) Zuordnung der abgeleiteten Farbton-, Sättigungs- und
Leuchtdichtewerte zu den Bildelementen, die jeder der
Masken entsprechen.
2. Verfahren gemäß Anspruch 1, wobei die
Bildelementgrauskalenwerte vor Schritt d) durch Dehnung der Grauskalen
modifiziert werden.
3. Verfahren gemäß Anspruch 1, wobei die
Bildelementgrauskalenwerte vor Schritt d> durch Komprimieren der Grauskalen
modifiziert werden.
4. Verfahren gemäß Anspruch 1, wobei die
Bildelementgrauskalenwerte vor Schritt d) durch Verschieben der Grauskalen
modifiziert werden.
5. Verfahren gemäß Anspruch 1, wobei Schritt a) weiterhin
umfaßt:
Auswahl eines beliebigen ersten Farbtonwertes, der
repräsentativ für einen bediener-bestimmten Farbton des
Objekts ist;
Auswahl eines beliebigen zweiten Farbtonwertes, der
repräsentativ für den bediener-bestimmten Farbton einer
Beleuchtungsquelle ist; und
wobei Schritt d) des weiteren die Konstruktion einer
vorherbestimmten
Farbton-Leuchtdichte-Sättigungsübertragungsfunktion umfaßt, die die Bereiche der Sättigungs- und
Leuchtdichtewerte zu den ersten und zweiten Farbtonwerten in
Beziehung setzt.
6. Verfahren gemäß Anspruch 1, wobei Schritt c) des
weiteren folgende Schritte umfaßt:
a. Auswahl eines Leuchtdichtewertes, der repräsentativ für
die durchschnittliche Leuchtdichte des Bildelements
ist, das der Maske entspricht;
b. Auswahl eines Bereichs von Farbtonwerten, der
repräsentativ für die Farbtöne des Bildelements ist, die der
Maske entsprechen;
c. Auswahl eines Bereichs von Sättigungswerten, die
repräsentativ für die Sättigungen sind, die den Masken
entsprechen;
d. Konstruktion einer vorherbestimmten Farbtonsättigungs-
Übertragungsfunktion, die den Bereich der Farbtonwerte
des Bereichs von Sättigungswerten in Beziehung setzt.
7. Verfahren gemäß Anspruch 1, Schritt b) wobei mindestens
eine der Regionen durch die folgenden Schritte definiert
ist:
a. Auswahl eines oberen und unteren
Grauskalenschwellenwerts, der repräsentativ für die Kante einer
benachbarten Gruppe von Bildelementen ist, die eine
gemeinsame Leuchtdichte aufweisen;
b. Analyse der Bildelemente in einem vorherbestimmten
Gebiet (Pinselspitze) des eingefangenen Bildes, um ihre
mittlere Leuchtdichte zu bestimmen, und
c. Bestimmung der Bildelemente als in der Region
enthalten, wenn die mittlere Helligkeit der Bildelemente
innerhalb des vorbestimmten Gebiets oberhalb des
unteren Schwellwerts oder unterhalb des oberen Schwellwerts
liegt.
8. Verfahren gemäß Anspruch 71 wobei die vorherbestimmte
Fläche (Pinselspitze) eine quadratische Matrix
vorherbestimmter Dimension ist.
9. Verfahren gemäß Anspruch 7, wobei die vorherbestimmte
Fläche (Pinselspitze) eine kreisförmige Matrix
vorherbestimmter Dimension ist.
10. Verfahren gemäß Anspruch 1, wobei wenigstens eine der
Grauskalenregionen dadurch definiert ist, daß von Hand die
Grenzen einer oder mehrerer Flächen bestimmt werden, indem
eine Zeigeeinrichtung zum Erzeugen einer Maske verwendet
wird.
11. Verfahren zur Farbverstärkung einer Reihe von
Bildrahmen, das die folgenden Schritte umfaßt:
a) digitales Einfangen und Speichern jedes Bildrahmens als
eine Reihe von Bildelementen, die jeweils einen
Grauskalenwert aufweisen, der repräsentativ für ihre
Helligkeit ist;
b) interaktive Bestimmung eines der eingefangenen Rahmen
als einen Schlüsselrahmen;
c) Verwendung des Schlüsselrahmens, wobei interaktiv eine
oder mehrere Karten definiert werden, die jeweils ein
oder mehrere geschlossene Gebiete von Bildelementen
umfassen, die repräsentativ für ein oder mehrere
Objekte sind, die bestimmt sind, denselben Farbton zu haben;
d) Definieren einer Farbübertragungsfunktion für
wenigstens eine der Masken, die die
Bildelementgrauskalenwerte mit eindeutigen Kombinationen von Farbton-,
Leuchtdichte- und Sättigungswerten gemäß Anspruch 1
identifiziert;
e) Korrelieren der Bildelementgrauskalenwerte mit der
Farbübertragungsfunktion, wobei dadurch eindeutige
Farbton-, Sättigungs- und Leuchtdichtewerte abgeleitet
werden, die jedem der Grauskalenwerte entsprechen, und
f) Zuordnen der Farbton-, Sättigungs- und
Leuchtdichtewerte zu den Bildelementen, die die Maske aufweisen;
g) Speichern der Maske in Verbindung mit dem
Schlüsselrahmen;
h) sequentielles Abrufen der gespeicherten Bildrahmen und
Durchführen der folgenden Schritte für jeden Rahmen:
1) Vergleichen des abgerufenen Rahmens mit dem
vorhergehenden Rahmen, um Unterschiede hinsichtlich der
Position der Objekte zu bestimmen;
j) Etablieren einer modifizierten Maske durch Modifizieren
einer Kopie von jeder der Masken durch selektives
Löschen von Bildelementen, die nicht mehr die Objekte
definieren, und Hinzufügen von Bildelementen, die die
Objekte in Einklang mit den bestimmen Unterschieden
hinsichtlich der Position der Objekte definieren; und
k) Speichern der modifizierten Masken in Verbindung mit
den abgerufenen Rahmen.
12. Verfahren gemäß Anspruch 1, wobei Schritt d) des
weiteren die folgenden Schritte umfaßt:
a) Bestimmen, ob der eindeutige Sättigungswert, der dem
Bildelementgrauskalenwert entspricht, jenseits einer
maximalen Sättigungswertgrenze liegt, die den maximalen
visuell wahrnehmbaren Sättigungswert für den
eindeutigen Leuchtdichtewert, der den
Bildelementgrauskalenwerten entspricht, approximiert; und
b) Zuordnen des maximalen Sättigungswerts als einen neuen
Sättigungswert für die Bildelemente, wenn der
eindeutige Sättigungswert jenseits des maximalen
Sättigungswertes für die eindeutigen Leuchtdichtewerte liegt, was
dem Bildelementgrauskalenwert entspricht.
13. Verfahren gemäß Anspruch 12, wobei die maximalen
Sättigungswerte für alle eindeutigen Leuchtdichtewerte eine
Grenze für einen doppelt konischen Raum in einem Farbton-,
Leuchtdichte- und Sättigungs- (HLS) -Koordinatensystem
definieren.
14. Verfahren gemäß Anspruch 13, wobei der doppelt konische
Raum symmetrisch um einen Zentralpunkt ist, der in der Mitte
zwischen einem maximalen eindeutigen Leuchtdichtewert und
einem minimalen eindeutigen Leuchtdichtewert liegt.
15. Verfahren gemäß Anspruch 14, wobei der doppelt konische
Raum asymmetrisch um den zentralen Punkt ist.
16. System zur Farbverstärkung eines Bildes mit:
a) einer Vorrichtung, zum digitalen Einfangen eines Bildes
aus einer Reihe von Bildelementen, die jeweils einen
Grauskalenwert aufweisen, der repräsentativ für ihre
Helligkeit ist;
b) einer Vorrichtung zum Definieren einer oder mehrerer
Masken, die jeweils eine oder mehrere geschlossene
Regionen von Bildelementen aufweisen, die repräsentativ
für ein oder mehrere bediener-wahrgenommene Objekte
innerhalb des Bildes sind, das ähnliche
bediener-bestimmte Farbtöne aufweist;
c) einer Vorrichtung zum Definieren einer
Farbübertragungsfunktion für jede der Masken, wobei die
Bildelementgrauskalenwerte innerhalb jeder Maske mit einer
eindeutigen Kombination von Farbton-, Leuchtdichte- und
Sättigungswerten gemäß dem Verfahren nach Anspruch 1
identifiziert werden;
d) einer Vorrichtung zum Anwenden der
Farbübertragungsfunktion auf die Bildelementgrauskalenwerte, wodurch
eindeutige Farbton-, Sättigungs- und Leuchtdichtewerte
abgeleitet werden, die jedem Grauskalenwert
entsprechen, und
e) einer Vorrichtung zum Zuordnen der abgeleiteten
Farbton-, Sättigungs- und Leuchtdichtewerte zu den
Bildelementen, die den Masken entsprechen.
17. System zum Kolorieren eines monochromen Bildes gemäß
Anspruch 16, das des weiteren aufweist:
a) eine Vorrichtung zum digitalen Speichern des Bildes als
eine Vielfachheit von Bildpunkten, die jeweils durch
einen spezifischen Grauskalenwert repräsentiert werden;
b) eine Vorrichtung zum Speichern der Werte einer
separaten Farbübertragungsfunktion für jede der Regionen;
und
c) Vorrichtung zum digitalen Speichern für jeden Bildpunkt
eines Regionsidentifikators, durch den eine der
Farbübertragungsfunktionen mit dem Bildpunkt assoziiert
wird.
18. System gemäß Anspruch 17, wobei a) und c) Teile einer
Multibitspeicherstruktur sind, die eine erste
Speicherstruktur und eine zweite Speicherstruktur aufweist.
19. System gemäß Anspruch 18, wobei für jeden Bildpunkt des
Bildes die erste Speicherstruktur einen 8-Bit-Grauskalenwert
und die zweite Speicherstruktur einen
4-Bit-Regionsidentifikatorwert enthält.
20. System gemäß Anspruch 17, das des weiteren eine
zusätzliche Speicherstruktur aufweist, die angepaßt, um
Bildpunktidentifikationsinformation zu enthalten, die bestimmt,
welche Bildpunkte mit einer bestimmten Region identifiziert
werden.
21. System gemäß Anspruch 17, wobei a) und c) von Anspruch
17 Teile einer Multibitspeicherstruktur sind, die für jeden
Bildpunkt eine erste Speicherstruktur, die eine
8-Bit-Grauskalenwert enthält, und eine zweite Speicherstruktur, die
einen 4-Bit-Regionsidentifikatorwert enthält, aufweist; und
wobei das System weiterhin eine zusätzliche
1-Bit-Speicherstruktur aufweist, die angepaßt ist, um für jeden Bildpunkt
Bildidentifikationsinformation zu enthalten, die bezeichnet,
welche Bildpunkte mit welcher bestimmten Region
identifiziert werden.
22. Bei einem Verfahren zum selektiven Kolorieren von
wenigstens einem Bildelement eines Bildes, das zu einer Reihe
von Bildern gehört, wobei das Bild eine Vielfachheit von
Bildelementen, die Methode zur Durchführung der Kombination
von Bildinformationen von masken-definierten Regionen des
Bildes mit Farbinformationen gemäß Anspruch 1 und folgendes
aufweist:
a) Zuordnen masken-definierter Regionsinformationen und
Farbinformationen von einem vorherigen Bild zu einem zu
kolorierenden Bild;
b) Verschieben von wenigstens einer der masken-definierten
Regionen, um eine vorherbestimmte Entfernung entlang
einer vorherbestimmten Achse zu einer bewegten Position
und Speichern der masken-definierten
Regionsinformationen für die zu kolorierenden Bilder bei der bewegten
Position.
23. Verfahren von Anspruch 22, wobei wenigstens eine der
masken-definierten Regionen aus allen masken-definierten
Regionen des vorherigen Bildes besteht.
24. Verfahren gemäß Anspruch 23, das des weiteren den
Schritt des Zuordnens der Bildpunkte umfaßt, die innerhalb
einer masken-definierten Region des vorherigen Bildes liegen
und nicht innerhalb einer entsprechenden bewegten
maskendefinierten Region sind, zu einer zusätzlichen
masken-definierten Region.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8111687A | 1987-08-03 | 1987-08-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE3854753D1 DE3854753D1 (de) | 1996-01-18 |
DE3854753T2 true DE3854753T2 (de) | 1996-08-08 |
Family
ID=22162195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE3854753T Expired - Fee Related DE3854753T2 (de) | 1987-08-03 | 1988-08-02 | Einrichtung und Verfahren zur Farbbildverbesserung. |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP0302454B1 (de) |
JP (1) | JP2935459B2 (de) |
KR (1) | KR970005225B1 (de) |
CN (1) | CN1026928C (de) |
AT (1) | ATE131297T1 (de) |
DE (1) | DE3854753T2 (de) |
ES (1) | ES2083360T3 (de) |
GR (1) | GR3019223T3 (de) |
IE (1) | IE76718B1 (de) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7907793B1 (en) | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
US5031117A (en) * | 1990-02-13 | 1991-07-09 | International Business Machines Corporation | Prioritization scheme for enhancing the display of ray traced images |
US5332968A (en) * | 1992-04-21 | 1994-07-26 | University Of South Florida | Magnetic resonance imaging color composites |
US8897596B1 (en) | 2001-05-04 | 2014-11-25 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with translucent elements |
US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
US9031383B2 (en) | 2001-05-04 | 2015-05-12 | Legend3D, Inc. | Motion picture project management system |
EP1405269A2 (de) * | 2001-05-04 | 2004-04-07 | Legend Films, Llc | Verfahren und vorrichtung zur verstärkung einer bildsequenz |
CN1294530C (zh) * | 2001-11-05 | 2007-01-10 | 夏普株式会社 | 彩色图象处理方法、彩色图象处理器、彩色显示器、以及用于实施彩色图象处理方法的计算机程序 |
WO2003091946A1 (en) | 2002-04-26 | 2003-11-06 | Electronics And Telecommunications Research Institute | Method and system for transforming adaptively visual contents according to terminal user’s color vision characteristics |
KR100722449B1 (ko) * | 2005-08-09 | 2007-05-28 | 주식회사 대우일렉트로닉스 | 텔레비전의 영상 처리 방법 |
CN101193229B (zh) * | 2006-11-21 | 2011-01-12 | 深圳Tcl新技术有限公司 | 一种电视功能界面换肤的方法及系统 |
KR101598555B1 (ko) | 2008-03-13 | 2016-02-29 | 티피 비전 홀딩 비.브이. | 컬러 이미지 개선 |
FR2953049A1 (fr) * | 2009-11-23 | 2011-05-27 | Alcatel Lucent | Procede et systeme d'assistance au choix de couleurs |
US8730232B2 (en) | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
US9113130B2 (en) | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
CN103858523B (zh) * | 2011-10-17 | 2016-08-17 | 皇家飞利浦有限公司 | 调试照明系统 |
US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
BR112019011449B1 (pt) | 2016-12-26 | 2022-11-01 | Akzo Nobel Coatings International B.V. | Sistema de composição de revestimento e método para formar um revestimento de textura tátil resistente a manchamento e macio em um substrato e artigo |
CN111724297B (zh) * | 2019-03-21 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | 图像处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4189743A (en) * | 1976-12-20 | 1980-02-19 | New York Institute Of Technology | Apparatus and method for automatic coloration and/or shading of images |
-
1988
- 1988-08-02 AT AT88112567T patent/ATE131297T1/de not_active IP Right Cessation
- 1988-08-02 IE IE235688A patent/IE76718B1/en not_active IP Right Cessation
- 1988-08-02 ES ES88112567T patent/ES2083360T3/es not_active Expired - Lifetime
- 1988-08-02 EP EP88112567A patent/EP0302454B1/de not_active Expired - Lifetime
- 1988-08-02 DE DE3854753T patent/DE3854753T2/de not_active Expired - Fee Related
- 1988-08-03 JP JP63192880A patent/JP2935459B2/ja not_active Expired - Lifetime
- 1988-08-03 KR KR88009896A patent/KR970005225B1/ko not_active IP Right Cessation
- 1988-08-03 CN CN88106544A patent/CN1026928C/zh not_active Expired - Fee Related
-
1996
- 1996-03-06 GR GR960400630T patent/GR3019223T3/el unknown
Also Published As
Publication number | Publication date |
---|---|
IE882356L (en) | 1989-02-03 |
JPH021077A (ja) | 1990-01-05 |
KR970005225B1 (en) | 1997-04-14 |
JP2935459B2 (ja) | 1999-08-16 |
CN1026928C (zh) | 1994-12-07 |
EP0302454A2 (de) | 1989-02-08 |
ES2083360T3 (es) | 1996-04-16 |
KR890004547A (ko) | 1989-04-22 |
CN1036279A (zh) | 1989-10-11 |
ATE131297T1 (de) | 1995-12-15 |
IE76718B1 (en) | 1997-11-19 |
EP0302454B1 (de) | 1995-12-06 |
DE3854753D1 (de) | 1996-01-18 |
GR3019223T3 (en) | 1996-06-30 |
EP0302454A3 (en) | 1990-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE3854753T2 (de) | Einrichtung und Verfahren zur Farbbildverbesserung. | |
US4984072A (en) | System and method for color image enhancement | |
DE69328464T2 (de) | Methode zur Berechnung der Beleuchtung für Daten dreidimensionaler Objekte | |
DE3853664T2 (de) | Farbzellentextur. | |
DE69120748T2 (de) | Umsetzung von Farbbildern auf schwarz-weiss texturierten Bildern | |
DE69323371T2 (de) | Verfahren und Vorrichtung zum Speichern und Wiederauffinden von verallgemeinerten Bilddaten | |
DE69329049T2 (de) | Methode zur Verarbeitung von Daten, die dreidimensionale graphische Objekte repräsentieren | |
DE69130549T2 (de) | Vorrichtung zur Erzeugung eines Objektbewegungsweges | |
DE69219981T2 (de) | Verfahren zur Abänderung der Farben eines Bildes | |
DE69331486T2 (de) | Bilddatenverarbeitung | |
DE69128548T2 (de) | Verbesserungen in Steuerdatenfeldern von Bildelementen | |
DE69621509T2 (de) | Verfahren zur Auswahl zweier Einzelbilder einer zweidimensionalen Bildsequenz als Basis für die Berechnung der relativen Tiefe von Bildobjekten | |
DE69532016T2 (de) | Bildverarbeitungsgerät und -verfahren | |
DE60120474T2 (de) | Rasterung von dreidimensionalen bildern | |
DE3306288C2 (de) | ||
DE10223751B4 (de) | System und Verfahren zum Kombinieren von Graphikformaten in einer digitalen Videopipeline | |
DE69218120T2 (de) | Verfahren zur darstellung von mehrtonbildern | |
DE3854324T2 (de) | Farbkorrektur für Videographiksysteme. | |
DE60009644T2 (de) | Farbtonumsetzung unter Verwendung lokaler Information | |
EP0927496B1 (de) | Vorrichtung und verfahren zur erzeugung eines kompositbildes | |
DE69330504T2 (de) | Bildabspeicherungsverfahren | |
DE68922674T2 (de) | Bildverarbeitungsverfahren und -anordnung. | |
DE69330578T2 (de) | Verfahren und Einrichtung zum Füllen eines Bildes | |
DE69409048T2 (de) | Anordnung und Verfahren für die Erzeugung eines Farbbildes | |
DE19528596C2 (de) | Verfahren und Vorrichtung zur Kolorierunterstützung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8327 | Change in the person/name/address of the patent owner |
Owner name: AMERICAN FILM TECHNOLOGIES, INC., NEW YORK, N.Y., |
|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |