DE3854753T2 - Einrichtung und Verfahren zur Farbbildverbesserung. - Google Patents

Einrichtung und Verfahren zur Farbbildverbesserung.

Info

Publication number
DE3854753T2
DE3854753T2 DE3854753T DE3854753T DE3854753T2 DE 3854753 T2 DE3854753 T2 DE 3854753T2 DE 3854753 T DE3854753 T DE 3854753T DE 3854753 T DE3854753 T DE 3854753T DE 3854753 T2 DE3854753 T2 DE 3854753T2
Authority
DE
Germany
Prior art keywords
image
values
luminance
saturation
hue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE3854753T
Other languages
English (en)
Other versions
DE3854753D1 (de
Inventor
Barry Sandrew
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
American Film Technologies Inc New York Ny
Original Assignee
American Film Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Film Tech filed Critical American Film Tech
Application granted granted Critical
Publication of DE3854753D1 publication Critical patent/DE3854753D1/de
Publication of DE3854753T2 publication Critical patent/DE3854753T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/36Scanning of motion picture films, e.g. for telecine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/11Scanning of colour motion picture films, e.g. for telecine

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Ink Jet Recording Methods And Recording Media Thereof (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)
  • Silicon Compounds (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Of Color Television Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Farbverstärkung eines Bildes und auch ein System zum Durchführen dieses Verfahren.
  • Hintergrund der Erfindung
  • In strikten mathematischen Ausdrücken ist das Bild, das auf Schwarz-Weiß-Filmen erzeugt wird, eindimensional (Helligkeit), während die Originalszene als dreidimensional angesehen werden kann (bei Benutzung des HLS-Modells der Farbe, wobei der Farbton die Leuchtdichte und die Sättigung die Dimensionen sind). Die chemische Reaktion der Filmemulsion und die Kameramechanismen und Filter reduzieren im wesentlichen die dreidimensionale Information zu einer Dimension durch eine komplizierte Abbildung und löschen für immer die ursprüngliche Farbton-, Leuchtdichte-, Sättigungs- Information aus.
  • Bemerkung: Es sollte betont werden, daß Leuchtdichte und Helligkeit nicht dasselbe sind. Dies liegt daran, daß die Helligkeit eines Schwarz-Weiß-Bildes aus einer komplizierten Interaktion der drei Elemente des HLS-Systems stammt. Es besteht lediglich eine statistische Korrelation zwischen Helligkeit und Leuchtdichte, sie sind jedoch nicht identisch.
  • Farbrepräsentationssysteme
  • Farbe ist sowohl eine absolute Eigenschaft des Lichts (ihre Wellenlänge oder Frequenz) als auch eine relative Qualität, die vom menschlichen Wahrnehmer abhängt. Aus diesem Grund sind verschiedene "Farbtonleitern" vorgeschlagen worden, die es ermöglichen, wahrgenommene Farben zu quantifizieren. Unter diesen Modellen befindet sich die CIE- Chromatizitätsskala, die eine Quantifizierung der Farbe durch die Kombination sog. Primärausdrücke (die selbst für den menschlichen Beobachter nicht sichtbar sind) erlaubt. (Siehe Foley & VanDam, Fundamentals of Interactive Computer Graphics, Addison Wesley, Reading, MA 1984, Seiten 606-608.) Zusätzlich zu theoretischen Modellen der Farbe (CIE-Chromatizität, Farbton-Leuchtdichte-Sättigung und Rot-Grün-Blau) gibt es viele Repräsentationssysteme für die Farbwiedergabe in verschiedenen Medien, wie z.B. das RGB-System für Kathodenstrahlröhren, das Verfahrensfarbsystem zum Drucken und die NTSC-, PAL- und SECAM-Systeme für das Fernsehen. Jedes dieser Modelle ist in der Tat eine relativ kleine Teilmenge sowohl hinsichtlich des theoretischen absoluten Bereichs der Farben als auch hinsichtlich des tatsächlichen Bereichs menschlich wahrgenommener Farben.
  • Eines der theoretischen Modelle (Ostwald, W., Colour Science, Winsor & Winson, London, 1931), das für die Analyse von Farben besonders hilfreich ist, ist das HLS- Modell von Farbton, Leuchtdichte und Sättigung. Dieses Modell nutzt einen dreidimensionalen zylindrischen Raum (der absolute theoretische Farbraum), innerhalb dessen sich ein Raum befindet, der durch ein Kegelpaar mit gemeinsamen Basen begrenzt wird (der Wahrnehmungsraum). Die Zylinderachse (vom Hochpunkt des einen zum Hochpunkt des anderen Kegels) ist die Leuchtdichteachse, wobei der untere Hochpunkt die Leuchtdichte 0 (alles schwarz) und der Hochpunkt des oberen Kegels die Leuchtdichte 1 (alles weiß) ist. Der Abstand von der Leuchtdichteachse (senkrecht zu der Achse) bestimmt die Sättigung (das Verhältnis einer Farbe, die aus ihren Komplementärfarben zusammengesetzt ist), wobei die Achse der Sättigung 0 entspricht (gleiche Anteile der Primärfarbe und ihres Komplements und deshalb keine Farbe) und die Oberfläche des Kegels maximale Sättigung bei gegebener Leuchtdichte darstellt. Schließlich stellt die angulare Verschiebung um die Leuchtdichteachse den Farbton dar, wie bei einem herkömmlichen Farbrad, wobei Komplementärfarben durch 180 Grad voneinander getrennt sind.
  • Der feste Raum, der durch das HLS-Kegelmodell definiert wird, ist an seinem oberen und unteren Ende spitz zulaufend, um die Tatsache darzustellen, daß, wenn die Farben schwarzer oder weißer werden, sie von der Wahrnehmung her Farbton verlieren. Sättigung ist eine Charakteristik, die hauptsächlich von der Enge oder Reinheit des Wellenlängenbandes abhängt, das eine Farbe umfaßt. Am exakten Mittelpunkt des Raumes befindet sich ein mittleres Grau, das eine mittlere Emittierung und Reflektierung für alle Wellenlängen des Lichts darstellt.
  • Das RGB-System wird beispielsweise in CRT-Anzeigen eingesetzt, wo jede der drei Elektronenkanonen (rot, grün und blau) direkt durch ein Signal gesteuert wird, das seine entsprechende Intensität anzeigt. Eine HLS-Farbe kann in die RGB-Darstellung umgewandelt werden (siehe Foley & VanDam, Seiten 648-9), wobei es viele HLS-Kombinationen gibt, die "abgeschnitten" werden müssen, um in RGB dargestellt zu werden. Dasselbe gilt für das NTSC-Fernsehen (auch als YIQ bekannt), das einen noch beschränkteren Bereich aufweist als RGB. Deshalb kann nicht jede Farbe der "realen Welt" durch Videosysteme reproduziert werden, die entweder RGB- oder NTSC-Standards verwenden. Gemäß Foley & VanDam "entspricht weder das V in HSV (Farbton, Sättigung, Wert) noch das L in HLS der Leuchtdichte im YIQ-Modell, so daß zwei verschiedene Farben, die im jeweiligen Raum definiert sind, leicht dieselbe Leuchtdichte haben können und deshalb ununterscheidbar auf dem Schwarz-Weiß-Fernsehen oder Videoband sind" (Foley & VanDam, Seite 618).
  • Ungefähr seit 1970 sind verschiedene Techniken entwickelt worden für das Hinzufügen von Farben zu monochromatischen Bildern. Oft nutzen diese Techniken Videotechnologie, um das Videosignal in definierter Weise zu ergänzen, typischerweise durch Hinzufügen eines Chrominanzkomponentensignals zu dem bereits vorher existierenden Leuchtdichtesignal. Diese Technik resultiert in einer Erscheinung, die der von Thomas Edison nicht unähnlich ist, die er erreichte bei seinen frühen Anstrengungen, Farbtönungen zu Schwarz-Weiß- Filmen hinzuzufügen, indem er die Rahmen bemalte: ein farbiges Gebiet über einem Schwarz-Weiß-Bild. Alle diese Systeme leiden, da sie sich auf Videotechnologie verlassen, an einem Mangel an Lebendigkeit der Farben und an der Unfähigkeit, Farben genauer zu reproduzieren.
  • Aus dem Dokument "Journal of the Society of Motion Picture and Television", Vol. 93, No. 7, Juli 1984, SCARS- DALE USA, Seiten 632-635; Wilson Markle: "The Development and Application of Colorization" ist es bekannt, einen Dubner Graphics Computer zur Kolorierung von Schwarz-Weiß-Filmen zu verwenden. Dieser Artikel beschreibt das Verfahren des Kolorierens von Schwarz-Weiß-Filmen im allgemeinen und beschreibt dann kurz die Verwendung der Dubner Graphics beim Durchführen des Verfahrens. Aus diesem Artikel kann man jedoch keine Vorschläge für die Anwendung einer Farbe, die das HLS-System verwendet, welches sich auf die ursprünglichen Grauskalenwerte bezieht, ableiten. Dieses bekannte Verfahren basiert auf dem "Überlagerungsprinzip" des Filmkolorierens.
  • Aus der Druckschrift US-A-4189743 ist ein Pseudokolorierungsverfahren bekannt. Die Pseudofarbe ist die Dekkanwendung einer einzigen Farbe auf einen Bereich von Grauskalenwerten eines darunterliegenden Bildes. Man sieht dies oft bei medizinischen Bilddarstellungen. Darüber hinaus resultiert das bekannte Pseudokolorierungsverfahren in Bildern, die wie Comics aussehen, die nicht mit tatsächlichen Photographien verglichen werden können. Comics weisen einen homogenen Anblick für Farben auf, wohingegen tatsächliche Bilder Variationen hinsichtlich Farbton und Sättigung aufweisen. Darüber hinaus erscheinen pseudokolorierte Arbeiten nicht realistisch.
  • Es ist deshalb Aufgabe der vorliegenden Erfindung, ein Verfahren und ein System zur Farbverstärkung einer Reihe von Bildrahmen zu schaffen, die eine verbesserte Bildqualität aufweisen und die darüber hinaus einen Bediener in die Lage versetzen, leicht und schneller die Verstärkungsoperation durchzuführen.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit der Kombination der Schritte a) bis e) des Anspruchs 1 gelöst.
  • Ein System zum Durchführen des erfinderischen Verfahrens ist in Anspruch 16 beschrieben.
  • Weitere vorteilhafte Ausführungsformen der Erfindung resultieren aus den Unteransprüchen.
  • Kurze Beschreibung der Figuren
  • Fig. 1 zeigt in schematischer Form die Herstellung zweier benachbarter Rahmen graphischer Information gemäß dem erfindungsgemäßen Verfahren.
  • Fig. 2 zeigt eine schematische Darstellung eines Teiles der Bildspeicherstruktur gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
  • Fig. 3 zeigt die Replizierung eines Regionsspeicherteils der Bildspeicherstruktur der vorliegenden Erfindung.
  • Fig. 4 zeigt die Korrektur eines gespeicherten Wertes in dem replizierten Regionsspeicherteil von Fig. 3.
  • Fig. 5 zeigt die Anwendung des HLS-Farbmodells auf die Kolorierung eines Datenfeldes von Bildelementen, die in der Bildspeicherstruktur der Fig. 2 bis 4 gespeichert sind.
  • Fig. 6 zeigt eine schematische Darstellung der "Histogramm-Dia"-Operation gemäß dem erfindungsgemäßen Verfahren.
  • Fig. 7 zeigt eine schematische Darstellung der "Histogramm-Multiplikation unten"-Operation gemäß dem erfindungsgemäßen Verfahren.
  • Fig. 8 zeigt eine schematische Darstellung der "Histogramm-Multiplikation oben"-Operation gemäß dem erfindungsgemäßen Verfahren.
  • Fig. 9 zeigt eine schematische Darstellung der "Farbbiege"-Operation gemäß dem erfindungsgemäßen Verfahren.
  • Detaillierte Beschreibung der Erfindung Allgemeiner Verfahrensüberblick
  • Der zu kolorierende oder farbzuverstärkende Film wird als erstes digital aufgenommen bei einer vorherbestimmten Auflösung. In Fällen, wo das Endprodukt auf einem konventionellen Videoband plaziert wird, werden geeignete Auflösungen gewählt (z.B. NTSC = 525 Zeilen, PAL = 640, HDTV = 1125-1500). Wenn das Endprodukt für theatrische Präsentationen verwendet wird, werden Auflösungen von 1024 Zeilen oder mehr verwendet. Das Digitalisierungsverfahren (in Fig. 1 gezeigt) umfaßt die Projektion jeden Rahmens des Originalfilms (typischerweise schwarz-weiß) durch eine Flüssigtoranordnung, die Kratzer und andere Fehler maskiert. Der projizierte Rahmen wird vermittels einer Videokamera, wie einer Saticonröhre, eingefangen und das Videosignal digitalisiert und in einem RAM (Random Access Memoroy) Rahmenpuffer gespeichert. Der Digitalisierungsprozeß ermöglicht die Anpassung der Intensität des Lichts, das auf den Film fällt, um den besten Kontrast für den speziellen Rahmen, der digitalisiert wird (Gamma-Korrektur) zu errechnen. Nach Erwerben eines Rahmens wird die digitale Darstellung des Rahmens in einem nichtflüchtigen Speicher zur Weiterverarbeitung gespeichert. Das Digitalisierungsverfahren wird auf einer Rahmen-für-Rahmen-Basis wiederholt, wobei jeder Rahmen mit einer Zeit- und Sequenzangabe (SMPTE-Zeitcode) markiert wird.
  • Für jede Szene (Folge von Rahmen) wird ein Rahmen ausgewählt, der repräsentativ für die Mehrheit der Elemente, die in der Sequenz anwesend sind, ist. Dieser "Schlüsselrahmen" wird als Modell für die Verstärkung anderer Rahmen innerhalb der Szenensequenz verwendet. Aus diesem Grund wird größte Sorgfalt für die Verarbeitung von Schlüsselrahmen angewandt.
  • Nachdem Schlüsselrahmen farbverstärkt und definiert sind, werden sie mit den übrigen Rahmen, die eine Szene umfassen, an eine Workstation weitergegeben, wo die Regionen, die die Anwendung der Farbe definieren, von einem zum anderen Rahmen weiterverfolgt werden. Nachdem jeder Rahmen verstärkt worden ist, wird er auf einem nichtflüchtigen Speicher erneut abgespeichert und zu einem zentralen Speicher geschickt, wo alle verstärkten Szenen schließlich wieder zusammengesetzt werden gemäß ihrer ursprünglichen Sequenz als eine Endproduktfilmaufnahme.
  • Kolorierung von Schlüsselrahmen
  • Die erste Aufgabe des Schlüsselrahmenkoloristen besteht darin, die Gebiete des Bildes zu identifizieren, die Objekte umfassen, die als von ähnlichem Farbton bestimmt werden. Verschiedene Softwarewerkzeuge stehen dem Koloristen zur Verfügung, um ihm bei diesem computerinteraktiven Definierungsprozeß zu helfen.
  • Ein "Freie Hand"-Modus erlaubt das Zeichnen und Löschen sowie die Kontrolle über Cursor variabler Größe. Eine Zeigeeinrichtung kontrolliert einen interaktiven Cursor, der auf einem Bildschirm gezeigt ist, der die Schlüsselrahmen, die verarbeitet werden sollen, überlagert. Die Bewegung der Zeigeeinrichtung bewirkt eine analoge Bewegung des Cursors und die durch diese Bewegung ausgewählten Bildelemente (die auf der Graphikebene, die als "Maskenebene" bekannt ist, angezeigt werden) werden dazu verwendet, um die Kanten eines Gebiets zu definieren. Da die Cursorgröße zu nur einem Bildpunkt reduziert werden kann, besteht das kleinste Gebiet, das reproduziert werden kann, auch aus einem Bildpunkt.
  • Ein zweites Zeichenwerkzeug, das dem Koloristen zur Verfügung steht, ist eines, welches Polygone definiert, anstatt völlig freihand gezeichneter Formen. Unter Verwendung der Zeigevorrichtung kann der Kolorist die genaue Plazierung der Eckpunkte angeben, die den Umfang einer polygonalen Fläche definieren sollen. Jeder Scheitelpunkt kann zugeordnet oder entfernt werden und, wenn vollständig, können die Scheitelpunkte vervollständigt werden, um einen geschlossenen Pfad zu definieren.
  • Nach dem Definieren eines geschlossenen Umfangs durch eine Freihand- oder Polygonmethode kann die eingeschlossene Fläche einem Gebiet (durch Setzen der Bits in der Maskenebene) zugeordnet werden unter Verwendung von einem von zwei Füllalgorithmen. Ein "Flächen-Füll" ordnet alle Bildelemente innerhalb der geschlossenen Form und bis zu den definierten Kanten dem Gebiet zu. Ein "Comics-Füll" kombiniert die definierten Kanten mit dem Kantenerkennungsalgorithmus um ein Gebiet zu füllen, das durch eine Grenzlinie, wie z.B. Linien eines schwarzen Stiftes, was typisch für Comics ist, begrenzt ist. Der Comics-Füllmodus füllt bis zu solchen dicken Grenzlinien oder etwas darüber hinaus auf.
  • Nachdem die Gebiete für alle Objekte mit gemeinsamem Farbton definiert worden sind, besteht der letzte Schritt in der Auswahl und Anwendung eines vorgegebenen Farbtons auf das Gebiet. Farben können interaktiv ausgewählt werden, indem man auf ein Farbrad zeigt, das auf einem Videoschirm angezeigt ist und dann im Manipulieren der Kontrollanzeigen auf dem Videoschirm, die eine Verfeinerung der Grauskaleninformation für das Gebiet, wie es unten beschrieben wird, erlauben. Nach der Auswahl kann die Farbe durch ihre Anwendung auf die Gebiete (die gemeinsam als Farbmasken bekannt sind) angezeigt werden. Nachdem eine Farbmaske definiert worden ist, werden die damit assoziierten Bildelemente als "Regionen" identifiziert, wobei die Maskenebene geräumt wird und zusätzliche Masken in ähnlicher Weise definiert werden, eine für jeden Farbton, der in dem Rahmen angezeigt werden wird.
  • Wenn alle Regionen definiert sind, werden die Regionen, die zugrundeliegenden Rahmen und die Farben, die jeder Region zugeordnet sind, zur späteren Wiedergewinnung durch Koloristen gespeichert, die das Verfahren wieder durchlaufen werden, unter Verwendung aufeinanderfolgender Rahmen jeder Szene und des Schlüsselrahmens, der definiert worden ist.
  • Das Verfahren des Extrapolierens der Farbverstärkung von Schlüsselbildern zu ganzen Szenen wird durch die Identifizierung und Verfolgung von Bewegung, wie auch dem Erscheinen oder Verschwinden von Objekten durchgeführt. Im allgemeinen wechseln weniger als 5% der Bildelemente in einem Rahmen einer Szene in dem darauffolgenden Rahmen. Da Bewegungsbilder bzw. Filme mit 24 Rahmen pro Sekunden gefilmt werden, sind die Inkremente der Bewegung auf allen bis auf die sehr schnell bewegenden Objekte sehr gering und können leicht verfolgt werden. Nachdem eine Bewegung identifiziert worden ist, ist eine Anpassung der Regionen und Anwendung der vordefinierten Farben der Schlüsselrahmen zu diesen Regionen alles, was nötig ist.
  • Implizit in allen Rahmen-zu-Rahmen-Verfolgungen ist die Fähigkeit, vordefinierte Teile des vorhergehenden oder Regionsspeicherinhalts des Schlüsselrahmens zu kopieren und diese Teile bei dem Verarbeiten aufeinanderfolgender Rahmen zu nutzen. Nach dem Kopieren können kleine Anpassungen zu einem neuen Regionsspeicherinhalt gemacht werden und sie können mit dem neuen Rahmen gespeichert werden. Da, was wichtig ist, der Digitalisierungsprozeß eine Konsistenz der Helligkeit und Graustufen sicherstellt, und da Farben durch einen Kunstdirektor, der mit Schlüsselrahmen arbeitet, vordefiniert sind, ist eine Gesamtkonsistenz von Rahmen zu Rahmen und Szene zu Szene sichergestellt.
  • Die einfachste Form des Verfolgens von Rahmen zu Rahmen ist da, wo Bewegung in dem Rahmen erkennbar ist, nur als das Resultat eines Kameranachführens. In solchen Fällen kann der gesamte Regionsspeicher von dem des vorhergehenden Rahmens kopiert werden und in die Richtung des Nachschwenkens "verschoben" werden. Eine derartige Verschiebung erzeugt ein undefiniertes Gebiet an dem Ende, das der Bewegung entgegengesetzt ist. Dieses Gebiet muß dann zu der existierenden Region hinzugefügt werden, um vollständig Farbe hinzuzufügen.
  • Wenn nur einige der Objekte eines Rahmens sich bewegen, kann ein korrespondierender Anteil des Regionsspeichers auch verschoben werden. Bei dieser Operation wird der Teil des Regionsspeichers, der verschoben werden soll, durch den Bediener bezeichnet und von Hand zu seiner neuen Position verschoben, wobei der ursprüngliche Inhalt des Regionsspeichers an der neuen Stelle überschrieben wird. Die alte Position muß dann neu definiert werden und/oder zu einer oder mehreren vorher existierenden Regionen hinzugefügt werden, um Farbe hinzuzufügen.
  • Bei hochkomplexen Szenen, wo verschiedene Typen von Bewegung präsent sind (vor allem zusammengesetzte Bewegung von Subjekt und Kamera), wird eine "Differenzierungs"- Prozedur verwendet. Ein Rahmen, für den Gebiete definiert worden sind und zu dem Farbe hinzugefügt worden ist, wird von dem darauffolgenden Rahmen subtrahiert, um die Bildelemente, die sich geändert haben, zu zeigen (in Grauskalenwerten). Diese Gebiete des Unterschieds werden dann als eine kontrastierende Überlagerung auf dem darauffolgenden Rahmen, der verarbeitet werden soll, angezeigt. Wahlweise kann ein Algorithmus zur Kantenerkennung in Grauskalenbildern verwendet werden und mit dem Regionsspeicher des vorherigen Rahmens korreliert werden. Wahrgenommene Unterschiede können dann dazu führen, daß die Regionen aufeinanderfolgender Rahmen angepaßt oder gelöscht werden, sofern dies erforderlich ist. Indem man die Koinzidenz dieser Überlagerung und die Regionsstruktur, die von dem vorhergehenden Rahmen dupliziert worden ist, überprüft, ist der Produktionskolorist in der Lage, Gebiete schnell zu bezeichnen, die zu der Regionsstruktur hinzugefügt werden sollten und solche, die von einer gegebenen Region entfernt und neu zugeordnet werden müssen.
  • Die endgültige Operation besteht darin, sicherzustellen, daß keine Objekte entweder vollständig auf dem Rahmen erschienen oder von diesem verschwunden sind. Wenn ein Objekt verschwindet, so muß seine Region entfernt werden. In ähnlicher Weise müssen neu erscheinende Objekte für sie eine Region "auf dem Flug" definiert haben und auch eine Farbe zugeordnet bekommen. Nachdem die Region für das nächste darauffolgende Bild angepaßt worden ist, speichert der Kolorist wieder das Bild zusammen mit seinem Regionsspeicher und wiederholt das Verfahren für jeden darauffolgenden Rahmen.
  • Um Qualitätskontrolle sicherzustellen und eine Sequenz von farbverstärkten Rahmen erneut zu prüfen, werden zwei Modi des Anschauens verwendet, der Cinemodus und der Zyklusmodus. Im Cinemodus werden eine Reihe von Rahmen sequentiell angezeigt, wobei erst in die Vorwärtsrichtung transportiert wird und dann unmittelbar in die Umkehrrichtung. Die Geschwindigkeit kann durch den Bediener kontrolliert werden. Beim Zyklusmodus sind Anzeigerichtung und Geschwindigkeit direkt an die Zeigeeinrichtung gekoppelt, um eine feine Steuerung des Anschauens der Rahmen-zu-Rahmenübergänge zu ermöglichen.
  • Hardwareüberblick
  • Das erfindungsgemäße Verfahren ist auf einer für diesen speziellen Zweck zugeschnittenen Version eines RTI- Station-Bildverarbeitungssystems implementiert, die mit einem PC bzw. Personal Computer über ein Interface verbunden ist (wie z.B. der IBM/Personal Computer AT). Das RTI-Bildverarbeitungsuntersystem (verfügbar von Recognition Technology, Inc. aus Holliston, MA) umfaßt einen Videodigitalisierer, einen Pipelinearchitektur-Bildpunktprozessor und Bildspeicher, wobei alle sowohl durch einen Host-Computerbus bzw. einen Gast-Computerbus als auch durch einen Sychronvideobus verbunden sind. Der Videodigitalisierer bekommt seine Eingabe von einer Videokamera der Art, wie oben beschrieben, zum Digitalisieren von Filmrahmen und gibt seine Information an einen High-Definition- bzw. hochdefinierten Farb-CRT (obwohl nicht notwendigerweise an einen, der die Schnittstelle mit konventionellem NTSC-Videoschaltkreisen bildet). Der Host-Computerbus erlaubt es dem Bildverarbeitungsuntersystem, mit dem Benutzer durch die Host-CPU, seinem Speicher, damit verbundenen Massenspeichereinrichtungen und Eingabe/Ausgabeeinrichtungen einschließlich Zeigeeinrichtungen und Tastaturen zu kommunizieren.
  • Das Bildverarbeitungsuntersystem der bevorzugten Ausführungsform der vorliegenden Erfindung umfaßt einen Bildspeicher mit 512 x 512 räumlicher Auflösung, 8 Bits Helligkeitsauflösung und 4 Bits für die Regionsidentifizierung. Alternativ kann dasselbe System für eine 6-Bit-Helligkeitsauflösung und 6-Bit-Regionsidentifizierung oder 7-Bit- Helligkeitsauflösung und 5-Bit-Regionsidentifizierung konfiguriert werden (ein zusätzliches Bit ist für die Benutzung durch das System bei der Konstruktion der Maskenbitebene reserviert). Allgemeine Informationen betreffend die Struktur und den Betrieb der RTI-Station und ihre zugehörige Softwarebibliothek (RTILIB) kann in dem RTILIB/500 Tutorial Revision 1.00 und dem RTILIB/500 User Manual Revision A, die durch Recognition Technology, Inc. veröffentlicht werden, gefunden werden.
  • Obwohl die zur Zeit verwendete Implementierung eine räumliche Auflösung von 512 Zeilen verwendet, wird der Fachmann erkennen, daß Steigerungen bis zu 2.000 Zeilen räumlicher Auflösung oder darüber hinaus innerhalb des Schutzbereichs der vorliegenden Erfindung liegt. Zusätzlich kann der Bildspeicher Teil eines größeren Rahmenspeichers sein, z.B. 4096 x 4096 x 16 Dits. Die Anzeige von Rahmen kann dann durch einen Speicherzeiger in diesen Rahmenspeicher gesteuert werden.
  • Zum Zweck der Farbauswahl ist die Host-CPU mit einem 24 Bit RGB-Videoboard (wie z.B. dem Targa 24, einem Produkt von AT&T Information Systems, Inc.) ausgestattet. Ein Farbrad, welches der üblichen Grundlage des HLS-Kegels entspricht, ist auf einem Bildschirm angezeigt. Unter Verwendung einer Zeigeeinrichtung wählt der Kolorist eine besondere Farbe auf dem Rad aus und definiert dadurch sowohl den Farbton (angulare Position auf dem Farbrad) als auch die Sättigung (Entfernung von der Mitte). Wie genauer unten beschrieben, wird dieser eindeutige 24-Bit-RGB-Wert sofort in den HLS-Koordinatenraum übersetzt, mit der modifzierten Bildgrauskala korreliert und zur Ausgabe auf einem RGB-Bildschirm zurückübersetzt.
  • Softwareüberblick
  • Bezugnehmend auf Fig. 1 bis 4 werden gemäß dem erfindungsgemäßen Verfahren eine Reihe von digitalisierten monochromatischen Bildern in einem RAM bzw. Random Access Memory eines Computers als Feld von Grauskalenwerten gespeichert. Zum Beispiel können 8 Bit Informationen verwendet werden, um jedes Bildelement zu repräsentieren, wodurch eine Gesamtheit von 256 eindeutigen Grauskalenwerten repräsentiert werden können. (Selbstverständlich können mehr Bits verwendet werden, um eine bessere Auflösung und einen dynamischen Bereich für die Grauskaleninformation zu erreichen.) Der Digitalisierungsschritt kann wahlweise die Verwendung von Nachschau- bzw. Look-up-Tabellen umfassen, um den Kontrast zu verstärken, Gamma anzupassen, die Kantendefinitionen zu verstärken oder die Grauskala eines schwachen Bildes zu "dehnen". Mit dem Speicher, der zum Speichern der Grauskalenwerte verwendet wird, ist ein Regionsspeicher verbunden, der dazu verwendet wird, jedes Bildelement eindeutig mit einem aus einer Zahl von Regionen zu identifizieren (als 4-Bit-Speicherstruktur in Fig. 2-5 dargestellt). Zusätzlich zu dem Bildspeicher und den Regionsspeicherstrukturen ist auch ein Maskenebenenspeicher mit dem Bild zur Verwendung bei der Identifizierung von Bildelementen verbunden. Durch herkömmliche Techniken können die Inhalte oder Teile der Inhalte dieser Speicherstrukturen von einer Struktur in eine andere kopiert werden (z.B. von dem Regionsspeicher in den Maskenebenenspeicher) oder von dem Speicher eines Rahmens zu einem anderen (wie in Fig. 3 dargestellt für die Übertragung von Rahmen-1-Regionsspeicher zum Rahmen-2-Regionsspeicher). Die kopierten Inhalte können selbstverständlich durch den Bediener geändert werden, üm sie zugrundeliegenden Rahmeninhalte, wie in Fig. 4 dargestellt, anzupassen.
  • Wie in Fig. 5-9 dargestellt, hat der Kolorist zu seiner oder ihrer Verfügung eine Zahl von software-implementierten Werkzeugen, die die Konstruktion der Farbübertragungsfunktion steuern. Für die Berechnungseffizienz wird die Leuchtdichteachse des HLS-zylindrischen Raumes als ein ganzzahliger Bereich von [0.1000] dargestellt (im Gegensatz zu der üblichen Darstellung in Form reeller Zahlen in dem Bereich [0. .1,0]). Die Grauskala eines Rahmens steht linear mit dem ganzzahligen Bereich in Beziehung, wobei per Vordefinition ein Grauskalenwert von 128 einem Leuchtdichtewert von 500 entspricht und jede diskrete Grauskaleneinheit jeder ganzen Zahl von Leuchtdichten entspricht. (Auf die Weise entsprechen 255 Grauskalen per Vordefinition bzw. Default einer Leuchtdichte von 627.)
  • Um die Farbübertragungsfunktion, die durch das System konstruiert worden ist, zu beeinflussen, manipuliert der Kolorist die Rahmengrauskaleninformation durch Anwendung von Histogrammtechniken, wie z.B. Verschiebung, Kompression und Dehnung.
  • Insbesondere kann für die gesamte Grauskala erreicht werden, daß sie entweder mehr oder weniger leuchtend erscheint durch eine einfache "Verschiebung" der Grauskala (GS) bezüglich der Leuchtdichteskala (Fig. 6). Anstelle der korrespondierenden GS = 128 bis L = 500 kann der Bediener stattdessen wählen, den Rahmen zu erhellen, indem er L = 750 wählt. In ähnlicher Weise kann der Rahmen verdunkelt werden, indem L = 350 gewählt wird. Wie in Fig. 6 dargestellt, wird der Teil der Farbübertragungsfunktion, der in den HLS-Kegelraum fällt, der der Grauskala entspricht, durch diese Verschiebungsoperation gesteuert. In ihren Extremen erzeugt die Operation einen Schwellwert in der Übertragungsfunktion jenseits dessen alle Grauskalenwerte entweder als Weiß (oberhalb des oberen Schwellwerts) oder als Schwarz (unterhalb des unteren Schwellwerts) angezeigt werden. Programmliste 1
  • Eine weitere Operation, die dem Koloristen zur Verfügung steht, ist eine ratio- bzw. verhältnismetrische Multiplikation der Grauskala mit einem Wert (in Fig. 7-8 dargestellt). Wenn der Multiplikatorwert ein Bruch kleiner als 1 ist, tritt eine ratiometrische Kompression der Grauskalenwerte ein, die die 256 diskreten Grauskalenwerte mit weniger als 256 ganzzahligen Leuchtdichtewerten in Bezug setzt. Wenn der Multiplikatorwert größer als 1 ist, tritt eine "Dehnung" der Grauskala ein, die in einer Entsprechung der 256 Grauskalenwerte mit einem Leuchtdichtebereich größer als 256 resultiert. Diese Multiplikationen können auch stattfinden, wenn eines der beiden Enden der Grauskala als Fixpunkt verwendet wird, was zu vier Variationen, wie in Fig. 7-8 gezeigt, führt. Programmliste 2
  • Bei der Darstellung reflektierten Lichts (das entweder von einer kolorierten Quelle ausgeht, von einer kolorierten Fläche reflektiert wird oder beidem) ist es notwendig, die Farbübertragungsfunktion zu "biegen". Wie in Fig. 9 gezeigt, hat der Kolorist die Option verfügbar, ein Paar "Biegepunkt" für die Funktion festzusetzen, die die Natur und das Ausmaß des Biegens bestimmen. Diese Punkte, die in Fig. 9 dargestellt sind (als Punkte A und B) definieren die Endpunkte des Dreiliniensegmens (0B, BA und A1). Von diesem Segment weisen das erste und letzte jeweils mit ihnen verbundene eindeutige bedienergewählte Werte des Farbtons auf, während das AB-Segment eine Mischung von Farbtönen und Sättigungen darstellt. Die Positionen der Punkte A und B werden durch Vordefinitionen zu 25 und 75% des vorliegenden Grauskalenbereichs gesetzt, wodurch Farbmischungen über die Hälfte der Grauskala geschaffen werden. Die Positionen können jedoch durch den Bediener verändert werden, um die "Rate" des Farbbiegens zu verändern. Programmliste 3
  • Als ein Beispiel des Biegens möge man die Auswahl eines 0B-Farbtons als Fleischton und des A1-Farbtons als Orange betrachten (was der Fall sein würde, wenn ein Gesicht durch reflektiertes Licht eines Feuers angesehen würde) Das BA-Segment würde Farbtöne enthalten, die Fleischtöne in den weniger hellen Gebieten sind, jedoch die helleren Gebiete nehmen eine zunehmend orangene Erscheinung an. Es ist klar, daß die Auswahl der Position der Punkte A und B oder der Einfluß zusätzlicher Biegepunkte voll innerhalb des Geistes der Technik liegen.
  • Da Regionen so definiert sind, daß sie alle Objekte ähnlichen Farbtons enthalten, enthalten die Regionen einen großen Bereich von Bildelementgrauskalenwerten. Um die Grauskalenwerte in dem endgültigen kolorierten Bild genau darzustellen, muß eine Farbübertragungsfunktion zum Umwandeln der eindimensionalen Grauskala in eine Menge von dreidimensionalen HLS-Werten definiert werden. Von dem Punkt auf dem angezeigten Farbrad, der durch einen Schlüsselrahmenkoloristen ausgewählt worden ist, wird ein Liniensegment ver tikal parallel zu der Achse des zylindrischen HLS-Universums erstreckt. Dieses Zeilensegment erstreckt sich durch die Punkte in dem HLS-Kegel, die die Farben darstellen, die innerhalb der Region angewandt werden sollen und umfaßt die Farbübertragungsfunktion. Zum Beispiel wird ein 8-Bit-Bildelement mit einem Grauskalenwert von 190 auf der Grauskala von Fig. 5 dargestellt. Der entsprechende Punkt auf dem oberen Segment der Farbübertragungsfunktion definiert einen eindeutigen HLS-Wert, der angewandt werden wird, um jene Bildelemente innerhalb der Region zu definieren, die den Grauskalenwert 190 haben. Wenn das Zeilensegment nicht in den HLS-Kegelraum fällt, ist die Darstellung entweder reines Weiß (in der Region oberhalb von L = 0,5) oder reines Schwarz (in der Region unterhalb von L = 0,5). Man erkennt, daß, da die Farbübertragungsfunktion einen Teil der Höhe des HLS-Koordinatenraums durchdringt, Punkte, die in eines der beiden Extreme der Grauskala fallen, entsprechend weniger saturiert sind, wenn sie in Farbe dargestellt werden. Dies führt zu einer sehr viel realistischeren Änzeige der Farben, als bei Systemen, die konstante Sättigung verwenden.
  • Spiegelnde Glanzpunkte sind solche Gebiete besonders heller Reflexion, die aufgrund von Effekten auftreten, die auf den Einfallswinkel zurückzuführen sind. Die Produktion farbloser spiegelnder Glanzpunkte kann produziert werden, indem die Histogrammdehntechnik angewandt wird, die oben beschrieben wurde, um hellere Grauskalenwerte außerhalb des HLS-Kegels zu "ziehen", wodurch man sie weiß erscheinen läßt. Das Ausmaß dieses Dehnens steuert die Erscheinung spiegelnder Glanzpunkte.
  • Wieder bezugnehmend auf Fig. 9, ist eine schematische Darstellung des Verfahrens gezeigt, durch das sowohl spiegelnde Glanzpunkte als auch die Reflexion kolorierter Lichtquellen erreicht werden kann. Obwohl die menschliche Wahrnehmung in der Tat am besten durch den HLS-Doppelkeqel dargestellt ist, wird die tatsächliche Physik von Farbe und Licht am besten durch einen HLS-Zylinder dargestellt, der die Leuchtdichte als seine Achse und die Sättigung als seinen Radius aufweist. In diesen Zylinder eingeschrieben ist der kegelförmige Wahrnehmungsraum. Dieser Kegelraum definiert die Grenzen der menschlichen Wahrnehmung und die genaue Form und Größe der Kegel variiert von Mensch zu Mensch. (Ein farbenblinder Mensch z.B. weist einen Kegel mit einer "abgeflachten" Seite auf, wohingegen ein Mensch mit Nachblindheit einen stark verkürzten unteren Kegel aufweist.) Durch die Manipulierung der Grauskaleninformation, die ein Bild darstellt, wird die Farbübertragungsfunktion, durch die die Grauskala in Farbton, Leuchtdichte und Sättigung transformiert wird, beeinflußt und eine Vielzahl von Effekten produziert.
  • Glossar von Ausdrücken
  • Bild - monochromes oder farbiges Analogbild
  • Bildelemente - diskrete Positionen in einem Bild
  • Helligkeit - die absolute Menge des Lichts, das durch ein monochromes Bild übertragen wird (abhängig von der einfallenden Lichtintensität)
  • Digitales Einfangen eines Bildes - Aufnahme digitaler Daten, die repräsentativ für ein Bild sind und aus denen ein Bild wieder erzeugt werden kann.
  • Grauskalenwerte - relative Menge des Lichts, das durch einen Punkt auf einem monochromen Bild übertragen wird (abhängig von der einfallenden Lichtintensität)
  • Leuchtdichte - die absolute Menge des Lichts, das von einem Punkt auf einem Farbbild emittiert wird bzw. durch den Punkt übertragen wird
  • Farbton - die Spitze oder primäre Wellenlänge, die von einem Punkt auf einem Farbbild emittiert wird oder durch diesen Punkt übertragen wird
  • Sättigung - die relative Zahl von Primär- bzw. Grundfarbezu Komplementärpunkten in einem gegebenen Gebiet eines Farbbildes (mehr Grundfarbe = höhere Sättigung)
  • Region - eine Datenstruktur im Speicher, die dazu verwendet wird, um eine Gruppe von Bildelementen zu identifizieren, auf die eine definierte Farbübertragungsfunktion angewandt werden soll.
  • Maske - eine Datenstruktur (üblicherweise auf einer Graphikebene) in einem Speicher, die dazu verwendet wird, um eine Gruppe von Bildelementen zu identifizieren, die bearbeitet werden sollen, wie z.B. durch deren Einfügen in eine Region.
  • Karte - eine Datenstruktur (üblicherweise eine Viel-Bit-Graphikebene) zur Identifizierung einer oder mehrerer Regionen auf einem Bild, wobei jede der Regionen Bildelemente aufweist, die repräsentativ für ein oder mehrere Objekte oder Bildgebiete sind, die die gemeinsame Eigenschaft aufweisen.
  • Spiegelnder Glanzpunkt - Region hoher Helligkeit (monochrom) oder hoher Leuchtdichte (Farbe), was durch direkte (Einfallswinkel) Reflexion einer Lichtquelle bewirkt wird.
  • Stellungnahme zur gewerblichen Anwendbarkeit
  • Das erfindungsgemäße Verfahren und die Vorrichtung sind bei der Farbverstärkung von achromatischen Bildern nützlich, wie z.B. stehender Photographien, Filmen, Bildern auf Videobändern, telemetrischen Daten und ähnlichem.

Claims (24)

1. Verfahren zur Farbverstärkung eines Bildes mit den folgenden Schritten:
a) digitales Einfangen des Bildes als eine Reihe von Bildelementen, die jeweils einen Grauskalenwert aufweisen, der repräsentativ für ihre Leuchtdichte ist;
b) Definieren einer oder mehrerer Masken, die jeweils eine oder mehrere geschlossene Regionen von Bildelementen aufweisen, die repräsentativ für ein oder mehrere bediener-wahrgenommene Objekte innerhalb des Bildes sind, die denselben bediener-bestimmten Farbton aufweisen;
c) Definieren einer Farbübertragungsfunktion auf der Basis des HLS-Modells des Farbtons, der Leuchtdichte und der Sättigung für jede der Masken, wobei jeder der Bildelementgrauskalenwerte innerhalb jeder der Masken mit einer eindeutigen Kombination von Farbton-, Leuchtdichte- und Sättigungswerten identifiziert wird, mit den folgenden Schritten:
1. Auswahl eines beliebigen bediener-definierten Farbtonwertes, der für die Anwendung auf die Bildelemente bestimmt ist, die jeder der Masken entsprechen, wobei der Farbtonwert einer Ebene besonderer angularer Verschiebung um die Leuchtdichteachse des HLS-Modells entspricht,
2. Auswahl eines Bereichs von Leuchtdichtewerten, die repräsentativ für die Leuchtdichte der Bildelemente sind, die jeder der Masken entsprechen, indem entlang der Leuchtdichteachse ein entsprechendes Gebiet auf der Ebene erstreckt wird,
3. Auswahl eines Bereichs von Sättigungswerten, die repräsentativ für die Sättigung der Bildelemente sind, die jeder der Masken entsprechen, indem ein entsprechender Bereich von Entfernungen von der Leuchtdichteachse ausgewählt wird und
4. Konstruktion einer vorherbestimmten Farbübertragungsfunktion, die den Bereich von Leuchtdichtewerten zu dem Bereich von Sättigungswerten für jede der Masken in Beziehung setzt, indem ein Liniensegment parallel zu der Leuchtdichteachse auf der Ebene innerhalb der Region und innerhalb des Bereichs der Abstände erstreckt wird;
d) Anwenden der Farbübertragungsfunktion für jede der Masken auf die entsprechenden Bildelementgrauskalenwerte, wodurch eindeutige Kombinationen von Farbton-, Sättigungs- und Leuchtdichtewerten abgeleitet werden, die jedem der Grauskalenwerte entsprechen; und
e) Zuordnung der abgeleiteten Farbton-, Sättigungs- und Leuchtdichtewerte zu den Bildelementen, die jeder der Masken entsprechen.
2. Verfahren gemäß Anspruch 1, wobei die Bildelementgrauskalenwerte vor Schritt d) durch Dehnung der Grauskalen modifiziert werden.
3. Verfahren gemäß Anspruch 1, wobei die Bildelementgrauskalenwerte vor Schritt d> durch Komprimieren der Grauskalen modifiziert werden.
4. Verfahren gemäß Anspruch 1, wobei die Bildelementgrauskalenwerte vor Schritt d) durch Verschieben der Grauskalen modifiziert werden.
5. Verfahren gemäß Anspruch 1, wobei Schritt a) weiterhin umfaßt:
Auswahl eines beliebigen ersten Farbtonwertes, der repräsentativ für einen bediener-bestimmten Farbton des Objekts ist;
Auswahl eines beliebigen zweiten Farbtonwertes, der repräsentativ für den bediener-bestimmten Farbton einer Beleuchtungsquelle ist; und
wobei Schritt d) des weiteren die Konstruktion einer vorherbestimmten Farbton-Leuchtdichte-Sättigungsübertragungsfunktion umfaßt, die die Bereiche der Sättigungs- und Leuchtdichtewerte zu den ersten und zweiten Farbtonwerten in Beziehung setzt.
6. Verfahren gemäß Anspruch 1, wobei Schritt c) des weiteren folgende Schritte umfaßt:
a. Auswahl eines Leuchtdichtewertes, der repräsentativ für die durchschnittliche Leuchtdichte des Bildelements ist, das der Maske entspricht;
b. Auswahl eines Bereichs von Farbtonwerten, der repräsentativ für die Farbtöne des Bildelements ist, die der Maske entsprechen;
c. Auswahl eines Bereichs von Sättigungswerten, die repräsentativ für die Sättigungen sind, die den Masken entsprechen;
d. Konstruktion einer vorherbestimmten Farbtonsättigungs- Übertragungsfunktion, die den Bereich der Farbtonwerte des Bereichs von Sättigungswerten in Beziehung setzt.
7. Verfahren gemäß Anspruch 1, Schritt b) wobei mindestens eine der Regionen durch die folgenden Schritte definiert ist:
a. Auswahl eines oberen und unteren Grauskalenschwellenwerts, der repräsentativ für die Kante einer benachbarten Gruppe von Bildelementen ist, die eine gemeinsame Leuchtdichte aufweisen;
b. Analyse der Bildelemente in einem vorherbestimmten Gebiet (Pinselspitze) des eingefangenen Bildes, um ihre mittlere Leuchtdichte zu bestimmen, und
c. Bestimmung der Bildelemente als in der Region enthalten, wenn die mittlere Helligkeit der Bildelemente innerhalb des vorbestimmten Gebiets oberhalb des unteren Schwellwerts oder unterhalb des oberen Schwellwerts liegt.
8. Verfahren gemäß Anspruch 71 wobei die vorherbestimmte Fläche (Pinselspitze) eine quadratische Matrix vorherbestimmter Dimension ist.
9. Verfahren gemäß Anspruch 7, wobei die vorherbestimmte Fläche (Pinselspitze) eine kreisförmige Matrix vorherbestimmter Dimension ist.
10. Verfahren gemäß Anspruch 1, wobei wenigstens eine der Grauskalenregionen dadurch definiert ist, daß von Hand die Grenzen einer oder mehrerer Flächen bestimmt werden, indem eine Zeigeeinrichtung zum Erzeugen einer Maske verwendet wird.
11. Verfahren zur Farbverstärkung einer Reihe von Bildrahmen, das die folgenden Schritte umfaßt:
a) digitales Einfangen und Speichern jedes Bildrahmens als eine Reihe von Bildelementen, die jeweils einen Grauskalenwert aufweisen, der repräsentativ für ihre Helligkeit ist;
b) interaktive Bestimmung eines der eingefangenen Rahmen als einen Schlüsselrahmen;
c) Verwendung des Schlüsselrahmens, wobei interaktiv eine oder mehrere Karten definiert werden, die jeweils ein oder mehrere geschlossene Gebiete von Bildelementen umfassen, die repräsentativ für ein oder mehrere Objekte sind, die bestimmt sind, denselben Farbton zu haben;
d) Definieren einer Farbübertragungsfunktion für wenigstens eine der Masken, die die Bildelementgrauskalenwerte mit eindeutigen Kombinationen von Farbton-, Leuchtdichte- und Sättigungswerten gemäß Anspruch 1 identifiziert;
e) Korrelieren der Bildelementgrauskalenwerte mit der Farbübertragungsfunktion, wobei dadurch eindeutige Farbton-, Sättigungs- und Leuchtdichtewerte abgeleitet werden, die jedem der Grauskalenwerte entsprechen, und
f) Zuordnen der Farbton-, Sättigungs- und Leuchtdichtewerte zu den Bildelementen, die die Maske aufweisen;
g) Speichern der Maske in Verbindung mit dem Schlüsselrahmen;
h) sequentielles Abrufen der gespeicherten Bildrahmen und Durchführen der folgenden Schritte für jeden Rahmen:
1) Vergleichen des abgerufenen Rahmens mit dem vorhergehenden Rahmen, um Unterschiede hinsichtlich der Position der Objekte zu bestimmen;
j) Etablieren einer modifizierten Maske durch Modifizieren einer Kopie von jeder der Masken durch selektives Löschen von Bildelementen, die nicht mehr die Objekte definieren, und Hinzufügen von Bildelementen, die die Objekte in Einklang mit den bestimmen Unterschieden hinsichtlich der Position der Objekte definieren; und
k) Speichern der modifizierten Masken in Verbindung mit den abgerufenen Rahmen.
12. Verfahren gemäß Anspruch 1, wobei Schritt d) des weiteren die folgenden Schritte umfaßt:
a) Bestimmen, ob der eindeutige Sättigungswert, der dem Bildelementgrauskalenwert entspricht, jenseits einer maximalen Sättigungswertgrenze liegt, die den maximalen visuell wahrnehmbaren Sättigungswert für den eindeutigen Leuchtdichtewert, der den Bildelementgrauskalenwerten entspricht, approximiert; und
b) Zuordnen des maximalen Sättigungswerts als einen neuen Sättigungswert für die Bildelemente, wenn der eindeutige Sättigungswert jenseits des maximalen Sättigungswertes für die eindeutigen Leuchtdichtewerte liegt, was dem Bildelementgrauskalenwert entspricht.
13. Verfahren gemäß Anspruch 12, wobei die maximalen Sättigungswerte für alle eindeutigen Leuchtdichtewerte eine Grenze für einen doppelt konischen Raum in einem Farbton-, Leuchtdichte- und Sättigungs- (HLS) -Koordinatensystem definieren.
14. Verfahren gemäß Anspruch 13, wobei der doppelt konische Raum symmetrisch um einen Zentralpunkt ist, der in der Mitte zwischen einem maximalen eindeutigen Leuchtdichtewert und einem minimalen eindeutigen Leuchtdichtewert liegt.
15. Verfahren gemäß Anspruch 14, wobei der doppelt konische Raum asymmetrisch um den zentralen Punkt ist.
16. System zur Farbverstärkung eines Bildes mit:
a) einer Vorrichtung, zum digitalen Einfangen eines Bildes aus einer Reihe von Bildelementen, die jeweils einen Grauskalenwert aufweisen, der repräsentativ für ihre Helligkeit ist;
b) einer Vorrichtung zum Definieren einer oder mehrerer Masken, die jeweils eine oder mehrere geschlossene Regionen von Bildelementen aufweisen, die repräsentativ für ein oder mehrere bediener-wahrgenommene Objekte innerhalb des Bildes sind, das ähnliche bediener-bestimmte Farbtöne aufweist;
c) einer Vorrichtung zum Definieren einer Farbübertragungsfunktion für jede der Masken, wobei die Bildelementgrauskalenwerte innerhalb jeder Maske mit einer eindeutigen Kombination von Farbton-, Leuchtdichte- und Sättigungswerten gemäß dem Verfahren nach Anspruch 1 identifiziert werden;
d) einer Vorrichtung zum Anwenden der Farbübertragungsfunktion auf die Bildelementgrauskalenwerte, wodurch eindeutige Farbton-, Sättigungs- und Leuchtdichtewerte abgeleitet werden, die jedem Grauskalenwert entsprechen, und
e) einer Vorrichtung zum Zuordnen der abgeleiteten Farbton-, Sättigungs- und Leuchtdichtewerte zu den Bildelementen, die den Masken entsprechen.
17. System zum Kolorieren eines monochromen Bildes gemäß Anspruch 16, das des weiteren aufweist:
a) eine Vorrichtung zum digitalen Speichern des Bildes als eine Vielfachheit von Bildpunkten, die jeweils durch einen spezifischen Grauskalenwert repräsentiert werden;
b) eine Vorrichtung zum Speichern der Werte einer separaten Farbübertragungsfunktion für jede der Regionen; und
c) Vorrichtung zum digitalen Speichern für jeden Bildpunkt eines Regionsidentifikators, durch den eine der Farbübertragungsfunktionen mit dem Bildpunkt assoziiert wird.
18. System gemäß Anspruch 17, wobei a) und c) Teile einer Multibitspeicherstruktur sind, die eine erste Speicherstruktur und eine zweite Speicherstruktur aufweist.
19. System gemäß Anspruch 18, wobei für jeden Bildpunkt des Bildes die erste Speicherstruktur einen 8-Bit-Grauskalenwert und die zweite Speicherstruktur einen 4-Bit-Regionsidentifikatorwert enthält.
20. System gemäß Anspruch 17, das des weiteren eine zusätzliche Speicherstruktur aufweist, die angepaßt, um Bildpunktidentifikationsinformation zu enthalten, die bestimmt, welche Bildpunkte mit einer bestimmten Region identifiziert werden.
21. System gemäß Anspruch 17, wobei a) und c) von Anspruch 17 Teile einer Multibitspeicherstruktur sind, die für jeden Bildpunkt eine erste Speicherstruktur, die eine 8-Bit-Grauskalenwert enthält, und eine zweite Speicherstruktur, die einen 4-Bit-Regionsidentifikatorwert enthält, aufweist; und wobei das System weiterhin eine zusätzliche 1-Bit-Speicherstruktur aufweist, die angepaßt ist, um für jeden Bildpunkt Bildidentifikationsinformation zu enthalten, die bezeichnet, welche Bildpunkte mit welcher bestimmten Region identifiziert werden.
22. Bei einem Verfahren zum selektiven Kolorieren von wenigstens einem Bildelement eines Bildes, das zu einer Reihe von Bildern gehört, wobei das Bild eine Vielfachheit von Bildelementen, die Methode zur Durchführung der Kombination von Bildinformationen von masken-definierten Regionen des Bildes mit Farbinformationen gemäß Anspruch 1 und folgendes aufweist:
a) Zuordnen masken-definierter Regionsinformationen und Farbinformationen von einem vorherigen Bild zu einem zu kolorierenden Bild;
b) Verschieben von wenigstens einer der masken-definierten Regionen, um eine vorherbestimmte Entfernung entlang einer vorherbestimmten Achse zu einer bewegten Position und Speichern der masken-definierten Regionsinformationen für die zu kolorierenden Bilder bei der bewegten Position.
23. Verfahren von Anspruch 22, wobei wenigstens eine der masken-definierten Regionen aus allen masken-definierten Regionen des vorherigen Bildes besteht.
24. Verfahren gemäß Anspruch 23, das des weiteren den Schritt des Zuordnens der Bildpunkte umfaßt, die innerhalb einer masken-definierten Region des vorherigen Bildes liegen und nicht innerhalb einer entsprechenden bewegten maskendefinierten Region sind, zu einer zusätzlichen masken-definierten Region.
DE3854753T 1987-08-03 1988-08-02 Einrichtung und Verfahren zur Farbbildverbesserung. Expired - Fee Related DE3854753T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US8111687A 1987-08-03 1987-08-03

Publications (2)

Publication Number Publication Date
DE3854753D1 DE3854753D1 (de) 1996-01-18
DE3854753T2 true DE3854753T2 (de) 1996-08-08

Family

ID=22162195

Family Applications (1)

Application Number Title Priority Date Filing Date
DE3854753T Expired - Fee Related DE3854753T2 (de) 1987-08-03 1988-08-02 Einrichtung und Verfahren zur Farbbildverbesserung.

Country Status (9)

Country Link
EP (1) EP0302454B1 (de)
JP (1) JP2935459B2 (de)
KR (1) KR970005225B1 (de)
CN (1) CN1026928C (de)
AT (1) ATE131297T1 (de)
DE (1) DE3854753T2 (de)
ES (1) ES2083360T3 (de)
GR (1) GR3019223T3 (de)
IE (1) IE76718B1 (de)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US5031117A (en) * 1990-02-13 1991-07-09 International Business Machines Corporation Prioritization scheme for enhancing the display of ray traced images
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US9031383B2 (en) 2001-05-04 2015-05-12 Legend3D, Inc. Motion picture project management system
EP1405269A2 (de) * 2001-05-04 2004-04-07 Legend Films, Llc Verfahren und vorrichtung zur verstärkung einer bildsequenz
CN1294530C (zh) * 2001-11-05 2007-01-10 夏普株式会社 彩色图象处理方法、彩色图象处理器、彩色显示器、以及用于实施彩色图象处理方法的计算机程序
WO2003091946A1 (en) 2002-04-26 2003-11-06 Electronics And Telecommunications Research Institute Method and system for transforming adaptively visual contents according to terminal user’s color vision characteristics
KR100722449B1 (ko) * 2005-08-09 2007-05-28 주식회사 대우일렉트로닉스 텔레비전의 영상 처리 방법
CN101193229B (zh) * 2006-11-21 2011-01-12 深圳Tcl新技术有限公司 一种电视功能界面换肤的方法及系统
KR101598555B1 (ko) 2008-03-13 2016-02-29 티피 비전 홀딩 비.브이. 컬러 이미지 개선
FR2953049A1 (fr) * 2009-11-23 2011-05-27 Alcatel Lucent Procede et systeme d'assistance au choix de couleurs
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
CN103858523B (zh) * 2011-10-17 2016-08-17 皇家飞利浦有限公司 调试照明系统
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
BR112019011449B1 (pt) 2016-12-26 2022-11-01 Akzo Nobel Coatings International B.V. Sistema de composição de revestimento e método para formar um revestimento de textura tátil resistente a manchamento e macio em um substrato e artigo
CN111724297B (zh) * 2019-03-21 2023-07-25 杭州海康威视数字技术股份有限公司 图像处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4189743A (en) * 1976-12-20 1980-02-19 New York Institute Of Technology Apparatus and method for automatic coloration and/or shading of images

Also Published As

Publication number Publication date
IE882356L (en) 1989-02-03
JPH021077A (ja) 1990-01-05
KR970005225B1 (en) 1997-04-14
JP2935459B2 (ja) 1999-08-16
CN1026928C (zh) 1994-12-07
EP0302454A2 (de) 1989-02-08
ES2083360T3 (es) 1996-04-16
KR890004547A (ko) 1989-04-22
CN1036279A (zh) 1989-10-11
ATE131297T1 (de) 1995-12-15
IE76718B1 (en) 1997-11-19
EP0302454B1 (de) 1995-12-06
DE3854753D1 (de) 1996-01-18
GR3019223T3 (en) 1996-06-30
EP0302454A3 (en) 1990-07-11

Similar Documents

Publication Publication Date Title
DE3854753T2 (de) Einrichtung und Verfahren zur Farbbildverbesserung.
US4984072A (en) System and method for color image enhancement
DE69328464T2 (de) Methode zur Berechnung der Beleuchtung für Daten dreidimensionaler Objekte
DE3853664T2 (de) Farbzellentextur.
DE69120748T2 (de) Umsetzung von Farbbildern auf schwarz-weiss texturierten Bildern
DE69323371T2 (de) Verfahren und Vorrichtung zum Speichern und Wiederauffinden von verallgemeinerten Bilddaten
DE69329049T2 (de) Methode zur Verarbeitung von Daten, die dreidimensionale graphische Objekte repräsentieren
DE69130549T2 (de) Vorrichtung zur Erzeugung eines Objektbewegungsweges
DE69219981T2 (de) Verfahren zur Abänderung der Farben eines Bildes
DE69331486T2 (de) Bilddatenverarbeitung
DE69128548T2 (de) Verbesserungen in Steuerdatenfeldern von Bildelementen
DE69621509T2 (de) Verfahren zur Auswahl zweier Einzelbilder einer zweidimensionalen Bildsequenz als Basis für die Berechnung der relativen Tiefe von Bildobjekten
DE69532016T2 (de) Bildverarbeitungsgerät und -verfahren
DE60120474T2 (de) Rasterung von dreidimensionalen bildern
DE3306288C2 (de)
DE10223751B4 (de) System und Verfahren zum Kombinieren von Graphikformaten in einer digitalen Videopipeline
DE69218120T2 (de) Verfahren zur darstellung von mehrtonbildern
DE3854324T2 (de) Farbkorrektur für Videographiksysteme.
DE60009644T2 (de) Farbtonumsetzung unter Verwendung lokaler Information
EP0927496B1 (de) Vorrichtung und verfahren zur erzeugung eines kompositbildes
DE69330504T2 (de) Bildabspeicherungsverfahren
DE68922674T2 (de) Bildverarbeitungsverfahren und -anordnung.
DE69330578T2 (de) Verfahren und Einrichtung zum Füllen eines Bildes
DE69409048T2 (de) Anordnung und Verfahren für die Erzeugung eines Farbbildes
DE19528596C2 (de) Verfahren und Vorrichtung zur Kolorierunterstützung

Legal Events

Date Code Title Description
8327 Change in the person/name/address of the patent owner

Owner name: AMERICAN FILM TECHNOLOGIES, INC., NEW YORK, N.Y.,

8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee