DE10319094A1 - Verfahren und Vorrichtung zum Zuordnen einer Farbverbesserung zu einer Farbe - Google Patents

Verfahren und Vorrichtung zum Zuordnen einer Farbverbesserung zu einer Farbe

Info

Publication number
DE10319094A1
DE10319094A1 DE10319094A DE10319094A DE10319094A1 DE 10319094 A1 DE10319094 A1 DE 10319094A1 DE 10319094 A DE10319094 A DE 10319094A DE 10319094 A DE10319094 A DE 10319094A DE 10319094 A1 DE10319094 A1 DE 10319094A1
Authority
DE
Germany
Prior art keywords
color
image
pixel
look
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE10319094A
Other languages
English (en)
Other versions
DE10319094B4 (de
Inventor
Jay Stephen Gondek
Thomas Berge
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of DE10319094A1 publication Critical patent/DE10319094A1/de
Application granted granted Critical
Publication of DE10319094B4 publication Critical patent/DE10319094B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

Bereitgestellt werden ein Verfahren und eine Vorrichtung zum Verarbeiten eines Bildes unter Verwendung von Filtern. Das Verfahren und die Vorrichtung empfangen ein Eingangspixel und ein Pixelarray, das dem Bilde zugeordnet ist, identifizieren eine Farbe des Pixelarrays, um eine Verarbeitung des Eingangspixels und des Pixelarrays, das dem Bilde zugeordnet ist, zu ermöglichen, und lokalisieren die Farbe und die Zuordnung zu einer entsprechenden Bildverbesserungsoperation in einer Farbnachschlagtabelle.

Description

  • Die Ausbreitung einer Digitalbildphotographie, eines -druckens und einer -bilderzeugung fordert verbesserte Bildverarbeitungstechniken. Diese Bildverarbeitungstechniken verbessern die wahrgenommene Qualität von Bildern durch ein Manipulieren der durch Kameras und andere Vorrichtungen erfaßten und aufgezeichneten Daten. Billigere Vorrichtungen können qualitativ höherwertige Bilder durch hochentwickelte Bildverarbeitungstechniken erzeugen, die auf Computern und Peripheriegeräten durchgeführt werden. Dies erfüllt den Bedarf des Verbrauchers nach Bildern mit einer besseren Qualität ohne ein Ausgeben großer Geldmengen für professionelle Vorrichtungen oder sogar Vorrichtungen vom "Prosumer"- Typ.
  • Eine Bildverarbeitungstechnik, die Bildschärfung genannt wird, neigt dazu, die Gesamtdetails in einem Bild zu verbessern. Üblicherweise wirkt eine Bildschärfung durch ein Erhöhen eines Pixelkontrastes an und um wahrgenommene Kanten in einem Bild. Wenn die Kanten für das Bild wichtig sind, erhöht dies die sichtbaren Details in dem Bild und die wahrgenommene Gesamtqualität des Bildes. Leider sind Artefakte, Rauschen und andere Details unter Umständen nicht erwünscht, werden jedoch durch Bildschärfungsoperationen ebenso verstärkt. Diese Schärfungsoperationen können das Bild oft "verrauscht" und als eine geringere Qualität erscheinen lassen, als dies der Fall wäre, wenn dieselben unterlassen würden.
  • Alternative Bildverarbeitungsoperationen zur Glättung wirken, um Artefakte, Rauschen und andere unerwünschte detailierte Elemente eines Bildes zu reduzieren oder beseitigen. Filter und andere Operationen werden auf diese Bilder angewendet, um Details, die als Artefakte oder Rauschen wahrgenommen werden, zu lindern oder zu beseitigen. Ein Glätten beseitigt vorzugsweise ein unerwünschtes Rauschen und Artefakte, indem benachbarte Pixel konsistenter zueinander gemacht werden. Diese Filter weisen, wenn sie wahllos angewendet werden, die nachteilige Wirkung auf, daß sie auch erwünschte Details, die wichtig für das Bild sind, beseitigen und zu verschwommenen oder unscharfen Bildern führen können.
  • Eine aktive Unterdrückung von Rauschen und Artefakten während einer Bildverarbeitung ist ein weiteres Verfahren zum Verbessern einer Bildqualität durch eine Bildverarbeitung. Diese Operationen weisen ebenso einen Glättungseffekt hauptsächlich an oder um scharfe Kanten in einem Bild auf. Während diese Unterdrückungsverfahren genauer sein können, können sie rechnungstechnisch ineffizient und deshalb nicht kosteneffektiv zur Implementierung bei preiswerteren Hardware- und Softwareplattformen sein.
  • Ferner können selbst qualitativ hochwertige Bildverarbeitungsverfahren nicht auf alle Typen von Bildern erfolgreich angewendet werden. Ein Bildverarbeitungsverfahren, das ein Bild verbessert, kann ungeeignet sein, wenn es auf ein anderes Bild angewendet wird. Ferner kann eine Bildverarbeitungstechnik unter Umständen den vorteilhaften Wirkungen einer anderen Bildverarbeitungstechnik entgegenwirken.
  • Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren, eine Bildverarbeitungsvorrichtung oder ein Computerprogrammprodukt zu schaffen, die eine ausgereiftere Technik von Bildverarbeitungsprozessen ermöglichen.
  • Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 oder 37, eine Bildverarbeitungsvorrichtung gemäß Anspruch 22 oder 33 oder ein Computerprogrammprodukt gemäß Anspruch 35 gelöst.
  • Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beigefügten Zeichnungen näher erläutert, wobei gleiche Bezugszeichen und Bezeichnungen in den verschiedenen Zeichnungen gleiche Elemente anzeigen. Es zeigen:
  • Fig. 1 ein Blockdiagramm, das ein Gesamtverfahren und ein -system zur Verarbeitung von Bildern gemäß einer Implementierung der vorliegenden Erfindung darstellt;
  • Fig. 2 ein Flußdiagramm, das die Operationen liefert, die einem Erzeugen von Einträgen in einer Raum- Farbnachschlagtabelle (Raum-CLUT) zugeordnet sind, wie dieselbe durch ein Bildverarbeitungssystem verwendet wird, das gemäß Implementierungen der vorliegenden Erfindung entworfen ist;
  • Fig. 3 ein Flußdiagramm, das die Operationen darstellt, die einem Verwenden einer Raum-CLUT zugeordnet sind, um bestimmte Farbgruppierungen in einem Bild gemäß einer Implementierung der vorliegenden Erfindung zu verbessern;
  • Fig. 4 ein exemplarisches Tabellendiagramm, das die Informationen liefert, die in einer Raum-CLUT gemäß einer Implementierung der vorliegenden Erfindung gespeichert sind;
  • Fig. 5 eine exemplarische Raum-CLUT, die gemäß einer Implementierung der vorliegenden Erfindung entworfen ist und zum Verbessern eines spezifischen Satzes von Farben verwendet wird;
  • Fig. 6 ein Blockdiagramm, das die Typen von Vorrichtungen darstellt, die in der Lage sind, eine Bildverarbeitungsvorrichtung und verbesserte Bilder zu verwenden, die gemäß einer Implementierung der vorliegenden Erfindung entworfen sind; und
  • Fig. 7 eine Blockdiagrammdarstellung einer Bildverarbeitungsvorrichtung zur Bildverarbeitung gemäß einer Implementierung der vorliegenden Erfindung.
  • Fig. 1 ist ein Blockdiagramm, das ein Gesamtverfahren und ein -system zur Verarbeitung von Bildern gemäß einer Implementierung der vorliegenden Erfindung darstellt. Ein Verarbeitungsbild 102 beinhaltet ein Pixelfenster 104, ein Eingangspixel 105, ein Filterauswahlmodul 106, ein Filterverarbeitungsmodul 108, eine Filterdatenbank 110, ein Farberfassungsmodul 112, eine Farbnachschlagtabelle 114, ein Ausgangspixel 116 und optional ein Pixelklassifizierungsmodul 118 mit Verbesserungseinstellungen 120.
  • Bei einer Implementierung wird das Bild 102 in Abschnitten unter Verwendung eines Pixelfensters 104 verarbeitet, das N × N Pixel aufweist. Andere Implementierungen können ein asymmetrisches Pixelfenster, das M × N Pixel aufweist, verwenden. In dem Fall eines N × N-Pixelfensters 104 können die Abmessungen auf 5 × 5, 3 × 3 und andere Fensterabmessungen abhängig von der Granularität der erforderlichen Verarbeitung eingestellt werden. Das Filterauswahlmodul 116 empfängt eine Anzeige von der Farbnachschlagtabelle 114, die ein Filter zur Verarbeitung eines Eingangspixel 105 und eines Pixelfensters 104 identifiziert. Diese Anzeige kann ein Index oder Versatz sein, der ein Filter in der Filterdatenbank 110 identifiziert, oder kann ein tatsächlicher Bildverarbeitungsalgorithmus oder ein Satz von Parametern zur Durchführung eines Algorithmus sein. Bei einer Implementierung wendet das Filterverarbeitungsmodul 108 das aus der Filterdatenbank 110 ausgewählte Filter auf das Eingangspixel 105 und das Pixelfenster 104 an. Die Filterdatenbank 110 umfaßt einen breiten Bereich von Filtern und Faltungen zur Bildverbesserung. Diese Filter und Faltungen liefern z. B. mehrere Pegel von Glättungs- und Schärfungsoperationen zur Anwendung auf das Eingangspixel 105 und das Pixelfenster 104.
  • Optional empfängt das Filterauswahlmodul 106 eine Anzeige von der Farbnachschlagtabelle 114 in einer gewichteten Kombination mit einer Anzeige von dem Pixelklassifizierungsmodul 118, wenn ein Filter aus der Filterdatenbank 110 zur Verarbeitung eines Bildes ausgewählt wird. Ein Benutzer oder eine Anwendung kann die Filteranzeige, die durch das Pixelklassifizierungsmodul 118 bereitgestellt wird, ferner durch Einstellungen an den Verbesserungseinstellungen 120 steuern. Die Verbesserungseinstellungen 120 ermöglichen es einem Benutzer oder einer Anwendung, die durch das Pixelklassifizierungsmodul 118 bereitgestellte Anzeige zur Filterauswahl 108 zu beeinflussen, wenn eine Filterauswahl getroffen wird.
  • Die Pixelklassifizierung 118 kann z. B. eine Anzeige liefern, um Schärfungstyp-Filter hinsichtlich eines Eingangspixels 105 und des Pixelfensters 104, das Kanten aufweist, sowie Glättungstyp-Filter für das Eingangspixel 105 und das Pixelfenster 104, das Rauschen enthält, zu verwenden, was Artefakte und andere unerwünschte Charakteristika blockiert. Diese Anzeigen von der Pixelklassifizierung 118 werden mit Schärfungs- oder Glättungsfilterauswahlanzeigen von der Farbnachschlagtabelle 114 kombiniert, um die geeignete Filterdatenbank 110 auszuwählen. Da die Pixelklassifizierung und Filterungsindikatoren unter Verwendung der Verbesserungseinstellungen 120 parametrisiert sind, können die Schärfungs- und die Glättungstyp-Bildverbesserung gemäß dem erwünschten Ausgangsbild eingestellt werden. Details hinsichtlich einer Durchführung einer Pixelklassifizierung und einer Bildverbesserung unter Verwendung der Verbesserungseinstellungen 120 gemäß dem Pixelklassifizierungsmodul 118 sind in der U.S.-Patentanmeldung mit dem Titel "Verfahren und Vorrichtung zur parametrisierten Glättung und Schärfung", die der Anmelderin der vorliegenden Erfindung zugewiesen ist und die an dem gleichen Tag wie dieselbe eingerichtet wurde und hierin zu allen Zwecken in ihrer Gesamtheit durch Bezugnahme aufgenommen ist, detaillierter beschrieben.
  • Ein Darstellen von Bildern mit den geeigneten Farbmodellen ist ein wichtiger Aspekt der vorliegenden Erfindung. Da ein Kombinieren dreier Primärfarben (X, Y, Z) die Farbempfindungen definieren kann, die eine Person mit ihren Augen hat, existieren mehrere Tristimulus-Farbräume zum Spezifizieren dreier unabhängiger Funktionen einer Wellenlänge für den idealen Dreifarbbeobachter. Die Grundsätze derartiger dreidimensionaler Aufbauten sind durch die internationale Standardbehörde Commission Internationale L'Eclairage oder CIE beschrieben. Ein Einstellen der Standards zur Kolorimetrie und ein Identifizieren von Farben sind in Principles of Color Technology von Billmeyer und Saltzman, veröffentlicht durch John Wiley & Sons, Inc., NY, Urheberrecht 1981 (2. Ausgabe) und in Color Science: Concepts and Methods, Quantitative Data and Formulae von Wyszecki und Stiles, veröffentlicht durch John Wiley & Sons, Inc., Urheberrecht 1982 (2. Ausgabe), hierin in zugehörigen Teilen, insbesondere Seiten 119-130, durch Bezugnahme aufgenommen, und in Fundamentals of Interactive Computer Graphics von Foley and Van Dam, Addison-Wesley Publishing Company, hierin in zugehörigen Teilen, insbesondere Seiten 606-621, durch Bezugnahme aufgenommen, erläutert.
  • Diese verschiedenen Dreifarbmodellsysteme umfassen folgende Modelle: das Rot-, Grün-, Blau- (RGB-) Modell; das Cyan-, Magenta-, Gelb- (und Schwarz-) (CMG (S)-) Modell; das Farbton-, Sättigung-, Wert- (HSV-) Modell; das Farbton- Helligkeit-, Sättigungs- (HLS-) Modell; das Leuchtdichten-, Rot-Grün-Skala-, Gelb-Blau-Skala- (L.a.b.-) Modell und das YIQ-Modell, das bei kommerziellem Farbfernsehrundfunk verwendet wird. Ein Auswählen des geeigneten Modells hängt von der Anwendung und den verschiedenen durch das Modell gelieferten Vorteilen ab.
  • Üblicherweise stellen Farbeingangs- und Ausgangsvorrichtungen, wie z. B. Scanner, Kathodenstrahlröhren- (CRT-) Videomonitore und Drucker, Farbbilder auf eine vorrichtungsabhängige Weise dar. CRT-Strahler werden z. B. durch Spannungspegel oder andere Eingangssignalfunktionen getrieben, die Rot-, Grün- und Blau- oder RGB-Datentriplets entsprechen. Diese RGB-Datentriplets entsprechen der spezifischen Farbpalette für die CRT und den eindeutigen Farben, die durch die CRT-Pixel auf ihrem Bildschirm erzeugt werden. Unterschiede bei einer Farbreproduktion bei jeder der Vorrichtungen bedeutet, daß das gleiche RGB-Triplet tatsächlich eine sehr unterschiedliche Farbe oder Farbton erzeugen kann, wenn dieser auf einer CRT eines unterschiedlichen Modells angezeigt oder eine Druckkopie mit einem Farbdrucker unter Verwendung eines Farbraums einer unterschiedlichen Vorrichtung, wie z. B. Cyan, Magenta, Gelb und Schwarz oder CMGS, erzeugt wird. (Um eine Schwarzfarbreinheit bei einem CMGS-Drucken beizubehalten, kann Tinte oder Toner mit separatem schwarz (S) bereitgestellt werden, anstatt alle drei Farben Cyan, Magenta und Gelb zu drucken, um ein zusammengesetztes schwarz zu erzeugen.)
  • Ein Transformieren von Farben zwischen Vorrichtungen oder Farbräumen auf unterschiedlichen Vorrichtungen erfordert komplexe nicht lineare Berechnungen in mehreren Dimensionen. Um die Verarbeitungsanforderungen für diese Transformationen zu reduzieren, sind die korrelativen Werte üblicherweise vorberechnet und in großen Farbnachschlagtabellen (CLUT) gespeichert, die manchmal bis zu 50 Mb oder mehr erfordern. Allgemein enthält eine größere CLUT einen breiteren Bereich an Farbkombinationen, was genauere Farbbilder ergibt, kann jedoch eine größere Rechenzeit und Verarbeitungsleistung erforderlich machen, wenn die CLUT durchsucht und auf dieselbe zugegriffen wird. Eine weitere Rechenzeit und Verarbeitungsleistung wird außerdem benötigt, wenn keine Übereinstimmung zwischen einer Farbkombination in der CLUT gefunden werden kann, wobei so eine komplexe Interpolation innerhalb des Farbraums erforderlich ist, um die Farbe umzuwandeln. Ein effizientes Interpolieren zwischen Werten in großen CLUTs ist in dem U. S. -Patent Nr. 5,748,176 mit dem Titel "Multi-Variable Colorimeter Data Access by Iterative Interpolation and Subdivision" von Jay S. Gondek, der Anmelderin der vorliegenden Erfindung zugewiesen und hierin in seiner Gesamtheit durch Bezugnahme aufgenommen, beschrieben.
  • Oft enthält die CLUT Daten zur Annäherung einer Transformation von einem RGB-System zu einem CMGS-System, was die Korrelation zwischen zwei Farbmodellen und/oder die Wiedergabe von Farbbildern auf unterschiedlichen Vorrichtungen erleichtert. Diese Transformationen beinhalten oft die Umwandlung von unter Verwendung der additiven Primärfarben Rot, Grün und Blau (RGB) wiedergegebenen Bildern für einen Computervideomonitor in die subtraktiven Primärfarben Cyan, Magenta, Gelb und Schwarz (CMGS) zum Drucken auf einer Farbdruckvorrichtung.
  • Gemäß der vorliegenden Erfindung werden für jede Vorrichtung entwickelte CLUTs durch Implementierungen der vorliegenden Erfindung modifiziert und verwendet, um eine Bildverarbeitung anstelle von Farbtransformationen durchzuführen. Fig. 2 ist ein Flußdiagramm, das die Operationen liefert, die einem Erzeugen dieser Einträge in die CLUT zugeordnet sind, wie diese durch ein Bildverarbeitungssystem verwendet wird, das gemäß Implementierungen der vorliegenden Erfindung entworfen ist.
  • Zu Beginn wird eine Farbpalette für eine Bilddarstellungsvorrichtung gesammelt. Die Farbpalette weist den Bereich verfügbarer Farben auf, die die Vorrichtung reproduzieren kann (202). Wie oben beschrieben ist, hängt das zur Darstellung der Farbpalette verwendete Dreifarbmodell von dem Typ von Vorrichtung und Verfahren ab, das die Vorrichtung verwendet, um Farbbilder zu erzeugen. Farbdrucker, die das CGMS-Farbmodell verwenden, weisen eine entsprechende Farbpalette auf, die die Wirkung eines Kombinierens jeder Farbe von Cyan, Gelb und Magenta in verschiedenen Kombinationen und Mengen miteinander darstellt. Ähnlich weisen Farb-CRT- Anzeigevorrichtungen, die das RGB-Farbmodell verwenden, eine Farbpalette auf, die die Wirkung eines Kombinierens jeder Farbe von rot, grün und blau miteinander auf der Anzeigevorrichtung beschreibt.
  • Ein Darstellen der für diese und andere Rastervorrichtungen anzeigbaren Farben ist ein Teilsatz des Gesamtfarbraums, der durch die CIE-Farbartdiagramme dargestellt wird. Anstelle von CIE-Farbartdiagrammen ist ein RGB-Raum oder ein CGMS-Raum allgemein unter Verwendung eines kartesischen Koordinatensystems dargestellt, bei dem die additiven RGB- oder die subtraktiven CGMS-Primärfarben entlang gegenüberliegender Enden der X-, Y- und Z-Achse dargestellt sind. Natürlich sind auch andere Farbmodelldarstellungen möglich und Aspekte der vorliegenden Erfindung sind nicht auf nur das RGB- und das CGMS-Farbmodell beschränkt. Dieses kartesische Koordinatensystem wird durch das U.S.-Patent Nr. 5,748,176 mit dem Titel "Multi-Variable Colorimeter Data Access by Iterative Interpolation and Subdivisions" verwendet, um wirksam zwischen Einträgen in der CLUT zu interpolieren und wirksam den dynamischen Bereich ohne wesentliche Hardware- oder andere algorithmische Operationen zu verbessern.
  • Sobald die Farbpalette für eine Vorrichtung bestimmt ist, werden unterschiedliche Regionen von Farben, die die Farbpalette in einer Raum-CLUT darstellen, einer oder mehreren Bildverbesserungsoperationen zugeordnet (204). Einträge in der Raum-CLUT können einen Index oder eine eingebettete Datenbankabfrage verwenden, um auf die Verbesserungsoperationen in einer separaten Datenbank zuzugreifen. Alternativ kann die Raum-CLUT ausreichend Raum aufweisen, um geeignete Algorithmusoperationen und/oder Faltungen zur Verbesserung der Bilder direkt zu speichern.
  • Gemäß der vorliegenden Erfindung werden Farbschemata, die häufig in Bildern zu finden sind, durch die Anwendung bestimmter Verbesserungs- oder Bildverarbeitungsoperationen verbessert. Die Raum-CLUT verweist auf die verschiedenen Farbschemata mit den spezifischen Verbesserungsoperationen, wodurch das Bildverbesserungsverfahren erleichtert wird. Durch ein Verweisen auf Segmente des Bildes nach Farbe empfangen typische Objekte oder Szenen in dem Bild den geeignetsten Typ von Bildverbesserung. Umgekehrt werden andere Abschnitte des Bildes, die andere Farbschemata aufweisen, nicht durch ungeeignete Bildverbesserungsoperationen verarbeitet.
  • Bei einer Implementierung z. B. sind Schattierungen von grün in der Raum-CLUT Schärfungsroutinen zugeordnet. Blätter, Gras, Bäume, Laub und andere ähnliche Objekte, die üblicherweise Schattierungen von Grün zugeordnet sind, werden geschärft, wodurch die Wahrnehmung dieser Objekte in dem Bild verbessert wird. Ähnlich sind Fleischtonfarben in der Raum-CLUT Glättungsroutinen zugeordnet und reduzieren so Artefakte, Rauschen und andere unerwünschte Elemente, die manchmal bei den Hauttönen von Menschen, die in Bildern erscheinen, auftauchen. Ferner reduziert ein Segmentieren dieser Regionen von Farben gemäß der vorliegenden Erfindung den Grad, zu dem Fleischtonfarben in einem Photo unkorrekterweise ein Schärfen empfangen oder Schattierungen von grün in einem Photo unbeabsichtigt geglättet werden. Andere Farbregionen in der Raum-CLUT können auch einer Glättungs-, einer Schärfungs- oder einer anderen Verbesserungsoperation zugeordnet sein, die einer Region von Farben oder einem Spektrum von Farben in einer logischen Gruppierung eng zugeordnet sind.
  • Die Raum-CLUT wird für Bildverarbeitungsvorrichtungen verfügbar gemacht, sobald Verbesserungsoperationen Einträgen in der Raum-CLUT zugeordnet sind (206). Die Bildverarbeitungsvorrichtungen umfassen Anzeigekartenvorrichtungen oder eine andere Bildverarbeitungsausrüstung, die verwendet wird, um Bilder auf Computern oder einer computerbasierten Ausrüstung wiederzugeben. Die tatsächliche Raum-CLUT wird unter Verwendung von Anwendungsprogrammierungsschnittstellen (API), Systemaufrufen und anderen Schnittstellen verfügbar gemacht, die typischerweise verwendet werden, um herkömmliche CLUTs, die für Farbtransformationen anstelle von Raumtransformationen verwendet werden, schnittstellenmäßig zu verbinden. Die Raum-CLUT kann z. B. direkt in einem Betriebssystem oder innerhalb von Vorrichtungstreibern vorgesehen sein, die entworfen sind, um eine schnittstellenmäßige Verbindung zwischen dem Betriebssystem und Bildverarbeitungsvorrichtungen herzustellen, die einem Computer oder einer computerbasierten Vorrichtung zugeordnet sind.
  • Fig. 3 ist ein Diagramm, das die Operationen darstellt, die einer Verwendung einer Raum-CLUT zugeordnet sind, um bestimmte Farbgruppierungen in einem Bild zu verbessern. Zu Beginn empfängt die Verbesserungsoperation ein Pixelbild zur Verbesserung (300).
  • Ein Probenpixelfenster und ein Eingangspixel in dem Pixelbild werden zur Bestimmung einer Eingangsfarbe und der entsprechenden Verbesserungsoperation ausgewählt (302). Bei einer Implementierung ist das Eingangspixel in der Mitte eines Pixelfensters, das entweder eine 5 × 5-Abmessung, eine kleiner 3 × 3-Abmessung oder eine andere Abmessung aufweist. Ein Verwenden eines kleineren Pixelfensters ermöglicht es, daß die Verarbeitung schneller auftritt, während die große Pixelabmessung einen Kompromiß mit längeren Verarbeitungszeiten zugunsten einer besseren Genauigkeit eingeht. Jede resultierende Verbesserungsoperation modifiziert das Eingangspixel und das Pixelfenster, bevor das Probenpixelfenster verschoben wird, um einen anderen Bereich des Bildes zu bedecken. Ein Fortfahren mit dieser Verbesserungsoperation hinsichtlich des Eingangsbildes erzeugt ein verbessertes Ausgangsbild mit den gleichen Abmessungen gemäß der vorliegenden Erfindung.
  • Die Eingangsfarbe des Pixelfensters wird allgemein durch ein Nehmen eines mittleren gewichteten Durchschnitts der Werte in dem Pixelfenster bestimmt. Alternativ kann die Eingangsfarbe durch ein Verwenden eines gewichteten Durchschnitts der Werte in dem Pixelfenster ohne die besondere Hervorhebung der Farbe, die durch das Eingangspixel in der Mitte des Pixelfensters beigetragen wird, bestimmt werden. Eine weitere Alternative kann die Eingangsfarbe, die dem Eingangspixel in der Mitte des Pixelfensters zugeordnet ist, verwenden, anstatt andere Farbbestimmungsberechnungen durchzuführen.
  • Auf die identifizierte Eingangsfarbe wird in der Raum-CLUT verwiesen, um eine geeignete Verbesserungsoperation zu lokalisieren (304). Ein Identifizieren der Eingangsfarbe in der Raum-CLUT beinhaltet ein Vergleichen der Eingangsfarbe mit Einträgen in der Raum-CLUT unter Verwendung des geeigneten Farbmodells. In einigen Fällen kann es notwendig sein, die Eingangsfarbe in ein Farbmodell umzuwandeln, das kompatibel mit Einträgen in der Raum-CLUT ist (d. h. RGB zu CGMS oder CGMS zu RGB).
  • Je größer die Raum-CLUT ist, desto höher ist die Wahrscheinlichkeit, daß die spezifische Farbkombination, die der Eingangsfarbe zugeordnet ist, sofort in der Raum-CLUT identifiziert wird. In einigen Fällen jedoch stimmt die Eingangsfarbe selbst dann nicht mit einem Eintrag in der Raum-CLUT überein, wenn der gleiche 3D-Farbraum verwendet wird (306). Um den am nähesten übereinstimmenden Eintrag in der Raum-CLUT zu identifizieren, werden Einträge in der Raum-CLUT interpoliert, bis eine Übereinstimmung mit der Eingangsfarbe lokalisiert wird. Eine wirksame Interpolation von Einträgen in einer CLUT ist weiter in dem U. S. -Patent Nr. 5,748,176 mit dem Titel "Multi-Variable Colorimeter Data Access by Iterative Interpolation and Subdivision" beschrieben. Mehrere Iterationen einer Interpolation (310) und einer Übereinstimmung (306) der Eingangsfarbe mit Einträgen in der Raum-CLUT können auftreten, bis eine Übereinstimmung gefunden wird.
  • Bei einer Implementierung wird auf den übereinstimmenden Eintrag in der Raum-CLUT zugegriffen und die entsprechende Verbesserungsoperation wird identifiziert (308). Diese Verbesserungsoperation wird aus der Filterdatenbank 110 erhalten und an die Filterauswahl 106 und die Filterverarbeitung 108 in Fig. 1 geliefert und verwendet, um das Eingangspixel 105 und das Pixelfenster 104 zu verbessern. Alternativ wird die Verbesserungsoperation, die die Raum-CLUT identifiziert, in Kombination mit anderen Faktoren zur Bestimmung, welche Filter von der Filterdatenbank 110 angewendet werden sollen, verwendet. Diese Faktoren könnten z. B. einen lokalen Gradienten und eine mittlere absolute Abweichung, die dem Eingangspixel und dem Pixelfenster zugeordnet ist, umfassen. Ein Pixelklassifizierungsverfahren und eine -Vorrichtung, die in der U.S.-Patentanmeldung mit dem Titel "Verfahren und Vorrichtung zur parametrisierten Glättung und Schärfung", die am gleichen Tag wie die vorliegende Erfindung eingereicht wurde, beschrieben sind, liefern zusätzliche Faktoren zur Auswahl von Glättungs- und Schärfungsverbesserungsfiltern unter Verwendung von Berechnungen eines lokalen Gradienten und einer mittleren absoluten Abweichung, wie zuvor beschrieben wurde.
  • Fig. 4 ist ein exemplarisches Tabellendiagramm, das die in einer Raum-CLUT 400 gespeicherten Informationen gemäß der vorliegenden Erfindung liefert. Folglich umfaßt die Raum- CLUT 400 Farbgruppen 402, 3D-Farbraumidentifizierer 404, einen Typ-1-Verbesserungsidentifizierer 406, einen Typ-2- Verbesserungsidentifizierer 408 und einen Typ-3-Verbesserungsidentifizierer 410. Ein Verbesserungsfilterindex 412 ist enthalten, um einen Bereich von Filtertypen entlang eines Kontinuums zu identifizieren. Eine Implementierung der Raum-CLUT 400 verwendet z. B. einen Verbesserungsfilterindex 412 von 0,0, um eine maximale Glättungsverbesserung anzuzeigen, einen Verbesserungsfilterindex von 0,5, um keine Glättung oder Schärfung anzuzeigen, und 1,0, um eine Anwendung einer maximalen Schärfungsoperation hinsichtlich eines Eingangspixels und eines entsprechenden Pixelfensters anzuzeigen.
  • Diese bestimmte Tabelle unterteilt die Farbpalette für eine Bildverarbeitungsvorrichtung in vier unterschiedliche Gruppen. Andere Implementierungen der vorliegenden Erfindung könnten die Farbpalette in mehr oder weniger Gruppen von Farben unterteilen. Jede Farbgruppierung ist einem oder mehreren unterschiedlichen Verbesserungsfiltern zugeordnet. Der Farbtyp 1 z. B. ist 3D-Farbraumidentifizierern zugeordnet, die von Xm, Ym, Zm zu Xm + 3, Ym + 3, Zm + 3 variieren. Bei diesem Beispiel sind die Einträge im Farbtyp 1 alle der gleichen Typ-2-Verbesserung zugeordnet. Diese Typ-2-Verbesserung könnte eine Schärfungsverbesserung, eine Glättungsverbesserung oder jeder andere Typ von Verbesserung sein, um hinsichtlich des Eingangspixels und des zugeordneten Pixelfensters durchgeführt zu werden. Farben, die als Farbtyp 2, Farbtyp 3 und Farbtyp 4 identifiziert sind, wirken auf eine ähnliche Weise hinsichtlich Einträgen in dem Tabellendiagramm aus Fig. 4.
  • Eine Raum-CLUT 500, die gemäß der vorliegenden Erfindung entworfen ist, ist in Fig. 5 bereitgestellt und korreliert Schärfungs- und Glättungstyp-Faltungsfilter mit einer oder mehreren unterschiedlichen Farben. In der Raum-CLUT 500 umfassen Farbgruppen 502 dunkle Farben, Fleischtöne, Grünfarben und helle Farben. Diese Farben in den Farbgruppen 502 sind jeweils 3D-Farbraumidentifizierern 504 zugeordnet, wie in Fig. 5 dargestellt ist. Obwohl diese 3D-Farbraumidentifizierer 504 in einer Sequenz erscheinen, können andere Implementierungen auch Farbraumeinträge verwenden, die außerhalb der Sequenz sind, unterschiedlichen mathematischen Strukturen folgen oder zufällig in die Raum-CLUT 500 eingegeben sind.
  • Bei diesem Beispiel sind dunkle Farben und Fleischtöne von den Farbgruppen 502 Glättungsverbesserungsoperationen 508 zugeordnet. Dies wird durchgeführt, um das höhere Sensorrauschen zu reduzieren, das üblicherweise in den dunkleren Farben von Bildern zu finden ist, und um in diesem Fall von Fleischtönen Rauschen, Artefakte und sogar Makel zu reduzieren, die manchmal auf der Haut von Menschen in Bildern zu finden sind. Im Vergleich dazu sind Grünfarben in der Farbgruppe 502 einer Schärfungsverbesserung 506 zugeordnet, um das Detail, das Abschnitten eines Bildes zugeordnet ist, die Schattierungen von grün aufweisen, zu erhöhen. Dies ist nützlich zum Herausbringen der Details von Bäumen und anderem Laub und verbessert allgemein ein Bild. Ein Trennen der Farben und Verbesserungsoperationen auf diese Weise hält Laub- und Hochfrequenzdetailabschnitte eines Bildes klar und deutlich, während Artefakte und Rauschen, die manchmal Gesichtern von Menschen oder anderen Bereichen mit Hauttonfarben zugeordnet sind, nicht unabsichtlich geschärft werden.
  • Fig. 6 ist ein Blockdiagramm, das die Typen von Vorrichtungen darstellt, die in der Lage sind, eine Bildverarbeitungsvorrichtung 604, die gemäß der vorliegenden Erfindung entworfen ist, zu verwenden. Bei diesem Beispiel umfassen Bildquellenvorrichtungen 602 eine Massenspeichervorrichtung 608, eine Netzquelle 610, eine Digitalkamera 612, einen Scanner 614 und einen Multifunktionsdrucker 616. Diese Bildquellenvorrichtungen 602 erzeugen entweder Bilder oder liefern gespeicherte Bilder an die Bildverarbeitungsvorrichtung 604 zur Verarbeitung und Verbesserung gemäß der vorliegenden Erfindung. Bildzielvorrichtungen 606 umfassen einen Drucker 618, eine Anzeige 620, ein Netzziel 622, eine Massenspeichervorrichtung 624 und einen Multifunktionsdrucker 626. Diese Bildzielvorrichtungen 604 empfangen ein Bild, das gemäß der vorliegenden Erfindung unter Verwendung einer Raum-CLUT und wahlweise anderer Typen von Verbesserungsauswahloperatoren verbessert wird. Während dies nicht dargestellt ist, kann ein Computer, der arbeitet, um eine oder mehrere der Funktionalitäten zu liefern, die Bildquellenvorrichtungen 602 und Bildzielvorrichtungen 604 zugeordnet sind, als eine oder mehrere Bildquellenvorrichtungen 602, eine oder mehrere Bildzielvorrichtungen 604 oder eine Kombination von beiden arbeiten.
  • Fig. 7 ist eine Blockdiagrammdarstellung einer Bildverarbeitungsvorrichtung 700 zur Bildverarbeitung gemäß einer Implementierung der vorliegenden Erfindung. Bei diesem Beispiel umfaßt eine Bildverarbeitungsvorrichtung 700 einen primären Speicher 702, einen Bildtreiber 704, einen Prozessor 706, einen Programmspeicher 708, ein Netzkommunikationstor 710, einen sekundären Speicher 712 und Eingangs- Ausgangstore 714.
  • Die Bildverarbeitungsvorrichtung 700 kann als ein Teil eines Computersystems enthalten oder kann in einen oder mehrere unterschiedliche Typen einer Peripherieausrüstung entworfen sein. Bei einem Computersystem empfängt die Bildverarbeitungsvorrichtung 700 Graphiken von einer Anwendung und verbessert die Bilder gemäß der vorliegenden Erfindung. Software und Steuerungen, die durch die Bildverarbeitungsvorrichtung 700 verwendet werden, können sich abhängig von den Implementierungsentwurfanforderungen in der Anwendung, in Vorrichtungstreibern, in dem Betriebssystem oder einer Kombination dieser Bereiche befinden. Alternativ könnten, wenn die Bildverarbeitungsvorrichtung 700 ein Teil einer Peripherievorrichtung, wie eines Druckers oder einer Anzeige, ist, Bilder ohne ein vollständiges Abhängen von den Verarbeitungsanforderungen eines Computers verbessert werden. Dies würde es z. B. einer alleinstehenden, mit einem Netz verbundenen Bilderzeugungsvorrichtung ermöglichen, ein Bild gemäß der vorliegenden Erfindung zu verarbeiten und zu verbessern, ohne sich auf die gleichzeitige Verfügbarkeit eines Personalcomputers oder einer ähnlichen Rechenvorrichtung zu verlassen. Eine mit einem Netz verbundene Druckervorrichtung könnte z. B. Bilder über ein Netz empfangen und die Bilder gemäß der vorliegenden Erfindung verarbeiten.
  • Implementierungen der vorliegenden Erfindung könnten in eine einzelne, mit einem Netz verbundene Peripherievorrichtung installiert oder eingebaut sein, die verbesserte Bilder liefert, ohne eine Aktualisierung von Anwendungen, einem Betriebssystem oder Computervorrichtungen durch das Netz zu erfordern.
  • Der primäre Speicher 702 speichert mehrere Module zur Ausführung und zum Zugriff unter der Steuerung des Prozessors 706 und gewinnt dieselben wieder. Diese Module umfassen: eine Farberfassungs- und Raum-CLUT 718, ein Farbinterpolationsmodul 720, ein Pixelklassifizierungsmodul (optional) 722, ein Pixelfilterungsmodul 724, ein Bilddarstellungsmodul 726 und ein Laufzeitmodul 728.
  • Die Farberfassungs- und Raum-CLUT 718 empfängt ein Eingangspixel und ein Pixelfenster zur Verarbeitung. Farben werden erfaßt und Querverweise auf Einträge in der Raum- CLUT werden gemacht, um auf Verbesserungsoperationen oder Zuordnungen zu Verbesserungsoperationen zuzugreifen. Bei einer Implementierung werden Verbesserungsoperationen oder -Algorithmen in einem Speicherbereich innerhalb der Farberfassungs- und Raum-CLUT 718 gespeichert. Alternativ identifizieren die Einträge in der Farberfassungs- und Raum-CLUT 718 Verbesserungsoperationen, die an anderer Stelle gespeichert sind, und diese Einträge werden verwendet, um die tatsächlichen Verbesserungsoperationen unter Verwendung unterschiedlicher Zugriffsmethodiken zu beeinflussen oder auszuwählen.
  • Das Farbinterpolationsmodul 720 kann aufgerufen werden, um den geeigneten Eintrag in der Raum-CLUT für eine bestimmte Eingangsfarbe zu identifizieren. Wie zuvor beschrieben ist, können einige Eingangsfarben nicht mit Einträgen in der Raum-CLUT in Übereinstimmung gebracht werden; ein Interpolieren zwischen existierenden Einträgen in der Raum-CLUT bestimmt eine machbare Alternative. Bei einem Ausführungsbeispiel ist das Interpolationsverfahren zum Auswählen des Eintrags in der Raum-CLUT gemäß dem U.S.-Patent mit dem Titel "Multi-Variable Colorimeter Data Access by Iterative Interpolation and Subdivision" entworfen.
  • Das Pixelklassifizierungsmodul 722 ist ein optionales Modul, das in Verbindung mit der Raum-CLUT verwendet wird, um eine geeignete Verbesserungsoperation zum Verbessern eines Abschnittes eines oder eines gesamten Bildes zu identifizieren. Das Pixelklassifizierungsmodul 722 kann z. B. Berechnungen eines Gradienten und einer mittleren Abweichung verwenden, um Pixel zum Schärfen und Glätten zu klassifizieren. Ein Kombinieren dieser Bestimmungen mit Interpolationen und Auswahlen aus Einträgen in die Raum-CLUT kann diese Filterverbesserungsauswahlen modifizieren und schärfere Grünlaub- und glattere Hauttöne in einem Bild liefern.
  • Das Pixelfilterungsmodul 724 wendet die ausgewählten Filter auf das Pixel oder die Pixel von einem Bild an. Die resultierenden Pixel, die durch das Pixelfilterungsmodul 722 gelangen, werden unter Verwendung von Verbesserungsoperationen gemäß einer Implementierung der vorliegenden Erfindung verbessert. Das Bilddarstellungsmodul 726 sendet einen Block oder Strom von Bilddaten über einen Bus 716, der die verbesserten Pixel umfaßt, und auf die Bilderzeugungsvorrichtung zur Anzeige, zum Drucken oder einer anderen visuellen Darstellung. Zusätzliche Funktionen in dem Bilddarstellungsmodul können eine Datenzwischenspeicherung, Komprimierung, Verschlüsselung und andere Bildverarbeitungsoperationen umfassen. Das Laufzeitmodul 728 kann ein Echtzeit-Ausführungs- oder Betriebssystem oder ein herkömmliches präemptives Betriebssystem sein, das die Zuteilung von Betriebsmitteln, einer Operation und Verarbeitung hinsichtlich der Bildverarbeitungsvorrichtung 700 koordiniert.
  • Der Bildtreiber 704 ist schnittstellenmäßig mit einem oder mehreren unterschiedlichen Typen von Bilderzeugungsvorrichtungen verbunden, die eine Signal- und eine Protokollebenenkommunikation liefern, die geeignet zur Kommunikation mit der bestimmten Vorrichtung ist.
  • Der Prozessor 706 kann ein Universalprozessor sein, der x86-Instruktionen oder ähnliche Universalinstruktionen ausführt. Alternativ kann der Prozessor 706 abhängig von den Implementierungsanforderungen ein eingebetteter Prozessor sein, der in einen ROM eingebrannte Instruktionen oder einen Mikrocode ausführt.
  • Der Programmspeicher 708 liefert einen zusätzlichen Speichern zum Speichern oder Verarbeiten von durch den Prozessor 706 verwendeten Instruktionen. Dieser Bereich kann als ein primärer Bereich zur Ausführung von Instruktionen oder als ein zusätzlicher Cache-Bereich zum Speichern häufig verwendeter Instruktionen oder Makro-Typ-Routinen wirken.
  • Das Netzkommunikationstor 710 liefert eine direkte Netzverbindbarkeit mit der Bildverarbeitungsvorrichtung 700. Dieses Tor kann einen Hochgeschwindigkeitsnetzzugriff unter Verwendung von Protokollen, wie z. B. TCP/IP, liefern oder kann einen seriellen Einwähl-Zugriff über eine Modemverbindung unter Verwendung serieller Netzprotokolle, wie z. B. PPP, SLIP, oder ähnlicher Typen einer Kommunikation zu Kommunikations- oder Diagnosezwecken liefern.
  • Der sekundäre Speicher 712 ist geeignet zum Speichern ausführbarer Computerprogramme, einschließlich Programmen, die die vorliegende Erfindung ausführt, und Daten, die durch die vorliegende Erfindung verwendet werden. Dieser Bereich kann eine herkömmliche Speicher- oder eine Festkörper- Speicherspeicherung sein.
  • Die Eingangs-/Ausgangs-(I/O-)Tore 714 sind mit der Bildverarbeitungsvorrichtung 700 durch einen Bus 716 gekoppelt. Die Eingangs-/Ausgangs-Tore 714 ermöglichen den Empfang und die Übertragung von Daten (z. B. Text, Bilder, Videos und Animationen) in analoger oder digitaler Form über andere Typen von Kommunikationsverbindungen, wie z. B. eine serielle Verbindung, ein lokales Netz, eine drahtlose Verbindung und eine parallele Verbindung. Eingangs-/Ausgangs- (I/O-)Tore 612 ermöglichen eine Kommunikation mit einer breiten Vielzahl von Peripherievorrichtungen, einschließlich Tastaturen, Zeigervorrichtungen (Maus, Tastfeld und Berührungsbildschirm) und Druckern. Alternativ können separate Verbindungen (separate Busse) verwendet werden, um schnittstellenmäßige Verbindungen mit diesen Peripherievorrichtungen unter Verwendung einer Kombination von Kleincomputersystemschnittstelle (SCSI), Universal-Seriell-Bus (USB), IEEE 1394/Firewire, internationaler Vereinigung für Personalcomputerspeicherkarten (PCMCIA) oder einem anderen geeigneten Protokoll zu bilden.
  • In der Praxis kann die Erfindung in einem digitalen elektronischen Schaltungsaufbau oder in einer Computerhardware, -firmware, -software oder in einer Kombination derselben implementiert sein. Eine Vorrichtung der Erfindung kann in einem Computerprogrammprodukt implementiert sein, das greifbar in einer maschinenlesbaren Speichervorrichtung zur Ausführung durch einen programmierbaren Prozessor ausgeführt ist; und Verfahrensschritte der Erfindung können durch einen programmierbaren Prozessor durchgeführt werden, der ein Programm von Instruktionen ausführt, um Funktionen der Erfindung durch ein Wirken auf Eingangsdaten und ein Erzeugen einer Ausgabe durchzuführen. Die Erfindung kann mit Vorteil in einem oder mehreren Computerprogrammen implementiert sein, die auf einem programmierbaren System ausführbar sind, das zumindest einen programmierbaren Prozessor, der gekoppelt ist, um Daten und Instruktionen von einem Datenspeichersystem zu empfangen und Daten und Instruktionen an dasselbe zu übertragen, zumindest eine Eingangsvorrichtung und zumindest eine Ausgangsvorrichtung umfaßt. Jedes Computerprogramm kann in einer Prozedur- oder Objektorientierten Programmiersprache auf hoher Ebene oder in einer Anordnung oder einer Maschinensprache, falls erwünscht, implementiert sein; und in jedem Fall kann die Sprache eine kompilierte oder interpretierte Sprache sein. Geeignete Prozessoren umfassen beispielhaft sowohl Universal- als auch Spezialmikroprozessoren. Allgemein empfängt ein Prozessor Instruktionen und Daten von einem Nur-Lese- Speicher und/oder einem Direktzugriffsspeicher. Allgemein umfaßt ein Computer eine oder mehrere Massenspeichervorrichtungen zum Speichern von Datendateien; derartige Vorrichtungen umfassen Magnetplatten, wie z. B. interne Festplatten und austauschbare Platten; magneto-optische Platten und optische Platten. Speichervorrichtungen, die geeignet zum greifbaren Ausführen von Computerprogramminstruktionen und Daten sind, umfassen alle Formen eines nicht-flüchtigen Speichers, einschließlich beispielhaft Halbleiterspeichervorrichtungen, wie z. B. EPROM, EEPROM und Flash-Speichervorrichtungen; Magnetplatten, wie z. B. interne Festplatten und austauschbare Platten; magneto-optischer Platten und CD- ROM-Platten. Jedes der vorangegangenen Elemente kann durch ASICs (anwendungsspezifische integrierte Schaltungen) ergänzt oder in dieselben eingebaut sein.

Claims (40)

1. Verfahren zum Verarbeiten eines Bildes, mit folgenden Schritten:
Empfangen (300) eines Eingangspixels und eines Pixelfensters, das dem Bild zugeordnet ist;
Identifizieren (302) einer Farbe des Pixelfensters, um eine Verarbeitung des Eingangspixels und des Pixelfensters, das dem Bild zugeordnet ist, zu erleichtern; und
Lokalisieren (304) der Farbe und der Zuordnung zu einer entsprechenden Farbverbesserungsoperation in einer Farbnachschlagtabelle.
2. Verfahren gemäß Anspruch 1, bei dem das Pixelfenster gemäß einem ersten Farbmodell ist und die Farbnachschlagtabelle gemäß einem zweiten Farbmodell ist, wobei das Verfahren ferner ein Umwandeln der Farben in dem Pixelfenster von dem ersten Farbmodell in das zweite Farbmodell aufweist.
3. Verfahren gemäß Anspruch 1 oder 2, bei dem die Bildverbesserungsoperation durch die Farbe identifiziert wird.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, bei dem die Bildverbesserungsoperation in die Farbnachschlagtabelle eingebettet ist.
5. Verfahren gemäß einem der Ansprüche 1 bis 4, das ferner folgenden Schritt aufweist:
Durchführen der Bildverbesserungsoperation, die in der Farbnachschlagtabelle identifiziert und der Farbe zugeordnet ist.
6. Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem das Pixelfenster einem 3 × 3-Fenster von Pixelintensitätswerten entspricht.
7. Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem das Pixelfenster einem 5 × 5-Fenster von Pixelintensitätswerten entspricht.
8. Verfahren gemäß einem der Ansprüche 1 bis 7, bei dem die identifizierte Farbe unter Verwendung eines gewichteten Durchschnitts von Farben in dem Eingangspixelfenster berechnet wird.
9. Verfahren gemäß Anspruch 8, bei dem der gewichtete Durchschnitt ein mittlerer gewichteter Durchschnitt ist.
10. Verfahren gemäß einem der Ansprüche 1 bis 9, bei dem die identifizierte Farbe unter Verwendung der Farbe, die dem Eingangspixel zugeordnet ist, berechnet wird.
11. Verfahren gemäß einem der Ansprüche 1 bis 10, bei dem das Lokalisieren (304) der Farbe in der Farbnachschlagtabelle ferner folgende Schritte aufweist:
Bestimmen (306), ob die identifizierte Farbe mit einem Eintrag in der Farbnachschlagtabelle übereinstimmt;
direktes Verwenden des Eintrags in der Farbnachschlagtabelle, wenn die Bestimmung anzeigt, daß die identifizierte Farbe übereinstimmt; und
Erzeugen eines interpolierten Eintrags in der Farbnachschlagtabelle, wenn die Bestimmung anzeigt, daß die identifizierte Farbe nicht direkt mit einem Eintrag in der Nachschlagtabelle übereinstimmt.
12. Verfahren gemäß Anspruch 11, bei dem die Interpolation (310) unter Verwendung einer iterativen Interpolation und einer Unterteilung einer Farbtabelle durchgeführt wird.
13. Verfahren gemäß einem der Ansprüche 1 bis 12, bei dem die Verbesserungsoperation eines oder mehrere Pixel in dem Eingangspixelfenster schärft (308, 506).
14. Verfahren gemäß Anspruch 13, bei dem die Schärfungsverbesserungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als grün klassifiziert sind (204, 506, 502).
15. Verfahren gemäß einem der Ansprüche 1 bis 14, bei dem die Verbesserungsoperation eines oder mehrere Pixel in dem Eingangspixelfenster glättet (308, 508).
16. Verfahren gemäß Anspruch 15, bei dem die Glättungsverbesserungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als Fleischtöne klassifiziert sind (204, 308, 502, 508).
17. Verfahren gemäß Anspruch 15, bei dem die Glättungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als dunkel klassifiziert sind.
18. Verfahren gemäß Anspruch 13, bei dem die Schärfungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als hell klassifiziert sind.
19. Verfahren gemäß einem der Ansprüche 1 bis 18, das ferner folgende Schritte aufweist:
Empfangen einer Pixelklassifizierung, die dem Eingangspixel und dem Eingangspixelfenster zugeordnet ist; und
Auswählen einer Bildverbesserungsoperation, die durch sowohl die Pixelklassifizierung als auch die Zuordnung zu einer Bildverbesserungsoperation von der Farbnachschlagtabelle beeinflußt wird.
20. Verfahren gemäß Anspruch 19, bei dem die Pixelklassifizierung anzeigt, daß eine Glättungsoperation durchgeführt werden soll.
21. Verfahren gemäß Anspruch 19, bei dem die Pixelklassifizierung anzeigt, daß eine Schärfungsoperation durchgeführt werden soll.
22. Bildverarbeitungsvorrichtung mit folgenden Merkmalen:
einem Speicherbereich (702), der konfiguriert ist, um ein Eingangspixel und ein Pixelfenster, das dem Bild zugeordnet ist, zu empfangen;
einem Farberfassungsmodul (718), das eine Farbe des Pixelfensters identifiziert, um eine Verarbeitung des Eingangspixels und des Pixelfensters, das dem Bild zugeordnet ist, zu ermöglichen; und
einer Farbnachschlagtabelle (718), die die Farbe lokalisiert und die Farbe einer entsprechenden Bildverbesserungsoperation zuordnet.
23. Vorrichtung gemäß Anspruch 22, die ferner folgendes Merkmal aufweist:
einen Prozessor (706), der die Bildverbesserungsoperation durchführt, die in der Farbnachschlagtabelle identifiziert und der Farbe zugeordnet ist.
24. Vorrichtung gemäß Anspruch 22 oder 23, bei der die identifizierte Farbe unter Verwendung eines mittleren gewichteten Durchschnitts von Farben in dem Eingangspixelfenster berechnet wird.
25. Vorrichtung gemäß einem der Ansprüche 22 bis 24, bei der das Lokalisieren der Farbe in der Farbnachschlagtabelle (718) ferner folgendes Merkmal aufweist:
ein Farbinterpolationsmodul (720), das bestimmt, ob die identifizierte Farbe mit einem Eintrag in der Farbnachschlagtabelle übereinstimmt, den Eintrag in der Farbnachschlagtabelle direkt verwendet, wenn die Bestimmung anzeigt, daß die identifizierte Farbe übereinstimmt, und einen interpolierten Eintrag aus der Farbnachschlagtabelle erzeugt, wenn die identifizierte Farbe nicht direkt mit einem Eintrag in der Farbnachschlagtabelle übereinstimmt.
26. Vorrichtung gemäß Anspruch 25, bei der das Farbinterpolationsmodul (720) eine iterative Interpolation und eine Unterteilung einer Farbtabelle verwendet.
27. Vorrichtung gemäß einem der Ansprüche 22 bis 26, bei der die Verbesserungsoperation eines oder mehrere Pixel in dem Eingangspixelfenster schärft (308, 506).
28. Vorrichtung gemäß Anspruch 27, bei der die Schärfungsverbesserungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als grün klassifiziert sind (204, 506, 502).
29. Vorrichtung gemäß einem der Ansprüche 22 bis 28, bei der die Verbesserungsoperation eines oder mehrere Pixel in dem Eingangspixelfenster glättet (308, 508).
30. Vorrichtung gemäß Anspruch 29, bei der die Glättungsverbesserungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als Fleischtöne klassifiziert sind (204, 308, 502, 508).
31. Vorrichtung gemäß Anspruch 29, bei der die Glättungsverbesserungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als dunkel klassifiziert sind.
32. Vorrichtung gemäß Anspruch 27, bei der die Schärfungsoperation Farben zugeordnet ist, die in der Farbnachschlagtabelle als hell klassifiziert sind.
33. Bildverarbeitungsvorrichtung mit folgenden Merkmalen:
einer Einrichtung zum Empfangen eines Eingangspixels und eines Pixelfensters, das dem Bild zugeordnet ist (300);
einer Einrichtung zur Farberfassung, die eine Farbe des Pixelfensters identifiziert, um eine Verarbeitung des Eingangspixels und des Pixelfensters, das dem Bild zugeordnet ist, zu ermöglichen; und
einer Einrichtung zum Farbnachschlag, die die Farbe lokalisiert und die Farbe einer entsprechenden Bildverbesserungsoperation zuordnet (304).
34. Vorrichtung gemäß Anspruch 33, die ferner folgendes Merkmal aufweist:
eine Prozessoreinrichtung zum Durchführen der Bildverbesserungsoperation, die in der Farbnachschlagtabelle identifiziert und der Farbe zugeordnet ist.
35. Computerprogrammprodukt, das auf einem computerlesbaren Medium gespeichert ist, das Instruktionen aufweist, die betreibbar sind, um zu bewirken, daß ein programmierbarer Prozessor folgende Schritte durchführt:
Empfangen (300) eines Eingangspixels und eines Pixelfensters, das dem Bild zugeordnet ist;
Identifizieren (302) einer Farbe des Pixelfensters, um eine Verarbeitung des Eingangspixels und des Pixelfensters, das dem Bild zugeordnet ist, zu ermöglichen; und
Lokalisieren (304) der Farbe und der Zuordnung zu einer entsprechenden Bildverbesserungsoperation in einer Farbnachschlagtabelle.
36. Computerprogrammprodukt gemäß Anspruch 35, das ferner Instruktionen aufweist, die betreibbar sind, um zu bewirken, daß der programmierbare Prozessor folgenden Schritt durchführt:
Durchführen der Bildverbesserungsoperation, die in der Farbnachschlagtabelle identifiziert und der Farbe zugeordnet ist.
37. Verfahren zum Erzeugen eines Bildverarbeitungssystems, mit folgenden Schritten:
Sammeln einer Farbpalette, die einer Bilderzeugungsvorrichtung zugeordnet ist, wobei die Farbpalette die Farben umfaßt, die die Bilderzeugungsvorrichtung darstellen kann;
Zuordnen von Regionen von Farben von der Farbpalette zu Bildverbesserungsoperationen, die in einer Farbnachschlagtabelle identifiziert sind; und
Herstellen der Zuordnungen zwischen den Regionen von Farben und den Verbesserungsoperationen, die für eine Bildverarbeitungsvorrichtung verfügbar sind, die in der Lage ist, Bilder zur Darstellung auf der Bilderzeugungsvorrichtung zu erzeugen.
38. Verfahren gemäß Anspruch 37, bei dem das Herstellen der Zuordnungen, die für die Bildverarbeitungsvorrichtung verfügbar sind, ein Bereitstellen einer Anwendungsprogrammierungsschnittstelle (API) in einem Betriebssystem, die auf die Farbnachschlagtabelle zugreift, umfaßt.
39. Verfahren gemäß Anspruch 37, bei dem das Herstellen der Zuordnungen, die für die Bildverarbeitungsvorrichtung verfügbar sind, ein Einbetten der Farbnachschlagtabelle in einen Vorrichtungstreiber umfaßt.
40. Verfahren gemäß Anspruch 37, bei dem das Herstellen der Zuordnungen, die für die Bildverarbeitungsvorrichtung verfügbar sind, ein Speichern der Farbnachschlagtabelle in einem Speicherbereich, der einer Bilderzeugungsvorrichtung zugeordnet ist, umfaßt.
DE10319094.5A 2002-05-01 2003-04-28 Verfahren und Vorrichtung zum Zuordnen einer Bildverbesserung zu einer Farbe Expired - Fee Related DE10319094B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/137,001 US7545976B2 (en) 2002-05-01 2002-05-01 Method and apparatus for associating image enhancement with color
US10/137001 2002-05-01

Publications (2)

Publication Number Publication Date
DE10319094A1 true DE10319094A1 (de) 2003-11-20
DE10319094B4 DE10319094B4 (de) 2016-05-19

Family

ID=29269021

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10319094.5A Expired - Fee Related DE10319094B4 (de) 2002-05-01 2003-04-28 Verfahren und Vorrichtung zum Zuordnen einer Bildverbesserung zu einer Farbe

Country Status (4)

Country Link
US (1) US7545976B2 (de)
JP (1) JP2003331287A (de)
DE (1) DE10319094B4 (de)
GB (1) GB2388737B (de)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7271851B2 (en) * 2003-01-16 2007-09-18 Samsung Electronics Co., Ltd. Adaptive color transient improvement
JP4412704B2 (ja) * 2003-06-09 2010-02-10 キヤノン株式会社 画像処理方法および装置並びにx線撮影装置
US8395577B2 (en) 2004-05-04 2013-03-12 Sharp Laboratories Of America, Inc. Liquid crystal display with illumination control
US7872631B2 (en) 2004-05-04 2011-01-18 Sharp Laboratories Of America, Inc. Liquid crystal display with temporal black point
US7602369B2 (en) 2004-05-04 2009-10-13 Sharp Laboratories Of America, Inc. Liquid crystal display with colored backlight
US7777714B2 (en) 2004-05-04 2010-08-17 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive width
US7898519B2 (en) 2005-02-17 2011-03-01 Sharp Laboratories Of America, Inc. Method for overdriving a backlit display
US8050511B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US8050512B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US9143657B2 (en) 2006-01-24 2015-09-22 Sharp Laboratories Of America, Inc. Color enhancement technique using skin color detection
US8121401B2 (en) 2006-01-24 2012-02-21 Sharp Labortories of America, Inc. Method for reducing enhancement of artifacts and noise in image color enhancement
US7697074B2 (en) * 2006-02-08 2010-04-13 Broadcom Corporation System and method for video processing demonstration
US8941580B2 (en) 2006-11-30 2015-01-27 Sharp Laboratories Of America, Inc. Liquid crystal display with area adaptive backlight
US7961198B2 (en) * 2007-07-27 2011-06-14 Hewlett-Packard Development Company, L.P. Managing color output by appearance intent
US8130236B2 (en) * 2008-02-05 2012-03-06 Aptina Imaging Corporation Systems and methods to achieve preferred imager color reproduction
US8189944B1 (en) * 2008-03-21 2012-05-29 Hewlett-Packard Development Company, L.P. Fast edge-preserving smoothing of images
US7986434B2 (en) * 2008-04-25 2011-07-26 Kabushiki Kaisha Toshiba System and method for color space transformation employing three dimensional linear interpolations
US8781250B2 (en) * 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
EP2315431A4 (de) * 2008-07-14 2012-06-27 Sharp Kk Bildsignalverarbeitungsvorrichtung und bildanzeigevorrichtung
US8988452B2 (en) 2012-10-18 2015-03-24 Intel Corporation Color enhancement via gamut expansion
US8908986B1 (en) 2014-07-23 2014-12-09 Teespring, Inc. Systems and methods for selecting ink colors
KR102552747B1 (ko) * 2016-06-28 2023-07-11 주식회사 엘엑스세미콘 역 톤 매핑 방법
CN106791756A (zh) * 2017-01-17 2017-05-31 维沃移动通信有限公司 一种多媒体数据处理方法及移动终端
GB2567882B (en) * 2017-10-30 2020-09-16 Imagination Tech Ltd Systems and methods for processing a stream of data values
GB2568038B (en) 2017-10-30 2020-12-02 Imagination Tech Ltd Systems and methods for processing a stream of data values
CN112819701B (zh) * 2019-11-15 2022-10-25 中国科学院长春光学精密机械与物理研究所 一种图像去噪方法、系统及电子设备
CN111028186B (zh) * 2019-11-25 2023-07-04 泰康保险集团股份有限公司 一种图像增强方法和装置
US11557265B2 (en) 2020-11-13 2023-01-17 Samsung Electronics Co., Ltd. Perceptual color enhancement based on properties of responses of human vision system to color stimulus
CN113066017B (zh) * 2021-02-27 2023-03-10 华为技术有限公司 一种图像增强方法、模型训练方法及设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61161091A (ja) * 1985-01-08 1986-07-21 Fuji Photo Film Co Ltd 画像処理方法
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
US5428377A (en) 1992-08-11 1995-06-27 Xerox Corporation Color spatial filtering for thermal ink jet printers
DE69428148T2 (de) * 1993-03-24 2002-05-29 Fujifilm Electronic Imaging Farbabänderung von Bildern
US5450500A (en) * 1993-04-09 1995-09-12 Pandora International Ltd. High-definition digital video processor
US5754186A (en) * 1993-05-10 1998-05-19 Apple Computer, Inc. Method and apparatus for blending images
US5528339A (en) * 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
US5748176A (en) * 1995-07-20 1998-05-05 Hewlett-Packard Company Multi-variable colorimetric data access by iterative interpolation and subdivision
US6038348A (en) * 1996-07-24 2000-03-14 Oak Technology, Inc. Pixel image enhancement system and method
US6115022A (en) * 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
US5854859A (en) * 1996-12-27 1998-12-29 Hewlett-Packard Company Image sharpening filter providing variable sharpening dependent on pixel intensity
AU1112199A (en) * 1997-10-24 1999-05-17 Innovative Solutions Group, Inc. Method and apparatus for enhancing cartographic images and identifying and extracting the features therein
US6697107B1 (en) * 1998-07-09 2004-02-24 Eastman Kodak Company Smoothing a digital color image using luminance values
US6192162B1 (en) * 1998-08-17 2001-02-20 Eastman Kodak Company Edge enhancing colored digital images
JP3455123B2 (ja) 1998-12-24 2003-10-14 大日本スクリーン製造株式会社 画像の鮮鋭度強調方法、並びに、その処理を実行するためのプログラムを記録した記録媒体
JP2000277206A (ja) 1999-03-26 2000-10-06 Matsushita Electric Works Ltd ハーネスプラグ
JP3463645B2 (ja) * 2000-03-06 2003-11-05 日本電気株式会社 画像処理装置及びその方法並びに画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP4280404B2 (ja) * 2000-09-12 2009-06-17 キヤノン株式会社 画像処理装置及びその方法
US6665448B1 (en) * 2000-09-29 2003-12-16 Hewlett-Packard Development Company, L.P. Selective smoothing and sharpening of images by generalized unsharp masking
GB2408662B (en) * 2000-10-03 2005-07-27 Colour Comm Ltd Colour system
US6642931B1 (en) * 2000-10-05 2003-11-04 Canon Kabushiki Kaisha Dynamically-generated color look-up table
US6952286B2 (en) * 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
JP4666274B2 (ja) * 2001-02-20 2011-04-06 日本電気株式会社 カラー画像処理装置及びその方法
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
US20030179418A1 (en) * 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor

Also Published As

Publication number Publication date
GB2388737A (en) 2003-11-19
US20070160285A1 (en) 2007-07-12
DE10319094B4 (de) 2016-05-19
US7545976B2 (en) 2009-06-09
JP2003331287A (ja) 2003-11-21
GB2388737B (en) 2005-11-02

Similar Documents

Publication Publication Date Title
DE10319094B4 (de) Verfahren und Vorrichtung zum Zuordnen einer Bildverbesserung zu einer Farbe
EP1231564B1 (de) Digitale lokale Bildeigenschaftssteuerung mittels Masken
DE60320178T2 (de) Verfahren und System zur Verbesserung von Portraitbildern
DE60009644T2 (de) Farbtonumsetzung unter Verwendung lokaler Information
DE60132278T2 (de) Rauschverminderungsverfahren unter Verwendung von Farbinformationen, einer Vorrichtung und eines Programms zur Digital-Bildverarbeitung
DE69631257T2 (de) Bildverarbeitungssystem
DE60017600T2 (de) Digitales bilderzeugungsverfahren
EP1139656B1 (de) Verfahren zur Farbtransformation für das Umsetzen von Farben in Bildern
EP1412920B1 (de) Allzweckbildverbesserungsalgorithmus, der details in digitalbildern visuell besser erkennbar macht
DE69822545T2 (de) Bildverbesserung unter Benutzung einer Flächeninterpolation
DE69524209T2 (de) Verfahren und vorrichtung zum umsetzen der signale eines farbenscanners in farbmetrische werte
DE60031910T2 (de) Genaue Farbbildreproduktion von Farben innerhalb des Farbtonbereichs und verbesserte Farbbildreproduktion von Farben ausserhalb des Farbtonbereichs
US5978519A (en) Automatic image cropping
DE60033484T2 (de) Umsetzung des Farbtonbereichs mit Erhaltung der lokalen Luminanzdifferenzen
DE69827703T2 (de) Verfahren und Vorrichtung zum Einstellen der Farbe
EP2199973A2 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildbeurteilungsvorrichtung und Bildbeurteilungsverfahren
DE10319118A1 (de) Verfahren und Vorrichtung zur Parametrisierten Schärfung und Glättung
Lau et al. Cluster-based color space optimizations
DE60127016T2 (de) Verfahren und Gerät zur Durchführung einer lokalen Farbkorrektur
DE69733456T2 (de) Bildverarbeitungsvorrichtung und -verfahren
DE10197077T5 (de) Farbskala-wahrende Farbabbildung
EP3201826A1 (de) Verfahren und datenverarbeitungsvorrichtung zur computergestützten haarfarbberatung
US7046400B2 (en) Adjusting the color, brightness, and tone scale of rendered digital images
DE10246102A1 (de) Verfahren und Vorrichtung zum Filtern von Rauschen von einem digatalen Bild
DE602004005879T2 (de) Verfahren und system zum differentiellen und regelmässigen modifizieren eines digitalen bildes nach pixeln

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee