-
HINTERGRUND
-
Die
Erfindung bezieht sich allgemein auf das Gebiet der Bildverarbeitung.
Insbesondere bezieht sich die Erfindung auf die Verbesserung (enhancing) von
Bildern.
-
Das
Ziel der Bildverbesserung besteht darin, ein ursprüngliches
Bild (wie beispielsweise eines, das durch einen Scanner oder eine
Digitalkamera aufgenommen worden ist) auf eine Weise zu verarbeiten,
daß das
verarbeitete (das heißt
angereicherte Bild) besser für
eine gewünschte
Anwendung geeignet ist. Im allgemeinen deckt die Bildverbesserung verschiedene
Techniken zum Verbessern des visuellen Erscheinungsbildes des ursprünglichen
Bildes oder möglicherweise
zum Konvertieren des ursprünglichen
Bildes in eine Form, die besser für eine Analyse durch den Menschen
oder Maschinen geeignet ist, ab. Beispielsweise kann die Bildverbesserung verwendet
werden, um Bilddetails zu verdeutlichen, die beispielsweise infolge
einer Fokussierung verschwommen sind. Eine derartige Entfernung
von "Rauschen" aus dem Bild ist
oftmals ein ungenauer Prozeß,
der zu einem versehentlichen Entfernen wichtiger Bildinformationen
zusammen mit dem Rauschen führt.
Jüngst
wurden fortgeschrittenere Lösungen
bei der Rauschentfernungsbildverbesserung entwickelt, wie beispielsweise "A New Edge-Detection
Based Noise Removal Algorithm",
Seriennummer 08/986,761, angemeldet am 08. Dezember 1997.
-
Aus
der
US 5,717,789 ist
ein Verfahren zur Bildverbesserung bekannt, bei dem eine nichtlineare Extrapolation
im Frequenzraum vorgenommen wird.
-
Selbst
mit derartigen Entwicklungen ist die Bildverbesserung eine ungenaue
Technik. Ein Haupthindernis bei der Bildverbesserung ist die Charakterisierung
oder Vorhersage exakter Bilddetails und falscher Bilddetails in
einem Bild. Beispielsweise kann das, was in einem Bild als Verlaufen
von Farben erfaßt
worden ist, ein natürlicher Übergang
einer Farbe in eine andere sein. Einige Bildverbesserungstechniken
arbeiten an dem vollständigen
Bild in seiner ursprünglichen
Form; die meisten jedoch arbeiten an einer "farbinterpolierten" Version des Bildes. Dies ist insbesondere
der Fall bei digital abgetasteten oder aufgenommenen Bildern, welche
in einem Bayer-Muster aufgenommen werden. Bei dem Bayer-Muster weist
jeder Pixelort den Intensitätspegel von
nur einer der drei Farbkomponenten Rot, Grün oder Blau auf. Das Bayer-Muster-Bild wird dann "farbinterpoliert", so daß die fehlenden
Farbkomponenten jedes Pixels approxiert werden, um jedem Pixel eine
vollständige "Farbe" (Rot-, Grün- und Blau-Intensität) zu geben.
Jedoch bringen derartige Techniken oftmals Fehler oder Rauschen
ein. Somit kann es sein, daß die
Verbesserung eines Bildes nach der Farbinterpolation infolge der
möglichen
Entstellungen relativ zu dem aufgenommenen Bild keine sehr genauen
Ergebnisse erbringt.
-
Aufgabe
der Erfindung ist es, ein verbessertes Verfahren zum Durchführen einer
Bildverbesserung bereitzustellen.
-
Diese
Aufgabe wird erfindungsgemäss
durch ein Verfahren nach Anspruch 1 sowie ein System mit den Merkmalen
des Anspruchs 7 gelöst.
-
Offenbart
wird ein Verfahren, daß das
Bilden eines angenäherten
Bildes aus einem ursprünglichen Eingabebild,
das Bilden einer Vor-Verbesserungs-Abbildung durch Differenzbildung
zwischen dem angenäherten
Bild und dem Eingabebild, das Verbessern der Vor-Verbesserungs-Abbildung
gemäß einer
Bildverbesserungstechnik, wodurch eine verbesserte Abbildung gebildet
wird, und das Kombinieren der angereicherten Abbildung mit dem angenäherten Bild
zum Erzeugen eines angereicherten Bildes umfaßt.
-
Die
Aufgaben, Merkmale und Vorteile des Verfahrens und der Einrichtung
für die
vorliegende Erfindung werden aus der folgenden Beschreibung klar,
in welcher:
-
1 ein
Ausführungsbeispiel
der Erfindung veranschaulicht.
-
2 ist
ein Beispiel einer Ausführungsform der
Erfindung.
-
3 zeigt
ein ursprüngliches
Eingabebild, ein angenähertes
Bild und ein Differenzbild (Vor-Verbesserungs-Abbildung).
-
4 zeigt
eine schematische Ansicht der Erzeugung einer angereicherten Abbildung.
-
5 ist
eine schematische Ansicht der Erzeugung des angereicherten Bildes.
-
6 ist
ein Ablaufdiagramm, daß das
System zum Erzeugen eines angereicherten Bildes aus einem Eingabebild
in Übereinstimmung
mit einem Ausführungsbeispiel
der Erfindung beschreibt.
-
7 ist
ein Systemdiagramm eines Ausführungsbeispiels
der Erfindung.
-
1 veranschaulicht
ein Ausführungsbeispiel
der Erfindung. Gemäß 1 empfängt ein
Approximator 11 ein Eingabebild und erzeugt an seinem Ausgang
eine Annäherung
des Bildes. Der Approximator 11 kann in Vorwegnahme der
auszuführenden Bildverbesserung
sein. Beispielsweise kann im Falle einer Rauschreduktionsbildverbesserung
der Approximator 11 ein Tiefpaßfilter enthalten, daß das Eingabebild
bezüglich
hochfrequenter Bildinhalte, von denen das Rauschen oftmals ein primärer Anteil
ist, filtert. Bei einem anderen Beispiel kann der Approximator 11 einer
sein, der eine Mittelwertbildung in einem bewegten Fenster auf das
Eingabebild anwendet, um eine "sanftere" (weniger abrupte)
Version des Eingabebilds zu erzeugen. Der Approximator sollte so
konstruiert sein, daß er
eine Version des Bildes erzeugt, bei der es eine höhere Wahrscheinlichkeit
gibt, daß sie
visuell wichtige Bilddetails enthält, die während der Bild verbesserung
nicht entstellt oder fehlinterpretiert werden sollten.
-
Mit
dem so erzeugten angenäherten
Bild werden das Eingabebild und das angenäherte Bild einer Differenzabbildung 13 geliefert,
die die Bilder verwendet, um eine Vor-Verbesserungs-Abbildung zu bilden. Beispielsweise
kann bei einem Ausführungsbeispiel
die Differenzabbildung 13 einen Subtrahierer umfassen,
der das angenäherte
Bild (Pixel für
Pixel) von dem Eingabebild subtrahiert, um die Vor-Verbesserungs-Abbildung
zu bilden. Die Vor-Verbesserungs-Abbildung
enthält
Differenzinformationen des Eingabebildes und des angenäherten Bildes,
womit beiden Bildern gemeinsame Merkmale beseitigt werden. Im Falle
einer Rauschreduktionsbildverbesserung kann die Vor-Verbesserungs-Abbildung einige wahre
Bildinformationen zusammen mit dem zu reduzierenden Rauschen enthalten.
Der Anteil der kein Rauschen darstellenden wahren Bildinformationen, die
in der Vor-Verbesserungs-Abbildung enthalten sind, wäre somit
von der Effektivität
des Approximators abhängig.
Für einen
idealen Approximator erbringt die Differenzabbildung hauptsächlich das
in dem Bild vorhandene Rauschen. Da dieses Design typischerweise
bekannt ist, können
Designfaktoren berücksichtigt
werden, wenn eine Parametrisierung durchgeführt wird (wie beispielsweise
das Setzen von Schwellenwerten für
Kanten, und die Rauschdiskriminierung).
-
Eine
Verbesserungsmaschine 15 empfängt die Vor-Verbesserungs-Abbildung an ihrem Eingang, um
die Abbildung in eine angereicherte Abbildung zu verarbeiten. Bei
der Rauschreduktion beispielsweise kann angenommen werden, daß das Rauschen
zufällig
und fehlerverursacht ist, womit dadurch, daß Abschnitte der Rauschabbildung
genommen werden und der Gradient zwischen den Gruppen von Pixeln in
dem Abschnitt analysiert wird (das heißt, ob der Gradient einen bestimmten
Schwellenwert überschritten
hat), eine Abtrennung auftreten kann, welche Pixel als Rauschen
zu betrachten sind und welche Pixel zu dem wahren Bild gehören sollten.
Dieser Prozeß wird
beträchtlich
effektiver gemacht, da die Vor-Verbesserungs-Abbildung
einen großen
Teil der wahren Bildinformationen entfernt, wobei zum größten Teil
Rauschen zurückgelassen
wird, sofern der Approximator effektiv konstruiert ist. Somit arbeitet die
Verbesserungsmaschine 15 an einem logisch reduzierten Satz
von Pixeln. An solchen Pixelorten, an denen der zugehörige Intensitätswert des
approximierten Bildes mit dem ursprünglichen Eingabebild übereinstimmt,
zeigt die Vor-Verbesserungs-Abbildung eine Null. Beispielsweise
können
in einem solchen Falle diese Null-Pixel eindeutig von der Verbesserungsmaschine 15 als
rauschfrei identifiziert und folglich nicht entfernt werden. Ein
Schlüsselmerkmal der
Erfindung ist die Anwendung einer Verbesserungstechnik nicht auf
das Eingabebild, sondern auf ein vor-verarbeitetes Bild, welches
im Falle der Rauschreduktion hauptsächlich Rauschinformationen
und weniger Kanteninformationen enthält oder welches im Falle der
Kantenverbesserung nur Kanten übrig
läßt.
-
Ein
Konstruktor 17 kombiniert dann das angenäherte Bild
mit der angereicherten Abbildung (aus der Verbesserungsmaschine 15),
um das angereicherte Bild zu bilden. Der Konstruktor 17 kann
ein Addierer sein, der das angereicherte Rausch-Abbild mit dem angenäherten Bild
summiert. Wenn die Verbesserung richtig ausgeführt worden ist, bleiben die wahren
Bildinformationen im Unterschied zum Rauschen des Eingabebildes
in dem angenäherten
Bild erhalten, wodurch ein angereichertes Bild besserer Qualität erzeugt
wird, als in dem Fall, wenn die Verbesserungsmaschine direkt an
dem Eingabebild selbst arbeiten würde.
-
2 ist
ein Beispiel einer Ausführungsform der
Erfindung.
-
2 verkörpert eine
Rauschreduktionsverbesserung oder -verbesserung gemäß dem in 1 gezeigten
System. In 2 wird ein Eingabebild I an einen
Approximationsmodellierer A 21 gesendet. Der Approximationsmodellierer
A 21 kann eine Tiefpaßfilterung
oder eine Bewegtes-Fenster-Mit telwertbildung anwenden, um bestimmte
Bildinformationen zu isolieren. Das angenäherte Bild A(I), das von dem Approximationsmodellierer
erzeugt worden ist, wird dann Pixel für Pixel von dem Eingabebild
unter Verwendung eines Subtrahierers 23 subtrahiert. Dies
ergibt ein Δ oder
Differenzbild (das als "vor-angereicherte
Abbildung" bezeichnet
wird). Das Δ wird
dann von dem Anreicherer 25 angereichert. Das angereicherte Δ, E(Δ) (auch als "angereicherte Abbildung" bezeichnet) wird
dann von dem Addierer 27 mit dem angenäherten Bild A(I) kombiniert,
um das angereicherte Bild I' zu
bilden. Einige Vorteile dieser Verbesserungstechnik umfassen eine
potentielle Reduktion bei der Berechnung, da die Verbesserung an
einer Abbildung ausgeführt
wird, die viele Nullwerte enthalten kann. Obwohl diese Nullwerte
berücksichtigt
werden, wird die Geschwindigkeit der Berechnung erhöht, da die
Bittiefe, das heißt
die Anzahl der Bits, die verwendet werden, um sich mit diesen Werten
zu befassen, vom Standpunkt der Berechnung her reduziert wird. Ein
anderer möglicher
Vorteil ist die Verbesserung der jeweils benutzten Verbesserungstechnik
in Bezug auf herkömmliche
Bildverbesserungssysteme, sofern man annimmt, daß diese gleiche Technik an
dem ursprünglichen
Bild angewendet wird. So erbringt für eine gegebene Verbesserungstechnik
die beschriebene Methodik ein verbessertes Bild infolge einer mehr
optimierten Verbesserung.
-
3 zeigt
ein ursprüngliches
Eingabebild, ein angenähertes
Bild und ein Differenzbild (Vor-Verbesserungs-Abbildung).
-
3 zeigt
ein ursprüngliches
Eingabebild 310, das eingescannt, aufgenommen oder auf
andere Weise synthetisch erzeugt sein kann. Das Eingabebild 310 hat
verschiedene charakteristische Merkmale. Das Eingabebild 310 soll
das Bild eines Hauses darstellen, und es enthält außerdem versprenkeltes Rauschen
in der das Haus umgebenden Umgebung. Wie man bemerkt, zeigt das
Eingabebild 310 versprenkeltes Rauschen, das auch in der
Nähe der Kanten
des Hauses in der gleichen Vektorrichtung wie diese Kanten verteilt
ist. Bei einer typischen Rauschreduktionsverbesserung würde ein
derartiges Rauschen schwierig in richtiger Weise von den Kanten
selbst zu unterscheiden sein. Gemäß der Erfindung wird eine geglättete Version
des Bildes erzeugt. Dieses "approximierte
Bild" 320 zeigt
noch die Hauptmerkmale des Hauses, wie beispielsweise die Kanten,
und glättet
die Kanten und das direkt den Kanten benachbarte Rauschen. Im Ergebnis
kann das approximierte Bild 320 geringfügig verschwommen sein, das
heißt,
die Kantendefinition ist nicht so groß wie in dem Eingabebild 310.
Wie oben beschrieben, wird das approximierte Bild 320 Pixel
für Pixel
von dem Eingabebild 310 subtrahiert. Das sich daraus ergebende
Resultat ist eine Vor-Verbesserungs-Abbildung (pre-enhancement map)
(Δ), welche
diejenigen Ecken und Rauschinformationen enthält, die während der Approximation eliminiert
würden.
Die Vor-Verbesserungs-Abbildung 330 enthält zum größten Teil
Rauschen, zum großen
Teil infolge der Effektivität
des zum Erzeugen des angenäherten
Bildes 320 durchgeführten
Glättens.
Bei der Vor-Verbesserungs-Abbildung 330 ist ein schwacher
Umriß der Kanten
des Hauses zu bemerken. Diese schwachen Kanten sind in dem approximierten
Bild (im Unterschied zu dem Gesamteingabebild) nicht vorhanden.
-
4 zeigt
eine schematische Ansicht der Erzeugung einer angereicherten Abbildung.
Das angenäherte
Bild 320, das in 4 erzeugt
wurde, besteht sowohl aus Rausch- als auch schwachen Kanten-Informationen
des ursprünglichen
Eingabebildes 310. Gemäß einem
Ausführungsbeispiel
der Erfindung wird an Stelle des Benutzens einer Verbesserung, wie
beispielsweise der Rauschreduktion, für das Eingabebild, die Verbesserungstechnik
auf die Vor-Verbesserungs-Abbildung 330 angewendet, um eine
angereicherte Abbildung 410 zu erzeugen. Im Ergebnis kann
die Rauschbeseitigung effizienter und effektiver gemacht werden.
Die angereicherte Abbildung 410, die durch Anwenden der
Rauschreduktion auf die Vor- Verbesserungs-Abbildung 330 erzeugt worden
ist, zeigt die Beseitigung des größten Teils des Rauschens und
die teilweise Beibehaltung der schwachen Kanten des Hauses. Es ist
zu bemerken, daß das
versprenkelte Rauschen, daß den
Kanten des Hauses unmittelbar benachbart war, entfernt worden ist.
-
5 ist
eine bildliche Darstellung der Erzeugung des angereicherten Bildes.
-
Das
angenäherte
Bild 320 wird zu der angereicherten Abbildung 410 addiert,
um das angereicherte Bild 510 zu erzeugen. Das angereicherte
Bild 510 zeigt schärfere
Kantenmerkmale und eine merkliche Reduktion des Rauschpegels. Besonders
anzumerken ist die Verringerung des Rauschens entlang der Kantenmerkmale
des Hauses. Das angereicherte Bild 510 ist eine Pixel für Pixel
vorgenommene Summierung der Intensitätswerte der angereicherten
Abbildung 410 und des angenäherten Bildes 320.
-
6 ist
ein Ablaufdiagramm, das das System zum Erzeugen des angereicherten
Bildes aus einem Eingabebild gemäß einem
Ausführungsbeispiel der
Erfindung beschreibt. Im Block 61 wird ein angenähertes Bild
eines Eingabebildes in Übereinstimmung
mit einem bestimmten Annäherungsmodell
gebildet. Da eine Zwei-Stufen-Lösung
verwendet wird (das heißt
ein Annäherungsschritt
und ein Verbesserungsschritt), führt
ein ungenau modellierter Annäherungsblock üblicherweise
zu einem eng oder genau modellierten Verbesserungsblock und umgekehrt. Zum
Zwecke der Rauschreduktion beispielsweise ist es wünschenswert,
das Annäherungsmodell
oder Approximationsmodell so zu konstruieren, daß ein minimales Rauschen in
dem angenäherten
Bild zurückbleibt,
da grundsätzlich
keine Verbesserung in dem angenäherten
Bild durchgeführt
wird.
-
Im
Block 63 wird ein Differenzbild durch eine Subtraktion
des angenäherten
Bildes von dem Eingabebild erzeugt. Da die Erzeugung einer Vor-Verbesserungs-Abbildung
gemeinsame Bildmerkmale beseitigt, brauchen weniger Informationen
in dem Verbesserungsprozeß analysiert
zu werden.
-
So
wird im Block 65 die Vor-Verbesserungs-Abbildung dann angereichert.
Um diese für den
Differenzprozeß verlorenen
Bildinformationen wieder herzustellen, wird das angenäherte Bild
mit der angereicherten Abbildung kombiniert, um ein angereichertes
Bild des Eingabebildes zu erzeugen (Block 67).
-
7 ist
eine Systemdarstellung eines Ausführungsbeispiels der Erfindung.
-
7 veranschaulicht
ein Computersystem 710, welches irgendeine Mehrzweck- oder
spezielle Datenverarbeitungsmaschine, wie beispielsweise ein PC
(Personalcomputer), sein kann, die mit einer Kamera 730 gekoppelt
ist. Die Kamera 730 kann eine Digitalkamera, eine digitale
Videokamera oder irgendeine Bildaufnahmeeinrichtung oder ein Bildverarbeitungssystem
sein und wird benutzt, um ein Sensorabbildung eines Objekts oder
einer Szene 740 aufzunehmen. Im wesentlichen werden die
aufgenommenen Bilder von einer Bildverarbeitungsschaltung 732 komprimiert
und verarbeitet, so daß sie
effizient in einer Bildspeichereinheit 734, welche ein RAM
oder eine andere Speichereinrichtung, wie beispielsweise eine Festplatte,
eine Speicherkarte, etc., sein kann, gespeichert werden können. Bei
den meisten Digitalkameras werden aus dem Bildaufnahmemechanismus,
wie beispielsweise einem Sensor, gewonnene Rohbilder zunächst auf
der Kamera 730 gespeichert und später heruntergeladen, um ausgegeben,
angezeigt oder bearbeitet zu werden. Dies gestattet der Kamera 730,
ein nächstes
Objekt schnell ohne zusätzliche
Verzögerung
aufzunehmen. Eine geeignete Rohbilddarstellung ist das Bayer-Muster,
bei welchem jedes Pixel einen von drei (R, G oder B) Werten aufweist.
-
Bei
einem Ausführungsbeispiel
wird ein Bild von der Kamera 730 als Roh-Bayer-Muster aufgenommen
und dann in irgendein anderes Format komprimiert. Die Bildverbesserung
gemäß einem
Ausführungsbeispiel
der Erfindung arbeitet wie folgt. Zunächst wird das komprimierte
Bild aus der Kamera 730 über den I/O-Port 717 auf
eine Platte 718 oder eine andere Einrichtung des Computersystems 710 heruntergeladen.
Das komprimierte Bild wird auf dem Computersystem 710 dekomprimiert.
Dann führt
das Computersystem eine Bildverbesserung an dem wiederhergestellten
Bayer-Muster-Bild
vor irgendeiner Farbinterpolation durch, indem Befehle gemäß dem System
bei den verschiedenen Ausführungsbeispielen
der Erfindung ausgeführt
werden.
-
Die
bei den verschiedenen Ausführungsbeispielen
der Erfindung beschriebene Methodik kann unter Verwendung eines
Prozessors 712, wie beispielsweise des PentiumTM (eines
Produkts der Intel Corporation), und eines Speichers 711,
wie beispielsweise eines RAM, welcher verwendet wird, um Befehle,
Adressen und Ergebnisdaten zu speichern/zu laden, ausgeführt werden
kann. Die zum Ausführen der
Rauschbeseitigung an dem CFA(color filter array)-Bild verwendete
Anwendung kann ein ausführbares
Modul sein, das aus einem in einer Sprache, wie beispielsweise C++,
geschriebenen Quellcode kompiliert wurde. Die Befehle dieses ausführbaren Moduls,
welche Befehlen entsprechen, welche die Verbesserung von Bildern
durch Anwenden einer ausgewählten
Verbesserungstechnik auf eine Differenzabbildung an Stelle des ursprünglichen
vollständigen
Bildes unterstützen,
können
auf einer Platte 718 oder in einem Speicher 711 gespeichert
werden und können
somit über
irgendein computerlesbares Medium geladen werden. Es ist einem Fachmann
auf dem Gebiet der Computertechnik sofort klar, wie eine bestimmte
Maschine zum Ausführen
der in den verschiedenen Ausführungsbeispielen
der Erfindung beschriebenen Interpolationsmethodik zu programmieren
ist.
-
Das
Computersystem 710 weist einen Systembus 713 auf,
welcher die Informationsübertragung
zum/aus dem Prozessor 712 ermöglicht, und einen Speicher 711 und
darüber
hinaus eine Brücke 714,
welche den Systembus 713 mit einem I/O-Bus 715 koppelt.
Der I/O-Bus 715 verbindet verschiedene I/O-Einrichtungen, wie
beispielsweise einen Anzeigeadapter 716, eine Platte 718 und
einen I/O-Port, wie beispielsweise einen seriellen Port. Viele derartige
Kombinationen von I/O-Einrichtungen, Bussen und Brücken können mit
der Erfindung benutzt werden, und die gezeigte Kombination ist bloß für eine derartige
mögliche
Kombination veranschaulichend.
-
Wenn
ein Bild, wie beispielsweise ein Bild des Objekts/der Szene 740,
aufgenommen wird, wird das Bild als R-, G- und B-Pixel in beispielsweise
das Bayer-Muster abgetastet. Diese Pixelwerte werden zu der Bildverarbeitungsschaltung 732 gesendet.
Die Bildverarbeitungsschaltung 732 besteht aus ICs und anderen
Bauelementen, welche neben weiteren Funktionen ein Bildkompressionsschema
ausführen, um
die Größe der Übertragung
zwischen der Kamera 730 und dem Computersystem 710 zu
reduzieren. Wenn der Benutzer oder eine Anwendung ein Herunterladen
von Bildern wünscht/anfordert,
werden die in der Bildspeichereinheit gespeicherten komprimierten Bilder
aus der Bildspeichereinheit 734 zu dem I/O-Port 717 übertragen.
Der I/O-Port 717 verwendet die gezeigte Bus-Brücken-Hierarchie
(I/O-Bus 715 zur Brücke 714 zum
Systembus 713), um die Bilddaten vorübergehend in dem Speicher 711 oder
optional auf Platte 718 zu speichern. Die komprimierten Bilder
werden durch geeignete Anwendungssoftware (oder spezielle Hardware)
dekomprimiert, wobei der Prozessor 712 benutzt werden kann,
um dies auszuführen.
Die dekomprimierten Bilddaten werden als Bayer-Muster-Bilddaten
wiederhergestellt, die ähnlich
oder identisch den Bilddaten sind, wie sie von dem Sensor der Kamera 730 aufgenommen
worden sind.
-
Das
heruntergeladene Bild wird, sobald es dekomprimiert ist, Pixel in
ihrer rohen Form mit einer Farbkomponente pro Pixel aufweisen. Sofern
es gewünscht
wird, daß ein
rauschfreies oder anderweitig angereichertes Bild auf dem Monitor 720 ausgegeben
wird, so sollte dann diese Rauschbeseitigungstechnik oder Bildverbesserung
gemäß den verschiedenen
Ausführungsbeispielen
der Erfindung ausgeführt
werden, bevor die vollständigen
Farbpixel über eine
Farbinterpolation gebildet werden, und es sollte das Differenzverbesserungssy stem,
das oben beschrieben wurde, benutzt werden. Das heruntergeladene
und dekomprimierte Bild wird durch eine der oben beschriebenen Techniken
angereichert, und somit wird das Bild in ein angereichertes Bild
transformiert. Der Datensatz des angereicherten Bildes kann im Speicher 711 oder
auf Platte 718 zur weiteren Verarbeitung gespeichert werden.
Sobald die Verbesserung durchgängig
ausgeführt
ist, kann der Datensatz durch den Farbinterpolationsprozeß verarbeitet
werden, und sofern gewünscht,
das ursprüngliche
(wiederhergestellte) Bild verworfen werden. Das bildlich angereicherte
und dann farbinterpolierte wiedergegebene Bild 750 wird
mit besseren Details (zum Beispiel schärferen Kanten und weniger Rauschen),
sofern adäquate
Anzeigeeinrichtungen (Monitor 720 und Adapter 716)
gegeben sind, wiedergegeben und wird somit das ursprüngliche
Objekt/die ursprüngliche
Szene 740 besser annähern.
Das angereicherte und farbinterpolierte Bild kann auf der Platte 718,
in dem Speicher 711 gespeichert werden und/oder direkt
zum Monitor 720 ausgegeben werden, nachdem es über den
Anzeigeadapter 716 wiedergegeben worden ist.
-
Der
Computerprogrammcode für
die Bildverbesserung kann auf einem entnehmbaren computerlesbaren
Medium, wie beispielsweise einer Diskette oder einer CDROM, enthalten
sein und kann Software begleiten, die die Dekompression der aus
der Kamera 730 heruntergeladenen Bilder ausführt. Wie auch
beliebige andere Software kann er über ein Netzwerk an Kommunikationssystemen
heruntergeladen/verteilt werden oder kann in Firmware erhältlich sein.
Diese heruntergeladenen Bilder können
so angereichert werden, daß die
Bilder das Objekt/die Szene 740 an den Benutzer visuell
genauer präsentieren.
Solche Bildverbesserungstechniken können alternativ auch in Hardware
auf der Kamera 730 selbst implementiert werden.
-
Bei
einem alternativen Ausführungsbeispiel der
Erfindung kann die Bildverarbeitungsschaltung 732 so angepaßt sein,
daß sie
eine Schaltung zum Ausführen
einer Rauschbeseitigung oder einer anderen Bildverbesserung auf
der Kamera ausführt,
so daß das
in der Bildspeichereinheit 734 gespeicherte Bild ein angereichertes
Bild ist. Bei einem solchen Ausführungsbeispiel
kann das Bild an irgendeiner Stufe der Bildverarbeitung angereichert
werden. Bei einem solchen Hardware-Ausführungsbeispiel
kann jedes angereicherte Bildpixel, wenn es bestimmt worden ist,
direkt zurück
in die Bildspeichereinheit 734 oder einen anderen Speichermechanismus
geschrieben werden. Ferner kann die angenäherte Abbildung, die Vor-Verbesserungs-Abbildung
oder andere derartige Zwischenergebnisdaten ebenfalls die Bildspeichereinheit 730 benutzen.
Die oben beschriebenen Verfahren zum Anreichern von Bildern sind
in der Lage, in VLSI (Very Large Scale Integration) oder anderen
integrierten Schaltungen implementiert zu werden. Das Bildverbesserungssystem,
das in den verschiedenen Ausführungsbeispielen
der Erfindung präsentiert
wurde, hat den Vorteil der potentiellen direkten Hardwareimplementierung,
da im Unterschied zu herkömmlichen
angereicherten Techniken es so konstruiert ist, daß es auf
ein Bayer-Muster-Rohbild anwendbar ist. Das Bildverbesserungssystem
kann darüber
hinaus nach der Farbinterpolation ausgeführt werden, sofern dies gewünscht wird.
Eine beliebige Anzahl von Bildverbesserungstechniken, wie beispielsweise
die Artifaktreduktion, Kantenschärfung,
Farbverlaufsreduktion usw., kann das bei der Erfindung erörterte System
benutzen, so daß diese Techniken,
in welcher Form sie auch immer benutzt werden, effektiver arbeiten
als bei herkömmlicher Bildverbesserung.