DE112007001808T5

DE112007001808T5 - Elektronische Bilderfassung mit vermindertem Rauschen

Info

Publication number: DE112007001808T5
Application number: DE112007001808T
Authority: DE
Inventors: David Arthur Frampton Cotterell Grosvenor; Andrew A Stapleton Hunter
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2006-07-31
Filing date: 2007-07-27
Publication date: 2010-01-21
Anticipated expiration: 2027-07-28
Also published as: WO2008015176A1; GB0615152D0; DE112007001808B4; CN101523897B; CN101523897A; US20090309998A1; US8264574B2; GB2443663A

Abstract

Ein elektronisches Bilderfassungssystem zum Erfassen eines verringerten Bildrauschens einer Szene, das ein Detektorarray und eine Bildverarbeitungsvorrichtung aufweist, wobei das Detektorarray dahin gehend angeordnet ist, der Bildverarbeitungsvorrichtung Daten zu liefern, die zumindest ein Bild einer durch das Array detektierten Szene darstellen, und wobei die Bildverarbeitungsvorrichtung ein Rauschmodell enthält, das das Rauschverhalten des Bilderfassungssystems im Wesentlichen charakterisiert, wobei die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist:
– zu identifizieren, unter Verwendung der Bilddaten, eines oder mehrerer Abschnitte der Szene, der beziehungsweise die unverhältnismäßig zu sichtbarem Rauschen in einem aus den Bilddaten erzeugten Bild beitragen würde(n), und
– ein Belichtungsmuster auf der Basis dessen auszuwählen, dass das ausgewählte Belichtungsmuster den Beitrag zu dem sichtbaren Rauschen von den Abschnitten verringert, wenn Belichtungen von dem ausgewählten Belichtungsmuster kombiniert werden, um das rauschverminderte Bild zu erzeugen.

Description

Hintergrund
a. Gebiet der Erfindung
Die vorliegende Erfindung bezieht auf ein elektronisches Bilderfassungssystem zum Erfassen eines elektronischen Bildes, das vermindertes Rauschen aufweist, und auf ein Verfahren zum Erfassen eines elektronischen Bildes, das vermindertes Rauschen aufweist, beispielsweise aus einer digitalen Kameravorrichtung.
b. Verwandte Technik
Es besteht ein Bedarf an und eine Tendenz hin zu einer Miniaturisierung vieler Arten von Bilderfassungsvorrichtungen. Beispielsweise können Digitalkameras in Mobiltelefone integriert sein, die ungleich kompakter sind. Eine derartige Kamera muss im Vergleich zu einer Linse bei einer herkömmlicheren zweckgebundenen in der Hand zu haltenden Digitalkamera eine Linse mit einem kleinen Durchmesser aufweisen. Aus diesem Grunde und auch aus Gründen der Kostenreduktion sind die bei Mobiltelefonen und anderen miniaturisierten Digitalkameras verwendeten Detektorarrays mittlerweile kleiner geworden. Gleichzeitig erwarten Benutzer eine größere Anzahl von Bilderfassungspixelelementen zur erhöhten Bilddefinition, mit dem Ergebnis, dass die Größe der Pixelelemente stark verringert ist.
Kleinere Halbleiter-Pixelelemente, beispielsweise vom CCD- oder CMOS-Typ, weisen eine verringerte Kapazität zum Halten elektrischer Ladung auf. Obwohl die inhärente Effizienz eines kleinen Pixelelements mit der eines größeren Elements vergleichbar sein kann, begrenzt eine verringerte Detektor- „Wannengröße” die Gesamtanzahl an Photonen, die jedes Pixelelement erfassen kann. Das Schrotrauschen des Detektors variiert mit der Quadratwurzel der erfassten Bildintensität, wobei das beste Signal/Rausch-Verhältnis normalerweise in Regionen vorliegt, die die größte Bildintensität aufweisen. Somit sind kleinere Arrays, die kleinere Pixelelemente und geringere Maximalsignale aufweisen, üblicherweise stärker rauschbehaftet als Detektorarrays, die größere Pixelelemente aufweisen. Andere, konstantere Rauschquellen, die nicht von der Bildintensität abhängen, insbesondere Ausleserauschen, führen zu zusätzlichem Schrotrauschen und tragen normalerweise zu einem größeren Anteil des Gesamtsignals in einem Array mit einem geringeren Maximalsignal bei.
Folglich besteht bei vielen elektronischen Bilderfassungsvorrichtungen ein erhöhter Bedarf an einer besseren Rauschverminderung, ohne die Hardwarekosten derartiger Vorrichtungen übermäßig in die Höhe zu treiben oder andere Bilderfassungsleistungsfähigkeitsmetriken, beispielsweise die maximale Anzahl an Rahmen pro Sekunde oder die Lebensdauer tragbarer Energiequellen, zu beeinträchtigen.
Ein weiteres Problem ergibt sich daraus, dass das auf kleiner werdende Pixel zurückzuführende Rauschen die Verwendung von Tonabbildung, um die visuelle Bildqualität zu verbessern, einschränkt, da eine Tonabbildung erfordert, dass in manchen Teilen des Signalbereichs eine Verstärkung angelegt wird, und dadurch wird Rauschen noch sichtbarer.
Die relative Stärke von Rauschen bei einem elektronischen Bild ist normalerweise am höchsten in schwach beleuchteten Bereichen einer Szene, wo die Anzahl erfasster Photonen für eine gegebene Belichtungszeit, Blendeneinschränkung oder elektronische Verstärkungseinstellung am niedrigsten ist (der Zweckmäßigkeit halber hiernach kollektiv und einzeln einfach als „Belichtung” bezeichnet). Die Belichtung muss derart sein, dass die hellsten Teile des Bildes innerhalb der Sättigungsgrenzen der Pixelelemente liegen, mit dem Ergebnis, dass schwach beleuchtete Bereiche bei derselben Belichtung deut lich unterhalb der Sättigung liegen und ein entsprechend geringeres Signal/Rausch-Verhältnis (S/N) aufweisen.
Vom Gesichtspunkt der Wahrnehmung aus betrachtet kann jedoch in Rauschen bei schwach beleuchteten Abschnitten einer Szene weniger gut sichtbar oder weniger wichtig als ein Rauschen in helleren Abschnitten, falls die düsteren Bereiche für einen Betrachter des Bildes nicht interessant sind. Beim Betrachten der Bedeutung einer Rauschverminderung bei einem elektronischen Bild ist es somit nicht ausreichend, lediglich den Effekt von Rauschen in schwach beleuchteten Bereichen einer Szene zu betrachten.
Eine Aufgabe der Erfindung besteht darin, eine zweckmäßigere Vorrichtung und ein zweckmäßigeres Verfahren zum Erfassen eines elektronischen Bildes mit vermindertem sichtbarem Rauschen zu liefern.
Zusammenfassung der Erfindung
Gemäß der Erfindung ist ein elektronisches Bilderfassungssystem zum Erfassen eines verringerten Bildrauschens einer Szene vorgesehen, das ein Detektorarray und eine Bildverarbeitungsvorrichtung aufweist, wobei das Detektorarray dahin gehend angeordnet ist, der Bildverarbeitungsvorrichtung Daten zu liefern, die zumindest ein Bild einer durch das Array detektierten Szene darstellen, und wobei die Bildverarbeitungsvorrichtung ein Rauschmodell enthält, das das Rauschverhalten des Bilderfassungssystems im Wesentlichen charakterisiert, wobei die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist:

– zu identifizieren, unter Verwendung der Bilddaten und des Rauchmodells, eines oder mehrerer Abschnitte der Szene, der beziehungsweise die unverhältnismäßig zu sichtbarem Rauschen in einem aus den Bilddaten erzeugten Bild beitragen würde(n), und
– ein Belichtungsmuster auf der Basis dessen auszuwählen, dass das ausgewählte Belichtungsmuster den Beitrag zu dem sichtbaren Rauschen von den Abschnitten verringert, wenn Belichtungen von dem ausgewählten Belichtungsmuster kombiniert werden, um das rauschverminderte Bild zu erzeugen.

Das rauschverminderte Bild kann ein einzelnes Bild sein, das beispielsweise durch eine Stehbildkamera aufgenommen wird, oder es kann ein einzelnes Bild sein, das einen Bestandteil einer Videosequenz aus einem Videoerfassungssystem bildet.
Das Rauschmodell kann ferner das Rauschverhalten einer Bildverarbeitung charakterisieren, indem es einen Beitrag von dem Prozess des Kombinierens des ausgewählten Belichtungsmusters umfasst.
Die Bildverarbeitungsvorrichtung kann dahin gehend angeordnet sei, das Rauschmodell und die Bilddaten zu verwenden, um sichtbares Rauschen für zumindest einen Teil eines Bildes zu schätzen, das aus einer einzigen Belichtung oder einer Kombination von Belichtungen gewonnen wird, und diese Rauschschätzung dazu zu verwenden, die oben erwähnten Abschnitte der Szene zu identifizieren.
Die Bildverarbeitungsvorrichtung kann dahin gehend angeordnet sein, das Rauschmodell und die Bilddaten dazu zu verwenden, eine oder mehrere geeignete Belichtungen zu identifizieren, um den Beitrag zu sichtbarem Rauschen zu vermindern.
Die identifizierten Abschnitte der Szene können räumliche Abschnitte sein, die zumindest teilweise auf der Basis ihrer räumlichen Positionen in den Bilddaten definiert sind.
Die identifizierten Abschnitte der Szene können tonale Abschnitte sein, die zumindest teilweise auf der Basis ihrer tonalen Eigenschaften in den Bilddaten definiert sind.
Die Bildverarbeitungsvorrichtung kann dahin gehend angeordnet sein, eine räumliche Gewichtung anzulegen, so dass Bilddaten von ausgewählten räumlichen Regionen der Szene relativ wich tiger sind als Bilddaten von anderen räumlichen Regionen. In diesem Fall kann die Bildverarbeitungsvorrichtung auch dahin gehend angeordnet sein, ein oder mehrere spezifische Merkmale in einem detektierten Bild zu identifizieren und die Gewichtung von Bilddaten, die von diesen Merkmalen stammen, zu erhöhen oder zu reduzieren.
Bei einem bevorzugten Ausführungsbeispiel der Erfindung hängen die Gewichtungen von der lokalen Kontinuität der Szene ab, so dass starke Texturen niedrige Gewichte ableiten, und sanfte Töne oder Gradienten hohe Gewichte ableiten.
Zusätzlich oder alternativ dazu können die räumlichen Gewichtungen auf der Basis von Gesichtserkennungsregeln, die durch die Bildverarbeitungsvorrichtung angewendet werden, erhöht oder verringert werden.
Zusätzlich oder alternativ dazu können die räumlichen Gewichtungen auf der Basis von Visuelles-Hervorstechen-Regeln, die durch die Bildverarbeitungsvorrichtung angewendet werden, erhöht oder verringert werden.
Zusätzlich oder alternativ dazu können die räumlichen Gewichtungen auf der Basis von durch die Bildverarbeitungsvorrichtung angewendeten Bildverarbeitungsregeln erhöht oder verringert werden. In diesem Fall können die Bildverarbeitungsregeln Tonabbildungsregeln, Farbbearbeitungsregeln, Rauschverminderungsregeln, Vignettierungskorrekturregeln und/oder Bildschärfungsregeln umfassen.
Bei einem bevorzugten Ausführungsbeispiel der Erfindung kann die Bildverarbeitungsvorrichtung dahin gehend angeordnet sein, aus den Bilddaten eine Tonale-Wichtigkeit-Abbildung zu erzeugen und anschließend das Rauschmodell zu verwenden, um aus der Tonale-Wichtigkeit-Abbildung einen oder mehrere der Abschnitte unverhältnismäßigen sichtbaren Rauschens zu identifizieren.
Die Tonale-Wichtigkeit-Abbildung ist eine Abbildung von einem Szenenton auf einen Wichtigkeitswert, der die Sichtbarkeit von Bildrauschen in Abschnitten der Szene, die diesen Tonwert aufweisen, angibt. Der Begriff „Ton” kann sich auf jeglichen gemessenen oder berechneten Wert beziehen, der eine Szenenstrahlungsdichte in den Teilen des Spektrums angibt, die durch einen oder jeden Farbkanal des Detektors erfasst werden. In Bezug auf Farbdaten und Mosaikdaten können detektierte oder interpolierte Farbwerte an jeder Pixelposition verwendet werden, um eine separate Abbildung von Szenentönen für jeden Farbkanal abzuleiten.
Die Tonale-Wichtigkeit-Abbildung weist je nach der Anzahl von Pixeln und/oder räumlichen Gewichtungen von Pixeln in den Bilddaten, die einen entsprechenden Bildton aufweisen, einem Szenenton einen höheren oder niedrigeren Wichtigkeitswert zu. Im Falle von Farbbilddaten kann der Zählwert von Pixeln, die einen bestimmten Tonwert aufweisen, über jeden Farbkanal hinweg summiert werden. Auf die Pixel in jedem Farbkanal können verschiedene räumliche Gewichtungen angewendet werden, so dass der Beitrag zu der Tonale-Wichtigkeit-Abbildung von jedem Kanal ungleich sein kann und je nach der Farbe der entsprechenden Punkte der Szene variieren kann.
Der Prozessor kann dahin gehend angeordnet sein, ein oder mehrere Merkmale in einem detektierten Bild, für das eine Rauschverminderung gewünscht wird, zu identifizieren. Die Tonale-Wichtigkeit-Abbildung kann anschließend gewichtet werden, so dass die aus dem bzw. den Merkmal(en) stammenden Bilddaten vorzugsweise dazu verwendet werden, eines einer Mehrzahl möglicher Mehrfachbelichtungsmuster auszuwählen.
Der Prozessor kann dahin gehend angeordnet sein, eine oder mehrere vorbestimmte Regeln auf die Bilddaten anzuwenden, um in dem detektierten Bild eine oder mehrere zusammenhängende räumliche Regionen auszuwählen, die jeweils eine Mehrzahl von Detektorpixeln aufweisen, für die eine selektive Verminderung des Rauschbeitrags gewünscht ist. Die Tonale-Wichtigkeit-Abbildung kann anschließend gewichtet werden, um die Wichtig keit des Beitrags von dieser Mehrzahl von Pixeln bei der Berechnung von Rauschen zu erhöhen.
Derartige räumliche Regionen können auf der Basis der Einheitlichkeit der Intensität und/oder der Einheitlichkeit der Farbe dieser räumlichen Regionen ausgewählt werden. Beispielsweise kann es gewünscht sein, das Rauschen vorzugsweise in Regionen einer hohen Einheitlichkeit, wo ein derartiges Rauschen hervorstechen würde, beispielsweise in einem Bereich eines blauen Himmels, zu vermindern. Umgekehrt kann ein Rauschen in Bereichen, die eine hohe Textur oder Körnigkeit aufweisen, von dem Detail in dem Bild versteckt oder nicht unterscheidbar sein, wobei es in diesem Fall nicht notwendig ist, das Rauschen zu vermindern.
Die räumlichen Regionen können alternativ oder zusätzlich dazu auf der Basis von Gesichtserkennungsregeln, die durch den Prozessor angewendet werden, ausgewählt werden.
Die zum Bilden der Tonale-Wichtigkeit-Abbildung verwendeten Bilddaten können somit gewichtet werden, um diejenigen Intensitäten, für die eine Rauschverminderung am wünschenswertesten ist, besonders hervorzuheben.
Das Belichtungsmuster kann ein Muster von zeitlich aufeinander folgenden Belichtungen oder ein Muster von zeitlich überlappenden Belichtungen oder eine Kombination derselben sein.
Der Prozessor kann dahin gehend eingeschränkt sein, das Belichtungsmuster innerhalb einer berechneten Einschränkung auszuwählen, hierin als Kostenmetrik bezeichnet. Die Kostenmetrik kann aus beliebigen praktischen Einschränkungen gebildet sein, die verhindern, dass ein beliebiges willkürliches Muster von Belichtungen ausgewählt wird. Beispielsweise kann die Kostenmetrik ein Maß einer Gesamtbelichtungszeit oder einer verfügbaren elektrischen Leistung oder einer verfügbaren Speicherkapazität oder der Rate, mit der das elektronische Bilderfassungssystem Bilder erfassen kann, oder jegliche Kombination dieser Faktoren, umfassen.
Wenn die Kostenmetrik ein Maß einer verfügbaren elektrischen Leistung umfasst, erfasst das System beispielsweise eventuell weniger Belichtungen, wenn die Batterieleistung gering ist.
Eine andere Art und Weise, auf die das ausgewählte Belichtungsmuster eingeschränkt werden kann, besteht darin, dass dieses eventuell innerhalb eines variablen Zeitfensters abgeschlossen sein muss. Das Zeitfenster kann durch die Art der erfassten Szene oder durch einen Erfassungsmodus der elektronischen Bilderfassungsvorrichtung, beispielsweise eine Handlungseinstellung, eine Wenig-Licht-Einstellung oder eine Porträteinstellung, bestimmt werden.
Das variable Zeitfenster kann deshalb durch den Prozessor gemäß zumindest einem einer Mehrzahl von vorbestimmten Belichtungskriterien ausgewählt werden. Derartige Belichtungskriterien können eine minimale und eine maximale zulässige Gesamtbelichtungszeit umfassen.
Nachdem die Mehrfachbelichtungen erfasst wurden, kann der Prozessor diese kombinieren, um Bilddaten zu erzeugen, die weniger Rauschen aufweisen als die Bilddaten, die zum Erzeugen der Tonale-Wichtigkeit-Abbildung verwendet werden, auf der die Rauschberechnung beruhte.
Ebenfalls gemäß der Erfindung ist ein Verfahren zum Auswählen von Mehrfachbelichtungen zum Erfassen eines Bildes einer Szene mit vermindertem Rauschen vorgesehen, das folgende Schritte umfasst:

a) Liefern von Bilddaten, die für eine Szene repräsentativ sind, an eine Bildverarbeitungsvorrichtung;
b) Identifizieren eines oder mehrerer Abschnitte der Szene, der beziehungsweise die unverhältnismäßig zu dem sichtbaren Rauschen in einem aus den Bilddaten erzeugten Bild beitragen würde(n); und
c) Verwenden der Identifizierung, um ein Belichtungsmuster auszuwählen, um den Beitrag von den Abschnitten zu dem sichtbaren Rauschen zu vermindern, wenn Belichtungen von dem ausgewählten Belichtungsmuster kombiniert werden, um das rauschverminderte Bild zu erzeugen.

Die Erfindung liefert ferner ein Verfahren zum Erfassen eines rauschverminderten Bildes einer Szene unter Verwendung eines elektronischen Bilderfassungssystems, das eine Bildverarbeitungsvorrichtung umfasst, wobei das Verfahren die Schritte des Lieferns von Bilddaten, die zumindest ein überwachtes Bild darstellen, an die Bildverarbeitungsvorrichtung sowie ein Verwenden der Bildverarbeitungsvorrichtung, um:

i) aus den Bilddaten eine Tonale-Wichtigkeit-Abbildung zu erstellen;
ii) die Tonale-Wichtigkeit-Abbildung zu verwenden, um einen oder mehrere Abschnitte der Szene zu identifizieren, der beziehungsweise die unverhältnismäßig zu dem Rauschen beitragen würde(n), das in einem von den Bilddaten abgeleiteten Bild vorliegt;
iii) ein Mehrfachbelichtungsmuster zu wählen, das zumindest eine Belichtung umfasst, um den Rauschbeitrag von zumindest einem der Abschnitte zu vermindern; und
iv) das gewünschte Mehrfachbelichtungsmuster zu verwenden, um mehrere Bilder der Szene zu erfassen und die mehreren Bilder zu kombinieren, um das rauschverminderte Bild zu erzeugen,

Der Schritt ii) kann die Schritte eines Speicherns, in der Bildverarbeitungsvorrichtung, eines Rauschmodells, das das Rauschverhalten des elektronischen Bilderfassungssystems charakterisiert, und anschließend eines Verwendens des Rauschmodells, um aus dem Intensitätshistogramm das Rauschen, das in einem von den Bilddaten abgeleiteten Bild vorliegt, zu berechnen, umfassen.
Die Tonale-Wichtigkeit-Abbildung ist in ihrer einfachsten Form ein Intensitätshistogramm, das einen einfachen Zählwert von Pixeln liefert, die einen bestimmten Intensitätswert aufweisen oder in einer bestimmten Bandbreite von Intensitätswerten über einen Bereich von detektierten Intensitätswerten hinweg liegen. Üblicherweise liegt dies zwischen null und einer maximalen detektierten Intensität, die eine gesättigte Intensität sein kann.
Die zum Bilden des Intensitätshistogramms verwendeten Bilddaten können räumlich gewichtet werden, so dass der Rauschbeitrag von ausgewählten räumlichen Regionen des Detektorarrays relativ wichtiger ist als der von anderen räumlichen Regionen. Beispielsweise kann das Intensitätshistogramm aus Bilddaten gebildet sein, für die zentral angeordneten Bereichen oder Bereichen, die sich in der Nähe von Ecken eines Bildes befinden, eine höhere Gewichtung oder ein höherer Zählwert in dem Histogramm zuteil wird.
Der Prozessor kann bei dem ausgewählten Belichtungsmuster nach einer Optimierungsroutine angelangen, bei der der Prozessor einen Gesamtrauschpegel für eine Sequenz möglicher Belichtungsmuster berechnet und dabei ein lokales Minimum bei dem berechneten Gesamtrauschen sucht.
Wenn das elektronische Bilderfassungssystem ein Detektorarray umfasst, kann das Verfahren die Schritte des Detektierens zumindest eines überwachten Bildes einer Szene unter Verwendung des Detektorarrays und des Erzeugens der Bilddaten aus dem bzw. den überwachten Bild(ern) umfassen.
Der Schritt ii) kann die Schritte des Bestimmens, ausgehend von der Tonale-Wichtigkeit-Abbildung, des sichtbaren Rauschens, das in einem aus den Bilddaten erzeugten Bild vorliegt, und anschließend des Identifizierens eines oder mehre rer Abschnitte der Tonale-Wichtigkeit-Abbildung, die unverhältnismäßig zu dem sichtbaren Rauschen beitragen, umfassen.
Der Schritt iii) kann die Schritte die Schritte des Vorhersagens des Rauschbeitrags von den Abschnitten, die bei verschiedenen Belichtungen der Szene vorliegen würden, und anschließend des Auswählens eines gewünschten Mehrfachbelichtungsmusters, das zumindest eine Belichtung umfasst, um den Rauschbeitrag von zumindest einem der Abschnitte zu vermindern, umfassen.
Das Verfahren kann auch ein Erfassen mehrerer Bilder der Szene und ein Kombinieren der mehreren Bilder, um das rauschverminderte Bild zu erzeugen, umfassen.
Das aus dem ausgewählten Mehrfachbelichtungsmuster erzeugte Bild kann in Form eines zusammengesetzten Bildes vorliegen, bei dem verschiedene Abschnitte des Bildes oder verschiedene Bildpixel von verschiedenen Belichtungen stammen, wobei normalerweise die hellsten ungesättigten Pixel aus den verfügbaren Belichtungen ausgewählt werden und die Pixelwerte gemäß den entsprechenden Belichtungen skaliert werden, um eine einheitliche Beleuchtung der Szene zu liefern.
Statt Pixelwerte für das zusammengesetzte Bild aus verschiedenen Belichtungen auszuwählen, ist es alternativ dazu möglich, Werte aus Mehrfachbelichtungen an jeder Pixelposition zu kombinieren, um den Rauschpegel in dem zusammengesetzten Bild weiter zu verringern und um abrupte Stufen des Rauschpegels zwischen benachbarten Pixelwerten zu vermeiden. Auch ist bevorzugt, dass bekannte Techniken verwendet werden, um die Mehrfachbelichtungen zu kombinieren, um etwaige Auswirkungen einer Subjekt- oder Kamerabewegung zwischen den einzelnen Belichtungen zu minimieren.
Das Bild kann auch anderen Formen einer Nachbearbeitung wie z. B. einer Retinex-Bildverarbeitung oder anderen Formen einer Tonabbildung unterzogen werden. Die Erfindung ist auch mit verschiedenen bekannten Rauschverminderungstechniken, die auf das erfasste zusammengesetzte Bild angewendet werden können, vereinbar.
Optional kann das Rauschmodell die Fähigkeiten einer derartigen Nachbearbeitung und Rauschverminderung berücksichtigen.
Ein Hauptbestandteil des Rauschmodells ist jedoch das inhärente Rauschen des Detektorarrays, vor allem Schrotrauschen, und jeglicher anderer bedeutender Rauschquellen, wie z. B. Ausleserauschen. Das Rauschmodell kann auch das Rauschverhalten einer in dem Prozessor durchgeführten Bildverarbeitung charakterisieren. Derartige Rauschquellen können bezüglich einer gegebenen Anordnung von Detektor und Prozessor charakterisiert werden, um das Rauschmodell zu erzeugen und das elektronische Bilderfassungssystem so zu kalibrieren. Insbesondere kann das Rauschmodell die Auswirkung einer Bildverarbeitung charakterisieren, um Mehrfachbelichtungen zu kombinieren, um das rauschverminderte Bild zu erzeugen.
Der Prozessor kann dahin gehend angeordnet sein, ein oder mehrere lokale Maxima in dem Intensitätshistogramm zu lokalisieren, wobei die vorbestimmten Kriterien dann die Position der lokalen Maxima umfassen. Diese können dann bei der Auswahl des gewünschten Belichtungsmusters verwendet werden.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird nun lediglich beispielhaft und unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben, bei denen:
1 ein schematisches Diagramm ist, das ein elektronisches Bilderfassungssystem gemäß der Erfindung zum Erfassen eines Bildes einer Szene zeigt, das ein Detektorarray und eine Bildverarbeitungsvorrichtung umfasst;
2 ein doppelt logarithmisches Diagramm des Rauschverhaltens des elektronischen Bilderfassungssystems der 1 ist, das ein Rauschen zeigt, das gegenüber der Strahlungsdichte einer Szene für eine Anzahl verschiedener Belichtungszeiten aufgetragen ist;
3 ein doppelt logarithmisches Diagramm auf der Basis desjenigen der 2 ist, das ein Rauschen veranschaulicht, das bei einem Rauschmodell zu verwenden ist, das das letztendliche Rauschverhalten des elektronischen Bilderfassungssystems für diese bestimmten Belichtungszeiten charakterisiert;
4 eine Art einer Tonale-Wichtigkeit-Abbildung zeigt, die hier ein Intensitätshistogramm eines rohen Detektorarrayzählwerts gegenüber einer Bildstrahlungsdichte für das elektronische Bilderfassungssystem ist, wenn es zum Abbilden der Szene der 1 verwendet wird;
5 ein erstes ausgewähltes Belichtungsmuster für ein zusammengesetztes erfasstes Bild der Szene der 1 zeigt, das Bildrauschen in dem zusammengesetzten Bild im Vergleich zu einem Bild, das mit einer einzigen für das gesamte Bild geeigneten Belichtung aufgenommen wurde, vermindert;
6 ein Intensitätshistogramm auf der Basis desjenigen der 4 ist, das einen Detektorarrayzählwert zeigt, der gemäß der visuellen Wichtigkeit verschiedener Bereiche des Bildes auf dem Detektorarray modifiziert ist;
7 ein zweites ausgewähltes Belichtungsmuster für ein zusammengesetztes erfasstes Bild der Szene der 1 zeigt, das Bildrauschen in dem zusammengesetzten Bild für visuell wichtige Bereiche des erfassten Bildes weiter vermindert; und
8 ein Flussdiagramm ist, das die Hauptschritte der Erfindung beim Verwenden eines elektronischen Bilderfassungssystems, um ein Bild einer Szene zu erfassen, veranschaulicht.
Ausführliche Beschreibung
1 zeigt ein schematisches Diagramm, das ein elektronisches Bilderfassungssystem 1 zum Erfassen eines Bildes einer Szene 2 zeigt. Das System 1 umfasst ein optisches Bilderzeugungssystem 4, das dahin gehend angeordnet ist, ein Bild 6 der Szene 2 auf ein rechteckiges Detektorarray 8 zu projizieren, das aus Detektorpixeln 9 auf einem Rasterarray gebildet ist.
Das Detektorarray 8 arbeitet unter der Steuerung einer Bildverarbeitungsvorrichtung 10, die einen Prozessor 12 und einen Speicher 14 umfasst. Der Prozessor 12 sendet Befehlssignale 16 an das Detektorarray 8 und empfängt wiederum Bilddaten 18, wenn ein Bild durch das Array 8 detektiert wird.
Das System 1 kann beispielsweise Bestandteil einer in der Hand zu haltenden elektronischen Kameravorrichtung oder einer anderen Art von elektronischer Bilderzeugungsausrüstung sein. Der Übersichtlichkeit halber nicht gezeigt sind zusätzliche Elektronik, Verbindungen und Komponenten, die üblicherweise bei derartigen Systemen verwendet werden, beispielsweise Benutzereingabesteuerungen, Leistungsversorgungen, Bildausgaben, Displays und dergleichen.
Bei diesem Beispiel umfasst die Szene 2 einen Baum 20, der einen dunklen Schatten 22 auf den Boden wirft.
2 ist ein doppelt logarithmisches Diagramm, das das Rauschverhalten des elektronischen Bilderfassungssystems 1 lediglich für den Grün-Kanal über einen Bereich möglicher Belichtungszeiten 21 hinweg und gegenüber der Szenenstrahlungs dichte für den grünen Teil des Spektrums, die von der Bildintensität an den grünen Pixeln des Detektorarrays 8 abhängt, veranschaulicht. Die Hauptkomponente des Rauschens ist Schrotrauschen in dem Detektorarray 8. Jede Belichtungszeit 21 dehnt sich bei höheren Strahlungsdichten bis nahe an eine Sättigung 23 aus. Das Rauschverhalten verschlechtert sich in Richtung geringerer Strahlungsdichten für jede Belichtungszeit 21.
3 veranschaulicht das Rauschverhalten einer Belichtung, die das Mehrfachbelichtungsmuster, das von 2 abgeleitet ist, verwendet, als doppelt logarithmisches Diagramm aufgetragen. Dieses Diagramm wird dazu verwendet, ein vereinfachtes Rauschmodell 25 zu veranschaulichen, das das letztendliche Rauschverhalten des elektronischen Bilderfassungssystems charakterisiert, wenn die möglichen Belichtungszeiten 21 auf diese veranschaulichten Werte beschränkt sind, nämlich 11 verschiedene Belichtungen, die durch Zweierpotenzen zwischen 1 ms und 1.024 ms getrennt sind. Das Rauschmodell 25 weist die Form einer Rauschrampe mit gesonderten Stufen 27 an den Sättigungsgrenzen 23 jeder Belichtungszeit 21 auf. Das Rauschmodell 25 ist in dem Speicher 14 als Kalibrierung des Rauschverhaltens des Systems 1 gespeichert oder kann von anderen gespeicherten Kalibrierungsdaten in dem Speicher 14 abgeleitet werden.
In der Praxis kann ein elektronisches Bilderzeugungssystem 1 fast jede beliebige Anzahl verschiedener möglicher Belichtungszeiten aufweisen, wobei die Auflösung von Belichtungsstufen lediglich durch die Taktzykluszeit des Detektorarrays 8 oder einer anderen Steuerelektronik eingeschränkt wird. Im Prinzip könnte das Rauschverhalten willkürlich verbessert werden, indem eine immer größere Anzahl an Mehrfachbelichtungen ausgewählt wird, in der Praxis ist dies jedoch aufgrund von praktischen Überlegungen nicht durchführbar, beispielsweise bezüglich der Zeitdauer, die man dafür benötigen würde, eine Mehrfachbelichtung abzuschließen, bezüglich Speichereinschränkungen und so weiter.
4 zeigt ein Szenenstrahlungsdichte-Histogramm 24, das ein Typ einer ungewichteten Tonale-Wichtigkeit-Abbildung ist. Das Szenenstrahlungsdichte-Histogramm veranschaulicht einen Zählwert von Detektorarraypixeln, die Intensitäten aufweisen, die jeder Szenenstrahlungsdichte für das elektronische Bilderfassungssystem 1 entsprechen, wenn es zum Abbilden der Szene 2 verwendet wird. Der Zählwert ist direkt auf die Anzahl von erfassten Photonen plus Rauschen bezogen, was wiederum auf die Szenenstrahlungsdichte bezogen ist. Es sind andere Formen einer Tonale-Wichtigkeit-Abbildung möglich, die eine alternative Abbildung von einer Quantität, die allgemein die Tonpegel der Szene angibt, auf eine andere Quantität, die allgemein die Bedeutung eines in diesen Tönen vorhandenen Rauschens angibt, vorsehen. Diese erste Schritt beinhaltet ein Erstellen des Szenenstrahlungsdichte-Histogramms 24 aus einem vorläufigen oder Monitorbild 6 bei einer gewünschten Belichtungseinstellung, die im Wesentlichen für das ganze Bild geeignet ist.
Das Szenenstrahlungsdichte-Histogramm 24 des Bildes 6 ist ein Histogramm, das von einem Zählwert von Pixeln abgeleitet ist, die jeweils eine Bandbreite von Intensitätswerten aufweisen. Dieses Histogramm bezieht die Anzahl von Pixeln in einem Bild an jedem in diesem Bild angetroffenen unterschiedlichen Intensitätswert. Für ein 16-Bit-Grauskalierungsbild gibt es 65.536 mögliche verschiedene Intensitäten, und somit könnte das Histogramm 65.536 Zahlen darstellen, die die Verteilung von Pixeln unter diesen Grauskalierungswerten zeigen. Histogramme können auch von Farbbildern erstellt werden. Histogramme der einzelnen Farbkanäle können separat oder in Kombination verwendet werden, oder es kann ein einziger Farbkanal dahin gehend behandelt werden, dass er Szenenstrahlungsdichten angibt.
Jedes der Pixel, das ein in dem Prozessorspeicher 14 gespeichertes Bild darstellt, weist einen Pixelwert auf, der beschreibt, wie hell dieses Pixel ist und/oder welche Farbe es aufweisen sollte.
Um Farbbilder darzustellen, müssen für jedes Pixel (wenn man von einem RGB-Farbraum ausgeht) separate Rot-, Grün- und Blau-Komponenten spezifiziert werden, und somit ist der Pixel-„Wert” in der Tat ein Vektor aus drei Zahlen. Oft sind die drei verschiedenen Komponenten als drei getrennte (auf „Grauskalierungs”-Bilder gespeichert, die als Farbebenen (jeweils eine für Rot, Grün und Blau) bekannt sind und die beim Anzeigen oder Verarbeiten neu kombiniert werden müssen.
Bei diesem Beispiel ist das Histogramm 24 nur für die Farbe Grün, und es weist bei niedrigeren Strahlungsdichten, die dunklen-Bereichen des Bildes, beispielsweise dem Schatten 22, entsprechen, eine Spitze 26 auf, und weist anschließend bei höheren Strahlungsdichten, beispielsweise bei dem Baum 20, eine zweite Spitze 28, auf. Dazwischen liegt ein Minimum 30, das bei diesem Beispiel als der blaue Himmel anzunehmen ist.
Wie in 4 gezeigt ist, ist das Intensitätshistogramm ein eindimensionales Histogramm bezüglich der detektierten Bildintensität. Die Eindimensionalität des Histogramms vereinfacht eine weitere Berechnung.
Allgemein gesagt verwendet der Prozessor das Rauschmodell 25, um aus dem Intensitätshistogramm 24 das Rauschen zu berechnen, das in einem aus den Bilddaten erzeugten Bild vorliegen würde, und verwendet anschließend ein oder mehrere vorbestimmte Kriterien, um einen oder mehrere Abschnitte des Intensitätshistogramms 24 zu identifizieren, der bzw. die unverhältnismäßig zu dem in den Bilddaten vorliegenden berechneten Rauschen beitragen würde(n). Die Kriterien hier können eine Spitzendetektion in dem Histogramm sein.
Der Prozessor 10 wählt anschließend eines einer Mehrzahl möglicher Mehrfachbelichtungsmuster aus, das den Beitrag zu dem berechneten Rauschen aus diesen Abschnitten des Intensitätshistogramms 24 selektiv vermindert, wenn das elektronische Bilderfassungssystem 1 dazu verwendet werden soll, ein Bild der Szene 2 zu erfassen. Die Mehrfachbelichtungen werden an schließend kombiniert, um ein rauschvermindertes Bild zu erzeugen.
Wie durch 5 gezeigt ist, sind Rauschstufen 32 bei einem berechneten Rauschverhalten 34 so positioniert, dass beide Spitzen 26, 28 in dem Intensitätshistogramm 24 mit nahe bei einer optimalen Grenze liegenden Rauschpegeln zusammenfallen, während niedrigere Histogrammzählwerte dies nicht tun.
Ein Beispiel eines allgemeineren Verfahrens zum Bewerten des Verhaltens eines bestimmten Musters von Belichtungen lautet wie folgt.
Eine Metrik oder Bewertung für ein Muster von Belichtungen wird durch die Summe über alle Strahlungsdichten der Wichtigkeit jedes Strahlungsdichtewerts geteilt durch das Rauschen, oder eine Funktion des Rauschens, des Musters bei diesem Strahlungsdichtewegel gegeben.
Anhand dieses Bewertüngsverfahrens werden Abschnitte des Bildes, die eine höhere Wichtigkeit aufweisen, schwerer gewichtet, und Muster, die geringere Rauschpegel ergeben, insbesondere in diesen Bereichen höherer Wichtigkeit, ergeben höhere Bewertungen.
Der in 4 gezeigte Histogrammzählwert von Pixeln kann unter gewissen Umständen etwas unfertig sein, da der Kontext, der ein Pixel umgibt, oft beim Bestimmen, ob das Rauschen, das diesem Strahlungsdichtewert zugeordnet ist, bedeutend oder wahrnehmbar ist, wichtig ist.
Eine Art einer Region, bei der Rauschen am deutlichsten sein kann, ist eine flache Region oder eine sanft variierende Region des Bildes, beispielsweise eine große Region blauen Himmels. Je größer der Bereich dieser Region, desto wichtiger ist es, das Rauschen zu vermindern. Wie durch das modifizierte Intensitätshistogramm oder die Tonale-Wichtigkeit-Abbildung 36 der 6 gezeigt ist, gewichtet der Prozessor 10 die Strahlungsdichtewerte in einer derartigen Region, um die Wichtigkeit im Vergleich zu dem Wert eines einfachen Zählwerts wie in 4 zu erhöhen.
Der Begriff „Tonale-Wichtigkeit-Abbildung” wird hierin verwendet, um jegliches Maß der Wichtigkeit, Bedeutung oder des Hervorstechens des Rauschens in jedem Tonwert zu bezeichnen, wobei sich der Tonwert auf die Töne in der ursprünglichen Szene bezieht, beispielsweise unter Verwendung eines Strahlungsdichtemaßes oder eines anderen Wertes, der die Helligkeit einer Szene in einen bestimmten Teil des Spektrums angibt.
Es gibt aber auch einige Regionen, in denen das Rauschen weniger deutlich ist, da es durch einen hohen Frequenzgehalt maskiert ist, beispielsweise eine Region blauen Himmels, der durch die Blätter oder Äste eines Baums zu sehen ist. Textur hat eine ähnliche Maskierungswirkung. Strahlungsdichtewerte in derartigen Regionen werden durch den Prozessor 10 gewichtet, um ihre Wichtigkeit zu reduzieren, wenn ihr Auftreten gezählt wird. Im Idealfall ist das, was zählt, der wahrnehmbare Effekt des Rauschens auf die letztendliche Bildqualität.
Das ausgewählte Belichtungsmuster 40 führt deshalb zu einem Bild, das für einen Betrachter des Bildes ein weniger deutliches Rauschen aufweist, wobei Rauschrampenstufen 42 bei weniger wichtigen Bildintensitäten positioniert sind, wie durch die Tonale-Wichtigkeit-Abbildung 36 definiert ist.
Deshalb kann die Erfindung die Rauschvorhersage für ein Muster von Belichtungen und eine Tonale-Wichtigkeit-Abbildung, die Informationen über die visuell wichtigen Aspekte der Szene beinhaltet, kombinieren, um ein optimaleres Muster von Belichtungen zu ermitteln.
Zusammenfassend, wie durch das Flussdiagramm 50 der 8 beschrieben ist, wird das Rauschverhalten zumindest des Detektorarrays 8 charakterisiert und anschließend in dem Speicher 14 der Bildverarbeitungsvorrichtung 10 gespeichert 51. Der Speicher 14 enthält Informationen, die die Signal/Rausch- Verhalten-Kennwerte des Detektorarrays 8 über eine Mehrzahl von Belichtungseinstellungen 21 des Arrays innerhalb der Sättigungsgrenzen 23 der Bilderfassungspixel 9 charakterisieren. Die Bildverarbeitungsvorrichtung 10 ist dahin gehend angeordnet, von dem Detektorarray 8 Signale 18 zu empfangen 52, die für zumindest ein Bild 6, das durch das Array 8 erfasst wird, repräsentativ sind. Dies umfasst den Fall, in dem diese Bilder aus vorherigen Arbeitszyklen des hierin beschriebenen Systems stammen. Mit anderen Worten deckt dies auch eine inkrementale Anwendung der Erfindung ab, anhand derer eine oder mehrere Belichtungen ermittelt und anschließend erfasst werden, bevor der Zyklus wiederholt wird, um verbesserte Auswahlen weiterer Belichtungen zu treffen.
Die Bildverarbeitungsvorrichtung 10 überwacht ein durch das Array 8 zu erfassendes Bild, und wenn ein Bild erfasst werden soll, wird das durch das Detektorarray 8 detektierte Bild in einem einzigen Durchgang abgetastet, und die Anzahl von Pixeln, die bei jedem Intensitätswert angetroffen werden, wird laufend gezählt. Dieser Zählwert wird dann dazu verwendet, eine geeignete Tonale-Wichtigkeit-Abbildung 36 zu erstellen 53, 54, die hier das Intensitätshistogramm 24 ist, das dahin gehend modifiziert ist, die relative visuelle Wichtigkeit von Abschnitten des Bildes zu berücksichtigen. Da es der Fall ist, dass Bilder allgemein keine zufälligen Informationen enthalten, können dann ein oder mehrere Abschnitte des Intensitätshistogramms, der bzw. die unverhältnismäßig zu dem vorliegenden Gesamtrauschen beiträgt bzw. beitragen, durch den Prozessor 10 identifiziert 55 werden.
Die Tonale-Wichtigkeit-Abbildung 36 kann dann für eine Mehrzahl verschiedener Belichtungsmuster mit der Rauschvorhersage 25 kombiniert werden, um ein Muster von Belichtungen mit dem geringsten vorhergesagten Rauschen 34, 40 zu ermitteln 56. Bei diesem Vorgang wird das berechnete Rauschen über die gesamte Bandbreite an Intensitätswerten hinweg beurteilt, und das Intensitätshistogramm 24 oder die Tonale-Wichtigkeit-Abbildung 36 wird dazu verwendet, das Muster von Belichtungen (Verstärkung, Belichtungszeit, Blendensteuerungen, Bandbreite an erfassten Strahlungsdichten usw.), das die merkliche Verschlechterung der letztendlichen Bildqualität durch Rauschen minimiert, zu ermitteln.
Das gewünschte Mehrfachbelichtungsmuster 34, 40 wird anschließend dazu verwendet 57, ein zusammengesetztes Bild einer Szene zu erfassen, das in Bildbereichen oder Pixeln, für die eine Rauschverminderung wichtig ist, ein vermindertes Rauschen aufweist.
Man sollte beachten, dass Bilddaten des anfänglichen oder überwachten Bildes, die zum Erstellen des Intensitätshistogramms 24, 26 verwendet werden, optional im Speicher gespeichert werden und später erneut als eine Belichtung des ausgewählten Belichtungsmusters verwendet werden können. Dies liefert den Vorteil, diese bestimmte Belichtung nicht erneut nehmen zu müssen.
Bei diesem Beispiel erzeugt der Prozessor 10 dann, wenn das Intensitätshistogramm 24 oder die Tonale-Wichtigkeit-Abbildung 36 mit dem Rauschdiagramm 25 für ein Muster von Belichtungen 21 kombiniert wird, eine Metrik, die angibt, wie gut die wichtigen Strahlungsdichten in der Szene erfasst wurden. Die Verwendung einer Metrik mit dem Muster von Belichtungen ermöglicht einen optimierungsbasierten Lösungsansatz oder eine optimierungsbasierte Suche, um das beste Muster von Belichtungen 34, 40 zum Verringern des merklichen Rauschens zu finden.
Es kann trotzdem eine Rauschverminderung in der in Verarbeitungsrichtung nachgelagerten Bildverarbeitungs-Pipeline verwendet werden. Durch Schätzen der räumlichen Regionen, in denen eine Rauschverminderung am effektivsten sein wird, üblicherweise in Regionen mit wenigen Details, und durch Verringern der räumlichen Gewichte der Pixel in diesen Regionen kann der Rauschbeitrag von diesen Regionen beim Identifizieren von Abschnitten eines unverhältnismäßigen Rauschens oder beim Schätzen des Rauschverhaltens eines Musters von Belichtungen vermindert oder außer Acht gelassen werden.
Beispielsweise sind die Regionen, in denen Rauschen am deutlichsten ist, manchmal diejenigen, bei denen es am einfachsten zu detektieren ist. Eine einfache Rauschverminderung geht davon aus, dass hohe Luminanzdifferenzen Bildmerkmalen (Konturen) entsprechen, und geringe Luminanzdifferenzen einem Rauschen entsprechen. Eine herkömmliche Rauschverminderung kann funktionieren, wenn diese Annahmen zutreffen, und somit ist es in derartigen Regionen eventuell nicht notwendig, das Rauschen allein unter Verwendung der oben beschriebenen Erfindung zu vermindern.
Tonabbildungstechniken wie zum Beispiel Retinex liefern ein Mittel zum Sichtbarmachen von Bildern mit einem tatsächlich höheren Dynamikbereich auf Display-Vorrichtungen ohne den zum Anzeigen des ursprünglichen Bildes erforderlichen Dynamikbereich. Dies verwendet eine räumlich variierende Tonabbildung, die die Details in Schatten hervorheben kann und dabei Details in den Spitzlichtern dämpft. Diese Techniken nutzen die Charakteristik des menschlichen visuellen Systems, empfindlicher in Bezug auf Kontraste hinsichtlich Bestrahlungsstärke/Luminanz als in Bezug auf absolute Unterschiede zu sein.
Ohne dass ein echter Dynamikbereich ein geringes Rauschen aufweist, erzeugt die Tonabbildung störende Artefakte, indem sie Rauschen in den Schatten hervorhebt. Deshalb kann die Erfindung dazu verwendet werden, die Leistungsfähigkeit von Retinex-Techniken zu verbessern, indem sie Rauschen in Regionen, in denen Rauschen hervorgehoben wird, vermindert.
In den Regionen, in denen es wahrscheinlich ist, dass Tonabbildungsartefakte auftreten, da in diesen Regionen wahrscheinlich ein Rauschen hervorgehoben wird, können die entsprechenden Pixel gewichtet werden, um den Zählwert in dem Intensitätshistogramm der Strahlungsdichtewerte in derartigen Regionen zu erhöhen.
Falls mehr als ein Bild als ein vorübergehendes oder überwachtes Bild erfasst wird, kann zumindest eines der Bilder mittels Strobe- oder Flash beleuchtet werden, um eine Schätzung sowohl der Intensitäten der Szene in verfügbarem Licht als auch der relativen Intensitäten mit Strobe-Beleuchtung zu liefern. Zusammen können das verfügbare Licht und die Strobe-Bilder ermöglichen, dass Beleuchtungsmuster mit verfügbarem Licht, Strobe oder Gemischen von jedem derselben ermittelt werden.
Wie oben erläutert wurde, folgt ein elektronisches Bilderfassungssystem, das die Szenenstrahlungsdichten erfasst, indem es Mehrfachbelichtungen kombiniert, einer Kennlinie 25, die Rauschen gegenüber Strahlungsdichte aufträgt. Diese Linie weist ausgeprägte Stufen 27 bezüglich Rauschens auf. Verschiedene Belichtungen 21 weisen somit verschiedene Rauschcharakteristika auf. Die Position dieser Rauschstufen wird durch die Muster von Belichtungen und die Empfindlichkeit des Farbkanals bestimmt. Es findet eine plötzliche Änderung des vorhergesagten Rauschens statt, wenn sich der Satz von Belichtungen, die den Strahlungsdichtewert messen, abrupt ändert.
Die Erfindung gewährleistet, dass Rauschstufen 27 korrekt platziert werden, um etwaige plötzliche Änderungen des Rauschens in dem Bild, die manchmal für das Auge sichtbar sein können, beispielsweise als Rauschkontur in einer sanft variierenden Region, zu minimieren. Da eine Rauschstufe 27 über eine begrenzte Bandbreite von Strahlungsdichtewerten auftritt, ist es außerdem möglich, Strahlungsdichtewerte, die nahe bei den Rauschstufen liegen, die in Regionen auftreten, in denen Stufen Artefakte erzeugen, bei der Erstellung eines Histogrammzählwerts als bedeutender zu gewichten. Die Erfindung kann deshalb dazu verwendet werden, das Muster von Belichtungen zu verändern, um ein Platzieren von Rauschstufen in Regionen, in denen diese Rauschstufen Artefakte erzeugen würden, zu vermeiden.
Bei dieser Beschreibung wurde lediglich die Verwendung des Grün-Kanals beschrieben. Dies kann unter manchen Umständen angemessen sein, berücksichtigt jedoch natürlich nicht das in den anderen Farbkanälen eines Farbbildes erzeugte Rauschen. Bei manchen Anwendungen kann es wünschenswert sein, ein Intensitätshistogramm pro Farbkanal aufzuweisen, und dann ist die Bewertung für eine gegebene Belichtungskonfiguration die gewichtete Summe von Bewertungen für jeden Farbkanal. Dies würde ermöglichen, dass die Optimierung das Rauschen in verschiedenen Farbkanälen ausgleicht.
Eine weitere Möglichkeit bestünde darin, ein Intensitätshistogramm für den Luminanzkanal zu erstellen und das Rauschen in dem Luminanzstrahlungsdichtewert zu berechnen, da dies einfach die gewichtete Summe der Farbkanäle ist und seine Varianz somit abgeleitet werden kann. Ein Auswählen von Belichtungsmustern, um Rauschen in einem Abschnitt des Luminanzbereichs zu verringern, würde ein Auswählen derjenigen Belichtungen beinhalten, die Rauschpegel über die Farbkanäle hinweg reduzieren würden, um den entsprechenden Abschnitt des Luminanzbereichs zu verbessern. Dies erfolgt am Einfachsten für relativ kleine Bildabschnitte, bei denen die dominante Farbe bekannt ist.
Ein auf Nicht-Luminanz beruhendes Rauschen kann anschließend bei einer Weiterverarbeitung durch den Prozessor anhand einer Rauschverminderung beseitigt werden.
Ein elektronisches Bilderfassungssystem, das Mehrfachbelichtungen gemäß der Erfindung kombiniert, indem es das Muster von Belichtungen an die Szene anpasst, kann somit die Bandbreite an Szenenstrahlungsdichtewerten, die es misst, erhöhen und das Rauschen bei der gemessenen Strahlungsdichte verringern. Das verwendete Muster von Belichtungen ermittelt sowohl die Bandbreite an Strahlungsdichtewerten als auch das Rauschen bei der gemessenen Strahlungsdichte.
Die Erfindung trägt dazu bei, ein Rauschen in Bereichen, in denen es die letztendliche visuelle Bildqualität beeinträchtigt, zu verringern. Eine optimale Bildqualität kann zu vernünftigen Kosten bezüglich einer Gesamtbelichtungszeit oder Anzahl von Belichtungen erzielt werden, oder reduzierte Kosten bei einer gegebenen Qualität.
Die Erfindung ermöglicht auch eine Tonabbildung, die (aufgrund der erhöhten Anzahl von Pegeln, die unterschieden werden können) einen hohen Dynamikbereich mit einem Rauschverhalten, das über ein anvisiertes Display oder einen anvisierten Ausdruck hinausgeht, erfordert.
Die Erfindung kann auch Sensorpegel-Lösungsansätze bezüglich eines Erfassens von Mehrfachbelichtungen einer Szene, die derzeit verfügbar werden, verwenden. Beispielsweise stehen neue CMOS-Sensoren zur Verfügung, die 6 Megapixel bei 60 Rahmen/Sekunde mit einer Hardware-Bewegungsanalyse erfassen können, um die Kombination von Mehrfachbelichtungen mit verringerten Bewegungsartefakten zu ermöglichen.
Diese Erfindung betrifft das Problem des Steuerns und Anpassens eines elektronischen Bilderfassungssystems dahin gehend, Mehrfachbelichtungen einer Szene zu erfassen, um Bilder mit einem höheren Dynamikbereich zu erhalten und dabei die Beeinträchtigung der Bildqualität durch Rauschen zu minimieren.
Dieser hierin beschriebene Lösungsansatz ermöglicht, dass das Rauschen, das einem Strahlungsdichtewert zugeordnet ist, gegen ein Rauschen in anderen, weniger wichtigen Strahlungsdichten ersetzt wird.
Ferner kann diese Erfindung die Leistungsfähigkeit anderer Rauschverminderungstechniken in der Bilderzeugungs-Pipeline berücksichtigen.
Die Erfindung liefert somit eine zweckmäßigere Vorrichtung und ein zweckmäßigeres Verfahren zum Erfassen eines elektronischen Bildes, bei der bzw. bei dem das erfasste Bild in ausgewählten Pixeln oder Bereichen ein vermindertes Rauschen aufweist.
Man sollte sich darüber im Klaren sein, dass verschiedene Anderungen, Modifkationen und/oder Zusätze bei den Konstruktionen und Anordnungen von Teilen, die oben beschriebenen wurden, eingeführt werden können, ohne von dem Schutzumfang der vorliegenden Erfindung, wie er durch die angehängten Patentansprüche definiert ist, abzuweichen.
Insbesondere sollte man beachten, dass der Prozessor und der Speicher in eine einzige integrierte Schaltung integriert werden können oder unter diskreten Komponenten verteilt sein können. Die durch den Prozessor verwendeten Anweisungen können Software in gespeichertem Speicher oder als Firmware fest verdrahtet sein. Fachleuten wird einleuchten, dass an der jeweiligen Anordnung von Hardware und Software verschiedene Modifikationen vorgenommen werden können, ohne von dem Schutzumfang der Erfindung, wie er in den angehängten Ansprüchen definiert ist, abzuweichen.
Die Erfindung liefert somit eine zweckmäßige Vorrichtung und ein zweckmäßiges Verfahren zum Erfassen eines elektronischen Bildes mit vermindertem Rauschen.
Zusammenfassung
Elektronische Bilderfassung mit reduziertem Rauschen
Die vorliegende Erfindung bezieht sich auf ein elektronisches Bilderfassungssystem zum Erfassen eines elektronischen Bildes, das ein vermindertes Rauschen aufweist, und auf ein Verfahren zum Erfassen eines elektronischen Bildes, das ein vermindertes Rauschen aufweist, beispielsweise von einer Digitalkameravorrichtung. Ein elektronisches Bilderfassungssystem (1) zum Erfassen eines rauschverminderten Bildes einer Szene (2) umfasst ein Detektorarray (8) und eine Bildverarbeitungsvorrichtung (10). Das Detektorarray (8) ist dahin gehend angeordnet, der Bildverarbeitungsvorrichtung (10) Daten (18) zu liefern, die zumindest ein Bild (6) einer durch das Array (8) detektierten Szene darstellen, und die Bildverarbeitungsvorrichtung enthält ein Rauschmodell, das das Rauschverhalten des Bilderfassungssystems (1) im Wesentlichen charakterisiert. Die Bildverarbeitungsvorrichtung (10) ist dahin gehend angeordnet, unter Verwendung der Bilddaten (18) und des Rauschmodells einen oder mehrere Abschnitte der Szene (2) zu identifizieren, der bzw. die unverhältnismäßig zu sichtbarem Rauschen in einem aus den Bilddaten (18) erzeugten Bild beitragen würde(n), und ein Belichtungsmuster auf der Basis dessen auszuwählen, das das ausgewählte Belichtungsmuster den Beitrag zu dem sichtbaren Rauschen vermindert, wenn Belichtungen von dem ausgewählten Belichtungsmuster kombiniert werden, um das rauschverminderte Bild zu erzeugen.

Claims

Ein elektronisches Bilderfassungssystem zum Erfassen eines verringerten Bildrauschens einer Szene, das ein Detektorarray und eine Bildverarbeitungsvorrichtung aufweist, wobei das Detektorarray dahin gehend angeordnet ist, der Bildverarbeitungsvorrichtung Daten zu liefern, die zumindest ein Bild einer durch das Array detektierten Szene darstellen, und wobei die Bildverarbeitungsvorrichtung ein Rauschmodell enthält, das das Rauschverhalten des Bilderfassungssystems im Wesentlichen charakterisiert, wobei die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist: – zu identifizieren, unter Verwendung der Bilddaten, eines oder mehrerer Abschnitte der Szene, der beziehungsweise die unverhältnismäßig zu sichtbarem Rauschen in einem aus den Bilddaten erzeugten Bild beitragen würde(n), und – ein Belichtungsmuster auf der Basis dessen auszuwählen, dass das ausgewählte Belichtungsmuster den Beitrag zu dem sichtbaren Rauschen von den Abschnitten verringert, wenn Belichtungen von dem ausgewählten Belichtungsmuster kombiniert werden, um das rauschverminderte Bild zu erzeugen.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 1, bei dem das Rauschmodell ferner das Rauschverhalten einer Bildverarbeitung bei der Kombination des ausgewählten Belichtungsmusters charakterisiert.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 1 oder Anspruch 2, bei dem die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist, das Rauschmodell und die Bilddaten zu verwenden, um sichtbares Rauschen für zumindest einen Teil eines Bildes zu schätzen, das aus einer einzigen Belichtung oder einer Kombination von Belichtungen gewonnen wird, und diese Rauschschätzung dazu zu verwenden, diese Abschnitte der Szene zu identifizieren.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist, das Rauschmodell und die Bilddaten dazu zu verwenden, eine oder mehrere geeignete Belichtungen zu identifizieren, um den Beitrag zu sichtbarem Rauschen zu vermindern.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Abschnitte der Szene räumliche Abschnitte sind, die zumindest teilweise auf der Basis ihrer räumlichen Positionen in den Bilddaten definiert sind.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Abschnitte der Szene tonale Abschnitte sind, die zumindest teilweise auf der Basis ihrer tonalen Eigenschaften in den Bilddaten definiert sind.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist, eine räumliche Gewichtung anzuwenden, so dass Bilddaten von ausgewählten räumlichen Regionen der Szene relativ wichtiger sind als Bilddaten von anderen räumlichen Regionen.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 7, bei dem die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist, ein oder mehrere spezifische Merkmale in einem detektierten Bild zu identifizieren und die Gewichtung von Bilddaten, die von diesen Merkmalen stammen, zu erhöhen oder zu reduzieren.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 7 oder Anspruch 8, bei dem die räumlichen Gewichtungen je nach der Einheitlichkeit von Farbe und/oder Ton in den Bilddaten von den entsprechenden räumlichen Regionen erhöht oder verringert werden.
Ein elektronisches Bilderfassungssystem gemäß einem der Ansprüche 7 bis 9, bei dem die räumlichen Gewichtungen auf der Basis von Gesichtserkennungsregeln, die durch die Bildverarbeitungsvorrichtung angewendet werden, erhöht oder verringert werden.
Ein elektronisches Bilderfassungssystem gemäß einem der Ansprüche 7 bis 10, bei dem die räumlichen Gewichtungen auf der Basis von Visuelles-Hervorstechen-Regeln, die durch die Bildverarbeitungsvorrichtung angewendet werden, erhöht oder verringert werden.
Ein elektronisches Bilderfassungssystem gemäß einem der Ansprüche 7 bis 11, bei dem die räumlichen Gewichtungen auf der Basis von Bildverarbeitungsregeln, die durch die Bildverarbeitungsvorrichtung angewendet werden, erhöht oder verringert werden.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 12, bei dem die Bildverarbeitungsregeln Tonabbildungsregeln, Farbverarbeitungsregeln, Rauschverminderungsregeln und/oder Bildschärfungsregeln umfassen.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist, aus den Bilddaten eine Tonale-Wichtigkeit-Abbildung zu erstellen und anschließend das Rauschmodell zu verwenden, um ausgehend von der Tonale-Wichtigkeit-Abbildung einen oder mehrere der Abschnitte eines unverhältnismäßigen sichtbaren Rauschens zu identifizieren.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 14, bei dem die Tonale-Wichtigkeit-Abbildung je nach der Anzahl von Pixeln und/oder räumlichen Gewichtungen von Pixeln in den Bilddaten, die einen entsprechenden Bildton aufweisen, einem Szenenton einen höheren oder geringeren Wichtigkeitswert zuordnet.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Bildverarbeitungsvorrichtung dahin gehend eingeschränkt ist, das ausgewählte Belichtungsmuster innerhalb einer Kostenmetrik auszuwählen.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 16, bei dem die Kostenmetrik ein Maß der Gesamtbelichtungszeit umfasst.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 16 oder Anspruch 17, bei dem die Kostenmetrik ein Maß einer verfügbaren elektrischen Leistung umfasst.
Ein elektronisches Bilderfassungssystem gemäß einem der Ansprüche 16 bis 18, bei dem die Kostenmetrik ein Maß einer Speicherkapazität umfasst.
Ein elektronisches Bilderfassungssystem gemäß einem der Ansprüche 16 bis 19, bei dem die Kostenmetrik ein Maß der Rate umfasst, mit der das elektronische Bilderfassungssystem Bilder erfassen kann.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Bildverarbeitungsvorrichtung dahin gehend eingeschränkt ist, das ausgewählte Belichtungsmuster so auszuwählen, dass dies innerhalb eines variablen Zeitfensters abgeschlossen werden kann.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 21, bei dem das variable Zeitfenster anhand zumindest einem einer Mehrzahl von vorbestimmten Belichtungskriterien durch die Bildverarbeitungsvorrichtung ausgewählt wird.
Ein elektronisches Bilderfassungssystem gemäß Anspruch 22, bei dem die Belichtungskriterien eine minimale und eine maximale zulässige Gesamtbelichtungszeit umfassen.
Ein elektronisches Bilderfassungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Bildverarbeitungsvorrichtung dahin gehend angeordnet ist, die Bilddaten und Bilddaten aus dem ausgewählten Belichtungsmuster zu erfassen, neu zu skalieren und zu kombinieren, um das rauschverminderte Bild zu erzeugen.
Ein Verfahren zum Auswählen von Mehrfachbelichtungen zum Erfassen eines Bildes einer Szene mit vermindertem Rauschen, das folgende Schritte umfasst: a) Liefern von Bilddaten, die für eine Szene repräsentativ sind, an eine Bildverarbeitungsvorrichtung; b) Identifizieren eines oder mehrerer Abschnitte der Szene, der beziehungsweise die unverhältnismäßig zu dem sichtbaren Rauschen in dem aus den Bilddaten erzeugten Bild beitragen würde(n); und c) Verwenden der Identifizierung, um ein Belichtungsmuster auszuwählen, um den Beitrag von den Abschnitten zu dem sichtbaren Rauschen zu vermindern, wenn Belichtungen von dem ausgewählten Belichtungsmuster kombiniert werden, um das rauschverminderte Bild zu erzeugen.
Ein Verfahren zum Erfassen eines rauschverminderten Bildes einer Szene unter Verwendung eines elektronischen Bilderfassungssystems, das eine Bildverarbeitungsvorrichtung umfasst, wobei das Verfahren die Schritte des Lieferns von Bilddaten, die zumindest ein überwachtes Bild darstellen, an die Bildverarbeitungsvorrichtung sowie ein Verwenden der Bildverarbeitungsvorrichtung, um: i) aus den Bilddaten eine Tonale-Wichtigkeit-Abbildung zu erstellen; ii) die Tonale-Wichtigkeit-Abbildung zu verwenden, um einen oder mehrere Abschnitte der Szene zu identifizieren, der beziehungsweise die unverhältnismäßig zu dem Rauschen beitragen würde(n), das in einem von den Bilddaten abgeleiteten Bild vorliegt; iii) ein Mehrfachbelichtungsmuster zu wählen, das zumindest eine Belichtung umfasst, um den Rauschbeitrag von zumindest einem der Abschnitte zu vermindern; und iv) das gewünschte Mehrfachbelichtungsmuster zu verwenden, um mehrere Bilder der Szene zu erfassen und die mehreren Bilder zu kombinieren, um das rauschverminderte Bild zu erzeugen, umfasst.
Ein Verfahren gemäß Anspruch 26, bei dem Schritt ii) die Schritte des Speicherns, in der Bildverarbeitungsvorrichtung, eines Rauschmodells, das das Rauschverhalten des elektronischen Bilderfassungssystems charakterisiert, und anschließend des Verwendens des Rauschmodells, um aus dem Intensitätshistogramm das in den Bilddaten vorliegende Rauschen zu berechnen, umfasst.
Ein Verfahren gemäß Anspruch 26 oder Anspruch 27, bei dem das elektronische Bilderfassungssystem ein Detektorarray umfasst, wobei das Verfahren folgende Schritte umfasst: – Detektieren zumindest eines überwachten Bildes einer Szene unter Verwendung des Detektorarrays; und – Erzeugen der Bilddaten aus dem beziehungsweise den überwachten Bild(ern).
Ein Verfahren gemäß einem der Ansprüche 26 bis 28, bei dem der Schritt ii) die Schritte des Bestimmens, ausgehend von der Tonale-Wichtigkeit-Abbildung, des sichtbaren Rauschens, das in einem aus den Bilddaten erzeugten Bild vorliegt, und anschließend des Identifizierens eines oder mehrerer Abschnitte der Tonale-Wichtigkeit-Abbildung, die unverhältnismäßig zu dem sichtbaren Rauschen beitragen, umfasst.
Ein Verfahren gemäß einem der Ansprüche 26 oder 29, bei dem der Schritt iii) die Schritte des Vorhersagens des Rauschbeitrags von den Abschnitten, die bei verschiedenen Belichtungen der Szene vorliegen würden, und anschließend des Auswählens eines gewünschten Mehrfachbelichtungsmusters, das zumindest eine Belichtung umfasst, um den Rauschbeitrag von zumindest einem der Abschnitte zu vermindern, umfasst.
Ein Verfahren gemäß einem der Ansprüche 26 bis 30, bei dem das Verfahren ein Erfassen mehrerer Bilder der Szene und ein Kombinieren der mehreren Bilder, um das rauschverminderte Bild zu erzeugen, umfasst.
Ein elektronisches Bilderfassungssystem zum Erfassen eines Bildes einer Szene, im Wesentlichen wie hierin beschrieben, unter Bezugnahme auf die beiliegenden Zeichnungen oder wie in denselben gezeigt.
Ein Verfahren zum Wählen von Mehrfachbelichtungen zum Erfassen eines Bildes einer Szene mit vermindertem Rauschen, im Wesentlichen wie hierin beschrieben, unter Bezugnahme auf die beiliegenden Zeichnungen oder wie in denselben gezeigt.
Ein Verfahren zum Erfassen eines Bildes einer Szene unter Verwendung eines elektronischen Bilderfassungssys tems, im Wesentlichen wie hierin beschrieben, unter Bezugnahme auf die beiliegenden Zeichnungen oder wie in denselben gezeigt.