-
Gebiet der Technik
-
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungseinrichtung, ein Verfahren, eine Bildleseeinrichtung, ein Programm und ein Aufzeichnungsmedium.
-
Insbesondere bezieht sich die vorliegende Erfindung auf Bildverarbeitung zum, in einer Bildleseeinrichtung, die ein Original in verschiedenen Wellenlängenbändern liest und ein multispektrales Bild erzeugt, das aus Mehrbandbildern gebildet ist, Verbessern des S/N-Verhältnisses des multispektralen Bildes.
-
Hintergrund zum Stand der Technik
-
In einer Bildleseeinrichtung, die Mehrbandbilder durch Lesen eines Originals in verschiedenen Wellenlängenbändern erhält, gibt es in Abhängigkeit von der Kombination des Spektrums der Lichtquelle und der spektralen Empfindlichkeit des Bildsensors ein Bandbild eines Wellenlängenbandes, in dem ein ausreichender Signalbetrag nicht erhalten wird. Beispielsweise haben Bandbilder, die durch Beleuchtung mit Ultraviolett-Lichtquellen oder Nahinfrarot-Lichtquellen erhalten werden, oft geringere S/V-Verhältnisse als Bandbilder von Bändern sichtbaren Lichts.
-
Als ein weiteres Beispiel für die Erzeugung eines multispektralen Bildes, bei Abbildung des Bodens oder dergleichen von einem optischen Satelliten oder Luftfahrzeug aus, ist es weit verbreitet, sowohl ein panchromatisches Bild hoher Auflösung als auch ein multispektrales Bild niedriger Auflösung für das gleiche Objekt gleichzeitig zu erhalten.
-
In einem System, das sowohl ein multispektrales Bild niedriger Auflösung als auch ein panchromatisches Bild hoher Auflösung gleichzeitig erhält, wird ein Pan-Sharpening-Prozess durchgeführt, der die zwei Bilder kombiniert, um ein Farbbild hoher Auflösung zu erzeugen.
-
Bei dem Pan-Sharpening-Prozess ist die Entfernung von Rauschen in dem multispektralen Bild ein Problem.
-
Bei Entfernung von Rauschen von Bandbildern mit niedriger Auflösung und niedrigem S/N-Verhältnis unter Verwendung eines panchromatischen Bildes mit hoher Auflösung und hohem S/N-Verhältnis führt eine in Patentliteratur 1 beschriebene Rauschentfernungseinrichtung Mehrfachauflösungszerlegung auf das panchromatische Bild durch, führt Mehrfachauflösungszerlegung auf die Bandbilder durch, korrigiert die zerlegten Komponenten des panchromatischen Bildes unter Verwendung der zerlegten Komponenten der Bandbilder und rekonstruiert ein panchromatisches Bild unter Verwendung der korrigierten zerlegten Komponenten und einer weiteren zerlegten Komponente.
-
Liste der Anführungen
-
Patentliteratur
-
Patentschrift 1: Internationale Offenlegung Nr.
2015/037189 (Absatz 0024)
-
Kurzfassung der Erfindung
-
Technisches Problem
-
Wie in Patentliteratur 1 beschrieben, wird Rauschkorrektur durch eine Kombination aus einem panchromatischen Bild hoher Auflösung und einem multispektralen Bild durchgeführt. In einigen Fällen wird nur ein multispektrales Bild niedriger Auflösung erhalten und kein Bild hoher Auflösung erhalten. In einem Fall, in dem Glättung zur Rauschreduzierung nur mit einem multispektralen Bild durchgeführt wird, und wenn das multispektrale Bild einen großen Rauschbetrag enthält, kann die Glättung Kanten zerstören.
-
Die vorliegende Erfindung soll das obige Problem lösen und eine Bildverarbeitungseinrichtung bereitstellen, die in der Lage ist, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem ein ausreichender Signalbetrag nicht erhalten wird, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
-
Lösung des Problems
-
Eine Bildverarbeitungseinrichtung der vorliegenden Erfindung weist auf: einen Parameter-Berechner, um ein Referenzbild des gleichen Sichtfeldes wie einer Vielzahl von Bandbildern, bildend ein multispektrales Bild, zu analysieren, um eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag zu berechnen, und einen Filterparameter aus dem Bildmerkmalsbetrag zu berechnen; und einen Filterprozessor, um einen kantenerhaltenden Glättungsprozesses auf die Bandbilder unter Verwendung des Filterparameters durchzuführen.
-
Vorteilhafte Wirkungen der Erfindung
-
Die vorliegende Erfindung ermöglicht es, wenn ein multispektrales Bild, das ein Bandbild eines Wellenlängenbandes enthält, in dem ein ausreichender Signalbetrag nicht erhalten wird, erhalten wird, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
-
Figurenliste
-
- 1 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer ersten Ausführungsform der vorliegenden Erfindung.
- 2 ist ein Diagramm, darstellend ein Konfigurationsbeispiel einer Bildleseeinrichtung, enthaltend die Bildverarbeitungseinrichtung.
- 3 ist ein Blockdiagramm, darstellend ein Konfigurationsbeispiel eines Bildkombinierers von 1.
- 4 ist ein Diagramm, darstellend ein Beispiel einer spektralen Quanteneffizienz eines Bildsensors.
- 5 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer zweiten Ausführungsform der vorliegenden Erfindung.
- 6 ist ein Blockdiagramm, darstellend ein Konfigurationsbeispiel eines Bildkombinierers von 5.
- 7A bis 7C sind Diagramme, darstellend Beispiele einer Bildkorrelation, die durch einen Korrelations-Berechner gemäß 6 berechnet wurde.
- 8 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer dritten Ausführungsform der vorliegenden Erfindung.
- 9 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer vierten Ausführungsform der vorliegenden Erfindung.
- 10 ist ein Diagramm, das ein Beispiel für einen Computer zeigt, der die Funktionen der Bildverarbeitungseinrichtungen der ersten bis vierten Ausführungsform zusammen mit einer Lichtquelle und einem Bildsensor implementiert.
- 11 ist ein Flussdiagramm, darstellend einen Ablauf eines Prozesses, wenn die Funktion der Bildverarbeitungseinrichtung der ersten oder zweiten Ausführungsform durch den Computer von 10 implementiert wird.
- 12 ist ein Flussdiagramm, darstellend einen Ablauf eines Prozesses, wenn die Funktion der Bildverarbeitungseinrichtung der dritten Ausführungsform durch den Computer von 10 implementiert wird.
- 13 ist ein Flussdiagramm, darstellend einen Ablauf eines Prozesses, wenn die Funktion der Bildverarbeitungseinrichtung der vierten Ausführungsform durch den Computer von 10 implementiert wird.
-
Beschreibung der Ausführungsformen
-
Erste Ausführungsform
-
1 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung 3 einer ersten Ausführungsform der vorliegenden Erfindung. 2 zeigt ein Konfigurationsbeispiel einer Bildleseeinrichtung, enthaltend die Bildverarbeitungseinrichtung 3 von 1.
-
Die in 2 dargestellte Bildleseeinrichtung umfasst neben der Bildverarbeitungseinrichtung 3 eine Lichtquelle 1 und einen Bildsensor 2.
-
Die Lichtquelle 1 besteht aus mehreren Lichtquellen, die jeweils ein relativ schmales Band aufweisen. Nachfolgend werden die Lichtquellen, die die relativ schmalen Bänder aufweisen, als Bandlichtquellen bezeichnet. Zu den Mehrband-Lichtquellen gehören beispielsweise eine Lichtquelle, aufweisend ein sichtbares-Licht-Wellenlängenband, eine Lichtquelle, aufweisend ein Ultraviolett-Wellenlängenband, und eine Lichtquelle, aufweisend ein Nahinfrarot-Wellenlängenband. Die Mehrband-Lichtquellen werden gesteuert, um ein Original nacheinander sequentiell zu beleuchten.
-
Der Bildsensor 2 erhält sequentiell Mehrbandbilder DIN durch Abbilden des Originals, wenn das Original als ein Objekt durch die oben genannten Mehrband-Lichtquellen sequentiell beleuchtet wird. Im Allgemeinen haben die Mehrbandbilder DIN unterschiedliche S/N-Verhältnisse.
-
Der Bildsensor 2 kann ein eindimensionaler Bildsensor (Zeilensensor) oder ein zweidimensionaler Bildsensor (Flächensensor) sein. Der Zeilensensor kann ein Kontaktbildsensor sein.
-
Die Bildverarbeitungseinrichtung 3 kombiniert die Mehrbandbilder DIN, um ein Referenzbild zu erzeugen, das ein höheres S/N-Verhältnis als jedes einzelne Bandbild aufweist, analysiert das Referenzbild, um eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag zu berechnen, berechnet einen Filterparameter aus dem Bildmerkmalsbetrag und nutzt den Filterparameter, um die Mehrbandbilder DIN unter Erhaltung von Kanten zu glätten.
-
Die Bildverarbeitungseinrichtung 3 umfasst einen Bildkombinierer 31, einen Parameter-Berechner 32 und einen Filterprozessor 33.
-
Der Bildkombinierer 31 kombiniert die Mehrbandbilder DIN, um ein Referenzbild MSr zu erzeugen, das ein höheres S/N-Verhältnis als jedes einzelne Bandbild aufweist.
-
Die Verwendung eines Bandbilds, aufweisend ein niedriges S/N-Verhältnis in der Kombination, kann den Rauschbetrag des Referenzbilds MSr erhöhen und das S/N-Verhältnis verringern. Um eine Verringerung des S/N-Verhältnisses des Referenzbilds MSr zu vermeiden, wird in dieser Ausführungsform die Kombination durchgeführt, so dass eine Kombinationsgewichtung eines Bandbilds, dessen Rauschbetrag größer ist, kleiner ist.
-
Der Bildkombinierer 31 umfasst beispielsweise einen Rauschbetrag-Berechner 311 und einen Gewichtungskombinierer 312, wie in 4 dargestellt.
-
Der Rauschbetrag-Berechner 311 berechnet einen Rauschbetrag Ni für jedes der Mehrbandbilder DIN. Die berechneten Rauschbeträge Ni werden zum Beispiel jeweils durch einen Skalar dargestellt.
-
Wenn die Bildverarbeitungseinrichtung Teil der in 2 dargestellten Bildleseeinrichtung ist, kann ein Signalbetrag jedes Bandbilds durch Multiplikation der Quanteneffizienz des Bildsensors 2 in dem entsprechenden Wellenlängenband mit dem Beleuchtungsbetrag durch die genutzte Lichtquelle in dem entsprechenden Wellenlängenband berechnet werden. Der Rauschbetrag Ni kann aus einem Kehrwert des Signalbetrags berechnet werden.
-
4 zeigt ein Beispiel für die spektrale Quanteneffizienz des Bildsensors. Der Bildsensor hat eine Spitze in der Nähe eines Zentrums eines Wellenlängenbandes, in dem der Bildsensor empfindlich ist, und die Quanteneffizienz nimmt in größerer Entfernung von der Spitzenposition ab.
-
Wenn Informationen über die Quanteneffizienz des Bildsensors 2 oder den Beleuchtungsbetrag durch die Lichtquelle nicht genutzt werden können, kann der Rauschbetrag Ni jedes Bandbilds durch Analysieren der einzelnen Bandbilder DIN berechnet werden.
-
Beispiele für das Verfahren des Berechnens des Rauschbetrags Ni durch Analysieren des Bildes umfassen ein Verfahren des Berechnens einer lokalen Varianz jedes Pixels in einer flachen Region des Bildes und Bestimmens eines Durchschnitts davon.
-
In diesem Fall ist es möglich, eine lokale Varianz jedes Pixels zu berechnen und als eine flache Region eine Region zu nehmen, die aus Pixeln gebildet wird, deren lokale Varianzen nicht größer als ein Schwellenwert sind, oder eine Region, in der der Anteil der Pixel, deren lokale Varianzen nicht größer als ein Schwellenwert sind, nicht kleiner als ein vorherbestimmter Wert ist.
-
Die lokalen Varianzen werden zum Beispiel durch die gleiche Berechnung wie in Gleichung (3) bestimmt, die später beschrieben wird.
-
Der Gewichtungskombinierer 312 erzeugt das Referenzbild MSr durch Kombinieren der Mehrbandbilder DIN, so dass die Kombinationsgewichtung eines Bandbilds, dessen Rauschbetrag Ni kleiner ist, größer ist. Die Kombination erfolgt durch Gewichtung und Addition der Pixelwerte an den gleichen Positionen der Mehrbandbilder. Konkret bestimmt der Gewichtungskombinierer 312 gewichtete Durchschnitte von Pixelwerten an den gleichen Positionen der Mehrbandbilder DIN wie Pixelwerte an den gleichen Positionen des Referenzbilds MSr.
-
Der gewichtete Durchschnitt für ein bestimmtes Pixel (interessierendes Pixel) wird zum Beispiel durch die in Gleichung (1) dargestellte Berechnung bestimmt:
-
-
In Gleichung (1),
ist x eine Koordinate, die die Position des interessierenden Pixels angibt, steht M für die Anzahl der Bandbilder,
steht MSi für das i-te Bandbild der M Bandbilder,
steht MSi(x) für einen Pixelwert an der Position x des Bandbilds MSi,
steht Wi für eine Kombinationsgewichtung für den Pixelwert MSi(x) des Bandbilds MSi, und
steht MSi(x) für einen Pixelwert an der Position x des Referenzbilds MSr.
-
Als die Kombinationsgewichtung Wi für den Pixelwert MSi(x) jedes Bandbilds MSi wird ein normalisierter Wert eines Kehrwerts des Rauschbetrags Ni des Bandbilds MSi genutzt. Der normalisierte Wert des Kehrwerts des Rauschbetrags jedes Bandbilds ist ein Wert, der durch Dividieren des Kehrwerts des Rauschbetrags des Bandbilds durch einen Durchschnitt der Kehrwerte der Rauschbeträge aller Bandbilder erhalten wird. Daher ist die Kombinationsgewichtung Wi durch die folgende Gleichung (2) dargestellt:
-
-
Anstelle des obigen Verfahrens kann der Gewichtungskombinierer 312 jede Gewichtung Wi auf 0 oder 1 unter Verwendung eines voreingestellten Rauschbetrag-Schwellenwerts setzen und die gewichteten Durchschnitte bestimmen. Beispielsweise kann die Gewichtung Wi auf 0 gesetzt werden, wenn der Rauschbetrag nicht kleiner ist als der Rauschbetrag-Schwellenwert, und andernfalls auf 1, und die gewichteten Durschnitte unter Verwendung der Anzahl von Bandbildern, für die die Gewichtung Wi auf 1 gesetzt wurde, anstelle von M bestimmen.
-
Das durch die obige Kombination erhaltene Referenzbild MSr hat ein höheres S/N-Verhältnis als jedes einzelne Bandbild.
-
Der Parameter-Berechner 32 analysiert das Referenzbild MSr, um als einen Bildmerkmalsbetrag eine lokale Varianz oder einen Kantenbetrag für jedes Pixel des Referenzbilds MSr zu berechnen, und berechnet aus den Bildmerkmalsbeträgen die Filterparameter D32.
-
Die lokale Varianz var(x) für eine Position x in dem Referenzbild MSr kann zum Beispiel durch Durchführen der durch die folgende Gleichung (3) dargestellten Berechnung bestimmt werden:
-
-
In Gleichung (3),
steht Ω(x) für eine lokale Region, die auf die Position x zentriert ist,
steht L für die Anzahl von Pixeln in der lokalen Region Ω(x),
ist y eine Koordinate, die eine Position in der lokalen Region Ω(x) darstellt, und steht MSi(y) für einen Pixelwert an der Position y des Referenzbilds MSr.
-
Der Kantenbetrag kann zum Beispiel durch ein Verfahren unter Verwendung einer bilateralen Gewichtung bestimmt werden. Zum Beispiel kann der Kantenbetrag bw(x) für eine Position x in dem Referenzbild MSr durch Durchführen der durch die folgende Gleichung (4) dargestellte Berechnung bestimmt werden:
-
-
In Gleichung (4),
steht Ω(x) für eine lokale Region, die auf die Position x zentriert ist,
ist y eine Koordinate, die eine Position in der lokalen Region Ω(x) darstellt, d(y,x) steht für einen Abstand zwischen der durch die Koordinate y angegebenen Position und der durch die Koordinate x angegebenen Position,
Msr(x) steht für einen Pixelwert an der Position x des Referenzbilds MSr,
Msr(y) bezeichnet einen Pixelwert an der Position y des Referenzbilds MSr, und σ1 und σ2 stehen für Konstanten. Die Konstanten σ1 und σ2 werden willkürlich festgelegt.
-
Der Parameter-Berechner 32 berechnet aus den berechneten Bildmerkmalsbeträgen die Filterparameter D32 und gibt diese aus.
-
Zum Beispiel kann dieser die Bildmerkmalsbeträge als die Filterparameter einfach ausgeben, oder kann als die Filterparameter Kehrwerte der Bildmerkmalsbeträge oder deren normalisierte Werte ausgeben.
-
Der Filterprozessor 33 nutzt die Filterparameter D32, um die Mehrbandbilder DIN unter Erhaltung von Kanten zu glätten, und erzeugt mehrere Ausgangsbilder DOUT.
-
Die mehreren Ausgangsbilder DOUT entsprechen den jeweiligen Mehrbandbildern DIN. Eine Gruppe der mehreren Ausgangsbilder DOUT bildet ein multispektrales Bild.
-
Der Filterprozess kann unter Verwendung eines Referenzglättungsfilters durchgeführt werden, dem das die Filterparameter eingegeben werden können. So kann beispielsweise ein gemeinsamer bilateraler Filter, ein geführter Filter oder dergleichen genutzt werden.
-
Der Filterprozess unter Verwendung eines gemeinsamen bilateralen Filters wird zum Beispiel durch die folgende Gleichung (5) dargestellt:
-
-
In Gleichung (5),
ist x eine Koordinate, die die Position des interessierenden Pixels angibt,
steht Ω(x) für eine lokale Region, die auf die Position x zentriert ist,
ist y eine Koordinate, die eine Position in der lokalen Region Ω(x) darstellt, steht DIN(y) für einen Pixelwert an der Position y des Bandbilds DIN, und steht DOUT(x) für einen Pixelwert an der Position x des Ausgangsbilds DOUT.
-
Der Bereich der obigen lokalen Region Ω(x) muss nicht der gleiche sein wie der Bereich der lokalen Region Ω(x) in der obigen Gleichung (3) oder (4).
-
In Gleichung (5) ist Ws eine Entfernungsgewichtung, und wird beispielsweise durch die folgende Gleichung (6) bestimmt:
-
In Gleichung (6),
steht d(y,x) für einen Abstand zwischen der durch die Koordinate y angegebenen Position und der durch die Koordinate x angegebenen Position, und
ist σs ein Parameter, der die Abstandsgewichtung Ws bestimmt, und steht für eine Varianz.
-
In Gleichung (5) ist Wc eine Pixelwertgewichtung u nd ist beispielsweise durch die folgende Gleichung (7) bestimmt:
-
In Gleichung (7) ist σc ein Parameter, der die Pixelwertgewichtung Wc bestimmt, und steht für eine Varianz.
-
In dieser Ausführungsform wird var(x), das durch die obige Gleichung (3) gegeben ist, bw(x), das durch Gleichung (4) gegeben ist, oder ein Wert, der durch Normalisierung eines von diesen erhalten wird, als der Parameter σc verwendet.
-
In der Bildverarbeitungseinrichtung 3 der ersten Ausführungsform, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem kein ausreichender Signalbetrag vorhanden ist, ist es möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
-
Da der Bildkombinierer 31 den wie in 3 dargestellten Rauschbetrag-Berechner 311 enthält, ist es durch Bestimmen der Kombinationsgewichtungen auf Grundlage der Rauschbeträge der in der Kombination genutzten Bandbilder außerdem möglich, das Referenzbild MSr, aufweisend ein höheres S/N-Verhältnis, zu erzeugen und somit Ausgangsbilder, aufweisend hohe S/N-Verhältnisse, zu erhalten.
-
In dem obigen Beispiel enthalten die Mehrband-Lichtquellen die Lichtquelle, aufweisend das sichtbare-Licht-Wellenlängenband, die Lichtquelle, aufweisend das Ultraviolett-Wellenlängenband, und die Lichtquelle, aufweisend das Nahinfrarot-Wellenlängenband. Die Gruppe der Mehrband-Lichtquellen ist jedoch nicht auf das obige Beispiel beschränkt. So kann das sichtbares-Licht-Wellenlängenband zum Beispiel unterteilt sein. Anstelle der Lichtquelle, aufweisend das sichtbares-Licht-Wellenlängenband kann zum Beispiel eine Lichtquelle, aufweisend ein rotes Wellenlängenband, eine Lichtquelle, aufweisend ein grünes Wellenlängenband und eine Lichtquelle, aufweisend ein blaues Wellenlängenband vorgesehen sein.
-
Im obigen Beispiel werden die Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch den Parameter-Berechner 32 bestimmt und deren Werte oder normalisierte Werte als die Parameter σc zur Bestimmung der Kombinationsgewichtungen genutzt. Bei den durch den Parameter-Berechner 32 bestimmten Bildmerkmalsbeträgen kann es sich um andere Werte als die Varianzen oder Kantenbeträge handeln. In jedem Fall können die Bildmerkmalsbeträge, deren Kehrwerte oder deren normalisierte Werte als Parameter zur Bestimmung der Kombinationsgewichtungen genutzt werden.
-
Zweite Ausführungsform
-
5 zeigt ein Blockdiagramm einer Bildverarbeitungseinrichtung 3b einer zweiten Ausführungsform der vorliegenden Erfindung.
-
Die dargestellte Bildverarbeitungseinrichtung 3b ist im Wesentlichen die gleiche wie die Bildverarbeitungseinrichtung 3 von 1, enthält jedoch anstelle des Bildkombinierers 31 einen Bildkombinierer 31b.
-
Der Bildkombinierer 31 der ersten Ausführungsform führt die Bildkombination durch, so dass die Kombinationsgewichtung eines Bandbilds, dessen Rauschbetrag größer ist, kleiner ist. Der Bildkombinierer 31b dieser Ausführungsform führt die Bildkombination unter Verwendung von Kombinationsgewichtungen durch, die auf Grundlage von Bildkorrelationen zwischen den Bandbildern bestimmt werden.
-
Die Bildeigenschaften eines jeden Bandbilds hängen von seinem Wellenlängenband ab, und je weiter die Wellenlängenbänder zweier Bandbilder voneinander entfernt sind, desto größer ist die Differenz in den Bildeigenschaften der zwei Bandbilder.
-
In dieser Ausführungsform wird, wenn das Rauschen eines Bandbilds eines bestimmten Wellenlängenbandes reduziert werden soll, das Referenzbild erzeugt durch Durchführen der Bildkombination, so dass die Kombinationsgewichtung für ein Bandbild, dessen Bildkorrelation mit dem Bandbild des Zielwellenlängenbandes (das Bild des Zielwellenlängenbandes) größer ist, größer ist.
-
Der Bildkombinierer 31b kombiniert die Mehrbandbilder DIN, um ein Referenzbild MSr zu erzeugen, das ein höheres S/N-Verhältnis als jedes einzelne Bandbild aufweist.
-
Der Bildkombinierer 31b umfasst zum Beispiel einen Korrelations-Berechner 313 und einen Gewichtungskombinierer 312b, wie in 6 dargestellt.
-
Der Korrelations-Berechner 313 berechnet für jedes der Mehrbandbilder DIN eine Bildkorrelation Cori mit einem Bandbild eines Ziel-Wellenlängenbandes.
-
Die Bildkorrelation Cori zwischen jedem Bandbild und dem Bandbild des Ziel-Wellenlängenbandes kann zum Beispiel auf Grundlage einer Wellenlängendifferenz zwischen jedem Bandbild und dem Bandbild der Ziel-Wellenlänge bestimmt werden. In diesem Fall kann davon ausgegangen werden, dass die Bildkorrelation umso höher ist, je kleiner die oben genannte Differenz ist.
-
In diesem Fall kann die obige Bildkorrelation durch eine Funktion der Wellenlänge dargestellt werden.
-
Die 7A bis 7C zeigen Beispiele für die Bildkorrelation. In 7A und 7C stellt die horizontale Achse die Wellenlänge jedes Bandbilds dar und die vertikale Achse stellt die Bildkorrelation dar. Die Bildkorrelation wird in einer willkürlichen Einheit (arbitrary unit = a.u.) ausgedrückt.
-
λt auf der horizontalen Achse bezeichnet eine zentrale Wellenlänge oder Spitzenwellenlänge (Ziel-Wellenlänge) des Ziel-Wellenlängenbandes.
-
In dem in 7A dargestellten Beispiel ist die Korrelation bei der Ziel-Wellenlänge λt am höchsten und nimmt mit zunehmender Differenz zu λt linear ab.
-
In dem in 7B dargestellten Beispiel behält die Korrelation einen konstanten Wert in dem Bereich, in dem die Differenz zur Ziel-Wellenlänge λt nicht größer als ein eingestellter Differenz-Schwellenwert ist, und ist 0 in dem Bereich, in dem die Differenz größer als der Differenz-Schwellenwert ist.
-
In dem in 7C dargestellten Beispiel variiert die Korrelation entlang einer Normalverteilungskurve, die auf die Ziel-Wellenlänge λt zentriert ist.
-
Im obigen Beispiel bestimmt der Korrelations-Berechner 313 für jedes Bandbild die Bildkorrelation auf Grundlage der Wellenlängendifferenz von dem Bandbild des Ziel-Wellenlängenbands.
-
Alternativ ist es möglich, für jedes Bandbild die Bildkorrelation auf Grundlage der Ähnlichkeit mit dem Bandbild des Ziel-Wellenlängenbandes zu bestimmen.
-
Als ein Indikator für die Ähnlichkeit kann zum Beispiel die Summe von absoluten Differenzen (SAD), eine Summe von quadrierten Differenzen (SSD), eine normalisierte Kreuzkorrelation (NCC), eine normalisierte Kreuzkorrelation mit Null-Mittelwerten (ZNCC) oder dergleichen genutzt werden.
-
Die SAD für jedes Bandbild MSi (bezeichnet durch das Symbol SA
i) wird durch die folgende Gleichung (8) bestimmt:
-
SAD für jedes Bandbild MS
i (bezeichnet durch das Symbol SA
i) wird durch die folgende Gleichung (9) bestimmt:
-
NCC für jedes Bandbild MS
i (bezeichnet durch das Symbol NC
i) wird durch die folgende Gleichung (10) bestimmt:
-
ZNCC für jedes Bandbild MS
i (bezeichnet durch das Symbol ZNC
i) wird durch die folgende Gleichung (11) bestimmt:
-
In Gleichungen (8) bis (11),
ist x eine Koordinate, die die Position des interessierenden Pixels angibt,
steht MSi(x) für einen Pixelwert an der Position x des Bandbilds MSi,
steht MSt(x) für einen Pixelwert an der Position x des Bandbilds Mst des Ziel-Wellenlängenbandes,
steht MSim für einen Durchschnitt der Pixelwerte MSi(x) aller Pixel in dem Bild MSi, und
steht MStm für einen Durchschnitt der Pixelwerte MSt(x) aller Pixel in dem Bild MSt.
-
Je höher die Ähnlichkeit ist, desto kleiner sind die Werte von SAD und SSD. Je höher die Ähnlichkeit ist, desto größer sind die Werte von NCC und ZNCC.
-
SAD und SSD sind geeignet, wenn ein Vergleich hinsichtlich Bildeigenschaften einschließlich der Intensität (Helligkeit, Luminanz) vorgenommen werden soll, und NCC und ZNCC, die aufgrund der Normalisierung jeweils einen von den Bildintensitäten (den Größen der Pixelwerte) unabhängigen Wert liefern, sind geeignet, wenn die spektralen Reflexionseigenschaften des Objekts in einem bestimmten Wellenlängenband extrahiert werden sollen.
-
Der Gewichtungskombinierer 312b erzeugt das Referenzbild MSr durch Kombinieren der Mehrbandbilder DIN, so dass die Kombinationsgewichtung eines Bandbilds, dessen Bildkorrelation Cori größer ist, größer ist. Die Generierung erfolgt durch Gewichtung und Addition von Pixelwerten an den gleichen Positionen der Mehrbandbilder. Konkret bestimmt der Gewichtungskombinierer 312b gewichtete Durchschnitte von Pixelwerten an den gleichen Positionen der Mehrbandbilder DIN wie Pixelwerte an den gleichen Positionen des Referenzbilds MSr.
-
Der gewichtete Durchschnitt für ein bestimmtes Pixel (interessierendes Pixel) wird zum Beispiel durch die in der obigen Gleichung (1) dargestellte Berechnung bestimmt.
-
Als die Kombinationsgewichtung Wi für den Pixelwert MSi(x) jedes Bandbilds MSi wird jedoch ein normalisierter Wert der Bildkorrelation Cori des Bandbilds MSi verwendet. Der normalisierte Wert der Bildkorrelation jedes Bandbilds ist ein Wert, der durch Division der Bildkorrelation des Bandbilds durch einen Durchschnitt der Bildkorrelationen aller Bandbilder erhalten wird. Somit wird die Kombinationsgewichtung Wi durch die folgende Gleichung (12) dargestellt:
-
-
Obwohl im obigen Beispiel die Ähnlichkeit eines Bildes für das gesamte Bild bestimmt wird, ist es möglich, die Ähnlichkeit für jedes Pixel zu bestimmen und die Bildkorrelation für jedes Pixel zu bestimmen.
-
In diesem Fall wird in Gleichung (8) bis (11) die Ähnlichkeit durch Verwendung von Pixeln in einer lokalen Region bestimmt, die an dem interessierenden Pixel zentriert ist, und die Bildkorrelation für das interessierende Pixel wird aus der bestimmten Ähnlichkeit bestimmt.
-
Auch in der Bildverarbeitungseinrichtung 3b der zweiten Ausführungsform, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem kein ausreichender Signalbetrag vorhanden ist, ist es möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
-
Da der Bildkombinierer 31 den Korrelations-Berechner 313 enthält, wie in 6 dargestellt, ist es durch Bestimmen der Kombinationsgewichtungen auf Grundlage der Bildkorrelationen zwischen den in der Kombination genutzten Bandbildern und dem Bandbild des Ziel-Wellenlängenbands außerdem möglich, ein Ausgangsbild mit weniger Verlust in den Bildeigenschaften zu erzeugen.
-
Für die erste Ausführungsform wurde als weiteres Beispiel für die Gewichtungskombination ein Verfahren des Setzens jeder Gewichtung Wi auf 0 oder 1 unter Verwendung eines voreingestellten Rauschbetrag-Schwellenwerts und Bestimmens der gewichteten Durchschnitte erläutert. Die gleiche Modifikation kann auch an der zweiten Ausführungsform vorgenommen werden.
-
Insbesondere ist es möglich, jede Gewichtung Wi auf 0 oder 1 unter Verwendung eines voreingestelltes Korrelations-Schwellenwerts zu setzen und die gewichteten Durchschnitte zu bestimmen. So ist es beispielsweise möglich, die Gewichtung Wi auf 1 zu setzen, wenn die Bildkorrelation nicht unter dem Bildkorrelations-Schwellenwert liegt, und andernfalls auf 0, und die gewichteten Durchschnitte unter Verwendung der Anzahl von Bandbildern zu bestimmen, für die die Gewichtung Wi auf 1 gesetzt wurde, anstelle von M.
-
Dritte Ausführungsform
-
8 zeigt eine Bildverarbeitungseinrichtung 3c einer dritten Ausführungsform der vorliegenden Erfindung.
-
Die dargestellte Bildverarbeitungseinrichtung 3c ist im Wesentlichen die gleiche wie die Bildverarbeitungseinrichtung 3 von 1, enthält jedoch nicht den Bildkombinierer 31 von 1 und enthält einen Parameter-Berechner 32c anstelle des Parameter-Berechners 32 von 1.
-
Zusätzlich zu den Bandbildern DIN aus 1 wird ein Weißbild DIW in die Bildverarbeitungseinrichtung 3c eingegeben.
-
Die Bandbilder DIN sind die gleichen wie die Bandbilder von 1.
-
Das Weißbild DIW ist ein Bild, aufweisend ein Band, das alle Bänder der Mehrbandbilder DIN enthält, und wird als ein Referenzbild genutzt. Das Band des weißen Bildes DIW ist vorzugsweise breiter als das Band, das durch Summierung aller Bänder der Mehrbandbilder DIN erhalten wird.
-
Der Parameter-Berechner 32c analysiert das Weißbild DIW und berechnet für jedes Pixel des Weißbilds DIW eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag und berechnet aus dem Bildmerkmalsbetrag einen Filterparameter D32c.
-
Der Inhalt des Prozesses in dem Parameter-Berechner 32c ist der gleiche wie der des Prozesses in dem Parameter-Berechner 32 von 1. Der Unterschied besteht in der Bestimmung der Filterparameter durch Verwendung des Weißbilds DIW als das Referenzbild.
-
Der Filterprozessor 33 nutzt die Filterparameter D32c, um die Mehrbandbilder DIN unter Erhaltung von Kanten zu glätten, und erzeugt mehrere Ausgangsbilder DOUT.
-
Der Inhalt des Prozesses in dem Filterprozessor 33 ist der gleiche wie der des Prozesses in dem Filterprozessor 33 von 1.
-
In der Bildverarbeitungseinrichtung 3c der dritten Ausführungsform ist es möglich, das Weißbild, aufweisend das Band, das alle Bänder der Mehrbandbilder enthält, zu erhalten und dieses als das Referenzbild zu nutzen. So ist es selbst in einem Fall, in dem die Anzahl der Wellenlängenbänder der genutzten Lichtquelle gering ist, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem kein ausreichender Signalbetrag vorhanden ist, möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
-
Vierte Ausführungsform
-
9 zeigt eine Bildverarbeitungseinrichtung 3d einer vierten Ausführungsform der vorliegenden Erfindung.
-
Die dargestellte Bildverarbeitungseinrichtung 3d ist im Allgemeinen die gleiche wie die Bildverarbeitungseinrichtung 3c in 8, enthält jedoch eine Bandpassfiltergruppe 34. Außerdem werden die Mehrbandbilder DIN nicht in die Bildverarbeitungseinrichtung 3d eingegeben, und nur das Weißbild DIW wird in die Bildverarbeitungseinrichtung 3d eingegeben.
-
Die Bandpassfiltergruppe 34 empfängt als eine Eingabe das Weißbild und umfasst mehrere Bandpassfilter, die verschiedene Wellenlängenbänder durchlassen, und Mehrbandbilder D34 mit verschiedenen Wellenlängenbändern werden von der Bandpassfiltergruppe 34 ausgegeben.
-
In der oben genannten ersten bis dritten Ausführungsform werden die Mehrbandbilder DIN sequentiell erhalten durch Durchführen von Abbildung, wenn das Original von den Mehrband-Lichtquellen, aufweisend unterschiedliche Wellenlängenbänder, sequentiell beleuchtet wird. Andererseits werden bei der vierten Ausführungsform die Mehrbandbilder DIN unter Verwendung der mehreren Bandpassfilter erzeugt, die die verschiedenen Wellenlängenbänder des Weißbilds eines breiten Bands durchlassen.
-
Der Filterprozessor 33 nutzt die Filterparameter D32c, um die Mehrbandbilder D34 unter Erhaltung von Kanten zu glätten, und erzeugt mehrere Ausgangsbilder DOUT.
-
Die vierte Ausführungsform stellt die gleichen Vorteile wie die erste bis dritte Ausführungsform bereit.
-
In der oben genannten ersten bis vierten Ausführungsform ist die Bildverarbeitungseinrichtung Teil der Bildleseeinrichtung. Die Bildverarbeitungseinrichtungen der vorliegenden Erfindung können jedoch auch für andere Zwecke als Bildlesen genutzt werden. Sie können zum Beispiel auch für Abbildung des Bodens oder dergleichen von einem optischen Satelliten oder Luftfahrzeug aus genutzt werden.
-
Jede der in der ersten bis vierten Ausführungsform beschriebenen Bildverarbeitungseinrichtungen 3, 3b, 3c und 3d kann ganz oder teilweise aus Verarbeitungsschaltkreisen gebildet sein.
-
Beispielsweise können die Funktionen der jeweiligen Abschnitte der Bildverarbeitungseinrichtung durch jeweils separate Verarbeitungsschaltungen implementiert sein, oder die Funktionen der Abschnitte können durch eine einzige Verarbeitungsschaltung implementiert sein.
-
Der Verarbeitungsschaltkreis kann durch Hardware oder durch Software oder einen programmierten Computer implementiert sein.
-
Es ist möglich, dass ein Teil der Funktionen der jeweiligen Abschnitte der Bildverarbeitungseinrichtung durch Hardware implementiert ist und ein anderer Teil durch Software implementiert ist.
-
10 zeigt ein Beispiel für eine Konfiguration, wenn alle Funktionen der Bildverarbeitungseinrichtung 3, 3b, 3c oder 3d der obigen jeweiligen Ausführungsformen mit einem Computer 9, der einen einzigen Prozessor enthält, zusammen mit dem Lichtquelle 1 und dem Bildsensor 2 implementiert sind.
-
In dem dargestellten Beispiel umfasst der Computer 9 einen Prozessor 91 und einen Speicher 92.
-
In dem Speicher 92 ist ein Programm zur Implementierung der Funktionen der jeweiligen Abschnitte der Bildverarbeitungseinrichtung gespeichert.
-
Der Prozessor 91 nutzt zum Beispiel eine zentrale Verarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Mikroprozessor, einen Mikrocontroller, einen digitalen Signalprozessor (DSP) oder dergleichen.
-
Der Speicher 92 nutzt zum Beispiel einen Halbleiterspeicher, wie einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen Flash-Speicher, einen löschbaren programmierbaren Festwertspeicher (EPROM) oder einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM), eine magnetische Scheibe, eine optische Scheibe, eine magnetische optische Scheibe oder dergleichen.
-
Der Prozessor 91 implementiert die Funktion der Bildverarbeitungseinrichtung durch Ausführen des in dem Speicher 92 gespeicherten Programms.
-
Im Folgenden wird ein Vorgang, wenn ein Prozess in der Bildverarbeitungseinrichtung der ersten oder zweiten Ausführungsform mit dem in 10 dargestellten Computer durchgeführt wird, unter Bezugnahme auf 11 erläutert.
-
In Schritt ST11 werden die Mehrbandbilder DIN empfangen.
-
In Schritt ST12 wird das Referenzbild MSr durch Kombinieren der Mehrbandbilder DIN erzeugt. Dieser Prozess wird wie für den Bildkombinierer 31 oder 31b beschrieben durchgeführt.
-
In Schritt ST13 werden die lokalen Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch Analysieren des Referenzbilds MSr berechnet, und die Filterparameter D32 werden aus den Bildmerkmalsbeträgen berechnet. Dieser Prozess wird wie für den Parameter-Berechner 32 beschrieben durchgeführt.
-
In Schritt ST14 wird Glättung der Mehrbandbilder DIN unter Erhaltung von Kanten unter Verwendung der Filterparameter D32 durchgeführt. Dieser Prozess wird wie für den Filterprozessor 33 beschrieben durchgeführt.
-
Ein Vorgang, wenn ein Prozess in der Bildverarbeitungseinrichtung der dritten Ausführungsform durch den in 10 dargestellten Computer durchgeführt wird, wird unter Bezugnahme auf 12 erläutert.
-
In 12 sind Prozesse, die die gleichen sind wie in 11, durch die gleichen Symbole angegeben.
-
In Schritt ST11 werden die Mehrbandbilder DIN empfangen.
-
In Schritt ST22 wird das Weißbild DIW empfangen.
-
In Schritt ST13c werden die lokalen Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch Analysieren des Weißbilds DIW berechnet, und die Filterparameter D32 werden aus den Bildmerkmalsbeträgen berechnet. Dieser Prozess wird wie für den Parameter-Berechner 32c beschrieben durchgeführt.
-
In Schritt ST14 wird Glättung der Mehrbandbilder DIN unter Erhaltung von Kanten unter Verwendung der Filterparameter D32 durchgeführt. Dieser Prozess wird wie für den Filterprozessor 33 beschrieben durchgeführt.
-
Ein Vorgang, wenn ein Prozess in der Bildverarbeitungseinrichtung der vierten Ausführungsform durch den in 10 dargestellten Computer durchgeführt wird, wird unter Bezugnahme auf 13 erläutert.
-
In 13 sind Prozesse, die die gleichen sind wie in 11 oder 12, durch die gleichen Symbole angegeben.
-
In Schritt ST22 wird das Weißbild DIW empfangen.
-
In Schritt ST13c werden die lokalen Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch Analysieren des Weißbilds DIW berechnet, und die Filterparameter D32 werden aus den Bildmerkmalsbeträgen berechnet. Dieser Prozess wird wie für den Parameter-Berechner 32c beschrieben durchgeführt.
-
In Schritt ST33 wird die Bandpassfilterung, die die verschiedenen Wellenlängenbänder durchlässt, auf das Weißbild DIW durchgeführt, so dass die Mehrbandbilder D34 erzeugt werden. Dieser Prozess wird wie für die Bandpassfiltergruppe 34 beschrieben durchgeführt.
-
Der Prozess des Schritts ST33 kann parallel zu dem Prozess des Schritts ST13c durchgeführt werden.
-
In Schritt ST14 wird Glättung der Mehrbandbilder D34 unter Erhaltung von Kanten unter Verwendung der Filterparameter D32c durchgeführt. Dieser Prozess wird wie für den Filterprozessor 33 beschrieben durchgeführt.
-
Obwohl die Bildverarbeitungseinrichtungen der vorliegenden Erfindung oben beschrieben wurden, bilden die Bildverarbeitungsverfahren, die durch die oben genannten Bildverarbeitungseinrichtungen implementiert werden, ebenfalls Teil der vorliegenden Erfindung. Auch Programme, die Computer veranlassen, Prozesse der oben genannten Bildverarbeitungseinrichtungen oder Bildverarbeitungsverfahren auszuführen, und computerlesbare Aufzeichnungsmedien, z. B. nichttransitorische Aufzeichnungsmedien, die die Programme speichern, sind ebenfalls Teil der vorliegenden Erfindung.
-
Obwohl Ausführungsformen der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf diese Ausführungsformen beschränkt.
-
Bezugszeichenliste
-
- 1
- Lichtquelle,
- 2
- Bildsensor,
- 3, 3b, 3c, 3d
- Bildverarbeitungseinrichtung,
- 31
- Bildkombinierer,
- 32, 32c
- Parameter-Berechner,
- 33
- Filterprozessor,
- 34
- Bandpassfiltergruppe,
- 311
- Rauschbetrag-Berechner,
- 312, 312b
- Gewichtungskombinierer,
- 313
- Korrelations-Berechner.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-