JP2012222704A

JP2012222704A - 撮像装置

Info

Publication number: JP2012222704A
Application number: JP2011088569A
Authority: JP
Inventors: Nao Kikuchi; 直菊地
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-04-12
Filing date: 2011-04-12
Publication date: 2012-11-12

Abstract

【課題】マルチバンド撮像において、画素値を画像データとして使用しない不使用画素による色ずれを高精度に軽減する撮像装置を提供する。
【解決手段】異なる分光感度特性を有する４バンド以上の画素を有する単板のマルチバンドイメージセンサ７と、処理対象画素が不使用画素であるか否かを判定する不使用画素検出部１９と、不使用画素検出部１９により不使用画素であると判定された場合に、不使用画素の近傍の、不使用画素のバンドとは異なる３以上のバンドを含む複数バンドの画素の画素値にバンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、不使用画素の補間画素値を算出する不使用画素補間部２０と、を備えた撮像装置１。
【選択図】図１

Description

本発明は、異なる分光感度特性を有する４バンド以上のマルチバンド撮像を行い得る撮像装置に関する。

従来より、異なる分光感度特性を有する４バンド以上のマルチバンド撮像を行い得る撮像装置が提案されている。こうしたマルチバンドの撮像装置を用いれば、３バンド（例えばＲＧＢなどの３原色）での撮像を行う撮像装置では色域外となってしまうような被写体（例えば、色鮮やかな花や布地など）に対しても、色再現性を向上することが可能になる。さらに、マルチバンドの撮像装置は、３バンドの撮像装置よりも高精度に、任意の被写体のスペクトルを推定することが可能となる。そして、マルチバンド撮像装置には、モノクロ撮像素子の前面に複数バンドのカラーフィルタを時系列的に順次配置しながら撮像を行う構成以外にも、１画素に１バンドずつカラーフィルタを配置した単板式のマルチバンドイメージセンサ（マルチバンド撮像素子）を備える構成も提案されている。

現在、各種の撮像装置に広範に用いられているベイヤー配列の撮像素子は、輝度信号の解像力を維持するために、Ｇ画素の割合がＲ画素やＢ画素の２倍となっている。また、Ｇ画素とＲ画素、あるいはＧ画素とＢ画素の色相関はデモザイキングに利用し得るために、Ｇ画素の割合が大きいことはこの点でも有利となっている。すなわち、Ｇ画素の割合が大きいと、全画素のＧ成分を高精度に得ることができ、得られたＧ成分との色相関に基づきＲ成分およびＢ成分を得ることができるからである。そして、上述したマルチバンドイメージセンサにおいても、輝度信号の解像力を維持するためや、デモザイキング時にＧ画素の相関を利用することが有効であるために、ベイヤー配列よりもさらにＧ画素の割合を増したタイプのマルチバンドイメージセンサも提案されている。

ところで、撮像素子から得られた画像情報の中には、正しい画素値が得られていない画素が存在することがあり、これらの画素は最終的な出力画像に例えば色ずれなどの好ましくない影響を与える。ここに、正しい画素値が得られていない画素の例としては、撮像素子に起因する結晶欠陥やダストなどによる欠陥画素、撮像素子型位相差ＡＦ用画素のような撮像目的以外の画素、画素値が飽和してしまっている画素等がある。

例えば飽和画素の場合、一般的な撮像素子（例えば、ベイヤー配列の撮像素子）ではＧ画素の感度が高いことがある（例えば、下記の特開２００９−８９３５５号公報における段落［００６４］、［００６５］、図３等参照）が、この場合には画素値の飽和はＧ画素において最も発生し易い。そして、Ｇ成分が飽和している場合には、ホワイトバランスを合わせるためにＲ成分とＢ成分も飽和させる必要があり、ダイナミックレンジが狭まることとなっていた。さらに、Ｇ画素だけが飽和している場合には、ダイナミックレンジが狭まるだけでなく、デモザイキング時にも正しい相関を取ることができず、色ずれ等が発生する原因となる。

従って、飽和画素等の正しい画素値が得られていない画素は、画素値を画像データとして使用しない不使用画素とし、画素値を補間処理等によって補うことが望ましい。

このような画素値の補間技術として、例えば特開２００９−８９３５５号公報には、ベイヤー配列の撮像素子を備えた撮像装置において、Ｇ画素が飽和した場合に、周囲の他の色の画素値に基づいて飽和画素を補間する技術が記載されている。

特開２００９−８９３５５号公報

しかしながら、上記特開２００９−８９３５５号公報に記載の技術は、あくまでも３バンドのベイヤー配列に特化したものであり、４バンド以上の分光感度特性を有する撮像素子に対応することができるものとはなっていない。しかも、該公報に記載されている処理は、飽和しているＧ画素の周囲のＲ画素とＢ画素の画素値を単純に平均した値を感度補正する処理（該引用文献の段落［００７５］等参照）であり、補間の精度が高いとはいえない。

補間精度が高いことは、Ｇ画素の情報をデモザイキング処理時に参照画像として用いる場合に、特に重要になってくる。すなわち、４バンド以上の色が配置された単板マルチバンドイメージセンサは、３バンドの色が配置されたベイヤー配列の撮像素子に比べて、同一色の画素同士が離れて配置されることになるために、空間相関（例えば、エッジ等の構造情報）を用いた補間の精度も低下してしまう。そのために、スペクトルの情報を用いた相関に基づき補間を行う技術が有効に機能すると思われる。

本発明は上記事情に鑑みてなされたものであり、４バンド以上のマルチバンド撮像を行い得る撮像装置において、画素値を画像データとして使用しない不使用画素の影響による色ずれを高い精度で軽減することができる撮像装置を提供することを目的としている。

上記の目的を達成するために、本発明のある態様による撮像装置は、マルチバンドの撮像を行い得る撮像装置において、４バンド以上のカラーフィルタを１画素につき１バンドずつ配置することにより、異なる分光感度特性を有する４バンド以上の画素が構成される単板マルチバンドイメージセンサと、処理対象画素が、画素値を画像データとして使用しない不使用画素であるか否かを判定する不使用画素検出部と、前記不使用画素検出部により不使用画素であると判定された場合に、該不使用画素の近傍の、該不使用画素のバンドとは異なる３以上のバンドを含む複数バンドの画素の画素値に、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、該不使用画素の補間画素値を算出する不使用画素補間部と、を具備したものである。

本発明の撮像装置によれば、４バンド以上のマルチバンド撮像を行い得る撮像装置において、画素値を画像データとして使用しない不使用画素の影響による色ずれを高い精度で軽減することが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。上記実施形態１におけるマルチバンドイメージセンサの構成を説明するための斜視図。上記実施形態１のマルチバンドイメージセンサにおけるカラーフィルタを備えた画素の配置例を示す図。上記実施形態１において、図３に示した各色画素の分光感度特性の一例を示す線図。上記実施形態１において、図３に示した各色画素の分光感度特性の他の例を示す線図。上記実施形態１において、分光感度特性を表す曲線Ｃ1（λ）で囲まれる領域と、分光感度特性を表す曲線Ｃ2（λ）で囲まれる領域と、が重複する領域の例を示す線図。上記実施形態１において、ヒストグラムに対して設定された飽和レベルの一例を示す線図。上記実施形態１において、画素Ｃ１が不使用画素であるときの近傍画素の一例を示す図。上記実施形態１において、画素Ｃ２が不使用画素であるときの近傍画素の一例を示す図。上記実施形態１において、画素Ｃ３が不使用画素であるときの近傍画素の一例を示す図。上記実施形態１において、画素Ｃ４が不使用画素であるときの近傍画素の一例を示す図。上記実施形態１において、画素Ｃ５が不使用画素であるときの近傍画素の一例を示す図。上記実施形態１において、画素Ｃ１が不使用画素であるときの近傍画素の他の例を示す図。上記実施形態１の撮像装置における不使用画素補間処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１４は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。

撮像装置１は、マルチバンドの撮像を行い得る例えばデジタルカメラとして構成されていて、撮影レンズ系２と、レンズ駆動機構３と、レンズドライバ４と、露出制御機構５と、露出制御ドライバ６と、マルチバンドイメージセンサ７と、イメージセンサドライバ８と、プリプロセス回路９と、デジタルプロセス回路１０と、カードインタフェース（カードＩ／Ｆ）１１と、ＬＣＤ１２と、操作スイッチ１３と、操作表示部１４と、ＥＥＰＲＯＭ１５と、システムコントローラ１６と、を備えている。

なお、図１にはメモリカード１７も記載されているが、このメモリカード１７は撮像装置１に対して着脱自在であるために、撮像装置１に固有の構成ではない。

撮影レンズ系２は、フォーカスレンズやあるいはズームレンズ等の各種のレンズを有して構成された撮像光学系である。

レンズ駆動機構３は、撮影レンズ系２を光軸方向に移動可能に保持するレンズ鏡筒を含み、このレンズ鏡筒を伸縮する駆動や、撮影レンズ系２内のズームレンズおよびフォーカスレンズを光軸方向に移動させる駆動を行う機構（例えばカム機構や駆動モータ等）を備えている。

レンズドライバ４は、システムコントローラ１６の指令に基づいて、レンズ駆動機構３を制御するためのものである。

露出制御機構５は、撮影レンズ系２からマルチバンドイメージセンサ７へ到達する光束の通過範囲を制御するための絞りと、撮影レンズ系２からマルチバンドイメージセンサ７へ到達する光束の通過時間を制御するためのシャッタ機構と、を備えたものである。

露出制御ドライバ６は、システムコントローラ１６の指令に基づいて、露出制御機構５を制御するためのものである。

マルチバンドイメージセンサ７は、撮影レンズ系２により結像された光学的な被写体像を光電変換して画像信号を生成するものである。

ここで、図２〜図５を参照して、マルチバンドイメージセンサ７の構成についてさらに説明する。図２はマルチバンドイメージセンサ７の構成を説明するための斜視図、図３はマルチバンドイメージセンサ７におけるカラーフィルタを備えた画素の配置例を示す図、図４は図３に示した各色画素の分光感度特性の一例を示す線図、図５は図３に示した各色画素の分光感度特性の他の例を示す線図である。

マルチバンドイメージセンサ７は、図２に示すように、フォトダイオードを含むモノクロ画素７ｂが配列された基板７ａ上に、異なる分光透過率特性を有する４バンド以上のカラーフィルタ７ｃを、１つのモノクロ画素７ｂにつき１バンドずつ配置することにより、異なる分光感度特性を有する４バンド以上の画素を構成した、いわゆる単板マルチバンドイメージセンサである。ここに、基板７ａにより構成されるモノクロのイメージセンサは、例えばＣＣＤやＣＭＯＳなどのセンサを想定している。

本実施形態ではカラーフィルタ７ｃとして、５バンド（スペクトル上の各バンドは色に対応するために、以下では適宜５色などという）の分光透過率特性を有するカラーフィルタを例に挙げて説明する。そして、図２〜図５に示すように、５色の各色を符号Ｃ１〜Ｃ５により表している。なお、この符号Ｃ１〜Ｃ５は、カラーフィルタの色（バンド）を表すのに用るとともに、その色のカラーフィルタ自体、あるいはカラーフィルタが配置された画素、またはカラーフィルタが配置された画素の分光感度特性を示す曲線などを表すのにも用いるものとする。

５色のカラーフィルタが前面に配置された各画素は、例えば図４に示すような分光感度特性を有している。ここに、画素Ｃ１はＧ（緑）にほぼ対応する分光感度特性を有し、輝度成分を最も高い割合で含む信号を出力する画素である。また、画素Ｃ２はＢ（青）にほぼ対応する分光感度特性を、画素Ｃ３はＣｙ（シアン）にほぼ対応する分光感度特性を、画素Ｃ４はＯｒ（オレンジ）にほぼ対応する分光感度特性を、画素Ｃ５はＲ（赤）にほぼ対応する分光感度特性を、それぞれ有している。従って、この図４に示す例は、３バンドのイメージセンサにおける通常ＲＧＢの３色に加えて、Ｃｙ（シアン）とＯｒ（オレンジ）とを加えたものとなっている。

ただしこれは一例であり、分光感度特性を表す曲線が関数的に独立していれば（すなわち、任意の曲線について、その曲線を、他の曲線をどのように線形加算しても得ることができなければ）、４以上の任意の色（バンド）の組み合わせを用いることができる。このとき、輝度成分を高い割合で含む信号を出力する画素が含まれていることが望ましく、また、可視光域をなるべくまんべんなくカバーすることができるようなバンドを選ぶことが望ましいのは勿論である。

また、図５は、５色の画素Ｃ１〜Ｃ５の分光感度特性の他の例を示している。図４に示した例は各色の画素Ｃ１〜Ｃ５の感度がほぼ等しいものであったが、この図５に示す例は、各バンドの感度に相違があり、画素Ｃ１の感度が他の画素Ｃ２〜Ｃ５の感度に対して高くなっている。また、画素Ｃ２〜Ｃ５同士にも、図示のような幾らかの感度の相違がある。このような感度特性のマルチバンドイメージセンサ７を用いた場合には、太陽光のような広い波長帯域をもつ光が画素Ｃ１〜Ｃ５のそれぞれに同量だけ入射したときに、Ｃ２〜Ｃ５の各画素出力よりもＣ１の画素出力の方が先に飽和レベルに達してしまう。従って、この図５に示すようなマルチバンドイメージセンサ７を用いる場合には、後述する飽和画素の検出に際しては、特に画素Ｃ１を検出対象とすることが考えられる。

次に、上述したような５色の画素Ｃ１〜Ｃ５は、例えば図３に示すように配列されている。なお、このような配列を、以下では適宜ＣＦＡ（カラー・フィルタ・アレイ）などと記載することにする。

この図３に示す例では、画素配列を座標（ｎ，ｍ）［ここに、ｎ，ｍは１以上の整数］で表したときに、ｎおよびｍが共に奇数となる位置とｎおよびｍが共に偶数となる位置、すなわち、ｉ，ｊを１以上の整数としたときに、座標（２ｉ−１，２ｊ−１）で表される位置と座標（２ｉ，２ｊ）で表される位置とに画素Ｃ１が配置されている。また、画素Ｃ２は座標（４ｉ−２，２ｊ−１）で表される位置に、画素Ｃ３は座標（４ｉ，２ｊ−１）で表される位置に、画素Ｃ４は座標（２ｉ−１，４ｊ−２）で表される位置に、画素Ｃ５は座標（２ｉ−１，４ｊ）で表される位置に、それぞれ配置されている。ただし、５色（５バンド）の場合の配置はこの図３に示す例に限るものではなく、４色（４バンド）または６色（６バンド）以上の場合にはさらに異なる配置をすることになる。

この図３に示す配置例は、輝度成分の空間解像力を重視して、輝度成分を多く含む信号を出力する画素Ｃ１の割合を、他の画素Ｃ２〜Ｃ５の割合よりも大きくしたものとなっている。

図１の説明に戻って、イメージセンサドライバ８は、マルチバンドイメージセンサ７を制御して駆動するための駆動制御部である。

プリプロセス回路９は、マルチバンドイメージセンサ７から出力されたアナログの信号を増幅するためのアナログアンプと、このアナログアンプにより増幅された信号をデジタル信号に変換するためのＡ／Ｄ変換器と、含むものである。このプリプロセス回路９により処理されて出力される信号は、いわゆるＲＡＷデータとなる。

デジタルプロセス回路１０は、メモリ１８と、不使用画素検出部１９と、不使用画素補間部２０と、信号処理部２１と、を備えている。

プリプロセス回路９から出力されたＲＡＷデータは、メモリ１８に記憶される。

不使用画素検出部１９は、処理対象画素が画素値を画像データとして使用しない不使用画素であるか否かを判定するものである。すなわち、不使用画素検出部１９は、記憶部であるＥＥＰＲＯＭ１５に記憶されている既知の不使用画素の画素位置情報を読み込んで、処理対象画素の画素位置が不使用画素の画素位置と一致するか否かを判定し、一致すると判定した処理対象画素を不使用画素に含める処理を行う。ここに、既知の不使用画素の例としては、欠陥画素、撮像目的以外の画素（位相差ＡＦ用画素、温度センサー画素等）などの、画素値を画像データとして使用しないことが予め分かっている画素が該当する。さらに、不使用画素検出部１９は、メモリ１８に記憶されているＲＡＷデータを画素単位で読み込んで、処理対象画素の画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素を不使用画素に含める処理を行う。ここに、所定の飽和レベルは、ＥＥＰＲＯＭ１５に予め記憶した値であっても良いし、画像毎に、あるいは撮影シーン毎に、ヒストグラム等に基づいてシステムコントローラ１６が動的に決定した値であっても構わない。また、飽和レベルは、色（バンド）によらず同一値としても構わないが、色（バンド）毎に異なる値を設定しても良い。こうして、不使用画素検出部１９は、予め分かっている情報と、１回の撮像毎に判定した結果と、の少なくとも一方（本実施形態では両方である例を説明するが、マルチバンドイメージセンサ７の特性や、撮像装置１の製造コスト、処理負荷等によっては一方であるとしても構わない）に基づいて、全画素中のどの画素を不使用画素とするかを決定する。

不使用画素補間部２０は、不使用画素検出部１９により不使用画素であると判定された場合に、不使用画素の近傍の、不使用画素のバンドとは異なる３以上のバンドを含む複数バンドの画素の画素値に、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、不使用画素の補間画素値を算出するものである。そして、不使用画素補間部２０は、算出した補間画素値をメモリ１８の不使用画素の画素値を記憶している部分に例えば上書きする。このような処理を全ての不使用画素について行うことにより、メモリ１８に記憶される画像データは、不使用画素の影響が軽減された（ひいては、最終的な出力画像への色ずれ等の影響を軽減し得る）ものとなる。このような不使用画素補間部２０の処理については、後でより詳しく説明する。

信号処理部２１は、不使用画素検出部１９および不使用画素補間部２０の処理によって不使用画素の補間が行われた後の画像データに対して、デモザイキング処理やデモザイキングされたマルチバンド画像データからさらにＲＧＢ画像データを生成する処理、ホワイトバランス処理、階調変換処理、圧縮伸張処理などの各種のデジタル信号処理を行うものである。

カードインタフェース１１は、外部の記録媒体であるメモリカード１７とのインタフェースである。信号処理部２１から出力されるマルチバンド画像、ＲＧＢ画像、またはマルチバンド画像およびＲＧＢ画像は、このカードインタフェース１１を介してメモリカード１７に記録される。

ＬＣＤ１２は、信号処理部２１により生成されたＲＧＢ画像を表示するとともに、この撮像装置１に係る各種の情報も表示し得るカラーの画像表示装置である。なお、ＬＣＤ１２としてマルチバンドのカラー表示が可能な表示装置を用いる場合には、ＲＧＢ画像に代えてマルチバンド画像を表示するようにしても勿論構わない。

操作スイッチ１３は、この撮像装置１の電源をオン／オフするための電源スイッチ、マルチバンドイメージセンサ７による撮像を指示入力するためのレリーズスイッチ、各種のモード設定を行うためのモードスイッチや、その他各種の設定を行うための設定スイッチなどを含んで構成される操作入力部である。

操作表示部１４は、上述したＬＣＤ１２よりも小型の例えばモノクロＬＣＤとして構成されており、この撮像装置１に対して行われている操作状態や、この撮像装置１に対して設定されているモード状態等を表示するための情報表示装置である。

ＥＥＰＲＯＭ１５は、システムコントローラ１６がこの撮像装置１を制御するための処理プログラムや、各種の設定情報などを記憶する不揮発性メモリである。そして、このＥＥＰＲＯＭ１５は、上述した欠陥画素や位相差ＡＦ用画素等の既知の不使用画素の画素位置と、不使用画素の周辺の近傍画素に基づいて不使用画素の画素値を補間する際に用いる相関係数と、さらにあるいは後述する飽和レベルと、を記憶する記憶部となっている。ここに、ＥＥＰＲＯＭ１５への情報の記憶は、例えば製造時に行われる。

システムコントローラ１６は、例えばＣＰＵ等を有して構成されており、操作スイッチ１３からの操作入力に応じて、ＥＥＰＲＯＭ１５から読み出した設定値や、プリプロセス回路９から得た画像データに基づき、レンズドライバ４、露出制御ドライバ６、イメージセンサドライバ８、プリプロセス回路９、デジタルプロセス回路１０、操作表示部１４、ＥＥＰＲＯＭ１５等を含むこの撮像装置１内の各部を統括的に制御するための制御部である。

このような撮像装置１全体の撮像動作時における大まかな作用は、次のようになっている。

操作スイッチ１３のレリーズスイッチがオンされると、システムコントローラ１６が撮像動作の制御を開始する。

システムコントローラ１６は、露出制御ドライバ６を介して露出制御機構５に含まれるシャッタ機構を開放状態にし、マルチバンドイメージセンサ７からプリプロセス回路９を介して出力される信号に基づいてＡＦ制御およびＡＥ制御を行う。すなわち、システムコントローラ１６は、レンズドライバ４を介してレンズ駆動機構３を駆動し、撮影レンズ系２により結像される被写体像がマルチバンドイメージセンサ７上に合焦するようにＡＦ制御する。また、システムコントローラ１６は、露出制御ドライバ６を介して露出制御機構５に含まれる絞りの開口の大きさを制御する。

そして、合焦が行われ、撮像のための絞り値が得られたら、システムコントローラ１６は、露出制御機構５に含まれるシャッタ機構を制御して、ＡＥ制御により算出された露光時間だけマルチバンドイメージセンサ７上に被写体像を結像させる。これにより、マルチバンドイメージセンサ７の各画素は、光電変換を行い信号電荷を蓄積する。なお、ここでは露出制御機構５により露光時間の制御を行ったが、イメージセンサドライバ８を介してマルチバンドイメージセンサ７に電子シャッタの動作を行わせることにより露光時間の制御をするようにしても良いし、シャッタ機構と電子シャッタとを組み合わせても構わない。

露光が終了したら、システムコントローラ１６は、イメージセンサドライバ８を介してマルチバンドイメージセンサ７を制御することにより、画像信号の読み出しを行う。

読み出された画像信号は、プリプロセス回路９により増幅された後にデジタル信号（ＲＡＷデータ）に変換される。

このＲＡＷデータは、デジタルプロセス回路１０により、次に説明する不使用画素補間処理を含む各種の信号処理が施される。

こうしてデジタルプロセス回路１０により処理された信号は、ＬＣＤ１２に表示されるとともに、カードインタフェース１１を介してメモリカード１７に記録される。

次に、図１４は撮像装置１における不使用画素補間処理を示すフローチャートである。

この処理を開始すると、不使用画素検出部１９は、システムコントローラ１６を介して、ＥＥＰＲＯＭ１５に記憶されている既知の不使用画素の画素位置情報を読み込む（ステップＳ１）。

さらに、不使用画素検出部１９は、ＥＥＰＲＯＭ１５に記憶されている飽和レベル、もしくはシステムコントローラ１６がプリプロセス回路９からの信号に基づきヒストグラムを作成して決定した飽和レベル、あるいはシステムコントローラ１６がプリプロセス回路９からの信号に基づきシーン解析を行って撮影シーンに応じて決定した飽和レベル、またはユーザが操作スイッチ１３を操作することにより入力した飽和レベル等を、システムコントローラ１６を介して読み込む（ステップＳ２）。ここに図７は、ヒストグラムに対して設定された飽和レベルの一例を示す線図である。この図７においては、横軸が画素値、縦軸が画像内において該当画素値をとる画素の数をそれぞれ示している。

その後、不使用画素検出部１９は、メモリ１８から処理対処画素のＲＡＷデータを読み込んで（ステップＳ３）、まず、処理対象画素がステップＳ１で画素位置情報を読み込んだ既知の不使用画素に該当するか否かを判定する（ステップＳ４）。

ここで既知の不使用画素ではないと判定された場合には、さらに、処理対象画素の画素値がステップＳ２において読み込んだ飽和レベル以上であるか否かを判定する（ステップＳ５）。

そして、ステップＳ４において処理対象画素が既知の不使用画素であると判定されるか、またはステップＳ５において処理対象画素の画素値が飽和レベル以上であると判定された場合には、不使用画素であると判定された画素の周辺に位置する近傍画素の画素値を、画素位置の情報とともに読み込む（ステップＳ６）。

ここで、図８は画素Ｃ１が不使用画素であるときの近傍画素の一例を示す図、図９は画素Ｃ２が不使用画素であるときの近傍画素の一例を示す図、図１０は画素Ｃ３が不使用画素であるときの近傍画素の一例を示す図、図１１は画素Ｃ４が不使用画素であるときの近傍画素の一例を示す図、図１２は画素Ｃ５が不使用画素であるときの近傍画素の一例を示す図である。

図８〜図１２に示す全ての例において、不使用画素の近傍画素（ハッチングを付して示している）には、不使用画素のバンドとは異なる３以上のバンドの画素が含まれている。すなわち、図８に示す不使用画素Ｃ１には、同一色の近傍画素Ｃ１が４画素、異なる色の近傍画素Ｃ２〜Ｃ５が各１画素、含まれている。また、図９、図１０に各示す不使用画素Ｃ２，Ｃ３には、異なる色の近傍画素Ｃ１が４画素、異なる色の近傍画素Ｃ４，Ｃ５が各２画素、含まれている。さらに、図１１、図１２に各示す不使用画素Ｃ４，Ｃ５には、異なる色の近傍画素Ｃ１が４画素、異なる色の近傍画素Ｃ２，Ｃ３が各２画素、含まれている。

なお、図８〜図１２に示す例は、処理対象画素の周辺８画素を近傍画素とした例であるが、近傍画素の取り方はこれらの図に示す例に限るものではないことは勿論である。例えば、図１３は画素Ｃ１が不使用画素であるときの近傍画素の他の例を示す図である。

画素Ｃ１は、図４や図５に示したように、輝度成分を最も高い割合で含む信号を出力する画素であり、特に図５に示したような分光感度特性の場合には、太陽光のような広い帯域の光を受光すると、最も感度が高いバンドの画素Ｃ１の画素値が最も高い確率で飽和すると考えられる。従って、簡易的に画素Ｃ１の飽和にのみ対応する（すなわち、画素Ｃ１についてのみ、画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素Ｃ１を不使用画素に含めるが、処理対象画素が画素Ｃ２〜Ｃ５である場合には不使用画素には含めない）処理を行っても、高い色ずれ抑制効果を効率的に得られると期待される（最も感度が高い色以外の色の画素も飽和してしまうような画像領域では、近傍画素から補間した値も飽和したままとなるために、特別な例外処理を行わなくても不自然な画像とはならないためでもある）。このような場合に、この図１３に示すような配置の近傍画素を用いれば、少ない近傍画素数で、スペクトル相関性に基づく不使用画素補間を、比較的高い精度で行うことができる利点がある。

続いて、不使用画素補間部２０は、システムコントローラ１６から正規化された相関係数Ｒij（ｘ，ｙ）を読み込んで（ステップＳ７）、メモリ１８から不使用画素検出部１９を介して読み込んだ近傍画素の画素値ＩＮj（ｘ，ｙ）に対して次の数式１に示すような相関演算を行うことにより、補間画素値ＯＵＴiを算出する（ステップＳ８）。
［数１］

ここに、添え字ｉ，ｊは、画素Ｃ１〜Ｃ５に付した数字を用いて色を表しており、ｉは不使用画素の色を、ｊは近傍画素の色をそれぞれ表している。また、座標（ｘ，ｙ）は近傍画素領域における画素配列を表すものであり、図８〜図１２に示した例では、（ｘ，ｙ）は（２，２）を除く（１，１），（１，２），…，（３，２），（３，３）の何れかの座標値をとる。また、総和記号Σは、近傍領域内にある、座標（ｘ，ｙ）の色ｊの近傍画素の全てについて和をとることを意味している。

ここで、相関係数Ｒij（ｘ，ｙ）の一例を次の数式２に示す。
［数２］

この数式２の右辺におけるＲＤijは色ｊに対する色ｉの感度比を表す感度補正係数である。また、ＲＣijは色ｉに対する色ｊのスペクトル相関性（色相関性）を表すスペクトル相関係数である。さらに、ＲＳ（ｘ，ｙ）は不使用画素と座標（ｘ，ｙ）にある近傍画素との空間相関性を表す空間相関係数である。そして、Ｎは正規化係数である。

まず、感度補正係数ＲＤijは、例えば次の数式３に示すように表される。
［数３］

この数式３の右辺におけるＣi（λ），Ｃj（λ）は、図４や図５に示したような、波長λに対する分光感度特性を表す曲線を示し、例えば撮像素子のカタログデータ等から取得したり、分光感度特性を実際に測定して取得したりすることが可能である。

この数式３は、色ｊの画素の分光感度特性を表す曲線Ｃj（λ）で囲まれる領域の面積に対する、色ｉの画素の分光感度特性を表す曲線Ｃi（λ）で囲まれる領域の面積の比により、感度比を表す感度補正係数を算出する例となっている。

すなわち、色ｉの画素と色ｊの画素とは同一の感度であるとは限らず、波長に依らず均一のエネルギーをもつ光を受けたとしても出力する画素値が異なる場合がある（例えば図５等参照）。このときには色ｊの画素値をそのまま用いて色ｉの補間画素値を算出することはできず、感度の相違に基づく補正を行う必要がある。感度補正係数ＲＤijは、このように、近傍画素の色ｊの感度を不使用画素の色ｉの感度に補正する係数であるために、色ｊの近傍画素の画素値ＩＮj（ｘ，ｙ）を色ｉの不使用画素に合わせて正規化するための係数であるということができる。

こうして、不使用画素補間部２０は、相関係数に基づく重み付け加算に際して、不使用画素のバンドと、補間画素値の算出に用いる近傍画素の各バンドとの、バンド同士の感度比に応じた重み付けを行うものとなっている。

次に、スペクトル相関係数ＲＣijは、例えば次の数式４に示すように表される。
［数４］

ここに、記号ｍｉｎ｛Ａ，Ｂ｝は、ＡとＢとの内の大きくない方（等しくない場合には小さい方）をとることを意味している。ただし、数式４におけるＣi（λ），Ｃj（λ）は波長λの関数であるために、波長域に応じて何れか大きくない方が採用されることになる。これにより、数式４の右辺は、色ｉの画素の分光感度特性を表す曲線Ｃi（λ）で囲まれる領域と、色ｊの画素の分光感度特性を表す曲線Ｃj（λ）で囲まれる領域と、が重複する面積の大きさを表している（図６におけるハッチングを付した部分を参照）。ここに図６は、分光感度特性を表す曲線Ｃ1（λ）で囲まれる領域と、分光感度特性を表す曲線Ｃ2（λ）で囲まれる領域と、が重複する領域の例を示す線図である。

こうして、不使用画素補間部２０は、バンド同士のスペクトル相関性に応じた重み付けを、バンドの分光感度特性を表す曲線で囲まれる領域同士が重複する面積の大きさに応じた重み付けとして算出し、数式１に示したように重み付け加算を行い不使用画素の補間画素値を算出するものとなっている。

さらに、空間相関係数ＲＳ（ｘ，ｙ）は、不使用画素と座標（ｘ，ｙ）にある近傍画素との空間的位置関係（例えば距離や方向など）に応じた相関性を表す係数である。この空間相関係数は、例えば距離のみに応じて簡単に決定することも可能であるが、エッジ検出等を行うなどして画像の空間的な構造に基づき決定する方がより高精度となる。そして、どのような空間相関係数を用いるかは、求められる画質や処理負荷、消費電力、コスト等を考慮して決定することができるために、次の数式５には距離のみに応じて決定したごく単純な空間相関係数の一例を示す。
［数５］

なお、この数式５に示したのは、図８〜図１２に示したような３×３画素の近傍領域をとるときの例である。

また、次の数式６に、図１３に示したような近傍領域をとるときの、距離のみに応じて決定したごく単純な空間相関係数の一例を示す。
［数６］

こうして、不使用画素補間部２０は、重み付け加算に際して、不使用画素と、補間画素値の算出に用いる近傍画素との、空間相関に応じた重み付けを行うものとなっている。

続いて、正規化係数Ｎは、スペクトル相関係数ＲＣijおよび空間相関係数ＲＳ（ｘ，ｙ）に基づき、例えば次の数式７に示すように算出される。
［数７］

ここに、数式６の右辺における総和記号Σは、上述した数式１における総和記号Σと同様に、近傍領域内にある、座標（ｘ，ｙ）の色ｊの近傍画素の全てについて和をとることを意味している。

上述した数式１〜５および７に示したような相関係数を用いて、図８に示したような不使用画素および近傍画素に対して補間画素値ＯＵＴiを算出した例を、次の数式８に示す。
［数８］

ここに、数式８における感度補正係数ＲＤ1j（ｘ，ｙ）を数式９に、スペクトル相関係数ＲＣ1j（ｘ，ｙ）を数式１０に、正規化係数Ｎを数式１１に、それぞれ示す。
［数９］

［数１０］

［数１１］

なお、上述した各相関係数の内の、感度補正係数ＲＤijと、スペクトル相関係数ＲＣijとは、マルチバンドイメージセンサ７に固有の係数となるために、撮像装置１に使用するマルチバンドイメージセンサ７の種類が決まれば、予め算出して製造時にＥＥＰＲＯＭ１５に記憶させておき、使用時に読み出して利用することが可能である。

また、空間相関係数ＲＳ（ｘ，ｙ）は、予め定められた固定の係数を用いる場合には製造時にＥＥＰＲＯＭ１５に予め記憶させておき、使用時に読み出して利用することが可能である。これは、複数種類の空間相関係数ＲＳ（ｘ，ｙ）を予め用意しておいて、画像に応じて適宜選択する場合でも同様である。具体例としては、幾つかの典型的な撮影シーンに対する空間相関係数ＲＳ（ｘ，ｙ）を予め用意しておいて、シーン解析の結果に応じて何れかの係数を選択することが挙げられる。これに対して、例えば画像の空間的な構造に基づいて空間相関係数ＲＳ（ｘ，ｙ）を決定する場合には、デジタルプロセス回路１０またはシステムコントローラ１６が画像毎に画像解析を行い、その結果に基づきローカルな（つまり空間依存性をもった）空間相関係数ＲＳ（ｘ，ｙ）を算出することになる。

こうして、ステップＳ８の処理により補間画素値ＯＵＴiが算出されたら、不使用画素補間部２０は算出した補間画素値ＯＵＴiをメモリ１８へ出力する（ステップＳ９）。出力された補間画素値ＯＵＴiは、例えば、メモリ１８における不使用画素の画素値が書き込まれた領域に上書きされる。

一方、ステップＳ５において、処理対象画素の画素値が飽和レベル以上ではないと判定された場合（このときには、ステップＳ４において処理対象画素が既知の不使用画素ではないと判定されたことになる）には、入力した処理対象画素の画素値をそのまま出力する（ステップＳ１０）。なお、ここでは上述したステップＳ９に合わせて出力する処理としているが、メモリ１８上の処理対象画素の画素値の書き換えは不要であるために、ここでは出力することなく次の処理へ進んでも構わない。

こうして、ステップＳ９またはステップＳ１０の処理が終了したら、全画素の処理が終了したか否かを判定し（ステップＳ１１）、終了していなければステップＳ３へ戻って次の処理対象画素について上述したような処理を行い、終了している場合には、この処理を終える。

なお、上述では５バンドのＣＦＡ（カラー・フィルタ・アレイ）を例に挙げたが、これに限定されるものではないことは勿論であり、４バンド以上であれば任意のバンド数のＣＦＡに対して本発明を適用することができる。

また、上述では不使用画素の周辺の近傍画素として、図８〜図１２に示したような周辺８画素、または図１３に示したような周辺４画素を例に挙げたが、勿論、近傍画素もこれに限るものではない。

さらに、補間画素値の算出に用いる近傍画素を決定するに際しては、ＣＦＡに設けられている全てのバンドの画素が少なくとも１画素は含まれるようにすることが望ましい。従って、バンド数が多い場合には、この条件を満たすように近傍画素領域の大きさを大きくすることが考えられる（ただし、近傍画素領域を大きくすると演算処理負荷が大きくなること、不使用画素との距離が離れると空間相関性が低下すること、などを考え合わせると、近傍画素領域の大きさは制限されるために、幾つかのバンドの画素が近傍画素領域に含まれないこともあり得る）。

そして、数式３に示す例においては、分光感度特性を表す曲線で囲まれる領域の面積の比により感度補正係数ＲＤijを算出したが、これに限るものではないことは勿論である。例えば、より簡易的な方法としては、分光感度特性のピーク値同士の比により算出する等も可能である。

加えて、数式４に示す例においては、スペクトル相関係数ＲＣijを、不使用画素の分光感度特性を表す曲線と近傍画素の分光感度特性を表す曲線とで囲まれる領域の面積に応じて決定していたが、これに限るものでもない。

例えば、分光感度特性のピーク同士の波長間距離（この波長間距離をλijとする）が増加すると、相関性（ひいては重み）は減少するような関数ｆ（λij）として算出することも可能である。こうした関数ｆ（λij）の一例としては、波長間距離λij（あるいは、波長間距離λijのｓ乗（ここにｓは正の実数））に反比例する関数、ｆ（λij）＝ａ／（ｂ＋λij^s）［ここに、記号「^」はべき乗を示す。以下同様。］などが挙げられる。ここに、ａは規格化により定まる正の係数であり、ｂは近傍画素が不使用画素と同一色（つまりλij＝０）であるときの発散を防ぐための正の定数である。

あるいは、スペクトル相関としては近似的となってしまい、むしろ色相関と呼ぶほうがふさわしいが、色空間における色相を角度θで表したときに、不使用画素の色ｉと近傍画素の色ｊとがなす色相の角度θijが増加すると、相関性（ひいては重み）は減少するような関数ｇ（θij）として算出することも可能である。こうした関数ｇ（θij）の一例としては、色相の角度θij（あるいは、色相の角度θijのｑ乗（ここにｑは正の実数））に反比例する関数、ｇ（θij）＝ｃ／（ｄ＋θij^q）などが挙げられる。ここに、ｃは規格化により定まる正の係数であり、ｄは近傍画素が不使用画素と同一色（つまりθij＝０）であるときの発散を防ぐための正の定数である。

このように、本発明の効果を著しく損なわない限りスペクトル相関係数の算出方法に制限はなく、公知の２つのスペクトルの相関を求める技術などを広く適用することが可能である。

また、上述では、スペクトル相関性および空間相関性の両方に基づいて相関係数を決定しているが、より簡易的には、スペクトル相関性のみに基づいて相関係数を決定することも可能である。

このとき、スペクトル相関性のみに基づいて相関係数を決定する場合には、近傍画素の１画素毎に相関性を評価するのに代えて、近傍画素中の１色（１バンド）毎に相関性を評価するようにしても構わない。すなわち、上述では、例えば図８に示した近傍画素の場合、色Ｃ１の画素が近傍画素領域内に４画素含まれており、それぞれの画素の寄与分を不使用画素の補間画素値の算出に用いていた（数式８参照）。これに対して相関性を１色毎に評価する場合には、同一色に関しては近傍画素の画素値を平均化した値を用いれば良い。

加えて、数式１において、入力した画素値を表現するビット数よりも出力する補間画素値を表現するビット数の方が大きくなるようにすれば（例えば入力画素値が１０ビットである場合に、出力画素値を１２ビットとする等）、ダイナミックレンジの拡大を行うことも可能となる。

このような実施形態１によれば、不使用画素のバンドとは異なる３バンド以上の近傍画素値を少なくとも用いて、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、不使用画素の補間画素値を算出しているために、不使用画素の影響による最終出力画像への色ずれ等を軽減することが可能となる。このとき、補間画素値の算出をスペクトル相関性に基づいて行っているために、高精度な補間処理が可能となる。

また、バンド同士のスペクトル相関性に応じた重み付けを、バンドの分光感度特性を表す曲線で囲まれる領域同士が重複する面積の大きさに応じた重み付けとして算出する場合には、比較的正確な相関係数を、カタログデータや実験して得た測定値から得ることが可能となる。

一方、バンド同士のスペクトル相関性に応じた重み付けを、バンドの分光感度特性のピーク同士の波長間距離が増加すると、重みが減少するような重み付けとして算出する場合には、分光感度特性の曲線形状を測定する必要がなく、ピークを示す波長のみを各バンドについて測定するかカタログデータから取得すれば足りるために、より容易にデータを取得することができる。

さらに、バンド同士のスペクトル相関性に応じた重み付けを、バンドが表す色同士の色空間における色相の相違を表す角度が増加すると、重みが減少するような重み付けとして算出する場合には、各バンドが表す色相のみを、測定するかあるいはカラーフィルタのカタログデータから取得して、公知の色空間内における角度に変換すれば良いために、相関係数を容易に得ることができる。

そして、不使用画素と近傍画素とのバンド同士の感度比に応じた重み付けを行っているために、感度の相違を補正した正確な相関係数を得ることができる。

加えて、不使用画素と近傍画素との空間相関に応じた重み付けを行う場合には、近傍画素の空間的配置にも配慮したより正確な相関係数を得ることができる。

また、不使用画素として、欠陥画素や撮像目的以外の画素（位相差ＡＦ用画素、温度センサー画素等）などの、画素値を画像データとして使用しないことが予め分かっている画素を含めるようにしたために、これらの画素についての色ずれ軽減等を行うことができる。このとき、既知の不使用画素の画素位置を記憶部に記憶しているために、画素位置の照合を行うだけで不使用画素であるか否かを容易に判定することができる。

さらに、所定の飽和レベル以上であると判定した処理対象画素を不使用画素に含めるようにしたために、画素値が飽和した画素についての色ずれ軽減等を行うことができる。このとき、不使用画素に含めるのを最も感度の高い１つのバンドに属する処理対象画素のみとする場合には、処理を簡単にしながら比較的高い効果を得ることができる。加えて、飽和していない他の色の近傍画素の画素値に基づいて、飽和した不使用画素の画素値を補間する際に、補間画素値のビット数を拡大すれば、ダイナミックレンジの拡大も行うことができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮影レンズ系
３…レンズ駆動機構
４…レンズドライバ
５…露出制御機構
６…露出制御ドライバ
７…マルチバンドイメージセンサ（単板マルチバンドイメージセンサ）
７ａ…基板
７ｂ…モノクロ画素
７ｃ…カラーフィルタ
８…イメージセンサドライバ
９…プリプロセス回路
１０…デジタルプロセス回路
１１…カードインタフェース（カードＩ／Ｆ）
１２…ＬＣＤ
１３…操作スイッチ
１４…操作表示部
１５…ＥＥＰＲＯＭ（記憶部）
１６…システムコントローラ
１７…メモリカード
１８…メモリ
１９…不使用画素検出部
２０…不使用画素補間部
２１…信号処理部

Claims

マルチバンドの撮像を行い得る撮像装置において、
４バンド以上のカラーフィルタを１画素につき１バンドずつ配置することにより、異なる分光感度特性を有する４バンド以上の画素が構成される単板マルチバンドイメージセンサと、
処理対象画素が、画素値を画像データとして使用しない不使用画素であるか否かを判定する不使用画素検出部と、
前記不使用画素検出部により不使用画素であると判定された場合に、該不使用画素の近傍の、該不使用画素のバンドとは異なる３以上のバンドを含む複数バンドの画素の画素値に、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、該不使用画素の補間画素値を算出する不使用画素補間部と、
を具備したことを特徴とする撮像装置。
上記不使用画素補間部は、上記バンド同士のスペクトル相関性に応じた重み付けを、該バンドの分光感度特性を表す曲線で囲まれる領域同士が重複する面積の大きさに応じた重み付けとして算出するものであることを特徴とする請求項１に記載の撮像装置。
上記不使用画素補間部は、上記バンド同士のスペクトル相関性に応じた重み付けを、該バンドの分光感度特性のピーク同士の波長間距離が増加すると、重みが減少するような重み付けとして算出するものであることを特徴とする請求項１に記載の撮像装置。
上記不使用画素補間部は、上記バンド同士のスペクトル相関性に応じた重み付けを、バンドが表す色同士の色空間における色相の相違を表す角度が増加すると、重みが減少するような重み付けとして算出するものであることを特徴とする請求項１に記載の撮像装置。
上記不使用画素補間部は、さらに、上記重み付け加算に際して、上記不使用画素のバンドと、上記補間画素値の算出に用いる近傍画素の各バンドとの、バンド同士の感度比に応じた重み付けを行うものであることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
上記不使用画素補間部は、さらに、上記重み付け加算に際して、上記不使用画素と、上記補間画素値の算出に用いる近傍画素との、空間相関に応じた重み付けを行うものであることを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
既知の不使用画素の画素位置を記憶する記憶部をさらに具備し、
上記不使用画素検出部は、処理対象画素の画素位置が、上記記憶部に記憶された既知の不使用画素の画素位置と一致するか否かを判定し、一致すると判定した処理対象画素を上記不使用画素に含めるものであることを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
上記不使用画素検出部は、処理対象画素の画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素を上記不使用画素に含めるものであることを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
上記単板マルチバンドイメージセンサは、各バンドの感度に相違があり、
上記不使用画素検出部は、最も感度の高い１つのバンドに属する処理対象画素についてのみ、画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素を上記不使用画素に含めるものであることを特徴とする請求項８に記載の撮像装置。