JP2010193178A - 画像処理装置及び方法並びにプログラム - Google Patents

Abstract

【課題】欠陥画素の補間処理の精度を向上させること。
【解決手段】入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する特異領域判定部１０９と、被写体までの距離情報を画素毎に取得する距離情報取得部１１０と、距離情報取得部１１０によって取得した距離情報を用いて、特異領域判定部１０９によって特異領域として判定された各画素を補間する補間部１１１とを備えることを特徴とする画像処理装置１を提供する。
【選択図】図１

Description

本発明は、画像処理装置及び方法並びにプログラムに関するものである。

従来、デジタルスチルカメラやビデオカメラ等の撮像素子として主に用いられるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子においては製造時に受光素子の一部に欠陥画素を生じてしまうことがある。欠陥画素は映像信号中に黒キズや白キズとして現れ、映像品質を低下させる原因となる。また、欠陥画素の他にも撮像素子やレンズに付着したゴミ等が映像信号に映りこんでしまう場合があり、これらもまた映像品質を低下させる。

こうした欠陥を補正するさまざまな方法が提案されており、例えば、特許文献１には、動的な欠陥要因により生じる欠陥画素を補正する撮像装置が開示されている。また特許文献２には、撮像光路上に存在する傷、異物である欠陥による点状またはぼけを伴った影の画像への映りこみによる像欠陥を補正し、画質を損ねることを防止するデジタルカメラ装置が開示されている。また、特許文献３には、電子カメラ等で撮影された画像データから、ゴミの影響等を適切に除去することが可能な画像処理装置が開示されている。

特開２００７−１７４１９９号公報 特開２００６−２２９８９８号公報 特開２００４−２２２２３３号公報

上記特許文献１から特許文献３のいずれの場合も、欠陥画素の補間処理については隣接画素を用いた補間等を行っている。しかしながら、隣接画素間において撮像素子からの距離情報が互いに異なる場合、例えば、背景に写された建物と人物等のように複数の対象が含まれていた場合には、これらの隣接画素を用いて欠陥領域の補間処理を行うと、正確な補間処理が行えないという問題があった。

本発明は、上記問題を解決するためになされたもので、欠陥画素の補間処理の精度を向上させることを可能とする画像処理装置及び方法並びにプログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。

本発明の第一の態様は、入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する特異領域判定手段と、被写体までの距離情報を該画素毎に取得する距離情報取得手段と、該距離情報取得手段によって取得した該距離情報を用いて、該特異領域判定手段によって特異領域として判定された各画素を補間する補間手段とを備えることを特徴とする画像処理装置である。

本発明の第二の態様は、入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する過程と、被写体までの距離情報を該画素毎に取得する過程と、該距離情報を取得する過程において取得した該距離情報を用いて、該特異領域か否かを判定する過程において特異領域として判定された各画素を補間する過程とを有することを特徴とする画像処理方法である。

本発明の第三の態様は、入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する処理と、被写体までの距離情報を該画素毎に取得する処理と、該距離情報を該画素毎に取得する処理において取得した該距離情報を用いて、該特異領域を判定する処理において特異領域として判定された各画素を補間する処理とをコンピュータに実行させるための画像処理プログラムである。

本発明によれば、欠陥画素の補間処理の精度を向上させることができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の構成例を示したブロック図である。 特異領域判定部の構成例を示したブロック図である。 補間部の構成例を示したブロック図である。 画素値を用いた補間処理を説明するための図である。 画素毎の距離情報分布例を示した図である。 第１の実施形態に係る画像処理の動作フローを示した図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示したブロック図である。

以下に、本発明に係る画像処理装置及び方法並びにプログラムの一実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本実施形態に係る画像処理装置１の概略構成を示したブロック図である。本実施形態に係る画像処理装置１は、例えば、デジタルカメラであり、図１に示されるように、撮像部２と画像処理部３とを備えている。撮像部２は、レンズ系１００、シャッター（図示略）、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４、およびＡＦモータ１０２等を備えている。撮像部２により取得されたアナログ信号の画像信号は、画像処理部３に入力される。なお、本実施形態例においてＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを想定している。

画像処理部３は、例えば、ＡＳＩＣであり、アナログ／デジタル変換部（以下「Ａ／Ｄ変換部」という。）１０５、バッファ１０６、撮影制御部１０７、信号処理部１０８、特異領域判定部（特異領域判定手段）１０９、距離情報取得部（距離情報取得手段）１１０、補間部（補間手段）１１１、圧縮部１１２、制御部１１４等を備えている。これら各部は、画像処理部３内のデータバス３０を介して相互に接続されている。更に、画像処理部３は、電源スイッチ、シャッターボタン、並びに撮影時の各種モードの切替を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１５、および出力部１１３等を備えている。

画像処理部３において、制御部１１４は、各部の制御を行う。
Ａ／Ｄ変換部１０５は、アナログ信号の入力画像信号をデジタル信号の画像信号に変換し、バッファ１０６に出力する。バッファ１０６は、Ａ／Ｄ変換部１０５からの入力画像信号を一時的に格納する。バッファ１０６に格納された入力画像信号は撮影制御部１０７および信号処理部１０８により所定のタイミングで読み出される。

撮影制御部１０７は、撮像部２を構成するＡＦモータ１０２や絞り１０１、ＣＣＤ１０４等を制御する。例えば、撮影制御部１０７は、信号中の輝度レベルや図示しない輝度センサを用い、入射光量の調整のための絞り１０１およびＣＣＤ１０４の電子シャッター速度等を制御する。
更に、撮影制御部１０７は、ＡＦモータ１０２を制御し、任意の異なるレンズ位置で複数枚の画像信号を取得するよう撮像部２の制御を行う。ここで取得された複数枚の画像信号は、Ａ／Ｄ変換部１０５、バッファ１０６を経由して、撮影制御部１０７に供給される。撮影制御部７は、複数枚の画像信号を距離情報取得部１１０に出力する。

信号処理部１０８は、バッファ１０６上の単板状態の入力画像信号を読み出し、公知の補間処理、ホワイトバランス処理などを行い、各画素ＲＧＢの三板状態の入力画像信号を生成する。信号処理部１０８は、生成された三板状態の入力画像信号を、特異領域判定部１０９および補間部１１１に出力する。

距離情報取得部１１０は、撮影制御部１０７から供給された複数枚の画像信号を用いて、被写体までの距離情報を取得する。具体的には、ＤＦＤ（Depth from Defocus）技術を用いて、被写体からの距離を算出する。ＤＦＤ技術の詳細については、Gopal Surya, ”Three-Dimensional Scene Recovery from Image Defocus,” Dept. of Electrical Engineering, SUNY at Stony Brook, Dec. 1994.において開示されている。例えば、撮影制御部１０７によって、異なるパラメータを用いて取得された、複数枚の画像により、ぼけを含む２枚の画像の相関から合焦位置を探し、それに基づいて撮影制御部１０７にＡＦモータ１０２を制御させ、入力画像信号の各画素の距離情報を算出し、この距離情報を特異領域判定部１０９に出力する。

特異領域判定部１０９は、入力画像信号の特定の領域に対し、欠陥を含む領域である特異領域か否かを判定する。具体的には、注目画素の距離情報と注目画素の周辺の画素の距離情報との値の差が、所定の閾値Ｔｈよりも大きくなる場合には、その注目画素は特異であると判定する。
特異領域判定部１０９は、図２に示すように、局所領域抽出部３００と、差分情報算出部３０１と、比較判定部３０２とを備えている。

上記局所領域抽出部３００は、入力画像信号の注目画素を中心とし、注目画素の周辺の複数の画素である局所領域を抽出する。例えば、注目画素の座標を（ｘ，ｙ）、局所領域の座標を（ｘ＋ｉ，ｙ＋ｊ）とする。例えば、局所領域の大きさを５×５とした場合、ｉ，ｊは、ｉ＝−２，−１，０，１，２およびｊ＝−２，−１，０，１，２となる。

差分情報算出部３０１は、注目画素における距離情報と局所領域の各画素における距離情報との差分情報を算出する。具体的には、上述の注目画素の距離情報をＤ（ｘ，ｙ）、局所領域の距離情報をＤ（ｘ＋ｉ，ｙ＋ｊ）とすると、注目画素と局所領域の画素との距離情報の差分は（１）式で与えられる。ここで、Δ（ｉ，ｊ）は距離情報の差分を示す。
Δ（ｉ，ｊ)＝｜Ｄ（ｘ，ｙ）−Ｄ（ｘ＋ｉ，ｙ＋ｊ）｜ ・・・（１）

比較判定部３０２は、上記距離情報の差分と所定の閾値を比較し、該距離情報の差分が所定の閾値よりも大きくなるか否かにより、当該注目画素が特異領域であるか否かを判定する。例えば、共通する注目画素において算出された複数の上記距離情報の差分Δ（ｉ，ｊ）のうち最も値の大きいものを選択し、その値と所定の閾値Ｔｈを比較し、（２）式の条件を満たす場合には、注目画素が特異画素であると判定する。ここでｍａｘ（）は最大値を算出する関数である。

ｍａｘ（Δ（ｉ，ｊ））＞Ｔｈ ・・・（２）

このように抽出された特異領域の情報は補間部１１１へ出力される。

補間部１１１（図１参照）は、距離情報取得手段１１０から取得した各画素の距離情報を用いて、特異領域判定部１０９によって特異領域であると判定された領域の補間処理を行う。
補間部１１１は、図３に示すように、バッファ２００、周辺領域設定部２０１、補間画素抽出部２０２、および補間処理部２０３を備えている。信号処理部１０８はバッファ２００に接続され、バッファ２００、および特異領域判定部１０９は周辺領域設定部２０１に接続されている。バッファ２００は補間処理部２０３に接続されている。周辺領域設定部２０１および距離情報取得部１１０は、補間画素抽出部２０２に接続されており、補間画素抽出部２０２は補間処理部２０３に接続されている。補間処理部２０３は圧縮部１１２に接続されている。

周辺領域設定部２０１は、バッファ２００から取得した入力画像信号および特異領域判定部１０９から取得した特異領域の情報に基づいて、特異領域の周辺領域を設定する。図４は補間処理の説明をするための図を示している。
図４において、各画素内の数字は画素値を表しており、Ｉ_{ｉ＋２，ｊ＋１}、Ｉ_{ｉ＋３，ｊ＋１}、Ｉ_{ｉ＋４，ｊ＋１}、Ｉ_{ｉ＋１，ｊ＋２}、Ｉ_{ｉ＋２，ｊ＋２}、Ｉ_{ｉ＋３，ｊ＋２}、およびＩ_{ｉ＋１，ｊ＋３}を特異領域内の特異画素とみなした場合、この特異領域を囲むように上下左右にそれぞれ１画素分領域を拡張させた矩形領域を周辺領域として設定する。これにより、例えば、図４に示すように、特異領域以外の画素領域が周辺領域として設定される。

補間画素抽出部２０２は、距離情報取得部１１０から取得した各画素の距離情報に基づいて、周辺領域設定部２０１により設定された周辺領域から、特異領域の補間処理に用いる画素である補間画素の抽出を行う。例えば、補間画素抽出部２０２は、入力画像信号の特異画素の周辺画素のうち、任意の周辺画素の距離情報と他の周辺画素の距離情報との差分を算出し、この差分の値が所定の値βよりも大きい場合に、その周辺画素は補間処理に用いる画素から除外し、差分の値が所定の値β以下の場合には、その周辺画素を補間処理に用いる画素として抽出する。

以下、補間画素抽出部２０２の処理をより具体的に説明する。図５は特異領域および周辺領域における各画素の距離分布を示した図である。特異画素を除き、色が濃いほど被写体までの距離が近いことを表している。また、各画素内に表示された数字は、各画素の座標を示している。

補間画素抽出部２０２は、注目する特異画素として、座標(ｉ＋４，ｊ＋１)を想定した場合には、この特異画素の左右前後のそれぞれにおいて、最も近い周辺画素の座標(ｉ＋４，ｊ)、(ｉ＋１，ｊ＋１)、(ｉ＋５，ｊ＋１)、および(ｉ＋４，ｊ＋２)を、特異画素（ｉ＋４，ｊ＋１）の補間画素の候補として抽出する（以下、補間画素の候補として抽出した画素を「候補画素」という。）。
続いて、４つの候補画素のうちの一つを対象画素とし、この対象画素と他の３つの候補画素との距離情報の差分をそれぞれ求める。これにより、３つの距離情報の差分が算出される。

続いて、３つの距離情報の差分と所定の閾値βとを比較し、これら３つの差分全てが所定の閾値βを超えている場合には、上記対象画素は、補間画素から除外され、補間処理には用いない。

また、算出された上記３つの差分のうち、１つの差分が所定の閾値βを超え、残りの２つの差分が所定の閾値βを超えていない場合には、当該対象画素と残りの２つの候補画素とを補間画素として抽出し、残りの１つの候補画素を補間画素から除外する。

また、算出された上記３つの差分のうち、２つの差分が所定の閾値βを超え、残りの１つの差分が所定の閾値βを超えていない場合には、この閾値βを超えていない候補画素と他の２つの候補画素との距離情報の差分を算出し、この距離情報の差分が閾値βを超えているか否かを判定する。この結果、新たに算出した２つの距離情報の差分が、所定の閾値βを超えている場合には、対象画素および距離情報の差分が閾値β以下であった１つの候補画素とからなる組、または、それ以外の２つの候補画素からなる組のいずれか一方の組を補間画素から除外し、他方の組を補間画素に決定する。

例えば、候補画素(ｉ＋４，ｊ)，(ｉ＋１，ｊ＋１)、(ｉ＋５，ｊ＋１)、および(ｉ＋４，ｊ＋２)のうち、対象画素を（ｉ＋４，ｊ）とした場合、他の候補画素（ｉ＋１，ｊ＋１）、（ｉ＋５，ｊ＋１）、および（ｉ＋４，ｊ＋２）の間で３つの距離情報の差分が算出される。このうち、例えば、（ｉ＋４，ｊ）と（ｉ＋５，ｊ＋１）および（ｉ＋４，ｊ）と（ｉ＋４，ｊ＋２）の差分が所定の値βを超えており、（ｉ＋４，ｊ）と（ｉ＋１，ｊ＋１）との差分が所定の閾値β以下である場合には、閾値β以下であった（ｉ＋１，ｊ＋１）と他の２つの候補画素（ｉ＋５，ｊ＋１）、（ｉ＋４，ｊ＋２）との距離情報の差分を算出する。この結果、いずれの差分も所定の閾値βを超えていた場合には、対象画素とした（ｉ＋４，ｊ）と（ｉ＋１，ｊ＋１）との組、または候補座標（ｉ＋５，ｊ＋１）と（ｉ＋４，ｊ＋２）との組のうち、どちらか一方の組を補間画素として決定し、他方の組を補間画素から除外する。

なお、いずれか一方の組を補間画素として決定する場合に、特異画素の座標(ｉ＋４, ｊ＋１)に近い候補画素を含む組を補間画素として決定するとよい。

このようにして、補間画素抽出部２０２は、補間処理に用いる補間画素を抽出すると、抽出した補間画素の情報を補間処理部２０３に出力する。

補間処理部２０３は、補間画素抽出部２０２から抽出された画素を用い、バッファ２００から出力された入力画像信号中の特異画素の補間処理を行う。補間処理は公知のバイリニア補間やバイキュービック補間など何を使用してもよい。例えば、バイリニア補間の場合、上記の例において特異画素の座標が(ｉ＋４，ｊ＋１)の場合には、以下の（４）式となる。

なお、下付き文字Ｉ_ｉ，ｊは座標（ｉ，ｊ）における画素値を示し、（（ｊ＋１）−ｊ）は各座標間のｘ方向の距離を示す。例えば、２つの画素の座標が（ｉ，ｊ）と（ｉ＋２，ｊ＋１）の場合は、そのｘ方向、ｙ方向の距離は（（ｉ＋２）−ｉ，（ｊ＋１）−ｊ）となる。

ここで、Ｉ′_{ｊ＋４，ｊ＋１}は補間処理後の画素値となる。また、特異画素の座標が（ｊ＋３、ｊ＋２）の場合には、以下の（５）式となる。

次に、上記構成を備える画像処理装置１の作用について説明する。
ユーザにより、外部Ｉ／Ｆ部１１５を介してＩＳＯ感度、露出等の撮影条件が設定され、図示しないシャッターボタンが半押しにされると、プリ撮影モードに入る。
プリ撮影モードでは、撮影制御部１０７によりＡＦモータ１０２が制御され、任意の異なるレンズ位置で複数枚の画像信号が取得されるよう、撮像部２の制御が行われる。これにより、被写体が任意の異なるレンズ位置で撮影され、それらのアナログ信号の入力画像信号が撮像部２を介してＡ／Ｄ変換部１０５に出力される。これらアナログ信号の入力画像信号は、Ａ／Ｄ変換部１０５においてデジタル信号に変換され、その後、バッファ１０６に一時的に格納される。バッファ１０６に格納された入力画像信号は、撮影制御部１０７により読み出され、距離情報取得部１１０に出力される。

次に、ユーザにより、外部Ｉ／Ｆ部１１５を介して図示しないシャッターボタンが全押しされると、本撮影が行われる。本撮影は、プリ撮影モードにおいて、撮影制御部１０７によって算出された合焦条件および露光条件に基づいて行われる。なお、これらの撮影情報は、撮影制御部１０７から制御部１１４に出力される。

本撮影において取得された入力画像信号は、撮像部２、Ａ／Ｄ変換部１０５、バッファ１０６を介して信号処理部１０８に供給される。信号処理部１０８では、公知の補間処理、ホワイトバランス処理などが入力画像信号に施され、各画素のＲＧＢの三板状態の入力画像信号が生成される。生成された三板状態の入力画像信号は、特異領域判定部１０９および補間部１１１に出力される。

他方、距離情報取得部１１０では、プリ撮影モードにおいて取得された複数枚の画像信号に基づいて被写体までの距離情報が画素毎に取得され、取得された距離情報が特異領域判定部１０９および補間部１１１に出力される。

特異領域判定部１０９では、距離情報取得部１１０により取得された距離情報に基づいて、注目されている領域の距離情報と局部領域の距離情報との差分が算出され、この差分が所定の閾値と比較された結果、差分が所定の閾値より大きい場合には、注目されている領域が特異領域であると判定され、この判定結果が、補間部１１１に出力される。補間部１１１では、特異領域の周辺領域から補間画素が抽出され、特異領域判定部１０９によって特異領域であると判定された領域に対し、補間画素を用いた補間処理が施される。こうして補間処理が施された入力画像信号は、圧縮部１１２に出力される。

なお、上述した実施形態では、画像処理装置１としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、各センサからの出力信号に基づいて別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置１は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の故障診断装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

以下、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理方法の処理手順について図を参照して説明する。
図６は、第１の実施形態のソフトウェア処理の動作フローを示す。まず、本撮影で取得した画像のヘッダ情報が入力され（図６のステップＳＡ１）、画像信号が入力される（ステップＳＡ２）。続いて、この入力画像信号に対して所定の信号処理を施し、三板状態の入力画像信号を生成する（ステップＳＡ３）。次に、距離情報に基づいて、この入力画像信号の特定の領域が特異領域か否かを判定する（ステップＳＡ４）。ここで、距離情報については、プリ撮影モードで取得した複数枚の画像信号に基づいて既に算出されており、予めメモリ等になどに格納されていることとする。

次に、ステップＳＡ４において、特異領域であると判定された場合には、特異領域の周辺画素における距離情報をメモリから読み出し、特異領域の距離情報に近い距離情報をもつ周辺画素を補間画素とし、この補間画素を用いて、ステップＳＡ４において特異領域であると判定された領域を補間する（ステップＳＡ５）。一方、ステップＳＡ４において特異領域ではないと判定された領域に対しては、補間処理は行わない（ステップＳＡ５）。全ての特異領域に対する補間処理が終了した場合には本処理を終了し、特異領域の補間処理が終了していなければ、ステップＳＡ５に戻り、残りの特異領域の補間処理を実行する（ステップＳＡ６）。

以上説明してきたように、本発明では、プリ撮影モードで取得した複数枚の画像から、入力画像信号の各画素に対して被写体までの距離情報を算出し、該距離情報の近い画素を用いて、欠陥画素等の特異領域の補間処理を行うので、例えば一枚の画像信号中に、背景に写された建物と人物等のように複数の対象が含まれていた場合には、距離情報を元に同じ対象か否かを判定し、同じ対象の画素を用いて欠陥画素を補間することができる。これにより、欠陥画素の補間精度を向上させることができ、高品位な画像信号を提供することが可能となる。

なお、本実施形態においては、特異領域か否かを判定する場合に、注目画素と局所領域の各画素との距離情報の差分を算出し、この差分が所定の閾値よりも大きい場合には、注目画素が特異画素であると判定することとしていたが、これに限られない。例えば、注目画素の距離情報を、設定変更可能にされている閾値ｔと比較し、比較の結果に応じて、特異画素であるか否かを判定することとしてもよいし、複数の画素をまとめて特定の領域とし、この特定の領域の距離情報を、設定変更可能にされている閾値ｔ’と比較し、その比較の結果に応じて特異領域か否かを判定することとしてもよい。このような設定は、ユーザが任意に行えるものとする。

なお、本実施形態において、周辺領域の設定は、特異画素の領域を包含するように上下左右１画素分大きな矩形領域を周辺領域として設定としていたが、周辺領域の設定はこれに限られることではない。例えば、バイリニア補間を用いる場合には、特異領域よりも上下左右１画素分大きな矩形領域を設定することとしてもよいし、バイキュービック補間を用いる場合には、特異領域よりも上下左右２画素分大きな矩形領域を設定することとしてもよい。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置１について図を参照して説明する。
図７に示されるように、第２の実施形態に係る画像処理装置１は、輝度情報算出部（輝度情報算出手段）１２０および補間制御部（補間制御手段）１２１を更に備え、入力画像信号の各画素の輝度情報および距離情報を用いて、特異領域の補間処理を行うか否かを判定する点において上述した第１の実施形態に係る画像処理装置１と相違する。以下、本実施形態に係る画像処理装置１について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図７は、本実施形態に係る画像処理装置１の概略構成を示した図である。図７において、信号処理部１０８は輝度情報算出部１２０に接続している。輝度情報算出部１２０は補間制御部１２１に接続しており、補間制御部１２１は補間部１２２に接続している。これら各部は制御部１１４に接続されている。

上記輝度情報算出部１２０は、信号処理部１０８から取得した入力画像信号の輝度情報を算出する。輝度情報としては、例えばコントラスト情報等が挙げられる。

補間制御部１２１は、輝度情報算出部１２０から取得した入力画像信号の輝度情報に基づいて、特異領域の補間処理を行うか否かを判定し、この判定結果に応じた制御情報を出力する。例えば、補間制御部１２１は、輝度情報算出部１２０から取得した入力画像信号のコントラスト情報に基づいて、特異領域の補間処理を行うか否かを判定する。具体的には、補間制御部１２１は、輝度情報算出部１２０から取得した特異領域と周辺領域とのコントラスト情報の値が所定の閾値よりも小さい場合に、この特異領域の補間処理を行うと判定し、その旨の制御信号を補間部１２２に出力する。コントラスト情報の値が該所定の閾値よりも小さい場合は、その領域の輝度の差が小さく、補間処理による誤差の可能性が少ないためである。

一方、特異領域と周辺領域とのコントラスト値が所定の閾値以上であった場合には、補間処理を行わないと判定し、その旨の制御信号を補間部１２２に出力する。これは、コントラスト情報の値が所定の閾値以上である場合には、特異領域と周辺領域との輝度の差が大きく、補間処理に誤差が出る可能性があるためである。
補間部１２２は、補間制御部１２１から補間処理を行うとの情報を受信した場合に、その特異画素の補間処理を行う。

なお、本実施形態では、補間制御部１２１が補間処理を行うか否かを判定する場合に、コントラスト情報を用いたが、これに制限されない。例えばヒストグラム情報を用いて判定することとしてもよい。この場合、輝度情報算出部１２０によって入力画像信号のヒストグラムの分布が求められ、このヒストグラムの情報に基づいて補間制御部１２１が補間処理を行うか否かを判定する。特異領域周辺のヒストグラム分布が広い場合、その領域においては、輝度の差が大きく補間処理に誤差が出る可能性がある。そのため、補間制御部１２１は、補間処理を行わない旨の制御信号を補間部１２２に出力する。一方、ヒストグラム分布が小さい場合、その領域は輝度の差が小さい平坦部であり、補間処理による誤差の可能性が少ない。そのため、補間制御部１２１は、補間処理を行う旨の制御信号を補間部１２２に出力する。

なお、上記実施形態では、補間制御部１２１がコントラスト情報に基づいて補間処理を行うか否かを判定していたが、これに代えて、距離情報に基づいて補間処理を行うか否かを判定することとしてもよい。例えば、特異領域周辺の距離情報が無限遠とみなせる距離、例えば１０メートル以上の場合、その領域は被写体の輝度が平坦（輝度の差がほとんどない状態）である可能性が高いため補間処理を行うと判定し、その旨の制御信号を補間部１２２に出力する。一方、距離情報が近距離、例えば１０メートルより近い場合、その領域には被写体のテクスチャ等、比較的輝度の差がある情報が含まれている可能性があるため、補間処理を行わないと判定し、その旨の制御信号を補間部１２２に出力する。

なお、上記実施形態では、補間制御部１２１がコントラスト情報に基づいて補間処理を行うか否かを判定していたが、これに制限されない。例えば、コントラスト情報、ヒストグラム情報、および距離情報の全ての情報、または、これらの情報を組み合わせることによって、補間処理を行うか否かを判定することとしてもよい。この場合、判定に用いる情報によって、補間処理を行うか否かの判定結果が異なることが考えられる。その場合には、コントラスト情報、ヒストグラム情報、および距離情報に対し、判定に用いる情報の優先度を決めることとしても良いし、これらのうち、１つでも補間処理を行うと判定された場合に補間処理を行うこととしてもよいし、全ての情報において補間処理を行うと判定された場合に限って、補間処理を行うこととしてもよい。このような取り決めは設計者が適宜行えるものとする。

以上説明してきたように、本実施形態においては、入力画像信号の欠陥画素等の特異領域に対し、補間処理を行うか否かを個々に判定し、その判定結果に基づき補間処理の制御を行うので、誤差の少ない補間処理が可能となり、高品位な画像信号を提供することができる。

１０９ 特異領域判定部
１１０ 距離情報取得部
１１１ 補間部
１２０ 輝度情報算出部
１２１ 補間制御部
１２２ 補間部
２０１ 周辺領域設定部
２０２ 補間画素抽出部
２０３ 補間処理部
３００ 局所領域抽出部
３０１ 差分情報算出部
３０２ 比較判定部

Claims (9)

1. 入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する特異領域判定手段と、
   被写体までの距離情報を該画素毎に取得する距離情報取得手段と、
   該距離情報取得手段によって取得した該距離情報を用いて、該特異領域判定手段によって特異領域として判定された各画素を補間する補間手段と
   を備えることを特徴とする画像処理装置。
2. 前記特異領域判定手段は、前記距離情報取得手段によって取得された距離情報を用いて、前記入力画像信号の各画素が前記特異領域であるか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記補間手段は、
   前記特異領域の画素である特異画素の周辺領域を設定する周辺領域設定手段と、
   前記距離情報取得手段により取得された距離情報に基づいて、該周辺領域設定手段によって設定された周辺領域から、該特異画素の補間処理に用いる画素である補間画素を抽出する補間画素抽出手段と、
   該補間画素抽出手段により抽出された該補間画素を用いて、該特異画素の補間処理を行う補間処理手段と
   を備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記入力画像信号の輝度情報を算出する輝度情報算出手段と、
   前記入力画像信号の輝度情報および前記距離情報のうち少なくとも１つを用いて補間処理を行うか否かを判定し、該判定結果に応じて前記補間手段を制御する補間制御手段と
   を備えることを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記輝度情報算出手段により算出される前記輝度情報とは、コントラスト情報およびヒストグラム情報の少なくとも一つであり、
   前記輝度情報算出手段は、前記入力画像信号のコントラスト情報および前記入力画像信号のヒストグラム情報の少なくとも一つを算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記特異領域判定手段は、前記距離情報の所定の閾値を保有しており、前記入力画像信号の各画素の距離情報と該閾値とを比較することで、各画素が前記特異領域か否かを判定することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記特異領域判定手段は、
   前記入力画像信号の注目画素を中心とし、該注目画素の周辺の複数の画素である局所領域を抽出する局所領域抽出手段と、
   該注目画素における距離情報と局所領域の各画素における距離情報との差分情報を算出する差分情報算出手段と、
   前記差分情報と所定の閾値を比較し、各画素の距離情報が該閾値よりも下回る場合には、前記入力信号の各画素が特異領域であると判定する比較判定手段と
   を備えることを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
8. 入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する過程と、
   被写体までの距離情報を該画素毎に取得する過程と、
   該距離情報を取得する過程において取得した該距離情報を用いて、該特異領域か否かを判定する過程において特異領域として判定された各画素を補間する過程と
   を有することを特徴とする画像処理方法。
9. 入力画像信号の各画素に対し、欠陥を含む画素の領域である特異領域か否かを判定する処理と、
   被写体までの距離情報を該画素毎に取得する処理と、
   該距離情報を該画素毎に取得する処理において取得した該距離情報を用いて、該特異領域を判定する処理において特異領域として判定された各画素を補間する処理と
   をコンピュータに実行させるための画像処理プログラム。

Images