JP2011143100A - 画像処理装置、内視鏡システム、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】デモザイキング処理を切り替え可能な画像処理装置、内視鏡システム、プログラム及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、第１〜第３の色信号ＲＧＢで構成される画像を受けて、画像の各画素において、第１〜第３の色信号ＲＧＢのうちの欠落した色信号を補間処理する補間処理部と、補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部と、を含む。補間処理部は、第１の光波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行う。
【選択図】図５

Description

本発明は、画像処理装置、内視鏡システム、プログラム及び画像処理方法等に関する。

単板の撮像素子によりカラー画像を撮像する場合、ベイヤ配列のカラーフィルタを用いた撮像素子を使用することが一般的である。この単板の撮像素子により得られた画像に対しては、各画素にＲＧＢの色信号を生成するデモザイキング処理（例えば、特許文献１、２に開示された手法）を行うことが必要である。このデモザイキング処理では、画像のエッジ部分等に偽色が発生する場合がある。この偽色を低減する手法として、例えば色相関を利用した手法（例えば、特許文献２に開示された手法）がある。

特開平８−２３７６７２号公報 特開２００９−４４５９４号公報 特開２００６−６８１１３号公報

しかしながら、あらゆる撮像画像に対して色相関を利用したデモザイキング処理を行うと、処理後の画像に不要なアーティファクトを生じてしまう場合がある。例えば内視鏡では、ＧとＢの狭帯域光を照射して撮像する手法（例えば、特許文献３に開示された手法）がある。この手法では、ＧとＢの狭帯域光で異なる血管像が得られるため、撮像画像の色相関が小さい。そのため、色相関を利用したデモザイキング処理を行うと、不要なアーティファクトを生じてしまう可能性がある。

本発明の幾つかの態様によれば、デモザイキング処理を切り替え可能な画像処理装置、内視鏡システム、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、前記補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部と、を含み、前記補間処理部は、第１の光波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行う画像処理装置に関係する。

本発明の一態様によれば、第１の光波長帯域における情報を有する第１の画像に対してスペースバリアントな補間処理が行われ、第２の光波長帯域における情報を有する第２の画像に対してスペースインバリアントな補間処理が行われる。これにより、画像に応じて補間処理を切り替え、画像に応じた適切な補間処理を行うことができる。

また、本発明の他の態様は、生体内の被写体に対し、白色光及び特定の波長帯域の光を照射する光源部と、第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、前記補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部と、前記画像出力部からの前記出力画像を表示する表示部と、を含み、前記補間処理部は、前記白色光の波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、前記特定の波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行う内視鏡システムに関係する。

また、本発明の他の態様は、第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、前記補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部として、コンピュータを機能させ、前記補間処理部は、第１の光波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行うプログラムに関係する。

また、本発明の他の態様は、第１〜第３の色信号で構成される画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する場合に、第１の光波長帯域における情報を有する第１の画像に対しては、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対しては、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行い、補間処理後の画像に基づいて出力画像を出力する画像処理方法に関係する。

図１（Ａ）、図１（Ｂ）は、単板撮像素子のカラーフィルタの配置構成例。 特殊光画像に対する色相関を利用したデモザイキング処理の説明図。 白色光画像に対するデモザイキング処理の説明図。 特殊光画像に対するデモザイキング処理の説明図。 本実施形態の構成例。 本実施形態の白色光画像に対する動作説明図。 本実施形態の特殊光画像に対する動作説明図。 内視鏡システムの構成例。 回転フィルタの構成例。 白色光を透過する色フィルタの分光特性例。 狭帯域光を透過する色フィルタの分光特性例。 画像処理部の構成例。 補間処理部の構成例。 Ｇ補間色差算出部の構成例。 図１５（Ａ）〜図１５（Ｃ）は、Ｇ信号の補間画素値の説明図。 図１６（Ａ）〜図１６（Ｄ）は、色差類似度の説明図。 Ｇ変動量算出部の説明図。 同時化補間処理部の構成例。 第１、第２のローパスフィルタ処理の説明図。 コンピュータシステムのシステム構成例。 コンピュータシステムの本体部の構成例。 デモザイキング処理のフローチャート。 Ｇ補間色差算出処理のフローチャート。 同時化補間処理のフローチャート。 Ｇ補間色差算出部の変形例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
まず本実施形態の概要について説明する。本実施形態は、デモザイキング処理によるアーティファクト（実際には無い模様）を抑止するために、画像によってデモザイキング処理を切り替える。この本実施形態の手法について、図１（Ａ）〜図４を用いて説明する。

図１（Ａ）、図１（Ｂ）には、単板撮像素子のカラーフィルタの配置構成例を示す。この配置構成例はベイヤ配列のカラーフィルタであり、各画素に１色の原色フィルタがモザイク状に配置される。すなわち、２×２画素の領域の対角位置に２つのＧフィルタが配置され、残りの位置にＲフィルタとＢフィルタが配置される。そして、その２×２画素の単位が、水平方向と垂直方向に繰り返し配列される。

この単板撮像素子により得られた色信号は、それぞれ空間的に異なる位置でのサンプリング信号となる。すなわち、Ｇ信号とＲ信号、Ｇ信号とＢ信号では異なるサンプリング密度を持つ色信号となる。カラー画像を再構成するには、この１画素当たり１つの色信号を持つ画像から１画素当たり３つの色信号を生成するデモザイキング処理が必要である。

このデモザイキング処理では、色信号のサンプリング密度と位相の違いにより、高周波成分を含むエッジ領域で偽色が発生するという課題がある。そして、この偽色の発生量の低減を図ると、解像度の維持が困難となるという課題がある。

例えば、上述の特許文献１に開示された手法では、他の色信号を考慮せず色信号毎に補間処理を行う。この手法では、各画素での補間処理の周波数特性を合わせるために、３つの信号を生成する補間位置を本来のサンプリング位置からずらしている。

しかしながら、この手法では、撮像素子のナイキスト周波数の半分より高い周波数帯域の構造領域において、各色信号の補間処理の周波数特性の違いにより偽色を生じてしまう。そして、この偽色を抑制するためには、撮像素子の結像画像の周波数帯域を光学ローパスフィルタでナイキスト周波数の半分より低い周波数に制限する必要がある。すなわち、偽色の抑制により、解像度が劣化してしまう。

この課題を改善する手法として、例えば、上述の特許文献２に開示された手法がある。この手法では、色相関（色信号間の相関）を利用したデモザイキング処理を行う。具体的には、Ｇ信号が欠落した画素でのＧ信号のエッジ方向を色差周辺類似度に基づき推定し、その推定されたエッジ方向に応じた補間処理を行う（適応方向判別補間）。

さて、上述の特許文献３には、内視鏡システムにおいて、白色光画像（通常光画像）と特殊光画像を用いて診断を行う手法が開示されている。白色光画像を用いた診断では、体腔内の組織に対して白色光（通常光、ＲＧＢ３原色）を照射し、それらの反射光画像から白色光画像を取得する。一方、特殊光画像を用いた診断（ＮＢＩ）では、２種類の狭帯域光Ｇ２、Ｂ２を順次照射し、それらの反射光画像から特殊光画像を取得する。

この狭帯域光Ｇ２、Ｂ２は、白色光のＧ、Ｂ成分とは波長帯域の異なる光である。そして、血管のヘモグロビンの吸収特性と、波長による生体への深さ方向の減衰量の違いから、狭帯域光Ｇ２とＢ２とで異なる生体画像が得られる。狭帯域光Ｂ２では、表層の毛細血管と表層の粘膜構造の画像が得られ、狭帯域光Ｇ２では、深層のより太い血管の画像が得られる。

ここで、この内視鏡システムで得られる画像に対して、上述の色相関を利用したデモザイキング処理を適用したと仮定する。そうすると、白色光画像では、画像に色相関があるため、高解像のデモザイキング処理が可能である。一方、特殊光画像では、画像に色相関が非常に小さいため、処理後の画像にアーティファクトを生ずる可能性がある。この点について、図２を用いて説明する。

図２のＡ１は、狭帯域光Ｇ２による血管像を示す。Ａ２に示すように、この血管像は、ベイヤ配列の撮像素子によりＧ信号として取得される。Ａ３に示す網掛けの画素は、Ｇ信号が欠落した画素である。一方、Ａ４には、狭帯域光Ｂ２による血管像を示す。Ａ５に示すように、この血管像はベイヤ配列の撮像素子によりＢ信号として取得される。

例えば、Ａ６に示すＧ信号の欠落画素では、血管（エッジ）が縦方向に走っており、Ａ７に示すＧ信号の欠落画素では、血管が横方向に走っている。このとき、Ａ８に示すように、血管が縦方向に走る画素では、縦方向の周辺画素のＧ信号を用いて補間処理が行われる。また、Ａ９に示すように、血管が横方向に走る画素では、横方向の周辺画素のＧ信号を用いて補間処理が行われる。そして、この補間後のＧ信号を用いて、Ｂ信号の補間処理が行われる。

このようなエッジ方向を考慮した補間処理では、補間処理後のＧ信号に含まれる高周波成分が、Ｂ信号とＲ信号に付加されることとなる。また、エッジ方向の誤判定が生じた場合には、その誤判定の影響がＢ信号とＲ信号に付加されることとなる。そのため、Ａ１０に示すように、付加された成分がアーティファクトとして埋め込まれ、画質低下を招いてしまう。

この課題を解決するために、本実施形態では、画像に応じてデモザイキング処理を切り替える。具体的には、図３に示すように、白色光画像に対して色相関を利用したデモザイキング処理を行う。すなわち、エッジ方向を考慮したスペースバリアントな補間処理を行う。これにより、色信号間に相関（色相関。例えば、形状的な相関）のある白色光画像において、偽色の発生が少なく解像度の十分な画像を取得できる。

一方、図４に示すように、特殊光画像に対しては、色相関を利用しないデモザイキング処理を行う。すなわち、エッジ方向を考慮しないスペースインバリアントな補間処理を行う。例えば、図４のＢ１、Ｂ２に示すように、どの欠落画素においても同じ補間手法を用いて補間を行う。これにより、エッジ判定による高周波成分の付加や、エッジ方向の誤判定の影響を無くし、デモザイキング処理によるアーティファクトの発生を抑止できる。

２．本実施形態の構成例
図５に、上述のようなデモザイキング処理の切り替えができる本実施形態の構成例を示す。この構成例は、補間画素値算出部１０、色差算出部２０、色差類似度算出部３０、色差出力部４０、同時化補間処理部５０を含む。なお、以下では、内視鏡システムにより得られた白色光画像と特殊光画像のデモザイキング処理を例に説明する。但し、本実施形態は、他の撮像装置により得られた色相関の大きい画像と、小さい画像のデモザイキング処理にも適用できる。

補間画素値算出部１０には、撮像により得られたモザイク画像（広義には画像）が入力される。このモザイク画像の各画素には、ＲＧＢいずれか１つの色信号の画素値が存在する。補間画素値算出部１０は、Ｇ信号が欠落した画素を補間対象画素として、その補間対象画素における補間画素値を求める。具体的には、図１３等で後述するように、補間画素値算出部１０は、縦補間により縦補間画素値Ｇｖを算出し、横補間により横補間画素値Ｇｈを算出し、４画素平均により４画素平均画素値Ｇａを算出する。

色差算出部２０は、Ｘ信号（Ｒ信号、またはＢ信号）と補間画素値との差分値である色差を求める。すなわち、色差算出部２０は、縦補間色差Ｘ−Ｇｖ、横補間色差Ｘ−Ｇｈ、４画素平均色差Ｘ−Ｇａを求める。

色差類似度算出部３０は、補間対象画素の色差と、周辺の補間対象画素の色差の差分値に基づいて色差類似度を算出する。具体的には、色差類似度算出部３０は、縦補間色差Ｘ−Ｇｖから縦色差類似度Ｓｖを求め、横補間色差Ｘ−Ｇｈから横色差類似度Ｓｈを求め、４画素平均色差Ｘ−Ｇａから４画素平均色差類似度Ｓａを求める。この色差類似度Ｓｖ、Ｓｈは、それぞれ縦方向、横方向のエッジに対応し、色差類似度Ｓａは、斜め方向のエッジと、エッジのない平坦部に対応する。

色差出力部４０は、色差Ｘ−Ｇｖ、Ｘ−Ｇｈ、Ｘ−Ｇａのいずれかを選択し、選択した色差を補間対象画素における出力色差Ｘ−Ｇ’として出力する。また、色差出力部４０は、出力色差Ｘ−Ｇ’とＸ信号に基づいて補間対象画素におけるＧ信号を求める。そして、色差出力部４０は、モザイク画像の元のＧ信号と合わせて、全画素のＧ信号の出力画素値Ｇ”を出力する。色差出力部４０には、図示しない制御部等から照明光設定情報Ｌ（照明光判定情報）が入力される。そして、後述するように、色差出力部４０は、照明光設定情報Ｌに応じて処理を変更する。

同時化補間処理部５０は、同時化補間処理を行う。すなわち、同時化補間処理部５０は、出力色差Ｘ−Ｇ’と出力画素値Ｇ”に基づいて、全画素におけるＲＧＢの画素値ＲＱ、ＧＱ、ＢＱを出力する。

図６、図７を用いて、本実施形態の動作について説明する。図６には、白色光画像を補間処理する場合の動作例を示す。なお、図６の色差出力部４０に示すスイッチは、色差出力部４０が色差を選択する動作を模式的に図示したものである。図６に示すように、本実施形態は、白色光画像に対してスペースバリアントな補間処理を行う。すなわち、本実施形態は、画素位置に応じて異なる補間処理を行う。具体的には、色差出力部４０には、白色光に対応する照明光設定情報Ｌ（例えばＬ＝１）が入力される。このとき、色差出力部４０は、色差類似度Ｓｖ、Ｓｈ、Ｓａに基づいて色差を選択する。すなわち、色差出力部４０は、Ｇ信号の補間対象画素でのエッジが縦方向と判定した場合には色差Ｘ−Ｇｖを選択し、横方向と判定した場合には色差Ｘ−Ｇｈを選択し、斜め方向または平坦部と判定した場合には色差Ｘ−Ｇａを選択する。

図７には、特殊光画像を補間処理する場合の動作例を示す。なお、図７の色差出力部４０に示す破線は、色差出力部４０が固定の色差を出力する動作を模式的に図示したものである。図７に示すように、本実施形態は、特殊光画像に対してスペースインバリアントな補間処理を行う。すなわち、本実施形態は、画素位置に依らない補間処理を行う。具体的には、色差出力部４０には、特殊光に対応する照明光設定情報Ｌ（例えばＬ＝０）が入力される。このとき、色差出力部４０は、４画素平均色差Ｘ−Ｓａ（特定の色差）を出力色差Ｘ−Ｇ’として出力する。

３．内視鏡システム
上述の本実施形態の画像処理装置を内視鏡システムに適用した場合、生体への照射光に応じて適切なデモザイキング処理を行うことができる。図８に、本実施形態の画像処理装置を適用した内視鏡システムの構成例を示す。この構成例は、光源部１００、挿入部２００（スコープ）、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００（外部インターフェース部）を含む。

光源部１００は、生体に照射するための白色光と特殊光を発生する。具体的には、光源部１００は、白色光源１０１と、複数の分光透過率を持った回転色フィルタ１０２と、回転色フィルタ１０２を駆動する回転駆動部１０３と、回転色フィルタ１０２を透過した光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４を含む。

図９に示すように、回転色フィルタ１０２は、例えば白色光の分光透過率を示す色フィルタ８０１と、狭帯域光（特殊光）の分光透過率を示す色フィルタ８０２と、回転色フィルタ１０２を回転させるモータ８０３から構成される。

図１０に示すように、色フィルタ８０１は、例えば３８０ｎｍ〜６５０ｎｍの波長帯域の光を透過する分光特性を有する。また、図１１に示すように、色フィルタ８０２の分光特性は、例えば３９０〜４４５ｎｍ（Ｂ２）と５３０〜５５０ｎｍ（Ｇ２）の波長帯域の光を透過する透過率特性を有する。

回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０４の撮像期間に同期して、回転色フィルタ１０２を所定回転数で回転させる。例えば、所定回転数は、撮像素子２０４の２撮像期間につき１回転となる回転数である。

挿入部２００は、例えば体腔への挿入を可能にするために、細長くかつ湾曲可能に形成されている。挿入部２００は、ライトガイドファイバ２０１、照明レンズ２０２、対物レンズ２０３、撮像素子２０４を含む。

ライトガイドファイバ２０１は、光源部１００の集光レンズ１０４で集光された光を、挿入部２００の先端に導く。照明レンズ２０２は、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて、観察対象（観察領域、被写体）に照射する。対物レンズ２０３は、観察対象からの反射光を集光し、撮像素子の受光面に観察対象を結像させる。撮像素子２０４は、集光された反射光を検出し、結像された観察対象を撮像する。例えば、撮像素子２０４は、図１（Ａ）で上述したベイヤ配列の原色単板撮像素子である。

制御装置３００は、内視鏡システムの各構成要素の制御や、撮像画像の画像処理、表示部４００への表示画像の出力等を行う。制御装置３００は、画像処理部３０１（画像処理装置）、制御部３０２、Ａ／Ｄ変換部２０５（Analog-to-Digital Converter）を含む。

Ａ／Ｄ変換部２０５は、撮像素子２０４の撮像（光電変換）により得られたアナログ信号を、デジタル信号に変換する。画像処理部３０１は、Ａ／Ｄ変換部２０５からの画像データを画像処理する。例えば、画像処理部３０１は、デモザイキング処理や、エッジ強調処理、色彩強調処理等を行う。制御部３０２は、画像処理部３０１や光源部１００の制御を行う。また、制御部３０２は、外部Ｉ／Ｆ部５００からのユーザー入力情報を受けて、撮影モードの切り替え制御等を行う。

表示部４００は、例えばＣＲＴや液晶モニタ等の動画表示可能な表示装置で構成され、画像処理部３０１により画像処理された撮像画像を表示する。内視鏡システムのユーザーは、表示部４００の表示を観察して観察部位の診断を行う。

外部Ｉ／Ｆ部５００は、内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。例えば、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。

４．画像処理部
図１２に、光源に応じて補間処理を切り替える画像処理部の詳細な構成例を示す。この構成例は、プレ処理部７０１、補間処理部７０２、画像出力部７０７を含む。

プレ処理部７０１は、Ａ／Ｄ変換部２０５からの画像データのプレ処理を行い、プレ処理後の画像データを補間処理部７０２に出力する。具体的には、Ａ／Ｄ変換部２０５は、単板撮像素子２０４からの原色ベイヤ配列のアナログ信号出力を、例えば１２ビットのデジタルデータに変換する。プレ処理部７０１は、そのデジタルデータのＲ信号、Ｇ信号、Ｂ信号に対して、それぞれＯＢクランプ処理やホワイトバランス処理、ノイズ低減処理を行う。また、プレ処理部７０１は、特殊光撮影時（２チャンネルの信号の場合）には、チャンネル間信号のバランス補正処理を行う。

補間処理部７０２は、プレ処理部７０１からのベイヤ配列のデジタル画像を受けて、そのデジタル画像の補間処理を行う。補間処理部７０２には、制御部３０２からの照明光設定情報（照明光判定情報）が入力される。補間処理部７０２は、その照明光設定情報に基づいて、空間的に同一の画素位置に対して３つの色信号を有するカラー画像を生成する。補間処理部７０２の詳細については、図１４等で後述する。

画像出力部７０７は、補間処理部７０２からのカラー画像を白色光画像と特殊光画像に分離し、分離後の画像を表示部４００に出力する。具体的には、画像出力部７０７は、選択部７０３、第１画像生成部７０４（第１画像取得部）、第２画像生成部７０５（第２画像取得部）、出力画像生成部７０６を含む。

選択部７０３は、制御部３０２からの照明光設定情報に基づいて、補間処理部７０２からのカラー画像を分離する。選択部７０３は、照明光設定情報が白色光を示す場合には、カラー画像を第１画像生成部７０４に出力し、照明光設定情報が特殊光を示す場合に、カラー画像を第２画像生成部７０５に出力する。

第１画像生成部７０４は、第１の画像として白色光画像を生成する。例えば、第１画像生成部７０４は、入力されたカラー画像を表示部４００の表示装置の色域に色変換処理する。例えば、表示装置はＣＲＴや液晶モニタで構成され、表示装置の色域はｓＲＧＢの色空間である。また、第１画像生成部７０４は、所定の階調変換特性（表示部４００の階調特性に応じた階調変換特性）に基づく階調変換処理や、拡大縮小回転処理、構造強調処理等を行う。そして、第１画像生成部７０４は、これらの処理によって表示部４００へ出力可能な白色光画像を生成し、生成した画像を出力画像生成部７０６に出力する。

第２画像生成部７０５は、第２の画像として特殊光画像を生成する。例えば、第２画像生成部７０５は、入力されたカラー画像を所定の擬似カラーに変換処理する。ここで、上述の図１１の分光特性により、第２画像生成部７０５に入力されるカラー画像は、Ｇ信号とＢ信号にのみ画像情報が含まれ、Ｒ信号はノイズ成分となる。したがって、擬似カラーへの変換処理は、２つの色信号から３つの色信号への変換処理となる。例えば、第２画像生成部７０５は、入力画像のＧ信号を出力画像のＲ信号とし、入力画像のＢ信号を出力画像のＧ信号、Ｂ信号とする。また、第２画像生成部７０５は、所定の階調変換特性に基づく階調変換処理や、拡大縮小回転処理、構造強調処理等を行う。そして、第２画像生成部７０５は、これらの処理によって表示部４００へ出力可能な特殊光画像を生成し、生成した画像を出力画像生成部７０６に出力する。

出力画像生成部７０６は、第１画像生成部７０４からの白色光画像と第２画像生成部７０５からの特殊光画像に基づいて最終的な出力画像を生成し、生成した出力画像を表示部４００に出力する。例えば、出力画像生成部７０６は、特殊光画像を用いて病変部検出（注目領域検出）を行なう。具体的には、出力画像生成部７０６は、特殊光画像のＲＧＢ成分から色相（Ｈ）成分を求め、所定色相（例えばＨ＝５〜３０）の領域を抽出する。そして、出力画像生成部７０６は、その抽出領域どうしが隣接する場合に、隣接する領域をグルーピングし、グルーピング後の領域面積が所定の閾値以上であるか否かの判定を行なう。出力画像生成部７０６は、領域面積が所定の閾値以上と判定された場合には、グルーピング領域を囲む矩形あるいは円形領域を病変部領域として設定する。

また、出力画像生成部７０６は、白色光画像と特殊光画像の動き補償を行う。すなわち、図８で上述のように、回転フィルタ１０２を用いた場合、白色光と特殊光で撮像タイミングが異なっている。そのため、出力画像生成部７０６は、この撮像タイミングの違いを動き補償により補償する。例えば、出力画像生成部７０６は、白色光画像のＢ信号と特殊光画像のＢ信号を用いてグローバルな動きベクトルを算出する。例えば、画像を格子状のブロックに切り分け、パターンマッチング等により各ブロックの動きベクトルを求める。そして、出力画像生成部７０６は、求めた動きベクトルを用いて特殊光画像を補正する。出力画像生成部７０６は、補正後の特殊光画像の病変部領域に対応する白色光画像の領域に対して、ターゲット色の付加や、特殊光画像の病変部領域のオーバーラップあるいは上書きを行って、最終出力画像を生成する。

５．補間処理部
図１３に、上述の補間処理部７０２の詳細な構成例を示す。この構成例は、Ｇ補間色差算出部１００１（第１色信号補間色差算出部）、同時化補間処理部１００２を含む。

Ｇ補間色差算出部１００１は、Ｇ欠落画素（第１色信号欠落画素、補間対象画素）における補間Ｇ信号（補間第１色信号、補間画素値）の算出と、Ｇ欠落画素における色差の算出を行う。ここで、Ｇ欠落画素は、例えばベイヤ配列のモザイク画像において、Ｇ信号が欠落し、Ｒ信号またはＢ信号が存在する画素である。具体的には、Ｇ補間色差算出部１００１は、Ｇ欠落画素の周辺画素のＧ信号に基づいて、補間Ｇ信号を生成し、全ての画素位置がＧ信号で埋められたＧ信号画像を出力する。また、Ｇ補間色差算出部１００１は、Ｒ信号の画素位置における色差信号Ｒ−Ｇと、Ｂ信号の画素位置における色差信号Ｂ−Ｇを生成し、Ｇ欠落画素に色差信号が存在する色差信号画像を出力する。

同時化補間処理部１００２は、Ｇ補間色差算出部１００１からのＧ信号画像と色差信号画像に基づいて、同時化補間処理を行う。すなわち、同時化補間処理部１００２は、空間的に同一位置の各画素に対して、Ｇ信号と色差信号Ｒ−Ｇ、Ｂ−Ｇの３種類の信号値を補間処理により求める。そして、同時化補間処理部１００２は、色差信号とＧ信号を加算することで、Ｇ信号と空間的に同一位置の各画素におけるＲ信号とＢ信号を生成し、ＲＧＢのカラー画像を生成する。

Ｇ補間色差算出部１００１と同時化補間処理部１００２には、制御部３０２からの制御信号が入力される。例えば、Ｇ補間色差算出部１００１と同時化補間処理部１００２は、制御部３０２からの照明光設定情報に応じて補間処理の切り替えを行う。

６．Ｇ補間色差算出部
図１４に、上述のＧ補間色差算出部１００１の詳細な構成例を示す。この構成例は、メモリ１２０１、１２０２、１２１０、１２１１、１２１２、１２１７、縦補間Ｇ算出部１２０３、横補間Ｇ算出部１２０４、４画素平均Ｇ算出部１２０５、ローパスフィルタ１２０６、縦色差算出部１２０７（減算器）、横色差算出部１２０８（減算器）、４画素平均色差算出部１２０９（減算器）、縦色差類似度算出部１２１３、横色差類似度算出部１２１４、４画素平均類似度算出部１２１５、Ｇ変動量算出部１２１６、重み乗算部１２１８（乗算器）、判定部１２１９、色差選択部１２２０、Ｇ信号出力部１２２１、Ｘ信号選択部１２２２を含む。

このＧ補間色差算出部１００１は、白色光の場合には、判定部１２１９の判定結果に基づいて色差を選択することで、スペースバリアントな補間処理を行う。また、ローパスフィルタ１２０６により処理されたＸ信号を用いることで、色相関を利用した補間処理を行う。一方、特殊光の場合には、特定の色差である４画素平均色差Ｘ−Ｇａを出力することで、スペースインバリアントな補間処理を行う。また、ローパスフィルタ１２０６により処理されない元のＸ信号を用いることで、色相関を利用しない補間処理を行う。

具体的には、メモリ１２０１は、Ｇ補間色差算出部１００１に入力されたベイヤ配列のデジタル画像のＸ信号（Ｒ信号とＢ信号）を格納（記憶、保存）する。メモリ１２０２は、Ｇ補間色差算出部１００１に入力されたベイヤ配列のデジタル画像のＧ信号を格納する。

縦補間Ｇ算出部１２０３は、メモリ１２０２に格納されたＧ信号を受けて、Ｇ欠落画素を縦補間し、補間後のＧ信号であるＧｖ信号（縦補間画素値）を出力する。具体的には、図１５（Ａ）に示すように、縦補間Ｇ算出部１２０３は、Ｇ欠落画素（ｋ，ｌ）の上下方向の周辺Ｇ信号であるＧ（ｋ，ｌ−１）、Ｇ（ｋ，ｌ＋１）を用いて補間処理する。例えば、Ｇｖ（ｋ，ｌ）＝｛Ｇ（ｋ，ｌ−１）＋Ｇ（ｋ，ｌ＋１）｝／２を出力する。ここで、画素位置（ｋ，ｌ）のｋは、画像処理における水平方向の座標であり、ｌは、画像処理における垂直方向の座標である。また、ｋ，ｌは自然数である。

横補間Ｇ算出部１２０４は、メモリ１２０２に格納されたＧ信号を受けて、Ｇ欠落画素を横補間し、補間後のＧ信号であるＧｈ信号（横補間画素値）を出力する。具体的には、図１５（Ｂ）に示すように、横補間Ｇ算出部１２０４は、Ｇ欠落画素（ｋ，ｌ）の左右方向の周辺Ｇ信号であるＧ（ｋ−１，ｌ）、Ｇ（ｋ＋１，ｌ）を用いて補間処理する。例えば、Ｇｈ（ｋ，ｌ）＝｛Ｇ（ｋ−１，ｌ）＋Ｇ（ｋ＋１，ｌ）｝／２を出力する。

４画素平均Ｇ算出部１２０５は、メモリ１２０２に格納されたＧ信号を受けて、Ｇ欠落画素を４画素平均により補間し、補間後のＧ信号であるＧａ信号（４画素平均画素値）を出力する。具体的には、図１５（Ｃ）に示すように、Ｇ欠落画素（ｋ，ｌ）の上下左右方向の周辺Ｇ信号であるＧ（ｋ，ｌ−１）、Ｇ（ｋ，ｌ＋１）、Ｇ（ｋ−１，ｌ）、Ｇ（ｋ＋１，ｌ）を用いて補間処理する。例えば、Ｇｈ（ｋ，ｌ）＝｛Ｇ（ｋ，ｌ−１）＋Ｇ（ｋ，ｌ＋１）＋Ｇ（ｋ−１，ｌ）＋Ｇ（ｋ＋１，ｌ）｝／４を出力する。

縦色差算出部１２０７は、縦補間Ｇ算出部１２０３からのＧｖ信号とメモリ１２０１に格納されるＸ信号とに基づいて、Ｘ−Ｇｖ信号（縦補間色差）を出力する。具体的には、図１５（Ａ）に示すように、Ｇｖ（ｋ，ｌ）と同一画素位置のＸ（ｋ，ｌ）を減算し、Ｘ（ｋ，ｌ）−Ｇｖ（ｋ，ｌ）を出力する。

横色差算出部１２０８は、横補間Ｇ算出部１２０４からのＧｈ信号とメモリ１２０１に格納されるＸ信号とに基づいて、Ｘ−Ｇｈ信号（横補間色差）を出力する。具体的には、図１５（Ｂ）に示すように、Ｇｈ（ｋ，ｌ）と同一画素位置のＸ（ｋ，ｌ）を減算し、Ｘ（ｋ，ｌ）−Ｇｈ（ｋ，ｌ）を出力する。

ローパスフィルタ１２０６は、メモリ１２０１に格納されたＸ信号を受けて、そのＸ信号のローパスフィルタ処理を行い、ローパスフィルタ処理後のＸ信号であるＸＬ信号を出力する。具体的には、ローパスフィルタ１２０６は、Ｒ信号の周辺位置のＲ信号を用いてＲ信号の高周波成分をカットし、Ｂ信号の周辺位置のＢ信号を用いてＢ信号の高周波成分をカットする。例えば、ローパスフィルタ１２０６は、ナイキスト周波数の１／２の周波数をカットオフ周波数とするローパスフィルタ処理を行う。

Ｘ信号選択部１２２２は、制御部３０２からの照明光設定情報Ｌに基づいてＸ信号を選択する。具体的には、Ｘ信号選択部１２２２は、白色光光源を示すＬ＝１（第１の論理レベル）の場合には、ローパスフィルタ１２０６からのＸＬ信号を出力し、特殊光光源を示すＬ＝０（第２の論理レベル）の場合には、メモリ１２０１に格納されたＸ信号を出力する。

４画素平均色差算出部１２０９は、４画素平均Ｇ算出部１２０５からのＧａ信号とＸ信号選択部１２２２からのＸ信号とに基づいて、Ｘ−Ｇａ信号（４画素平均色差）を出力する。具体的には、図１５（Ｃ）に示すように、白色光の場合には、Ｇａ（ｋ，ｌ）と同一画素位置のＸＬ（ｋ，ｌ）を減算し、ＸＬ（ｋ，ｌ）−Ｇａ（ｋ，ｌ）を出力する。特殊光の場合には、Ｇａ（ｋ，ｌ）と同一画素位置のＸ（ｋ，ｌ）を減算し、Ｘ（ｋ，ｌ）−Ｇａ（ｋ，ｌ）を出力する。

Ｇ変動量算出部１２１６は、Ｇ信号の変動量に基づいて重みｗを算出する。具体的には、Ｇ変動量算出部１２１６は、Ｇ欠落画素の周辺の複数のＧ信号に基づいて、Ｇ欠落画素の周辺におけるＧ信号の変動量を求める。そして、図１７に示すように、Ｇ変動量算出部１２１６は、Ｇ信号の変動量を０〜１の範囲の重みｗに変換して出力する。この重みｗは、画像のＧ変動量が小さい平坦部ほど小さい値となる。

メモリ１２１０は、縦色差算出部１２０７からのＸ−Ｇｖ信号を格納する。メモリ１２１１は、横色差算出部１２０８からのＸ−Ｇｈ信号を格納する。メモリ１２１２は、４画素平均色差算出部１２０９からのＸＬ−Ｇａ信号またはＸ−Ｇａ信号を格納する。メモリ１２１７は、Ｇ変動量算出部１２１６からの重みｗを格納する。

縦色差類似度算出部１２１３は、メモリ１２１０に格納されたＸ−Ｇｖ信号に基づいて、Ｇ欠落画素における縦色差類似度Ｓｖを算出する。具体的には、図１６（Ａ）に示すように、縦色差類似度算出部１２１３は、画素位置（ｋ，ｌ）の周辺領域（ｋ＝−２〜２；ｌ＝−２〜２）の色差の上下方向の差分絶対値和により縦色差類似度Ｓｖ（ｋ，ｌ）を算出する。例えば、縦色差類似度算出部１２１３は、下式（１）によりＳｖ（ｋ，ｌ）を求める。なお、各絶対値に重み付けがされてもよい。
Ｓｖ（ｋ，ｌ）
＝｜｛Ｘ−Ｇｖ｝（ｋ−２、ｌ−２）−｛Ｘ−Ｇｖ｝（ｋ−２、ｌ）｜
＋｜｛Ｘ−Ｇｖ｝（ｋ−２、ｌ）−｛Ｘ−Ｇｖ｝（ｋ−２、ｌ＋２）｜
＋・・・
＋｜｛Ｘ−Ｇｖ｝（ｋ＋２、ｌ）−｛Ｘ−Ｇｖ｝（ｋ＋２、ｌ＋２）｜
・・・ （１）
ここで、｛Ｘ−Ｇｖ｝（ｋ、ｌ）は、Ｘ（ｋ、ｌ）−Ｇｖ（ｋ、ｌ）を意味し、以下｛Ｘ−Ｇｈ｝（ｋ、ｌ）、｛Ｘ−Ｇａ｝（ｋ、ｌ）等も同様である。

横色差類似度算出部１２１４は、メモリ１２１１に格納されたＸ−Ｇｈ信号に基づいて、Ｇ欠落画素における横色差類似度Ｓｈを算出する。具体的には、図１６（Ｂ）に示すように、横色差類似度算出部１２１４は、画素位置（ｋ，ｌ）の周辺領域（ｋ＝−２〜２；ｌ＝−２〜２）の色差の左右方向の差分絶対値和により横色差類似度Ｓｈ（ｋ，ｌ）を算出する。例えば、横色差類似度算出部１２１４は、下式（２）によりＳｈ（ｋ，ｌ）を求める。なお、各絶対値に重み付けがされてもよい。
Ｓｈ（ｋ，ｌ）
＝｜｛Ｘ−Ｇｈ｝（ｋ−２、ｌ−２）−｛Ｘ−Ｇｈ｝（ｋ、ｌ−２）｜
＋｜｛Ｘ−Ｇｈ｝（ｋ、ｌ−２）−｛Ｘ−Ｇｈ｝（ｋ＋２、ｌ−２）｜
＋・・・
＋｜｛Ｘ−Ｇｈ｝（ｋ、ｌ＋２）−｛Ｘ−Ｇｈ｝（ｋ＋２、ｌ＋２）｜
・・・ （２）

４画素平均類似度算出部１２１５は、メモリ１２１２に格納されたＸ−Ｇａ信号に基づいて、Ｇ欠落画素における４画素平均類似度Ｓａを算出する。具体的には、図１６（Ｃ）及び図１６（Ｄ）に示すように、４画素平均類似度算出部１２１５は、画素位置（ｋ，ｌ）の周辺領域（ｋ＝−２〜２；ｌ＝−２〜２）において、（ｋ，ｌ）の色差と周辺の色差との差分絶対値和により４画素平均類似度Ｓａ（ｋ，ｌ）を算出する。例えば、白色光の場合には、下式（３）によりＳａ（ｋ，ｌ）を求め、特殊光の場合には、下式（４）によりＳａ（ｋ，ｌ）を求める。なお、各絶対値に重み付けがされてもよい。
Ｓａ（ｋ，ｌ）
＝｛｜｛ＸＬ−Ｇａ｝（ｋ−２、ｌ−２）−｛ＸＬ−Ｇａ｝（ｋ、ｌ）｜
＋｜｛ＸＬ−Ｇａ｝（ｋ、ｌ−２）−｛ＸＬ−Ｇａ｝（ｋ、ｌ）｜
＋・・・
＋｜｛ＸＬ−Ｇａ｝（ｋ−２、ｌ）−｛ＸＬ−Ｇａ｝（ｋ、ｌ）｜｝
＋｛｜｛ＸＬ−Ｇａ｝（ｋ−１、ｌ−１）−｛ＸＬ−Ｇａ｝（ｋ＋１、ｌ＋１）｜
＋｜｛ＸＬ−Ｇａ｝（ｋ＋１、ｌ−１）−｛ＸＬ−Ｇａ｝（ｋ−１、ｌ＋１）｜｝
・・（３）
Ｓａ（ｋ，ｌ）
＝｛｜｛Ｘ−Ｇａ｝（ｋ−２、ｌ−２）−｛Ｘ−Ｇａ｝（ｋ、ｌ）｜
＋｜｛Ｘ−Ｇａ｝（ｋ、ｌ−２）−｛Ｘ−Ｇａ｝（ｋ、ｌ）｜
＋・・・
＋｜｛Ｘ−Ｇａ｝（ｋ−２、ｌ）−｛Ｘ−Ｇａ｝（ｋ、ｌ）｜｝
＋｛｜｛Ｘ−Ｇａ｝（ｋ−１、ｌ−１）−｛Ｘ−Ｇａ｝（ｋ＋１、ｌ＋１）｜
＋｜｛Ｘ−Ｇａ｝（ｋ＋１、ｌ−１）−｛Ｘ−Ｇａ｝（ｋ−１、ｌ＋１）｜｝
・・（４）

重み乗算部１２１８は、メモリ１２１７からの重みｗ（ｋ，ｌ）と４画素平均類似度算出部１２１５からの４画素平均類似度Ｓａ（ｋ，ｌ）を乗算し、重み付けされた４画素平均類似度ｗ（ｋ，ｌ）×Ｓａ（ｋ，ｌ）を出力する。

判定部１２１９は、制御部３０２からの照明光判定情報Ｌに応じて、色差選択部１２２０に対して色差種別情報を出力する。具体的には、Ｌ＝１（白色光）の場合には、判定部１２１９は、色差類似度Ｓｖ（ｋ，ｌ）とＳｈ（ｋ，ｌ）とｗ（ｋ，ｌ）×Ｓａ（ｋ，ｌ）の最小値を判定し、最小値の色差類似度に対応する色差の色差種別情報を出力する。一方、Ｌ＝０（特殊光）の場合には、判定部１２１９は、強制的に固定された特定の色差種別情報として、４画素平均色差の色差種別情報を出力する。

Ｌ＝１の場合に判定に用いられる色差類似度Ｓｖ、Ｓｈ、ｗＳａは、値が小さいほど色差類似度が高い。すなわち、縦方向のエッジがある画素ではＳｖが小さく、横方向のエッジがある画素ではＳｖが小さく、斜め方向にエッジがある画素または平坦部の画素ではＳａが小さい。そのため、最小の色差類似度を判定することでエッジ方向を判定できる。また、エッジが無い平坦部ほど重みｗは値が小さく、ｗＳａも小さい。そのため、平坦部ではｗＳａが最小値と判定されやすくなり、ノイズによるエッジの誤判定を抑止できる。

色差選択部１２２０は、判定部１２１９からの色差種別情報に対応する色差を、メモリ１２１０、１２１１、１２１２に格納されたＸ−Ｇｖ信号、Ｘ−Ｇｈ信号、Ｘ−Ｇａ信号から選択し、選択した色差を出力色差Ｘ−Ｇとして出力する。

Ｇ信号出力部１２２１は、色差選択部１２２０からの色差とメモリ１２０１からのＸ信号とを減算器により減算し、Ｇ欠落画素におけるＧ信号を算出する。また、Ｇ信号出力部１２２１は、メモリ１２０２からのＧ信号を出力する。このようにして、Ｇ信号出力部１２２１は、全画素におけるＧ信号を出力する。

上述のように、本実施形態は、制御部３０２からの照明光設定情報Ｌに応じて処理を切り替える。この切り替え動作と、各処理におけるＧ補間色差算出部１００１の出力色差について具体的に説明する。

白色光（Ｌ＝１）である場合、本実施形態は色相関利用モードに設定される。このモードでは、判定部１２１９は、色差類似度の最小値判定を行う。すなわち、本実施形態は、Ｒ信号とＧ信号との相関性あるいはＢ信号とＧ信号との相関性を利用した補間を行う。具体的には、Ｇ信号の欠落位置のＧ信号を、その相関の高い方向に沿って隣接するＧ信号を用いて補間し、補間後のＧ信号を用いて色差を算出する。

また、このモードでは、色差類似度ｗ（ｋ，ｌ）×Ｓａ（ｋ，ｌ）が選択された場合、ローパスフィルタ１２０６からのＸＬ信号を選択し、色差ＸＬ−Ｇａを求める。そのため、色差出力部１２２１は、色差ＸＬ−ＧａとＸ信号の差分Ｘ−（ＸＬ−Ｇａ）＝Ｇａ+（Ｘ−ＸＬ）＝Ｇａ+ΔＸを算出する。すなわち、４画素平均された低周波成分のＧａに対して、Ｘ信号の高周波成分であるΔＸを加算することになる。このようにして、色相関を利用したＧ信号が生成される。

なお、色差類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）が選択された場合には、色差出力部１２２１はＧ信号Ｇｖ、Ｇｈを出力する。これらのＧ信号に含まれるエッジの高周波成分は、同時化補間処理部１００２によりＲ、Ｂ信号に加算される。

一方、特殊光（Ｌ＝０）である場合、本実施形態は非色相関利用モードに設定される。このモードでは、判定部１２１９は、強制的にＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）を選択する。すなわち、本実施形態は、Ｒ信号とＧ信号との相関性あるいはＢ信号とＧ信号との相関性を利用しない補間を行う。具体的には、Ｇ信号の欠落位置のＧ信号を、その周辺の４つのＧ信号で補間（平均値）し、補間後のＧ信号を用いて色差を算出する。

また、このモードでは、メモリ１２０１からのＸ信号を選択し、色差Ｘ−Ｇａを求める。そのため、色差出力部１２２１は、色差Ｘ−ＧａとＸ信号の差分Ｘ−（Ｘ−Ｇａ）＝Ｇａを算出する。このようにして、Ｇ信号にはＸ信号の高周波成分が加算されず、色相関を利用しない４画素平均のＧ信号が生成される。

７．同時化補間処理部
図１８に、上述の同時化補間処理部１００２の詳細な構成例を示す。この構成例は、色差選別部１３０１（色差分離部）、メモリ１３０２、１３０３、１３０４、第１の補間算出部１３０８、第２の補間算出部１３０７、第３の補間算出部１３０５、第４の補間算出部１３０６、Ｒ信号算出部１３０９（加算器）、Ｂ信号算出部１３１０（加算器）、Ｇ信号選択部１３１１を含む。

この同時化補間処理部１００２は、白色光の場合には、広帯域の補間算出部１３０８で処理されたＧ信号を用いてＲ信号とＢ信号を算出することで、色相関を利用した補間処理を行う。一方、特殊光の場合には、低帯域の補間算出部１３０７で処理されたＧ信号を用いてＲ信号とＢ信号を算出することで、色相関を利用しない補間処理を行う。

具体的には、色差選別部１３０１は、Ｇ補間色差算出部１００１からのＸ−Ｇ信号をＲ−Ｇ信号とＢ−Ｇ信号に分離する。Ｒ−Ｇ信号の画像データは、ベイヤ配列のＲ信号の画素位置にＲ−Ｇ信号が存在する画像データとなる。Ｂ−Ｇ信号の画像データは、ベイヤ配列のＢ信号の画素位置にＢ−Ｇ信号が存在する画像データとなる。

メモリ１３０２は、色差選別部１３０１によって分離されたＲ−Ｇ信号を格納する。メモリ１３０３は、色差選別部１３０１によって分離されたＢ−Ｇ信号を格納する。メモリ１３０４は、Ｇ補間色差算出部１００１からのＧ信号を格納する。

補間算出部１３０８は、メモリ１３０４に格納されたＧ信号に対して、第１のローパスフィルタ特性の補間フィルタ処理を行い、補間フィルタ処理後のＧ信号ＧＨを出力する。具体的には、補間算出部１３０８は、処理対象画素位置（所定位置）の周辺領域（所定領域）のＧ信号に対して、第１のローパスフィルタ特性に対応するフィルタ係数（補間係数）を乗算して、その処理対象画素位置におけるＧ信号を生成する。この補間フィルタ処理では、全画素にＧ信号が生成される。

補間算出部１３０７は、メモリ１３０４に格納されたＧ信号に対して、第１のローパスフィルタ特性とは異なる第２のローパスフィルタ特性の補間フィルタ処理を行い、補間フィルタ処理後のＧ信号であるＧＬを出力する。具体的には、補間算出部１３０７は、処理対象画素位置（所定位置）の周辺領域（所定領域）のＧ信号に対して、第２のローパスフィルタ特性に対応するフィルタ係数を乗算して、その処理対象画素位置におけるＧ信号を生成する。この補間フィルタ処理では、全画素にＧ信号が生成される。

補間算出部１３０５は、メモリ１３０２に格納されたＲ−Ｇ信号に対して、第２のローパスフィルタ特性の補間フィルタ処理を行い、補間フィルタ処理後のＲ−Ｇ信号であるＲＬ−ＧＬを出力する。具体的には、補間算出部１３０５は、処理対象画素位置（所定位置）の周辺領域（所定領域）のＲ−Ｇ信号に対して、第２のローパスフィルタ特性に対応するフィルタ係数を乗算して、その処理対象画素位置におけるＲ−Ｇ信号を生成する。この補間フィルタ処理では、全画素にＲ−Ｇ信号が生成される。

補間算出部１３０６は、メモリ１３０３に格納されたＢ−Ｇ信号に対して、第２のローパスフィルタ特性の補間フィルタ処理を行い、補間フィルタ処理後のＢ−Ｇ信号であるＢＬ−ＧＬを出力する。具体的には、補間算出部１３０６は、処理対象画素位置（所定位置）の周辺領域（所定領域）のＢ−Ｇ信号に対して、第２のローパスフィルタ特性に対応するフィルタ係数を乗算して、その処理対象画素位置におけるＢ−Ｇ信号を生成する。この補間フィルタ処理では、全画素にＢ−Ｇ信号が生成される。

Ｇ信号選択部１３１１は、制御部３０２からの照明光設定情報ＬがＬ＝１（白色光）である場合には、補間算出部１３０８からのＧＨ信号を出力し、Ｌ＝０（特殊光）である場合には、補間算出部１３０７からのＧＬ信号を出力する。

Ｒ信号算出部１３０９は、補間算出部１３０５からのＲ−Ｇ信号とＧ信号選択部１３１１からのＧＨ信号（またはＧＬ信号）を加算し、加算後のＲ信号ＲＱを出力する。

Ｂ信号算出部１３１０は、補間算出部１３０６からのＢ−Ｇ信号とＧ信号選択部１３１１からのＧＨ信号（またはＧＬ信号）を加算し、加算後のＢ信号ＢＱを出力する。

上述のように、同時化補間処理部１００２は、色相関を利用した補間処理と色相関を利用しない補間処理を照明光に応じて切り替える。この切り替え動作について、具体的に説明する。

図１９のＢ１に示すように、補間算出部１３０８の第１のローパスフィルタ特性は、ナイキスト周波数ＮＦで減衰する周波数特性である。Ｂ２に示すように、補間算出部１３０５、１３０６、１３０７の第２のローパスフィルタ特性は、ナイキスト周波数の半分ＮＦ／２で減衰する周波数特性である。

白色光の場合には、Ｇ信号選択部１３１１は、補間算出部１３０８からの信号ＧＨを出力する。そのため、Ｒ信号算出部１３０９は、ナイキスト周波数の帯域を持った信号ＧＨとナイキスト周波数の半分の帯域を持った信号ＲＬ−ＧＬを加算すこととなる。これは、ナイキスト周波数の半分の帯域のＲ信号に対して、ナイキスト周波数の半分より高周波数の帯域のＧ信号（Ｇ信号のエッジ成分）を加算することと等価である。すなわち、色相関を利用したＲ信号の生成が行われる。Ｂ信号についても同様に色相関を利用したＢ信号の生成が行われる。

一方、特殊光の場合には、Ｇ信号選択部１３１１は、補間算出部１３０７からの信号ＧＬを出力する。そのため、Ｒ信号生成部１３０９は、ナイキスト周波数の半分の帯域を持った信号ＧＬとナイキスト周波数の半分の帯域を持った信号ＲＬ−ＧＬを加算することとなる。この加算では、ナイキスト周波数の半分の帯域のＲ信号のみが残り、Ｇ信号の高周波数成分は加算されない。すなわち、色相関を利用しないＲ信号の生成が行われる。Ｂ信号についても同様に色相関を利用しないＢ信号の生成が行われる。

なお、同時化補間処理部１００２は、補間算出部１３０８からの信号ＧＨを出力信号ＧＱとして出力する。特殊光の場合には、出力信号ＧＱは、出力信号ＲＱ、ＢＱに対して２倍の周波数帯域を持つ。但し、本実施形態では、信号ＲＱ、ＧＱ、ＢＱが全て同一周波数帯域であってもよい。すなわち、同時化補間処理部１００２は、特殊光の場合に、補間算出部１３０７から出力されるＧＬ信号を出力信号ＧＱとして出力してもよい。

ここで、上記の本実施形態では、制御部３０２からの照明光判定情報Ｌが、回転色フィルタ１０２の制御情報と同期して画像処理部３０１に入力される場合を例に説明した。但し、本実施形態では、この限定されず、例えば画像処理部３０１のプレ処理部７０１の出力であるＧ信号とＲ信号の一画面分の総和を算出し、Ｇ信号の総和が第１の所定閾値Ｔｈ１より大きく、Ｒ信号の総和が第２の所定閾値Ｔｈ２より小さい場合には、特殊光で照明された画像信号であると判定し、照明判定情報に利用してもよい。この場合、誤判定を防止するために、Ｔｈ１＞＞Ｔｈ２となるように閾値を設定することが望ましい。

また、上記の本実施形態では、図１（Ａ）に示すベイヤ配列の原色単板撮像素子を例に説明したが、例えば図１（Ｂ）に示す４５度傾けたベイヤ配列の原色単板撮像素子を適用可能なことは言うまでもない。この場合には、Ｇ欠落画素に対する周辺Ｇ信号を用いた補間処理を、右斜め上の方向と右斜め下の方向で補間処理するように変更すればよい。

８．ソフトウェア
上記の本実施形態では、画像処理部３０１を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像部を別体とし、画像処理部３０１の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３０１の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図２０は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図２１は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図２０に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピュータシステム６００における本体部６１０は、図２１に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図２２〜図２４）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して、画像処理部３０１の処理をソフトウェアで実現する場合の処理手順を、図２２のフローチャートを用いて説明する。あらかじめ取得された画像は、例えば、Ａ／Ｄ変換部２０５が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図２２に示すように、この処理が開始されると、ユーザーにより指定されたファイル名に対応するＲＡＷファイルを取り込む（Ｓ１８００）。取り込んだＲＡＷファイルのヘッダ情報を抽出し、ＲＡＷファイルに対するサイズや階調レベル数、色フィルタ配列情報、照明光判定情報、撮影条件、色マトリックス係数等の属性情報を取得する（Ｓ１８０１）。

取得したＲＡＷファイルの属性情報に基づいて、Ｇ欠落画素におけるＧ信号の補間画素値を算出し、この補間画素値に基づいてＧ欠落画素における色差を算出する（Ｓ１８０２）。算出したＧ信号と色差により同時化補間処理を行い、その補間処理後の同一画素位置におけるＧ信号と色差を加算処理し、Ｒ信号及びＢ信号を生成（復元）する（Ｓ１８０３）。

属性情報である照明光設定情報が、特殊光を示す情報であるか否かを判定する（Ｓ１８０４）。特殊光でない場合は、復元されたＲ、Ｇ、Ｂ信号を、カラーマトリックス処理により、例えばｓＲＧＢ等の所定色空間に変換する。そして、変換後のＲ、Ｇ、Ｂ信号を、γ補正処理により、例えば８ビットのＲγ、Ｇγ、Ｂγ信号に変換し、そのＲγ、Ｇγ、Ｂγ信号に対して拡大縮小回転処理及び構造強調処理を行う（Ｓ１８０５）。

一方、特殊光である場合は、復元されたＲ、Ｇ、Ｂ信号を、カラーマトリックス処理により、擬似カラー化する。そして、疑似カラー化したＲ、Ｇ、Ｂ信号を、γ補正処理により、例えば８ビットのＲγ、Ｇγ、Ｂγ信号に変換し、そのＲγ、Ｇγ、Ｂγ信号に対して拡大縮小回転処理及び構造強調処理を行う（Ｓ１８０６）。

拡大縮小回転及び構造強調処理したＲγ、Ｇγ、Ｂγ信号を、例えばＹＵＶ信号に変換し、ＪＰＥＧ等の圧縮処理を施し、現像処理済み画像ファイルとして保存する（Ｓ１８０７）。ユーザーがファイル名を指定したＲＡＷファイルが残っているか否かを判定する（Ｓ１８０８）。残っている場合は、ステップＳ１８００の処理へ戻り、現像処理を繰り返す。一方、残っていない場合は処理を終了する。

次に、図２３に示すフローチャートを用いて、Ｇ補間色差算出処理（Ｓ１８０２）について詳細に説明する。

この処理が開始されると、ステップＳ１８００の処理で取り込んだＲＡＷファイルと、ステップＳ１８０１で取得した属性情報とに基づいて、Ｇ欠落画素の上下に隣接するＧ信号を用いて、そのＧ欠落画素での縦補間画素値Ｇｖを算出する。また、そのＧ欠落画素と同一画素位置のＸ信号と、算出したＧｖから色差Ｘ−Ｇｖを算出する。そして、ＧｖとＸ−Ｇｖをメモリに保存する（Ｓ１９００）。同様に、Ｇ欠落画素の左右に隣接するＧ信号を用いて横補間画素値Ｇｈを算出し、色差Ｘ−Ｇｈを算出し、ＧｈとＸ−Ｇｈをメモリに保存する（Ｓ１９０１）。

ステップＳ１８０１の処理で取得した属性情報である照明光設定情報が、特殊光を示す情報か否かを判定する（Ｓ１９０２）。特殊光でない場合は、Ｇ欠落画素の上下左右に隣接するＧ信号を用いて４画素平均画素値Ｇａを算出する。また、そのＧ欠落画素と同一画素位置のＸ信号として、Ｇ欠落画素の周辺のＸ信号を用いて高周波成分をカットしたＸＬ信号を求め、そのＸＬ信号とＧａから色差ＸＬ−Ｇａを算出する。そして、ＧａとＸＬ−Ｇａをメモリに保存する（Ｓ１９０３）。

一方、特殊光である場合は、Ｇ欠落画素の上下左右に隣接するＧ信号を用いた４画素平均画素値Ｇａを算出する。また、そのＧ欠落画素と同一画素位置のＸ信号と、算出したＧａから色差Ｘ−Ｇａを算出する。そして、ＧａとＸ−Ｇａをメモリに保存する（Ｓ１９０４）。

Ｇ欠落画素の周辺のＧ信号を用いて、Ｇ信号の変化量を絶対値和で定義したＧ信号変動量を算出する。そして、図１７等で上述のように、Ｇ信号変動量を重み係数ｗに変換し、重み係数ｗをメモリに保存する（Ｓ１９０５）。

ステップＳ１９００〜Ｓ１９０４の処理で算出した各色差候補Ｘ−Ｇｖ、Ｘ−Ｇｈ、ＸＬ−Ｇａ（Ｘ−Ｇａ）に対応する色差類似度Ｓｖ、Ｓｈ、Ｓａを算出する（Ｓ１９０６）。この色差類似度のうち、平坦部分のＧ信号に適した補間（方向依存性の無い４画素平均による補間）で算出された色差類似度Ｓａに対して、同一画素位置での重みｗを乗算し、新たな色差類似度ｗ×Ｓａを算出する（Ｓ１９０７）。

照明光設定情報が特殊光を示す情報であるか否かを判定する（Ｓ１９０８）。特殊光でない場合は、算出した３つの色差類似度Ｓｖ、Ｓｈ、ｗ×Ｓａの中で最も類似度が高くなる色差を選択する（Ｓ１９０９）。一方、特殊光である場合は、ｗ×Ｓａの色差種別である４画素平均色差Ｘ−Ｇａを強制的に選択する（Ｓ１９１０）。そして、選択された色差と、その色差の画素位置のＲ信号またはＢ信号を加算処理してＧ信号を算出する（Ｓ１９１１）。

Ｇ欠落画素に未処理画素があるか否かを判定（Ｓ１９１２）し、残っている場合はステップＳ１９００へ戻ってＧ補間色差算出処理を繰り返し、残っていない場合はＧ補間色差算出処理を終了する。

次に、図２４に示すフローチャートを用いて、同時化補間処理（図２２のステップＳ１８０３）について詳細に説明する。

この処理が開始されると、ステップＳ１８０２で算出されたＸ−Ｇ信号をＲ−Ｇ信号とＢ−Ｇ信号に分離し、それぞれメモリに保存する（Ｓ２０００）。メモリに保存されているＲ−Ｇ信号の所定領域を抽出し、上述の図１９のＢ２に示す第２の周波数特性の補間フィルタ（例えば８×８タップ）を用いて、所定位置に補間したＲ−Ｇ信号を算出する。同様に、所定位置に補間したＢ−Ｇ信号を算出する（Ｓ２００１）。

メモリに保存されているＧ信号の所定領域を抽出し、上述の図１９のＢ１に示す第１の周波数特性の補間フィルタ（例えば８×８タップ）を用いて、所定位置に補間したＧ信号を算出する（Ｓ２００２）。

ステップＳ１８０１の処理で取得した属性情報である照明光設定情報が特殊光を示す情報か否かを判定する（Ｓ２００３）。特殊光でない場合は、第１の周波数帯域のＧ信号と第２の周波数帯域のＲ−Ｇ信号とを加算処理して、第１の周波数帯域を持つＲ信号を生成する（Ｓ２００４）。また、第１の周波数帯域を持つＧ信号と第２の周波数帯域を持つＢ−Ｇ信号とを加算処理して、第１の周波数帯域を持つＢ信号を生成する（Ｓ２００５）。

一方、特殊光である場合は、メモリに保存されているＧ信号の所定領域を抽出し、上述の図１９のＢ２に示す第２の周波数特性の補間フィルタ（例えば８×８タップ）を用いて、所定位置に補間したＧ信号を算出する（Ｓ２００６）。算出した第２の周波数帯域を持つＧ信号と第２の周波数帯域を持つＲ−Ｇ信号とを加算処理し、第２の周波数帯域を持つＲ信号を生成する（Ｓ２００７）。また、第２の周波数帯域を持つＧ信号と第２の周波数帯域を持つＢ−Ｇ信号とを加算処理し、第２の周波数帯域を持つＢ信号を生成する（Ｓ２００８）。

算出すべき各補間画素に未処理画素があるか否かを判定（Ｓ２００９）し、残っている場合はステップＳ２０００へ戻って同時化補間処理を繰り返し、残っていない場合は同時化補間処理を終了する。

このようにして、本実施形態では、照明光設定情報が特殊光の場合には、色相関を使用しないデモザイキング処理でＲＧＢ信号を算出し、照明光設定情報が白色光の場合には、色相関を積極的に使用したデモザイキング処理でＲＧＢ信号を算出する。

９．本実施形態の手法
以上に詳細に説明した本実施形態の手法について、以下にその概要のまとめを説明する。上述のように、色相関の大きい白色光画像と色相関の小さい特殊画像の双方を取得する内視鏡システムでは、色相関が大きいことを前提としたデモザイキング処理を常時行うと、特殊光画像のデモザイキング処理によってアーティファクトを生じるという課題がある。一方、色相関を利用しないデモザイキング処理を常時行うと、白色光のデモザイキング処理において十分な解像度を得られないという課題がある。

この点、本実施形態では、補間処理部７０２（補間処理手段）は、第１〜第３の色信号ＲＧＢで構成される画像（モザイク画像）を受けて、その画像の各画素において、第１〜第３の色信号ＲＧＢのうちの欠落した色信号を補間処理（デモザイキング処理）する。画像出力部７０７（画像出力手段）は、補間処理部７０２からの補間処理後の画像（信号ＲＱ、ＧＱ、ＢＱ）に基づいて出力画像を出力する。そして、補間処理部７０１は、第１の光波長帯域における情報を有する第１の画像（白色光画像）に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行う。一方、補間処理部７０２は、第２の光波長帯域における情報を有する第２の画像（特殊光画像）に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行う。

これにより、画像（照射光）に応じた補間処理の切り替えが可能になる。すなわち、スペースバリアントな補間処理を行うことで、第１の画像に対して色相関を利用した補間処理を行うことができる。具体的には、Ｇ信号とＲ信号で同じ位置に同じ方向のエッジがあること、及びＧ信号とＢ信号で同じ位置に同じ方向のエッジがあることを利用した補間処理を行うことができる。このようにして、第１の画像の補間処理において、解像度を向上できる。一方、スペースインバリアントな補間処理を行うことで、第２の画像に対して色相関を利用しない補間処理を行うことができる。具体的には、Ｇ信号のエッジ成分を考慮しない補間処理を行うことができる。これにより、第２の画像の補間処理において、デモザイキング処理によるアーティファクトの発生を抑止できる。

ここで、上記の第１の波長帯域における情報を有する第１の画像とは、例えば第１の波長帯域の照射光を生体の観察領域に照射し、その観察領域を撮像することで取得される画像のことである。同様に、上記の第２の波長帯域における情報を有する第２の画像とは、例えば第２の波長帯域の照射光を生体の観察領域に照射し、その観察領域を撮像することで取得される画像のことである。

また、本実施形態では、第１の画像は、第１の光波長帯域の情報として白色光（通常光）の波長帯域の情報を有する画像（白色光画像）であり、第２の画像は、第２の光波長帯域の情報として特定の波長帯域の情報を有する画像（特殊光画像）である。

これにより、ＲＧＢで同一の血管像（生体像）が撮像されるため色相関の大きい白色光画像に対して、スペースバリアントな補間処理を行うことができる。一方、Ｇ信号とＢ信号で異なる血管像が撮像されるため色相関の小さい特殊光画像に対して、スペースインバリアントな補間処理を行うことができる。

また、本実施形態では、補間処理部７０２に入力される画像は、各色信号の画素が異なった画素位置に配列（ベイヤ配列）されたモザイク画像であり、第１の色信号Ｇの画素は、第２、第３の色信号Ｒ、Ｂの画素よりも高密度に配列される。

これにより、スペースバリアントな補間処理による高解像度なデモザイキング処理を行うことができる。すなわち、高密度のＧ信号の高周波成分を用いて、Ｇ信号より低密度のＲ、Ｂ信号の補間処理を行うことで、高解像度の補間処理を行うことができる。

また、本実施形態では、補間Ｇ算出部１２０３〜１２０５（補間画素値算出部１０）は、第１の色信号Ｇが欠落した補間対象画素（Ｇ欠落画素）での第１の色信号Ｇの複数の補間画素値Ｇｖ、Ｇｈ、Ｇａ（複数の補間Ｇ信号）を算出する。色差算出部１２０７〜１２０９（色差算出部２０）は、複数の補間画素値Ｇｖ、Ｇｈ、Ｇａと、第２の色信号Ｒまたは第３の色信号Ｂの画素値との色差である複数の色差Ｘ−Ｇｖ、Ｘ−Ｇｈ、Ｘ−Ｇａを算出する。そして、色差選択部１２２０（色差出力部４０）は、スペースバリアントな補間処理を行う場合には、複数の色差Ｘ−Ｇｖ、Ｘ−Ｇｈ、Ｘ−Ｇａのうちからいずれかの色差を選択し、スペースインバリアントな補間処理を行う場合には、複数の色差のうちの特定の色差Ｘ−Ｇａを出力する。

これにより、複数の色差Ｘ−Ｇｖ、Ｘ−Ｇｈ、Ｘ−Ｇａのうちからいずれかの色差を選択することで、Ｇ欠落画素毎に異なる補間処理を行うことができる。また、複数の色差のうちの特定の色差Ｘ−Ｇａを出力することで、Ｇ欠落画素の位置に依らない補間処理を行うことができる。

より具体的には、本実施形態では、縦補間Ｇ算出部１２０３は、補間対象画素（Ｇ欠落画素）の縦方向に隣接する画素の第１の色信号Ｇの画素値に基づく縦補間画素値Ｇｖ（縦補間Ｇ信号）を求める。横補間Ｇ算出部１２０４は、補間対象画素の横方向に隣接する画素の第１の色信号Ｇの画素値に基づく横補間画素値Ｇｈ（横補間Ｇ信号）を求める。４画素平均Ｇ算出部１２０５は、補間対象画素の縦方向及び横方向に隣接する画素の第１の色信号Ｇの画素値に基づく４画素平均画素値Ｇａ（４画素平均Ｇ信号）を求める。そして、縦色差算出部１２０７は、第２の色信号Ｒまたは前記第３の色信号Ｂの画素値Ｘと縦補間画素値Ｇｖとの差分値である縦補間色差Ｘ−Ｇｖを求める。横色差算出部１２０８は、画素値Ｘと横補間画素値Ｇｈとの差分値である横補間色差Ｘ−Ｇｈを求める。４画素平均色差算出部１２０９は、画素値Ｘと４画素平均画素値Ｇａとの差分値である４画素平均色差Ｘ−Ｇａを求める。

これにより、複数の補間Ｇ信号として、縦方向のエッジに対応するＧｖ、横方向のエッジに対応するＧｈ、平坦部及び斜め方向のエッジに対応するＧａを求めることができる。そして、色差Ｘ−Ｇｖ、Ｘ−Ｇｈ、Ｘ−Ｇａのいずれかを選択することで、エッジ方向に応じた補間処理を行うことができる。また、色差Ｘ−Ｇａを特定の色差として出力することで、エッジ方向に依らない補間処理を行うことができる。

また、本実施形態では、ローパスフィルタ１２０６（色差算出部２０）は、第２の色信号Ｒに対するローパスフィルタ処理と、第３の色信号Ｂに対するローパスフィルタ処理を行う。そして、４画素平均色差算出部１２０９（色差算出部２０）は、スペースバリアントな補間処理を行う場合には、ローパスフィルタ処理後の第２の色信号ＲＬまたはローパスフィルタ処理後の第３の色信号ＢＬと４画素平均画素値Ｇａとの差分値ＸＬ−Ｇａを求める。

これにより、スペースバリアントな補間処理を行う場合に、色相関を利用したＧ信号の補間処理を行うことができる。すなわち、色差ＸＬ−Ｇａが選択された場合に、Ｇ信号出力部１２２１が、Ｘ信号の高周波成分が付加されたＧａ信号を出力できる。

また、本実施形態では、色差類似度算出部１２１３〜１２１５（色差類似度算出部３０）は、複数の色差Ｇｖ、Ｇｈ、Ｇａに対応する複数の色差類似度Ｓｖ、Ｓｈ、Ｓａを算出する。色差類似度算出部１２１３〜１２１５は、補間対象画素間（Ｇ欠落画素）での色差の差分値を求め、その差分値の絶対値を求め、補間対象画素を含む所定の範囲（例えば図１６（Ａ）に示す範囲）内において絶対値の和を求めることで、色差類似度を算出する。そして、色差選択部１２２０（色差出力部４０）は、スペースバリアントな補間処理を行う場合には、複数の色差類似度Ｓｖ、Ｓｈ、Ｓａのうちの最小の色差類似度に対応する色差を選択する。

これにより、スペースバリアントな補間処理を行う場合に、最小の色差類似度に対応する色差を選択することで、色差類似度に応じた色差の選択を行うことができる。

より具体的には、本実施形態では、縦色差類似度算出部１２１３は、縦補間色差Ｘ−Ｇｖの縦方向の差分値から縦色差類似度Ｓｖを求める。横色差類似度算出部１２１４は、横補間色差Ｘ−Ｇｈの横方向の差分値から横色差類似度を求める。４画素平均類似度算出部１２１５は、４画素平均色差Ｘ−Ｇａ（ＸＬ−Ｇａ）の縦方向の差分値及び横方向の差分値及び斜め方向の差分値から４画素平均類似度Ｓａを求める。

これにより、最小の色差類似度に対応する色差を選択することで、エッジ方向に応じた色差の選択を行うことができる。すなわち、色差の差分値は、エッジ方向に沿った方向で小さくなることを利用して、エッジ方向を判定できる。また、色差の差分値を求めることで、色信号間のオフセット（ＲＧＢ信号間の差分値）の影響（例えば、デモザイキング処理により彩度が落ちる）を抑止できる。

また、本実施形態では、Ｇ信号出力部１２２１（色差出力部４０）は、補間対象画素（Ｇ欠落画素）では、出力色差Ｘ−Ｇと第２、第３の色信号Ｘとを加算して、出力画素値Ｇとして出力する。一方、補間対象画素以外の画素では、入力画像の第１の色信号Ｇの画素値を出力画素値Ｇとして出力する。同時化補間処理部１００２（同時化補間処理部５０）は、出力色差Ｘ−Ｇと出力画素値Ｇとに基づいて、画像の各画素に対して、色信号ＲＧＢの画素値を求める。そして、同時化補間処理部１００２は、スペースバリアントな補間処理を行う場合には、出力画素値Ｇに対して第１のカットオフ周波数（ＮＦ）の第１のローパスフィルタ処理を行い、スペースインバリアントな補間処理を行う場合には、出力画素値Ｇに対して第２のカットオフ周波数（ＮＦ／２）の第２のローパスフィルタ処理を行う。

また、本実施形態では、同時化補間処理部１００２は、出力色差Ｘ−Ｇを色差Ｒ−ＧとＢ−Ｇとに分離する。同時化補間処理部１００２は、色差Ｒ−Ｇ、Ｂ−Ｇに対して第２のローパスフィルタ処理（ＮＦ／２）を行って、各画素における色差ＲＬ−ＧＬ、ＢＬ−ＧＬを求める。そして、スペースバリアントな補間処理を行う場合には、同時化補間処理部１００２は、色差ＲＬ−ＧＬ、ＢＬ−ＧＬと第１のローパスフィルタ処理（ＮＦ）後の出力画素値ＧＨとを加算して、各画素における画素値ＲＱ、ＢＱを求める。スペースインバリアントな補間処理を行う場合には、同時化補間処理部１００２は、色差ＲＬ−ＧＬ、ＢＬ−ＧＬと第２のローパスフィルタ処理（ＮＦ／２）後の出力画素値ＧＬとを加算して、各画素における画素値ＲＱ、ＢＱを求める。

これにより、同時化補間処理を行い、各画素にＲＧＢ信号が配置された３板のカラー画像を生成できる。また、スペースバリアントな補間処理において、色相関を利用した補間処理を行い、Ｇ信号のエッジ成分をＲ、Ｂ信号に対して付加できる。一方、スペースインバリアントな補間処理において、色相関を利用しない補間処理を行い、Ｇ信号のエッジ成分が付加されないＲ、Ｂ信号を出力できる。

また、本実施形態では、上述の特定の波長帯域は、白色光の波長帯域よりも狭い帯域である。具体的には、上述の第１の画像および第２の画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域の情報は、血液中のヘモグロビンに吸収される波長の波長帯域の情報である。例えば、ヘモグロビンに吸収される特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ（Ｂ２）、または５３０ナノメータ〜５５０ナノメータ（Ｇ２）である。

これにより、狭帯域光画像（ＮＢＩ画像）を特殊光画像として取得できる。そして、２つの狭帯域光（Ｇ２、Ｂ２）によって異なる血管像を取得し、その色相関の小さい狭帯域光画像に対して色相関を利用しない補間処理を行うことができる。また、狭帯域光画像を取得することで、生体の表層部及び深部に位置する血管の構造を観察することが可能になる。そして、得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、内視鏡システムは、生体内の被写体に対して白色光及び特定の波長帯域の光を照射する光源部１００と、第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、欠落した色信号を補間処理する補間処理部７０２と、補間処理後の画像に基づいて出力画像を出力する画像出力部７０７と、出力画像を表示する表示部４００を含む。

これにより、生体への照射光に応じて補間処理を切り替える内視鏡システムを構成できる。すなわち、白色光を照射することで得られた第１の画像に対してスペースバリアントな補間処理を行い、特定の波長帯域の光を照射することで得られた第２の画像に対してスペースインバリアントな補間処理を行うことができる。

また、本実施形態では、第１〜第３の色信号で構成される画像を受けて、欠落した色信号を補間処理する補間処理部７０２と、補間処理後の画像に基づいて出力画像を出力する画像出力部７０７として、コンピュータを機能させてもよい。そして、補間処理部７０２として機能するコンピュータは、第１の光波長帯域における情報を有する第１の画像に対して、スペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、スペースインバリアントな補間処理を行ってもよい。

これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。

また本実施形態は、本実施形態の各部（補間画素値算出部、色差算出部、色差出力部、色差類似度算出部、同時化補間処理、画像出力部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。

ここで、プログラムコードとは、第１〜第３の色信号で構成される画像を受けて、その画像の各画素において、第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部と、を実現する。そして、第１の光波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行う補間処理部を実現する。

またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。

１０．Ｇ補間色差算出部の変形例
上記の構成例では、Ｇ補間色差算出部１００１が、先に３つの色差Ｘ−Ｇｖ、Ｘ−Ｇｈ、Ｘ−Ｇａを求め、その後に色差を選択する構成である場合について説明した。但し、本実施形態では、Ｇ補間色差算出部１００１が、先にＧ信号の補間手法を判定し、その後に色差を求めてもよい。

図２５に、このＧ補間色差算出部１００１の変形例を示す。図２５に示すＧ補間色差算出部１００１は、メモリ１４０１、１４０２、Ｇ補間種別判定部１４０３（算出手法設定部）、補間選択部１４０４、縦補間Ｇ算出部１４０７、横補間Ｇ算出部１４０８、４画素平均Ｇ算出部１４０９、ローパスフィルタ１４１０、選択部１４１１、色差算出部１４１２（減算器）、Ｇ信号出力部１４１３（減算器）を含む。

メモリ１４０１は、Ｇ補間色差算出部１００１に入力されたベイヤ配列のデジタル画像のＸ信号（Ｒ信号とＢ信号）を格納する。メモリ１４０２は、Ｇ信号を格納する。

Ｇ補間種別判定部１４０３は、メモリ１４０１からのＸ信号とメモリ１４０２からのＧ信号に基づいてＧ欠落画素の補間種別（補間手法）を判定し、判定された補間種別に対応する補間種別情報を出力する。具体的には、Ｇ補間種別判定部１４０３は、Ｇ欠落画素に縦方向に隣接する画素のＧ信号の差分値の絶対値（縦方向の相関値）と、Ｇ欠落画素に横方向に隣接する画素のＧ信号の差分値の絶対値（横方向の相関値）を求める。そして、縦方向の相関値と横方向の相関値の大小関係により補間種別を判定する。この相関値は、エッジ方向に沿ったものの方が小さい値である。Ｇ補間種別判定部１４０３は、縦方向の相関値と横方向の相関値の差分値が所定閾値より大きい場合には横補間を指示し、小さい場合には縦補間を指示し、所定閾値以下の場合には４画素平均を指示する。

補間選択部１４０４は、Ｇ補間種別判定部１４０３からの補間種別情報によって指示された補間種別を選択する。すなわち、補間選択部１４０４は、縦補間Ｇ算出部１４０７、横補間Ｇ算出部１４０８、４画素平均Ｇ算出部１４０９のうちの、補間種別情報に対応する算出部に対してＧ信号を出力する。

縦補間Ｇ算出部１４０７は、縦補間が選択された場合に、Ｇ欠落画素の上下に隣接する画素のＧ信号を用いて、そのＧ欠落画素でのＧｖ信号を算出する。

横補間Ｇ算出部１４０８は、横補間が選択された場合に、Ｇ欠落画素の左右に隣接する画素のＧ信号を用いて、そのＧ欠落画素でのＧｈ信号を算出する。

４画素平均Ｇ算出部１４０９は、４画素平均が選択された場合に、Ｇ欠落画素の上下左右に隣接する画素のＧ信号を用いて、そのＧ欠落画素でのＧａ信号を算出する。

ローパスフィルタ１４１０は、メモリ１４０１に格納されているＸ信号に対して、そのＸ信号の周辺領域（例えば５×５画素領域）に含まれる同種Ｘ信号を用いて帯域制限を行い、帯域制限後のＸ信号であるＸＬ信号を出力する。

選択部１４１１は、制御部３０２からの照明光設定情報Ｌが白色光（Ｌ＝１）の場合には、メモリ１４０１からのＸ信号を出力し、特殊光（Ｌ＝０）の場合には、ローパスフィルタ１４１０からのＸＬ信号を出力する。

色差算出部１４１２は、選択部１４１１からのＸ信号（ＸＬ信号）と選択された補間Ｇ信号（Ｇｖ信号、Ｇｈ信号、Ｇａ信号のいずれか）とを減算して色差Ｘ−Ｇを算出する。

Ｇ信号出力部１４１３は、メモリ１４０１からのＸ信号と色差出力部１４１２からの色差Ｘ−Ｇとの減算を行い、Ｇ欠落画素でのＧ信号を算出する。また、Ｇ信号出力部１４１３は、メモリ１４０２からのＧ信号を、Ｇ信号が欠落していない画素でのＧ信号として出力する。

上述のように、この変形例では、先に補間種別を判定してＧ信号を補間処理する。この変形例における、照明光に応じた補間処理の切り替えについて説明する。

照明光設定情報が白色光（Ｌ＝１）を示す場合、本実施形態は、色相関利用モードに設定される。このモードでは、Ｇ補間種別判定部１４０３は、Ｇ欠落画素の補間種別を判定し、縦補間、横補間、４画素平均のいずれかに対応する補間種別情報を出力する。すなわち、画素位置に応じて異なる補間処理が行われる。また、４画素平均と判定された場合、選択部１４１１は、ローパスフィルタ１４１０から出力されるＸＬ信号を選択する。そして、色差出力部１４１２は、Ｘ−（ＸＬ−Ｇａ）＝Ｇａ+（Ｘ−ＸＬ）＝Ｇａ+ΔＸを算出する。すなわち、低周波成分のＧａに対してＸ信号の高周波成分ΔＸが加算される。このようにして、白色光の場合には、Ｒ信号とＧ信号との相関性、及びＢ信号とＧ信号との相関性を利用した補間処理を行う。

一方、照明光判定情報が特殊光（Ｌ＝０）を示す場合、本実施形態は、非色相関利用モードに設定される。このモードでは、Ｇ補間種別判定部１４０３は、強制的に４画素平均に対応する補間種別情報を出力する。すなわち、画素位置に依らない補間処理が行われる。また、選択部１４１１は、メモリ１４０１からのＸ信号を選択する。そして、色差出力部１４１２は、Ｘ−（Ｘ−Ｇａ）＝Ｇａを算出する。すなわち、ＧａにはＸ信号の高周波成分が加算されない。このようにして、特殊光の場合には、色相関を利用しない補間処理を行う。

以上の本実施形態によれば、Ｇ補間種別判定部１４０３（判定部）は、第１の色信号Ｇが欠落した補間対象画素（Ｇ欠落画素）に隣接する画素の第１の色信号Ｇに基づいて、補間対象画素での第１の色信号Ｇの補間画素値の算出手法を判定する。補間Ｇ算出部１４０７〜１４０９（補間画素値算出部）は、複数の算出手法（縦補間、横補間、４画素平均）のうちのいずれかの算出手法により補間画素値（Ｇｖ、Ｇｈ、Ｇａのいずれか）を算出する。色差出力部１４１２は、補間対象画素での第２の色信号Ｒまたは第３の色信号Ｂと、補間Ｇ算出部１４０７〜１４０９（補間画素値算出部）からの補間画素値との差分値を色差Ｘ−Ｇとして出力する。そして、スペースバリアントな補間処理を行う場合には、補間Ｇ算出部１４０７〜１４０９（補間画素値算出部）は、Ｇ補間種別判定部１４０３によって判定された算出手法により補間画素値を算出する。一方、スペースインバリアントな補間処理を行う場合には、４画素平均Ｇ算出部１４０９（補間画素値算出部）は、複数の算出手法のうちの特定の算出手法（４画素平均）により補間画素値Ｇａを算出する。

このようにすれば、スペースバリアントな補間処理を行うことで、色相関を利用した補間処理を行い、高解像度のデモザイキング処理を行うことができる。また、スペースインバリアントな補間処理を行うことで、色相関を利用しない補間処理を行い、例えば特殊光で撮像された色相関の小さい画像のデモザイキング処理でアーティファクトが生ずることを抑止できる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の画像、第２の画像等）と共に記載された用語（白色光画像、特殊光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 補間画素値算出部、２０ 色差算出部、３０ 色差類似度算出部、
４０ 色差出力部、５０ 同時化補間処理部、１００ 光源部、１０１ 白色光源、
１０２ 回転フィルタ、１０３ 回転駆動部、１０４ 集光レンズ、２００ 挿入部、
２０１ ライトガイドファイバ、２０２ 照明レンズ、２０３ 対物レンズ、
２０４ 撮像素子、２０５ Ａ／Ｄ変換部、３００ 制御装置、３０１ 画像処理部、
３０２ 制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６１０ 本体部、６１１ ＣＰＵ、６１２ ＲＡＭ、
６１３ ＲＯＭ、６１４ ハードディスクドライブ、６１５ ＣＤ−ＲＯＭドライブ、
６１６ ＵＳＢポート、６１７ Ｉ／Ｏインターフェース、
６１８ ＬＡＮインターフェース、６２０ ディスプレイ、６２１ 表示画面、
６３０ キーボード、６４０ マウス、６５０ モデム、６６０ ＣＤ−ＲＯＭ、
６７０ ＵＳＢメモリ、６８１ ＰＣ、６８２ サーバ、６８３ プリンタ、
７０１ プレ処理部、７０２ 補間処理部、７０３ 選択部、
７０４ 第１画像生成部、７０５ 第２画像生成部、７０６ 出力画像生成部、
７０７ 画像出力部、８０１，８０２ 色フィルタ、８０３ モータ、
１００１ Ｇ補間色差算出部、１００２ 同時化補間処理部、
１２０３ 縦補間Ｇ算出部、１２０４ 横補間Ｇ算出部、
１２０５ ４画素平均Ｇ算出部、１２０６ ローパスフィルタ、
１２０７ 縦補間色差算出部、１２０８ 横補間色差算出部、
１２０９ ４画素平均色差算出部、１２１３ 縦色差類似度算出部、
１２１４ 横補間色差類似度算出部、１２１５ ４画素平均色差類似度算出部、
１２１６ Ｇ変動量算出部、１２１８ 重み乗算部、１２１９ 判定部、
１２２０ 色差選択部、１２２１ Ｇ信号出力部、１３０１ 色差選別部、
１３０５〜１３０８ 補間算出部、１３０９ Ｒ信号算出部、
１３１０ Ｂ信号算出部、１３１１ Ｇ信号選択部、１４０３ Ｇ補間種別判定部、
１４０４ 補間選択部、１４０７ 縦補間Ｇ算出部、１４０８ 横補間Ｇ算出部、
１４０９ ４画素平均Ｇ算出部、１４１０ ローパスフィルタ、１４１１ 選択部、
１４１２ 色差出力部、１４１３ Ｇ信号出力部、
Ｇ 第１の色信号、Ｒ 第２の色信号、Ｂ 第３の色信号、Ｌ 照明光設定情報、
Ｇｖ 縦補間画素値、Ｇｈ 横補間画素値、Ｇａ ４画素平均画素値、
Ｘ−Ｇｖ 縦補間色差、Ｘ−Ｇｈ 横補間色差、Ｘ−Ｇａ ４画素平均色差、
Ｓｖ 縦補間色差類似度、Ｓｈ 横補間色差類似度、Ｓａ ４画素平均色差類似度、
ｗ 重み、ＮＦ ナイキスト周波数

Claims (17)

1. 第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、
   前記補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部と、
   を含み、
   前記補間処理部は、
   第１の光波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行うことを特徴とする画像処理装置。
2. 請求項１において、
   前記第１の画像は、前記第１の光波長帯域の情報として白色光の波長帯域の情報を有する画像であり、
   前記第２の画像は、前記第２の光波長帯域の情報として特定の波長帯域の情報を有する画像であることを特徴とする画像処理装置。
3. 請求項１または２において、
   前記第１〜第３の色信号で構成される画像は、各色信号の画素が異なった画素位置に配列されたモザイク画像であり、
   前記第１の色信号の画素は、
   前記第２、第３の色信号の画素よりも高密度に配列されることを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記補間処理部は、
   前記第１の色信号が欠落した補間対象画素での前記第１の色信号の複数の補間画素値を算出する補間画素値算出部と、
   前記複数の補間画素値と、前記第２の色信号または前記第３の色信号の画素値との色差である複数の色差を算出する色差算出部と、
   色差選択部と、
   を有し、
   前記色差選択部は、
   前記スペースバリアントな補間処理を行う場合には、前記複数の色差のうちからいずれかの色差を選択し、前記スペースインバリアントな補間処理を行う場合には、前記複数の色差のうちの特定の色差を出力することを特徴とする画像処理装置。
5. 請求項４において、
   前記補間画素値算出部は、
   前記補間対象画素の縦方向に隣接する画素の前記第１の色信号の画素値に基づく縦補間画素値と、前記補間対象画素の横方向に隣接する画素の前記第１の色信号の画素値に基づく横補間画素値と、前記補間対象画素の縦方向及び横方向に隣接する画素の前記第１の色信号の画素値に基づく４画素平均画素値とを、前記複数の補間画素値として求め、
   前記色差算出部は、
   前記第２の色信号または前記第３の色信号の画素値と前記縦補間画素値との差分値である縦補間色差と、前記第２の色信号または前記第３の色信号の画素値と前記横補間画素値との差分値である横補間色差と、前記第２の色信号または前記第３の色信号の画素値と前記４画素平均画素値との差分値である４画素平均色差とを、前記複数の色差として求め、
   前記色差選択部は、
   前記スペースバリアントな補間処理を行う場合には、前記縦補間色差と前記横補間色差と前記４画素平均色差のいずれかを選択し、前記スペースインバリアントな補間処理を行う場合には、前記４画素平均色差を前記特定の色差として出力することを特徴とする画像処理装置。
6. 請求項５において、
   前記色差算出部は、
   前記第２の色信号に対するローパスフィルタ処理と、前記第３の色信号に対するローパスフィルタ処理を行うローパスフィルタを有し、
   前記スペースバリアントな補間処理を行う場合には、ローパスフィルタ処理後の第２の色信号またはローパスフィルタ処理後の第３の色信号と前記４画素平均画素値との差分値を、前記４画素平均色差として求めることを特徴とする画像処理装置。
7. 請求項４において、
   前記補間処理部は、
   前記複数の色差に対応する複数の色差類似度を算出する色差類似度算出部を有し、
   前記色差類似度算出部は、
   前記補間対象画素間での色差の差分値を求め、前記差分値の絶対値を求め、前記補間対象画素を含む所定の範囲内において前記絶対値の和を求めることで、色差類似度を算出し、
   前記色差選択部は、
   前記スペースバリアントな補間処理を行う場合には、前記複数の色差類似度のうちの最小の色差類似度に対応する色差を選択し、前記スペースインバリアントな補間処理を行う場合には、前記複数の色差のうちの前記特定の色差を出力することを特徴とする画像処理装置。
8. 請求項７において、
   前記補間画素値算出部は、
   前記補間対象画素の縦方向に隣接する画素の前記第１の色信号の画素値に基づく縦補間画素値と、前記補間対象画素の横方向に隣接する画素の前記第１の色信号の画素値に基づく横補間画素値と、前記補間対象画素の縦方向及び横方向に隣接する画素の前記第１の色信号の画素値に基づく４画素平均画素値とを、前記複数の補間画素値として求め、
   前記色差算出部は、
   前記第２の色信号または前記第３の色信号の画素値と前記縦補間画素値との差分値である縦補間色差と、前記第２の色信号または前記第３の色信号の画素値と前記横補間画素値との差分値である横補間色差と、前記第２の色信号または前記第３の色信号の画素値と前記４画素平均画素値との差分値である４画素平均色差と、を前記複数の色差として求め、
   前記色差類似度算出部は、
   前記縦補間色差の縦方向の差分値から縦色差類似度を求め、前記横補間色差の横方向の差分値から横色差類似度を求め、前記４画素平均色差の縦方向の差分値及び横方向の差分値及び斜め方向の差分値から４画素平均類似度を求め、
   前記色差選択部は、
   前記スペースバリアントな補間処理を行う場合には、前記縦色差類似度と前記横色差類似度と前記４画素平均類似度のうちの最小の色差類似度に対応する色差を選択し、前記スペースインバリアントな補間処理を行う場合には、４画素平均色差を前記特定の色差として出力することを特徴とする画像処理装置。
9. 請求項４乃至８のいずれかにおいて、
   前記色差選択部は、
   前記補間対象画素では、選択した色差である出力色差と前記第２の色信号または前記第３の色信号とを加算して、前記第１の色信号の出力画素値として出力し、前記補間対象画素以外の画素では、前記補間処理部に入力される前記画像の第１の色信号の画素値を前記出力画素値として出力し、
   前記補間処理部は、
   前記色差選択部からの前記出力色差と前記出力画素値とに基づいて、前記画像の各画素に対して、前記第１〜第３の色信号の画素値を求める同時化補間処理部を有し、
   前記同時化補間処理部は、
   前記スペースバリアントな補間処理を行う場合には、前記出力画素値に対して第１のカットオフ周波数の第１のローパスフィルタ処理を行い、前記スペースインバリアントな補間処理を行う場合には、前記出力画素値に対して、前記第１のカットオフ周波数よりも低周波数の第２のカットオフ周波数の第２のローパスフィルタ処理を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記同時化補間処理部は、
    前記出力色差を第２の色信号の出力色差と第３の色信号の出力色差とに分離し、前記第２の色信号の出力色差に対して前記第２のローパスフィルタ処理を行って、各画素における第２の色信号の色差を求め、前記第３の色信号の出力色差に対して前記第２のローパスフィルタ処理を行って、各画素における第３の色信号の色差を求め、
    前記スペースバリアントな補間処理を行う場合には、前記各画素における第２の色信号の色差と前記第１のローパスフィルタ処理後の前記出力画素値とを加算して、各画素における第２の色信号の画素値を求め、前記各画素における第３の色信号の色差と前記第１のローパスフィルタ処理後の前記出力画素値とを加算して、各画素における第３の色信号の画素値を求め、
    前記スペースインバリアントな補間処理を行う場合には、前記各画素における第２の色信号の色差と前記第２のローパスフィルタ処理後の前記出力画素値とを加算して、各画素における第２の色信号の画素値を求め、前記各画素における第３の色信号の色差と前記第２のローパスフィルタ処理後の前記出力画素値とを加算して、各画素における第３の色信号の画素値を求めることを特徴とする画像処理装置。
11. 請求項１において、
    前記補間処理部は、
    第１の色信号が欠落した補間対象画素に隣接する画素の前記第１の色信号に基づいて、前記補間対象画素での前記第１の色信号の補間画素値の算出手法を判定する判定部と、
    複数の算出手法のうちのいずれかの算出手法により前記補間画素値を算出する補間画素値算出部と、
    前記補間対象画素での第２の色信号または第３の色信号と、前記補間画素値算出部からの前記補間画素値との差分値を色差として出力する色差出力部と、
    を有し、
    前記スペースバリアントな補間処理を行う場合には、前記補間画素算出部は、前記判定部によって判定された算出手法により前記補間画素値を算出し、前記スペースインバリアントな補間処理を行う場合には、前記補間画素算出部は、前記複数の算出手法のうちの特定の算出手法により前記補間画素値を算出することを特徴とする画像処理装置。
12. 請求項２において、
    前記特定の波長帯域は、
    前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
13. 請求項１２において、
    前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
14. 請求項１３において、
    前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
15. 生体内の被写体に対し、白色光及び特定の波長帯域の光を照射する光源部と、
    第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、
    前記補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部と、
    前記画像出力部からの前記出力画像を表示する表示部と、
    を含み、
    前記補間処理部は、
    前記白色光の波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、前記特定の波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行うことを特徴とする内視鏡システム。
16. 第１〜第３の色信号で構成される画像を受けて、前記画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する補間処理部と、
    前記補間処理部からの補間処理後の画像に基づいて出力画像を出力する画像出力部として、
    コンピュータを機能させ、
    前記補間処理部は、
    第１の光波長帯域における情報を有する第１の画像に対して、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、第２の光波長帯域における情報を有する第２の画像に対して、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行うことを特徴とするプログラム。
17. 第１〜第３の色信号で構成される画像の各画素において、前記第１〜第３の色信号のうちの欠落した色信号を補間処理する場合に、
    第１の光波長帯域における情報を有する第１の画像に対しては、画素位置に応じて異なる補間処理が行われるスペースバリアントな補間処理を行い、
    第２の光波長帯域における情報を有する第２の画像に対しては、画素位置に依らない補間処理が行われるスペースインバリアントな補間処理を行い、
    補間処理後の画像に基づいて出力画像を出力することを特徴とする画像処理方法。

Images