JPWO2016079831A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置 - Google Patents

Abstract

本発明にかかる画像処理装置は、白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、第１画素の密度が第２画素の色成分ごとの密度よりも高い撮像素子が生成した電気信号をもとに画像信号を生成する画像処理装置において、第２画素の位置における第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出部と、補間色差算出部が生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間部と、補間後の色差信号と、補間色差算出部が生成した輝度成分の電気信号とをもとに、第２画素が生成する色成分の電気信号を生成する画像信号生成部と、を備えた。

Description

本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理方法、画像処理プログラム、およびこの画像処理装置を備えた内視鏡装置に関する。

従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。

このような内視鏡装置の観察方式として、白色の照明光（白色照明光）を用いた白色照明光観察方式と、白色の波長帯域よりも狭い波長帯域である狭帯域の照明光（狭帯域照明光）を用いた狭帯域光観察方式とが広く知られている。このうち、狭帯域光観察方式は、例えば、生体の粘膜表層（生体表層）に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。このような内視鏡装置の観察方式に関して、白色照明光観察方式と、狭帯域光観察方式とを切り替えて観察することが望まれている。

白色照明光観察方式と、狭帯域光観察方式とを切り替えて観察する技術として、体腔内の組織に対してＲ、Ｇ、Ｂの三原色の照明光を順次照射し、それらの反射光から白色照明光観察画像を生成する白色照明光観察モードと、青色光および緑色光の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光を順次照射し、それらの反射光画像から狭帯域光観察画像を生成する狭帯域光観察モードと、を切り替え可能な内視鏡システムが提案されている（例えば、特許文献１を参照）。青色光および緑色光の波長帯域にそれぞれ含まれる二つの狭帯域光は、血管のヘモグロビンの吸収特性と波長による生体への深さ方向の減衰量とが異なる。特殊光観察画像では、青色光の波長帯域に含まれる狭帯域光によって表層の毛細血管と表層の粘膜構造と、緑色光の波長帯域に含まれる狭帯域光は深層のより太い血管と、を捉えることができる。

上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、当該撮像素子の受光面上には、一般的にベイヤ配列と呼ばれる赤色（Ｒ）、緑色（Ｇ）、緑色（Ｇ）および青色（Ｂ）の波長帯域の光を各々透過するフィルタを１つのフィルタ単位（ユニット）として画素毎に配列されてなるカラーフィルタが設けられている。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、その波長帯域の光に応じた色成分の電気信号を生成する。このため、カラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。このような補間処理は、デモザイキング処理と呼ばれる。以下、Ｇ画素（Ｇフィルタが配置された画素のことをいう。Ｒ画素、Ｂ画素も同様の定義）で取得された信号をＧ信号（Ｒ画素の場合はＲ信号、Ｂ画素の場合はＢ信号）という。

デモザイキング処理の一例として、Ｇ信号が欠落しているＲ画素およびＢ画素にその周辺Ｇ画素の相関性を利用してＲ画素およびＢ画素におけるＧ信号を補間し、Ｒ画素のＲ信号またはＢ画素位置のＢ信号を用いて算出した色差信号（Ｒ−Ｇ信号、およびＢ−Ｇ信号）に対して色差信号が欠落している画素位置への補間処理をＧ信号の補間の際に使用した周辺Ｇ画素の相関性を用いて色差信号を補間する技術が示されている（例えば、特許文献２を参照）。

特開２００６−６８１１３号公報 特開２００５−３３３４１８号公報

ベイヤ配列により得られた電気信号をもとにデモザイキング処理を行う際、白色照明光観察方式では、Ｇ画素の信号値を用いて補間処理を行うことによって高い解像度を確保することができるものの、狭帯域光観察方式では、Ｇ画素とＢ画素との色相関が低いために、上記と同様の補間処理を行っても高い解像度の画像を得ることができない場合があった。

本発明は、上記に鑑みてなされたものであって、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、赤色、緑色および青色の波長帯域の光を含む白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記白色照明光の波長帯域よりも狭帯域の光からなる狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子から出力された前記電気信号をもとに画像信号を生成する画像処理装置において、前記第２画素の位置における該第２画素の周辺の前記第１画素の電気信号に基づき前記第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、前記第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出部と、前記補間色差算出部が生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間部と、前記色差補間部が生成した補間後の色差信号と、前記補間色差算出部が生成した前記輝度成分の電気信号とをもとに、前記第２画素が生成する色成分の電気信号を生成する画像信号生成部と、を備えたことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理方法は、赤色、緑色および青色の波長帯域の光を含む白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記白色照明光の波長帯域よりも狭帯域の光からなる狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子から出力された前記電気信号をもとに画像信号を生成する画像処理方法であって、前記第２画素の位置における該第２画素の周辺の前記第１画素の電気信号に基づき前記第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、前記第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出ステップと、前記補間色差算出ステップで生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間ステップと、前記色差補間ステップで生成した補間後の色差信号と、前記補間色差算出ステップで生成した前記輝度成分の電気信号とをもとに、前記第２画素が生成する色成分の電気信号を生成する画像信号生成ステップと、を含むことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理プログラムは、赤色、緑色および青色の波長帯域の光を含む白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記白色照明光の波長帯域よりも狭帯域の光からなる狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子から出力された前記電気信号をもとに画像信号を生成する画像処理プログラムであって、前記第２画素の位置における該第２画素の周辺の前記第１画素の電気信号に基づき前記第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、前記第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出手順と、前記補間色差算出手順で生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間手順と、前記色差補間手順で生成した補間後の色差信号と、前記補間色差算出手順で生成した前記輝度成分の電気信号とをもとに、前記第２画素が生成する色成分の電気信号を生成する画像信号生成手順と、をコンピュータに実行させることを特徴とする。

上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡装置は、赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記白色照明光の波長帯域より狭帯域の光からなる狭帯域照明光を出射する光源部と、前記白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子と、上記の発明にかかる画像処理装置と、を備えたことを特徴とする。

本発明によれば、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができるという効果を奏する。

図１は、本発明の実施の形態１にかかる内視鏡装置の概略構成を示す図である。 図２は、本発明の実施の形態１にかかる内視鏡装置の概略構成を示す模式図である。 図３は、本発明の実施の形態１にかかる撮像素子の画素の構成を示す模式図である。 図４は、本発明の実施の形態１にかかるカラーフィルタの構成の一例を示す模式図である。 図５は、本発明の実施の形態１にかかる内視鏡装置の照明部が出射する照明光の波長と光量との関係を示すグラフである。 図６は、本発明の実施の形態１にかかる内視鏡装置の照明部が有する切替フィルタによる照明光の波長と透過率との関係を示すグラフである。 図７は、本発明の実施の形態１にかかるプロセッサ部のプレ処理部の構成を説明するブロック図である。 図８は、本発明の実施の形態１にかかるプロセッサ部の補間処理部の構成を説明するブロック図である。 図９は、本発明の実施の形態１にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。 図１０は、本発明の実施の形態１にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。 図１１は、本発明の実施の形態１にかかるプロセッサ部が行う信号処理を説明するフローチャートである。 図１２は、本発明の実施の形態１の変形例にかかる内視鏡装置の概略構成を示す模式図である。 図１３は、本発明の実施の形態１の変形例にかかる光源部の回転フィルタの構成を示す模式図である。 図１４は、本発明の実施の形態１の変形例にかかる内視鏡装置の照明部が有するフィルタによる照明光の波長と透過率との関係を示すグラフである。 図１５は、本発明の実施の形態２にかかる内視鏡装置の概略構成を示す模式図である。 図１６は、本発明の実施の形態２にかかるプロセッサ部のプレ処理部の構成を説明するブロック図である。 図１７は、本発明の実施の形態２にかかる内視鏡装置の動きベクトル検出処理部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。 図１８は、本発明の実施の形態２にかかるプロセッサ部の補間処理部の構成を説明するブロック図である。 図１９は、本発明の実施の形態２にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。 図２０は、本発明の実施の形態２にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。 図２１は、本発明の実施の形態２にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。 図２２は、本発明の実施の形態２にかかるプロセッサ部が行うデモザイキング処理の他の例を説明する模式図である。 図２３は、本発明の実施の形態２にかかるプロセッサ部が行う信号処理を説明するフローチャートである。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含み、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

なお、以下の実施の形態では、白色光をなす光の波長帯域のうちの一部の波長帯域を「狭帯域」として説明するが、該狭帯域は、白色光の波長帯域よりも狭い範囲の波長帯域であればよく、また白色光（可視光）の波長帯域の範囲外の波長帯域（例えば赤外、紫外など）を含むものであってもよい。

（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡装置の概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡装置の概略構成を示す模式図である。図１および図２に示す内視鏡装置１は、被検体の体腔内に挿入部２１を挿入することによって観察部位の体内画像を撮像して電気信号を生成する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３と、内視鏡２が取得した電気信号に所定の画像処理を施すとともに、内視鏡装置１全体の動作を統括的に制御するプロセッサ部４と、プロセッサ部４が画像処理を施した体内画像を表示する表示部５と、を備える。内視鏡装置１は、患者等の被検体の体腔内に、挿入部２１を挿入して体腔内の体内画像を取得する。医師等の使用者は、取得した体内画像の観察を行うことによって、検出対象部位である出血部位や腫瘍部位（病変部Ｓ）の有無を検査する。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源部３およびプロセッサ部４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光する画素(フォトダイオード)が格子（マトリックス）状に配列され、当該画素が受光した光に対して光電変換を行うことにより画像信号を生成する撮像素子２０２を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源部３に照明光の切替動作を行わせるための指示信号、処置具や、プロセッサ部４と接続する外部機器の操作指示信号、送水を行うための送水指示信号、および吸引を行うための吸引指示信号などを入力する複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の先端に設けられる処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２０３と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源部３とプロセッサ部４との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子２０２を駆動するための駆動用のタイミング信号を送受信するための信号線などを含む。

また、内視鏡２は、撮像光学系２０１、撮像素子２０２、ライトガイド２０３、照明用レンズ２０４、Ａ／Ｄ変換部２０５および撮像情報記憶部２０６を備える。

撮像光学系２０１は、先端部２４に設けられ、少なくとも観察部位からの光を集光する。撮像光学系２０１は、一または複数のレンズを用いて構成される。なお、撮像光学系２０１には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構が設けられていてもよい。

撮像素子２０２は、撮像光学系２０１の光軸に対して垂直に設けられ、撮像光学系２０１によって結ばれた光の像を光電変換して電気信号(画像信号)を生成する。撮像素子２０２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いて実現される。

図３は、本実施の形態１にかかる撮像素子の画素の構成を示す模式図である。撮像素子２０２は、撮像光学系２０１からの光を受光する複数の画素が、格子（マトリックス）状に配列されている。そして、撮像素子２０２は、それぞれの画素が受光した光に対して光電変換を行うことにより電気信号（画像信号等とも呼ばれる）を生成する。この電気信号には、各画素の画素値（輝度値）や画素の位置情報などが含まれる。図３では、ｉ行ｊ列目に配置されている画素を画素Ｐ_ｉｊと記している。

撮像素子２０２は、撮像光学系２０１と当該撮像素子２０２との間に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタを有するカラーフィルタ２０２ａを備える。カラーフィルタ２０２ａは、撮像素子２０２の受光面上に設けられる。

図４は、本実施の形態１にかかるカラーフィルタの構成の一例を示す模式図である。カラーフィルタ２０２ａは、２行２列のマトリックス状に並べられた４個のフィルタからなるフィルタユニットＵ１を画素Ｐ_ｉｊの配置に応じてマトリックス状に並べて配置したものである。換言すれば、カラーフィルタ２０２ａは、フィルタユニットＵ１のフィルタ配列を基本パターンとして、該基本パターンで繰り返し配置したものである。各画素の受光面には、所定の波長帯域の光を透過する一つのフィルタが各々配置される。このため、フィルタが設けられた画素Ｐ_ｉｊは、該フィルタが透過する波長帯域の光を受光する。例えば、緑色の波長帯域の光を透過するフィルタが設けられた画素Ｐ_ｉｊは、緑色の波長帯域の光を受光する。以下、緑色の波長帯域の光を受光する画素Ｐ_ｉｊをＧ画素という。同様に、青色の波長帯域の光を受光する画素をＢ画素、赤色の波長帯域の光を受光する画素をＲ画素という。

ここでのフィルタユニットＵ１は、青色（Ｂ）の波長帯域Ｈ_Ｂ、緑色（Ｇ）の波長帯域Ｈ_Ｇおよび赤色（Ｒ）の波長帯域Ｈ_Ｒの光を透過する。加えて、フィルタユニットＵ１は、波長帯域Ｈ_Ｂの光を透過する青色フィルタ（Ｂフィルタ）、波長帯域Ｈ_Ｇの光を透過する緑色フィルタ（Ｇフィルタ）、波長帯域Ｈ_Ｒの光を透過する赤色フィルタ（Ｒフィルタ）を用いて構成され、二つのＧフィルタが対角に配置されるとともに、ＢフィルタおよびＲフィルタが対角に配置された、いわゆるベイヤ配列をなしている。フィルタユニットＵ１では、Ｇフィルタの密度が、ＢフィルタおよびＲフィルタの密度に対して高い。換言すれば、撮像素子２０２において、Ｇ画素の密度がＢ画素およびＲ画素の密度に対して高い。青色、緑色および赤色の波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒは、例えば、波長帯域Ｈ_Ｂが３８０ｎｍ〜５００ｎｍ、波長帯域Ｈ_Ｇが４８０ｎｍ〜６００ｎｍ、波長帯域Ｈ_Ｒが５８０ｎｍ〜６５０ｎｍである。

図１および図２の説明に戻り、ライトガイド２０３は、グラスファイバ等を用いて構成され、光源部３が出射した光の導光路をなす。

照明用レンズ２０４は、ライトガイド２０３の先端に設けられ、ライトガイド２０３により導光された光を拡散して先端部２４の外部に出射する。

Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号をＡ／Ｄ変換し、該変換した電気信号をプロセッサ部４に出力する。Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号を、例えば１２ビットのデジタルデータ（画像信号）に変換する。

撮像情報記憶部２０６は、内視鏡２を動作させるための各種プログラム、内視鏡２の動作に必要な各種パラメータおよび当該内視鏡２の識別情報等を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記憶する識別情報記憶部２６１を有する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、伝送方式およびカラーフィルタ２０２ａにかかるフィルタの配列情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。

つぎに、光源部３の構成について説明する。光源部３は、照明部３１および照明制御部３２を備える。

照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部３１は、光源３１ａ、光源ドライバ３１ｂ、切替フィルタ３１ｃ、駆動部３１ｄ、駆動ドライバ３１ｅおよび集光レンズ３１ｆを有する。

光源３１ａは、照明制御部３２の制御のもと、赤色、緑色および青色の波長帯域Ｈ_Ｒ，Ｈ_ＧおよびＨ_Ｂの光を含む白色照明光を出射する。光源３１ａが発生した白色照明光は、切替フィルタ３１ｃや、集光レンズ３１ｆおよびライトガイド２０３を経由して先端部２４から外部に出射される。光源３１ａは、白色ＬＥＤや、キセノンランプなどの白色光を発する光源を用いて実現される。

光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに白色照明光を出射させる。

切替フィルタ３１ｃは、光源３１ａが出射した白色照明光のうち青色の狭帯域光および緑色の狭帯域光のみを透過する。切替フィルタ３１ｃは、照明制御部３２の制御のもと、光源３１ａが出射する白色照明光の光路上に挿脱自在に配置されている。切替フィルタ３１ｃは、白色照明光の光路上に配置されることにより、二つの狭帯域光のみを透過する。具体的には、切替フィルタ３１ｃは、波長帯域Ｈ_Ｂに含まれる狭帯域Ｔ_Ｂ（例えば、４００ｎｍ〜４４５ｎｍ）の光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇ（例えば、５３０ｎｍ〜５５０ｎｍ）の光と、からなる狭帯域照明光を透過する。この狭帯域Ｔ_Ｂ，Ｔ_Ｇは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。なお、狭帯域Ｔ_Ｂは、少なくとも４０５ｎｍ〜４２５ｎｍが含まれていればよい。この帯域に制限されて射出される光を狭帯域照明光といい、当該狭帯域照明光による画像の観察をもって狭帯域光観察（ＮＢＩ）方式という。

駆動部３１ｄは、ステッピングモータやＤＣモータ等を用いて構成され、切替フィルタ３１ｃを光源３１ａの光路から挿脱動作させる。

駆動ドライバ３１ｅは、照明制御部３２の制御のもと、駆動部３１ｄに所定の電流を供給する。

集光レンズ３１ｆは、光源３１ａが出射した白色照明光、または切替フィルタ３１ｃを透過した狭帯域照明光を集光して、光源部３の外部（ライトガイド２０３）に出射する。

照明制御部３２は、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させ、および駆動ドライバ３１ｅを制御して切替フィルタ３１ｃを光源３１ａの光路に対して挿脱動作させることによって、照明部３１により出射される照明光の種類（帯域）を制御する。

具体的には、照明制御部３２は、切替フィルタ３１ｃを光源３１ａの光路に対して挿脱動作させることによって、照明部３１から出射される照明光を、白色照明光および狭帯域照明光のいずれかに切り替える制御を行う。換言すれば、照明制御部３２は、波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒの光を含む白色照明光を用いた白色照明光観察（ＷＬＩ）方式と、狭帯域Ｔ_Ｂ，Ｔ_Ｇの光からなる狭帯域照明光を用いた狭帯域光観察（ＮＢＩ）方式とのいずれかの観察方式に切り替える制御を行う。

ここで、白色照明光観察（ＷＬＩ）方式では緑色成分（波長帯域Ｈ_Ｇ）が輝度成分（第１輝度成分）となり、狭帯域光観察（ＮＢＩ）方式では青色成分（狭帯域Ｔ_Ｂ）が輝度成分（第２輝度成分）となる。したがって、本実施の形態１にかかる撮像素子２０２では、Ｇ画素が第１画素に相当し、Ｂ画素およびＲ画素が第２画素に相当する。

図５は、本実施の形態１にかかる内視鏡装置の照明部が出射する照明光の波長と光量との関係を示すグラフである。図６は、本実施の形態１にかかる内視鏡装置の照明部が有する切替フィルタによる照明光の波長と透過率との関係を示すグラフである。照明制御部３２の制御により切替フィルタ３１ｃを光源３１ａの光路から外すと、照明部３１は、図５に示す白色光スペクトルのように、波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒの光を含む白色照明光を出射する。これに対し、照明制御部３２の制御により切替フィルタ３１ｃを光源３１ａの光路に挿入すると、照明部３１は、狭帯域Ｔ_Ｂ，Ｔ_Ｇの光からなる狭帯域照明光を出射する（図６参照）。

次に、プロセッサ部４の構成について説明する。プロセッサ部４は、画像処理部４１、入力部４２、記憶部４３および制御部４４を備える。

画像処理部４１は、内視鏡２（Ａ／Ｄ変換部２０５）からの電気信号をもとに所定の画像処理を実行して、表示部５が表示する画像情報を生成する。画像処理部４１は、プレ処理部４１１、補間処理部４１２および表示画像生成処理部４１３を有する。

プレ処理部４１１は、Ａ／Ｄ変換部２０５からの電気信号に対し、オプティカルブラック（Optical Black：ＯＢ）クランプ処理、ノイズ低減（Noise Reduction：ＮＲ）処理およびホワイトバランス（White Balance：ＷＢ）処理を行って、該信号処理後の画像信号を補間処理部４１２に出力する。

図７は、本実施の形態１にかかるプロセッサ部のプレ処理部の構成を説明するブロック図である。プレ処理部４１１は、ＯＢ処理部４１１１、ＮＲ処理部４１１２およびＷＢ処理部４１１３を有する。

ＯＢ処理部４１１１は、Ａ／Ｄ変換部２０５から入力される画像信号のＲ信号、Ｇ信号およびＢ信号に対してそれぞれＯＢクランプ処理を行う。ＯＢクランプ処理では、内視鏡２（Ａ／Ｄ変換部２０５）から入力された電気信号をもとに、オプティカルブラック領域に対応する所定領域の平均値を算出し、電気信号から該平均値を減算することで、黒レベルをゼロ値に補正する。

ＮＲ処理部４１１２は、制御部４４から現在の観察方式がＷＬＩであるかまたはＮＢＩであるかに関する観察方式情報を取得し、該観察方式情報に応じてノイズ低減量を変更して、ＯＢクランプ処理が施された画像信号に対してノイズ低減処理を行う。

ＷＢ処理部４１１３は、ノイズ低減処理が施された画像信号に対して、観察方式情報に基づくホワイトバランス処理を施し、ホワイトバランス処理後の画像信号を補間処理部４１２に出力する。なお、ＷＢ処理部４１１３は、狭帯域光観察（ＮＢＩ）方式により、得られたチャンネル（色成分）の信号が二つ（Ｇ信号およびＢ信号）である場合、２チャンネル間信号のバランス補正処理となり残りの１つのチャンネル（本実施の形態１ではＲ信号）はゼロ乗算する。

補間処理部４１２は、プレ処理部４１１から入力される画像信号をもとに、複数の画素の色情報（画素値）の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、少なくとも二つの色成分の信号を有するカラー画像信号を生成する。補間処理部４１２は、Ｇ補間色差算出部４１２ａ（補間色差算出部）、色差補間部４１２ｂおよびカラー画像信号生成部４１２ｃ（画像信号生成部）を有する。

Ｇ補間色差算出部４１２ａは、プレ処理部４１１から入力される画像信号に対して、Ｇ信号が欠落している画素（Ｒ画素またはＢ画素）に対してその周辺画素に基づき補間したＧ信号（以下、補間Ｇ信号という）を生成し、全ての画素位置がＧ信号または補間Ｇ信号を有するＧ信号画像を出力する。すなわち、Ｇ補間色差算出部４１２ａの補間処理により、各画素がＧ成分の画素値または補間値を有する一枚の画像を構成する画像信号が生成される。

また、Ｇ補間色差算出部４１２ａは、Ｒ画素またはＢ画素の位置に応じて各色成分の信号と補間Ｇ信号との色差をとった色差信号であるＲ−Ｇ信号またはＢ−Ｇ信号を生成し、色差画像信号として出力する。Ｇ補間色差算出部４１２ａは、生成したＧ信号画像をカラー画像信号生成部４１２ｃへ出力し、色差画像信号を色差補間部４１２ｂに出力する。

色差補間部４１２ｂは、Ｇ補間色差算出部４１２ａから入力される色差画像信号に対して各画素位置で欠落している色差信号を補間し、全ての画素位置が色差信号を有する色差画像信号をカラー画像信号生成部４１２ｃへ出力する。すなわち、色差補間部４１２ｂの補間処理により、各画素が色差信号Ｒ−ＧまたはＢ−Ｇの値を有する一枚の画像を構成する画像信号が生成される。

カラー画像信号生成部４１２ｃは、各画素位置におけるＧ信号または補間Ｇ信号と、色差信号（Ｂ−Ｇ信号またはＲ−Ｇ信号）と、をそれぞれ加算することによりＲＧＢ信号またはＧＢ信号を生成し、カラー画像信号として表示画像生成処理部４１３へ出力する。具体的には、カラー画像信号生成部４１２ｃは、観察方式がＷＬＩ方式である場合は、色差補間部４１２ｂから、Ｂ−Ｇ信号を有する色差画像信号、およびＲ−Ｇ信号を有する色差画像信号を取得し、Ｒ成分、Ｇ成分およびＢ成分の信号（ＲＧＢ信号）を生成する。一方で、カラー画像信号生成部４１２ｃは、観察方式がＮＢＩ方式である場合は、Ｒ成分の光が存在しないため、Ｂ−Ｇ補間部４１２４からＢ−Ｇ信号を有する色差画像信号のみを取得し、Ｇ成分およびＢ成分の信号（ＧＢ信号）を生成する。

表示画像生成処理部４１３は、カラー画像信号生成部４１２ｃにより生成されたカラー画像信号に対して、階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施す。表示画像生成処理部４１３は、所定の処理を施した後、該処理後の信号を表示用の表示画像信号として表示部５に出力する。

入力部４２は、プロセッサ部４に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切替ボタン、光源部３の照明光を切り替えるための照明光切替ボタンなどを含んで構成されている。

記憶部４３は、内視鏡装置１を動作させるための各種プログラム、および内視鏡装置１の動作に必要な各種パラメータ等を含むデータや、観察方式に応じたホワイトバランス係数などの画像処理に必要なデータ、本発明にかかる画像処理を実行するためのプログラムなどを記録する。また、記憶部４３は、内視鏡２にかかる情報、例えば内視鏡２の固有情報（ＩＤ）とカラーフィルタ２０２ａのフィルタ配置にかかる情報との関係テーブルなどを記憶してもよい。記憶部４３は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。

制御部４４は、ＣＰＵ等を用いて構成され、内視鏡２および光源部３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４４は、記憶部４３に記録されている撮像制御のための設定データ（例えば、読み出し対象の画素など）や、撮像タイミングにかかるタイミング信号等を、所定の信号線を介して内視鏡２へ送信する。制御部４４は、撮像情報記憶部２０６を介して取得したカラーフィルタ情報（識別情報）を画像処理部４１に出力するとともに、切替フィルタ３１ｃの挿脱動作（配置）にかかる情報を光源部３に出力する。

次に、表示部５について説明する。表示部５は、映像ケーブルを介してプロセッサ部４が生成した表示画像信号を受信して該表示画像信号に対応する体内画像を表示する。表示部５は、液晶または有機ＥＬ（Electro Luminescence）を用いて構成される。

続いて、補間処理部４１２の色差補間部４１２ｂの構成について図面を参照して説明する。図８は、本実施の形態１にかかるプロセッサ部の補間処理部の構成を説明するブロック図である。色差補間部４１２ｂは、色差分離部４１２１、Ｂ−Ｇ相関判別部４１２２、Ｂ−Ｇ補間方向判別部４１２３、Ｂ−Ｇ補間部４１２４、Ｒ−Ｇ相関判別部４１２５、Ｒ−Ｇ補間方向判別部４１２６およびＲ−Ｇ補間部４１２７を有する。

色差分離部４１２１は、Ｇ補間色差算出部４１２ａから出力された色差画像信号をＢ−Ｇ信号とＲ−Ｇ信号とに分離し、Ｂ−Ｇ信号をＢ−Ｇ相関判別部４１２２およびＢ−Ｇ補間方向判別部４１２３に出力する一方、Ｒ−Ｇ信号をＲ−Ｇ相関判別部４１２５およびＲ−Ｇ補間方向判別部４１２６に出力する。

図９は、本実施の形態１にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。分離されたＢ−Ｇ信号およびＲ−Ｇ信号は、図９に示す模式図のように、Ｂ画素位置およびＲ画素位置に応じてそれぞれ配置されている。

Ｂ−Ｇ相関判別部４１２２は、色差分離部４１２１から出力されたＢ−Ｇ信号に対して、Ｒ−Ｇ信号を有するＲ画素を注目画素とし、該注目画素に隣接する画素のＢ−Ｇ信号の相関を算出する。図１０は、本実施の形態１にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。具体的には、Ｂ−Ｇ相関判別部４１２２は、図１０に示すように、注目画素（画素Ｐ_ｉｊ）の座標を（ｋ，ｌ）とし、隣接する４つの画素位置におけるＢ−Ｇ信号の色差信号値をＢ−Ｇ（ｋ−１，ｌ−１）、Ｂ−Ｇ（ｋ＋１，ｌ−１）、Ｂ−Ｇ（ｋ−１，ｌ＋１）、Ｂ−Ｇ（ｋ＋１，ｌ＋１）とすると、斜め上方向の相関値Ｓｓは下式（１）に基づいて算出する。以下、斜め上方向とは、図３に示す画素の配置において左下から右上に向かう方向とし、斜め下方向とは、図３に示す画素の配置において左上から右下に向かう方向とする。また、外縁に位置する画素など、隣接する画素が存在しない場合は、例えば、折り返した位置にある画素の信号値を用いる。

また、Ｂ−Ｇ相関判別部４１２２は、斜め下方向の相関値Ｓｂを下式（２）に基づいて算出する。

なお、上記式（１）および（２）では、斜め方向に位置する二つの画素の信号値を用いて算出しているが、これに限定されるものではない。注目画素を中心に同一方向でより離れた画素でのＢ−Ｇ信号を利用する事で算出した相関値の信頼度を向上させることができる。

Ｂ−Ｇ相関判別部４１２２は、相関値ＳｓおよびＳｂの差分絶対値｜Ｓｓ−Ｓｂ｜が予め指定された閾値より大きい場合、相関値ＳｓおよびＳｂのうち小さな値である相関値の方向を、相関が高い方向であると判定する。一方、Ｂ−Ｇ相関判別部４１２２は、差分絶対値｜Ｓｓ−Ｓｂ｜が閾値よりも小さい場合、特定方向の相関はないと判定する。Ｂ−Ｇ相関判別部４１２２は、「斜め上方向」、「斜め下方向」および「特定方向の相関なし」のいずれかを示す判定情報をＢ−Ｇ補間方向判別部４１２３に出力する。なお、閾値は、信号に含まれるノイズを考慮した値として設定される。

Ｂ−Ｇ補間方向判別部４１２３は、Ｂ−Ｇ相関判別部４１２２からの判定情報と、Ｂ−Ｇ信号の色差信号値を用いて、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（３）〜（５）に示すいずれかの式で算出する。
〔判定情報が「斜め上方向」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「斜め上方向」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（３）に基づいて算出する。

〔判定情報が「斜め下方向」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「斜め下方向」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（４）に基づいて算出する。

〔判定情報が「特定方向の相関なし」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「特定方向の相関なし」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（５）に基づいて算出する。

なお、上記式（５）は周辺の四つの画素のＢ−Ｇ信号の平均値としたが、より高い空間周波数を保持できる周辺の十六個の画素以上のＢ−Ｇ信号を使った補間を行ってもよい。

Ｂ−Ｇ補間方向判別部４１２３は、注目画素（ｋ，ｌ）に対する補間色差信号値Ｂ−Ｇ（ｋ，ｌ）の算出により、補間された色差信号を含むＢ−Ｇ信号が市松状に配置された色差Ｂ−Ｇについての色差信号をＢ−Ｇ補間部４１２４に出力する。

Ｂ−Ｇ補間部４１２４は、Ｂ−Ｇ補間方向判別部４１２３からの色差信号（Ｂ−Ｇ信号）に対して欠落している画素位置にＢ−Ｇ信号の補間色差信号値を算出する。Ｂ−Ｇ補間部４１２４は、例えば、図１０に示す画素の配置において欠落している画素位置（ｋ，ｌ−１）の補間値Ｂ−Ｇ（ｋ，ｌ−１）を下式（６）に基づいて算出する。

なお、上記式（６）は周辺の四つの画素のＢ−Ｇ信号の平均値としたが、より高い空間周波数を保持できる周辺の十六個の画素以上のＢ−Ｇ信号を使った補間を行ってもよい。

Ｂ−Ｇ補間部４１２４は、Ｂ−Ｇ信号の欠落画素位置に対する補間色差信号値の算出により、全画素位置がＢ−Ｇ信号を有する色差画像信号をカラー画像信号生成部４１２ｃに出力する。すなわち、Ｂ−Ｇ補間部４１２４の補間処理により、各画素が色差Ｂ−Ｇについての色差信号値または補間色差信号値を有する一枚の画像を構成する色差信号が生成される。

Ｒ−Ｇ相関判別部４１２５は、Ｂ−Ｇ相関判別部４１２２と同様にして、色差分離部４１２１から出力されたＲ−Ｇ信号に対して、Ｂ−Ｇ信号を有するＢ画素を注目画素とし、該注目画素に隣接する画素のＲ−Ｇ信号の相関を算出する。Ｒ−Ｇ相関判別部４１２５は、式（１）および（２）において、ＢをＲと読み替えて相関値ＳｓおよびＳｂを算出する。Ｒ−Ｇ相関判別部４１２５は、相関値Ｓｓ、相関値Ｓｂ、差分絶対値｜Ｓｓ−Ｓｂ｜および閾値をもとに、「斜め上方向」、「斜め下方向」および「特定方向の相関なし」のいずれかを判定し、該判定結果を示す判定情報をＲ−Ｇ補間方向判別部４１２６に出力する。

Ｒ−Ｇ補間方向判別部４１２６は、Ｂ−Ｇ補間方向判別部４１２３と同様にして、Ｒ−Ｇ相関判別部４１２５からの判定情報と、Ｒ−Ｇ信号の色差信号値を用いて、注目画素（ｋ，ｌ）にＲ−Ｇ信号の補間色差信号値Ｒ−Ｇ（ｋ，ｌ）を上式（３）〜（５）に示すいずれかの式で算出する。Ｒ−Ｇ補間方向判別部４１２６は、式（３）〜（５）において、ＢをＲと読み替えて補間色差信号値Ｒ−Ｇ（ｋ，ｌ）を算出する。Ｒ−Ｇ補間方向判別部４１２６は、注目画素（ｋ，ｌ）に対する補間色差信号値Ｒ−Ｇ（ｋ，ｌ）の算出により、補間された色差信号を含むＲ−Ｇ信号が市松状に配置された色差Ｒ−Ｇについての色差信号をＲ−Ｇ補間部４１２７に出力する。

Ｒ−Ｇ補間部４１２７は、Ｂ−Ｇ補間部４１２４と同様にして、Ｒ−Ｇ補間方向判別部４１２６からの色差信号（Ｒ−Ｇ信号）に対して欠落している画素位置にＲ−Ｇ信号の補間色差信号値を算出する。Ｒ−Ｇ補間部４１２７は、Ｒ−Ｇ信号の欠落画素位置に対する補間色差信号値の算出により、全画素位置がＲ−Ｇ信号を有する色差画像信号をカラー画像信号生成部４１２ｃに出力する。すなわち、Ｒ−Ｇ補間部４１２７の補間処理により、各画素が色差Ｒ−Ｇについての色差信号値または補間色差信号値を有する一枚の画像を構成する色差信号が生成される。

色差補間部４１２ｂは、上述した補間処理により、色差信号をカラー画像信号生成部４１２ｃに出力する。ここで、観察方式がＷＬＩ方式である場合は、Ｂ−Ｇ補間部４１２４およびＲ−Ｇ補間部４１２７から、Ｂ−Ｇ信号を有する色差画像信号、およびＲ−Ｇ信号を有する色差画像信号がそれぞれ出力される。一方で、観察方式がＮＢＩ方式である場合は、Ｒ成分の光が存在しないため、カラー画像信号生成部４１２ｃには、Ｂ−Ｇ補間部４１２４からＢ−Ｇ信号を有する色差画像信号のみが入力される。

続いて、プロセッサ部４が行う信号処理（画像処理方法）について図面を参照して説明する。図１１は、本実施の形態１にかかるプロセッサ部が行う信号処理を説明するフローチャートである。プロセッサ部４は、内視鏡２（先端部２４）から電気信号を取得すると、この電気信号を、プレ処理部４１１に出力する（ステップＳ１０１）。内視鏡２からの電気信号は、撮像素子２０２により生成され、Ａ／Ｄ変換部２０５によってデジタル信号に変換されたＲＡＷ画像データを含む信号である。

電気信号がプレ処理部４１１に入力されると、プレ処理部４１１は、上述したＯＢクランプ処理、ノイズ低減処理およびホワイトバランス処理を行って、該信号処理後の画像信号を補間処理部４１２に出力する（ステップＳ１０２）。

プレ処理部４１１により信号処理が施された電気信号が補間処理部４１２に入力されると、Ｇ補間色差算出部４１２ａが、Ｇ信号が欠落している画素（Ｒ画素またはＢ画素）に対して補間Ｇ信号を生成し、全ての画素位置がＧ信号（画素値）または補間Ｇ信号（補間値）を有するＧ信号画像をカラー画像信号生成部４１２ｃに出力する。（ステップＳ１０３）。

その後、Ｇ補間色差算出部４１２ａは、入力された電気信号が、白色照明光観察方式および狭帯域光観察方式のうちどちらの観察方式により生成されたものかを判断する（ステップＳ１０４）。具体的には、Ｇ補間色差算出部４１２ａは、制御部４４からの制御信号（例えば、照明光にかかる情報や、観察方式を示す情報）に基づいて、どちらの観察方式により生成されたものかを判断する。

Ｇ補間色差算出部４１２ａは、入力された電気信号が、白色照明光観察方式により生成されたものであると判断すると（ステップＳ１０４；ＷＬＩ）、Ｒ画素およびＢ画素の位置に応じて各色成分の信号と補間Ｇ信号との色差をとった色差信号であるＲ−Ｇ信号およびＢ−Ｇ信号を生成し、色差画像信号として色差補間部４１２ｂに出力する（ステップＳ１０５）。

これに対し、Ｇ補間色差算出部４１２ａは、入力された電気信号が、狭帯域光観察方式により生成されたものであると判断すると（ステップＳ１０４；ＮＢＩ）、Ｂ画素の位置に応じてＢ成分の信号と補間Ｇ信号との色差をとった色差信号であるＢ−Ｇ信号を生成し、色差画像信号として色差補間部４１２ｂに出力する（ステップＳ１０６）。なお、ステップＳ１０３〜Ｓ１０６の処理内容が、本発明にかかる補間色差算出ステップ（補間色差算出手順）に相当する。

色差補間部４１２ｂは、Ｇ補間色差算出部４１２ａから取得した色差画像信号に基づいて色差補間処理を行う（ステップＳ１０７）。具体的には、色差補間部４１２ｂは、Ｇ補間色差算出部４１２ａから入力される色差画像信号に対して各画素位置で欠落している色差信号を補間し、全ての画素位置が色差信号を有する色差画像信号をカラー画像信号生成部４１２ｃへ出力する。すなわち、色差補間部４１２ｂの補間処理により、白色照明光観察方式であれば、各画素が色差信号Ｒ−ＧおよびＢ−Ｇの値を有する一枚の画像を構成する画像信号が生成され、狭帯域光観察方式であれば、各画素が色差信号Ｂ−Ｇの値を有する一枚の画像を構成する画像信号が生成される。なお、ステップＳ１０７の処理内容が、本発明にかかる色差補間ステップ（色差補間手順）に相当する。

カラー画像信号生成部４１２ｃは、Ｇ補間色差算出部４１２ａで生成されたＧ成分の画素値および補間値、ならびに色差補間部４１２ｂで生成された色差画像信号の信号値を用いて、カラー画像を構成するカラー画像信号を生成する（ステップＳ１０８）。具体的には、カラー画像信号生成部４１２ｃは、各画素位置におけるＧ信号または補間Ｇ信号と、色差信号（Ｂ−Ｇ信号またはＲ−Ｇ信号）と、をそれぞれ加算することによりＲＧＢ信号またはＧＢ信号を生成し、カラー画像信号として表示画像生成処理部４１３へ出力する。なお、ステップＳ１０８の処理内容が、本発明にかかる画像信号生成ステップ（画像信号生成手順）に相当する。

表示画像生成処理部４１３は、カラー画像信号生成部４１２ｃにより生成されたカラー画像信号に対して、階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施して表示用の表示画像信号を生成する（ステップＳ１０９）。表示画像生成処理部４１３は、所定の処理を施した後、表示画像信号として表示部５に出力する。

上述した本実施の形態１によれば、ＷＬＩ方式とＮＢＩ方式とを切り替え可能な内視鏡装置において、Ｂ−Ｇ信号に対して、注目画素位置にその周辺のＢ−Ｇ信号のみを使用してより高い相関方向を決定し、決定された相関が高い方向のＢ−Ｇ信号を使って補間するようにしたので、粘膜表層の毛細血管、粘膜中層の血管、および粘膜深層の血管に関しても血管走行経路に沿った方向で補間し、特にＮＢＩ方式におけるＢ−Ｇ信号の解像力を維持することが可能となる。Ｂ−Ｇ信号の解像力を維持できれば、カラー画像信号生成部４１２ｃによりＢ−Ｇ信号にＧ信号を加算して算出されるＢ信号の解像力も維持することができる。つまり、上述した補間処理により、粘膜表層の毛細血管の描出を受け持つＢ信号の解像力を維持することが可能となる。本実施の形態１によれば、ＷＬＩ方式ではＧ画素の密度が高いベイヤ配列により生成された電気信号に基づいた画像信号の生成処理を行うため、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。

（実施の形態１の変形例）
図１２は、本発明の実施の形態１の変形例にかかる内視鏡装置の概略構成を示す模式図である。上述した実施の形態１では、光源部３が、切替フィルタ３１ｃを有し、該切替フィルタ３１ｃの挿脱により白色照明光観察方式と、狭帯域Ｔ_Ｂ，Ｔ_Ｇの光からなる狭帯域照明光を用いた狭帯域光観察方式とのいずれかの観察方式に切り替えるものとして説明したが、本変形例では、光源部３に代えて光源部３ａを有し、回転フィルタ３１ｇにより観察方式を切り替える。

本変形例にかかる内視鏡装置１ａは、上述した内視鏡２、プロセッサ部４、表示部５と、内視鏡２の先端から出射する照明光を発生する光源部３ａと、を備える。光源部３ａは、照明部３１および照明制御部３２を備える。照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部３１は、上述した光源３１ａ、光源ドライバ３１ｂ、駆動部３１ｄ、駆動ドライバ３１ｅおよび集光レンズ３１ｆと、回転フィルタ３１ｇと、を有する。

図１３は、本発明の実施の形態１の変形例にかかる光源部の回転フィルタの構成を示す模式図である。回転フィルタ３１ｇは、回転軸３１０と、回転軸３１０に支持された円板状をなす回転部３１１と、を有する。回転部３１１は、主面を三つに分割した領域にそれぞれ配置される三つのフィルタ（フィルタ３１２〜３１４）を有する。

フィルタ３１２は、赤色、緑色および青色の波長帯域Ｈ_Ｒ，Ｈ_ＧおよびＨ_Ｂの光を含む白色照明光を透過する。

フィルタ３１３は、波長帯域Ｈ_Ｂに含まれる狭帯域Ｔ_Ｂ（例えば、４００ｎｍ〜４４５ｎｍ）の光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇ（例えば、５３０ｎｍ〜５５０ｎｍ）の光と、からなる狭帯域照明光（本変形例では、第１狭帯域照明光とする）を透過する。フィルタ３１３により透過される光は、上述した狭帯域光観察（ＮＢＩ）方式の狭帯域照明光に相当する。

図１４は、本発明の実施の形態１の変形例にかかる内視鏡装置の照明部が有するフィルタによる照明光の波長と透過率との関係を示すグラフである。フィルタ３１４は、波長帯域Ｈ_Ｒに含まれる狭帯域Ｔ_Ｒの光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇの光と、からなる狭帯域照明光（本変形例では、第２狭帯域照明光とする）を透過する。なお、フィルタ３１４が透過する狭帯域Ｔ_Ｇの光は、上述した狭帯域光観察（ＮＢＩ）方式の狭帯域Ｔ_Ｇの光と同じであってもよいし、異なる帯域のものであってもよい。第２狭帯域照明光では、赤色成分（狭帯域Ｔ_Ｒ）および緑色成分（狭帯域Ｔ_Ｇ）のうち、例えば変化の大きい色成分が輝度成分として選択される。

照明制御部３２は、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させ、および駆動ドライバ３１ｅを制御して回転フィルタ３１ｇ（回転軸３１０）を回転させてフィルタ３１２〜３１４のうちのいずれかのフィルタを光源３１ａの光路上に配置することによって、照明部３１により出射される照明光の種類（帯域）を制御する。

本変形例においても、画像処理部４１は、上述した信号処理を施して、表示画像信号を生成する。なお、第２狭帯域照明光による観察である場合は、Ｂ成分の光が存在しないため、カラー画像信号生成部４１２ｃには、Ｒ−Ｇ補間部４１２７からＲ−Ｇ信号を有する色差画像信号のみが入力され、カラー画像信号生成部４１２ｃにより、Ｒ成分およびＧ成分の信号（ＲＧ信号）が生成される。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１５は、本実施の形態２にかかる内視鏡装置の概略構成を示す模式図である。なお、上述したものと同じ構成要素には同じ符号を付してある。上述した実施の形態１では、１フレームを用いて補間処理を行うものとして説明したが、本実施の形態２では、過去のフレームを含む複数のフレームを用いて補間処理を行う。

本実施の形態２にかかる内視鏡装置１ｂは、上述した内視鏡２、光源部３、表示部５と、内視鏡２が取得した電気信号に所定の画像処理を施すとともに、内視鏡装置１ｂ全体の動作を統括的に制御するプロセッサ部４ａと、を備える。プロセッサ部４ａは、画像処理部４１、入力部４２、記憶部４３および制御部４４を備える。

画像処理部４１は、内視鏡２（Ａ／Ｄ変換部２０５）からの電気信号をもとに所定の画像処理を実行して、表示部５が表示する画像情報を生成する。画像処理部４１は、上述した表示画像生成処理部４１３と、プレ処理部４１１ａおよび補間処理部４１２ｄと、を有する。

プレ処理部４１１ａは、上述したプレ処理部４１１と同様、Ａ／Ｄ変換部２０５からの電気信号に対し、ＯＢクランプ処理、ノイズ低減処理およびホワイトバランス処理を行って、該信号処理後の画像信号を補間処理部４１２ｄに出力する。

図１６は、本実施の形態２にかかるプロセッサ部のプレ処理部の構成を説明するブロック図である。プレ処理部４１１ａは、上述したＯＢ処理部４１１１、ＮＲ処理部４１１２およびＷＢ処理部４１１３と、フレームメモリ４１１４と、動き補償部４１１５と、を有する。

フレームメモリ４１１４は、ＮＲ処理部４１１２によってノイズ低減処理が施された１フレーム分の画像信号を記憶し、動き補償部４１１５に出力する。

動き補償部４１１５は、過去フレームの画像信号に基づく第１動き検出用画像、および現在のフレームの画像信号に基づく第２動き検出用画像を用いて、公知のブロックマッチング法により、第１および第２動き検出用画像との間の画像の動きを動きベクトルとして検出する。

図１７は、本実施の形態２にかかる内視鏡装置の動きベクトル検出処理部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。動き補償部４１１５は、フレームメモリ４１１４から出力された時間ｔが異なる過去フレーム（現在のフレームより一つ前のフレーム）の画像信号に基づく第１動き検出用画像Ｆ１と、ＯＢ処理部４１１１から出力された現在のフレームの画像信号に基づく第２動き検出用画像Ｆ２と、に対し、図４に示すフィルタユニットＵ１のＲ信号、Ｇ信号（２つのＧ信号）およびＢ信号を各々加算平均することで疑似的な輝度信号を生成する。動き検出の方法は、例えば、一般的なブロックマッチング処理により検出する。具体的には、第２動き検出用画像Ｆ２の画素Ｍ１が第１動き検出用画像Ｆ１のどの位置に移動したかを検出する。動き補償部４１１５は、画素Ｍ１を中心としたブロックＢ１（小領域）をテンプレートとして、第１動き検出用画像Ｆ１において第２動き検出用画像Ｆ２の画素Ｍ１の位置と同じ位置の画素ｆ_１を中心に、第１動き検出用画像Ｆ１をブロックＢ１のテンプレートで走査し、テンプレート間の差分絶対値和が最も小さい位置の中心画素を画素Ｍ１’とする。動き補償部４１１５は、第１動き検出用画像Ｆ１において画素Ｍ１（画素ｆ_１）から画素Ｍ１’への動き量Ｙ１を動きベクトルとして検出し、この処理を画像処理対象の全ての画素に対して行う。以下、画素Ｍ１の座標を（ｘ，ｙ）とし、座標（ｘ，ｙ）における動きベクトルのｘ成分をＶｘ（ｘ，ｙ）、ｙ成分をＶｙ（ｘ，ｙ）と記載する。なお、ｘ方向は、図３に示す画素の左右（水平）方向に相当し、ｙ方向は上下（垂直）方向に相当するものとして説明する。また、第１動き検出用画像Ｆ１における画素Ｍ１’の座標を（ｘ’，ｙ’）とすると、ｘ’およびｙ’は、下式（７）、（８）でそれぞれ定義される。動き補償部４１１５は、検出した動きベクトル（画素Ｍ１，Ｍ１’の位置を含む）情報を補間処理部４１２ｄに出力する。

また、動き補償部４１１５は、検出した画素毎の動きベクトルに基づいてフレームメモリ４１１４から出力された１フレーム前の画像信号と現在のフレームの画像信号との位置合わせ（第１動き検出用画像Ｆ１と第２動き検出用画像Ｆ２との位置合わせ）を行い、動き補償済み画像信号を生成する。生成した動き補償済み画像信号はＮＲ処理部４１１２へ出力される。

ＮＲ処理部４１１２は、ＯＢ処理部４１１１から出力された現在のフレームの画像信号と、動き補償部４１１５から出力された動き補償済み画像信号と、の間で画素毎に所定重みで加重平均をすることにより、現在のフレームの画像信号のノイズを低減し、ノイズ低減後の画像信号をＷＢ処理部４１１３およびフレームメモリ４１１４に出力する。ここで加重加算の所定重み量は、制御部４４からの観察方式情報に基づき決定される。

補間処理部４１２ｄは、プレ処理部４１１ａから入力される画像信号および動きベクトル情報をもとに、複数の画素の色情報（画素値）の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、少なくとも二つの色成分の信号を有するカラー画像信号を生成する。補間処理部４１２は、上述したＧ補間色差算出部４１２ａおよびカラー画像信号生成部４１２ｃと、色差補間部４１２ｅと、過去色差記憶部４１２ｆと、を有する。

色差補間部４１２ｅは、Ｇ補間色差算出部４１２ａから入力される色差画像信号に対し、動きベクトル情報を参照して、各画素位置で欠落している色差信号を補間し、全ての画素位置が色差信号を有する色差画像信号をカラー画像信号生成部４１２ｃへ出力する。すなわち、色差補間部４１２ｅの補間処理により、各画素が色差信号Ｒ−ＧまたはＢ−Ｇの値を有する一枚の画像を構成する画像信号が生成される。

過去色差記憶部４１２ｆは、リングバッファとなる複数のフレームメモリを用いて構成されており、Ｇ補間色差算出部４１２ａから出力される色差画像信号をフレームメモリに格納する。ここで記録するフレームメモリは、少なくとも１フレーム期間前の色差画像信号である。当然のことながら複数フレーム期間分の色差信号画像を記憶してもよいのは言うまでもない。

続いて、補間処理部４１２ｄの色差補間部４１２ｅの構成について図面を参照して説明する。図１８は、本実施の形態２にかかるプロセッサ部の補間処理部の構成を説明するブロック図である。色差補間部４１２ｅは、上述した色差分離部４１２１、Ｂ−Ｇ相関判別部４１２２、Ｂ−Ｇ補間方向判別部４１２３、Ｂ−Ｇ補間部４１２４、Ｒ−Ｇ相関判別部４１２５、Ｒ−Ｇ補間方向判別部４１２６およびＲ−Ｇ補間部４１２７と、過去色差分離部４１２８と、色差動き補償部４１２９と、を有する。

過去色差分離部４１２８は、過去色差記憶部４１２ｆを参照して１フレーム前の色差画像信号を取得する。本実施の形態２において、過去色差分離部４１２８は、Ｂ−Ｇ信号のみを抽出して色差動き補償部４１２９へ出力する。

色差動き補償部４１２９は、プレ処理部４１１ａから出力される動きベクトル情報と、過去色差分離部４１２８から出力される過去フレームの色差信号であるＢ−Ｇ信号と、色差分離部４１２１から出力される現在のフレームのＢ−Ｇ信号と、に基づいてＢ−Ｇ信号の修正を行う。色差動き補償部４１２９は、修正したＢ−Ｇ信号を含む色差画像信号をＢ−Ｇ相関判別部４１２２およびＢ−Ｇ補間方向判別部４１２３に出力する。なお、ここでの動きベクトルの精度は１画素精度とする。

具体的には、色差動き補償部４１２９は、Ｂ−Ｇ信号の修正に関して、図１９〜図２１に示すように、現在のフレームの色差信号が欠落している画素位置に対して、動きベクトル情報をもとに過去フレームの色差信号を埋める処理を行う。図１９〜図２１は、本実施の形態２にかかるプロセッサ部が行うデモザイキング処理を説明する模式図である。ここで、図１９〜図２１では、過去フレームの色差信号を（Ｂ−Ｇ）ｐとする。

〔動きベクトルのＶｘ（ｘ，ｙ）が奇数、Ｖｙ（ｘ，ｙ）が０を含む偶数である場合〕
この場合は、図１９に示すように、Ｂ−Ｇ（ｋ−１，ｌ−１）およびＢ−Ｇ（ｋ−１，ｌ＋１）の間と、Ｂ−Ｇ（ｋ＋１，ｌ−１）およびＢ−Ｇ（ｋ＋１，ｌ＋１）との間の画素位置に対応する動きベクトルで補償された過去フレームの色差信号（Ｂ−Ｇ）ｐ（ｋ−１，ｌ）、（Ｂ−Ｇ）ｐ（ｋ＋１，ｌ）がそれぞれ挿入される。

〔動きベクトルのＶｘ（ｘ，ｙ）が０を含む偶数、Ｖｙ（ｘ，ｙ）が奇数である場合〕
この場合は、図２０に示すように、Ｂ−Ｇ（ｋ−１，ｌ−１）およびＢ−Ｇ（ｋ＋１，ｌ−１）の間と、Ｂ−Ｇ（ｋ−１，ｌ＋１）およびＢ−Ｇ（ｋ＋１，ｌ＋１）の間との画素位置に対応する動きベクトルで補償された過去フレームの色差信号（Ｂ−Ｇ）ｐ（ｋ，ｌ−１）、（Ｂ−Ｇ）ｐ（ｋ，ｌ＋１）がそれぞれ挿入される。

〔動きベクトルのＶｘ（ｘ，ｙ）が奇数、Ｖｙ（ｘ，ｙ）が奇数である場合〕
この場合は、図２１に示すように、注目画素（ｋ，ｌ）に対応する動きベクトルで補償された過去フレームの色差信号（Ｂ−Ｇ）ｐ（ｋ，ｌ）が挿入される。

〔動きベクトルのＶｘ（ｘ，ｙ）およびＶｙ（ｘ，ｙ）が上記以外の場合〕
動きベクトルの垂直水平成分が上記以外の場合には、過去フレームの色差信号の配置が図１０で示した色差信号の配置と同等となり、注目画素（ｋ，ｌ）を含む周辺画素に過去フレームの色差信号（Ｂ−Ｇ）ｐは挿入されない。

なお、２フレーム前の信号についても、１フレーム前の動きベクトルと現在のフレームの動きベクトルと、過去色差記憶部４１２ｆに記憶しておいた２フレーム前の色差信号と、を利用すれば注目画素（ｋ，ｌ）とその周辺画素との位置で欠落している色差信号をより多く挿入することができる。色差信号が挿入されたパターンは、図１９〜図２１に示すパターンの少なくともいずれか二つの挿入パターンが組み合わされたものとなる。

図２２は、本実施の形態２にかかるプロセッサ部が行うデモザイキング処理の他の例を説明する模式図である。当然のことながら、Ｎフレーム前（Ｎは２以上の整数）の色差信号とＮフレーム前までの動きベクトルを利用できれば図２１に示すように注目画素（ｋ，ｌ）と周辺画素との位置に欠落している色差信号を全て埋めることも可能である。Ｎフレーム前まで利用して動き補償を行う場合、同じ位置へ挿入される色差信号は、現在のフレームに時系列的に近い色差信号（Ｂ−Ｇ）ｐであることが好ましい。

以上のように、色差動き補償部４１２９は、過去フレームの色差信号（Ｂ−Ｇ）ｐが挿入された動き補償済みＢ−Ｇ信号を含む色差画像信号をＢ−Ｇ相関判別部４１２２およびＢ−Ｇ補間方向判別部４１２３に出力するとともに、色差信号（Ｂ−Ｇ）ｐがどの画素位置に挿入されたかを示す挿入位置判定情報（図１９〜図２１に示すパターン等を判別するインデックス）をＢ−Ｇ相関判別部４１２２に出力する。

Ｂ−Ｇ相関判別部４１２２は、色差動き補償部４１２９から色差画像信号および挿入位置判定情報を取得すると、上述したように、最も相関の高い方向の判定処理を行う。

〔動きベクトルのＶｘ（ｘ，ｙ）が奇数、Ｖｙ（ｘ，ｙ）が０を含む偶数である場合〕
Ｂ−Ｇ相関判別部４１２２は、例えば、実施の形態１で説明した相関値ＳｓおよびＳｂの他に、水平方向の相関値Ｓｈを下式（９）に基づいて算出する。水平方向とは、図３に示す画素の配置において左右方向とする。

Ｂ−Ｇ相関判別部４１２２は、相関値Ｓｓ、ＳｂおよびＳｈのうち最小となる相関値と２番目に小さい相関値とを選択する。Ｂ−Ｇ相関判別部４１２２は、選択した二つの相関値の差分絶対値が閾値より大きい場合には最小の相関値に応じた方向を最も相関が高い方向として判定し、差分絶対値が閾値より小さい場合には特定方向の相関はないと判定する。Ｂ−Ｇ相関判別部４１２２は、「斜め上方向」、「斜め下方向」、「水平方向」、「特定方向の相関なし」のうちのいずれかの判定結果を示す判定情報をＢ−Ｇ補間方向判別部４１２３に出力する。

〔動きベクトルのＶｘ（ｘ，ｙ）が０を含む偶数、Ｖｙ（ｘ，ｙ）が奇数である場合〕
Ｂ−Ｇ相関判別部４１２２は、例えば、実施の形態１で説明した相関値ＳｓおよびＳｂの他に、垂直方向の相関値Ｓｖを下式（１０）に基づいて算出する。垂直方向とは、図３に示す画素の配置において上下方向とする。

Ｂ−Ｇ相関判別部４１２２は、相関値Ｓｓ、ＳｂおよびＳｖのうち最小となる相関値と２番目に小さい相関値とを選択する。Ｂ−Ｇ相関判別部４１２２は、選択した二つの相関値の差分絶対値が予め指定された閾値より大きい場合には最小の相関値に応じた方向を最も相関が高い方向として判定し、差分絶対値が閾値より小さい場合には特定方向の相関は無いと判定する。Ｂ−Ｇ相関判別部４１２２は、「斜め上方向」、「斜め下方向」、「垂直方向」、「特定方向の相関なし」のうちのいずれかの判定結果を示す判定情報をＢ−Ｇ補間方向判別部４１２３に出力する。

〔動きベクトルのＶｘ（ｘ，ｙ）が奇数、Ｖｙ（ｘ，ｙ）が奇数である場合〕
Ｂ−Ｇ相関判別部４１２２は、例えば、現在のフレームの色差信号と、過去のフレームの色差信号とを用いて、斜め上方向および斜め下方向の相関値を算出する。具体的には、Ｂ−Ｇ相関判別部４１２２は、斜め上方向の相関値Ｓｓｐを下式（１１）に基づいて算出する。

また、Ｂ−Ｇ相関判別部４１２２は、斜め下方向の相関値Ｓｂｐを下式（１２）に基づいて算出する。

Ｂ−Ｇ相関判別部４１２２は、相関値ＳｓｐおよびＳｂｐの差分絶対値｜Ｓｓｐ−Ｓｂｐ｜が閾値より大きい場合には値の小さい相関値に応じた方向を最も相関が高い方向として判定し、差分絶対値｜Ｓｓｐ−Ｓｂｐ｜が閾値より小さい場合には特定方向の相関はないと判定する。Ｂ−Ｇ相関判別部４１２２は、「斜め上方向」、「斜め下方向」、「特定方向の相関なし」のうちのいずれかの判定結果を示す判定情報をＢ−Ｇ補間方向判別部４１２３に出力する。

同様に、図２２に示すような、過去の色差信号によりすべての画素位置に色差信号が埋まっている場合には、Ｂ−Ｇ相関判別部４１２２は、４つの方向（「斜め上方向」、「斜め下方向」、「水平方向」および「垂直方向」）の相関値をそれぞれ算出する。Ｂ−Ｇ相関判別部４１２２は、この差分絶対値が閾値より大きい場合は、最小の相関値の方向を最も相関が高い方向であると判定する。また、Ｂ−Ｇ相関判別部４１２２は、差分絶対値が閾値よりも小さい場合は、特定方向の相関はないと判定する。この場合、「斜め上方向」、「斜め下方向」、「水平方向」、「垂直方向」および「特定方向の相関なし」のうちのいずれかの判定結果を示す判定情報をＢ−Ｇ補間方向判別部４１２３に出力する。

Ｂ−Ｇ補間方向判別部４１２３は、Ｂ−Ｇ相関判別部４１２２からの判定情報と、過去フレームの色差信号を含むＢ−Ｇ信号の色差信号値と、を用いて、注目画素（ｋ，ｌ）にＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（１３）〜（１７）に示すいずれかの式で算出する。

〔判定情報が「斜め上方向」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「斜め上方向」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（１３）に基づいて算出する。

〔判定情報が「斜め下方向」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「斜め下方向」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（１４）に基づいて算出する。

〔判定情報が「垂直方向」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「垂直方向」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（１５）に基づいて算出する。

〔判定情報が「水平方向」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「水平方向」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（１６）に基づいて算出する。

〔判定情報が「特定方向の相関なし」の場合〕
Ｂ−Ｇ補間方向判別部４１２３は、判定情報が「特定方向の相関なし」の場合、注目画素（ｋ，ｌ）におけるＢ−Ｇ信号の補間色差信号値Ｂ−Ｇ（ｋ，ｌ）を下式（１７）に基づいて算出する。

なお、上記式（１７）は周辺の四つの画素のＢ−Ｇ信号の平均値としたが、より高い空間周波数を保持できる周辺の十六個の画素以上のＢ−Ｇ信号を使った補間を行ってもよい。

Ｂ−Ｇ補間方向判別部４１２３は、注目画素（ｋ，ｌ）に対する補間色差信号値Ｂ−Ｇ（ｋ，ｌ）の算出により、補間された色差信号を含むＢ−Ｇ信号が市松状に配置された色差Ｂ−Ｇについての色差信号をＢ−Ｇ補間部４１２４に出力する。以降、上述した実施の形態１と同様にして、画像処理部に４１において表示画像信号を生成する。

また、Ｒ−Ｇ信号についても、上述したＢ−Ｇ信号と同様に、過去フレームの情報を利用した方向判別補間処理を行うものであってもよい。

上述した補間処理では、補間処理部４１２ｄの前段（プレ処理部４１１ａ）で画素毎の動き検出を行うようにしたので、その結果を補間処理部４１２ｄの色差信号の方向判別補間の判定に利用することが可能になる。当然であるが、各画素の動き検出処理を補間処理部４１２ｄの中で行うようにしてもよいのは言うまでもない。

続いて、プロセッサ部４ａが行う信号処理について図面を参照して説明する。図２３は、本実施の形態２にかかるプロセッサ部が行う信号処理を説明するフローチャートである。プロセッサ部４ａは、内視鏡２（先端部２４）から電気信号を取得すると、上述した実施の形態１におけるステップＳ１０１〜Ｓ１０６までの処理と同等の処理を行い、Ｇ成分の画素値および補間値、ならびに色差画像信号の信号値を生成する（ステップＳ２０１〜Ｓ２０６）。なお、ステップＳ２０２におけるプレ処理では、動き補償部４１１５により画素毎の動きベクトルの検出処理を行う。

色差補間部４１２ｅは、Ｇ補間色差算出部４１２ａから取得した色差画像信号に基づいて色差動き補償処理を行う（ステップＳ２０７）。具体的には、過去色差分離部４１２８が、過去色差記憶部４１２ｆを参照して１フレーム前の色差画像信号を取得し、Ｂ−Ｇ信号のみを抽出して色差動き補償部４１２９へ出力する。色差動き補償部４１２９は、プレ処理部４１１ａから出力される動きベクトル情報と、過去色差分離部４１２８から出力される過去フレームの色差信号であるＢ−Ｇ信号と、色差分離部４１２１から出力される現在のフレームのＢ−Ｇ信号と、に基づいてＢ−Ｇ信号の修正（色差動き補償処理）を行う。色差動き補償部４１２９は、修正したＢ−Ｇ信号を含む色差画像信号をＢ−Ｇ相関判別部４１２２およびＢ−Ｇ補間方向判別部４１２３に出力する。

色差補間部４１２ｅは、色差動き補償部４１２９によりＢ−Ｇ信号が修正されると、Ｇ補間色差算出部４１２ａから取得した色差画像信号、および色差動き補償部４１２９により修正されたＢ−Ｇ信号に基づいて色差補間処理を行う（ステップＳ２０８）。

カラー画像信号生成部４１２ｃは、Ｇ補間色差算出部４１２ａで生成されたＧ成分の画素値および補間値、ならびに色差補間部４１２ｅで生成された色差画像信号の信号値を用いて、カラー画像を構成するカラー画像信号を生成する（ステップＳ２０９）。具体的には、カラー画像信号生成部４１２ｃは、各画素位置におけるＧ信号または補間Ｇ信号と、色差信号（Ｂ−Ｇ信号またはＲ−Ｇ信号）と、をそれぞれ加算することによりＲＧＢ信号またはＧＢ信号を生成し、カラー画像信号として表示画像生成処理部４１３へ出力する。

表示画像生成処理部４１３は、カラー画像信号生成部４１２ｃにより生成されたカラー画像信号に対して、階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施して表示用の表示画像信号を生成する（ステップＳ２１０）。表示画像生成処理部４１３は、所定の処理を施した後、表示画像信号として表示部５に出力する。

上述した本実施の形態２によれば、実施の形態１と同様の効果を得ることができるとともに、ＷＬＩ方式とＮＢＩ方式とを切り替え可能な内視鏡装置において、注目画素位置のＢ−Ｇ信号に対して、現在のフレームと時間的に過去のフレームに対応するＢ−Ｇ信号を使用してより高い相関方向を決定し、決定された相関が高い方向のＢ−Ｇ信号を使って補間するようにしたので、粘膜表層の毛細血管、粘膜中層の血管、および粘膜深層の血管に関しても血管走行経路に沿った方向で補間し、特にＮＢＩ方式におけるＢ−Ｇ信号の解像力を一段と確実に維持することが可能となる。

また、上述した実施の形態１，２では、各々が所定の波長帯域の光を透過するフィルタを複数有するカラーフィルタ２０２ａが撮像素子２０２の受光面に設けられているものとして説明したが、各フィルタが撮像素子２０２の各画素に個別に設けられているものであってもよい。

なお、上述した実施の形態１，２にかかる内視鏡装置１，１ｂは、一つの光源３１ａから出射される白色光に対して、切替フィルタ３１ｃの挿脱や回転フィルタ３１ｇの回転により照明部３１から出射される照明光を白色照明光および狭帯域照明光に切り替えるものとして説明したが、白色照明光および狭帯域照明光をそれぞれ出射する二つの光源を切り替えて白色照明光および狭帯域照明光のいずれかを出射するものであってもよい。二つの光源を切り替えて白色照明光および狭帯域照明光のいずれかを出射する場合、例えば、光源部、カラーフィルタおよび撮像素子を備え、被検体内に導入されるカプセル型の内視鏡にも適用することができる。

また、上述した実施の形態１，２および変形例にかかる内視鏡装置１〜１ｂは、Ａ／Ｄ変換部２０５が先端部２４に設けられているものとして説明したが、プロセッサ部４，４ａに設けられるものであってもよい。また、画像処理にかかる構成を、内視鏡２や、内視鏡２とプロセッサ部４とを接続するコネクタ、操作部２２などに設けるものであってもよい。また、上述した内視鏡装置１〜１ｂでは、撮像情報記憶部２０６に記憶された識別情報などを用いてプロセッサ部４，４ａに接続されている内視鏡２を識別するものとして説明したが、プロセッサ部４．４ａと内視鏡２との接続部分（コネクタ）に識別手段を設けてもよい。例えば、内視鏡２側に識別用のピン（識別手段）を設けて、プロセッサ部４に接続された内視鏡２を識別する。

また、上述した実施の形態１，２では、Ｇ補間色差算出部４１２ａが、Ｇ信号が欠落している画素（Ｒ画素またはＢ画素）に対してその周辺画素に基づき補間したＧ信号を生成するものとして説明したが、補間方向を判別して補間処理を行う線形補間であってもよいし、キュービック補間やその他の非線形補間により補間処理を行うものであってもよい。

また、上述した実施の形態１，２では、カラーフィルタ２０２ａが、ベイヤ配列のフィルタユニットＵ１をマトリックス状に並べたものとして説明したが、ベイヤ配列に限るものではない。例えば、ＷＬＩ方式と、上述したＮＢＩ方式とを切り替える場合は、Ｂ成分に対して、Ｇ成分の密度が高いフィルタ配列のフィルタユニットであればよい。白色照明光の輝度成分の電気信号を生成する画素の密度が、狭帯域照明光の輝度成分の電気信号を生成する画素の密度よりも高いフィルタ配列であれば適用できる。

なお、上述した実施の形態１，２では、画像処理装置を含む内視鏡装置を例に説明したが、例えば、顕微鏡装置など、画像処理を行う撮像装置に適用することも可能である。

以上のように、本発明にかかる画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置は、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得るのに有用である。

１ 内視鏡装置
２ 内視鏡
３ 光源部
４ プロセッサ部
５ 表示部
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
３１ 照明部
３１ａ 光源
３１ｂ 光源ドライバ
３１ｃ 切替フィルタ
３１ｄ 駆動部
３１ｅ 駆動ドライバ
３１ｆ 集光レンズ
３１ｇ 回転フィルタ
３２ 照明制御部
４１ 画像処理部
４２ 入力部
４３ 記憶部
４４ 制御部
２０１ 撮像光学系
２０２ 撮像素子
２０２ａ カラーフィルタ
２０３ ライトガイド
２０４ 照明用レンズ
２０５ Ａ／Ｄ変換部
２０６ 撮像情報記憶部
２６１ 識別情報記憶部
４１１ プレ処理部
４１２，４１２ｄ 補間処理部
４１２ａ Ｇ補間色差算出部
４１２ｂ，４１２ｅ 色差補間部
４１２ｃ カラー画像信号生成部
４１３ 表示画像生成処理部
４１２ｆ 過去色差記憶部
４１１１ ＯＢ処理部
４１１２ ＮＲ処理部
４１１３ ＷＢ処理部
４１１４ フレームメモリ
４１１５ 動き補償部
４１２１ 色差分離部
４１２２ Ｂ−Ｇ相関判別部
４１２３ Ｂ−Ｇ補間方向判別部
４１２４ Ｂ−Ｇ補間部
４１２５ Ｒ−Ｇ相関判別部
４１２６ Ｒ−Ｇ補間方向判別部
４１２７ Ｒ−Ｇ補間部
４１２８ 過去色差分離部
４１２９ 色差動き補償部
Ｕ１ フィルタユニット

プレ処理部４１１により信号処理が施された電気信号が補間処理部４１２に入力されると、Ｇ補間色差算出部４１２ａが、Ｇ信号が欠落している画素（Ｒ画素またはＢ画素）に対して補間Ｇ信号を生成し、全ての画素位置がＧ信号（画素値）または補間Ｇ信号（補間値）を有するＧ信号画像をカラー画像信号生成部４１２ｃに出力する（ステップＳ１０３）。

補間処理部４１２ｄは、プレ処理部４１１ａから入力される画像信号および動きベクトル情報をもとに、複数の画素の色情報（画素値）の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、少なくとも二つの色成分の信号を有するカラー画像信号を生成する。補間処理部４１２ｄは、上述したＧ補間色差算出部４１２ａおよびカラー画像信号生成部４１２ｃと、色差補間部４１２ｅと、過去色差記憶部４１２ｆと、を有する。

図２２は、本実施の形態２にかかるプロセッサ部が行うデモザイキング処理の他の例を説明する模式図である。当然のことながら、Ｎフレーム前（Ｎは２以上の整数）の色差信号とＮフレーム前までの動きベクトルを利用できれば図２２に示すように注目画素（ｋ，ｌ）と周辺画素との位置に欠落している色差信号を全て埋めることも可能である。Ｎフレーム前まで利用して動き補償を行う場合、同じ位置へ挿入される色差信号は、現在のフレームに時系列的に近い色差信号（Ｂ−Ｇ）ｐであることが好ましい。

Claims (7)

1. 赤色、緑色および青色の波長帯域の光を含む白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記白色照明光の波長帯域よりも狭帯域の光からなる狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子から出力された前記電気信号をもとに画像信号を生成する画像処理装置において、
   前記第２画素の位置における該第２画素の周辺の前記第１画素の電気信号に基づき前記第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、前記第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出部と、
   前記補間色差算出部が生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間部と、
   前記色差補間部が生成した補間後の色差信号と、前記補間色差算出部が生成した前記輝度成分の電気信号とをもとに、前記第２画素が生成する色成分の電気信号を生成する画像信号生成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１画素は、前記緑色の成分の波長帯域の光を受光して、該緑色の成分の電気信号を生成する画素であり、
   前記第２画素は、前記青色の成分の波長帯域の光を受光して、該青色の成分の電気信号を生成する画素、および前記赤色の成分の波長帯域の光を受光して、該赤の色成分の電気信号を生成する画素を含む、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記色差補間部は、複数の補間方向候補について相関値を算出し、該相関値をもとに、前記複数の補間方向候補のいずれかを前記補間方向として判別する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 画像間の動きを検出するための動き検出用画像であって、補間対象のフレームよりも時系列的に過去のフレームの画像信号に基づく第１の動き検出用画像、および該補間対象のフレームの画像信号に基づく第２の動き検出用画像を用いて、第１および第２動き検出用画像との間の前記動きを動きベクトルとして検出する動き補償部、
   を備え、
   前記色差補間部は、前記動きベクトルをもとに、前記補間対象のフレームの画像信号に前記過去のフレームの色差信号を埋め込み、該埋め込んだ過去のフレームの色差信号を含む色差信号を用いて各画素位置で欠落している色差信号を補間する、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 赤色、緑色および青色の波長帯域の光を含む白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記白色照明光の波長帯域よりも狭帯域の光からなる狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子から出力された前記電気信号をもとに画像信号を生成する画像処理方法であって、
   前記第２画素の位置における該第２画素の周辺の前記第１画素の電気信号に基づき前記第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、前記第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出ステップと、
   前記補間色差算出ステップで生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間ステップと、
   前記色差補間ステップで生成した補間後の色差信号と、前記補間色差算出ステップで生成した前記輝度成分の電気信号とをもとに、前記第２画素が生成する色成分の電気信号を生成する画像信号生成ステップと、
   を含むことを特徴とする画像処理方法。
6. 赤色、緑色および青色の波長帯域の光を含む白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記白色照明光の波長帯域よりも狭帯域の光からなる狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子から出力された前記電気信号をもとに画像信号を生成する画像処理プログラムであって、
   前記第２画素の位置における該第２画素の周辺の前記第１画素の電気信号に基づき前記第１輝度成分の電気信号を補間し、該補間により生成された輝度成分の電気信号と、前記第２画素が生成した色成分の電気信号との差をとった色差信号を生成する補間色差算出手順と、
   前記補間色差算出手順で生成した色差信号をもとに補間方向を判別して、各画素位置で欠落している色差信号を補間する色差補間手順と、
   前記色差補間手順で生成した補間後の色差信号と、前記補間色差算出手順で生成した前記輝度成分の電気信号とをもとに、前記第２画素が生成する色成分の電気信号を生成する画像信号生成手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
7. 赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記白色照明光の波長帯域より狭帯域の光からなる狭帯域照明光を出射する光源部と、
   前記白色照明光の輝度成分である第１輝度成分の電気信号を生成する第１画素、および前記狭帯域照明光の輝度成分である第２輝度成分を含む色成分の電気信号を生成する第２画素がマトリックス状に配置され、前記第１画素の密度が前記第２画素の色成分ごとの密度よりも高い第１および第２画素がそれぞれ受光した光を光電変換し、電気信号を生成する撮像素子と、
   請求項１に記載の画像処理装置と、
   を備えたことを特徴とする内視鏡装置。

Images