JP2014161355A - 画像処理装置、内視鏡装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 距離情報に基づいて、撮像画像の明るさ調整処理、及び当該明るさ調整処理後の撮像画像に対する構造強調処理を行う画像処理装置、内視鏡装置、画像処理方法及びプログラム等を提供すること。
【解決手段】 画像処理装置は、撮像部２００の撮像により、被写体の像を含む撮像画像を取得する画像取得部３１０と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３２０と、距離情報に基づいて、撮像画像に対して明るさ調整処理を行う明るさ改善部３３０と、距離情報に基づいて、明るさ調整処理後の撮像画像に対して、被写体の構造を強調する強調処理を行う画像強調部３４０を含む。
【選択図】 図１

Description

本発明は、画像処理装置、内視鏡装置、画像処理方法及びプログラム等に関する。

内視鏡装置を用いた生体内部の観察、診断においては、生体表面の微小な凹凸状態を観察することで早期病変部か否かの識別を行う手法が広く用いられている。また、生体用の内視鏡装置ではなく、工業用の内視鏡装置においても、被写体（狭義には被写体表面）の凹凸構造を観察することは有用であり、例えば直接の目視が難しいパイプ内部等に発生した亀裂の検出等が可能になる。また、内視鏡装置以外の画像処理装置においても、処理対象となる画像から被写体の凹凸構造を検出することが有用であることは多い。

例えば特許文献１では、局所的な抽出領域の注目画素をその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色される処理を行うことで、凹凸構造を強調する手法が開示されている。

また、特許文献２には画像信号の立体感を強くする手法が開示されている。これは、ステレオ画像信号を用いてステレオ距離計測を行い、画素単位で被写体までの距離情報を得る。この距離情報を用いて画像信号の奥行きを深く見せる加工を行うことで、平面的で奥行きが浅い画像信号の立体感を強める処理である。

特開２００３−８８４９８号公報 特開２００９−５３７４８号公報

特許文献１及び特許文献２では、被写体の凹凸構造を強調する手法が開示されているが、その際の被写体の明るさ（例えば輝度値であるがこれに限定されない）の調整は考慮されていない。よって光が十分に届かない位置にある被写体では、凹凸構造を強調したとしても、当該凹凸構造の視認性を十分に高めることができない。

本発明の幾つかの態様によれば、距離情報に基づいて、撮像画像の明るさ調整処理、及び当該明るさ調整処理後の撮像画像に対する構造強調処理を行う画像処理装置、内視鏡装置、画像処理方法及びプログラム等を提供することができる。

本発明の一態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記撮像画像に対して明るさ調整処理を行う明るさ改善部と、前記距離情報に基づいて、前記明るさ調整処理後の前記撮像画像に対して、前記被写体の構造を強調する強調処理を行う画像強調部と、を含む画像処理装置に関係する。

本発明の一態様では、距離情報を取得し、当該距離情報に基づいて、明るさ調整処理を行うとともに、被写体の構造を強調する強調処理を行う。これにより、明るさの改善と、被写体構造の強調を共に距離情報を用いて行うことができ、効果的に被写体構造の視認性を高めること等が可能になる。

本発明の他の態様は、上記の画像処理装置を含む内視鏡装置に関係する。

これにより、生体の構造（粘膜構造等）を適切に強調することで、病変部をはじめとした注目領域の見逃しを抑止する内視鏡装置を実現すること等が可能になる。

本発明の他の態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報に基づいて、前記撮像画像に対して明るさ調整処理を行い、前記距離情報に基づいて、前記明るさ調整処理後の前記撮像画像に対して、前記被写体の構造を強調する強調処理を行う画像処理方法に関係する。

本発明の他の態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報に基づいて、前記撮像画像に対して明るさ調整処理を行い、前記距離情報に基づいて、前記明るさ調整処理後の前記撮像画像に対して、前記被写体の構造を強調する強調処理を行う、ステップをコンピュータに実行させるプログラムに関係する。

画像処理装置のシステム構成例。 本実施形態に係る画像処理装置を含む内視鏡装置の構成例。 回転色フィルタの構成例。 色フィルタの分光特性の例。 明るさ改善部の構成例。 距離情報取得部の構成例。 距離情報取得部の他の構成例。 図８（Ａ）〜図８（Ｆ）はモルフォロジー処理による抽出凹凸情報の抽出処理の説明図。 図９（Ａ）〜図９（Ｄ）はフィルタ処理による抽出凹凸情報の抽出処理の説明図。 画像強調部の構成例。 強調処理部の構成例。 抽出凹凸情報の例。 凹部の幅の算出処理を説明する図。 凹部の深さの算出処理を説明する図。 図１５（Ａ）、図１５（Ｂ）は凹部の強調処理における強調量（ゲイン係数）の設定例。 図１６（Ａ）、図１６（Ｂ）は凹部の強調処理の例。 本実施形態の処理を説明するフローチャート。 抽出凹凸情報の抽出処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
本実施形態の画像処理装置は、図１に示したように、撮像部（例えば後述する図２の撮像部２００等）の撮像により、被写体の像を含む撮像画像を取得する画像取得部３１０と、撮像の際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部３２０と、距離情報に基づいて、撮像画像に対して明るさ調整処理を行う明るさ改善部３３０と、距離情報に基づいて、明るさ調整処理後の撮像画像に対して、被写体の構造を強調する強調処理を行う画像強調部３４０を含む。

ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、本実施形態で後述するようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズ（図２の対物レンズ２３０−１，２３０−２）を結ぶ面の任意の点を基準にした距離を距離情報とすればよい。一方、後述するTime of Flight方式を用いた場合は、例えば、撮像素子面の各画素位置を基準にした距離を距離情報として取得することになる。これらは、距離計測の基準点を撮像部２００に設定した例であるが、基準点は、撮像部２００以外の任意の場所、例えば、撮像部や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向の距離であることが考えられる。一例としては、撮像部２００の光軸方向での距離を用いればよく、図８（Ａ）に示したように光軸に対して垂直な方向に視点を設定した場合には、当該視点において観察される距離（図８（Ａ）の例であれば矢印で示した上下方向での撮像部２００から被写体までの距離）であってもよい。

例えば、距離情報取得部３２０は、撮像部２００の第１の基準点を原点とした第１の座標系における各対応点の座標を、公知の座標変換処理によって、３次元空間内の第２の基準点を原点とした第２の座標系における対応点の座標に変換し、その変換後の座標をもとに距離を計測してもよい。この場合、第２の座標系における第２の基準点から各対応点までの距離は、第１の座標系における第１の基準点から各対応点までの距離、すなわち「撮像部から各対応点までの距離」となり、両者は一致する。

また、距離情報取得部３２０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、距離情報取得部３２０は、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離値が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。この場合、凹凸情報抽出部３７０は、撮像部２００に基準点を設定した場合と比較して、抽出処理パラメータとして異なるパラメータを用いることになる。抽出処理パラメータの決定には距離情報を用いる必要があるため、距離計測の基準点が変わることで距離情報の表し方が変化した場合には、抽出処理パラメータの決定手法も変化するためである。例えば、本実施形態で後述するように、モルフォロジー処理により抽出凹凸情報を抽出する場合には、抽出処理に用いる構造要素のサイズ（例えば球の直径）を調整して、調整後の構造要素を用いて凹凸部の抽出処理を実施する。

これにより、距離情報に基づいて明るさ調整処理を行った上で、凹凸部の強調処理を行うため、光源からの距離が遠いことにより暗く撮像されていた被写体についても、凹凸部の視認性を効果的に高めることが可能になる。この際、被写体の明るさは光源からの距離の２乗に比例して減少するという特性を利用し、距離情報により表される距離の値（狭義にはその２乗の値）を用いることで適切な明るさ調整処理を行うことができる。

また、距離情報を用いることで、撮像画像全体のうちユーザが注目している（或いは注目すべき）領域を推定できる場合もある。例えば、光学系の構成等から被写界深度の範囲が既知である場合には、当該範囲内にある被写体はピントが合っているためユーザが注目するが、範囲外の被写体はぼけているため注目度は低いことが想定される。そのような場合、距離情報を用いずに明るさ調整処理を行う（例えば明るさ調整処理後の各画素の輝度値を均等にする補正処理を行う）と、注目度の低い領域にまで不要な補正処理を行うことになり、かえってノイズを増大させ画像の視認性が下がる等の問題が生じかねない。よって距離情報を用いることで、必要な範囲に対して、或いは必要な調整量で明るさ調整処理を行うことも可能となる。

さらに、本実施形態では距離情報を用いて被写体の凹凸構造を適切に強調する手法を用いる。よって強調処理のために距離情報を取得することが前提となるため、明るさ調整処理に距離情報を用いるものとしても、当該距離情報は共通のものとでき、処理負荷を増大させることもない。

次に、本実施形態での凹凸部の強調処理の概要について説明する。距離情報は、上述したように撮像部２００から被写体までの距離に対応する情報であるため、図８（Ａ）に示したように被写体（生体用の内視鏡装置であれば生体であり、特にその表面）の構造を表す情報である。つまり、距離情報は被写体表面の微少な凹凸構造を含んでいる。

特許文献１の強調手法では輝度変化を用いるため、輝点周辺や手前の構造物の陰や、血管とその周辺の粘膜などといった、生体表面の微小な凹凸に関係ない場合にも輝度変化は発生してしまうため、誤検出してしまうという問題が発生する。また特許文献２の強調手法では奥行方向の立体感を強めるため、奥行きを深くするように画像信号データを修正することになり、生体表面の微小な凹凸だけでなく、管腔状の被写体の奥行き方向も強調されてしまう。つまり従来手法では、効果的な強調処理が行えていなかったが、本実施形態では上述したように強調対象とすべき凹凸構造が、距離情報に包含されることになる。

しかし、距離情報には被写体表面の他の構造の情報も含まれている。例えば内視鏡装置で観察する生体は、食道や大腸等、管腔状のものが多い。その場合、生体壁面は所与の曲率を有する曲面となるため、距離情報により表される距離は当該局面に応じた値の変動を含むことになる。図８（Ａ）の例であれば、距離情報はさまざまな他の構造を含みつつも、全体としては右方向に行くほど撮像部から被写体までの距離は増加する構造を表している。

また、被写体表面には、本実施形態の手法により出力したい抽出凹凸情報に対応する凹凸構造とは異なる凹凸構造も含まれうる。例えば、胃や大腸等の生体の表面には、図２の２，３，４に示したように襞構造が見られる。距離情報には、これらの襞構造に関する情報も含まれることになるが、本実施形態において内視鏡装置を用いた観察で想定している凹凸部とは、そのような生体表面に当然に見られる構造とはディメンジョンの異なる微少な凹凸構造である。

よって、注目すべき対象に対して適切に強調処理を行うには、種々の構造に起因する距離変動を含む距離情報のうち、所望の凹凸構造に関する情報を適切に特定する必要がある。これは工業用の内視鏡装置でも同様であり、距離情報には円形パイプの曲面に相当する距離変動や、パイプに所与の機能を持たせるためにあらかじめ掘られた溝や、深刻度が低いために見逃しても差し支えない傷等の情報が含まれうるが、それらを除外するとよい。

そこで本出願人は、被写体の構造に関する既知の特性を表す情報である既知特性情報（先見情報）を取得し、当該既知特性情報により特定される特性に合致する被写体の凹凸部を強調する手法を提案する。既知特性情報は、被写体表面の構造のうち、本実施形態において有用な構造とそうでない構造とを分離可能な情報である。具体的には、強調することが有用な（例えば早期病変部の発見に役立つ）凹凸部の情報を既知特性情報としてもよく、その場合、当該既知特性情報と合致する被写体が強調対象となる。或いは、強調しても有用でない構造の情報を既知特性情報としてもよく、その場合既知特性情報と合致しない被写体が強調対象となる。或いは、有用な凹凸部と有用でない構造の両方の情報を保持しておき、有用な凹凸部の範囲を精度よく設定するものとしてもよい。

具体的には、距離情報から強調処理の対象となる凹凸部に関する情報を抽出した抽出凹凸情報を取得し、当該抽出凹凸情報に対応する被写体を強調する手法を用いる。例えば、既知特性情報として強調対象となる溝の幅の範囲が取得された場合には、抽出凹凸情報として当該範囲に該当する幅を有する溝が抽出されるため、それに対応する撮像画像中の被写体を強調すればよい。

ただし、抽出凹凸情報により強調対象が決定された後に、さらに強調対象を限定したり、強調量を被写体によって変更する等の処理を行ってもよく、その場合にも既知特性情報及び距離情報を用いることができる。例えば、抽出凹凸情報の抽出は後述するように凹凸部の幅に基づいて行われることが想定されるため、凹部の深さ、凸部の高さは考慮されていない。距離情報には深さ、高さの情報も含まれるため、これらを用いて強調対象をさらに限定することができる。また、幅や深さ、高さに応じて強調量（例えば特定色に対するゲイン値）を変化させることで、溝等の特性を視覚的に表現する手法をとることもできる。この場合にも、強調量を決定する際に距離情報と既知特性情報を用いればよい。

なお、既知特性情報及び距離情報に基づく強調対象の限定や強調量の設定を行う場合には、抽出凹凸情報に含まれる構造を、強調対象となり得る構造に厳密に限定しない手法を用いることもできる。抽出凹凸情報により強調対象を限定していなくても、その後の処理で凹凸部のディメンジョン情報（幅、高さ、深さ等）を用いる以上、適切な強調処理が可能なためである。ただし本実施形態では、ディメンジョン情報の取得の際に図１２〜１４に示すように基準面を設定することになる。基準面の設定のためには大局的な構造（例えば壁面に起因する距離変動）は除いておくことが望ましいため、距離情報から大局的な構造を除いた情報を抽出する処理は必要であり、抽出凹凸情報を抽出する点では相違はない。

なお、既知特性情報である典型的な襞のサイズ、或いは有用な凹凸構造のディメンジョン等は、観察対象となる部位（上部消化器系であれば胃、下部消化器系であれば大腸等）に応じて異なることが想定される。よって、既知特性情報は１つの情報ではなく、観察対象に応じて選択、変更等が可能にしておくことが望ましい。

以下、システム構成例を説明した後、明るさ調整処理、及び当該明るさ調整処理に用いられる距離情報の取得処理について説明する。さらに、距離情報から抽出凹凸情報を抽出する処理について説明し、当該抽出凹凸情報を用いた撮像画像の強調処理について説明する。なお、以下では図２に示すように内視鏡装置を例にとって説明するが、図１で上述したように、本実施形態は内視鏡装置に限定されない画像処理装置に適用可能である。

２．システム構成例
図２に、第１の実施形態に係る画像処理装置を含む内視鏡装置の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。ただし、内視鏡装置、画像処理装置（制御装置３００に相当）、及びそれらを構成する各部は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

光源部１００は、白色光源１１０と、光源絞り１２０と、光源絞り１２０を駆動させる光源絞り駆動部１３０と、複数の分光透過率のフィルターを有する回転色フィルター１４０を有する。また光源部１００は、回転色フィルター１４０を駆動させる回転駆動部１５０と、回転色フィルター１４０を透過した光をライトガイドファイバー２１０の入射端面に集光させる集光レンズ１６０を含む。光源絞り駆動部１３０は、制御装置３００の制御部３５０からの制御信号に基づいて、光源絞り１２０の開閉を行うことで光量の調整を行う。

図３に回転色フィルター１４０の詳細な構成例を示す。回転色フィルター１４０は、三原色の赤色（以下Ｒと略す）フィルター７０１と、緑色（以下Ｇと略す）フィルター７０２と、青色（以下Ｂと略す）フィルター７０３と、回転モーター７０４と、から構成されている。図４に、これらの色フィルター７０１〜７０３の分光特性例を示す。回転駆動部１５０は、制御部３５０からの制御信号に基づいて、撮像素子（２６０−１，２６０−２）の撮像期間と同期して回転色フィルター１４０を所定回転数で回転させる。例えば、回転色フィルター１４０を１秒間に２０回転させると、各色フィルターは６０分の１秒間隔で入射白色光を横切ることになる。この場合、撮像素子は、６０分の１秒間隔で画像信号の撮像と転送を完了することになる。ここで、撮像素子は例えばモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等により構成される。即ち、本実施形態では、３原色の各色光（Ｒ或はＧ或はＢ）の画像信号が６０分の１秒間隔で撮像される面順次方式の撮像が行われる。

撮像部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を照明レンズ２２０に導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２３０−１、２３０−２と、焦点位置を調整するためのフォーカスレンズ２４０−１、２４０−２と、フォーカスレンズ２４０−１、２４０−２の位置を移動ためのレンズ駆動部２５０と、集光した反射光を検出するための撮像素子２６０−１、２６０−２を備えている。

対物レンズ２３０−１、２３０−２は所定間隔離した位置に配置され所定の視差画像（以降、ステレオ画像とも記す）が撮影可能な位置に配置されており、撮像素子２６０−１、２６０−２にそれぞれ左画像、及び右画像が結像されるようになっている。また撮像素子２６０−１、２６０−２から出力された左画像と右画像は画像取得部（Ａ／Ｄ変換部）３１０へ出力される。なお、図１６を用いて後述するように、距離情報の取得はステレオマッチング処理によるものに限定されない。よって、視差画像を用いない手法により距離情報を取得する場合には、対物レンズ、フォーカスレンズ、撮像素子は図２のように複数組用いる必要はなく、一組であってもよい。

レンズ駆動部２５０は、例えばＶＣＭ（Voice Coil Motor）であり、フォーカスレンズ２４０−１、２４０−２と接続されている。レンズ駆動部２５０は、フォーカスレンズ２４０−１、２４０−２の位置を連続的な位置で切り替えることで、合焦物体位置を調整する。また、撮像部２００には、ユーザーが強調処理のオン／オフ指示を行うスイッチ２７０が設けられている。ユーザーがスイッチ２７０を操作することで、スイッチ２７０から強調処理のオン／オフ指示信号が制御部３５０に出力される。

制御装置３００は、内視鏡装置の各部の制御や画像信号処理を行う。制御装置３００は、画像取得部３１０と、距離情報取得部３２０と、明るさ改善部３３０と、画像強調部３４０と、制御部３５０と、後処理部３６０と、凹凸情報抽出部３７０と、既知特性情報取得部３８０を備えている。

画像取得部３１０は、距離情報取得部３２０と、明るさ改善部３３０に接続されている。距離情報取得部３２０は明るさ改善部３３０と、凹凸情報抽出部３７０に接続されている。凹凸情報抽出部３７０は画像強調部３４０に接続されている。明るさ改善部３３０は、画像強調部３４０に接続されている。画像強調部３４０は、後処理部３６０に接続されている。後処理部３６０は、表示部４００に接続されている。既知特性情報取得部３８０は、凹凸情報抽出部３７０に接続されている。制御部３５０は制御装置３００の各部と双方向に接続されており、これらを制御する。

画像取得部３１０はまず、前記撮像部２００より転送されるアナログ画像信号を、Ａ／Ｄ変換処理によりディジタル画像信号に変換する。そして、当該ディジタル画像信号に対して、制御部３５０に予め保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いて、ＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理を実施し、撮像画像（内視鏡画像信号）を取得する。取得した内視鏡画像信号は、距離情報取得部３２０と、明るさ改善部３３０と、画像強調部３４０に転送される。なお、図１０を用いて後述するように、画像強調部３４０において同時化処理を行う構成としてもよいが、これに限定されず、画像取得部３１０で同時化処理を行い、内視鏡画像信号として画素毎にＲＧＢの画素値を有するカラー画像信号を取得してもよい。

なお、本実施形態における撮像画像とは、撮像部２００での撮像に基づいて取得される画像を指すものとし、画像取得部３１０で取得された画像（この場合、上記内視鏡画像信号）となる。ただし、本実施形態においては後述する明るさ調整処理の前と後の撮像画像は明確に区別することが望ましい。よって以下の説明では、明るさ調整処理後の撮像画像についてはその旨を明記するものとし、単に撮像画像と記載した場合には明るさ調整処理前の画像を表すものとする。

距離情報取得部３２０は、前述の内視鏡画像信号に基づき、被写体までの距離情報を取得する。距離情報取得部３２０の処理の詳細については後述する。取得された距離情報は、明るさ改善部３３０と、凹凸情報抽出部３７０に転送される。本実施形態においては、取得される距離情報は、被写体表面の凹凸（距離情報の高周波成分である後述する抽出凹凸情報）と、被写体までの大まかな距離（距離情報の低周波成分、距離情報から凹凸情報を減算）の両方を含む情報である。なお、以下の説明においては、距離情報として、撮像画像と同サイズの画像であって、各画素値として撮像部を基準とした奥行き方向の距離とする距離マップを例として用いるが、これに限定されるものではない。

明るさ改善部３３０は、前述の撮像画像（内視鏡画像信号）に対して、距離情報に基づき、画素ごとに明るさを調整する明るさ調整処理を行う。明るさ調整処理の詳細については後述する。

既知特性情報取得部３８０は、既知特性情報を取得する。具体的には、生体表面から病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）等を、既知特性情報として取得する。ここで観察部位情報は、例えばスコープＩＤ情報に基づき決定される、観察対象としている部位を表す情報であり、当該観察部位情報も既知特性情報に含まれてもよい。例えば上部消化器用スコープだと観察部位は食道、胃、十二指腸であり、下部消化器用スコープだと観察部位は大腸と判定される情報である。抽出したい凹凸部のディメンジョン情報、及び部位固有の管腔及び襞のディメンジョン情報は、部位に応じて異なるものであるため、既知特性情報取得部３８０では、観察部位情報に基づき取得された標準的な管腔及び襞のサイズ等の情報を凹凸情報抽出部３７０へ出力する。なお、観察部位情報はスコープＩＤ情報により決定されるものに限定されず、外部Ｉ／Ｆ部５００においてユーザが操作可能なスイッチを用いて選択される等、他の手法により決定されてもよい。

凹凸情報抽出部３７０は、既知特性情報に基づいて、距離情報から被写体表面の凹凸（距離情報の高周波成分）である抽出凹凸情報を抽出する。上述したように、距離情報には、抽出凹凸情報と被写体までの大まかな距離（距離情報の低周波成分、距離情報から凹凸情報を減算）の双方が含まれるため、凹凸情報抽出部３７０は距離情報に含まれる構造の一部を抽出する処理を行うことになる。

画像強調部３４０は、明るさ調整処理後の撮像画像に対して、抽出凹凸情報に基づく強調処理を実施する。強調処理の詳細については後述する。強調処理された撮像画像は後処理部３６０に転送される。

後処理部３６０は、画像強調部３４０より転送される内視鏡画像信号に対し、制御部３５０に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理を行う。後処理後の内視鏡画像信号は表示部４００へ転送される。

制御部３５０は、制御装置３００の各部と双方向に接続されており、これらを制御する。また、レンズ駆動部２５０に制御信号を転送することで、フォーカスレンズ２４０−１，２４０−２の位置を変更する。また、光源絞り駆動部１３０と、画像取得部３１０と、後処理部３６０の同期を行う。また、制御部３５０はスイッチ２７０と外部Ｉ／Ｆ部５００とに接続され、画像強調部３４０へ強調処理のオン／オフ指示信号を転送する。

表示部４００は、動画表示可能な表示装置であり、例えばＣＲＴや液晶モニター等により構成される。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、強調処理のオン／オフ指示を行うことができる不図示の強調処理ボタンを有し、ユーザーは外部Ｉ／Ｆ部５００からも強調処理のオン／オフ指示を行うことができる（強調処理ボタンは、撮像部２００のスイッチ２７０と機能は同じ）。外部Ｉ／Ｆ部５００からの強調処理のオン／オフ指示信号は、制御部３５０に出力される。外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。

このように、本実施例では、まず、距離情報に基づいて、画像信号の明るさを均一になるように補正する。続いて、明るさ補正後の画像信号に対し、距離情報からの凹凸情報に基づき、被写体の粘膜の強調処理を実施する。こうすることによって、従来の強調処理に比べて、病変部の視認性を向上することが可能となる。

３．明るさ調整処理
明るさ改善部３３０での明るさ調整処理について説明する。ここでの明るさ調整は、まず、ＲＧＢ画像信号から下式（１）により、輝度信号を算出する。続いて、上述した撮像画像の明るさ調整処理を行うため、上述の距離情報に基づいて、下式（１）で算出した輝度信号に対して下式（２）を用いて補正処理を行う。

Y(i,j)=0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j) ・・・・・（１）
Y’(i,j)=Y(i,j)*(d(i,j)/D)*(d(i,j)/D) ・・・・・（２）
但し、i、jは前述内視鏡画像信号の横軸、縦軸の座標を表し、Y(i,j)は撮像画像の輝度信号値を表し、R(i,j)、G(i,j)、B(i,j)は撮像画像の画素単位のR,G,B信号値を表し、Y’(i,j)は明るさ調整処理後の画素単位の輝度信号値を表し、d(i,j)は距離情報に基づき取得される画素単位に対応する被写体と光源間の距離（実際には撮像部２００を基準とした距離）を表し、Dは被写体と光源間の基準距離を表すものとする。

上式（２）を用いた明るさ調整処理を行うことで、距離d(i,j)が基準距離Dに等しい場合に、輝度値が処理前と同一となり、距離d(i,j)が基準距離Dに対して大きいほど、補正後の輝度値Y’(i,j)は、補正前の輝度値Y(i,j)に比べて大きくなる。つまり、撮像画像の各画素に対して、距離がDである場合と同程度の輝度値となるような明るさ調整処理を行うことになる。

本実施形態では、上式（２）を用いて画像信号の明るさを調整する構成となっているが、このような構成に限定する必要がない。光源から被写体までの距離が遠ければ、遠いほど画像信号が暗くなるため、明るさ改善後の画像信号が明るくなると同時に、ノイズも明るさの増強に比例して増幅される。これが原因で、逆に誤診断につながるリスクがある。そこで、明るさ調整処理を行う際の距離について上限値を設けるものとしてもよい。例えば、被写界深度範囲の遠点dmax（例えば、１０ｃｍ）を当該上限値としてもよい。この場合、光源から被写体までの距離が上限値より遠い場合には、前記明るさの増幅の上限値を下式（３）により設定する。

Y’(i,j)=Y(i,j)*(dmax/D)*(dmax/D) ・・・・・（３）
但し、d(i,j)>dmaxとなる。つまり上式（２）では距離d(i,j)の値が大きいほど明るさ調整量（上式（２）の(d(i,j)/D)*(d(i,j)/D)の部分）は大きくなるものであったが、上式（３）を用いることで強調量の上限を設け、ノイズの増大等を抑止することが可能になる。

また、他の変形例としては、明るさ改善部３３０は図５に示すように、シェーディング補正部３３１と、調整処理部３３２と、ノイズ低減部３３３を含んでもよい。ここでの調整処理部３３２は便宜上設けたものであり、調整処理部３３２は上式（１）〜（３）等により、上述した距離情報に基づく明るさ調整処理を行うものである。

シェーディング補正部３３１は画像取得部３１０からの出力である撮像画像を取得し、シェーディング補正処理を行う。ここでシェーディングとは、光学系の周辺減光、撮像素子の感度の不均一性等によって生じる、被写体本来の輝度と撮像画像（映像信号）との間の変換特性の不整合のことである。例えば、シェーディングは画像の周辺部が中心部に比べて暗いと言うような輝度ムラとなって現れることになる。

上式（１）〜（３）等を用いた明るさ調整処理は、距離情報に応じた輝度の違いを補正するものであり、現実の被写体の明るさは撮像画像に正確に反映されている（少なくとも処理上、問題とならない程度の対応関係を持つ）ことを前提としている。しかし、シェーディングの影響が大きい場合には当該前提が成立しない。例えば、現実の被写体は全体が同一の明るさであるのに、撮像画像では画像上位置に応じて明るさが大きく異なるような場合には、上記の明るさ調整処理を行っただけでは十分に明るさを補正できているとは言えない。

そこで、本実施形態では必要に応じてシェーディング補正部３３１を設けてもよく、シェーディング補正部３３１は、画像全体が平均的に一様な明るさとなるようにシェーディング補正処理を行う。具体的には、全体が一様な輝度分布を持つ基準画像を用意し、当該基準画像を入力デー夕とした場合の撮像画像を用いて、全画素に対する変換特性（シェーディングの特性）を事前に求めておく。この変換特性は、例えば基準画像入力データとした場合の撮像画像そのもののような画像データであってもよい。変換特性が取得されたら、画像取得部３１０で取得される各画像に対して当該変換特性の逆特性を用いた変換を行うことで、シェーディングの影響を抑止するシェーディング補正を行うことができる。

なお、シェーディング補正の手法はこれに限定されない。例えば、撮像素子の感度が線形性を有するものとできる場合には、上記変換特性を１次関数で近似することが可能である。そのような場合、シェーディング補正処理は下式（４）により実現することができる。

Y’’(i,j)=K*{Y(i,j)-bk(i,j)}/{wh(i,j)-bk(i,j)} ・・・・・（４）
ここで、Kは階調数等で決定される係数を表し、bk(i,j)は無照明時の出力等である黒基準値を表し、wh(i,j)は反射率１００％の基準板を用いること等により取得される白基準値を表す。その他、シェーディング補正の手法は広く知られており、種々の変形実施が可能である。

調整処理部３３２では、シェーディング補正部３３１の出力に対して、距離情報を用いた明るさ調整処理を行う。具体的には、上式（２）又は（３）のY(i,j)として、シェーディング補正部３３１の出力（例えば上式（４）のY’’(i,j)）を用いればよい。

また、明るさ調整処理によりゲインを上げることでノイズも増大することが想定される。そこでノイズ低減部３３３によりノイズ低減処理を行ってもよい。ノイズ低減処理については種々の手法が広く知られているため、詳細な説明は省略する。

４．距離情報取得処理
次に、距離情報取得処理について説明する。図６に示したように、距離情報取得部３２０はステレオマッチング部３２１と視差・距離変換部３２２を含む。画像取得部３１０での前処理後のステレオ画像はステレオマッチング部３２１へ入力され、左画像を基準画像として、処理対象画素とその周辺領域（所定サイズのブロック）が右画像に対してエピポーラ線上をブロックマッチングして視差情報を算出する。算出した視差情報は視差・距離変換部３２２にて距離情報に変換される。この変換は撮像部２００の光学倍率の補正処理を含んでいる。変換された距離情報は、狭義にはステレオ画像と同一サイズの画素からなる距離マップとして明るさ改善部３３０と凹凸情報抽出部３７０へ出力される。

上記の距離情報取得処理については、ステレオマッチング処理として広く知られているため、詳細な説明は省略する。

ただし、距離情報取得処理はステレオマッチング処理に限定されるものではない。変形例を図７を用いて詳しく説明する。図７は距離情報取得部３２０の他の構成例であり、距離情報取得部３２０は、輝度信号算出部３２３、差分演算部３２４と、２次微分演算部３２５と、ぼけパラメータ演算部３２６と、記憶部３２７、ＬＵＴ記憶部３２８と、レンズ位置制御部３２９を含む。なお、この場合ステレオ画像の取得は必須でないため、対物レンズ、フォーカスレンズ、撮像素子は１つずつであるものとして説明する。

輝度信号算出部３２３は、制御部３５０の制御に基づき、画像取得部３１０から出力された画像信号から輝度信号Ｙを求める。輝度信号の算出には上式（１）を用いればよい。

輝度信号算出部３２３によって算出された画像信号は、差分演算部３２４、２次微分演算部３２５、記憶部３２７へ転送される。差分演算部３２４は、ぼけパラメータ算出のために必要な複数の画像から輝度信号Ｙの差分を算出する。２次微分演算部３２５は、画像信号における輝度信号Ｙの２次微分を算出し、ぼけの異なる複数の輝度信号Ｙから得られる２次微分の平均値を算出する。ぼけパラメータ演算部３２６は、差分演算部３２４で算出された画像の輝度信号Ｙの差分から２次微分演算部３２５で算出された２次微分の平均値を除算して、ぼけパラメータを算出する。

記憶部３２７は、１枚目に撮影した画像における輝度信号Ｙとその２次微分の結果を記憶する。これによって、距離情報取得部３２０は、フォーカスレンズを異なる位置に配置し、複数の輝度信号Ｙを異なる時刻で取得することができる。ＬＵＴ記憶部３２８は、ぼけパラメータと被写体距離との関係をルックアップテーブル（ＬＵＴ）の形で記憶する。

制御部３５０は、輝度信号算出部３２３と、差分演算部３２４と、２次微分演算部３２５と、ぼけパラメータ演算部３２６と、レンズ位置制御部３２９と、に双方向に接続しており、これらを制御する。

次に、被写体距離の算出方法について説明する。被写体距離の算出を開始すると、レンズ位置制御部３２９は、制御部３５０の制御に従って、外部Ｉ／Ｆ部５００により予め設定された撮影モードに基づいて、公知のコントラス検出方式、位相差検出方式などを用いて最適なフォーカスレンズ位置を算出する。次に、レンズ駆動部２５０は、レンズ位置制御部３２９からの信号に基づき、フォーカスレンズ２４０を、算出したフォーカスレンズ位置に駆動する。そして画像取得部３１０は、駆動したフォーカスレンズ位置で、撮像素子２６０により被写体の１枚目の画像信号を取得する。取得した画像信号は、記憶部３２７に記憶される。

その後、レンズ駆動部２５０によって、フォーカスレンズ２４０を、１枚目の画像信号を取得したフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置に駆動し、撮像素子２６０によって被写体の２枚目の画像信号を取得する。これにより取得された２枚目の画像信号は、画像取得部３１０を介して、距離情報取得部３２０に出力される。

２枚目の画像信号の取得が完了すると、ぼけパラメータの算出を行う。距離情報取得部３２０において、差分演算部３２４は、１枚目の画像信号における輝度信号Ｙを記憶部３２７から読み出し、１枚目の画像信号における輝度信号Ｙと、輝度信号算出部３２３から出力される２枚目の画像信号における輝度信号Ｙと、の差分を算出する。

また、２次微分演算部３２５は、輝度信号算出部３２３から出力される２枚目の画像信号における輝度信号Ｙの２次微分を算出する。その後、１枚目の画像信号における輝度信号Ｙを記憶部３２７から読み出して、その２次微分を算出する。そして、算出した１枚目と２枚目の２次微分の平均値を算出する。

その後、ぼけパラメータ演算部３２６は、差分演算部３２４で演算した差分から２次微分演算部３２５で演算した２次微分の平均値を除算して、ぼけパラメータを算出する。

ぼけパラメータは、被写体距離の逆数に対して線形な関係がある。更に、被写体距離とフォーカスレンズ位置の関係は１対１対応である。そのため、ぼけパラメータとフォーカスレンズ位置の関係も、１対１対応の関係にある。ぼけパラメータとフォーカスレンズ位置の関係は、ＬＵＴ記憶部３２８にテーブルとして記憶されている。被写体距離の値に対応する距離情報は、フォーカスレンズの位置で表される。よって、ぼけパラメータ演算部３２６では、ぼけパラメータとＬＵＴ記憶部３２８に記憶されているテーブルの情報を使用して、ぼけパラメータから光学系に対する被写体距離を線形補間によって求める。これによって、ぼけパラメータ演算部３２６は、ぼけパラメータに対応する被写体距離の値を算出する。算出された被写体距離は、距離情報として明るさ改善部３３０及び凹凸情報抽出部３７０に出力される。

なお、距離情報取得処理については他の変形実施も可能であり、例えば赤外光等を用いたTime of Flight方式等により距離情報を求めてもよい。また、Time of Flightを用いる場合にも、赤外光ではなく青色光を用いる等の変形実施が可能である。図１や図２等では、撮像画像を用いて距離情報を取得するものとしたため、画像取得部３１０が距離情報取得部３２０に接続される構成であった。しかし、Time of Flight方式等を用いる場合であれば、測距センサ（例えば撮像素子上に設けられる）からのセンサ情報に基づいて距離情報が取得されるため、距離情報取得部３２０に撮像画像に関する情報を入力する構成が必須とならない場合もある。

５．抽出凹凸情報取得処理
強調処理に用いられる抽出凹凸情報の取得処理について説明する。凹凸情報抽出部３７０は、距離情報取得部３２０から入力された距離情報（被写体距離）から生体表面の凹凸部を表す抽出凹凸情報を抽出する。なお、ここでは既知特性情報に基づいて抽出処理パラメータを設定し、設定した抽出処理パラメータを用いた抽出処理により、距離情報から抽出凹凸情報を抽出する手法を説明する。具体的には、既知特性情報を用いて、所望のディメンジョン特性を有する凹凸部（狭義にはその幅が所望の範囲にある凹凸部）を抽出凹凸情報として抽出する。距離情報には被写体の３次元構造が反映されることから、当該距離情報には所望の凹凸部の他、それよりも大きな構造である襞構造や、管腔の壁面構造に対応した大局的な構造が含まれる。つまり、本実施形態の抽出凹凸情報取得処理は、距離情報から襞、管腔構造を除外する処理であると言うこともできる。

凹凸情報抽出部３７０は、既知特性情報取得部３８０からの既知特性情報に基づいて抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて抽出凹凸情報の抽出処理を行う。

まず凹凸情報抽出部３７０は、入力された距離情報に対してＮ×Ｎ画素の所定サイズのローパスフィルタ処理を施し、大まかな距離情報を抽出する。そして抽出された大まかな距離情報に基づいて、適応的に抽出処理パラメータを決定する。抽出処理パラメータの詳細については以降で説明するが、例えば距離マップの距離情報と直交する平面位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、前記平面位置の距離情報に適応したローパス特性のフィルタであったり、前記平面位置に適応したハイパス特性のフィルタであったりする。つまり距離情報に応じた適応的な非線形、及び線形のローパスフィルタやハイパスフィルタを変更する変更情報となる。なお、ここでのＮ×Ｎ画素の所定サイズのローパスフィルタ処理は、抽出処理パラメータが画像上位置に応じて頻繁に、或いは極端に変化することによる抽出処理の精度低下を抑止するためのものであり、当該精度低下が問題とならないのであれば大まかな距離情報を抽出するためのローパスフィルタ処理を行わなくてもよい。

次に、凹凸情報抽出部３７０は、決定された抽出処理パラメータに基づいて、抽出処理を行うことで被写体に実在する所望サイズの凹凸部のみを抽出する。これら抽出した凹凸部は撮像画像（強調処理の対象となる画像）と同一サイズの抽出凹凸情報（凹凸画像）として画像強調部３４０へ出力される。

続いて凹凸情報抽出部３７０における抽出処理パラメータの決定処理の詳細を、図８（Ａ）〜図８（Ｆ）を用いて説明する。図８（Ａ）〜図８（Ｆ）の抽出処理パラメータはモルフォロジー処理のオープニング処理とクロージング処理に利用する構造要素（球）の直径である。図８（Ａ）は、被写体の生体表面と撮像部２００の垂直方向の断面を模式的に示した図である。生体表面にある襞（図２の２、３、４）は例えば胃壁の襞であるとする。また図２に示したように、早期病変部１０、２０、３０が生体表面に形成されているものとする。

凹凸情報抽出部３７０における抽出処理パラメータの決定処理にて実現したいのは、このような生体表面から襞２、３、４は抽出せずに早期病変部１０、２０、３０の特定に有用な凹凸部のみを抽出するための抽出処理パラメータを決定することである。

これを実現するには、病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）を用いる必要がある。

この２つの情報を使って実際の生体表面をオープニング処理及びクロージング処理でなぞる球の直径を決定すれば所望の凹凸部のみを抽出できる。球の直径は観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。より詳細には襞のサイズの半分以下の直径で病変起因の抽出したい生体固有の凹凸部のサイズ以上に設定するのがよい。上記条件を満たす球をオープニング処理とクロージング処理に使用した例が、図８（Ａ）〜図８（Ｆ）に描かれている。

図８（Ｂ）はクロージング処理した後の生体表面であり、適切な抽出処理パラメータ（構造要素のサイズ）を決定することで、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部のうち、凹部が埋められた情報が得られることがわかる。クロージング処理により得られた情報と、元の生体表面（図８（Ａ）に対応）との差分を取る事で図８（Ｃ）のような生体表面の凹部のみを抽出できる。

同様に図８（Ｄ）はオープニング処理した後の生体表面であり、抽出対象としているディメンジョンの凹凸部のうち、凸部が削られた情報が得られることがわかる。よってオープニング処理により得られた情報と、元の生体表面との差分を取る事で図８（Ｅ）のような生体表面の凸部のみを抽出できる。

上記のように実際の生体表面に対して全て同一サイズの球を使ったオープニング処理、クロージング処理を行えばよいのだが、ステレオ画像は距離情報が遠い程小さい領域として撮像素子上に結像されるので、所望サイズの凹凸部を抽出するには、距離情報が近い場合には上記球の直径を大きく、距離情報が遠い場合は上記球の直径を小さくするように制御すれば良い。

図８（Ｆ）には距離マップに対するオープニング処理、クロージング処理を行う場合の平均的な距離情報に対して、球の直径を変更する様に制御している事を示している。つまり距離マップに対して所望の凹凸部を抽出するには生体表面のリアルな大きさを撮像素子上の結像画像上の画素ピッチの大きさと一致させるために光学倍率で補正する必要がある。そのため、凹凸情報抽出部３７０は、スコープＩＤ情報に基づき決定される撮像部２００の光学倍率等を取得しておくとよい。

つまり抽出処理パラメータである構造要素のサイズの決定処理は、襞等の除外対象とする形状に対して構造要素による処理を行った場合（図８（Ａ）では表面で球を滑らせた場合）には、当該形状を潰さない（形状に追従して球が移動する）ような構造要素のサイズを決定するものとなる。逆に、抽出凹凸情報として抽出対象となる凹凸部に対して構造要素による処理を行った場合には、当該凹凸部をなくす（上から滑らせた場合に凹部に入り込まない、或いは下から滑らせた場合に凸部に入り込まない）ような構造要素のサイズを決定すればよい。なおモルフォロジー処理については広く知られた手法であるため詳細な説明は省略する。

また、抽出処理はモルフォロジー処理には限定されず、フィルタ処理により行ってもよい。例えばローパスフィルタ処理を用いる場合には、上記病変部起因の抽出したい生体固有の凹凸部は平滑化可能で、観察部位固有の管腔及び襞の構造が保持されるローパスフィルタの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象である襞、管腔構造の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルタの特性は決定可能である。

ローパスフィルタは公知のガウスフィルタやバイラテラルフィルタとし、その特性はσで制御し、距離マップの画素に一対一対応するσマップを作成してもよい（バイラテラルフィルタの場合は輝度差のσと距離のσの両方或いはどちらか１つでσマップを作成してもよい）。なお、ガウスフィルタは下式（５）、バイラテラルフィルタは下式（６）で表すことができる。

例えばここでこのσマップは画素単位でなくても間引き処理したσマップを作成して、当該σマップにより距離マップに対して所望のローパスフィルタを作用させてもよい。

ローパスフィルタの特性を決めるσは、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離Ｄ１の所定倍α（＞１）よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離Ｄ２の所定倍β（＜１）よりも小さい値を設定する。例えば、σ=(α*D1+β*D2)/2*Rσとしてもよい。

また、ローパスフィルタの特性として、より急峻なシャープカットな特性を設定することもできる。この場合はσではなくカットオフ周波数ｆｃでフィルタ特性を制御することになる。カットオフ周波数ｆｃは、上記Ｄ１周期の周波数Ｆ１をカットし、Ｄ２周期の周波数Ｆ２を通過するように指定すればよい。例えば、fc=(F1+F2)/2*Rfとしてもよい。

ここでRσは局所平均距離の関数であり、局所平均距離が小さくなれば出力値が大きく、局所平均距離が大きくなれば小さくなる。一方、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ローパス処理していない距離マップからローパス処理結果を減算して負となる領域だけ抽出することで凹部画像を出力できる。また、ローパス処理していない距離マップからローパス処理結果を減算して正となる領域だけ抽出することで凸部画像を出力できる。

ローパスフィルタによる病変由来の所望の凹凸部の抽出に関する考え方を図９（Ａ）〜図９（Ｄ）に示す。図９（Ａ）の距離マップに対して、ローパスフィルタを用いたフィルタ処理を行うことで、図９（Ｂ）に示すように、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部が除かれた情報が得られることがわかる。図８（Ａ）〜図８（Ｆ）のようなオープニング処理とクロージング処理の２つの処理を行わなくてもローパスフィルタ処理結果が所望の凹凸部を抽出する基準局面（図９（Ｂ））となるので、大本の距離マップ（図９（Ａ））との減算処理で、図９（Ｃ）に示したように凹凸部を抽出できる。モルフォロジー処理で大まかな距離情報に応じて構造要素のサイズを適応的に変更したのと同様に、フィルタ処理では、大まかな距離情報に応じてローパスフィルタの特性を変更するとよく、その例を図９（Ｄ）に示す。

また、ローパスフィルタ処理ではなくハイパスフィルタ処理を行ってもよく、その場合病変部起因の抽出したい生体固有の凹凸部を保持し、観察部位固有の管腔及び襞の構造がカットされるハイパスフィルタの特性を決定する。

ハイパスフィルタの特性として、例えばカットオフ周波数ｆｈｃでフィルタ特性を制御する。カットオフ周波数ｆｈｃは、上記Ｄ１周期の周波数Ｆ１を通過し、Ｄ２周期の周波数Ｆ２をカットするように指定すればよい。例えば、fhc=(F1+F2)/2*Rfとしてもよい。ここで、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ハイパスフィルタ処理では、直接病変部起因の抽出したい凹凸部を抽出できる。具体的には、図９（Ｃ）に示したように、差分を取らなくとも直接抽出凹凸情報が取得されることになる。

６．強調処理
図１０に、第１の実施形態における画像強調部３４０の詳細な構成例を示す。画像強調部３４０は、同時化部３４１と、強調処理部３４２を含む。明るさ改善部３３０は、同時化部３４１に接続される。同時化部３４１は、強調処理部３４２に接続される。凹凸情報抽出部３７０は、強調処理部３４２に接続される。強調処理部３４２は、後処理部３６０に接続される。制御部３５０は、各部と双方向に接続されており、これらの制御を行う。

同時化部３４１は、明るさ改善部３３０での明るさ調整処理後の撮像画像に対して、制御部３５０の制御信号に基づいて、面順次の画像信号を同時化する。具体的には、同時化部３４１は、面順次で入力された各色光（Ｒ或はＧ或はＢ）の画像信号を１フレーム分ずつ蓄積し、蓄積した各色光の画像信号を同時に読み出す。同時化部３４１は、同時化された画像信号を、強調処理部３４２へ転送する。

強調処理部３４２は、同時化部３４１から転送された画像信号に対して、注目画素の強調処理を行う。ここでは、一例として生体表面の微小な凹凸部のコントラストを向上させるインジゴカルミンを散布した画像を模擬した画像を作成するものとするが、これに限定されない。具体的には、画像信号の注目画素が、生体表面の凹部（以下、溝と表記する）の場合には、画像信号に青味を増すゲインを乗算する。ここで、凹凸情報抽出部３７０から転送される抽出凹凸情報は、同時化部３４１から入力される画像信号と、画素毎に一対一で対応している。

強調処理部３４２は、図１１に示したように、ディメンジョン情報取得部３４２１と、凹部抽出部３４２２と、凸部抽出部３４２３と、補正部３４２４と、強調量設定部３４２５とを含む。ただし、強調処理部３４２は図１１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

ディメンジョン情報取得部３４２１は、既知特性情報（ここでは特にディメンジョン情報）を取得する。凹部抽出部３４２２は、既知特性情報に基づいて、抽出凹凸情報に含まれる凹凸部のうち、強調対象となる凹部を抽出する。凸部抽出部３４２３は、既知特性情報に基づいて、抽出凹凸情報に含まれる凹凸部のうち、強調対象となる凸部を抽出する。

補正部３４２４は、強調対象の視認性を高める補正処理を行う。詳細は後述する。その際、強調量設定部３４２５で強調量を設定しておき、設定された強調量に従って補正処理を行ってもよい。

また、スイッチ２７０、外部Ｉ／Ｆ部５００から強調処理のオン／オフ指示信号が制御部３５０を介して入力される。指示信号がオフの場合は、強調処理部３４２は強調処理を行わずに同時化部３４１から入力された画像信号を後処理部３６０へ転送する。指示信号がオンの場合は強調処理を行う。

以下、具体的な強調処理の例を説明する。以下の説明では凹部（溝）について、既知特性情報及び距離情報を用いて強調対象や強調量を設定する手法について説明するが、凸部についても同様に処理を行うことができるのは言うまでもない。

強調処理を開始すると、まず抽出凹凸情報から、既知特性情報に基づき生体表面の溝を検出する。ここで、既知特性情報とは生体表面の溝の幅，深さを指す。一般的に、生体表面の微小な溝の幅は数１０００μｍ以下、深さは数１００μｍ以下である。ここでは、抽出凹凸情報から生体表面上での溝の幅および深さを算出する。

図１２に１次元の抽出凹凸情報を示す。撮像素子から生体表面までの距離は、撮像素子２６０（撮像面）の位置を０として、奥行き方向に正の値を取るものとする。図１３に溝の幅の算出方法を示す。ここでは、抽出凹凸情報から、基準面より距離が遠く連続した撮像面からの距離がある閾値ｘ１以上離れた点の端部を検出する（図１３のＡ点とＢ点）。ここでは、距離ｘ１が基準面になっている。そして、検出された点の内部に含まれるに対応する、画素数Ｎを算出する。さらに内部の点について撮像素子からの距離ｘ１〜ｘＮの平均値を算出しｘａｖｅとする。下式（７）に溝の幅ｗの算出式を示す。ここで、ｐは撮像素子２６０の１画素当たりの幅、Ｋは撮像素子からの距離ｘａｖｅに一対一で対応する光学倍率を示している。
w = N×p×K ・・・・・（７）

図１４に溝の深さの算出方法を示す。下式（８）に溝の深さｄの算出式を示す。ここで、ｘ１〜ｘＮのうちの最大値をｘＭとし、ｘ１とｘＮのうち小さい方をｘｍｉｎとする。
d = xM - xmin1 ・・・・・（８）

基準面（撮像素子からの距離ｘ１の面）はユーザが外部Ｉ／Ｆ部５００を介して任意の値を設定してもよい。算出した溝の幅、及び深さが既知特性情報に合致する場合は、対応する画像信号の画素位置を注目画素として設定する。既知特性情報に合致するか否かの判定は、ここでは例えば、溝の幅が３０００μｍ以下、溝の深さが５００μｍ以下の場合の画素を注目画素として設定する。ここで、閾値となる溝の幅、深さは外部Ｉ／Ｆ部５００を介してユーザが設定してもよい。

以上の処理により、強調処理の対象となる被写体（狭義には強調処理の対象となる注目画素）を決定することができる。続いて、注目画素に設定された画素値にゲイン係数を乗算する。具体的には、注目画素のＢ信号は増加するように１以上のゲイン係数を、Ｒ，Ｇ信号は減少するように１以下のゲイン係数を乗算する。これにより、生体表面の溝（凹部）は青味を増すことで、インジゴカルミンを散布したような画像を得ることができる。

この場合、注目画素に対しては一律に強調処理を行ってもよい。具体的には、全ての注目画素に対して同一のゲイン係数を用いた強調処理を行うことが考えられる。ただし、強調処理の対象である注目画素のなかでも、強調処理の手法を変更してもよい。例えば溝の幅、深さに応じてゲイン係数を変化させて、当該ゲイン係数を用いた強調処理を行ってもよい。具体的には、溝の深さが浅いほど青味が薄くなるようゲイン係数を乗算する。こうすることで、実際の色素散布を行った場合に近い画像を得ることができる。この場合のゲイン係数の設定例を図１５（Ｂ）に示す。或いは、細かい構造が病変発見等に有用であることがわかっている場合には、より細かいほど、つまり溝の幅が狭いほど強調量を多くするものとしてもよく、この場合のゲイン係数の設定例を図１５（Ａ）に示す。

また、強調処理は青味が増すように処理を行ったが、これに限定されない。例えば図１６（Ｂ）に示したように、溝の深さに応じて着色する色味（ここでは実線部分と点線部分で異なる色味にすることを想定している）を変えてもよい。これにより、図１６（Ａ）のように、全ての溝に対してその深さによらず同様の色味をつける強調処理に比べて、溝の連続性が視認できるようになるためより高精度な範囲診断が可能となる。

また、強調処理としてＢ信号を上げて、Ｒ，Ｇ信号を下げるようゲインを乗算したが、これに限らず、Ｂ信号を上げて、Ｒ信号を下げるようゲインを乗算し、Ｇ信号はゲインを乗算しなくてもよい。これにより、青味を増した凹部についてもＢ，Ｇ信号の信号値が残るため、凹部内の構造がシアンで表示されることになる。

また、強調処理の対象を注目画素に限定せず、画像全体に対して処理を行うものとしてもよい。この場合、注目画素に対応する領域については、ゲイン係数を高くする等の視認性を高める処理を行い、その他の領域については、ゲイン係数を低くする、１にする（元の色と同じにする）、或いは特定の色に変換する（例えば強調対象の目標色の補色となるようにして、強調対象の視認性を高める）等の処理を行う。つまり、本実施形態の強調処理は、インジゴカルミンを用いた場合と同様の疑似画像を生成するものには限定されず、注目すべき対象の視認性を向上させる種々の処理により実現可能である。

また、本実施形態の強調処理は、図１２〜図１４等を用いて上述したような、強調処理部３４２において既知特性情報を用いて強調対象をさらに限定する処理でなくてもよい。つまり強調処理部３４２は、抽出凹凸情報により特定される被写体全体に対して（狭義には均一の）強調処理を行うものであってもよい。

また以上の説明においては、強調処理に用いる強調量（ゲイン量）と、明るさ調整処理に用いる明るさ調整量（上式（２）の(d(i,j)/D)*(d(i,j)/D)の部分）とは独立に決定されるものとしていたがこれに限定されない。例えば、強調処理でのゲイン係数として、明るさ改善部３３０において、前述の距離情報に基づいて算出された明るさの倍率に比例する値を用いてもよい。具体的には例えば、上式（２）のd(i,j)/Dの値を用いて、ゲイン係数をA*d(i,j)/Dとしてもよい。ここでＡは所与の補正係数である。この例であれば、明るさを引き上げた箇所については、強調処理でのゲイン係数を大きくすることになる。明るさを大きく引き上げた領域では、ノイズも同様に引き上げられることになるため、ノイズ増大による視認性低下の可能性が生じうる。そのような場合でも、ノイズ増大の可能性が高い領域について凹凸構造の強調量を増やすことができるため、注目すべき凹凸構造の視認性を適切に向上させること等が期待できる。

７．処理の詳細
以上の本実施形態の処理の流れを、図１７及び図１８のフローチャートを用いて説明する。本実施形態の画像処理が開始されると、図１７に示したようにまず画像取得処理が行われる（Ｓ１０１）。これは例えば、撮像素子からの画像信号に対するＡ／Ｄ変換処理、及び種々の前処理等に相当する。

次に距離情報を取得する（Ｓ１０２）。上述したようにステレオマッチングやぼけパラメータを用いた手法により距離情報を取得するのであれば、Ｓ１０１で取得した撮像画像を用いることになる。ただし、Time of Flight方式のように画像を用いずに距離情報を取得してもよい。その場合には、Ｓ１０１で取得される撮像画像とＳ１０２で取得される距離情報の対応付けが行われていればよく、必ずしも図１７の順序で処理が行われるとは限らない。

距離情報が取得されたら、当該距離情報を用いて明るさ調整処理を行う（Ｓ１０３）。これは撮像画像の各画素値（狭義にはそこから算出される輝度値）に対して、上式（２）或いは上式（３）等を用いた補正処理を行うことに対応する。

また、距離情報に基づいて、強調処理に用いる抽出凹凸情報の抽出処理が行われる（Ｓ１０４）。抽出処理の詳細を図１８に示す。抽出処理では、まず既知特性情報を取得し（Ｓ２０１）、当該既知特性情報と距離情報に基づいて抽出処理パラメータを決定する（Ｓ２０２）。そして決定した抽出処理パラメータを用いて距離情報から抽出凹凸情報を抽出し（Ｓ２０３）、抽出凹凸情報を出力する（Ｓ２０４）。図１８ではモルフォロジー処理の例を挙げたため、Ｓ２０２の処理は構造要素のサイズを決定する処理となるが、上述したようにこれには限定されない。Ｓ２０３ではフィルタ処理を行ってもよく、その場合にはＳ２０２ではフィルタ特性を決定する処理が行われる。

なお、Ｓ１０３とＳ１０４の処理は距離情報が取得されれば独立に行うことができるため、図１７の順序に限定されず、どちらを先に行っても（或いは並列して行っても）よい。

その後、明るさ調整処理後の撮像画像に対して、抽出凹凸情報を用いて強調処理を行う（Ｓ１０５）。強調処理の具体的な内容は上述したように種々考えられ、場合によってはＳ２０１で取得した既知特性情報を強調処理においても用いてもよい。

強調処理後の撮像画像は表示部で表示される（Ｓ１０６）。ここでの表示部は例えば図２の表示部４００のように、画像処理装置と一体として設けられるものであってもよい。ただしこれには限定されず、画像処理装置は強調処理後の画像を出力するにとどまり、表示処理は表示部を有する他の装置において行われてもよい。

８．本実施形態の具体例
以上の本実施形態では、画像処理装置は図１や図２に示したように、撮像部２００の撮像により、被写体の像を含む撮像画像を取得する画像取得部３１０と、撮像の際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部３２０と、距離情報に基づいて、撮像画像に対して明るさ調整処理を行う明るさ改善部３３０と、距離情報に基づいて、明るさ調整処理後の撮像画像に対して、被写体の構造を強調する強調処理を行う画像強調部３４０とを含む。

これにより、距離情報を取得し、当該距離情報に基づいて明るさ調整処理を行うとともに、明るさ調整処理後の撮像画像に対して強調処理を行うことができる。よって、撮像部２００からの距離が遠いことで暗く撮像される領域について明るさを改善することができるため、強調処理と合わせて被写体の構造の視認性を効果的に高めることが可能になる。その際、強調処理に用いる距離情報を明るさ調整処理にも用いるため、明るさ調整処理のために別途処理を追加する必要がなく、処理負荷が増大することもない。

また、画像処理装置は図２に示したように、被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部３８０と、距離情報と既知特性情報に基づいて、既知特性情報により特定される特性と合致する被写体の凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する凹凸情報抽出部３７０を含んでもよい。そして、画像強調部３４０は、明るさ調整処理後の撮像画像のうち、抽出凹凸情報により特定される被写体に対して、強調処理を行う。

これにより、既知特性情報を用いて、距離情報（例えば図８（Ａ）に示した情報）から抽出凹凸情報（例えば図８（Ｃ）や図８（Ｅ）に示した情報）を抽出し、当該抽出凹凸情報を用いて強調処理を行うことが可能になる。よって、精度よく被写体の凹凸部（狭義には被写体表面の凹凸部であるがこれには限定されない）を検出、強調することができる。なお、抽出凹凸情報は狭義には、距離マップ、或いは画像取得部３１０で取得される画像に対応する画素数（例えば同一の画素数）を有し、各画素値が凹凸に対応する値となる凹凸画像であってもよい。凹凸に対応する値とは、例えば凸部が正、凹部が負の値となり、凸部の高さが高いほど、また凹部の深さが深いほど、その絶対値が大きくなる値が考えられる。ただし、抽出凹凸情報は凹凸画像に限定されず、他の形式の情報であってもよい。

また、被写体は、大局的な三次元構造と、大局的な三次元構造に比べて局所的な凹凸構造とを有してもよく、凹凸情報抽出部３７０は、被写体が有する大局的な三次元構造と局所的な凹凸構造のうち、既知特性情報により特定される特性と合致する被写体の凹凸部を、抽出凹凸情報として抽出してもよい。

ここで大局的な三次元構造とは、例えば図８（Ａ）において、左から右へ行くにつれて撮像部２００からの距離が大きくなる要因となる管腔壁面等の構造である。また、図２の２，３，４に示した生体の襞等を含んでもよい。また局所的な凹凸構造とは、例えば図２の１０，２０，３０に示した微少な溝や凸部（ポリープ等）である。

これにより、被写体が大局的な構造と局所的な構造とを有する場合に、既知特性情報を用いていずれの構造を抽出すべきであるかを決定し、決定された構造に関する情報を抽出凹凸情報として抽出することが可能になる。

また、凹凸情報抽出部３７０は、既知特性情報及び距離情報に基づいて抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて、被写体の凹凸部を抽出凹凸情報として抽出してもよい。

これにより、既知特性情報及び距離情報により決定された抽出処理パラメータを用いて抽出凹凸情報の抽出処理（例えば分離処理）を行うことが可能になる。抽出処理の具体的な手法は、本実施形態で上述したモルフォロジー処理や、フィルタ処理等が考えられるが、いずれにせよ抽出凹凸情報を精度よく抽出するためには、距離情報に含まれる種々の構造の情報から、所望の凹凸部に関する情報を抽出しつつ、他の構造（例えば襞等の生体固有の構造）を除外する制御が必要になる。ここでは既知特性情報に基づいて抽出処理パラメータを設定することで、そのような制御を実現する。

また、凹凸情報抽出部３７０は、オープニング処理及びクロージング処理に用いられる構造要素のサイズ、又は距離情報に対するフィルタリング処理に用いられるフィルタの周波数特性を、抽出処理パラメータとして決定し、決定された抽出処理パラメータに基づいて、被写体の凹凸部を抽出凹凸情報として抽出してもよい。

これにより、図８（Ａ）〜図８（Ｆ）に示したように、オープニング処理及びクロージング処理（広義にはモルフォロジー処理）に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメータは、オープニング処理及びクロージング処理で用いられる構造要素のサイズである。図８（Ａ）では構造要素として球を想定しているため、抽出処理パラメータとは球の直径等を表すパラメータとなる。具体的には上述したように、襞等の除外対象とする形状に対して構造要素による処理を行った場合（図８（Ａ）では表面で球を滑らせた場合）には、当該形状を潰さない（形状に追従して球が移動する）ような構造要素のサイズを決定する。逆に、抽出凹凸情報として抽出対象となる凹凸部に対して構造要素による処理を行った場合には、当該凹凸部をなくす（上から滑らせた場合に凹部に入り込まない、或いは下から滑らせた場合に凸部に入り込まない）ような構造要素のサイズを決定すればよい。なおモルフォロジー処理については広く知られた手法であるため詳細な説明は省略する。

構造要素のサイズ決定の際には、既知特性情報が被写体の構造に関する既知の特性であるため、実空間で考えた場合の実サイズ（例えばマイクロメートル、ナノメートル等の単位で決定されるサイズ）で表現されることが想定される点を考慮するとよい。図８（Ａ）等を考えればわかるように、撮像部２００から被写体までの距離にはばらつきがある以上、実サイズが同じ被写体（例えば同じ幅の溝）であっても距離が小さいものの方が距離が大きいものに比べて大きく観察されることになる。よって、実サイズと、距離情報上での見た目のサイズ（距離情報が画素単位で表される距離マップであれば、ピクセル単位で決定されるサイズ）との変換を行わなくては、既知特性情報により特定される特性と合致する凹凸部の抽出を行うことは困難である。そこで本実施形態では、距離情報の値に応じて抽出処理パラメータを変更することでその変換を行うものとする。具体的には、距離が大きいほど抽出すべき対象の凹凸部が小さく見えることから、構造要素のサイズも小さく設定すればよい。なお、この場合には撮像部２００における撮像倍率によっても、実サイズと画像上サイズとの対応関係は変化するため、凹凸情報抽出部３７０は撮像部２００から撮像倍率の情報を取得しておき、当該撮像倍率による変換処理も行うことが望ましい。抽出処理パラメータの決定に距離情報も用いられるとしたのは、この点を考慮したものである。

或いは、図９（Ａ）〜図９（Ｄ）に示したように、フィルタ処理（本実施形態ではローパスフィルタを用いて説明したが、ハイパスフィルタ、或いはバンドパスフィルタを用いてもよい）に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメータは、フィルタ処理で用いられるフィルタの特性（狭義には空間周波数特性）である。具体的には上述したように、襞等の除外対象に対応する周波数と、凹凸部に対応する周波数とに基づいてσの値やカットオフ周波数を決定すればよい。フィルタ処理の場合も、モルフォロジー処理と同様に、距離情報を用いてその特性を決定してもよい。

また、画像強調部３４０は、明るさ改善部での明るさ調整処理に用いられる明るさ調整量に基づいて、強調処理での強調量を設定してもよい。具体的には、画像強調部３４０は、明るさ調整量に対して、所与の補正係数を乗じることで強調量を設定し、設定した強調量により強調処理を行ってもよい。

これにより、明るさ調整処理に用いる明るさ調整量と、強調処理に用いる強調量を連動して制御することが可能になる。明るさ調整量が多い被写体とは、撮像部２００からの距離が遠く、暗く撮像されるために視認性が低い。また、そのような暗い領域に対して、明るさ調整処理により輝度値を持ち上げる処理が行われるため、ノイズの増大度合いも大きくなりやすい。つまり、明るさ調整量は対応する被写体の視認性を表す指標値となり得るものであるため、それを用いて強調量を設定することで、最終的な出力画像の視認性を効果的に向上させることができる。具体的には、明るさ調整処理前、或いは後の撮像画像において、視認性が低いと思われる領域に対して強めの強調処理を行うことが考えられ、そのような処理は、明るさ調整量に比例する強調量を設定することで実現可能である。

また、明るさ改善部３３０は、距離情報により表される光源から被写体までの距離の２乗を表す情報に基づいて、明るさ調整量を設定し、設定した明るさ調整量を用いて明るさ調整処理を行ってもよい。具体的には、明るさ改善部３３０は、距離情報により表される光源から被写体までの距離の２乗の値が大きいほど、明るさ調整量を大きく設定し、設定した明るさ調整量を用いて明るさ調整処理を行ってもよい。

ここで、距離の２乗を表す情報とは、距離の値を２乗した値そのものであってもよいし、それに基づいて取得される他の情報であってもよい。上述したように、被写体の明るさは光源からの距離の２乗に比例して暗くなるものであるが、これは現実の被写体を対象としたものである。よって例えば、被写体を撮像する（被写体からの光を画像信号に変換する）処理に非線形性等がある場合には、撮像画像での明るさは距離の２乗に比例するものではなくなり、明るさ調整量としても当該非線形性等を考慮した値が用いられるべきである。本実施形態における「距離の２乗を表す情報」には、これらの距離の２乗に対して所与の変換を行った後の値（結果として距離の２乗には単純には比例しない値）も含むものとする。

これにより、距離の２乗を表す情報を用いて明るさ調整処理を行うことが可能になる。具体的には、上式（２）等を用いて輝度値を補正する処理を行えばよい。

また、明るさ改善部３３０は、光源から被写体までの距離について、明るさ調整処理における上限値を設定し、距離が上限値よりも大きい被写体に対しては、上限値の２乗を表す情報に基づいて明るさ調整値を設定し、設定した明るさ調整量を用いて明るさ調整処理を行ってもよい。一例としては、明るさ改善部３３０は、撮像部２００から、撮像部２００の状態により決定される被写界深度範囲の遠点までの距離に基づいて、上限値を設定してもよい。

これにより、明るさ調整処理を行う際の距離の上限値を設定することが可能になる。上式（２）等の手法では、距離の値が大きくなるほど明るさ調整量が増大していく。そのため、撮像部２００から離れすぎて、有用な情報が得られないほど黒つぶれしてしまったり、或いは光学系の条件からピントが合わずぼけることで観察に適さない領域に対してまで、大きな明るさ調整量を用いて処理を行うおそれがあり、結果としてノイズの増大等の問題が生じうる。よって本実施形態では、上式（２）等を用いて補正を行う距離の上限値を設定し、それ以上の距離については所定の明るさ調整量を用いるものとしてもよい。具体的には上式（３）等のように、距離の上限値の２乗を用いた明るさ調整処理を行えばよい。この際、上限値の決定手法は種々考えられるが、ピントが合っているか否かを基準とする場合には、被写界深度範囲の遠点（つまりピントが合う範囲のうち、最も撮像部２００から遠い点）での距離を上限値とすればよい。上限値以上の被写体とは、ピントが合っていないため、無理に明るさ調整を行ったとしてもかえって視認性を損ねるおそれがあり、且つ元々ユーザの注目度は低いことが想定され、明るさ調整量に制限をかけたとしても問題が大きくないと考えられるためである。

また、画像強調部３４０は、距離の２乗を表す情報に基づいて設定された明るさ調整量に対して、所与の補正係数を乗じることで強調量を設定し、設定した前記強調量により強調処理を行ってもよい。

これにより、距離の２乗を表す情報に基づいて明るさ調整量を設定する場合にも、当該明るさ調整量に比例する値として強調量を設定することが可能になる。

また、画像処理装置は、明るさ改善部３３０での明るさ調整処理後の撮像画像に対して、ノイズ低減処理を行うノイズ低減部を含んでもよい。

これにより、ノイズ低減処理を行うことが可能になる。上述したように、明るさ調整処理では輝度値を増大させる処理を行うことになるため、ノイズまで増大されてしまうことは避けられない。よって、増大したノイズによる視認性の低下や、それによる被写体の誤認（内視鏡画像であれば病変部の見落とし等を含む）を抑止することが望ましく、所与のノイズ低減処理を行うことが考えられる。なお、ノイズ低減処理については種々の手法が広く知られているため、詳細な説明は省略する。

また、明るさ改善部３３０は、光源の配光情報に基づいて、二次元空間において撮像画像の各画素の明るさを所与の明るさ範囲に含まれる値とするシェーディング補正処理を行うシェーディング補正処理部を含んでもよい。

これにより、距離情報を用いた明るさ調整処理に加えて、シェーディング補正を行うことが可能になる。撮像画像での明るさ分布は、距離情報及びシェーディングの両方に基づいて決定される。つまり距離情報だけからでは充分に明るさ調整処理を行うことができない場合には、シェーディング補正を行うことでより処理後の撮像画像の視認性を高めることが可能になる。

また、撮像画像は、生体の内部を撮像した生体内画像であってもよく、画像強調部３４０は、生体の粘膜構造に対して、強調処理を行ってもよい。

これにより、生体内画像を対象とした場合に、生体の粘膜構造に対して適切に強調処理を行うことが可能になる。

また、撮像画像は、生体の内部を撮像した生体内画像であってもよく、既知特性情報取得部３８０は、被写体が生体のいずれの部位に対応するかを表す部位情報と、生体の凹凸部に関する情報である凹凸特性情報を、既知特性情報として取得し、凹凸情報抽出部３７０は、部位情報と凹凸特性情報に基づいて、抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて、被写体の凹凸部を抽出凹凸情報として抽出し、画像強調部３４０は、抽出凹凸情報に基づいて、生体の粘膜構造に対して、強調処理を行ってもよい。

これにより、生体内画像を対象とする場合（例えば生体用の内視鏡装置に本実施形態の画像処理装置が用いられる場合）に、当該生体内画像の被写体の部位に関する部位情報を、既知特性情報として取得することが可能になる。本実施形態の手法を生体内画像を対象として適用する場合には、早期病変部の検出等に有用な凹凸構造を抽出凹凸情報として抽出することが想定されるが、早期病変部に特徴的な凹凸部の特性（例えばディメンジョン情報）は部位によって異なる可能性がある。また、除外対象である生体固有の構造（襞等）は部位によって当然異なる。よって、生体を対象とするのであれば、部位に応じた適切な処理を行う必要があり、本実施形態では部位情報に基づいて当該処理を行うものとする。

具体的な手法は種々考えられるが、例えば不図示の記憶部は、前記生体の第１〜第Ｎの部位の各部位に対応する第１〜第Ｎの凹凸特性情報を記憶しておき、前記部位情報により前記被写体が第ｋの部位に対応すると特定された場合に、前記凹凸情報抽出部３７０は、前記第１〜第Ｎの凹凸特性情報のうち第ｋの凹凸特性情報を用いて前記抽出処理パラメータを決定するとしてもよい。或いは、不図示の記憶部は、前記凹凸特性情報として基準凹凸特性情報を記憶しておき、前記凹凸情報抽出部３７０は、前記部位情報に基づいて前記基準凹凸特性情報に対して変換処理を行い、前記変換処理後の前記凹凸特性情報を用いて前記抽出処理パラメータを決定するとしてもよい。

また、以上の本実施形態は、図２に示したように上記の画像処理装置を含む内視鏡装置に適用できる。

これにより、本実施形態の手法により凹凸部を検出する内視鏡装置を実現することができる。上述したように、生体の微少な凹凸部は早期病変部の発見に有用であることが知られているのに対して、従来は当該凹凸部の検出精度が十分でなかったり、画像処理ではなく被験者にとって侵襲製の高い色素散布等の手法が用いられていた。本実施形態の手法によれば、凹凸部を画像処理により精度よく検出することが可能になるため、医療分野等において有用である。なお、本実施形態の手法では早期病変部等に見られる凹凸部と同様の特性の凹凸部を検出するため、図２の病変部１０，２０，３０の凹凸部だけでなく、正常部の凹凸部も区別なく検出する。つまり、出力される抽出凹凸情報が早期病変部の発見に有用であることは確かであるが、実際に早期病変部をどのように検出するかについては本実施形態の手法が関知するものではない。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０，２０，３０ 病変部、１００ 光源部、１１０ 白色光源、１３０ 駆動部、
１４０ 回転色フィルター、１５０ 回転駆動部、１６０ 集光レンズ、
２００ 撮像部、２１０ ライトガイドファイバー、２２０ 照明レンズ、
２３０−１，２３０−２ 対物レンズ、２４０−１，２４０−２ フォーカスレンズ、
２５０ レンズ駆動部、２６０−１，２６０−２ 撮像素子、２７０ スイッチ、
３００ 制御装置、３１０ 画像取得部、３２０ 距離情報取得部、
３２１ ステレオマッチング部、３２２ 視差・距離変換部、３２３ 輝度信号算出部、
３２４ 差分演算部、３２５ ２次微分演算部、３２６ パラメータ演算部、
３２７ 記憶部、３２８ ＬＵＴ記憶部、３２９ レンズ位置制御部、
３３０ 明るさ改善部、３３１ シェーディング補正部、３３２ 調整処理部、
３４０ 画像強調部、３４１ 同時化部、３４２ 強調処理部、３５０ 制御部、
３６０ 後処理部、３７０ 凹凸情報抽出部、３８０ 既知特性情報取得部、
４００ 表示部、５００ 外部Ｉ／Ｆ部、７０１,７０２，７０３ 色フィルター、
７０４ 回転モーター、３４２１ ディメンジョン情報取得部、３４２２ 凹部抽出部、
３４２３ 凸部抽出部、３４２４ 補正部、３４２５ 強調量設定部

Claims (19)

1. 撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、
   前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
   前記距離情報に基づいて、前記撮像画像に対して明るさ調整処理を行う明るさ改善部と、
   前記距離情報に基づいて、前記明るさ調整処理後の前記撮像画像に対して、前記被写体の構造を強調する強調処理を行う画像強調部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記画像強調部は、
   前記明るさ改善部での前記明るさ調整処理に用いられる明るさ調整量に基づいて、前記強調処理での強調量を設定することを特徴とする画像処理装置。
3. 請求項２において、
   前記画像強調部は、
   前記明るさ調整量に対して、所与の補正係数を乗じることで前記強調量を設定し、設定した前記強調量により前記強調処理を行うことを特徴とする画像処理装置。
4. 請求項１において、
   前記明るさ改善部は、
   前記距離情報により表される光源から前記被写体までの距離の２乗を表す情報に基づいて、明るさ調整量を設定し、設定した前記明るさ調整量を用いて前記明るさ調整処理を行うことを特徴とする画像処理装置。
5. 請求項４において、
   前記明るさ改善部は、
   前記距離情報により表される前記光源から前記被写体までの前記距離の２乗の値が大きいほど、前記明るさ調整量を大きく設定し、設定した前記明るさ調整量を用いて前記明るさ調整処理を行うことを特徴とする画像処理装置。
6. 請求項４において、
   前記明るさ改善部は、
   前記光源から前記被写体までの前記距離について、前記明るさ調整処理における上限値を設定し、前記距離が前記上限値よりも大きい前記被写体に対しては、前記上限値の２乗を表す情報に基づいて前記明るさ調整値を設定し、設定した前記明るさ調整量を用いて前記明るさ調整処理を行うことを特徴とする画像処理装置。
7. 請求項６において、
   前記明るさ改善部は、
   前記撮像部から、前記撮像部の状態により決定される被写界深度範囲の遠点までの距離に基づいて、前記上限値を設定することを特徴とする画像処理装置。
8. 請求項４において、
   前記画像強調部は、
   前記距離の２乗を表す情報に基づいて設定された前記明るさ調整量に対して、所与の補正係数を乗じることで強調量を設定し、設定した前記強調量により前記強調処理を行うことを特徴とする画像処理装置。
9. 請求項１において、
   前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、
   前記距離情報と前記既知特性情報に基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する凹凸情報抽出部と、
   を含み、
   前記画像強調部は、
   前記明るさ調整処理後の前記撮像画像のうち、前記抽出凹凸情報により特定される前記被写体に対して、前記強調処理を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記被写体は、大局的な三次元構造と、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
    前記凹凸情報抽出部は、
    前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記既知特性情報により特定される特性と合致する前記被写体の前記凹凸部を、前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
11. 請求項９において、
    前記凹凸情報抽出部は、
    前記既知特性情報及び前記距離情報に基づいて抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
12. 請求項１１において、
    前記凹凸情報抽出部は、
    オープニング処理及びクロージング処理に用いられる構造要素のサイズ、又は前記距離情報に対するフィルタリング処理に用いられるフィルタの周波数特性を、前記抽出処理パラメータとして決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
13. 請求項１において、
    前記明るさ改善部での前記明るさ調整処理後の前記撮像画像に対して、ノイズ低減処理を行うノイズ低減部を含むことを特徴とする画像処理装置。
14. 請求項１において、
    前記明るさ改善部は、
    光源の配光情報に基づいて、二次元空間において前記撮像画像の各画素の前記明るさを所与の明るさ範囲に含まれる値とするシェーディング補正処理を行うシェーディング補正処理部を含むことを特徴とする画像処理装置。
15. 請求項１において、
    前記撮像画像は、生体の内部を撮像した生体内画像であり、
    前記画像強調部は、
    前記生体の粘膜構造に対して、前記強調処理を行うことを特徴とする画像処理装置。
16. 請求項９において、
    前記撮像画像は、生体の内部を撮像した生体内画像であり、
    前記既知特性情報取得部は、
    前記被写体が前記生体のいずれの部位に対応するかを表す部位情報と、前記生体の前記凹凸部に関する情報である凹凸特性情報を、前記既知特性情報として取得し、
    前記凹凸情報抽出部は、
    前記部位情報と前記凹凸特性情報に基づいて、前記抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出し、
    前記画像強調部は、
    前記抽出凹凸情報に基づいて、前記生体の粘膜構造に対して、前記強調処理を行うことを特徴とする画像処理装置。
17. 請求項１乃至１６のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
18. 撮像部の撮像により、被写体の像を含む撮像画像を取得し、
    前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、
    前記距離情報に基づいて、前記撮像画像に対して明るさ調整処理を行い、
    前記距離情報に基づいて、前記明るさ調整処理後の前記撮像画像に対して、前記被写体の構造を強調する強調処理を行うことを特徴とする画像処理方法。
19. 撮像部の撮像により、被写体の像を含む撮像画像を取得し、
    前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、
    前記距離情報に基づいて、前記撮像画像に対して明るさ調整処理を行い、
    前記距離情報に基づいて、前記明るさ調整処理後の前記撮像画像に対して、前記被写体の構造を強調する強調処理を行う、
    ステップをコンピュータに実行させるプログラム。