JP2014144034A

JP2014144034A - 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP2014144034A
Application number: JP2013012816A
Authority: JP
Inventors: Junpei Takahashi; 順平高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-01-28
Filing date: 2013-01-28
Publication date: 2014-08-14
Anticipated expiration: 2033-01-28
Also published as: WO2014115371A1; US20150294463A1; JP6112879B2

Abstract

【課題】後段の処理に有用な凹凸構造の情報を取得可能な画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供すること。
【解決手段】画像処理装置は、被写体の像を含む撮像画像を取得する画像取得部３５０と、その撮像画像を撮像する際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部３１３と、距離情報に基づいて被写体の凹凸情報を抽出凹凸情報として取得する凹凸情報取得部３１４と、撮像画像の所定領域毎に、抽出凹凸情報を除外又は抑制するか否かの判定を行う判定部３１５と、除外又は抑制すると判定された所定領域の抽出凹凸情報を除外し、又は凹凸の度合いを抑制する凹凸情報修正部３１６と、を含む。
【選択図】図１

Description

本発明は、画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等に関する。

内視鏡装置を用いた生体内部の観察、診断においては、生体の微小な凹凸状態を観察することで早期病変部か否かの識別を行う手法が広く用いられている。また、生体用の内視鏡装置ではなく、工業用の内視鏡装置においても、被写体（例えば被写体表面）の凹凸構造を観察することは有用であり、例えば直接の目視が難しいパイプ内部等に発生した亀裂の検出等が可能になる。また、内視鏡装置以外の画像処理装置においても、処理対象となる画像から被写体の凹凸構造を検出することが有用であることは多い。

このような被写体の凹凸構造を利用した処理の一例として、凹凸構造の強調が考えられる。例えば、画像処理により撮像画像の構造（例えば溝等の凹凸構造）を強調する手法として、特定の空間周波数を強調する画像処理や、以下の特許文献１に開示される手法が知られている。或は、画像処理ではなく、被写体側に何らかの変化（例えば色素散布）を生じさせて、変化後の被写体を撮像する手法が知られている。

特許文献１には、局所的な抽出領域の注目画素をその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色される処理を行うことで、凹凸構造を強調する手法が開示されている。

特開２００３−８８４９８号公報

上記のような強調処理に限らず、被写体の凹凸構造の情報を後段の処理に用いる場合に、その後段の処理に有用な凹凸構造の情報のみを含んでいるとは限らないという課題がある。例えば、生体用の内視鏡装置において凹凸構造の強調処理を行う場合、生体本来の凹凸でない凹凸構造（例えば処置具や、誤検出された凹凸）が含まれると、その不要な凹凸構造まで強調されてしまうことになる。

本発明の幾つかの態様によれば、後段の処理に有用な凹凸構造の情報を取得可能な画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供できる。

本発明の一態様は、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記距離情報に基づいて前記被写体の凹凸情報を抽出凹凸情報として取得する凹凸情報取得部と、前記撮像画像の所定領域毎に、前記抽出凹凸情報を除外又は抑制するか否かの判定を行う判定部と、前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を除外し、又は凹凸の度合いを抑制する凹凸情報修正部と、を含む画像処理装置に関係する。

本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。

本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報に基づいて前記被写体の凹凸情報を抽出凹凸情報として取得し、前記撮像画像の所定領域毎に、前記抽出凹凸情報を除外又は抑制するか否かの判定を行い、前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を除外し、又は凹凸の度合いを抑制する画像処理方法に関係する。

本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報に基づいて前記被写体の凹凸情報を抽出凹凸情報として取得し、前記撮像画像の所定領域毎に、前記抽出凹凸情報を除外又は抑制するか否かの判定を行い、前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を除外し、又は凹凸の度合いを抑制するステップを、コンピューターに実行させる画像処理プログラムに関係する。

画像処理装置の構成例。第１実施形態における内視鏡装置の構成例。ベイヤー配列の色フィルターの構成例。赤色フィルター、青色フィルター、緑色フィルターの分光感度特性例。第１実施形態における画像処理部の詳細な構成例。凹凸情報取得部の詳細な構成例。図７（Ａ）〜図７（Ｃ）はフィルター処理による抽出凹凸情報の抽出処理についての説明図。画像や距離マップ、凹凸マップにおける座標（ｘ，ｙ）についての説明図。第１実施形態における判定部の詳細な構成例。色相値についての説明図。輝点識別部の詳細な構成例。輝点識別処理についての説明図。輝度値に応じたノイズ特性の例。処置具識別部の詳細な構成例。図１５（Ａ）〜図１５（Ｄ）は、凹凸情報修正処理についての説明図。第１実施形態における画像処理のフローチャート例。第１実施形態における要否判定処理のフローチャート例。第２実施形態における内視鏡装置の構成例。第２実施形態における光源スペクトルの例。第２実施形態における画像処理部の詳細な構成例。第２実施形態における判定部の詳細な構成例。第２実施形態における画像処理のフローチャート例。第２実施形態における要否判定処理のフローチャート例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

例えば以下では、修正した抽出凹凸情報を強調処理に用いる場合を例に説明するが、強調処理に限らず種々の処理に用いることが可能である。以下では、強調処理において有用でない凹凸情報（例えば残渣や輝点等の領域の抽出凹凸情報）に対して修正を行うが、修正するか否かの判定条件は、後段の処理内容に応じて設定されればよい。

１．本実施形態の手法
内視鏡装置を用いて消化管の早期病変を鑑別・範囲診断する際、生体表面の微小な凹凸が重要視される。内視鏡装置では画像を強調する処理として特定の空間周波数を強調する処理が一般的に用いられるが、その強調処理では生体表面の微小な凹凸を強調することはできない。

そのため、日本国内ではインジゴカルミン等の色素散布が一般的に実施されている。色素を散布することで、微小な凹凸のコントラストが強調される。しかしながら、色素散布はドクターにとって煩雑な作業である。また検査時間が長くなるため、患者の負担も大きい。また、色素撒布後は生体表面を元の状態で観察することができなくなる他、色素を用いることでコストが増す問題もある。日本国外では色素散布を行う習慣がなく（作業の煩雑性やコストの観点が理由）、通常の白色光源を用いた観察のみなので、早期病変を見落とす危険性がある。

これらの課題を改善するため、色素散布を行う事なく画像処理で生体表面の凹凸のコントラストを強調表示できれば、日本国内のドクターや患者にとってメリットが高い。また日本国外では、新たな診断手法を提案でき、上記のような見落としの防止に貢献できる。

上述の特許文献１には、色素散布の状態を画像処理によって擬似的に再現する手法が開示されている。この手法では、局所的な抽出領域の注目画素とその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色させる。しかしながら、この手法では、生体表面までの距離が遠いほど生体表面から反射してくる反射光量が少なくなるため暗く撮影されるという仮定に基づいている。そのため、例えば輝点周辺や、手前の構造物の陰や、血管とその周辺の粘膜等といった生体表面の微小な凹凸に関係ない情報も、凹凸情報として誤検出するという課題がある。

このように、被写体の凹凸構造を強調する処理では、強調する必要のない凹凸構造や強調しない方がよい凹凸構造まで強調されてしまうという課題がある。

図１に、このような課題を解決できる画像処理装置の構成例を示す。画像処理装置は、被写体の像を含む撮像画像を取得する画像取得部３５０と、その撮像画像を撮像する際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部３１３と、距離情報に基づいて被写体の凹凸情報を抽出凹凸情報として取得する凹凸情報取得部３１４と、撮像画像の所定領域（画素又は所定サイズの領域）毎に、抽出凹凸情報を除外又は抑制するか否かの判定を行う判定部３１５と、除外又は抑制すると判定された所定領域の抽出凹凸情報を除外し、又は凹凸の度合いを抑制する凹凸情報修正部３１６と、を含む。

このようにすれば、撮像画像に対応する抽出凹凸情報から、所定の判定条件に該当する（例えば後段の処理に必要でない又は後段の処理に用いるべきでない）領域の抽出凹凸情報を除外又は抑制することができる。後段の処理として生体凹凸構造の強調処理を行う場合、ユーザーにとって観察したい凹凸構造に対して強調処理を行うことが可能となる。即ち、生体に固有の凹凸でない凹凸構造に対する強調処理や、本来凹凸でない部分が強調処理により誤って凹凸構造として見えること等を、抑制することができる。

ここで距離情報とは、撮像画像の各位置と、その各位置での被写体までの距離とが対応付けられた情報である。例えば距離情報は距離マップである。距離マップとは、例えば後述する撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば各画素）について、被写体までのＺ軸方向での距離（奥行き・深度）をその点の値としたマップのことである。

なお距離情報は、撮像部２００から被写体までの距離に基づいて取得される種々の情報であればよい。例えば、ステレオ光学系で三角測量する場合は、視差を生む２つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式を用いた場合は、例えば、撮像素子面の各画素位置を基準にした距離を距離情報として取得すればよい。これらは、距離計測の基準点を撮像部２００に設定した例であるが、基準点は、撮像部２００以外の任意の場所、例えば、撮像部や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向の距離であることが考えられる。一例としては、撮像部２００の光軸方向での距離を用いればよい。例えば、撮像部２００の光軸に対して垂直な方向に視点を設定した場合には、当該視点において観察される距離（当該視点を通る、光軸に平行な線上での撮像部２００から被写体までの距離）であってもよい。

例えば、距離情報取得部３１３は、撮像部２００の第１の基準点を原点とした第１の座標系における各対応点の座標を、公知の座標変換処理によって、３次元空間内の第２の基準点を原点とした第２の座標系における対応点の座標に変換し、その変換後の座標をもとに距離を計測してもよい。この場合、第２の座標系における第２の基準点から各対応点までの距離は、第１の座標系における第１の基準点から各対応点までの距離、すなわち「撮像部から各対応点までの距離」となり、両者は一致する。

また、距離情報取得部３１３は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、距離情報取得部３１３は、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。図６等で後述するように凹凸情報取得部３１４が抽出処理パラメーターを用いて凹凸情報を取得する場合、凹凸情報取得部３１４は、撮像部２００に基準点を設定した場合と比較して、抽出処理パラメーターとして異なるパラメーターを用いることになる。抽出処理パラメーターの決定には距離情報を用いる必要があるため、距離計測の基準点が変わることで距離情報の表し方が変化した場合には、抽出処理パラメーターの決定手法も変化するためである。例えば、後述するようにモルフォロジー処理により抽出凹凸情報を抽出する場合には、抽出処理に用いる構造要素のサイズ（例えば球の直径）を調整して、調整後の構造要素を用いて凹凸部の抽出処理を実施する。

また抽出凹凸情報とは、距離情報から特定の構造に関する情報を抽出した情報である。より具体的には、抽出凹凸情報は、距離情報から大局的な距離変動（狭義には管腔構造による距離変動）を除外した情報である。

例えば、凹凸情報取得部３１４は、距離情報と、被写体の構造に関する既知の特性を表す情報である既知特性情報（例えば生体表面に存在する凹凸部の幅や深さ等を表すディメンジョン情報）とに基づいて、既知特性情報により特定される特性と合致する被写体の凹凸部を、抽出凹凸情報として距離情報から抽出する。

このようにすれば、抽出したい所望の凹凸部（例えば生体の病変に起因する凹凸部）に関する既知特性情報に基づいて、その既知特性情報に合致する凹凸情報を分離することができる。これにより、所望の凹凸部に関する抽出凹凸情報を取得し、例えば強調処理等の後段の処理に用いることができる。

なお本実施形態ではこれに限定されず、強調処理等の後段の処理を適切に行えるだけの処理（例えば大局的な構造を除外する処理）を行えば十分である。即ち、抽出凹凸情報の取得において既知特性情報を用いることは必須でない。

２．第１実施形態
２．１．内視鏡装置
図２に、第１実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、プロセッサー部３００（制御装置）、表示部４００、外部Ｉ／Ｆ部５００を含む。

光源部１００は、白色光源１１０と、その白色光源１１０からの白色光をライトガイドファイバー２１０に集光する集光レンズ１２０と、を含む。

撮像部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００の白色光を撮像部２００先端まで導くライトガイドファイバー２１０と、そのライトガイドファイバー２１０により導かれた白色光を拡散させて生体表面に照射する照明レンズ２２０と、生体表面からの光を集光する対物レンズ２３１、２３２と、集光した光を検出する撮像素子２４１、２４２と、その撮像素子２４１、２４２により光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２５０と、を含む。また撮像部２００は、スコープの種類情報（例えば識別番号）を記憶するメモリー２６０を含む。

図３に示すように、撮像素子２４１、２４２は例えばベイヤー配列の色フィルターを有する。その色フィルターは赤色フィルターｒ、青色フィルターｇ、緑色フィルターｂの３種類のフィルターで構成されている。各色フィルターは、例えば図４に示す分光感度特性を有する。

対物レンズ２３１、２３２は所定の視差画像（以下、ステレオ画像）を撮影可能な間隔で配置される。対物レンズ２３１、２３２は、それぞれ撮像素子２４１、２４２に対して被写体を結像させる。後述するように、ステレオ画像に対してステレオマッチング処理を行うことにより、撮像部２００の先端から生体表面までの距離情報を取得可能である。なお以下では、撮像素子２４１で撮像された画像を左画像と呼び、撮像素子２４２で撮像された画像を右画像と呼び、左画像及び右画像を合わせてステレオ画像と呼ぶ。

プロセッサー部３００は、画像処理部３１０、制御部３２０を含む。画像処理部３１０は、Ａ／Ｄ変換部２５０から出力されるステレオ画像に対して、後述する画像処理を施して表示画像を生成し、その表示画像を表示部４００へ出力する。制御部３２０は、内視鏡装置の各部を制御する。例えば、後述する外部Ｉ／Ｆ部５００からの信号に基づいて、画像処理部３１０の動作を制御する。

表示部４００は、プロセッサー部３００から出力される表示画像を動画表示可能な表示装置である。表示部４００は、例えばＣＲＴ（Cathode-Ray Tube display）や液晶モニター等により構成される。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタン等を含む。また、外部Ｉ／Ｆ部５００は、強調処理のオン／オフ指示を行うことができる不図示の強調処理ボタンを有してもよい。ユーザーは、その強調処理ボタンを操作することにより強調処理のオン／オフ指示を行うことができる。外部Ｉ／Ｆ部５００からの強調処理のオン／オフ指示信号は、制御部３２０へ出力される。

２．２．画像処理部
図５に、画像処理部３１０の詳細な構成例を示す。画像処理部３１０は、同時化処理部３１１と、画像構成処理部３１２と、距離情報取得部３１３（距離マップ取得部）と、凹凸情報取得部３１４（凹凸マップ取得部）と、判定部３１５（要否判定部）と、凹凸情報修正部３１６（凹凸マップ修正部）と、強調処理部３１７と、を含む。同時化処理部３１１は、図１の画像取得部３５０に対応する。

Ａ／Ｄ変換部２５０は同時化処理部３１１に接続されている。同時化処理部３１１は画像構成処理部３１２、距離情報取得部３１３及び判定部３１５に接続されている。距離情報取得部３１３は凹凸情報取得部３１４に接続されている。判定部３１５及び凹凸情報取得部３１４は、凹凸情報修正部３１６に接続されている。凹凸情報修正部３１６及び画像構成処理部３１２は、強調処理部３１７に接続されている。強調処理部３１７は表示部４００に接続されている。制御部３２０は、同時化処理部３１１、画像構成処理部３１２、距離情報取得部３１３、凹凸情報取得部３１４、判定部３１５、凹凸情報修正部３１６、強調処理部３１７に接続されており、これらの各部を制御する。

同時化処理部３１１は、Ａ／Ｄ変換部２５０から出力されるステレオ画像に対して、同時化処理を施す。上述したように、撮像素子２４１、２４２はベイヤー配列の色フィルターを有するため、各画素が有する信号はＲ，Ｇ，Ｂのうちいずれか一つのみである。そのため公知のバイキュービック補間等を用いてＲＧＢ画像を生成する。同時化処理部３１１は同時化処理後のステレオ画像を画像構成処理部３１２、距離情報取得部３１３及び判定部３１５へ出力する。

画像構成処理部３１２は、同時化処理部３１１から出力されるステレオ画像に対して、例えば既知のＷＢ処理やガンマ処理等を施し、処理後のステレオ画像を強調処理部３１７へ出力する。

距離情報取得部３１３は、同時化処理部３１１から出力されるステレオ画像に対してステレオマッチング処理を行い、撮像部２００の先端から生体表面までの距離情報を取得する。具体的には、左画像を基準画像として、その基準画像の処理対象画素を通るエピポーラ線上で、処理対象画素及びその周辺領域（所定サイズのブロック）と右画像とのブロックマッチング演算を行う。そして、ブロックマッチング演算において最大相関となる位置を視差として検出し、その視差を奥行き方向の距離に変換する。この変換は撮像部２００の光学倍率の補正処理を含んでいる。例えば、処理対象画素を１画素ずつずらしていき、ステレオ画像と同一画素数の距離マップを距離情報として取得する。距離情報取得部３１３は、その距離マップを凹凸情報取得部３１４へ出力する。なお、右画像を基準画像としても良いことはいうまでもない。

凹凸情報取得部３１４は、管腔や襞等消化官の形状に依存する距離情報を除いた生体表面の凹凸部を表す凹凸情報を距離情報から抽出し、その凹凸情報を抽出凹凸情報として凹凸情報修正部３１６へ出力する。具体的には、凹凸情報取得部３１４は、抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等のディメンジョン情報）を表す既知特性情報に基づいて、所望のディメンジョン特性を有する凹凸部を抽出する。凹凸情報取得部３１４の詳細については後述する。

判定部３１５は、抽出凹凸情報を除外又は抑制する領域を、画像の特徴量（例えば色相値やエッジ量等）が所定条件に該当するか否かにより判定する。具体的には、判定部３１５は、残渣や処置具等に該当する画素を、抽出凹凸情報を取得する必要がない画素として検出する。また判定部３１５は、平坦領域や暗部、輝点等にその該当する画素を、距離マップの生成が困難な（距離マップの信頼性が低い）画素として検出する。判定部３１５は、検出した画素の位置情報を凹凸情報修正部３１６へ出力する。判定部３１５の詳細については後述する。なお、上記のように各画素について判定を行ってもよいし、或は、撮像画像を所定サイズのブロックに分割し、その各ブロックについて判定を行ってもよい。

凹凸情報修正部３１６は、抽出凹凸情報を除外又は抑制すると判定された領域（以下、除外対象領域と呼ぶ）の抽出凹凸情報を除外し、或は凹凸度合いを抑制する。例えば、抽出凹凸情報は平坦部では一定値（一定距離）となっているので、その一定値に設定することで除外対象領域の抽出凹凸情報を除外する。或は、除外対象領域の抽出凹凸情報に対して平滑化フィルター処理を行うことで、除外対象領域での凹凸度合いを抑制する。凹凸情報修正部３１６の詳細については後述する。

強調処理部３１７は、抽出凹凸情報に基づいて撮像画像に対して強調処理を行い、処理後の画像を表示画像として表示部４００へ出力する。後述するように、強調処理部３１７は、例えば生体の凹部に対応する領域に対して、青色を濃くする処理を行う。このような処理を行うことで、色素散布の手間を要することなく、生体表層の凹凸を強調表示することが可能となる。

２．３．凹凸情報取得処理
図６に、凹凸情報取得部３１４の詳細な構成例を示す。凹凸情報取得部３１４は、記憶部６０１、既知特性情報取得部６０２、抽出処理部６０３を含む。以下では凹凸部のサイズを表す既知特性情報に基づいて、ローパスフィルター処理の周波数特性を設定する場合を例に説明するが、本実施形態はこれに限定されない。例えば、予め決まった周波数特性がローパスフィルターに設定されていてもよい。この場合、記憶部６０１や既知特性情報取得部６０２を省略できる。

既知特性情報取得部６０２は、記憶部６０１からディメンジョン情報（抽出したい生体の凹凸部のサイズ情報）を既知特性情報として取得し、そのディメンジョン情報に基づいてローパスフィルター処理の周波数特性を決定する。抽出処理部６０３は、その周波数特性のローパスフィルター処理を距離マップに対して施し、管腔や襞等に関する形状情報を抽出する。そして、抽出処理部６０３は、その形状情報を距離マップから減算することで、生体表層の凹凸マップ（所望サイズの凹凸部の情報）を生成し、その凹凸マップを抽出凹凸情報として凹凸情報修正部３１６へ出力する。

図７（Ａ）に、距離マップの例を模式的に示す。以下では説明の便宜上、一次元の距離マップを考え、矢印で示す方向に距離の軸をとる。距離マップには、Ｐ１に示す生体のおおまかな構造の情報（例えば管腔や襞等の形状情報）と、Ｐ２に示す生体表層の凹凸部の情報の両方を含んでいる。図７（Ｂ）に示すように、抽出処理部６０３が距離マップに対してローパスフィルター処理を行い、生体のおおまかな構造の情報を抽出する。そして図７（Ｃ）に示すように、抽出処理部６０３が、生体のおおまかな構造の情報を距離マップから減算し、生体表層の凹凸情報である凹凸マップを生成する。

図８に示すように、画像や距離マップ、凹凸マップにおける水平方向をｘ軸と定義し、垂直方向をｙ軸と定義する。また、画像（又はマップ）の左上を基準座標（０，０）とする。距離マップの座標（ｘ，ｙ）における距離をｄｉｓｔ（ｘ，ｙ）と定義し、ローパスフィルター処理後の距離マップの座標（ｘ，ｙ）における距離（形状情報）をｄｉｓｔ＿ＬＰＦ（ｘ，ｙ）と定義すると、凹凸マップの座標（ｘ，ｙ）における凹凸情報ｄｉｆｆ（ｘ，ｙ）は下式（１）で求められる。

次に、ディメンジョン情報からカットオフ周波数（広義には抽出処理パラメーター）を決定する処理の詳細について説明する。

既知特性情報取得部６０２は、生体表面から病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等のディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）等を、記憶部６０１から取得する。

ここで観察部位情報は、例えばスコープＩＤ情報に基づいて決定される、観察対象としている部位を表す情報であり、この観察部位情報は既知特性情報に含まれてもよい。例えば上部消化器用スコープだと観察部位は食道、胃、十二指腸であり、下部消化器用スコープだと観察部位は大腸と判定される情報である。抽出したい凹凸部のディメンジョン情報、及び部位固有の管腔及び襞のディメンジョン情報は、部位に応じて異なるものであるため、既知特性情報取得部６０２では、観察部位情報に基づいて取得された標準的な管腔及び襞のサイズ等の情報を抽出処理部６０３へ出力する。

抽出処理部６０３は、入力された距離情報に対して所定サイズ（例えばＮ×Ｎ画素（Ｎは２以上の自然数））のローパスフィルター処理を施す。そして、その処理後の距離情報（局所平均距離）に基づいて、適応的に抽出処理パラメーターを決定する。具体的には、病変部起因の抽出したい生体固有の凹凸部を平滑化すると共に、観察部位固有の管腔及び襞の構造が保持されるローパスフィルターの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象である襞、管腔構造の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルターの特性を決定可能である。また、局所平均距離に応じて見かけ上の構造の大きさが変わるため、局所平均距離に応じてローパスフィルターの特性を決定する。

ローパスフィルター処理は、例えば下式（２）に示すガウスフィルターや、下式（３）に示すバイラテラルフィルターにより実現される。ここでｐ（ｘ）は、距離マップにおける座標ｘでの距離を表す。なお簡単のため一次元フィルターの式を記載しているが、実際には座標（ｘ，ｙ）についての二次元フィルターを適用する。これらのフィルターの周波数特性はσ、σ_ｃ、σ_νで制御する。このとき、距離マップの画素に一対一で対応するσマップを、抽出処理パラメーターとして作成してもよい。なお、バイラテラルフィルターの場合は、σ_ｃ、σ_νの両方或いは一方のσマップを作成してもよい。

σとしては、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離Ｄ１の所定倍α（＞１）よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離Ｄ２の所定倍β（＜１）よりも小さい値を設定する。例えば、σ＝（α＊Ｄ１＋β＊Ｄ２）／２＊Ｒσと設定してもよい。ここでＲσは、局所平均距離の関数であり、局所平均距離が小さいほど値が大きく、局所平均距離が大きいほど値が小さい。

なお、本実施形態では上記のようなローパスフィルター処理を用いた抽出処理に限定されず、例えばモルフォロジー処理により抽出凹凸情報を取得してもよい。この場合、距離マップに対して所定カーネルサイズ（構造要素の大きさ（球の直径））のオープニング処理、クロージング処理を行う。抽出処理パラメーターは構造要素の大きさである。例えば構造要素として球を用いる場合、その球の直径として、観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。また、局所平均距離が小さいほど直径を大きくし、局所平均距離が大きいほど直径を小さくする。クロージング処理により得られた情報と、元の距離情報との差分を取ることで、生体表面の凹部が抽出される。また、オープニング処理により得られた情報と、元の距離情報との差分を取ることで、生体表面の凸部が抽出される。

以上の実施形態によれば、凹凸情報取得部３１４は、既知特性情報に基づいて抽出処理パラメーターを決定し、決定された抽出処理パラメーターに基づいて、被写体の凹凸部を抽出凹凸情報として抽出する。

これにより、既知特性情報により決定された抽出処理パラメーターを用いて抽出凹凸情報の抽出処理（例えば分離処理）を行うことが可能になる。抽出処理の具体的な手法は、上述したモルフォロジー処理やフィルター処理等が考えられるが、いずれにせよ抽出凹凸情報を精度よく抽出するためには、距離情報に含まれる種々の構造の情報から、所望の凹凸部に関する情報を抽出しつつ、他の構造（例えば襞等の生体固有の構造）を除外する制御が必要になる。ここでは既知特性情報に基づいて抽出処理パラメーターを設定することで、そのような制御を実現する。

また本実施形態では、撮像画像が、生体の内部を撮像した生体内画像であり、既知特性情報取得部６０２は、被写体が生体のいずれの部位に対応するかを表す部位情報と、生体の凹凸部に関する情報である凹凸特性情報を、既知特性情報として取得してもよい。そして凹凸情報取得部３１４は、部位情報と、凹凸特性情報に基づいて、抽出処理パラメーターを決定する。

このようにすれば、生体内画像を対象とする場合（例えば生体用の内視鏡装置に本実施形態の画像処理装置が用いられる場合）に、当該生体内画像の被写体の部位に関する部位情報を、既知特性情報として取得することが可能になる。本実施形態の手法を生体内画像を対象として適用する場合には、早期病変部の検出等に有用な凹凸構造を抽出凹凸情報として抽出することが想定されるが、早期病変部に特徴的な凹凸部の特性（例えばディメンジョン情報）は部位によって異なる可能性がある。また、除外対象である生体固有の構造（襞等）は部位によって当然異なる。よって、生体を対象とするのであれば、部位に応じた適切な処理を行う必要があり、本実施形態では部位情報に基づいて当該処理を行うものとする。

また本実施形態では、凹凸情報取得部３１４は、既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、抽出処理パラメーターとして決定し、決定されたサイズの構造要素を用いたオープニング処理及びクロージング処理を行って、被写体の凹凸部を抽出凹凸情報として抽出する。

このようにすれば、オープニング処理及びクロージング処理（広義にはモルフォロジー処理）に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメーターは、オープニング処理及びクロージング処理で用いられる構造要素のサイズである。本実施形態では構造要素として球を想定しているため、抽出処理パラメーターとは球の直径等を表すパラメーターとなる。

２．４．要否判定処理

さて、仮に、凹凸マップ（抽出凹凸情報）を除外又は抑制するか否かの判定（以下、要否判定と呼ぶ）を行わなかったとする。そうすると、例えば残渣や処置具等診断に無関係な領域の凹凸マップも生成されるため、強調処理部３１７により残渣や処置具の凹部も青く強調されてしまい、非常に見難い画像となる。

また、ステレオマッチングにより距離マップ（距離情報）を取得する場合、生体表面に構造が存在しない平坦領域やノイズが多い暗部では、距離マップを安定して生成することが困難である。また、輝点は光源の正反射成分であり、左画像と右画像ではその出方が異なるため、ステレオマッチングでは正確な距離の取得が困難である。そのため、これらの領域では、元々存在しない凹凸が凹凸マップとして取得される可能性がある。このような誤検出が生じた場合、本来平坦な領域であるにもかかわらず、凹凸が存在するかのように青く強調されてしまうため、誤診を招く危険性がある。

以上のように、凹凸マップを修正せずにそのまま強調処理に用いると、医師にとって見難い画像となるだけでなく、誤診を招く危険性がある。

そこで本実施形態では、判定部３１５が凹凸マップの要否判定を行う。即ち、残渣や処置具等の画素を、凹凸マップを取得する必要がない画素として識別し、平坦領域や暗部、輝点等の画素を、距離マップの生成が困難な画素として識別する。そして、凹凸情報修正部３１６が、それらの画素における凹凸マップの凹凸情報を除外又は抑制する処理を行う。

図９に、判定部３１５の詳細な構成例を示す。判定部３１５は、輝度色差画像生成部６１０（輝度算出部）と、色相算出部６１１と、彩度算出部６１２と、エッジ量算出部６１３と、残渣識別部６１４と、輝点識別部６１５と、暗部識別部６１６と、平坦領域識別部６１７と、処置具識別部６１８と、凹凸情報要否判定部６１９と、を含む。

同時化処理部３１１は輝度色差画像生成部６１０に接続されている。輝度色差画像生成部６１０は、色相算出部６１１、彩度算出部６１２と、エッジ量算出部６１３と、輝点識別部６１５と、暗部識別部６１６と、平坦領域識別部６１７と、処置具識別部６１８と、に接続されている。色相算出部６１１は残渣識別部６１４に接続されている。彩度算出部６１２は、処置具識別部６１８に接続されている。エッジ量算出部６１３は輝点識別部６１５と平坦領域識別部６１７と、処置具識別部６１８に接続されている。残渣識別部６１４と、輝点識別部６１５と、暗部識別部６１６と、平坦領域識別部６１７と、処置具識別部６１８はそれぞれ凹凸情報要否判定部６１９に接続されている。凹凸情報要否判定部６１９は凹凸情報修正部３１６に接続されている。制御部３２０は、輝度色差画像生成部６１０と、色相算出部６１１と、彩度算出部６１２と、エッジ量算出部６１３と、残渣識別部６１４と、輝点識別部６１５と、暗部識別部６１６と、平坦領域識別部６１７と、処置具識別部６１８と、凹凸情報要否判定部６１９にそれぞれ接続されており、これらの各部を制御する。

輝度色差画像生成部６１０は、同時化処理部３１１からのＲＧＢ画像（基準画像）に基づいてＹＣｂＣｒ画像（輝度色差画像）を算出し、そのＹＣｂＣｒ画像を色相算出部６１１、彩度算出部６１２、エッジ量算出部６１３、輝点識別部６１５及び暗部識別部６１６へ出力する。ＹＣｂＣｒ画像の算出には、下式（４）を用いる。

ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）は、それぞれ座標（ｘ，ｙ）の画素のＲ信号値、Ｇ信号値、Ｂ信号値である。Ｙ（ｘ，ｙ）、Ｃｂ（ｘ，ｙ）、Ｃｒ（ｘ，ｙ）は、それぞれ座標（ｘ，ｙ）の画素のＹ信号値、Ｃｂ信号値、Ｃｒ信号値である。

色相算出部６１１は、ＹＣｂＣｒ画像の各画素での色相値Ｈ（ｘ，ｙ）［ｄｅｇ］を算出し、その色相値Ｈ（ｘ，ｙ）を残渣識別部６１４へ出力する。図１０に示すように、色相値Ｈ（ｘ，ｙ）は、ＣｒＣｂ平面での角度で定義され、０〜３５９の値を取る。色相値Ｈ（ｘ，ｙ）は、下式（５）〜（１１）を用いて算出する。

即ち、Ｃｒ＝０の場合は、下式（５）〜（７）を用いて色相値Ｈ（ｘ，ｙ）を算出する。Ｃｂ＝０の場合には下式（５）を用い、Ｃｂ＞０の場合には下式（６）を用い、Ｃｂ＜０の場合には下式（７）を用いる。

Ｃｒ≠０の場合、下式（８）〜（１１）を用いて色相値Ｈ（ｘ，ｙ）を算出する。下式（８）〜（１１）において、“ｔａｎ^−１（）”は、括弧内の数値の逆正接［ｄｅｇ］を返す関数である。また“｜Ｖ｜”は実数Ｖの絶対値を取得する処理を表す。Ｃｒ＞０且つＣｂ≧０（第１象限）の場合には下式（８）を用い、Ｃｒ＜０且つＣｂ≧０（第２象限）の場合には下式（９）を用い、Ｃｒ＜０且つＣｂ＜０（第３象限）の場合には下式（１０）を用い、Ｃｒ＞０且つＣｂ＜０（第４象限）の場合には下式（１１）を用いる。

なお、Ｈ（ｘ，ｙ）＝３６０［ｄｅｇ］の場合には、Ｈ（ｘ，ｙ）＝０［ｄｅｇ］とする。

彩度算出部６１２は、ＹＣｂＣｒ画像の各画素での彩度値Ｓ（ｘ，ｙ）を算出し、その彩度値Ｓ（ｘ，ｙ）を処置具識別部６１８へ出力する。彩度値Ｓ（ｘ，ｙ）の算出には例えば下式（１２）を用いる。

エッジ量算出部６１３は、ＹＣｂＣｒ画像の各画素でのエッジ量Ｅ（ｘ，ｙ）を算出し、そのエッジ量Ｅ（ｘ，ｙ）を輝点識別部６１５、平坦領域識別部６１７及び処置具識別部６１８へ出力する。エッジ量の算出には例えば下式（１３）を用いる。

残渣識別部６１４は、色相算出部６１１で算出した色相値Ｈ（ｘ，ｙ）に基づいて、基準画像内から残渣に相当する画素を識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、例えば“０”，“１”の２値とすればよい。即ち、残渣識別された画素には識別信号“１”を設定し、それ以外の画素には識別信号“０”を設定する。

生体は一般に赤い色味（色相値０〜２０、３４０〜３５９［ｄｅｇ］）を有するのに対し、残渣は黄色い色味（色相値２７０〜３１０［ｄｅｇ］）を有する。そのため、例えば色相値Ｈ（ｘ，ｙ）が２７０〜３１０［ｄｅｇ］の画素を残渣と識別すればよい。

図１１に、輝点識別部６１５の詳細な構成例を示す。輝点識別部６１５は、輝点境界識別部７０１と、輝点領域識別部７０２と、を含む。

輝度色差画像生成部６１０とエッジ量算出部６１３は、輝点境界識別部７０１に接続されている。輝点境界識別部７０１は、輝点領域識別部７０２に接続されている。輝点境界識別部７０１と、輝点領域識別部７０２は、凹凸情報要否判定部６１９に接続されている。制御部３２０は、輝点境界識別部７０１と輝点領域識別部７０２に接続されており、これらの各部を制御する。

輝点境界識別部７０１は、輝度色差画像生成部６１０からの輝度値Ｙ（ｘ，ｙ）と、エッジ量算出部６１３からのエッジ量Ｅ（ｘ，ｙ）とに基づいて、基準画像内から輝点に相当する画素を識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、例えば輝点と識別された画素の識別信号を“１”に設定し、それ以外の画素の識別信号を“０”に設定すればよい。また、輝点境界識別部７０１は、輝点と識別された全ての画素の座標（ｘ，ｙ）を輝点領域識別部７０２と凹凸情報要否判定部６１９へ出力する。

次に、輝点の識別手法について詳細に説明する。輝点は輝度値Ｙ（ｘ，ｙ）とエッジ量Ｅ（ｘ，ｙ）が共に大きいという特徴を有する。そのため、輝度値Ｙ（ｘ，ｙ）が所定の閾値ｔｈ＿Ｙより大きく、且つエッジ量Ｅ（ｘ，ｙ）が所定の閾値ｔｈ＿Ｅ１より大きい画素を輝点と識別する。即ち、下式（１４）を満たす画素を輝点と識別する。

さて、エッジ量Ｅ（ｘ，ｙ）が大きいのは輝点と生体の境界部（輝点境界部）のみであり、その輝点境界部で囲まれた輝点の内側領域（輝点中央部）はエッジ量Ｅ（ｘ，ｙ）が小さい。そのため、単に輝度値Ｙ（ｘ，ｙ）とエッジ量Ｅ（ｘ，ｙ）だけで輝点を識別すると、輝点境界部の画素のみが輝点と識別され、輝点中央部は輝点と識別されない。そこで本実施形態では、輝点領域識別部７０２が、輝点中央部の画素も輝点と識別する。

図１２に示すように、輝点境界識別部７０１は、輝点境界部の画素ＰＸ１（グレーの網掛けで示す）を輝点と識別する。輝点領域識別部７０２は、その画素ＰＸ１で囲まれる画素ＰＸ２（斜線の網掛けで示す）を輝点と識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、識別信号は、例えば輝点と識別された画素の識別信号を“１”に設定し、それ以外の画素の識別信号を“０”に設定すればよい。

暗部識別部６１６は、輝度値Ｙ（ｘ，ｙ）に基づいて、基準画像内から暗部に相当する画素を識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、例えば暗部と識別された画素の識別信号を“１”に設定し、それ以外の画素の識別信号を“０”に設定すればよい。具体的には、暗部識別部６１６は、下式（１５）に示すように輝度値Ｙ（ｘ，ｙ）が所定の閾値ｔｈ＿ｄａｒｋよりも小さい画素を暗部と識別する。

平坦領域識別部６１７は、エッジ量Ｅ（ｘ，ｙ）に基づいて、基準画像内から平坦部に相当する画素を識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、例えば平坦部と識別された画素の識別信号を“１”に設定し、それ以外の画素の識別信号を“０”に設定すればよい。具体的には、平坦領域識別部６１７は、下式（１６）に示すようにエッジ量Ｅ（ｘ，ｙ）が所定の閾値ｔｈ＿Ｅ２（ｘ，ｙ）よりも小さい画素を平坦部と識別する。

平坦領域におけるエッジ量Ｅ（ｘ，ｙ）は、画像のノイズ量に依存する。ここでノイズ量は、所定領域における輝度値の標準偏差として定義される。一般に、画像が明るくなるほど（輝度値が大きくなるほど）ノイズ量は増加するため、固定の閾値で平坦領域を識別することは困難である。そこで本実施形態では、輝度値Ｙ（ｘ，ｙ）に応じて適応的に閾値ｔｈ＿Ｅ２（ｘ，ｙ）を設定する。

具体的には、平坦領域におけるエッジ量は、画像のノイズ量に比例して大きくなる特徴がある。また、ノイズ量は輝度値Ｙ（ｘ，ｙ）に依存し、一般的には図１３に示す特性を有する。そこで、平坦領域識別部６１７は、図１６に示した輝度値とノイズ量の特性を先見情報（ノイズモデル）として保持しておき、そのノイズモデル及び輝度値Ｙ（ｘ，ｙ）に基づいて、下式（１７）を用いて閾値ｔｈ＿Ｅ２（ｘ，ｙ）を設定する。

ここで、ｎｏｉｓｅ｛Ｙ（ｘ，ｙ）｝は、輝度値Ｙ（ｘ，ｙ）に対応するノイズ量を返す関数である（図１６の特性）。また、ｃｏ＿ＮＥは、そのノイズ量をエッジ量に変換するための係数である。

上記のノイズモデルは、撮像部（スコープ）の種類毎に異なる特性を有する。例えば、制御部３２０が、撮像部２００のメモリー２６０に保持されている識別番号を参照することで、接続されているスコープの種類を特定してもよい。平坦領域識別部６１７は、制御部３２０から送られる信号（スコープの種類）に基づいて、使用するノイズモデルを選択してもよい。

なお、上記の実施形態では、画素毎の輝度値に基づいてノイズ量を算出する例を示したが、本発明はこれに限定されるものではない。例えば、所定領域の輝度値の平均値に基づいて、ノイズ量を算出してもよい。

図１４に、処置具識別部６１８の詳細な構成例を示す。処置具識別部６１８は、処置具境界識別部７１１と、処置具領域識別部７１２と、を含む。

彩度算出部６１２とエッジ量算出部６１３と輝度色差画像識別部６１０は、処置具境界識別部７１１に接続されている。処置具境界識別部７１１は、処置具領域識別部７１２に接続されている。処置具領域識別部７１２は、凹凸情報要否判定部６１９に接続されている。制御部３２０は、処置具境界識別部７１１と処置具領域識別部７１２に接続されており、これらの各部を制御する。

処置具境界識別部７１１は、彩度算出部６１２からの彩度値Ｓ（ｘ，ｙ）とエッジ量算出部６１３からのエッジ量Ｅ（ｘ，ｙ）とに基づいて、基準画像内から処置具に相当する画素を識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、例えば処置具と識別された画素の識別信号を“１”に設定し、それ以外の画素の識別信号を“０”に設定すればよい。

処置具は生体部位と比較して、エッジ量Ｅ（ｘ，ｙ）が大きく、彩度値Ｓ（ｘ，ｙ）が小さい特徴がある。そのため、下式（１８）に示すように、彩度値Ｓ（ｘ，ｙ）が所定の閾値ｔｈ＿Ｓよりも小さく、且つ、エッジ量Ｅ（ｘ，ｙ）が所定の閾値ｔｈ＿Ｅ３より大きい画素を、処置具に相当する画素と識別する。

一般的に、同じ色味を有する被写体でも、輝度値Ｙ（ｘ，ｙ）に比例して彩度値Ｓ（ｘ，ｙ）は大きくなる。そのため、上式（１８）に示すように彩度値Ｓ（ｘ，ｙ）を輝度値Ｙ（ｘ，ｙ）で正規化（除算）する。

さて、エッジ量Ｅ（ｘ，ｙ）が大きいのは処置具と生体の境界部（処置具境界部）のみであり、その処置具境界部で囲まれた処置具の内側領域（処置具中央部）はエッジ量Ｅ（ｘ，ｙ）が小さい。そのため、エッジ量Ｅ（ｘ，ｙ）と彩度値Ｓ（ｘ，ｙ）だけで処置具を識別すると、処置具境界部の画素が処置具と識別され、処置具中央部は処置具と識別されない。そこで本実施形態では、処置具領域識別部７１２が、処置具中央部の画素を処置具と識別する。

具体的には、処置具領域識別部７１２は、図１２で説明した手法と同様の手法により処置具中央部の画素を処置具として識別し、その識別結果を識別信号として凹凸情報要否判定部６１９へ出力する。識別信号は、例えば処置具と識別された画素の識別信号を“１”に設定し、それ以外の画素の識別信号を“０”に設定すればよい。

なお、本実施形態では、上述した閾値ｔｈ＿Ｙ、ｔｈ＿ｄａｒｋ、ｔｈ＿Ｓ、ｔｈ＿Ｅ１、ｔｈ＿Ｅ３、ｃｏ＿ＮＥとして所定値を予め設定する構成としてもよいし、それらの閾値を外部Ｉ／Ｆ部５００を介してユーザーが設定する構成としてもよい。

凹凸情報要否判定部６１９は、残渣識別部６１４、輝点識別部６１５、暗部識別部６１６、平坦領域識別部６１７及び処置具識別部６１８からの識別結果に基づいて、各画素の抽出凹凸情報の要否を判定し、その要否判定結果を凹凸情報修正部３１６へ出力する。具体的な判定方法としては、上記５つの識別部において、残渣、輝点、暗部、平坦領域、処置具の何れかに相当すると識別された画素（いずれかの識別信号が“１”の画素）の抽出凹凸情報を“否”（除外又は抑制の対象である）と判定する。例えば“否”の画素の識別信号を“１”に設定し、その識別信号を識別結果として出力する。

２．５．凹凸情報修正処理
次に、凹凸情報修正部３１６が行う処理について詳細に説明する。凹凸情報修正部３１６は、要否判定の結果（識別信号）に基づいて凹凸マップを修正する処理を行う。具体的には、抽出凹凸情報を“否”（除外又は抑制する）と判定された画素（例えば識別信号“１”の画素）に対応する凹凸マップ上の画素に対して、ローパスフィルター処理を施す。これにより、残渣、輝点、暗部、平坦領域、処置具の何れかに相当すると識別された画素の抽出凹凸情報が抑制される。凹凸情報修正部３１６はローパスフィルター処理後の凹凸マップを、強調処理部３１７へ出力する。

図１５（Ａ）〜図１５（Ｄ）を用いて具体的に説明する。図１５（Ａ）に、距離マップの例を示す。説明の便宜上、一次元データの距離マップを示す。Ｑ１は処置具が存在する領域を示し、Ｑ２は生体表面に凹凸のある領域を示す。図１５（Ｂ）に、抽出処理部６０３が、距離マップに対してローパスフィルター処理を施した結果の例を示す。図１５（Ｃ）に示すように、抽出処理部６０３が、元の距離マップ（図１５（Ａ））からローパスフィルター処理後の距離マップ（図１５（Ｂ））を減算し、凹凸マップを生成する。この凹凸マップには、処置具の凹凸情報ＱＴ１も含まれているため、この凹凸マップに基づいて強調処理部３１７が強調処理を施すと、診断に無関係の処置具領域が強調されてしまい、医師にとって見難い画像となってしまう。

この点、本実施形態では、上述した手法により判定部３１５が処置具、残渣、輝点、暗部、平坦領域に相当する画素を識別し、その画素の抽出凹凸情報を“否”と判定する。そして、図１５（Ｄ）に示すように、凹凸情報修正部３１６が、抽出凹凸情報を“否”と判定された凹凸マップ上の画素に対してローパスフィルター処理を行うことで、凹凸マップを修正する。以上の処理により、処置具、残渣、輝点、暗部、平坦領域のいずれかに相当する画素の抽出凹凸情報が抑制される。この凹凸マップには、生体表面の凹凸情報ＱＴ２のみが残るので、生体表面の凹凸構造のみを強調し、診断に無関係の領域に対する強調を抑制できる。

２．６．強調処理
次に、強調処理部３１７が行う処理について詳細に説明する。以下では、一例として所定の色成分を強調する処理を説明するが、本実施形態はこれに限定されず、例えばコントラスト補正等の種々の強調処理を適用できる。

強調処理部３１７は、下式（１９）に示す強調処理を行う。ここで、ｄｉｆｆ（ｘ，ｙ）は、凹凸情報取得部３１４が上式（１）により算出した抽出凹凸情報である。上式（１）から分かるように、距離マップにおいてローパスフィルター処理後の距離マップよりも奥の部分（凹部）ではｄｉｆｆ（ｘ，ｙ）＞０である。また、Ｒ（ｘ，ｙ）’、Ｇ（ｘ，ｙ）’、Ｂ（ｘ，ｙ）’は、それぞれ強調処理後の座標（ｘ，ｙ）のＲ信号値、Ｇ信号値、Ｂ信号値である。また、係数Ｃｏ＿Ｒ、Ｃｏ＿Ｇ、Ｃｏ＿Ｂは０より大きい任意の実数である。係数Ｃｏ＿Ｒ、Ｃｏ＿Ｇ、Ｃｏ＿Ｂには、予め所定値が設定されてもよいし、外部Ｉ／Ｆ部を介してユーザーにより値が設定される構成としてもよい。

上記の強調処理では、凹部に対応するｄｉｆｆ（ｘ，ｙ）＞０の画素のＢ信号値が強調されるので、凹部の青みが強調された表示画像を生成できる。また、ｄｉｆｆ（ｘ，ｙ）の絶対値が大きいほど青みが強調されるので、凹部の深いところほど青みが濃くなる。このようにして、インジゴカルミン等の色素散布を再現することが可能となる。

２．７．変形構成例
なお上記の実施形態では、画素毎に凹凸情報の要否を判定する例を示したが、本実施形態はこれに限定されない。例えば、ｎ×ｎの局所領域毎に、上述した凹凸情報の要否を判定してもよい。この場合、局所領域単位で凹凸情報の要否を判定するため、判定回数を削減でき、回路規模の面でメリットがある。局所領域を大きくしすぎると強調処理後の画像にブロック状のアーティファクトを生じる可能性があるため、アーティファクトを生じない程度のサイズで局所領域を設定すればよい。

また上記の実施形態では、撮像方式を原色ベイヤー方式としたが、本実施形態はこれに限定されない。例えば、面順次や補色単板、原色２板、原色３板等の他の撮像方式としてもよい。

また上記の実施形態では、観察モードは白色光源を用いた通常光観察としたが、本実施形態はこれに限定されない。例えば、観察モードとしてＮＢＩ（Narrow Band Imaging）等に代表される特殊光観察を用いてもよい。なお、ＮＢＩ観察時には、残渣の色相値が通常光観察時と異なり、赤い色味を有する。具体的には、通常光観察時には残渣の色相値が上述したように２７０〜３１０［ｄｅｇ］なのに対し、ＮＢＩ観察時には色相値が０〜２０、３４０〜３５９［ｄｅｇ］となる。そのためＮＢＩ観察時は、残渣識別部６１４は、例えば色相値Ｈ（ｘ，ｙ）が０〜２０、３４０〜３５９［ｄｅｇ］の画素を残渣と識別すればよい。

２．８．ソフトウェア
上記の実施形態では、プロセッサー部３００を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像信号と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

図１６に、画像処理部３１０が行う処理をソフトウェアで実現する場合のフローチャートを示す。この処理を開始すると、まず撮影条件に関するヘッダ情報を読み込む（ステップＳ１）。ヘッダ情報は、例えば撮像部２００の（距離情報に対する）光学倍率や２つの撮像素子２４１、２４２間の距離等である。

次に、撮像部２００で取得されたステレオ画像（左画像、右画像）を読み込む（ステップＳ２）。そして、そのステレオ画像に対して同時化処理を施す（ステップＳ３）。次に、ヘッダ情報及び同時化後のステレオ画像に基づいて、ステレオマッチング法を用いて、基準画像（左画像）の距離マップ（距離情報）を取得する（ステップＳ４）。次に、距離マップから生体の凹凸部の情報を抽出し、凹凸マップ（抽出凹凸情報）を取得する（ステップＳ５）。

次に、上述の手法により、基準画像の画素毎に抽出凹凸情報の要否（除外又は抑制するか否か）の判定を行う（ステップＳ６）。この要否判定処理の詳細フローについては後述する。次に、ステップＳ６において“否”（除外又は抑制する）と判定された画素に対応する抽出凹凸情報に対してローパスフィルター処理を施すことで、凹凸マップを修正する（ステップＳ７）。次に、基準画像に対して、例えば既知のＷＢ処理やガンマ処理等を施す（ステップＳ８）。次に、ステップＳ７で修正した凹凸マップに基づいて、ステップＳ８で処理した基準画像に対して、上式（１９）により凹凸部を強調する処理を施し（ステップＳ９）、強調処理後の画像を出力する（ステップＳ１０）。

動画像の全ての画像に対して上述の処理を施した場合には処理を終了し、上述の処理を施していない画像が残っている場合にはステップＳ２を再び実行する（ステップＳ１１）。

図１７に、ステップＳ６の要否判定処理の詳細なフローチャートを示す。この処理を開始すると、上式（４）を用いて基準画像（ＲＧＢ画像）をＹＣｂＣｒ画像に変換する（ステップＳ６１）。

次に、上式（５）〜（１１）を用いて基準画像の色相値Ｈ（ｘ，ｙ）を画素毎に算出する（ステップＳ６１）。また、上式（１２）を用いて、基準画像の彩度値Ｓ（ｘ，ｙ）を画素毎に算出する（ステップＳ６２）。また、上式（１３）を用いて、基準画像のエッジ量Ｅ（ｘ，ｙ）を画素毎に算出する（ステップＳ６３）。なお、ステップＳ６１〜Ｓ６３は順不同である。

次に、色相値Ｈ（ｘ，ｙ）が２７０〜３１０［ｄｅｇ］となる画素を残渣と識別する（ステップＳ６４）。また、輝度値Ｙ（ｘ，ｙ）及びエッジ量Ｅ（ｘ，ｙ）が上式（１４）を満たす画素と、その画素で囲まれる領域内の画素とを輝点と識別する（ステップＳ６５）。また、輝度値Ｙ（ｘ，ｙ）が上式（１５）を満たす画素を暗部と識別する（ステップＳ６６）。また、エッジ量Ｅ（ｘ，ｙ）が上式（１６）を満たす画素を平坦領域と識別する（ステップＳ６７）。また、彩度値Ｓ（ｘ，ｙ）及びエッジ量Ｅ（ｘ，ｙ）が上式（１８）を満たす画素と、その画素で囲まれる領域内の画素とを処置具と識別する（ステップＳ６８）。なお、ステップＳ６４〜Ｓ６８は順不同である。

次に、ステップＳ６４〜Ｓ６８において、残渣、輝点、暗部、平坦領域、処置具の何れかと識別された画素についての抽出凹凸情報を“否”（除外又は抑制する）と判定する（ステップＳ６９）。

以上の実施形態によれば、色素散布の手間を要することなく生体表層の凹凸部のみを強調することができるため、医師及び患者の負担軽減に繋がる。また、残渣や処置具等診断に不必要な領域が強調されなくなるため、医師が診断し易い画像を提供することが可能となる。また、平坦領域や暗部、輝点領域等、本来凹凸が存在しない領域を強調されることを抑制できるため、誤診の危険性もなくすことができる。また、第２実施形態で後述するような測距センサーを設ける必要がないため、撮像部２００の構成を比較的簡素にできるメリットがある。

また本実施形態では、判定部３１５は、撮像画像の画素値に基づく特徴量が、除外又は抑制の対象に対応する所定条件を満たすか否かを、所定領域（画素又は所定サイズのブロック）毎に判定する。

このようにすれば、凹凸情報を除外又は抑制する対象の特徴量が有する条件を所定条件として設定し、その所定条件に合致する領域を検出することにより、後段の処理に有用でない被写体の凹凸情報を判定できる。

また本実施形態では、判定部３１５は、色相値Ｈ（ｘ，ｙ）が所定条件を満たす所定領域（例えば画素）の抽出凹凸情報を、除外又は抑制すると判定する。例えば、所定条件は、色相値Ｈ（ｘ，ｙ）が、残渣の色に対応する所定範囲（例えば２７０〜３１０［ｄｅｇ］）に属するという条件である。

このようにすれば、例えば残渣等の除外又は抑制の対象に特徴的な色相（色合い）を所定条件に設定することで、その色相の条件に合致する領域を、後段の処理に有用でない被写体として判定できる。

また本実施形態では、判定部３１５は、彩度値Ｓ（ｘ，ｙ）が所定条件を満たす所定領域の抽出凹凸情報を、除外又は抑制すると判定する。例えば、所定条件は、彩度値Ｓ（ｘ，ｙ）が、処置具の色に対応する所定範囲に属するという条件である。より具体的には、所定条件は、彩度値Ｓ（ｘ，ｙ）を輝度値Ｙ（ｘ，ｙ）で除算した値が、処置具の彩度に対応する彩度閾値ｔｈ＿Ｓより小さく、且つ、エッジ量Ｅ（ｘ，ｙ）が、処置具のエッジ量に対応するエッジ量閾値ｔｈ＿Ｅ３よりも大きいという条件（上式（１８））である。

このようにすれば、例えば処置具等の除外又は抑制の対象に特徴的な彩度（色の鮮やかさ）を所定条件に設定することで、その彩度の条件に合致する領域を、後段の処理に有用でない被写体として判定できる。また、処置具は彩度が小さくエッジ量が大きいという特徴があるため、彩度とエッジ量を組み合わせることで、処置具の領域をより高精度に判定できる。

また本実施形態では、判定部３１５は、輝度値Ｙ（ｘ，ｙ）が所定条件を満たす所定領域の前記抽出凹凸情報を、除外又は抑制すると判定する。例えば、所定条件は、輝度値Ｙ（ｘ，ｙ）が、輝点の輝度に対応する輝度閾値ｔｈ＿Ｙより大きいという条件である。より具体的には、所定条件は、輝度値Ｙ（ｘ，ｙ）が輝度閾値ｔｈ＿Ｙより大きく、且つ、エッジ量Ｅ（ｘ，ｙ）が、輝点のエッジ量に対応するエッジ量閾値ｔｈ＿Ｅ１より大きいという条件（上式（１４））である。或は、所定条件は、輝度値Ｙ（ｘ，ｙ）が、暗部の輝度に対応する輝度閾値ｔｈ＿ｄａｒｋより小さいという条件（上式（１５））である。

このようにすれば、例えば輝点や暗部等の除外又は抑制の対象に特徴的な輝度（明るさ）を所定条件に設定することで、その輝度の条件に合致する領域を、後段の処理に有用でない被写体として判定できる。また、輝点は輝度及びエッジ量が大きいという特徴があるため、輝度とエッジ量を組み合わせることで、輝点の領域をより高精度に判定できる。

また本実施形態では、判定部３１５は、エッジ量Ｅ（ｘ，ｙ）が所定条件を満たす所定領域の抽出凹凸情報を、除外又は抑制すると判定する。例えば、所定条件は、エッジ量Ｅ（ｘ，ｙ）が、処置具のエッジ量に対応するエッジ量閾値ｔｈ＿Ｅ３よりも大きいという条件（上式（１８））である。或は、所定条件は、エッジ量Ｅ（ｘ，ｙ）が、輝点のエッジ量に対応するエッジ量閾値ｔｈ＿Ｅ１よりも大きいという条件（上式（１４））である。或は、所定条件は、エッジ量Ｅ（ｘ，ｙ）が、平坦部のエッジ量に対応するエッジ量閾値ｔｈ＿Ｅ２（ｘ，ｙ）よりも小さいという条件（上式（１６））である。

このようにすれば、例えば処置具や輝点、平坦部等の除外又は抑制の対象に特徴的なエッジ量（例えば画像の高周波成分や、微分画像の画素値）を所定条件に設定することで、そのエッジ量の条件に合致する領域を、後段の処理に有用でない被写体として判定できる。

また本実施形態では、判定部３１５は、輝度値Ｙ（ｘ，ｙ）が大きいほどノイズ量が大きくなる撮像画像のノイズ特性ｎｏｉｓｅ｛Ｙ（ｘ，ｙ）｝に応じて、輝度値Ｙ（ｘ，ｙ）が大きいほどエッジ量閾値ｔｈ＿Ｅ２（ｘ，ｙ）を大きい値に設定する（上式（１７））。

平坦部では被写体の凹凸による画素値変化が小さいため、ノイズによる画素値変化がエッジ量に影響している。そのため、ノイズ量に応じてエッジ量の閾値を設定することで、ノイズ量に影響されず高精度に平坦部を判定できる。

また本実施形態では、画像取得部３５０（同時化処理部３１１）は、撮像画像としてステレオ画像（視差画像）を取得する。距離情報取得部３１３は、ステレオ画像に対するステレオマッチング処理により距離情報（例えば距離マップ）を取得する。判定部３１５は、撮像画像に基づく特徴量が輝点及び暗部、平坦部に対応する所定条件を満たす所定領域の抽出凹凸情報を、除外又は抑制すると判定する。

輝点は生体粘膜表面での正反射によって生じるため、視点の異なる右画像と左画像とで出現位置が異なっている。そのため、ステレオマッチングによって輝点領域に誤った距離情報が検出される可能性がある。また、暗部ではノイズが支配的になるため、そのノイズによってステレオマッチングの精度が低下する可能性がある。また、平坦部では被写体の凹凸による画素値変化が小さいため、ノイズによってステレオマッチングの精度が低下する可能性がある。この点、本実施形態では、輝点及び暗部、平坦部を検出できるため、上記のような誤った距離情報から生成された抽出凹凸情報を除外又は抑制できる。

３．第２実施形態
３．１．内視鏡装置
図１８に、第２実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、プロセッサー部３００（制御装置）、表示部４００、外部Ｉ／Ｆ部５００を含む。なお表示部４００及び外部Ｉ／Ｆ部５００は第１の実施形態と同様の構成であるため、説明を省略する。以下の説明では、第１の実施形態と異なる構成・動作について説明し、第１の実施形態と同様の構成・動作については適宜説明を省略する。

光源部１００は、白色光源１１０と、青色レーザー光源１１１と、白色光源１１０及び青色レーザー光源１１１の合成光をライトガイドファイバー２１０に集光する集光レンズ１２０と、を含む。

白色光源１１０及び青色レーザー光源１１１は、制御部３２０からの制御信号に基づいてパルス点灯制御される。図１９に示すように、白色光源１１０のスペクトルは４００〜７００［ｎｍ］の帯域を有し、青色レーザー光源１１１のスペクトルは３７０〜３８０［ｎｍ］の帯域を有する。

撮像部２００は、ライトガイドファイバー２１０と、照明レンズ２２０と、対物レンズ２３１と、撮像素子２４１と、測距センサー２４３と、Ａ／Ｄ変換部２５０と、ダイクロイックプリズム２７０と、を含む。ライトガイドファイバー２１０、照明レンズ２２０、対物レンズ２３１、撮像素子２４１は第１の実施形態と同一であるため、説明を省略する。

ダイクロイックプリズム２７０は、青色レーザー光源１１１のスペクトルに相当する３７０〜３８０［ｎｍ］の短波長域の光を反射し、白色光源１１０の波長に相当する４００〜７００［ｎｍ］の光を透過する特性を有する。そのダイクロイックプリズム２７０で反射された短波長域の光（青色レーザー光源１１１の反射光）は、測距センサー２４３で検出される。一方、透過された光（白色光源１１０の反射光）は、撮像素子２４１に結像される。測距センサー２４３は、青色レーザー光の点灯開始から、その青色レーザー光の反射光が検出されるまでの時間に基づいて距離を測定するＴＯＦ（Time of Flight）方式の測距センサーである。青色レーザー光の点灯開始のタイミングに関する情報は、制御部３２０から送られる。

測距センサー２４３で取得された距離情報のアナログ信号は、Ａ／Ｄ変換部２５０でデジタル信号の距離情報（距離マップ）に変換されて、プロセッサー部３００へ出力される。

プロセッサー部３００は、画像処理部３１０と制御部３２０とを含む。画像処理部３１０は、Ａ／Ｄ変換部２５０から出力される画像に対して後述する画像処理を施して表示画像を生成し、その表示画像を表示部４００へ出力する。制御部３２０は、後述する外部Ｉ／Ｆ部５００からの信号に基づいて、画像処理部３１０の動作を制御する。また制御部３２０は白色光源１１０、青色レーザー光源１１１及び測距センサー２４３に接続されており、これらを制御する。

３．２．画像処理部
図２０に、画像処理部３１０の詳細な構成例を示す。画像処理部３１０は、同時化処理部３１１と、画像構成処理部３１２と、凹凸情報取得部３１４と、判定部３１５と、凹凸情報修正部３１６と、強調処理部３１７と、を含む。同時化処理部３１１、画像構成処理部３１２、強調処理部３１７の構成は第１の実施形態と同一であるため、説明を省略する。なお本実施形態では、図１の距離情報取得部３１３にはＡ／Ｄ変換部２５０（又は、Ａ／Ｄ変換部２５０から距離マップを読み出す不図示の読み出し部）が対応する。

Ａ／Ｄ変換部２５０は同時化処理部３１１と凹凸情報取得部３１４に接続されている。同時化処理部３１１は画像構成処理部３１２及び判定部３１５に接続されている。判定部３１５及び凹凸情報取得部３１４は、凹凸情報修正部３１６に接続されている。凹凸情報修正部３１６及び画像構成処理部３１２は、強調処理部３１７に接続されている。強調処理部３１７は表示部４００に接続されている。制御部３２０は、同時化処理部３１１、画像構成処理部３１２、凹凸情報取得部３１４、判定部３１５、凹凸情報修正部３１６、強調処理部３１７に接続されており、これらの各部を制御する。

凹凸情報取得部３１４は、Ａ／Ｄ変換部２５０から出力される距離マップから、管腔や襞等消化官の形状に依存する距離情報を除いた、生体表面の凹凸情報を凹凸マップ（抽出凹凸情報）として算出する。凹凸マップの算出方法は、第１の実施形態と同様である。

このように測距センサー２４３を使用して距離マップを取得する場合には、輝点、暗部及び平坦領域においても、正確な凹凸マップを取得することが可能となる。そのため、第１の実施形態で上述したステレオマッチング特有の課題（輝点や暗部、平坦領域においてステレオマッチングの精度が低下する）は解決される。

そのため、本実施形態では輝点、暗部及び平坦領域を識別する必要がない。しかしながら、残渣や処置具が強調されてしまう課題は解決されない。具体的には、残渣や処置具等診断に無関係な領域の凹凸情報が強調されてしまう。そこで本実施形態では、残渣と処置具を識別する処理を行う。

図２１に、判定部３１５の詳細な構成例を示す。判定部３１５は、輝度色差画像生成部６１０と、色相算出部６１１と、彩度算出部６１２と、エッジ量算出部６１３と、残渣識別部６１４と、処置具識別部６１８と、凹凸情報要否判定部６１９と、を含む。

この判定部３１５は、第１の実施形態における判定部３１５から、輝点識別部６１５、暗部識別部６１６、平坦領域識別部６１７を除いた構成である。即ち、残渣識別部６１４は、色相値Ｈ（ｘ，ｙ）に基づいて残渣に相当する画素を識別し、処置具識別部６１８は、エッジ量Ｅ（ｘ，ｙ）と彩度値Ｓ（ｘ，ｙ）と輝度値Ｙ（ｘ，ｙ）に基づいて処置具に相当する画素を識別する。そして、凹凸情報要否判定部６１９は、残渣及び処置具のいずれかに相当すると識別された画素の抽出凹凸情報を除外又は抑制すると判定する。なお、各部の詳細な処理は第１実施形態と同様であるため、説明を省略する。

本実施形態によれば、色素散布の手間を要することなく生体表層の凹凸部のみを強調することができるため、医師及び患者の負担軽減に繋がる。また、残渣や処置具等の診断に不必要な領域が強調されなくなるため、医師が診断し易い画像を提供することが可能となる。また、測距センサー２４３を用いて距離マップを取得するため、輝点、暗部、平坦領域を識別する必要がない。そのため、第１実施形態と比較して、プロセッサーの回路規模を削減できるメリットがある。

なお上記の実施形態ではＡ／Ｄ変換部２５０が距離マップを取得したが、本実施形態はこれに限定されない。例えば画像処理部３１０が距離情報取得部３１３を含み、距離情報取得部３１３が撮像画像からぼけパラメーターを算出し、そのぼけパラメーターに基づいて距離情報を取得してもよい。この場合、フォーカスレンズ位置を移動させながら第１、第２の画像を撮像し、各画像を輝度値に変換し、各画像の輝度値の２次微分を算出し、それらの平均値を算出する。そして、第１の画像の輝度値と第２の画像の輝度値との差分を算出し、その差分から２次微分の平均値を除算し、ぼけパラメーターを算出し、ぼけパラメーターと被写体距離との関係（例えばルックアップテーブルに記憶される）から距離情報を取得する。なお、この手法を用いる場合には青色レーザー光源１１１及び測距センサー２４３を省略できる。

３．３．ソフトウェア
上記の実施形態では、プロセッサー部３００を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像信号と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

図２２に、画像処理部３１０が行う処理をソフトウェアで実現する場合のフローチャートを示す。この処理を開始すると、まず撮像部２００で取得された画像を読み込む（ステップＳ２０）。

次に、その画像に対して同時化処理を施す（ステップＳ２１）。次に、測距センサー２４３で取得された距離マップ（距離情報）を読み込む（ステップＳ２２）。次に、距離マップから生体の凹凸部の情報を抽出し、凹凸マップ（抽出凹凸情報）を取得する（ステップＳ２３）。

次に、上述の手法により、撮像画像の画素毎に抽出凹凸情報の要否（除外又は抑制するか否か）の判定を行う（ステップＳ２４）。この要否判定処理の詳細フローについては後述する。次に、ステップＳ２４において“否”（除外又は抑制する）と判定された画素に対応する抽出凹凸情報に対してローパスフィルター処理を施すことで、凹凸マップを修正する（ステップＳ２５）。次に、撮像画像に対して、例えば既知のＷＢ処理やガンマ処理等を施す（ステップＳ２６）。次に、ステップＳ２５で修正した凹凸マップに基づいて、ステップＳ２６で処理した撮像画像に対して、上式（１９）により凹凸部を強調する処理を施し（ステップＳ２７）、強調処理後の画像を出力する（ステップＳ２８）。

動画像の全ての画像に対して上述の処理を施した場合には処理を終了し、上述の処理を施していない画像が残っている場合にはステップＳ２０を再び実行する（ステップＳ２９）。

図２３に、ステップＳ２４の要否判定処理の詳細なフローチャートを示す。図２３に示すステップＳ８０〜Ｓ８６は、第１実施形態のフロー（図１７）のステップＳ６０〜Ｓ６４、Ｓ６８、Ｓ６９に対応する。即ち、第２実施形態では、第１実施形態のフローからステップＳ６５〜Ｓ６７を除いたフローとなる。各ステップの処理は第１実施形態と同様のため説明を省略する。

以上の実施形態によれば、距離情報取得部（本実施形態では例えばＡ／Ｄ変換部２５０、或はＡ／Ｄ変換部２５０から距離情報を読み出す不図示の読み出し部）は、撮像部２００が有する測距センサー２４３（例えばＴＯＦ法による測距センサー）からの測距信号に基づいて距離情報（例えば距離マップ）を取得する。判定部３１５は、撮像画像に基づく特徴量が処置具及び残渣に対応する所定条件を満たす所定領域の抽出凹凸情報を、除外又は抑制すると判定する。

本実施形態では測距センサー２４３によって距離情報を得ることができるため、ステレオ画像から距離情報を取得する手法のようなステレオマッチングの誤検出が生じない。そのため、輝点や暗部、平坦領域を判定する必要がなくなり、要否判定処理を簡素化できるので、回路規模や処理量を削減できる。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００光源部、１１０白色光源、１１１青色レーザー光源、
１２０集光レンズ、２００撮像部、２１０ライトガイドファイバー、
２２０照明レンズ、２３１対物レンズ、２４１，２４２撮像素子、
２４３測距センサー、２５０Ａ／Ｄ変換部、２６０メモリー、
２７０ダイクロイックプリズム、３００プロセッサー部、
３１０画像処理部、３１１同時化処理部、３１２画像構成処理部、
３１３距離情報取得部、３１４凹凸情報取得部、３１５判定部、
３１６凹凸情報修正部、３１７強調処理部、３２０制御部、
３５０画像取得部、４００表示部、５００外部Ｉ／Ｆ部、
６０１記憶部、６０２既知特性情報取得部、６０３抽出処理部、
６１０輝度色差画像生成部、６１１色相算出部、６１２彩度算出部、
６１３エッジ量算出部、６１４残渣識別部、６１５輝点識別部、
６１６暗部識別部、６１７平坦領域識別部、６１８処置具識別部、
６１９凹凸情報要否判定部、７０１輝点境界識別部、
７０２輝点領域識別部、７１１処置具境界識別部、
７１２処置具領域識別部、
ｂ緑色フィルター、Ｃｂ（ｘ，ｙ），Ｃｒ（ｘ，ｙ）色差値、
Ｅ（ｘ，ｙ）エッジ量、ｇ青色フィルター、Ｈ（ｘ，ｙ）色相値、
Ｐ１生体のおおまかな構造、Ｐ２生体表層の凹凸部、
ＰＸ１輝点境界部の画素、ＰＸ２輝点境界部の画素で囲まれる画素、
Ｑ１処置具領域、Ｑ２生体表面の凹凸領域、
ＱＴ１処置具の凹凸情報、ＱＴ２生体表面の凹凸情報、
ｒ赤色フィルター、Ｓ（ｘ，ｙ）彩度値、ｔｈ＿ｄａｒｋ輝度閾値、
ｔｈ＿Ｅ１，ｔｈ＿Ｅ２（ｘ，ｙ），ｔｈ＿Ｅ３エッジ量閾値、
ｔｈ＿Ｓ彩度閾値、ｔｈ＿Ｙ輝度閾値、Ｙ（ｘ，ｙ）輝度値

Claims

被写体の像を含む撮像画像を取得する画像取得部と、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記距離情報に基づいて前記被写体の凹凸情報を抽出凹凸情報として取得する凹凸情報取得部と、
前記撮像画像の所定領域毎に、前記抽出凹凸情報を除外又は抑制するか否かの判定を行う判定部と、
前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を除外し、又は凹凸の度合いを抑制する凹凸情報修正部と、
を含むことを特徴とする画像処理装置。
請求項１において、
前記判定部は、
前記撮像画像の画素値に基づく特徴量が、前記除外又は抑制の対象に対応する所定条件を満たすか否かを、前記所定領域毎に判定することを特徴とする画像処理装置。
請求項２において、
前記判定部は、
前記撮像画像の色相値を前記特徴量として算出する色相算出部を有し、
前記判定部は、
前記色相値が前記所定条件を満たす前記所定領域の前記抽出凹凸情報を、前記除外又は抑制すると判定することを特徴とする画像処理装置。
請求項３において、
前記所定条件は、前記色相値が、残渣の色に対応する所定範囲に属するという条件であることを特徴とする画像処理装置。
請求項２において、
前記判定部は、
前記撮像画像の彩度値を前記特徴量として算出する彩度算出部を有し、
前記判定部は、
前記彩度値が前記所定条件を満たす前記所定領域の前記抽出凹凸情報を、前記除外又は抑制すると判定することを特徴とする画像処理装置。
請求項５において、
前記所定条件は、前記彩度値が、処置具の色に対応する所定範囲に属するという条件であることを特徴とする画像処理装置。
請求項６において、
前記判定部は、
前記撮像画像のエッジ量を前記特徴量として算出するエッジ量算出部と、
前記撮像画像の輝度値を前記特徴量として算出する輝度算出部と、
を有し、
前記所定条件は、前記彩度値を前記輝度値で除算した値が、処置具の彩度に対応する彩度閾値よりも小さく、且つ、前記エッジ量が、処置具のエッジ量に対応するエッジ量閾値よりも大きいという条件であることを特徴とする画像処理装置。
請求項２において、
前記判定部は、
前記撮像画像の輝度値を前記特徴量として算出する輝度算出部を有し、
前記判定部は、
前記輝度値が前記所定条件を満たす前記所定領域の前記抽出凹凸情報を、前記除外又は抑制すると判定することを特徴とする画像処理装置。
請求項８において、
前記所定条件は、前記輝度値が、輝点の輝度に対応する輝度閾値よりも大きいという条件であることを特徴とする画像処理装置。
請求項９において、
前記判定部は、
前記撮像画像のエッジ量を前記特徴量として算出するエッジ量算出部を有し、
前記所定条件は、前記輝度値が前記輝度閾値よりも大きく、且つ、前記エッジ量が、輝点のエッジ量に対応するエッジ量閾値よりも大きいという条件であることを特徴とする画像処理装置。
請求項８において、
前記所定条件は、前記輝度値が、暗部の輝度に対応する輝度閾値よりも小さいという条件であることを特徴とする画像処理装置。
請求項２において、
前記判定部は、
前記撮像画像のエッジ量を前記特徴量として算出するエッジ量算出部を有し、
前記判定部は、
前記エッジ量が前記所定条件を満たす前記所定領域の前記抽出凹凸情報を、前記除外又は抑制すると判定することを特徴とする画像処理装置。
請求項１２において、
前記所定条件は、前記エッジ量が、処置具のエッジ量に対応するエッジ量閾値よりも大きいという条件であることを特徴とする画像処理装置。
請求項１２において、
前記所定条件は、前記エッジ量が、輝点のエッジ量に対応するエッジ量閾値よりも大きいという条件であることを特徴とする画像処理装置。
請求項１２において、
前記所定条件は、前記エッジ量が、平坦部のエッジ量に対応するエッジ量閾値よりも小さいという条件であることを特徴とする画像処理装置。
請求項１５において、
前記判定部は、
前記撮像画像の輝度値を前記特徴量として算出する輝度算出部を有し、
前記判定部は、
前記輝度値が大きいほどノイズ量が大きくなる前記撮像画像のノイズ特性に応じて、前記輝度値が大きいほど前記エッジ量閾値を大きい値に設定することを特徴とする画像処理装置。
請求項１において、
前記凹凸情報修正部は、
前記判定部により前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報に対して、平滑化処理を施すことを特徴とする画像処理装置。
請求項１において、
前記凹凸情報修正部は、
前記判定部により前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を、非凹凸部に対応した所定値に設定することを特徴とする画像処理装置。
請求項１において、
前記凹凸情報修正部からの前記抽出凹凸情報に基づいて、前記撮像画像に対して強調処理を行う強調処理部を含むことを特徴とする画像処理装置。
請求項１において、
前記凹凸情報取得部は、
前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を、前記抽出凹凸情報として前記距離情報から抽出することを特徴とする画像処理装置。
請求項１において、
前記画像取得部は、
前記撮像画像としてステレオ画像を取得し、
前記距離情報取得部は、
前記ステレオ画像に対するステレオマッチング処理により前記距離情報を取得し、
前記判定部は、
前記撮像画像に基づく特徴量が輝点及び暗部、平坦部に対応する所定条件を満たす前記所定領域の前記抽出凹凸情報を、前記除外又は抑制すると判定することを特徴とする画像処理装置。
請求項１において、
前記距離情報取得部は、
前記撮像部が有する測距センサーからの測距信号に基づいて前記距離情報を取得し、
前記判定部は、
前記撮像画像に基づく特徴量が処置具及び残渣に対応する所定条件を満たす前記所定領域の前記抽出凹凸情報を、前記除外又は抑制すると判定することを特徴とする画像処理装置。
請求項１に記載の画像処理装置を含むことを特徴とする内視鏡装置。
被写体の像を含む撮像画像を取得し、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記距離情報に基づいて前記被写体の凹凸情報を抽出凹凸情報として取得し、
前記撮像画像の所定領域毎に、前記抽出凹凸情報を除外又は抑制するか否かの判定を行い、
前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を除外し、又は凹凸の度合いを抑制することを特徴とする画像処理方法。
被写体の像を含む撮像画像を取得し、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記距離情報に基づいて前記被写体の凹凸情報を抽出凹凸情報として取得し、
前記撮像画像の所定領域毎に、前記抽出凹凸情報を除外又は抑制するか否かの判定を行い、
前記除外又は抑制すると判定された前記所定領域の前記抽出凹凸情報を除外し、又は凹凸の度合いを抑制するステップを、
コンピューターに実行させる画像処理プログラム。