JP2014124221A - 画像処理装置、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】 被写体に関する既知特性情報に基づいて、当該被写体の凹凸部に対する適切な強調処理を行う画像処理装置、プログラム及び画像処理方法を提供すること。
【解決手段】 画像処理装置は、撮像部２００の撮像により、被写体の像を含む撮像画像を取得する画像取得部３１０と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３５０と、取得された距離情報から、被写体の凹凸部を抽出した情報である抽出凹凸情報を取得する凹凸情報取得部３２０と、抽出凹凸情報により表される凹凸部のうち、被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する凹凸部を強調対象として強調処理を行う強調部３３３を含む。
【選択図】 図１

Description

本発明は、画像処理装置、プログラム及び画像処理方法等に関する。

内視鏡装置を用いた生体内部の観察、診断においては、生体表面の微小な凹凸状態を観察することで早期病変部か否かの識別を行う手法が広く用いられている。また、生体用の内視鏡装置ではなく、工業用の内視鏡装置においても、被写体（狭義には被写体表面）の凹凸構造を観察することは有用であり、例えば直接の目視が難しいパイプ内部等に発生した亀裂の検出等が可能になる。また、内視鏡装置以外の画像処理装置においても、処理対象となる画像から被写体の凹凸構造を検出することが有用であることは多い。

従来、撮像画像の構造（例えば溝等の凹凸構造）の強調処理としては、特定の空間周波数を強調する処理が広く用いられているが、この手法は上述したような微少な凹凸状態の検出には適していない。また、画像処理により凹凸状態を検出するのではなく、被写体側に何らかの変化を生じさせて、変化後の被写体を撮像する手法も知られている。一例としては、生体用の内視鏡装置であれば、インジゴカルミン等の色素を散布することで、生体自体を染色し表層粘膜にコントラストをつける手法がある。しかし、色素散布は手間やコストがかかる上、散布した色素により被写体本来の色味が損なわれたり、凹凸以外の構造の視認性が落ちるおそれもある。さらに生体に対する色素散布であれば、患者にとって侵襲製が高いという問題も生じうる。

特許文献１では、局所的な抽出領域の注目画素をその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色される処理を行うことで、凹凸構造を強調する手法が開示されている。

特開２００３−８８４９８号公報

特許文献１の処理は、撮像部から被写体（生体表面）までの距離が遠い場合は、生体表面から反射してくる反射光量が少なくなる事で暗く撮像されるという仮定に基づく処理となる。よって、例えば輝点周辺部や手前の構造による影の領域や、血管とその周辺の粘膜等といった直接生体表面の微細な凹凸に関係の無い場合にも、輝度変化が発生する領域では凹凸構造を誤検出してしまうことになる。

本発明の幾つかの態様によれば、被写体に関する既知特性情報に基づいて、当該被写体の凹凸部に対する適切な強調処理を行う画像処理装置、プログラム及び画像処理方法を提供することができる。

本発明の一態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、取得された前記距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得する凹凸情報取得部と、前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を、強調対象として強調処理を行う強調部と、を含む画像処理装置に関係する。

本発明の一態様では、抽出凹凸情報により表される凹凸部のうち、既知特性情報により特定される特性と合致する凹凸部を強調対象として強調処理を行う。よって、凹凸構造に対する強調処理を行う際に、被写体の凹凸構造が強調対象か否かを判定し、強調対象と判定された凹凸部に対して適切な強調処理を行うこと等が可能になる。

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、取得した前記距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得し、前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を、強調対象として強調処理を行う、ステップをコンピュータに実行させるプログラムに関係する。

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む撮像画像を取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、取得した前記距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得し、前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を、強調対象として強調処理を行う画像処理方法に関係する。

画像処理装置のシステム構成例。 本実施形態に係る画像処理装置を含む内視鏡装置の構成例。 回転色フィルタの構成例。 色フィルタの分光特性の例。 凹凸情報取得部の構成例。 図６（Ａ）〜図６（Ｆ）はモルフォロジー処理による抽出凹凸情報の抽出処理の説明図。 図７（Ａ）〜図７（Ｄ）はフィルタ処理による抽出凹凸情報の抽出処理の説明図。 画像処理部の構成例。 強調部の構成例。 抽出凹凸情報の例。 凹部の幅の算出処理を説明する図。 凹部の深さの算出処理を説明する図。 図１３（Ａ）、図１３（Ｂ）は凹部の強調処理における強調量（ゲイン係数）の設定例。 図１４（Ａ）、図１４（Ｂ）は凹部の強調処理の例。 距離情報取得部の構成例。 距離情報取得部の他の構成例。 コンピュータシステムの構成例。 コンピュータシステムの構成例。 本実施形態の処理を説明するフローチャート。 抽出凹凸情報の抽出処理を説明するフローチャート。 強調処理を説明するためのフローチャート。 凸部の幅の算出処理を説明する図。 図２３（Ａ）、図２３（Ｂ）は凸部の強調処理における強調量（ゲイン係数）の設定例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
本実施形態の画像処理装置は、図１に示したように、撮像部（後述する図２の撮像部２００等）の撮像により、被写体の像を含む撮像画像を取得する画像取得部３１０と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部３５０と、取得された距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得する凹凸情報取得部３２０と、前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を強調対象として強調処理を行う強調部３３３と、を含む。

距離情報は、撮像部２００から被写体までの距離に対応する情報であるため、図６（Ａ）に示したように被写体（生体用の内視鏡装置であれば生体であり、特にその表面）の構造を表す情報である。つまり、距離情報は被写体表面の微少な凹凸構造を含んでいる。

しかし、距離情報には被写体表面の他の構造の情報も含まれている。例えば内視鏡装置で観察する生体は、食道や大腸等、管腔状のものが多い。その場合、生体壁面は所与の曲率を有する曲面となるため、距離情報により表される距離は当該局面に応じた値の変動を含むことになる。図６（Ａ）の例であれば、距離情報はさまざまな他の構造を含みつつも、全体としては右方向に行くほど撮像部から被写体までの距離は増加する構造を表している。

また、被写体表面には、本実施形態の手法により出力したい抽出凹凸情報に対応する凹凸構造とは異なる凹凸構造も含まれうる。例えば、胃や大腸等の生体の表面には、図２の２，３，４に示したように襞構造が見られる。距離情報には、これらの襞構造に関する情報も含まれることになるが、本実施形態において内視鏡装置を用いた観察で想定している凹凸部とは、そのような生体表面に当然に見られる構造とはディメンジョンの異なる微少な凹凸構造である。

よって、注目すべき対象に対して適切に強調処理を行うには、種々の構造に起因する距離変動を含む距離情報のうち、所望の凹凸構造に関する情報を適切に特定する必要がある。これは工業用の内視鏡装置でも同様であり、距離情報には円形パイプの曲面に相当する距離変動や、パイプに所与の機能を持たせるためにあらかじめ掘られた溝や、深刻度が低いために見逃しても差し支えない傷等の情報が含まれうるが、それらを除外するとよい。

そこで本出願人は、被写体の構造に関する既知の特性を表す情報である既知特性情報（先見情報）を取得し、当該既知特性情報により特定される特性に合致する被写体の凹凸部を強調する手法を提案する。既知特性情報は、被写体表面の構造のうち、本実施形態において有用な構造とそうでない構造とを分離可能な情報である。具体的には、強調することが有用な（例えば早期病変部の発見に役立つ）凹凸部の情報を既知特性情報としてもよく、その場合、当該既知特性情報と合致する被写体が強調対象となる。或いは、強調しても有用でない構造の情報を既知特性情報としてもよく、その場合既知特性情報と合致しない被写体が強調対象となる。或いは、有用な凹凸部と有用でない構造の両方の情報を保持しておき、有用な凹凸部の範囲を精度よく設定するものとしてもよい。

ただし、本実施形態では後述する図１１等の手法により被写体の凹凸部のディメンジョン情報を取得し、既知特性情報との比較処理を行う。この場合、ディメンジョン情報を精度よく求めるためには、被写体の基準面（図１１のｘ１に対応する面等）を設定する必要があり、その際には大局的な距離変動（狭義には管腔構造による距離変動）を距離情報から除外しておくことが望ましい。

よって本実施形態では、距離情報から特定の構造に関する情報を抽出した抽出凹凸情報を取得し、当該抽出凹凸情報と既知特性情報から強調対象等を決定する手法を用いる。狭義には、抽出凹凸情報は管腔構造に関する情報を除外した情報である。これについては、既知特性情報として管腔構造に関する情報を取得しておくことで実現できる。ただしこれに限定されず、強調対象とならない他の構造（襞構造等）に関する情報についても除外しておいてもよい。強調対象となり得ない被写体の構造に関する情報を可能な限り除外しておけば、強調対象の設定等の処理において処理負荷を軽減すること等が可能になるためである。この処理は、強調対象を特定可能な既知特性情報を用いることで実現可能である。

ただし、抽出凹凸情報に含まれる構造は、強調対象となり得る構造に厳密に限定する必要はない。本実施形態の強調処理は以下の３つの理由により、強調対象を特定可能な既知特性情報を用いることが前提とされるためである。第１に、抽出凹凸情報の取得処理に既知特性情報を用いたとしても、強調処理において再度既知特性情報を用いることで、強調対象の選択の精度を向上させることができる。第２に、図６（Ａ）〜図６（Ｆ）等を用いて後述するように、抽出凹凸情報の取得の際には、凹凸部の幅に着目することになり、深さや高さについては考慮されない。つまり、深さや高さを処理に用いたければ、抽出凹凸情報の取得とは別に既知特性情報を用いた処理が必要となる。第３に、強調処理はディメンジョン情報等に応じて強調量を変更する手法をとってもよい。つまり、仮に既知特性情報を用いた抽出処理によって、抽出凹凸情報として強調対象だけを抽出した情報を取得できたとしても、それらの強調量を設定する際には結局既知特性情報が必要となる。

よって、抽出凹凸情報の抽出処理においては、強調処理を適切に行えるだけの処理（狭義には基準面を設定できるように大局的な構造を除外する処理）を行えば十分であり、それ以上の処理は必須ではない。また、適切に基準面を設定できるのであれば、大局的な構造に関する情報を除外する際に、既知特性情報を用いなくてもよい。

なお、強調処理（及び必要に応じて抽出凹凸情報の抽出処理）で用いられる既知特性情報である典型的な襞のサイズ、或いは有用な凹凸構造のディメンジョン等は、観察対象となる部位（上部消化器系であれば胃、下部消化器系であれば大腸等）に応じて異なることが想定される。よって、既知特性情報は１つの情報ではなく、観察対象に応じて選択、変更等が可能にしておくことが望ましい。

以下、第１〜第３の実施形態について説明する。なお、以下では図２に示すように内視鏡装置を例にとって説明するが、図１で上述したように、本実施形態は内視鏡装置に限定されない画像処理装置に適用可能である。

第１の実施形態では被写体の凹部（溝）を強調する手法について説明する。第２の実施形態では被写体の凸部（例えば、生体であればポリープ等）を強調する手法について説明する。第１，第２の実施形態では、強調処理の具体例として色変換処理を用いるものとしている。そして第３の実施形態では、強調手法としてコントラストを高くする手法について説明する。

２．第１の実施形態
第１の実施形態について説明する。具体的には、本実施形態の画像処理装置を含む内視鏡装置のシステム構成例を説明し、その後、抽出凹凸情報の取得処理、強調処理、距離情報取得処理について説明する。そして本実施形態の手法をソフトウェアを用いて実現する例を説明するとともに、本実施形態の処理の流れをフローチャートを用いて説明する。

２．１ システム構成例
図２に、第１の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。

光源部１００は、白色光源１１０と、光源絞り１２０と、光源絞り１２０を駆動させる光源絞り駆動部１３０と、複数の分光透過率のフィルタを有する回転色フィルタ１４０を有する。また光源部１００は、回転色フィルタ１４０を駆動させる回転駆動部１５０と、回転色フィルタ１４０を透過した光をライトガイドファイバ２１０の入射端面に集光させる集光レンズ１６０を含む。光源絞り駆動部１３０は、制御装置３００の制御部３４０からの制御信号に基づいて、光源絞り１２０の開閉を行うことで光量の調整を行う。

図３に回転色フィルタ１４０の詳細な構成例を示す。回転色フィルタ１４０は、三原色の赤色（以下Ｒと略す）フィルタ７０１と、緑色（以下Ｇと略す）フィルタ７０２と、青色（以下Ｂと略す）フィルタ７０３と、回転モーター７０４と、から構成されている。

図４に、これらの色フィルタ７０１〜７０３の分光特性例を示す。回転駆動部１５０は、制御部３４０からの制御信号に基づいて、撮像素子２６０−１、２６０−２の撮像期間と同期して回転色フィルタ１４０を所定回転数で回転させる。例えば、回転色フィルタ１４０を１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切ることになる。この場合、撮像素子２６０−１、２６０−２は、６０分の１秒間隔で画像信号の撮像と転送を完了することになる。ここで、撮像素子２６０−１、２６０−２は例えばモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等により構成される。即ち、本実施形態では、３原色の各色光（Ｒ或はＧ或はＢ）の画像が６０分の１秒間隔で撮像される面順次方式の撮像が行われる。

撮像部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を照明レンズ２２０に導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２３０−１、２３０−２と、焦点位置を調整するためのフォーカスレンズ２４０−１、２４０−２と、フォーカスレンズ２４０−１、２４０−２の位置を移動ためのレンズ駆動部２５０と、集光した反射光を検出するための撮像素子２６０−１、２６０−２を備えている。

対物レンズ２３０−１、２３０−２は所定間隔離した位置に配置され所定の視差画像（以降、ステレオ画像とも記す）が撮影可能な位置に配置されており、撮像素子２６０−１、２６０−２にそれぞれ左画像、及び右画像が結像されるようになっている。また撮像素子２６０−１、２６０−２から出力された左画像と右画像は画像取得部（Ａ／Ｄ変換部）３１０へ出力される。なお、図１６を用いて後述するように、距離情報の取得はステレオマッチング処理によるものに限定されない。よって、視差画像を用いない手法により距離情報を取得する場合には、対物レンズ、フォーカスレンズ、撮像素子は図２のように複数組用いる必要はなく、一組であってもよい。

レンズ駆動部２５０は、例えばＶＣＭ（Voice Coil Motor）であり、フォーカスレンズ２４０−１、２４０−２と接続されている。レンズ駆動部２５０は、フォーカスレンズ２４０−１、２４０−２の位置を連続的な位置で切り替えることで、合焦物体位置を調整する。また、撮像部２００には、ユーザが強調処理のオン／オフ指示を行うスイッチ２７０が設けられている。ユーザがスイッチ２７０を操作することで、スイッチ２７０から強調処理のオン／オフ指示信号が制御部３４０に出力される。

制御装置３００は、内視鏡装置の各部の制御や画像処理を行う。制御装置３００は、画像取得部（Ａ／Ｄ変換部）３１０と、凹凸情報取得部３２０と、画像処理部３３０と、制御部３４０と、距離情報取得部３５０と、記憶部３６０を含む。凹凸情報取得部３２０、画像処理部３３０の詳細については後述する。

画像取得部（Ａ／Ｄ変換部）３１０によりデジタル信号に変換された画像信号は、画像処理部３３０に転送される。画像処理部３３０により処理された画像信号は、表示部４００に転送される。また、制御部３４０は、内視鏡装置の各部の制御を行う。具体的には制御部３４０は、光源絞り駆動部１３０と、レンズ位置制御部３５９（距離情報取得部３５０が図１６の構成の場合）と、画像処理部３３０の同期を行う。また、制御部３４０はスイッチ２７０と外部Ｉ／Ｆ部５００とに接続され、画像処理部３３０へ強調処理のオン／オフ指示信号を転送する。

距離情報取得部３５０は、制御部３４０の制御に基づき、画像処理部３３０から転送される画像信号を用いて、被写体距離を算出する。なお、本実施形態においては、被写体距離の情報はステレオマッチング処理により算出する。被写体距離の情報は画像処理部３３０へ転送される。距離情報取得部３５０の詳細については後述する。

記憶部３６０は、制御装置３００での処理に用いられる種々の情報を記憶するもので、その機能はＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部３６０は、例えば強調処理等で用いられる既知特性情報を記憶する。

表示部４００は、動画表示可能な表示装置であり、例えばＣＲＴや液晶モニター等により構成される。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、強調処理のオン／オフ指示を行うことができる不図示の強調処理ボタンを有し、ユーザは外部Ｉ／Ｆ部５００からも強調処理のオン／オフ指示を行うことができる（強調処理ボタンは、撮像部２００のスイッチ２７０と機能は同じ）。外部Ｉ／Ｆ部５００からの強調処理のオン／オフ指示信号は、制御部３４０に出力される。外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。

２．２ 抽出凹凸情報取得処理
凹凸情報取得部３２０は、距離情報取得部３５０から入力された距離情報（被写体距離）から生体表面の凹凸部を表す抽出凹凸情報を抽出する。なお、ここでは既知特性情報に基づいて抽出処理パラメータを設定し、設定した抽出処理パラメータを用いた抽出処理により、距離情報から抽出凹凸情報を抽出する手法を説明する。具体的には、既知特性情報を用いて、所望のディメンジョン特性を有する凹凸部（狭義にはその幅が所望の範囲にある凹凸部）を抽出凹凸情報として抽出する。距離情報には被写体の３次元構造が反映されることから、当該距離情報には所望の凹凸部の他、それよりも大きな構造である襞構造や、管腔の壁面構造に対応した大局的な構造が含まれる。つまり、本実施形態の抽出凹凸情報取得処理は、距離情報から襞、管腔構造を除外する処理であると言うこともできる。

ただし、抽出凹凸情報取得処理はこれに限定されるものではない。例えば、抽出凹凸情報の取得処理においては既知特性情報を用いないものとしてもよい。また、既知特性情報を用いる場合にも、当該既知特性情報としてどのような情報を用いるかは、種々の変形実施が可能である。例えば、距離情報から管腔構造に関する情報は除外するが、襞構造に関する情報は残すような抽出処理を行ってもよい。そのような場合であっても、後述する強調処理において既知特性情報を用いるため、所望の被写体を対象とした強調処理を行うことが可能である。

図５に凹凸情報取得部３２０の構成例を示す。凹凸情報取得部３２０は、既知特性情報取得部３２１と、抽出処理部３２３と、抽出凹凸情報出力部３２５を含む。ただし、凹凸情報取得部３２０は図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

既知特性情報取得部３２１は、記憶部３６０から既知特性情報を取得する。具体的には、生体表面から病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）等を、既知特性情報として取得する。ここで観察部位情報は、例えばスコープＩＤ情報に基づき決定される、観察対象としている部位を表す情報であり、当該観察部位情報も既知特性情報に含まれてもよい。例えば上部消化器用スコープだと観察部位は食道、胃、十二指腸であり、下部消化器用スコープだと観察部位は大腸と判定される情報である。抽出したい凹凸部のディメンジョン情報、及び部位固有の管腔及び襞のディメンジョン情報は、部位に応じて異なるものであるため、既知特性情報取得部３２１では、観察部位情報に基づき取得された標準的な管腔及び襞のサイズ等の情報を抽出処理部３２３へ出力する。なお、観察部位情報はスコープＩＤ情報により決定されるものに限定されず、外部Ｉ／Ｆ部５００においてユーザが操作可能なスイッチを用いて選択される等、他の手法により決定されてもよい。

抽出処理部３２３は、既知特性情報に基づいて抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて抽出凹凸情報の抽出処理を行う。

まず抽出処理部３２３は、入力された距離情報に対してＮ×Ｎ画素の所定サイズのローパスフィルタ処理を施し、大まかな距離情報を抽出する。そして抽出された大まかな距離情報に基づいて、適応的に抽出処理パラメータを決定する。抽出処理パラメータの詳細については以降で説明するが、例えば距離マップの距離情報と直交する平面位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、前記平面位置の距離情報に適応したローパス特性のフィルタであったり、前記平面位置に適応したハイパス特性のフィルタであったりする。つまり距離情報に応じた適応的な非線形、及び線形のローパスフィルタやハイパスフィルタを変更する変更情報となる。なお、ここでのローパスフィルタ処理は、抽出処理パラメータが画像上位置に応じて頻繁に、或いは極端に変化することによる抽出処理の精度低下を抑止するためのものであり、当該精度低下が問題とならないのであればローパスフィルタ処理を行わなくてもよい。

次に、抽出処理部３２３は、決定された抽出処理パラメータに基づいて、抽出処理を行うことで被写体に実在する所望サイズの凹凸部のみを抽出する。これら抽出した凹凸部は撮像画像（強調処理の対象となる画像）と同一サイズの抽出凹凸情報（凹凸画像）として画像処理部３３０へ出力される。

続いて抽出処理部３２３における抽出処理パラメータの決定処理の詳細を、図６（Ａ）〜図６（Ｆ）を用いて説明する。図６（Ａ）〜図６（Ｆ）の抽出処理パラメータはモルフォロジー処理のオープニング処理とクロージング処理に利用する構造要素（球）の直径である。図６（Ａ）は、被写体の生体表面と撮像部２００の垂直方向の断面を模式的に示した図である。生体表面にある襞（図２の２、３、４）は例えば胃壁の襞であるとする。また図２に示したように、早期病変部１０、２０、３０が生体表面に形成されているものとする。

抽出処理部３２３における抽出処理パラメータの決定処理にて実現したいのは、このような生体表面から襞２、３、４は抽出せずに早期病変部１０、２０、３０の特定に有用な凹凸部のみを抽出するための抽出処理パラメータを決定することである。

これを実現するには、記憶部３６０からの病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等などのディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）を用いる必要がある。

この２つの情報を使って実際の生体表面をオープニング処理及びクロージング処理でなぞる球の直径を決定すれば所望の凹凸部のみを抽出できる。球の直径は観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。より詳細には襞のサイズの半分以下の直径で病変起因の抽出したい生体固有の凹凸部のサイズ以上に設定するのがよい。上記条件を満たす球をオープニング処理とクロージング処理に使用した例が、図６（Ａ）〜図６（Ｆ）に描かれている。

図６（Ｂ）はクロージング処理した後の生体表面であり、適切な抽出処理パラメータ（構造要素のサイズ）を決定することで、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部のうち、凹部が埋められた情報が得られることがわかる。クロージング処理により得られた情報と、元の生体表面（図６（Ａ）に対応）との差分を取る事で図６（Ｃ）のような生体表面の凹部のみを抽出できる。

同様に図６（Ｄ）はオープニング処理した後の生体表面であり、抽出対象としているディメンジョンの凹凸部のうち、凸部が削られた情報が得られることがわかる。よってオープニング処理により得られた情報と、元の生体表面との差分を取る事で図６（Ｅ）のような生体表面の凸部のみを抽出できる。

上記のように実際の生体表面に対して全て同一サイズの球を使ったオープニング処理、クロージング処理を行えばよいのだが、ステレオ画像は距離情報が遠い程小さい領域として撮像素子上に結像されるので、所望サイズの凹凸部を抽出するには、距離情報が近い場合には上記球の直径を大きく、距離情報が遠い場合は上記球の直径を小さくするように制御すれば良い。

図６（Ｆ）には距離マップに対するオープニング処理、クロージング処理を行う場合の平均的な距離情報に対して、球の直径を変更する様に制御している事を示している。つまり距離マップに対して所望の凹凸部を抽出するには生体表面のリアルな大きさを撮像素子上の結像画像上の画素ピッチの大きさと一致させるために光学倍率で補正する必要がある。そのため、抽出処理部３２３は、スコープＩＤ情報に基づき決定される撮像部２００の光学倍率等を取得しておくとよい。

つまり抽出処理パラメータである構造要素のサイズの決定処理は、襞等の除外対象とする形状に対して構造要素による処理を行った場合（図６（Ａ）では表面で球を滑らせた場合）には、当該形状を潰さない（形状に追従して球が移動する）ような構造要素のサイズを決定するものとなる。逆に、抽出凹凸情報として抽出対象となる凹凸部に対して構造要素による処理を行った場合には、当該凹凸部をなくす（上から滑らせた場合に凹部に入り込まない、或いは下から滑らせた場合に凸部に入り込まない）ような構造要素のサイズを決定すればよい。なおモルフォロジー処理については広く知られた手法であるため詳細な説明は省略する。

また、抽出処理はモルフォロジー処理には限定されず、フィルタ処理により行ってもよい。例えばローパスフィルタ処理を用いる場合には、上記病変部起因の抽出したい生体固有の凹凸部は平滑化可能で、観察部位固有の管腔及び襞の構造が保持されるローパスフィルタの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象である襞、管腔構造の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルタの特性は決定可能である。

ローパスフィルタは公知のガウスフィルタやバイラテラルフィルタとし、その特性はσで制御し、距離マップの画素に一対一対応するσマップを作成してもよい（バイラテラルフィルタの場合は輝度差のσと距離のσの両方或いはどちらか１つでσマップを作成してもよい）。なお、ガウスフィルタは下式（１）、バイラテラルフィルタは下式（２）で表すことができる。

例えばここでこのσマップは画素単位でなくても間引き処理したσマップを作成して、当該σマップにより距離マップに対して所望のローパスフィルタを作用させてもよい。

ローパスフィルタの特性を決めるσは、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離Ｄ１の所定倍α（＞１）よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離Ｄ２の所定倍β（＜１）よりも小さい値を設定する。例えば、σ=(α*D1+β*D2)/2*Rσとしてもよい。

また、ローパスフィルタの特性として、より急峻なシャープカットな特性を設定することもできる。この場合はσではなくカットオフ周波数ｆｃでフィルタ特性を制御することになる。カットオフ周波数ｆｃは、上記Ｄ１周期の周波数Ｆ１をカットし、Ｄ２周期の周波数Ｆ２を通過するように指定すればよい。例えば、fc=(F1+F2)/2*Rfとしてもよい。

ここでRσは局所平均距離の関数であり、局所平均距離が小さくなれば出力値が大きく、局所平均距離が大きくなれば小さくなる。一方、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ローパス処理していない距離マップからローパス処理結果を減算して負となる領域だけ抽出することで凹部画像を出力できる。また、ローパス処理していない距離マップからローパス処理結果を減算して正となる領域だけ抽出することで凸部画像を出力できる。

ローパスフィルタによる病変由来の所望の凹凸部の抽出に関する考え方を図７（Ａ）〜図７（Ｄ）に示す。図７（Ａ）の距離マップに対して、ローパスフィルタを用いたフィルタ処理を行うことで、図７（Ｂ）に示すように、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部が除かれた情報が得られることがわかる。図６（Ａ）〜図６（Ｆ）のようなオープニング処理とクロージング処理の２つの処理を行わなくてもローパスフィルタ処理結果が所望の凹凸部を抽出する基準局面（図７（Ｂ））となるので、大本の距離マップ（図７（Ａ））との減算処理で、図７（Ｃ）に示したように凹凸部を抽出できる。モルフォロジー処理で大まかな距離情報に応じて構造要素のサイズを適応的に変更したのと同様に、フィルタ処理では、大まかな距離情報に応じてローパスフィルタの特性を変更するとよく、その例を図７（Ｄ）に示す。

また、ローパスフィルタ処理ではなくハイパスフィルタ処理を行ってもよく、その場合病変部起因の抽出したい生体固有の凹凸部を保持し、観察部位固有の管腔及び襞の構造がカットされるハイパスフィルタの特性を決定する。

ハイパスフィルタの特性として、例えばカットオフ周波数ｆｈｃでフィルタ特性を制御する。カットオフ周波数ｆｈｃは、上記Ｄ１周期の周波数Ｆ１を通過し、Ｄ２周期の周波数Ｆ２をカットするように指定すればよい。例えば、fhc=(F1+F2)/2*Rfとしてもよい。ここで、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ハイパスフィルタ処理では、直接病変部起因の抽出したい凹凸部を抽出できる。具体的には、図７（Ｃ）に示したように、差分を取らなくとも直接抽出凹凸情報が取得されることになる。

２．３ 強調処理
図８に、第１の実施形態における画像処理部３３０の詳細な構成例を示す。画像処理部３３０は、前処理部３３１と、同時化部３３２と、強調部３３３と、後処理部３３４と、を含む。画像取得部（Ａ／Ｄ変換部）３１０は、前処理部３３１に接続される。前処理部３３１は、同時化部３３２に接続される。同時化部３３２は、距離情報取得部３５０と強調部３３３に接続される。凹凸情報取得部３２０は、強調部３３３に接続される。強調部３３３は、後処理部３３４に接続される。後処理部３３４は、表示部４００に接続される。制御部３４０は、各部と双方向に接続されており、これらの制御を行う。

前処理部３３１は、画像取得部（Ａ／Ｄ変換部）３１０から入力される画像信号に対して、制御部３４０に予め保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いて、ＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理を行う。前処理部３３１は、前処理後の画像信号を同時化部３３２へ転送する。

同時化部３３２は、前処理部３３１により処理された画像信号に対して、制御部３４０の制御信号に基づいて、面順次の画像信号を同時化する。具体的には、同時化部３３２は、面順次で入力された各色光（Ｒ或はＧ或はＢ）の画像信号を１フレーム分ずつ蓄積し、蓄積した各色光の画像信号を同時に読み出す。同時化部３３２は、同時化された画像信号を、距離情報取得部３５０と、強調部３３３へ転送する。

強調部３３３は、同時化部３３２から転送された画像信号に対して、注目画素の強調処理を行う。ここでは、生体表面の微小な凹凸部のコントラストを向上させるインジゴカルミンを散布した画像を模擬した画像を作成する。具体的には、画像信号の注目画素が、生体表面の凹部（以下、溝と表記する）の場合には、画像信号に青味を増すゲインを乗算する。ここで、凹凸情報取得部３２０から転送される抽出凹凸情報は、同時化部３３２から入力される画像信号と、画素毎に一対一で対応している。

強調部３３３は、図９に示したように、ディメンジョン情報取得部３３３１と、凹部抽出部３３３２と、凸部抽出部３３３３と、補正部３３３４と、強調量設定部３３３５とを含む。ただし、強調部３３３は図９の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

ディメンジョン情報取得部３３３１は、記憶部３６０等から既知特性情報（ここでは特にディメンジョン情報）を取得する。凹部抽出部３３３２は、既知特性情報に基づいて、抽出凹凸情報に含まれる凹凸部のうち、強調対象となる凹部を抽出する。凸部抽出部３３３３は、既知特性情報に基づいて、抽出凹凸情報に含まれる凹凸部のうち、強調対象となる凸部を抽出する。

補正部３３３４は、強調対象の視認性を高める補正処理を行う。詳細は後述する。その際、強調量設定部３３３５で強調量を設定しておき、設定された強調量に従って補正処理を行ってもよい。

また、スイッチ２７０、外部Ｉ／Ｆ部５００から強調処理のオン／オフ指示信号が制御部３４０を介して入力される。指示信号がオフの場合は、強調部３３３は強調処理を行わずに同時化部３３２から入力された画像信号を後処理部３３４へ転送する。指示信号がオンの場合は強調処理を行う。

強調処理を開始すると、まず抽出凹凸情報から、既知特性情報に基づき生体表面の溝を検出する。ここで、既知特性情報とは生体表面の溝の幅，深さを指す。一般的に、生体表面の微小な溝の幅は数１０００μｍ以下、深さは数１００μｍ以下である。ここでは、抽出凹凸情報から生体表面上での溝の幅および深さを算出する。

図１０に１次元の抽出凹凸情報を示す。撮像素子から生体表面までの距離は、撮像素子２６０（撮像面）の位置を０として、奥行き方向に正の値を取るものとする。図１１に溝の幅の算出方法を示す。ここでは、抽出凹凸情報から、基準面より距離が遠く連続した撮像面からの距離がある閾値ｘ１以上離れた点の端部を検出する（図１１のＡ点とＢ点）。ここでは、距離ｘ１が基準面になっている。そして、検出された点の内部に含まれるに対応する、画素数Ｎを算出する。さらに内部の点について撮像素子からの距離ｘ１〜ｘＮの平均値を算出しｘａｖｅとする。下式（３）に溝の幅ｗの算出式を示す。ここで、ｐは撮像素子２６０の１画素当たりの幅、Ｋは撮像素子からの距離ｘａｖｅに一対一で対応する光学倍率を示している。
w = N×p×K ・・・・・（３）

図１２に溝の深さの算出方法を示す。下式（４）に溝の深さｄの算出式を示す。ここで、ｘ１〜ｘＮのうちの最大値をｘＭとし、ｘ１とｘＮのうち小さい方をｘｍｉｎとする。
d = xM - xmin1 ・・・・・（４）

基準面（撮像素子からの距離ｘ１の面）はユーザが外部Ｉ／Ｆ部５００を介して任意の値を設定してもよい。算出した溝の幅、及び深さが既知特性情報に合致する場合は、対応する画像信号の画素位置を注目画素として設定する。既知特性情報に合致するか否かの判定は、ここでは例えば、溝の幅が３０００μｍ以下、溝の深さが５００μｍ以下の場合の画素を注目画素として設定する。ここで、閾値となる溝の幅、深さは外部Ｉ／Ｆ部５００を介してユーザが設定してもよい。

以上の処理により、強調処理の対象となる被写体（狭義には強調処理の対象となる注目画素）を決定することができる。続いて、注目画素に設定された画素値にゲイン係数を乗算する。具体的には、注目画素のＢ信号は増加するように１以上のゲイン係数を、Ｒ，Ｇ信号は減少するように１以下のゲイン係数を乗算する。これにより、生体表面の溝（凹部）は青味を増すことで、インジゴカルミンを散布したような画像を得ることができる。

この場合、注目画素に対しては一律に強調処理を行ってもよい。具体的には、全ての注目画素に対して同一のゲイン係数を用いた強調処理を行うことが考えられる。ただし、強調処理の対象である注目画素のなかでも、強調処理の手法を変更してもよい。例えば溝の幅、深さに応じてゲイン係数を変化させて、当該ゲイン係数を用いた強調処理を行ってもよい。具体的には、溝の深さが浅いほど青味が薄くなるようゲイン係数を乗算する。こうすることで、実際の色素散布を行った場合に近い画像を得ることができる。この場合のゲイン係数の設定例を図１３（Ｂ）に示す。或いは、細かい構造が病変発見等に有用であることがわかっている場合には、より細かいほど、つまり溝の幅が狭いほど強調量を多くするものとしてもよく、この場合のゲイン係数の設定例を図１３（Ａ）に示す。

また、強調処理は青味が増すように処理を行ったが、これに限定されない。例えば図１４（Ｂ）に示したように、溝の深さに応じて着色する色味（ここでは実線部分と点線部分で異なる色味にすることを想定している）を変えてもよい。これにより、図１４（Ａ）のように、全ての溝に対してその深さによらず同様の色味をつける強調処理に比べて、溝の連続性が視認できるようになるためより高精度な範囲診断が可能となる。

また、強調処理としてＢ信号を上げて、Ｒ，Ｇ信号を下げるようゲインを乗算したが、これに限らず、Ｂ信号を上げて、Ｒ信号を下げるようゲインを乗算し、Ｇ信号はゲインを乗算しなくてもよい。これにより、青味を増した凹部についてもＢ，Ｇ信号の信号値が残るため、凹部内の構造がシアンで表示されることになる。

また、強調処理の対象を注目画素に限定せず、画像全体に対して処理を行うものとしてもよい。この場合、注目画素に対応する領域については、ゲイン係数を高くする等の視認性を高める処理を行い、その他の領域については、ゲイン係数を低くする、１にする（元の色と同じにする）、或いは特定の色に変換する（例えば強調対象の目標色の補色となるようにして、強調対象の視認性を高める）等の処理を行う。つまり、本実施形態の強調処理は、インジゴカルミンを用いた場合と同様の疑似画像を生成するものには限定されず、注目すべき対象の視認性を向上させる種々の処理により実現可能である。

生体表面の凹部が強調された画像信号は、後処理部３３４へ転送される。後処理部３３４は、強調部３３３から転送された画像信号に対して、制御部３４０に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理を行う。後処理部３３４は、後処理後の画像信号を表示部４００へ転送する。

２．４ 距離情報取得処理
次に、距離情報取得処理について説明する。図１５に示したように、距離情報取得部３５０はステレオマッチング部３５１と視差・距離変換部３５２を含む。画像処理部３３０での前処理後のステレオ画像はステレオマッチング部３５１へ入力され、左画像を基準画像として、処理対象画素とその周辺領域（所定サイズのブロック）が右画像に対してエピポーラ線上をブロックマッチングして視差情報を算出する。算出した視差情報は視差・距離変換部３５２にて距離情報に変換される。この変換は撮像部２００の光学倍率の補正処理を含んでいる。変換された距離情報は、狭義にはステレオ画像と同一サイズの画素からなる距離マップとして凹凸情報取得部３２０へ出力される。

上記の距離情報取得処理については、ステレオマッチング処理として広く知られているため、詳細な説明は省略する。

ただし、距離情報取得処理はステレオマッチング処理に限定されるものではない。変形例を図１６を用いて詳しく説明する。図１６は距離情報取得部３５０の他の構成例であり、距離情報取得部３５０は、輝度信号算出部３５３、差分演算部３５４と、２次微分演算部３５５と、ぼけパラメータ演算部３５６と、記憶部３５７、ＬＵＴ記憶部３５８と、レンズ位置制御部３５９を含む。なお、この場合ステレオ画像の取得は必須でないため、対物レンズ、フォーカスレンズ、撮像素子は１つずつであるものとして説明する。

輝度信号算出部３５３は、制御部３４０の制御に基づき、画像処理部３３０から出力された画像信号から輝度信号Ｙを次の下式（５）に示すように求める。
Y=0.299×R + 0.587×G + 0.114×B ・・・・・・（５）

輝度信号算出部３５３によって算出された画像信号は、差分演算部３５４、２次微分演算部３５５、記憶部３５７へ転送される。差分演算部３５４は、ぼけパラメータ算出のために必要な複数の画像から輝度信号Ｙの差分を算出する。２次微分演算部３５５は、画像信号における輝度信号Ｙの２次微分を算出し、ぼけの異なる複数の輝度信号Ｙから得られる２次微分の平均値を算出する。ぼけパラメータ演算部３５６は、差分演算部３５４で算出された画像の輝度信号Ｙの差分から２次微分演算部３５５で算出された２次微分の平均値を除算して、ぼけパラメータを算出する。

記憶部３５７は、１枚目に撮影した画像における輝度信号Ｙとその２次微分の結果を記憶する。これによって、距離情報取得部３５０は、フォーカスレンズを異なる位置に配置し、複数の輝度信号Ｙを異なる時刻で取得することができる。ＬＵＴ記憶部３５８は、ぼけパラメータと被写体距離との関係をルックアップテーブル（ＬＵＴ）の形で記憶する。

制御部３４０は、輝度信号算出部３５３と、差分演算部３５４と、２次微分演算部３５５と、ぼけパラメータ演算部３５６と、レンズ位置制御部３５９と、に双方向に接続しており、これらを制御する。

次に、被写体距離の算出方法について説明する。被写体距離の算出を開始すると、レンズ位置制御部３５９は、制御部３４０の制御に従って、外部Ｉ／Ｆ部５００により予め設定された撮影モードに基づいて、公知のコントラス検出方式、位相差検出方式などを用いて最適なフォーカスレンズ位置を算出する。次に、レンズ駆動部２５０は、レンズ位置制御部３５９からの信号に基づき、フォーカスレンズ２４０を、算出したフォーカスレンズ位置に駆動する。そして、駆動したフォーカスレンズ位置で、撮像素子２６０により被写体の１枚目の画像信号を取得する。取得した画像信号は、画像処理部３３０と輝度信号算出部３５３を介して、記憶部３５７に記憶される。

その後、レンズ駆動部２５０によって、フォーカスレンズ２４０を、１枚目の画像信号を取得したフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置に駆動し、撮像素子２６０によって被写体の２枚目の画像信号を取得する。これにより取得された２枚目の画像信号は、画像処理部３３０を介して、距離情報取得部３５０に出力される。

２枚目の画像信号の取得が完了すると、ぼけパラメータの算出を行う。距離情報取得部３５０において、差分演算部３５４は、１枚目の画像信号における輝度信号Ｙを記憶部３５７から読み出し、１枚目の画像信号における輝度信号Ｙと、輝度信号算出部３５３から出力される２枚目の画像信号における輝度信号Ｙと、の差分を算出する。

また、２次微分演算部３５５は、輝度信号算出部３５３から出力される２枚目の画像信号における輝度信号Ｙの２次微分を算出する。その後、１枚目の画像信号における輝度信号Ｙを記憶部３５７から読み出して、その２次微分を算出する。そして、算出した１枚目と２枚目の２次微分の平均値を算出する。

その後、ぼけパラメータ演算部３５６は、差分演算部３５４で演算した差分から２次微分演算部３５５で演算した２次微分の平均値を除算して、ぼけパラメータを算出する。

ぼけパラメータは、被写体距離の逆数に対して線形な関係がある。更に、被写体距離とフォーカスレンズ位置の関係は１対１対応である。そのため、ぼけパラメータとフォーカスレンズ位置の関係も、１対１対応の関係にある。ぼけパラメータとフォーカスレンズ位置の関係は、ＬＵＴ記憶部３５８にテーブルとして記憶されている。被写体距離の値に対応する距離情報は、フォーカスレンズの位置で表される。よって、ぼけパラメータ演算部３５６では、ぼけパラメータとＬＵＴ記憶部３５８に記憶されているテーブルの情報を使用して、ぼけパラメータから光学系に対する被写体距離を線形補間によって求める。これによって、ぼけパラメータ演算部３５６は、ぼけパラメータに対応する被写体距離の値を算出する。算出された被写体距離は、距離情報として凹凸情報取得部３２０に出力される。

なお、距離情報取得処理については他の変形実施も可能であり、例えば赤外光等を用いたTime of Flight方式等により距離情報を求めてもよい。また、Time of Flightを用いる場合にも、赤外光ではなく青色光を用いる等の変形実施が可能である。

２．５ ソフトウェアでの構成例
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像装置を用いて予め取得された画像信号と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像部とＡＤ変換部を別体とし、ＡＤ変換部を除く画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図１７は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１８は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１７に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピュータシステム６００における本体部６１０は、図１８に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１９〜図２１）を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

図１９に本実施形態の処理の全体フローチャートを示す。この処理を開始すると、まず撮像装置の（距離情報に対する）光学倍率や撮影を含む撮影条件などのヘッダ情報を入力する（Ｓ１１）。次に、撮像装置の撮像面から被写体までの距離を示す距離情報を入力する（Ｓ１２）。その後、図２０を参照して詳細に説明するように、距離情報から生体表面の抽出凹凸情報を抽出する（Ｓ１３）。さらに、画像信号を入力する（Ｓ１４）。次に、前処理ブロックと同じ処理（Ｓ１５）、同時化処理ブロックと同じ処理（Ｓ１６）を行う。次に、図２１を参照して詳細に説明するように、生体表面の微小な凹凸部のコントラストを向上させる処理を行う（Ｓ１７）。次に、後処理ブロックと同じ処理（Ｓ１８）を行い、強調処理された画像を出力する（Ｓ１９）。そして、時系列で最終画像の処理が終了したか否かを判定して（Ｓ２０）、終了していないと判定した場合にはＳ１２へ戻って次の画像信号について上述したような処理を繰り返して行う。一方、全画像信号の処理が終了していると判定した場合には、この処理を終了する。

図２０に抽出処理のフローチャートを示す。この処理が開始されると、記憶部３６０等から既知特性情報が取得される（Ｓ２１）。既知特性情報とは狭義には抽出対象となる凹凸部のディメンジョン特性を特定するための情報である。そして取得した既知特性情報に基づいて、抽出処理に用いる抽出処理パラメータを設定する（Ｓ２２）。抽出処理パラメータとは、上述したようにモルフォロジー処理に用いる構造要素のサイズや、フィルタ処理に用いるフィルタ特性である。その後、抽出処理パラメータを用いた抽出処理（ここではモルフォロジー処理を想定）を行い（Ｓ２３）、抽出された抽出凹凸情報を出力する（Ｓ２４）。

図２１に強調処理のフローチャートを示す。まず抽出凹凸情報と画像信号の画素を一対一で対応づける（Ｓ３１）。次に、上式（３）に従って溝の幅ｗを検出する（Ｓ３２）。次に、上式（４）に従って溝の深さｄを検出する（Ｓ３４）。次に、既知特性情報に基づき検出された溝が強調処理の対象（微小な溝）か否かの判定を行う（Ｓ３４）。Ｙｅｓの場合はＳ３５へ進み、Ｎｏの場合はＳ３６へ進む。Ｓ３４でＹｅｓの場合には、強調処理の対象画素に青味を増すようゲインを乗算する（Ｓ３５）。そしてＳ３４でＮｏの場合、又はＳ３５の処理の後に、最終画素の処理が終了したか否かを判定して（Ｓ３６）、終了していないと判定した場合にはＳ３２へ戻って次の画像信号について上述したような処理を繰り返して行う。

以上の本実施形態では、生体表面の抽出凹凸情報と、病変の既知特性情報に基づき、生体表面の微小な凹凸のコントラストを強調する。これにより、色素散布の煩雑な作業をすることなく、微小な凹凸のコントラストを高精度に強調することが可能となり、視認性のよい画像を得ることができる。

なお、以上の説明では溝の青味を強調したが、ユーザが好みに合わせて強調処理を指定してもよい。例えば、「輝度差で強調」、「Ｇ信号成分を強調」、「背景色の補色の色に変換」等の強調処理を行ってもよい。また、撮像方式は面順次方式としたが、原色ベイヤー，補色単板，原色２板，原色３板等の撮像方式としてもよい。また、光源は通常光観察としたがＮＢＩ（Narrow Band Imaging）等に代表される特殊光観察としてもよい。

以上の本実施形態では、画像処理装置は図２及び図８に示したように、撮像部２００の撮像により、被写体の像を含む撮像画像を取得する画像取得部３１０と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３５０と、取得された距離情報から、被写体の凹凸部を抽出した情報である抽出凹凸情報を取得する凹凸情報取得部３２０と、抽出凹凸情報により表される凹凸部のうち、被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する凹凸部を強調対象として強調処理を行う強調部３３３を含む。

ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、本実施形態で上述したようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズ（図２の対物レンズ２３０−１．２３０−２）を結ぶ面の任意の点を基準にした距離を距離情報とすればよい。一方、第２の実施形態等で後述するTime of Flight方式を用いた場合は、例えば、撮像素子面の各画素位置を基準にした距離を距離情報として取得することになる。これらは、距離計測の基準点を撮像部２００に設定した例であるが、基準点は、撮像部２００以外の任意の場所、例えば、撮像部や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向の距離であることが考えられる。一例としては、撮像部２００の光軸方向での距離を用いればよく、図６（Ａ）に示したように光軸に対して垂直な方向に視点を設定した場合には、当該視点において観察される距離（図６（Ａ）の例であれば矢印で示した上下方向での撮像部２００から被写体までの距離）であってもよい。

例えば、距離情報取得部３５０は、撮像部２００の第１の基準点を原点とした第１の座標系における各対応点の座標を、公知の座標変換処理によって、３次元空間内の第２の基準点を原点とした第２の座標系における対応点の座標に変換し、その変換後の座標をもとに距離を計測してもよい。この場合、第２の座標系における第２の基準点から各対応点までの距離は、第１の座標系における第１の基準点から各対応点までの距離、すなわち「撮像部から各対応点までの距離」となり、両者は一致する。

また、距離情報取得部３５０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、距離情報取得部３５０は、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。この場合、凹凸情報取得部３２０は、撮像部２００に基準点を設定した場合と比較して、抽出処理パラメータとして異なるパラメータを用いることになる。抽出処理パラメータの決定には距離情報を用いる必要があるため、距離計測の基準点が変わることで距離情報の表し方が変化した場合には、抽出処理パラメータの決定手法も変化するためである。例えば、本実施形態で上述したように、モルフォロジー処理により抽出凹凸情報を抽出する場合には、抽出処理に用いる構造要素のサイズ（例えば球の直径）を調整して、調整後の構造要素を用いて凹凸部の抽出処理を実施する。

また、強調対象とは、具体的には抽出凹凸情報により表される凹凸部のうち、既知特性情報により特定される特性と合致する凹凸部に対応する、撮像画像中の被写体である。つまり本実施形態の強調処理は、狭義には撮像画像に対する強調処理であって、抽出凹凸情報に対する強調処理ではない。

これにより、既知特性情報を用いた強調処理を行うことが可能になる。上述したように、生体内画像における早期病変部の発見に有用な微少な凹凸部等は、従来の強調処理（高周波成分の強調処理等）では効果的な強調処理を行うことができない。また、生体内画像以外を対象とした場合にも、微少な凹凸部の強調処理が困難であることに変わりはない。その点、本実施形態の手法であれば撮像画像中の強調すべき画素（注目画素）や、強調量を適切に設定することができるため、目的とする凹凸部を強調する処理が可能になる。また、上述したように色素散布時の生体内画像を再現した疑似画像を作成するものとすれば、色素散布等の被写体側を変化させる手法を用いる必要がないため、強調対象以外の被写体の視認性低下や、生体を対象とした場合の侵襲性の問題等を考慮しなくてもよいという利点もある。なお、抽出凹凸情報は狭義には、距離マップ、或いは撮像画像に対応する画素数（例えば同一の画素数）を有し、各画素値が凹凸に対応する値となる凹凸画像であってもよい。凹凸に対応する値とは、例えば凸部が正、凹部が負の値となり、凸部の高さが高いほど、また凹部の深さが深いほど、その絶対値が大きくなる値が考えられる。ただし、抽出凹凸情報は凹凸画像に限定されず、他の形式の情報であってもよい。

また、強調部３３３は図９に示したように、既知特性情報として、強調対象となる被写体の凹部の幅及び深さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部３３３１と、抽出凹凸情報に含まれる凹凸部のうちディメンジョン情報により特定される特性と合致する凹部に関する情報を、抽出凹部情報として抽出する凹部抽出部３３３２と、抽出凹部情報により表される凹部に対して、色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部３３３４を含んでもよい。

ここで、距離情報とは例えば距離マップであってもよく、距離マップとは例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば各画素）について、被写体までのＺ軸方向での距離（奥行き・深度）を当該点の値としたマップのことである。この場合、凹部の幅とは、ＸＹ平面上での凹部の２つの端点の間の距離に対応するものである。一方凹部の深さ（及び後述する凸部の高さ）とは、当該凹部の基準面と、当該凹部のＺ軸方向での撮像部２００から最も遠い点（凸部であれば最も近い点）の間の距離に対応する。ただし、上式（３）を用いて説明したように、幅ｗの算出においては画素ピッチや撮像倍率等による補正等を行った上で算出されることが想定される。

これにより、上述したように特定の幅又は深さ、或いはその両方を有する凹部（溝）を強調対象として強調処理を行うことが可能になる。特定の幅、深さの溝構造は、生体内を対象とすれば早期病変部の発見に有用であることが想定されるし、工業部品を対象とすれば当該部品の消耗度合い等を判定する際に有用であると考えられる。よってこれらを対象として強調処理を行うことの有用性は高い。なお、コントラストの補正処理については第３の実施形態において後述する。

また、強調部３３３は図９に示したように、既知特性情報として、強調対象となる被写体の凹部の幅及び深さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部３３３１と、ディメンジョン情報に基づいて、強調処理の強調量を設定する強調量設定部３３３５と、撮像画像に対して、抽出凹凸情報及び強調量に基づいて、色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部３３３４を含んでもよい。

ここで、強調処理の強調量とは、狭義には上述したゲイン係数であってもよいが、これに限定されない。例えば、視認性を高めるべき対象を特定色に変換し、他の領域を当該特定色の補色に変換するような色変換処理を行う場合には、当該特定色等の設定を行う処理も、強調量の設定処理に含まれるものとする。

これにより、強調対象を特定の凹部に限定することなく、撮像画像に対する（例えば撮像画像全体に対する）強調処理を行うことが可能になる。本実施形態の強調処理は特定の凹部の視認性を高めることを目的とする以上、他の領域の視認性をあえて下げることも有用である場合がある。そのような手法は、ディメンジョン情報により特定される特性との合致度合いに応じて強調量を変更する手法等により実現可能である。

また、強調量設定部３３３５は、抽出凹凸情報に含まれる凹部に対する強調量を、凹部の幅及び深さがディメンジョン情報に合致するほど大きく設定してもよい。

これにより、強調すべき特性に近いほど強調量を大きくすることができるため、効率的に視認性を向上させることが可能になる。この処理は具体的には、図１３（Ａ）に示したゲイン係数を強調量として設定することで実現することができる。

また、強調量設定部３３３５は、抽出凹凸情報に含まれる凹部に対する強調量を、凹部の前記深さが浅いほど小さく設定してもよい。

これにより、凹部の深さに応じて強調量を変更することが可能になる。この手法は特に、インジゴカルミンによる薬剤散布を行った場合に相当する疑似画像を作成する際に有用である。インジゴカルミンは特定のディメンジョンの溝に堆積することが知られており、溝の深さが浅いほど、青色が薄い状態となる。そのため、図１３（Ｂ）に示したように、深さが浅いほど強調量（この場合Ｂ信号成分についてのゲイン係数等）を小さくすることで、薬剤散布の疑似画像を作成する際により再現性の高い画像を生成することが可能になる。

また、画像処理装置は、被写体の構造に関する既知の特性を表す情報である既知特性情報を入力する入力部（例えば図２の外部Ｉ／Ｆ部５００に対応）を含んでもよい。

これにより、既知特性情報として事前に記憶された情報だけでなく、例えばユーザにより入力された情報を用いることができ、よりユーザの意図に沿った対象を強調することが可能になる。

また、撮像部２００は、複数の視点を有するものであり、画像取得部３１０は、撮像部２００を介して、複数の視点のそれぞれに対応する撮像画像を複数取得し、距離情報取得部３５０は、取得された複数の撮像画像から得られる視差情報に基づいて、距離情報を取得してもよい。

これにより、画像処理装置において視差画像に基づいて距離情報を取得することが可能になる。なお、上述したように距離情報の取得処理はステレオマッチング処理に限定されず、種々の変形実施が可能である。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
次に第２の実施形態について説明する。強調部３３３以外の処理については、第１の実施形態と同様であるため詳細な説明は省略する。

強調部３３３では、凸部（凸型の早期病変を想定）を検出して赤味が増す強調処理を行う。凸部の検出は、第１の実施形態と同様に、基準面よりでっぱっている部分を凸部として検出する。さらに、既知特性情報に基づき、強調対象か否かの判定を行う。ここで、既知特性情報とは凸部の大きさが１０ｍｍ以下である（１０ｍｍ以下の病変は見落とし率が高いことがわかっているため、強調対象とする）という情報であることが考えられる。

凸部の大きさの算出方法は、まず、第１の実施形態の溝の幅ｗを検出した手法と同様に凸部の１次元方向の幅を算出する。そして、図２２に示したように２次元で見たときに長辺方向の幅ｗ１を凸部の大きさとする。強調対象とされた凸部に対しては赤味が増すように強調処理を行う（Ｒを上げて、Ｇ，Ｂが下がるゲインを乗算する）。さらに、大きさが小さいほど強調量が増すようにゲイン係数を設定してもよい。この場合の凸部の大きさと各信号の関係を図２３（Ａ）に示す。こうすることで、見落とす可能性の高い小さな病変ほど強調されるため見落とし防止の効果がある。

ただし強調処理はこれに限定されず、例えば図２３（Ｂ）に示したゲイン係数を用いてもよい。これは、小さすぎる凸部については強調量を小さくする（ゲイン係数を下げる）処理である。小さい凸部は見逃し可能性が高いものであるが、極端に小さいものについてはノイズの可能性も否定できないし、仮に早期病変であったとしても深刻度が低く強調する必要がない可能性が高い。よって図２３（Ｂ）ではこのような小さな病変の強調を押さえるものとしている。なお、強調対象となる、凸部の大きさ、強調量などはユーザが設定してもよい。

また、本実施形態の強調処理は凸部の赤味の強調に限定されるものではなく、第１の実施形態と同様に「輝度差で強調」、「Ｇ信号成分を強調」、「背景色の補色の色に変換」等の種々の手法を用いてもよい。

以上の本実施形態では、画像処理装置の強調部３３３は図９に示したように、既知特性情報として、強調対象となる被写体の凸部の幅及び高さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部３３３１と、抽出凹凸情報に含まれる凹凸部のうちディメンジョン情報により特定される特性と合致する凸部に関する情報を、抽出凸部情報として抽出する凸部抽出部３３３３と、抽出凸部情報により表される凸部に対して、色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部３３３４を含む。

これにより、上述したように特定の幅又は高さ、或いはその両方を有する凸部を強調対象として強調処理を行うことが可能になる。凸部の具体例は被写体に応じて種々考えられるが、生体内画像を対象とする場合にはポリープ等の構造が想定される。

また、強調部３３３は図９に示したように、既知特性情報として、強調対象となる被写体の凸部の幅及び高さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部３３３１と、ディメンジョン情報に基づいて、強調処理の強調量を設定する強調量設定部３３３５と、撮像画像に対して、抽出凹凸情報及び強調量に基づいて、色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部３３３４を含んでもよい。

これにより、強調対象を特定の凸部に限定することなく、撮像画像に対する（例えば撮像画像全体に対する）強調処理を行うことが可能になる。強調量の具体例や、この手法による利点等は第１の実施形態の凹部の場合と同様であるため、詳細な説明は省略する。

また、強調量設定部３３３５は、抽出凹凸情報に含まれる凸部に対する強調量を、凸部の幅及び高さがディメンジョン情報に合致するほど大きく設定してもよい。

これにより、強調すべき対象を適切に強調することができるため、視認性の効率的な向上等が可能になる。

また、強調量設定部３３３５は、抽出凹凸情報に含まれる凸部に対する強調量を、凸部の幅が狭いほど大きく設定してもよい。

これにより、幅の狭い凸部ほど強調される強調処理を行うことが可能になる。特に生体内画像における凸部であるポリープ等を観察する場合には、ポリープの色味と、他の領域の色味は極端に異なるわけではないため、小さいポリープについては見落としてしまう可能性が高い。そのため、小さいポリープであるほど強調量を大きく設定することでポリープ等の見落としを抑止することが可能になる。なお、ここでは生体壁面に対して撮像部２００が正対する、或いはそれに近い角度を取ることを想定しているため、撮像部の光軸に直交する方向でのポリープのサイズに対応する凸部の幅を基準に判定している。なお、スクリーニング時には管腔構造の壁面と、撮像部２００の光軸方向が平行に近くなる状況も考えられるが、そのような状況ではポリープは生体壁面からある程度隆起していることが容易に視認できるため、凸部の高さ方向を基準とした強調量の変更処理を行う必要性は高くない。ただし、凸部の高さに関する情報を用いて強調量を変更することを妨げるものではない。また、小さいポリープは確かに見逃し可能性が高いが、極端に小さいものについてはノイズである可能性もある。また、ポリープ等であったとしても深刻度が低いことが想定されるため、図２３（Ｂ）に示したようにある程度幅が狭いものについては、強調量を小さくしてもよい。

４．第３の実施形態
次に第３の実施形態について説明する。本実施形態では、強調部３３３は凹凸領域のコントラストを上げることで早期病変の視認性を向上させる。そのため、抽出凹凸情報としては、凹部に関する情報と凸部に関する情報の両方を用いることになり、例えば図７（Ｃ）に示した情報を用いる。抽出凹凸情報に基づき、凹部および凸部を注目領域として設定する。強調の手法は、凹凸情報信号を画像信号のＹ信号に加算する。こうすることで、凹部および凸部のコントラストを向上させることが可能になる。

また、ここでは凹凸情報を画像信号に加算したが、これに限らず、凹凸情報にハイパスフィルタをかけ高周波成分を抽出し、凹凸情報の高周波成分を画像信号に加算してもよい。こうすることで、凹凸部の境界コントラストが明瞭になる。

以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１０ 早期病変部、１００ 光源部、１１０ 白色光源、１３０ 光源絞り駆動部、
１４０ 回転色フィルタ、１５０ 回転駆動部、１６０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、
２３０−１，２３０−２ 対物レンズ、２４０−１，２４０−２ フォーカスレンズ、
２５０ レンズ駆動部、２６０−１，２６０−２ 撮像素子、２７０ スイッチ、
３００ 制御装置、３００ 画像処理部、３１０ 画像取得部、
３２０ 凹凸情報取得部、３２１ 既知特性情報取得部、３２３ 抽出処理部、
３２４ 抽出パラメータ演算部、３２５ 抽出凹凸情報出力部、３３０ 画像処理部、
３３１ 前処理部、３３２ 同時化部、３３３ 強調部、３３４ 後処理部、
３４０ 制御部、３５０ 距離情報取得部、３５１ ステレオマッチング部、
３５２ 視差・距離変換部、３５３ 輝度信号算出部、３５４ 差分演算部、
３５５ ２次微分演算部、３５６ ぼけパラメータ演算部、３５７ 記憶部、
３５８ ＬＵＴ記憶部、３５９ レンズ位置制御部、３６０ 記憶部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、６００ コンピュータシステム、６１０ 本体部、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６７０ メモリ、６８２ サーバ、６８３ プリンタ、
７０４ 回転モーター、３３３１ ディメンジョン情報取得部、３３３２ 凹部抽出部、
３３３３ 凸部抽出部、３３３４ 補正部、３３３５ 強調量設定部

Claims (13)

1. 撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、
   前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
   取得された前記距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得する凹凸情報取得部と、
   前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を、強調対象として強調処理を行う強調部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記強調部は、
   前記既知特性情報として、前記強調対象となる前記被写体の凹部の幅及び深さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部と、
   前記抽出凹凸情報に含まれる前記凹凸部のうち前記ディメンジョン情報により特定される特性と合致する前記凹部に関する情報を、抽出凹部情報として抽出する凹部抽出部と、
   前記抽出凹部情報により表される前記凹部に対して、色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部と、
   を含むことを特徴とする画像処理装置。
3. 請求項１において、
   前記強調部は、
   前記既知特性情報として、前記強調対象となる前記被写体の凸部の幅及び高さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部と、
   前記抽出凹凸情報に含まれる前記凹凸部のうち前記ディメンジョン情報により特定される特性と合致する前記凸部に関する情報を、抽出凸部情報として抽出する凸部抽出部と、
   前記抽出凸部情報により表される前記凸部に対して、色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部と、
   を含むことを特徴とする画像処理装置。
4. 請求項１において、
   前記強調部は、
   前記既知特性情報として、前記強調対象となる前記被写体の凹部の幅及び深さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部と、
   前記ディメンジョン情報に基づいて、前記強調処理の強調量を設定する強調量設定部と、
   前記抽出凹凸情報及び前記強調量に基づいて、前記撮像画像に対して色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部と、
   を含むことを特徴とする画像処理装置。
5. 請求項４において、
   前記強調量設定部は、
   前記抽出凹凸情報に含まれる前記凹部に対する前記強調量を、前記凹部の前記幅及び前記深さが前記ディメンジョン情報に合致するほど大きく設定することを特徴とする画像処理装置。
6. 請求項４において、
   前記強調量設定部は、
   前記抽出凹凸情報に含まれる前記凹部に対する前記強調量を、前記凹部の前記深さが浅いほど小さく設定することを特徴とする画像処理装置。
7. 請求項１において、
   前記強調部は、
   前記既知特性情報として、前記強調対象となる前記被写体の凸部の幅及び高さの少なくとも一方を表すディメンジョン情報を取得するディメンジョン情報取得部と、
   前記ディメンジョン情報に基づいて、前記強調処理の強調量を設定する強調量設定部と、
   前記抽出凹凸情報及び前記強調量に基づいて、前記撮像画像に対して色、輝度及びコントラストの少なくとも１つを補正する処理を行う補正部と、
   を含むことを特徴とする画像処理装置。
8. 請求項７において、
   前記強調量設定部は、
   前記抽出凹凸情報に含まれる前記凸部に対する前記強調量を、前記凸部の前記幅及び前記高さが前記ディメンジョン情報に合致するほど大きく設定することを特徴とする画像処理装置。
9. 請求項７において、
   前記強調量設定部は、
   前記抽出凹凸情報に含まれる前記凸部に対する前記強調量を、前記凸部の前記幅が狭いほど大きく設定することを特徴とする画像処理装置。
10. 請求項１において、
    前記既知特性情報を入力する入力部を含むことを特徴とする画像処理装置。
11. 請求項１において、
    前記撮像部は、複数の視点を有するものであり、
    前記画像取得部は、
    前記撮像部を介して、前記複数の視点のそれぞれに対応する前記撮像画像を複数取得し、
    前記距離情報取得部は、
    取得された複数の前記撮像画像から得られる視差情報に基づいて、前記距離情報を取得することを特徴とする画像処理装置。
12. 撮像部の撮像により、被写体の像を含む撮像画像を取得し、
    前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、
    取得した前記距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得し、
    前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を、強調対象として強調処理を行う、
    ステップをコンピュータに実行させるプログラム。
13. 撮像部の撮像により、被写体の像を含む撮像画像を取得し、
    前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、
    取得した前記距離情報から、前記被写体の凹凸部を抽出した情報である抽出凹凸情報を取得し、
    前記抽出凹凸情報により表される前記凹凸部のうち、前記被写体の構造に関する既知の特性を表す情報である既知特性情報により特定される特性と合致する前記凹凸部を、強調対象として強調処理を行うことを特徴とする画像処理方法。

Images