以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の概要
1.1.本実施形態の手法
まず本実施形態の概要について説明する。上記の特許文献1には、スコープ先端部の前方視野と側方視野を観察可能な対物光学系が開示されている。図1にこの対物光学系の構成例を示す。図1に示すように、前方視野からの光線LC1は面SF1から入射し、側方視野からの光線LC2は面SF3から入射する。これらの光線LC1、LC2が面SF1、SF2により屈折又は反射されることにより、前方視野と側方視野が結像される。
このような対物光学系を用いれば、従来の内視鏡装置よりも広い視野で体腔内を観察することができる。即ち、図2(A)に示すように、管腔状の臓器において病変部をスクリーニングする場合、スコープを臓器の軸方向と平行にし、スコープを挿入又は抜去しながら観察を行う。側方視野がある場合、ヒダの裏にある病変部を観察することが可能になるため、病変の見落としを減らすことができる。
しかしながら、このように視野を広くすると、従来の内視鏡に比べて画像に含まれる情報量が相対的に多くなるため、画像全体を良好な明るさに保つことが難しくなるという課題がある。この点について図2(A)〜図2(D)を用いて説明する。
図2(A)に示すように、内視鏡撮像部が管腔状の臓器の中心に位置する場合、前方視野と側方視野では、内視鏡撮像部から被写体までの距離が異なる。そのため、図2(B)に示すように、画像中の領域毎に明るさの差が発生する。また、図2(C)に示すように、管腔状の臓器の壁面に存在する病変部を観察するため、内視鏡先端を臓器の壁面に近接させたとする。そうすると、図2(D)に示すように、注目領域(例えば病変部)がハレーションを起こしてしまう。このような画像では、術者が注目したい領域に対して、適切な観察・処置を行うことが困難となる。
このような課題に対し、内視鏡装置では被写体像の明るさを適正に維持する調光処理を行う。例えば、特許文献2には、スコープのマスク形状から有効領域内の画素を対象として輝度平均値を算出し、被写体像の明るさを維持する調光処理の手法が開示されている。
しかしながら、この手法では、有効領域全体の平均値は適正な値をとりうるが、画像内の領域毎に調光することはできない。そのため、領域毎に明るさの差が発生する場合は、術者の注目したい領域を適正な明るさに調整できない。
また、特許文献3には、広角画像を取得する内視鏡装置において、ライトガイドを撮像素子の撮像面の少なくとも3辺に配設することで良好な配光を確保する手法が開示されている。
しかしながら、この手法では、図2(C)に示すように病変部に対して斜め方向から被写体を撮像した場合は、注目領域にハレーションが生じる課題は解決できない。
そこで、本実施形態では、図13に示すように、内視鏡装置からの情報(例えば撮像画像)に基づいて撮像画像に注目領域を設定し、その注目領域を調光対象領域として調光制御を行う。これにより、術者が注目する領域を適正な明るさに維持することができ、術者が診断・処置をする際の負荷を低減することができる。
以下で説明するように、従来の調光処理では、画像全体を測光領域として輝度平均値を算出し、その輝度平均値が目標値に近づくように光源光量を調整することで、画像全体の明るさを適正に維持する。本実施形態では、注目領域を測光領域として輝度平均値を算出することで、図2(D)に示すように明るさに偏りがある場合であっても、術者が注目する領域を適正な明るさに維持できる。
1.2.調光処理
従来の調光処理について詳細に説明する。調光処理では、まず、被写体の明るさを測定する測光処理を行う。具体的には、撮像素子から順次得られる1フレーム分又は1フィールド分の画像信号中の輝度信号の平均値が算出される。ここで、測光領域としては、一般的に、画像信号の有効領域が用いられる。画像信号の有効領域とは、図2(B)に示される画像信号からマスク領域を除いた、前方領域と側方領域を指す。
次に、測定された被写体の明るさを、目標の明るさに調整する。具体的には、光源光量を調整する絞り開度を制御することにより、測光された被写体の明るさを目標とする明るさに一致させる。
例えば、被写体の全体が内視鏡先端の対物レンズから比較的遠くに離れている場合には、上述の輝度平均値は一時的に輝度参照値(目標とする明るさ)に比べて低くなるので、このときは光源絞り開度が広げられて照明光量が増大させられる。一方、被写体の全体が内視鏡先端の対物レンズに接近した場合には、上述の輝度平均値は輝度参照値(目標とする明るさ)に比べて高くなるので、このときは光源絞り開度が狭められて照明光量が減少させられる。また、光源絞りの調整により、輝度平均値が輝度参照値(目標とする明るさ)に達しない場合は、画像信号にデジタルゲインをかけることにより画像信号の明るさを調整する。このようにして、被写体の遠近に拘らず画像信号は輝度参照値に見合った適正な状態に維持されることになる。
2.第1の実施形態
2.1.内視鏡装置
上記のように撮像画像に注目領域を設定し、その注目領域の明るさを調光により制御する本実施形態の内視鏡装置について詳細に説明する。
図3に、第1の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、操作部200、挿入部300、制御装置400(プロセッサ部)、表示部500、外部I/F部550を含む。
光源部100は、白色光源101と、光源絞り102と、光源絞り102を駆動させる光源絞り駆動部103と、複数の分光透過率のフィルターを有する回転色フィルター104を有する。また光源部100は、回転色フィルター104を駆動させる回転駆動部105と、回転色フィルター104を透過した光をライトガイドファイバー301の入射端面に集光させる集光レンズ106を含む。
光源絞り駆動部103は、制御装置400の制御部420からの制御信号に基づいて、光源絞り102の開閉を行うことで光量の調整を行う。
図4に回転色フィルター104の詳細な構成例を示す。回転色フィルター104は、三原色の赤色(以下Rと略す)フィルター701と、緑色(以下Gと略す)フィルター702と、青色(以下Bと略す)フィルター703と、回転モーター704と、から構成されている。図5に、これらの色フィルター701〜703の分光特性例を示す。
回転駆動部105は、制御部420からの制御信号に基づいて、撮像素子304の撮像期間と同期して回転色フィルター104を所定回転数で回転させる。例えば、回転色フィルター104を1秒間に20回転させると、各色フィルターは60分の1秒間隔で入射白色光を横切ることになる。この場合、撮像素子304は、60分の1秒間隔で画像信号の撮像と転送を完了することになる。
ここで、撮像素子304は例えばモノクロ用撮像素子である。即ち、本実施形態では、3原色の各色光(R或はG或はB)の画像が60分の1秒間隔で撮像される面順次方式の撮像が行われる。
操作部200は、挿入部300の湾曲操作を行う湾曲操作レバー201と、例えば鉗子のような処置具を挿入する挿入口202と、が設けられている。
湾曲操作レバー201は、湾曲操作ワイヤー306と連結されている。湾曲操作ワイヤー306は、挿入部300の内部を挿通して挿入部300先端に固定されている。術者は、湾曲操作レバー201を操作することにより、湾曲操作ワイヤー306を牽引又は弛緩させ、挿入部300を湾曲させる。挿入口202は、処置具を挿通する挿通チャンネル307と連通している。
挿入部300は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部300は、光源部100で集光された光を照明レンズ314、315に導くためのライトガイドファイバー301と、そのライトガイドファイバー301により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ314、315と、を含む。照明レンズ314は、前方視野の観察対象を照明するためのレンズであり、照明レンズ315は、側方視野の観察対象を照明するためのレンズである。また、挿入部300は、観察対象から戻る反射光を集光する対物光学系303と、集光した反射光を検出するための撮像素子304と、撮像素子304の光電変換により得られたアナログ画像信号をデジタル画像信号に変換するA/D変換部305と、を含む。また、挿入部300は、挿入部300の内部を挿通して先端部に固定される湾曲操作ワイヤー306と、操作部200で挿入された処置具を挿通する挿通チャンネル307と、を含む。
対物光学系303(狭義には対物レンズ)は、挿入部300の先端部から突出しており、前方視野及び側方視野を結像する。例えば、対物光学系303は、230°の視野角を有する。
撮像素子304は、例えばモノクロ単板撮像素子であり、例えばCCDやCMOSイメージセンサー等により構成される。
制御装置400は、内視鏡装置の各部の制御や画像処理を行う。制御装置400は、注目領域の設定や測光処理を行う画像処理部410と、制御部420と、を含む。
A/D変換部305によりデジタル信号に変換された画像信号は、画像処理部410に転送される。画像処理部410により処理された画像信号は、表示部500に転送される。制御部420は、内視鏡装置の各部の制御を行う。具体的には制御部420は、光源絞り駆動部103と、回転駆動部105と、画像処理部410と、外部I/F部550に接続されており、これらの制御を行う。
表示部500は、動画表示可能な表示装置であり、例えばCRTや液晶モニター等により構成される。
外部I/F部550は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部I/F部550は、例えば電源のオン/オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。外部I/F部550は、入力された情報を制御部420へ転送する。
2.2.画像処理部
図6に、第1の実施形態における画像処理部410の詳細な構成例を示す。画像処理部410は、前処理部411と、同時化部412と、注目領域設定部413と、後処理部415と、測光部416と、階調変換部419を含む。
A/D変換部305は、前処理部411に接続される。前処理部411は、同時化部412に接続される。同時化部412は、階調変換部419と、注目領域設定部413と、測光部416とに接続される。階調変換部419は、後処理部415に接続される。後処理部415は、表示部500に接続される。注目領域設定部413は、測光部416に接続される。制御部420は、前処理部411と、同時化部412と、階調変換部419と、後処理部415と、注目領域設定部413と、測光部416と、に双方向に接続されていて、これらを制御するようになっている。
前処理部411は、A/D変換部305から入力される画像信号に対して、制御部420に予め保存されているOBクランプ値、WB係数値、ノイズ低減係数値を用いて、OBクランプ処理、WB補正処理、ノイズ低減処理を行う。前処理部411は、前処理後の画像信号を同時化部412へ転送する。
同時化部412は、前処理部411により処理された画像信号に対して、制御部420の制御信号に基づいて、面順次の画像信号を同時化する。具体的には、同時化部412は、面順次で入力された各色光(R或はG或はB)の画像信号を1フレーム分ずつ蓄積し、蓄積した各色光の画像信号を同時に読み出す。同時化部412は、同時化された画像信号を、注目領域設定部413と測光部416へ転送する。
階調変換部419は、同時化処理された画像に対して階調変換処理を行う。階調変換処理は、例えば画像全体の画素値のヒストグラムを平坦化する処理である。具体的には、階調変換部419は、画像を複数の領域に分割し、各分割領域の階調変換特性を求め、その階調変換特性により各分割領域の階調変換を行う。階調変換部419が行う処理については詳細に後述する。
注目領域設定部413は、同時化処理された画像信号に基づいて注目領域を設定する。具体的には、注目領域設定部413は、処置具が撮像された領域を検出し、処置具の先端の周辺領域を注目領域として設定する。注目領域設定部413が行う処理については詳細に後述する。
測光部416は、設定された注目領域における被写体の輝度平均値(広義には明るさ情報)を算出し、算出した輝度平均値を制御部420に転送する。制御部420は、測光部416からの輝度平均値に基づいて光源絞り駆動部103を制御することにより、光源絞り102の開口面積を調整する。測光部416と制御部420が行う調光制御については、詳細に後述する。
後処理部415は、階調変換処理後の画像に対して、制御部420に予め保存されている色変換係数や輪郭強調係数、拡大率を用いて、色処理や輪郭強調処理、拡大処理を行う。後処理部415は、後処理後の画像信号を表示部500へ転送する。
2.3.階調変換部
階調変換部419が行う処理について詳細に説明する。図7に、階調変換部419の詳細な構成例を示す。階調変換部419は、領域分割部445と、ヒストグラム算出部446と、階調変換特性算出部447と、変換部448を含む。
同時化部412からの画像信号は、領域分割部445に入力される。領域分割部445は、ヒストグラム算出部446と、変換部448とに接続される。ヒストグラム算出部446は階調変換特性算出部447に接続される。階調変換特性算出部447は変換部448に接続される。変換部448は後処理部415に接続される。制御部420は、領域分割部445と、ヒストグラム算出部446と、階調変換特性算出部447と、変換部448とに接続され、これらの制御を行う。
階調変換部419は、画像信号の領域毎に階調変換処理を行う。具体的には、領域分割部445は、入力された画像信号(最大値画像信号)を局所領域に領域分割する。例えば、領域分割部445は、画像信号を所定サイズの矩形領域に分割し、分割した各矩形領域を局所領域とする。例えば矩形領域のサイズは16×16画素であるが、これに限定されず、適宜設定できる。領域分割部445は、これら分割された局所領域を、ヒストグラム算出部446と、変換部448に出力する。なお、領域分割の手法は上記手法に限定されない。例えば、テクスチュア解析に代表される公知の領域分割方法を適用して領域分割する構成としてもよい。
ヒストグラム算出部446は、入力された各局所領域のヒストグラム(画素値のヒストグラム)を算出し、算出した各局所領域のヒストグラムを階調変換特性算出部447へ出力する。
階調変換特性算出部447は、入力された局所領域のヒストグラムに基づいて局諸領域の累積ヒストグラムを算出する。なお以下では1つの局所領域に対する処理について説明するが、同様の処理を各局所領域について行う。階調変換特性算出部447は、得られた累積ヒストグラムの最大値が変換部448の出力階調幅に適合するように、累積ヒストグラムを正規化する。階調変換特性算出部447は、正規化後の累積ヒストグラムを局所領域の階調変換特性として、変換部448へ出力する。
変換部448は、領域分割部445から入力された局所領域に対して、階調変換特性算出部447から入力された階調変換特性を作用させて、階調変換処理を行う。変換部448は、階調変換した各局所領域を1フレーム分の画像信号に戻し、その画像信号を後処理部415へ出力する。
2.4.注目領域設定部
注目領域設定部413が行う処理について詳細に説明する。注目領域設定部413は、同時化処理された画像信号から、処置具の像を有した画素からなる処置具領域を検出し、検出した処置具領域に基づいて注目領域を設定する。以下では、鉗子等の高反射性の金属の処置具を検出する場合を例にとり説明する。
処置具は、撮像素子304に極めて接近した位置に置かれるため、処置具の輝度信号値は、臓器に比べ十分に大きくなる。そのため、画像信号中の高輝度領域を処置具領域として検出する。具体的には、注目画素(処理対象画素)の座標を(x,y)として、注目画素の輝度信号値Y(x,y)を下式(1)により算出する。
ここで、R(x,y)、G(x,y)、B(x,y)は、座標(x,y)における各色の画像信号である。
次に、図8に示すように、注目画素より左側の、座標(x−a,y)から座標(x−1,y)までの輝度値の平均値Yave(x,y)を下式(2)により算出する。図8では、画像信号はN×M画素とする。また、画像信号の左上に位置する座標を(0,0)とし、右方向をX軸の正方向とし、下方向をY軸の正方向として表している。例えばX軸は水平走査線に沿った軸であり、Y軸はX軸に直交する軸である。
ここで、aは定数であり、画像信号の横幅Nに応じて設定される。例えば、定数aは画像信号の横幅Nの3%に設定される。
次に、下式(3)を用いて、注目画素の輝度信号値が周辺の輝度平均値に比べて十分に大きいか否かを検出する。
ここで、Ypは、パラメーターとして予め設定される値である。上式(3)が成立する画素を、処置具候補画素とする。例えば、図9(A)に示すように、処置具と輝点の像が含まれる画像信号の場合、図9(B)に示すように、処置具候補画素が検出される。
次に、処置具候補画素が複数隣接している領域を、処置具候補領域として抽出する。具体的には、画像信号を左上から探索して、注目画素(x,y)の値が“処置具候補画素であり”、注目画素の左(x−1,y)と左上(x−1,y−1)と上(x,y−1)と右上(x+1,y−1)の4画素が“処置具候補画素ではない”注目画素を、始点画素に設定する。図10に示すように、ハッチングの画素が始点画素にあたる。
次に、始点画素(x,y)の左下(x−1,y−1)から反時計回りに処置具候補画素を探索する。始点画素の周辺に“処置具候補画素が検出されなかった”場合、次の始点画素から処置具候補画素を探索する。始点画素の周辺に“処置具候補画素が検出された”場合、検出された処置具候補画素の周辺から再び反時計回りに処置具候補画素を探索する。検出された処置具候補画素が再び始点画素に戻るまで探索を続ける。探索の途中で処置具候補画素が、始点画素よりもY座標が小さくなった場合は探索を打ち切り、次の始点画素を探索する。図11に示すように、処置具候補画素が再び始点画素に戻ると、検出された処置具候補画素に囲まれた領域を処置具候補領域とする。図11において、ハッチングの画素が、探索により検出された処置具候補画素である。
次に、処置具候補領域として抽出された各領域に含まれる画素数を各々カウントし、画素数が最も多い領域を抽出する。画素数が最も多い領域に含まれる画素数Tmaxが、予め設定された閾値THtより大きい(Tmax>THt)場合は、その領域を処置具領域とする。一方、画素数が最も多い領域に含まれる画素数Tmaxが、予め設定された閾値THt以下の場合は、画像信号中に“処置具は存在しない”として、画像信号に処置具領域を設定しない。例えば、図11に示すように、処置具候補領域2に含まれる画素数が最も多い場合、処置具候補領域2に含まれる処置具候補画素の数が予め設定された閾値より大きいか否かを判定する。閾値より大きい場合、処置具候補領域2を処置具領域に設定する。
次に、処置具の先端にあたる領域を処置具領域から抽出し、その領域を処置具先端画素として設定する。例えば図12に示すように、処置具領域に含まれる画素の中から画像中心に最も近い画素を処置具先端画素として抽出する。図12では、画像中心の座標を(N/2,M/2)とし、処置具先端画素の座標を(x0,y0)とする。なお、処置具先端画素を抽出する別の手法としては、画像中心の座標(N/2,M/2)に近い複数の画素を、処置具領域に含まれる画素の中から選択し、選択された複数の画素の重心を処置具先端画素としてもよい。
次に、図13に示すように、処置具先端画素(x0,y0)を中心とする半径Rの円よりも内側の画素を、注目領域として設定する。ここで、半径Rは定数であり、画像信号の横幅Nに応じて設定される。例えば、半径Rは、画像信号の横幅Nの10%に設定される。座標(x,y)の画素が、半径Rの円よりも内側に含まれるか否かは下式(4)により判定する。
注目領域設定部413は、設定した注目領域と中心画素(x0,y0)を測光部416へ転送する。
なお、上記では半径Rを定数としたが、本実施形態はこれに限定されず、例えば半径Rを、注目領域(x0,y0)と画像中心(N/2,M/2)との距離Lに応じて変化する変数としてもよい。注目領域の中心(x0,y0)と画像中心(N/2,M/2)との距離Lは、下式(5)により算出する。
また、上記では注目領域を、座標(x0,y0)を中心とする円形としたが、本実施形態はこれに限定されず、例えば注目領域を、座標(x0,y0)を中心とした矩形或いは楕円形としてもよい。
2.5.調光制御
次に、測光部416と制御部420が行う調光制御について詳細に説明する。
測光部416は、制御部420の制御信号に基づいて、画像信号から被写体の明るさを算出する。具体的には、注目領域設定部413により注目領域が設定された場合、測光部416は、同時化部412から入力された画像信号から、注目領域の輝度平均値を算出する。一方、注目領域設定部413で注目領域が設定されなかった場合、測光部416は、同時化部412から入力された画像信号の有効画素領域の輝度平均値を算出する。測光部416は、算出した輝度平均値を測光値Ydとして制御部420に転送する。
なお、被写体の明るさの算出手法は上記手法に限定されず、例えば、注目領域の輝度平均値と注目領域以外の領域の輝度平均値に各々異なる重み係数を乗算し、その重み付け加算平均値を被写体の明るさとして算出してもよい。この場合、注目領域の重み係数として、注目領域以外の重み係数に比べて大きい係数を設定する。
制御部420は、測光部416により算出された測光値Ydと、予め設定されている目標明るさYbaseを用いて、下式(6)により光源絞り調整係数Lcを算出する。
制御部420は、算出された光源絞り調整係数Lcを用いて光源絞り駆動部103を制御することにより、光源絞り102の開口を制御する。
以上の処理を行うことで、処置具が挿入された場合、処置具周辺に存在する病変部の明るさを最適な明るさに維持できる。これにより、病変部の観察性能を向上させ、処置に好適な画像を得ることができる。
2.6.変形例
本実施形態では、上記のようにして設定した注目領域を拡大する変倍処理を行ってもよい。以下では、この変形例について詳細に説明する。
図14に、変倍処理を行う場合の画像処理部410の変形構成例を示す。画像処理部410は、前処理部411と、同時化部412と、注目領域設定部413と、変倍処理部414と、後処理部415と、測光部416と、階調変換部419を含む。なお、図6等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
変倍処理部414は、画角を維持(ほぼ維持)しながら画像の変倍処理を行い、注目領域を拡大する。具体的には、変倍処理部414は、注目領域を拡大するとともに他の領域を縮小する処理を行う。あるいは、注目領域を所定の倍率で拡大する処理のみを行ってもよい。
具体的には、変倍処理部414は、設定された注目領域と中心画素(x0,y0)に基づいて、画像信号を局所的に変倍処理する。なお、注目領域設定部413により注目領域が設定されていない場合は、変倍処理は行われず、入力された画像信号がそのまま後処理部415に出力される。
図15に示すように、変倍処理部414は、注目領域を拡大率α(広義には倍率)で拡大し、拡大した画像を元の画像に重畳する。具体的には、円の中心を基準に半径方向に拡大率αで拡大し、拡大後の円領域の中心を元の注目領域の中心画素(x0,y0)に一致させて重畳する。以下では、拡大後の注目領域を拡大領域と呼ぶ。座標(x,y)の画素をα倍に座標変換した座標(x’,y’)は、下式(7)により算出する。
ここで、αは、予め設定される1より大きい定数であり、例えば、α=1.5に設定する。また、拡大率αは固定の定数に限らず、外部より術者が自由に入力してもよい。また、図14に示すように、拡大率αは、注目領域の中心(x0,y0)と画像中心(N/2,M/2)との距離Lに応じて変化する変数としてもよい。
変倍処理部414は、上記の拡大処理において、拡大領域内に含まれる画素位置における補間画素を生成する。具体的には、拡大領域内の画素位置について、上式(7)による座標変換後の近傍4画素を用いて線形補間を行う。なお、補間処理は線形補間に限らず、例えば最近傍法や、三次畳み込み内挿法(バイキュービック)等の補間手法を用いてもよい。
また変倍処理部414は、上記の拡大領域の外側に縮小領域を設け、その縮小領域を縮小変換する処理を行う。具体的には、縮小領域は、座標(x0,y0)を中心とした半径Rsの内側の領域であり、かつ、拡大領域の外側の領域である。変倍処理部414は、半径Rの円と半径Rsの円に挟まれる領域を縮小率β(広義には倍率)で縮小する。縮小率βは、処理対象画素(x,y)と中心座標(x0,y0)の距離rdに応じて変化する変数である。距離rdは、下式(8)により算出する。縮小率βは、距離rdが大きいほど減少する係数であり、距離rdがRのときβ=αとなり、Rsのときβ=1となる。
変倍処理部414は、縮小処理において、縮小領域内に含まれる画素位置における補間画素を生成する。具体的には、縮小領域内の画素位置について、縮小率βで縮小処理された画素を用いて線形補間を行う。なお、補間処理は線形補間に限らず、例えば最近傍法や、三次畳み込み内挿法(バイキュービック)等の補間手法を用いてもよい。
上記の変形例によれば、画角を維持しながら注目領域を拡大できるため、スコープ操作等に必要な広視野を確保しながら注目領域の視認性を向上できる。また、拡大領域の外側に縮小領域を設けることにより、拡大領域の境界部分で画像の連続性が保たれるため、違和感のない変倍処理を施された画像信号を得ることができる。
なお、上記では縮小領域を半径Rsより内側に含まれる画素としたが、本実施形態はこれに限定されず、例えば拡大領域の外側全てを縮小領域としてもよい。その場合、縮小率βは画像端部に向かうほど減少し、画像端部において拡大率1である。
また、上記では縮小領域を設けたが、本実施形態はこれに限定されず、例えば、拡大領域のみを設けて倍率αで拡大し、その拡大領域を元の画像に重畳してもよい。
以上の実施形態によれば、図6に示すように、内視鏡装置は、画像取得部(例えばA/D変換部305)と注目領域設定部413と調光制御部(広義には、光量制御部)を含む。画像取得部は、被写体像を含む撮像画像を取得する。注目領域設定部413は、内視鏡装置からの情報に基づいて、撮像画像に対して注目領域を設定する。調光制御部は、設定された注目領域に基づいて、照明光の光量を調光制御する。
このようにすれば、内視鏡装置からの情報に基づいて注目領域を設定し、その注目領域の明るさを調光により制御できる。これにより、術者は、注目する領域を適正な明るさで観察でき、適切な診断や処置を行うことが可能になる。
例えば本実施形態では、測光部416と制御部420が調光制御部に対応する。上述のように、測光部416が、設定された注目領域の測光処理を行い、制御部420が、その測光処理の結果に基づいて光源部100の出射光量を制御することで、調光制御を行う。
ここで、内視鏡装置からの情報とは、内視鏡装置の各部により取得される情報であり、例えば撮像部による撮像画像や、撮像画像を処理して得られる信号や、各部を制御する制御信号や、内視鏡装置に設けられた種々のセンサーによるセンシング信号である。
また、注目領域とは、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、使用者が医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。即ち、使用者が注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。
また本実施形態では、上式(6)等で説明したように、調光制御部は、注目領域の明るさを表す明るさ情報(測光値Yd。例えば、輝度平均値)を算出し、算出した明るさ情報に基づいて調光制御を行う。
具体的には、調光制御部は、注目領域の明るさが所定の明るさ(目標明るさ情報Ybase。例えば目標輝度値)になるように調光制御を行う。例えば、調光制御部は、注目領域の明るさが所定の明るさに一致するように調光制御を行う。
このようにすれば、注目領域の明るさを調光制御により目標の明るさに近づけることができ、注目領域を適切な一定の明るさに維持することができる。
また本実施形態では、注目領域設定部413は、撮像画像を内視鏡装置からの情報として、注目領域を設定する。
具体的には、注目領域設定部413は、図示しない処置具検出部を有する。図13等で説明したように、処置具検出部は、被写体に対して処置を施すための処置具が撮像された処置具領域を、撮像画像に基づいて検出する。注目領域設定部413は、検出された処置具領域に基づいて注目領域を設定する。
このようにすれば、術者が注目する領域であると考えられる処置具の周辺を、適正な明るさに維持することが可能となる。これにより、術者が処置をする際に病変部がハレーションすることなく、病変部を処置することが可能となるため、術者の負荷を低減することができる。また、撮像画像から処置具領域を検出するため、内視鏡の挿入部300に新たな処置具検出器を設ける必要がない。
また本実施形態では、処置具検出部は、処置具領域の先端を検出する。注目領域設定部413は、検出された先端から所定半径の円内を注目領域に設定する。
具体的には図12で説明したように、処置具検出部は、処置具領域に含まれる画素のうちの、撮像画像の中心(N/2,M/2)に最も近い画素を先端(処置具先端画素(x0,y0))に設定する。
このようにすれば、処置具先端部に存在すると考えられる処置対象領域を注目領域に設定し、その注目領域の明るさを調光制御できる。
なお、注目領域として設定する円(円形領域)は、真円に限定されず、円状の領域であればよい。例えば、楕円等であってもよい。
また本実施形態では、処置具検出部は、図示しない輝度特徴量算出部を有する。輝度特徴量算出部は、撮像画像の画素の輝度に関する輝度特徴量(例えば輝度信号値Y(x,y))を算出する。処置具検出部は、算出された輝度特徴量に基づいて、処置具領域を検出する。
具体的には図9(B)等で説明したように、処置具検出部は、輝度特徴量に基づいて、処置具領域の候補である処置具候補画素を検出し、検出した処置具候補画素に基づいて処置具領域を決定する。
より具体的には、処置具検出部は、図示しない比較部を有する。図8等で説明したように、比較部は、処理対象画素の輝度特徴量(輝度信号値Y(x,y))と、処理対象画素の周辺画素の平均輝度特徴量(平均値Yave(x,y))とを比較する。処置具検出部は、輝度特徴量が平均輝度特徴量よりも大きい画素を、処置具候補画素に設定する。
処置具は、金属等で形成されており照明光の反射率が高いため、他の被写体よりも高輝度の像として撮像される。そのため、輝度特徴量に基づいて処置具候補画素を設定することで、画像から処置具を検出することができる。
また本実施形態では図11等で説明したように、処置具検出部は、処置具候補画素の位置情報に基づいて、処置具候補画素を1又は複数の処置具候補領域(例えば処置具候補領域1、2)に分類する(例えば図示しない分類部が行う)。処置具検出部は、その1又は複数の処置具候補領域の中から処置具領域を選択する。
具体的には、処置具検出部は、処置具候補領域と他の領域の境界となる画素を処置具候補画素の中から抽出し、その境界で囲まれた処置具候補画素を処置具候補領域に設定することにより、1又は複数の処置具候補領域を設定する。
また処置具検出部は、各処置具候補領域に含まれる処置具候補画素の数に基づいて、処置具領域を決定する。
具体的には、処置具検出部は、1又は複数の処置具候補領域の中の最多数の処置具候補画素を含む領域であり、所定の閾値(THt)よりも多い処置具候補画素を含む領域(例えば処置具候補領域2)を、処置具領域として決定する。
このようにすれば、粘膜で照明光が反射されて発生する輝点等の高輝度領域により、処置具候補領域が複数発生した場合であっても、その中から処置具が撮像された領域を選択することができる。
また本実施形態では、図14に示すように、内視鏡装置は変倍処理部414を含んでもよい。変倍処理部414は、注目領域を他の領域よりも相対的に拡大する局所的な変倍処理を行う。
このようにすれば、注目領域を他の領域よりも相対的に拡大できるため、微小な病変部についてもより詳細な情報を得ることができ、注目領域に対して適切な診断や処置を行うことが可能になる。
また本実施形態では、図15等で説明したように、変倍処理部414は、撮像画像の画角を維持しながら局所的な変倍処理を行う。
このようにすれば、術者は被写体の全体像を把握しながら注目したい領域を適正な大きさで観察することが可能になる。また、これらの被写体の全体像と注目したい領域は同一の画像に表示できるため、複数の画像を観察する場合に比べ、術者の負担を軽減することができる。また、広角画像と拡大画像を切り替える必要もないため、術者が煩雑な作業をする必要もない。
ここで、画角を維持するとは、画像に表示される被写体の範囲が変倍処理により変化しないことである。画角は厳密に維持される必要はなく、実質的に維持されていればよい。
また本実施形態では、図3に示すように、1つの光源部100と第1の照射部(照明レンズ314)と第2の照射部(照明レンズ315)を含む。第1の照射部は、1つの光源部100からの出射光を第1の方向(例えば対物光学系の光軸に沿った方向)に照射する。第2の照射部は、1つの光源部100からの出射光を第2の方向(例えば対物光学系の光軸に対して所定角度の方向)に照射する。調光制御部は、1つの光源部100からの出射光量を制御することにより、調光制御を行う。
具体的には、第1の方向は、スコープ(挿入部300)の前方視野の方向であり、第2の方向は、スコープの側方視野の方向である。画像取得部は、前方視野と側方視野の被写体像を含む撮像画像を取得する。
図2(A)〜図2(D)で説明したように、前方視野と側方視野の照明として1つの光源部100を共有する場合、画像内において明るさの偏りが生じるため、術者の注目領域が適切に調光されない場合がある。この点、本実施形態によれば、注目領域の明るさに基づいて調光制御を行うため、注目領域を適正な明るさに調整できる。
また本実施形態では図1、図3等で説明したように、画像取得部は、スコープ(挿入部300)先端部の前方視野及び側方視野が撮像された撮像画像を取得する。
具体的には、撮像画像は、前方視野及び側方視野を結像する対物光学系により得られた画像である。
対物光学系は、180°より大きい視野角(例えば、視野角230°)を有する。
このようにすれば、図2(A)等で説明したように、スコープ前方の被写体の観察と同時にスコープ側方の被写体の観察を行うことが可能になる。これにより、管腔状の臓器における壁面の病変部の見落としを防止することができる。
ここで、対物光学系とは、対物レンズに限らず、反射光学系であってもよいし、図1に示すようにレンズと反射光学系を組み合わせた光学系であってもよい。なお、図1の対物光学系に限定されず、視野角が180°を超えるような魚眼レンズを用いてもよい。
また、前方視野(前方の視野範囲)とは、対物光学系の光軸方向を含む視野範囲であり、例えば光軸に対して0度〜45度の範囲である。側方視野(側方の視野範囲)とは、光軸に直交する方向を含む視野範囲であり、例えば光軸に対して45度〜135度の範囲である。本実施形態の対物光学系303は、例えば光軸に対して0度〜115度の視野範囲を有する。
3.第2の実施形態
処置具の挿入をセンシングして注目領域を設定する第2の実施形態について説明する。
図16に、第2の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、操作部200、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
挿入部300は、処置具センサー308を含む。処置具センサー308は、挿通チャンネル307に設けられる。処置具センサー308は、挿通チャンネル307を挿通し挿入部300の前方に突出した処置具を、検出する。処置具センサー308は、後述する状態情報取得部430に接続される。
制御装置400は、状態情報取得部430を含む。状態情報取得部430は、画像処理部410に接続される。また、制御部420は、状態情報取得部430と双方向で接続される。
状態情報取得部430は、挿入部300の先端から処置具が突出したことが処置具センサー308により検出された場合、“画像信号中に処置具が存在する”ことを示す制御信号を画像処理部410に転送する。
図17に、第2の実施形態における画像処理部410の詳細な構成例を示す。状態情報取得部430は、注目領域設定部413に接続される。
第2の実施形態では、注目領域設定部413が行う処理が第1の実施形態と異なる。具体的には、注目領域設定部413は、状態情報取得部430から“画像信号中に処置具が存在する”ことを示す制御信号を受信した場合、画像信号に注目領域を設定する。例えば図18に示すように、画像中心(N/2,M/2)を注目領域の中心とし、注目領域の中心から半径R以内の領域を注目領域として設定する。注目領域設定部413は、設定した注目領域を測光部416へ転送する。
なお、注目領域の中心は、画像中心(N/2,M/2)に限定されず、撮像素子と挿通チャンネルの相対的な位置関係により予め設定されるものでもよい。例えば、挿通チャンネルが、画像中心から見てY軸正方向に設けられる場合、注目領域を画像中心よりもY軸正方向側に設定してもよい。
以上の実施形態によれば、図16に示すように、内視鏡装置は、内視鏡装置の状態情報を取得する状態情報取得部430を含む。注目領域設定部413は、状態情報を内視鏡装置からの情報として、注目領域を設定する。
具体的には、状態情報取得部430は、被写体に対して処置を施すための処置具がスコープ先端部から突出したか否かを検出(処置具センサー308のセンシング信号に基づいて検出)し、検出結果を状態情報として取得する。注目領域設定部413は、検出結果に基づいて注目領域を設定する。
より具体的には図18等で説明したように、注目領域設定部413は、処置具の突出が検出された場合、撮像画像の中央領域又は、撮像画像の中心よりも処置具が挿入される側の領域(例えば画像中心よりもY軸正方向側の領域)を、注目領域に設定する。
このようにすれば、術者が処置具を操作した場合に注目領域を設定し、その注目領域の明るさを調光制御できる。また、術者が通常において病変部を位置させると考えられる画像中心又は画像下方を、注目領域に設定できる。これにより、処置対象となる病変部を適切な明るさで表示することが画像信号の画質に関わらず可能となり、術者の処置に好適な画像を得ることができる。
ここで、内視鏡装置の状態情報とは、内視鏡装置の各部の状態を表す情報であり、例えば撮像画像を処理して得られるスコープの進行方向等の情報や、各部の状態を制御する制御信号や、各部の状態をセンシングする種々のセンサーによるセンシング信号である。
4.第3の実施形態
4.1.内視鏡装置
スコープの湾曲角度又は湾曲動き量に基づいて注目領域を設定する第3の実施形態について説明する。
図19に、第3の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、操作部200、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
光源部100は、白色光源101と、光源絞り102と、光源絞り駆動部103と、集光レンズ106を含む。
操作部200は、挿入部300の湾曲操作を行う湾曲操作レバー201と、例えば鉗子のような処置具を挿入する挿入口202と、先端部の湾曲角度や湾曲動き量などの湾曲操作の操作情報を検出する操作量検出センサー203と、が設けられている。操作量検出センサー203は、状態情報取得部430と接続されており、湾曲操作の操作情報を状態情報取得部430に対して送信する。
挿入部300の撮像素子304は、ベイヤー(Bayer)型配列の撮像素子であり、例えばCCDやCMOSイメージセンサー等により構成される。
制御装置400は、画像処理部410と、制御部420と、状態情報取得部430を含む。画像処理部410の構成要素は、図17で上述の構成例と同様である。
状態情報取得部430は、操作部200における内視鏡の操作に関する情報を取得する。具体的には、状態情報取得部430は、スコープ先端部の湾曲角度及び湾曲動き量の少なくとも一方を状態情報として取得する。
4.2.湾曲角度検出部
図20に、第3の実施形態における状態情報取得部430の詳細な構成例を示す。状態情報取得部430は、湾曲角度検出部431及び湾曲動き量検出部432の少なくとも一方を含む。
湾曲角度検出部431は、操作部200により湾曲操作された挿入部300の現在の湾曲角度を検出する。湾曲動き量検出部432は、操作部200により湾曲操作された挿入部300の湾曲動き量を検出する。湾曲動き量は、湾曲角度の単位時間当たりの変化量である。
具体的には、湾曲操作レバー201はダイヤル式になっており、術者がダイヤルを回転操作することにより、ダイヤルに連結されている湾曲操作ワイヤー306が引っ張られたり押されたりし、それに伴い挿入部300の先端が湾曲する。操作量検出センサー203は、湾曲操作ワイヤー306が引っ張られたり押されたりした「長さ」を操作量として検出する。状態情報取得部430は、検出された操作量から湾曲角度を求める。例えば、状態情報取得部430は、ルックアップテーブルや多項式等を用いて、操作量から湾曲角度を求める。
例えば、図21(A)に示すように、ワイヤー306の操作量がゼロのとき湾曲角度θ=0度である。図21(B)に示すように、ワイヤー306がLWcm引っ張られたとき湾曲角度θ=45度である。図21(C)に示すように、ワイヤー306が2LWcm押されたとき湾曲角度θ=−90度である。
なお、湾曲角度は、湾曲角度を表す情報として得られればよく、湾曲角度自体でなくともよい。例えば、湾曲角度情報は、ワイヤー306が操作された長さであってもよい。即ち、湾曲操作レバー201の回転方向の操作量と湾曲操作ワイヤー306が引っ張られたり押されたりした長さは1対1であり、それが決まれば湾曲角度も求められる。
また、操作量検出センサー203が検出する操作量は、長さに限定されず、例えば湾曲操作レバー201の回転方向の操作量であってもよい。この場合も、湾曲角度情報は、回転操作量から求めた湾曲角度であってもよいし、回転操作量であってもよい。
図2(A)等で上述のように、広視野内視鏡を用いてスクリーニングをする場合、ヒダの裏にある病変部を側方視野により発見することができる。術者は病変部を発見すると、前方視野の方が観察しやすいため、病変部を前方視野に入らせるべく湾曲操作レバー201を操作して挿入部300を湾曲させる。
そこで本実施形態では、注目領域設定部413は、湾曲角度検出部431により取得した湾曲角度に応じて側方視野の領域を注目領域に設定する。例えば、湾曲角度がある閾値以上の場合のときに側方視野の領域を注目領域に設定する。
4.3.湾曲動き量検出部
次に、湾曲動き量検出部432が行う処理について詳細に説明する。操作量検出センサー203は、湾曲操作レバー201の単位時間当たりの回転操作量を検出する。湾曲動き量検出部432は、検出された回転操作量から湾曲動き量を求める。
なお、本実施形態ではこれに限定されず、湾曲操作ワイヤー306が単位時間当たりに引っ張られたり押されたりした長さに基づいて湾曲動き量を求めてもよい。また、湾曲動き量は、単位時間当たりの湾曲角度の変化量に限定されず、湾曲動き量を表す情報として得られればよい。例えば、湾曲動き量情報は、湾曲操作レバー201の単位時間当たりの回転操作量であってもよいし、湾曲操作ワイヤー306が単位時間当たりに引っ張られたり押されたりした長さであってもよい。
図2(A)等で上述のように、広視野内視鏡を用いてスクリーニングをする場合、ヒダの裏にある病変部を側方視野により発見することができる。術者は病変部を発見すると、前方視野の方が観察しやすいため、病変部を前方視野に入らせるべく湾曲操作レバー201を操作して挿入部300を湾曲させる。即ち、湾曲操作中は側方視野に病変部があると考えられる。前方視野に病変部がきたら湾曲操作を止める。
そこで本実施形態では、湾曲し始めは側方視野を注目領域に設定し、湾曲が止まったら前方視野を注目領域に設定する。なお、湾曲角度が最大角度まで行って止まった場合は、術者の注目する領域が前方視野まで入らずに側方視野にあるものと推測できるので、側方視野を注目領域に設定する。
具体的には、注目領域設定部413は、湾曲動き量検出部432により取得した湾曲動き量に応じて、注目領域を設定する。注目領域設定部413は、湾曲動き量が大きい場合(激しく湾曲させているとき)は側方視野の領域を注目領域に設定する。例えば、湾曲動き量がある閾値以上の場合のときに注目領域を設定する。
4.4.画像処理部
次に、注目領域設定処理や測光処理を行う画像処理部410について詳細に説明する。図22に、第3の実施形態における画像処理部410の詳細な構成例を示す。画像処理部410は、前処理部411と、同時化部412と、注目領域設定部413と、後処理部415と、測光部416と、階調変換部419を含む。なお、図6等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
状態情報取得部430は、注目領域設定部413と測光部416とに接続される。同時化部412は、階調変換部419と測光部416に接続される。
同時化部412は、ベイヤー型配列の単板画像を補間処理により3板画像(RGB画像)へ変換する。同時化部412は、3板化した画像信号を階調変換部419と測光部416に転送する。
注目領域設定部413は、湾曲角度検出部431で取得した湾曲角度と湾曲動き量検出部432で取得した湾曲動き量に応じて、注目領域を設定する。具体的には、注目領域設定部413は、湾曲角度が所定の閾値以上である場合、または、湾曲動き量(湾曲速度)が所定の閾値以上である場合に、側方視野の領域を注目領域として設定する。注目領域設定部413は、設定した注目領域を測光部416に転送する。
測光部416は、画像信号から被写体の明るさを算出する。具体的には、測光部416は、注目領域設定部413により注目領域が設定された場合、注目領域と注目領域以外の領域に各々異なる重み係数を乗算し、下式(9)に示す重み付け加算平均値Ywaを算出する。
ここで、Yc(x,y)は前方視野に含まれる画素の輝度信号値であり、Ya(x,y)は側方視野に含まれる画素の輝度信号値である。Ncは前方視野に含まれる画素の画素数であり、Naは側方視野に含まれる画素の画素数である。Aは前方視野の重み係数であり、Bは側方視野の重み係数である。Rcは前方視野に対応する領域であり、Raは側方視野に対応する領域である。和(Σ)は、各領域に属する画素についての和である。
測光部416は、注目領域の重み係数を、注目領域以外の重み係数に比べて相対的に大きい係数に設定する。例えば、側方領域が注目領域の場合、A<Bとなる。また、測光部416は、重み係数を湾曲角度(又は湾曲動き量)に応じて設定する。具体的には、湾曲角度(又は湾曲動き量)が大きいほど、側方視野の重み係数Bを前方視野の重み係数Aに比べて大きくする。
測光部416は、注目領域設定部413により注目領域が設定されなかった場合、同時化部412から入力された画像信号の有効画素領域の輝度平均値を算出する。測光部416は、算出した注目領域の輝度加算平均値Ywaを制御部420に転送する。
上式(9)で説明したように、調光制御部は、注目領域の明るさを表す第1の明るさ情報(輝度信号値Ya(x,y))と、注目領域以外の領域の明るさを表す第2の明るさ情報(輝度信号値Yc(x,y))を算出する。調光制御部は、第1の明るさ情報と第2の明るさ情報を、それぞれ第1の重み係数Bと第2の重み係数Aで重み付け加算し、得られた重み付け加算値に基づいて調光制御を行う。調光制御部は、第1の重み係数Bとして、第2の重み係数Aよりも大きい係数を用いる。
このようにすれば、主に注目領域の明るさを調光により制御しながら、画像全体の明るさも調光により制御できる。これにより、注目領域の視認性を向上しながら画像全体の視認性も向上可能である。
以上の実施形態によれば、図20に示すように、状態情報取得部430は、湾曲角度検出部431を有する。湾曲角度検出部431は、スコープ先端部の湾曲角度(図21(A)〜図21(C)の角度θ)を表す湾曲角度情報を状態情報として取得する。注目領域設定部413は、取得された湾曲角度情報に基づいて注目領域を設定する。
このようにすれば、湾曲角度から術者が興味のある観察領域を推測でき、その領域の明るさを調光制御することで術者が観察しやすい画像を提供できる。
また本実施形態では、注目領域設定部413は、湾曲角度が閾値よりも大きいと判断された場合、撮像画像の中の側方視野に対応する領域を注目領域として設定する。
このようにすれば、側方視野に病変がある場合に術者はスコープ先端を湾曲操作すると考えられるため、その側方視野を注目領域に設定できる。また、湾曲角度が小さい(閾値以下の)わずかな湾曲操作は、誤差あるいは前方視野の微調整と推測できる。そのため、閾値判定を行うことにより、不必要な測光対象領域の切り替わりを防止できる。
ここで、前方視野に対応する領域とは、前方視野の被写体が撮像された領域であり、例えば対物光学系の光軸方向の被写体が撮像された領域である。例えば光軸が画像中心と一致する場合、前方視野に対応する領域は、画像中心を含む中央領域である。
また側方視野に対応する領域とは、側方視野の被写体が撮像された領域であり、例えば対物光学系の光軸に直交する方向の被写体が撮像された領域である。例えば光軸が画像中心と一致する場合、側方視野に対応する領域は、上記中央領域の周辺領域である。
また本実施形態では、注目領域設定部413は、撮像画像の中の側方視野に対応する領域を注目領域として設定する。上式(9)で説明したように、調光制御部は、湾曲角度が大きいほど、第1の重み係数Bを第2の重み係数Aよりも大きくする。
このようにすれば、湾曲角度が大きいほど術者は側方視野を注目していると推測できるため、その領域の重み係数を大きくして測光処理することで、術者が観察しやすい画像を提供することができる。
また本実施形態では、図20に示すように、状態情報取得部430は、湾曲動き量検出部432を有する。湾曲動き量検出部432は、スコープ先端部の湾曲動き量(図21(A)〜図21(C)の角度θの単位時間当たりの変化)を表す湾曲動き量情報を状態情報として取得する。注目領域設定部413は、取得された湾曲動き量情報に基づいて注目領域を設定する。
このようにすれば、湾曲動き量から術者の興味のある観察領域を推測でき、その領域の明るさを調光制御することで術者が観察しやすい画像を提供できる。
また本実施形態では、注目領域設定部は、湾曲動き量が閾値よりも大きいと判断された場合、撮像画像の中の側方視野に対応する領域を注目領域として設定する。
このようにすれば、側方視野に病変がある場合に術者はスコープ先端を湾曲操作すると考えられるため、その側方視野を注目領域に設定できる。また、湾曲動き量が小さい(閾値以下の)わずかな湾曲操作は、誤差あるいは前方視野の微調整と推測できる。そのため、閾値判定を行うことにより、不必要な測光対象領域の切り替わりを防止できる。
また本実施形態では、注目領域設定部413は、撮像画像の中の側方視野に対応する領域を注目領域として設定する。上式(9)で説明したように、調光制御部は、湾曲動き量が大きいほど、第1の重み係数Bを第2の重み係数Aよりも大きくする。
このようにすれば、湾曲動き量が大きいほど術者は側方視野を注目していると推測できるため、その領域の重み係数を大きくして測光処理することで、術者が観察しやすい画像を提供することができる。
5.第4の実施形態
5.1.内視鏡装置
光源の出射光量から推定した被写体までの距離情報に基づいて注目領域を設定する第4の実施形態について説明する。
図23に、第4の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、操作部200、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
制御装置400は、画像処理部410と、制御部420と、状態情報取得部430を含む。状態情報取得部430は、画像処理部410に接続される。制御部420は、光源絞り駆動部103と、回転駆動部105と、画像処理部410と、状態情報取得部430と、外部I/F部550に接続され、これらの制御を行う。
本実施形態では、調光処理が稼動している状態において光源部100の出射光量の情報を取得し、その出射光量の情報に基づいて被写体との距離情報を推定し、その距離情報に基づいて注目領域やそれ以外の領域の測光処理を適応的に制御する。
5.2.状態情報取得部
被写体までの距離を推定し、その距離に基づいて注目領域を設定する手法について詳細に説明する。
術者は、内視鏡装置による観察において病変部と推測される領域を発見すると、挿入部300の先端をその領域に近接させる。この場合、被写体からの反射光量は強くなり、撮像された画像信号は明るくなる。本実施形態では、状態情報取得部430が調光処理を行い、制御部420を介して光源絞り駆動部103を制御し、画像が目標の観察明るさになるまで光源絞り102の開口面積を縮小する。
一方、挿入部300の先端が観察領域から離れている状態では、被写体からの反射光量は弱くなり、撮像された画像信号は暗くなる。状態情報取得部430は、制御部420を介して光源絞り駆動部103を制御し、画像が目標の観察明るさになるまで光源絞り102の開口面積を拡張する。即ち調光処理において、光源絞り102の開口面積が小さい場合は、挿入部300の先端と被写体が近接している状態であり、光源絞り102の開口面積が大きい場合は、挿入部300の先端と被写体が離れている状態である。
本実施形態では、被写体のより広い範囲を観察するため、図1で上述のように前方の物体の観察と同時に側方(略側方を含む)の物体の観察を行うことが可能な対物光学系を用いる。そのため、図2(B)で上述のように、画像中心の座標(N/2,M/2)を領域中心とする前方視野(中央部)と側方視野(周辺部)が表示される。
図24(A)、図24(B)に示すように、術者が病変部と推測される領域を見つけた場合、通常は、その病変部を画像信号の中央部(前方視野)に合わせる。しかしながら、図24(C)、図24(D)に示すように、腸など細長い管腔状の部位を診察する場合、空間領域の制限によって病変部を画像信号の前方視野に合わせることが難しい。即ち、空間が狭いため、挿入部300の先端を回転させにくい。そのため、図24(D)に示すように、画像信号の側方視野に病変部を合わせるしかない。
そこで本実施形態では、被写体にスコープ先端が近接しているか否かの判定を、光源絞り102の開口情報に基づいて行う。近接していると判定した場合、測光モードに応じて前方視野領域又は側方視野領域を注目領域に設定し、その注目領域の調光制御を行う。
具体的には、状態情報取得部430は、制御部420を介して光源絞り102の開口面積(広義には開口情報)を取得し、開口面積が所定の閾値以下の場合は、挿入部300の先端が注目領域に「近接している」状態と判定する。状態情報取得部430は、判定結果を状態情報として注目領域設定部413に転送する。
本実施形態では、図24(A)等で上述した観察状況に合わせて、複数の測光モードが用意される。測光モードは、外部I/F部550を介して、術者が設定する。例えば、術者が画像信号の前方視野を注目したい場合、測光モードを「前方モード」に設定する。
注目領域設定部413は、状態情報取得部430から転送された状態情報と、測光モードと、に基づいて注目領域を設定する。具体的には、注目領域設定部413は、測光モードが「前方モード」であり、スコープ先端が被写体に「近接している」と判断された場合には、画像中心の座標(N/2,M/2)を領域中心とする前方視野を注目領域として設定する。また、注目領域設定部413は、測光モードが「側方モード」であり、スコープ先端が被写体に「近接している」と判断された場合には、側方視野を注目領域として設定する。またスコープ先端が被写体に「近接している」と判断されなかった場合には、注目領域を設定しない。注目領域設定部413は、設定した注目領域を測光部416へ転送する。
このように、光源の絞り状況に応じて適応的に注目領域(前方視野又は側方視野)を設定し、その注目領域の調光制御を行うことで、術者にとって病変部視認性の向上に繋がる。
5.3.変形例
上記の実施形態では、光源絞り102の開口状況に応じて適応的に測光処理を行うが、本実施形態はこれに限定されない。例えば、LED光源を用いて、そのLED光源の光量制御情報(例えば駆動電流)に基づいて測光処理を行ってもよい。
図25に、このような処理を行う場合の内視鏡装置の変形構成例を示す。内視鏡装置は、光源部100、操作部200、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
光源部100は、白色光源101と、回転色フィルター104と、回転駆動部105と、集光レンズ106と、光源の出射光量を制御する光源制御部107と、を含む。白色光源101はLED光源により構成される。光源制御部107は、制御部420からの制御信号に基づいて、LED光源の出射光量の強度を制御する。制御部420は、上式(6)で説明した調整係数Lcに基づいて出射光量を調整する。
注目領域設定部413は、制御部420からの出射光量の制御信号に基づいて、注目領域を設定する。即ち、出射光量が閾値よりも小さい場合、スコープ先端を被写体に近づけたと判断し、測光モードに応じた注目領域を設定する。測光部416は、設定された注目領域の測光処理を行う。
以上の実施形態によれば、状態情報取得部430は、被写体とスコープ先端部の間の距離を表す距離情報を、被写体を照明する光源部100の出射光量に基づいて取得する。注目領域設定部413は、距離情報を状態情報として注目領域を設定する。
具体的には、注目領域設定部413は、距離が閾値よりも近いと判断された場合に注目領域を設定する。
より具体的には、内視鏡装置は、モード設定部(図23の制御部420)と調光制御部(図23の状態情報取得部430と制御部420)を含む。モード設定部は、第1の測光モード(前方モード)又は第2の測光モード(側方モード)を設定する。調光制御部は、光源部100の絞り(図23の光源絞り102)の開口面積を制御することにより、出射光量を制御する。距離情報は、調光制御部により制御された開口面積である。注目領域設定部413は、第1の測光モードにおいて開口面積が閾値よりも小さいと判断された場合に、撮像画像の中の前方視野に対応する領域を注目領域に設定する。注目領域設定部413は、第2の測光モードにおいて開口面積が閾値よりも小さいと判断された場合に、撮像画像の中の側方視野に対応する領域を注目領域に設定する。調光制御部は、設定された注目領域の明るさに基づいて開口面積を制御する。
このようにすれば、スコープ先端を近づけた領域は術者が観察したい領域であると考えられるため、距離に応じて注目領域を設定することで、術者が観察したい領域を適切に調光制御できる。また、調光制御により画像の明るさは一定に保たれるため、画像ではなく調光制御に基づいて距離を推定することにより、スコープ先端が被写体に近づいたか否かを判定できる。
6.第5の実施形態
6.1.内視鏡装置
画像の明るさから推定した被写体までの距離情報に基づいて注目領域を設定する第5の実施形態について説明する。
第5の実施形態における内視鏡装置は、光源部100、操作部200、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、構成は、図3で説明した第1の実施形態と同様である。以下では、第1の実施形態と動作や処理が同一の構成要素については適宜説明を省略する。
画像処理部410は、前処理部411と、同時化部412と、注目領域設定部413と、後処理部415と、測光部416と、階調変換部419を含む。なお、構成は、図6で説明した第1の実施形態と同様である。
画像信号中で相対的に明るい領域は、挿入部300の先端と被写体との距離が近い領域と考えられる。そのため本実施形態では、画像信号中の局所領域毎に明るさを算出し、その複数の局所領域の中で相対的に明るい局所領域を注目領域として設定する。
6.2.注目領域設定部
図26に、第5の実施形態における注目領域設定部413の詳細な構成例を示す。注目領域設定部413は、輝度換算部441、加算部442、特定部443を含む。同時化部412は、輝度換算部441へ接続する。輝度換算部441は加算部442へ接続する。加算部442は特定部443へ接続する。特定部443は測光部416へ接続している。制御部420は、輝度換算部441、加算部442、特定部443と双方向に接続している。
輝度換算部441は、図27に示すように、同時化後の画像信号のサンプリング画素の輝度信号値Yi(x,y)を上式(1)により算出し、そのサンプリング画素の輝度信号値Yi(x,y)を加算部442へ転送する。
加算部442は、前方視野と側方視野それぞれにおいて、サンプリング画素の輝度信号Yi(x,y)を下式(10)により加算平均し、前方視野の明るさ測定値Ydfと側方視野の明るさ測定値Ydsを算出する。ここで、画像信号の中心座標(N/2,M/2)を原点とし、所定の半径内の画素を前方視野、それ以外の画素を側方視野と設定する。
ここで、mは前方視野のサンプリング画素数(定数)であり、nは側方視野のサンプリング画素数(定数)である。これらは、画像信号の画角大きさに応じて設定される。a(x,y)、b(x,y)は、重み係数である。
なお、上記の実施形態では、前方視野と側方視野の2つの領域に分割し、それぞれの視野の明るさ測定値を算出するが、本実施形態はこれに限定されない。例えば、挿入部300の先端の側方を被写体に接近して観察する場合、その側方視野がすべて明るくなる可能性が低い。図28に示すように、このようなことを想定して、例えば側方視野を更に複数領域に分割し、各領域に含まれるサンプリング画素の輝度信号Yi(x,y)を加算平均して各領域の明るさ測定値を算出してもよい。この場合、算出した複数の側方領域の明るさ測定値中の最大値を、側方領域の明るさ測定値Ydsとする。例えば、図28では、側方視野3の明るさ測定値が最大値となる。この場合、側方視野3の明るさ測定値を側方領域の明るさ測定値Ydsとして特定部443へ転送する。
特定部443は、加算部442により算出された明るさ測定値Ydf、Ydsに基づいて注目領域を設定する。具体的には、特定部443は、前方視野の明るさ測定値Ydfが所定の閾値より大きい場合、前方視野に対応する領域を注目領域として設定する。また特定部443は、側方視野の明るさ測定値Ydsが所定の閾値より大きい場合、側方視野に対応する領域を注目領域として設定する。明るさ測定値Ydf、Ydsがともに所定の閾値より大きい場合は、より明るい領域を注目領域として設定する。特定部443は、設定した注目領域情報を測光部416へ転送する。
なお、図28で説明したように側方視野が分割されている場合、分割された領域を注目領域として設定する。具体的には、特定部443は、分割された側方視野のうちの最も測定値Ydsが大きい領域の測定値Ydsが所定の閾値より大きい場合、その領域を注目領域として設定する。
上記の実施形態によれば、画像信号の明るさから挿入部300の先端と被写体の距離を推定し、その距離に基づいて前方視野と側方視野を適応的に調光処理することで、術者にとって病変部視認性の向上させることができる。
以上の実施形態によれば、注目領域設定部413は、距離情報取得部(図26の輝度換算部441、加算部442)を有する。距離情報取得部は、被写体とスコープ先端部の間の距離を表す距離情報を、撮像画像の明るさ(例えば輝度信号Yi(x,y))に基づいて取得する。注目領域設定部413は、取得された距離情報に基づいて注目領域を設定する。
具体的には、距離情報取得部は、撮像画像の画素の輝度に関する輝度特徴量を算出(例えば、輝度換算部441(広義には輝度特徴量算出部)が算出)し、算出した輝度特徴量に基づいて距離情報を取得する。
より具体的には、距離情報取得部は、撮像画像を複数の領域(例えば前方視野に対応する領域と、側方視野に対応する領域)に分割し、分割した各領域の明るさ(明るさ測定値Ydf、Yds)を距離情報として取得する。注目領域設定部413は、その複数の領域のうち最も明るい領域をスコープ先端部に最も近い領域として注目領域に設定する。
このようにすれば、画像の明るさに基づいて注目領域を設定し、その注目領域の明るさを調光制御できる。即ち、術者が観察したい領域にスコープ先端を近づけると、その領域が照明により明るくなるため、画像の明るさに応じて注目領域を設定できる。
7.第6の実施形態
7.1.内視鏡装置
特殊光により病変領域を検出し、検出した病変領域を注目領域として設定する第6の実施形態について説明する。
図29に、第6の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
光源部100は、白色光源101と、光源絞り102と、光源絞り駆動部103と、集光レンズ106を含む。第1の実施形態に比べて、回転色フィルター104、回転駆動部105が削除されている。
挿入部300は、ライトガイドファイバー301と、照明レンズ314、315と、対物光学系303を含む。また挿入部300は、対物光学系303で集光された反射光を2つに分離するハーフミラー309と、分離された反射光を検出する第1の撮像素子304及び第2の撮像素子310と、第1のA/D変換部305と、第2のA/D変換部311を含む。
A/D変換部311は、第2の撮像素子310により検出されたアナログの画像信号を、デジタルの画像信号に変換する。
第1の撮像素子304は、Bayer型配列の撮像素子である。図30に示すように、第2の撮像素子310は、2種類の色フィルターnB、nGが市松上に配置された撮像素子である。図31に示すように、各色フィルターnB、nGは、狭帯域の光を透過する特性を有している。例えば、色フィルターnBは390〜445nmの光を透過する特性を有し、色フィルターnGは530〜550nmの光を透過する特性を有する。例えば、第1の撮像素子304と、第2の撮像素子310の画素数は同一である。
制御装置400は、画像処理部410と、制御部420を含む。A/D変換部305、311は、デジタルに変換した画像信号を画像処理部410に転送する。画像処理部410は、処理した画像信号を表示部500に転送する。制御部420は、光源絞り駆動部103と、画像処理部410と、外部I/F部550に接続されており、これらの制御を行う。
7.2.画像処理部
図32に、第6の実施形態における画像処理部410の詳細な構成例を示す。画像処理部410は、第1の前処理部411、第2の前処理部418、第1の同時化部412、第2の同時化部417、注目領域設定部413、後処理部415、測光部416、階調変換部419を含む。なお、前処理部411と、階調変換部419と、後処理部415と、測光部416の処理は、第1の実施形態と同一であるため、説明を省略する。
同時化部412は、階調変換部419と、測光部416とに接続される。前処理部418は同時化部417に接続される。同時化部417は注目領域設定部413に接続される。注目領域設定部413は、測光部416に接続される。また、制御部420は、前処理部418、同時化部417と双方向に接続され、これらの制御を行う。
同時化部412は、前処理部411により処理された画像信号に対して同時化処理を施す。上述のように、第1の撮像素子304で取得される画像信号は、Bayer型配列の単板画像信号である。同時化部412は、補間処理を用いて、単板画像信号からRGBの3板画像信号を生成する。例えば、補間処理としては公知のバイキュービック補間処理を用いればよい。以下では、同時化部412より出力される画像信号を通常光画像と呼ぶ。
前処理部418は、A/D変換部311から入力される画像信号に対して、制御部420に予め保存されているOBクランプ値、ゲイン補正値、WB係数値を用いて、OBクランプ処理、ゲイン補正処理、WB補正処理を行う。前処理部418は、前処理を施した画像信号を同時化部417へ転送する。
同時化部417は、前処理部418により処理された画像信号に対して同時化処理を施す。図30で上述のように、第2の撮像素子310は、2種類の色フィルターnB、nGが市松上に配置された撮像素子である。従って前処理部418により処理された画像信号は、図33に示すような単板画像信号となる。図33では、色フィルターnBで取得される画像信号をB2と表し、色フィルターnGで取得される画像信号をG2と表す。
同時化部417は、下式(11)、(12)により、この単板画像信号からB2画像信号とG2画像信号を生成する。B2画像信号は、全画素でB2信号を有する画像信号であり、G2画像信号は、全画素でG2信号を有する画像信号である。例えば、図33のG2(1,1)の位置におけるnBフィルターの画像信号B2(1,1)は、下式(11)を用いて算出すればよい。また、図33のB2(1,2)の位置におけるnGフィルターの画像信号G2(1,2)は、下式(12)を用いて算出すればよい。
同時化部417は、上式(11)、(12)により生成したB2画像信号とG2画像信号を用いて、RGBの3板画像信号を生成する。具体的には、同時化部417は、R画像信号としてG2画像信号を用い、G、B画像信号としてB2画像信号を用いることにより、3板画像信号を生成する。以下では、同時化部417より出力される画像信号を狭帯域光画像(広義には特殊光画像)と呼ぶ。
注目領域設定部413は、後述する手法により狭帯域光画像から病変領域を検出し、その病変領域に基づいて注目領域を設定する。狭帯域光画像上では、扁平上皮癌等の病変部が、褐色の領域として描出される特徴がある。そのため、特定の色相を有する領域(褐色の領域)を狭帯域光画像から検出することで、病変領域を検出可能である。
7.3.注目領域設定部
図34に、第6の実施形態における注目領域設定部413の詳細な構成例を示す。注目領域設定部413は、局所領域設定部451と、特徴量算出部452と、病変領域検出部453と、ラベリング処理部454と、領域選出部455と、座標算出部456と、対応付け部457と、測光処理条件設定部459を含む。
同時化部417は、局所領域設定部451に接続される。局所領域設定部451は、特徴量算出部452と対応付け部457に接続される。特徴量算出部452は、病変領域検出部453に接続される。病変領域検出部453は、ラベリング処理部454に接続される。ラベリング処理部454は、領域選出部455に接続される。領域選出部455は、座標算出部456に接続される。座標算出部456は、対応付け部457に接続される。対応付け部457は、測光処理条件設定部459に接続される。測光処理条件設定部459は測光部416に接続される。
局所領域設定部451は、同時化部417から出力される狭帯域光画像に対して、複数の局所領域を設定する。以下では、狭帯域光画像を矩形領域に分割し、分割した各領域を局所領域として設定する場合を例に挙げて説明する。
図35に示すように、例えば5×5画素を1つの局所領域とする。狭帯域画像信号は、M×N個の局所領域で構成されていることとし、各領域の座標を(m,n)で表す。また、座標(m,n)の局所領域をa(m,n)で表す。また、画像の左上に位置する局所領域の座標を(0,0)とし、右方向をmの正方向、下方向をnの正方向と定義する。なお、計算量を削減するために、複数の隣接する画素群からなる領域を一つの局所領域としているが、1画素を1つの局所領域とすることも可能である。この場合も、後の処理は同一である。
局所領域設定部451は、局所領域の大きさ、及び全ての局所領域の座標を、特徴量算出部452に出力する。局所領域設定部451は、全ての局所領域の座標と、その座標に対応する狭帯域光画像上における座標を、対応付け部457に出力する。ここで、狭帯域光画像上における座標とは、局所領域の中心に存在する画素の座標である。
特徴量算出部452は、局所領域設定部451により設定された全ての局所領域から、特徴量を算出する。以下では、特徴量として色相を用いる場合を例にとり説明する。
局所領域a(m,n)の色相を、H(m,n)と表記する。特徴量算出部452は、H(m,n)を算出するため、まず各局所領域における、R,G,B信号の平均値R_ave,G_ave,B_aveを算出する。ここで、R_aveは、各局所領域に含まれる全画素のR信号の平均値である。G_ave,B_aveも同様である。例えば、各信号値は8ビット(0〜255)である。
特徴量算出部452は、例えば下式(13)〜(18)を用いて、R_ave,G_ave,B_aveから各局所領域の色相H(m,n)を算出する。まず、下式(13)によりmaxを求める。
ここでMAX()関数は、括弧内における複数の引数の最大値を出力する関数である。
maxが0の場合、下式(14)により色相Hを算出する。
maxが0以外の場合、下式(15)によりdを算出する。
ここで、MIN()関数は、括弧内における複数の引数の最小値を出力する関数である。
R_ave,G_ave,B_aveのうちR_aveが最大の場合、下式(16)により色相Hを算出する。
R_ave,G_ave,B_aveのうちG_aveが最大の場合、下式(17)により色相Hを算出する。
R_ave,G_ave,B_aveのうちB_aveが最大の場合、下式(18)により色相Hを算出する。
なお、H<0になった場合には、Hに360を加える。またH=360の場合、H=0とする。
病変領域検出部453は、特定の色相Hを有する局所領域を病変領域として検出し、病変領域として検出された全ての局所領域の座標を、ラベリング処理部454に出力する。例えば病変領域検出部453は、色相Hが5〜35の値を有する領域(褐色領域に相当)を、病変領域として検出する。
ラベリング処理部454は、病変領域検出部453より出力された病変領域のうちの互いに隣接する病変領域に対して、同一のラベルを付与する。以下では、同一のラベルを付与された病変領域の集合を、病変領域群と呼ぶ。ラベリング処理部454は、同一のラベルを付与された病変領域群の大きさを算出する。ここで、病変領域群の大きさとは、同一のラベルを付与された病変領域の数とすればよい。なおこれに限定されず、病変領域群の大きさは、病変領域群の面積を表す情報であればよい。
図36を用いて、ラベリング処理部454が行う処理について詳細に説明する。例えば図36に示す病変領域が検出された場合、A1に示す領域に属する病変領域には、ラベル1が付与される。同様にA2に示される領域に属する病変領域にはラベル2が付与され、A3に示される領域に属する病変領域には、ラベル3が付与される。ラベリング処理部454は、同一のラベルを付与された病変領域群の大きさを算出する。ラベル1を付与された病変領域群1(A1)の大きさは7となる。同様に、病変領域群2(A2)の大きさは3となり、病変領域群3(A3)の大きさは2となる。
領域選出部455は、ラベリング処理部454でラベルを付与された複数の病変領域群のうち、最大の大きさを有する病変領域群を注目領域として選出する。そして、その注目領域に含まれる全ての局所領域の座標を座標算出部456に出力する。図36の場合には、A1で示される病変領域群1が、注目領域として選出される。
座標算出部456は、領域選出部455より出力される全ての局所領域座標から、局所領域座標の最大値(mMAX,nMAX)及び最小値(mMIN,nMIN)を算出し、算出した値を対応付け部457に出力する。
具体的には、領域選出部455より出力される全ての局所領域の数をKとし、その全ての局所領域を便宜的にa(m1,n1)〜a(mK,nK)と表す。この場合、座標算出部456は、局所領域座標の最大値(mMAX,nMAX)及び最小値(mMIN,nMIN)を、下式(19)により算出する。
対応付け部457は、この最大値(mMAX,nMAX)、最小値(mMIN,nMIN)に対応する、狭帯域光画像の座標を算出する。具体的には、その座標を、局所領域設定部451より出力される局所領域と狭帯域光画像の座標の対応関係に基づいて算出する。以下では、(mMAX,nMAX)、(mMIN,nMIN)に対応する狭帯域光画像の座標を(xMAX,yMAX)、(xMIN,yMIN)と表す。対応付け部457は、座標(xMAX,yMAX)、(xMIN,yMIN)を、測光処理条件設定部459に出力する。
測光処理条件設定部459は、測光処理の対象となる注目領域の条件である測光処理条件を決定し、その測光処理条件を測光部416に出力する。具体的には、測光処理条件設定部459は、下式(20)により注目領域の中心座標(x0,y0)を算出し、下式(21)により注目領域の半径Rを算出し、算出した中心座標(x0,y0)と半径Rを測光処理条件とする。図36で説明した例では、図示のように半径Rの円内が測光対象の注目領域に設定される。
ここで、int()は、括弧内の実数の整数値を返す関数である。
以上の実施形態によれば、注目領域設定部413は、撮像画像に基づいて特徴量(例えば色相値)を算出し、所定の特徴量(例えば色相値5〜35の範囲)を有する領域に基づいて注目領域を設定する。
このようにすれば、病変部に特徴的に現れる画像の特徴量に基づいて注目領域を設定し、その注目領域の明るさを調光制御できる。これにより、術者は、病変部を適正な明るさで観察できる。
また本実施形態では図36等で説明したように、注目領域設定部413は、所定の特徴量を有する領域のうちの最大の面積の領域を選択し、選択した領域を含む円形領域を注目領域として設定する。
術者は、観察したい病変部にスコープを近づけるため、その観察したい病変部が大きく表示されると考えられる。そのため、大きさが最大となる病変領域群を注目領域として設定することで、術者が注目していると思われる領域を適正な明るさで表示できる。
なお、上記の実施形態では特徴量が色相値である場合を例に説明したが、本実施形態はこれに限定されない。例えば、特徴量は、病変部と他の領域を識別できるものであればよく、例えば出血部位を識別する場合にはR画素値が特徴量であってもよい。
また、上記の実施形態では、ラベリング処理部454でラベル付けされた病変領域群のうち、最大の大きさを有する病変領域群に基づいて注目領域を設定する例を説明したが、本実施形態はこれに限定されない。例えば、病変領域検出部453で検出された全ての病変領域に基づいて注目領域を設定してもよい。この場合、領域選出部455は、ラベリング処理部454より出力される全ての病変領域群に含まれる局所領域の座標を、座標算出部456に出力すればよい。
これにより、複数の病変領域群が存在する場合にも、全ての病変領域群を適正な明るさで表示することが可能となる。
また、上記の実施形態では、表示画像として通常光画像を用いる例を示したが、本実施形態はこれに限定されない。例えば、狭帯域光画像を表示画像として用いてもよい。
また本実施形態では、撮像画像は、特定の波長帯域における情報を有する被写体像が撮像された特殊光画像と、白色光の波長帯域における情報を有する被写体像が撮像された通常光画像(白色光画像)である。注目領域設定部413は、特殊光画像に基づいて注目領域を設定する。
調光制御部は、設定された注目領域に基づいて、通常光画像の調光制御を行う。
このようにすれば、検出したい病変部に応じた特殊光画像を取得することにより、その病変部の特徴量を抽出しやすくなり、その抽出した特徴量により注目領域を設定できる。また、特殊光画像により設定した注目領域に応じて、観察において通常用いられる通常光画像の調光制御を行うことができる。
また、本実施形態では、特定の波長帯域は、白色の波長帯域(例えば380nm〜650nm)よりも狭い帯域である(NBI: Narrow Band Imaging)。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、390nm〜445nm(第1の狭帯域光nB)、又は530nm〜550nm(第2の狭帯域光nG)である。
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル(G2→R、B2→G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nm又は530nm〜550nmとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部又は深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
また、本実施形態では、通常光画像及び特殊光画像は生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、490nm〜625nmの波長帯域であってもよい。
これにより、AFI(Auto Fluorescence Imaging)と呼ばれる蛍光観察が可能となる。この蛍光観察では、励起光(390nm〜470nm)を照射することで、コラーゲンなどの蛍光物質からの自家蛍光(intrinsic fluorescence。490nm〜625nm)を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお490nm〜625nmとは、上述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域(540nm〜560nm)を同時に照射し、擬似カラー画像を生成してもよい。
また、本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、790nm〜820nm、又は905nm〜970nmの波長帯域であってもよい。
これにより、IRI(Infra Red Imaging)と呼ばれる赤外光観察が可能となる。この赤外光観察では、赤外光が吸収されやすい赤外指標薬剤であるICG(インドシアニングリーン)を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、790nm〜820nmという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、905nm〜970nmという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
また、本実施形態では、取得された通常光画像に基づいて、特殊光画像を生成する特殊光画像取得部を含んでもよい。例えば、図29において、ハーフミラー309と撮像素子310とA/D変換部311を省略し、図32の前処理部418と同時化部417が特殊光画像取得部として通常光画像から特殊光画像を生成してもよい。
具体的には、特殊光画像取得部は、取得された通常光画像から、白色の波長帯域における信号を抽出する信号抽出部を含む。そして、特殊光画像取得部は、抽出された通常光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成してもよい。例えば、信号抽出部は、通常光画像のRGB信号から10nm刻みに被写体の分光反射率特性を推定し、特殊光画像取得部は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。
より具体的には、特殊光画像取得部は、通常光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含んでもよい。そして、特殊光画像取得部は、設定されたマトリクスデータを用いて、白色の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成してもよい。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が10nm刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性(係数)を、10nm刻みに推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。
これにより、通常光画像に基づいて特殊光画像を生成することができるため、通常光を照射する1つの光源と、通常光を撮像する1つの撮像素子のみでもシステムを実現することが可能になる。そのため、カプセル型内視鏡や、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。
8.第7の実施形態
8.1.内視鏡装置
スコープIDに基づいて注目領域を設定する第7の実施形態について説明する。
図37に、第7の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、挿入部300、制御装置400、表示部500、外部I/F部550を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
挿入部300は、ライトガイドファイバー301と、照明レンズ314、315と、対物光学系303と、撮像素子304と、A/D変換部305と、メモリー313を含む。メモリー313以外の各部の構成は、第1の実施形態と同一であるため、説明を省略する。
挿入部300は、一般にスコープと呼ばれる。そのため以下では、挿入部300を適宜スコープと呼ぶ。内視鏡診断では、診断する部位に応じて異なるスコープが用いられる。例えば、食道や胃の診断には、上部消化器スコープが用いられ、大腸の診断には下部消化器スコープが用いられる。一方、スコープのメモリー313には、各スコープ固有の識別番号(スコープID)が保持されている。
制御装置400は、画像処理部410と、制御部420と、状態情報取得部430を含む。状態情報取得部430は、メモリー313に保持されている各スコープ固有の識別番号を参照し、接続されるスコープの種類を識別する。スコープの種類とは、例えば、上部消化器スコープ又は下部消化器スコープの何れかである。状態情報取得部430は、識別したスコープの種類を、後述する注目領域設定部413に出力する。
8.2.画像処理部
図38に、第7の実施形態における画像処理部410の詳細な構成例を示す。画像処理部410は、前処理部411と、同時化部412と、注目領域設定部413と、後処理部415と、測光部416と、階調変換部419を含む。注目領域設定部413以外の処理は第1の実施形態と同一であるため、説明を省略する。
注目領域設定部413は、状態情報取得部430より出力されるスコープの種類に応じて、注目領域を設定する。注目領域の設定手法は、第3の実施形態と同様である。具体的には、スコープの種類が下部消化器スコープの場合、側方視野の領域を注目領域に設定する。スコープの種類が上部消化器スコープの場合、前方視野の領域を注目領域に設定する。
以上の実施形態によれば、図37等で説明したように、内視鏡装置にはスコープ(挿入部300)が着脱可能である。状態情報取得部430は、装着されたスコープを識別する識別情報(スコープID)を取得する。注目領域設定部413は、取得された識別情報に基づいて注目領域を設定する。
このようにすれば、接続されるスコープに応じて適切な調光制御を施すことで、術者は、病変領域を適正な明るさで観察することができる。
具体的には、スコープは、前方視野と側方視野を結像する対物光学系を有する。注目領域設定部413は、識別情報が下部消化管用のスコープを表す識別情報である場合、撮像画像の中の側方視野に対応する領域を注目領域に設定する。
下部消化器スコープの診断対象となる大腸では、ヒダの裏にある病変が画像の側方領域に表示されると想定される。そのため、側方視野に対応する領域の明るさを調光制御することで、病変の見落としの危険性を改善することが可能である。
また本実施形態では、注目領域設定部413は、識別情報が上部消化管(例えば胃や食道)用のスコープを表す識別情報である場合、撮像画像の中の前方視野に対応する領域を注目領域に設定する。
上部消化器の診断対象となる食道や胃にはヒダが少ないため、側方視野よりも前方視野が診断の際に重要となる。そのため、前方視野に対応する領域の明るさを調光制御することで、重要な視野を見やすくすることができる。
9.第8の実施形態
9.1.注目領域設定部
画像から被写体の動き量(広義には動き情報)を算出し、その動き量に基づいて注目領域を設定する第8の実施形態について説明する。
内視鏡装置と画像処理部410の構成は、図3、図6で上述の第1の実施形態と同様であるため、適宜説明を省略する。以下では、第1の実施形態と構成が異なる注目領域設定部413について詳細に説明する。
図39に、第8の実施形態における注目領域設定部413の詳細な構成例を示す。注目領域設定部413は、歪み補正部471と、画像メモリー472と、動き検出部473(広義には動き情報取得部)と、設定部474を含む。
同時化部412は、同時化した画像信号を歪み補正部471に出力する。歪み補正部471は、画像メモリー472と、動き検出部473と、設定部474に接続される。動き検出部473は、設定部474に接続される。設定部474は、測光部416に接続される。制御部420は、歪み補正部471と、画像メモリー472と、動き検出部473と、設定部474と双方向に接続されており、これらの制御を行う。
歪み補正部471は、同時化処理された画像信号に対し、収差の一種である歪曲収差(以下では適宜、歪みと呼ぶ)を補正する。図40に、歪み補正処理前後の画像例を示す。
具体的には、歪み補正部471は、歪み補正処理後の画像の画素座標を取得する。歪み補正処理後の画像サイズは、光学系の歪みに基づいて予め取得されているとする。歪み補正部471は、取得した画素座標(x,y)を、下式(22)を用いて光軸中心を原点とする座標(x’,y’)に変換する。
ここで、(center_x,center_y)は、歪み補正処理後の光軸中心の座標である。例えば、歪み補正処理後の光軸中心は、歪み補正処理後画像の中心である。
次に、歪み補正部471は、変換した画素座標(x’,y’)に基づいて、下式(23)を用いて物体高rを算出する。
ここで、max_rは、歪み補正処理後の画像における最大物体高である。
次に、歪み補正部471は、算出した物体高rに基づいて像高と物体高の比(R/r)を算出する。具体的には、歪み補正部471は、比R/rと物体高rとの関係をテーブルとして保持しておき、そのテーブルを参照することで物体高rに対応する比R/rを取得する。次に、歪み補正部471は、歪み補正処理後の画素座標(x,y)に対応する、歪み補正処理前の画素座標(X,Y)を下式(24)を用いて取得する。
ここで、(center_X,center_Y)は、歪み補正処理前の光軸中心の座標である。例えば、歪み補正処理前の光軸中心は、歪み補正処理前の画像の中心である。
次に、歪み補正部471は、算出した歪み補正処理前の画素座標(X,Y)に基づいて、歪み補正処理後の画素座標(x,y)における画素値を算出する。(X,Y)が整数でない場合、周囲の画素値に基づく線形補間により画素値を算出する。歪み補正部471は、以上の処理を歪み補正処理後の画像の全画素に対して行う。歪み補正部471は、このようにして歪み補正された画像を、画像メモリー472及び動き検出部473に出力する。
画像メモリー472は、歪み補正部471により歪み補正された歪み補正後画像を保存する。保存された歪み補正後画像は、新たな歪み補正後画像が歪み補正部471より出力されるタイミングと同期して、動き検出部473に出力される。
動き検出部473は、歪み補正部471により歪み補正された歪み補正後画像と、画像メモリー472に保存されていた歪み補正後画像とに基づいて、画像の局所的な動きを検出する。以下では説明を簡単にするため、前者の歪み補正後画像を現フレーム画像とし、後者の歪み補正後画像を前フレーム画像とする。
具体的には、動き検出部473は、局所的な動きを検出する点である代表点を、現フレーム画像上に設定する。例えば図41に示すように、現フレーム画像の画素において一定間隔かつ格子状に代表点(図41に示す●)を設定する。動き検出部473は、現フレーム画像と前フレーム画像の間の代表点の動きベクトルを、局所的な動き量として算出する。例えば、公知の技術であるブロックマッチングを用いて動きベクトルを検出する。動き検出部473は、設定した代表点の座標と、各代表点において検出した動きベクトルとを、設定部474に出力する。
設定部474は、歪み補正部471からの現フレーム画像と、動き検出部473からの代表点の座標及び各代表点の動きベクトルとに基づいて、注目領域を設定する。具体的には、設定部474は、現フレーム画像と動きベクトルに基づいて抜去状態か否かを判定し、抜去状態であれば側方視野を注目領域に設定し、抜去状態でなければ前方視野を注目領域に設定する。設定部474は、設定した注目領域を測光部416に出力する。
ここで、抜去状態とは、管腔状臓器の奥まで内視鏡を挿入した後に、内視鏡を抜きながら観察を行う状態を指す。大腸に対しては一般的にこのような観察が行われるため、抜去状態であればヒダ裏観察が容易になるように側方視野を注目領域に設定し、抜去状態でなければ内視鏡操作が容易になるように前方視野を注目領域に設定する。
9.2.抜去状態の判定手法
図42(A)〜図42(D)を用いて、抜去状態の判定手法について説明する。まず、代表点における動きベクトルに基づいて、動きベクトルの消失点を検出する。
具体的には図42(A)において、●が代表点を表し、実線矢印が動きベクトルを表し、×が消失点を表す。消失点とは、各代表点を始点として各代表点における動きベクトルに沿った方向に延長した直線の交点である。例えば観察対象が内径の一定な円筒状であり、動きベクトルが内視鏡の動きのみにより生じるとすると、抜去状態の場合には、各代表点から延長した直線は消失点において一点で交わる。実際には、観察対象である管腔状臓器の内径は一定ではなく、また動きベクトルは生体拍動によっても生じるため、抜去状態であっても直線が消失点において一点で交わらない。そのため、全ての直線からの距離の二乗和を第1の評価値とし、その第1の評価値が最も小さい点を消失点候補とする。直線をax+by+c=0とし、点を(p,q)とすると、第1の評価値Dは下式(25)により求められる。
ここで、上式(25)における和は、代表点から延長した全ての直線についての距離の二乗の総和を表す。
最小二乗法により、第1の評価値Dを最小とする消失点候補の座標(xsk,ysk)を、下式(26)を用いて算出する。
ここで、代表点の座標を(Px,Py)とし、代表点における動きベクトルを(Mx,My)とすると、a=My、b=−Mx、c=MxPy−MyPxである。
次に、その消失点候補における第1の評価値Dが所定の第1の閾値以下であり、その消失点候補が画像内に存在する場合、その消失点候補を消失点とする。消失点候補がこの条件を満たさない場合、消失点が検出できないと判定する。
この条件で抜去状態が検出可能な理由について詳細に説明する。ここで、図42(B)に示すように、内視鏡先端の動く方向を定義する。x方向、y方向、z方向は、画像上においてそれぞれ水平方向、鉛直方向、水平方向及び鉛直方向と直交する奥行きの方向に対応する。またx方向、y方向、z方向について矢印に沿う動きを正の動きと定義し、反対の動きを負の動きと定義する。抜去状態では、内視鏡先端はz方向負の動きとなる。抜去状態ではなく、例えば内視鏡の先端の動きがx方向正の動きである場合、図42(C)に示すように、動きベクトルはほぼ平行となるため、その消失点候補は画像外に存在する。あるいは、消失点候補が画像内に存在したとしてもその消失点候補における第1の評価値Dは大きな値となる。即ち、消失点候補が画像内に存在し、第1の評価値Dが第1の閾値より小さいという条件により、z方向の動きを検出できる。
次に、抜去状態か否かの判定を行う。図42(D)に示すように、内視鏡を挿入した場合でも消失点が検出される。そのため、各代表点からその消失点へのベクトル(破線矢印)と動きベクトル(実線矢印)に基づいた判定を行う。具体的には、その消失点へのベクトルと動きベクトルとの内積が負となる代表点が所定の個数以上ある場合、消失点が検出されないと判定する。消失点が検出されない場合、抜去状態ではないと判定する。
次に、検出した消失点座標における現フレーム画像の画素値を第2の評価値とし、その第2の評価値に基づいて観察対象が管腔状臓器か否かを判定する。消失点座標が整数でない場合、第2の評価値を周囲の画素値に基づいて線形補間により算出する。そして、第2の評価値が所定の第2の閾値以下の場合、管腔状臓器と判定する。観察対象が管腔状でなく平坦な場合でも、内視鏡先端がz方向負の動きをすると消失点が検出されるため、このような判定が必要となる。
具体的には、観察対象が管腔状の場合、現フレーム画像上において照明光があまり照射されない管腔状臓器の奥に消失点が位置するため、第2の評価値は小さくなる。一方観察対象が平坦な場合、現フレーム画像上において照明光が比較的照射される領域に消失点が位置するため、第2の評価値は大きくなる。よって、第2の評価値が第2の閾値以下であるか否かを判定することで、管腔状の観察対象に対して内視鏡を抜きながら行う観察である抜去状態を判定できる。
なお、上記の実施形態では、抜去状態から非抜去状態へと判定が切り替わる場合、即座に前方視野が注目領域に設定されるが、本実施形態はこれに限定されない。例えば、非抜去状態という判定が所定フレーム連続した場合に、前方視野を注目領域に設定しても構わない。非抜去状態から抜去状態へと判定が切り替わる場合も同様に、抜去状態という判定が所定フレーム連続した場合に側方視野を注目領域に設定しても構わない。このようにして注目領域を設定することで、挿入と抜去を小刻みに繰り返した場合、注目領域が頻繁に切り替わり表示画面が不安定となることを防ぐことができる。
以上の実施形態によれば、図39に示すように、注目領域設定部413は動き検出部473を有する。動き検出部473は、撮像画像に基づいて被写体の動き量を取得する。注目領域設定部は、取得した動き量に基づいて注目領域を設定する。
具体的には、図42(A)等で説明したように、注目領域設定部413は、動き量に基づいて、スコープが抜去されている状態であると判定された場合、撮像画像の中の側方視野に対応する領域を注目領域に設定することを特徴とする内視鏡装置。
通常、大腸を観察する場合にはスコープを抜去しながら観察を行う。そのため、抜去時に側方視野に対応する領域を注目領域に設定して調光制御することで、大腸のヒダ裏など診断に有用な情報を好適に取得することができる。
また本実施形態では、動き検出部473は、複数の代表点の動きベクトルを動き量として算出し、算出された動きベクトルの消失点を求める。注目領域設定部413は、求められた消失点が撮像画像の中に存在し、代表点から消失点に向かうベクトルと動きベクトルとの内積が正である場合、スコープが抜去されている状態であると判定する。
このようにすれば、消失点の位置を判定することで、スコープが挿入又は抜去されていることを判定でき、動きベクトルの向きを判定することで挿入か抜去かを判定できる。
また本実施形態では、注目領域設定部413は、消失点の画素値が閾値(第2の閾値)より小さいと判断された場合に、スコープが抜去されている状態であると判定する。
このようにすれば、上述したようにスコープが壁面に正対した状態であるか管腔に沿った方向に向いた状態であるかを判定できるため、管腔に沿った方向の移動である抜去状態を判定できる。
また本実施形態では、注目領域設定部413は、動き量に基づいて、スコープが抜去されている状態でないと判定された場合、撮像画像の中の前方視野に対応する領域を注目領域に設定する。
このようにすれば、抜去時以外において主に使用すると考えられる前方視野を注目領域に設定して調光制御できる。例えば、挿入時には前方視野を使って内視鏡を操作するため、その操作に有用な情報が多く含まれる前方の情報を提示できる。
また本実施形態では、図39に示すように、動き検出部473は歪み補正部471を有する。歪み補正部471は、スコープの光学系が有する歪曲収差に基づいて、撮像画像の歪み補正を行う。動き検出部473は、歪み補正後の撮像画像に基づいて動き量を取得する。
このようにすれば、例えば図1の対物光学系等の視野範囲の広い光学系を使用した場合に、その歪曲収差による画像の歪みを補正できる。これにより、動き量検出に対する歪みの影響を軽減できる。
10.第9の実施形態
10.1.内視鏡装置
形状検出部により被写体の形状情報を取得し、その形状情報に基づいて注目領域を設定する第9の実施形態について説明する。
図43に、第9の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、挿入部300、制御装置400、表示部500、外部I/F部550、形状検出部700(例えばUPD(Position Detecting Unit))を含む。なお、図3等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
挿入部300は、ライトガイドファイバー301と、照明レンズ314、315と、対物光学系303と、撮像素子304と、A/D変換部305と、磁気コイル312を含む。磁気コイル312以外は、第1の実施形態と同一であるため、説明を省略する。
磁気コイル312は、挿入部300に例えば十数個設けられており、それぞれが形状検出部700(広義には形状情報取得部)に対して磁気を発信する。複数の磁気コイル312は、例えば挿入部300の長さ方向に沿って配列される。
形状検出部700は、挿入部300の各部に設けられた磁気コイル312が発信する磁気を、図示しないアンテナにより受信し、各磁気コイルの三次元位置情報をリアルタイムに取得する。形状検出部700は、取得した磁気コイルの三次元位置情報から、挿入部300の形状を表す内視鏡形状情報をリアルタイムに取得する。
制御装置400は、画像処理部410と、制御部420と、状態情報取得部430を含む。制御部420は、第1の実施形態と同一であるため、説明を省略する。
10.2.状態情報取得部
図44に、第9の実施形態における状態情報取得部430の詳細な構成例を示す。状態情報取得部430は、被写体情報取得部436と、観察情報取得部437を含む。形状検出部700は、検出した内視鏡形状情報を、被写体情報取得部436と、観察情報取得部437に出力する。被写体情報取得部436は、注目領域設定部413に接続される。観察情報取得部437は、注目領域設定部413に接続される。
被写体情報取得部436は、形状検出部700により取得された内視鏡形状情報に基づいて、被写体が下部消化管であるか否かを判定する。具体的には、被写体情報取得部436は、内視鏡形状情報に基づいて、体内に挿入されている内視鏡の長さ及び内視鏡形状がループを形成しているか否かの判定結果を取得し、その長さと判定結果に基づいて下部消化管であるか否かを判定する。
より具体的には、一般的に、下部消化管を内視鏡検査する場合、それ以外の臓器を内視鏡検査する場合に比べて内視鏡を奥深くまで挿入する。そのため、被写体情報取得部436は、所定の長さ以上内視鏡が体内に挿入されていれば、被写体が下部消化管であると判定する。また、下部消化管に内視鏡を挿入する場合においてのみ、挿入を容易にするため内視鏡でループを形成する挿入法がある。そのため、被写体情報取得部436は、内視鏡でループが形成されていれば、被写体が下部消化管であると判定する。
被写体情報取得部436は、体内に挿入されている内視鏡が所定の長さを超えるか、または内視鏡がループを形成するまでは被写体は下部消化管ではないと判定する。そして、いずれかの条件を満たした場合、被写体は下部消化管であると判定し、以降はその判定結果を変更しない。被写体情報取得部436は、その判別結果を被写体情報として注目領域設定部413に出力する。
観察情報取得部437は、形状検出部700により取得された内視鏡形状情報に基づいて、内視鏡が抜去状態であるか否かを判定する。具体的には、観察情報取得部437は、内視鏡形状情報に基づいて、体内に挿入されている内視鏡の長さが経時的に短くなっているか否かを判定し、経時的に短くなっている場合に抜去状態であると判定する。観察情報取得部437は、抜去状態の判定結果を、観察情報として注目領域設定部413に出力する。
10.3.画像処理部
第9の実施形態における画像処理部410は、前処理部411と、同時化部412と、注目領域設定部413と、後処理部415と、測光部416と、階調変換部419を含む。なお、構成は、図17で説明した第2の実施形態と同様である。注目領域設定部413以外の動作や処理は第2の実施形態と同一であるため、説明を省略する。
注目領域設定部413は、状態情報取得部430より出力される被写体情報と観察情報に基づいて、注目領域を設定する。具体的には、注目領域設定部413は、被写体情報に基づいて被写体が下部消化管であると判定され、観察情報に基づいて内視鏡が抜去状態であると判定される場合、側方視野を注目領域として設定する。それ以外の場合は、前方視野を注目領域として設定する。注目領域設定部413は、設定した注目領域を測光部416に出力する。
以上の実施形態によれば、図44に示すように、内視鏡装置は、スコープ挿入部(挿入部300)の形状情報(例えば、図43の磁気コイル312の三次元位置情報)を取得する形状検出部700を含む。状態情報取得部430は、被写体情報取得部436を有する。被写体情報取得部436は、取得された形状情報を状態情報として取得し、その形状情報に基づいて被写体情報を取得する。注目領域設定部413は、取得された被写体情報に基づいて注目領域を設定する。
具体的には、被写体情報取得部436は、形状情報に基づいて被写体の部位を判定し、判定した部位を被写体情報として取得する。注目領域設定部413は、被写体の部位が下部消化管であると判定された場合、撮像画像の中の側方視野に対応する領域を注目領域として設定する。
より具体的には、被写体情報取得部436は、スコープ挿入部がループ形状であると判断された場合に、被写体の部位が下部消化管であると判定する。
このようにすれば、被写体の形状情報に基づいて判定した部位に応じて注目領域を設定して調光制御できる。また下部消化管の場合に側方視野の明るさを調光制御することで、抜去時等において大腸のヒダ裏など診断に有用な情報を、術者に好適に提示できる。
ここで、被写体情報とは、被写体に関する情報である。被写体情報は被写体の部位に限定されず、被写体の形状情報から推定される情報であればよく、例えば被写体の大きさや長さであってもよい。
また本実施形態では、状態情報取得部430は、観察情報取得部437を有する。観察情報取得部437は、取得された形状情報を状態情報として取得し、その形状情報に基づいて観察状態情報を取得する。注目領域設定部413は、取得された観察状態情報に基づいて注目領域を設定する。
具体的には、観察情報取得部437は、形状情報に基づいてスコープの進行方向を判定し、判定した進行方向を観察状態情報として取得する。注目領域設定部413は、スコープが抜去されていると判定された場合、撮像画像の中の側方視野に対応する領域を注目領域として設定する。
このようにすれば、スコープが抜去操作されている場合に側方視野の明るさを調光制御できる。例えば被写体が下部消化管でありスコープが抜去操作されている場合に側方視野の明るさを調光制御することで、術者がヒダ裏等を観察しやすくなる。
また本実施形態では、注目領域設定部413は、被写体が下部消化管であると判定され抜去状態であると判定された場合以外の場合、撮像画像の中の前方視野に対応する領域を注目領域として設定する。
このようにすれば、上部消化管の観察や下部消化管における挿入操作において重要な前方視野を注目領域に設定し、その注目領域の明るさを調光制御できる。
11.第10の実施形態
11.1.概要
画像から赤玉領域を検出し、その赤玉領域以外の領域を注目領域に設定する第10の実施形態について説明する。
内視鏡を大腸に挿入するのが難しい理由は、大腸が狭い管腔であり、屈曲し捩れており、更に内視鏡挿入に依存して伸縮変形する事にある。このような状況にあって操作者は内視鏡像を観察して挿入方向を判断しながら、内視鏡の操作を駆使して挿入方向へ導く手技を行う。内視鏡の操作は、内視鏡先端の上下左右のアングル操作や、内視鏡挿入部(適宜スコープと呼ぶ)の押し引き捻り等である。
このような挿入手技は、熟練していないドクターにとっては難しいものである。特に挿入時は内視鏡挿入部を押す操作が多いので内視鏡先端が腸壁に頻繁に接触し、内視鏡像は赤玉と呼ばれる画像全体が赤いピンボケ状態となり、挿入方向がまったく判断できなくなる。このような状態となると、内視鏡挿入部を若干引き戻すことにより、赤玉状態から挿入方向を確認できる状態に戻して再度挿入操作を行う必要があり、挿入時間が長引く原因の1つとなっている。
180度以上の広視野の光学系を先端に有する内視鏡においては、内視鏡先端が腸壁に接触しても広い視野全てを塞ぐことがないので、上記の赤玉状態は内視鏡像全域で発生するわけでなく、一部の視野は確保できる。即ち、内視鏡先端が腸壁に接触した状態でも挿入方向を確認できる可能性があるということである。
そこで本実施形態では、180度以上の光学系の内視鏡像において赤玉領域を検出し、その赤玉領域以外の領域を注目領域として設定し、その注目領域の視認性を向上させた状態でドクターに提示することで、挿入時間の短縮に繋げる。視認性を向上させた状態とは、注目領域に対する調光制御により注目領域が適正露光に調整された状態である。
図45に、大腸をモデル化した管腔の壁面に、内視鏡挿入部の先端が斜めから接触している状態を示す。図46(A)に示すように、この状態の内視鏡像では、赤玉領域が内視鏡像の大半を占める状態となっている。この状態でも、管腔がまっすぐで口が開いている場合には、暗部として挿入方向は判断できる。一方、管腔が屈曲している状態、或は管腔の口が閉じた状態では、挿入方向は明確な暗部にならず見分けが付け難くなるので、内視鏡像の赤玉以外の小さな注目領域をより拡大した状態で観察したくなる。そこで、図46(B)に示すように、赤玉領域以外の小さな注目領域を拡大表示する。このようにして、識別しにくい挿入方向を判断できるようになる。
また、図46(A)の赤玉領域は、挿入部の先端が腸壁に接触した状態で照明光が腸壁に当たっているので、赤玉領域とそれ以外の注目領域で相対的に明暗差が発生する。特に内視鏡では、照明光量を調整(調光処理)して、内視鏡像を適正露光状態に制御する。そのため、赤玉領域が多くを占めると、赤玉領域の明るさが適正露光状態となるように調光制御してしまう。これだと、せっかく赤玉領域以外の注目領域が視野内にあっても、その注目領域が暗く適正露光にならない可能性があるため、注目領域に対して拡大処理を行っても挿入方向の視認性を確保できない。そこで、赤玉領域以外の注目領域を調光対象領域に指定して調光処理を行う。これにより、注目領域を適正露光状態で観察できるようになり、挿入方向の識別が容易になる。
図46(A)は、腸壁に対して斜めから接触する場合の例であるため、挿入方向を赤玉領域以外の領域として大雑把に判断しても、ある程度挿入していくことは可能である。しかしながら、大腸(管腔)の屈曲部等では、腸壁に対して正対した状態で内視鏡先端が腸壁に接触する場合もある。この場合には、内視鏡像の中央部分が赤玉領域となり、周辺部分が赤玉領域以外の注目領域となる。この場合は、赤玉領域以外の領域を見つけただけでは挿入方向を認識できない。そこで、上記と同様に注目領域である周辺領域を拡大表示し、周辺領域を調光対象領域に指定して調光処理を行う。これにより、拡大された周辺領域の360度の方向の中から、挿入すべき方向をより簡単に認識できるようになる。
11.2.画像処理部
次に、本実施形態の赤玉領域を検出する手法と、赤玉領域以外の領域を注目領域に設定する手法について詳細に説明する。
図47に、第10の実施形態における画像処理部410の詳細な構成例を示す。画像処理部410は、前処理部411、同時化部412、注目領域設定部413、変倍処理部414、後処理部415、測光部416を含む。以下では、図6等で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。なお、第10の実施形態における内視鏡装置は、図3等で上述した第1の実施形態と同様である。
前処理部411は同時化部412に接続される。同時化部412は注目領域設定部413と変倍処理部414に接続される。注目領域設定部413は変倍処理部414と測光部416に接続される。変倍処理部414は後処理部415に接続される。後処理部415は表示部500に接続される。制御部420は、前処理部411、同時化部412、注目領域設定部413、変倍処理部414、後処理部415、測光部416に接続される。
注目領域設定部413は、赤玉領域以外の領域を注目領域に設定する。変倍処理部414は、設定された注目領域を拡大する処理を行う。これらの処理については、詳細に後述する。測光部416は、画像の明るさ(例えば輝度)を算出する。測光部416は、注目領域が設定された場合、注目領域の明るさを算出する。測光部416は、算出した明るさを制御部420に出力する。制御部420は、その明るさに基づいて光源絞り駆動部103を制御し、調光処理を行う。
11.3.注目領域設定部
図48に、第10の実施形態における注目領域設定部413の詳細な構成例を示す。注目領域設定部413は、色変換部461と、赤玉領域候補検出部462と、デフォーカス検出部463と、赤玉領域判定部464と、変倍パラメーター設定部465を含む。
色変換部461は、赤玉領域候補検出部462とデフォーカス検出部463に接続される。赤玉領域候補検出部462は赤玉領域判定部464に接続される。デフォーカス検出部463は赤玉領域判定部464に接続される。赤玉領域判定部464は変倍パラメーター設定部465と測光部416に接続される。変倍パラメーター設定部465は変倍処理部414に接続される。制御部420は、赤玉領域候補検出部462とデフォーカス検出部463と変倍パラメーター設定部465と接続される。
色変換部461は、同時化部412から出力されるカラー画像のRGB信号を、輝度信号と色信号に変換する。なお以下では、RGB信号をYCbCr信号に変換する場合を例に説明する。色変換部461は、算出した輝度信号Yをデフォーカス検出部463と測光部416へ出力し、色差信号Cb、Crを赤玉領域候補検出部462へ出力する。
赤玉領域候補検出部462は、入力される色差信号Cb、Crを、制御部420からのブロックサイズ情報(例えばN×Nブロック)に基づいて、ブロック領域に分割する。そして、赤玉領域候補検出部462は、ブロック領域内の色差信号の統計量から赤玉領域候補を判定し、ブロック領域毎の判定情報を赤玉領域判定部464へ出力する。
デフォーカス検出部463は、入力される輝度信号Yを、制御部420からのブロックサイズ情報に基づいて、ブロック領域に分割する。そして、デフォーカス検出部463は、ブロック領域内の高周波数成分の有無からブロック領域がデフォーカス状態か否かを判定し、ブロック領域毎の判定情報を赤玉領域判定部464へ出力する。
赤玉領域判定部464は、赤玉領域候補検出部462により赤玉候補領域と判定され、デフォーカス検出部463によりデフォーカス状態と判定されたブロック領域を、赤玉領域と判定する。赤玉領域判定部464は、その判定結果を、変倍パラメーター設定部465と測光部416へ出力する。
図49に示すように、変倍パラメーター設定部465は、分割された各ブロック領域(N×Nブロックの各ブロック)に対する変倍パラメーターを設定する。具体的には、変倍パラメーター設定部465は、赤玉領域判定部464の判定結果に基づいて、結像領域内のブロック領域のうち赤玉領域でないと判定されたブロック領域を、注目領域に設定する。変倍パラメーター設定部465は、注目領域と赤玉領域との関係に基づいて、各ブロック領域に対する変倍パラメーターを設定し、設定した変倍パラメーターを変倍処理部414へ出力する。
変倍処理部414は、結像領域内の注目領域が拡大表示されるように非注目領域との間の表示倍率を再設定し、注目領域が赤玉領域に対して相対的に拡大された画像を生成する。再設定とは、表示倍率の変更にともなって、変倍処理後の画素位置(整数精度)に対する変倍処理前の座標位置(実数精度)の変換テーブルを作成することである。
測光部416は、注目領域設定部413から出力された赤玉領域以外の注目領域情報と、色変換部461から出力される輝度信号とに基づいて、注目領域の平均輝度レベルを算出する。
11.4.赤玉領域候補検出部
図50に、赤玉領域候補検出部462の詳細な構成例を示す。赤玉領域候補検出部462は、領域分割部481と、統計量算出部482と、特定色領域判定部483と、メモリー484を含む。
領域分割部481は統計量算出部482に接続される。統計量算出部482は特定色領域判定部483に接続される。特定色領域判定部483は、メモリー484と赤玉領域判定部464に接続される。また制御部420は、領域分割部481と特定色領域判定部483に接続される。
領域分割部481は、色変換部461から出力されるCb信号、Cr信号を、制御部420からのブロックサイズに基づいて、それぞれブロック領域に分割し、そのブロック領域を統計量算出部482へ出力する。
統計量算出部482は、Cb信号のブロック領域におけるCb信号の平均値Cba(x,y)と標準偏差値Cbs(x,y)を算出し、Cr信号のブロック領域におけるCr信号の平均値Cra(x,y)と標準偏差値Crs(x,y)を算出する。統計量算出部482は、算出したこれらの値を特定色領域判定部483へ出力する。ここで、xは水平方向のブロック領域の座標を表し、yは垂直方向のブロック領域の座標を表す。画像の左上が原点(0,0)である。画像の右(水平走査方向)へ行くに従ってxの値が大きくなる。画像の下(水平走査方向に直交する方向)へ行くに従ってyの値が大きくなる。
特定色領域判定部483には、上記の平均値と標準偏差値が入力される。また特定色領域判定部483には、Cb信号とCr信号を座標軸とする2次元平面(以下では、色相平面と呼ぶ)において、赤玉領域候補を規定する特定色領域情報が制御部420から入力される。
ここで、特定色領域情報とは、色相平面内における領域を指定する情報であり、例えば色相角と彩度で指定してもよいし、CbCr座標で指定してもよい。
また特定色領域判定部483には、大腸を一般的に観察した場合の粘膜及び血管の色領域を規定する通常色領域情報が制御部420から入力される。通常色領域情報は、色相平面内における領域を指定する情報であり、特定色領域情報と同様の形式により指定すればよい。なお以下では、特定色領域情報が表す色相平面の領域を特定色領域と呼び、通常色領域情報が表す色相平面の領域を通常色領域と呼ぶ。
図49に示すように、特定色領域判定部483は、平均値Cba(x,y)、Cra(x,y)が特定色領域内に入る場合は、そのブロック領域の赤玉領域候補フラグFrc(x,y)を‘ON’に設定し、そのフラグFrc(x,y)をメモリー484に記録する。赤玉領域候補フラグFrc(x,y)は、赤玉領域候補を表すフラグとして各ブロック領域に割り当てられている。特定色領域判定部483は、ブロック領域が赤玉領域候補と判定されない場合は、そのブロック領域の赤玉領域候補フラグFrc(x,y)を‘OFF’に設定し、そのフラグFrc(x,y)をメモリー484に記録する。
特定色領域判定部483は、標準偏差値Cbs(x,y)が閾値ThCbより小さく、かつ、標準偏差値Crs(x,y)が閾値ThCrより小さい場合は、そのブロック領域の赤玉領域候補フラグFrc(x,y)を変更せず、そのままにする。閾値ThCb、ThCrは、メモリー484に格納されている。一方、標準偏差値Cbs(x,y)が閾値ThCb以上であるか、或は、標準偏差値Crs(x,y)が閾値ThCr以上である場合は、そのブロック領域の赤玉領域候補フラグFrc(x,y)を‘OFF’に設定する。特定色領域判定部483は、設定した赤玉領域候補フラグFrc(x,y)を赤玉領域判定部464へ出力する。
ここで、閾値ThCbと閾値ThCrは、過去に撮像されたカラー画像におけるブロック領域の平均値Cba(x,y)、Cra(x,y)が、通常色領域に含まれている場合で、且つ、ブロック領域の標準偏差値Cbs(x,y)、Crs(x,y)の最大値MaxCbss、MaxCrssに所定係数(1より小さい)を乗算したものである。所定係数は、予め制御部420内に保存され、制御部420から取得される。
過去の標準的な粘膜領域の最大標準偏差MaxCbss、MaxCrssを基準にしたのは、特定色領域に含まれる色バラツキが、通常観察している粘膜領域よりも小さいブロック領域を、赤玉領域候補として検出するためである。即ち、デフォーカス状態の赤玉領域では、ボケのために粘膜内の血管が分解されず、粘膜と血管との間の色バラツキが低減するためである。
11.5.デフォーカス検出部
図51に、デフォーカス検出部463の詳細な構成例を示す。デフォーカス検出部463は、領域分割部491と、周波数成分生成部492と、高周波有無判定部493を含む。
領域分割部491は周波数成分生成部492に接続される。周波数成分生成部492は高周波有無判定部493に接続される。また制御部420は、領域分割部491と高周波有無判定部493に接続される。
領域分割部491は、色変換部461から出力される輝度信号を、制御部420からのブロックサイズに基づいて、ブロック領域に分割し、分割したブロック涼気を周波数成分生成部492へ出力する。
周波数成分生成部492は、ブロック領域に対して例えばDCT(離散コサイン変換)やFFT(高速フーリエ変換)を行い、周波数成分に変換する。周波数成分生成部492は、生成した各ブロック領域の周波数成分を、高周波有無判定部493へ出力する。
高周波有無判定部493には、各ブロック領域の周波数成分と、制御部420からの高周波判定閾値Thf及び高周波有無判定閾値Thpとが、入力される。高周波有無判定部493は、所定値より大きな振幅値の周波数成分の最高周波数が高周波判定閾値Thfより大きく、周波数成分総和が高周波有無判定閾値Thpより大きい場合は、ブロック領域がフォーカス状態にあると判定し、デフォーカス状態フラグFdf(x,y)を‘OFF’に設定する。高周波有無判定部493は、周波数成分総和が高周波有無判定閾値Thp以下の場合は、デフォーカス状態と判定し、デフォーカス状態フラグFdf(x,y)を‘ON’に設定する。高周波有無判定部493は、設定したデフォーカス状態フラグFdf(x,y)を赤玉領域判定部464へ出力する。
なお、デフォーカス検出部463は上記構成に限定されない。例えば、デフォーカス検出部463は、単純なハイパスフィルター或はバンドパスフィルターにより輝度信号を処理し、抽出した高周波成分信号をブロック領域内において絶対値加算し、その値を所定閾値により閾値判定することで、デフォーカス状態を判定してもよい。
赤玉領域判定部464は、赤玉領域候補フラグFrc(x,y)とデフォーカス状態フラグFdf(x,y)の論理積を取ることにより、赤玉領域フラグFr(x,y)を得る。図52に示すように、赤玉領域判定部464は、赤玉領域フラグFr(x,y)が‘ON’である複数ブロック領域を包含する境界線を例えば閉曲線で近似して設定し、この境界線内の領域を最終的な赤玉領域の判定結果とする。そして、赤玉領域判定部464は、この領域内の赤玉領域フラグFr(x,y)を全て‘ON’に設定し、その赤玉領域フラグFr(x,y)を変倍パラメーター設定部465へ出力する。
11.6.変倍パラメーター設定部
図53に、変倍パラメーター設定部465の詳細な構成例を示す。変倍パラメーター設定部465は、赤玉領域パラメーター算出部495と、ブロック変倍パラメーター算出部496を含む。
赤玉領域パラメーター算出部495はブロック変倍パラメーター算出部496に接続される。ブロック変倍パラメーター算出部496は、変倍処理部414に接続される。また制御部420は、赤玉領域パラメーター算出部495とブロック変倍パラメーター算出部496に接続される。
図52に示すように、赤玉領域パラメーター算出部495は、入力された赤玉領域フラグFr(x,y)が‘ON’である領域の重心位置R0と、その重心位置R0から赤玉領域境界までの最大距離Rrを算出する。具体的には、制御部420からのブロックサイズに基づいて、赤玉領域フラグFr(x,y)が‘ON’である全ブロック領域の中心座標を算出し、算出した中心座標の赤玉領域内平均値を重心位置R0とする。また、赤玉領域内のブロック領域の中心座標と重心位置R0の最大距離を探索し、最大距離Rrを求める。赤玉領域パラメーター算出部495は、算出した重心位置R0と最大距離Rrをブロック変倍パラメーター算出部496へ出力する。
ブロック変倍パラメーター算出部496は、入力される重心位置R0と最大距離Rrに基づいて、赤玉領域を円で定義(以下では、この円内を赤玉領域と呼ぶ)する。赤玉領域の中心は重心位置R0であり、赤玉領域の半径は最大距離Rrである。また、全体の結像領域も円で定義(以下では、この円内を結像領域と呼ぶ)される。結像領域の中心は光軸中心であり、結像領域の半径と共に光学系に基づいて予め決定されている。結像領域の中心と半径は制御部420からブロック変倍パラメーター算出部496へ入力される。
ブロック変倍パラメーター算出部496は、赤玉領域と結像領域から各ブロック領域の変倍パラメーターを決定する。具体的には、赤玉領域の中心位置をR0とし、ブロック領域の中心位置をB0(x,y)とする場合に、R0とB0(x,y)を通る直線を求める。そして、この直線と結像領域の境界との交点ISb(x,y)を算出し、この直線と赤玉領域の境界との交点Rb(x,y)を算出する。
ブロック変倍パラメーター算出部496は、線分|R0−Rb(x,y)|の距離Rrと線分|ISb(x,y)−Rb(x,y)|の距離DS(x,y)との比DRatio(x,y)を、下式(27)により算出する。また、R0とB0(x,y)との距離DB(x,y)を、下式(28)により算出する。DRatio(x,y)とDB(x,y)は全ブロック領域に対して算出される。
DRatio(x,y)
=|ISb(x,y)−Rb(x,y)|/|R0−Rb(x,y)|
=|ISb(x,y)−Rb(x,y)|/Rr (27)
DB(x,y)
=|R0−B0(x,y)| (28)
ブロック変倍パラメーター算出部496は、各ブロックに対応して算出した比DRatio(x,y)、距離DB(x,y)、赤玉領域の中心R0、赤玉領域の半径Rrを、変倍処理部414に出力する。
変倍処理部414は、ブロック変倍パラメーター算出部496から入力されるブロック領域毎のパラメーターを1画面分蓄積し、画素単位の倍率変換テーブルを作成する。図54に示すように、赤玉領域と非赤玉領域の距離比DRatio(x,y)は、変倍前正規化距離に対する複数の変倍後正規化距離の対応曲線から1つを選択する為に用いられる。この曲線は、ルックアップテーブル(LUT)で記述してもよいし、多項式の係数で記述してもよい。この曲線は、変倍処理部414内の不図示のROMテーブルに格納され、ROMテーブルのアドレスが距離比DRatio(x,y)に対応している。
変倍処理部414は、各ブロック領域の正規化距離ND(x,y)を下式(29)により算出する。
ND(x,y)=DB(x,y)/(1+DRatio(x,y))×Rr
(29)
変倍処理部414は、算出した正規化距離ND(x,y)に基づいて、各ブロック領域を代表する変倍前後の正規化距離の対応関係(以下では、代表対応関係と呼ぶ)を決定する。代表対応関係は、図54に示す変倍後の正規化距離に対する変倍前の正規化距離である。変倍処理部414は、注目ブロック領域内の各画素における変倍前後の正規化距離の対応関係を、注目ブロック領域の代表対応関係とその周辺ブロック領域の代表対応関係を用いて、補間により算出する。例えば、補間処理として線形補間が利用できる。
変倍処理部414は、赤玉領域の中心位置R0から注目ブロック領域内の画素位置P(i,j)までの実距離と、その画素位置での変倍前後の正規化距離の対応関係を乗算し、正規化距離での対応関係を実距離での対応関係に変換する。ここで、i、jは、それぞれ画素ピッチ精度の水平座標、垂直座標を示す。変倍後の画素位置(整数精度)に対応する変倍前の画素位置(実数精度)は、変倍後の画素位置P’(i,j)と赤玉領域の中心位置R0を結んだ線分上にあるので、実距離に対応する座標値として一意に決定される。
変倍処理部414は、決定した変倍前の座標値における画素値を、その座標値の周辺複数画素値(画素値は整数精度の画素位置にある)を用いて補間により算出する。例えば、補間処理として線形補間やBiCubic等が利用できる。このよういして、赤玉領域に対して赤玉領域でない注目領域を相対的に拡大した変倍画像が生成できる。
なお、赤玉領域の判定処理は、常に実施してもよいし、外部I/F部550が有する不図示のスイッチにより赤玉領域の判定処理を手動でON・OFF制御してもよい。即ち、赤玉領域が発生したとユーザーが判断したら、スイッチをONすることにより赤玉領域の判定処理を実施するようにしてもよい。
以上の実施形態によれば、撮像画像は、生体内が撮像された画像である。注目領域設定部413は、接触状態情報取得部(図48の色変換部461、赤玉領域候補検出部462、デフォーカス検出部463、赤玉領域判定部464)を有する。接触状態情報取得部は、スコープ先端部と生体との接触状態情報(赤玉領域の情報)を、撮像画像に基づいて取得する。注目領域設定部413は、その接触状態情報に基づいて注目領域を設定する。
具体的には、接触状態情報取得部は、撮像画像において特定の色範囲の色を有する特定色領域(色相平面において赤玉領域を表す色領域)を検出し、特定色領域に基づいて接触領域を設定する。注目領域設定部413は、その接触領域以外の領域を注目領域に設定する。
例えば本実施形態では、赤玉領域候補検出部462(広義には、特定色領域検出部)が特定色領域を検出し、赤玉領域判定部464(広義には、接触領域設定部)が接触領域を設定する。
このようにすれば、生体との接触領域(赤玉領域。広義には観察不可領域)を判定し、その接触領域以外の領域を注目領域に設定して調光制御できる。上述のように、歪曲収差により画像歪が発生するような広視野の光学系では、接触領域があっても他の領域に管腔の挿入方向が写っている場合がある。そのため、接触領域以外の領域の明るさを調光制御することで、挿入方向の視認性を向上でき、挿入時間の短縮が図れる。
また本実施形態では、接触状態情報取得部は、特定色領域の画像を空間周波数成分に変換し、変換された空間周波数成分が所定の閾値以下である場合、特定色領域を接触領域に設定する。例えば変換された空間周波数成分の振幅値が所定値以上となる最高周波数が第1の閾値以下、或いは空間周波数成分の振幅値の総和が第2の閾値以下であると判定した場合、特定色領域を接触領域に設定する
例えば本実施形態では、デフォーカス検出部463(広義には、空間周波数変換部)が特定色領域の画像を空間周波数成分に変換し、変換された空間周波数成分が所定の閾値以下であるか否かを判定する。
このようにすれば、接触領域ではデフォーカスにより画像の高周波成分が小さいと考えられるため、特定色領域の高周波成分を閾値判定することで、接触領域を検出できる。
また本実施形態では図52で説明したように、接触状態情報取得部は、特定色領域を含む円を設定し、円の内側を接触領域に設定する。調光制御部は、その接触領域の円の外側の領域の調光制御を行う。
接触状態情報は、接触領域の位置(円の中心位置R0)と大きさ(半径Rr)を表す情報である。
このようにすれば、接触領域を円領域に設定し、その円の外側の領域の明るさを調光により制御することで、接触領域以外の領域を適正露光で表示できる。
また本実施形態では、図47に示すように、内視鏡装置は変倍処理部414を含んでもよい。図52で説明したように、変倍処理部414は、接触領域の円の中心と撮像画像の外周(結像領域の外周)を結ぶ直線において、円の中心から円周までの距離Rrと円周から外周までの距離DS(x,y)の比DRatio(x,y)に基づいて、注目領域の拡大率(図54の変倍前後の正規化距離の対応関係)を設定する。
このようにすれば、接触領域の円の中心から撮像画像の外周を結ぶ直線に沿った変倍処理により、注目領域を拡大表示することができる。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。