JP2014064657A - 立体内視鏡装置 - Google Patents

Abstract

【課題】立体内視鏡装置において、処置器具が撮像部に近接することによる視覚的な妨害感を軽減する仕組みを提供する。
【解決手段】操作可能な処置具と、被写体を撮像する複数の撮像部であって、処置具が写っていない画像と処置具の操作に従って処置具が写っている画像とを取得する、複数の撮像部と、処置具が写っている画像から処置具が写っている領域を検出する検出部と、画像を置き換える置換領域を決定する領域決定部であって、該置換領域は処置具が写っている領域の少なくとも一部である、領域決定部と、置換領域を処置具が写っていない画像で置き換える画像処理部と、を備える立体内視鏡装置。
【選択図】図１

Description

本発明は、立体内視鏡装置に関する。

立体内視鏡装置は、被観察体内へ挿入される内視鏡の先端に左右一組の光学系及び撮像素子を含むステレオカメラを具備する。立体内視鏡装置は、該左右一組の光学系及びステレオカメラで人間の両眼で捉えたものと同等の、視差のある、左右の画像をそれぞれ撮像し、この左右の画像を用いて３次元表示装置にて被観察体を立体的に表示するものである。

図７には、従来の立体内視鏡装置の先端部の構成が示されており、ステレオカメラ（１０１Ｒ、１０１Ｌ）と処置具を挿入するための処置具用チャネル１０２、照明１０３が配置されている。医師は３次元表示装置に映し出された立体映像を観察しながら、処置具等を利用して手術を行う。

このような立体内視鏡装置では、処置具のようにステレオカメラに非常に近接するものに対しては、ステレオカメラによって決定される輻輳角が大きくなりすぎることにより、立体視が困難になる。

この問題に対して、特許文献１では、予め決定された領域のみを２次元画像化する方法やマスク画像を生成して重畳する方法が開示されている。

特開２００４―６５８０４号公報

しかしながら、上記特許文献１に記載の先行技術では、立体視が困難な領域を予め求め、その部分に関しては単眼の画像のみを表示する、又はマスク画像を重畳する方法をとっている。そのため、３次元画像の中に２次元画像が混在する領域が常に存在することになり、立体視をする上で妨害感が生じていた。

本発明は、上記の課題に鑑みてなされたものであり、内視鏡に近接する物体の領域を２次元画像で置き換えるのではなく、３次元画像で置き換えることにより、殆どの領域で立体視を可能にし、内視鏡の作業性を向上させることを目的とする。

本発明は、
操作可能な処置具と、
被写体を撮像する複数の撮像部であって、処置具が写っていない画像と処置具の操作に従って処置具が写っている画像とを取得する、複数の撮像部と、
前記処置具が写っている画像から処置具が写っている領域を検出する検出部と、
画像を置き換える置換領域を決定する領域決定部であって、該置換領域は前記処置具が写っている領域の少なくとも一部である、領域決定部と、
前記置換領域を前記処置具が写っていない画像で置き換える画像処理部と、
を備える立体内視鏡装置、である。

本発明によれば、立体内視鏡観察において、内視鏡に近接する物体が存在しても、画面の殆どの領域において、近接二重視のない３次元画像による観察を可能にし、より作業性の高い立体内視鏡を提供することができる。

第１の実施形態の機能ブロック図である。 第１の実施形態の画像処理フローである。 第１の実施形態の各処理工程での画像イメージである。 第１の実施形態の内視鏡システムの概略図である。 第１の実施形態の内視鏡本体先端部の概略図である。 第２の実施形態の各処理工程での画像イメージである。 従来の実施形態の内視鏡本体先端部の概略図である。

本発明の好ましい形態について、添付図面に従って詳説する。ただし、発明の範囲は図示例に限定されるものではない。

(第１の実施形態）
図１は、第１の実施形態の機能ブロック図を示している。図中、１０１Ｒ、１０１Ｌはそれぞれ被写体を撮像する内視鏡の撮像部を示している。さらに、図中、１１はメモリ、１２は撮像された画像から処置具を検出し、検出された処置具の画像の一部を処置具が写っていない画像で置き換える制御部、１３は立体画像表示部を示している。かかる構成により、撮像部１０１Ｒおよび１０１Ｌによって取り込まれた画像は、メモリ１１にそれぞれの画像として一旦保持される。制御部１２では、検出部がメモリ１１に保持されたそれぞれの画像から処置具を検出し、当該情報をもとに領域決定部が画像を置き換える置換領域を決定し、画像処理部が当該置換領域の画像置換処理を行う。その結果を表示部１３で立体表示する。

図２は、第１の実施形態の画像処理のフロー図である。以降は、このフロー図に沿って第１の実施形態の画像処理について説明する。

本実施形態では、ステップ２０１で処理を開始すると、処理はステップ２０２の第１の画像取得に移る。

ステップ２０２の第１の画像取得では、処置具１４が内視鏡先端から出ていない状態で、複数の撮像系により撮影を行う。その結果得られた画像イメージをメモリ１１に保持する。図３は、各処理工程において、メモリ１１に保持されたそれぞれの撮像系で撮影された画像イメージの一例であり、図３（ａ）は、ステップ２０２で撮影された画像イメージの一例である。この状態では、処置具１４は内視鏡先端から出ておらず、図３（ａ）のＬ及びＲのどちらの画像にも処置具１４が写っていないことがわかる。

ステップ２０２の第１の画像取得が行われると、処理はステップ２０３の処置具突出に移る。ステップ２０３の処置具突出では、処置具１４を内視鏡先端からゆっくり突出する。この際、処置具１４を急に出すと、臓器を傷つける恐れがある。

ステップ２０３の処置具突出の後、処理はステップ２０４の第２の画像取得に移る。ステップ２０４の第２の画像取得では、処置具の操作に従って、処置具１４が内視鏡先端から突出した状態で、複数の撮像系により撮影を行う。その結果得られた画像イメージをメモリ１１に保持する。図３（ｂ）は、メモリ１１に保持された、ステップ２０４の第２の画像取得で撮影された画像イメージの一例である。この状態で、立体視を行うと、処置具１４が二重に見えて、非常に妨害感があることがわかる。

ステップ２０４で第２の画像取得が行われると、処理はステップ２０５の処置具検出に移る。ステップ２０５の処置具検出では、第２の画像取得で取得されたそれぞれの画像内において処置具１４が写っている領域を特定する。当該領域の特定は、ステップ２０４の第２の画像取得において撮影した画像イメージを解析し、処置具１４が写っている領域を検出することにより行われる。他にも、処置具１４の軌跡が内視鏡構造上一意に決まることから、あらかじめ、全ての位置での処置具１４の画像のテンプレートを作成しておき、軌跡上をテンプレートマッチングすることで、処置具１４の位置を検出することもできる。

ステップ２０５の処置具検出により処置具１４が写っている領域を検出した後、処理はステップ２０６の置換領域決定に移る。ステップ２０６の置換領域決定では、処置具１４が写っている領域のどの領域を置換するかを決定する。本実施形態では、処置を行う際に使用者が処置具１４の位置を認識できるようにするために、図３（ｃ）の斜線部のように、処置具１４の先端部を認識できる程度の領域を残して、処置具１４の先端部以外の領域を置換する領域とする。また、別の実施形態としては、ステップ２０５で検出した処置具１４の領域全てを置換し、処置具１４の認識については、マーカーを画面上に配置することで対応することも可能である。さらに、処置具１４が写っている領域の全てで近接二重視が生じてしまう場合もある。その場合には、左右画像のどちらか一方では、処置具１４の領域全てを置換領域とし、残りの一方では、処置具１４の先端部を残して、処置具が１４の先端部以外の領域を置換領域とすることもできる。これにより、処置具１４の先端部のみを２次元画像として認識でき、処置具１４の位置を把握することができ、かつ、近接二重視を防ぐことも可能になる。

ステップ２０６の置換領域決定が行われると、処理はステップ２０７の画像置換に移る。ステップ２０７の画像置換では、ステップ２０６で求めた置換領域を、ステップ２０２の第１の画像取得で得た画像の対応する領域の画像で置換する。これにより、処置具１４による近接二重視はなくなり、画面の殆どの領域において、立体視を行うことができ、より作業性の高い内視鏡観察が可能になる。図３（ｄ）は当該置換後の画像を示す。ここで、ステップ２０２の第１の画像取得では、ステップ２０３の処置具突出の直前の画像に限らず、それ以前に取得した画像を用いてもよい。

ステップ２０７の画像置換後、処理はステップ２０８に移り、画像処理を終了する。

次に、本発明を適用した内視鏡システムの実施形態について図４を用いて説明する。ここで、内視鏡システムは、内視鏡本体２０、内視鏡本体に着脱可能なコントロールボックス２１、コントロールボックスに接続されたモニタディスプレイ２２、及び光源２３によって構成される。また、本実施形態の内視鏡本体の挿入部先端を図５に表す。２４Ｒと２４Ｌは、それぞれ撮像系であり、図示しないレンズ系やＣＣＤやＣＭＯＳ等のイメージセンサで構成されている。２５は照明出射口、２６は操作可能な処置具用のチャネル孔である。コントロールボックス２１には、前記機能ブロック図(図１)のメモリや制御部が配置されている。

以上述べたように、本実施形態では、それぞれの撮像部により取得された画像の中の処置具が写っている領域を検出し、それらの領域の一部あるいは、全領域を、処置具が写っていない状態の時の同じ場所の画像で置き換える。これにより、立体内視鏡観察において、内視鏡に近接する物体が存在しても、画面上の殆どの領域において、近接二重視のない３次元画像による観察を可能にし、より作業性の高い立体内視鏡を提供することができる。

(第２の実施形態)
第２の実施形態は、処置具１４を突出させる時に、内視鏡が動いてしまった場合に対応する。この場合、第１の実施形態のように、ステップ２０７の画像置換において、ステップ２０２の第１の画像取得で得た画像の対応する領域をそのまま使用したのでは、位置ずれが生じてしまうことが課題となる。そこで本実施形態では、ステップ２０７の画像置換において、ステップ２０６の置換領域決定で定めた置換領域に対応する対応領域の画像を、ステップ２０２の第１の画像取得で得た画像とステップ２０４の第２の画像取得で得た画像のマッチングから求める。その後、当該マッチングから求めた、ステップ２０２の第１の画像取得で得た画像における、対応領域の画像を用いて置換領域を置換する。

以下にマッチングに関する具体的な方法について詳述する。図６（ａ）は、ステップ２０２の第１の画像取得で得られた右撮像系による画像イメージである。これに対し、図６（ｂ）は、ステップ２０４の第２の画像取得で得られた、処置具１４を突出した状態での画像イメージであるが、内視鏡の位置ずれにより、図６（ａ）の画像内での対象物と比べて、画像内での対象物が少しずれていることがわかる。以降、左撮像系で得られた画像に対する処理も同様であるため、省略する。この画像に対して、第１の実施形態を適応した場合が、図６（ｃ）であり、置換後の置換領域の画像がずれてしまっている。これは、置換する領域に対応するステップ２０２の第１の画像取得での画像がずれているためである。そこで、本実施例では、置換する領域に対応する、処置具を突出する前の画像における対応領域の検出を行う。具体的には、第２の画像取得で取得した画像（図６（ｂ））における処置具１４の写っていない領域で、かつ、元画像より少し狭い範囲をテンプレート化して、第１の画像取得で取得した画像（図６（ａ））と領域ベースマッチングを行う。具体的な範囲は、図６（ｄ）の斜線領域であり、画像としては、図６（ｅ）のようになる。領域ベースマッチングの相違度としては、ＳＡＤ（Sum of Absolute Differences）を用いることができる。ＳＡＤは、テンプレート画像と探索対象の同じ位置の画素の輝度値の差の絶対値の合計であり、０に近いほど、テンプレート画像と対象画像が類似していることを示す指標であり、下記式で定義される。

ここで、テンプレートの大きさは、（Ｎ_１，Ｎ_２）、テンプレートをＴ（ｉ，ｊ）、対象画像をＩ（ｉ，ｊ）とする。実際には、第１の画像取得で取得した画像（図６（ａ））に対して、テンプレートを動かしながら、ＳＡＤを計算し、ＳＡＤの最も小さくなった位置を調べる。これにより、ステップ２０６の置換領域決定で求めた置換領域に対応する、ステップ２０２の第１の画像取得で得た画像における対応領域を求めることができる。その後、当該対応領域を用いてステップ２０７の画像置換を行うことによって、図６（ｆ）のように、位置ずれなく、置換を行うことができる。

テンプレートとしては、本実施形態で用いたものに限定される必要は無く、画像全体をテンプレートとしても良いし、画像から切り抜いた一部の矩形領域、円形領域、その他、多角形でも良い。また、領域ベースマッチングは、ＳＳＤ（Sum of Squared Differences）、ＮＣＣ（Normalized Cross Correlation）、ＰＯＣ（Phase-Only Correlation）などの手法を用いてもよい。また、第１の実施形態同様、ステップ２０２の第１の画像取得は、ステップ２０３の処置具突出の直前の画像である必要はなく、例えば、直前画像よりも、ステップ２０４で得られた画像に近い位置関係の画像があれば、そちらを用いてもよい。

本実施形態では、内視鏡が突出した状態と突出していない状態で、内視鏡の位置がずれてしまった場合でも、領域ベースのマッチング処理を行うことで、ずれ量を求め、処置具１４の領域を置換するための画像を的確に求め、画像置換を行うことができる。これにより、立体内視鏡観察において、内視鏡に近接する物体が存在しても、殆どの画面において、近接二重視のない３次元画像による観察を可能にし、より作業性の高い立体内視鏡を提供することができる。

（第３の実施形態）
第３の実施形態では、ステップ２０５の処置具検出において、ステップ２０４の第２の画像取得で得た画像から処置具１４を抽出するのではなく、処置具の送り量をセンサー１５で検出することで、処置具１４がどれだけ内視鏡先端から突出しているかを検出する。

以下、図１を参照して第３の実施形態について詳述する。第３の実施形態では、センサー１５をさらに備える。センサー１５は、処置具１４の送り量を検出し、当該情報を制御部１２に伝える。これにより、制御部１２内の検出部がセンサーからの情報に基づいて、画像における処置具が写っている領域を検出し、領域決定部が検出部からの情報をもとに画像を置き換える置換領域を決定し、画像処理部が当該置換領域の画像置換処理を行う。その結果を表示部１３で立体表示する。

第１の実施形態では、上述のようにステップ２０５の処置具検出において、検出部がステップ２０４の第２の画像取得で撮影した画像イメージを解析し、処置具１４が写っている領域を抽出する。これに対し、第３の実施形態では、センサーから処置具の送り量の情報に基づいて画像における処置具が写っている領域を検出する。

本実施形態では、処置具の送り量をセンサーで検出することで、処置具１４の突出を正確に検出することができ、画像を置換する領域を的確に定めて画像置換を行うことができる。これにより、立体内視鏡観察において、内視鏡に近接する物体が存在しても、殆どの画面において、近接二重視のない３次元画像による観察を可能にし、より作業性の高い立体内視鏡を提供することができる。

１０１Ｒ、２４Ｒ…右目用撮像系
１０１Ｌ、２４Ｌ…左目用撮像系
１２…制御部（検出部、領域決定部、画像処理部）
１４…処置具

Claims (16)

1. 操作可能な処置具と、
   被写体を撮像する複数の撮像部であって、処置具が写っていない画像と処置具の操作に従って処置具が写っている画像とを取得する、複数の撮像部と、
   前記処置具が写っている画像から処置具が写っている領域を検出する検出部と、
   画像を置き換える置換領域を決定する領域決定部であって、該置換領域は前記処置具が写っている領域の少なくとも一部である、領域決定部と、
   前記置換領域を前記処置具が写っていない画像で置き換える画像処理部と、
   を、備える立体内視鏡装置。
2. 前記画像処理部は、前記置換領域に対応する、前記処置具が写っていない画像における対応領域を検出し、前記置換領域を前記対応領域の画像で置き換える請求項１に記載の立体内視鏡装置。
3. 前記画像処理部は、前記処置具が写っていない画像と前記処置具が写っている画像との領域ベースマッチングにより、前記対応領域を検出する、請求項２に記載の立体内視鏡装置。
4. 処置具の送り量を検出するセンサーをさらに備え、
   前記検出部は、前記センサーによって検出された処置具の送り量に基づいて、前記処置具が写っている領域を検出する、請求項１乃至３のいずれか一項に記載の立体内視鏡装置。
5. 前記検出部は、予め作成された前記処置具の画像のテンプレートを用いて、前記処置具の軌跡上をテンプレートマッチングすることで、前記処置具が写っている領域を検出する、請求項１乃至３のいずれか一項に記載の立体内視鏡装置。
6. 前記領域決定部は、前記処置具を使用者に認識させるために、前記処置具が写っている領域における前記処置具の先端部以外の領域を前記置換領域として決定する、請求項１乃至５のいずれか一項に記載の立体内視鏡装置。
7. 前記置換領域は前記処置具が写っている領域の全てであり、
   前記画像処理部は、前記処置具を使用者に認識させるために、置換後の画像に処置具のマーカーを配置する、請求項１乃至５のいずれか一項に記載の立体内視鏡装置。
8. 前記領域決定部は、前記処置具を使用者に認識させるために、前記複数の撮像部のうちの１つの撮像部で取得した画像でのみ、前記処置具が写っている領域における前記処置具の先端部以外の領域を前記置換領域として決定し、他の撮像部で取得した画像では、前記処置具が写っている領域の全てを前記置換領域として決定する、請求項１乃至５のいずれか一項に記載の立体内視鏡装置。
9. 複数の撮像部で処置具が写っていない画像を取得することと、
   処置具を操作することと、
   前記処置具の操作に従って処置具が写っている画像を、複数の撮像部で取得することと、
   前記処置具が写っている画像から処置具が写っている領域を検出することと、
   前記処置具が写っている領域から画像を置換する置換領域を決定することと、
   前記置換領域を前記処置具が写っていない画像で置換することと、
   を備える、立体内視鏡における画像処理方法。
10. 前記置換領域に対応する、前記処置具が写っていない画像における対応領域を検出することをさらに備え、
    前記置換することは、前記置換領域を前記対応領域の画像で置換する、請求項９に記載の画像処理方法。
11. 前記対応領域を検出することは、前記処置具が写っていない画像と前記処置具が写っている画像との領域ベースマッチングにより、前記対応領域を検出する、請求項１０に記載の画像処理方法。
12. 前記処置具が写っている領域を検出することは、センサーが検出した処置具の送り量に基づいて、前記処置具が写っている画像から前記処置具が写っている領域を検出する、請求項９乃至１１のいずれか一項に記載の画像処理方法。
13. 前記処置具が写っている領域を検出することは、予め作成された前記処置具の画像のテンプレートを用いて、前記処置具の軌跡上をテンプレートマッチングすることで、前記処置具が写っている領域を検出する、請求項９乃至１１のいずれか一項に記載の立体内視鏡装置。
14. 前記置換領域を決定することは、前記処置具を使用者に認識させるために、前記処置具が写っている領域における前記処置具の先端部以外の領域を前記置換領域として決定する、請求項９乃至１３のいずれか一項に記載の立体内視鏡装置。
15. 前記置換領域は前記処置具が写っている領域の全てであり、
    前記置換することは、前記処置具を使用者に認識させるために、置換後の画像に処置具のマーカーを配置する、請求項９乃至１３のいずれか一項に記載の立体内視鏡装置。
16. 前記置換領域を決定することは、前記処置具を使用者に認識させるために、前記複数の撮像部のうちの１つの撮像部で取得した画像でのみ、前記処置具が写っている領域における前記処置具の先端部以外の領域を前記置換領域として決定し、他の撮像部で取得した画像では、前記処置具が写っている領域の全てを前記置換領域として決定する、請求項９乃至１３のいずれか一項に記載の立体内視鏡装置。

Images