JP2021171475A - 内視鏡及び内視鏡システム - Google Patents

Abstract

【課題】撮像素子の受光面の前方に向いた前方窓を通して得られる生体組織の直視像と、前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に撮像する際に、死角領域および重複領域を抑える。【解決手段】体腔内の生体組織を撮像する内視鏡は、生体組織の像を撮像するように構成された撮像素子と、前記撮像素子の受光面の前方に向いた前方窓を通して得られる生体組織の直視像と、前記前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に前記受光面に結像させる対物レンズと、前記前方窓及び前記側方窓の少なくともいずれか一方に設けられ、制御信号で入射光の偏向特性を調整することにより、前記直視像と前記側視像の少なくともいずれか一方の視野範囲を変化させる光学素子と、を備える。【選択図】図３

Description

本発明は、体腔内の生体組織を撮像する内視鏡及び内視鏡システムに関する。

内視鏡は、人体等の体腔内に挿入され体腔内の内表面の生体組織を撮像する撮像素子を備える装置である。内視鏡は、例えば、大腸内に挿入され、生体組織に非健常部の有無、例えば病変部の有無を判定するために、撮像画像をモニタに表示する。大腸内の生体組織を診断する場合、内表面に突出した襞が撮像の邪魔にならないように、内視鏡を一方向に引きながら襞を一方向に倒して襞の基部に病変部があるか否かを判定しなければならない。しかし、襞を一方向に倒しても襞の陰に隠れた部分に病変部が存在する場合もある。また、撮像する像の視野が狭い場合、隣接する襞との間の部分は、撮像できない場合もある。
このため、襞が倒れることなく種々の方向から襞の間を撮像できるようにするために、撮像素子の対物光学系に、広視野角の対物レンズを用いる場合がある。

また、観察対象の管内に挿入する挿入部と、この挿入部の先端方向に視野を有する直視観察部と、挿入部の側面方向に視野を有する側視観察部と、挿入部から突出し、側視観察部の視野に死角を形成する突出部と、を有する内視鏡と、直視観察部を用いて直視観察画像を取得し、かつ、側視観察部を用いて側視観察画像を取得する画像取得部と、を備える内視鏡システムが知られている（特許文献１）。

特開２０１８−５７７９９号公報

上記内視鏡システムでは、直視観察画像と側視観察画像とを同時に取得するので、広い範囲の観察対象を表示部に表示させることができる。
しかし、直視観察画像と側視観察画像との間には、両方の画像に映らない死角領域が発生する場合がある。すなわち、側視観察画像に表示されていた病変部が、内視鏡の移動に伴って消え、その後、直視観察画像に突然現れる場合がある。また、直視観察画像と側視観察画像との間には、両方の画像に映る重複領域が発生する場合がある。すなわち、重複領域に病変部があり、側視観察画像と直視観察画像に同時に病変部が存在する場合がある。
このような視野範囲が不連続な画像を同時に画像表示することは、内視鏡操作者にとって違和感を与える。また、死角領域にある病変部を見落とし、重複領域にある病変部の箇所数を誤ってカウントして、誤診断を招きやすい。

そこで、本発明は、撮像素子の受光面の前方に向いた前方窓を通して得られる生体組織の直視像と、前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に撮像する際に、死角領域および重複領域を抑えて滑らかな視野範囲を実現することができる内視鏡及び内視鏡システムを提供することを目的とする。

本発明の一態様は、体腔内の生体組織を撮像する内視鏡であって、
生体組織の像を撮像するように構成された撮像素子と、
前記撮像素子の受光面の前方に向いた前方窓を通して得られる生体組織の直視像と、前記前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に前記受光面に結像させる対物レンズと、
前記前方窓及び前記側方窓の少なくともいずれか一方に設けられ、制御信号で入射光の偏向特性を調整することにより、前記直視像と前記側視像の少なくともいずれか一方の視野範囲を変化させる光学素子と、を備えることを特徴とする。

前記制御信号を生成する制御ユニットを備え、
前記制御ユニットは、前記直視像と前記側視像を含む前記撮像画像において、前記直視像と前記側視像の間で互いに重複する重複領域が小さくなること、及び、前記撮像画像の視野において死角領域が小さくなることの少なくともいずれか一方を実現するように、前記制御信号を生成する、ことが好ましい。

前記制御ユニットは、前記撮像画像の画素値から、前記直視像と前記側視像との間の前記重複領域を抽出し、前記重複領域の大きさに応じて前記入射光の偏向特性を定めることにより、前記制御信号を生成する、ことが好ましい。

前記制御ユニットは、前記直視像及び前記側視像を含む前記撮像画像と、前記重複領域の大きさとの間の関係を事前に機械学習した予測モデルを備え、前記予測モデルを用いて、前記撮像素子で撮像した生体組織の前記撮像画像の画素値から、前記重複領域の有無と大きさを求めることにより、前記入射光の偏向特性を定める、ことが好ましい。

前記制御ユニットは、前記撮像素子で撮像した生体組織の前記直視像中の線状に延びる部分の像と前記側視像中の前記線状に延びる部分の像の、前記直視像あるいは前記側視像の端における位置ずれ量から、前記直視像と前記側視像との間の前記死角領域の大きさを求め、前記大きさに応じて前記入射光の偏向特性を定めることにより、前記制御信号を生成する、ことが好ましい。

前記制御ユニットは、前記撮像画像内の前記線状に延びる部分の位置ずれ位置及び位置ずれ量と、前記死角領域の大きさとの間の関係を事前に機械学習した予測モデルを備え、前記予測モデルを用いて、前記撮像素子で撮像した生体組織の前記撮像画像の画素値から求めた前記線状に延びる部分の位置ずれ位置と位置ずれ量から、前記死角領域の有無と大きさを求めることにより、前記変化量を定める、ことが好ましい。

前記側視窓は、前記撮像素子を囲む筒部材の周方向に沿って一周するように設けられ、
前記光学素子は、前記偏向特性が前記周方向で分布を持つように、前記周方向に沿った複数の場所それぞれに設けられている、ことが好ましい。

前記対物レンズの最大半画角は、９０度以上である、ことが好ましい。

本発明の他の一態様は、体腔内の生体組織を撮像する内視鏡と、前記内視鏡により撮像された生体組織の画像を画像処理する内視鏡用プロセッサと、を備える内視鏡システムであって、
前記内視鏡は、
生体組織の像を撮像するように構成された撮像素子と、
前記撮像素子の受光面の前方に設けられる前方窓を通して得られる生体組織の直視像と、前記前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に前記受光面に結像させる対物レンズと、
前記前方窓及び前記側方窓の少なくともいずれか一方に設けられ、制御信号で入射光の偏向特性を調整することにより、前記直視像と前記側視像の少なくともいずれか一方の視野範囲を変化させる光学素子と、を備え、
前記内視鏡用プロセッサは、生体組織の画像を画像処理し、さらに、前記入射光の偏向特性を制御するための制御信号を生成する画像処理ユニットを備え、
前記画像処理ユニットは、前記直視像と前記側視像を含む前記撮像画像において、前記直視像と前記側視像の間で互いに重複する重複領域が小さくなること、及び、前記撮像画像の視野において死角領域が小さくなることの少なくともいずれか一方を満足するように、前記制御信号を生成する、ことを特徴とする。

上述の内視鏡及び内視鏡システムによれば、生体組織の直視像と側視像とを、撮像画像として同時に撮像する際に、死角領域および重複領域を抑えて滑らかな視野範囲を実現することができる。

一実施形態の内視鏡の外観斜視図である。 一実施形態の内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡の先端部の構成の一例を示す図である。 一実施形態の内視鏡で用いる光学素子に入射した入射光の偏向方向の一例を説明する図である。 一実施形態の内視鏡の前方窓を通した視野範囲と、側方窓を通した視野範囲を模式的に示す図である。 一実施形態の内視鏡の先端部の器官内の挿入状態の一例を示す図である。 図６に示す先端部の挿入状態でモニタに表示される画像の一例を示す図である。 一実施形態の内視鏡の先端部の器官内の挿入状態の他の一例を示す図である。 図８に示す先端部の挿入状態でモニタに表示される画像の一例を示す図である。 一実施形態の内視鏡で用いる光学素子に入射した入射光の偏向方向を調整することにより得られる視野範囲の変化を説明する図である。 一実施形態の内視鏡で用いる光学素子の偏向特性の調整により得られるモニタに表示される画像の一例を示す図である。 一実施形態の内視鏡の制御ユニットを備えるコネクタの構成の一例を示す図である。

以下、本発明の実施形態の内視鏡及び内視鏡システムについて図面を参照しながら説明する。図１は、一実施形態の内視鏡の外観斜視図である。図２は、一実施形態の内視鏡システムの構成を示すブロック図である。図３は、一実施形態の内視鏡の先端部の構成の一例を示す図である。

図１に示す内視鏡（以降、電子スコープという）１００は、図２に示す電子内視鏡用のプロセッサ２００に接続されて内視鏡システム１を形成する。内視鏡システム１は、医療用に特化されたシステムであり、図２に示すように、電子スコープ１００、電子内視鏡用のプロセッサ２００、及びモニタ３００、を主に備える。電子スコープ１００及びモニタ３００は、それぞれプロセッサ２００に接続される。

電子スコープ１００は、図１に示すように、コネクタ１１０、操作部１２０、及び先端部１３２を主に備え、さらに、操作部１２０から前方の先端部１３２に向かって延びかつ可撓性を有する可撓性ケーブル１３０と、可撓性ケーブル１３０の前方に連結部を介して連結され、自在に湾曲する湾曲管１３４と、操作部１２０から後方に延びるユニバーサルチューブ１２８とを備える。コネクタ１１０は、ユニバーサルチューブ１２８の後端に固定され、プロセッサ２００と接続されるように構成されている。
操作部１２０、可撓性ケーブル１３０及び湾曲管１３４内には、複数の湾曲操作ワイヤが挿通され、各湾曲操作ワイヤの先端は、湾曲管１３４の後端に連結され、各湾曲操作ワイヤの後端は、操作部１２０の湾曲操作ノブ１２２に連結されている。湾曲管１３４は、湾曲操作ノブ１２２の操作に応じて任意の方向に任意の角度だけ湾曲する。

さらに、操作部１２０は、複数の操作ボタン１２４を備える。操作ボタン１２４は、内視鏡操作者（術者又は補助者）が操作ボタン１２４を押すことにより、先端部１３２の先端面に設けられた図示されない送気送水口からの水や気体の吐出、吸引口による生体組織にある液体や気体の吸引、及び対物レンズの洗浄のための洗浄液吐出ノズルからの洗浄液の吐出等の各機能を指示することができる。

湾曲管１３４の先端にある先端部１３２は実質的に弾性変形しない硬質樹脂材料（例えば、ＡＢＳ、変性ＰＰＯ、ＰＳＵなど）によって構成されている。
先端部１３２の内部には、ＬＥＤ光源１０２と、対物レンズ１０６の直後に位置する撮像素子１０８と、が設けられている。すなわち、長尺状の可撓性ケーブル１３０の先端に設けられた先端部１３２は、ＬＥＤ光源１０２、対物レンズ１０６、及び撮像素子１０８を備える。対物レンズ１０６は、撮像素子１０８の前面に設けられ、撮像素子１０８の受光面に生体組織の像を、視野角１８０度以上、好ましくは１８０度超の視野範囲で結像させる。先端部１３２には、後述するように、撮像素子１０８の受光面の前方に向いた前方窓と、前方窓に比べて側方の側に向いた側方窓が設けられ、前方窓及び側方窓を通して、対物レンズ１０６により受光面に結像した像を、撮像素子１０８は撮像するように構成されている。前方窓及び側方窓には、後述する入射光の偏向方向（偏向特性）を可変に調整できる光学素子が設けられている。ここで、前方に向いた前方窓とは、前方窓から見える視野範囲の中心の向きが前方である窓をいう。前方とは、先端部１３２の先端面の向く向きをいう。側方窓の向きは、側方窓から見える視野範囲の中心の向きである。側方窓は、この視野範囲が、前方窓の視野範囲に対して側方の領域を多く含むように向いていればよく、前方窓の向きに対して、例えば３０度〜９０度の範囲で傾いていればよい。下記説明では、側方窓の向きは、前方に対して直交する横方向に向いている形態を用いて説明する。

可撓性ケーブル１３０、湾曲管１３４、及び先端部１３２は、体腔内に挿入される挿入部１３５を形成する。先端部１３２に設けられた撮像素子１０８から延びる画像信号用ケーブルは、先端部１３２から、湾曲管１３４、可撓性ケーブル１３０、さらに、操作部１２０及びユニバーサルチューブ１２８の内部を通ってコネクタ１１０の内部まで延びている。コネクタ１１０は、プロセッサ２００に接続される。プロセッサ２００は、撮像素子から送られてくる画像信号を処理して、撮像素子１０８で撮像した被写体の画像をモニタ３００に表示するように制御している。

図２に示すように内視鏡システム１のプロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力される内視鏡操作者（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

内視鏡１００の先端部１３２には、撮像素子１０８の他にＬＥＤ光源１０２が設けられている。ＬＥＤ光源１０２は、撮像素子１０８による撮像のために、生体組織を照明する照明光を出射する。
ＬＥＤ光源１０２は、コネクタ１１０に設けられた光源制御回路１１６で生成される駆動信号により駆動されて光を出射する。ＬＥＤ光源１０２の替わりに、レーザ素子を用いてもよく、また、高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを用いてもよい。
図２に示す例では、ＬＥＤ光源１０２が、先端部１３２に設けられるが、コネクタ１１０あるいはプロセッサ２００に光源装置として設けられてもよい。この場合、光源装置から先端部１３２まで、照明光は、ファイバケーブルを複数本束ねたライトガイドを通して先端部１３２に導かれる。

ＬＥＤ光源１０２から出射した光は、照明光として、配光レンズ１０４を介して被写体である生体組織に照射される。生体組織からの反射光は、前方窓１４０及び側方窓１５０（図３参照）及び対物レンズ１０６を通して撮像素子１０８の受光面上で光学像を結ぶ。

撮像素子１０８は、例えば、ＩＲ（Infrared）カットフィルタ１０８ａ、ベイヤ配列のカラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。このように、電子スコープ１００は、撮像素子１０８を用いて、器官内部の生体組織を撮像し、動画を生成する。

電子スコープ１００のコネクタ１１０の内部には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、メモリ２０４に記憶された情報及び電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、先端部１３２に設けられた図３に示す前方窓１４０及び側方窓１５０に設けられた光学素子に入射する入射光の偏向方向を調整するための制御信号を、撮像した画像の内容に応じて生成し、入射光の偏向方向を調整するように構成される。
また、画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の画像に対して、病変部を健常部と区別できる画像の各画素の特徴量を数値化する数値化処理を行い、画像の病変部の進行の程度を評価し、さらに、数値化処理によって得られた各画素の数値を色に置換したカラーマップ画像を生成してもよい。この場合、画像処理ユニット２２０は、数値化処理の結果の情報とカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、内視鏡操作者は、モニタ３００の表示画面に表示された画像を通じて検査を精度よく行うことができる。画像処理ユニット２２０は、必要に応じてプリンタ４００に画像、数値化処理の結果の情報、及びカラーマップ画像を出力する。

プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。プロセッサ２００は、内視鏡による検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、プロセッサ２００は、内視鏡１００による検査結果をサーバ６００にアップロードすることにより、検査結果をサーバ６００に保存させることができる。

このような電子スコープ１００において、前方窓１４０（図３参照）を通して撮像される生体組織の直視像と側方窓１５０（図３参照）を通して撮像される生体組織の側視像とを、撮像画像として同時に撮像して、モニタ３００に表示するとき、両方の画像に映る重複領域によって、側視像と直視像に同時に同じ病変部が映ることは好ましくない。また、直視像と側視像とが不連続となった撮像画像をモニタ３００に表示することは、内視鏡操作者にとって違和感を与える。さらに、側視像と直視像との間に、死角領域がある場合、死角領域にある病変部を見落とすことは好ましくない。
このため、電子スコープ１００の先端部１３２の前方窓１４０（図３参照）及び側方窓１５０（図３参照）には、図３に示すように、制御信号で入射光の偏向特性を調整することにより、直視像と側視像の少なくともいずれか一方の視野範囲を変化させる光学素子１４２，１５２が設けられる。以下、この点を説明する。

先端部１３２は、対物レンズ１０６、撮像素子１０８、前方窓１４０、及び側方窓１５０を備える。対物レンズ１０６及び撮像素子１０８は、先端部１３２の硬質樹脂材料で形成された筒部材１３３内に配置されている。前方窓１４０及び側方窓１５０には、光学素子１４２，１５２が設けられている。
前方窓１４０は、撮像素子１０８の受光面１０８ｃの前方に向いている。側方窓１５０は、前方に対して直交する方向に向いている。
対物レンズ１０６は、メニスカスレンズ、凸レンズ、及び凹レンズを含むレンズ１０６ａ〜１０６ｅのレンズ群で構成されて、半画角は９０度以上、好ましくは９０度超、さらに好ましくは１１０度以上となっている。したがって、対物レンズ１０６は、前方窓１４０を通して得られる生体組織の直視像と、側方窓１５０を通して得られる生体組織の側視像とを、撮像画像として同時に受光面１０８ｃに結像させる。前方窓１４０は、レンズ１０６ａの被写体側の表面が兼ねている。

光学素子１４２，１５２は、制御信号で光学素子１４２，１５２に入射した入射光の偏向方向を調整することにより、直視像と側視像の少なくともいずれか一方の視野範囲を変化させる、例えば薄膜素子である。
光学素子１４２，１５２として、例えば、液晶レンズが用いられる。液晶レンズは、例えば、特許第特許５１５６９９９号公報、特許第６１２８７１９号公報等に知られた周知のものを用いることができる。液晶レンズは、例えば、ガラス基板同士を非平行に傾けて配置した隙間にネマティック液晶を封入した液晶セルを作り、液晶セルに電圧を印加し、電圧を調整して液晶の配列を制御することにより屈折率が連続的に変わり、入射光の偏向方向を連続的に変えることができる素子である。光学素子１４２，１５２は、印加電圧により屈折率が変化する電気光学結晶、例えばタンタル酸ニオブ酸カリウム等を用いた可変焦点レンズを用いてもよい。また、光学素子１４２，１５２は、曲率半径を変えることで入射光の偏向方向を変える液体レンズを用いてもよい。

図４は、光学素子１４２，１５２に入射した入射光の偏向方向の一例を説明する図である。図４に示すように入射光Ｌ_ｉｎは、制御信号Ｖの付与により、制御前の出射光Ｌ_ｏｕｔを、Ｌ_ｏｕｔ ^＊に変える。すなわち、光学素子１４２，１５２は、制御信号Ｖにより、入射光Ｌ_ｉｎの偏向方向を変える。
したがって、対物レンズ１０６の前面に光学素子１４２，１５２を設けることにより、対物レンズ１０６及び光学素子１４２，１５２を通して受光面１０８ｃに結像する像の視野範囲は、制御信号Ｖの付与により、狭くすることも、広くすることもできる。

図５は、一実施形態の電子スコープ１００の前方窓１４０を通した視野範囲Ｒ_１と、側方窓１５０を通した視野範囲Ｒ_２を模式的に示す図である。図５に示す例では、光学素子１４２，１５２の偏向特性を調整していないときの視野範囲を示している。
図５に示すように、受光面１０８ｃに結像される画像の視野範囲には、視野範囲Ｒ_１と視野範囲Ｒ_２の双方に重複する重複領域Ｒ_３が含まれる。また、この視野範囲Ｒ_１と視野範囲Ｒ_２の双方に含まれない死角領域Ｒ_４が存在する。このため、生体組織を撮像したとき、病変部が死角領域Ｒ_４にある場合もあれば、重複領域Ｒ_３にある場合もある。

図６は、電子スコープ１００の先端部１３２の器官内の挿入状態の一例を示す図である。図６では、先端部１３２が、器官内の右側に偏って位置するため、病変部Ｘの一部分が重複領域Ｒ_３に位置し、残りの部分が視野範囲Ｒ_１にある。図７は、図６に示す先端部１３２の挿入状態でのモニタ３００に表示される画像の一例を示す図である。モニタ３００には、視野範囲Ｒ_１の周りに視野範囲Ｒ_２が配置されて１つの画像となって表示される。視野範囲Ｒ_１と視野範囲Ｒ_２の重複領域Ｒ_３に病変部があると、図７に示すように、病変部Ｘが不連続になって重複して表示される。図７中の円形状の点線は、前方窓１４０から見える視野範囲の端と側方窓１５０から見える視野範囲の端の境目を示している。図７では、前方窓１４０から見える視野範囲の端と側方窓１５０から見える視野範囲の端とがモニタ３００の画面上で重なっている。したがって、図７では、重複領域Ｒ_３が点線の内側と外側に存在する。
このように、注目する病変部Ｘが不連続に、しかも重複して表示されることは、画像を見ながら病変部Ｘの大きさ、病変の進行の程度を判断する上で好ましくない。また、不連続で、重複部分を有する病変部Ｘの表示は、内視鏡操作者に不都合であり、違和感を与える。

図８は、電子スコープ１００の先端部１３２の器官内の挿入状態の他の一例を示す図である。図８では、先端部１３２が、図６に示す例よりもさらに器官内で右側に偏って位置するため、病変部Ｘの一部分が死角領域Ｒ_４に位置する。図９は、図８に示す先端部１３２の挿入状態でモニタ３００に表示される画像の一例を示す図である。モニタ３００には、視野範囲Ｒ_１の周りに視野範囲Ｒ_２が配置されて１つの画像となって表示される。図９中の２つの円形状の点線は、前方窓１４０から見える視野範囲の端と側方窓１５０から見える視野範囲の端を示している。したがって、この２つの点線の間は、死角領域Ｒ_４に対応する。この場合、病変部Xが死角領域Ｒ_４にある部分は、図９に示すように消滅して、不連続に表示される。このような場合、内視鏡操作者は、病変部Ｘが２か所あると誤判断をする場合があるので、病変部Ｘが部分的に消滅するような死角領域Ｒ_４をつくることは好ましくない。

図１０は、光学素子１４２，１５２に入射した入射光の偏向方向を調整することにより、光学素子１４２，１５２及び対物レンズを通して得られる視野範囲の変化を説明する図である。
光学素子１４２を制御信号Ｖにより調整することにより、受光面１０８ｃに結像する直視像の範囲は、視野範囲Ｒ_１から視野範囲Ｒ_１ ^＊になり（狭くなり）、あるいは視野範囲Ｒ_１ ^＊＊になる（広がる）。同様に、光学素子１５２を制御信号Ｖにより調整することにより、受光面１０８ｃに結像する側視像の範囲は、視野範囲Ｒ_２から視野範囲Ｒ_２ ^＊になり（狭くなり）、あるいは視野範囲Ｒ_２ ^＊＊になる（広がる）。
したがって、器官内に先端部１３２を挿入して生体組織を撮像するときに重複領域Ｒ_３がある場合、視野範囲Ｒ_１及び視野範囲Ｒ_２の少なくとも一方を狭くするように、光学素子１４２及び光学素子１５２の少なくとも一方の偏向特性を調整する。また、器官内に先端部１３２を挿入して生体組織を撮像するときに死角領域Ｒ_４がある場合、視野範囲Ｒ_１及び視野範囲Ｒ_２の少なくとも一方を広くするように、光学素子１４２及び光学素子１５２の少なくとも一方の偏向特性を調整する。これにより、病変部Ｘの画像に、重複部分あるいは消滅部分を無くすることができる。図１１は、一実施形態の電子スコープ１００で用いる光学素子１４２，１５２の偏向特性の調整により得られるモニタ３００に表示される画像の一例を示す図である。病変部Ｘの表示の不連続は解消され、また、消滅もない。

このように、先端部１３２の前方窓１４０及び側方窓１５０に、入射した入射光の偏向特性（偏向方向）を調整する光学素子１４２，１５２を設け、制御信号Ｖで入射光の偏向特性を調整することにより、直視像と側視像の少なくともいずれか一方の視野範囲を変化させるので、生体組織の直視像と側視像とを、撮像画像として同時に撮像する際に、死角領域および重複領域を抑えて滑らかな視野範囲を実現することができる。

なお、先端部１３２の前方窓１４０及び側方窓１５０の両方に、光学素子１４２，１５２を設けるが、前方窓１４０及び側方窓１５０の少なくとも一方に光学素子を設けて、制御信号で入射光の偏向特性を調整することにより、直視像と側視像の少なくともいずれか一方の視野範囲を変化させてもよい。

このような光学素子１４２，１５２に入射した入射光の偏向方向の調整は、一実施形態によれば、プロセッサ２００の画像処理ユニット２２０で生成された制御信号Ｖで行われる。制御信号Ｖは、一実施形態によれば、電子スコープ１００に設けられる制御ユニットで生成される。図１２は、一実施形態の電子スコープ１００の制御ユニットを備えるコネクタ１１０の構成の一例を示す図である。図１２に示す例では、コネクタ１１０に制御ユニット１１５が設けられる。ドライバ信号処理回路１１２で生成された画像信号を用いて重複領域Ｒ_３あるいは死角領域Ｒ_４の有無を判定し、複領域Ｒ３あるいは死角領域Ｒ４がある場合は、その大きさを求める。
また、画像処理ユニット２２０で制御信号Ｖを生成する場合も、画像処理ユニット２２０で得られた画像信号を用いて重複領域Ｒ_３あるいは死角領域Ｒ４の有無を判定し、複領域Ｒ_３あるいは死角領域Ｒ_４がある場合は、その大きさを求める。
この場合、制御ユニット１１５あるいは画像処理ユニット２２０は、直視像と側視像を含む撮像画像において、直視像と側視像の間で互いに重複する重複領域が小さくなること、及び、撮像画像の視野において死角領域が小さくなることの少なくともいずれか一方を実現するように、制御信号Ｖを生成することが好ましい。

一実施形態によれば、モニタ３００に表示される撮像画像内に病変部Ｘの存在を見出した場合、内視鏡操作者が、表示された病変部Ｘの像を見ながら操作ボタン１２４を操作することにより、光学素子１４２，１５２の偏向特性を調整してもよい。この場合、内視鏡操作者が操作ボタン１２４を押すことにより、光学素子１４２，１５２の偏向特性を調整する指示信号が図１２に示す制御ユニット１１５に送られる。制御ユニット１１５は、指示信号に従って制御信号Ｖを生成して、光学素子１４２，１５２の偏向特性を調整する。内視鏡操作者は、偏向特性の調整後の撮像画像がモニタ３００に表示され、さらに、偏向特性の調整のために操作ボタン１２による操作を繰り返す。

一実施形態によれば、制御ユニット１１５あるいは画像処理ユニット２２０は、撮像画像の画素値から、直視像と側視像との間の重複領域Ｒ_３を抽出し、重複領域Ｒ_３の大きさに応じて入射光の偏向特性を定めることにより、制御信号Ｖを生成することが好ましい。重複領域Ｒ_３の有無は、例えば、病変部Ｘが存在しない場合でも、被写体である生体組織表面の凹凸により輝度が変化した表面の像、あるいは、生体組織の表面に現れる色彩の変化や被写体上の血管等の特徴部分の他の部分と区別できる像を用いて、重複領域Ｒ_３の有無と重複領域Ｒ_３の大きさを求めることができる。光学素子１４２，１５２に現在印加している制御信号Ｖは既知であり、視野範囲Ｒ_１、視野範囲Ｒ_１ ^＊あるいは視野範囲Ｒ_１ ^＊＊、及び視野範囲Ｒ_２、視野範囲Ｒ_２ ^＊あるいは視野範囲Ｒ_２ ^＊＊の、撮像画像内における場所は既知であるので、重複領域Ｒ_３が生じ得る範囲を凡そ事前に特定することができる。このため、予め特定できる範囲内の撮像画像の画素値を調べることにより、重複領域Ｒ_３の有無と重複領域Ｒ_３の大きさを効率よく求めることができる。

一実施形態によれば、制御ユニット１１５あるいは画像処理ユニット２２０は、撮像素子１０８で撮像した生体組織の直視像中の線状に延びる部分の像と、側視像中の同じ線状に延びる部分の像の、直視像あるいは側視像の端における位置ずれ量から、直視像と側視像との間の死角領域の大きさを求め、大きさに応じて、光学素子１４２，１５２に入射した入射光の偏向方向を定めることにより、制御信号Ｖを生成することが好ましい。現在印加している制御信号Ｖは既知であるので、直視像の端と側視像の端の場所を凡そ知ることはできる。線状に延びる部分は、例えば、大腸内の襞の先端エッジ、あるいは、生体組織の表面に現れる血管、また病変部Ｘと健常部とを区切る線状に延びる境界部分等が挙げられる。線状に延びる部分は、ほぼ直線に延びることが好ましいが、滑らかに向きが変化する曲線であってもよい。滑らかに変化する曲線の場合、死角領域Ｒ_４により途切れた部分について、一方の線状に延びる部分から滑らかに変化する曲線の像を延長することにより、直視像あるいは側視像の端における他方の線状の像に対する位置ずれ量を求めることができる。

一実施形態によれば、先端部１３２に設けられる側視窓１５０は、撮像素子１０８を囲む筒部材１３３の周方向に沿って一周するように設けられる。この場合、光学素子１５２は、偏向特性、すなわち、入射光の偏向方向が、筒部材１３３の周方向で分布を持つように、周方向に沿った複数の場所それぞれに設けられていることが好ましい。先端部１３２の位置が器官の管内の中心からオフセットすることにより、重複領域Ｒ_３及び死角領域Ｒ_４の有無が周上で変わり、また、先端部１３２の位置のオフセット量に応じて、重複領域Ｒ_３及び死角領域Ｒ_４の大きさも周上で分布する。光学素子１５２が、側方窓１５０の周方向に沿った複数の場所それぞれに設けられることにより、モニタ３００に表示される画像において、重複領域Ｒ_３及び死角領域Ｒ_４を低減し、さらには無くすことができる。

一実施形態によれば、対物レンズ１０６の最大半画角は、９０度以上、さらには、９０度超である、ことが好ましい。最大半画角は、１００度以上であることがより好ましく、１１０度以上であることがより一層好ましく、１１２度以上であることが特に好ましい。このように電子スコープ１００が広い視野範囲で撮像することで、例えば、大腸等にある襞の基部にあり、襞が倒れることで遮られる病変部Ｘの存在を、襞が倒れる前に、側視像において効率よく撮像することができる。

制御ユニット１１５あるいは画像処理ユニット２２０は、撮像画像を用いて重複領域Ｒ_３あるいは死角領域Ｒ_４の有無及び大きさを求めるが、重複領域Ｒ_３あるいは死角領域Ｒ_４の有無及びその大きさは、事前に機械学習した予測モデルを用いて求めてもよい。制御ユニット１１５あるいは画像処理ユニット２２０は、直視像及び側視像を含む撮像画像と、重複領域Ｒ_３あるいは死角領域Ｒ_４の大きさとの間の関係を事前に機械学習した予測モデル（ＡＩモデル）を備える。制御ユニット１１５あるいは画像処理ユニット２２０は、この予測モデルを用いて、撮像素子１０８で撮像した生体組織の撮像画像の画素値から、重複領域Ｒ_３あるいは死角領域Ｒ_４の有無およびその大きさを求めることにより、光学素子１４２，１５２に入射した入射光の偏向特性(偏向方向)を定める。予測モデルは、撮像画像と死角領域Ｒ_４の大きさとの間の関係を機械学習する場合、例えば、撮像画像内の線状に延びる部分の、直視像と側視像との間の位置ずれ位置（位置ずれのある位置）及び位置ずれ量と、死角領域Ｒ_４の大きさとの間の関係を事前に機械学習する。
予測モデルは、ニューラルネットワークを利用する場合、深層学習により予測可能に形成されたディープニューラルネットワーク（ＤＮＮ）のモデル、木構造を利用したランダムフォレスト法によるモデル、ＬＡＳＳＯ回帰を利用したモデル、あるいは、多項式、クリギング、ＲＢＦネットワーク(Radial Basis Function Network:ＲＢＦＮ)等を利用した非線形関数を含む。
予測モデルを用いる場合、制御信号Ｖの情報も、直視像及び側視像を含む撮像画像とともに用いて、重複領域Ｒ_３あるいは死角領域Ｒ_４との間の関係を事前に機械学習させてもよい。この場合、予測モデルが重複領域Ｒ_３あるいは死角領域Ｒ_４の大きさを予測して求めるとき、入力データとして撮像画像に加えて、制御信号Ｖの情報も予測モデルに入力される。

以上、本発明の内視鏡及び内視鏡システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１ 内視鏡システム
１００ 内視鏡
１０２ ＬＥＤ光源
１０４ 配向レンズ
１０６ 対物レンズ
１０６ａ〜１０６ｅ レンズ
１０８ 撮像素子
１０８ａ カットフィルタ
１０８ｂ 色フィルタ
１１０ コネクタ
１１２ ドライバ信号処理回路
１１４ メモリ
１１５ 制御ユニット
１１６ 光源制御回路
１２０ 操作部
１２２ 湾曲操作ノブ
１２８ ユニバーサルチューブ
１３０ 可撓性ケーブル
１３２ 先端部
１３３ 筒状部材
１３４ 湾曲部
１４０ 前方窓
１４２，１５２ 光学素子
１５０ 側方窓
２００ プロセッサ
２０２ システムコントローラ
２０４ メモリ
２０６ タイミングコントローラ
２０８ 操作パネル
２１０ ＮＩＣ
２２０ 画像処理ユニット
３００ モニタ
４００ プリンタ
５００ ネットワーク
６００ サーバ

Claims (9)

1. 体腔内の生体組織を撮像する内視鏡であって、
   生体組織の像を撮像するように構成された撮像素子と、
   前記撮像素子の受光面の前方に向いた前方窓を通して得られる生体組織の直視像と、前記前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に前記受光面に結像させる対物レンズと、
   前記前方窓及び前記側方窓の少なくともいずれか一方に設けられ、制御信号で入射光の偏向特性を調整することにより、前記直視像と前記側視像の少なくともいずれか一方の視野範囲を変化させる光学素子と、を備えることを特徴とする内視鏡。
2. 前記制御信号を生成する制御ユニットを備え、
   前記制御ユニットは、前記直視像と前記側視像を含む前記撮像画像において、前記直視像と前記側視像の間で互いに重複する重複領域が小さくなること、及び、前記撮像画像の視野において死角領域が小さくなることの少なくともいずれか一方を実現するように、前記制御信号を生成する、請求項１に記載の内視鏡。
3. 前記制御ユニットは、前記撮像画像の画素値から、前記直視像と前記側視像との間の前記重複領域を抽出し、前記重複領域の大きさに応じて前記入射光の偏向特性を定めることにより、前記制御信号を生成する、請求項２に記載の内視鏡。
4. 前記制御ユニットは、前記直視像及び前記側視像を含む前記撮像画像と、前記重複領域の大きさとの間の関係を事前に機械学習した予測モデルを備え、前記予測モデルを用いて、前記撮像素子で撮像した生体組織の前記撮像画像の画素値から、前記重複領域の有無と大きさを求めることにより、前記入射光の偏向特性を定める、請求項３に記載の内視鏡。
5. 前記制御ユニットは、前記撮像素子で撮像した生体組織の前記直視像中の線状に延びる部分の像と前記側視像中の前記線状に延びる部分の像の、前記直視像あるいは前記側視像の端における位置ずれ量から、前記直視像と前記側視像との間の前記死角領域の大きさを求め、前記大きさに応じて前記入射光の偏向特性を定めることにより、前記制御信号を生成する、請求項２〜４のいずれか１項に記載の内視鏡。
6. 前記制御ユニットは、前記撮像画像内の前記線状に延びる部分の位置ずれ位置及び位置ずれ量と、前記死角領域の大きさとの間の関係を事前に機械学習した予測モデルを備え、前記予測モデルを用いて、前記撮像素子で撮像した生体組織の前記撮像画像の画素値から求めた前記線状に延びる部分の位置ずれ位置と位置ずれ量から、前記死角領域の有無と大きさを求めることにより、前記変化量を定める、請求項５に記載の内視鏡。
7. 前記側視窓は、前記撮像素子を囲む筒部材の周方向に沿って一周するように設けられ、
   前記光学素子は、前記偏向特性が前記周方向で分布を持つように、前記周方向に沿った複数の場所それぞれに設けられている、請求項１〜６のいずれか１項に記載の内視鏡。
8. 前記対物レンズの最大半画角は、９０度以上である、請求項１〜７のいずれか１項に記載の内視鏡。
9. 体腔内の生体組織を撮像する内視鏡と、前記内視鏡により撮像された生体組織の画像を画像処理する内視鏡用プロセッサと、を備える内視鏡システムであって、
   前記内視鏡は、
   生体組織の像を撮像するように構成された撮像素子と、
   前記撮像素子の受光面の前方に設けられる前方窓を通して得られる生体組織の直視像と、前記前方窓に比べて側方の側に向いた側方窓を通して得られる生体組織の側視像とを、撮像画像として同時に前記受光面に結像させる対物レンズと、
   前記前方窓及び前記側方窓の少なくともいずれか一方に設けられ、制御信号で入射光の偏向特性を調整することにより、前記直視像と前記側視像の少なくともいずれか一方の視野範囲を変化させる光学素子と、を備え、
   前記内視鏡用プロセッサは、生体組織の画像を画像処理し、さらに、前記入射光の偏向特性を制御するための制御信号を生成する画像処理ユニットを備え、
   前記画像処理ユニットは、前記直視像と前記側視像を含む前記撮像画像において、前記直視像と前記側視像の間で互いに重複する重複領域が小さくなること、及び、前記撮像画像の視野において死角領域が小さくなることの少なくともいずれか一方を満足するように、前記制御信号を生成する、内視鏡システム。

Images