JP2019097661A

JP2019097661A - 内視鏡ナビゲーション装置

Info

Publication number: JP2019097661A
Application number: JP2017229065A
Authority: JP
Inventors: 水野　均; Hitoshi Mizuno; 均水野
Original assignee: MIZUNO, YUKO
Current assignee: MIZUNO, YUKO
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2019-06-24
Anticipated expiration: 2037-11-29
Also published as: JP6749020B2

Abstract

【課題】内視鏡が通過する管腔の部位毎に応じた、湾曲操作や挿入部の進退・回転の操作の手順をコンピュータによりナビゲーションする。さらに、ナビゲーションによる内視鏡挿入にかかる情報をデータベースに蓄積し、データベースをもとに機械学習することによりナビゲーションのプログラムを更新させ、精度を高めることができる内視鏡ナビゲーション装置を提供する。【解決手段】内視鏡ナビゲーション装置は、内視鏡装置において、内視鏡画像の画像化装置と、身体の管腔への内視鏡の挿入手順を少なくとも２つ以上を、同時または並行して、画像または音声で提示するナビゲーション機能とを具備する。【選択図】図４

Description

本発明は、医療分野においては診断および治療を行う内視鏡装置に関するものである。

内視鏡装置は、従来から医療分野および工業用分野で広く用いられている。内視鏡装置は、挿入部と、挿入部の先端に設けられた撮像素子と照明装置により、挿入部の先にある対象物の画像を取得し、画像化装置および画像表示装置により画像を表示し、操作者は検査を行うことができる。また、内視鏡の先端に湾曲機構を有し、例えば、上下、左右の２自由度の湾曲動作を行うことができる。この湾曲動作により、例えば医療分野において、内視鏡を消化管に挿入する際のステアリングを行ったり、組織を観察あるいは診断をする際の視野をコントロールしたり、さらには、腫瘍などを切除する際の処置具の位置や方向をコントロールすることができる。

従来、内視鏡を消化管に挿入する際に、操作者は内視鏡の湾曲状態や挿入部の状態を把握しながら、内視鏡が通過する管腔の部位毎に応じた、湾曲操作や挿入部の進退・回転の操作の手順を踏んでいく必要がある。こうした手順を身に付けるためには、非常に多くの経験が必要であった。

例えば、特許第２７１０３８４は、内視鏡像の暗い領域を抽出することによって内視鏡の挿入方向を検出し、内視鏡操作者が検出された内視鏡の挿入方向を見て湾曲操作及び挿入操作を行い内視鏡を挿入する、あるいは、検出された挿入方向に対し自動的に先端部を向け内視鏡を挿入することが考案されている。

特許第２７１０３８４

特許第２７１０３８４による内視鏡像の暗い領域を抽出することによって内視鏡の挿入方向を検出し、自動的に先端部を向ける場合についての記載があるが、先端部をどちらの方向にどのような入力操作で向けるかについては、先端部を暗い領域の方向に向ける以外の記載はなかった。実際の内視鏡の挿入においては、暗部を内視鏡画像の中央に持ってくることもあれば、内視鏡画像の下方に持ってくる場合もあり、こうした動作目標の認識は操作者が行い、その認識の元で簡便に操作する手段が必要であった。

また、暗部は、内視鏡操作における一つの指標でしかなく、その他にも内視鏡画像に現れる気泡の位置や、内視鏡の湾曲状態や挿入部の状態も指標としながら、内視鏡が通過する管腔の部位毎に、湾曲操作や挿入部の進退・回転の操作の手順を踏んでいく必要がある。こうした手順を身に付けるためには、非常に多くの経験が必要であった。

内視鏡が通過する管腔の部位毎に応じた、湾曲操作や挿入部の進退・回転の操作の手順をコンピュータによりナビゲーションする。さらに、ナビゲーションによる内視鏡挿入にかかる情報をデータベースに蓄積し、データベースをもとに機械学習することによりナビゲーションのプログラムを更新させ、精度を高めるものであり、具体的には、以下の構成を特徴とする。

第１発明の内視鏡ナビゲーション装置は、
内視鏡装置において、
内視鏡画像の画像化装置と、
身体の管腔への内視鏡の挿入手順を少なくとも２つ以上を、同時または並行して、画像または音声で提示するナビゲーション機能と
を具備することを特徴とする。

第２発明の内視鏡ナビゲーション装置は、第１発明において、
内視鏡装置において、
内視鏡画像の画像化装置と、
内視鏡画像の画像情報データを検出する画像処理装置と、
内視鏡の湾曲状態、挿入部の回転、挿入長のいずれか一つ以上からなる挿入状態データを検出する機能と、
前記画像情報データおよびまたは前記挿入状態データに応じて、所定のパラメータを元に予め定めた内視鏡の挿入手順データを参照し、画像または音声で挿入手順を伝えるナビゲーション機能と
を具備したことを特徴とする。

第３発明の内視鏡ナビゲーション装置は、
内視鏡装置において、
内視鏡の挿入状態を検出するステップと、
内視鏡の挿入状態を元に予め定めた挿入操作の挿入手順データを参照するステップと、
内視鏡の挿入手順を画像または音声で提示するステップと
を具備したことを特徴とする。

第４発明の内視鏡ナビゲーション装置は、
内視鏡装置において、
内視鏡画像の画像化装置と、
前記内視鏡画像の画像情報データを検出する画像処理装置と、
内視鏡の湾曲状態、挿入部の回転、挿入長のいずれか一つ以上からなる挿入状態データを検出する機能と、
前記画像情報データおよびまたは前記挿入状態データに応じて、所定のパラメータを元に予め定めた内視鏡の挿入手順データを参照し、画像または音声で挿入手順を伝えるナビゲーション機能と、
前記挿入手順データを元に内視鏡操作を行った内容を操作データとして記録する機能と、
内視鏡操作を行った結果を計測・評価する効果判定結果データを算出する機能と、
前記画像情報データ、前記挿入状態データ、前記所定のパラメータ、前記挿入手順データ、前記操作データおよび前記効果判定結果データを、それぞれ関連付けてデータベースに蓄積する機能と、
前記データベースに蓄積されたデータ間との関係を機械学習する機能と、
前記機械学習による結果を利用して、前記、前記所定のパラメータおよびまたは前記挿入手順データを変更する機能と
を備えたことを特徴とする内視鏡ナビゲーション装置。

内視鏡の操作を容易にし、操作者に高い技能や熟練を求めることなく、内視鏡による診断および治療の正確さ向上させ、時間の短縮を行う。

内視鏡ナビゲーション装置のシステムの構成を示す図である。内視鏡挿入位置センサーの構造を示す図である。内視鏡画像における暗部をタッチして湾曲動作を行う操作インターフェースを示す図である。実施例１の大腸内視鏡の挿入操作におけるナビゲーションのメニューを示す図である。実施例１の大腸内視鏡の挿入操作における手順を示す図である。実施例２の大腸内視鏡の挿入操作におけるナビゲーションの機械学習において行われるフローチャートを示す図である。

（実施例１）
本実施例は、内視鏡の挿入におけるナビゲーションに関するものである。本実施例の構成を図１示す。内視鏡装置１は、挿入部１０と、挿入部１０の先端に設けられた撮像素子２と、照明装置３と、挿入部１０の先端に照明光を導光する照明ファイバー４を備え、挿入部１０の先にある対象物の画像信号を取得し、画像化装置５により画像を構成し表示モニター１７により画像を表示する。これにより操作者は内視鏡画像を見て内視鏡診断・治療を行うことができる。また、内視鏡の先端には湾曲機構７を有し、例えば、上下、左右の２自由度の湾曲動作を行うことができる。この湾曲動作により、例えば医療分野において、内視鏡を消化管に挿入する際のステアリングを行ったり、組織を観察あるいは診断をする際の視野をコントロールしたり、さらには、腫瘍などを切除する際の処置具の位置や方向をコントロールすることができる。

湾曲動作のために、内視鏡の先端に設けられた連結された湾曲管８からなる湾曲機構７と、手元の操作部１１に設けられたプーリー１２と、両者を挿入部１０に沿わせて配備されたワイヤー９によって結合し、駆動伝達されるようになっている。プーリー１２は歯車大１３に連結され、歯車大１３は歯車小１４と噛み合い、さらに、歯車小１４はモーター１５に連結されている。また、モーター１５には、回転位置を検出するエンコーダー１６が設けられる。

操作部１１の近くに内視鏡画像の表示モニター１７を設けられており、この表示モニター１７には、タッチパネル１８が一体化されている。なお、この表示モニター１７とは別に、内視鏡画像を表示するモニターを設けても構わない。
エンコーダー１６とモーター１５は、モーター制御回路１９に電気的に接続されている。モーター制御回路１９は、CPU２０に接続されている。表示モニター１７は、画像処理装置２１に接続され、タッチパネル１８は、CPU２０に接続されている。画像化装置の信号は画像処理装置２１に接続される。画像処理装置２１はCPU２０に接続されている。

また、挿入部位置センサー３０により挿入部１０の進退位置および回転位置を検出することができる。前記挿入部位置センサー３０は、CPU２０に接続されている。

図２は、挿入部１０の進退位置および回転位置を検出する挿入部位置センサー３０の構造を示す。内視鏡の挿入部１０が緩く挿入可能な円筒部の内面に、照明３１および画像センサー３２が設けられており、内視鏡の挿入部１０の外周に記された目盛線３３および挿入長を表す数字３４を画像センサー３２で読み取り、目盛線３３と数字３４の長手方向の位置Ｘから挿入部１０の挿入位置を、数字３４の円周方向の位置Ｙから挿入部１０の回転位置を検出することができる。図２には、画像センサー３２で数字“３０”の中心の回転方向の位置Yと、長手方向の位置Xを求め、図中の式にて挿入長および回転位置を計算することを例示している。

この挿入部位置センサー３０は、内視鏡を挿入する管腔の入口との位置関係がずれないように設置される。例えば、上部内視鏡であれば口に加えるマウスピースに内蔵する、もしくは、マウスピースに固定されるようになっており、大腸内視鏡であれば肛門の近くに患者に直接、あるいは、別途を介して固定される。挿入部位置センサー３０が、口または肛門から離れて設置される場合は、離れた距離をCPU２０に入力することで、後述する表示モニター１７に表示される挿入長のオフセット分を補正することができる。

また、ここでは、従来の内視鏡の挿入部１０に印字された目盛線３３および挿入長を示す数字３４を用いて、挿入部１０の進退位置と回転を検出する例を示しているが、内視鏡の挿入部１０に記される内容はこの限りではない。挿入部１０の進退位置と回転位置４４を検出できるようにするために、例えば、数字の変わりに挿入長さを識別できる記号であっても構わないし、回転方向を示す線であっても構わない。さらに、挿入部１０の表面の印字の代わりにホール素子を埋め込み、画像センサー３２に代わって磁気センサーで挿入部１０の進退位置と回転位置を検出しても構わない。実際に、従来からの内視鏡の挿入部１０に印字された数字は10cm毎に印字されているため、数字を常に画像として認識するためには、挿入部位置センサー３０の長さが少なくとも10cm以上となるため、短いピッチでの数字の印字や、目盛線毎に長さを認識させるための記号を設けることは挿入部位置センサー３０の長さを短縮させ、上部内視鏡用のマウスピースの長さを伸ばさない、あるいは、下部内視鏡での肛門の近くでの作業空間の制限しないことに貢献する。

なお、挿入部位置センサー３０の内視鏡を挿入する孔には、透明なスリーブ状の滅菌カバー３５が着脱可能に設けられ、挿入部位置センサー３０から内視鏡の挿入部１０に汚染することを防止している。

タッチパネル１８を指でタッチしたしドラッグさせたときの移動ベクトル（入力移動ベクトルと呼ぶ）をCPU２０で演算する。この入力移動ベクトルと、上下および左右のモーター１５の移動ベクトルとの対応関係のテーブルがCPU２０の内部メモリーに記憶されており、このテーブルを参照してCPU２０からモーター制御回路１９に位置およびまたは速度の指令を送る。これによりモーター１５が回転し、駆動伝達機構を介して、湾曲機構７が動作し、内視鏡画像が移動する。

一方、画像処理装置２１とCPU２０は、タッチパネル１８をタッチした部分とその周囲を含む内視鏡画像の特徴量を抽出し、その特徴量から画像上の移動ベクトル（出力移動ベクトルと呼ぶ）を求める。さらに、CPU２０が入力移動ベクトルと出力移動ベクトルの差分を求め、その差分がゼロに近づくように、モーター制御回路１９に位置およびまたは速度の指令を送る、フィードバック制御を行う。

以下には、前述の、「画像処理装置２１とCPU20は、タッチパネル１８をタッチした部分とその周囲を含む内視鏡画像の特徴量を抽出し、その特徴量を持つ対象物の画像上の移動ベクトル（出力移動ベクトル）を求める」手段の例を示す。

例えば、ビデオの電子式手振れ補正にも使われるブロックマッチング法を用いる。タッチパネル１８を指でタッチした部分とその周囲を含む部分の画像をCPU２０に記憶させ、湾曲動作により移動、回転、拡大・縮小を含む変化をした画像に対して、重ね合わせ位置をずらしながら、対応する画素の差分絶対値の総和(SAD: Sum of Absolute Difference）を計算し、SADが最小となる位置をマッチング位置として検出する。このマッチング位置への移動ベクトルを前述の出力移動ベクトルとして求める。

この際、内視鏡画像で抽出した特徴量を持つ画素を代表点としてサンプリングし、代表点の画像の重ね合わせ位置ずらしによりマッチングを行う、つまり代表点マッチング法を用いると、スピードを上げ必要メモリーを削減できる。

あるいは、主に移動物体の検出や、その動作の解析などに用いられるオプティカルフローを用いることができる。これは、画像上の代表点のフレーム間の移動ベクトルの分布を表すもので、これを用いてタッチパネル１８を指でタッチした部分とその周囲を含む部分の移動方向や速度、さらには、奥行きに関する情報を得ることができる。つまり、オプティカルフローにより、対象物の奥行きに関する情報をも内視鏡の湾曲操作として用いることができる。

続いて、図３により、内視鏡画像６の暗部５３をタッチパネル１８でタッチし、タッチパネル１８を所望の方向にドラッグさせることによって、湾曲動作を行い、内視鏡の挿入を補助を行う操作インターフェースについて説明する。

例えば、大腸内視鏡を肛門から挿入し、便の移動に逆行するように、直腸、S状結腸、下降結腸、横行結腸、上降結腸を経て、先端部が大腸盲腸に到達させるために、内視鏡の操作における一つの目安になるのが、管腔の遠方にある暗部５３の位置である。管腔の遠方には、内視鏡先端からの照明光が届きにくくなるため、その結果、遠方ほど暗い画像となる。このことを利用して、暗部５３を目標とした内視鏡挿入が実際の臨床において従来より行われている。本実施例では、図３(a)および(b)に示すように、この暗部５３の画像をタッチパネル１８でタッチし、タッチパネル１８を所望の方向にドラッグさせることによって、湾曲動作を行い、内視鏡の挿入を補助する。

図４は、大腸内視鏡の挿入に際して、表示モニター１７に表示されるナビゲーションのメニュー５６を例示すものである。大腸を体の右側から見た大腸透視モデル像４０、および、大腸を体の前から見た大腸透視モデル像４１、および、大腸透視画像に重ねた内視鏡の挿入部モデル像４２、および、湾曲状態４３、および、内視鏡画像の回転位置４４および上方向マーカー４５、および、湾曲操作を指示する湾曲矢印４６、および、挿入部１０の進退を示す前進矢印４７・後退矢印４８、挿入部１０の回転の操作を指示する回転矢印４９、挿入部１０が挿入されている長さを示す挿入長５０、挿入方法選択５１が、内視鏡画像６とともに表示される。これらは、挿入部位置センター３０によって検出された挿入部１０の回転位置４４・挿入長５０と、モーター１５と駆動伝達機構を介してエンコーダー１６で検出される湾曲部の上下・左右の位置、すなわち湾曲状態４３と、内視鏡画像６の目標として指示された暗部５３およびまたは気泡５４の位置と、からCPU２０によって計算され表示される。

図５は、大腸内視鏡の挿入のステップにおいて、図４のナビゲーションのメニュー５６として表示される内容の一部を示す。最初に大腸内視鏡の挿入方法の選択を行う。大腸内視鏡の挿入方法として、ループ挿入法と軸保持短縮挿入法などがある。これらの挿入方法に応じたナビゲーションプログラムが予め用意されており、最初に大腸内視鏡の挿入方法のいずれかを選択する。以降のステップは、軸保持短縮挿入法を選択した場合のナビゲーションの実施例である。

大腸内視鏡検査では、挿入を開始する際に患者は左側臥位（左側を下にする体位）を取る。内視鏡の先端をまず挿入部位置センサー３０の孔を通し、肛門から挿入を開始する。この際に表示モニターには回転位置４４が９時の方向を向くように矢印が表示される。例えば、図５（１）に示すように、挿入部位置センサー３０によって検出された挿入部１０の回転位置４４が１２時であった場合に９時に向かうように回転矢印４９が表示される。操作者は、挿入部１０を把持し回転矢印４９が示す方向に回転をさせると、回転位置４４が９時になった時点で図５（２）に示すとおり「STOP」が表示される。このとき、図５（３）に示すように内視鏡画像６には１２時に暗部５３が、３時の方向に気泡５４が表示されている。

この暗部５３と気泡５４の位置を画像処理装置２１とCPU２０によって計測し、それぞれ１２時、３時の方向にあることを確認したところで、図５（４）に示すよう挿入部１０を進めるように前進矢印４７が表示される。これに従い操作者が挿入部１０を把持して前進を開始する。気泡５４が３時の方向を保ちながら、図５（５）に示すように暗部５３が内視鏡画像６の上部から下方に移動していくのを見ながら、前進を進めていき挿入長５０が13cmになったところで図５（６）に示すように前進矢印４７の先に「STOP」が表示される。このとき、内視鏡画像６は、図５（７）に示すように７時の方向に強い管腔の屈曲と暗部５３が現れる。

ここで暗部５３が下方、気泡５４が３時方向にあることを画像処理装置２１の画像処理により確認がなされ、さらに内視鏡の挿入部１０の肛門から挿入されている長さ、つまり挿入長５０が13cmであることを確認したところで、表示モニターに図５（８）に示すように回転位置４４が左周りに３時の方向を向くように矢印が表示される。操作者は、挿入部１０を把持し矢印が示す方向に回転をさせると、回転位置４４が３時になった時点で図５（９）に示すとおり「STOP」が表示される。そのときの内視鏡画像６は、図５（１０）に示すように暗部５３が１２時、気泡５４が９時の方向に表示される。

この暗部５３と気泡５４の位置を画像処理装置２１とCPU２０によって計測し、それぞれ１２時、９時の方向にあることを確認したところで、図５（１１）に示すように湾曲操作の湾曲矢印４６が上方向が提示される。これを見て操作者はタッチパネル１８の内視鏡画像６の上方にある暗部５３をタッチして下方向にドラッグさせる。タッチしては下方向にドラッグする操作を繰り返し、上方の湾曲が１２０°になると上方向の湾曲矢印４６が消え、図５（１２）に示すように「STOP」が表示される。これにより図５（１３）の体の右側から見た大腸透視モデル像４０に示すように湾曲部５５がS状結腸のスタート部位にある屈曲にひっかかった状態となる。

続いて、図５（１４）に示すよう挿入部１０を後退させるよう指示する後退矢印４８が表示される。これに従い操作者が挿入部１０を把持してゆっくりと後退させていくと、図５（１５）の体の右側から見た大腸透視モデル像４０に示すように大腸S状結腸が肛門側に徐々に引き付けられるため、内視鏡画像６の上方の右側または左側に暗部５３が現れる。

この暗部５３の位置を画像処理装置２１とCPU２０で計測し、暗部５３の位置が上方の左側の場合には左の回転矢印４９が表示され、暗部５３の位置が上方の右側の場合は右の回転矢印４９が表示される。図５（１６）には暗部５３が上方の右側に現れた場合の右の回転矢印４９が表示された例を示す。操作者は挿入部１０をゆっくりと後退を続けながら、図５（１７）に示すように挿入部１０の回転矢印４９の方向にしたがって右ひねりを加える。この結果、図５（１８）の体の右側から見た大腸透視モデル像４０に示すように大腸のS状結腸が引き付けられS状結腸の下りの部分の管腔が開いてくる。

最終的、図５（１９）のように内視鏡画像６では暗部５３が大きく開いて中央に移動してくるように映る。この状態、すなわち暗部５３が約中央にあること、気泡５４が９時の方向にあることを、画像処理装置２１とCPU２０が計測すると、図５（２０）に示すように挿入部１０の回転矢印４９および後退矢印４８が消え、「STOP」が表示される。

以上のステップは、大腸内視鏡の挿入で最も難易度の高いとされるS状結腸の挿入の場合の本発明のナビゲーションの例を示すものである。さらに挿入を進めていき、最終的に盲腸に到達するまで、前述と同様に操作の的確なナビゲーションを行う。これにより、従来、操作者が、暗部５３の位置や気泡５４の位置、挿入部１０の回転や長さの情報を経験に照らして、湾曲動作や、挿入部１０の回転や進退の操作の判断を行っていたが、図５に示すとおり判断や操作の手順をナビゲーションすることで、内視鏡の挿入操作をサポートすることができる。

画面に表示された挿入長５０、回転位置４４は、病変の内視鏡画像６とともに、同時に記録できるため、例えば、後日、経過観察のために再度、大腸内視鏡検査をする際に、病変の場所が精確かつ効率良く確認できるので有用である。

図４に表示される体の右側から見た大腸透視モデル像４０、体の前から見た大腸透視モデル像４１、および、大腸透視画像に重ねた内視鏡の挿入部モデル像４２は、大腸の解剖学を考慮したコンピュータグラッフィックスを用いた画像である。現在の挿入部１０の挿入長５０、回転位置４４、および湾曲状態４３と、挿入開始から現在位置に至るまでのこれらのプロセスのデータを用いて、大腸の伸長や変形などの解剖学的な情報を参照して作成された画像である。

本実施例は、湾曲動作を、モーター１５による電動駆動にて行う例を示しているが、手動による湾曲動作を行っても構わない。また、湾曲状態を検出する手段として、湾曲部に直接、センサーを直接設けても構わない。

（実施例２）
本実施例は、実施例１における大腸内視鏡の挿入操作におけるナビゲーションの機械学習に関するものである。図６に示すとおり、ナビゲーションプログラム６０は、大腸内視鏡挿入に熟練した医師が蓄積した経験則をプログラムに落としたもので、具体的には画像に現れる暗部、気泡、管腔特徴の画像情報や、内視鏡の挿入部および湾曲形状や、さらには、患者情報、挿入方法、体位、操作者情報、前処置状態、などの状態データ６１から、所定のパラメータ６６を用いて、内視鏡の挿入部の進退や回転、湾曲操作さらには送気・送水・吸引操作、腹部押圧、体位変換などの操作出力情報であるナビゲーションデータ６２を導出し、操作者に提示することで、挿入の補助を行うものである。

ナビゲーションプログラム６０では、ナビゲーションデータ６２に従って実際に内視鏡操作を行った内容を操作データ６７として記録するとともに、操作の結果として、挿入の過程で患者苦痛、挿入時間、患者モニターなどを計測し、これらを分析して挿入方法のパフォーマスンを評価する効果判定結果データ６３を算出する機能を有する。また、前述の状態データ６１、ナビゲーションデータ６２、操作データ６７および、効果判定結果データ６３をそれぞれ関連付けながら随時データベース６４に蓄積していくことができる。このデータベース６４は、クラウド上に設置され、ネットワークで接続され複数の内視鏡装置とデータベース６４を共有している。

このデータベースに対して、例えばConvolutional Neural Network(CNN)６９などのAIアルゴリズム６８を用いた機械学習６５を行い、効果判定結果データ６３と、所定のパラメータ６６、ナビゲーションデータ６２、操作データ６７との関係を導出する。この効果判定結果データ６３が高くなるように、所定のパラメータ６６を変更してナビゲーションプログラム６０の性能を向上させていく。なお、機械学習６５の手段は、上述のCNNに限らない。

なお、上記実施例において、以下のように構成してもよい。
１．内視鏡画像データが気泡およびまたは暗部であることを特徴とする第２発明に記載の内視鏡ナビテーション装置。
２．挿入部位置センサーに内視鏡挿入部の汚染を防止する滅菌スリーブを具備することを特徴とする第１発明、および、第２発明に記載の内視鏡ナビゲーション装置。
３．挿入長、回転位置を、内視鏡画像ともに表示・記録することで、病変の位置を記録できることを特徴とする第１発明、および、第２発明に記載の内視鏡ナビゲーション装置。
４．挿入開始から現在に至るまでの挿入状態データと操作手順データを用いて、コンピュータグラッフィックで作成した大腸透視モデル像と、これに重ねた内視鏡の挿入部モデル像とを、具備することを特徴とする第１発明、および、第２発明に記載の内視鏡ナビテーション装置。
５．挿入操作データが挿入部進退・回転操作、湾曲操作、送気・送水・吸引操作、腹部押圧、体位変換からなることを特徴とする第１発明、および、第２発明に記載の内視鏡ナビテーション装置。
６．効果判定結果データが、患者苦痛、部分および全体の挿入時間、患者モニターからなることを特徴とする第２発明に記載の内視鏡ナビテーション装置。

１内視鏡装置
２撮像素子
３照明装置
４照明ファイバー
５画像化装置
６内視鏡画像
７湾曲機構
８湾曲管
９ワイヤー
１０挿入部
１１操作部
１２プーリー
１３歯車大
１４歯車小
１５モーター
１６エンコーダー
１７表示モニター
１８タッチパネル
１９モーター制御回路
２０ CPU
２１画像処理装置
３０挿入部位置センサー
３１照明
３２画像センサー
３３目盛線
３４数字
３５滅菌カバー
４０体の右側から見た大腸透視モデル像
４１体の前から見た大腸透視モデル像
４２挿入部モデル像
４３湾曲状態
４４回転位置
４５上方向マーカー
４６湾曲矢印
４７前進矢印
４８後退矢印
４９回転矢印
５０挿入長
５１挿入方法選択
５３暗部
５４気泡
５５湾曲部
５６ナビゲーションのメニュー
６０ナビゲーションプログラム
６１状態データ
６２ナビゲーションデータ
６３効果判定結果データ
６４データベース
６５機械学習
６６所定のパラメータ
６７操作データ
６８ AIアルゴリズム
６９ Convolutional Neural Network

Claims

内視鏡装置において、
内視鏡画像の画像化装置と、
身体の管腔への内視鏡の挿入手順を少なくとも２つ以上を、同時または並行して、画像または音声で提示するナビゲーション機能と
を具備することを特徴とする内視鏡ナビゲーション装置。
内視鏡装置において、
内視鏡画像の画像化装置と、
前記内視鏡画像の画像情報データを検出する画像処理装置と、
内視鏡の湾曲状態、挿入部の回転、挿入長のいずれか一つ以上からなる挿入状態データを検出する機能と、
前記画像情報データおよびまたは前記挿入状態データに応じて、所定のパラメータを元に予め定めた内視鏡の挿入手順データを参照し、画像または音声で挿入手順を伝えるナビゲーション機能と
を具備したことを特徴とする請求項１に記載の内視鏡ナビゲーション装置。
内視鏡装置において、
内視鏡の挿入状態を検出するステップと、
内視鏡の挿入状態を元に予め定めた挿入操作の挿入手順データを参照するステップと、
内視鏡の挿入手順を画像または音声で提示するステップと
を具備したことを特徴とする内視鏡ナビゲーション装置。
内視鏡装置において、
内視鏡画像の画像化装置と、
前記内視鏡画像の画像情報データを検出する画像処理装置と、
内視鏡の湾曲状態、挿入部の回転、挿入長のいずれか一つ以上からなる挿入状態データを検出する機能と、
前記画像情報データおよびまたは前記挿入状態データに応じて、所定のパラメータを元に予め定めた内視鏡の挿入手順データを参照し、画像または音声で挿入手順を伝えるナビゲーション機能と、
前記挿入手順データを元に内視鏡操作を行った内容を操作データとして記録する機能と、
内視鏡操作を行った結果を計測・評価する効果判定結果データを算出する機能と、
前記画像情報データ、前記挿入状態データ、前記所定のパラメータ、前記挿入手順データ、前記操作データおよび前記効果判定結果データを、それぞれ関連付けてデータベースに蓄積する機能と、
前記データベースに蓄積されたデータ間との関係を機械学習する機能と、
前記機械学習による結果を利用して、前記、前記所定のパラメータおよびまたは前記挿入手順データを変更する機能と
を備えたことを特徴とする内視鏡ナビゲーション装置。