JP2019030387A - 内視鏡形状表示装置、内視鏡システム - Google Patents

内視鏡形状表示装置、内視鏡システム Download PDF

Info

Publication number
JP2019030387A
JP2019030387A JP2017151812A JP2017151812A JP2019030387A JP 2019030387 A JP2019030387 A JP 2019030387A JP 2017151812 A JP2017151812 A JP 2017151812A JP 2017151812 A JP2017151812 A JP 2017151812A JP 2019030387 A JP2019030387 A JP 2019030387A
Authority
JP
Japan
Prior art keywords
endoscope
reliability
shape
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017151812A
Other languages
English (en)
Other versions
JP6899276B2 (ja
Inventor
榎本 貴之
Takayuki Enomoto
貴之 榎本
亘人 中山
Nobuhito Nakayama
亘人 中山
ピアソン ナンコリス ピーター
Pearson Nancollis Peter
ピアソン ナンコリス ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2017151812A priority Critical patent/JP6899276B2/ja
Priority to CN201880030850.2A priority patent/CN110913747B/zh
Priority to EP18840488.3A priority patent/EP3607869B1/en
Priority to PCT/JP2018/029161 priority patent/WO2019027032A1/ja
Publication of JP2019030387A publication Critical patent/JP2019030387A/ja
Application granted granted Critical
Publication of JP6899276B2 publication Critical patent/JP6899276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/20Measuring for diagnostic purposes; Identification of persons for measuring urological functions restricted to the evaluation of the urinary system
    • A61B5/202Assessing bladder functions, e.g. incontinence assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4233Evaluating particular parts, e.g. particular organs oesophagus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4238Evaluating particular parts, e.g. particular organs stomach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4255Intestines, colon or appendix

Abstract

【課題】提示している内視鏡の形状がどの程度信頼できるかについて、操作者に対して情報を提示することができる、内視鏡形状表示装置を提供する。【解決手段】本発明に係る内視鏡形状表示装置は、内視鏡の形状を推定した結果を表す形状画像と、推定結果の信頼度の値を反映した信頼度画像とを表示する。【選択図】図10

Description

本発明は、内視鏡の形状を表示する技術に関する。
内視鏡は、観察対象の内部(例えば人体の呼吸器、消化器など)に対して挿入することによりその内部を観察するデバイスである。例えば人間の大腸内を観察するために内視鏡を用いることができる。ただし形状が複雑な観察対象に対して内視鏡を的確に操作するためには、ある程度の熟練が必要である。そこで内視鏡の操作を補助するため、観察対象内部における内視鏡の可撓部の形状を検出し、これを画面表示する技術が用いられている。
下記特許文献1は、内視鏡の形状を検出する技術について記載している。同文献は、『既定の精度で検出可能な範囲から外れてしまったか否かを操作者は容易に確認できる内視鏡形状検出装置を提供する。』ことを課題として、『内視鏡挿入形状の検出を行う検出装置21には内視鏡の挿入部に配置されるプローブ15のコネクタ16a等が着脱接続されるコネクタ受け21a等が設けてあり、接続検出を行うと共に、ソースコイル14iによる磁界を検出するセンスコイル22a、22b等による検出出力に基づき、CPU32は所定の精度以上で位置検出ができる有効検出範囲か否かの判定を行い、その判定結果により、モニタ25に表示色を変更して表示し、操作者に有効検出範囲内にあるか否かを容易に確認できるようにした。』という技術を開示している(要約参照)。
特開2002−325721号公報
上記特許文献1記載の技術においては、内視鏡全体が有効検出範囲内にある場合は緑色の画像によってその形状を表示し、内視鏡のうち有効検出範囲外の部分がある場合はその部分を別の色(例えば黄色)で表示する(同文献の0045参照)。操作者は、この表示色の違いによって有効検出範囲か否かを確認することができる。
特許文献1記載の技術は、内視鏡が有効検出範囲内に含まれているか否かを画面上で把握するために用いることができるものの、画面表示している内視鏡の形状がどの程度信頼できるのかについては判断することができない。
本発明は、上記のような課題に鑑みてなされたものであり、提示している内視鏡の形状がどの程度信頼できるかについて、操作者に対して情報を提示することができる、内視鏡形状表示装置を提供するものである。
本発明に係る内視鏡形状表示装置は、内視鏡の形状を推定した結果を表す形状画像と、推定結果の信頼度の値を反映した信頼度画像とを表示する。
本発明に係る内視鏡形状表示装置によれば、画面表示している内視鏡の形状がどの程度信頼できるかについて、内視鏡の操作者に対して、同じ画面上で情報を提示することができる。
実施形態1に係る内視鏡システム1000の構成図である。 CPU230の内部構成図である。 モニタ300が表示する内視鏡100の形状の経時変化を例示する模式図である。 プロセッサ200が内視鏡100の形状を画面表示する動作を説明するフローチャートである。 信頼度算出部233が形状推定結果の信頼度を算出する手順を説明するフローチャートである。 信頼度が回復した部位をフェードイン表示する例である。 信頼度の増減に応じてフェードアウトとフェードインを可逆的に繰り返す例である。 信頼度を算出する根拠となっているパラメータを内視鏡100の形状と併せて表示する例である。 信頼度の時間変化率を内視鏡100の形状と併せて表示する例である。 モニタ300が表示する内視鏡100の形状の経時変化を例示する模式図である。 プロセッサ200が内視鏡100の形状を画面表示する動作を説明するフローチャートである。 信頼度算出部233が形状推定結果の信頼度を算出する手順を説明するフローチャートである。 実施形態4に係る内視鏡システム1000が画面表示する画像の例である。 実施形態5に係る内視鏡システム1000の構成図である。 履歴データ241の構成とデータ例を示す図である。 信頼度が低下したことを示すマークを表示する例である。 信頼度が低下した部位を点滅させる例である。 信頼度の数値を表示する例である。 信頼度を表すスケールバーを表示する例である。
<実施の形態1>
図1は、本発明の実施形態1に係る内視鏡システム1000の構成図である。内視鏡システム1000は、内視鏡100、プロセッサ200(内視鏡形状表示装置)、モニタ300、アンテナ400を備える。
内視鏡100は、観察対象の内部に対して挿入することによりその内部を観察するデバイスである。内視鏡100は、可撓管110、撮像デバイス120、センサ130を備える。センサ130はさらに、複数の形状センサ(図1においては形状センサ131〜134)を備える。
可撓管110は、観察対象に対して挿入するチューブであり、観察対象の形状に応じてある程度自由に変形することができる。撮像デバイス120は、可撓管110の先端部に配置されており、周辺の画像を撮影してその画像信号を出力する。センサ130は、可撓管110の位置と向きを検出するセンサである。
プロセッサ200は、内視鏡100から受け取った信号を処理するデバイスである。プロセッサ200は、レセプタクル210、光源220、CPU(Central Processing Unit)230を備える。
レセプタクル210は、内視鏡100とプロセッサ200を接続するインターフェースである。光源220は、内視鏡100に対して光を供給する。撮像デバイス120は、光源220が供給する光を観察対象に対して照射するとともに、その照射領域を撮影することができる。CPU230は、撮像デバイス120から観察対象の画像信号を受け取り、その画像をモニタ300上に画面表示する。
アンテナ400は磁場を発生させ、センサ130はその磁場を検出する。センサ130は例えば鉄心の周りにコイルを巻き回すことにより構成されており、アンテナ400が生成した磁場に応じて電流を生成して出力する。プロセッサ200は、その電流を用いて内視鏡100の位置と向き(具体的には形状センサ131〜134が配置されている部位の位置と向き)を計算することができる。
内視鏡100の位置と向きを計算する手法は公知であるので、ここでは詳細な説明を省略する。例えば各形状センサとアンテナ400との間の距離を求めることにより、各形状センサの位置を特定することができる。例えば形状センサ131〜134それぞれの位置を連結する3次元曲線を求めることにより、内視鏡100の姿勢(3次元座標系における内視鏡100の各部位の向き)を特定することができる。したがってセンサ130は、内視鏡100の位置センサとしての役割と内視鏡100の角度センサ(方向センサ)としての役割を兼ねていることになる。
図2は、CPU230の内部構成図である。CPU230は、撮影画像表示部231、形状推定部232、信頼度算出部233、形状表示部234を備える。これら機能部は、回路デバイスなどのハードウェアを用いて構成することもできるし、ソフトウェアとして実装してCPU230がそのソフトウェアを実行することによりこれら機能部を構成することもできる。以下では記載の便宜上、各機能部を動作主体として説明するが、これら機能部がソフトウェアとして実装されている場合の実際の動作主体はCPU230である。各ソフトウェアは、CPU230が備えるメモリなどの適当な記憶装置上に格納することができる。
撮影画像表示部231は、撮像デバイス120が出力する画像信号を処理することにより観察対象の画像を生成し、その画像をモニタ300上に画面表示する。形状推定部232は、センサ130が出力する信号を用いて内視鏡100の形状(位置と向き)を推定する。信頼度算出部233は、後述する手法により、形状推定部232が推定した内視鏡100の形状の信頼度を算出する。形状表示部234は、形状推定部232が推定した内視鏡100の形状の画像を、モニタ300上に画面表示する。
形状推定部232が内視鏡100の形状を推定した結果の精度は、常に変化していると考えられる。例えば形状センサ131〜134いずれかとアンテナ400との間の距離が検出可能範囲を超えた場合、その形状センサが出力する信号は精度が低いとみなすことができる。センサ130が検出可能範囲内にある場合であっても、例えば位置や形状が急激に変化した場合、センサ130による検出精度自体が低下するので、推定精度も低下すると考えられる。
内視鏡100の部位のうち形状推定精度が低下した部分について、推定精度が低下した旨を画面表示することは、内視鏡100の操作者にとって有用である。例えばその部分の位置や向きを操作して変更することにより、推定精度を上げることができる可能性があるからである。他方で推定精度が低下したとき、その部分の表示形態を画面上で急激に変化させると、操作者がとまどう可能性がある。その直前までは内視鏡100の形状が正常に画面表示されていたからである。
そこで本発明の実施形態1において、信頼度算出部233は形状推定部232による推定結果の信頼度を算出し、形状表示部234はその信頼度に応じて内視鏡100の画面表示を経時変化させることとした。これにより、信頼度の経時変化に応じて内視鏡100の画面上の形状も経時変化するので、急激な画面変化により操作者がとまどう場面が少なくなると考えられる。
信頼度算出部233は、形状推定部232が推定した内視鏡100の形状の信頼度を、以下の式1または式2により計算する。各式の各パラメータについて以下説明する。
信頼度=センサ精度×(1/形状変化度) (式1)
信頼度=センサ精度×(1/形状変化度)×(1/経過時間)(式2)
センサ精度は、センサ130による検出精度を表す値であり、例えば0.0〜1.0の間の数値によって表すことができる。例えば、センサ130が出力する電流の強度は、センサ130とアンテナ400との間の距離に対応しているので、電流強度が強いほど検出精度が高いとみなすことができる。1例として、センサ130の出力が定格値の上限であるときはセンサ精度=1.0とみなし、信号が全く得られないときはセンサ精度=0.0とみなすことができる。センサ130は位置センサと角度センサを兼ねているので、センサ精度は位置精度と角度精度をともに表していることになる。
形状センサ131〜134いずれかが故障した場合、その故障した形状センサの信頼度は最も低いと考えられる。ただし他の形状センサによる検出結果から故障した形状センサの検出結果を補完できる場合は、その補完がどの程度信頼できるかに応じて、故障した形状センサの信頼度を上方補正することもできる。例えば、(a)他の形状センサの検出値を平均する、(b)他の形状センサの信頼度に適当な重み(例:故障した形状センサに近いものほど重みが大きい)を乗算する、などによって、故障した形状センサの信頼度を補完することが考えられる。
形状変化度は、内視鏡100の位置の時間に対する変化率を表す値である。内視鏡100の位置が高速に変化しているとき、センサ130による検出精度は低いと考えられるので、推定精度も低いとみなすことができる。例えば各形状センサの移動速度(またはこれと等価な数値)を、形状変化度として用いることができる。
内視鏡100の位置が高速に変化している場合であっても、内視鏡100の姿勢(各形状センサの向き)が一定のまま移動している場合は、姿勢と位置がともに変化している場合と比較して、推定精度は高いと考えられる。内視鏡100の姿勢が一定であれば、位置は補間演算などによってある程度精度よく推定できるからである。信頼度算出部233はこのことを考慮して、内視鏡100の姿勢の時間に対する変化率を、位置変化率と併せて用いることもできる。姿勢変化率は、例えば各形状センサの向きの時間変化率として求めることができる。例えば位置変化率と姿勢変化率を乗算することにより、形状変化度を求めることができる。その他適当な計算式により、位置変化率と姿勢変化率を組み合わせてもよい。
経過時間は、信頼度が所定閾値未満になった時点からの経過時間である。信頼度算出部233は、原則として式1によって信頼度を算出するが、その信頼度が所定閾値未満に達したときは、式2にしたがって、以後の経過時間の逆数を信頼度に対してさらに乗算することにより、最終的な信頼度を確定する。
信頼度がある程度以下に低下したとき、そこから時間が経過するほど、信頼度はさらに低下するとみなす。内視鏡100の形状が信頼できない状態が長く継続するのは望ましくないからである。信頼度算出部233はこのことを考慮して、経過時間の逆数を信頼度に対して乗算することとした。ただし、センサ精度×形状変化度が所定閾値未満に達した後に、所定閾値以上に回復した場合は、経過時間をリセットするとともに、以後は式1を信頼度として用いる(経過時間の逆数を乗じない)こととする。信頼度算出部233は、以上の過程を繰り返すことにより、信頼度を常に更新する。
図3は、モニタ300が表示する内視鏡100の形状の経時変化を例示する模式図である。時刻t=t1において、形状センサ132の検出精度が低下し、形状センサ132に対応する部位の推定信頼度が閾値未満になったと仮定する。信頼度算出部233は、式2にしたがって時刻t1からの経過時間の逆数を乗じることにより信頼度を算出する。これにより、時刻がt1=>t2=>t3と経過するにしたがって、形状センサ132に対応する部位の信頼度は低下する。
形状表示部234は、内視鏡100のうち信頼度が閾値未満まで低下した部位を、信頼度の値に応じてフェードアウト表示する。図3においては、時刻がt1=>t2=>t3と経過するにしたがって、形状センサ132に対応する部位が、同部位の信頼度の低下にしたがってフェードアウトしている。ここでいうフェードアウトとは、画像が次第に消えていくことである。必ずしも画像が完全に消滅する必要はなく、完全消滅する過程における表示態様の変化も、ここでいうフェードアウトに含まれる。
時刻t4において、形状センサ132の検出精度が通常程度まで回復したと仮定する。これにより、センサ精度×形状変化度は閾値以上まで回復することになる。信頼度算出部233は、時刻t4以降は式1にしたがって信頼度を算出する。形状表示部234は、形状センサ132に対応する部位の信頼度が閾値以上まで回復したので、同部位の表示を通常態様に戻す。
図4は、プロセッサ200が内視鏡100の形状を画面表示する動作を説明するフローチャートである。プロセッサ200は、本フローチャートを繰り返し実施することにより内視鏡100の形状をモニタ300上に画面表示する。以下図4の各ステップについて説明する。
(図4:ステップS401)
形状推定部232は、センサ130から検出値を取得する。このとき、センサ130の検出精度を表すデータを併せて取得する。センサ130自身が検出精度を表す値を出力する場合はこれを取得すればよい。あるいは、例えばセンサ130が出力する電流の強度などの値を検出精度の指標として用いることもできる。その他適当な手法により検出精度を取得してもよい。
(図4:ステップS402)
形状推定部232は、センサ130の検出精度が検出精度閾値未満であるか否かを判定する。閾値未満である場合はステップS407へ進み、検出精度閾値以上である場合はステップS403へ進む。
(図4:ステップS403〜S405)
形状推定部232は、センサ130から取得した検出値に基づき、内視鏡100の各部位の位置と向きを推定する(S403)。形状推定部232は、ステップS403の推定結果に基づき、内視鏡100の形状を推定する(S404)。信頼度算出部233は、式1にしたがって、ステップS404の推定結果の信頼度を算出する(S405)。
(図4:ステップS405:補足)
センサ130の検出精度が充分に高い場合は、内視鏡100の形状推定結果の精度も高いと考えられる。したがって処理を簡易化するため、本ステップにおいて式1を用いることに代えて、充分高い固定値(例えば最大値=1.0)を信頼度の値として割り当ててもよい。
(図4:ステップS406)
形状表示部234は、形状推定部232による推定結果を、モニタ300上に画面表示する。本ステップにおいては、形状推定部232による推定結果の信頼度が充分に高いと考えられるので、図3で例示したようなフェードアウトは実施しない。
(図4:ステップS406:補足)
本ステップに到達する場合は、信頼度は充分に高いと考えられるので、フェードアウトは必要ない。ただし仮に本ステップにおいて信頼度が信頼度閾値未満となる可能性があるのであれば、信頼度算出部233と形状表示部234は、後述するステップS412と同様に信頼度を時間経過にともなって減少させ、内視鏡100の形状をフェードアウト表示してもよい。
(図4:ステップS407)
形状推定部232は、センサ130が故障しているか否かを判定する。センサ130自身が故障の有無を表す信号を出力する場合はその信号に基づき判定すればよい。あるいはセンサ130が検出値を何ら出力していないなどの状態に基づき故障の有無を判定してもよい。その他適当な手法により故障有無を判定してもよい。センサ130が故障している場合はステップS413へ進み、故障していない(単に検出精度が低下している)場合はステップS408へ進む。
(図4:ステップS407:補足)
センサ130が故障していないが検出精度が低下する状態としては、例えばセンサ130とアンテナ400との間の距離が離れることにより、センサ130が出力する信号の強度が低下した場合などが挙げられる。その他、アンテナ400やセンサ130の近傍に金属が存在することにより、検出精度が低下する場合もある。
(図4:ステップS408〜S410)
形状推定部232と信頼度算出部233は、ステップS403〜S405と同様の処理を実施する。
(図4:ステップS411)
信頼度算出部233は、ステップS410において算出した信頼度が、信頼度閾値未満であるか否かを判定する。信頼度閾値未満であればステップS412へ進み、信頼度閾値以上であればステップS406へ進む。
(図4:ステップS412)
信頼度算出部233は、センサ130の検出精度が検出精度閾値未満である部位について、信頼度が0にならないように経時減少させる。例えば時間経過にともなって信頼度を減少させ、ある程度まで信頼度が下がった時点で信頼度の値を固定する。形状表示部234は、その信頼度の経時変化に応じて、内視鏡100の形状を画面表示する。これにより内視鏡100の形状は、完全には消失しない程度までフェードアウトすることなる。例えば図3におけるt=t2のような表示態様となる。
(図4:ステップS412:補足)
本ステップにおいて、ステップS417と同様に、内視鏡100の形状が完全に消失するまでフェードアウトしてもよい。この場合は、ステップS412とS417の違いを視覚的に表示するためには、後述する実施形態2のようにフェードアウト以外の態様によって信頼度を画面表示する必要がある。
(図4:ステップS413〜S415)
形状推定部232と信頼度算出部233は、ステップS403〜S405と同様の処理を実施する。
(図4:ステップS416)
信頼度算出部233は、ステップS415において算出した信頼度が、信頼度閾値未満であるか否かを判定する。信頼度閾値未満であればステップS417へ進み、信頼度閾値以上であればステップS412へ進む。
(図4:ステップS417)
信頼度算出部233は、センサ130の検出精度が検出精度閾値未満である部位について、信頼度が0になるように経時減少させる。形状表示部234は、その信頼度の経時変化に応じて、内視鏡100の形状を画面表示する。これにより内視鏡100の形状は、完全に消失するまでフェードアウトすることになる。例えば図3におけるt=t3のような表示態様となる。
(図4:ステップS412、S417の補足その1)
ステップS412とS417の違いは、センサ130が故障しているか否かによる。センサ130が故障している場合は、その部位の形状推定結果の信頼度は低いと考えられるので、モニタ300上で同部位を完全に消失させることにより、操作者に対して信頼度が低い旨を視覚的に示唆することとした。これに対してステップS412においては、センサ130の検出精度が一時的に低下していると考えられるので、モニタ300上で同部位を完全には消失させないことにより、操作者に対してS417とは異なる状況を視覚的に示唆することとした。これにより、形状推定結果の信頼度を、モニタ300上の画像によって視覚的に示唆することができるので、操作者を効果的に補助することができる。
(図4:ステップS412、S417の補足その2)
本ステップにおいてフェードアウトを開始した後に、改めて本フローチャートを実施することにより、形状推定結果の信頼度が信頼度閾値以上に回復する場合がある。その場合は本ステップにおけるフェードアウトを中止して、通常表示に戻せばよい。例えばステップS406において、表示形態を通常表示に戻せばよい。
(図4:ステップS406、S412の補足)
センサ130の検出精度が一時的に低下したとしても、形状推定結果が充分に信頼できる場合は、フェードアウトする必要はない。そこでステップS411において信頼度が充分に高い場合は、検出精度が高い場合と同じ処理(S406)を実施することとした。これに対して例えば内視鏡100の形状変化度が大きい場合は、式1により信頼度が低く算出されるので、ステップS412を実施することになる。
図5は、信頼度算出部233が形状推定結果の信頼度を算出する手順を説明するフローチャートである。本フローチャートは、図4において信頼度算出部233が信頼度を算出する際に実施するものである。以下図5の各ステップについて説明する。
(図5:ステップS501)
信頼度算出部233は、センサ130の検出精度を取得する。具体的には、ステップS401において形状推定部232がセンサ130から取得した検出精度を、形状推定部232から受け取ればよい。
(図5:ステップS502)
信頼度算出部233は、内視鏡100の形状変化度を算出する。例えば以下のようなパラメータを1以上用いることにより、形状変化度を算出することができる。(a)内視鏡100の位置(センサ130が検出する位置)の時間変化率、(b)内視鏡100の形状の接線ベクトルの時間変化率、(c)内視鏡100の姿勢(センサ130が検出する向き)の時間変化率、(d)内視鏡100の局所形状の曲率半径。信頼度算出部233は、式1にしたがって信頼度を算出する。
(図5:ステップS503)
信頼度算出部233は、信頼度が信頼度閾値未満になってからの経過時間をカウント中であるか否かを判定する。ステップS405/S410/S415において本フローチャートを実施する場合は経過時間をカウントしないので、本フローチャートを終了する。ステップS406/S412/S417において本フローチャートを実施する場合は、内視鏡100の形状をフェードアウト表示することになるので、ステップS504以降を実施する。
(図5:ステップS504)
信頼度算出部233は、ステップS502において算出した信頼度に対して(1/経過時間)を乗算する。ここでいう経過時間とは、ステップS411またはS416において信頼度が信頼度閾値未満であると判定した時点からの経過時間である。
(図5:ステップS505)
信頼度算出部233は、ステップS407と同様の手順により、センサ130が故障しているか否かを判定する。故障している場合はステップS507へスキップし、故障していない場合はステップS506へ進む。ステップS507はステップS417に対応し、ステップS506はステップS412に対応する。
(図5:ステップS506)
信頼度算出部233は、信頼度が下限値未満になっている場合は、下限値まで切り上げる。本ステップは、内視鏡100の形状が完全に消滅するまでフェードアウトしないようにするためのものである。
(図5:ステップS507)
信頼度算出部233は、経過時間を更新する。経過時間は、例えばステップS411またはS416においてカウントアップを開始するタイマなどを用いることによって計測することができる。
<実施の形態1:まとめ>
本実施形態1に係る内視鏡システム1000は、形状推定部232が推定した内視鏡100の形状の信頼度と連動して、モニタ300上において内視鏡100の形状をフェードアウト表示する。これにより、内視鏡100の形状推定結果について、操作者に対して視覚的なフィードバックを与えて、操作者を補助することができる。特に、内視鏡の形状を推定した結果は必ずしも100%の精度を有しているとは限らず、推定結果の信頼度は常に変化しているので、本実施形態1に係る内視鏡システム1000により形状を把握することは有用である。特に、内視鏡の挿入形状を表示するのに好適である。
特許文献1のように、1つの閾値を設けて赤/黄などのように色を変化させて表示する場合は、表示の急変やチラつきが発生し、使い勝手が悪くなるという課題が生じる。この課題に対し本実施形態1に係る内視鏡システム1000は、2値表示ではなく、信頼度に応じてフェードアウトさせ、あるいはmissing sensor(プロセッサ200が信号を得ることができなくなったセンサ)の信頼度を隣接センサから決定し、信頼度の連続性を担保することにより、上記課題を解決することができる。
<実施の形態2>
本発明の実施形態2では、形状表示部234が内視鏡100の形状をモニタ300上に画面表示する際の様々な表示態様について説明する。内視鏡システム1000の構成は実施形態1と同様である。
図6は、信頼度が回復した部位をフェードイン表示する例である。図3において形状表示部234は、信頼度が所定閾値以上に回復したときは直ちに、対応する部位の形状を通常態様に戻す。これに代えて形状表示部234は、信頼度が信頼度閾値以上に回復した部位の画像を、フェードイン表示してもよい。フェードイン処理の時間間隔は、一律でもよいし信頼度の回復の速さに応じて可変としてもよい。
図7は、信頼度の増減に応じてフェードアウトとフェードインを可逆的に繰り返す例である。実施形態1において信頼度算出部233は、信頼度が信頼度閾値未満になると式1から式2に切り替えてフェードアウトを実施することとした。これに代えて信頼度算出部233は、信頼度が信頼度閾値未満になった以降も式1を用いて信頼度を算出し続けてもよい。この場合、信頼度の値は必ずしも単調減少するとは限らず、増減を繰り返す場合もある。形状表示部234は、信頼度の増減にしたがって、内視鏡100の画像のフェードアウト/フェードインを繰り返す。
図8は、信頼度を算出する根拠となっているパラメータを内視鏡100の形状と併せて表示する例である。信頼度が低下した部位をフェードアウトすることによって、操作者に対してその旨を示唆することができるが、さらにこれに加えて信頼度が低下した原因を操作者に対して提示することにより、操作者がその原因を把握できる。すなわち、原因不明の信頼度低下によって操作者を不安にさせないようにすることができる。信頼度が低下する原因としては、少なくとも式1の2つのパラメータが挙げられる。その他、位置精度と角度精度を個別に表示してもよい。図8においては文字列によってパラメータを表示しているが、適当な記号やアイコン画像などによって同等の情報を提示することもできる。
図9は、信頼度の時間変化率を内視鏡100の形状と併せて表示する例である。図9(a)の例においては、信頼度が緩やかに低下しているので、短い下向き矢印を画面表示している。図9(b)の例においては、信頼度が急峻に低下しているので、長い矢印を画面表示している。図9(c)の例においては、信頼度が緩やかに上昇しているので、短い上向き矢印を画面表示している。矢印以外の適当な表記を用いてもよい。信頼度の時間変化率を表示することにより、操作者は内視鏡100を適切に操作しているのか否かを画面上で視覚的に把握することができる。
図6〜図9で説明した表示態様は、任意に組み合わせて用いることもできる。例えば図7で説明したフェードイン/フェードアウトを繰り返す表示態様と、図9で説明した信頼度の変化率を表示するアイコンとを組み合わせて用いることができる。
<実施の形態3>
本発明の実施形態3では、内視鏡100の形状画像をフェードアウト/フェードインする以外の表示態様について説明する。内視鏡システム1000の構成は実施形態1〜2と同様である。
図10は、モニタ300が表示する内視鏡100の形状の経時変化を例示する模式図である。時刻t=t1において、形状センサ132の検出精度が低下し、形状センサ132に対応する部位の推定信頼度が閾値未満になったと仮定する。信頼度算出部233は、式2にしたがって時刻t1からの経過時間の逆数を乗じることにより信頼度を算出する。これにより、時刻がt1=>t2=>t3と経過するにしたがって、形状センサ132に対応する部位の信頼度は低下する。
形状表示部234は、内視鏡100のうち信頼度が閾値未満まで低下した部位の近傍または同部位と対応する箇所に、信頼度が低下した旨を表す画像を表示する。図10においては、時刻がt1=>t2=>t3と経過するにしたがって、形状センサ132に対応する部位の信頼度が、次第に低下している。形状表示部234は、形状センサ132に対応する部位を指すポップアップのなかに、信頼度が低下していることを示す下向きの矢印を画面表示する。矢印の長さは信頼度がどの程度低下しているかを表す。図10においては時間経過にともなって矢印が長くなっているので、信頼度が次第に低下していることが視覚的に提示されている。
時刻t4において、形状センサ132の検出精度が通常程度まで回復したと仮定する。これにより、センサ精度×形状変化度は閾値以上まで回復することになる。信頼度算出部233は、時刻t4以降は式1にしたがって信頼度を算出する。形状表示部234は、形状センサ132に対応する部位の信頼度が閾値以上まで回復したので、同部位の表示を通常態様に戻す。
形状表示部234は、矢印の長さが信頼度そのものを表すようにしてもよいし、信頼度の変化率を矢印の長さと方向によって表してもよい。例えば信頼度が急峻に低下したときは下向きの長い矢印を表示し、信頼度が緩やかに上昇したときは上向きの短い矢印を表示することができる。
図11は、プロセッサ200が内視鏡100の形状を画面表示する動作を説明するフローチャートである。プロセッサ200は、本フローチャートを繰り返し実施することにより内視鏡100の形状をモニタ300上に画面表示する。以下図11の各ステップについて説明する。
(図11:ステップS1101)
形状推定部232は、センサ130から検出値を取得する。このとき、センサ130の検出精度を表すデータを併せて取得する。センサ130自身が検出精度を表す値を出力する場合はこれを取得すればよい。あるいは、例えばセンサ130が出力する電流の強度などの値を検出精度の指標として用いることもできる。その他適当な手法により検出精度を取得してもよい。
(図11:ステップS1102〜S1104)
形状推定部232は、センサ130から取得した検出値に基づき、内視鏡100の各部位の位置と向きを推定する(S1102)。形状推定部232は、ステップS1102の推定結果に基づき、内視鏡100の形状を推定する(S1103)。信頼度算出部233は、式1にしたがって、ステップS1104の推定結果の信頼度を算出する(S1104)。
(図11:ステップS1105)
形状表示部234は、ステップS1104において信頼度算出部233が算出した信頼度が信頼度閾値未満であるか否かを判定する。閾値未満であればステップS1107へ進み、閾値以上であればステップS1106へ進む。
(図11:ステップS1106)
形状表示部234は、形状推定部232による推定結果を、モニタ300上に画面表示する。本ステップにおいては、形状推定部232による推定結果の信頼度が充分に高いので、図10で例示したような信頼度画像は表示しない。
(図11:ステップS1107)
信頼度算出部233は、センサ130の検出精度が検出精度閾値未満である部位について、信頼度を経時減少させる。形状表示部234は、形状推定部232による推定結果と併せて、信頼度算出部233が算出した信頼度を表す信頼度画像を画面表示する。例えば図10のt=t2やt=t3のような表示態様となる。
図12は、信頼度算出部233が形状推定結果の信頼度を算出する手順を説明するフローチャートである。本フローチャートは、図11において信頼度算出部233が信頼度を算出する際に実施するものである。以下図12の各ステップについて説明する。
(図12:ステップS1201)
信頼度算出部233は、センサ130の検出精度を取得する。具体的には、ステップS1101において形状推定部232がセンサ130から取得した検出精度を、形状推定部232から受け取ればよい。
(図12:ステップS1202)
信頼度算出部233は、内視鏡100の形状変化度を算出する。例えば以下のようなパラメータを1以上用いることにより、形状変化度を算出することができる。(a)内視鏡100の位置(センサ130が検出する位置)の時間変化率、(b)内視鏡100の形状の接線ベクトルの時間変化率、(c)内視鏡100の姿勢(センサ130が検出する向き)の時間変化率、(d)内視鏡100の局所形状の曲率半径。信頼度算出部233は、式1にしたがって信頼度を算出する。
(図12:ステップS1203)
信頼度算出部233は、信頼度が信頼度閾値未満になってからの経過時間をカウント中であるか否かを判定する。ステップS1106において本フローチャートを実施する場合は経過時間をカウントしないので、本フローチャートを終了する。ステップS1107において本フローチャートを実施する場合は、経過時間に応じて信頼度を低くすることになるので、ステップS1204以降を実施する。
(図12:ステップS1204)
信頼度算出部233は、ステップS1202において算出した信頼度に対して(1/経過時間)を乗算する。ここでいう経過時間とは、ステップS1105において信頼度が信頼度閾値未満であると判定した時点からの経過時間である。
(図12:ステップS1205)
信頼度算出部233は、経過時間を更新する。経過時間は、例えばステップS1107においてカウントアップを開始するタイマなどを用いることによって、計測することができる。
<実施の形態3:まとめ>
本実施形態3に係る内視鏡システム1000は、形状推定部232が推定した内視鏡100の形状と併せて、推定結果の信頼度を表す信頼度画像を表示する。これにより、内視鏡100の形状推定結果について、操作者に対して視覚的なフィードバックを与えて、操作者を補助することができる。
<実施の形態4>
図13は、本発明の実施形態4に係る内視鏡システム1000が画面表示する画像の例である。本実施形態4において、形状表示部234は、実施形態3で説明した画像に加えてさらに、図13に示す画像をモニタ300上に画面表示する。以下図13の各画像について説明する。
形状表示欄310は、内視鏡100の形状画像と信頼度画像を表示する欄である。形状表示部234は、形状表示欄310上に、実施形態1で説明した形状画像と信頼度画像を表示する。
内部構造欄320は、内視鏡100を挿入する対象の内部構造を模式化した内部構造画像を表示する欄である。図13においては人体の大腸に対して内視鏡100を挿入するシーンを前提として、大腸の模式画像を表示する例を示した。内部構造画像として複数の画像(例:大腸、気管支、など)をあらかじめプロセッサ200が備える記憶装置上に格納しておき、操作者がいずれかの内部構造画像を適当なインターフェース経由で指定する。プロセッサ200はその指定を受け取り、形状表示部234は対応する内部構造画像を記憶装置から読み出して画面表示する。
形状表示部234は、内部構造欄320上においてさらに、形状画像321を画面表示する。形状画像321は、内視鏡100が挿入されている内部構造上における内視鏡100のおおよその位置と形状を表す画像である。センサ130は内視鏡100の位置と向きを検出するので、形状推定部232はこれを用いて、内部構造上における内視鏡100の位置と形状を推定することができる。形状表示部234は、形状推定部232が推定した内視鏡100の内部構造上における位置と形状を、形状画像321として画面表示する。
内部構造上における内視鏡100の位置と形状を推定する手法としては、例えば以下のようなものが考えられるが、これら以外の適当な手法を用いてもよい:(a)アンテナ400に対する人体の相対的位置と相対的姿勢を、例えば人体を撮影することによって検出し、その結果に基づき内部構造の3次元座標を推定する。内部構造の3次元座標と内視鏡100の3次元座標を対応付けることにより、内部構造上における内視鏡100の位置と形状を推定することができる。(b)内視鏡100の先端が内部構造の入り口に対して到達した時点で、操作者がプロセッサ200に対してその旨を指示する。形状推定部232は、以後の内視鏡100の動きに応じて、内部構造上における内視鏡100の位置と形状を推定する。
人体画像表示欄330は、内視鏡100を挿入する人体を模式化した人体画像を表示する欄である。人体画像は例えばプロセッサ200が備える記憶装置上にあらかじめ格納しておくことができる。形状推定部232は、上記(a)のような手法により人体の位置と姿勢を推定し、その推定結果に応じて人体画像を変形(位置や向きを調整)する。形状表示部234は、その人体画像を画面表示する。
形状表示部234は、人体画像表示欄330上においてさらに、形状画像331を画面表示する。形状画像331は、形状画像321と同様の役割を有する画像である。人体内部における内部構造画像の位置や向きはあらかじめ把握することができるので、形状推定部232は内部構造上における内視鏡100の位置と形状を推定する際に、人体画像上における内視鏡100の位置と形状を併せて推定することができる。形状表示部234は、形状推定部232が推定した人体画像上における内視鏡100の位置と形状を、形状画像331として画面表示する。
図13のように、内視鏡100を挿入する対象の内部構造上における内視鏡100の位置を、内視鏡100の形状画像と併せて画面表示することにより、操作者は内視鏡100の位置を的確に把握することができるので、操作者に対してより効果的な操作補助情報を提示することができる。
<実施の形態5>
図14は、本発明の実施形態5に係る内視鏡システム1000の構成図である。本実施形態5において、プロセッサ200は記憶装置240を備える。記憶装置240は、例えばハードディスクドライブなどの不揮発性記憶装置である。記憶装置240は、実施形態2で説明した各画像に加えて、後述する履歴データ241を格納する。
図15は、履歴データ241の構成とデータ例を示す図である。履歴データ241は、形状推定部232が内視鏡100の形状を推定した結果の履歴を記録するデータテーブルである。履歴データ241は、データフィールドとして、日時2411、センサ番号2412、座標2413、向き2414、信頼度2415を有する。
日時2411は、形状推定部232が内視鏡100の形状を推定した日時である。センサ番号2412は、形状センサ131〜134いずれかを指す番号である。座標2413は、センサ130の検出結果に基づき形状推定部232がセンサ130の座標を推定した結果である。向き2414は、センサ130の検出結果に基づき形状推定部232がセンサ130の向きを推定した結果である。信頼度2415は、信頼度算出部233が算出した信頼度の値である。
履歴データ241は、例えば信頼度が低下する原因を分析するために用いることができる。信頼度が低下する原因としては、センサ130がアンテナ400から離れることの他に、患者が横たわっているベッドの金属部材がアンテナ400から放射する磁場に対して干渉することが考えられる。履歴データ241において、ある特定の座標2413に対応する信頼度2415が小さい傾向が顕著であれば、その座標2413近傍において、信頼度を低下させる要因(例えば金属部材)が存在しているのではないかと推測することができる。
履歴データ241のその他用途としては、例えば履歴データ241が記述している操作履歴を画面上で再現することが考えられる。これにより、どのような操作をすれば信頼度が低下するのか、などの情報を視覚的に得ることができるので、熟練度が比較的低い操作者にとって有用である。
<実施の形態6>
本発明の実施形態6では、形状表示部234が内視鏡100の形状信頼度をモニタ300上に画面表示する際の様々な表示態様について説明する。内視鏡システム1000の構成は実施形態3〜5と同様である。
図16は、信頼度が低下したことを示すマークを表示する例である。t=t2において、形状表示部234は、内視鏡100の形状の推定精度が低下した部位(形状センサ132に対応する部位)に、×マークを表示している。マークのサイズは信頼度が低下した程度を表す。×マークのサイズが大きいほど信頼度が低いことを表す。t=t3においては信頼度がさらに低下しているので、×マークのサイズが大きくなっている。マークと併せてまたはマークに代えて、信頼度が低下した部位の色をその他部位とは異なる色に変化させることもできる。さらには、信頼度が低下した程度に応じて色を変えたり、色の濃さや輝度を変えたりすることもできる。色を変化させる際に、時間経過にともなって次第に色を変化させてもよい。
図17は、信頼度が低下した部位を点滅させる例である。t=t2において、形状表示部234は、形状センサ132に対応する部位を点滅表示させている。点滅の頻度によって、信頼度が低下した程度を表すこともできる。例えば信頼度が低くなるほど点滅頻度を多くすることが考えられる。
図18は、信頼度の数値を表示する例である。形状表示部234は、信頼度が信頼度閾値未満に低下した部位について、その部位の信頼度の数値を画面表示する。部位を指示して信頼度を表示することにより、信頼度が低下した部位とその程度を視覚的に把握することができる。
図19は、信頼度を表すスケールバーを表示する例である。t=t2において、形状表示部234は、形状センサ132に対応する部位をマークするとともに、そのマークと同じ模様のスケールバーを画面右下に表示している。スケールバーの長さは信頼度を表している。t=t2においては信頼度が最大値の半分程度であることが示唆されている。t=t3においては信頼度が最大値の4分の1程度であることが示唆されている。
実施形態3と実施形態6で説明した表示態様は、任意に組み合わせて用いることもできる。例えば図16で説明したマークと併せて図10で説明した矢印を用いることができる。その他適当な組み合わせを用いることもできる。さらに、内視鏡100の部位についての信頼度に代えて、またはこれに加えて、内視鏡100全体の形状についての信頼度を表示することもできる。この場合は、例えば各部位についての信頼度を平均するなどの適当な手法によって全体の信頼度を算出することができる。
<本発明の変形例について>
本発明は上記実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換える事が可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について他の構成の追加・削除・置換をすることができる。
以上の実施形態においては、コイルによってセンサ130を構成した例を説明したが、その他の方式により内視鏡100の位置や向きを検出してもよい。例えばFBG(Fiber Bragg Grating)センサなどの光学式センサを用いることもできる。この場合であっても以上の実施形態と同様に、形状推定の信頼度に連動して、モニタ300上の画面表示を変化させることができる。
以上の実施形態において、センサ130は内視鏡100の位置センサと角度センサを兼ねているが、これらを個別に構成することもできる。例えば加速度センサを用いて角度センサを構成することが考えられる。また以上の実施形態において、4つの形状センサ131〜134を備える例を説明したが、センサの個数はこれに限られるものではない。
以上の実施形態において、式1と式2を用いて信頼度を算出することを説明したが、その他の数式を用いてもよい。すなわち、(a)センサ130の検出精度、(b)形状変化度、(c)経過時間、のうち少なくともいずれかが信頼度として反映されるのであれば、その他適当な数式を用いてもよい。例えば上記(a)のみを信頼度として反映することもできる。その上で(b)(c)も信頼度として反映することにより、信頼度をより正確に求めることができる。
以上の実施形態において、信頼度算出部233が経過時間にともなって信頼度を減少させる際に、経過時間の逆数を乗算することに代えて、例えば以下のような関数にしたがって信頼度を減少させてもよい:(a)経過時間にともなって信頼度を単調減少させる、(b)経過時間にともなって信頼度をステップ状に減少させる。
本発明における観察の対象部位としては、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、気管支、耳鼻咽喉が挙げられる。消化器等は、例えば、大腸、小腸、胃、食道、十二指腸、子宮、膀胱等である。観察対象が複雑な形状の場合、内視鏡の挿入部の3D画像表示による操作支援システムの活用がより効果的である。特に、大腸は4つの急峻な屈曲部を有し、例えば胃等に比べるととても長く、きわめて施術者の操作に熟練度が求められる。また、大腸を通らないと観察できない小腸の観察でも同様の問題が生じる。さらに、気管支も分岐構造が多く、施術者の操作に熟練度が求められる。そのため、大腸用内視鏡、小腸用内視鏡、気管支用内視鏡又は膀胱用内視鏡である場合に、正確に施術者の操作支援を行うことができる本発明の効果がより顕著となる。
以上の実施形態において、光源220は内視鏡100の先端に設けてもよい。例えば、内視鏡100の先端にLED等の発光素子が搭載されてもよい。これにより、プロセッサ200から内視鏡100の先端まで光を導くための構成が必要なくなり、装置のサイズを小型化できる。また、内視鏡システム1000の消費電力を低減することができる。
以上の実施形態において、撮像デバイス120として、例えば、CCD、CMOS等を使用することができる。高精細な画像を得ることができる撮像デバイス120を用いることが好ましい。高精細とは、例えば、100万画素以上であり、200万画素であることがより好ましく、800万画素以上であることがさらに好ましい。これにより、高精細な画像によって診断を精度よく行うことができる。また、施術者はモニタ300の内視鏡画像を見ながら内視鏡100を操作するので、高精細な画像を見ることで内視鏡100の先端を操作し易い。
以上の実施形態において、内視鏡100の先端のうち観察対象に対して挿入する部位(挿入部)は、受動湾曲部を備えてもよい。受動湾曲部は、内視鏡100を操作することによって能動的に湾曲せず、受動的に湾曲する部である。内視鏡100の先端が腸壁に当たって力がかかると、この受動湾曲部が自動的にしなる。これによって、例えば腸壁を押す力が内視鏡100の先端部を先へ進める力へと変換される。そのため、腸壁に内視鏡100の先端が接触した際の患者の痛みを軽減することができる。しかし、受動湾曲部を備える内視鏡の場合、施術者の操作が必ずしもそのまま内視鏡100の先端部の形状に反映されるわけではなく、操作が複雑となり熟練度を要する傾向にある。そのため、受動湾曲部を備える内視鏡100の場合、挿入部位の形状を適正に検出することができる本発明の効果がより顕著となる。
以上の実施形態において、内視鏡100の挿入部として、硬度可変の挿入部が採用されてもよい。挿入部は、硬度可変のために、硬度変換コイル、硬度変換ワイヤ、ワイヤの基端に設けられた牽引部材、及び、牽引部材の長手方向位置を変更させる硬度変更操作部(例えば、リング)を有してもよい。牽引部材によって硬度変更ワイヤが牽引されていない状態のとき、硬度変更コイルに対して外力がかからないので、硬度変更コイルは軟らかな状態になる。一方、硬度変更用のリングを回転操作して牽引部材を移動させると、硬度変更コイルに圧縮力が徐々に加わっていく。これにより、挿入部の曲げ方向に対する硬度が高くなるように徐々に変化する。硬度可変を採用した内視鏡の場合、硬度が軟らかな状態のときの挿入部の形状の把握が重要となる。したがって、内視鏡挿入部の形状を適正に検出することができる本発明の効果がより顕著となる。
以上の実施形態において、電子内視鏡を例に説明を行なったが、本発明はイメージガイドファイバなどを用いた内視鏡にも適用できる。また以上の実施形態では内視鏡100の挿入部に沿って複数のコイルを配置したが、例えばプローブ状の器具に複数のコイルを設け、同器具を鉗子口から装着する構成としてもよい。その場合、挿入部に設けられるコイルは、コネクタ部を介することなくプロセッサ200とは別の信号処理装置に直接接続することができる。これにより、内視鏡100の形状を推定する機能をプロセッサ200から独立させることができる。すなわち、内視鏡100が撮影した画像を処理するプロセッサ200と、内視鏡100の形状を推定する別のプロセッサを、個別に構成することもできる。モニタ300についても同様に、内視鏡100が撮影した画像を表示するモニタと内視鏡100の形状を表示するモニタを個別に構成することもできる。
以上の実施形態においては、患者の体外に配置されるアンテナ400で磁場を発生し、患者の体内に配置されるコイルで同磁場を検出したが、コイルが磁場を発生し、アンテナ400が磁場を検出してもよい。
<本発明のまとめ>
本発明は、以下の構成を備える。
<構成1>
内視鏡の形状を表示する内視鏡形状表示装置であって、
内視鏡の形状を推定する推定部、
前記推定部が推定した前記内視鏡の形状の信頼度を算出する信頼度算出部、
前記推定部が推定した前記内視鏡の形状を表す形状画像を表示するとともに、前記信頼度の値を反映した出力を出力する出力部、
を備える内視鏡形状表示装置。
<構成2>
前記出力部は、前記信頼度が時間経過にともなって増加しているときはその旨を表す信頼度増加画像を表示し、
前記出力部は、前記信頼度が時間経過にともなって減少しているときはその旨を表す信頼度低下画像を表示する
構成1記載の内視鏡形状表示装置。
<構成3>
前記推定部は、前記内視鏡の位置を推定し、
前記出力部はさらに、前記内視鏡を挿入する部位の内部構造を模式化した内部構造画像を表示し、
前記出力部は、前記推定部が推定した前記内視鏡の位置を、前記内部構造画像に対して重畳して表示する
構成1記載の内視鏡形状表示装置。
<構成4>
前記推定部は、前記内視鏡の位置を推定し、
前記出力部はさらに、前記内視鏡を挿入する人体の姿勢を表す人体画像を表示し、
前記出力部は、前記推定部が推定した前記内視鏡の位置を、前記人体画像に対して重畳して表示する
構成1記載の内視鏡形状表示装置。
<構成5>
前記内視鏡形状表示装置はさらに、前記信頼度算出部が算出した前記信頼度の履歴を記述した履歴データを格納する記憶部を備える
構成1記載の内視鏡形状表示装置。
<構成6>
前記信頼度算出部は、前記信頼度の値、前記信頼度を算出した時刻、および前記信頼度の値を算出した時点における前記推定部による推定結果を対応付けて、前記履歴データとして前記記憶部に格納する
構成5記載の内視鏡形状表示装置。
<構成7>
前記出力部は、前記信頼度の値を反映した信頼度画像として、前記信頼度の値を表す色、前記信頼度の値を表す模様、前記信頼度の値を表す点滅画像、前記信頼度の値を表す数字、前記信頼度の値を表すスケールバー、のうち少なくともいずれかを表示する
構成1記載の内視鏡形状表示装置。
<構成8>
前記出力部は、前記信頼度の値を反映した前記形状画像を表示する
構成1記載の内視鏡形状表示装置。
<構成9>
前記出力部は、前記信頼度の値に応じて前記形状画像を経時変化させる
構成1記載の内視鏡形状表示装置。
<構成10>
前記出力部は、時間経過にともなって、前記形状画像を連続的にまたは段階的に変化させる
構成9記載の内視鏡形状表示装置。
<構成11>
前記信頼度算出部は、前記内視鏡の全体の形状について前記信頼度を算出する
構成1記載の内視鏡形状表示装置。
<構成12>
構成1から11のいずれか1項記載の内視鏡形状表示装置、
前記内視鏡、
を有する内視鏡システム。
<構成13>
前記推定部は、
前記内視鏡の内部または前記内視鏡の外部のいずれか一方に設けられた複数の磁場発生素子、
前記内視鏡の内部または前記内視鏡の外部のうち、前記複数の磁場発生素子が設けられていない他方に設けられ、前記複数の磁場発生素子が発した磁場を検出するための複数の磁場検出素子、
前記磁場検出素子が検出した磁場に基づき、前記内視鏡に設けられた複数の磁場発生素子または前記複数の磁場検出素子の位置を推定する位置推定部、
を有し、
前記推定部は、前記位置推定部により推定された前記複数の磁場発生素子または前記複数の磁場検出素子の位置に基づき、前記内視鏡の形状を推定する
構成12記載の内視鏡システム。
<構成14>
前記信頼度算出部は、第1計算式にしたがって前記信頼度を算出し、
前記信頼度算出部は、前記第1計算式にしたがって算出した前記信頼度が所定閾値未満になると、前記第1計算式とは異なる第2計算式にしたがって前記信頼度を算出し、
前記信頼度算出部は、前記第2計算式にしたがって算出した前記信頼度が前記所定閾値以上になったときは、前記信頼度を算出するために用いる計算式を前記第2計算式から前記第1計算式に戻す
構成1記載の内視鏡形状表示装置。
100:内視鏡
200:プロセッサ
210:レセプタクル
220:光源
230:CPU
231:撮影画像表示部
232:形状推定部
233:信頼度算出部
234:形状表示部
300:モニタ
400:アンテナ
1000:内視鏡システム

Claims (13)

  1. 内視鏡の形状を表示する内視鏡形状表示装置であって、
    内視鏡の形状を推定する推定部、
    前記推定部が推定した前記内視鏡の形状の信頼度を算出する信頼度算出部、
    前記推定部が推定した前記内視鏡の形状を表す形状画像を表示するとともに、前記信頼度の値を反映した出力を出力する出力部、
    を備える内視鏡形状表示装置。
  2. 前記出力部は、前記信頼度が時間経過にともなって増加しているときはその旨を表す信頼度増加画像を表示し、
    前記出力部は、前記信頼度が時間経過にともなって減少しているときはその旨を表す信頼度低下画像を表示する
    請求項1記載の内視鏡形状表示装置。
  3. 前記推定部は、前記内視鏡の位置を推定し、
    前記出力部はさらに、前記内視鏡を挿入する部位の内部構造を模式化した内部構造画像を表示し、
    前記出力部は、前記推定部が推定した前記内視鏡の位置を、前記内部構造画像に対して重畳して表示する
    請求項1記載の内視鏡形状表示装置。
  4. 前記推定部は、前記内視鏡の位置を推定し、
    前記出力部はさらに、前記内視鏡を挿入する人体の姿勢を表す人体画像を表示し、
    前記出力部は、前記推定部が推定した前記内視鏡の位置を、前記人体画像に対して重畳して表示する
    請求項1記載の内視鏡形状表示装置。
  5. 前記内視鏡形状表示装置はさらに、前記信頼度算出部が算出した前記信頼度の履歴を記述した履歴データを格納する記憶部を備える
    請求項1記載の内視鏡形状表示装置。
  6. 前記信頼度算出部は、前記信頼度の値、前記信頼度を算出した時刻、および前記信頼度の値を算出した時点における前記推定部による推定結果を対応付けて、前記履歴データとして前記記憶部に格納する
    請求項5記載の内視鏡形状表示装置。
  7. 前記出力部は、前記信頼度の値を反映した信頼度画像として、前記信頼度の値を表す色、前記信頼度の値を表す模様、前記信頼度の値を表す点滅画像、前記信頼度の値を表す数字、前記信頼度の値を表すスケールバー、のうち少なくともいずれかを表示する
    請求項1記載の内視鏡形状表示装置。
  8. 前記出力部は、前記信頼度の値を反映した前記形状画像を表示する
    請求項1記載の内視鏡形状表示装置。
  9. 前記出力部は、前記信頼度の値に応じて前記形状画像を経時変化させる
    請求項1記載の内視鏡形状表示装置。
  10. 前記出力部は、時間経過にともなって、前記形状画像を連続的にまたは段階的に変化させる
    請求項9記載の内視鏡形状表示装置。
  11. 前記信頼度算出部は、前記内視鏡の全体の形状について前記信頼度を算出する
    請求項1記載の内視鏡形状表示装置。
  12. 請求項1から11のいずれか1項記載の内視鏡形状表示装置、
    前記内視鏡、
    を有する内視鏡システム。
  13. 前記推定部は、
    前記内視鏡の内部または前記内視鏡の外部のいずれか一方に設けられた複数の磁場発生素子、
    前記内視鏡の内部または前記内視鏡の外部のうち、前記複数の磁場発生素子が設けられていない他方に設けられ、前記複数の磁場発生素子が発した磁場を検出するための複数の磁場検出素子、
    前記磁場検出素子が検出した磁場に基づき、前記内視鏡に設けられた複数の磁場発生素子または前記複数の磁場検出素子の位置を推定する位置推定部、
    を有し、
    前記推定部は、前記位置推定部により推定された前記複数の磁場発生素子または前記複数の磁場検出素子の位置に基づき、前記内視鏡の形状を推定する
    請求項12記載の内視鏡システム。
JP2017151812A 2017-08-04 2017-08-04 内視鏡形状表示装置、内視鏡システム Active JP6899276B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017151812A JP6899276B2 (ja) 2017-08-04 2017-08-04 内視鏡形状表示装置、内視鏡システム
CN201880030850.2A CN110913747B (zh) 2017-08-04 2018-08-03 内窥镜形状显示装置、内窥镜系统
EP18840488.3A EP3607869B1 (en) 2017-08-04 2018-08-03 Endoscope shape display device, and endoscope system
PCT/JP2018/029161 WO2019027032A1 (ja) 2017-08-04 2018-08-03 内視鏡形状表示装置、内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017151812A JP6899276B2 (ja) 2017-08-04 2017-08-04 内視鏡形状表示装置、内視鏡システム

Publications (2)

Publication Number Publication Date
JP2019030387A true JP2019030387A (ja) 2019-02-28
JP6899276B2 JP6899276B2 (ja) 2021-07-07

Family

ID=65232871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017151812A Active JP6899276B2 (ja) 2017-08-04 2017-08-04 内視鏡形状表示装置、内視鏡システム

Country Status (4)

Country Link
EP (1) EP3607869B1 (ja)
JP (1) JP6899276B2 (ja)
CN (1) CN110913747B (ja)
WO (1) WO2019027032A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08542A (ja) * 1994-04-21 1996-01-09 Olympus Optical Co Ltd 内視鏡位置検出装置
JP2002325721A (ja) * 2001-05-07 2002-11-12 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2003093326A (ja) * 2001-09-25 2003-04-02 Pentax Corp 可撓性電子内視鏡装置
JP2014023628A (ja) * 2012-07-25 2014-02-06 Olympus Corp 蛍光観察装置
WO2016135966A1 (ja) * 2015-02-27 2016-09-01 オリンパス株式会社 操作支援装置、挿入体システム及び操作支援方法
JP2016540563A (ja) * 2013-12-04 2016-12-28 オバロン・セラピューティクス、インコーポレイテッドObalon Therapeutics, Inc. 胃内デバイスを配置するためおよび/または特徴付けるためのシステムおよび方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6059718A (en) * 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
JP3722762B2 (ja) * 2002-02-22 2005-11-30 オリンパス株式会社 内視鏡形状検出装置
JP2006043449A (ja) * 2004-07-08 2006-02-16 Pentax Corp 内視鏡システム
EP2191768A4 (en) * 2007-09-07 2016-08-31 Olympus Corp POSITION SENSOR, MEDICAL DEVICE GUIDING SYSTEM, POSITION DETECTING METHOD, AND MEDICAL DEVICE GUIDING METHOD
JP5208495B2 (ja) * 2007-12-27 2013-06-12 オリンパスメディカルシステムズ株式会社 医療用システム
EP2904958A4 (en) * 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
CN105030188A (zh) * 2015-08-06 2015-11-11 桂林电子科技大学 具有轨迹显示功能的肠镜系统及肠镜轨迹显示方法
JP6218991B2 (ja) * 2015-11-13 2017-10-25 オリンパス株式会社 内視鏡の状態推定装置の作動方法および内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08542A (ja) * 1994-04-21 1996-01-09 Olympus Optical Co Ltd 内視鏡位置検出装置
JP2002325721A (ja) * 2001-05-07 2002-11-12 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2003093326A (ja) * 2001-09-25 2003-04-02 Pentax Corp 可撓性電子内視鏡装置
JP2014023628A (ja) * 2012-07-25 2014-02-06 Olympus Corp 蛍光観察装置
JP2016540563A (ja) * 2013-12-04 2016-12-28 オバロン・セラピューティクス、インコーポレイテッドObalon Therapeutics, Inc. 胃内デバイスを配置するためおよび/または特徴付けるためのシステムおよび方法
WO2016135966A1 (ja) * 2015-02-27 2016-09-01 オリンパス株式会社 操作支援装置、挿入体システム及び操作支援方法

Also Published As

Publication number Publication date
WO2019027032A1 (ja) 2019-02-07
EP3607869B1 (en) 2021-02-17
CN110913747A (zh) 2020-03-24
EP3607869A4 (en) 2020-04-01
EP3607869A1 (en) 2020-02-12
JP6899276B2 (ja) 2021-07-07
CN110913747B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP4656988B2 (ja) 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP6465452B2 (ja) 内視鏡挿入形状観測装置
JP6710284B2 (ja) 挿入システム
EP2904958A1 (en) Endoscopic system
CN110769737B (zh) 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
JP6957645B2 (ja) 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法
JP7292376B2 (ja) 制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法
JP2001046318A (ja) 内視鏡形状検出装置
JP6624705B2 (ja) 内視鏡挿入形状観測装置
WO2019003272A1 (ja) 可撓管挿入装置、挿入制御装置及び挿入制御プログラム
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
JP6967906B2 (ja) 内視鏡形状表示装置、及び内視鏡システム
JP6899276B2 (ja) 内視鏡形状表示装置、内視鏡システム
JP6616838B2 (ja) 内視鏡形状把握システム
JP6464110B2 (ja) 内視鏡形状把握システム
JP7221787B2 (ja) 血管径測定システム
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
JP2006247292A (ja) 内視鏡挿入形状検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R150 Certificate of patent or registration of utility model

Ref document number: 6899276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150