JP2023057073A - レーザ処置中に標的特性を決定するためのシステムおよび方法 - Google Patents

レーザ処置中に標的特性を決定するためのシステムおよび方法 Download PDF

Info

Publication number
JP2023057073A
JP2023057073A JP2022163175A JP2022163175A JP2023057073A JP 2023057073 A JP2023057073 A JP 2023057073A JP 2022163175 A JP2022163175 A JP 2022163175A JP 2022163175 A JP2022163175 A JP 2022163175A JP 2023057073 A JP2023057073 A JP 2023057073A
Authority
JP
Japan
Prior art keywords
target
tip
endoscope
distance
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022163175A
Other languages
English (en)
Other versions
JP7460723B2 (ja
Inventor
カート・ジー・シェルトン
g shelton Kurt
ジェーン・バロー
Bareau Jane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gyrus ACMI Inc
Original Assignee
Gyrus ACMI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gyrus ACMI Inc filed Critical Gyrus ACMI Inc
Publication of JP2023057073A publication Critical patent/JP2023057073A/ja
Application granted granted Critical
Publication of JP7460723B2 publication Critical patent/JP7460723B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B18/22Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser the beam being directed along or through a flexible conduit, e.g. an optical fibre; Couplings or hand-pieces therefor
    • A61B18/26Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser the beam being directed along or through a flexible conduit, e.g. an optical fibre; Couplings or hand-pieces therefor for producing a shock wave, e.g. laser lithotripsy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B18/22Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser the beam being directed along or through a flexible conduit, e.g. an optical fibre; Couplings or hand-pieces therefor
    • A61B18/24Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser the beam being directed along or through a flexible conduit, e.g. an optical fibre; Couplings or hand-pieces therefor with a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00022Sensing or detecting at the treatment site
    • A61B2017/00057Light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00725Calibration or performance testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00505Urinary tract
    • A61B2018/00511Kidney
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00642Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/0066Sensing and controlling the application of energy without feedback, i.e. open loop control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00696Controlled or regulated parameters
    • A61B2018/00726Duty cycle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00696Controlled or regulated parameters
    • A61B2018/00732Frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00696Controlled or regulated parameters
    • A61B2018/00761Duration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00904Automatic detection of target tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2015Miscellaneous features
    • A61B2018/2025Miscellaneous features with a pilot laser
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means

Abstract

【課題】レーザ処置中に標的特性を決定するためのシステムおよび方法を提供すること。【解決手段】方法は、(i)(i)内視鏡に結合されたビデオセンサから取得された内視鏡画像上の標的または前記標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)前記内視鏡の先端から前記標的までの距離との間の関係を取得するステップを含む。方法は、(ii)処置中に前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数を測定するステップと、(iii)ステップ(i)において取得された前記関係と、ステップ(ii)において測定された前記ピクセル数とに少なくとも部分的に基づいて、前記標的のサイズ、または前記内視鏡の前記先端から前記標的までの距離のうちの少なくとも1つを決定するステップとをさらに含む。【選択図】図1A

Description

関連出願の相互参照
本出願は、2021年10月8日に出願した米国仮特許出願第63/262,290号および2022年6月6日に出願した米国仮特許出願第63/365,886号の優先権の利益を主張するものであり、これらの内容は、それらの全体において本明細書に組み込まれる。
本開示は、レーザ処置中に標的の特性を決定することに関する。
レーザ砕石術などの外科的レーザ処置中、医師は、患者の体内の腫瘍、結石、組織片などの、様々なサイズの標的と相互作用する必要がある場合がある。標的は、媒体(例えば、水または生理食塩水などの液体媒体)内に配置され得、医師は、標的に対する外科的処置のために内視鏡などのスコープを使用し得る。スコープは、スコープの端部に取り付けられたまたは接続された、レーザファイバ先端、内視鏡イメージセンサなどを含むことができる。
米国特許公開第2021/0038064号 米国特許公開第2021/0038311号 米国特許公開第2021/0038062号
内視鏡および他の同様の外科用スコープまたはカテーテルは、様々な外科的処置において使用され得る。例えば、扁桃摘出術、副鼻腔手術、もしくは他の同様の処置などの耳鼻咽喉科(ENT)処置、消化器系における処置、または腹部内の処置における。砕石術または他の同様の処置(例えば、腫瘍除去、組織アブレーション処置、または腎臓結石アブレーション/除去)などの多くの内視鏡処置は、スコープの端部に取り付けられたカメラなどの撮像センサと組み合わせてレーザ光を利用し得る。
医師が、診断または治療処置のいずれかを実行する際に、腫瘍または結石などの標的の寸法を知ることは、重要である。たとえば、癌性腫瘍を視覚化しようとする医師は、腫瘍が外科的に除去され得るかどうかを判断するために腫瘍の寸法(例えば、高さおよび幅)を決定すること、癌治療が開始した後の腫瘍のサイズにおける変化を監視するために腫瘍についてのベースライン測定値を決定することなどを必要とする。同様に、結石または組織のアブレーションまたは除去などの内視鏡処置を実行する医師は、特定の内径を有する尿管またはアクセスシースを介した除去など、スコープを使用して除去するのに十分なほど標的が小さいかどうか、または標的が除去前にさらに削減されなければならないかどうかを決定するために、除去されるべき結石または組織片のサイズを決定する必要がある場合がある。さらに、レーザ砕石術などのレーザ処置中、医師は、スコープの先端と標的との間の距離を知る必要がある場合がある。スコープの先端と標的との間の距離は、例えば、標的に送達するレーザ光/放射線の量/強度を決定するため、および/または媒体の状態を監視するために重要である。
(i)ビーム寸法(例えば、レーザビーム直径フットプリント、レーザビームの断面積、レーザビームの半径、またはレーザビームのフットプリントの弧長)および/または(ii)内視鏡画像上の物体寸法(例えば、直径、断面積、周囲長、レーザファイバ先端の半径または弧長)のピクセル測定値(例えば、総ピクセル数)と、内視鏡の先端から標的までの距離との間の関係を取得するために、医療処置の前、または処置の最初期において実行される較正プロセスが使用され得る。一例において、関係は、1)標的からの光反射のビデオ画像、または2)標的にごく近接する(例えば、1μm、10μm、100μm、または1mm以内)もしくは標的に直接接触しているレーザファイバなどの物体のビデオ画像内のピクセル数における測定値と、1)その光画像のサイズ、もしくは標的の表面にごく近接する(例えば、1μm、10μm、100μm、または1mm以内)もしくは標的に直接接触しているファイバのサイズ、および/または2)内視鏡の先端から標的までの距離との間であり得る。次いで、決定された関係に基づいて、内視鏡の先端から任意の標的までの距離または標的のサイズが決定されることを可能にすることができる較正曲線が取得され得る。本明細書で使用されるとき、「ごく近接する」または「近接する」という用語は、物体(例えば、レーザファイバ)が標的にほとんど接触するか、または標的から多くてもXmmの距離しかない状況を指し、ここで、Xは、所望の測定精度に基づく。例えば、所望の測定精度が±1%である場合、物体(例えば、レーザファイバ)は、内視鏡の先端から標的までの距離の1%以内であり得る。一例において、内視鏡の先端と標的との間の距離が10mmであり、所望の測定精度が少なくとも1%であると仮定すると、較正プロセスを実行するとき、物体(例えば、ファイバ先端)は、標的から0.1mm以下であり得る。一般に、より近い距離は、より高い測定精度を提供し得る。
一実装形態において、較正プロセスは、レーザファイバ先端が媒体内の標的表面に近いとき、レーザ照準ビームフットプリントの直径が、既知の直径であるレーザファイバのガラスの直径に等しいという事実と、内視鏡および/またはファイバの先端が標的に対して移動されたとき、標的または解剖学的特徴に近接する媒体の屈折率が、ビデオ画像上の照準ビームフットプリント直径のピクセル数における変化に対応するという事実とを利用する。結果として、内視鏡画像上のレーザビーム直径(またはレーザビームの断面積、レーザビーム半径、レーザビームのフットプリントの弧長などの他のパラメータ)のピクセル測定値と、内視鏡の先端から標的までの距離との間の関係が決定され得る。この関係に基づいて、ファイバの先端を任意の標的に接触させることは、ビデオシステムがそのサイズとビデオセンサ(または内視鏡の先端)からの距離とを測定するためのスケールを提供することができる。一例において、ファイバの先端を標的に接触させることは、較正には必要ない場合がある。そのような例において、ファイバの先端が内視鏡に取り付けられたビデオセンサの視野内に見える限り、システムは、較正プロセスを完了することができる。
較正プロセスは、標的に近接する第1の位置/距離においてレーザ照準ビーム円/フットプリントまたはファイバ先端を検出すること、第1の位置/距離においてビデオ画像上のピクセルにおいてレーザ照準ビームフットプリントまたはファイバ先端の直径、断面積、または他の関連パラメータ(例えば、周囲長、半径、または弧長)を測定すること、スコープ/ビデオセンサから延在するレーザファイバの第1の距離または第1の量を測定すること、内視鏡の少なくとも一部を標的に関する第1の位置/距離に対して第2の位置/距離に移動させること、第2の位置においてビデオ画像上のピクセルにおいてレーザ照準ビームフットプリントまたはファイバ先端の第2の直径、断面積、または他の関連パラメータ(例えば、周囲長、半径、または弧長)を測定すること、および第2の位置/距離においてスコープ/ビデオセンサから延在するレーザファイバの第2の距離または第2の量を測定することなどの動作またはステップを伴うことができる。その後、ピクセル測定値と内視鏡の先端から標的までの距離との間の関係が確立され得る。レーザ治療の前および/または最中に、標的と内視鏡の先端との間の距離が、確立された関係と、レーザファイバの先端を標的に接触させる(またはレーザファイバの先端を標的に接触させずに標的に近づける)ことによって治療中に取得されたレーザビーム直径(またはレーザビームの断面積、レーザビーム半径、もしくはレーザビームのフットプリントの弧長などの他のパラメータ)のピクセル測定値とに少なくとも部分的に基づいて決定され得る。
オプションで、方法は、標的または解剖学的特徴に近接する媒体(例えば、水または生理食塩水)の屈折率を決定するステップを含み得る。屈折率は、照準ビームのフットプリント直径(またはレーザビームの断面積、レーザビーム半径、もしくはレーザビームのフットプリントの弧長)の初期ピクセル数と、第1の位置と第2の位置との間のレーザ照準ビームフットプリントの直径(またはレーザビームの断面積、レーザビーム半径、もしくはレーザビームのフットプリントの弧長)における変化との比に基づいて決定され得る。または別の言い方をすれば、内視鏡が標的および/またはファイバ先端に対して移動されたときの、照準ビームフットプリントの直径(またはレーザビームの断面積、レーザビーム半径、もしくはレーザビームのフットプリントの弧長)における変化である。
それに加えて、方法は、ユーザビーム寸法フットプリントによってカバーされる標的領域、レーザビームの断面積、レーザビーム半径、または内視鏡画像上のレーザビームのフットプリントの弧長などのビーム寸法に対応するピクセル数を測定するステップと、それに基づいて、少なくとも1つの寸法(例えば、高さまたは幅)または標的の他の特性を決定するステップとをさらに含み得る。例えば、ピクセルサイズは、レーザ照準ビームの直径を、内視鏡画像上のその対応する総ピクセル数で割ることによって計算され得、計算されたピクセルサイズと、内視鏡画像上の標的の高さ/幅に対応する総ピクセル数とに基づいて、標的の高さ/幅が推定され得る。
上述のように、内視鏡画像上のピクセル測定値と、内視鏡の先端から標的までの距離との間の関係は、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長などの物体寸法を使用して決定され得る。この実装形態において、較正プロセスは、標的に近接する第1の位置においてビデオ画像上のピクセルにおいてファイバ先端の寸法(例えば、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長)(第1のピクセル数)を測定するステップと、(例えば、内視鏡カメラによって見られ得るレーザファイバの絶縁ジャケット上のマーキングを利用して)第1の位置においてスコープから延在するレーザファイバの第1の量を測定するステップとを含むことができる。次いで、較正プロセスは、スコープの少なくとも一部を、標的に関する第2の位置に移動させるステップと、第2の位置においてビデオ画像上のピクセルにおいてファイバ先端の寸法(第2のピクセル数)を測定するステップと、第2の位置においてスコープから延在するレーザファイバの第2の量を測定するステップとを含むことができる。
追加的または代替的に、較正曲線は、照準ビームの寸法、内視鏡センサ(例えば、カメラ)の垂直ピクセル数、および媒体内の垂直視野などの既知のパラメータに基づいて理論的に計算され得る。例えば、距離または位置ごとに、媒体内の視野の半角に対応する高さは、媒体内の視野に基づいて最初に決定され得る。そこから、内視鏡画像上のミリメートルあたりのピクセル数と、特定のサイズのレーザファイバに対応するピクセル数とが計算され得る。これらのステップは、異なる距離または位置における特定のサイズのレーザに対応するピクセル数を取得するために反復的に実行され得、それによって、較正曲線を確立する。較正プロセスにおいて使用されるパラメータは、曲線が経験的に決定されるかまたは理論的に決定されるかに応じて異なる可能性があることが留意されるべきである。例えば、(i)ビデオ画像上のレーザビーム寸法および/または物体寸法のピクセル測定値と、(ii)内視鏡の先端から標的までの距離との間の関係を有する較正曲線を経験的に取得する場合、必要ない場合がある。
必ずしも縮尺通りに描かれてない図面において、同様の数字は、異なる図における同様の構成要素を表す場合がある。異なる文字の接頭辞を有する同様の数字は、同様の構成要素の異なる例を表す場合がある。図面は、一般的には、例として、限定としてではなく、本文書において論じられる様々な実施形態を示す。
標的に近接して位置するファイバ先端の例と、対応する内視鏡画像とを示す図である。 標的に近接して位置するファイバ先端の例と、対応する内視鏡画像とを示す図である。 図1Aおよび図1Bにおいて説明するプロセスによって経験的に取得された較正曲線の例を示す図である。 理論的に取得された較正曲線の例を示す図である。 1つまたは複数の実施形態が実装され得るマシンの例を示すブロック図である。 較正曲線を経験的に取得する方法の例示的なフロー図である。 較正曲線を理論的に取得する方法の例示的なフロー図である。 例示的なコンピュータベースの臨床意思決定支援システム(CDSS)の概略図である。 標的特性を決定するために較正曲線を使用する例示的な方法を示す図である。
本明細書で開示されるのは、レーザ処置中に標的特性を決定するためのシステムおよび方法である。システムは、内視鏡などのスコープと、スコープの端部(例えば、遠位端)において用いられるビデオセンサ(例えば、カメラまたは他の内視鏡撮像センサ)と、スコープに挿入または取り付けられたレーザファイバとを含むことができる。一例において、レーザファイバは、プローブレーザ、アブレーションレーザ、またはレーザ処置中に使用される任意の同様のレーザもしくはレーザの組合せに接続された外科用ファイバであり得る。例えば、アブレーションレーザは、赤外放射線を放射することができ、プローブレーザは、スコープの先端がどこにあるか(および、したがって、アブレーションレーザからのアブレーションエネルギーがどこに向けられているか)を示すために可視光を放射することができ、または標的を照らすために使用され得る。例示的なレーザファイバおよびシステムは、例えば、特許文献1、特許文献2、および特許文献3において提供され、これらの内容全体は、参照により本明細書に組み込まれる。標的は、組織片、破片、または腫瘍もしくは腎臓結石などの物体であり得る。ファイバ先端は、ビデオセンサのピクセル数を較正するために使用され得る直径(例えば、200マイクロメートル(μm))などの既知の寸法を有することができる。それに加えて、レーザファイバがレーザ処置を実行するためにスコープの端を越えて延在する場合、ビデオセンサ(それによって、スコープの端)から延在するレーザファイバの距離は、ビデオセンサによって見られ得るレーザファイバの絶縁ジャケット上のマーキングを使用して、例えば、利用して取得され得る。レーザファイバは、処置中に標的に近接して(または、いくつかの実施形態では、標的に接触して)配置されるので、スコープの端から延在するレーザファイバの距離は、内視鏡の先端から標的までの距離とほぼ同じである。内視鏡の先端から標的までの推定距離と、ビーム寸法(例えば、レーザビーム直径フットプリント、レーザビームの断面積、レーザビーム半径、またはレーザビームのフットプリントの弧長、以下、「ビーム寸法」または「レーザビームの寸法」)または内視鏡によって取得される画像上の物体寸法(例えば、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長、以下、「物体寸法」または「レーザファイバの寸法」)に関連するピクセル数などのパラメータとに基づいて、較正曲線が取得され得る。較正曲線は、標的が配置される特定のタイプの媒体(例えば、空気、水など)に固有のものであり得る。したがって、一度較正されると、システムは、再び較正される必要はない場合がある。この較正曲線は、以下の図1Aおよび図1Bに関して論じるプロセスなどによって経験的に決定され得、または以下の図2に関して論じるように理論的に決定され得る。較正プロセスにおいて使用されるパラメータは、曲線が経験的に決定されるかまたは理論的に決定されるかに応じて異なる可能性があることが留意されるべきである。例えば、(i)レーザビーム寸法および/またはビデオ画像上の物体寸法のピクセル測定値と、(ii)内視鏡の先端から標的までの距離との間の関係を有する較正曲線を経験的に取得する場合、必要ない場合がある。
図1Aおよび図1Bは、標的に近接して配置されたレーザファイバ先端の例と、レーザ照準ビームフットプリントの対応する内視鏡画像とを示す。図1Aに示す例において、スコープ100の先端/末端から(例えば、内視鏡100の遠位端において用いられるビデオセンサから)10mm延在するレーザファイバ102の量を有する内視鏡100が示されている。内視鏡の先端からレーザファイバ102の先端までの距離は、レーザファイバ102上の1つまたは複数のマーキング(例えば、複数の目盛り108などの、内視鏡ビデオセンサによって見られ得るファイバスコープの絶縁ジャケット上のマーク)を使用して測定され得る。レーザファイバ102の先端が標的104の表面上またはその近くに配置されると、レーザファイバ102(例えば、200μmファイバ)の寸法に対応するピクセル測定値(例えば、Xピクセル)が、(標的からの光反射に基づいて)対応する内視鏡画像106A上で観察され得る。Xピクセルは、レーザファイバ102から放射されるレーザビームフットプリントの寸法および/またはレーザファイバ102の先端のガラスの寸法(例えば、ガラス先端の直径など)に対応することができる。レーザビームフットプリントの寸法は、レーザファイバ102の先端が標的104の表面に近接または接触している場合、レーザファイバ102の先端のガラスの寸法に等しくすることができる。
レーザファイバ102の先端を標的104の表面上またはその近くに保ちながら、(例えば、内視鏡100の先端から、または内視鏡100の先端において用いられるビデオセンサから延在するレーザファイバ102の先端の長さを、例えば、5mmまで短縮することによって)内視鏡100が標的104に近づけられると、同じ直径200μmのファイバは、内視鏡画像106B上のより多くのピクセル(例えば、Xピクセル)に対応することになる。つまり、内視鏡100の先端がレーザファイバ102の先端に、したがって、標的104の表面に近づくと、対応する内視鏡画像は、内視鏡画像106Aおよび106Bにおいて示すように、より大きく現れる。さらに、図1Aおよび図1Bに示すように、レーザファイバ102がどれだけ延長するかに応じて、異なる数の複数の目盛り108が見え得、これは、標的104に対する各位置における内視鏡100の先端からレーザファイバ102の先端までの距離表示を提供することができる。
図1Cは、図1Aおよび図1Bに記載のプロセスによって経験的に取得された較正曲線の例を示す。図1Aおよび図1Bについて上記で説明したプロセスの結果として、内視鏡画像106A、106B上のレーザビームフットプリントの寸法のピクセル測定値と、内視鏡100の先端から標的までの距離との間の関係が決定され得る。ピクセル測定値の値および距離の値が図1Cに示すようにプロットされると、較正曲線108が取得され得る。較正曲線108に基づいて、その後にレーザファイバ102の先端を任意の標的に接触させること(またはビデオセンサの視野内に標的を配置すること)は、ビデオシステムが内視鏡画像上のレーザビームフットプリントの寸法のピクセル測定値を使用してビデオセンサ(または内視鏡100の先端)からのその距離を測定するためのスケールを提供することができる。それに加えて、ピクセルサイズは、レーザ照準ビームフットプリントの寸法と、内視鏡画像106A、106B上のその対応するピクセル数とに基づいて計算され得、この計算と、内視鏡画像106A、106B上の標的104に対応するピクセル数とに基づいて、標的104の寸法が推定され得る。図1A~図1Cは、較正曲線108を確立するためにレーザファイバを使用することを説明しているが、上記で説明した手法に基づいて媒体における較正曲線を確立するために、既知の寸法を有し、標的の表面にごく近接して(例えば、1μm、10μm、100μm、または1mm)位置する任意の適切な物体が利用され得、したがって、本発明の範囲内であることが留意されるべきである。
代替例において、レーザファイバ102の先端(または物体)が標的104に接触するかどうかにかかわらず、レーザファイバ102の先端(または任意の適切な物体)が内視鏡100の先端において用いられるビデオセンサの視野内にある限り、較正は、生じることができる。これは、媒体が既知であり、したがって、媒体内の視野の円錐が、レーザファイバ102(または物体)の寸法と同様に既知であるので、決定され得る。したがって、較正は、それらの既知のパラメータと、内視鏡100およびレーザファイバ102の設計とに基づいて実行され得る。例えば、レーザファイバ102が、視野の端すれすれにおいて現れる場合、レーザファイバ102が内視鏡100の先端から3~4mmの距離において延在していると判断され得る。これは、内視鏡100の設計と、レーザファイバ102の直径などの既知の寸法(例えば、200ミクロン、365ミクロンなど)とに基づく較正である。同様に、レーザファイバ102の先端が視野の中心に近い場合、レーザファイバ102が内視鏡100の先端から8~10mmの距離において延在していると判断され得る。レーザファイバ102の先端が内視鏡100の先端から延在する正確な距離は、上記で論じたように、レーザファイバ102上のマーキングから決定され得る。
様々な実施形態において、異なるタイプの媒体(例えば、水、生理食塩水、または空気)に関する較正曲線は、上記で説明した手法を使用して確立され得る。内視鏡100は、レーザ処置中、媒体(例えば、水、生理食塩水、または空気)のうちの1つの中で動作される。媒体のタイプは、レーザ処置の前および/または最中に、内視鏡100に結合/接続された制御システム、ユーザインターフェースなどにおいて、ユーザによって入力され得る。追加的または代替的に、媒体のタイプは、発散に基づいて決定され得る。例えば、水および空気は、物体が空気中よりも水中で大きく見えるように、異なる屈折率を有する。したがって、物体が媒体中でどれくらい大きく見えるかをその実際のサイズと比較することによって、媒体のタイプが決定され得、その媒体に対応する較正曲線が使用され得る。
媒体は、実行される医療処置に応じて異なる可能性がある。例えば、胃腸の(GI)処置および婦人科の処置について、媒体は、空気である。したがって、一実施形態において、システムは、ユーザによって選定されたまたはシステムに入力された処置に基づいて、適切な媒体とその対応する較正曲線とを自動的に選択/選定することができる。例えば、外科医は、GI処置を特定することができ、システムは、空気と、空気において確立された較正曲線とを自動的に選定することができる。逆に、処置が胆石を治療することである場合、システムは、媒体として生理食塩水を選定し、それに対応する較正曲線を取得することができる。次いで、処置中に見つかった任意の標的(例えば、病変、結石など)のサイズは、選択された媒体に対応する較正曲線を使用して推定され得る。
医療処置中、媒体は、変化する可能性がある。例えば、GI処置中、内視鏡が胆管内に入ると、外科医は、生理食塩水を用いた灌流を適用することができる。そのような状況において、システムは、外科医が選定するための両方のオプション(例えば、空気または生理食塩水)を提供することができる。別の例において、システムは、空気または生理食塩水のどの媒体が多いかに応じて、新しい媒体タイプを自動的に選定し得る。例えば、生理食塩水が適用され、胆管内に空気よりも生理食塩水が多い場合、システムは、新しいタイプの媒体が存在すると判断することができる。次いで、システムは、上記で説明した構成手法を使用して、媒体の変化に少なくとも部分的に基づいて、ビデオセンサのピクセル数を再較正することができる。次いで、再較正に基づいて、標的の決定されたサイズ(例えば、標的の高さまたは幅)および/またはスコープの先端から標的までの距離を調整する。代替的には、新しいタイプの媒体を検出すると(例えば、生理食塩水を患者の身体に適用するためのポンプが作動されたことを示す信号を受信すると)および/または新しいタイプの媒体の存在を示す外科医からの入力を受信すると、システムは、処置の前または最中に確立された新しいタイプの媒体に対応する較正曲線を自動的に取得し、取得した較正曲線に基づいて、標的のサイズおよび/またはスコープの先端から標的までの距離を推定し得る。
いくつかの状況において、外科医は、スコープの前部をきれいにするためまたは標的をきれいにするために灌流をし得るが、媒体は、実際には変化しない。したがって、媒体タイプを調整し、較正曲線を変更する前に、外科医またはシステムは、媒体が実際に変更されたかどうかを判断するためにチェックすることができる。例えば、レーザが使用されている場合、短い低エネルギーパルスが放射され得る。蒸気泡が存在する場合、媒体は、水または生理食塩水であると判断される。蒸気泡が存在しない場合、媒体は、空気である。一例において、そのような媒体のチェックは、処置中にいつでも実行され得、媒体の選定に誤りがある場合、媒体タイプは、システムによって自動的に修正され得、および/または外科医によって手動で修正され得る。そこから、システムは、(患者の体内に存在する媒体に対応する)正しい較正曲線を使用し、正しい較正曲線を使用して標的に関する推定サイズおよび/または距離を修正することができる。
一例において、システムは、標的(例えば、病変またはポリープ)のサイズに基づいて治療勧告を行い、この勧告を承認または選定のためにユーザに対して表示することができる。例えば、上記で説明した手法を使用して推定されたポリープのサイズに応じて、1つの治療オプションは、ポリープを「スネアする」ことであり得る。このタイプの処置は、ポリープが特定のサイズ未満である場合、実行可能であり得るが、ポリープが特定のサイズを超える場合、異なる手法が取られ得る。別の例において、婦人科の処置において、子宮筋腫のサイズは、どのようなタイプの治療が適用または使用されるべきかを決定することができる。
同様に、レーザ処置において、レーザ設定は、標的(例えば、結石)のタイプおよび/またはサイズに基づいて異なり得る。例えば、結石が大きい場合、外科医は、結石をより小さい破片に砕き、次いで、より小さい破片を塵に縮小するために設定(例えば、レーザの強度)を切り替え得ることを決定し得る。システムは、上記で説明した手法を使用して標的のサイズが推定されると、最初に標的をより小さい破片に分割することを推奨することができる。次いで、外科医は、この推奨を受け入れるか拒否するかを選択することができる。代替的には、システムは、推定された標的サイズに基づいて、提案された手順を自動的に実行することができる。外科医がシステムの推奨を受け入れるか、システムが推奨された処置を自動的に実行するかにかかわらず、システムは、自動的に、または承認を受け取ると、標的を分割し、標的の分割された破片を縮小するために、レーザの強度または他のパラメータ(例えば、パルス幅、デューティサイクル、周波数など)を調整することができる。
そのようなプロセスは、医療処置を実行するのに必要な時間を大幅に短縮するという利点を有する。例えば、大きい結石を破片に破壊し、次いで、より小さい破片を塵に縮小することは、大きい結石を断片化せずに大きい結石自体を塵に縮小するために必要な時間と比較して、全体的な処置時間を60~70パーセント短縮することができる。したがって、システムが標的サイズを自動的に推定し、標的のサイズに基づいて対応する処置を実施することを可能にすることは、医療処置をより迅速かつ効率的に進め、終了させることを可能にすることができる。
図2は、理論的に取得された較正曲線200の一例を示す。図2に示す例において、200μmレーザビームフットプリント/照準ビームの直径などのレーザビームフットプリントの寸法、内視鏡センサに関する垂直ピクセル数、および(使用される媒体およびレーザファイバの屈折率に基づく)媒体内の垂直視野などの様々なパラメータが知られ得る。例えば、200μmレーザファイバから放射される照準ビームの直径は、標的において0.4mmであることが知られ得る。さらに、内視鏡ビデオセンサは、200×200アレイなどの特定のサイズのアレイを有することが知られ、水中のビデオセンサの垂直視野は、70度であることが知られ得る。この情報を使用して、内視鏡の先端から標的までの距離、および内視鏡画像上のレーザビーム直径の総ピクセル数は、較正曲線200を取得するためにプロットされ得る。
より具体的には、既知のパラメータに基づいて、距離ごとに、媒体内の視野の半角に対応する高さが計算され得る。例えば、各距離において、視野の対応する高さは、距離に垂直視野の半角(35度)の正接を乗じることによって計算され得る。1mmあたりのピクセル数は、例えば、視野の高さで割った100ピクセル(すなわち、200×200アレイの半分におけるピクセル数)を使用して計算され得る。この数値に照準ビームの直径(例えば、0.4mm)を乗じることは、特定の距離における200μmファイバあたりのピクセル数を提供することができる。
距離およびピクセル数がプロットされると、図1Cの較正曲線108と同様の較正曲線200が取得され、任意の距離におけるスコープの先端から標的までの距離を決定するために使用され得る。この較正手法の利点は、内視鏡画像上のレーザビーム直径のピクセル数と内視鏡の先端から標的までの距離との間の関係が、標的に近い媒体の屈折率に相関するので、システムが一度較正されると、(治療が常に水などの媒体内で内視鏡的に実行されるので)再較正される必要がないことである。
図3は、本明細書で論じる技術(例えば、方法論)のうちの任意の1つまたは複数が実行され得る例示的なマシン300のブロック図である。代替実施形態において、マシン300は、スタンドアロンデバイスとして動作し得、または他のマシンに接続(例えば、ネットワーク接続)され得る。ネットワーク展開において、マシン300は、サーバ-クライアントネットワーク環境において、サーバマシン、クライアントマシン、またはその両方の能力において動作し得る。一例において、マシン300は、ピアツーピア(P2P)(または他の分散型)ネットワーク環境におけるピアマシンとして機能し得る。マシン300は、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって行われるべきアクションを指定する命令(連続的またはその他)を実行することができる任意のマシンであり得る。さらに、単一のマシンのみが示されているが、「マシン」という用語は、クラウドコンピューティング、サービスとしてのソフトウェア(SaaS(software as a service))、その他のコンピュータクラスタ構成などの、本明細書で論じる方法論のうちの任意の1つまたは複数を実行するために命令のセット(または複数のセット)を個別のまたは共同で実行するマシンの任意の集合も含むものと解釈されるものとする。
本明細書で説明する例は、ロジックもしくはいくつかの構成要素、またはメカニズムを含むか、またはそれらによって動作し得る。回路セットは、ハードウェア(例えば、単純な回路、ゲート、ロジックなど)を含む有形のエンティティにおいて実装された回路の集合である。回路セットのメンバーシップは、時間および基礎となるハードウェアの変動性に対して柔軟であり得る。回路セットは、動作時に単独または組み合わせて指定された動作を実行し得るメンバーを含む。一例において、回路セットのハードウェアは、特定の動作を実行するように不変に設計(例えば、ハードワイヤード)され得る。一例において、回路セットのハードウェアは、特定の動作の命令を符号化するために物理的に変更された(例えば、磁気的、電気的、不変質量の粒子の可動配置など)コンピュータ可読媒体を含む、可変的に接続された物理的構成要素(例えば、実行ユニット、トランジスタ、単純な回路など)を含み得る。物理的構成要素に接続する際に、ハードウェア構成要素の基礎となる電気的特性は、例えば、絶縁体から導体に、またはその逆に変更される。命令は、組み込みハードウェア(例えば、実行ユニットまたはローディングメカニズム)が、動作時に特定の動作の一部を実行するために、可変接続を介してハードウェア内の回路セットのメンバーを作成することを可能にする。したがって、コンピュータ可読媒体は、デバイスが動作しているとき、回路セットメンバーの他の構成要素に通信可能に結合される。一例において、物理的構成要素のいずれも、2つ以上の回路セットの2つ以上のメンバーにおいて使用され得る。例えば、動作中、実行ユニットは、ある時点において第1の回路セットの第1の回路において使用され、異なる時点において第1の回路セット内の第2の回路によって、または第2の回路セット内の第3の回路によって再使用され得る。
マシン(例えば、コンピュータシステム)300は、ハードウェアプロセッサ302(例えば、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、ハードウェアプロセッサコア、フィールドプログラマブルゲートアレイ(FPGA)、またはそれらの任意の組合せ)と、メインメモリ304と、スタティックメモリ306とを含み得、これらのうちのいくつかまたはすべては、インタリンク(例えば、バス)330を介して互いに通信し得る。マシン300は、ディスプレイユニット310と、英数字入力デバイス312(例えば、キーボード)と、ユーザインターフェース(UI)ナビゲーションデバイス314(例えば、マウス)とをさらに含み得る。一例において、ディスプレイユニット310、入力デバイス312、およびUIナビゲーションデバイス314は、タッチスクリーンディスプレイであり得る。マシン300は、記憶デバイス(例えば、ドライブユニット)308と、信号発生デバイス318(例えば、スピーカ)と、ネットワークインターフェースデバイス320と、全地球測位システム(GPS)センサ、コンパス、加速度計、または他のセンサなどの1つまたは複数のセンサ316とを追加で含み得る。マシン300は、1つまたは複数の周辺デバイス(例えば、プリンタ、カードリーダなど)と通信または制御するためのシリアル(例えば、ユニバーサルシリアルバス(USB))接続、パラレル接続、または他の有線もしくはワイヤレス(例えば、赤外線(IR)、近距離無線通信(NFC))接続などの出力コントローラ328を含み得る。
記憶デバイス308は、本明細書で説明する技法または機能のうちの任意の1つまたは複数を具体化するか、またはそれらによって使用されるデータ構造または命令324(例えば、ソフトウェア)の1つまたは複数のセットが記憶されるマシン可読媒体322を含み得る。命令324は、マシン300によるその実行中、完全にまたは少なくとも部分的に、メインメモリ304内、スタティックメモリ306内、またはハードウェアプロセッサ302内に存在し得る。一例において、ハードウェアプロセッサ302、メインメモリ304、スタティックメモリ306、または記憶デバイス316のうちの1つまたは任意の組合せは、マシン可読媒体を構成し得る。
マシン可読媒体322は、単一の媒体として示されているが、「マシン可読媒体」という用語は、1つまたは複数の命令324を記憶するように構成された単一または複数の媒体(例えば、集中型もしくは分散型データベース、ならびに/または関連するキャッシュおよびサーバ)を含み得る。
「マシン可読媒体」という用語は、マシン300による実行のための命令を記憶、符号化、もしくは搬送することができ、本開示の技法のうちの任意の1つもしくは複数をマシン300に実行させる任意の媒体、またはそのような命令によって使用されるかもしくは関連するデータ構造を記憶、符号化、もしくは搬送することができる任意の媒体を含み得る。非限定的なマシン可読媒体は、ソリッドステートメモリ、ならびに光学および磁気媒体を含み得る。一例において、集結した(massed)マシン可読媒体は、不変の(例えば、静止)質量を有する複数の粒子を有するマシン可読媒体を備える。したがって、集結したマシン可読媒体は、一時的な伝播信号ではない。集結したマシン可読媒体の具体的な例は、半導体メモリデバイス(例えば、電気的プログラム可能読み取り専用メモリ(EPROM)、電気的消去可能プログラム可能読み取り専用メモリ(EEPROM)、およびフラッシュメモリデバイスなどの不揮発性メモリ、内蔵ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含み得る。
命令324は、さらに、いくつかの転送プロトコルのうちの任意の1つ(例えば、フレームリレー、インターネットプロトコル(IP)、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト伝送プロトコル(HTTP)など)を利用するネットワークインターフェースデバイス320を介して伝送媒体を使用して通信ネットワーク326上で送信または受信され得る。例示的な通信ネットワークは、とりわけ、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、パケットデータネットワーク(例えば、インターネット)、携帯電話ネットワーク(例えば、セルラーネットワーク)、基本電話(Plain Old Telephone)(POTS)ネットワーク、およびワイヤレスデータネットワーク(例えば、Wi-Fi(登録商標)として知られる電気電子技術者協会(IEEE(Institute of Electrical and Electronics Engineers))802.11規格ファミリー、IEEE802.16規格ファミリー)、IEEE802.15.4規格ファミリー、ピアツーピア(P2P)ネットワークを含み得る。一例において、ネットワークインターフェースデバイス320は、通信ネットワーク326に接続するための1つもしくは複数の物理ジャック(例えば、イーサネットジャック、同軸ジャック、または電話ジャック)または1つもしくは複数のアンテナを含み得る。一例において、ネットワークインターフェースデバイス320は、単一入力複数出力(SIMO(single-input multiple-output))技法、複数入力複数出力(MIMO(multiple-input multiple-output))技法、または複数入力単数出力(MISO(multiple-input single-output))技法のうちの少なくとも1つを使用してワイヤレス通信するための複数のアンテナを含み得る。「伝送媒体」という用語は、マシン300による実行のための命令を記憶、符号化、または搬送することができ、デジタル通信信号またはアナログ通信信号、またはそのようなソフトウェアの通信を容易にする他の無形媒体を含む任意の無形媒体を含むものと解釈されるものとする。
図1Cおよび/または図2において論じた較正曲線は、経験的または理論的に取得され得る。較正曲線は、(i)画像上のレーザビーム直径(または上記で説明した他の寸法)のピクセル数、または画像(例えば、内視鏡画像)上の物体寸法(物体の直径、断面積、周囲長、半径、または弧長など)のピクセル数と、(ii)スコープの先端から標的までの距離との間の関係を表すことができる。内視鏡画像は、(例えば、内視鏡の遠位端において位置する)内視鏡に結合されたカメラなどのビデオセンサから取得され得る。
図4は、本発明による、較正曲線を経験的に取得する方法400の例示的なフロー図を示す。動作402は、第1の位置において内視鏡センサからの第1のピクセル数を測定する動作を含む。一例において、第1のピクセル数は、レーザビーム照準フットプリントの寸法(または上記で説明した他の寸法)のピクセル数、または内視鏡画像(例えば、内視鏡に関連付けられたカメラなどのビデオセンサから撮影された画像)上の標的にごく近接して(または、いくつかの実施形態において、標的に接触して)位置する物体(例えば、外科用ファイバの先端などの外科用ファイバの一部)のピクセル数であり得る。第1の位置は、標的から第1の距離であり得る。動作404において測定され得る標的からの距離。測定は、例えば、内視鏡ビデオセンサによって見られ得るファイバスコープの絶縁ジャケット上の1つまたは複数のマーキングを使用して、スコープの先端から延在するレーザファイバの量に基づくことができる。動作406は、内視鏡またはファイバ先端の少なくとも一部を第1の位置に対して第2の位置に移動させる動作を含むことができる。一例において、内視鏡の遠位端(例えば、ファイバ先端が突出するおよび/またはビデオセンサを含む内視鏡の端部)が、標的から遠ざけられるかまたは近づけられ得る。追加的または代替的に、内視鏡の先端から延在するファイバ先端の部分は、内視鏡の先端が第2の位置において標的にさらに近づくかまたは遠ざかるように、伸ばされるかもしくはより長くされるか、または引っ込められるかもしくはより短くされ得る。
動作408は、第2の位置において内視鏡センサからの第2のピクセル数を測定する動作を含むことができ、動作410は、標的からの第2の距離(例えば、第2の位置における標的からの距離)を測定する動作を含むことができる。図1Aおよび図1Bに関して上記で論じたように、第1の位置および第2の位置の各々において、内視鏡画像上に対応するピクセル数(第1の位置においてXピクセルおよび第2の位置においてXピクセル)が存在することになる。一般に、スコープおよび/またはファイバの先端が標的に近づくほど、対応する内視鏡画像上により多くのピクセルが存在する。例えば、10ミリメートルにおいて、ピクセル数は、1ミリメートルあたり14.3ピクセルであり得、5ミリメートルにおいて、ピクセル数は、1ミリメートルあたり28.6ピクセルであり得る。動作412は、レーザビーム照準フットプリントの寸法(または上記で説明した他の寸法)のピクセル数、または内視鏡画像上の標的にごく近接して(または、いくつかの実施形態において、ターゲットに接触して)位置する物体のピクセル数と、内視鏡の先端から標的までの距離との間の関係を表す較正曲線を取得するために、第1のピクセル数と、第1の距離と、第2のピクセル数と、第2の距離とをプロットする動作を含むことができる。この決定された関係から、スコープの先端が標的から任意の距離にあるとき、標的からの距離および/または標的寸法が決定され得る。図1A、図1B、および図4は、2つの位置における測定値を示しているが、較正曲線は、3つ以上の位置における測定値に基づいて確立され得ることが留意されるべきである。一般に、使用される位置が多いほど、較正曲線は、より正確になる。
一例において、レーザビームフットプリントおよび/または照準ビームの寸法は、標的から特定の距離において知られるかまたは測定され得る。また、所与の媒体内のビデオセンサの視野角がそうであるように、ビデオセンサのアレイのピクセル数は、既知の量である可能性がある。例えば、上記で論じたように、200×200アレイのビデオセンサは、水中で70度の視野角を有することができる。これらの既知の値/量は、図2に関して論じたように、較正曲線を理論的に生成するために使用され得る。
図5は、較正曲線を理論的に取得する方法500の例示的なフロー図を示す。動作502は、レーザファイバの照準ビーム寸法を決定する動作を含むことができる。例えば、200μmのレーザファイバは、直径0.4mmを有する照準ビームを有することができ、これは、既知の量であるか、または標的にレーザを向けることによって直接測定され得る。動作504は、内視鏡アレイサイズを決定する動作を含むことができる。これはまた、内視鏡において用いられるビデオセンサのタイプ(例えば、カメラ)に基づく既知の量であり得る。例えば、ビデオセンサは、200×200アレイを有することが知られている場合がある。動作506は、空気、水などの媒体の屈折率を決定する動作を含むことができる。媒体のタイプは、実行されている医療処置に基づいて決定され得る。例えば、胃腸の(GI)処置および婦人科の処置について、媒体は、空気である。したがって、システムは、ユーザによって選定されたまたはシステムに入力された処置に基づいて、適切な媒体を自動的に選択/選定することができる。例えば、外科医は、GI処置を特定することができ、システムは、空気を自動的に選定することができる。逆に、処置が胆石を治療することである場合、システムは、媒体として生理食塩水を選定することができる。媒体に基づいて、媒体内の垂直視野が推定され得る。
これらの(または他の同様の)既知のパラメータに基づいて、動作508は、特定の距離において、媒体内の半角視野に対応する高さを決定する動作を含むことができる。それに基づいて、半角視野内の1ミリメートルあたりのピクセル数が計算され得る。例えば、200×200アレイは、水中での70度の垂直視野(したがって35度の半角)を有することが知られている場合がある。したがって、任意の距離において、距離に媒体内の垂直視野の半角(35度)の正接を乗じることによって、対応する視野の高さが計算され得る。次いで、1mmあたりのピクセル数は、視野角の高さの2倍で割った100ピクセル(200×200アレイの半分におけるピクセル数)を使用して計算され得る。
動作512は、照準ビームの既知の直径を有するファイバに対応するピクセル数を決定する動作と、較正曲線を取得するために、ピクセル数対距離をプロットする動作とを含むことができる。一例において、1ミリメートルあたりのピクセル数は、特定の距離における200μmあたりのピクセル数を計算するために、照準ビームの直径(例えば、0.4mm)を乗じられ得る。ファイバあたりのピクセル数は、図2に関して論じたもののような較正曲線を生成する特定の距離においてプロットされ得る。再び、較正曲線に基づいて、標的からの距離および/または標的の寸法は、スコープまたはファイバがどこに配置されているかに関係なく決定され得る。
本質的に、ファイバ(または他の適切な物体)がビデオセンサの視野内に見える限り、アレイの視野の円錐が特定の媒体について既知であるので、較正曲線は、取得され得る。例えば、ファイバが視野の端にある場合、内視鏡の先端からファイバまでの距離は、(スコープの設計に基づいて)既知であり、ファイバ(または他の適切な物体)の直径(または上記で論じた他の寸法)は、既知である。したがって、較正は、それらの既知のパラメータと、スコープが配置されている媒体に固有のパラメータとに基づいて行われ得る。
図6は、スコープに結合または取り付けられたビデオセンサによって撮影された画像内のピクセル数、または標的に関する任意の他の同様の情報に基づいて、スコープの先端から標的までの距離、標的のサイズなどの標的に関する情報を決定するように構成された例示的なコンピュータベースの臨床意思決定支援システム(CDSS)600を示す。様々な実施形態において、CDSS600は、患者の処置に固有の外科用ファイバのサイズ、ビデオもしくは撮像センサに関する情報、例えば、カメラのアレイのサイズ、および/またはスコープに関する情報が人工知能(AI)モデル604に入力特徴として提供される入力インターフェース602と、標的からの距離および/または標的のサイズの決定を生成するために、パラメータがAIモデルに適用される推論演算を実行するプロセッサと、決定された標的からの距離または標的のサイズがユーザ、例えば、臨床医に伝達される出力インターフェース608とを含む。
いくつかの実施形態において、入力インターフェース602は、CDSS600と、入力特徴のうちの少なくともいくつかを生成する1つまたは複数の医療デバイスとの間の直接データリンクであり得る。例えば、入力インターフェース602は、治療および/または診断医療処置中に、外科用ファイバの寸法またはサイズをCDSS600に直接送信し得る。一例において、処置中に使用される外科用ファイバおよび/またはスコープに関する情報は、データベース606内に記憶され得る。追加的または代替的に、入力インターフェース602は、ユーザとCDSS600との間の対話を容易にする古典的なユーザインターフェースであり得る。例えば、入力インターフェース604は、ユーザが外科用ファイバおよび/またはスコープに関する情報を手動で入力し得るユーザインターフェースを容易にし得る。追加的または代替的に、入力インターフェース602は、CDSS600に、電子患者記録、または処置中に使用されているスコープおよび/もしくは外科用ファイバ、ならびに1つまたは複数の入力特徴が抽出され得る上記で論じたその寸法のうちのいずれかへのアクセスを提供し得る。これらの場合のいずれにおいても、入力インターフェース602は、外科用ファイバのサイズ、ビデオもしくは撮像センサ、スコープ、または処置が行われる媒体に関する情報を評価するためにCDSS600が使用される時点またはその前に、特定の患者、医療処置のタイプ、スコープのタイプ、スコープに接続されたビデオセンサのタイプ、または使用されるべき外科用ファイバのタイプのうちの1つまたは複数に関連して以下の入力特徴を収集するように構成される。
入力特徴の例は、処置中に使用される外科用ファイバの寸法を含むことができる。
入力特徴の例は、どのタイプのビデオまたは撮像センサがスコープに結合されているか、およびセンサのカメラまたはビデオアレイのサイズなどのパラメータを含むことができる。
入力特徴の例は、処置中に使用されるスコープのタイプを含むことができる。
入力特徴の例は、スコープの先端から延在する外科用ファイバの量を含むことができる。
入力特徴の例は、処置が行われるおよび/またはスコープが配置される媒体のタイプを含むことができる。
入力特徴の例は、ビデオセンサ610からのビデオ画像を含むことができる。
入力特徴の例は、ビデオセンサの視野のピクセル数612を含むことができる。
上記の入力特徴のうちの1つまたは複数に基づいて、プロセッサは、スコープの先端から標的までの決定された距離および/または標的のサイズを生成するために、AIモデル604を使用して推論演算を実行する。例えば、入力インターフェース602は、上記で挙げた入力特徴のうちの1つまたは複数をAIモデル604の入力層に送達し得、AIモデル604の入力層は、AIモデル604を介してこれらの入力特徴を出力層に伝搬する。AIモデル604は、データの分析において見出されたパターンに基づいて推論を行うことによって、明示的にプログラムされることなくタスクを実行する能力をコンピュータシステムに提供することができる。AIモデル604は、既存のデータから学習し、新しいデータに関する予測を行い得るアルゴリズム(例えば、機械学習アルゴリズム)の研究および構築を探究する。そのようなアルゴリズムは、出力または評価として表されるデータ駆動型の予測または決定を行うために、例示的なトレーニングデータからAIモデルを構築することによって動作する。
機械学習(ML)には、教師ありMLと教師なしMLの2つの共通モードが存在する。教師ありMLは、入力と出力との間の関係を学習するために、事前の知識(例えば、入力を出力または結果と関連付ける例)を使用する。教師ありMLの目標は、いくつかのトレーニングデータが与えられたときに、MLモデルが、対応する出力を生成するために入力が与えられたときに同じ関係を実装することができるように、トレーニング入力と出力との間の関係を最もよく近似する関数を学習することである。教師なしMLは、分類もラベル付けもされていない情報を使用してMLをトレーニングし、アルゴリズムがガイダンスなしでその情報に作用することを可能にすることである。教師なしMLは、データ内の構造を自動的に識別することができるので、探索的分析において有用である。
教師ありMLの一般的なタスクは、分類問題および回帰問題である。カテゴリ化問題とも呼ばれる分類問題は、項目をいくつかのカテゴリ値のうちの1つに分類することを目的とする(例えば、この物体は、リンゴかまたはオレンジか?)。回帰アルゴリズムは、(例えば、一部の入力の値に対してスコアを提供することによって)いくつかの項目を定量化することを目的とする。一般的に使用される教師ありMLのいくつかの例は、ロジスティック回帰(LR(Logistic Regression))、単純ベイズ、ランダムフォレスト(RF(Random Forest))、ニューラルネットワーク(NN(neural network))、ディープニューラルネットワーク(DNN(deep neural network))、行列分解、およびサポートベクターマシン(SVM(Support Vector Machine))である。
教師なしMLのいくつかの一般的なタスクは、クラスタリング、表現学習、および密度推定を含む。一般的に使用される教師なしMLアルゴリズムのいくつかの例は、K-meansクラスタリング、主成分分析、およびオートエンコーダである。
別のタイプのMLは、データを交換することなく、ローカルデータを保持する複数の分散型デバイスにわたってアルゴリズムをトレーニングする連合学習(協調学習とも呼ばれる)である。この手法は、すべてのローカルデータセットが1つのサーバにアップロードされる従来の集中型機械学習技法、ならびにローカルデータサンプルが同一に分散されていることをしばしば想定する、より古典的な分散型手法とは対照的である。連合学習は、複数のアクターが、データを共有することなく、共通の堅牢な機械学習モデルを構築することを可能にし、したがって、データプライバシー、データセキュリティ、データアクセス権、および異種データへのアクセスなどの重要な問題に対処することを可能にする。
いくつかの例において、AIモデル604は、プロセッサによる推論演算の実行前に連続的または周期的にトレーニングされ得る。次いで、推論演算中、AIモデル604に提供される患者固有の入力特徴は、入力層から、1つまたは複数の隠れ層を介して、最終的に標的に関する情報に対応する出力層に伝播され得る。例えば、画像を評価する場合、システムは、内視鏡画像上のピクセル数を決定し、外科用ファイバが内視鏡の先端からどれくらい延在しているかを決定し、内視鏡画像上のレーザ照準ビームフットプリントの寸法を決定し、ビデオセンサの視野の高さを決定し、較正曲線を決定することができる。次いで、システムは、スコープおよび/または外科用ファイバの先端から標的までの距離と、標的の高さまたは標的の幅などの標的の特性とを決定するために較正曲線を使用することができる。
推論演算中および/または推論演算後に、標的に関する情報は、出力インターフェース608(例えば、ユーザインターフェース(UI))を介してユーザに伝達され得、および/またはプロセッサに接続された外科用レーザに所望のアクションを自動的に実行させることができる。例えば、標的のサイズに基づいて、システムは、標的をアブレーションするために外科用レーザにエネルギーを放出させ、アブレーションエネルギーの量を調整し、またはスコープの一部を移動させ得る。
図7は、本明細書による、標的特性を決定する例示的な方法を示す。動作701は、ビーム寸法(例えば、レーザビーム直径フットプリント、レーザビームの断面積、レーザビーム半径、またはレーザビームのフットプリントの弧長)および/または(ii)レーザ処置における内視鏡画像上の物体寸法(例えば、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長)に関連するピクセル数を測定する動作を含むことができる。動作702は、外科用ファイバに関する較正曲線を取得する動作を含むことができる。較正曲線は、図1A~図1C、図2、または図4~図5で説明されている方法などによって、または任意の他の適切なプロセスによって、理論的または経験的に取得され得る。動作704は、標的からの距離を決定するために、動作701において取得された内視鏡画像上の測定されたピクセル数を使用し、動作702において取得された較正曲線を使用する動作を含むことができる。追加的または代替的に、動作706は、標的特性、例えば、標的の高さまたは幅などの標的のサイズを決定する動作を含むことができる。例えば、ピクセルサイズは、レーザ照準ビームの直径を、内視鏡画像上の対応する総ピクセル数で割ることによって計算され得、計算されたピクセルサイズと、内視鏡画像上の標的の高さ/幅に対応する総ピクセル数とに基づいて、標的の高さ/幅が推定され得る。一例において、較正プロセスが完了すると、照準ビームは、ファイバ先端から標的の表面に投影され得、その投影は、較正されたパラメータに準拠する。したがって、ユーザは、内視鏡画像内で見られ得るファイバ先端の量に基づいて、どれくらい多くのピクセルが見えるかを知ることができ、したがって、ファイバの先端および/またはスコープの先端が標的からどれくらい離れて位置しているかを知ることができる。同様に、ユーザは、標的の表面上の照準ビームの寸法に対応するピクセル数を知ることができ、標的の推定サイズを決定するために使用され得る、ピクセルにおける標的の高さおよび/または幅を決定することができる。
一例において、動作702において較正曲線が取得されると、それが理論的に取得されたか経験的に取得されたかにかかわらず、較正曲線は、動作704において標的からの距離を決定するために使用され得、または動作706において標的特性を決定するために使用され得る。または別の言い方をすれば、動作704および動作706は、互いに独立して、もしくは任意の順序で実行され得(例えば、標的のサイズが最初に決定され得、次いで、標的からの距離が決定され得る)、または動作704および706は、互いに同時に、もしくは実質的に同時に実行され得る。
追加の注釈および例
例1は、(i)(i)内視鏡に結合されたビデオセンサから取得された内視鏡画像上の標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)内視鏡の先端から標的までの距離との間の関係を取得するステップと、(ii)処置中に標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数を測定するステップと、(iii)ステップ(i)において取得された関係と、ステップ(ii)において測定されたピクセル数とに少なくとも部分的に基づいて、標的のサイズ、または内視鏡の先端から標的までの距離のうちの少なくとも1つを決定するステップとを含む、標的特性を取得する方法である。
例2において、例1の主題は、(i)内視鏡画像上の標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)内視鏡の先端から標的までの距離との間の関係を取得するステップが、標的が内視鏡の先端から第1の距離にあるときに、光ビームの寸法または物体の寸法に関連する第1のピクセル数を測定するステップと、内視鏡の先端から標的までの第1の距離を測定するステップと、標的が内視鏡の先端から第2の距離にあるときに、光ビームの寸法または物体の寸法に関連する第2のピクセル数を測定するステップと、内視鏡の先端から標的までの第2の距離を測定するステップと、測定された第1のピクセル数と、第2のピクセル数と、第1の距離と、第2の距離とに少なくとも部分的に基づいて関係を確立するステップとを含むことをオプションで含む。
例3において、例2の主題は、光ビームの寸法が、レーザビームの直径フットプリント、レーザビームの断面積、レーザビームの半径、またはレーザビームのフットプリントの弧長のうちの少なくとも1つを含むことをオプションで含む。
例4において例2~3のうちの任意の1つまたは複数の主題は、物体の寸法が、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長のうちの少なくとも1つを含むことをオプションで含む。
例5において、例1~4のうちの任意の1つまたは複数の主題は、標的の決定されたサイズおよび/または内視鏡の先端から標的までの決定された距離に少なくとも部分的に基づいて、治療処置を推奨するステップをオプションで含む。
例6において、例1~5のうちの任意の1つまたは複数の主題は、標的が位置する媒体のタイプを決定するステップをオプションで含み、取得された関係は、媒体のタイプに対応する較正曲線に少なくとも部分的に基づく。
例7において、例6の主題は、媒体のタイプが、医療処置のタイプ、標的の観察されたサイズと標的の実際のサイズとの比較、またはユーザ入力のうちの1つに少なくとも部分的に基づいて決定されることをオプションで含む。
例8において、例6~7のうちの任意の1つまたは複数の主題は、媒体のタイプが、水、空気、または生理食塩水のうちの少なくとも1つであることをオプションで含む。
例9において、例1~8のうちの任意の1つまたは複数の主題は、標的が位置する新しいタイプの媒体が存在するかどうかを決定するステップと、そうである場合、(i)新しいタイプの媒体に対応する更新された関係を取得するステップと、(ii)更新された関係に少なくとも部分的に基づいて、標的のサイズおよび/または内視鏡の先端から標的までの距離を決定するステップとをオプションで含む。
例10において、例1~9のうちの任意の1つまたは複数の主題は、(i)内視鏡画像上の標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)内視鏡の先端から標的までの距離との間の関係を取得するステップが、(i)光ビームの寸法または物体の寸法と、(ii)ビデオセンサに対応するピクセル数と、(iii)標的が位置する媒体の反射率とを取得するステップと、内視鏡の先端から標的までの距離ごとに、光ビームの寸法または物体の寸法に関連するピクセル数を計算により決定するステップと、内視鏡の先端から標的までの距離と、光ビームの寸法または物体の寸法に関連する対応するピクセル数とに少なくとも部分的に基づいて関係を確立するステップとを含むことをオプションで含む。
例11において、例1~10のうちの任意の1つまたは複数の主題は、内視鏡画像に関連するピクセルサイズを計算するステップと、内視鏡画像上の標的に対応するピクセル数を決定するステップと、標的に対応する計算されたピクセルサイズおよび決定されたピクセル数に少なくとも部分的に基づいて、標的のサイズを決定するステップとをオプションで含む。
例12は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合されたメモリとを備え、メモリが、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに動作を実行させる命令を記憶するように構成され、動作が、(i)(i)内視鏡に結合されたビデオセンサから取得された内視鏡画像上の標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)内視鏡の先端から標的までの距離との間の関係を取得するステップと、(ii)処置中に標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数を測定するステップと、(iii)ステップ(i)において取得された関係と、ステップ(ii)において測定されたピクセル数とに少なくとも部分的に基づいて、標的のサイズ、または内視鏡の先端から標的までの距離のうちの少なくとも1つを決定するステップとを含む、システム。
例13において、例12の主題は、(i)内視鏡画像上の標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)内視鏡の先端から標的までの距離との間の関係を取得するステップが、標的が内視鏡の先端から第1の距離にあるときに、光ビームの寸法または物体の寸法に関連する第1のピクセル数を測定するステップと、内視鏡の先端から標的までの第1の距離を測定するステップと、標的が内視鏡の先端から第2の距離にあるときに、光ビームの寸法または物体の寸法に関連する第2のピクセル数を測定するステップと、内視鏡の先端から標的までの第2の距離を測定するステップと、測定された第1のピクセル数と、第2のピクセル数と、第1の距離と、第2の距離とに少なくとも部分的に基づいて関係を確立するステップとを含むことをオプションで含む。
例14において、例13の主題は、光ビームの寸法が、レーザビームの直径フットプリント、レーザビームの断面積、レーザビームの半径、またはレーザビームのフットプリントの弧長のうちの少なくとも1つを含むことをオプションで含む。
例15において例13~14のうちの任意の1つまたは複数の主題は、物体の寸法が、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長のうちの少なくとも1つを含むことをオプションで含む。
例16において、例12~15のうちの任意の1つまたは複数の主題は、動作が、標的の決定されたサイズおよび/または内視鏡の先端から標的までの決定された距離に少なくとも部分的に基づいて、治療処置を推奨するステップをさらに含むことをオプションで含む。
例17において、例12~16のうちの任意の1つまたは複数の主題は、動作が、標的が位置する媒体のタイプを決定するステップを含み、取得された関係が、媒体のタイプに対応する較正曲線に少なくとも部分的に基づくことをオプションで含む。
例18において、例17の主題は、媒体のタイプが、医療処置のタイプ、標的の観察されたサイズと標的の実際のサイズとの比較、またはユーザ入力のうちの1つに少なくとも部分的に基づいて決定されることをオプションで含む。
例19において、例12~18のうちの任意の1つまたは複数の主題は、動作が、標的が位置する新しいタイプの媒体が存在するかどうかを決定ステップと、そうである場合、(i)新しいタイプの媒体に対応する更新された関係を取得するステップと、(ii)更新された関係に少なくとも部分的に基づいて、標的のサイズおよび/または内視鏡の先端から標的までの距離を決定するステップとをさらに含むことをオプションで含む。
例20において、例12~19のうちの任意の1つまたは複数の主題は、(i)内視鏡画像上の標的または標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)内視鏡の先端から標的までの距離との間の関係を取得するステップが、(i)光ビームの寸法または物体の寸法と、(ii)ビデオセンサに対応するピクセル数と、(iii)標的が位置する媒体の反射率とを取得するステップとを含むことをオプションで含む。
例21において、例12~20のうちの任意の1つまたは複数の主題は、動作が、内視鏡画像に関連するピクセルサイズを計算するステップと、内視鏡画像上の標的に対応するピクセル数を決定するステップと、標的に対応する計算されたピクセルサイズおよび決定されたピクセル数に少なくとも部分的に基づいて、標的のサイズを決定するステップとをさらに含むことをオプションで含む。
上記の詳細な説明は、詳細な説明の一部を形成する添付図面への参照を含む。図面は、実例として、実施され得る特定の実施形態を示す。これらの実施形態は、本明細書では「例」とも呼ばれる。そのような例は、図示または説明したものに加えて要素を含み得る。しかしながら、本発明者らは、図示または説明したそれらの要素のみが提供される例も企図している。さらに、本発明者らは、特定の例(または1つもしくは複数のその態様)に関して、または本明細書において図示もしくは説明した他の例(または1つもしくは複数のその態様)に関して図示または説明したそれらの要素(または1つもしくは複数のその態様)の任意の組合せまたは順列を使用する例も企図している。
本文書で参照されるすべての刊行物、特許、および特許文献は、参照により個別に組み込まれるかのように、その全体において参照により本明細書に組み込まれる。本文書と参照により組み込まれたそれらの文書との間で使用法が一致しない場合、組み込まれた参照における使用法は、本文書の使用法を捕捉するものと見なされるべきであり、矛盾する不一致については、本文書における使用法が優先される。
本文書において、「a」または「an」という用語は、特許文書において一般的であるように、「少なくとも1つ」または「1つまたは複数」の任意の他の実例または使用法とは無関係に、1つまたは2つ以上を含むために使用される。本文書において、「または」という用語は、特に指示のない限り、「AまたはB」が「AだがBではない」、「BだがAではない」、および「AおよびB」を含むなど、非排他的なまたはを指すために使用される。添付の特許請求の範囲において、「含む」および「その中で(in which)」という用語は、「備える」および「ここで(wherein)」というそれぞれの用語の平易な英語の等価物として使用される。また、添付の特許請求の範囲において、「含む」および「備える」という用語は、制限のないものであり、すなわち、請求項においてそのような用語の後にリストされている要素に加えて要素を含むシステム、デバイス、物品、またはプロセスは、依然としてその請求項の範囲内にあるとみなされる。さらに、添付の特許請求の範囲において、「第1の」、「第2の」、および「第3の」などの用語は、単にラベルとして使用され、それらの対象に対して数値的な要件を課すことを意図していない。
100 スコープ、内視鏡
102 レーザファイバ
104 標的
106A 内視鏡画像
108 目盛り、較正曲線
200 較正曲線
300 マシン
302 ハードウェアプロセッサ
304 メインメモリ
306 スタティックメモリ
308 記憶デバイス
310 ディスプレイユニット
312 英数字入力デバイス
314 ユーザインターフェース(UI)ナビゲーションデバイス、UIナビゲーションデバイス
316 センサ
318 信号発生デバイス
320 ネットワークインターフェースデバイス、ネットワークインターフェース
322 マシン可読媒体
324 命令
328 出力コントローラ
330 インタリンク
600 臨床意思決定支援システム(CDSS)、CDSS
602 入力インターフェース
604 人工知能(AI)モデル、AIモデル
606 データベース
608 出力インターフェース
610 ビデオセンサ
612 ピクセル数

Claims (21)

  1. (i)(i)内視鏡に結合されたビデオセンサから取得された内視鏡画像上の標的または前記標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)前記内視鏡の先端から前記標的までの距離との間の関係を取得するステップと、
    (ii)処置中に前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数を測定するステップと、
    (iii)ステップ(i)において取得された前記関係と、ステップ(ii)において測定された前記ピクセル数とに少なくとも部分的に基づいて、前記標的のサイズ、または前記内視鏡の前記先端から前記標的までの距離のうちの少なくとも1つを決定するステップと
    を含む、標的特性を取得する方法。
  2. (i)内視鏡画像上の前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数と、(ii)前記内視鏡の前記先端から前記標的までの前記距離との間の前記関係を取得するステップが、
    前記標的が前記内視鏡の前記先端から第1の距離にあるときに、第1の画像内の前記光ビームの寸法または前記物体の寸法に関連する第1のピクセル数を測定するステップと、
    前記内視鏡の前記先端から前記標的までの前記第1の距離を測定するステップと、
    前記標的が前記内視鏡の前記先端から第2の距離にあるときに、第2の画像内の前記光ビームの前記寸法または前記物体の前記寸法に関連する第2のピクセル数を測定するステップと、
    前記内視鏡の前記先端から前記標的までの前記第2の距離を測定するステップと、
    測定された前記第1のピクセル数と、第2のピクセル数と、第1の距離と、第2の距離とに少なくとも部分的に基づいて前記関係を確立するステップと
    を含む、
    請求項1に記載の方法。
  3. 前記光ビームの前記寸法が、レーザビームの直径フットプリント、前記レーザビームの断面積、前記レーザビームの半径、または前記レーザビームのフットプリントの弧長のうちの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記物体の前記寸法が、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長のうちの少なくとも1つを含む、請求項2に記載の方法。
  5. 前記標的の前記決定されたサイズおよび/または前記内視鏡の前記先端から前記標的までの前記決定された距離に少なくとも部分的に基づいて、治療処置を推奨するステップをさらに含む、請求項1に記載の方法。
  6. 前記標的が位置する媒体のタイプを決定するステップをさらに含み、前記取得された関係が、前記媒体のタイプに対応する較正曲線に少なくとも部分的に基づく、請求項1に記載の方法。
  7. 前記媒体のタイプが、医療処置のタイプ、前記標的の観察されたサイズと前記標的の実際のサイズとの比較、またはユーザ入力のうちの1つに少なくとも部分的に基づいて決定される、請求項6に記載の方法。
  8. 前記媒体のタイプが、水、空気、または生理食塩水のうちの少なくとも1つである、請求項6に記載の方法。
  9. 前記標的が位置する新しいタイプの媒体が存在するかどうかを決定するステップと、
    そうである場合、(i)前記新しいタイプの媒体に対応する更新された関係を取得するステップと、
    (ii)前記更新された関係に少なくとも部分的に基づいて、前記標的の前記サイズおよび/または前記内視鏡の前記先端から前記標的までの距離を決定するステップと
    をさらに含む、
    請求項1に記載の方法。
  10. (i)内視鏡画像上の前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数と、(ii)前記内視鏡の前記先端から前記標的までの前記距離との間の前記関係を取得するステップが、
    (i)前記光ビームの寸法または前記物体の寸法と、(ii)前記ビデオセンサに対応するピクセル数と、(iii)前記標的が位置する媒体の反射率とを取得するステップと、
    前記内視鏡の前記先端から前記標的までの距離ごとに、前記光ビームの前記寸法または前記物体の前記寸法に関連するピクセル数を計算により決定するステップと、
    前記内視鏡の前記先端から前記標的までの前記距離と、前記光ビームの前記寸法または前記物体の前記寸法に関連する前記対応するピクセル数とに少なくとも部分的に基づいて前記関係を確立するステップと
    を含む、
    請求項1に記載の方法。
  11. 前記内視鏡画像に関連するピクセルサイズを計算するステップと、
    前記内視鏡画像上の前記標的に対応するピクセル数を決定するステップと、
    前記標的に対応する前記計算されたピクセルサイズおよび前記決定されたピクセル数に少なくとも部分的に基づいて、前記標的の前記サイズを決定するステップと
    をさらに含む、
    請求項1に記載の方法。
  12. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合されたメモリと
    を備え、前記メモリが、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに動作を実行させる命令を記憶するように構成され、前記動作が、
    (i)(i)内視鏡に結合されたビデオセンサから取得された内視鏡画像上の標的または前記標的に近接して位置する物体から反射された光ビームに関連するピクセル数と、(ii)前記内視鏡の先端から前記標的までの距離との間の関係を取得するステップと、
    (ii)処置中に前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数を測定するステップと、
    (iii)ステップ(i)において取得された前記関係と、ステップ(ii)において測定された前記ピクセル数とに少なくとも部分的に基づいて、前記標的のサイズ、または前記内視鏡の前記先端から前記標的までの距離のうちの少なくとも1つを決定するステップと
    を含む、システム。
  13. (i)内視鏡画像上の前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数と、(ii)前記内視鏡の前記先端から前記標的までの前記距離との間の前記関係を取得するステップが、
    前記標的が前記内視鏡の前記先端から第1の距離にあるときに、第1の画像内の前記光ビームの寸法または前記物体の寸法に関連する第1のピクセル数を測定するステップと、
    前記内視鏡の前記先端から前記標的までの前記第1の距離を測定するステップと、
    前記標的が前記内視鏡の前記先端から第2の距離にあるときに、第2の画像内の前記光ビームの前記寸法または前記物体の前記寸法に関連する第2のピクセル数を測定するステップと、
    前記内視鏡の前記先端から前記標的までの前記第2の距離を測定するステップと、
    測定された前記第1のピクセル数と、第2のピクセル数と、第1の距離と、第2の距離とに少なくとも部分的に基づいて前記関係を確立するステップと
    を含む、
    請求項12に記載のシステム。
  14. 前記光ビームの前記寸法が、レーザビームの直径フットプリント、前記レーザビームの断面積、前記レーザビームの半径、または前記レーザビームのフットプリントの弧長のうちの少なくとも1つを含む、請求項13に記載のシステム。
  15. 前記物体の前記寸法が、レーザファイバ先端の直径、断面積、周囲長、半径、または弧長のうちの少なくとも1つを含む、請求項13に記載のシステム。
  16. 前記動作が、
    前記標的の前記決定されたサイズおよび/または前記内視鏡の前記先端から前記標的までの前記決定された距離に少なくとも部分的に基づいて、治療処置を推奨するステップをさらに含む、
    請求項12に記載のシステム。
  17. 前記動作が、
    前記標的が位置する媒体のタイプを決定するステップをさらに含み、前記取得された関係が、前記媒体のタイプに対応する較正曲線に少なくとも部分的に基づく、
    請求項12に記載のシステム。
  18. 前記媒体のタイプが、医療処置のタイプ、前記標的の観察されたサイズと前記標的の実際のサイズとの比較、またはユーザ入力のうちの1つに少なくとも部分的に基づいて決定される、請求項17に記載のシステム。
  19. 前記動作が、
    前記標的が位置する新しいタイプの媒体が存在するかどうかを決定するステップと、
    そうである場合、(i)前記新しいタイプの媒体に対応する更新された関係を取得するステップと、
    (ii)前記更新された関係に少なくとも部分的に基づいて、前記標的の前記サイズおよび/または前記内視鏡の前記先端から前記標的までの距離を決定するステップと
    をさらに含む、
    請求項12に記載のシステム。
  20. (i)内視鏡画像上の前記標的または前記標的に近接して位置する前記物体から反射された前記光ビームに関連する前記ピクセル数と、(ii)前記内視鏡の前記先端から前記標的までの前記距離との間の前記関係を取得するステップが、
    (i)前記光ビームの寸法または前記物体の寸法と、(ii)前記ビデオセンサに対応するピクセル数と、(iii)前記標的が位置する媒体の反射率とを取得するステップと、
    前記内視鏡の前記先端から前記標的までの距離ごとに、前記光ビームの前記寸法または前記物体の前記寸法に関連するピクセル数を計算により決定するステップと、
    前記内視鏡の前記先端から前記標的までの前記距離と、前記光ビームの前記寸法または前記物体の前記寸法に関連する前記対応するピクセル数とに少なくとも部分的に基づいて前記関係を確立するステップと
    を含む、
    請求項12に記載のシステム。
  21. 前記動作が、
    前記内視鏡画像に関連するピクセルサイズを計算するステップと、
    前記内視鏡画像上の前記標的に対応するピクセル数を決定するステップと、
    前記標的に対応する前記計算されたピクセルサイズおよび前記決定されたピクセル数に少なくとも部分的に基づいて、前記標的の前記サイズを決定するステップと
    をさらに含む、
    請求項12に記載のシステム。
JP2022163175A 2021-10-08 2022-10-11 レーザ処置中に標的特性を決定するためのシステムおよび方法 Active JP7460723B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163262290P 2021-10-08 2021-10-08
US63/262,290 2021-10-08
US202263365886P 2022-06-06 2022-06-06
US63/365,886 2022-06-06

Publications (2)

Publication Number Publication Date
JP2023057073A true JP2023057073A (ja) 2023-04-20
JP7460723B2 JP7460723B2 (ja) 2024-04-02

Family

ID=85705293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022163175A Active JP7460723B2 (ja) 2021-10-08 2022-10-11 レーザ処置中に標的特性を決定するためのシステムおよび方法

Country Status (3)

Country Link
US (1) US20230115488A1 (ja)
JP (1) JP7460723B2 (ja)
DE (1) DE102022126028A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210275000A1 (en) * 2020-03-05 2021-09-09 Stryker Corporation Systems and methods for endoscope type detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011000258A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp 内視鏡システム、内視鏡、並びに距離・照射角度測定方法
JP2011139734A (ja) * 2010-01-05 2011-07-21 Hoya Corp 内視鏡装置
JP2018202104A (ja) * 2017-06-09 2018-12-27 株式会社Okファイバーテクノロジー 内視鏡システム及び、内視鏡画像取得方法
WO2020174686A1 (ja) * 2019-02-28 2020-09-03 オリンパス株式会社 結石破砕装置および結石破砕システム
WO2021026144A1 (en) * 2019-08-05 2021-02-11 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Laser fiber-to-target distance control
JP2021101900A (ja) * 2019-12-25 2021-07-15 富士フイルム株式会社 学習データ作成装置、方法及びプログラム並びに医療画像認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011000258A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp 内視鏡システム、内視鏡、並びに距離・照射角度測定方法
JP2011139734A (ja) * 2010-01-05 2011-07-21 Hoya Corp 内視鏡装置
JP2018202104A (ja) * 2017-06-09 2018-12-27 株式会社Okファイバーテクノロジー 内視鏡システム及び、内視鏡画像取得方法
WO2020174686A1 (ja) * 2019-02-28 2020-09-03 オリンパス株式会社 結石破砕装置および結石破砕システム
WO2021026144A1 (en) * 2019-08-05 2021-02-11 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Laser fiber-to-target distance control
JP2021101900A (ja) * 2019-12-25 2021-07-15 富士フイルム株式会社 学習データ作成装置、方法及びプログラム並びに医療画像認識装置

Also Published As

Publication number Publication date
DE102022126028A1 (de) 2023-04-13
JP7460723B2 (ja) 2024-04-02
US20230115488A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
Black et al. Deep learning computer vision algorithm for detecting kidney stone composition
JP6955004B2 (ja) デジタル病理組織診断及び顕微解剖
Masood et al. Automatic choroid layer segmentation from optical coherence tomography images using deep learning
JP7460723B2 (ja) レーザ処置中に標的特性を決定するためのシステムおよび方法
CN112334076A (zh) 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法
Keane et al. Automated analysis of vitreous inflammation using spectral-domain optical coherence tomography
JP2017510319A (ja) 創傷監視のためのシステムおよび方法
CN110290751B (zh) 组织的受控治疗及与组织和/或治疗数据的动态交互和比较
US20220022960A1 (en) Laser treatment using acoustic feedback
Heidari et al. The use of optical coherence tomography and convolutional neural networks to distinguish normal and abnormal oral mucosa
Wang et al. Epidural anesthesia needle guidance by forward-view endoscopic optical coherence tomography and deep learning
CN116804575A (zh) 识别照明光源的方法和处理数据的方法
US20230090765A1 (en) Monitoring liquid medium conditions proximate a laser lithotripsy treatment area in real time
US20230131637A1 (en) Laser combination with in vivo target feedback analysis
CN117941008A (zh) 利用机器学习进行体内导航的系统和方法
US20230301520A1 (en) Spectroscopy system for identifying light source
Spadaccini et al. What is “cold” and what is “hot” in mucosal ablation for Barrett’s oesophagus-related dysplasia: A practical guide
US20230369821A1 (en) Automatic laser setting adjustment
Upreti Advancements in Skull Base Surgery: Navigating Complex Challenges with Artificial Intelligence
US20230346400A1 (en) Kidney stone identification system
US20230130679A1 (en) Endoscope laser-triggered suction automatic on/off
US20230363621A1 (en) Ai-based endoscopic tissue acquisition planning
US11406449B1 (en) Optical splitter for laser surgical systems with overheating protection
US20230126066A1 (en) Characterizing tissue using fluorescence emission
JP2024052652A (ja) 同軸飛行時間型光ファイバ距離測定

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150