JP2015043982A - 最小侵襲手術立体視覚化のための方法 - Google Patents

最小侵襲手術立体視覚化のための方法 Download PDF

Info

Publication number
JP2015043982A
JP2015043982A JP2014173125A JP2014173125A JP2015043982A JP 2015043982 A JP2015043982 A JP 2015043982A JP 2014173125 A JP2014173125 A JP 2014173125A JP 2014173125 A JP2014173125 A JP 2014173125A JP 2015043982 A JP2015043982 A JP 2015043982A
Authority
JP
Japan
Prior art keywords
locking mechanism
image
capture device
image capture
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014173125A
Other languages
English (en)
Inventor
ウィルソン ジェイソン
wilson Jason
ウィルソン ジェイソン
アラット バシット
Arat Vacit
アラット バシット
ブルメンクランツ マーク
Blumenkranz Mark
ブルメンクランツ マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vantage Surgical Systems Inc
Original Assignee
Vantage Surgical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/011,510 external-priority patent/US20140066701A1/en
Application filed by Vantage Surgical Systems Inc filed Critical Vantage Surgical Systems Inc
Publication of JP2015043982A publication Critical patent/JP2015043982A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • A61B17/3423Access ports, e.g. toroid shape introducers for instruments or hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00052Display arrangement positioned at proximal end of the endoscope body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00283Type of minimally invasive operation with a device releasably connected to an inner wall of the abdomen during surgery, e.g. an illumination source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3405Needle locating or guiding means using mechanical guide means
    • A61B2017/3407Needle locating or guiding means using mechanical guide means including a base for support on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B90/57Accessory clamps
    • A61B2090/571Accessory clamps for clamping a support arm to a bed or other supports

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】最小侵襲手術のための改善された視覚化システムおよびツールの種々態様を提供すること。
【解決手段】いくつかの実施形態は、カメラシステムの逆運動学的位置の使用を含み、迅速且つ手動の、外科医が制御可能なカメラシステムの移動を、外科医の眼と手術領域の間の視線に沿った3D手術領域画像の表示と併せて提供する。
【選択図】図7

Description

本発明は、一般に、最小侵襲手術(MIS)の分野に関し、より詳細には、そのような外科処置で使用するための改善された視覚化方法およびツールに関する。
関連出願
本出願は、2012年8月27日に出願した米国特許仮出願第61/693,551号明細書の利益を主張し、また、2012年2月6日に出願した米国特許仮出願第61/595,467号明細書の優先権を主張する2013年2月6日に出願した米国特許非仮出願第13/761,136号明細書の一部継続である。これらの参照された出願のそれぞれは、本明細書に全体が記載されているかのように参照により本明細書に組み込まれる。
最小侵襲外科処置の間、ハンドヘルド内視鏡が視覚化のために使用されるのが一般的であり、その場合、これらの内視鏡によって取り込まれた画像が、術野から離れて配置されたモニタに表示される。
この構成では、外科医は制御を補助者(補助外科医、担当看護師など)に譲り、彼/彼女の口頭指示により内視鏡を操向する。術野の高品質な拡大ビューを得るために、補助者によって内視鏡を術野により近く物理的に移動させることで光学ズームが行われる。デジタルズームも選択肢であるが、この手法は、画像分解能の低下という欠点がある。画質もまた、内視鏡の対物口径サイズにも応じて変化し、立体内視鏡の場合、同じサイズの直径で末端に2つの対物レンズが必要であるので悪化する。
さらに、観血手術と比較して、術野を見る経験全体が非直感的で多くのレベルで人間工学的に不適切である。観血手術では、外科医は、施術者の手および器具がどこにあるかを見て、彼/彼女の視軸に合わせて作業するが、MISでは、施術者は、彼/彼女の視軸と無関係の方向を見る。ほとんどの場合、施術者は、手術道具を見ることを可能にする完全な奥行き知覚および周辺視野を有する3Dビューも諦めることになる。加えて、施術者の眼は、患者より4〜5倍遠い距離に調節され、彼/彼女の脳における視野と行われている作業との間のつながりが悪化する。
米国特許出願第13/268,071号明細書
上記の必要は本発明によって大幅に満たされ、本発明の実施形態のいくつかの態様では、従来の最小侵襲手術で使用される視覚化システムに関連する上述の基本的問題の1つまたは複数に対処することが意図される。本発明の種々の実施形態の改良された視覚化方法およびシステムは、多くのタイプの最小侵襲手術、例えば、胸腔鏡、腹腔鏡、骨盤鏡、関節鏡下の手術の分野に適用可能である。腹腔鏡下手術の場合、胆嚢切除、ヘルニア修復、肥満処置(バイパス、バンド形成、またはスリーブなど)、腸切除、子宮摘出、虫垂切除、胃/逆流防止処置、および腎摘出において著しい有用性が認められる。
本開示のいくつかの態様では、これらの問題の1つまたは複数が、新規のステアリングフレーム(steering frame)によって立体ビデオカメラの制御を外科医に返すことによって対処される。立体ビデオカメラは、単一対物レンズを介して立体画像を得ることができ、したがって、より多くの光およびより高い空間分解能を許容することができる。いくつかの実施形態では、立体カメラの直接的視線位置決め、および裸眼立体視(グラスレス)3D視覚化を可能にしながら、立体モニタが人間工学的に適切な位置に移動され得る。加えて、モニタの再配置の付随的な利益は、MISを行う外科医にとっての視野が広くなることであり得る。
本発明の第1の態様において、最小侵襲外科処置の手術領域を見るための方法が開示される。この方法は、画像取込みデバイスによって内部手術領域の画像を取り込むステップであって、該画像取込みデバイスが、少なくとも2つの光路、経皮切開部を通して位置決めされた保持プラグに挿入された少なくとも1つの対物レンズアセンブリ、および、該画像取込みデバイスを支持するフレームの一部を形成するエンドエフェクタを含む、ステップと、前記エンドエフェクタを、前記内部手術領域に対して可動に結合されるように構成するステップと、前記内部手術領域に対する所望の位置で前記エンドエフェクタをロックするようにロック機構をさらに構成するステップと、最小侵襲手術中に施術者によって見られるように位置決めされたディスプレイに前記取り込まれた画像を送信するステップと、施術者の入力を処理して、表示されている前記画像を修正するステップとを含む。
本開示のいくつかの態様によれば、方法は、画像取込みデバイスによって内部手術領域の画像を取り込むステップであって、該画像取込みデバイスが、少なくとも2つの光路、対物レンズアセンブリであって該対物レンズアセンブリを経皮切開部内に保持するのに役立つ保持構造を有する対物レンズアセンブリ、および、該画像取込みデバイスを支持するフレームの一部を形成するエンドエフェクタを含む、ステップと、前記エンドエフェクタを、前記内部手術領域に対して可動に結合されるように構成するステップと、ロック機構を、前記手術領域に対する所望の位置で前記エンドエフェクタをロックするようにさらに構成するステップと、最小侵襲手術中に施術者によって見られるように滅菌野内に位置決めされたディスプレイに前記取り込まれた画像を送信するステップと、施術者の入力を処理して、表示されている前記画像を修正するステップとを含む。
本開示の他の態様によれば、方法は、画像取込みデバイスによって内部手術領域の画像を取り込むステップであって、該画像取込みデバイスが、基端、末端、およびその間の1つまたは複数の光学レンズを有する対物レンズアセンブリであって、経皮切開部に少なくとも部分的に挿入される対物レンズアセンブリと、該画像取込みデバイスを支持するフレームの一部を形成するエンドエフェクタとを含み、前記対物レンズアセンブリは、前記基端が患者の身体の外部にある一方、前記末端が体腔の内部に配置されるように配設され得る、ステップと、前記エンドエフェクタを、前記内部手術領域に対して可動に結合されるように構成するステップと、ロック機構を、前記手術領域に対する所望の位置で前記エンドエフェクタをロックするようにさらに構成するステップと、最小侵襲手術中に施術者によって見られるように滅菌野内に位置決めされたディスプレイに前記取り込まれた画像を送信するステップとを含む。
本開示のさらに他の態様では、前記ロック機構は、機械式ロック機構、空気式(pneumatic)ロック機構、および電気式ロック機構のうちの1つまたは複数を含むことができる。いくつかの実施形態では、前記保持プラグおよび/または前記対物レンズアセンブリを、前記内部手術領域を照明できる光源を含むように構成することも有用であり得る。前記取り込まれた画像/ビデオは、3次元画像/ビューを形成するように処理され得る。さらに、施術者のコマンドが、前記取り込まれた立体画像/ビデオの倍率および/または回転ビューを変更するように処理され得る。
本発明の他の態様は、本明細書の教示を検討することで当業者に理解できよう。本発明の他の態様は、本発明の上記の態様の組み合わせを含むことがある。本発明のこれらの他の態様は、上記に提示された態様の種々の組み合わせを実現し得るとともに、上記に特に記載されていない他の構成、構造、機能的関連、およびプロセスを実現し得る。
本発明の第1の実施形態による、最小侵襲手術/処置で使用するための、立体ビデオカメラアセンブリ(例えば、立体デジタルビデオ取得ユニット、および本明細書では単に対物レンズと呼ばれることがある最小侵襲対物レンズアセンブリ)と、ステアリングフレームと、対物レンズアセンブリが嵌め込まれる最小侵襲保持プラグとを含む立体画像取込みシステムの斜視図である。 図1の立体画像取込みシステムの断面斜視図である。 プラグおよびレンズスタック(lens stack)が12.5°の視野角で患者の腹壁を貫入している、図1の立体画像取込みシステムの側面図である。 プラグおよびレンズスタックが患者の外部組織を貫通して延びている、ステアリングフレーム、最小侵襲保持プラグ、および広角対物レンズスタックの間の相互作用の近接断面斜視図である。 直動支柱の1つ、およびステアリングフレームの基端および末端を可動に互いに接合する関連したロック機構の断面斜視図である。 直動支柱の1つ、およびステアリングフレームの基端および末端を可動に互いに接合する関連したロック機構の断面斜視図である。 図5Bに示されたロック機構の斜視図である。 本発明の手順的実施形態による最小侵襲手術/処置の際の、患者の身体のビュー、図1の立体画像取込みシステム、および、外科医の視点からの実際の手術領域に近接して位置する表示画面に表示されるような手術領域のビューの図である。 2フィート(60.96cm)の距離にある5.5インチ(13.97cm)モニタの人間の眼からの視野を、8フィート(243.84cm)の距離にある22インチ(55.88cm)モニタのそれと同じにする幾何学的影響を示す図である。 11インチ(27.94cm)のモニタが同じ作業距離でより大きい視野を実現することを可能にする同じ幾何学的影響を示す図である。 第1の実装形態による受動的ステアリングフレームのための作動インターフェースの斜視図である。 受動ステアリングフレームのための作動機構の近接断面斜視図である。 本開示のいくつかの態様によるプラグの一部を形成するLED照明デバイスのリングを組み込まれて示す対物レンズアセンブリおよびプラグの末端の等角図である。 最小侵襲外科処置または視覚化手順の際に使用されるような、患者並びに本開示の実施形態の画像取込みおよび表示システムの構成要素の間の機械的相互連結を示すブロック図である。 最小侵襲外科処置または視覚化手順の際に使用されるような、患者並びに本発明の実施形態の画像取込みおよび表示システムの構成要素の間の代替的な機械的相互連結を示すブロック図である。 最小侵襲外科処置または視覚化手順の際に使用されるような、患者および本発明の実施形態の画像取込みデバイスの構成要素の間の代替的な電気的および機械的相互連結を示すブロック図である。 複数のベースパッドまたは脚を使用してベースが直動関節を患者または台に取り付けることを可能にするステアリングフレームのための代替的構成の斜視図である。 ステアリングフレームが外部の支持デバイスに取り付けられる別の代替的構成の斜視図である。 ステアリングフレームがパラレルマニピュレータではなくシリアルマニピュレータである操向フレームの別の代替的構成の斜視図である。 どのように手術ディスプレイがピクチャインピクチャ形式で術野の2つの画像を示すことができるかを示し、それぞれの画像が、大きいズームされたビュー、および嵌め込まれた広角ビューを示す、手術ディスプレイの例示的図である。 どのように手術ディスプレイがピクチャインピクチャ形式で術野の2つの画像を示すことができるかを示し、それぞれの画像が、大きい広角ビューおよび嵌め込まれたズームインされたビューを示す、手術ディスプレイの例示的図である。 視野方向に対するイメージングデバイスのアライメントのずれによって引き起こされた配向誤差または変動をどのように画像処理が補償することができるかを示す、手術ディスプレイの例示的図であり、特に、患者の身体に対する外科医の視点とは異なる視点から第1の画像を、および、表示された画像が外科医の視野方向に一致するように変形された見え方を示す。 手術ディスプレイが、カメラからのビデオストリームを表示することができ、かつカメラ、外部モニタ、外部コンピュータ、外部医療デバイス、および周辺電子機器と通信することができるタッチスクリーンコンピュータである、手術室の例示的図である。 ディスプレイがタッチスクリーンコンピュータであり、タッチスクリーン入力がカメラを自動的に操向するコマンドに変換される、術野の例示的図である。 腹壁を貫通して挿入される際にコンパクトであり外科的空洞に入ると展開する照明装置の例示的断面図である。 腹壁を貫通して挿入される際にコンパクトであり外科的空洞に入ると展開する照明装置の例示的断面図である。 ステアリングアームに対する駆動電子装置がタッチスクリーンコンピュータディスプレイからコマンドを受け取る、構成要素間の代替的相互連結を示すブロック図である。 本開示の態様に従って実装され得る例示的方法ステップを示すフローチャートである。
本開示が、全体を通して同様の参照番号が同様の部分を参照する図面を参照して以下に説明される。本発明の種々の態様は、共に結合、シール、取付け、および/または接合される構成要素によって示され得る。本明細書で使用される場合、用語「結合される」、「密閉される」、「取り付けられる」、および/または「接合される」は、2つの構成要素の間の直接的連結、または適切な場合、介在または中間構成要素を介する互いの間接的連結を示すために使用される。一方、構成要素が、別の構成要素と、「直接結合される」、「直接シールされる」、「直接取り付けられる」、および/または「直接接合される」ものと称される場合、介在する要素は存在しない。
「下側」または「底部」および「上側」または「頂部」などの相対的用語は、図面に示される1つの要素と別の要素の関係を説明するために本明細書で使用され得る。相対的用語は、図面に図示される向きに加えて、異なる向きを包含するように意図されることを理解できよう。例として、図面に示される例示的実施形態の態様が反転された場合、他の要素の「底部」側にあるとして説明されている要素は、他の要素の「頂部」側の向きにあることになる。したがって、用語「底部」は、装置の特定の向きに応じて「底部」および「頂部」の両方の向きを包含し得る。
最小侵襲手術視覚化のための立体システムの種々の態様は、1つまたは複数の例示的実施形態を参照して示される。本明細書で使用される場合、用語「例示的」は、「例、事例、または実例の役割をする」ことを意味し、本明細書に開示された他の実施形態に対して好ましいまたは有利であると必ずしも解釈されるべきではない。
本開示の態様によれば、最小侵襲手術(MIS)処置のための画像取込みデバイスの制御は、新規のステアリングフレームによって外科医へ返すことが可能である。いくつかの実施形態では、画像取込みデバイスは、単一対物レンズを介して立体画像を得ることができ、したがって、より多くの光およびより高い空間分解能を許容する立体ビデオカメラとすることができる。いくつかの実施形態では、立体カメラの直接的視線位置決め、および裸眼立体視(グラスレス)3D視覚化を可能にしながら、立体モニタが人間工学的に適切な位置に移動され得る。いくつかの実施形態では、モニタの再位置決めの付随的な利益が、より広い視野であり得る。
開示のシステム態様を実装することができるMIS処置は、例えば、胸腔鏡、腹腔鏡、骨盤鏡、関節鏡下の手術の分野に含めることが可能である。例えば、腹腔鏡下手術の場合、胆嚢切除、ヘルニア修復、肥満処置(バイパス、バンド形成、またはスリーブなど)、腸切除、子宮摘出、虫垂切除、胃/逆流防止処置、および腎摘出において著しい有用性が認められる。
本開示の1つまたは複数の態様のいくつかの利点は、以下を含むことができる:(1)直感的視覚化:内視鏡と異なり、立体ビデオカメラは、いかなる外部の物的移動なしに光学的にズームすることができるので、合計の占有スペースがかなり小さくなり得る。これはディスプレイの再位置決めと相まって、外科医が観血手術で経験したであろうものに近い術野を彼/彼女が知覚することを可能にする。さらに、ディスプレイは、外科医から適切な距離とする(すなわち、観血手術中の器官とおよそ同じ距離とする)ことができるので、眼の調節(accommodation)が人間工学的に適切になり得る;(2)外科医への視覚制御の返却:新規のステアリングフレームによって、外科医は、立ち会い看護師を使用することなく、カメラを操向して、所望の術野の部分を見ることができる。ズームは、カメラ/内視鏡を物理的に移動することによらずに光学的であるため、外科医によっても制御され得る;(3)光学ズーム:内視鏡は光学ズームを有していない。ズーミングは、内視鏡の末端を対象により近く移動させることで、またはデジタルで行われる。両者の手法は、光の不足または低い画素分解能から画質の低下を招くことになる;(4)優れた光学要素:対物レンズアセンブリは、2つではなく1つのレンズだけを必要とするので、より大きくすることができ、結果として大きな対物口径がもたらされ、したがって、立体画像を得ながらも、より多くの光およびより良好な空間分解能を得ることができる;(5)全景:対物レンズアセンブリは、容易な手術器具の視覚化を可能にする非常に広い(90度ほどの)視野角があるように作製され得る。これは、末端が通常は手術を受けている人体の非常に近くに位置決めされるため、内視鏡に関連する大きな問題である;(6)受動的ステアリングフレーム:立体ビデオカメラが手術切開部に対して随意に位置決めできるようにするためには、受動的ステアリングフレームが好ましい。特に、それは、逆運動学的に動かされるので他の構造フレームと異なる。「関節角度」を調節して適切なエンドエフェクタの位置を実現する(順運動学)代わりに、後でより詳細に説明されるように、エンドエフェクタは、その位置に移動され、次いで関節をそれらの自然な位置にロックすることによって維持される(逆運動学)。
次に図1および図2を参照すると、立体ビデオカメラおよびステアリングフレームアセンブリ100の斜視図が示されている。カメラは、2つの構成要素、すなわち、立体デジタルビデオ取得ユニット101、および最小侵襲対物レンズアセンブリ103を含むことができる。対物レンズ103の内部構成要素は、一般的な最小侵襲手術切開部を通して手術場面の広角ビューを可能にする(図2に示されるような)レンズスタックを含む。ビデオ取得ユニット101は、拡大レンズ202、ズームおよびフォーカス機能を有する2つの立体瞳孔(stereoscopic pupil)203、光路転換構成要素205(例えば、鏡またはプリズム)、並びに、画像デジタル化のための少なくとも2つの感光集積回路204(図2では左側の構成要素が見られる)を含むいくつかの内部構成要素を含むことができる。ビデオ取得ユニット101および対物レンズ103の光路は、構造結合器105によって光学的にアライメントされて維持され得る。この立体ビデオカメラおよびステアリングフレームアセンブリ100(ビデオ取得ユニット101、構造結合器105、および対物レンズ103を含む)は、受動的ステアリングフレーム102に取り付けられ得る。フレーム102は、フレーム102が、可動状態から固定状態に移行することを可能にするロック107を備えることができる。ロック107がオフにされたとき、フレームは、手動で移動されて、アセンブリ101、105、103の適切な位置決め(例えば、高さおよび向き)ができるようにすることが可能である。ロック107が係合されると、フレーム102が固定されて自立することができ、外科医がデバイス100を手放すことを可能にする。いくつかの実施形態において、対物レンズ103が切開部の外に持ち上がることがあるので、それが切開部から出て来るのを防止するために対物レンズ103が挿入され得る保持プラグ104を含むことが望ましいことがある。
図3を参照すると、皮膚の層301を貫通して延び得る最小侵襲手術切開部を通して挿入され、送気された空洞304に貫入するデバイスまたはアセンブリ100が示されている。挿入が(例えば、予め挿入されたプラグを介して)行われる前に空洞の適切な密閉が可能であり得るかどうかに応じて、アセンブリ100の挿入の前または後に空洞に送気がされ得る。本開示のいくつかの態様によれば、フレーム102は、それが望ましい場合に光路を移動させるための6自由度を可能にし得る六脚(hexapod)を含むことができる。例えば、中心から12.5°変位した光路として示される。この変位は、ロック107を手動で解除し、ステアリングハンドル302によってデバイス100を手動で回転させることで促進されることが可能であり、ステアリングハンドル302は、例えば、カメラアセンブリの頂部(図示のように)に位置することができ、ハンドルの頂部(図示のように)に位置する解除ボタンを押しながら握ることが可能である。ボタンは、固定された長さで複数の支柱302を保持するロックを解除することができる。次いで、解除されたロックが、(例えば、低摩擦摺動によって)支柱がそれぞれの長さを変更することを可能にして、外科医がカメラアセンブリを位置付ける新しい位置に対応するようにそれらの長さを調整する。このロック解除およびアセンブリ再位置決めが、適切な支柱303の拡張および圧縮をもたらすことができ、そして、ボタンの解除が、ロックの再係合、したがって、固定された支柱303が光路を所望の角度に位置決めすることを可能にする。
いくつかの代替的実施形態では、押しボタンが、別の機構(例えば、ばね装荷機械的解除機構、双安定機械的解除およびロック機構、電気式、磁気式、空気式、または液圧式のロックおよび/または解除機構を作動するレバーまたはスライダのような別のタイプのスイッチに置き換えられ得る)。そのような代替的実施形態では、スイッチまたはスライダが、ある位置でロックを引き起こし別の位置で解除を引き起こすことができる。さらに他の実施形態では、複数のボタン、スイッチ、またはスライダが、ステアリングハンドル302に統合されてよく、そのために、そのような複数のスイッチを使用して異なる支柱33をロックまたは解除することができる(例えば、異なる軸に沿って制限された再位置決めを可能にする)。
次に図4を参照すると、ステアリングフレーム102、対物レンズ103、および保持プラグ104の間の相互連結を示す、線3Aを通る図3に示されたアセンブリの斜視図が示されている。フレーム102は、患者の皮膚301の外表面と同一面に位置することができる。いくつかの代替的形態では、フレームは、患者の皮膚と同一面に位置し得るが、天井、壁、もしくはスタンドに支持された1もしくは複数のアームなど他の構造的延長部によって、または患者の身体を越えてテーブルに延長する構造要素によって支持されてもよい。さらに追加の代替的形態では、ベースが、患者の皮膚301上に載置されたパッドまたは滅菌シートプロテクタなどの上に位置決めされてもよい。
(図1に示される)構造結合器105は、ビデオ取得ユニット101に直接取り付けられ得るステアリングフレーム102の上部に連結され得る。この連結は、構造結合器105がステアリングフレーム102の単なる構成要素となり得るように恒久的にすることができ、または、他のやり方で(取外し可能なように)堅固に取り付けられて、応力を受けて曲がらないようにされる、もしくは、外科医が光路を動かすのに通常加えるよりも大きな量の力が加えられた後にのみ曲がる(したがって、器官の損傷を防止するように曲がる)ように設計される。構造結合器105は、対物レンズ103に(例えば、恒久的にまたは取外し可能に)直接取り付けられて、剛体接続を形成することができる。対物レンズ103はまた、保持プラグ104に取り付けられて、別の剛体接続を形成することができる。保持プラグ104は、好ましくは、(1つまたは複数の)皮膚層301の下に広がることができるフレア状末端402を含むことができる。保持プラグ104、および保持プラグ104とレンズアセンブリ103の間の機能的関連についての追加の情報は、本明細書に全体が記載されているかのように参照により本明細書に組み込まれる2011年10月7日に出願した特許文献1に見られる。いくつかの代替的実施形態では、レンズアセンブリ103は、構造結合器105に直接結合されなくてよく、代わりに、保持プラグ104に直接結合され、保持プラグ104が構造結合器104に直接結合され得る。
本例示的実施形態では、保持プラグ104は可撓性があり、対物レンズアセンブリ103がないとき、それは、(例えば、折り畳むことによって)切開部を通り抜けることができるように圧縮または屈曲され得る。保持プラグ104が位置付けられると、対物レンズ103は、それが据え付けられたとき、保持フィーチャ400が対物レンズ103の基端に付着するように挿入され得る。同様に、フレーム102が皮膚の外表面に載置されるよう位置決めされたとき、構造結合器105は、結合器の末端における保持フィーチャ401が対物レンズ103の基端に付着するように移動され得る。この相互連結の性質上、ステアリングフレーム102が皮膚301を押し下げると、逆の力が対物レンズ103に加えられ、それを切開部から除去する傾向がある。しかしながら、対物レンズ103に連結されている間、保持プラグ104は、皮膚301に軽い張力を加えるフレア状末端402によって移動することができない。これにより、(図1に示される)立体ビデオカメラ101およびステアリングフレーム100を患者の身体にしっかりと据え付けることができる。
次に図5Aを参照すると、例示的ステアリングフレーム支柱303の断面斜視図が示されている。特に、ステアリングフレーム支柱303は、2つの部分を有する直動関節を含む。この例示的実施形態では、直動関節は、直動式で互いに対して動くことができるオス型構成要素502およびメス型構成要素501からなる。(任意の与えられた位置で)皮膚301に対するフレームのベースの押付けを確実にするために、ばね機構500が支柱303を付加して、それを拡張する傾向にさせてもよい。いくつかの代替的実施形態では、ベースがその重さによって皮膚に据え付けられることを優先して、付勢ばねが除去され得る。他の実施形態では、それは、定圧空気圧シリンダまたは当技術分野で知られた同様のデバイスに置き換えられ得る。
次に図5Bを参照すると、ステアリングフレーム支柱303の外観斜視図が示されている。特に、支柱の頂部および底部にある関節503は、支柱303の軸に直角の少なくとも2の回転自由度を容易にするために有用であり得る。これは、典型的には、自在継手または玉継手を使用して達成することができる。この例示的実施形態では、メス型構成要素501に取り付けられたロック107も示される。
次に図6を参照すると、機械的ロック機構の例示的実施形態の斜視図が示されている。特に、機械的ロック機構107は、2つの独立したアーム600および601から構成することができる。アーム600および601は、関節602に連結することができ、関節602は、支柱303のメス型構成要素501に連結することができる。関節602は、作動機構604によって外力が加えられていないとき、ロック107を閉じる傾向であるべきである。そのようなロック付勢は、いくつかの異なる方法、例えば、ロック107のアーム延長部の間に圧縮ばねもしくは弾性材を配置すること、および/または、アーム600および601の開放端を連結する引張ばね(図示せず)を配置することによって達成され得る。メス型構成要素501上のロック107の取付け構成は、閉じられたとき、表面603がオス型構成要素502に接触することができるような構成にされ得る。この機械的相互作用(摩擦または機械的干渉)は、支柱が剛体になるようなものにされ得る。支柱構成要素がロック解除されることが望まれる場合、作動機構604が、ロックアーム600および601を互いにクランプ締めするいかなる据え付ける力にも打ち勝つのに十分な力を加えることができる。この作動力は、(例えば、引張ワイヤによる)機械式、電気式、および/または空気式などの様々な形態を取ることができる。
図7を参照すると、外科医の視点から見られるような、立体ビデオカメラ、ステアリングフレーム、および最小侵襲手術視覚化用ディスプレイの図が示されている。立体ビデオカメラ700およびステアリングフレーム703は、患者702上に載置されて見られ、対物レンズ103および保持プラグ104は切開部に挿入されている。ディスプレイ701は、それが外科医の直接的視線の方向を反映するよう配向され得るように、外科医の前方に配置され得る。2つの手術道具704およびそれらのステアリングハンドル705がモニタ上と身体外に合致して見られる。一実施形態では、ディスプレイ701は、眼鏡(例えば、視差バリア)を必要としないタイプのフルハイビジョン1920×1080プログレッシブ3Dモニタとすることができる。他の実施形態では、他の2Dまたは3Dディスプレイが使用され得る。
次に図8Aを参照すると、異なるサイズを有する異なる距離の2つのディスプレイを見る外科医800の遠近法的等価性が示されている。特に、22インチ(55.88cm)ディスプレイ801が、標準的な手術室構成で典型的な8フィート(243.84cm)の距離で見られるものとして示される。5.5インチ(13.97cm)ディスプレイ802が、外科医から2フィート(60.96cm)の距離で見られるものとして示される。これらのビューの等価性が、外科医800の視線から出発しモニタ801および802の両方の4隅と交差する斜視図光線803によって示される。これと比較して、図8Bは、図8Aに見られるのと同じ斜視図光線803の図であるが、5.5インチ(13.97cm)ディスプレイ802が11インチ(27.94cm)ディスプレイ804に置き換えられている。結果として、小さいディスプレイ804は、適切な眼調節距離においてより広い視野を提供することができる。
次に図9Aを参照すると、操向可能フレームと使用するためのロック作動機構のための別の例示的インターフェースであって、押しボタンの代わりにハンドルが設けられた例示的インターフェースが示されている。特に、インターフェースは、(図1および図2のノブ状ハンドルと対照的な)ステアリングハンドル903、およびロック活性化/不活性化スイッチ902からなり得る。スイッチ902は、リングの形状であり得る作動結合機構900を介して各支柱303に関連付けられた作動機構604のすべてに結合することができる(図9Bに関する後述の説明を参照のこと)。ロック活性化/不活性化スイッチ902は、少なくとも2つの位置を有することができ、1つの位置はすべてのロック107を活性化することができ(例えば、すべてのロック機構をそれぞれの支柱のオス型部分に係合させる下方位置)、もう1つの位置はすべてのロック107を不活性化することができる(例えば、ロックアームの後端を一緒に移動させる引張ワイヤを引き、したがって締め付け機能を提供するロックのアームまたは顎を開放する上方位置)。ステアリングハンドル903およびスイッチの形状は、対象物、この場合は立体ビデオカメラ101が操向されるように取り付けるための空間904が存在するような形状にされ得る。
次に図9Bを参照すると、作動結合機構900および関連する作動機構901の近接斜視図が示されている。本実施形態では、作動機構901は、ケーブルをベースにすることができ、ケーブル901は、ロック107を作動させることができるシース905を介して引くことができる。シース905の表面603が一方のロックアームを押すとともに、ケーブル901が他方901を引き、それにより自転車のブレーキとよく似たようにロック107を不活性化する。本実施形態では、結合機構は、同時にすべての6つのケーブル901に付着する円盤とすることができ、それらは、ロック活性化/不活性化スイッチ902に実質的に連結され得る。
次に図10を参照すると、対物レンズアセンブリ103および保持プラグ104の末端を見るような等角図が示されている。本実施形態では、場面を照明するために、対物レンズ103および保持プラグ104の末端にLEDライトが置かれる。2対物レンズの3D内視鏡よりも面積を約25倍大きくできる対物レンズ103の大きい開口1002のため、照明は、キセノンベースの照明の現在の標準的慣行と同程度に明るくする必要がない。これは、LED照明がMISに適合することを可能にできる。他の実施形態では、LED照明の代わりに、光ファイバが、レンズアセンブリまたはプラグの一部分として設けられ、光を外部源から手術領域内に向けて送ることができる。さらに他の実施形態では、光は、1つまたは複数の追加の切開部を経て手術領域にもたらされ得る。
次に図11を参照すると、最小侵襲外科処置または視覚化手順の際に使用されるような、患者並びに本発明の例示的実施形態の画像取込みおよび表示システムの構成要素の間の機械的および電気的相互連結を示すブロック図が示されている。ブロック図内の各物理的構成要素は、その説明が内部にある長方形によって示される。2つの連結された構成要素の間の相互作用は線によって示され、各線には説明される参照番号が付される。
この例示的実施形態では、保持プラグ104は患者702に挿入され、1で所定の位置に保持され得る。一般的に、保持プラグ104は、対物レンズ103アセンブリの挿入前に、患者の皮膚および/または他の組織を通して切開部内に挿入され得る。あるいは、本開示の他の態様による他の実施形態では、対物レンズアセンブリ103の挿入は、保持プラグ104の患者702への挿入前に行われてもよく、または、対物レンズ103アセンブリそれ自体が、対物レンズ103アセンブリが切開部から出ないように維持する保持プラグ104と類似した構造を含んでもよい。本例示的実施形態に戻ると、対物レンズ103アセンブリは、保持プラグ104に挿入され、2で保持され得る。構造結合器105は、3で対物レンズアセンブリ103に取り付けることができ、また、4でステアリングフレーム102に取り付けることができる。結合器105の対物レンズアセンブリ103への取付けは、対物レンズアセンブリ103の保持プラグ104への挿入の前または後に行われてよく、結合器の受動ステアリングフレーム102への取付けは、結合器105の対物レンズアセンブリ103への取付けの前または後に行われてよい。受動ステアリングフレーム102は、5で患者に付着することができる。ビデオ取得ユニット101は、ビデオ取得ユニット101と対物レンズアセンブリ103が十分に光学的にアライメントされ得るように、6でステアリングフレーム102に取り付けられ得る。ビデオ取得ユニット101とディスプレイ701は、7で連結され得る。外科医は、8を介してディスプレイ701と相互作用することができる。そして、外科医は、9でロックアセンブリ107、604、903、904を操作することができる。10の機構によって、ロックアセンブリ107、604、903、904は、ステアリングフレーム102をロックおよびロック解除する。外科医はまた、11でビデオ取得ユニットと相互作用して、ズーム、位置、またはフォーカスパラメータを調整することができる。
以下は、直前の段落で列挙された構成要素の間の例示的な適合する相互作用のリストである。
相互作用1において、それは、例えば、基端フレアおよび六脚ベースおよびフレア状末端402による機械的干渉、プラグの末端もしくは基端の膨張によるフレアの拡大または形成、および/または摩擦であり得る。
相互作用2において、それは、例えば、保持フィーチャ400へのクリップ留め(clip)、共にねじ込む(thread)、1つまたは複数のタブを1つまたは複数のスロット内に係合させるための挿入および後続する部分的回転のねじり、締め付け、膨張によるプラグの全体または一部分の拡大、および/または摩擦であり得る。
相互作用3において、それは、例えば、プラグ上の保持フィーチャ400などのフィーチャへのフィーチャ401のクリップ留め、他の対向的かつ恒久的または一時的に構成されたフィーチャの嵌合、共にねじ込む、摩擦、および/または恒久的取付け(例えば、溶接、1つの部片としての一体的形成)であり得る。
相互作用4において、それは、例えば、2つの構成要素上の対向的かつ恒久的または一時的に構成されたフィーチャの嵌合、挿入およびねじり、共にねじ込む、共にボルト止め、および/または恒久的取付け(例えば、溶接、1つの部片としての形成)であり得る。
相互作用5において、それは、例えば、摩擦、滑りやすいタッチ接触、および/または接着であり得る。
相互作用6において、それは、例えば、共にクリップ留め、共にクランプ締め、共にねじ込む(例えば、C−Mountタイプ)、フィーチャを係合するための挿入およびねじり、および/または共にボルト止めであり得る。
相互作用7において、それは、例えば、ケーブル(例えば、DVI、HDMI(登録商標))、なし(ワイヤレスデータ通信、例えば、無線周波数、赤外線)であり得る。
相互作用8において、それは、例えば、タッチスクリーン、ディスプレイを制御する別の人物との通信、および/または、表示されている情報に寄与している光学パラメータ(ズームもしくは照明レベルなど)、なし(目視観察のみ)であり得る。
相互作用9において、それは、例えば、ロック活性化/不活性化スイッチ902の手動操作、遠隔ロック活性化/不活性化スイッチ902の足による操作、ロック107の手動操作、ステアリングハンドル903の手動操作、フレーム102の手動操作、および/または立体カメラ100の手動操作であり得る。
相互作用10において、それは、例えば、摩擦、機械的干渉、液圧、および/または空気圧であり得る。
相互作用11において、それは、例えば、手動操作および/または音声コマンドであり得る。
次に図12を参照すると、図11に類似したブロック図が示されている。特に、それは、図11と同じ構成要素を有し得るが、機械的相互連結が変更されている。本例では、構造結合器105の末端は、3で、対物レンズ103ではなく保持プラグ104に直接連結され得る。基端は、4でビデオ取得ユニット101に直接連結され得る。最後に、外科医は、ビデオ取得ユニット101ではなく、11でフレーム102を直接操作することによってアセンブリを操向することができる。構成要素間の機械的相互連結の他の実施形態は、本明細書に記載の教示を検討することにより当業者には明らかであろう。
次に図13を参照すると、本発明のさらに別の例示的実施形態に関連する代替的な電気的および機械的相互連結のブロック図が提示されている。ブロック図の形態は、図11および図12の形態と類似しているが、少し異なる構成要素および相互連結を有する。ここでは、画像取得デバイス101から来る視覚データが、強化された画像データ14としてディスプレイ701に渡される前に、まず生データ7として画像処理コンピュータに送信され得る。画像処理コンピュータは、任意の種々の異なる方法で生データを処理して、強化された画像を作成することができる。例えば、画像は、取得方向に対して回転されて外科医の視野の向きに変換されてもよく、拡大されてもよく、2つ以上の異なるズーム倍率の画像または2つ以上の分離された画像に分割されてもよい。この構成では、画像処理コンピュータは、外科医11からコマンドを受け取って、ビデオ取込みユニットで当初取り込まれたものと異なり得る向きまたは遠近感を有する1つまたは複数の選択されたビューを提供することができる。本実施形態のさらなる変形例では、ステアリングフレームは、制御ユニット(例えば、マイクロコントローラ)からのコマンドによって能動的に操向または操作することができ、ここで、フレームの支柱の関節は、いくつかの電子機械、空気圧、または液圧アクチュエータによって作動される。外科医は、コマンド9を、所望のアクチュエータコマンド12を生成する制御ユニットへ与えることができ、所望のアクチュエータコマンド12は、能動ステアリングフレームに機能的に結合されたアクチュエータに出力される。本実施形態のいくつかの変形例では、制御ユニットと画像処理コンピュータは同じマシンとすることができる。さらに、信号9および13を生成するヒューマンマシンインターフェースは、同じまたは分離したユニット(例えば、キーボード、ジョイスティック、マウス、タッチスクリーン、マイク、またはこれらの組み合わせ)であってよい。いくつかの実施形態では、それは、腹腔鏡器具と一体化されたジョイスティックまたはタッチコントロールとすることができ、したがって、外科医は視覚化調整のために器具を手放す必要がない。しかしながら、器具はいくつかの処置のために何回も切り替えられ得るので、別個のヒューマンマシンインターフェース(MMI)を有することは有用であり得る。
次に図14を参照すると、支柱のすべてを構造的に取り付けたベース板108が、支柱の末端(すなわち、調整可能な長さのアーム)のペアのみを互いに連結するパッド1100で置き換えられた、代替的ステアリングフレーム構成102の斜視図が示される。もちろん、本開示の範囲内の他の代替的実施形態において、異なる数の支柱がパッドによって接合されてよく、または、各アームがそれ自体のパッドに連結されてよい。パッドは、患者および/またはテーブルで取り付けられ/支持され得る。患者での取付けの場合、パッドは、接着、吸引、摩擦、縫合、または挟持機構によって取り付けられ得る。テーブルの場合、パッドは、取外し可能または恒久的とされ得る。取外し可能パッドは、ボルト止め、クランプ締め、接着、摩擦、または吸引によって取り付けられ得る。恒久的に取り付けられたパッドは、同じ手段によって、例えば、溶接、はんだ付け、もしくはろう付けによって取り付けられ得る。このようにして、マニピュレータの支柱303は、患者、天井、および/またはテーブルによって構造的に固定され安定化され得る。
次に図15を参照すると、ステアリングフレーム102が、外部支持デバイス1300と、ビデオ取得ユニット101の側部とに取り付けられ得る、システムの別の例示的構成が示されている。例えば、関節1301を外部支持デバイス1300に付加することによって、さらなる自由度がステアリングフレーム102に追加されることが可能であり、それにより患者とのアライメントができるようにする。
次に図16を参照すると、ステアリングフレームが、患者上に直接位置するのではなく手術室内の堅固な場所に搭載されたシリアルリンクアーム(serial linked arm)1600の形態である、ステアリングフレームのさらに別の例示的実施形態が示されている。支持アームのための好都合な搭載場所は、手術台1603であり得る。本実施形態では、直動関節アーム1604が、回転関節1601によってカメラに、また、回転関節1602によって手術台取付け具1603に取り付けられ得る。直動アームは、患者の身体との衝突を回避するためにまっすぐまたは円形にすることができる。回転関節1602は、球面タイプまたは自在タイプとすることができるが、自在の方が、患者の上でアームが弧を描くように留まることを保証し得るので好まれることがある。イメージングデバイスにおける回転関節1601は、必要な自由度を達成するために球面、自在、または標準的自在および回転関節の組み合わせとすることができる。図1の実施形態と同様に、本実施形態のフレームは、好ましくはロックおよび自由状態で受動的であり得るが、他の代替的形態では能動的デバイスとしてもよい。使用中に、イメージングデバイスを所定の位置に保持するために、関節のすべてまたは一部のみをロックすることが必要なことがある。例えば、イメージングデバイスにおける回転関節がロックされないまま、台取付け具における直動および回転関節がロックされることで、イメージングデバイスが患者の動きとともに回転することを可能にすることができる。また、カメラの光軸の周りで回転する、カメラの光軸の周りで直動する、またはその両方である別の関節1605が存在してもよい。回転態様は、視野の向きを補償するために使用され得る。直動態様は、光軸の向きを確実にして変更しないようにしながら、減少/増加した送気(insufflation)を補償するために使用され得る。
次に図17Aおよび17Bを参照すると、広角およびズームされたビューを同時に表示するための2つのピクチャインピクチャ方式が示されている。いくつかの手順において、術野の広角およびズームされたビューが、嵌め込まれた画像によって同時に利用可能とすることができる。広角画像1401が、図17Aに示されるようにフルサイズのズームされたビュー1400上に嵌め込まれてよく、または図17Bに示されるように、フルサイズのズームされた画像1402に広角ビュー1403を嵌め込んでもよい。ズームされたビューは、画像をデジタル的にクロップしサイズ変更することによって(分解能を下げて)、または光学的に達成され得る。光学ズームの場合、それは2Dであり、一方の瞳孔がズームのために使用でき、他方が広角ビューを取り込むことができる。3Dが望ましい場合、追加される光学要素、例えば、任意の3Dビューのための2つの光チャネル、および任意の2Dビューのための1つの光チャネルが必要とされ得る。3Dのために、フルスクリーン画像および嵌め込み画像の両方のビューが4つの瞳孔を必要とし得る。
次に図18を参照すると、カメラのアライメントずれを補償するために画像を操作することによって、カメラが外科医と同じ方向から手術領域を見ていないときであっても、強化された且つより自然な/直感的な手術領域のビューを外科医に提供するために、画像処理がどのように使用され得るかを示す画像が示されている。理想的なビュー再アライメントは、画像が外科医の視線によって見られているかのように画像を描画することになる。このタイプの画像処理補償の単純な例は、カメラの回転変位を調整するものである。画像1501(すなわち、上側画像)は、外科医に対して45度の回転アライメントずれを有するカメラの視点からのものであり、画像にデジタル回転1502を適用することで、適切な手術ビュー1500(すなわち、下側画像)を描画することができる。これは、ユーザインターフェースによって制御することができ、または、補償は、傾斜センサ、距離センサ、エンコーダ、加速度計、もしくはジャイロスコープなどのセンサによってコンピュータに送られる信号の結果として発生し得る。より複雑な補償として、2ビューのコンピュータ視覚技法を用いて場面の高密度奥行きマップを構築することがあり、それは、立体イメージングシステムの各瞳孔が術野の2つの異なるビューを与えるからである。この情報は、次いで、外科医の視線に沿って配列された仮想カメラ上に解剖学的組織を再投影するために使用され得る。
次に図19を参照すると、タッチスクリーンコンピュータディスプレイ1700を使用して手術室内の周辺デバイスがどのように制御され得るかを示す図が提示されている。特に、典型的なタッチスクリーン相互作用を用いて外科医1701がコンピュータとどのようにインターフェースをとり得るかである。タッチスクリーンコンピュータディスプレイ1700は通信ハードウェアを有することができるので、それは、ワイヤレス1702および/または有線の両方で複数のデバイスに対するデータを制御または送信することができる。画像取得ユニット101は、独立した左および右のズームレベルに関する制御を受け取ることができる。スタンドアロンコンピュータ1703は、患者記録またはコンピュータ分析などのライブストリーミングビデオデータを受け取ることができる。送気、焼灼電源、または灌注などの周辺手術機器1704も制御され得る。照明、室温などの電子的に使用可能なユーティリティも制御され得る。
次に図20を参照すると、能動ステアリングアーム102、1604と通信するタッチスクリーンコンピュータディスプレイ1700が、どのように外科医がカメラ101を制御することを可能にするかを表す図が提示されている。特に、タッチスクリーンのジェスチャがどのように外科医が術野のビューをパンおよび回転することを可能にできるかである。いくつかの実施形態では、例えば、ビューをパンするために、外科医1701は、タッチスクリーンコンピュータディスプレイ1700を横断して1つまたは複数の指をスワイプして、ドラッグする外科医の指を模倣するビューを提供するようカメラが傾くようにステアリングアーム102、1604を作動させることができる。加えてまたは代わりに、外科医は、タッチスクリーンコンピュータディスプレイ1700上の2つの、すなわち複数の図形をドラッグしながら回転することによってビューを回転して、外科医1701の指の回転を模倣するビューを提供するようカメラが回転するようにステアリングアーム102、1604を作動させることができる。別の実施形態では、パンおよび回転はソフトボタンによって達成され得る。さらに別の実施形態では、パンおよび回転は、ハードウェアインターフェースによって達成され得る。さらに、いくつかの実施形態は、複数の制御機構を含むことができ、1つの制御機構は、他の制御機構の命令と競合するときその命令を上書きする。
次に図21Aおよび21Bを参照すると、照明デバイス1900が、外科的空洞に入ると照明デバイス1900が拡張構成1902に展開するように、どのように折り畳み1901構成で経路に挿通され得るかを表す図が提示されている。例示的実施形態では、照明デバイス1900は、折り畳み構成1901で対物レンズアセンブリ201に取り付けられ得る。照明デバイス1900は、保持プラグ104を通過した後、拡張構成1902に展開することができる。別の例示的実施形態では、照明デバイス1900は保持プラグ104に取り付けられ得る。前述のように、照明デバイス1900は、照明を行うためのLEDを備えることができる。
次に図22を参照すると、構成要素間の相互連結を表すブロック図が示されている。それは図13に類似しているが、ステアリングアームに対する駆動電子装置が、連結9を介してタッチスクリーンコンピュータディスプレイ1700からコマンドを受け取っている。この連結は、ワイヤレス接続であっても配線接続であってもよい。同様に、画像取得デバイスは、各光チャネルのズームレベルを変更するための通信を可能にするために、タッチスクリーンコンピュータに接続され得る。
次に図23を参照すると、本開示の態様に従って実装され得る例示的方法ステップを示すフローチャートが示されている。ステップ2300で開始すると、MIS処置を開始するための滅菌および/またはいかなる他の一般的に知られ実施されるルーチンも行われ得る。続いて、ステップ2302で、患者の皮膚に経皮切開部が作成され得る。前述のように、切開部は、MIS処置が行われることになる領域の周辺に作成され得る。経皮切開部のサイズは、保持プラグがきつく皮膚に挿通され得るようなサイズとすることができる。
システムのいくつかの実施形態では、任意選択でステップ2304において、保持プラグが経皮切開部を通って挿入され得る。保持プラグ104の機能的目的は、デバイスを広がったフランジによって患者に押し付けて保持することを含み得ることである。いくつかのプラグは、それが構成される材料の自然な適合性によって、膨張可能な構成要素であるもしくは膨張可能な構成要素を有することによって、または関節構成要素を有することによって、切開部内への挿入を可能にするのに十分なほどに変形可能であり得る。いくつかの実施形態では、プラグは、使い捨て可能とすることができるが、少なくとも滅菌可能であるべきである。あるいは、いくつかの実施形態では、立体カメラの対物レンズは、立体カメラを患者上に保持することができる構造特徴または関節構成要素を含むことができる。これらのタイプの実施形態では、ステップ2306で、立体カメラの一部を形成する対物レンズの少なくとも一部分が、保持プラグの必要なしに、経皮切開部を通って挿入され得る。挿入される対物レンズまたはレンズアセンブリ103は、ガラスまたはプラスチックから作製され得るが、いくつかの好ましい実施形態では、使い捨て可能とすることができるが、少なくとも滅菌可能であるべきである。
保持プラグが使用される実施形態では、ステップ2308で、立体カメラの少なくとも一部分が、保持プラグを介して配置され得る。いくつかの実施形態では、その部分は、本開示を通して説明された目的のための立体カメラの対物レンズであり得る。さらに、ビデオ取得ユニットの一部を形成する立体カメラは、このユニットが使い捨て可能に取り扱われる能力を制限し得るシステムの多くの光学的および電子的構成要素を含むことができるので、それは、複数の使用のために設計されることが可能であり、ユニットは、使い捨て可能で生体適合性がある封入材料によって表面殺菌またはカプセル化が容易なように構成され得る。
ステップ2310で、画像は、立体カメラを使用して取り込まれ得る。次いで、取り込まれた画像の処理が、ステップ2312でプロセッサが取り込まれた画像を表示するために行われ得る。例えば、先に提示されたように、ディスプレイ701は、7でビデオ取得ユニット101と通信することができる。これは、単に画像データが表示のためにディスプレイ701に送られる単一方向通信であり得る。しかしながら、ディスプレイは、双方向情報フローをサポートするために7を必要とする、ズーム、フォーカス、画像フリーズ、または他のカメラモード選択のためのタッチスクリーン制御を有してもよい。タッチスクリーンインターフェースは、ボタンに基づくことまたはジェスチャに基づくことが可能である。例えば、ズームアウトのためのジャスチャは、スクリーン上で2本の指でつまむ動きを行うことであり、また、ピクチャインピクチャの役割は、より小さい画像をスクリーンの中心へスワイプすることによって反転され得る。ディスプレイ701は、VGA解像度(640×480)、真の高解像度(1920×1080)まで、またはそれを超える解像度をサポートすることができる。ビデオ取得ユニット101は立体的であるので、ディスプレイ701は、能動的なまたは受動的ないずれかの3D表示技術をサポートすることが好ましい。いくつかの実施形態では、ディスプレイは、裸眼立体視(例えば、視差バリア)であり、3D効果を見るための眼鏡を必要としない。
図23に戻ると、ステップ2320で、次いで、MIS処置が、立体システムを利用して施術者によって行われ得る。ステップ2318、2314、および/または2316の前、最中、および/または後の時点で、適宜に行われてよい。しかしながら、これらのステップの1つまたは複数は、MIS処置のタイプ、並びに実装されている実施形態の設定および構成に応じて行われないことがある。
ステップ2314で、立体カメラ取付けフレームが調整され得る。前述のように、構造結合器105は、対物レンズ103とビデオ取得ユニット101の間の十分な光学的アライメントを維持するために十分に堅固でなければならない。それは、対物レンズ103または保持プラグ104に付着するための手段、およびステアリングフレーム102またはビデオ取得ユニット101に付着するための手段を有していなければならない。例えば、いくつかの実施形態では、受動ステアリングフレーム102は、固定されたベース、可動エンドエフェクタ、およびこれら2つを連結する支柱および関節を有する連結システムを備える機構とすることができる。フレームは、関節がロックされた場合に、固定されたベースに対してエンドエフェクタが動くことができないが、ロックされていない場合に、ベースおよび可動エンドエフェクタは互いに対して容易かつ迅速に手動で再配向され得るように、通常状態または少なくとも設定可能な状態を含むことができる。したがって、ロック機構を係合解除して、相対運動を引き起こし、次いでロック機構を係合することによって、外科医は、エンドエフェクタを所望の位置に移動させ新しい位置に固定して、エンドエフェクタおよびそれに取り付けられた任意のデバイスの新しい位置を維持することができる。本発明の少なくともいくつかの実施形態のコンテキストでは、受動ステアリングフレームは、ベースが患者に固定され、また立体ビデオカメラ100がエンドエフェクタに取り付けられているパラレル関節受動ステアリングフレームとすることができる。パラレルマニプュレータとして、フレーム102は、少なくて3つ程度で多くて6つ程度のパラレル関節を有することができる。6つを超えるいずれの個数もロックの観点からは冗長であるが、他の目的で有用な場合もある。これらの追加の関節は、位置の測定、運動もしくは強度の制限、または制動などのフレームの力学的特性の変更を可能にする。いくつかの実施形態では、保持プラグ104および対物レンズ103の外科切開部への挿入によって、ある程度の自由度が制限され得るため、6つ未満の関節が許容され得る。
ロックアセンブリ107−604−902−903−904は、例えば、その最も単純な設計で、有限個の関節を動けなくすることによって、固定されたベースに対してエンドエフェクタをロックすることをユーザができるようにしなければならない。例示的実施形態では、外科医は、単一スイッチを操作することができ、単一スイッチは、同時に各関節でロックを係合および係合解除することができる。スイッチは、最低2つの位置を必要とする。1つは係合されたロックに関連付けられ、1つは係合解除されたロックに関連付けられる。ロックが純粋に機械的または空気式である場合、ロックを係合解除または係合するために必要な力は、ユーザがこのスイッチを操作することから生じる。スイッチからロックへの動力伝達の手段は、スイッチとロックの間の関節の接合(例えば、柔軟な気送管、軸方向に堅いシース内のケーブル)に対処しなければならない。次いで、ロックは、いくつかのロック手段(例えば、摩擦、構成要素干渉、静水圧ロック(hydrolocking)、磁性変調、妨害、または電気的もしくは磁気的クランプなど)を介した関節の相対運度とインターフェースをとらなければならない
いくつかの実施形態では、対物レンズアセンブリの動きは、主として本質的に回転であって、最末端レンズの周り、または患者の皮膚または他の組織に入るアセンブリの入口点の周りを対物レンズアセンブリがピボット運動される回転であり得る。他の実施形態では、アセンブリの動きは、ベースに対するある種の平行移動を受けるような動きとすることができ、それによって、患者の皮膚に対するベースのある種の再配置が、患者の組織の過度なストレスが発生しないことを確実にするために用いられ得る。
本明細書に説明されたように、各支柱は互いに摺動する2つの要素を含むことができ、それにより与えられる調整可能性は、各支柱の最大長の1/2未満程度に制限される。いくつかの代替的実施形態では、支柱は、多段式の延長が行えるように、単一よりも多い延長要素(例えば、各々がそれ自体のロックを有する2つ以上の入れ子式セグメント)を有することができ、それにより受動ステアリングシステムの操作性を改善する。それらの実施形態では、最終的な所望の位置決めが達成され得る限り、どのセグメントが相対運動を受けたかは問題でないため、やはり、すべてのロックが同時に係合または係合解除され得る。他の多段式の実施形態では、一部のロックのみが任意の所与の時点で係合解除され得る。
ステップ2316で、前述のように画像/視点角度(perspective angle)が回転され得る。例えば、画像は、取得方向に対して回転されて、外科医の視野の向きに変換されてもよい。画像処理コンピュータは、外科医からコマンドを受け取って、ビデオ取込みユニットで当初取り込まれたものと異なり得る向きまたは遠近感を有する1つまたは複数の選択されたビューを提供することができる。
ステップ2318では、立体カメラおよび/または関連する構成要素が、倍率を変更するように操作され得る。例えば、ビデオ取得ユニットは、典型的には、光学ズームおよびフォーカス機構、感光集積回路204、並びに、操作/調整され得るデジタル画像処理電子装置を含むことができる。さらに、いくつかの実施形態では、2つの感光集積回路は、各瞳孔に1つが関連し、したがって各光学チャネルが2つの立体瞳孔203によって作成可能であり、ユニット内の電子部品の範囲であり得る。しかしながら、より良好な画質および真の色を得るために、3または4つの感光集積回路が、異なる波長の光(例えば、赤、緑、および青)を別々に感知するために使用され得る。この場合、異なる波長の光を光学的に分離するために、ダイクロイックプリズムなどの他の光学ハードウェアが追加されることが必要な場合がある。さらに他の実施形態の変形例では、コンパクトにするために画質を犠牲にし、単一の光センサを使用し、半分は左、半分は右として左右両方の画像を取り込むことが望ましいことがある。ズーミングは、連続的であってよく、有限個数の離散ズームレベルを有してもよい。フォーカスは手動または自動であってよい。
ステップ2322で、MIS処置が完了した後、プラグおよび/または立体カメラが、経皮切開部から除去され得る。実施形態、並びにMIS処置のタイプに応じて、さらなる数のステップが行われてもよいことを理解されたい。MIS処置は、例えば、胸腔鏡、腹腔鏡、骨盤鏡、関節鏡下の手術の分野に含めることが可能である。例えば、腹腔鏡下手術の場合、胆嚢切除、ヘルニア修復、肥満処置(バイパス、バンド形成、またはスリーブなど)、腸切除、子宮摘出、虫垂切除、胃/逆流防止処置、および腎摘出において著しい有用性が認められる。
本発明の多くの特徴および利点は、詳細な明細書から明らかであり、したがって、添付の特許請求の範囲によって、本発明の真の趣旨および範囲に含まれる本発明のすべてのそのような特徴および利点を包含することが意図される。さらに、多くの修正および変形が当業者に容易に想到されるため、本発明を、図示および説明された厳密な構造および動作に限定されることは望ましくなく、したがって、本発明の範囲に含まれるすべての適切な修正および均等物を用いることができる。

Claims (11)

  1. 最小侵襲外科処置の手術領域を見るための方法であって、
    画像取込みデバイスによって内部手術領域の画像を取り込むステップであって、該画像取込みデバイスが、少なくとも2つの光路、経皮切開部を通して位置決めされた保持プラグに挿入された少なくとも1つの対物レンズアセンブリ、および、該画像取込みデバイスを支持するフレームの一部を形成するエンドエフェクタを有している、ステップと、
    前記内部手術領域に対して可動に結合されるように前記エンドエフェクタを構成するステップと、
    前記内部手術領域に対する所望の位置で前記エンドエフェクタをロックするようにロック機構をさらに構成するステップと、
    最小侵襲手術中に施術者によって見られるように位置決めされたディスプレイに前記取り込まれた画像を送信するステップと、
    施術者の入力を処理して、表示されている前記画像を修正するステップと
    を含むことを特徴とする方法。
  2. 前記ディスプレイは、画像を表示するために使用され及びユーザインターフェースとしてもさらに使用される滅菌野内のタッチスクリーンディスプレイであることを特徴とする請求項1に記載の方法。
  3. 前記画像取込みデバイスの視野、倍率、ピクチャ特性、および、前記タッチスクリーンディスプレイ上での施術者の入力に基づいて表示されるビューの数のうちの1つまたは複数を修正するステップをさらに含むことを特徴とする請求項2に記載の方法。
  4. 前記ロック機構は、機械式ロック機構、空気式ロック機構、および、電気式ロック機構のうちの1つまたは複数を含むことができることを特徴とする請求項1に記載の方法。
  5. 最小侵襲外科処置の手術領域を見るための方法であって、
    画像取込みデバイスによって内部手術領域の画像を取り込むステップであって、該画像取込みデバイスが、少なくとも2つの光路、対物レンズアセンブリであって該対物レンズアセンブリを経皮切開部内に保持するのに役立つ保持構造を有する対物レンズアセンブリ、および、該画像取込みデバイスを支持するフレームの一部を形成するエンドエフェクタを有している、ステップと、
    前記内部手術領域に対して可動に結合されるように前記エンドエフェクタを構成するステップと、
    前記手術領域に対する所望の位置で前記エンドエフェクタをロックするようにロック機構をさらに構成するステップと、
    最小侵襲手術中に施術者によって見られるように滅菌野内に位置決めされたディスプレイに前記取り込まれた画像を送信するステップと、
    施術者の入力を処理して、表示されている前記画像を修正するステップと
    を含むことを特徴とする方法。
  6. 前記ディスプレイは、画像を表示するために使用され及びユーザインターフェースとしてもさらに使用されるタッチスクリーンディスプレイであることを特徴とする請求項5に記載の方法。
  7. 前記画像取込みデバイスの視野、倍率、ピクチャ特性、および、前記タッチスクリーンディスプレイ上での施術者の入力に基づいて表示されるビューの数のうちの1つまたは複数を修正するステップをさらに含むことを特徴とする請求項6に記載の方法。
  8. 前記ロック機構は、機械式ロック機構、空気式ロック機構、および電気式ロック機構のうちの1つまたは複数を含むことができることを特徴とする請求項5に記載の方法。
  9. 最小侵襲外科処置の手術領域を見るための方法であって、
    画像取込みデバイスによって内部手術領域の画像を取り込むステップであって、該画像取込みデバイスが、基端、末端、およびその間の1つまたは複数の光学レンズを有する対物レンズアセンブリであって、経皮切開部に少なくとも部分的に挿入される対物レンズアセンブリと、該画像取込みデバイスを支持するフレームの一部を形成するエンドエフェクタとを有し、前記対物レンズアセンブリは、前記基端が患者の身体の外部にある一方、前記末端が体腔の内部に配置されるように配設され得る、ステップと、
    前記内部手術領域に対して可動に結合されるように前記エンドエフェクタを構成するステップと、
    前記手術領域に対する所望の位置で前記エンドエフェクタをロックするようにロック機構をさらに構成するステップと、
    最小侵襲手術中に施術者によって見られるように滅菌野内に位置決めされたディスプレイに前記取り込まれた画像を送信するステップと
    を含むことを特徴とする方法。
  10. 前記画像取込みデバイスの視野、倍率、ピクチャ特性、および、施術者の入力に基づいて表示されるビューの数のうちの1つまたは複数を修正するステップをさらに含むことを特徴とする請求項9に記載の方法。
  11. 前記ロック機構は、機械式ロック機構、空気式ロック機構、および、電気式ロック機構のうちの1つまたは複数を含むことができることを特徴とする請求項9に記載の方法。
JP2014173125A 2013-08-27 2014-08-27 最小侵襲手術立体視覚化のための方法 Pending JP2015043982A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/011,510 US20140066701A1 (en) 2012-02-06 2013-08-27 Method for minimally invasive surgery steroscopic visualization
US14/011,510 2013-08-27

Publications (1)

Publication Number Publication Date
JP2015043982A true JP2015043982A (ja) 2015-03-12

Family

ID=51539122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173125A Pending JP2015043982A (ja) 2013-08-27 2014-08-27 最小侵襲手術立体視覚化のための方法

Country Status (3)

Country Link
EP (1) EP2842511A1 (ja)
JP (1) JP2015043982A (ja)
CA (1) CA2860947A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3122449C (en) 2007-11-26 2023-12-05 Attractive Surgical, Llc Magnaretractor system and method
US9339285B2 (en) 2013-03-12 2016-05-17 Levita Magnetics International Corp. Grasper with magnetically-controlled positioning
WO2015112645A1 (en) 2014-01-21 2015-07-30 Levita Magnetics International Corp. Laparoscopic graspers and systems therefor
DE102014202541A1 (de) * 2014-02-12 2015-08-13 Oliver Jenner Bilderfassungsvorrichtung mit parallelkinematischer Bewegungseinrichtung
ES2897754T3 (es) 2015-04-13 2022-03-02 Levita Magnetics Int Corp Dispositivos retractores
EP3954303A1 (en) 2015-04-13 2022-02-16 Levita Magnetics International Corp. Grasper with magnetically-controlled positioning
WO2017120540A1 (en) * 2016-01-08 2017-07-13 Levita Magnetics International Corp. One-operator surgical system and methods of use
US11020137B2 (en) 2017-03-20 2021-06-01 Levita Magnetics International Corp. Directable traction systems and methods
US20240196072A1 (en) * 2022-12-11 2024-06-13 Med Smart Hub Ltd. Imaging assembly with tiltable housing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5957832A (en) * 1993-10-08 1999-09-28 Heartport, Inc. Stereoscopic percutaneous visualization system
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US20060074307A1 (en) * 2004-05-10 2006-04-06 Tatsuo Igarashi Body cavity diagnostic system
US8414475B2 (en) * 2005-04-18 2013-04-09 M.S.T. Medical Surgery Technologies Ltd Camera holder device and method thereof
JP2006314703A (ja) * 2005-05-16 2006-11-24 Fujinon Corp 腹腔鏡用支持装置
JP2009072368A (ja) * 2007-09-20 2009-04-09 Olympus Medical Systems Corp 医療装置
US8747309B2 (en) * 2010-11-09 2014-06-10 Covidien Lp Suspension system for minimally invasive surgery
US20130225920A1 (en) * 2012-02-23 2013-08-29 Covidien Lp Surgical support assembly

Also Published As

Publication number Publication date
CA2860947A1 (en) 2015-02-27
EP2842511A1 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
US20140066700A1 (en) Stereoscopic System for Minimally Invasive Surgery Visualization
JP2015043982A (ja) 最小侵襲手術立体視覚化のための方法
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
AU2019261643B2 (en) Stereoscopic visualization camera and integrated robotics platform
US11389146B2 (en) Surgical visualization system
US11166706B2 (en) Surgical visualization systems
US10932766B2 (en) Surgical visualization systems
US20140066701A1 (en) Method for minimally invasive surgery steroscopic visualization
JP5755877B2 (ja) 身体上の対象を体外から見るためのビデオシステム
WO2018096987A1 (ja) 情報処理装置および方法、並びにプログラム
US20140187857A1 (en) Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170828