JP2018522610A - 解剖学的モデルの増補によって腹腔鏡外科処置を誘導するためのシステムおよび方法 - Google Patents
解剖学的モデルの増補によって腹腔鏡外科処置を誘導するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2018522610A JP2018522610A JP2017557956A JP2017557956A JP2018522610A JP 2018522610 A JP2018522610 A JP 2018522610A JP 2017557956 A JP2017557956 A JP 2017557956A JP 2017557956 A JP2017557956 A JP 2017557956A JP 2018522610 A JP2018522610 A JP 2018522610A
- Authority
- JP
- Japan
- Prior art keywords
- model
- interest
- deformed
- anatomical object
- intraoperative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Generation (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
モデルを増補するためのシステムおよび方法は、変形状態における解剖学的関心対象の術中画像化データを受信することを含む。前記術中画像化データは、ステッチングされて、前記変形状態における前記解剖学的関心対象の術中モデルにされる。前記変形状態における前記解剖学的関心対象の前記術中モデルは、初期状態における前記解剖学的関心対象の術前モデルに位置合わせされ、このとき当該位置合わせは、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施される。前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報が、変形された前記術前モデルにマッピングされ、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。
Description
本発明は、概して、腹腔鏡外科処置を画像に基づいて誘導することに関し、より詳細には、解剖学的モデルの増補によって腹腔鏡外科処置中に解剖学的組織を標的設定および位置特定することに関する。
現在、低侵襲性の腫瘍切除のような低侵襲性の腹部処置中に、重要組織を回避しながら臨床医を標的の腫瘍部位に誘導することを補助するために、立体腹腔鏡検査または従来の映像腹腔鏡検査が使用される。腫瘍および重要組織は、腹腔鏡画像から直接的には見えないので、処置中に術前画像化情報にアクセスできることは極めて有用である。腹腔鏡映像による外科医の視野に合わせられた術前情報は、腫瘍をより良好に標的設定する点と、標的の周囲の重要組織を回避する点とにおいて外科医の知覚および能力を向上させる。
外科処置は、しばしば腹腔内への送気を必要とし、これによって初期の臓器移動および組織変形が引き起こされ、これを調整しなければならない。この位置合わせの問題は、呼吸や、器具−組織間に起こり得る相互作用によって引き起こされる連続的な組織変形に起因して処置自体の間にさらに複雑になる。
光学的な術中画像と術前画像とを融合させるために利用可能な従来のシステムには、マルチモーダルな基準点に基づいたシステムと、手動位置合わせに基づいたシステムと、3次元表面位置合わせに基づいたシステムとが含まれる。基準点に基づいた技術は、術前の画像取得および術中の画像取得の両方での共通の基準点の集合を必要とし、このことは本質的に、基準点を用いて患者を余分なステップで画像化しなければならないが故に、臨床ワークフローに対して破壊的な影響を与える。手動位置合わせは、特に1つまたは複数の2次元画像に基づいて方向性のアライメントを処置の全期間にわたって連続的に調整しなければならない場合には、時間がかかり、かつ潜在的に不正確である。さらに、このような手動位置合わせ技術は、位置合わせ時点での組織変形または処置全体にわたる一時的な組織変形を説明することができない。生体力学的特性を用いた3次元表面に基づく位置合わせは、解剖学的関心対象の表面組織の視野が制限されており、実時間(リアルタイム)で変形を補償する際における計算が複雑であるせいで、精度および性能を損ねる可能性がある。
発明の概要
1つの実施形態によれば、モデルを増補するためのシステムおよび方法は、変形状態における解剖学的関心対象の術中画像化データを受信することを含む。前記術中画像化データは、ステッチングされて、前記変形状態における前記解剖学的関心対象の術中モデルにされる。前記変形状態における前記解剖学的関心対象の前記術中モデルは、初期状態における前記解剖学的関心対象の術前モデルに位置合わせされ、このとき当該位置合わせは、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施される。前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報が、変形された前記術前モデルにマッピングされ、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。
1つの実施形態によれば、モデルを増補するためのシステムおよび方法は、変形状態における解剖学的関心対象の術中画像化データを受信することを含む。前記術中画像化データは、ステッチングされて、前記変形状態における前記解剖学的関心対象の術中モデルにされる。前記変形状態における前記解剖学的関心対象の前記術中モデルは、初期状態における前記解剖学的関心対象の術前モデルに位置合わせされ、このとき当該位置合わせは、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施される。前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報が、変形された前記術前モデルにマッピングされ、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。
本発明の上記の利点および他の利点は、以下の詳細な説明および添付の図面を参照することによって当業者に明らかとなるであろう。
詳細な説明
本発明は、概して、腹腔鏡外科処置中の誘導のための解剖学的モデルの増補に関する。本発明の実施形態は、解剖学的モデルを増補するための方法の視覚的な理解を提供するために本明細書に記載されている。デジタル画像は、多くの場合、1つまたは複数の対象(または形状)のデジタル表示から構成されている。対象のデジタル表示は、多くの場合、対象の識別および操作という観点から本明細書に記載されている。このような操作は、コンピュータシステムのメモリまたは他の回路/ハードウェアにおいて実現される仮想の操作である。したがって、本発明の実施形態は、コンピュータシステムの内部に記憶されたデータを使用してコンピュータシステムの内部で実行され得るということが理解されるべきである。
本発明は、概して、腹腔鏡外科処置中の誘導のための解剖学的モデルの増補に関する。本発明の実施形態は、解剖学的モデルを増補するための方法の視覚的な理解を提供するために本明細書に記載されている。デジタル画像は、多くの場合、1つまたは複数の対象(または形状)のデジタル表示から構成されている。対象のデジタル表示は、多くの場合、対象の識別および操作という観点から本明細書に記載されている。このような操作は、コンピュータシステムのメモリまたは他の回路/ハードウェアにおいて実現される仮想の操作である。したがって、本発明の実施形態は、コンピュータシステムの内部に記憶されたデータを使用してコンピュータシステムの内部で実行され得るということが理解されるべきである。
さらに、本明細書において議論される実施形態は、患者の医療処置に関して議論され得るが、本発明の原理がこれに限定されていないことを理解すべきである。本発明の実施形態は、任意の主題に関してモデルを増補するために使用することができる。
図1は、1つまたは複数の実施形態による、腹腔鏡外科処置中の誘導のための概要的なフレームワーク100を示す。外科処置が実施されている間、ワークステーション102は、画像誘導を提供し、他の関連情報を表示することによってユーザ(例えば外科医)を補助する。ワークステーション102は、例えば肝臓のような患者の解剖学的関心対象の術前モデル104と、術中画像化データ106とを受信する。術前モデル104は、初期状態(例えば弛緩状態または非変形状態)における解剖学的関心対象に関し、その一方で、術中画像化データ106は、変形状態における解剖学的関心対象に関する。術中画像化データ106は、初期の術中画像化データ110と、実時間(リアルタイム)の術中画像化データ112とを含む。初期の術中画像化データ110は、解剖学的関心対象の完全な走査を提供するために処置の初期段階で取得される。実時間の術中画像化データ112は、処置中に取得される。
術前モデル104は、肝臓の術前画像化データ(図示せず)から生成することができ、この術前画像化データは、例えばコンピュータ断層撮影法(CT)や磁気共鳴画像化法(MRI)等のような任意のモダリティとすることができる。例えば術前画像化データを、任意のセグメンテーションアルゴリズムを使用してセグメンテーションし、計算幾何学アルゴリズムライブラリ(CGAL)を使用して術前モデル104に変換することができる。他の公知の方法を使用することもできる。術前モデル104は、例えば肝臓の表面または4面体メッシュとすることができる。術前モデル104は、肝臓の表面だけでなく表面下標的および重要組織も含む。
肝臓の術中画像化データ106は、任意のモダリティの画像取得装置から受信することができる。1つの実施形態では、術中画像化データ106は、立体腹腔鏡画像化装置から取得された光学的な2次元(2D)および3次元(3D)の深度マップを含む。術中画像化データ106は、変形状態における肝臓の画像、映像(ビデオ)、または他の任意の画像化データを含む。変形は、腹腔内への送気に起因し得るか、もしくは例えば患者の自然な内部運動(例えば呼吸)や画像化装置または外科装置からの変位等のような他の任意の要因に起因し得る。
ワークステーション102は、術前モデル104と、初期の術中画像化データ110とから、患者の現在の状態(すなわち変形状態)にアライメントされた、肝臓のテクスチャリングされたモデルを生成する。特に、ワークステーション102は、ステッチングアルゴリズムを適用し、初期の術中画像化データ110のフレーム同士をアライメントして、変形状態における解剖学的関心対象のただ1つの3D術中モデル(例えば表面メッシュ)にする。術中モデルは、術前モデル104に剛体位置合わせされる。術前モデル104は、変形された術前モデルが、ステッチングされた術中モデルに一致するように、肝臓に内在する生体力学的特性に基づいて局所的に変形される。ステッチングされた術中モデルからのテクスチャ情報は、変形された術前モデルにマッピングされ、変形されテクスチャマッピングされた術前モデルが生成される。
変形されテクスチャマッピングされた術前モデルと、処置中に取得された実時間の術中画像化データ112との間で、非剛体位置合わせが実施される。ワークステーション102は、変形されテクスチャマッピングされた術前モデルを、実時間の術中画像化データ112と共に手術中に表示するための増補された表示108を出力する。例えば、変形されテクスチャマッピングされた術前モデルを、実時間の術中画像化データ112と共にオーバーレイ配置またはサイドバイサイド配置で表示することができ、これによって治療の効果的なナビゲーションおよび配信のために、表面下標的および重要組織のより良好な理解を臨床医に提供することができる。
図2は、1つまたは複数の実施形態による、解剖学的モデルの増補による腹腔鏡外科処置中の誘導のためのシステム200の詳細図を示す。システム200の各要素は、同じ場所に配置してもよく(例えば1つの手術室環境または施設の内部に)、または離れた場所に配置してもよい(例えば1つの施設の異なる領域に、または異なる施設に)。システム200は、ワークステーション202を含み、このワークステーション202は、外科処置(または他の任意の種類の処置)のために使用することができる。ワークステーション202は、1つまたは複数のプロセッサ218を含むことができ、このプロセッサ218は、1つまたは複数のデータ記憶装置216と、1つまたは複数のディスプレイ220と、1つまたは複数の入力/出力装置222とに通信可能に結合されている。データ記憶装置216は、プロセッサ218上で実行された場合に実施される、ワークステーション202の機能を表す複数のモジュールを記憶する。ワークステーション202が例えば通信インターフェースのような追加的な要素を含み得ることを理解すべきである。
ワークステーション202は、外科処置中の手術中に、被験者212(例えば患者)の関心対象211の画像化データを画像取得装置204から受信する。画像化データは、画像(例えばフレーム)、映像(ビデオ)、または他の任意の種類の画像化データを含むことができる。画像取得装置204からの術中画像化データは、初期の術中画像化データ206と、実時間の術中画像化データ207とを含むことができる。初期の術中画像化データ206は、関心対象211の完全な走査を提供するために外科処置の初期段階で取得することができる。実時間の術中画像化データ207は、処置中に取得することができる。
術中画像化データ206,207は、関心対象211が変形状態にある間に取得することができる。変形は、関心対象211への送気に起因し得るか、もしくは例えば患者の自然な運動(例えば呼吸)や画像化装置または外科装置によって引き起こされる変位等のような他の任意の要因に起因し得る。1つの実施形態では、術中画像化データ206,207は、被験者212を画像化する画像取得装置204から直接的に、ワークステーション202によって手術中に受信される。別の実施形態では、画像化データ206,207は、画像取得装置204を使用して取得された、以前に記憶された被験者212の画像化データをロードすることによって受信される。
いくつかの実施形態では、画像取得装置204は、被験者212の関心対象211を画像化するための1つまたは複数のプローブ208を使用することができる。関心対象211は、例えば器官(例えば肝臓)のような標的とされる解剖学的関心対象とすることができる。プローブ208は、1つまたは複数の画像化装置(例えばカメラ、プロジェクタ)を含むことができるのと同様に、例えば送気装置、切開装置、または他の任意の装置のような他の外科用機器または装置を含むこともできる。例えば送気装置は、外科用バルーンや、空気(例えば二酸化炭素のような不活性で非毒性の気体)を吹き込むための導管等を含むことができる。画像取得装置204は、接続部210を介してプローブ208と通信可能に結合されており、この接続部210は、電気的接続部、光学的接続部、送気用接続部(例えば導管)、または他の任意の適切な接続部を含むことができる。
1つの実施形態では、画像取得装置204は、解剖学的関心対象211の実時間の2次元(2D)および3次元(3D)深度マップを生成することができる立体腹腔鏡画像化装置である。例えば立体腹腔鏡画像化装置は、実時間の2Dおよび3D深度マップを生成するために、2つのカメラ、または1つのプロジェクタを有する1つのカメラ、または1つのプロジェクタを有する2つのカメラを使用することができる。立体腹腔鏡画像化装置の他の構成も可能である。画像取得装置204は、立体腹腔鏡画像化装置に限定されておらず、例えば超音波(US)のような任意のモダリティとすることができることを理解すべきである。
ワークステーション202は、被験者212の解剖学的関心対象211の術前モデル214を受信することもできる。術前モデル214は、初期状態(例えば弛緩状態または非変形状態)における解剖学的関心対象211から取得された術前画像化データ(図示せず)から生成することができる。術前画像化データは、例えばCT、MRI等のような任意のモダリティとすることができる。術前画像化データは、解剖学的関心対象211の、術中画像化データ206に比べてより詳細な図を提供する。
表面標的(例えば肝臓)、重要組織(例えば門脈、肝臓系、胆道)、および他の標的(例えば原発性腫瘍および転移性腫瘍)を、術前画像化データから任意のセグメンテーションアルゴリズムを使用してセグメンテーションすることができる。例えばセグメンテーションアルゴリズムは、機械学習に基づいたセグメンテーションアルゴリズムとすることができる。1つの実施形態では、例えば「3次元画像における心腔をセグメンテーションするためのシステムおよび方法(System and Method for Segmenting Chambers of a Heart in a Three Dimensional Image)」と題する米国特許第7916919号明細書(United States Patent No. 7,916,919)に記載されている方法を使用して、境界空間学習(marginal space learning)(MSL)に基づいたフレームワークを使用することができ、なお、同明細書の全内容は、参照によって本明細書に組み込まれる。別の実施形態では、例えばグラフカットセグメンテーションまたはランダムウォーカーセグメンテーションのような半自動のセグメンテーション技術を使用することができる。セグメンテーションは、バイナリボリュームとして表現することができる。術前モデル214は、例えばCGAL、VTK(視覚化ツールキット)、または他の任意の公知のツールを使用してバイナリボリュームを変換することによって生成される。1つの実施形態では、術前モデル214は、表面メッシュまたは4面体メッシュである。いくつかの実施形態では、ワークステーション202は、術前画像化データを直接的に受信して、術前モデル214を生成する。
ワークステーション202は、初期の術中画像化データ206を使用して、変形状態における解剖学的関心対象211の3Dモデルを生成する。図3は、1つまたは複数の実施形態による、3Dモデルを生成するための概観図を示す。ステッチングモジュール224は、初期の術中画像化データ206からの個々に走査されたフレーム同士を相互にマッチングし、検出された画像ランドマークに基づいて、対応するフレーム同士を推定するように構成されている。個々に走査されたフレームは、被験者212の複数の位置304でプローブ208を使用して画像取得装置204を使用して取得することができる。次いで、これらの対応するフレーム同士の間の相対的な姿勢に関する仮定を、ペア毎に計算することができる。1つの実施形態では、対応するフレーム同士の間の相対的な姿勢に関する仮定は、対応する2D画像測定値および/または2D画像ランドマークに基づいて推定される。別の実施形態では、対応するフレーム同士の間の相対的な姿勢に関する仮定は、利用可能な3D深度チャネルに基づいて推定される。対応するフレーム同士の間の相対的な姿勢に関する仮定を計算するための他の方法を使用することもできる。
その後、ステッチングモジュール224は、後続するバンドル調整ステップを適用し、3D点間で3D距離が最小化されているピクセル空間または3D距離空間における2D再投影誤差を最小化することによって、2D画像領域内で定義された誤差距離に関して、推定された相対的な姿勢に関する仮定の集合と、元々のカメラ姿勢とにおける最終的な幾何学的なスパース構造を最適化する。最適化の後、取得されたフレームは、単一の正準座標系で表現される。ステッチングモジュール224は、画像化データ206の3D深度データをステッチングして、単一の正準座標系における解剖学的関心対象211の高品質かつ高密度の術中モデル302にする。術中モデル302は、表面メッシュとすることができる。例えば術中モデル302は、3D点群として表現することができる。術中モデル302は、解剖学的関心対象211の詳細なテクスチャ情報を含む。例えば3D三角測量に基づく公知の表面メッシュ生成処置を使用して、画像化データ206の視覚的印象を生成するために追加的な処理ステップを実施することができる。
剛体位置合わせモジュール226は、事前剛体位置合わせ(または融合)を適用して、術前モデル214と、ステッチングモジュール224によって生成された術中モデルとを1つの共通座標系にアライメントする。1つの実施形態では、位置合わせは、術前モデル214と術中モデルとの間において3つ以上の対応関係を識別することによって実施される。これらの対応関係は、解剖学的ランドマークに基づいて手動で識別することができるか、または術前モデル214および術中モデルの2D/3D深度マップの両方で認識される特有のキー(顕著な)点を決定することによって半自動で識別することができる。他の位置合わせ方法を使用することもできる。例えば、より高度に全自動化された位置合わせ方法は、プローブ208の追跡システムを術前画像化データの座標系に先験的に位置合わせすることによる(例えば術中解剖学的走査による、または一般的な基準の集合による)プローブ208の外部の追跡を含む。
術前モデル214と術中モデルとが粗くアライメントされると、変形モジュール228は、術前モデル214の頂点と術中モデル(例えば点群)との間において密な対応関係を識別する。密な対応関係は、例えば解剖学的ランドマークに基づいて手動で識別することができるか、または顕著な点を決定することによって半自動で識別することができるか、または全自動で識別することができる。次いで、変形モジュール228は、識別されたそれぞれの対応関係に関して偏差の最頻値を導出する。偏差の最頻値は、識別されたそれぞれの対応関係における、術前モデル214と術中モデルとの間の空間分布したアライメント誤差を符号化または表現したものである。偏差の最頻値は、局所的に一致した力の3D範囲に変換され、これが術前モデル214に適用される。1つの実施形態では、正規化または重み付けの概念を実施することによって3D距離を力に変換することができる。
非剛体位置合わせを達成するために、変形モジュール228は、術前モデル214に基づいて解剖学的関心対象211の生体力学的モデルを定義する。生体力学的モデルは、機械的パラメータおよび圧力レベルに基づいて定義される。この生体力学的モデルを位置合わせフレームワークに組み込むために、パラメータは、モデルパラメータを調整するために使用される類似性測定値と結合される。1つの実施形態では、生体力学的モデルは、弾性力学方程式によって運動が支配されている均質な線形の弾性固体として解剖学的関心対象211を記述する。
この方程式を解くために、いくつかの異なる方法を使用することができる。例えば、術前モデル214において定義された4面体メッシュ要素上で計算されるように、全ラグランジュ陽的力学(TLED)有限要素アルゴリズム(the total Lagrangian explicit dynamics (TLED) finite element algorithm)を使用することができる。生体力学的モデルは、メッシュ要素を変形させ、組織の弾性エネルギを最小化することによって、上記の局所的に一致した力の範囲に一致している関心対象211のメッシュ点の変位を計算する。
生体力学的モデルは、生体力学的モデルを位置合わせフレームワークに含めるために、類似性測定値と組み合わされる。これに関して、生体力学的モデルパラメータは、生体力学的モデルが更新された術前モデルと術中モデルとの間の類似性を最適化することによって、モデルが収束するまで(すなわち移動モデルが標的モデルと同様の幾学構造に到達するまで)反復的に更新される。したがって、生体力学的モデルは、手術中に収集された点と、生体力学的モデルが更新された術前モデルとの間における点毎の距離計量を最小化することを目標として、術中モデルにおける変形に一致するような、術前モデル214の物理的に健全な変形を提供する。
解剖学的関心対象211の生体力学的モデルは、弾性力学方程式に関して説明されているが、器官の内部組織の動力学を考慮するために他の構造モデル(例えばより複雑なモデル)を使用してもよいことを理解すべきである。例えば、解剖学的関心対象211の生体力学的モデルを、非線形弾性モデル、粘性効果モデル、または非均質材料特性モデルとして表現することができる。他のモデルも考えられる。
1つの実施形態では、生体力学的モデルの解を使用して、画像取得装置204の操作者に触覚フィードバックを提供することができる。別の実施形態では、生体力学的モデルの解を使用して、画像化データ206のセグメンテーションの編集を誘導することができる。他の実施形態では、識別されたパラメータ(例えば組織の剛性または粘性)のために生体力学的モデルを使用することができる。例えば、既知の力を加えて変位を観察するプローブ208によって、患者の組織を能動的に変形させることができる。生体力学的モデルを、利用可能なデータに適合する最適モデルパラメータを探索する順問題のためのソルバーとして使用して、逆問題を解決することができる。例えば、生体力学的モデルに基づく変形は、パラメータを更新するために既知の変形に基づくことができる。いくつかの実施形態では、生体力学的モデルを、非剛体位置合わせのために使用する前にパーソナライズすることができる(すなわち逆問題を解くことによって)。
位置合わせモジュール226によって実施される剛体位置合わせは、術中モデルおよび術前モデル214のそれぞれのフレームの復元した姿勢を共通座標系の内部でアライメントする。テクスチャマッピングモジュール230は、術中モデルのテクスチャ情報を、共通座標系を使用して、変形モジュール228によって変形された術前モデル214にマッピングする。変形された術前モデルは、複数の三角形化された面として表現される。画像化データ206の視覚データの高冗長性に起因して、変形された術前モデルのそれぞれの可視の三角形化された面の高度なラベリング戦略が、テクスチャマッピングのために使用される。
変形された術前モデルは、ラベリングされたグラフ構造として表現され、このグラフ構造では、変形された術前モデルのそれぞれの可視の三角面が1つのノードに対応しており、隣り合う面(例えば2つの共通の頂点を共有する)が、グラフ内でエッジによって接続されている。例えば、3D三角形の逆投影を実施して2D画像にすることができる。変形された術前モデルにおける可視の三角面のみがグラフ内に表現される。可視の三角面は、可視性テストに基づいて判定することができる。例えば、ある1つの可視性テストは、三角面の3つの点全てが可視であるどうかを判定する。可視の点が3つ全てより少ない三角面(例えば三角面のうちの2つの点のみが可視)は、グラフ内で省略することができる。別の例示的な可視性テストは、オクルージョンを考慮して、手前側の三角面によって遮蔽されている術前モデル214の背後側の三角面を省略する(例えばOpenGLを使用したZバッファの読み出しを使用して)。他の可視性テストを実施することもできる。
グラフ内のそれぞれのノードに対して、収集されたそれぞれの画像フレームにおける可視性テスト(例えば投影された2D被覆率)に基づいて電位の集合(データ項)が生成される。グラフ内のそれぞれのエッジには、術前モデル214の幾何学的特性を考慮したペア毎の電位が割り当てられる。類似の方向性を有する三角面には、類似のラベルが割り当てられる可能性が高く、このことはつまり、テクスチャが単一のフレームから抽出されることを意味する。三角面に対応する画像がラベルである。目標は、画像内に大きな三角面を提供することであり、鮮明な高品質のテクスチャを提供する一方で、考慮される画像の数を十分に削減して(すなわちラベルジャンプの数を削減して)隣り合う三角面同士の間の滑らかな移行を提供する。それぞれの三角面のラベリングを決定するために、条件付き確率場の定式化の範囲内でアルファ拡張アルゴリズムを使用することによって推理を実施することができる。最終的な三角形のテクスチャは、術中モデルから抽出することができ、ラベリングおよび共通座標系に基づいて、変形された術前モデルにマッピングすることができる。
次いで、非剛体位置合わせモジュール232は、変形されテクスチャマッピングされた術前モデルと、実時間の術中画像化データ207との実時間の非剛体位置合わせを実施する。1つの実施形態では、変形されテクスチャマッピングされた術前モデルと、実時間の術中画像化データ207とのオンライン位置合わせが、生体力学的モデルを使用して、上述したアプローチと同様のアプローチにしたがって実施される。特に、変形されテクスチャマッピングされた術前モデルの表面は、第1のステップにおいて、術中モデルの3D深度およびテクスチャの両方の間のミスマッチを最小化することによって実時間の術中画像化データ207にアライメントされる。第2のステップでは、オフライン段階で計算された、変形されテクスチャリングされた解剖学的モデルを初期状態として使用し、かつモデル表面の新しい位置を境界条件として使用することによって、生体力学的モデルが解かれる。
別の実施形態では、実時間の術中画像化データ207上での特定の特徴またはランドマークの追跡に基づいて、変形されテクスチャマッピングされた術前モデルを漸増的に更新することによって、非剛体位置合わせが実施される。例えば特定の画像パッチを、実時間の術中画像化データ207上で経時的に追跡することができる。追跡は、輝度特徴および深度マップの両方を考慮に入れる。1つの例では、追跡を、既知の方法を使用して実施することができる。追跡情報に基づいて、実時間の術中画像化データ207の漸増的なカメラ姿勢が推定される。パッチの位置の漸増的な変化は、境界条件として使用され、以前のフレームからモデルが変形されて、これが現在のフレームにマッピングされる。
有利には、実時間の術中画像化データ207と、変形された術前モデル214との位置合わせは、プローブ208のフリーハンドのナビゲーション、またはロボット制御されたナビゲーションの改善を可能にする。さらに、ワークステーション202は、変形された術前モデルを用いて、実時間の術中画像化データ207の実時間のフレーム毎の更新を提供する。ワークステーション202は、手術中に、ディスプレイ220を使用して、変形された術前モデルを表示することができる。1つの実施形態では、ディスプレイ220は標的組織および重要組織を、混合モードにおいて実時間の術中画像化データ207にオーバーレイされた状態で表示する。別の実施形態では、ディスプレイ220は、標的組織および重要組織をサイドバイサイドで表示することができる。
図4は、1つまたは複数の実施形態による、ワークステーションにおける腹腔鏡外科処置を誘導するための方法400を示す。ステップ402において、初期状態(例えば弛緩状態または非変形状態)における解剖学的関心対象の術前モデルが受信される。術前モデルは、任意のモダリティの画像取得装置から生成することができる。例えば術前モデルは、CTまたはMRIからの術前画像化データから生成することができる。
ステップ404において、変形状態における解剖学的関心対象の初期の術中画像化データが受信される。初期の術中画像化データは、解剖学的関心対象の完全な走査を提供するために処置の初期段階で取得することができる。初期の術中画像化データは、任意のモダリティの画像取得装置から生成することができる。例えば初期の術中画像化データは、実時間の2Dおよび3D深度マップを生成することができる立体腹腔鏡画像化装置からのデータとすることができる。変形状態における解剖学的関心対象は、腹腔内への送気に起因して、もしくは例えば患者の自然な内部運動や画像化装置または外科装置からの変位等のような他の任意の要因に起因して変形されたものとすることができる。
ステップ406において、初期の術中画像化データがステッチングされて、変形状態における解剖学的関心対象の術中モデルにされる。初期の術中画像化データからの個々に走査されたフレーム同士が相互にマッチングされ、検出された画像化ランドマークに基づいて、対応するフレーム同士が識別される。対応するフレーム同士の間の相対的な姿勢に関する仮定の集合が決定される。これらの仮定は、対応する画像測定値およびランドマークに基づいて、または利用可能な3D深度チャネルに基づいて推定することができる。仮定の集合は、変形状態における解剖学的関心対象の術中モデルを生成するために最適化される。
ステップ408において、変形状態における解剖学的関心対象の術中モデルは、初期状態における解剖学的関心対象の術前モデルに剛体位置合わせされる。剛体位置合わせは、術前モデルと術中モデルとの間において3つ以上の対応関係を識別することによって実施することができる。これらの対応関係は、手動で、または半自動で、または全自動で識別することができる。
ステップ410において、初期状態における解剖学的関心対象の術前モデルが、変形状態における解剖学的関心対象の術中モデルに基づいて変形される。1つの実施形態では、術前モデルと術中モデルとの間において密な対応関係が識別される。術前モデルと術中モデルとの間におけるミスアライメントを表現している偏差の最頻値が決定される。このミスアライメントは、局所的に一致した力の範囲に変換され、この一致した力の範囲が、変形を実施するために術前モデルに適用される。
1つの実施形態では、解剖学的関心対象の生体力学的モデルが、術前モデルに基づいて定義される。生体力学的モデルは、局所的に一致した力の範囲に一致する解剖学的関心対象の形状を計算する。生体力学的モデルは、非剛体位置合わせを実施するために強度類似性測定値と組み合わされる。生体力学的モデルパラメータは、生体力学的モデルが更新された術前モデルと術中モデルとの間の距離計量を最小化するために収束するまで反復的に更新される。
ステップ412において、変形状態における解剖学的関心対象の術中モデルからのテクスチャ情報が、変形された術前モデルにマッピングされて、解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。マッピングは、変形された術前モデルをグラフ構造として表現することによって実施することができる。変形された術前モデル上の可視の三角面は、グラフのノードに対応しており、隣り合う面(例えば2つの共通の頂点を共有する)は、エッジによって接続されている。ノードはラベリングされ、テクスチャ情報はラベリングに基づいてマッピングされる。
ステップ414において、実時間の術中画像化データが受信される。実時間の術中画像化データは、処置中に取得することができる。
ステップ416において、解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが、実時間の術中画像化データに非剛体位置合わせされる。1つの実施形態では、まず第1に、3D深度およびテクスチャの両方におけるミスマッチを最小化することにより、変形されテクスチャマッピングされた術前モデルを実時間の術中画像化データにアライメントすることによって、非剛体位置合わせを実施することができる。第2のステップにおいて、変形されテクスチャリングされた術前モデルを初期状態として使用し、当該モデルの表面の新しい位置を境界条件として使用して、生体力学的モデルが解かれる。別の実施形態では、実時間の術中画像化データの特徴の位置を経時的に追跡し、さらには変形されテクスチャマッピングされた術前モデルを、追跡された特徴の位置に基づいて変形することによって、非剛体位置合わせを実施することができる。
ステップ418において、実時間の術中画像化データの表示が、変形されテクスチャマッピングされた術前モデルによって増補される。例えば、変形されテクスチャマッピングされた術前モデルを、実時間の術中画像化データ上にオーバーレイされた状態で表示すること、またはサイドバイサイド配置で表示することができる。
本明細書に記載されたシステム、装置、および方法は、デジタル回路を使用して実装することができるか、もしくは周知のコンピュータプロセッサ、メモリユニット、記憶装置、コンピュータソフトウェア、および他のコンポーネントを使用する1つまたは複数のコンピュータを使用して実装することができる。典型的には、コンピュータは、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つまたは複数のメモリとを含む。コンピュータは、1つまたは複数の磁気ディスク、内蔵ハードディスク、リムーバブルディスク、光磁気ディスク、光ディスク等のような1つまたは複数の大容量記憶装置を含むこともできるか、またはこれらに結合させることもできる。
本明細書に記載されたシステム、装置、および方法は、クライアント−サーバ関係で動作するコンピュータを使用して実装することができる。典型的に、このようなシステムではクライアントコンピュータは、サーバコンピュータから遠く離れて位置し、ネットワークを介して相互作用する。クライアント−サーバ関係は、それぞれのクライアントコンピュータおよびサーバコンピュータ上で動作するコンピュータプログラムによって定義および制御することができる。
本明細書に記載されたシステム、装置、および方法は、ネットワークに基づいたクラウドコンピューティングシステムの内部に実装することができる。このようにネットワークに基づいたクラウドコンピューティングシステムでは、ネットワークに接続されたサーバまたは別のプロセッサが、ネットワークを介して1つまたは複数のクライアントコンピュータと通信する。クライアントコンピュータは、例えばクライアントコンピュータ上で常駐および動作するネットワークブラウザアプリケーションを介してサーバと通信することができる。クライアントコンピュータは、サーバ上にデータを格納し、ネットワークを介してデータにアクセスすることができる。クライアントコンピュータは、データ要求またはオンラインサービス要求を、ネットワークを介してサーバに送信することができる。サーバは、要求されたサービスを実行し、(1つまたは複数の)クライアントコンピュータにデータを提供することができる。サーバは、例えばクライアントコンピュータに計算を実行させたり、指定されたデータをクライアントコンピュータに画面上に表示させたりといったように、指定された機能をクライアントコンピュータに実行させるように適合されたデータを送信することもできる。例えばサーバは、図4の1つまたは複数のステップを含む、本明細書に記載された1つまたは複数の方法ステップをクライアントコンピュータに実行させるように適合された要求を送信することができる。図4の1つまたは複数のステップを含む、本明細書に記載された方法の特定のステップは、ネットワークに基づいたクラウドコンピューティングシステムにおけるサーバまたは別のプロセッサによって実行することができる。図4の1つまたは複数のステップを含む、本明細書に記載された方法の特定のステップは、ネットワークに基づいたクラウドコンピューティングシステムにおけるクライアントコンピュータによって実行することができる。図4の1つまたは複数のステップを含む、本明細書に記載された方法のステップは、ネットワークに基づいたクラウドコンピューティングシステムにおけるサーバおよび/またはクライアントコンピュータによって任意の組み合わせで実行することができる。
本明細書に記載されたシステム、装置、および方法は、プログラミング可能なプロセッサによって実行するために、例えば非一時的機械可読記憶装置などの情報担体に有形に実現されたコンピュータプログラム製品を使用して実装することができ、図4の1つまたは複数のステップを含む、本明細書に記載された方法ステップは、そのようなプロセッサによって実行可能な1つまたは複数のコンピュータプログラムを使用して実装することができる。コンピュータプログラムは、特定の行動を実行するため、または特定の結果をもたらすための、コンピュータにおいて直接的または間接的に使用することができるコンピュータプログラム命令の集合である。コンピュータプログラムは、コンパイル言語またはインタプリタ言語を含む任意の形式のプログラミング言語で記述することができ、コンピュータプログラムは、スタンドアロンプログラムとしての形態、もしくはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境での使用に適した他のユニットとしての形態を含む任意の形態でデプロイすることができる。
本明細書に記載されたシステム、装置、および方法を実装するために使用することができる例示的なコンピュータの概要的なブロック図500が、図5に図示されている。コンピュータ502は、データ記憶装置512およびメモリ510に動作可能に結合されたプロセッサ504を含む。プロセッサ504は、コンピュータ502の全体的なオペレーションを制御し、この制御は、そのようなオペレーションを定義するコンピュータプログラム命令を実行することによって実施される。コンピュータプログラム命令を、記憶装置512または他のコンピュータ可読媒体に記憶させておくことができ、コンピュータプログラム命令の実行が望まれたときにメモリ510にロードすることができる。したがって、図4の方法ステップは、メモリ510および/またはデータ記憶装置512に記憶されたコンピュータプログラム命令によって定義することができ、コンピュータプログラム命令を実行するプロセッサ504によって制御することができる。例えば、コンピュータプログラム命令は、図4の方法ステップおよび図1および図2のワークステーション102および202をそれぞれ実行するように当業者によってプログラミングされたコンピュータ実行可能コードとして実装することができる。したがって、コンピュータプログラム命令を実行することによって、プロセッサ504は、図4の方法ステップおよび図1および図2のワークステーション102および202をそれぞれ実行する。コンピュータ502は、ネットワークを介して他の装置と通信するための1つまたは複数のネットワークインターフェース506を含むこともできる。コンピュータ502は、コンピュータ502とのユーザインタラクションを可能にする1つまたは複数の入力/出力装置508(例えばディスプレイ、キーボード、マウス、スピーカ、ボタン等)を含むこともできる。
プロセッサ504は、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方を含むことができ、コンピュータ502の唯一のプロセッサとすることができるか、または複数のプロセッサのうちの1つとすることができる。プロセッサ504は、例えば1つまたは複数の中央処理ユニット(CPU)を含むことができる。プロセッサ504、データ記憶装置512、および/またはメモリ510は、1つまたは複数の特定用途向け集積回路(ASIC)および/または1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)を含むことができるか、またはこれらによって補完することができるか、またはこれらに組み込むことができる。
データ記憶装置512およびメモリ510はそれぞれ、有形の非一時的コンピュータ可読記憶媒体を含む。データ記憶装置512およびメモリ510はそれぞれ、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(DDR RAM)、または他のランダムアクセスソリッドステートメモリ装置のような、高速ランダムアクセスメモリを含むことができる。データ記憶装置512およびメモリ510は、内蔵ハードディスクおよびリムーバブルディスクのような1つまたは複数の磁気ディスク記憶装置、光磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、もしくは消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、コンパクトディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク読み出し専用メモリ(DVD−ROM)ディスクのような半導体メモリ装置、もしくは他の不揮発性のソリッドステート記憶装置のような、不揮発性メモリを含むことができる。
入力/出力装置508は、プリンタ、スキャナ、ディスプレイスクリーン等のような周辺機器を含むことができる。例えば、入力/出力装置508は、ユーザに情報を表示するための陰極線管(CRT)モニタまたは液晶ディスプレイ(LCD)モニタのようなディスプレイ装置と、キーボードと、ユーザによるコンピュータ502への入力の提供を可能にするマウスまたはトラックボールのようなポインティング装置とを含むことができる。
それぞれ図1および図2のワークステーション102および202の各要素を含む、本明細書に記載された任意のまたは全てのシステムおよび装置は、コンピュータ502のような1つまたは複数のコンピュータを使用して実装することができる。
当業者であれば、実際のコンピュータまたはコンピュータシステムの実装が他の構造を含み得ること、また同様にして他のコンポーネントを含み得ること、さらには図5が、そのようなコンピュータのコンポーネントのいくつかを例示目的で概要的に表したものであることを認識するであろう。
ここで理解されたいのは、これまで述べてきた詳細な説明は、あらゆる点で例示的なものであり具体例であって、何ら限定的なものではないことであり、本明細書で開示した本発明の範囲は、詳細な説明に基づき決定されるべきものではなく、特許法によって認められる範囲全体にしたがって解釈される各請求項に基づき決定されるべきものである。さらに理解されたいのは、本明細書で示し説明した実施形態は、本発明の原理を例示したものにすぎないこと、当業者であれば本発明の範囲および着想を逸脱することなく様々な変更を実現できることである。当業者であるならば、本発明の範囲および着想を逸脱することなく、さらに別の様々な特徴の組み合わせを実現できるであろう。
Claims (34)
- モデルを増補するための方法において、
変形状態における解剖学的関心対象の術中画像化データを受信することと、
前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることと、
前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせし、このとき当該位置合わせを、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施することと、
前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することと、
を含む、方法。 - 前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることは、
前記術中画像化データにおいて対応するフレーム同士を識別することと、
前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算することと、
前記仮定に基づいて前記術中モデルを生成することと、
をさらに含む、請求項1記載の方法。 - 前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算することは、
対応する画像測定値およびランドマークと、
3次元深度チャネルと、
のうちの少なくとも一方に基づく、
請求項2記載の方法。 - 前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせすることは、
前記変形状態における前記解剖学的関心対象の前記術中モデルを、前記初期状態における前記解剖学的関心対象の前記術前モデルに剛体位置合わせし、このとき当該剛体位置合わせを、前記変形状態における前記解剖学的関心対象の前記術中モデルと、前記初期状態における前記解剖学的関心対象の前記術前モデルとの間において少なくとも3つの対応関係を識別することによって実施すること
をさらに含む、請求項1記載の方法。 - 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間において密な対応関係を識別することと、
識別された前記密な対応関係において、前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間におけるミスアライメントを決定することと、
前記ミスアライメントを、一致した力の範囲に変換することと、
前記一致した力の範囲を、前記初期状態における前記解剖学的関心対象の前記術前モデルに適用することと、
をさらに含む、請求項1記載の方法。 - 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
前記解剖学的関心対象の前記術前モデルを、前記一致した力の範囲に基づいて、前記解剖学的関心対象の前記生体力学的モデルにしたがって変形することと、
前記変形された術前モデルと、前記術中モデルとの間の距離計量を最小化することと、
をさらに含む、請求項5記載の方法。 - 前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することは、
前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルをグラフとして表現することであって、前記グラフは、当該グラフのノードに対応している前記術中モデル上の可視の三角面と、当該グラフ内でエッジによって接続された隣り合う面とを有する、ことと、
1つまたは複数の可視性テストに基づいてノードをラベリングすることと、
前記テクスチャ情報を前記ラベリングに基づいてマッピングすることと、
をさらに含む、請求項1記載の方法。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすること
をさらに含む、請求項1記載の方法。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
深度およびテクスチャにおけるミスマッチを最小化することによって、前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとをアライメントすることと、
前記変形されテクスチャマッピングされた術前モデルを初期状態として使用し、かつ前記変形されテクスチャマッピングされた術前モデルの表面の新しい位置を境界条件として使用することによって、前記解剖学的関心対象の前記生体力学的モデルを解くことと、
をさらに含む、請求項8記載の方法。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
前記実時間の術中画像化データの特徴の位置を経時的に追跡することと、
前記変形されテクスチャマッピングされた術前モデルを、追跡された前記特徴の位置に基づいて変形することと、
をさらに含む、請求項8記載の方法。 - 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補すること
をさらに含む、請求項8記載の方法。 - 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補することは、
前記変形されテクスチャマッピングされた術前モデルを、前記実時間の術中画像化データ上にオーバーレイされた状態で表示することと、
前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとを、サイドバイサイドで表示することと、
のうちの少なくとも一方を含む、請求項11記載の方法。 - モデルを増補するための装置において、
変形状態における解剖学的関心対象の術中画像化データを受信する手段と、
前記術中画像化データをステッチングして、前記変形状態における解剖学的関心対象の術中モデルにする手段と、
前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせする手段であって、このとき当該位置合わせを、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施する、手段と、
前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成する手段と、
を含む、装置。 - 前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにする前記手段は、
前記術中画像化データにおいて対応するフレーム同士を識別する手段と、
前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算する手段と、
前記仮定に基づいて前記術中モデルを生成する手段と、
をさらに含む、請求項13記載の装置。 - 前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算する前記手段は、
対応する画像測定値およびランドマークと、
3次元深度チャネルと、
のうちの少なくとも一方に基づく、
請求項14記載の装置。 - 前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせする前記手段は、
前記変形状態における前記解剖学的関心対象の前記術中モデルを、前記初期状態における前記解剖学的関心対象の前記術前モデルに剛体位置合わせする手段であって、このとき当該剛体位置合わせを、前記変形状態における前記解剖学的関心対象の前記術中モデルと、前記初期状態における前記解剖学的関心対象の前記術前モデルとの間において少なくとも3つの対応関係を識別することによって実施する、手段
をさらに含む、請求項13記載の装置。 - 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形する前記手段は、
前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間において密な対応関係を識別する手段と、
識別された前記密な対応関係において、前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間におけるミスアライメントを決定する手段と、
前記ミスアライメントを、一致した力の範囲に変換する手段と、
前記一致した力の範囲を、前記初期状態における前記解剖学的関心対象の前記術前モデルに適用する手段と、
をさらに含む、請求項13記載の装置。 - 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形する前記手段は、
前記解剖学的関心対象の前記術前モデルを、前記一致した力の範囲に基づいて、前記解剖学的関心対象の前記生体力学的モデルにしたがって変形する手段と、
前記変形された術前モデルと、前記術中モデルとの間の距離計量を最小化する手段と、
をさらに含む、請求項17記載の装置。 - 前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成する前記手段は、
前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルをグラフとして表現する手段であって、前記グラフは、当該グラフのノードに対応している前記術中モデル上の可視の三角面と、当該グラフ内でエッジによって接続された隣り合う面とを有する、手段と、
1つまたは複数の可視性テストに基づいてノードをラベリングする手段と、
前記テクスチャ情報を前記ラベリングに基づいてマッピングする手段と、
をさらに含む、請求項13記載の装置。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせする手段
をさらに含む、請求項13記載の装置。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記変形状態における前記解剖学的関心対象の術中画像化データに非剛体位置合わせする前記手段は、
深度およびテクスチャにおけるミスマッチを最小化することによって、前記変形されテクスチャマッピングされた術前モデルと前記術中画像化データとをアライメントする手段と、
前記変形されテクスチャマッピングされた術前モデルを初期状態として使用し、かつ前記変形されテクスチャマッピングされた術前モデルの表面の新しい位置を境界条件として使用することによって、前記解剖学的関心対象の前記生体力学的モデルを解く手段と、
をさらに含む、請求項20記載の装置。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記変形状態における前記解剖学的関心対象の術中画像化データに非剛体位置合わせする前記手段は、
前記実時間の術中画像化データの特徴の位置を経時的に追跡する手段と、
前記変形されテクスチャマッピングされた術前モデルを、追跡された前記特徴の位置に基づいて変形する手段と、
をさらに含む、請求項20記載の装置。 - 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補する手段
をさらに含む、請求項20記載の装置。 - 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補する前記手段は、
前記変形されテクスチャマッピングされた術前モデルを、前記実時間の術中画像化データ上にオーバーレイされた状態で表示する手段と、
前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとを、サイドバイサイドで表示する手段と、
のうちの少なくとも一方を含む、請求項23記載の装置。 - モデルを増補するためのコンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータプログラム命令は、プロセッサによって実行された場合に、
変形状態における解剖学的関心対象の術中画像化データを受信することと、
前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることと、
前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせし、このとき当該位置合わせを、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施することと、
前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することと、
を含むオペレーションを、プロセッサに実行させる、
非一時的コンピュータ可読媒体。 - 前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることは、
前記術中画像化データにおいて対応するフレーム同士を識別することと、
前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算することと、
前記仮定に基づいて前記術中モデルを生成することと、
をさらに含む、請求項25記載の非一時的コンピュータ可読媒体。 - 前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせすることは、
前記変形状態における前記解剖学的関心対象の前記術中モデルを、前記初期状態における前記解剖学的関心対象の前記術前モデルに剛体位置合わせし、このとき当該剛体位置合わせを、前記変形状態における前記解剖学的関心対象の前記術中モデルと、前記初期状態における前記解剖学的関心対象の前記術前モデルとの間において少なくとも3つの対応関係を識別することによって実施すること
をさらに含む、請求項25記載の非一時的コンピュータ可読媒体。 - 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間において密な対応関係を識別することと、
識別された前記密な対応関係において、前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間におけるミスアライメントを決定することと、
前記ミスアライメントを、一致した力の範囲に変換することと、
前記一致した力の範囲を、前記初期状態における前記解剖学的関心対象の前記術前モデルに適用することと、
をさらに含む、請求項25記載の非一時的コンピュータ可読媒体。 - 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
前記解剖学的関心対象の前記術前モデルを、前記一致した力の範囲に基づいて、前記解剖学的関心対象の前記生体力学的モデルにしたがって変形することと、
前記変形された術前モデルと、前記術中モデルとの間の距離計量を最小化することと、
をさらに含む、請求項28記載の非一時的コンピュータ可読媒体。 - 前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することは、
前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルをグラフとして表現することであって、前記グラフは、当該グラフのノードに対応している前記術中モデル上の可視の三角面と、当該グラフ内でエッジによって接続された隣り合う面とを有する、ことと、
1つまたは複数の可視性テストに基づいてノードをラベリングすることと、
前記テクスチャ情報を前記ラベリングに基づいてマッピングすることと、
をさらに含む、請求項25記載の非一時的コンピュータ可読媒体。 - 前記オペレーションは、
前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすること
をさらに含む、請求項25記載の非一時的コンピュータ可読媒体。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
深度およびテクスチャにおけるミスマッチを最小化することによって、前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとをアライメントすることと、
前記変形されテクスチャマッピングされた術前モデルを初期状態として使用し、かつ前記変形されテクスチャマッピングされた術前モデルの表面の新しい位置を境界条件として使用することによって、前記解剖学的関心対象の前記生体力学的モデルを解くことと、
をさらに含む、請求項31記載の非一時的コンピュータ可読媒体。 - 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
前記実時間の術中画像化データの特徴の位置を経時的に追跡することと、
前記変形されテクスチャマッピングされた術前モデルを、追跡された前記特徴の位置に基づいて変形することと、
をさらに含む、請求項31記載の非一時的コンピュータ可読媒体。 - 前記オペレーションは、
前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補すること
をさらに含む、請求項31記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2015/029680 WO2016178690A1 (en) | 2015-05-07 | 2015-05-07 | System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018522610A true JP2018522610A (ja) | 2018-08-16 |
Family
ID=53264782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017557956A Pending JP2018522610A (ja) | 2015-05-07 | 2015-05-07 | 解剖学的モデルの増補によって腹腔鏡外科処置を誘導するためのシステムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20180189966A1 (ja) |
EP (1) | EP3292490A1 (ja) |
JP (1) | JP2018522610A (ja) |
KR (1) | KR20180005684A (ja) |
CN (1) | CN107592802A (ja) |
WO (1) | WO2016178690A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10454943B2 (en) | 2015-08-17 | 2019-10-22 | The Toronto-Dominion Bank | Augmented and virtual reality based process oversight |
US10765371B2 (en) * | 2017-03-31 | 2020-09-08 | Biosense Webster (Israel) Ltd. | Method to project a two dimensional image/photo onto a 3D reconstruction, such as an epicardial view of heart |
WO2018178383A1 (en) * | 2017-03-31 | 2018-10-04 | Koninklijke Philips N.V. | Force sensed surface scanning systems, devices, controllers and methods |
US10460748B2 (en) | 2017-10-04 | 2019-10-29 | The Toronto-Dominion Bank | Conversational interface determining lexical personality score for response generation with synonym replacement |
US10339931B2 (en) | 2017-10-04 | 2019-07-02 | The Toronto-Dominion Bank | Persona-based conversational interface personalization using social network preferences |
US10835344B2 (en) * | 2017-10-17 | 2020-11-17 | Verily Life Sciences Llc | Display of preoperative and intraoperative images |
US11705238B2 (en) * | 2018-07-26 | 2023-07-18 | Covidien Lp | Systems and methods for providing assistance during surgery |
US10413364B1 (en) * | 2018-08-08 | 2019-09-17 | Sony Corporation | Internal organ localization of a subject for providing assistance during surgery |
CA3126444A1 (en) * | 2019-02-21 | 2020-08-27 | Theator inc. | Systems and methods for analysis of surgical videos |
US10867436B2 (en) * | 2019-04-18 | 2020-12-15 | Zebra Medical Vision Ltd. | Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images |
WO2020234409A1 (en) * | 2019-05-22 | 2020-11-26 | Koninklijke Philips N.V. | Intraoperative imaging-based surgical navigation |
CN110706357B (zh) * | 2019-10-10 | 2023-02-24 | 青岛大学附属医院 | 导航系统 |
WO2022225132A1 (ko) * | 2021-04-22 | 2022-10-27 | 서울대학교병원 | 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 |
CN114299072B (zh) * | 2022-03-11 | 2022-06-07 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及系统 |
US20230346211A1 (en) * | 2022-04-29 | 2023-11-02 | Cilag Gmbh International | Apparatus and method for 3d surgical imaging |
KR20240075418A (ko) * | 2022-11-22 | 2024-05-29 | (주)휴톰 | 시각적 다중 모달리티에 기초하여 수술 단계를 인식하는 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140037161A1 (en) * | 2012-08-06 | 2014-02-06 | Vanderbilt University | Enhanced method for correcting data for deformations during image guided procedures |
JP2014180538A (ja) * | 2013-03-15 | 2014-09-29 | Toshiba Corp | 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7916919B2 (en) | 2006-09-28 | 2011-03-29 | Siemens Medical Solutions Usa, Inc. | System and method for segmenting chambers of a heart in a three dimensional image |
EP2680778B1 (en) * | 2011-03-03 | 2019-07-31 | Koninklijke Philips N.V. | System and method for automated initialization and registration of navigation system |
US9801551B2 (en) * | 2012-07-20 | 2017-10-31 | Intuitive Sugical Operations, Inc. | Annular vision system |
-
2015
- 2015-05-07 WO PCT/US2015/029680 patent/WO2016178690A1/en unknown
- 2015-05-07 EP EP15724446.8A patent/EP3292490A1/en not_active Withdrawn
- 2015-05-07 JP JP2017557956A patent/JP2018522610A/ja active Pending
- 2015-05-07 CN CN201580079676.7A patent/CN107592802A/zh active Pending
- 2015-05-07 KR KR1020177035207A patent/KR20180005684A/ko not_active Application Discontinuation
- 2015-05-07 US US15/570,469 patent/US20180189966A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140037161A1 (en) * | 2012-08-06 | 2014-02-06 | Vanderbilt University | Enhanced method for correcting data for deformations during image guided procedures |
JP2014180538A (ja) * | 2013-03-15 | 2014-09-29 | Toshiba Corp | 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3292490A1 (en) | 2018-03-14 |
US20180189966A1 (en) | 2018-07-05 |
CN107592802A (zh) | 2018-01-16 |
KR20180005684A (ko) | 2018-01-16 |
WO2016178690A1 (en) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018522610A (ja) | 解剖学的モデルの増補によって腹腔鏡外科処置を誘導するためのシステムおよび方法 | |
US11164324B2 (en) | GPU-based system for performing 2D-3D deformable registration of a body organ using multiple 2D fluoroscopic views | |
Collins et al. | Augmented reality guided laparoscopic surgery of the uterus | |
Plantefeve et al. | Patient-specific biomechanical modeling for guidance during minimally-invasive hepatic surgery | |
Haouchine et al. | Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery | |
Haouchine et al. | Impact of soft tissue heterogeneity on augmented reality for liver surgery | |
US11547499B2 (en) | Dynamic and interactive navigation in a surgical environment | |
US9129422B2 (en) | Combined surface reconstruction and registration for laparoscopic surgery | |
US9498132B2 (en) | Visualization of anatomical data by augmented reality | |
US11961193B2 (en) | Method for controlling a display, computer program and mixed reality display device | |
US20180150929A1 (en) | Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data | |
JP2018522622A (ja) | 内視鏡および腹腔鏡のナビゲーションのためにシーン解析とモデル融合とを同時に行う方法およびシステム | |
US11382603B2 (en) | System and methods for performing biomechanically driven image registration using ultrasound elastography | |
US20220277477A1 (en) | Image-based guidance for navigating tubular networks | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
Liu et al. | Toward intraoperative image-guided transoral robotic surgery | |
CN108430376B (zh) | 提供投影数据集 | |
WO2017180097A1 (en) | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation | |
Marques et al. | Framework for augmented reality in Minimally Invasive laparoscopic surgery | |
Reichard et al. | Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery | |
WO2014127321A2 (en) | Biomechanically driven registration of pre-operative image to intra-operative 3d images for laparoscopic surgery | |
Andrea et al. | Validation of stereo vision based liver surface reconstruction for image guided surgery | |
Zampokas et al. | Real‐time stereo reconstruction of intraoperative scene and registration to preoperative 3D models for augmenting surgeons' view during RAMIS | |
Habert et al. | [POSTER] Augmenting Mobile C-arm Fluoroscopes via Stereo-RGBD Sensors for Multimodal Visualization | |
Dhoju et al. | Augmented reality navigation for liver surgery: an enhanced coherent point drift algorithm based hybrid optimization scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190508 |