JP2018514340A - ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム - Google Patents

２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム Download PDF

Info

Publication number
JP2018514340A
JP2018514340A JP2017559106A JP2017559106A JP2018514340A JP 2018514340 A JP2018514340 A JP 2018514340A JP 2017559106 A JP2017559106 A JP 2017559106A JP 2017559106 A JP2017559106 A JP 2017559106A JP 2018514340 A JP2018514340 A JP 2018514340A
Authority
JP
Japan
Prior art keywords
image
intraoperative
images
simulated
target organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017559106A
Other languages
English (en)
Inventor
フェイファー トマス
フェイファー トマス
クルックナー シュテファン
クルックナー シュテファン
マウントニー ピーター
マウントニー ピーター
カーメン アリ
カーメン アリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2018514340A publication Critical patent/JP2018514340A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本発明は、２Ｄ／２．５Ｄ腹腔鏡画像データまたは２Ｄ／２．５Ｄ内視鏡画像データを３Ｄボリュメトリック画像データに位置合わせするための方法とシステムに関する。ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像が、術中画像に関する、対応する相対的な方位測定値と共に受信される。３Ｄ医療画像ボリュームのシミュレートされた投影画像を複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、ターゲット器官の３Ｄ医療画像ボリュームが、複数の２Ｄ／２．５Ｄ術中画像に位置合わせされ、また、位置合わせには、術中画像に関する相対的な方位測定値によって制約が課される。

Description

発明の背景
本発明は、腹腔鏡画像データまたは内視鏡画像データの、３Ｄボリュメトリック（ｖｏｌｕｍｅｔｒｉｃ）画像データへの位置合わせに関し、特に、術前３Ｄボリュメトリック画像データからの情報を術中腹腔鏡画像データまたは術中内視鏡画像データに重畳させるための、術中２Ｄ／２．５Ｄ腹腔鏡画像データまたは術中２Ｄ／２．５Ｄ内視鏡データの、術前３Ｄボリュメトリック画像データへの位置合わせに関する。
最小侵襲手術の間に、手術をガイドするために、一連の腹腔鏡画像または内視鏡画像が取得される。複数の２Ｄ画像を取得して、それらを貼り合わせる（スティッチングする）ことにより、関心の対象となる、観察される器官の３Ｄ術中モデルに再構成することができる。この再構成された術中モデルを、続いて術前ボリュメトリック画像データまたは術中ボリュメトリック画像データ、例えば磁気共鳴（ＭＲ）、コンピュータ断層撮影（ＣＴ）、またはポジトロン断層撮影（ＰＥＴ）と融合させることによって、手術を行う臨床医に付加的なガイダンスを提供することができる。しかしながら、位置合わせは、パラメータ空間が巨大であること、また位置合わせ問題に対する制約が欠如していることに起因して難しい課題である。この位置合わせを実施するための１つのストラテジは、患者に対するカメラの絶対的な姿勢を確立するために、光学式または電磁式の外部トラッキングシステムに術中カメラを取り付けることである。そのようなトラッカベースのアプローチは、術中画像ストリーム（ビデオ）とボリュメトリック画像データとの間の最初の位置合わせの確立には有用であるが、しかしながら、臨床上のワークフローに、付加的なハードウェアコンポーネントの負担を強いることになる。
発明の概要
本発明は、術中画像、例えば腹腔鏡画像または内視鏡画像を、術前ボリュメトリック画像データに位置合わせするための方法とシステムを提供する。本発明の実施の形態は、仮想カメラの視点および方向に従い３Ｄボリュームから仮想投影画像をシミュレートすることによって、３Ｄボリュームを２Ｄ／２．５Ｄ術中画像に位置合わせし、続いて、術中カメラに取り付けられている方位センサ、例えばジャイロスコープまたは加速度計からの術中画像に関連付けられた相対的な方位測定値を使用して位置合わせに制約を課しながら、シミュレートされた投影画像を実際の術中画像にマッチさせるための位置合わせパラメータを計算する。さらに本発明の実施の形態は、手術計画の先験的な情報に基づいて、位置合わせに制約を課す。
本発明の１つの実施の形態においては、ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、その術中画像に関する、対応する相対的な方位測定値と、が受信される。３Ｄ医療画像ボリュームのシミュレートされた投影画像を複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、ターゲット器官の３Ｄ医療画像ボリュームが、複数の２Ｄ／２．５Ｄ術中画像に位置合わせされ、その際、位置合わせには、術中画像に関する相対的な方位測定値によって制約が課される。
本発明の上記の利点および他の利点は、以下の詳細な説明および添付の図面を参照することによって、当業者には明らかになるであろう。
本発明の１つの実施の形態による、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを、ターゲットとなる解剖学的対象の２Ｄ／２．５Ｄ術中画像に位置合わせするための方法を示す。 術前３Ｄ医療画像ボリュームからシミュレートされた投影画像の術中画像へのマッチングの一例を示す。 本発明の１つの実施の形態による、手術計画を行い、ターゲットとなる解剖学的対象の術中画像に、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを位置合わせするための方法を示す。 手術計画から得られた先験的な知識から決定された例示的な制約を示す。 本発明を実施することができるコンピュータのハイレベルブロック図を示す。
詳細な説明
本発明は、術中画像、例えば腹腔鏡画像または内視鏡画像を、３Ｄボリュメトリック医療画像に位置合わせするための方法とシステムに関する。本明細書において本発明の複数の実施形態を説明し、位置合わせ方法を視覚的に理解できるようにする。ディジタル画像は、１つまたは複数の対象（または形状）のディジタル表現から構成されることが多い。対象のディジタル表現を、本明細書においてはしばしば、対象の識別および操作の観点から説明する。そのような操作は、コンピュータシステムのメモリまたは別の回路／ハードウェアにおいて達成される仮想的な操作である。したがって、本発明の実施形態を、コンピュータシステムに記憶されているデータを使用して、このコンピュータシステムにおいて実施できると解することができる。
３Ｄ医療画像データと術中画像（例えば、内視鏡ビデオまたは腹腔鏡ビデオのフレーム）とのフュージョンを、先ず、初回剛体レジストレーションを実施し、続いてより洗練された非剛体レジストレーションを実施することによって行うことができる。本発明の実施の形態は、観察される術中画像データを３Ｄ術前医療画像ボリュームのシミュレートされた投影に最良に位置合わせする位置合わせパラメータに関する最適化に制約を課すために、術中カメラに取り付けられている加速度計またはジャイロスコープからのスパース性の相対的な方位データならびに手術計画情報を使用して、３Ｄボリュメトリック医療画像データと術中画像データとの間の剛体レジストレーションを提供する。さらに本発明の実施の形態は、手術計画において組織の移動を予測するために手術計画情報をバイオメカニカルモデルにおいて使用することができる有利な手術計画ワークフローを提供し、そのような有利な手術計画ワークフローは、予測された位置合わせ品質と、位置合わせを改善するために手術計画に対してどのような変更を成すことができるかのガイダンスに関してユーザにフィードバックを提供するために使用される。
本発明の実施の形態では、３Ｄ術前医療画像ボリュームと、各画像に関連付けられた対応する２．５Ｄ深度情報を有している２Ｄ術中画像、例えば腹腔鏡画像または内視鏡画像と、の相互位置合わせが実施される。用語「腹腔鏡画像」および「内視鏡画像」は、本明細書において、区別なく使用されており、また用語「術中画像」は、手術の間または手術的な介入の間に取得される、腹腔鏡画像および内視鏡画像を含めた、あらゆる医療画像データを表していると解することができる。
図１には、本発明の１つの実施の形態による、ターゲットとなる解剖学的対象の２Ｄ／２．５Ｄ術中画像に、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを位置合わせするための方法が示されている。図１の方法は、術中画像データの各フレームのセマンティックセグメンテーションを実施して、ターゲットとなる解剖学的対象の３Ｄモデルを生成するために、患者の解剖学的構造を表す術中画像データを変換する。１つの実施の形態においては、例えば肝臓から腫瘍または病変を切除するための肝臓切除術のような肝臓の手術のガイダンスに関して、肝臓がセグメンテーションされている術前３Ｄ医療画像ボリュームを肝臓の術中画像シーケンスのフレームに位置合わせするために、図１の方法を使用することができる。
図１を参照すると、ステップ１０２において、術前３Ｄ医療画像ボリュームが受信される。術前３Ｄ医療画像ボリュームは、手術に先行して取得されている。３Ｄ医療画像ボリュームは、任意のイメージングモダリティ、例えばコンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、またはポジトロン断層撮影（ＰＥＴ）を使用して取得することができる。術前３Ｄ医療画像ボリュームを、画像取得装置、例えばＣＴスキャナまたはＭＲスキャナから直接的に受信することができるか、または事前に記憶されている３Ｄ医療画像ボリュームを、コンピュータシステムのメモリまたはストレージからロードすることによって受信することができる。１つの考えられる実現形態では、術前計画フェーズにおいて、術前３Ｄ医療画像ボリュームを、画像取得装置を使用して取得して、コンピュータシステムのメモリまたはストレージに記憶することができる。その後は、術前３Ｄ医療画像を手術中にメモリまたはストレージシステムからロードすることができる。
術前３Ｄ医療画像ボリュームは、ターゲットとなる解剖学的対象、例えばターゲット器官を含んでいる。１つの有利な実現形態においては、ターゲット器官は、肝臓であってよい。術前ボリュメトリック画像データを、ターゲットとなる解剖学的対象の、腹腔鏡画像および内視鏡画像のような術中画像よりも詳細なビューのために提供することができる。ターゲットとなる解剖学的対象および他の解剖学的対象を、術前３Ｄ医療画像ボリュームにセグメンテーションすることができる。表面ターゲット（例えば、肝臓）、重要な組織（例えば、門脈、肝臓系、胆管系）、および他のターゲット（例えば、原発腫瘍および転移性腫瘍）を、任意のセグメンテーションアルゴリズムを使用して、術前イメージングデータからセグメンテーションすることができる。例えば、セグメンテーションアルゴリズムは、機械学習ベースのセグメンテーションアルゴリズムであってよい。１つの実施の形態においては、例えば、米国特許第７，９１６，９１９号、発明の名称「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｅｇｍｅｎｔｉｎｇ Ｃｈａｍｂｅｒｓ ｏｆ ａ Ｈｅａｒｔ ｉｎ ａ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｅ」に記載の方法を使用して、マージナル空間学習（ＭＳＬ：Ｍａｒｇｉｎａｌ Ｓｐａｃｅ Ｌｅａｒｎｉｎｇ）ベースのフレームワークを用いることができ、この文献の開示内容全体は参照により本願に組み込まれる。別の実施の形態においては、半自動的なセグメンテーション技術、例えばグラフカットセグメンテーションまたはランダムウォーカセグメンテーションを使用することができる。
ステップ１０４において、術中画像シーケンスが、対応する相対的な方位測定値と共に受信される。そのような術中画像シーケンスをビデオと称することもでき、そこでは各術中画像がビデオの１フレームである。例えば、術中画像シーケンスは、腹腔鏡を介して取得された腹腔鏡画像シーケンス、または内視鏡を介して取得された内視鏡画像シーケンスであってよい。１つの有利な実施の形態によれば、術中画像シーケンスの各フレームは、２Ｄ／２．５Ｄ画像である。すなわち、術中画像シーケンスの各フレームは、典型的な２Ｄ画像外観情報を複数あるピクセルの各々に提供する２Ｄ画像チャネルと、２Ｄ画像チャネルにおいて複数あるピクセルの各々に対応する深度情報を提供する２．５Ｄ深度チャネルと、を含んでいる。例えば、術中画像シーケンスの各フレームは、ＲＧＢ−Ｄ（赤、緑、青＋深度）画像データを含むことができ、このＲＧＢ−Ｄ画像データは、各ピクセルがＲＧＢ値を有しているＲＧＢ画像と、各ピクセルの値が、画像取得装置（例えば腹腔鏡または内視鏡）のカメラ中心からの、考察されるピクセルの深度または距離に対応している深度画像（深度マップ）と、を含んでいる。術中画像を取得するために使用される術中画像取得装置（例えば、腹腔鏡または内視鏡）には、各時間フレームに関してＲＧＢ画像を取得するためのカメラまたはビデオカメラ、ならびに各時間フレームに関して深度情報を取得するための飛行時間センサまたは構造化光センサを装備させることができる。術中画像取得装置には、各フレームに関して相対的な方位測定値を提供する方位センサ、例えば加速度計またはジャイロスコープを装備させることもできる。術中画像シーケンスのフレームを、画像取得装置から直接的に受信することができる。例えば、１つの有利な実施の形態においては、術中画像シーケンスのフレームを、画像取得装置によってそれらのフレームが取得されたときに、リアルタイムで受信することができる。択一的に、術中画像シーケンスのフレームを、コンピュータシステムのメモリまたはストレージに記憶されている、先行して取得された術中画像をロードすることによって受信することもできる。
本発明の１つの実施の形態によれば、術中画像シーケンスを、画像取得装置（例えば、腹腔鏡または内視鏡）を使用して、ターゲット器官の完全なスキャンを実施するユーザ（例えば、医師、臨床医など）によって取得することができる。この場合、ユーザは画像取得装置を移動させ、その間に、画像取得装置は継続的に画像（フレーム）を取得し、その結果、術中画像シーケンスのフレームは、ターゲット器官の表面全体をカバーする。これを手術の開始時に実施し、目下の変形時のターゲット器官の完全な臨床像を取得することができる。３Ｄスティッチングプロシージャを実施して、術中画像をスティッチングしてまとめ、ターゲット器官、例えば肝臓の術中３Ｄモデルを形成することができる。
ステップ１０６において、位置合わせに制約を課すために、術中画像の相対的な方位測定値を使用して、術前３Ｄ医療画像ボリュームが、２Ｄ／２．５Ｄ術中画像に位置合わせされる。本発明の１つの実施の形態によれば、この位置合わせは、仮想カメラ（例えば、仮想内視鏡／仮想腹腔鏡）の位置および方位を規定するパラメータ空間を使用して、術前３Ｄボリュームからカメラ投影をシミュレートすることによって実施される。術前３Ｄボリュームから投影画像をシミュレートすることは、フォトリアリスティックレンダリングを含むことができる。位置パラメータおよび方位パラメータは、観察される２Ｄ／２．５Ｄ術中画像と類似性計量を介して直接的に比較される、３Ｄ医療画像ボリュームからシミュレートされた２Ｄ／２．５Ｄ投影画像の外観ならびに幾何学も決定する。
最適化フレームワークは、シミュレートされた投影画像と受信した術中画像との間の類似性を最大にする（または差異を最小にする）、仮想カメラに関する姿勢パラメータを選択するために使用される。すなわち、最適化問題は、各２Ｄ／２．５Ｄ術中画像と、全ての術中画像にわたる、術前３Ｄボリュームからシミュレートされた対応する２Ｄ／２．５Ｄ投影画像と、の間の総類似性を最大にする（または総差異を最小にする）位置パラメータおよび方位パラメータを計算する。本発明の１つの実施の形態によれば、類似性計量は、術中画像におけるターゲット器官および対応するシミュレートされた投影画像に関して計算される。この最適化問題を、任意の類似性計量または差異計量を使用して実施することができ、また任意の最適化アルゴリズムを使用して解決することができる。例えば、類似性計量は、相互相関、相互情報量、正規化相互情報量などであってよく、また類似性計量を、ターゲット器官の幾何学をベースとする、観察される２．５Ｄ深度データにシミュレートされた２．５Ｄ深度データを適合させるための幾何学適合項（ｇｅｏｍｅｔｒｙ ｆｉｔｔｉｎｇ ｔｅｒｍ）と組み合わせることができる。上記において述べたように、術中画像取得装置（例えば、内視鏡／腹腔鏡）に取り付けられている方位センサは、相互に関して、術中画像の相対的な方位を提供する。それらの相対的な方位は、最適化問題に制約を課すために使用される。特に、術中画像の相対的な方位は、対応するシミュレートされた投影画像に関して計算された方位パラメータのセットに制約を課す。付加的に、スケーリングが計量２．５Ｄセンシングに起因して既知であるので、その結果、単位球面における姿勢の洗練に関して最適化が達成される。さらに、術中画像の取得において使用される既知の手術計画からの他の先験的な情報、例えば手術台の位置、手術台の上の患者の位置、およびカメラの実現可能な方位の範囲に基づいて、最適化に制約を課すことができる。
図２には、術前３Ｄ医療画像ボリュームからシミュレートされた投影画像の術中画像へのマッチングの一例が示されている。図２に示されているように、画像２０２は、肝臓がセグメンテーションされた術前３Ｄ医療画像ボリュームから生成された、肝臓のシミュレートされた複数の２Ｄ投影を示し、また画像２０４は、腹腔鏡画像における肝臓の観察される２Ｄ投影を示す。位置合わせプロシージャは、ターゲット器官のシミュレートされた投影を、ターゲット器官の観察される各投影に最善にマッチさせるための位置パラメータおよび方位パラメータを発見する。
再び図１を参照すると、ステップ１０８において、術前３Ｄ医療画像ボリュームが、手術中に術中画像に重畳される。位置合わせの結果は、所定の術中画像に術前３Ｄ医療画像ボリュームの投影をマッピングするために、術前３Ｄ医療画像ボリュームに適用することができる変換マトリクスである。これによって、術前３Ｄ医療画像ボリュームからの表面下情報の、術中画像取得装置（例えば、内視鏡または腹腔鏡）からの視覚情報への拡張現実の重畳が実現される。１つの有利な実施の形態においては、位置合わせが一度実施されると、術中画像シーケンス（ビデオ）の新たなフレームが受信され、また術前３Ｄ医療画像ボリュームからのターゲット器官の投影が、位置合わせに基づいて、各新たなフレームに重畳される。術前３Ｄ医療画像ボリュームからの重畳された情報を含んでいる各フレームは、手術をガイドするために、表示装置に表示される。重畳を、術中画像が取得されたときに、リアルタイムで実施することができ、また重畳された画像を、ビデオストリームとして表示装置に表示することができる。本明細書において説明する位置合わせは、剛体レジストレーションであるので、１つの考えられる実現形態においては、ターゲット器官のバイオメカニカルモデルを使用して、フレーム毎にターゲット器官の非剛体変形を計算することができる。バイオメカニカルモデルを使用する非剛体変形の計算は、２０１５年４月２９日に出願された、国際特許出願ＰＣＴ／ＵＳ２０１５／２８１２０、発明の名称「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｇｕｉｄａｎｃｅ ｏｆ Ｌａｐａｒｏｓｃｏｐｉｃ Ｓｕｒｇｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ ｔｈｒｏｕｇｈ Ａｎａｔｏｍｉｃａｌ Ｍｏｄｅｌ Ａｕｇｍｅｎｔａｔｉｏｎ」により詳細に記載されており、その開示内容全体は参照により本願に組み込まれる。
図３には、本発明の１つの実施の形態による、手術計画を行い、ターゲットとなる解剖学的対象の術中画像に、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを位置合わせするための方法が示されている。図３の方法は、手術計画モジュールを使用し、この手術計画モジュールを、手術室内のワークステーションのようなコンピュータにおいて実現することができる。ステップ３０２において、手術計画が受信される。手術計画モジュールを使用して、ユーザは、予想される術中カメラビューに対応する、ターゲット器官の領域を指定することができる。例えば、マウスまたはタッチスクリーンのようなユーザ入力装置を介して、見る角度を調整し、また関心の対象となる構造的な特徴を選択するために、ユーザに提供されるツールを用いて、ターゲット器官の３Ｄサーフェスレンダリングを、コンピュータディスプレイに表示することができる。ターゲット器官の３Ｄサーフェスレンダリングを、術前３Ｄ医療画像ボリュームにおけるターゲット器官のセグメンテーションから自動的に生成することができる。付加的に、患者の表面における腹腔鏡の挿入口の予想される位置も識別することができる。他の関連する術中姿勢パラメータ、例えば手術台の上の患者の位置も収集して、手術計画に記録することができる。
ステップ３０４において、ターゲット器官の変形が、セグメンテーションされた器官のバイオメカニカルモデルを使用してシミュレートされる。特に、ターゲット器官の３Ｄメッシュを、術前３Ｄ医療画像ボリュームにおけるセグメンテーションされたターゲット器官から生成することができ、また手術計画において定義された条件下での、ターゲット器官の組織の予期される動きをシミュレートするために、バイオメカニカルモデルを使用して３Ｄメッシュを変形させることができる。バイオメカニカルモデルは、器官の組織の機械的な特性および手術計画の条件に起因してターゲット器官に加えられる力に基づいて、３Ｄメッシュの種々の位置における変位を計算する。例えば、そのような力は、手術中の腹部へのガス注入に起因する力であると考えられる。１つの考えられる実現形態においては、バイオメカニカルモデルは、ターゲット器官を、均一で線形な弾性の固体としてモデリングし、その動きは動弾性の式によって調整される。バイオメカニカルモデルを、２０１５年４月２９日に出願された、国際特許出願ＰＣＴ／ＵＳ２０１５／２８１２０、発明の名称「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｇｕｉｄａｎｃｅ ｏｆ Ｌａｐａｒｏｓｃｏｐｉｃ Ｓｕｒｇｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ ｔｈｒｏｕｇｈ Ａｎａｔｏｍｉｃａｌ Ｍｏｄｅｌ Ａｕｇｍｅｎｔａｔｉｏｎ」、または国際公開ＷＯ２０１４／１２７３２１Ａ２、発明の名称「Ｂｉｏｍｅｃｈａｎｉｃａｌｌｙ Ｄｒｉｖｅｎ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ Ｐｒｅ−Ｏｐｅｒａｔｉｖｅ Ｉｍａｇｅ ｔｏ Ｉｎｔｒａ−Ｏｐｅｒａｔｉｖｅ ３Ｄ Ｉｍａｇｅｓ ｆｏｒ Ｌａｐａｒｏｓｃｏｐｉｃ Ｓｕｒｇｅｒｙ」に記載されているように実施することができ、これらの文献の開示内容全体は参照により本願に組み込まれる。
ステップ３０６において、手術計画に関してシミュレートされた術中画像が、シミュレートされ、また変形されたターゲット器官を使用して生成される。シミュレートされた術中画像は、手術計画の条件、例えば診断するための器官の指定された部位、術中カメラの実現可能な方位の範囲、および腹腔鏡挿入口の位置に基づいて、シミュレートされ、また変形されたターゲット器官の複数の仮想投影画像を抽出することによって生成される。ステップ３０８において、術前３Ｄ医療画像ボリュームの、シミュレートされた術中画像への剛体レジストレーションが実施される。特に、最新の手術計画によって取得された術中画像を使用する位置合わせの結果を予測するために、上述の図１の方法を実施して、術前３Ｄ医療画像を、シミュレートされた術中画像に位置合わせすることができる。
ステップ３１０において、予測された位置合わせ品質測定値が計算される。１つの考えられる実現形態においては、予測された位置合わせに関する表面エラーが計算される。特に、術前３Ｄボリュームのシミュレートされた投影画像と、シミュレートされ、また変形されたターゲット器官から抽出された、シミュレートされた術中画像との間の総表面エラーを計算することができる。さらに、最新の手術計画に関する術中カメラ視野内の器官構造特徴の大きさおよび品質を測定する他の計量も計算することができる。ステップ３１２において、予測された位置合わせ品質が十分であるか否かが判定される。予測された位置合わせ品質が十分でないと判定された場合には、方法はステップ３１４に進む。予測された位置合わせ品質が十分であると判定された場合には、方法はステップ３１６に進む。１つの考えられる実現形態においては、予測された位置合わせ品質は十分であるか否かを、例えば予測された位置合わせ品質測定値（例えば、表面エラー）を閾値と比較することによって、自動的に判定することができる。別の考えられる実現形態においては、手術計画モジュールが結果をユーザに提示することができ、またユーザは、予測された位置合わせ品質が十分であるか否かを決定することができる。例えば、１つまたは複数の予測された位置合わせ品質測定値、ならびにバイオメカニカルシミュレーションの結果生じた、変形されたターゲット器官を、表示装置に表示することができる。計画プロセスのガイドの助けとなるように、バイオメカニカルシミュレーションの結果および対応する位置合わせをユーザに提示することに加えて、手術計画モジュールは、位置合わせ結果を改善するために、手術計画のパラメータに関する示唆、例えば挿入口の位置および患者の向きも提供することができる。
予測された位置合わせ品質が十分でないと判定された場合には、ステップ３１４において、出術計画が洗練される。例えば、位置合わせ結果を改善するために、挿入口の位置および患者の向きのようなパラメータの自動的な調整によって、手術計画を洗練することができるか、または手術計画モジュールへのユーザ入力を介して手術計画のパラメータをユーザが手動で変更することによって、手術計画を洗練することができる。手術計画モジュールによってユーザに提供された、提案された変更を組み込むために、ユーザが手術計画のパラメータを手動で変更することも可能である。続いて、方法はステップ３０４に戻り、ステップ３０４から３１２が繰り返されて、器官の変形がシミュレートされ、また洗練された手術計画に関する位置合わせ品質が予測される。
手術計画に関する予測された位置合わせ品質が十分であると判定された場合には、ステップ３１６において、手術計画を使用して、制約付き剛体レジストレーションが実施される。上述の図１の位置合わせ法は、手術計画から得られた先験的な知識に基づいてさらに制約される。特に、手術計画が最終的に承認されると、術中画像が、手術計画を使用して取得され、図１の方法は、術前３Ｄ医療画像ボリュームを取得された術中画像に位置合わせするために使用され、また手術計画のパラメータ、例えば手術台の上の患者の姿勢および腹腔鏡画像のための挿入口の位置が、さらなる制約を位置合わせに課す。
図４には、手術計画から得られた先験的な知識から求められた例示的な制約が示されている。図４に示されているように、手術台４０２の位置および手術台４０２に対して相対的な患者４０４の姿勢が手術計画から既知である。ターゲット器官４０６のシミュレートされた変形およびシミュレートされた投影画像４０８（シミュレートされた術中画像）は、器官４０６および患者４０４に関してシミュレートされた投影画像４０８の角度および深度の範囲に関連付けられた制約付き角度および深度制約４１０を提供することができる。
３Ｄボリュメトリック画像データを、術中画像に位置合わせするための上述の方法、およびそのような位置合わせを改善するための手術計画を行うための上述の方法を、公知のコンピュータプロセッサ、メモリユニット、ストレージ装置、コンピュータソフトウェアおよび他のコンポーネントを使用するコンピュータにおいて実施することができる。そのようなコンピュータのハイレベルブロック図が図５に示されている。コンピュータ５０２は、このコンピュータ５０２の全体の動作を規定するコンピュータプログラム命令を実行することによって、そのような全体の動作を制御するプロセッサ５０４を含んでいる。コンピュータプログラム命令を、ストレージ装置５１２（例えば、磁気ディスク）に記憶することができ、またこのコンピュータプログラム命令の実行が要求されるとメモリ５１０にロードすることができる。したがって、図１および図３の方法のステップを、メモリ５１０および／またはストレージ５１２に記憶されているコンピュータプログラム命令によって規定することができ、またそれらのコンピュータプログラム命令を実行するプロセッサ５０４によって制御することができる。画像取得装置５２０、例えば腹腔鏡、内視鏡、ＣＴスキャナ、ＭＲスキャナ、ＰＥＴスキャナなどを、コンピュータ５０２に接続して、入力画像データをコンピュータ５０２に入力することができる。また、画像取得装置５２０とコンピュータ５０２とがネットワークを介して無線により通信することも可能である。コンピュータ５０２は、ネットワークを介して他の装置と通信するための、１つまたは複数のネットワークインタフェース５０６も含んでいる。コンピュータ５０２はまた、このコンピュータ５０２とのユーザインタラクションを実現する他の入力／出力装置５０８（例えば、ディスプレイ、キーボード、マウス、スピーカ、ボタンなど）も含んでいる。そのような入力／出力装置５０８を、画像取得装置５２０から受信したボリュームに注釈を付けるためのアノテーションツールのような、一連のコンピュータプログラムと共に使用することができる。当業者であれば、実際のコンピュータの実現形態が他のコンポーネントも含み得ること、また図５が、説明を目的としたそのようなコンピュータのコンポーネントの一部をハイレベルで表現したものであることが分かるであろう。
上記の詳細な説明は、あらゆる観点において説明的かつ例示的なものであって、制限的なものではないと解することができる。また本明細書に記載されている本発明の範囲は、詳細な説明から決定されるべきではなく、むしろ特許法によって認められている完全な幅に従い解釈されるように、特許請求の範囲から決定されるべきである。本明細書において説明および記述した実施の形態は、本発明の原理を説明するためだけのものであって、当業者であれば、本発明の範囲および精神から逸脱することなく種々の変更を加えることができると解することができる。また当業者であれば、本発明の範囲および精神から逸脱することなく他の特徴のさまざまな組み合わせを実現することができるであろう。

Claims (29)

  1. ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするための方法において、
    前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信すること、
    前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
    方法。
  2. 前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
    前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
    請求項１記載の方法。
  3. 前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
    前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
    前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
    前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
    請求項２記載の方法。
  4. 前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
    前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化すること、を含んでいる、
    請求項２記載の方法。
  5. 前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
    請求項１記載の方法。
  6. 前記先験的な情報は、手術台に対して相対的な患者の姿勢を含んでいる、請求項５記載の方法。
  7. 前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
    腹腔鏡または内視鏡のいずれかである術中画像取得装置から、前記複数の２Ｄ／２．５Ｄ術中画像を受信すること、および
    ジャイロスコープまたは加速度計のいずれかである、前記術中画像取得装置に取り付けられている方位センサから、前記術中画像に関する、前記対応する相対的な方位測定値を受信すること、を含んでいる、
    請求項１記載の方法。
  8. さらに
    前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
    前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートすること、
    前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成すること、
    前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせすること、および
    前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算すること、を含んでいる、
    請求項１記載の方法。
  9. さらに
    前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
    前記予測された位置合わせ品質測定値に基づいて、前記手術計画に関して予測された位置合わせ品質が十分でないと判定されたことに応答して、前記手術計画のパラメータを洗練すること、を含んでいる、
    請求項８記載の方法。
  10. 前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
    前記手術計画を使用して取得された前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像を受信し、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約を課すこと、を含んでいる、
    請求項８記載の方法。
  11. 前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
    請求項１０記載の方法。
  12. ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするための装置において、
    前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信する手段、
    前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課す手段、を含んでいる、
    装置。
  13. 前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせする手段は、
    前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課す手段、を含んでいる、
    請求項１２記載の装置。
  14. 前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
    前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
    前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
    前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
    請求項１３記載の装置。
  15. 前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化する手段は、
    前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化する手段、を含んでいる、
    請求項１３記載の装置。
  16. 前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
    請求項１２記載の装置。
  17. さらに
    前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートする手段、
    前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成する手段、
    前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせする手段、および
    前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算する手段、を含んでいる、
    請求項１２記載の装置。
  18. 前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像は、前記手術計画を使用して取得され、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約が課される、
    請求項１７記載の装置。
  19. 前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
    請求項１８記載の装置。
  20. ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするためのコンピュータプログラム命令が記憶されている、非一時的なコンピュータ可読媒体において、
    前記コンピュータプログラム命令は、プロセッサにおいて実行されると、該プロセッサに以下の動作を実施させる、すなわち
    前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信すること、
    前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を実施させる、
    非一時的なコンピュータ可読媒体。
  21. 前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
    前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
    請求項２０記載の非一時的なコンピュータ可読媒体。
  22. 前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
    前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
    前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
    前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
    請求項２１記載の非一時的なコンピュータ可読媒体。
  23. 前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
    前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化すること、を含んでいる、
    請求項２１記載の非一時的なコンピュータ可読媒体。
  24. 前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
    請求項２０記載の非一時的なコンピュータ可読媒体。
  25. 前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
    腹腔鏡または内視鏡のいずれかである術中画像取得装置から、前記複数の２Ｄ／２．５Ｄ術中画像を受信すること、および
    ジャイロスコープまたは加速度計のいずれかである、前記術中画像取得装置に取り付けられている方位センサから、前記術中画像に関する、前記対応する相対的な方位測定値を受信すること、を含んでいる、
    請求項２０記載の非一時的なコンピュータ可読媒体。
  26. 前記動作は、さらに
    前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
    前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートすること、
    前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成すること、
    前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせすること、および
    前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算すること、を含んでいる、
    請求項２０記載の非一時的なコンピュータ可読媒体。
  27. 前記動作は、さらに
    前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
    前記予測された位置合わせ品質測定値に基づいて、前記手術計画に関して予測された位置合わせ品質が十分でないと判定されたことに応答して、前記手術計画のパラメータを洗練すること、を含んでいる、
    請求項２６記載の非一時的なコンピュータ可読媒体。
  28. 前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
    前記手術計画を使用して取得された前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像を受信し、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約を課すこと、を含んでいる、
    請求項２６記載の非一時的なコンピュータ可読媒体。
  29. 前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
    請求項２８記載の非一時的なコンピュータ可読媒体。
JP2017559106A 2015-05-11 2015-05-11 ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム Pending JP2018514340A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/030080 WO2016182550A1 (en) 2015-05-11 2015-05-11 Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data

Publications (1)

Publication Number Publication Date
JP2018514340A true JP2018514340A (ja) 2018-06-07

Family

ID=53373544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017559106A Pending JP2018514340A (ja) 2015-05-11 2015-05-11 ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム

Country Status (5)

Country Link
US (1) US20180150929A1 (ja)
EP (1) EP3295423A1 (ja)
JP (1) JP2018514340A (ja)
CN (1) CN107580716A (ja)
WO (1) WO2016182550A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530051A (ja) * 2018-06-29 2021-11-04 デルタレイ・ベーフェー 投影角度の動的選択による物品検査
WO2024034995A1 (ko) * 2022-08-12 2024-02-15 아주대학교산학협력단 수술 영상데이터를 녹화하는 방법 및 장치
JP7438150B2 (ja) 2018-06-29 2024-02-26 デルタレイ・ベーフェー 反復投影マッチング法を用いた放射線イメージングによる物品検査

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11607316B2 (en) * 2016-02-17 2023-03-21 Koninklijke Philips N.V. Physical 3D anatomical structure model fabrication
US20210343031A1 (en) * 2018-08-29 2021-11-04 Agency For Science, Technology And Research Lesion localization in an organ
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
EP3626176B1 (de) * 2018-09-19 2020-12-30 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
US11045075B2 (en) * 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
IT201900005350A1 (it) * 2019-04-08 2020-10-08 Medacta Int Sa Metodo ottenuto mediante calcolatore per verificare il corretto allineamento di una protesi dell’anca e sistema per attuare tale verifica
CN110853082B (zh) * 2019-10-21 2023-12-01 科大讯飞股份有限公司 医学图像配准方法、装置、电子设备及计算机存储介质
US20210174523A1 (en) * 2019-12-10 2021-06-10 Siemens Healthcare Gmbh Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product
US11341661B2 (en) * 2019-12-31 2022-05-24 Sonoscape Medical Corp. Method and apparatus for registering live medical image with anatomical model
US11227406B2 (en) * 2020-02-28 2022-01-18 Fujifilm Business Innovation Corp. Fusing deep learning and geometric constraint for image-based localization
JP2021153773A (ja) * 2020-03-26 2021-10-07 株式会社メディカロイド ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质
WO2022192222A1 (en) * 2021-03-08 2022-09-15 Agada Medical Ltd. Planning spinal surgery using patient-specific biomechanical parameters
CN113057734A (zh) * 2021-03-12 2021-07-02 上海微创医疗机器人（集团）股份有限公司 一种手术系统
WO2023086332A1 (en) * 2021-11-09 2023-05-19 Genesis Medtech (USA) Inc. An interactive augmented reality system for laparoscopic and video assisted surgeries
CN114842179B (zh) * 2022-05-20 2024-09-17 青岛海信医疗设备股份有限公司 器官三维模型与术中器官图像的匹配方法及电子设备
FR3139651A1 (fr) * 2022-09-13 2024-03-15 Surgar Système et procédé de recalage d’un modèle 3d virtuel par affichage en semi-transparence

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200516A (ja) * 1993-12-29 1995-08-04 Toshiba Corp 最適化方法及び最適化装置
JP2008005923A (ja) * 2006-06-27 2008-01-17 Olympus Medical Systems Corp 医用ガイドシステム
JP2009279250A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
JP2011206168A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 観察支援システムおよび方法並びにプログラム
JP2012527286A (ja) * 2009-05-18 2012-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正
JP2014226430A (ja) * 2013-05-24 2014-12-08 富士フイルム株式会社 画像表示装置および方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916919B2 (en) 2006-09-28 2011-03-29 Siemens Medical Solutions Usa, Inc. System and method for segmenting chambers of a heart in a three dimensional image
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
WO2014127321A2 (en) 2013-02-15 2014-08-21 Siemens Aktiengesellschaft Biomechanically driven registration of pre-operative image to intra-operative 3d images for laparoscopic surgery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200516A (ja) * 1993-12-29 1995-08-04 Toshiba Corp 最適化方法及び最適化装置
JP2008005923A (ja) * 2006-06-27 2008-01-17 Olympus Medical Systems Corp 医用ガイドシステム
JP2009279250A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
JP2012527286A (ja) * 2009-05-18 2012-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正
JP2011206168A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 観察支援システムおよび方法並びにプログラム
JP2014226430A (ja) * 2013-05-24 2014-12-08 富士フイルム株式会社 画像表示装置および方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530051A (ja) * 2018-06-29 2021-11-04 デルタレイ・ベーフェー 投影角度の動的選択による物品検査
JP7422689B2 (ja) 2018-06-29 2024-01-26 デルタレイ・ベーフェー 投影角度の動的選択による物品検査
JP7438150B2 (ja) 2018-06-29 2024-02-26 デルタレイ・ベーフェー 反復投影マッチング法を用いた放射線イメージングによる物品検査
WO2024034995A1 (ko) * 2022-08-12 2024-02-15 아주대학교산학협력단 수술 영상데이터를 녹화하는 방법 및 장치

Also Published As

Publication number Publication date
WO2016182550A1 (en) 2016-11-17
US20180150929A1 (en) 2018-05-31
EP3295423A1 (en) 2018-03-21
CN107580716A (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
JP2018514340A (ja) ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム
KR102013866B1 (ko) 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
US10716457B2 (en) Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data
CN109219384B (zh) 内窥镜图像与超声图像的基于图像的融合
US9990744B2 (en) Image registration device, image registration method, and image registration program
AU2015283938B2 (en) Alignment CT
US9105207B2 (en) Four dimensional image registration using dynamical model for augmented reality in medical applications
EP2505162B1 (en) Method and apparatus for generating medical image of body organ by using 3-D model
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
US20140133727A1 (en) System and Method for Registering Pre-Operative and Intra-Operative Images Using Biomechanical Model Simulations
US11382603B2 (en) System and methods for performing biomechanically driven image registration using ultrasound elastography
WO2012062482A1 (en) Visualization of anatomical data by augmented reality
US20230050857A1 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
US20220218435A1 (en) Systems and methods for integrating imagery captured by different imaging modalities into composite imagery of a surgical space
KR20190133423A (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
Zampokas et al. Real‐time stereo reconstruction of intraoperative scene and registration to preoperative 3D models for augmenting surgeons' view during RAMIS
US20220296303A1 (en) Systems and methods for registering imaging data from different imaging modalities based on subsurface image scanning
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space
US20230277035A1 (en) Anatomical scene visualization systems and methods
US20220414914A1 (en) Systems and methods for determining a volume of resected tissue during a surgical procedure
Ho Nonrigid Registration Techniques and Evaluation for Augmented Reality in Robotic Assisted Minimally Invasive Surgery
Wang et al. Augmented Reality for Digital Orthopedic Applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190508