JP2015506188A - 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償 - Google Patents
容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償 Download PDFInfo
- Publication number
- JP2015506188A JP2015506188A JP2014548289A JP2014548289A JP2015506188A JP 2015506188 A JP2015506188 A JP 2015506188A JP 2014548289 A JP2014548289 A JP 2014548289A JP 2014548289 A JP2014548289 A JP 2014548289A JP 2015506188 A JP2015506188 A JP 2015506188A
- Authority
- JP
- Japan
- Prior art keywords
- image
- matrix
- projection
- endoscopic
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Abstract
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法、システム及びコンピュータプログラムが提供される。当該方法は、3D術前画像にある構造と2D内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するステップと、推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出するステップと、前記導出した射影行列を用いて、前記3D画像からの構造の2D投影を前記2D内視鏡画像上にレンダリングするステップと、ホモグラフィ行列を決定するステップと、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、を有する。
Description
[関連出願の参照]
本願は、仮出願番号第61/382980号、「Robotic Control of an Endoscope from Blood Vessel Tree Images」、2010年9月15日出願、及び共に継続中の非仮国際出願PCT/IB2011/053998、2011年9月13日出願に関連する。これらの出願は、参照により本願明細書に組み込まれる。
本願は、仮出願番号第61/382980号、「Robotic Control of an Endoscope from Blood Vessel Tree Images」、2010年9月15日出願、及び共に継続中の非仮国際出願PCT/IB2011/053998、2011年9月13日出願に関連する。これらの出願は、参照により本願明細書に組み込まれる。
本発明は、医用画像化の分野に関し、より詳細には、容積測定画像化モダリティからの3次元構造を未較正内視鏡のビデオにオーバレイし及び内視鏡のビデオの体積構造の動きを補償する方法、システム及びコンピュータプログラムに関する。
最小限の非侵襲性冠動脈バイパス形成手術では、次の2つの画像化モダリティが通常用いられる。(1)冠動脈の形状に関する情報を抽出するための(コンピュ―タ断層撮影若しくはCT、又は3D X線血管造影のような)術前3D画像化、及び(2)リアルタイム内視鏡画像化、である。冠動脈は、それらを異なる組織が覆うため、通常、内視鏡ビデオでは完全に見えない。また、内視鏡ビデオは、通常、2次元で記録される。体積3D画像は、冠動脈の完全な視覚化を3次元で提供する。しかしながら、手術は、実際には、最小限の非侵襲性冠動脈バイパス形成手術を成功裏に実行するために、内視鏡ビデオで冠動脈の位置を正確に視覚化しなければならない。動脈が内視鏡ビデオで見えない場合に動脈の位置を決定するために、動脈は、内視鏡ビデオにオーバレイされ得る。
しかしながら、CTスキャンからののよな術前3D画像データを内視鏡ビデオにオーバレイする既存の方法は、内視鏡の較正、追加位置特定システムによる追跡、又はそれら両者を必要とする。内視鏡の較正は、正しく行われない場合に誤りやすい複雑な処置であり、したがって臨床環境ではあまり実用的ではない。内視鏡の光学的特性は、利用と共に変化し得るので、1回の較正は長期間に渡って使用できない。さらに、光学マーカのような位置特定システムは、手術中に常に利用可能ではなく、処置のために有意なコスト及び時間を追加していまう。
さらに、心臓及び他の手術において計画される3次元画像化は、通常、(ゲート式CTのように)時系列で実行されない。したがって、構造の3D形状は、心拍及び呼吸のような生理的過程による動きを考慮しない。例えば、心臓手術では、動脈ツリー形状は、心臓周期の1段階のみについて分かる。
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法、システム及びコンピュータプログラムが提供される。当該方法は、3D術前画像にある構造と2D内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するステップと、推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出するステップと、前記導出した射影行列を用いて、前記3D画像からの構造の2D投影を前記2D内視鏡画像上にレンダリングするステップと、ホモグラフィ行列を決定するステップと、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、を有する。
一実施形態によると、前記構造は動脈ツリーであり、前記複数のポイント対は前記動脈ツリーの分岐である。
一実施形態によると、前記構造は静脈ツリーであり、前記複数のポイント対は前記静脈ツリーの分岐である。
一実施形態によると、前記構造は気管支ツリーであり、前記複数のポイント対は前記気管支ツリーの分岐である。
一実施形態によると、複数のポイント対の対応は、前記2D内視鏡画像内のツリー構造内の分岐パターンを前記3D画像からの前記ツリー構造内の対応する分岐パターンと照合することにより決定される。
一実施形態によると、ホモグラフィ行列は、前記の決定されたポイント対を用いて導出される。
一実施形態によると、ホモグラフィ行列は、前記2D内視鏡画像の1より多い異なるサブセクションの各々について導出される。
一実施形態によると、動き補償は、前記オーバレイ構造に提供される。対応行列は、前記内視鏡画像のあるフレームから前記内視鏡画像のいかなる後続フレームにポイントを変換することにより、導出される。次に、レンダリングされた構造の投影は、前記構造の動きを追跡するために、前記対応行列を用いてワープ処理される。
一実施形態によると、時系列に渡り算出された複数の対応行列は、前記オーバレイ構造をワープ処理するために用いられる。
本発明の別の態様によると、オーバレイされた構造の動きを補償するための方法が提供される。体積モダリティから未較正内視鏡ビデオにレンダリングされる構造オーバレイの動き補償の方法は、内視鏡画像のフレームから前記内視鏡画像のいかなる後続フレームにポイントを変換する対応行列を決定するステップと、前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされたオーバレイ構造をワープ処理するステップと、を有する。
本発明の別の態様によると、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするシステムが提供される。当該システムは、プロセッサと、前記プロセッサに動作可能に関連付けられるメモリと、前記プロセッサに動作可能に関連付けられるディスプレイと、前記メモリに符号化されたオーバレイプログラム命令であって、前記プロセッサにより実行され、3D術前画像にある構造と2D内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定し、推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出し、前記導出した射影行列を用いて、前記3D画像からの前記構造の2D投影を前記2D内視鏡画像上にレンダリングし、ホモグラフィ行列を決定し、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理する、オーバレイプログラム命令と、を有する。
一実施形態によると、前記オーバレイプログラム命令は、前記2D内視鏡画像の1より多い異なるサブセクションの各々について、ホモグラフィ行列を導出する。
一実施形態によると、前記オーバレイプログラム命令は、前記プロセッサにより実行されると、前記オーバレイされた構造の動き補償も提供する。動き補償を提供するために、前記オーバレイプログラム命令は、前記内視鏡画像の第1のフレームからのポイントを前記内視鏡画像の第2のフレームに変換するための対応行列を決定し、前記オーバレイされた構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理する。
本発明の別の態様によると、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムが提供される。当該コンピュータプログラムは、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムであって、前記コンピュータプログラムは、3D術前画像にある構造と2D内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するコンピュータ実行可能命令と、推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出するコンピュータ実行可能命令と、前記導出した射影行列を用いて、前記3D画像からの前記構造の2D投影を前記2D内視鏡画像上にレンダリングするコンピュータ実行可能命令と、ホモグラフィ行列を決定するコンピュータ実行可能命令と、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、を含むコンピュータ実行可能プログラム命令を有する。
一実施形態によると、前記コンピュータ実行可能プログラム命令は、前記内視鏡画像の第1のフレームから前記内視鏡画像の第2のフレームにポイントを変換するための対応行列を決定するコンピュータ実行可能命令と、前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、を更に有する。
本発明の特徴及び利点は、好適な実施形態の以下の詳細な説明を添付の図面と関連して読むことにより一層明確に理解される。図面は以下のものを含む。
本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイするシステムのブロック図である。
本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイする方法のフロー図である。
可視動脈構造を示す心臓治療中の内視鏡画像である。
本発明の一実施形態による3D画像及び2D画像の対応点を照合する方法のフロー図である。
本発明の一実施形態による、ホモグラフィ行列でワープする前に動脈ツリー構造をオーバレイされた心臓治療中の内視鏡画像である。
本発明の一実施形態による、2D内視鏡画像上のオーバレイの動き補償の方法のフロー図である。
本発明の一実施形態による、追跡する特徴の選択を示す、心臓治療中の内視鏡画像である。
選択された特徴の動きを示す、図5の後続フレームにおける内視鏡画像である。
本発明は、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法、システム、及びコンピュータプログラムを提供する。本発明の一実施形態によると、複数のポイント対の対応は、3D術前画像にある構造と2D内視鏡ビデオ画像にある構造との間で決定される。3D画像から3D画像へ変換するための射影行列は、推定カメラパラメータ及び対応するポイント対を用いて得られる。内視鏡は較正されない。特に、これは、焦点距離及び光学画像の中心のようなカメラパラメータが分からないことを意味する。したがって、推定カメラパラメータは、正確なパラメータを知らずに推定される。構造の2D投影は、得られた射影行列を用いて、3D画像から2D内視鏡画像へとレンダリングされる。ホモグラフィ行列は、内視鏡画像及び構造の2D投影について決定され、レンダリングされた構造投影は、ホモグラフィ行列を用いてワープ処理される。
図1は、本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイするシステムのブロック図である。システムは、内視鏡100及び処理システム200を有する。内視鏡100は、最小限の非侵襲性外科手術中に画像を提供するのに適するいかなる内視鏡であっても良い。さらに、内視鏡100は、一緒に又は連続して用いられる1より多い内視鏡を有しても良い。
処理システム200は、汎用コンピュータのような、医用画像を処理し及び表示するのに適するいかなるシステムであっても良い。処理システム200は、システムバス220等を通じてメモリ230に動作可能に結合されるプロセッサ210を有する。理解されるべきことに、他の適切なアーキテクチャも、本発明の範囲内で可能である。プロセッサ210は、1又は複数のマイクロプロセッサのようないかなる適切なプロセッサであっても良い。メモリ230は、RAM、ROM、内部ハードドライブ、ディスクドライブ、USBフラッシュドライブ、又はプログラムコードを格納するのに適するいかなる他のメモリ装置も含むがこれらに限定されないいかなる適切なメモリであっても良い。メモリ230は、内視鏡ビデオ画像をリアルタイムに処理し表示するために、プロセッサ210により実行される、符号化された内視鏡ビデオプログラム命令232を有する。メモリは、内視鏡プログラム命令の一部として又は内視鏡プログラム命令により呼び出し可能に、体積モダリティからの構造を内視鏡からのビデオ画像にオーバレイする符号化されたオーバレイプログラム命令234も有する。メモリ230は、動脈ツリー構造の形状表現を抽出するためにオーバレイプログラム命令234により動作可能な符号化された血管ツリー抽出部236を含む。
内視鏡100からのビデオ画像は、外科手術中に外科医による閲覧のためにディスプレイ240に提示される。
動脈ツリーのような解剖学的構造の構造データ301は、データ記憶装置300から読み出される。構造データ301は、抽出された構造の形状表現の形式であっても良い。実際には、画像を生成し動脈ツリーのような構造の表現を抽出するために、フィリップスにより販売されるBrilliance iCTスキャナが用いられても良い。
プロセッサ210により実行されるプログラム命令234は、3D術前画像にある構造と2D内視鏡ビデオ画像にある構造との間の複数のポイント対の対応を決定し、推定カメラパラメータ及び対応するポイント対を用いて3D画像から2D画像への変換のための射影行列を導出し、導出した射影行列を用いて、3D画像からの構造の2D投影を2D内視鏡画像上にレンダリングし、ホモグラフィ行列を決定し、ホモグラフィ行列を用いてレンダリングされた構造投影をワープ処理する。
図2は、本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイする方法のフロー図である。オーバレイプログラム命令234は、3D術前画像にある構造と2D内視鏡ビデオ画像にある構造との間で複数のポイント対の対応を決定する(ステップ310)。以下の記載は、冠動脈構造にある対応するポイント対の検出を説明する。しかしながら、構造は、いかなる動脈ツリー、静脈ツリー、気管支ツリー、又は分岐のような区別可能な構造のパターンを有するいかなる他の解剖学的構造であっても良い。
図3に示すように、実際には、動脈構造の幾つかの部分は内視鏡ビデオ画像で見えるが、一方、動脈構造の他の部分は脂肪組織層により隠される。図4に示すように、オーバレイプログラム命令234は、冠動脈の可視部分372の閾検出のような知られている画像処理動作により可視冠動脈の自動検出を実施しても良い。代替で、外科医は、ビデオディスプレイ240と相互作用するマウスのような入力装置を用いて、動脈構造を手動で入力しても良い。
血管ツリー抽出部236は、従来知られており、冠動脈構造の可視部分372の形状表現(サブグラフ)392を抽出するために、オーバレイプログラム命令234により動作される(ステップ312)。形状表現は、動脈構造の各分岐を表すノードと、ノード間の分岐接続とを有する。
オーバレイプログラム命令234は、術前スキャン中に3D画像化システムにより完全な冠動脈構造370から抽出された完全な冠動脈ツリーの形状表現(メイングラフ)391も受信する(ステップ311)。3Dスキャンからの完全な冠動脈ツリーの表現のように、内視鏡画像内の冠動脈構造の可視部分は、同じ患者に由来するので、抽出した3Dツリー表現のサブグラフである。
オーバレイプログラム命令234は、最大共通サブグラフ法、McGregor共通サブグラフ法、等のようないかなる適切なグラフ照合方法を用いて、サブグラフ392をメイングラフ391と照合する(ステップ313)。例えば、サブグラフ392のノードは、メイングラフ391からのノードの部分集合と照合される。次に、見えない周囲の動脈ツリーは、3D画像化から分かる。
オーバレイプログラム命令234は、推定したカメラパラメータ及び対応するポイント対を用いて、3D構造から2D画像への変換のための射影行列を導出する(ステップ320)。3D画像からの動脈の形状を2D内視鏡画像に投影するための射影行列を解くために、一致したノード(又は分岐)の3D座標と2D座標は、内視鏡の焦点距離及び光学中心の推定値と一緒に式に入力される。3×4射影行列Pの計算は、リセクショニングとして従来知られている。N個の3D構造点Xi=[Xi,Yi,Zi]TとN個の2D画像点xi=[xi,yi,zi]Tの対にされた対応について、射影行列P=[P1TP2TP3T]を計算するために次式を用いることができる。
関心のある全ての特徴が見えることを保証するために、推定焦点距離は、使用されるいかなる内視鏡のいかなる可能な焦点距離よりも大きくなければならない。
射影行列が得られた後、オーバレイプログラム命令234は、得られた射影行列を用いて、2D内視鏡画像上に3D画像からの構造の2D投影をレンダリングする(ステップ330)。3D構造の各ボクセルの座標は、射影行列で乗算され、積が2D内視鏡画像上にオーバレイされる。内視鏡の焦点距離及び光学中心の推定値により、投影された構造は特別に正確ではない。投影された特徴は、推定焦点距離のために正しい尺度ではなく、推定光学中心のために正確に位置を特定されない。
次に、オーバレイプログラム命令234は、2Dから2Dへの照合を実行する(ステップ340)。これは、ホモグラフィ行列を決定し、該ホモグラフィ行列を用いて、レンダリングされた構造投影をワープ処理することにより、達成できる。ホモグラフィ行列を決定するために、オーバレイプログラム命令234は、照合したポイント対を再び用いる。今回、2D投影上の照合したポイント又はノード及び内視鏡画像からの照合したポイント又はノードの座標は、3×3ホモグラフィ行列を繰り返し求めるために用いられる。
次に、2D投影の各ピクセルは、投影された構造を内視鏡画像の尺度及び位置にワープ処理するために、ホモグラフィ行列で乗算される。一実施形態によると、アルファチャネルは、基礎的構造を閉鎖することなくオーバレイを可能にするために、追加され得る。
一実施形態によると、ホモグラフィ行列は、内視鏡画像の1より多いサブセクションの各々について求められ、各サブセクションの各々内のオーバレイされた構造の部分は、対応するホモグラフィ行列を用いて別個にワープ処理される。これは、心臓周期、呼吸、外科手術中の肺の収縮、等に起因する動きのように、内視鏡画像内の特徴の位置決めが3D画像内の位置決めと異なるとき、より正確なオーバレイを提供する。
前述のオーバレイ処理は、構造のオーバレイが所望される度に繰り返すことができる。代替で、正確なカメラ行列は、計算した射影行列と計算したホモグラフィ行列を乗算することにより、計算できる。正確なカメラ行列が算出されると、オーバレイは、射影行列及びホモグラフィ行列をその都度再計算することなく、正確に実行できる。
心臓周期、呼吸、等による構造の動き、及び内視鏡の動きは、追跡され、構造のように補償されても良い。この補償は、射影行列及びホモグラフィ行列が決定され、構造が内視鏡画像にオーバレイされると、実行できる。
図6本発明の一実施形態による、2D内視鏡画像上のオーバレイの動き補償の方法のフロー図である。図7に示すように、オーバレイプログラム命令234は、追跡すべき内視鏡画像上の特徴1−13の選択を受信する(ステップ610)。これらの特徴は、マウスのような入力装置により手動で選択できる。これらの特徴は、追跡すべき特徴をディスプレイに示すために外科医が用いることができる。代替で、オーバレイプログラム命令は、例えばSURF記述子のような追跡を容易にする数学的特性を有する特徴を選択する選択アルゴリズムを含むか又は呼び出しても良い。選択された特徴は、オーバレイされる構造(例えば、動脈構造の分岐)上にある特徴、動いている構造上にある特徴(例えば、心臓の上にある脂肪の端)、又はそれらの組合せであっても良い。
次に、選択された特1−13は、図8に示すように、内視鏡ビデオの連続フレーム内で追跡される(ステップ620)。選択された特徴は、ピラミッド型実施を有するLucas-Kanade追跡アルゴリズムのような従来知られている技術を用いて追跡されても良い。追跡ステップの結果は、先行フレーム内の特徴セット、現行フレーム内のこれらの特徴の対応する位置である。
任意で、オーバレイプログラム命令234は、誤って追跡された特徴を識別し拒否するためにフィルタを有し又は読み出しても良い(ステップ630)。いかなる特徴も正しく追跡されていない場合、誤って追跡された特徴を拒否することが望ましいが、必須ではない。追跡の失敗は、特徴が、その第2のフレーム内の新しい位置で、正しく検出されないことを意味する。追跡の失敗は、例えば、特徴の最新位置を決定するためにLucas-Kanadeアルゴリズムのような反復的方法が用いられる場合、収束の欠如により検出されても良い。正しく追跡されていないと決定された特徴の位置は、現行フレームではn無視され、残りの特徴位置のみが、オーバレイの位置及び形状を決定するために用いられる。
連続フレーム内で追跡された特徴の対応する位置を用いて、オーバレイプログラム命令234は、特徴を第1のフレームにある該特徴の位置からの第2のフレームにある該特徴の位置に変換できる3×3対応行列を計算する(ステップ640)。対応するポイント位置を用いた変換行列の計算のための数学的方法は、従来よく知られている。3つの点について、アフィン変換が計算される。3より多い点が用いられる場合、ホモグラフィ行列が計算される。
代替で、内視鏡画像の異なるサブエリアについて複数の対応行列が計算されても良い。複数の対応行列の使用は、より精細な予測及びより正確なオーバレイをもたらし得る。しかしながら、複数の対応行列の使用には計算的コストがかかる。
1又は複数の対応行列が計算されると、それらは、体積オーバレイを区分的に変形するために用いることができる(ステップ650)。変形されたオーバレイは、動きに起因する現行フレーム内の新しい位置を補償するために、オーバレイされる構造の位置を適合させる。複数の対応行列が用いられる場合、変形されたオーバレイは、鼓動している心臓による動脈構造の変形のような動きに起因する構造の形状変化を補償する。
本発明は、全体的にハードウェア実装、又はハードウェア及びソフトウェア要素の両者を含む実施形態の形式をとることができる。例示的な実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むがこれらに限定されないソフトウェアで実装されても良い。
さらに、本発明は、コンピュータ又は任意の命令実行システム又は装置により又はそれと関連して使用するためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラムの形式を取り得る。本開示の目的のために、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、機器又は装置により若しくはそれらと関連して使用するためのプログラムを有し又は格納することが可能な任意の機器であっても良い。
上述の方法は、コンピュータのような機械により実行されると方法のステップを実行する機械実行可能プログラム命令を有する機械可読媒体を有するプログラムにより実現されても良い。このプログラムは、コンパクトディスク、フロッピー(登録商標)ディスク、USBメモリ装置、等を含むがこれらに限定されない、いかなる種々の知られている機械可読媒体に格納されても良い。
媒体は、電子、磁気、光、電磁気、赤外線、又は半導体システム(又は装置若しくは素子)であっても良い。コンピュータ可読記憶媒体の例は、半導体若しくは固体メモリ、磁気テープ、取り外し可能コンピュータディスク、RAM(random access memory)、ROM(read-only memory)、固定磁気ディスク、光ディスクを含む。光ディスクの現在の例は、コンパクトディスク、CD-ROM(compact disk-read only memory)、CD−R/W(compact disk-read/write)、DVDを含む。
上述の説明及び添付の図面は、本発明の説明を目的とし、限定を意味しない。本発明の範囲は、添付の特許請求の範囲の全範囲の等価な変形及び構成を包含する。
さらに、心臓及び他の手術において計画される3次元画像化は、通常、(ゲート式CTのように)時系列で実行されない。したがって、構造の3D形状は、心拍及び呼吸のような生理的過程による動きを考慮しない。例えば、心臓手術では、動脈ツリー形状は、心臓周期の1段階のみについて分かる。
Xianwang Wang他、「Endoscopic Video Texture Mapping on Pre-Built 3−D Anatomical Objects Without Camera Tracking」、IEEE TRANSACTIONS ON MEDICAL IMAGING、IEEE SERVICE CENTER、PISATAWAY、J、US、vol.29、no.6、1 June 2010は、2D腹腔鏡テクスチャ画像を予め構築した3D表面モデルに登録する方法に関する。この文献では、初期の2D−3Dのユーザにより支援される登録は、最初のビデオフレームに対して実行される。次に、後続フレームは、2D−2D登録で及び後続フレームの大部分自動テクスチャリングで、最初のフレームに登録される。また、2D−3Dマッピングは、ユーザの定めた対応により最小二乗法を用いて実行される。この文献(文献1)は、射影行列を導出するために推定カメラパラメータを用いない。
US2009/324062 A1(Lim Hwa Sup他)、31 December 2009は、カラー画像が深さ画像に登録される画像処理システム及び方法に関する。カラー画像及び深さ画像の両者は、共に3D画像である(本段落の冒頭を参照)。さらに、この文献は、射影行列を導出するために推定カメラパラメータを用いることを開示も示唆もしていない。
Xianwang Wang他、「Endoscopic Video Texture Mapping on Pre-Built 3−D Anatomical Objects Without Camera Tracking」、IEEE TRANSACTIONS ON MEDICAL IMAGING、IEEE SERVICE CENTER、PISATAWAY、J、US、vol.29、no.6、1 June 2010は、2D腹腔鏡テクスチャ画像を予め構築した3D表面モデルに登録する方法に関する。この文献では、初期の2D−3Dのユーザにより支援される登録は、最初のビデオフレームに対して実行される。次に、後続フレームは、2D−2D登録で及び後続フレームの大部分自動テクスチャリングで、最初のフレームに登録される。また、2D−3Dマッピングは、ユーザの定めた対応により最小二乗法を用いて実行される。この文献(文献1)は、射影行列を導出するために推定カメラパラメータを用いない。
US2009/324062 A1(Lim Hwa Sup他)、31 December 2009は、カラー画像が深さ画像に登録される画像処理システム及び方法に関する。カラー画像及び深さ画像の両者は、共に3D画像である(本段落の冒頭を参照)。さらに、この文献は、射影行列を導出するために推定カメラパラメータを用いることを開示も示唆もしていない。
Claims (18)
- 体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法であって、
3D術前画像にある構造と2D内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定するステップと、
推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出するステップと、
前記導出した射影行列を用いて、前記3D画像からの構造の2D投影を前記2D内視鏡画像上にレンダリングするステップと、
ホモグラフィ行列を決定するステップと、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、
を有する方法。 - 前記構造は動脈ツリーであり、前記複数のポイント対は前記動脈ツリーの分岐である、請求項1に記載の方法。
- 前記構造は静脈ツリーであり、前記複数のポイント対は前記静脈ツリーの分岐である、請求項1に記載の方法。
- 前記構造は気管支ツリーであり、前記複数のポイント対は前記気管支ツリーの分岐である、請求項1に記載の方法。
- 複数のポイント対の対応は、前記2D内視鏡画像内のツリー構造内の分岐パターンを前記3D画像からの前記ツリー構造内の対応する分岐パターンと照合することにより決定される、請求項1に記載の方法。
- 前記ホモグラフィ行列は、前記決定されたポイント対を用いて導出される、請求項1に記載の方法。
- ホモグラフィ行列は、前記2D内視鏡画像の1より多い異なるサブセクションの各々について導出される、請求項1に記載の方法。
- 前記内視鏡画像の第1のフレームから前記内視鏡画像の第2のフレームにポイントを変換するための対応行列を決定するステップと、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理するステップと、
を更に有する請求項1に記載の方法。 - 複数の対応行列が用いられる、請求項8に記載の方法。
- 体積モダリティから未較正内視鏡ビデオにレンダリングされる構造オーバレイの動き補償の方法であって、
内視鏡画像のフレームから前記内視鏡画像のいかなる後続フレームにポイントを変換する対応行列を決定するステップと、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされたオーバレイ構造をワープ処理するステップと、
を有する方法。 - 体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするシステムであって、
プロセッサと、
前記プロセッサに動作可能に関連付けられるメモリと、
前記プロセッサに動作可能に関連付けられるディスプレイと、
前記メモリに符号化されたオーバレイプログラム命令であって、前記プロセッサにより実行され、
3D術前画像にある構造と2D内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定し、
推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出し、
前記導出した射影行列を用いて、前記3D画像からの前記構造の2D投影を前記2D内視鏡画像上にレンダリングし、
ホモグラフィ行列を決定し、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理する、
オーバレイプログラム命令と、
を有するシステム。 - 前記オーバレイプログラム命令は、前記2D内視鏡画像の1より多い異なるサブセクションの各々について、ホモグラフィ行列を導出する、請求項11に記載のシステム。
- 前記オーバレイプログラム命令は、前記プロセッサにより実行されると、さらに、
前記内視鏡画像の第1のフレームから前記内視鏡画像の第2のフレームにポイントを変換するための対応行列を決定し、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理する、
請求項11に記載のシステム。 - 複数の対応行列が用いられる、請求項13に記載のシステム。
- 体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムであって、前記コンピュータプログラムは、
3D術前画像にある構造と2D内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するコンピュータ実行可能命令と、
推定カメラパラメータ及び前記対応するポイント対を用いて前記3D画像から前記2D画像への変換のための射影行列を導出するコンピュータ実行可能命令と、
前記導出した射影行列を用いて、前記3D画像からの前記構造の2D投影を前記2D内視鏡画像上にレンダリングするコンピュータ実行可能命令と、
ホモグラフィ行列を決定するコンピュータ実行可能命令と、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、
を含むコンピュータ実行可能プログラム命令を有するコンピュータプログラム。 - ホモグラフィ行列は、前記2D内視鏡画像の1より多い異なるサブセクションの各々について導出される、請求項15に記載のコンピュータプログラム。
- 前記コンピュータ実行可能プログラム命令は、
前記内視鏡画像の第1のフレームから前記内視鏡画像の第2のフレームにポイントを変換するための対応行列を決定するコンピュータ実行可能命令と、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、
を更に有する、請求項15に記載のコンピュータプログラム。 - 複数の対応行列が用いられる、請求項17に記載のコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161578427P | 2011-12-21 | 2011-12-21 | |
US61/578,427 | 2011-12-21 | ||
PCT/IB2012/057393 WO2013093761A2 (en) | 2011-12-21 | 2012-12-17 | Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015506188A true JP2015506188A (ja) | 2015-03-02 |
Family
ID=47678905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014548289A Withdrawn JP2015506188A (ja) | 2011-12-21 | 2012-12-17 | 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140347353A1 (ja) |
EP (1) | EP2793680A2 (ja) |
JP (1) | JP2015506188A (ja) |
CN (1) | CN104010560A (ja) |
WO (1) | WO2013093761A2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11399900B2 (en) * | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
RU2686954C2 (ru) | 2012-06-28 | 2019-05-06 | Конинклейке Филипс Н.В. | Навигация с помощью оптоволоконного датчика для визуализации и мониторинга сосудов |
JP6049202B2 (ja) * | 2013-10-25 | 2016-12-21 | 富士フイルム株式会社 | 画像処理装置、方法、及びプログラム |
EP3096703B1 (en) | 2014-01-24 | 2018-03-14 | Koninklijke Philips N.V. | Continuous image integration for robotic surgery |
CN105979900B (zh) | 2014-02-04 | 2020-06-26 | 皇家飞利浦有限公司 | 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化 |
US10945796B2 (en) | 2014-02-12 | 2021-03-16 | Koninklijke Philips N.V. | Robotic control of surgical instrument visibility |
US10702346B2 (en) | 2014-07-15 | 2020-07-07 | Koninklijke Philips N.V. | Image integration and robotic endoscope control in X-ray suite |
CN107209938A (zh) * | 2015-01-30 | 2017-09-26 | 汤姆逊许可公司 | 用于生成图像的初始超像素标签图的方法和装置 |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
WO2018002347A1 (en) * | 2016-06-30 | 2018-01-04 | Koninklijke Philips N.V. | Registering tomographic imaging and endoscopic imaging |
WO2018104252A1 (en) | 2016-12-07 | 2018-06-14 | Koninklijke Philips N.V. | Image guided motion scaling for robot control |
US10417738B2 (en) | 2017-01-05 | 2019-09-17 | Perfect Corp. | System and method for displaying graphical effects based on determined facial positions |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
JP7146949B2 (ja) * | 2018-05-31 | 2022-10-04 | オーリス ヘルス インコーポレイテッド | 画像ベースの気道分析及びマッピング |
US11026585B2 (en) | 2018-06-05 | 2021-06-08 | Synaptive Medical Inc. | System and method for intraoperative video processing |
EP3618005A1 (en) | 2018-08-30 | 2020-03-04 | Koninklijke Philips N.V. | Image processing system and method |
GB2579843A (en) * | 2018-12-18 | 2020-07-08 | Continental Automotive Gmbh | Method and apparatus for calibrating the extrinsic parameter of an image sensor |
US11190803B2 (en) * | 2019-01-18 | 2021-11-30 | Sony Group Corporation | Point cloud coding using homography transform |
US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3078085B2 (ja) * | 1991-03-26 | 2000-08-21 | オリンパス光学工業株式会社 | 画像処理装置および画像処理方法 |
US6859549B1 (en) * | 2000-06-07 | 2005-02-22 | Nec Laboratories America, Inc. | Method for recovering 3D scene structure and camera motion from points, lines and/or directly from the image intensities |
SE519884C2 (sv) * | 2001-02-02 | 2003-04-22 | Scalado Ab | Metod för zoomning och för att framställa en zoomningsbar bild |
JP3975736B2 (ja) * | 2001-12-07 | 2007-09-12 | ソニー株式会社 | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2005522274A (ja) * | 2002-04-17 | 2005-07-28 | スーパー ディメンション リミテッド | 内視鏡構造と分岐構造内の標的にナビゲートするための技術 |
KR100779634B1 (ko) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
US20110282151A1 (en) * | 2008-10-20 | 2011-11-17 | Koninklijke Philips Electronics N.V. | Image-based localization method and system |
US7885011B1 (en) * | 2009-08-19 | 2011-02-08 | General Electric Company | Objective for optical imaging systems |
US8675926B2 (en) * | 2010-06-08 | 2014-03-18 | Microsoft Corporation | Distinguishing live faces from flat surfaces |
KR101677561B1 (ko) * | 2010-12-08 | 2016-11-18 | 한국전자통신연구원 | 영상 정합 장치 및 그것의 영상 정합 방법 |
WO2012156873A1 (en) * | 2011-05-18 | 2012-11-22 | Koninklijke Philips Electronics N.V. | Endoscope segmentation correction for 3d-2d image overlay |
-
2012
- 2012-12-17 JP JP2014548289A patent/JP2015506188A/ja not_active Withdrawn
- 2012-12-17 EP EP12823006.7A patent/EP2793680A2/en not_active Withdrawn
- 2012-12-17 US US14/363,840 patent/US20140347353A1/en not_active Abandoned
- 2012-12-17 CN CN201280063699.5A patent/CN104010560A/zh active Pending
- 2012-12-17 WO PCT/IB2012/057393 patent/WO2013093761A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2013093761A2 (en) | 2013-06-27 |
WO2013093761A3 (en) | 2013-08-08 |
EP2793680A2 (en) | 2014-10-29 |
CN104010560A (zh) | 2014-08-27 |
US20140347353A1 (en) | 2014-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015506188A (ja) | 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償 | |
Haouchine et al. | Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery | |
Gao et al. | Registration of 3D trans-esophageal echocardiography to X-ray fluoroscopy using image-based probe tracking | |
US8532352B2 (en) | Method and system for intraoperative guidance using physiological image fusion | |
JP5896737B2 (ja) | 呼吸測定器、呼吸測定器の作動方法、及び呼吸測定コンピュータプログラム | |
Liao et al. | A review of recent advances in registration techniques applied to minimally invasive therapy | |
US8923590B2 (en) | Method and system for 3D cardiac motion estimation from single scan of C-arm angiography | |
US9384546B2 (en) | Method and system for pericardium based model fusion of pre-operative and intra-operative image data for cardiac interventions | |
US20100061611A1 (en) | Co-registration of coronary artery computed tomography and fluoroscopic sequence | |
Puerto-Souza et al. | Toward long-term and accurate augmented-reality for monocular endoscopic videos | |
RU2711140C2 (ru) | Редактирование медицинских изображений | |
Khalil et al. | An overview on image registration techniques for cardiac diagnosis and treatment | |
JP2012205899A (ja) | 3次元的モデルを利用した身体臓器の映像生成方法及び装置並びにコンピュータ読み取り可能な記録媒体 | |
JP2014140742A (ja) | 動いている器官の目標エリア内のオブジェクトを追跡するための方法および装置 | |
JP2007268259A (ja) | 局所的に重み付けされた適合化を使用する画像位置合わせ | |
JP2019517291A (ja) | 内視鏡画像及び超音波画像の画像ベースの融合 | |
JP2014509895A (ja) | 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法 | |
CN111657978A (zh) | 解剖体表示与实况图像的配对 | |
Huang et al. | Rapid dynamic image registration of the beating heart for diagnosis and surgical navigation | |
Brost et al. | Constrained registration for motion compensation in atrial fibrillation ablation procedures | |
Szpala et al. | Real-time fusion of endoscopic views with dynamic 3-D cardiac images: a phantom study | |
Nakamoto et al. | Recovery of respiratory motion and deformation of the liver using laparoscopic freehand 3D ultrasound system | |
JP6960921B2 (ja) | 投影データセットの提供 | |
Fischer et al. | An MR-based model for cardio-respiratory motion compensation of overlays in X-ray fluoroscopy | |
WO2011031134A1 (en) | Image processing method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151214 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20160412 |