JP2007509649A6 - Local path automatic planning method and apparatus for virtual colonoscopy - Google Patents

Local path automatic planning method and apparatus for virtual colonoscopy Download PDF

Info

Publication number
JP2007509649A6
JP2007509649A6 JP2006536525A JP2006536525A JP2007509649A6 JP 2007509649 A6 JP2007509649 A6 JP 2007509649A6 JP 2006536525 A JP2006536525 A JP 2006536525A JP 2006536525 A JP2006536525 A JP 2006536525A JP 2007509649 A6 JP2007509649 A6 JP 2007509649A6
Authority
JP
Japan
Prior art keywords
path
centerline
current
calculating
lumen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006536525A
Other languages
Japanese (ja)
Other versions
JP2007509649A (en
Inventor
ガイガー ベルンハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/753,703 external-priority patent/US7081088B2/en
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2007509649A publication Critical patent/JP2007509649A/en
Publication of JP2007509649A6 publication Critical patent/JP2007509649A6/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

本発明は、仮想内視鏡検査法のためのローカルパス自動プランニング方法に関しており、後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出するステップと、管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、前記センターラインパスの各々に対して前記比較に基づく評点を割当てるステップと、前記評点に基づいてセンターラインパスを選択するステップとが含まれている。  The present invention relates to a local path automated planning method for virtual endoscopy, deriving a colon data set obtained by a colon examination protocol for use in subsequent steps, Determining a sub-volume around an endoscope position; executing a region growing within the lumen starting from the current endoscope position; and a plurality of cube faces circumscribing the sub-volume Calculating and clustering the intersection of the region with the region, calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step, and the centerline path Comparing each to a current path indicated by an endoscope, and for each of the centerline paths Assigning a score based on the comparison and includes the steps of selecting a centerline path based on the scores.

Description

この出願は、2003年1月30日付けで米国特許商標庁にタイトル“Automatic Local Path Planning for Virtual Colonoscopy”、発明者“Bernhard Geiger”のもとで提出された米国仮特許出願番号第60/443734号明細書に基づく優先権を主張するものである。また本願は、2003年5月14日付けで米国特許商標庁にタイトル“Fast Centerline Extraction”、発明者“Bernhard Geiger/Jean Daniel Boissonnat”のもとで提出された米国仮特許出願番号第60/470579号明細書に基づく優先権を主張するものである。   This application was filed with the US Patent and Trademark Office on 30 January 2003 under the title “Automatic Local Path Planning for Virtual Colonoscopy” and inventor “Bernhard Geiger”, US Provisional Patent Application No. 60/443734. Claims priority based on the specification. This application is also filed with the United States Patent and Trademark Office on May 14, 2003 under the title “Fast Centerline Extraction” and inventor “Bernhard Geiger / Jean Daniel Boissonnat”, US Provisional Patent Application No. 60/470579. Claims priority based on the specification.

本発明は基本的には、コンピュータ・ビジョン・イメージング・システムに関するものであり、詳細には、仮想内視法や仮想結腸鏡検査法に使用されるようなローカルパス(局所的経路)の自動プランニングのための方法及び装置(システム)に関している。   The present invention basically relates to computer vision imaging systems, and in particular, automatic planning of local paths as used in virtual endoscopy and virtual colonoscopy. The present invention relates to a method and apparatus (system).

背景技術
仮想結腸鏡検査法(VC)とは、患者固有の解剖学的三次元(3D)データセットを用いて、標準的な最小限の侵襲的内視鏡による手順のコンピュータシミュレーションに基づいた診断方法に関するものである。現下の内視鏡的手順の例としては、気管支鏡検査法、副鼻洞内視鏡検査法、上部消化管内視鏡検査法、結腸鏡検査法、膀胱鏡検査法、心臓内視鏡検査法、尿道鏡検査法などが挙げられる。非侵襲的に得られる患者固有の解剖学的構造のVC視覚化では、次のようなリスク、すなわち穿孔、感染、出血などのリスクが避けられ、さらに実際の内視鏡検査に先立って重要な情報が内視鏡操作者に提供される。そのような知識は、手順の困難性を最小化させ、患者の罹患率を低減させ、練度を高め、治療結果のより良好な理解を深める。
BACKGROUND ART Virtual colonoscopy (VC) is a diagnosis based on computer simulation of a standard minimally invasive endoscopic procedure using a patient-specific anatomical three-dimensional (3D) data set. It is about the method. Examples of current endoscopic procedures include bronchoscopy, sinus endoscopy, upper gastrointestinal endoscopy, colonoscopy, cystoscopy, cardiac endoscopy And urethoscopy. VC visualization of patient-specific anatomical structures obtained non-invasively avoids the following risks: perforation, infection, bleeding, etc., and is important prior to actual endoscopy Information is provided to the endoscope operator. Such knowledge minimizes procedural difficulties, reduces patient morbidity, increases practicability, and improves a better understanding of treatment results.

仮想結腸鏡検査法において、3Dイメージは、二次元(2D)のコンピュータトモグラフィ(CT)データや核磁気共鳴(MR)データから例えばボリュームレンダリングによって作成される。   In virtual colonoscopy, 3D images are created from, for example, volume rendering from two-dimensional (2D) computer tomography (CT) data or nuclear magnetic resonance (MR) data.

これらの3Dイメージは、実際の内視鏡、例えば光ファイバ内視鏡から到来する画像をシミュレートすべく作成される。このことは、仮想内視鏡の視点が器官や他の人体組織の管腔を内部から広い視野角(典型的には約100度の弧)で捉えなければならないことを意味する。この視点は、管腔の内部に沿って移動されなければならず、このことは、立体的(3D)な並進運動と立体的(3D)な回転が提供されなければならないことを意味する。これらのパラメータを相互的(対話的)にコントロールすることは課題である。   These 3D images are created to simulate images coming from an actual endoscope, such as a fiber optic endoscope. This means that the viewpoint of the virtual endoscope must capture the lumen of an organ or other human tissue from the inside with a wide viewing angle (typically about 100 degrees arc). This viewpoint must be moved along the interior of the lumen, which means that a stereoscopic (3D) translational movement and a stereoscopic (3D) rotation must be provided. Controlling these parameters interactively is a challenge.

仮想内視鏡の視点を誘導するための通常用いられる技法は、事前に“フライトパス”を計算し、このパスに沿って仮想結腸鏡の視点を自動的に動かすことである。しかしながらこの技法には、失敗の可能性を伴いかつ時間のかかるセグメント化とトラジェクトリ計算ステップが要求される。   A commonly used technique for navigating the virtual endoscope viewpoint is to calculate a “flight path” in advance and automatically move the virtual colonoscope viewpoint along this path. However, this technique requires a segmentation and trajectory calculation step with potential for failure and time.

2002年12月18日付けでタイトル名“Automatic Navigation for Virtual ENdoscopy”のもとに提出された先の出願第10/322、326号明細書の内容は、ここでは本願との互換性がないわけではない参照程度の文献として取り上げる。ここでは、前進のための最長視線を用いた内部結腸データセットの誘導システム及び方法が開示されている。この先の出願は、仮想結腸鏡検査法における内視鏡の視点の自動誘導のためのシステム及び方法を示したものである。このシステムは自動的に仮想内視鏡の方向と向きを確定している。それ故にユーザーは、ただ1つのパラメータのみ、すなわち前進速度若しくは後退速度のみの制御を必要とし、この方法は、事前処理(すなわちセグメント化やパス作成)なしで、器官内部での直接の相互作用的誘導を可能にしている。前記出願の方法には以下のステップが含まれている。すなわち、
a)仮想内視鏡の初期視点を確定するステップ、この初期視点は第1のセンターポイントと第1の方向を有している
b)管腔に対する初期視点からの最長視線を確定するステップ、この最長視線は第1の最長視線方向を有する
c)初期視点の第1の方向と第1の最長視線方向との間の第2の方向を確定するステップ
d)視点を第2の方向に転じ、初期視点をその第1の方向において所定の第1の間隔だけ動かすステップ
e)視点の第2のセンターポイントを計算するステップ
f)視点を第2のセンターポイントに動かし、そして前記ステップb)からf)までを視点が所期のターゲットに到達するまで繰返すステップ。
The contents of the previous application No. 10/322, 326 filed on December 18, 2002 under the title "Automatic Navigation for Virtual ENdoscopy" are not here compatible with the present application. It is taken up as a reference document that is not. Disclosed herein is an internal colon dataset guidance system and method that uses the longest line of sight for advancement. This earlier application shows a system and method for automatic guidance of the endoscopic viewpoint in virtual colonoscopy. This system automatically determines the direction and orientation of the virtual endoscope. The user therefore only needs to control only one parameter, ie forward or backward speed, and this method is directly interactive inside the organ without any pre-processing (ie segmentation or path creation). It enables guidance. The method of the application includes the following steps. That is,
a) determining an initial viewpoint of the virtual endoscope, the initial viewpoint having a first center point and a first direction; b) determining a longest line of sight from the initial viewpoint with respect to the lumen; The longest line of sight has a first longest line of sight direction; c) determining a second direction between the first direction of the initial viewpoint and the first longest line of sight direction; d) turning the viewpoint to the second direction; Moving the initial viewpoint in the first direction by a predetermined first interval; e) calculating a second center point of the viewpoint; f) moving the viewpoint to the second center point; and from steps b) to f ) Until the viewpoint reaches the intended target.

発明の概要
前述の先の出願(Attorney Docket No. 2001P24461US)に開示されているシステムの作動においては、仮想結腸鏡検査法において、ある状況のもとでは、直角に折れ曲がって停滞したり深部での膨起による褶曲が生じる可能性が認められる。
SUMMARY OF THE INVENTION In operation of the system disclosed in the aforementioned earlier application (Attorney Docket No. 2001P24461US), virtual colonoscopy, under certain circumstances, bends at a right angle and stagnates in deep areas. The possibility of folds due to swelling is observed.

本発明の観点の1つによれば、組織の管腔内の仮想結腸鏡の視点を誘導するための方法が提供される。また本発明の観点によれば、自動パスプランニングのための方法が以下のステップを含む。すなわち、目下の内視鏡位置周辺のサブボリュームを確定するステップと、前記内視鏡位置から出発して管腔内部で成長する領域を実行するステップと、関心領域に外接する立方体の6つの面と成長領域との交差を計算しクラスタリングするステップと、内視鏡位置から各クラスタの中心までの概算的センターラインを計算するステップと、各々のパスを内視鏡の目下のパスと比較するステップと、最良の評点を検出するステップを含んでいる。   According to one aspect of the present invention, a method is provided for navigating a virtual colonoscopic viewpoint within a lumen of a tissue. According to an aspect of the invention, a method for automatic path planning includes the following steps. That is, a step of determining a sub-volume around the current endoscope position, a step of executing a region growing inside the lumen starting from the endoscope position, and six surfaces of a cube circumscribing the region of interest Calculating and clustering the intersection of the growth area with each other, calculating a rough center line from the endoscope position to the center of each cluster, and comparing each path with the current path of the endoscope And detecting the best score.

本発明の別の側面によれば、仮想内視鏡検査法のためのローカルパス自動プランニング方法が次のステップを含んでいる。すなわち、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出するステップと、管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、前記センターラインパスの各々に対して前記比較に基づく評点を割当てるステップと、前記評点に基づいてセンターラインパスを選択するステップとを含んでいる。
According to another aspect of the present invention, an automatic local path planning method for virtual endoscopy includes the following steps. That is,
Deriving a colon data set obtained by a colon examination protocol for use in subsequent steps, determining a sub-volume around the current endoscopic position in the lumen, and the current endoscopic position Starting with a region that grows within the lumen, calculating and clustering intersections of the cube with a plurality of faces circumscribing the subvolume, and the current endoscope position Calculating a rough centerline path from each to the center of each cluster formed in the preceding step, comparing each of the centerline paths to a current path indicated by an endoscope, and the centerline Assigning a score based on the comparison to each of the paths, and a centerline based on the score And a step of selecting a scan.

本発明の他の側面によれば、前記結腸検査プロトコルによって得られる結腸データセットを導出するステップに、コンピュータトモグラフィによって当該データセットを導出するステップが含まれる。   According to another aspect of the invention, deriving a colon dataset obtained by the colon examination protocol includes deriving the dataset by computer tomography.

また本発明の他の側面によれば、前記結腸検査プロトコルによって得られる結腸データセットを導出するステップに、核磁気共鳴によって当該データセットを導出するステップが含まれる。   According to another aspect of the present invention, deriving a colon data set obtained by the colon examination protocol includes deriving the data set by nuclear magnetic resonance.

さらに本発明の他の側面によれば、目下の内視鏡周辺でセンタリングされる所定の数のボクセルを導く立方体を確定するステップが含まれる。   Yet another aspect of the invention includes the step of determining a cube that leads a predetermined number of voxels centered around the current endoscope.

本発明の他の側面によれば、概算的センターラインパスを計算するステップに、初期パスを計算するステップと、前記初期パスをセンタリングし平滑化するステップとが含まれる。   According to another aspect of the present invention, calculating the approximate centerline path includes calculating an initial path and centering and smoothing the initial path.

本発明の別の有利な実施例によれば、前記初期パスをセンタリングし平滑化するステップに、ガウス平滑化を使用するステップが含まれる。   According to another advantageous embodiment of the invention, the step of centering and smoothing the initial path includes using Gaussian smoothing.

本発明のさらに別の実施例によれば、前記初期パスをセンタリングし平滑化するステップに、球体を頂点位置にてセットするステップと、前記球体のサイズを、管腔壁との衝突が生じるまで拡大するステップと、前記衝突からの移行フォースを計算するステップと、前記移行フォースを、前記球体がもはや衝突に陥らなくなるまで供給するステップと、前記球体のサイズを、当該管腔壁とのさらなる衝突が再び生じるまで拡大するステップと、 さらなる移行フォースを計算するステップと、前記さらなる移行フォースを、前記球体がもはや衝突を起こさなくなるまで供給するステップと、先行の3つのステップを、前記球体が衝突なしでそれ以上の成長ができなくなる最終的な位置に達するまで、繰返すステップと、前記最終的な位置を最終頂点位置として表示するステップとが含まれる。   According to yet another embodiment of the present invention, the step of centering and smoothing the initial path, the step of setting a sphere at the apex position, and the size of the sphere until a collision with a lumen wall occurs. Enlarging, calculating a transition force from the collision, supplying the transition force until the sphere no longer collides, and determining the size of the sphere to further collide with the lumen wall Expanding until the first time occurs again, calculating a further transition force, supplying the additional transition force until the sphere no longer collides, and the preceding three steps: Until the final position is reached at which no further growth is possible, and the final position is It includes a step of displaying a vertex position.

本発明のさらに別の実施例によれば、仮想内視鏡検査法のためのローカルパス自動プランニング方法に以下のステップが含まれる。すなわち、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出するステップと、管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、;この場合当該ステップにさらに、初期パスを計算するステップと、前記初期パスをセンタリングし平滑化するステップとが含まれており、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、前記センターラインパスの各々に対して前記比較に基づく評点を割当てるステップと、前記評点に基づいてセンターラインパスを選択するステップとが含まれる。
According to yet another embodiment of the present invention, a local path automatic planning method for virtual endoscopy includes the following steps. That is,
Deriving a colon data set obtained by a colon examination protocol for use in subsequent steps, determining a sub-volume around the current endoscopic position in the lumen, and the current endoscopic position Starting with a region that grows within the lumen, calculating and clustering intersections of the cube with a plurality of faces circumscribing the subvolume, and the current endoscope position Calculating an approximate centerline path from each to the center of each cluster formed in the preceding step; in this case, further comprising calculating an initial path, and centering and smoothing the initial path And comparing each of the centerline paths with the current path shown by the endoscope A step that includes the steps of assigning a score based on the comparison for each of the centerline path includes selecting a center line path based on the score is.

本発明の別の側面によれば、仮想内視鏡検査法のためのローカルパス自動プランニング方法に以下の方法ステップが含まれる。すなわち、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、前記比較に基づいて最適なセンターラインパスを選択するステップとが含まれる。
According to another aspect of the present invention, the following method steps are included in a local path automatic planning method for virtual endoscopy. That is,
Determining a subvolume around a current endoscope position in the lumen; executing a region starting from the current endoscope position and growing inside the lumen; and circumscribing the subvolume Calculating and clustering intersections between a plurality of surfaces of the cube to be processed and the region, and calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step Comparing each of the centerline paths with a current path indicated by an endoscope, and selecting an optimum centerline path based on the comparison.

本発明の別の側面によれば、仮想内視鏡検査法のためのローカルパス自動プランニングシステムが以下の手段を有するように構成されている。すなわち、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、前記比較に基づいて最適なセンターラインパスを選択する手段とを有するように構成されている。
According to another aspect of the present invention, an automatic local path planning system for virtual endoscopy is configured to include the following means. That is,
Means for determining a subvolume around a current endoscope position in the lumen; means for executing a region starting from the current endoscope position and growing inside the lumen; and circumscribing the subvolume Means for calculating and clustering intersections between a plurality of surfaces of a cube to be processed and the region, and means for calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in a preceding step And means for comparing each of the centerline paths with the current path indicated by the endoscope, and means for selecting the optimum centerline path based on the comparison.

また本発明の別の側面によれば、仮想内視鏡検査法のためのローカルパス自動プランニングシステムが以下の手段を有するように構成されている。すなわち、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出する手段と、管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、前記センターラインパスの各々に対して前記比較に基づく評点を割当てる手段と、前記評点に基づいてセンターラインパスを選択する手段とを有するように構成されている。
According to another aspect of the present invention, an automatic local path planning system for virtual endoscopy is configured to include the following means. That is,
Means for deriving a colon data set obtained by a colon examination protocol for use in subsequent steps; means for determining a sub-volume around a current endoscopic position in the lumen; and the current endoscopic position Means for executing a region growing within the lumen starting from the step, means for calculating and clustering intersections of the plurality of faces circumscribing the subvolume and the region, and the current endoscope position Means for calculating a rough centerline path from each to the center of each cluster formed in the preceding step, means for comparing each of the centerline paths with a current path indicated by an endoscope, and the centerline Means for assigning a score based on the comparison to each of the paths; and means for selecting a centerline path based on the score. Is constructed sea urchin.

さらに別の側面によれば、前記初期パスをセンタリングし平滑化する手段に、球体を頂点位置にてセットする手段と、前記球体のサイズを、管腔壁との衝突が生じるまで拡大する手段と、前記衝突からの移行フォースを計算する手段と、前記移行フォースを、前記球体がもはや衝突に陥らなくなるまで供給する手段と、前記球体のサイズを、当該管腔壁とのさらなる衝突が再び生じるまで拡大する手段と、さらなる移行フォースを計算する手段と、前記さらなる移行フォースを、前記球体がもはや衝突を起こさなくなるまで供給する手段と、先行の3つのステップを、前記球体が衝突なしでそれ以上の成長ができなくなる最終的な位置に達するまで、繰返す手段と、前記最終的な位置を最終頂点位置として表示する手段とが含まれている。   According to yet another aspect, means for centering and smoothing the initial path, means for setting a sphere at the apex position, means for expanding the size of the sphere until a collision with a lumen wall occurs, Means for calculating the transition force from the collision; means for supplying the transition force until the sphere no longer falls into collision; and the size of the sphere until a further collision with the lumen wall occurs again. Means for enlarging, means for calculating further transition forces, means for supplying said further transition forces until the sphere no longer collides, and the preceding three steps: Means for repeating until reaching a final position where growth cannot be achieved and means for displaying the final position as the final vertex position are included.

さらに別の側面によれば、仮想内視鏡検査法のためのローカルパス自動プランニング方法が次のステップを含んでいる。すなわち、管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、前記比較に基づいて最適なセンターラインパスを選択するステップとを含んでいる。   According to yet another aspect, a local path automatic planning method for virtual endoscopy includes the following steps. A step of determining a subvolume around a current endoscope position in a lumen; a step of executing a region starting from the current endoscope position and growing inside the lumen; and the subvolume Calculating and clustering the intersection of a plurality of cube faces circumscribing to the region, and calculating the approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step Comparing each of the centerline paths with a current path indicated by an endoscope, and selecting an optimal centerline path based on the comparison.

図面の簡単な説明
本発明の種々の態様のより完全な理解のために以下では図面に基づいて本発明の実施例を詳細に説明する。この場合
図1は、本発明の完全な理解を支援するために、曲折箇所において内視鏡の進行が停滞している典型的な状況を概略的に表した図であり、
図2及び図3は、本発明の実施例に使用され得るセンターライン抽出に関するボクセルパスを表した図であり、
図4は、本発明の実施例に使用され得るセンタリングステップを表した図である。
BRIEF DESCRIPTION OF THE DRAWINGS For a more complete understanding of the various aspects of the present invention, embodiments of the invention are described in detail below with reference to the drawings. In this case, FIG. 1 is a diagram schematically showing a typical situation in which the progress of the endoscope is stagnant at a bending point in order to support a complete understanding of the present invention.
2 and 3 are diagrams showing a voxel path for centerline extraction that can be used in an embodiment of the present invention.
FIG. 4 shows a centering step that can be used in an embodiment of the present invention.

実施例
本発明の方法及びシステムは、プログラミング可能なデジタルコンピュータを用いて実現され、その中で述べられている操作もコンピュータでの実現に関連していることを理解されたい。イメージングのコンテキストにおいては“エアー”“内腔/管腔”などの項は、典型的にはこれらの特徴の相応のイメージングを指すことを意味する。
Embodiments It should be understood that the method and system of the present invention is implemented using a programmable digital computer, and that the operations described therein are also related to the computer implementation. In the imaging context, terms such as “air”, “lumen / lumen” are typically meant to refer to the corresponding imaging of these features.

前述のように、所定の状況のもとでは、仮想結腸検査法のための従来方式のシステムの操作において、曲折箇所での停滞が生じ、あるいは仮想結腸検査において、深い膨起褶曲が生じ得る。図1には、内視鏡が曲折箇所において停滞している典型的な状況を表している。   As described above, under certain circumstances, stagnation at the bends may occur in the operation of conventional systems for virtual colon examination, or deep bulges may occur in virtual colon examination. FIG. 1 shows a typical situation in which the endoscope is stagnant at a bending point.

本発明の実施例によれば、内視鏡位置からの成長領域が3つのクラスターC0,C1,C2において立方体に交差している。このシステムは、各クラスタの中心に向けて内視鏡の新たなセンターラインを計算し、各々のパスを内視鏡のパスと比較する。ここでは、入力されるパスとの経路差を反映する評点が計算される。最も高い評点のパスは、結腸の方向に向けて最も続く(延在する)パスである。1つのクラスタのみが存在する場合には、システムは、進行阻止の存在と行き止まりに達していることを確定する。   According to the embodiment of the present invention, the growth region from the endoscope position intersects the cube in the three clusters C0, C1, and C2. The system calculates a new centerline of the endoscope towards the center of each cluster and compares each path with the path of the endoscope. Here, a score that reflects the path difference from the input path is calculated. The highest scoring path is the path that continues most (extends) towards the colon. If there is only one cluster, the system determines that there is a dead end and a dead end has been reached.

本発明によるパスの自動プランニング方法に基づく実施例によれば、まず目下の内視鏡位置周辺のサブボリューム空間を定めるステップが含まれている。次に、内腔内側の領域成長を実施するステップが実行され、これは目下の内視鏡位置から開始される。これに続いて、関心領域に外接する、成長領域と立方体の6面との交差部分の計算とクラスタリングを行うステップが実施される。各クラスタの中心に対する内視鏡位置からの概算的なセンターラインが計算される。各パスは、内視鏡の目下のパスと比較され、最高の評点が見つけだされる。   According to the embodiment based on the automatic path planning method according to the present invention, first, the step of defining the sub-volume space around the current endoscope position is included. Next, a step of performing region growth inside the lumen is performed, starting from the current endoscope position. This is followed by the steps of computing and clustering the intersection of the growth region and the six faces of the cube that circumscribe the region of interest. A rough centerline from the endoscope position for the center of each cluster is calculated. Each pass is compared to the current pass of the endoscope and the highest score is found.

概算的センターラインの計算ステップは、種々異なる方法での実行が可能である。大抵のセンターラインアルゴリズムでは、間引き、形態学的演算、距離変換、最小コストパス、“Dijkstra's”アルゴリズムなどが用いられている。これらのバックグランドとして例えば以下に述べるような文献が挙げられる。
Zhou et al.,“Three-Dimensional Skeleton and Centerline Generation Based on an Approximate Minimum Distance Field,”“The Visual Computer, 14:303-314(1998);R.Truyen,”,T.Deschamps,L.D.Cohen,“Clinical evaluation of an automatic path tracker for virtual colonoscopy, Medical Image Computing and Computer-Assisted Intervention(MICCAI), Utrecht, Netherlands,October 2001”,Chen et al.,“A Fast Algorithm to Generate Centerline for Virtual Colonoscopy, SPIE Conference, Feb. 12-18, 2000”,Richard Robb,“Virtual (Compted) Endoscopy: Development and Evaluation Using the Visible Human Datasets,”Oct.7-8,1996, www.mayo,edu; U.S.Patent 6,514,082, entitiled “System and method for performing a three-dimensional examination with collapse correction”
The approximate centerline calculation step can be performed in different ways. Most centerline algorithms use decimation, morphological operations, distance transformation, minimum cost path, “Dijkstra's” algorithm, etc. Examples of these backgrounds include the following documents.
Zhou et al., “Three-Dimensional Skeleton and Centerline Generation Based on an Approximate Minimum Distance Field,” “The Visual Computer, 14: 303-314 (1998); R. Truyen,”, T. Deschamps, LDCohen, “Clinical evaluation of an automatic path tracker for virtual colonoscopy, Medical Image Computing and Computer-Assisted Intervention (MICCAI), Utrecht, Netherlands, October 2001, Chen et al., “A Fast Algorithm to Generate Centerline for Virtual Colonoscopy, SPIE Conference, Feb 12-18, 2000 ”, Richard Robb,“ Virtual (Compted) Endoscopy: Development and Evaluation Using the Visible Human Datasets, ”Oct. 7-8, 1996, www.mayo, edu; USPatent 6,514,082, entitiled“ System and method for performing a three-dimensional examination with collapse correction ”

結腸のセグメント化を実行するその他の方法には、起点及び終点の計算の実行と、前述した仮出願第60/470579号に記載のような初期パスの計算が含まれる。これにはパスのセンタリングと平滑化が継続されており、これは、腸プレパラートと空気注入を含む典型的な結腸鏡検査法のプロトコルの使用によって得られる結腸データセットを用いて開始される。このデータセットは、空気に対する閾値の利用と接続される要素の分析によってセグメント化される。この場合結腸に属していない要素は、自動選択か若しくは手動選択で切り捨てられる。結腸に属する第1のボクセルから開始して、ボクセルの間隔ラベリングが実行され、典型的には連続的なナンバリングで実行される。例えば第1のボクセルにラベル0を与え、次の隣接ラベルにはラベル1、その次の隣接ラベルにはラベル2が与えられるように続けられる。検索は、起点p0に転化される最高位ラベルに対して行われる。この起点p0からは、新たな間隔ラベルマップが、間隔ラベリングの先行ステップの繰返しと最高位ナンバーを伴う他のボクセルの獲得によって作成される。これは終点p1である。   Other methods of performing colon segmentation include performing start and end point calculations and initial path calculations as described in the aforementioned provisional application 60/470579. This continues with centering and smoothing of the path, which begins with a colon data set obtained by use of typical colonoscopy protocols including intestinal preparations and air infusion. This data set is segmented by the use of thresholds for air and analysis of connected elements. In this case, elements that do not belong to the colon are truncated either automatically or manually. Starting with the first voxel belonging to the colon, voxel interval labeling is performed, typically with continuous numbering. For example, label 0 is given to the first voxel, label 1 is given to the next adjacent label, and label 2 is given to the next adjacent label. The search is performed on the highest label that is converted to the origin p0. From this starting point p0, a new interval label map is created by repeating the preceding steps of interval labeling and acquiring other voxels with the highest number. This is the end point p1.

終点p1からは、間隔ラベルは、起点p0で終了した接続ボクセルのパスを得るために用いられる。このことはp2の隣接ラベルの中で、より小さなラベルを備えたボクセルに対する検索によって行われ、これはp0に達するまで続けられる。図2a及び図3aには、初期ボクセルパスが表されている。結果として得られるパスは、基本的にはギザギザであり、そのため周知の技法、例えばガウス平滑化などを用いて平滑化が施される。いくつかの頂点(ないし節点)は、n個の隣接ラベルの重み付け平均によって置換えられ、その処理過程は、反復の数に亘って繰返される。いくつかの新たな頂点の位置では、腸壁との衝突毎に、新たな座標がセグメント化された結腸内にまだ存在しているものなのかどうかを検証することによってテストされる。衝突事象においては、衝突のない最後の位置で頂点が離れる。ある意味では、この過程は、結腸を通過して延伸する柔軟で重さのないストリングパスになぞらえることができる。図2b及び図3bには初期の平滑化ステップが示されている。図2c及び図3cは、最終的なセンタリングを表している。   From the end point p1, the interval label is used to obtain the path of the connected voxel that ends at the start point p0. This is done by searching for voxels with smaller labels among the neighboring labels of p2, which continues until p0 is reached. 2a and 3a represent the initial voxel path. The resulting path is basically jagged and is therefore smoothed using well-known techniques such as Gaussian smoothing. Some vertices (or nodes) are replaced by a weighted average of n adjacent labels, and the process is repeated for a number of iterations. Several new vertex locations are tested for each collision with the intestinal wall by verifying that the new coordinates are still present in the segmented colon. In a collision event, the vertex leaves at the last position where there is no collision. In a sense, this process can be compared to a flexible, unweighted string path that extends through the colon. An initial smoothing step is shown in FIGS. 2b and 3b. Figures 2c and 3c represent the final centering.

前述した実施例によれば、この平滑化パスは、拡大されるサイズを伴う球体を用いてセンタリングされる。図4には、小さな球体がパスに沿って頂点にてセンタリングされる様子が表されている。この球体上の複数の頂点は、腸壁との衝突毎にチェックされる。複数の頂点が衝突状態にある場合には、当該球体を腸壁から離すように動かすフォースが球体法線に基づいて定められる。球体はパスに対して垂直な面上での動きを余儀なくされる。球体がもはや衝突状態でなくなると、球体のサイズが増加され、再び衝突の計算とシフトが繰返される。この過程は、衝突を引き起すことなしで球体のさらなるシフト及び/又はサイズの拡大ができなくなる時に停止される。ここにおいて球体の中心が頂点に対する新たな位置として受け入れられる。この過程は、トラジェクトリ若しくはパスの次の頂点のために繰返される(図1のC参照)。この衝突検出技術と移行フォースの計算の概要については、2000年6月19〜23日にスイス国ジュネーブにおいて開催されたコンピュータグラフィックインターナショナル2000での“Geiger, B”による出版物“Real-Time-Collision Detection and Response for Complex Environments”に記載がある。しかしながら衝突検出及びフォース計算は、多面体の再構成よりはボクセルに基づいて直接実施される。つまり基本的には、前述のGeigerによる文献内で概説されている構想が基本的に続けられる。それに続いて、及びセンタリングの後で、パスは、衝突制御を伴う別のガウス平滑化を施される。この時はより少ない反復とより小さい隣接区域が使用される。   According to the embodiment described above, this smoothing pass is centered using a sphere with an enlarged size. FIG. 4 shows how a small sphere is centered at the apex along the path. A plurality of vertices on the sphere are checked for each collision with the intestinal wall. When a plurality of vertices are in a collision state, a force for moving the sphere away from the intestinal wall is determined based on the sphere normal. The sphere is forced to move on a plane perpendicular to the path. When the sphere is no longer in a collision state, the size of the sphere is increased and the collision calculation and shift are repeated again. This process is stopped when the sphere cannot be further shifted and / or increased in size without causing a collision. Here, the center of the sphere is accepted as a new position relative to the vertex. This process is repeated for the next vertex of the trajectory or path (see C in FIG. 1). For an overview of collision detection technology and migration force calculations, see “Real-Time-Collision” published by “Geiger, B” at Computer Graphics International 2000, June 19-23, 2000, in Geneva, Switzerland. Detection and Response for Complex Environments ”. However, collision detection and force calculation are performed directly based on voxels rather than polyhedral reconstruction. In other words, basically, the concept outlined in the aforementioned Geiger literature basically continues. Subsequent and after centering, the path is subjected to another Gaussian smoothing with collision control. This uses fewer iterations and smaller adjacent areas.

図4には、センタリングステップのための要約された手順が示されている。すなわち:
a)球体は頂点位置にてセットされる
b)球体サイズは、腸壁との衝突まで拡大される。衝突からは、移行フォースが計算される
c)この移行は、球体がもはや衝突に陥らなくなるまで供給される。球体のサイズは、再び拡大され、そこで腸壁との衝突が起こる
d)移行が計算される。この移行の後で球体は、それ以上の成長ができない位置に達する。
e)この位置は最終的な頂点位置を表す。
FIG. 4 shows a summarized procedure for the centering step. Ie:
a) The sphere is set at the apex position b) The sphere size is expanded to a collision with the intestinal wall. From the collision, the transition force is calculated c) This transition is supplied until the sphere no longer falls into collision. The size of the sphere is increased again, where d) the transition where collision with the intestinal wall occurs is calculated. After this transition, the sphere reaches a position where it cannot grow any further.
e) This position represents the final vertex position.

単なる形態学的操作を使用するものではない本発明の基本原理によれば有利には、所定の状況により早く達することができる。   According to the basic principle of the present invention, which does not use simple morphological operations, it is possible to reach a given situation more quickly.

本発明の実施例によれば、仮想結腸鏡検査法のためのローカルパス自動プランニング方法が以下に述べるようなステップを含んでいる。すなわち、
まず自動セグメント化が実行され、ここではこの自動セグメント化が、選択された立方体サイズのブロックにカットアウトされ(例えば128×128×128)、ボクセルは内視鏡の位置でセンタリングされる。核として内視鏡を含んだボクセルによって開始がなされると、内部の空間に成長する領域が実行される。空間を含み同じ管腔に属する全てのボクセルがラベリングされる。この柱状空間は、種々の箇所において立方体と交差する。それらの箇所は、クラスタリングされる。この場合共有的に面しているボクセルは同じクラスタに加算され、各クラスタの中心は、各クラスタのボクセルの座標の平均化によって算出される。各クラスタの中心から内視鏡の位置までのセンターラインが算出される。各センターラインは、内視鏡のパスと比較される。内視鏡の位置から開始されて、センターライン上の複数のポイントの差分の絶対値が、内視鏡パスの対応するポイントに加算される。和が長さによって除算され、評点(スコア)が定められる。より高い評点は、到来するパスからのセンターラインがより隔てられる。最も高い評点を有するパスは、追従するための最良の候補である。ただ1つのパスしか存在しない場合には、それは内視鏡を投入する最も有望な1つであり、システムは行き止まりの存在を検知する。
According to an embodiment of the present invention, an automatic local path planning method for virtual colonoscopy includes steps as described below. That is,
First, automatic segmentation is performed, where the automatic segmentation is cut out into selected cube-sized blocks (eg, 128 × 128 × 128) and the voxels are centered at the position of the endoscope. When initiated by a voxel that includes an endoscope as a nucleus, a region that grows in the interior space is executed. All voxels that contain space and belong to the same lumen are labeled. This columnar space intersects the cube at various points. Those locations are clustered. In this case, the voxels facing in common are added to the same cluster, and the center of each cluster is calculated by averaging the coordinates of the voxels of each cluster. A center line from the center of each cluster to the position of the endoscope is calculated. Each centerline is compared to the endoscope path. Starting from the position of the endoscope, the absolute value of the difference between the points on the center line is added to the corresponding point in the endoscope path. The sum is divided by the length to give a score. A higher score is more separated from the centerline from the incoming path. The path with the highest score is the best candidate to follow. If there is only one path, it is the most promising one to insert the endoscope and the system detects the presence of a dead end.

本発明は、最も実用的な仮想結腸鏡検査法の内容で主に説明してきたが、しかしながらこれは本願がその他のタイプの仮想内視鏡検査法に適していないことを意味するものではないことを理解されたい。また本発明は、例示的な実施例を用いて具体的に説明してきたが、当業者であるならばこれらの実施例の他にも、以下に述べる特許請求の範囲によって特定される本発明の趣旨を逸脱しない限り、種々異なる変更や変化実施例が可能であることも理解されたい。   The present invention has been mainly described in the context of the most practical virtual colonoscopy, however, this does not mean that the present application is not suitable for other types of virtual endoscopy. I want you to understand. Although the present invention has been specifically described using exemplary embodiments, those skilled in the art will be able to understand the present invention as specified by the following claims in addition to these embodiments. It should also be understood that various modifications and variations are possible without departing from the spirit.

曲折箇所において内視鏡の進行が停滞している典型的な状況を概略的に表した図A diagram that schematically shows a typical situation where the progress of the endoscope is stagnant at the bending point. 本発明の実施例に使用され得るセンターライン抽出に関するボクセルパスを表した図Figure representing a voxel path for centerline extraction that can be used in embodiments of the present invention. 本発明の実施例に使用され得るセンターライン抽出に関するボクセルパスを表した図Figure representing a voxel path for centerline extraction that can be used in embodiments of the present invention. 本発明の実施例に使用され得るセンタリングステップを表した図Diagram showing centering steps that can be used in an embodiment of the present invention

Claims (36)

仮想内視鏡検査法のためのローカルパス自動プランニング方法において、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出するステップと、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、
前記センターラインパスの各々に対して前記比較に基づく評点を割当てるステップと、 前記評点に基づいてセンターラインパスを選択するステップとが含まれていることを特徴とする方法。
In the local path automatic planning method for virtual endoscopy,
Deriving a colon data set obtained by a colon examination protocol for use in subsequent steps;
Determining a sub-volume around the current endoscopic position in the lumen;
Performing a region growing within the lumen starting from the current endoscope position;
Calculating and clustering intersections between a plurality of cubic faces circumscribing the subvolume and the region;
Calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step;
Comparing each of the centerline paths to a current path indicated by an endoscope;
Assigning a score based on the comparison to each of the centerline paths; and selecting a centerline path based on the scores.
前記結腸検査プロトコルによって得られる結腸データセットを導出するステップに、コンピュータトモグラフィ(CT)によって当該データセットを導出するステップが含まれる、請求項1記載の方法。   The method of claim 1, wherein deriving a colon dataset obtained by the colon examination protocol includes deriving the dataset by computer tomography (CT). 前記結腸検査プロトコルによって得られる結腸データセットを導出するステップに、核磁気共鳴(MR)によって当該データセットを導出するステップが含まれる、請求項1記載の方法。   The method of claim 1, wherein deriving a colon data set obtained by the colon examination protocol includes deriving the data set by nuclear magnetic resonance (MR). 目下の内視鏡周辺でセンタリングされる所定の数のボクセルを導く立方体を確定するステップが含まれる、請求項1記載の方法。   The method of claim 1 including the step of determining a cube that leads a predetermined number of voxels centered around a current endoscope. 前記管腔内の“空間”内部に成長する領域を形成し、前記管腔内の“空間”内で全てのボクセルをラベリングするステップが含まれる、請求項1記載の方法。   The method of claim 1, comprising forming a region that grows within a “space” within the lumen and labeling all voxels within the “space” within the lumen. 前記管腔内の空間が立方体の対応する面と交差するそれぞれの箇所にクラスタを形成し、前記各クラスタ内に当該クラスタに対応する共有面のボクセルを含ませるステップが含まれる、請求項1記載の方法。   The method includes forming a cluster at each location where a space in the lumen intersects a corresponding plane of a cube, and including a voxel of a shared plane corresponding to the cluster in each cluster. the method of. 各クラスタの中心を当該各クラスタのボクセルの座標の平均化によって算出するステップが含まれる、請求項6記載の方法。   The method of claim 6, comprising calculating the center of each cluster by averaging the coordinates of the voxels of each cluster. それぞれのセンターラインパスを、目下の内視鏡位置に対する各クラスタの中心から算出するステップを含んでいる、請求項7記載の方法。   The method of claim 7 including calculating each centerline path from the center of each cluster relative to the current endoscope position. 前記センターラインパスの各々に対して前記比較に基づく評点を割当てるステップに、
目下の内視鏡位置から開始するステップと、
内視鏡によって示される目下のパスの対応するポイントに対する各センターラインパスの複数のポイントの差分の絶対値の和が形成されるステップと、
商評点(スコア)を形成するために前記和が各センターラインパスの長さによって除算されるステップと、
最高位の商評点を有しているパスを選択するステップとが含まれる、請求項1記載の方法。
Assigning a score based on the comparison to each of the centerline paths;
Starting from the current endoscope position;
Forming a sum of absolute values of differences of a plurality of points of each centerline path with respect to corresponding points of the current path indicated by the endoscope;
The sum is divided by the length of each centerline path to form a commercial score (score);
The method of claim 1 including the step of selecting a path having the highest commercial score.
1つだけのセンターラインパスが存在し、そのような結果を行き止まりとして表示するステップが含まれる、請求項9記載の方法。   The method of claim 9, wherein there is only one centerline path and the step of displaying such a result as a dead end is included. 前記概算的センターラインパスを計算するステップに、
初期パスを計算するステップと、
前記初期パスをセンタリングし平滑化するステップとが含まれる、請求項1記載の方法。
Calculating the approximate centerline path;
Calculating an initial path;
The method of claim 1 including centering and smoothing the initial path.
前記初期パスを計算するステップに、
終点から、増加するラベルナンバーを伴う複数のボクセルを起点に達するまで連続的に記憶するステップが含まれる、請求項11記載の方法。
In the step of calculating the initial path,
12. The method of claim 11, comprising storing a plurality of voxels with increasing label numbers from the end point until the start point is reached.
前記初期パスをセンタリングし平滑化するステップに、ガウス平滑化を使用するステップが含まれる、請求項11記載の方法。   The method of claim 11, wherein centering and smoothing the initial path includes using Gaussian smoothing. 前記初期パスをセンタリングし平滑化するステップに、
球体を頂点位置にてセットするステップと、
前記球体のサイズを、管腔壁との衝突が生じるまで拡大するステップと、
前記衝突からの移行フォースを計算するステップと、
前記移行フォースを、前記球体がもはや衝突に陥らなくなるまで供給するステップと、
前記球体のサイズを、当該管腔壁とのさらなる衝突が再び生じるまで拡大するステップと、
さらなる移行フォースを計算するステップと、
前記さらなる移行フォースを、前記球体がもはや衝突を起こさなくなるまで供給するステップと、
先行の3つのステップを、前記球体が衝突なしでそれ以上の成長ができなくなる最終的な位置に達するまで、繰返すステップと。
前記最終的な位置を最終頂点位置として表示するステップとが含まれる、請求項13記載の方法。
Centering and smoothing the initial path;
Setting the sphere at the apex position;
Expanding the size of the sphere until a collision with the lumen wall occurs;
Calculating a transition force from the collision;
Supplying the transition force until the sphere no longer collides;
Expanding the size of the sphere until a further collision with the lumen wall occurs again;
Calculating additional migration forces;
Supplying the further transition force until the sphere no longer collides;
Repeating the previous three steps until the sphere reaches a final position where it can no longer grow without collision.
And displaying the final position as a final vertex position.
仮想内視鏡検査法のためのローカルパス自動プランニング方法において、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出するステップと、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、;この場合当該ステップにさらに、初期パスを計算するステップと、前記初期パスをセンタリングし平滑化するステップとが含まれており、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、
前記センターラインパスの各々に対して前記比較に基づく評点を割当てるステップと、 前記評点に基づいてセンターラインパスを選択するステップとが含まれていることを特徴とする方法。
In the local path automatic planning method for virtual endoscopy,
Deriving a colon data set obtained by a colon examination protocol for use in subsequent steps;
Determining a sub-volume around the current endoscopic position in the lumen;
Performing a region growing within the lumen starting from the current endoscope position;
Calculating and clustering intersections between a plurality of cubic faces circumscribing the subvolume and the region;
Calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step; in this case, further calculating an initial path in the step; and Centering and smoothing the path,
Comparing each of the centerline paths to a current path indicated by an endoscope;
Assigning a score based on the comparison to each of the centerline paths; and selecting a centerline path based on the scores.
前記結腸検査プロトコルによって得られる結腸データセットを導出するステップに、コンピュータトモグラフィ(CT)によって当該データセットを導出するステップが含まれる、請求項15記載の方法。   16. The method of claim 15, wherein deriving a colon data set obtained by the colon examination protocol includes deriving the data set by computer tomography (CT). 前記結腸検査プロトコルによって得られる結腸データセットを導出するステップに、核磁気共鳴(MR)によって当該データセットを導出するステップが含まれる、請求項15記載の方法。   16. The method of claim 15, wherein deriving a colon data set obtained by the colon examination protocol includes deriving the data set by nuclear magnetic resonance (MR). 仮想内視鏡検査法のためのローカルパス自動プランニング方法において、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定するステップと、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行するステップと、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングするステップと、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算するステップと、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較するステップと、
前記比較に基づいて最適なセンターラインパスを選択するステップとが含まれていることを特徴とする方法。
In the local path automatic planning method for virtual endoscopy,
Determining a sub-volume around the current endoscopic position in the lumen;
Performing a region growing within the lumen starting from the current endoscope position;
Calculating and clustering intersections between a plurality of cubic faces circumscribing the subvolume and the region;
Calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step;
Comparing each of the centerline paths to a current path indicated by an endoscope;
Selecting an optimal centerline path based on the comparison.
仮想内視鏡検査法のためのローカルパス自動プランニングシステムにおいて、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、
前記比較に基づいて最適なセンターラインパスを選択する手段とを有するように構成されていることを特徴とするシステム。
In the local path automatic planning system for virtual endoscopy,
Means for determining a subvolume around a current endoscopic position in the lumen;
Means for executing a region growing within the lumen starting from the current endoscopic position;
Means for computing and clustering intersections between a plurality of faces of a cube circumscribing the subvolume and the region;
Means for calculating a rough centerline path from the current endoscope position to the center of each cluster formed in the preceding step;
Means for comparing each of the centerline paths to the current path indicated by the endoscope;
And a means for selecting an optimum centerline path based on the comparison.
仮想内視鏡検査法のためのローカルパス自動プランニングシステムにおいて、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出する手段と、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、
前記センターラインパスの各々に対して前記比較に基づく評点を割当てる手段と、
前記評点に基づいてセンターラインパスを選択する手段とを有するように構成されていることを特徴とするシステム。
In the local path automatic planning system for virtual endoscopy,
Means for deriving a colon data set obtained by a colon examination protocol for use in subsequent steps;
Means for determining a subvolume around a current endoscopic position in the lumen;
Means for executing a region growing within the lumen starting from the current endoscopic position;
Means for computing and clustering intersections between a plurality of faces of a cube circumscribing the subvolume and the region;
Means for calculating a rough centerline path from the current endoscope position to the center of each cluster formed in the preceding step;
Means for comparing each of the centerline paths to the current path indicated by the endoscope;
Means for assigning a score based on the comparison to each of the centerline paths;
And a means for selecting a centerline path based on the score.
前記結腸検査プロトコルによって得られる結腸データセットを導出する手段に、コンピュータトモグラフィ(CT)によって当該データセットを導出する手段が含まれている、請求項20記載のシステム。   21. The system of claim 20, wherein means for deriving a colon data set obtained by the colon examination protocol includes means for deriving the data set by computer tomography (CT). 前記結腸検査プロトコルによって得られる結腸データセットを導出する手段に、核磁気共鳴(MR)によって当該データセットを導出する手段が含まれている、請求項20記載のシステム。   21. The system of claim 20, wherein means for deriving a colon data set obtained by the colon examination protocol includes means for deriving the data set by nuclear magnetic resonance (MR). 目下の内視鏡周辺でセンタリングされる所定の数のボクセルを導く立方体を確定する手段が含まれている、請求項20記載のシステム。   21. The system of claim 20, including means for determining a cube that leads a predetermined number of voxels centered around a current endoscope. 前記管腔内の“空間”内部に成長する領域を形成し、前記管腔内の“空間”内で全てのボクセルをラベリングする手段が含まれている、請求項20記載のシステム。   21. The system of claim 20, including means for forming a region that grows within a "space" within the lumen and labeling all voxels within the "space" within the lumen. 前記管腔内の空間が立方体の対応する面と交差するそれぞれの箇所にクラスタを形成し、前記各クラスタ内に当該クラスタに対応する共有面のボクセルを含ませる手段が含まれている、請求項20記載のシステム。   Means for forming a cluster at each location where a space in the lumen intersects a corresponding plane of a cube and including a voxel of a shared plane corresponding to the cluster in each cluster. 20. The system according to 20. 各クラスタの中心を当該各クラスタのボクセルの座標の平均化によって算出する手段が含まれている、請求項25記載のシステム。   26. The system of claim 25, comprising means for calculating the center of each cluster by averaging the coordinates of the voxels of each cluster. それぞれのセンターラインパスを、目下の内視鏡位置に対する各クラスタの中心から算出する手段が含まれている、請求項26記載のシステム。   27. The system of claim 26, including means for calculating each centerline path from the center of each cluster relative to the current endoscope position. 前記センターラインパスの各々に対して前記比較に基づく評点を割当てる手段に、
目下の内視鏡位置から開始する手段と、
内視鏡によって示される目下のパスの対応するポイントに対する各センターラインパスの複数のポイントの差分の絶対値の和が形成される手段と、
商評点(スコア)を形成するために前記和が各センターラインパスの長さによって除算される手段と、
最高位の商評点を有しているパスを選択する手段とが含まれている、請求項20記載のシステム。
Means for assigning a score based on the comparison to each of the centerline paths;
Means starting from the current endoscope position;
Means for forming a sum of absolute values of differences of a plurality of points of each centerline path with respect to corresponding points of the current path indicated by the endoscope;
Means by which the sum is divided by the length of each centerline path to form a commercial score (score);
21. The system of claim 20, including means for selecting a path having the highest commercial score.
1つだけのセンターラインパスが存在し、そのような結果を行き止まりとして表示する手段が含まれている、請求項28記載のシステム。   29. The system of claim 28, wherein there is only one centerline path and means for displaying such a result as a dead end is included. 前記概算的センターラインパスを計算する手段に、
初期パスを計算する手段と、
前記初期パスをセンタリングし平滑化する手段とが含まれている、請求項20記載のシステム。
Means for calculating the approximate centerline path include:
A means of calculating an initial path;
21. The system of claim 20, including means for centering and smoothing the initial path.
前記初期パスを計算する手段に、
終点から、増加するラベルナンバーを伴う複数のボクセルを起点に達するまで連続的に記憶する手段が含まれている、請求項30記載のシステム。
In the means for calculating the initial path,
31. The system of claim 30, including means for continuously storing a plurality of voxels with increasing label numbers from the end point until the start point is reached.
前記初期パスをセンタリングし平滑化する手段に、ガウス平滑化を使用する手段が含まれている、請求項30記載のシステム。   32. The system of claim 30, wherein the means for centering and smoothing the initial path includes means for using Gaussian smoothing. 前記初期パスをセンタリングし平滑化する手段に、
球体を頂点位置にてセットする手段と、
前記球体のサイズを、管腔壁との衝突が生じるまで拡大する手段と、
前記衝突からの移行フォースを計算する手段と、
前記移行フォースを、前記球体がもはや衝突に陥らなくなるまで供給する手段と、
前記球体のサイズを、当該管腔壁とのさらなる衝突が再び生じるまで拡大する手段と、
さらなる移行フォースを計算する手段と、
前記さらなる移行フォースを、前記球体がもはや衝突を起こさなくなるまで供給する手段と、
先行の3つのステップを、前記球体が衝突なしでそれ以上の成長ができなくなる最終的な位置に達するまで、繰返す手段と
前記最終的な位置を最終頂点位置として表示する手段とが含まれている、請求項30記載のシステム。
Means for centering and smoothing the initial path,
Means for setting the sphere at the apex position;
Means for enlarging the size of the sphere until a collision with the lumen wall occurs;
Means for calculating a transition force from the collision;
Means for supplying the transition force until the sphere no longer collides;
Means for increasing the size of the sphere until a further collision with the lumen wall occurs again;
A means to calculate additional migration forces;
Means for supplying said further transition force until said sphere no longer collides;
Means for repeating the previous three steps until the sphere reaches a final position where no further growth can occur without collision and means for displaying the final position as the final vertex position. The system of claim 30.
仮想内視鏡検査法のためのローカルパス自動プランニングシステムにおいて、
後続するステップにおける利用のために結腸検査プロトコルによって得られる結腸データセットを導出する手段と、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、;この場合当該手段にさらに、初期パスを計算する手段と、前記初期パスをセンタリングし平滑化する手段とが含まれており、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、
前記センターラインパスの各々に対して前記比較に基づく評点を割当てる手段と、
前記評点に基づいてセンターラインパスを選択する手段とを有するように構成されていることを特徴とするシステム。
In the local path automatic planning system for virtual endoscopy,
Means for deriving a colon data set obtained by a colon examination protocol for use in subsequent steps;
Means for determining a subvolume around a current endoscopic position in the lumen;
Means for executing a region growing within the lumen starting from the current endoscopic position;
Means for computing and clustering intersections between a plurality of faces of a cube circumscribing the subvolume and the region;
Means for calculating an approximate centerline path from the current endoscope position to the center of each cluster formed in the preceding step; in this case, further means for calculating an initial path; Means for centering and smoothing the path,
Means for comparing each of the centerline paths to the current path indicated by the endoscope;
Means for assigning a score based on the comparison to each of the centerline paths;
And a means for selecting a centerline path based on the score.
仮想内視鏡検査法のためのローカルパス自動プランニングシステムにおいて、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、
前記比較に基づいて最適なセンターラインパスを選択する手段とを有するように構成されていることを特徴とするシステム。
In the local path automatic planning system for virtual endoscopy,
Means for determining a subvolume around a current endoscopic position in the lumen;
Means for executing a region growing within the lumen starting from the current endoscopic position;
Means for computing and clustering intersections between a plurality of faces of a cube circumscribing the subvolume and the region;
Means for calculating a rough centerline path from the current endoscope position to the center of each cluster formed in the preceding step;
Means for comparing each of the centerline paths to the current path indicated by the endoscope;
And a means for selecting an optimum centerline path based on the comparison.
仮想内視鏡検査法のためのローカルパス自動プランニングシステムにおいて、
管腔内の目下の内視鏡位置周辺のサブボリュームを確定する手段と、
前記目下の内視鏡位置から開始して当該管腔内部で成長する領域を実行する手段と、
前記サブボリュームに外接する立方体の複数の面と前記領域との交差を計算しクラスタリングする手段と、
前記目下の内視鏡位置から先行ステップにて形成された各クラスタの中心までの概算的センターラインパスを計算する手段と、
前記センターラインパスの各々を内視鏡によって示される目下のパスと比較する手段と、
前記比較に基づいて最適なセンターラインパスを選択する手段とを有するように構成されていることを特徴とするシステム。
In the local path automatic planning system for virtual endoscopy,
Means for determining a subvolume around a current endoscopic position in the lumen;
Means for executing a region growing within the lumen starting from the current endoscopic position;
Means for computing and clustering intersections between a plurality of faces of a cube circumscribing the subvolume and the region;
Means for calculating a rough centerline path from the current endoscope position to the center of each cluster formed in the preceding step;
Means for comparing each of the centerline paths to the current path indicated by the endoscope;
And a means for selecting an optimum centerline path based on the comparison.
JP2006536525A 2003-01-30 2004-01-09 Local path automatic planning method and apparatus for virtual colonoscopy Withdrawn JP2007509649A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US44373403P 2003-01-30 2003-01-30
US60/443,734 2003-01-30
US10/753,703 US7081088B2 (en) 2003-01-30 2004-01-08 Method and apparatus for automatic local path planning for virtual colonoscopy
US10/753,703 2004-01-08
PCT/US2004/000595 WO2004070656A2 (en) 2003-01-30 2004-01-09 Method and apparatus for automatic local path planning for virtual colonoscopy

Publications (2)

Publication Number Publication Date
JP2007509649A JP2007509649A (en) 2007-04-19
JP2007509649A6 true JP2007509649A6 (en) 2007-10-11

Family

ID=32853341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006536525A Withdrawn JP2007509649A (en) 2003-01-30 2004-01-09 Local path automatic planning method and apparatus for virtual colonoscopy

Country Status (4)

Country Link
US (1) US7081088B2 (en)
JP (1) JP2007509649A (en)
DE (1) DE112004000128B4 (en)
WO (1) WO2004070656A2 (en)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457444B2 (en) * 2003-05-14 2008-11-25 Siemens Medical Solutions Usa, Inc. Method and apparatus for fast automatic centerline extraction for virtual endoscopy
US6996205B2 (en) * 2003-06-24 2006-02-07 Ge Medical Ssytems Global Technology Company, Llc Methods and apparatus to facilitate review of CT colonography exams
DE102004027709B4 (en) * 2004-06-07 2006-08-10 Siemens Ag Method of virtual endoscopy for medical 3D image display and processing, computed tomography device, workstation and computer program product
CN102110309B (en) * 2004-06-23 2013-06-26 皇家飞利浦电子股份有限公司 Virtual endoscopy
EP1856642A2 (en) * 2005-02-23 2007-11-21 Koninklijke Philips Electronics N.V. Method for the prediction of the course of a catheter
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
EP1913554A2 (en) * 2005-08-01 2008-04-23 Koninklijke Philips Electronics N.V. Method and apparatus for matching first and second image data of an object
US7379062B2 (en) * 2005-08-01 2008-05-27 Barco Nv Method for determining a path along a biological object with a lumen
CA2620196A1 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US20070046661A1 (en) * 2005-08-31 2007-03-01 Siemens Medical Solutions Usa, Inc. Three or four-dimensional medical imaging navigation methods and systems
US8112292B2 (en) 2006-04-21 2012-02-07 Medtronic Navigation, Inc. Method and apparatus for optimizing a therapy
US8041141B2 (en) * 2006-06-30 2011-10-18 The University Of Louisville Research Foundation, Inc. Method and software for shape representation with curve skeletons
US8014561B2 (en) * 2006-09-07 2011-09-06 University Of Louisville Research Foundation, Inc. Virtual fly over of complex tubular anatomical structures
US8660635B2 (en) 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US8514218B2 (en) 2007-08-14 2013-08-20 Siemens Aktiengesellschaft Image-based path planning for automated virtual colonoscopy navigation
US20100260393A1 (en) * 2007-12-07 2010-10-14 Koninklijke Philips Electronics N.V. Navigation guide
US9002076B2 (en) * 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8335552B2 (en) * 2009-03-20 2012-12-18 Medtronic, Inc. Method and apparatus for instrument placement
US8817014B2 (en) * 2009-11-23 2014-08-26 Siemens Medical Solutions Usa, Inc. Image display of a tubular structure
DE102010047278A1 (en) 2010-10-01 2012-04-05 Thermosensorik Gmbh Method for automatic determination of center line of free-formed object, involves closely continuing detection process in scanning direction within test area, where scanning and detection directions are formed as determination parameters
WO2013147919A1 (en) 2012-03-29 2013-10-03 Dcg Systems, Inc. Method for evaluating the centerline of an arbitrarily shaped object
US9786097B2 (en) * 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10373719B2 (en) * 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US9536309B2 (en) * 2014-11-27 2017-01-03 Synaptive Medical (Barbados) Inc. Method, system and apparatus for displaying surgical engagement paths
US10426424B2 (en) 2017-11-21 2019-10-01 General Electric Company System and method for generating and performing imaging protocol simulations
US11413097B2 (en) 2019-12-31 2022-08-16 Biosense Webster (Israel) Ltd. Three dimensional mapping system for cranial surgical pathways with semi-targets and method
US11771505B2 (en) * 2019-12-31 2023-10-03 Biosense Webster (Israel) Ltd. Three dimensional mapping system for cranial surgical pathways and method
WO2022031995A1 (en) * 2020-08-06 2022-02-10 Canon U.S.A., Inc. Methods for operating a medical continuum robot

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611025A (en) * 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6928314B1 (en) * 1998-01-23 2005-08-09 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
US6690816B2 (en) * 2000-04-07 2004-02-10 The University Of North Carolina At Chapel Hill Systems and methods for tubular object processing
US7457444B2 (en) * 2003-05-14 2008-11-25 Siemens Medical Solutions Usa, Inc. Method and apparatus for fast automatic centerline extraction for virtual endoscopy
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning

Similar Documents

Publication Publication Date Title
JP2007509649A (en) Local path automatic planning method and apparatus for virtual colonoscopy
JP2007509649A6 (en) Local path automatic planning method and apparatus for virtual colonoscopy
US7634124B2 (en) Method and apparatus for fast automatic centerline extraction for virtual endoscopy
KR100701235B1 (en) System and method for performing a three-dimensional virtual segmentation and examination
Schlathoelter et al. Simultaneous segmentation and tree reconstruction of the airways for virtual bronchoscopy
Wan et al. Automatic centerline extraction for virtual colonoscopy
EP1058913B1 (en) Method, system and apparatus for processing an image representing a tubular structure and for constructing a path through said structure
JP3874826B2 (en) Method for simulating an endoscope and virtual examination system for obtaining a view of the lumen of a subject
KR100790536B1 (en) A method for generating a fly-path through a virtual colon lumen
EP2115702B1 (en) Methods and apparatus for 3d route planning through hollow organs
US7570986B2 (en) Teniae coli guided navigation and registration for virtual colonoscopy
US20090048482A1 (en) Image-based Path Planning for Automated Virtual Colonoscopy Navigation
JP2006246941A (en) Image processing apparatus and vessel tracking method
Haigron et al. Depth-map-based scene analysis for active navigation in virtual angioscopy
US9558589B2 (en) Medical image display apparatus, method, and program
Perchet et al. Advanced navigation tools for virtual bronchoscopy
WO2014192275A1 (en) Projection image generating device, method and program
Gibbs et al. 3D path planning and extension for endoscopic guidance
JP6026357B2 (en) Virtual endoscopic image generation apparatus and method, and program
EP3855392A1 (en) System and method for linking a segmentation graph to volumetric data
Gibbs Three dimensional route planning for medical image reporting and endoscopic guidance
JP2002330959A (en) Three-dimensional image display device
JP3595042B2 (en) Pseudo three-dimensional image construction method and projection image display device
JP2022135986A (en) Program and method concerning visualization of luminal organ
Gibbs et al. Planning and visualization methods for effective bronchoscopic target localization