JP2008541859A5

JP2008541859A5 -

Info

Publication number: JP2008541859A5
Application number: JP2008513624A
Authority: JP
Filing date: 2006-05-23
Publication date: 2012-06-14
Anticipated expiration: 2026-05-23

Description

過去数年内に幾つかの案内方法が示唆されてきた［１−５］。それらの全ては、奥行きデータ及び視覚データの両方を得るために、気管表面のＣＴをベースとする（仮想）管腔内レンダリングを使用している。これらは、仮想レンダリング及び到来ビデオフレームを使用して気管支鏡の３Ｄ位置及び配向（姿勢）を見出すことを試みている。Bricaultらは、気管支鏡ビデオ（実）と３ＤＣＴ仮想気管支鏡画像とを見当合わせする方法を提唱した［１］。この方法は、実画像の３Ｄ表面を見出すために陰影付け技術からの分割（セグメンテーション）及び形状を使用し、次いで計算された表面と仮想表面との３Ｄ−３Ｄレジストレーションを行う。 Several guidance methods have been suggested within the past few years [1-5]. All of them use CT-based (virtual) endoluminal rendering of the tracheal surface to obtain both depth and visual data. They attempt to find the 3D position and orientation (posture) of the bronchoscope using virtual rendering and incoming video frames. Bricault et al. Proposed a method for registering bronchoscopic video (actual) and 3D CT virtual bronchoscopic images [1]. This method uses segmentation and shape from the shading technique to find the 3D surface of the real image, and then performs 3D-3D registration of the calculated surface with the virtual surface.

Moriらは、必須マトリックスを計算し、次いでPowellの方法による画像レジストレーションを使用して残留運動の推定を行うことによって気管支鏡運動を推定するために、先ず、実フレーム全域にわたる１組の点を追跡する方法を提唱した［３］。参照文献［５］においてMoriらは、見当合わせされる画像面積を減少させるために、気管支鏡の運動及び新しい類似性の尺度の予測にカルマンフィルタを使用している。Helfertyらは、粗追跡及び精レジストレーションアプローチを使用している［２、６］。この追跡は、運動パラメータを推定するために、標準オプティカルフロー制約式及び仮想レンダリングからの奥行き情報を使用することによって実現されている。このレジストレーションは、シンプレックス方法を使用して実画像と仮想画像との間の相互情報を最大化することによって行われる。 To estimate the bronchoscopic motion by calculating the essential matrix and then estimating the residual motion using Powell's method image registration, first set a set of points across the real frame. Proposed a tracking method [3]. In reference [5], Mori et al. Use a Kalman filter to predict bronchoscopic motion and new similarity measures to reduce the image area that is registered . Helferty et al. Use a coarse tracking and fine registration approach [2, 6]. This tracking is achieved by using standard optical flow constraints and depth information from virtual rendering to estimate motion parameters. This registration is done by maximizing the mutual information between the real and virtual images using a simplex method.

本発明は、広義では、診断処置に関連して案内を提供するシステム及び方法に関する。本方法は、以前に取得した身体管腔の画像データを準備するステップと、身体管腔の生の画像データを取得するステップと、以前に取得した画像データと生の画像データとをリアルタイムで、またはほぼリアルタイムで見当合わせするステップとを含む。好ましい実施の形態においては、内視鏡、気管支鏡、結腸内視鏡、または腹腔鏡のような器具を案内するために、レジストレーションを使用する。 The present invention broadly relates to systems and methods for providing guidance in connection with diagnostic procedures. The method comprises the steps of preparing previously acquired image data of a body lumen, acquiring raw image data of the body lumen, and acquiring the previously acquired image data and the raw image data in real time, Or registering in near real time. In preferred embodiments, registration is used to guide an instrument such as an endoscope, bronchoscope, colonoscope, or laparoscope.

第２のステップは、複数の連続フレームにわたって追跡される複数の点を、現在の実フレームＩ_Rcから選択することである。好ましい実施の形態では、５フレームにわたって20点を追跡する。Ｉ_VとＩ_Rcとは見当合わせされるから、我々は現在の奥行きマップから各点に関連付けられた奥行きＷ_iを知る。第３のステップは、これらの点の新しい２Ｄ位置（ｕ_i，ｖ_i）を入手するために、次の５フレームにわたる対での対応を使用してこれら20点を追跡することである。第４のステップは、追跡した点の２Ｄ運動とそれらの初期奥行きＷ_iを使用して、新しい姿勢（Ｒ、Ｔ）を推定することである。第５のステップにおいては、新しい姿勢（Ｒ、Ｔ）を使用して仮想画像Ｉ_Vが再レンダリングされる。第６のステップは、追跡に起因するドリフト誤差を斟酌するためにＩ_VとＩ_R5との間の精レジストレーションを行い、次いでＩ_Vを再レンダリングすることである。最後に、新しい現在の実フレームＩ_RcとしてＩ_R5が割当てられ、アルゴリズムは第２のステップへ戻って、連続案内のために第２のステップから第６のステップまでをループする。 The second step is to select a plurality of points to be tracked over a plurality of consecutive frames from the current real frame _IRc . In the preferred embodiment, 20 points are tracked over 5 frames. Since I _V and I _Rc are registered , we know the depth W _i associated with each point from the current depth map. The third step is to track these 20 points using a pairwise correspondence over the next 5 frames in order to obtain new 2D positions (u _i , v _i ) for these points. The fourth step is to estimate a new pose (R, T) using the 2D motion of the tracked points and their initial depth W _i . In the fifth step, the virtual image I _V is re-rendered using the new pose (R, T). The sixth step is to perform a fine registration between I _V and I _R5 to allow for drift errors due to tracking, and then re-render I _V. Finally, I _R5 is assigned as the new current real frame I _Rc and the algorithm returns to the second step and loops from the second step to the sixth step for continuous guidance.

対応を使用するレジストレーション
２つのソースを見当合わせする高速手法は、追跡に使用したものと同一の方法を使用することである。唯一の差は、仮想画像Ｉ_Vと実画像Ｉ_R5との間に対応が見出されることであろう。しかしながら、自己相関基準を使用してＩ_R5上に点が選択される。殆どの情報が暗い領域内に含まれているから、点は、それらが全て暗い領域をサンプルするように選択される。選択された点は、ガウスのピラミッドセットアップにおけるマッチング基準としての相関を使用してＩ_Vとマッチされる。次のステップは、姿勢推定アルゴリズムを走らせ、推定された姿勢を使用してＩ_Vを更新することである。この方法は高速ではあるが、全ての画像対Ｉ_V及びＩ_R5のマッチングは良好ではない。この方法の精度は、気管内の分岐点からの気管支鏡の距離、及びＩ_R5内に見られる分岐数に依存する。手動レジストレーションはこれと同じ方法を使用するが、対応点は手動で準備される。 Registration using correspondence A fast approach to registering two sources is to use the same method used for tracking. The only difference will be that a correspondence is found between the virtual image I _V and the real image I _R5 . However, a point is selected on I _R5 using the autocorrelation criterion. Since most of the information is contained within the dark area, the points are selected so that they all sample the dark area. The selected points are matched to _IV using correlation as a matching criterion in a Gaussian pyramid setup. The next step is to run the pose estimation algorithm and update the _IV using the estimated pose. Although this method is fast, the matching of all image pairs I _V and I _R5 is not good. The accuracy of this method depends on the distance of the bronchoscope from the branch point in the trachea and the number of branches found in I _R5 . Manual registration uses the same method, but the corresponding points are prepared manually.

Helfertyらが示した方法の目的は、実ソース画像を実目標画像に向けて繰り返しワープさせることによって、実ソース画像と実目標画像とを見当合わせすることである［６］。ソース画像またはオプティカルフロー２Ｄ画像運動（ｕ_xi，ｖ_yi）内の点の２Ｄ画像運動は、３Ｄ回転及び並進によって支配される。

その導出は、セクション２．３に与えられているものと殆ど同一である。（ｕ_x，ｖ_y）を決定するために使用されるオプティカルフロー制約式は次の通りである。

The purpose of the method presented by Helferty et al. Is to register the actual source image with the actual target image by repeatedly warping the actual source image towards the actual target image [6]. The 2D image motion of a point in the source image or optical flow 2D image motion (u _xi , v _yi ) is governed by 3D rotation and translation.

The derivation is almost identical to that given in section 2.3. The optical flow constraint equation used to determine (u _x , v _y ) is as follows:

気管樹枝分岐の内側の気管支鏡の運動を表す１組５枚の連続気管支鏡ビデオ（実）フレームを示している。A set of five consecutive bronchoscope video (real) frames showing bronchoscope motion inside the tracheal branch is shown. 気管支鏡の位置及び配向（姿勢）の現在の推定に基づく気管表面のＣＴをベースとする（仮想）管腔内レンダリングを示す図である。FIG. 10 shows a (virtual) intraluminal rendering based on CT of the tracheal surface based on current estimates of bronchoscope position and orientation (posture). 本発明の総合的方法を示す図である。FIG. 2 shows the overall method of the present invention. １対の仮想画像に適用した手動レジストレーションステップを示す図である。FIG. 6 is a diagram illustrating a manual registration step applied to a pair of virtual images. 案内方法を開始させるために、仮想画像と実画像の初期レジストレーションのための手動レジストレーションステップの使用を示す図である。FIG. 6 illustrates the use of a manual registration step for initial registration of virtual and real images to initiate a guidance method. Luらによる姿勢推定方法を使用した結果を示す図であって、我々のドメインにおけるその不適合性を示している。Figure 3 shows the results of using the pose estimation method by Lu et al., Showing its incompatibility in our domain. 仮想画像Ｉ_V上に入力点を与えた時の、実画像Ｉ_R5上の計算された対応マッチング点を示す図である。It is a figure which shows the corresponding matching point calculated on real image _IR5 when an input point is given on virtual image _IV . 仮想画像及び実画像にレジストレーションステップを適用することによって得た結果を示す図である。It is a figure which shows the result obtained by applying a registration step to a virtual image and a real image. Helfertyらによるレジストレーションのためのオプティカルフローをベースとする方法を示す図である。FIG. 6 illustrates an optical flow based method for registration by Helferty et al. 精レジストレーションステップを示す図であって、図１０ａは、ビデオ画像Ｉ_Rc（図１０ｂ）、及び運動推定の後のワープされた仮想画像（図１０ｃ）と見当合わせされる仮想画像Ｉ_Vを示している。FIG. 10a shows a video image I _Rc (FIG. 10b) and a virtual image I _V registered with the warped virtual image after motion estimation (FIG. 10c). ing.