JP2007501675A

JP2007501675A - 仮想内視鏡画像の登録方法および仮想内視鏡画像の登録装置

Info

Publication number: JP2007501675A
Application number: JP2006523337A
Authority: JP
Inventors: シェドオテルクリストフ; ガイガーベルンハルト
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2003-08-14
Filing date: 2004-08-11
Publication date: 2007-02-01
Also published as: EP1656643A2; US20050048456A1; US7300398B2; WO2005020151A2; WO2005020151A3

Abstract

本発明は第１の患者位置および第２の患者位置での仮想内視鏡画像の登録方法に関する。本発明の方法は、大腸をセグメント化し、画像ごとに中心線および大腸表面データを含む特徴を抽出するステップと、大腸中心線データおよび大腸表面データを再サンプリングするステップと、それぞれのローカルデスクリプタを計算するステップと、最小費用マッチングにより第１の画像と第２の画像とのあいだで中心線対応点を対にするステップと、中心線対応点を外挿して第１の画像と第２の画像とのあいだの３Ｄ／３Ｄ変換を行うステップとを有する。また本発明の方法は、一方の画像の仮想内視鏡位置を選択するステップと、前記３Ｄ／３Ｄ変換を直交参照フレームに適用し、他方の画像内の仮想内視鏡に対して相応の変換参照フレームを導出するステップとを有する。

Description

関連出願へのクロスリファレンス（優先権）
特別な参考文献として２００３年８月１４日付で出願された米国仮出願第６０／４９５３０４号（事務所整理番号2003P12266US）、すなわちChristophe Chefd'hotel, Bernhard Geiger, "POINT SET MATCHING FOR PRONE-SUPINE REGISTRATION IN VIRTUAL ENDOSCOPY"を挙げておく。この出願の発明者は本出願の発明者と同一である。本発明ではこの文献に基づく優先権を主張し、その開示内容も本発明に関連するものとする。

発明の属する技術分野
本発明は一般には仮想内視鏡に関する。より詳細に云えば、本発明は、仮想大腸鏡検査などの仮想内視鏡検査に用いられるボリューム画像のビューを自動的に同期する方法およびシステムに関する。

発明の背景
仮想大腸鏡検査ＶＣとは、患者の特定の３次元解剖学的データセットを用い、人体への侵襲を最小限にした標準的な内視鏡処置としてのコンピュータシミュレーションに基づく診断方法のことである。現在の内視鏡検査の例には、気管支鏡検査、血管内視鏡検査、上部胃腸内視鏡検査、大腸鏡検査、膀胱鏡検査、心臓鏡検査そして尿道鏡検査が含まれる。患者の特定の解剖学的構造について非侵襲的に取得された仮想大腸鏡のビジュアライゼーションは、現実の内視鏡検査にともなう危険、つまり穿孔、感染、出血などを回避し、現実の内視鏡検査の実施前に内視鏡検査者に重要な情報を提供する。こうした情報や理解により処置の困難さを最小化し、患者の罹病率を低減し、治療結果に対する学習および理解を支援することができる。

仮想内視鏡検査では、３Ｄ画像は２Ｄコンピュータトモグラフィあるいは磁気共鳴データからボリュームレンダリングによって作成している。こんにちのＣＴやＭＲＩは典型的には横断面画像のセットを形成し、これらを組み合わせてボリュームデータセットを形成している。これらの３Ｄ画像はファイバー型光学内視鏡のような現実の内視鏡から得られる画像のシミュレーションのために形成される。

仮想内視鏡検査、特に仮想大腸鏡検査の分野では、例えば患者の俯せ位置および仰向け位置で取得された種々の内視鏡ビューが同期されることが望ましい。そうすれば種々のビューにおけるフィーチャが識別され、大腸癌のスクリーニングの際に、取得した俯せビューおよび仰向けビューを並列に研究することが可能となるからである。

ビューを同期する既存の手法では、典型的には、大腸の中心線が単一の線分から形成されると見なしている。これについては、例えば、B.Acar, S.Napel, D.S.Paik, P.Li, J.Yee, C.F.Beaulieu, R.B.Jeffrey, "Registration of supine and prone CT colonography data:Method and evaluation", Radiological Society of North America 87th Scientific Sessions, 2001; B.Acar, S.Napel, D.S.Paik, P.Li, J.Yee, C.F.Beaulieu, R.B.Jeffrey, "Medial axis registration of supine and prone CT colonography data", Proceedings of 23rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC2001), Istanbul Turkey, 25-28 Oct.2001; D.Nain, S.Haker, W.E.L.Grimson, E.CosmanJr., W.Wells, H.Ji, R.Kikinis, C.-F.Westin, "Intra-Patient Prone to Supine Colon Registration for Synchronized Virtual Colonoscopy", Proceedings of MICCAI2002, Tokyo Japan, Sep.2002などを参照されたい。

本発明の概要
大腸の中心線が単一の線分から成るという仮定は、例えば不完全な空気吸入や不完全なデータセグメンテーションによって起こる部分閉塞の発生を含む種々の状況の全てに対して有効ではないことがわかっている。

本発明の課題は、大腸癌のスクリーニングなどの適用分野において俯せ画像および仰向け画像を並列に研究できる方法を提供することである。

本発明では仮想大腸鏡検査における２つのボリューム画像のビューを自動的に同期する方法が提供される。ここで、本発明の方法は各ボリューム画像の２つの点セットの最適なマッチングを用いる。これらの点セットは大腸中心線の均一なサンプルに相応する。対応点は正則化ラジアルベース関数近似（a regularized radial basis function approximation）を用いてデータ全体に空間的に拡張される。

本発明の方法は大腸中心線が単一の線分から成るという仮定を要さない。したがって例えば不完全な空気吸入や不完全なデータセグメンテーションによって起こる部分閉塞の発生を含む種々の状況に対処できる。

本発明では点を直接に大腸表面上でサンプリングしてもよい。また本発明では２つのボリューム画像が腹部準備および空気吸入などの処置を含む大腸鏡検査プロトコルを用いて取得される。ボリュームごとに大腸中心線の接続すべき線分を表すポリゴン線のセットが得られる。中心線の各点から大腸表面の最も近い点までの距離、すなわち大腸径は既知であると見なされる。

本発明の第１の特徴によれば、仮想内視鏡画像の登録方法は、内視鏡検査プロトコルにより第１のボリューム画像を表す第１のボリューム画像データセットおよび第２のボリューム画像を表す第２のボリューム画像データセットを導出するステップと、接続された線分により表される各中心線表現を導出するステップと、接続された線分を再サンプリングし、第１のサンプルセットおよび第２のサンプルセットを形成するステップと、各サンプルに対してデスクリプタを計算するステップと、各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、この相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求めるステップとを有する。

ここで或る実施形態によれば、第１のボリューム画像および第２のボリューム画像を導出するステップにおいて、大腸鏡検査プロトコルにより第１のボリューム画像および第２のボリューム画像が導出される。

別の実施形態によれば、中心線表現を導出するステップにおいて、接続されたポリゴン線分により表される各中心線表現が導出され、各ボリューム画像における大腸表面が識別され、中心線表現の各点から大腸表面上の最も近い点までの距離を求めることにより大腸径情報が導出される。

別の実施形態によれば、前述の方法はさらに、中心線対応点を外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップと、この３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだの仮想内視鏡位置を変換するステップとを有する。

本発明の第２の特徴によれば、仮想大腸鏡検査によって取得され、ポリゴン線分を接続した各中心線表現と大腸径情報とを含む第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法は、接続されたポリゴン線分を再サンプリングして第１の中心線サンプルセットおよび第２の中心線サンプルセットを形成するステップと、各サンプルに対するデスクリプタを計算するステップと、各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、この相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルと第２のサンプルとのあいだの中心線対応点の最適なセットを求めるステップと、中心線対応点を外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップと、この３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換するステップとを有する。

本発明の第３の特徴によれば、仮想大腸鏡検査によって取得され、第１のボリュームデータセットおよび第２のボリュームデータセットにより表されポリゴン線分を接続した各中心線表現と大腸径情報とを含む第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法は、接続されたポリゴン線分を再サンプリングして第１のサンプルセットおよび第２のサンプルセットを形成するステップと、各サンプルに対するデスクリプタを計算するステップと、各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、この相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求めるステップとを有する。

ここで或る実施形態によれば、前述の方法はさらに、中心線対応点の最適なセットを外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップを有する。

別の実施形態によれば、前述の方法はさらに前記３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換するステップを有する。

本発明の第４の特徴によれば、第１の患者位置および第２の患者位置での仮想内視鏡画像の登録方法は、大腸をセグメント化し、画像ごとに中心線データおよび大腸表面データを含む特徴を抽出するステップと、中心線データおよび大腸表面データを再サンプリングするステップと、それぞれのローカルデスクリプタを計算するステップと、最小費用マッチングにより第１の画像と第２の画像とのあいだで中心線対応点を対にするステップと、中心線対応点を外挿して第１の画像と第２の画像とのあいだの３Ｄ／３Ｄ変換を行うステップとを有する。

本発明の第５の特徴によれば、仮想大腸鏡検査によって取得され、第１のボリュームデータセットおよび第２のボリュームデータセットにより表され、ポリゴン線分を接続した各中心線表現と大腸径情報とを含む第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法は、接続されたポリゴン線分を再サンプリングして第１のサンプルセットおよび第２のサンプルセットを形成するステップと、各サンプルに対してジオメトリフィーチャのベクトルおよび大腸径データの予測値を含むデスクリプタを計算するステップと、各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、全ての対応点間の距離が最小化されるように前記相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求めるステップと、中心線対応点を外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップと、一方のボリューム画像内の仮想内視鏡位置を選択するステップと、直交参照フレームと仮想内視鏡とを関連づけるステップと、前記３Ｄ／３Ｄ変換を直交参照フレームに適用して他方のボリューム画像内の仮想内視鏡に対する相応の変換参照フレームを導出するステップとを有する。

本発明の第６の特徴によれば、仮想内視鏡画像の登録方法は、大腸鏡検査プロトコルにより第１のボリューム画像を表す第１のボリューム画像データセットおよび第２のボリューム画像を表す第２のボリューム画像データセットを導出するステップと、接続されたポリゴン線分により表される各中心線表現を導出するステップと、各ボリューム画像の大腸表面を識別するステップと、中心線表現の各点から大腸表面の最も近い点までの距離を求めることにより大腸径情報を導出するステップと、接続された線分を再サンプリングし、第１のサンプルセットおよび第２のサンプルセットを形成するステップと、各サンプルに対してデスクリプタを計算するステップと、各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、この相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの中心線対応点の最適なセットを求めるステップとを有する。

ここで或る実施形態によれば、前述の方法はさらに中心線対応点の最適なセットを外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップを有する。

別の実施形態によれば、前述の方法はさらに前記３Ｄ／３Ｄ変換を適用し、第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換するステップを有する。

本発明の第７の特徴によれば、ポリゴン線分を接続した各中心線表現と大腸径情報とにより表され、仮想大腸鏡検査によって取得された第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録装置は、接続されたポリゴン線分を再サンプリングして第１の中心線サンプルセットおよび第２の中心線サンプルセットを形成する手段と、各サンプルに対するデスクリプタを計算する手段と、各デスクリプタ間の距離を用いて相似性マトリクスを計算する手段と、この相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求める手段と、中心線対応点の最適なセットを外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行う手段と、この３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換する手段とを有する。

本発明の第８の特徴によれば、仮想内視鏡画像の登録装置は、内視鏡検査プロトコルにより第１のボリューム画像を表す第１のボリューム画像データセットおよび第２のボリューム画像を表す第２のボリューム画像データセットを導出する手段と、接続された線分により表される各中心線表現を導出する手段と、接続された線分を再サンプリングし、第１のサンプルセットおよび第２のサンプルセットを形成する手段と、各サンプルに対してデスクリプタを計算する手段と、各デスクリプタ間の距離を用いて相似性マトリクスを計算する手段と、この相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求める手段とを有する。

なお前述の、大腸をセグメント化し、画像ごとに中心線データおよび大腸表面データを含む特徴を抽出するステップと、中心線データおよび大腸表面データを再サンプリングするステップと、それぞれのローカルデスクリプタを計算するステップと、最小費用マッチングにより第１の画像と第２の画像とのあいだで中心線対応点を対にするステップと、中心線対応点を外挿して第１の画像と第２の画像とのあいだの３Ｄ／３Ｄ変換を行うステップとを有することを特徴とする第１の患者位置および第２の患者位置での仮想内視鏡画像の登録方法は、或る実施形態によればさらに、一方の画像内の仮想内視鏡位置を選択するステップと、直交参照フレームと仮想内視鏡とを関連づけるステップと、前記３Ｄ／３Ｄ変換を前記直交参照フレームに適用し、他方の画像内の仮想内視鏡に対して相応の変換参照フレームを導出するステップとを有する。

図面の簡単な説明
本発明の特徴を完全に理解してもらうために、以下に図示の実施例に則して本発明を説明する。図１には本発明の理解に役立つ大腸表面の表現および大腸中心線の表現が示されている。図２には本発明の方法の実施例のフローチャートが示されている。図３には本発明による接続された線分から成る中心線の再サンプリングが示されている。図４には本発明による表面の均等な再サンプリングが示されている。図５には本発明を使用するのに適した装置のブロック図が示されている。

本発明の実施例の説明
図１には大腸表面の表現および大腸中心線の表現が示されている。中心線は大腸画像内の明るい色線として示される。

本発明の方法の第１の実施例では、第１のステップとして、局所的形状のデスクリプタが計算される。この計算には、接続された全ての中心線の線分を均一に再サンプリングすること、つまり例えば局所的形状特性を用いた多値デスクリプタの計算が含まれる。

また本発明の方法では、第２のステップとして、最適な点セットのマッチングが行われる。ここではデスクリプタ間の距離を用いて相似性マトリクスが計算され、重みづけ２部グラフ（最適割り当て問題）に対するマッチングアルゴリズムを用いて最適な対応点が求められる。

さらに本発明の方法では、第３のステップとして、内視鏡ビューの登録および同期が行われる。ここではラジアルベース関数近似が中心線対応点の外挿に使用され、ボリューム画像間の３Ｄ／３Ｄ変換が行われる。仮想内視鏡のユーザインタフェースでは内視鏡の位置および配向状態が行われた変換に応じて更新される。

図２には第１の主体位置および第２の主体位置に関するデータ、例えば俯せデータおよび仰向けデータに対する本発明の方法が示されている。ステップ２では大腸がセグメント化され、特徴すなわち中心線および表面が抽出される。ステップ４では中心線および表面が再サンプリングされ、ローカルデスクリプタが計算される。ステップ６では最小費用マッチングを用いて点が対にされる。ステップ８では３Ｄ／３Ｄ変換のための外挿が行われ、内視鏡の位置および配向状態が同期される。さらに同期された俯せ画像および仰向け画像のナビゲーションおよびワークフローが形成される。また図２には俯せ画像および仰向け画像を相応に並列させたグラフィクス表現２Ａ〜８Ａも示されている。

より詳細に云えば、データを再サンプリングするステップでは、固定数のＮ個のサンプリング点が選択される。各データセットについて、中心線線分の全長が加算により計算され、さらにこれがＮ−１で除算される。その後、接続されたそれぞれの線分は、対応点間の弧の長さがあらかじめ計算された値（全長／（Ｎ−１））に相応するように再サンプリングされる。新たなサンプリング点の位置は線形補間により計算される。

図３には接続された線分から成る中心線の均等な再サンプリングが示されている。もとのサンプリングは図３（ｂ）の太線であり、図３（ｄ）の暗い線は均等な再サンプリングが行われた後の結果を表している。

デスクリプタを計算するステップは次のように行われる。多値のデスクリプタがサンプリング点ごとに計算される。このデスクリプタは
・スカラージオメトリフィーチャ（曲率、ねじれ度および重心までの距離）のベクトルおよび大腸表面までの予測距離（大腸径）
・現時点のサンプリング点から同じデータセットの他の全てのサンプリング点までのユークリッド距離および配向状態を含むベクトルのリスト
の属性から成る。配向状態はFrenetの局所的フレームまたは大域的座標系を用いて計算される。

Frenetの式、曲率、ねじれ度および関連する項目の例としては、Michael D.Greeenberg, "Advanced Engineering Mathematics Second Edition", Prentice-Hall, Upper Saddle River, New Jersey, 1998の第１５章を参照されたい。

相似性マトリクスの計算のために、Ｎ×Ｎ相似性マトリクスが形成される。これにより第１のセットの要素ごとに、第１のセットのデスクリプタと第２のセットの全てのデスクリプタとのあいだの距離が与えられる。２つのデスクリプタ間の距離は相応の属性間の距離の平均値であると見なされる。属性間の距離の範囲は等しくないので、これらは平均化の前に正規化されることに注意されたい。スカラー属性間の距離は２乗差の１／２により与えられる。またユークリッド距離および配向状態のベクトルは、統計的な相似性測度を用いて、反対の値を取り、必要であればオフセット値を適用して評価される。２つのベクトル間の統計的な相似性測度を計算するために、ベクトルの要素はランダムな２つの変数Ｘ，Ｙのサンプルであると仮定される。

本発明の特徴にしたがって３つの可能なストラテジを以下に説明する。
（ａ）ベクトルは順位づけされ、Spearmanの順位相関が計算される。この技術の詳細については、例えばW.H.Press, S.A.Teukolsky, W.T.Vetterling, B.P.Flannery, "Numerical Recipes in C Second Edition", Cambridge University Press, 1992を参照されたい。Spearmanの順位相関係数は

により定義される。ここでｄ_ｉはベクトルのｉ番目の要素の順位の差である。Spearmanの順位相関係数により２つの変数の関連の強さの測度が得られる。Spearmanの順位相関係数については、例えばEric W.Weisstein, "CRC Concise Encyclopedia of Mathematics Second Edition", Chapman and Hall/CRC, New York, 2002の2762頁などを参照されたい。
（ｂ）ベクトル要素のヒストグラムが計算され、Kullback-Leibler分散またはChiの２乗測度のいずれかを用いて比較される。Kullback-Leibler距離は

として定義される。ここでｆ_Ｘ，ｆ_Ｙは変数Ｘ，Ｙに相応するそれぞれの確率（正規化ヒストグラム）である。

Kullback-Leibler分散またはKullback-Leibler距離については、例えばRade and Westergren, "Mathematics Handbook for Science and Engineering", Studentlitteratur Birkhaeuser, Sweden, 1995の410頁を参照されたい。

Chiの２乗測度は数学に関する文献で扱われている。これについては例えばWilliam Volk, "Applied Statistics for Engineers", McGraw-Hill Book Company Inc., New York, 1958の第５章を参照されたい。
（ｃ）ベクトル要素の２つのセットのジョイントヒストグラムが計算され、その相似性がMutual Informationにより与えれらる。Mutual Informationは

として定義される。ここでｆ_Ｘ，Ｙ（ｘ，ｙ），ｆ_Ｘ（ｘ），ｆ_Ｙ（ｙ）はランダムな変数の組（Ｘ，Ｙ）の同時確率かつ周辺確率である。

Mutual Informationについては、例えば前掲の"Mathematics Handbook for Science and Engineering"の410頁または"CRC Concise Encyclopedia of Mathematics Second Edition"を参照されたい。

２部グラフマッチングに関して、Ｎ個のポイントの２つのセットとＮ×Ｎ相似性マトリクスとが与えられ、全ての対応点間の距離の和を最小化する最適対（最適割り当て）が探索される。これは重みづけ２部マッチングアルゴリズムにより正確に計算される。さらに高速Augmented Path技術が上述の相似性マトリクスに適用される。この技術は例えばR.Jonker, A.Volgenant, "A Shortest Augmenting Path Algorithm for Dense and Sparse Linear Assignment Problems", Computing 38, 1987の325頁〜340頁に説明されている。

次の変換、つまりまず２つの点のセットのあいだの１対１の対応を形成し、これを相応のジオメトリ指標のセットとして用いる計算を考察する。対応指標は正則化ラジアルベース関数近似を用いて２つの変換を計算することにより空間全体へ敷衍される。２つの変換は第１のボリューム画像から第２のボリューム画像への３Ｄ／３Ｄマッピング、および第２のボリューム画像から第１のボリューム画像への３Ｄ／３Ｄマッピングである。正規化パラメータは実験により選定される。

全プロセス、すなわちデスクリプタの計算、マッチング、変換の計算は初期の点のセットの更新に応じて複数回反復することができる。

変換は標準の仮想大腸鏡検査のワークフローにおける俯せビューと仰向けビューとの同期に用いられる。仮想大腸鏡は次の技術を用いて位置および配向状態の双方に関して同期される。

４つの点、すなわち原点および基底ベクトルの３つの端（extremity）によって表される無限小直交フレームが選択された仮想大腸鏡に適用される。変換は各点に加えられる。直交化の後に得られたフレームにより第２のデータセットにおける相応の大腸鏡の位置および配向状態が与えられる。

本発明の別の実施例では、中心線上の点ではなく、大腸表面上の均等なサンプリング点が使用される。図４にはこの手法で使用される表面の均等なサンプリングが示されている。

デスクリプタは表面の特定のフィーチャ、例えば当該の点での大腸表面のガウス曲率および平均曲率を含むように更新される。それ以外の登録方法のプロシージャは前述の場合と同じである。このケースでは中心線は必要ない。

２Ｄ曲線のリアライメントのためのシェイプコンテクストフレームワークについては、S.Belongie, J.Malik, J.Puzicha, "Shape Matching and Object Recognition Using Shape Context", IEEE Transactions on Pattern Analysis and Machine Intelligence (24)24:509-522, 2002に説明されており、その内容は本発明の特徴にも関連する。この手法は、ダイナミックプログラミングに基づくワーピング、中心線パスに沿った線形の延長・縮小などの１Ｄのマッチング手法とは大きく異なり、仮想大腸鏡検査における俯せおよび仰向けの患者内部データの登録を行うためにあらかじめ使用される。これらについては前掲の"Registration of supine and prone CT colonography data:Method and evaluation", "Medial axis registration of supine and prone CT colonography data"なども参照されたい。

本発明はプログラムコンピュータに関連して使用される。図５には本発明を実施するのに適した装置のブロック図が示されている。画像取得装置５０による画像の取得は周知のようにプロトコルにしたがって行われる。これらの画像は取り扱いやすいようにディジタル形式で記憶され、コンピュータ５２により本発明の方式にしたがって処理される。処理された画像は画像表示装置５４で観察され、また周知のようにさらなる記憶および処理および／または周知の通信技術による送信も可能である。

本発明を実施例に則して説明したが、この分野の技術者には本発明の範囲から離れることなくこれらの実施例に種々の変更を加えることができることは明らかである。またそれ以外の修正および置換も可能である。

大腸表面の表現および大腸中心線の表現を示す図である。本発明の方法のフローチャートである。接続された線分から成る中心線の再サンプリングを示す図である。表面の均等な再サンプリングを示す図である。本発明の装置のブロック図である。

Claims

内視鏡検査プロトコルにより第１のボリューム画像を表す第１のボリューム画像データセットおよび第２のボリューム画像を表す第２のボリューム画像データセットを導出するステップと、
接続された線分により表される各中心線表現を導出するステップと、
接続された線分を再サンプリングし、第１のサンプルセットおよび第２のサンプルセットを形成するステップと、
各サンプルに対してデスクリプタを計算するステップと、
各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、
該相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求めるステップと
を有する
ことを特徴とする仮想内視鏡画像の登録方法。
第１のボリューム画像および第２のボリューム画像を導出するステップにおいて、大腸鏡検査プロトコルにより第１のボリューム画像および第２のボリューム画像を導出する、請求項１記載の方法。
各中心線表現を導出するステップにおいて、接続されたポリゴン線分により表される各中心線表現を導出し、各ボリューム画像における大腸表面を識別し、中心線表現の各点から大腸表面上の最も近い点までの距離を求めることにより大腸径情報を導出する、請求項１記載の方法。
さらに、中心線対応点を外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップと、該３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだの仮想内視鏡位置を変換するステップとを有する、請求項１記載の方法。
仮想大腸鏡検査によって取得され、ポリゴン線分を接続した各中心線表現と大腸径情報とを含む第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法において、
接続されたポリゴン線分を再サンプリングして第１の中心線サンプルセットおよび第２の中心線サンプルセットを形成するステップと、
各サンプルに対するデスクリプタを計算するステップと、
各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、
該相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルと第２のサンプルとのあいだの中心線対応点の最適なセットを求めるステップと、
中心線対応点を外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップと、
該３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換するステップと
を有する
ことを特徴とする第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法。
仮想大腸鏡検査によって取得され、第１のボリュームデータセットおよび第２のボリュームデータセットにより表され、ポリゴン線分を接続した各中心線表現と大腸径情報とを含む第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法において、
接続されたポリゴン線分を再サンプリングして第１のサンプルセットおよび第２のサンプルセットを形成するステップと、
各サンプルに対するデスクリプタを計算するステップと、
各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、
該相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求めるステップと
を有する
ことを特徴とする第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法。
さらに、中心線対応点の最適なセットを外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップを有する、請求項６記載の方法。
さらに前記３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換するステップを有する、請求項７記載の方法。
大腸をセグメント化し、画像ごとに中心線データおよび大腸表面データを含む特徴を抽出するステップと、
中心線データおよび大腸表面データを再サンプリングするステップと、
それぞれのローカルデスクリプタを計算するステップと、
最小費用マッチングにより第１の画像と第２の画像とのあいだで中心線対応点を対にするステップと、
中心線対応点を外挿して第１の画像と第２の画像とのあいだの３Ｄ／３Ｄ変換を行うステップと
を有する
ことを特徴とする第１の患者位置および第２の患者位置での仮想内視鏡画像の登録方法。
さらに、一方の画像内の仮想内視鏡位置を選択するステップと、直交参照フレームと仮想内視鏡とを関連づけるステップと、該直交参照フレームに前記３Ｄ／３Ｄ変換を適用し、他方の画像内の仮想内視鏡に対して相応の変換参照フレームを導出するステップとを有する、請求項９記載の方法。
大腸をセグメント化するステップにおいて、接続されたポリゴン線分により表される各中心線表現を導出する、請求項１０記載の方法。
再サンプリングするステップにおいて、接続された各ポリゴン線分上で固定数のＮ個のサンプリング点を選択し、接続されたポリゴン線分の全長を計算し、該全長をＮ−１で除算することにより計算値を導出し、線形補間により新たなサンプリング点の位置を定め、該新たなサンプリング点間の弧の長さが前記計算値に相応するように該新たなサンプリング点で接続されたポリゴン線分を再サンプリングする、請求項１１記載の方法。
ローカルデスクリプタを計算するステップにおいて、新たなサンプリング点での大腸径データを用いて、スカラージオメトリフィーチャのベクトルおよび大腸表面までの予測距離として各デスクリプタを計算する、請求項１２記載の方法。
新たなサンプリング点で曲率、ねじれ度および重心までの距離を含む前記スカラージオメトリフィーチャを計算する、請求項１３記載の方法。
新たなサンプリング点から同じデータセットの他の全ての新たなサンプリング点までのユークリッド距離および配向状態を含むベクトルのリストを計算する、請求項１３記載の方法。
ベクトルのリストを計算するステップにおいて、Frenetの局所的座標フレームに対する配向状態を計算する、請求項１５記載の方法。
ベクトルのリストを計算するステップにおいて、大域的座標系に対する配向状態を計算する、請求項１５記載の方法。
中心線対応点を対にするステップにおいて、第１のサンプルセットのサンプルごとに、各サンプルに対するデスクリプタと第２のサンプルセットの全てのサンプルのデスクリプタとのあいだの距離測度を定めるＮ×Ｎ相似性マトリクスを形成することにより、相似性マトリクスを計算する、請求項９記載の方法。
２つのデスクリプタ間の距離測度を相応の属性間の正規化距離の（ａ）平均値または（ｂ）メディアンのうちいずれか１つとして計算する、請求項１８記載の方法。
２つのデスクリプタ間の距離測度を計算する際に、（Ａ）スカラー属性ではスカラー属性間の２乗差の１／２を、（Ｂ）ユークリッド距離および配向状態のベクトルでは統計的な相似性測度を用いて評価される距離を計算する、請求項１９記載の方法。
前記ステップ（Ｂ）は、（ｃ）ベクトルを順位づけしてSpearmanの順位相関を計算するステップ、（ｄ）ベクトルの要素のヒストグラムを計算し（Ｃ）Kullback-Leibler分散または（Ｄ）Chiの２乗測度のいずれかを用いて要素を比較するステップ、および（ｅ）２つのベクトルの２つの要素セットから成るジョイントヒストグラムを計算し、該２つの要素セットのMutual Informationにより相似性を計算するステップのうち少なくとも１つを有する、請求項２０記載の方法。
中心線対応点を対にするステップにおいて、２部マッチングアルゴリズムを適用することにより全ての対応点間の距離の和を最小にする最適割り当てを求める、請求項９記載の方法。
最小化プロシージャを適用する際に、相似性マトリクスに高速Augmenting Path技術を適用する、請求項２２記載の方法。
中心線対応点を外挿するステップにおいて、正則化ラジアルベース関数近似を用いて、第１のボリューム画像と第２のボリューム画像とのあいだの第１の３Ｄ／３Ｄ変換を行い、また第１の３Ｄ／３Ｄ変換とは反対の第２のボリューム画像と第１のボリューム画像とのあいだの第２の３Ｄ／３Ｄ変換を行う、請求項２３記載の方法。
正則化ラジアルベース関数近似のための正規化パラメータを実験により選択する、請求項２４記載の方法。
直交参照フレームと仮想内視鏡とを関連づけるステップにおいて、仮想内視鏡と原点および３つの対応点すなわち３つの基底ベクトルの端を有する無限小直交フレームとを関連づけ、３Ｄ／３Ｄ変換を各点に適用して仮想内視鏡のための相応の変換参照フレームを導出する、請求項２４記載の方法。
仮想大腸鏡検査によって取得され、第１のボリュームデータセットおよび第２のボリュームデータセットにより表され、ポリゴン線分を接続した各中心線表現と大腸径情報とを含む第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法において、
接続されたポリゴン線分を再サンプリングして第１のサンプルセットおよび第２のサンプルセットを形成するステップと、
各サンプルに対してジオメトリフィーチャのベクトルおよび大腸径データの予測値を含むデスクリプタを計算するステップと、
各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、
全ての対応点間の距離が最小化されるように前記相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求めるステップと、
中心線対応点を外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップと、
一方のボリューム画像内の仮想内視鏡位置を選択するステップと、
直交参照フレームと仮想内視鏡とを関連づけるステップと、
前記３Ｄ／３Ｄ変換を直交参照フレームに適用して他方のボリューム画像内の仮想内視鏡に対する相応の変換参照フレームを導出するステップと
を有する
ことを特徴とする第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録方法。
再サンプリングするステップにおいて、接続された各ポリゴン線分上で固定数のＮ個のサンプリング点を選択し、接続されたポリゴン線分の全長を計算し、該全長をＮ−１で除算することにより計算値を導出し、線形補間により新たなサンプリング点の位置を定め、該新たなサンプリング点間の弧の長さが前記計算値に相応するように該新たなサンプリング点で接続されたポリゴン線分を再サンプリングする、請求項２７記載の方法。
デスクリプタを計算するステップにおいて、新たなサンプリング点での大腸径データを用いて、スカラージオメトリフィーチャのベクトルおよび大腸表面までの予測距離として各デスクリプタを計算する、請求項２７記載の方法。
デスクリプタを計算するステップにおいて、新たなサンプリング点で曲率、ねじれ度および重心までの距離を含むジオメトリフィーチャを計算する、請求項２９記載の方法。
デスクリプタを計算するステップにおいて、新たなサンプリング点から同じデータセットの他の全ての新たなサンプリング点までのユークリッド距離および配向状態を含むベクトルのリストを計算する、請求項２７記載の方法。
ベクトルのリストを計算するステップにおいて、Frenetの局所的座標フレームに対する配向状態を計算する、請求項３１記載の方法。
ベクトルのリストを計算するステップにおいて、大域的座標フレームに対する配向状態を計算する、請求項３１記載の方法。
相似性マトリクスを計算するステップにおいて、第１のサンプルセットのサンプルごとに、各サンプルに対するデスクリプタと第２のサンプルセットの全てのサンプルのデスクリプタとのあいだの距離測度を定めるＮ×Ｎ相似性マトリクスを形成する、請求項２７記載の方法。
２つのデスクリプタの相応の属性間の正規化距離の（ａ）平均値または（ｂ）メディアンのうちいずれか１つとして２つのデスクリプタ間の距離測度を計算する、請求項３４記載の方法。
２つのデスクリプタ間の距離測度を計算する際に、（Ａ）スカラー属性ではスカラー属性間の２乗差の１／２を、（Ｂ）ユークリッド距離および配向状態のベクトルでは統計的相似性測度を用いて評価される距離を計算する、請求項３５記載の方法。
前記ステップ（Ｂ）は、（ｃ）ベクトルを順位づけしてSpearmanの順位相関を計算するステップ、（ｄ）ベクトルの要素のヒストグラムを計算し（Ｃ）Kullback-Leibler分散または（Ｄ）Chiの２乗測度のいずれかを用いて要素を比較するステップ、および（ｅ）２つのベクトルの２つの要素セットから成るジョイントヒストグラムを計算し、該２つの要素セットのMutual Informationにより相似性を計算するステップのうち少なくとも１つを有する、請求項３６記載の方法。
最小化プロシージャを適用するステップにおいて、２部マッチングアルゴリズムを適用することにより全ての対応点間の距離の和を最小にする最適割り当てを求める、請求項２７記載の方法。
最小化プロシージャを適用する際に、相似性マトリクスに高速Augmenting Path技術を適用する、請求項３８記載の方法。
中心線対応点を外挿するステップにおいて、正則化ラジアルベース関数近似を用いて、第１のボリューム画像と第２のボリューム画像とのあいだの第１の３Ｄ／３Ｄ変換を行い、また第１の３Ｄ／３Ｄ変換とは反対の第２のボリューム画像と第１のボリューム画像とのあいだの第２の３Ｄ／３Ｄ変換を行う、請求項３９記載の方法。
正則化ラジアルベース関数近似のための正規化パラメータを実験により選択する、請求項４０記載の方法。
直交参照フレームと仮想内視鏡とを関連づけるステップにおいて、仮想内視鏡と原点および３つの対応点すなわち３つの基底ベクトルの端を有する無限小直交フレームとを関連づけ、前記３Ｄ／３Ｄ変換を各点に適用して仮想内視鏡のための相応の変換参照フレームを導出する、請求項４０記載の方法。
大腸鏡検査プロトコルにより第１のボリューム画像を表す第１のボリューム画像データセットおよび第２のボリューム画像を表す第２のボリューム画像データセットを導出するステップと、
接続されたポリゴン線分により表される各中心線表現を導出するステップと、
各ボリューム画像の大腸表面を識別するステップと、
中心線表現の各点から大腸表面の最も近い点までの距離を求めることにより大腸径情報を導出するステップと、
接続された線分を再サンプリングし、第１のサンプルセットおよび第２のサンプルセットを形成するステップと、
各サンプルに対してデスクリプタを計算するステップと、
各デスクリプタ間の距離を用いて相似性マトリクスを計算するステップと、
該相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの中心線対応点の最適なセットを求めるステップと
を有する
ことを特徴とする仮想内視鏡画像の登録方法。
さらに中心線対応点の最適なセットを外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行うステップを有する、請求項４３記載の方法。
さらに前記３Ｄ／３Ｄ変換を適用し、第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換するステップを有する、請求項４３記載の方法。
仮想大腸鏡検査によって取得され、ポリゴン線分を接続した中心線表現と大腸径情報とにより表される第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録装置において、
接続されたポリゴン線分を再サンプリングして第１の中心線サンプルセットおよび第２の中心線サンプルセットを形成する手段と、
各サンプルに対するデスクリプタを計算する手段と、
各デスクリプタ間の距離を用いて相似性マトリクスを計算する手段と、
該相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求める手段と、
中心線対応点の最適なセットを外挿して第１のボリューム画像と第２のボリューム画像とのあいだの３Ｄ／３Ｄ変換を行う手段と、
該３Ｄ／３Ｄ変換を用いて第１のボリューム画像と第２のボリューム画像とのあいだで仮想内視鏡位置を変換する手段と
を有する
ことを特徴とする第１のボリューム画像および第２のボリューム画像の俯せ‐仰向け登録装置。
内視鏡検査プロトコルにより第１のボリューム画像を表す第１のボリューム画像データセットおよび第２のボリューム画像を表す第２のボリューム画像データセットを導出する手段と、
接続された線分により表される各中心線表現を導出する手段と、
接続された線分を再サンプリングし、第１のサンプルセットおよび第２のサンプルセットを形成する手段と、
各サンプルに対してデスクリプタを計算する手段と、
各デスクリプタ間の距離を用いて相似性マトリクスを計算する手段と、
該相似性マトリクスに最小化アルゴリズムを適用することにより第１のサンプルセットと第２のサンプルセットとのあいだの対応点の最適なセットを求める手段と
を有する
ことを特徴とする仮想内視鏡画像の登録装置。