JP2006506164A - 3次元メッシュモデルをオブジェクトの3次元表面に自動的に適応させる画像処理システム - Google Patents
3次元メッシュモデルをオブジェクトの3次元表面に自動的に適応させる画像処理システム Download PDFInfo
- Publication number
- JP2006506164A JP2006506164A JP2004553008A JP2004553008A JP2006506164A JP 2006506164 A JP2006506164 A JP 2006506164A JP 2004553008 A JP2004553008 A JP 2004553008A JP 2004553008 A JP2004553008 A JP 2004553008A JP 2006506164 A JP2006506164 A JP 2006506164A
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- resolution
- mesh
- mesh model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Coating With Molten Metal (AREA)
- Heating, Cooling, Or Curing Plastics Or The Like In General (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Generation (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
モデルベース画像セグメント化のために、3次元表面モデルを画像特性に自動的に適応させる手段を有する画像処理システムであって、モデル解像度を画像特性に適応させる動的適応手段を有し、前記手段は、信頼できる画像特性が見つかったとき、局所的により高い解像度に設定する手段と、反対の場合に、より低い解像度に設定する手段とを含む。本システムは、各画像特徴に対して特徴信頼性パラメータを評価する評価手段を有する。モデル解像度はそのパラメータによって局所的に適応される。特徴信頼性パラメータは特徴距離と、ノイズの評価を含むこの特徴の品質の評価に依存する。距離が大きい特徴、および近いがノイズが大きい特徴にはペナルティが与えられる。モデルの解像度は、信頼性が無いとき下げられ、特徴の信頼性が高くなると徐々に上げられる。
Description
本発明は、3次元メッシュモデルを医療用画像のオブジェクトの表面上に自動的に適応させる処理システムに関する。本発明は、前記システムを動作させるステップを有する画像処理方法にも関する。本発明は、3次元画像の3次元オブジェクトのセグメント化方法に適用される。そのセグメント化方法は、3次元メッシュモデルを前記3次元オブジェクトにフィットさせる動作を有することが多い。本発明は、臓器の病理を研究または検知するために体器官であるオブジェクトをセグメント化するために、上記の画像処理システムに結合された医療用画像装置、およびこの装置またはシステムにより作成された医療用3次元画像を処理するプログラムプロダクトにさらに関する。本発明は、医療用画像化の分野に特に応用される。
3次元オブジェクトのモデル化方法は非特許文献1ですでに開示されている。この論文では、3次元のオブジェクトを再生する物理ベースのアプローチが提示されている。このアプローチは「シンプレックスメッシュ」のジオメトリーに基づく。メッシュの弾性的振る舞いが、各頂点(メッシュのノード)で抽出されたシンプレックス角により平均曲率を制御する局所安定関数によりモデル化される。それらの関数は、視点不変であり、内在的であり、スケールセンシティブである。通常のグリッドで定義された非変形表面とは異なり、シンプレックスメッシュは非常に適応的な構造である。曲率の高い部分または不正確な部分でメッシュの解像度を上げる精密化プロセスも開示されている。コンプレックスモデルを再生するためにシンプレックスメッシュを接続する操作が、より簡単な形状を有する部分を用いて実行される。
シンプレックスメッシュは頂点の接続性が一定である。3次元表面を表すために、各頂点が3つの隣接する頂点と接続されているシンプレックスメッシュ(これは2次元シンプレックスメッシュと呼ばれる)が使用される。シンプレックスメッシュの構造は、引用文献の図1に示されているように、2重の三角形分割構造である。これにより方位付け可能な表面をすべて表すことができる。シンプレックスメッシュの輪郭は、周囲の頂点よりなる閉じた多角形チェーンとして定義される。その輪郭はできるだけそれ自身を横切らないように制限されている。輪郭は変形可能なモデルであり、それが組み込まれているシンプレックスメッシュとは独立に処理される。可能な限りすべてのメッシュ変換を達成するため、4つの独立な変換が定義される。それらは表面にエッジを挿入するか削除することである。シンプレックスメッシュの記述は、平面幾何で用いられる各を一般化したシンプレックス角の定義、および頂点が周囲の3つの頂点との関係でどのような位置にあるかを記述する計量パラメータの定義を有する。各頂点の運動はニュートンの運動の法則で与えられる。変形は、形状をなめらかにし、メッシュが3次元オブジェクトに近づくように制限する力を示唆している。内部的な力は物理ベースモデルの外部制約に対する応答を決定する。内部的な力は、内在的で、視点不変で、スケールディペンデントであるように表される。同様な制約が輪郭にも課される。
それゆえ、非特許文献1は、与えられた3次元オブジェクトを表す単純なモデルを提供する。それはモデルを対象の3次元オブジェクトに併せて形状を調節するために印加される力を定義する。「シンプレックスメッシュ法」は強いセグメント化法である。
H. Delingette、「シンプレックスメッシュ:3次元形状再構成のための一般表示」、processing of the International Conference on Computer Vision and Pattern Recognition (CVPR’94)、1994年6月20-24日、米国シアトル
H. Delingette、「シンプレックスメッシュ:3次元形状再構成のための一般表示」、processing of the International Conference on Computer Vision and Pattern Recognition (CVPR’94)、1994年6月20-24日、米国シアトル
本発明の目的は、3次元メッシュモデルのグレイレベル画像に表されたオブジェクトの3次元表面へのマッピングを自動的に適応させる画像データ処理手段を有する画像処理システムを提案することである。この画像処理システムは、上記メッシュモデル適応の信頼性の数量的かつ視覚的表示を、好ましくはカラーコード化して、前記オブジェクト表面上に表示する視覚化手段も有する。本システム処理手段を用いて、3次元オブジェクトオブインタレストの3次元表面は3次元グレイレベル画像に登録される。3次元シンプレックスメッシュモデルは、その表面をフィットさせるためのメッシュモデル法により、3次元表面にフィットされる。オブジェクト表面へのメッシュモデルの適応の改善をユーザが分かるように、本システムは、メッシュモデルの3次元セルの適応を評価する手段と、カラーコードに従って色づけされたシンプレックスメッシュモデルのセルを表す手段とを有する。このカラーコードにより、3次元オブジェクトの対応するゾーンに関して、セルの適応を数量化することができる。
具体的に、本発明の目的の1つは、このシステムを体器官の3次元医療用画像のセグメンテーションに適用することである。
提案した画像処理システムは請求項1に記載されている。
本発明の他の目的は、このシステムが動作するステップを有する画像処理方法を提案することである。本発明は、この3次元画像処理システムに結合した医療用検査画像装置にも関する。本医療用画像装置は、X線医療用検査装置その他の3次元医療用画像化装置であってもよい。本発明はさらに、本画像処理方法を実行するプログラムプロダクトまたはプログラムパッケージにも関する。
例えば、グレーレベルで表される3次元デジタル画像に適用する画像処理方法を最初に説明する。その画像はオブジェクトオブインタレストと呼ばれる器官のノイズが多い3次元表面を表す。例えば、バックグラウンドに関してオブジェクトオブインタレストのよりよいビューをユーザに提供するため、このオブジェクトはセグメント化される。画像をセグメント化すると、ユーザはその器官の異常や病気をよりよく研究したり検知したりすることができる。本画像処理方法はいくつかのステップを有する。
1)オブジェクトオブインタレストの3次元デジタル画像の捕捉
3次元画像を捕捉する方法は本発明の一部ではない。本セグメント化方法は器官の3次元デジタル画像に適用することができるが、その3次元デジタル画像は超音波システム、X線装置、その他の本技術分野の当業者に知られたシステムによって捉えることができる。3次元オブジェクトが図1A、1Bに示されており、OBJで示した複雑な表面を有している。その3次元のオブジェクトオブインタレストを表す3次元画像を捉えた後、その画像をセグメント化する。技術水準として上で引用した文献に関連して説明したセグメント化方法を使用するが、それはこの方法が頑強でよい結果を与えるからである。反復法により、シンプレックスメッシュモデルと呼ばれる離散的モデルを用いてオブジェクトオブインタレストを表すことができる。
3次元画像を捕捉する方法は本発明の一部ではない。本セグメント化方法は器官の3次元デジタル画像に適用することができるが、その3次元デジタル画像は超音波システム、X線装置、その他の本技術分野の当業者に知られたシステムによって捉えることができる。3次元オブジェクトが図1A、1Bに示されており、OBJで示した複雑な表面を有している。その3次元のオブジェクトオブインタレストを表す3次元画像を捉えた後、その画像をセグメント化する。技術水準として上で引用した文献に関連して説明したセグメント化方法を使用するが、それはこの方法が頑強でよい結果を与えるからである。反復法により、シンプレックスメッシュモデルと呼ばれる離散的モデルを用いてオブジェクトオブインタレストを表すことができる。
上で説明したセグメント化方法を使用したとき、複雑な表面OBJでは問題が起こる。本発明はこの問題を解決することができる。その表面はOBJで示され図1Aと1Bに示されているが、本発明の方法が膨大な数の異なる複雑な表面に適用することができることを例示するために選ばれたものである。
2)シンプレックスメッシュモデルと呼ばれる離散モデルの生成
本画像セグメント化方法は、先行技術(非特許文献1)として説明した2−シンプレックスメッシュモデルのような離散的変形可能モデルの利用に基づく。図1Aまたは1Bに示したように、3次元デジタルシンプレックスメッシュモデルが生成される。この場合、3次元デジタルシンプレックスメッシュモデルは、1組のセルと呼ばれる3次元の離散的な曲がった面により形成される単純な球面M0である。
本画像セグメント化方法は、先行技術(非特許文献1)として説明した2−シンプレックスメッシュモデルのような離散的変形可能モデルの利用に基づく。図1Aまたは1Bに示したように、3次元デジタルシンプレックスメッシュモデルが生成される。この場合、3次元デジタルシンプレックスメッシュモデルは、1組のセルと呼ばれる3次元の離散的な曲がった面により形成される単純な球面M0である。
セグメント化動作は、図1Aと1Bに示したように、OBJで示された3次元のオブジェクトオブインタレストに、図1Aまたは1Bの3次元シンプレックスメッシュモデルM0をマッピングすることである。この例では、オブジェクトオブインタレストOBJは、器官を表す複雑な形状をしている。この器官表面は、図1Aと1Bの一方のような異なる幾何学的構成を示しており、ふくらんだ表面と小さい直径の管状の垂を有し、それがその器官の壁を越えて伸びている。
本発明の場合、セグメント化するオブジェクトの形状は最初は分からないので、オブジェクトオブインタレストOBJの形状にフィットさせるため、最初のモデルを変形しなければならない。この体器官の複雑な形状の表面の全体に正しくマッピングするために球面を適当に変形することは困難に見える。
M0等の3次元メッシュモデルは一定の頂点連結性を有する。事実として、3次元表面は3次元メッシュセルを用いて表される。ここで各頂点は3つの周囲の頂点に連結されている。周囲の頂点とは、あるセルの頂点であって、その頂点から始まるそのセルのエッジの2番目の先端であると理解しなければならない。各頂点は3つのセルに共通であり、それゆえ3つの角に共通であり、3つのエッジの始点である。M0等のメッシュモデルは、メッシュ変換を用いてすべてのタイプの3次元表面を表すことができる。4つの独立な変換が、可能な全範囲のメッシュ変換を実現するために定義されている。それらは、セルに頂点(ノード)を挿入すること、削除すること、セルに角度を定義すること、頂点がその周囲の3つの頂点に対してどのように位置しているかを記述する計量パラメータを定義することである。各頂点の運動は運動の法則に従う。変形は、シンプレックスメッシュモデルの形状をなめらかに制限する内的力と、この実施例の表面OBJの3次元オブジェクト表面に3次元メッシュモデルを制限する外的力を示唆している。
既知の方法(非特許文献1)によれば、メッシュモデルの変形は、本質的には、変形の各段階においてそのメッシュモデルと画像データとの間の距離の関数である。メッシュモデルは相対的に近いデータポイントに引き寄せられるだけである。
残念ながら、図1Aに示したオブジェクトオブインタレストに適用したとき、この既知の方法のこの特徴は非常に無益なことである。図1Aに示したように、変形の最初の段階で、球面M0は位置M1に到達する。次の段階で、メッシュはM2部分の画像データに引き寄せられるが、このメッシュはP’1、P’2部分に正しく進まない。P3の画像データが非常に遠いからである。この場合メッシュモデルの変形は不適当に終わってしまう。図1Aは、モデル表面がひっくり返ったところを示して、この欠点を示している。
このことは、変形の早い段階で、画像特性の一部である壁や境界が変形可能メッシュモデルの対応する部分から非常に遠いかまたは隠れていると、所定の距離基準を使用できないことを示している。また、画像ノイズがあり真の特徴が失われているとき、間違った特徴がメッシュモデルを引き寄せてしまう。このように、この距離基準を使用すると、局所モデル解はデータに一致せず、モデルが自己交差してしまうことがある。変形モデルは自分自身と交差し、間違ったセグメント化をしてしまう。
なお、非特許文献1は改善を提案している。この改善は、曲率が高い部分と画像データへの距離が閾値より大きい部分では、メッシュ解像度を自動的に上げるアルゴリズムを導入することである。こうすると、各繰り返しにおいて、球面セルの面積は小さくなる。既知の方法によれば、図1Aに示したように、画像データへの距離が大きいと、セルの表面は小さくなり、セルの数は大きくなる。そのため、この改善アルゴリズムは、上記のP’1、P’2部分の結果を改善することはできない。
その代わりとして、本発明は、モデルベースセグメント化のコンテクストにおいて、3次元表面モデルを画像データに自動的に適応させる方法を提案する。この方法は、モデル解像度を画像特性コンテントに動的適応させることができる。本発明によれば、モデル解像度は、信頼できる画像特徴が見つかったときにのみ局所的により高い解像度に設定される。逆の場合で、画像特徴が遠いか信頼できないとき、例えばノイズが多い場合には、モデル解像度は局所的により低い解像度に設定される。画像特徴が信頼できるときメッシュモデルの解像度を上げることは、画像特徴の距離が閾値より大きいとき解像度を上げるという先行技術の開示とは、全く反対である。本発明は、モデルが自己交差を防止することを可能とするだけでなく、セグメント化プロセス全体の計算を効率的にする。
本発明によれば、各画像特徴について、特徴信頼性パラメータが定義され、モデル解像度はそのパラメータにより局所的に適応される。特徴信頼性パラメータは、特徴距離と画像データの品質によって決まる。近くてもノイズが多いデータ特徴にはペナルティを与える。この方法により、画像特徴が無いときは粗いモデル解像度を保つ。そして、この方法は、特徴信頼性が上がるとモデル解像度を徐々に高くする。モデルの一部の解像度が局所的に低いことは、大きな面積に少数のセルしかないことを意味する。このことはその部分の局所表面曲率を制約し、モデル表面がひっくり返ったり自己交差したりすることを防止する。
図1Bに示したように、このモデルは、モデル変形のM2段階でP’2部分に大きなセルを有している。これにより、このモデルは、図1Aのようにひっくり返ってしまうのではなく、オブジェクトオブインタレストのP3部分に向けて広がり続けることができる。
3)一連の3次元デジタル画像のセグメント化
このセグメント化動作は、シンプレックスメッシュモデルのオリジナル球面形状M0を、その表面をオブジェクトオブインタレストOBJの表面にできるだけ近づけて、それがオブジェクトオブインタレストOBJにマッピングされるまで、変形することである。この動作は、繰り返し則により、繰り返しステップで実行される。この繰り返し則により外的力と内的力をバランスさせることができる。この外的力は、オブジェクトオブインタレストOBJの表面に向けてモデルのセルを引きつける第1の力である。すなわち、外的力がセル表面をオブジェクト表面に近づけさせる。内的力は、メッシュモデルの表面をなめらかにする調整力である。
このセグメント化動作は、シンプレックスメッシュモデルのオリジナル球面形状M0を、その表面をオブジェクトオブインタレストOBJの表面にできるだけ近づけて、それがオブジェクトオブインタレストOBJにマッピングされるまで、変形することである。この動作は、繰り返し則により、繰り返しステップで実行される。この繰り返し則により外的力と内的力をバランスさせることができる。この外的力は、オブジェクトオブインタレストOBJの表面に向けてモデルのセルを引きつける第1の力である。すなわち、外的力がセル表面をオブジェクト表面に近づけさせる。内的力は、メッシュモデルの表面をなめらかにする調整力である。
図2Aは、最初は球面であるメッシュモデルを用いてセグメント化するオブジェクトオブインタレストOBJの他の例を示す図である。この実施例において、オブジェクトオブインタレストはすべての方向で楕円の直径を有している。方向A、Pにおいて、画像特徴は球面のセルから遠いところにある。そこで、モデルは、図2Bに示したように最も近い画像特徴に向けて引き寄せられる。しかし、本発明によれば、先行技術のように方向A、Pでセルのサイズを小さくするのではなく、方向A、Pのセルのサイズを大きくする。これは、セルを間引くことにより行う。方向R、Lのオブジェクト境界はメッシュに近く強い。それゆえ、特徴信頼性はこれらの方向で高い。反対に、方向A、Pのオブジェクト境界は強いと考えられるが、しかし探索範囲を超えている。それゆえ、そのオブジェクト境界をメッシュは「見て」おらず、信頼性は低い。
信頼性が閾値より低いとき、セルはより大きなセルを形成するためにグループ化される。この動作は、セルの数を減らすので、「間引き(decimation)」と呼ばれる。セルを方向A、Pでは方向R、Lより大きくするので、球面のセルの広がりは一様になる。これは、画像特徴に近いセルがより早く広がる先行技術とことなり、図2Bに示した変形を与える。
本発明によれば、画像特徴により近いセルは大きいセルを引き寄せ、画像特徴により近くなる。上記のセルが近くなると、より高い信頼性を獲得する。上記セルについて画像特徴がより信頼できるようになるので、最初に拡大されたセルの解像度は局所的に上げられる。この時、次第に、最初に拡大されたセルはよりいっそう信頼性が上がる画像特徴により引き寄せられ、球面が変形されて図2Dに示したようにオブジェクトオブインタレストにフィットするまで、その解像度はよりいっそう高くなる。
4)マッピング動作の適合性の評価
図2Cと2Dは、上で引用した反復則により実行された所定数の反復後の、変形されたメッシュモデルM0を表す。最初のメッシュモデルM0のセルの表面は、外的力の作用によってオブジェクトオブインタレストOBJの表面により引き寄せられる。一方、内的力はメッシュモデル表面をなめらかにして、メッシュモデルの形状がオブジェクトオブインタレストの形状にますます近くなるようにする。
図2Cと2Dは、上で引用した反復則により実行された所定数の反復後の、変形されたメッシュモデルM0を表す。最初のメッシュモデルM0のセルの表面は、外的力の作用によってオブジェクトオブインタレストOBJの表面により引き寄せられる。一方、内的力はメッシュモデル表面をなめらかにして、メッシュモデルの形状がオブジェクトオブインタレストの形状にますます近くなるようにする。
本発明によれば、ユーザは画像特徴に与える信頼性を視覚的に評価してもよい。モデルの適応のための特徴信頼性を使用するのに加えて、本発明は信頼性パラメータの関数としてカラーコード化されたセルの視覚化を提供する。このように異なる色で視覚化することにより、変形プロセスを監視したり、最終品質を局所的に評価したりすることができる。
図2Cを参照して、オブジェクトオブインタレストの直径RLに沿ったAPに垂直な断面が示されており、表示の中心のセルはポイントA、Pから遠いセルである。この表示の中心で、解像度が低い間引きされたセルは例えば赤く表される。図2Cでは非常に薄い灰色となっている。これらのセルの周りでは、方向H、Fのセルは画像特徴に非常に近く、解像度が高い。それらは例えば緑色で表される。図2Cでは中間の灰色となっている。
何度かの繰り返しの後、球面のセルはすべてオブジェクトオブインタレストの壁の近くにある。信頼性レートは高く、すべてのセルは図2Dに示したように緑色(灰色)となっている。
適応を自動的に評価する方法は以下のサブステップを有する。
4.1)所定の色が信頼性パラメータにより表されたモデル適応の特徴信頼性に関連づけられたカラーコード化テーブルを構築する。本発明は、信頼性パラメータの関数としてカラーコード化されたセルの視覚化を提供する。異なる色で視覚化することにより、変形プロセスを監視して、最終品質を局所的に評価することができる。
所定の色が1つの信頼性パラメータ値に関連づけられてもよい。色は、色のクラスに分類され、各クラスが信頼性パラメータ値の1つの範囲に対応する。信頼性パラメータ値の範囲をさらに分けるため、各クラスを色相のスケールによりさらに分けてもよい。
4.2)メッシュモデルのセルの信頼性パラメータ値を評価する。
4.3)メッシュモデルの所定数のセルの信頼性パラメータ値評価を実行する。この評価は、すべてのセルについて実行してもよいし、限られた数のセルについて実行してもよい。
4.4)カラーコード化動作を実行する。メッシュモデルM0のセルに対応する信頼性パラメータ値が、カラーコード化テーブルに与えられた色と関連づけられる。また、上記セルが、その信頼性パラメータ値に対応するカラーコード化テーブルで決められた色とされる。
4.5)カラーコード化動作により色づけされたセルを有するメッシュモデルM0の画像を表示する。
4.6)信頼性パラメータ値が信頼性閾値と呼ばれる所定のレベルに少なくとも達したセルの割合、または色が所定のカラースケールまたは色相であるセルの割合によって適応のよさまたは信頼性を評価する。
4.7)メッシュモデルをオブジェクトオブインタレストにマッピングするプロセスを改善するか、そのプロセスを停止する決定をする。
上で説明したステップ4.2)と4.3)は、適応のよさを視覚的に評価し、ステップ4.7)のようにさらにステップを続けるか停止するかを決定するために、ユーザがステップ4.4)、4.5)、4.6)を実行することによりメッシュモデルの画像を実際に表示する前に、実行する。
先行技術によれば、ユーザは適応が十分か否かを自分で決定しなければならなかった。オブジェクトオブインタレストの形状とメッシュモデルとの間の比較をすることにより、およびメッシュモデルのセルと2次元スライス中のオブジェクトオブインタレストの対応するゾーンとの間の距離を視覚的に評価することにより、適応のよさを経験的に評価しなければならない。
本発明の方法を用いて、ユーザは、近似評価を自分で実行することなく、オブジェクトオブインタレストに関してメッシュモデルの適応のよさを自動的に数量的に評価することができる。メッシュモデルのカラーコード化されたセルにより、ユーザは、適応のよさを数値的かつ視覚的に知ることができる。事実として、あるセルに関する信頼性パラメータ値は、そのセルが3次元画像中のオブジェクトオブインタレストに近く、その表面と一致していることの見込みを表す。メッシュモデルのそのセルに関する信頼性パラメータ値が大きければ大きいほど、そのメッシュモデルのセルはオブジェクトの表面によりよくフィットする。メッシュモデルの各セルにこのカラーコード化表示を用いることにより、ユーザは、各セルの適応を容易かつ素早く理解することができる。
5)メッシュモデルとオブジェクトオブインタレスト間のマッチングの適合度を改善する。
ステップ4.5)、4.6)、4.7)を実行することによる上で説明した適合度の最初の評価の後、ユーザはこの適合度をよりよくするためにステップの反復を続けるとの決定をしてもよい。
任意的に、適合度が受け入れられる所定の値になったセルは凍結してもよい。セルの凍結とは、それ以上そのセルには計算を適用しないということを意味する。具体的には、そのセルはそれ以上分割されない。そのセルの実際の表面積とオブジェクトオブインタレストの表面との距離は、それ以上変化しない。それらのセルの適合のよさは、そのセルの信頼性パラメータ値および色または色相により自動的に評価される。適合がよいとの決定は、前に説明した閾値による評価の機能としてなされる。凍結されたセルの色と形状は、さらに適合を改善する動作をした後は同じである。
反復ステップが停止されるのは、結果として得られるメッシュモデルのカラーコード化された画像の簡単な視覚化によりユーザが停止する決定をしたとき、またはすべてのセルまたは所定数のセルが所定の閾値に達した時にプロセスが自動的に停止するよう決定した場合である。
図3は、上に説明した方法のステップをすべて実行する、本発明による画像処理システム150のブロック図である。本システムは、画像シーケンスのデジタル画像データを捉える手段151を有し、その手段151は、上で説明した方法の処理ステップによりこれらのデジタル画像データを処理するコンピュータ手段153に結合している。リアルタイム画像を処理するために、医療用ビューイングシステムは、診療室内でもその近くでも使用することができる。本発明のステップは、例えば医療パラメータを評価するために、記憶した医療用画像に適応することもできる。本医療用ビューイングシステムは、結合157によりシステム153へ画像データを提供する。本システムは処理した画像データを表示手段および/または記憶手段に提供する。表示手段154はスクリーンであってもよい。記憶手段はシステム153のメモリであってもよい。その記憶手段は、代替的に外部記憶手段であってもよい。この画像ビューイングシステム153は、好適にプログラムされたコンピュータを有していてもよく、または本発明による方法ステップの機能を実行するように構成された、LUT、メモリ、フィルタ、論理演算器等の回路手段を有する特定目的プロセッサを有していてもよい。本システム153はキーボード155およびマウス156を有していてもよい。アイコンがスクリーン上に提示され、マウスによるクリックで起動できるようになっていてもよいし、特別なプッシュボタンがシステムに設けられていてもよい。このアイコンまたはプッシュボタンは制御手段158を構成し、ユーザは選択した段階またはフェーズで本システムの処理手段を起動したり、期間を制御したり、停止したりする。
図4は、医療用検査装置に組み込まれた、本発明による画像処理システムの一実施形態の基本的構成要素を示す図である。図4に概略図を示したとおり、本医療用検査装置は一般に、患者を寝かせるベッド110またはその医療用検査装置に対して患者を位置決めする他のエレメントを含む。本医療用検査装置は、CTスキャナー151であってもよい。本CTスキャナー151により作られた画像データは汎用コンピュータ等のシステム153に入力される。そのシステム153は本発明による方法のステップを実行する。システム153は、ユーザがシステムと相互作用できるように動作するモニター154等の可視化デバイス、キーボードやポインティングデバイス等の入力デバイス155と接続されている。システム153は、本発明による医療用画像データを処理する方法を実施するようにプログラムされている。具体的に、システム153は本方法のステップを実行する計算手段とメモリ手段とを有する。本方法を実行する予めプログラムされた命令を有するコンピュータプログラムプロダクトが実装されていてもよい。
本発明は、初期データを生成するために用いる医療用画像化技術に関わりなく適用可能である。例えば、心臓を可視化する場合、非侵襲的に3次元医療用データを生成するために磁気共鳴(MR)心臓血管造影法を用いてもよい。上に説明した実施形態において、処理ステップを実行する順序を様々に修正することもできる。医療用画像データに適用される上で説明した処理ステップは、他の様々な既知の処理/画像化方法と有利に組み合わせてもよい。図面およびその説明は、本発明を例示するものであり限定するものではない。添付した特許請求の範囲に入る多数の代替的手段があることは明らかである。さらにまた、本発明を表示用の画像データの生成に関して説明したが、本発明は、画像データの可視化であればほぼいかなる形式のものもカバーすることを意図しており、この可視化には表示デバイスへの表示や印刷などを含むがこれには限定されない。請求項中の参照符号は、その請求項を限定するものではない。
Claims (15)
- モデルベース画像セグメント化のために、3次元表面モデルを画像特性に自動的に適応させる画像データ処理手段を有する画像処理システムであって、
モデル解像度を画像特性に動的に適応させる手段を有し、前記手段は、
信頼できる画像特性が見つかったとき、局所的により高い解像度に設定する手段と、
反対の場合により低い解像度に設定する手段とを含み、
前記画像処理システムは、前記画像を視覚化するビューイング手段をさらに有することを特徴とするシステム。 - 請求項1に記載のシステムであって、
各画像特性に対して特性信頼性パラメータを決めて、それによりモデル解像度を局所的に適応させるデータ処理手段を有することを特徴とするシステム。 - 請求項2に記載のシステムであって、
特性距離と、ノイズの評価を含むこの特性の品質の評価とに依存するパラメータとして、特性信頼性パラメータを定義するデータ処理手段と、
距離が離れた特性、および距離は近くてもノイズの多い特性にペナルティーを課すデータ処理手段とを有することを特徴とするシステム。 - 請求項3に記載のシステムであって、
信頼できないとき前記モデルの解像度を下げ、特性信頼性の向上にともない前記モデルの解像度を徐々に上げるデータ処理手段を有することを特徴とするシステム。 - 請求項4に記載のシステムであって、
モデル表面が自分自身と交差することを防止するため、局所的解像度を低くして局所表面曲率を制限するデータ処理手段を有することを特徴とするシステム。 - 請求項1ないし5いずれか一項に記載のシステムであって、
特性信頼性をモデル適応で利用可能とする手段と、
ユーザが前記モデルの変形プロセスを管理しその最終品質を局所的に評価できるよう、その領域の位置に信頼性を表す異なる色でモデル領域を表示する手段とを有することを特徴とするシステム。 - 請求項1ないし6いずれか一項に記載のシステムであって、3次元画像の3次元オブジェクトのセグメント化のために、3次元メッシュモデルを前記3次元オブジェクトにマッピングするデータ処理手段を含み、
セグメント化する対象のオブジェクトの3次元画像を取得する手段と、
多角形セルよりなるメッシュモデルを生成する手段と、
前記メッシュモデルを前記対象のオブジェクトにマップするため、前記メッシュモデルを変形する手段とを有することを特徴とするシステム。 - 請求項1ないし7いずれか一項に記載のシステムであって、
所定の色が信頼性パラメータ値に関連づけられているカラーコード化テーブルを構成する手段と、
メッシュモデルのセルの信頼性パラメータ値に、前記信頼性パラメータ値に対応するカラーコード化テーブルにより与えられた色を関連づける手段とを有することを特徴とするシステム。 - 請求項8に記載のシステムであって、
信頼性パラメータ値に対応する、カラーコード化テーブルから決定した色をセルの色とすることによりカラーコード化動作を実行するデータ処理手段と、
カラーコード化動作により色づけされたセルを有するメッシュモデルの画像を表示する表示手段とをさらに有することを特徴とするシステム。 - 請求項9に記載のシステムであって、
前記カラーコード化動作はすべてのセルまたは所定数のセルに対して実行されることを特徴とするシステム。 - 請求項1ないし10いずれか一項に記載のシステムであって、
前記メッシュモデルを前記オブジェクトにマッピングするプロセスを所定の信頼性レベルの機能を参照して停止する決定をする手段をさらに有することを特徴とするシステム。 - 医療用画像化システムであって、
医療用画像データを処理するために、請求項1ないし11いずれか一項に記載の画像処理システムを形成するように構成された、好適にプログラムされたコンピュータまたは回路手段を有する特定目的プロセッサと、
前記画像を表示する表示手段とを有することを特徴とするシステム。 - 医療用検査画像化装置であって、
人体の器官の3次元画像を捉える手段と、
請求項12に記載の医療用画像化システムとを有することを特徴とするシステム。 - 請求項1ないし11いずれか一項に記載のシステムで使用される命令セットを有することを特徴とするコンピュータプログラムプロダクト。
- 画像処理方法であって、
画像特性を有する3次元画像の画像データを捉え、モデルベース画像セグメント化のため、画像特性に3次元表面モデルを自動的に適応させるステップと、
信頼できる画像特性が見つかったとき、局所的により高い解像度に設定し、反対の場合により低い解像度に設定するステップを含む、モデル解像度を画像特性に動的に適応させるステップと、
前記画像を視覚化するステップとを有することを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02292884 | 2002-11-20 | ||
PCT/IB2003/005168 WO2004047030A2 (en) | 2002-11-20 | 2003-11-14 | Image processing system for automatic adaptation of a 3-d mesh model onto a 3-d surface of an object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006506164A true JP2006506164A (ja) | 2006-02-23 |
JP2006506164A5 JP2006506164A5 (ja) | 2007-01-11 |
Family
ID=32319683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004553008A Withdrawn JP2006506164A (ja) | 2002-11-20 | 2003-11-14 | 3次元メッシュモデルをオブジェクトの3次元表面に自動的に適応させる画像処理システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US8437579B2 (ja) |
EP (1) | EP1565880B1 (ja) |
JP (1) | JP2006506164A (ja) |
AT (1) | ATE354140T1 (ja) |
AU (1) | AU2003278538A1 (ja) |
DE (1) | DE60311865T2 (ja) |
WO (1) | WO2004047030A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013537078A (ja) * | 2010-09-17 | 2013-09-30 | コーニンクレッカ フィリップス エヌ ヴェ | 画像セグメント化のため生体構造変形モデルを選択すること |
KR101339552B1 (ko) | 2012-11-15 | 2013-12-10 | 이화여자대학교 산학협력단 | 사용자 기반의 오브젝트 근사 방법 및 오브젝트 근사 시스템 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101765843A (zh) * | 2007-08-01 | 2010-06-30 | 皇家飞利浦电子股份有限公司 | 使用医学相关术语访问医学图像数据库 |
WO2009101560A2 (en) | 2008-02-15 | 2009-08-20 | Koninklijke Philips Electronics N.V. | Apparatus for segmenting an object comprising sub-objects |
US8582883B2 (en) * | 2008-04-04 | 2013-11-12 | Koninklijke Philips N.V. | Simultaneous model-based segmentation of objects satisfying pre-defined spatial relationships |
JP5432241B2 (ja) * | 2008-04-07 | 2014-03-05 | コーニンクレッカ フィリップス エヌ ヴェ | メッシュ衝突回避 |
GB2460411B (en) | 2008-05-27 | 2012-08-08 | Simpleware Ltd | Image processing method |
US20110201935A1 (en) * | 2008-10-22 | 2011-08-18 | Koninklijke Philips Electronics N.V. | 3-d ultrasound imaging |
US8265363B2 (en) * | 2009-02-04 | 2012-09-11 | General Electric Company | Method and apparatus for automatically identifying image views in a 3D dataset |
US8879731B2 (en) | 2011-12-02 | 2014-11-04 | Adobe Systems Incorporated | Binding of protected video content to video player with block cipher hash |
US8903088B2 (en) | 2011-12-02 | 2014-12-02 | Adobe Systems Incorporated | Binding of protected video content to video player with encryption key |
US9064318B2 (en) | 2012-10-25 | 2015-06-23 | Adobe Systems Incorporated | Image matting and alpha value techniques |
US9355649B2 (en) | 2012-11-13 | 2016-05-31 | Adobe Systems Incorporated | Sound alignment using timing information |
US9201580B2 (en) | 2012-11-13 | 2015-12-01 | Adobe Systems Incorporated | Sound alignment user interface |
US10638221B2 (en) | 2012-11-13 | 2020-04-28 | Adobe Inc. | Time interval sound alignment |
US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
US10249321B2 (en) | 2012-11-20 | 2019-04-02 | Adobe Inc. | Sound rate modification |
US9451304B2 (en) | 2012-11-29 | 2016-09-20 | Adobe Systems Incorporated | Sound feature priority alignment |
US9135710B2 (en) * | 2012-11-30 | 2015-09-15 | Adobe Systems Incorporated | Depth map stereo correspondence techniques |
US10455219B2 (en) | 2012-11-30 | 2019-10-22 | Adobe Inc. | Stereo correspondence and depth sensors |
US10249052B2 (en) | 2012-12-19 | 2019-04-02 | Adobe Systems Incorporated | Stereo correspondence model fitting |
US9208547B2 (en) | 2012-12-19 | 2015-12-08 | Adobe Systems Incorporated | Stereo correspondence smoothness tool |
US9214026B2 (en) | 2012-12-20 | 2015-12-15 | Adobe Systems Incorporated | Belief propagation and affinity measures |
GB2515510B (en) | 2013-06-25 | 2019-12-25 | Synopsys Inc | Image processing method |
JP6762305B2 (ja) * | 2015-01-28 | 2020-09-30 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 解剖学的構造の有限要素モデリング |
JP6517953B2 (ja) | 2015-06-29 | 2019-05-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | インタラクティブ・メッシュ編集システム及び方法 |
GB2539963A (en) * | 2015-07-03 | 2017-01-04 | Williams Justin | Thermographic imaging system |
US10915680B2 (en) * | 2018-12-21 | 2021-02-09 | Dassault Systemes Simulia Corp. | Local control of design patterns on surfaces for enhanced physical properties |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69331719T2 (de) * | 1992-06-19 | 2002-10-24 | Agfa Gevaert Nv | Verfahren und Vorrichtung zur Geräuschunterdrückung |
AU6108396A (en) | 1995-06-07 | 1996-12-30 | David M. Geshwind | Systems using motion detection, interpolation, and cross-dis solving for improving picture quality |
CA2253719A1 (en) * | 1996-04-24 | 1997-10-30 | Shriners Hospitals For Children | Method and apparatus for recording three-dimensional topographies |
US6404920B1 (en) | 1996-09-09 | 2002-06-11 | Hsu Shin-Yi | System for generalizing objects and features in an image |
US5886702A (en) * | 1996-10-16 | 1999-03-23 | Real-Time Geometry Corporation | System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities |
GB9626676D0 (en) | 1996-12-23 | 1997-02-12 | Smith & Nephew Res | Imaging method |
US6351262B1 (en) | 1998-06-30 | 2002-02-26 | Lucent Technologies, Inc. | Display techniques for three-dimensional virtual reality |
JP2000175052A (ja) | 1998-12-07 | 2000-06-23 | Xerox Corp | ピクセルマップ表現の処理方法及び装置 |
US6968299B1 (en) * | 2000-04-14 | 2005-11-22 | International Business Machines Corporation | Method and apparatus for reconstructing a surface using a ball-pivoting algorithm |
JP2004536374A (ja) * | 2001-03-09 | 2004-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像セグメンテーション |
-
2003
- 2003-11-14 WO PCT/IB2003/005168 patent/WO2004047030A2/en active IP Right Grant
- 2003-11-14 AU AU2003278538A patent/AU2003278538A1/en not_active Abandoned
- 2003-11-14 JP JP2004553008A patent/JP2006506164A/ja not_active Withdrawn
- 2003-11-14 US US10/535,466 patent/US8437579B2/en active Active
- 2003-11-14 EP EP03769837A patent/EP1565880B1/en not_active Expired - Lifetime
- 2003-11-14 DE DE60311865T patent/DE60311865T2/de not_active Expired - Lifetime
- 2003-11-14 AT AT03769837T patent/ATE354140T1/de not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013537078A (ja) * | 2010-09-17 | 2013-09-30 | コーニンクレッカ フィリップス エヌ ヴェ | 画像セグメント化のため生体構造変形モデルを選択すること |
KR101339552B1 (ko) | 2012-11-15 | 2013-12-10 | 이화여자대학교 산학협력단 | 사용자 기반의 오브젝트 근사 방법 및 오브젝트 근사 시스템 |
WO2014077470A1 (ko) * | 2012-11-15 | 2014-05-22 | 이화여자대학교 산학협력단 | 사용자 기반의 오브젝트 근사 방법 및 오브젝트 근사 시스템 |
Also Published As
Publication number | Publication date |
---|---|
DE60311865D1 (de) | 2007-03-29 |
AU2003278538A1 (en) | 2004-06-15 |
EP1565880B1 (en) | 2007-02-14 |
ATE354140T1 (de) | 2007-03-15 |
EP1565880A2 (en) | 2005-08-24 |
DE60311865T2 (de) | 2007-10-31 |
WO2004047030A2 (en) | 2004-06-03 |
AU2003278538A8 (en) | 2004-06-15 |
US20060078194A1 (en) | 2006-04-13 |
WO2004047030A3 (en) | 2004-10-07 |
US8437579B2 (en) | 2013-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006506164A (ja) | 3次元メッシュモデルをオブジェクトの3次元表面に自動的に適応させる画像処理システム | |
JP5660432B2 (ja) | 領域データ編集装置、領域データ編集方法、プログラム、及び、記録媒体 | |
US9619704B2 (en) | Fast articulated motion tracking | |
JP2008510499A (ja) | 解剖学的可視化/測定システム | |
WO2004063988A1 (en) | Image processing method for automatic adaptation of 3-d deformable model onto a subtantially tubular surface of a 3-d object | |
JP2004534584A (ja) | 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法 | |
JP3712234B2 (ja) | 関心領域抽出方法及び画像処理サーバ | |
JP6385318B2 (ja) | 3d医用画像中の対象物をセグメンテーションするための3d対象物の変換 | |
JP2004518473A (ja) | 変形する3d物体の画像シーケンスを該物体の壁の動きの指示を伴って表示する画像処理方法 | |
EP1685534B1 (en) | Three-dimensional segmentation using deformable surfaces | |
JP4170096B2 (ja) | 対象の3次元表面上にマップされた3次元メッシュモデルの適合性評価のための画像処理装置 | |
WO2005078666A1 (en) | Real time user interaction with deformable surfaces of segmentation | |
EP1952346A1 (en) | Method for delineation of predetermined structures in 3d images | |
JP6643821B2 (ja) | 画像処理装置 | |
JP6383182B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP6731753B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
US6392646B1 (en) | Iterative determination of the shortest path between two points on a polygonal surface | |
JP7456928B2 (ja) | 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
JP5231210B2 (ja) | 多次元データセットにおいて表面をセグメント化する方法、システム及びコンピュータプログラム | |
US20090115796A1 (en) | Priori information encoding for manual adaptation of geometric models | |
US20220375099A1 (en) | Segmentating a medical image | |
JP6739374B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Jackowski et al. | A computer-aided design system for segmentation of volumetric images | |
JP2021086263A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021086260A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061113 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070705 |