JP2007236929A - 向上した視覚化、ナビゲーション及び検査 - Google Patents

向上した視覚化、ナビゲーション及び検査 Download PDF

Info

Publication number
JP2007236929A
JP2007236929A JP2007035403A JP2007035403A JP2007236929A JP 2007236929 A JP2007236929 A JP 2007236929A JP 2007035403 A JP2007035403 A JP 2007035403A JP 2007035403 A JP2007035403 A JP 2007035403A JP 2007236929 A JP2007236929 A JP 2007236929A
Authority
JP
Japan
Prior art keywords
voxels
voxel
dimensional
virtual
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007035403A
Other languages
English (en)
Inventor
Arie E Kaufman
イー コーフマン アリー
Zhengrong Liang
リアン ザングロング
Mark R Wax
アール ワックス マーク
Ingmar Bitter
ビター イングマール
Dongqing Chen
チェン ドンキン
Frank Ix Dachille
ダーチル 9世 フランク
Kevin Kreeger
クリーガー ケヴィン
Sarang Lakare
ラカレ サラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RES FOUNDATION OF STATE UNIV O
Research Foundation of State University of New York
Original Assignee
RES FOUNDATION OF STATE UNIV O
Research Foundation of State University of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RES FOUNDATION OF STATE UNIV O, Research Foundation of State University of New York filed Critical RES FOUNDATION OF STATE UNIV O
Publication of JP2007236929A publication Critical patent/JP2007236929A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Abstract

【課題】仮想オブジェクトの仮想的なナビゲーション及び検査を、検査すべき表面全体の適切な観察を確実に行う方法を提供する。
【解決手段】ユーザインタフェースは、検査が課されなかった領域を識別するとともに、3次元のこれら領域への道筋をユーザに案内する機構2250を提供する。仮想的な検査は、径、距離及び角度のような量的な測定を向上するために測定ディスク905を使用することによって更に向上する。オブジェクトの仮想的な検査を更に向上させるために、電子的なセグメンテーション又は洗浄を行う方法があり、これによって、オブジェクトに発生する部分的なボリュームの影響を補正する。
【選択図】図23

Description

この出願の課題は、国立保健研究所の契約番号CA79180及び海軍調査研究所の米国オフィスの譲渡番号N000149710402によって一部資金が提供されている。これらの譲与から、米国政府は、本発明について所定の権利を有する。
本発明は、一般に、コンピュータに基づく3次元視覚化に関し、更に詳しくは、ナビゲーション及び電子洗浄中に見失った領域の識別を含む仮想ナビゲーション及び検査の向上した方法に関する。
オブジェクトの仮想的な表示を調べる3次元イメージング技術の使用が知られている。例えば、医療画像データは、結腸のような器官の仮想的な3次元表示に変換して、領域の綿密な検査を許容する。通常の光学的な結腸検査の場合、利用できる視野は、一般に、結腸を通じたナビゲーションの方向に沿ってのみ検出される。図1に示すように、結腸の管腔の折り曲げられた性質のために、光学的な結腸検査中に結腸の大部分が見えなくなるおそれがある。当然、観察者は、ナビゲーション方向を変更することができ、可視的なカメラを任意の方向に向けることができる。このような柔軟性によって放射線技師又は他の観察者は結腸の表面全体を調べることができる間、特定の領域を調べたか否かを観察者が知るのが困難又は不可能となることがしばしばある。したがって、向上したナビゲーションの補助が所望される。
仮想的なオブジェクトの観察に使用されるのに加えて、関心のある領域における距離及びボリューム測定のような定量化できる分析を行うために仮想的な3次元環境を用いることもできる。現在のシステムにおいて、そのような測定は、一般に、ボリューム測定に対して手動による領域の輪郭描写を伴う。さらに、3次元光線表面交差が、距離、径及び角度測定を行うのに用いられている。そのような技術は、時間を浪費し又は演算的に不経済なものとなる。したがって、仮想的な環境において量的な測定を向上することが所望されている。
仮想的な検査中に出くわす他の問題は、検査に課されるオブジェクトから無関係の構成要素を取り除くことである。例えば、仮想的な結腸検査の場合、結腸から便及び流動体を取り除いて、結腸壁の表面を露出する必要がある。結腸洗浄を行う従来のプレイメージングプロトコルは、不愉快なものであり、そのような検査を行う患者の妨げとなる。電子的な洗浄技術が知られているが、そのような技術は、二つ以上の構成要素のタイプの交差の領域におけるような構成要素の適切な除去に困難を伴う。したがって、仮想的なオブジェクトの向上した電子的な洗浄は、そのような仮想的な検査アプリケーションにおいて有益である。
発明の要約
本発明によれば、オブジェクトの仮想的な検査を向上する方法は、仮想的な検査を全体に亘って確実に行う。この方法は、画像データセットのボクセルを、描写された画像の一部としてこれらボクセルがユーザディスプレイに表示される際に観察されたものとしてマークされる。観察されたボクセルをマークすることによって、最初の検査の完了の際にマークされていないボクセルを識別することができる。一旦、観察されなかった領域が識別されると、予め設定されたしきい値より大きいサイズを有する識別されたボクセルの全ての領域を識別するユーザディスプレイが提供される。
好適には、ユーザディスプレイを、3次元の閉ざされたオブジェクトの2次元平面投影とする。例えば、結腸の管腔を、結腸の内面全体を露出するために2次元平面に「解明する」ことができる。2次元平面投影は、図形的なユーザインタフェースの表示を行うことができ、これによって、ユーザは、観察されなかったボクセルの領域を選択して、選択された領域の3次元の閉じられたオブジェクトの表示を、検査のために行う。
本発明による他の方法は、仮想オブジェクトの物理的なパラメータの量的な測定を行う。この方法は、仮想的なオブジェクトの中心線に沿った位置に少なくとも一つの測定ディスクを配置する。測定ディスクを、オブジェクトの中心線に垂直に整列した平面を規定する標準マーカとする。
単一の測定ディスクを用いることによって、径の測定を行うことができる。二つの測定ディスクを用いることによって、中心線に沿った距離及び領域のボリュームを測定することができる。三つの測定ディスクを用いて、角度の測定を行うことができる。
仮想的な検査を向上する他の方法は、仮想的なオブジェクトの電子的な洗浄を行う。この方法は、画像中の対応する構成要素のタイプの分類を表す複数の密度値範囲を規定する。予測される交差領域に対応する少なくとも1セットの交差状態も規定される。交差状態は、一般に、交差領域の密度プロファイルの観察された繰返し可能な特性に基づいて規定される。構成要素のタイプの分類の少なくとも一部の間の境界領域が、画像データに規定される。境界領域から、セグメンテーション光線が、隣接するボクセルに向かって投影されて、規定された交差状態を満足する領域を検出する。一旦識別されると、交差領域特有の補正が、検出された領域に基づいて実行される。容量測定に関する増強も、任意の残りの部分的なボリュームの影響を更に分析するために行うことができる。
境界領域を、セグメンテーションに対する構成要素のタイプを選択することによって識別することができ、選択した構成要素のタイプの領域のシードボクセルを識別し、選択した構成要素のタイプと他の構成要素のタイプとの間の境界が検出されるまで、シードボクセルから領域を増大する。
仮想的な結腸検査の場合、仮想的なオブジェクトを結腸とし、構成要素のタイプの分類は、空気、軟らかい組織、及び流動体−便−骨を有する。この場合、この場合、交差領域は、空気−軟らかい組織の領域、空気−便の領域、及び空気−流動体の領域を有する。空気−軟らかい組織の領域を検出する際、交差特有の補正は、光線のボクセルの少なくとも一部に結腸壁のラベルを付し、光線のボクセルの一部に粘液のラベルを付す。空気−流動体の領域を検出する際、交差特有の補正は、領域のボクセルに空気ボクセルのラベルを付す。空気−便の領域を検出する際、交差特有の補正は、便ボクセルの少なくとも一部への流動体ボクセルのラベリング及び光線のボクセルの一部への粘液のラベリングによって領域内のボクセルを再構成する。
本発明は、3次元イメージ及び一つ以上の対応する2次元イメージの表示を調整する方法も提供する。この方法は、3次元イメージ上の移動可能なスライスマーカの表示に従った領域の3次元イメージの表示を行う。スライスマーカの位置及び向きに対応する2次元イメージも表示される。ユーザインタフェースの走査によるように互いに相違する2次元イメージが選択されると、3次元イメージのマーカ位置もそれに応じて変化する。2次元イメージは、一般に、矢印状、冠状、軸状、及び中心線に垂直な断面イメージのような断面スライスである。
図面中、特に説明しない限り、同一の参照番号及び符号を、図示した実施の形態の同様な形態、素子、構成要素又は部分を示すのに使用する。さらに、本発明を、図面を参照して詳細に説明する間、本発明は、図示した実施の形態に関連して実施される。添付した特許請求の範囲によって規定されたような本発明の範囲及びその精神から逸脱することなく、記載された実施の形態を変更及び変形することができる。
発明を実施するための最良の形態
3次元視覚化、ナビゲーション及び検査を実行する複数のシステムが知られている。そのシステムは、一般に、MRIスキャナのような画像データを取得し、かつ、2次元画像データの描写されたオブジェクトの有効な3次元仮想表示への変換を行うコンピュータ処理プラットホームを提供する。例えば、そのようなシステム及び方法は、参照することによってここに完全に組み込まれた発明の名称が”System and method for performing a Virtual Examination”であるKaufmannらによる米国特許番号第5,971,767号に記載されている。本発明は、仮想環境で検査されるオブジェクトのパラメータを検査し及び定量化するためにユーザの機能を増大するそのようなシステムの向上に関する。
図2に示すように、仮想的な検査を向上する方法によって、ユーザは、検査されなかった領域を迅速に識別するとともに、仮想的なオブジェクトの全体的な検査を完了するためにこれらの領域を取り出すことができる。このプロセスは、ナビゲーション中に観察されたこれら領域のマーキング(ステップ205)と、観察されなかったこれら領域を識別するためのこのマークされたデータの使用(ステップ210)とを伴う。一旦、観察されなかった領域が識別されると、この情報を、観察者に対して種々の形態で表現することができる(ステップ215)。
観察された領域をマーキングするプロセス(ステップ205)を、主画像データの画像レンダリング中にユーザに対してディスプレイに表示されるボリュームの一部をマークすることによって更新される補助ボリュームバッファをコンピュータ読取可能な媒体において格納することによって実行する。マーキングプロセスを、観察されないボクセルに対する観察されたボクセルを示す2値マーキングプロセスとすることができる。また、観察されたこれらの領域のマーキングを、所定のボクセルがナビゲーション中に用いられる方法を取得する量的なマーキングプロセスとすることができる。例えば、表示中の特定のボクセルの関与(participation)に比例する数値を格納することができる。
ナビゲーションが完了すると、観察の際にマークされなかったボクセルを識別するために補助ボリュームを分析する。マークされなかったボクセルが識別されると、領域増大アルゴリズムを用いて、シードボクセルが属する「見失った(missed)パッチ」の境界を決定する。オブジェクトの表面を構成するほとんど全てのボクセルが、観察された又は見失ったパッチの一部としてタグが付けられるまで、このプロセスが繰り返される。連続的なマーキングアプリケーションの場合、ユーザは、領域増大に対する停止値としてマーキング範囲の値を規定することができる。連続的にマークされたボクセルの見失ったパッチを、見失ったパッチのボクセルの使用のレベルを示すグレースケール又は多色領域として表示することができる。
複数の仮想表示環境において、仮想結腸のような検査されるオブジェクトは、通常のナビゲーション及び検査中にオブジェクトの所定の領域を観察するのが困難な折り畳みや曲線のような特性を有する。したがって、観察されなかったものとしてマークされた表示領域において、結腸のような管腔形状のオブジェト(lumen shaped object)を図3に示すような2次元平面表示に写像することによって、管腔を「解明する」のが望ましい。管や球のような3次元表面を本発明を実施するのに用いることができる2次元空間に写像する複数の既知の技術がある。メルカトルや、斜投影法や、円筒図法や、ステレオ写真写像のようなこれら技術のうちの複数は、写像マーキングの分野において広く使用され、この場合、球体の表面を平坦なマップで表す必要がある。しかしながら、各方法が2次元表示においてある程度のレベルの歪みが生じることが知られている。したがって、2次元表示において、見失ったパッチ305,310,315の可視性を増大する値の全体は、視覚化及び検査における他の目的に適さない。その代わりに、好適には、2次元表示は、グラフィカルユーザインタフェース325を用いることによって消失したパッチ305を可視化し及び選択する有効な方法をユーザに提供する。特定の消失したパッチを選択することによって、システムは、自動的にユーザに対して元の3次元ボリュームの表示を行うことができ、この場合、図4に示すように、仮想的なカメラが、見失ったパッチに対して向けられる。ユーザが、消失したパッチを選択し、これら領域を検査すると、領域を、観察されたものとしてマークするとともに、オブジェクト表面上の消失したパッチの2次元表示から取り除くことができる。
見失ったパッチを2次元マップに表示する代わりに、見失ったパッチを、座標のリストにおいて又はテーブル形態の一連の選択可能なブックマークとして識別することができる。ユーザは、指定された領域を順次観察することができ、かつ、ブックマークのリストから種々の領域を手動で選択することができる。いずれの場合も、ユーザには、最初の試験中に観察されなかった領域が表示され、これによって、観察者は、関心のある表面の100パーセントの観察を行うことができる。
3次元可視化の所定のアプリケーションにおいて、領域を観察するだけでなく、関心のある領域の量的な測定も行うのが望ましい。この一例を、腹部大動脈瘤(abdominal aortic aneurysm: AAA)治療に対する大動脈の評価のコンテキストで見つけることができる。これに関連して、ステント設計及び配置のような治療計画における病気の程度を決定するために識別された血栓症の量及び位置を決定するのが臨床的に重要である。本発明は、そのような量的な測定を容易にするために測定ディスクと称される概念を用いる。
測定ディスクを、ディスクの中心を通過する中心線に沿って延在する仮想オブジェクトの表面を交差する平面とし、それは、局所的な中心線の交差点で垂直のままである。管腔内に配置された複数の測定ディスクの一例を、図5に示す。ディスク形状の使用が好適であるが、それは必須でない。例えば、一般に、中心線上で標準マーカとしての役割を果たすとともにそこから垂直方向に突出する他の任意の形状を用いることができる。
測定ディスクの径は、それが存在する構造の寸法に従う点で適合性がある。ユーザの好みに基づいて、ディスクは、中心線に沿った各点における管腔の最大内径又は最小内径に等しい径を有する。最小内径が好適である場合、測定ディスクは、最大径より大きい場所で最小ギャップが生じうる仮想オブジェクト内に十分含まれる。最大径が好適である場合、ディスクの一部は、検査されるオブジェクトの表面を延在する。
繰返し可能な量的な測定を行うために、ユーザは、オブジェクトの中心線に沿って関心のある選択されたポイントに1個以上の測定ディスクを配置する。これは、一般に、ディスプレイ上で半透明又は透明に描写されるオブジェクト内にディスクを配置するために、コンピュータディスプレイ上のポインタを制御するマウスのような図形的なユーザインタフェースを用いて実行されるインタラクティブプロセスである。
図6に示すように、所定のポイントにおける管腔の径は、単一の測定ディスク605をこの位置に配置することによって決定される。
図7に示すように、長さ測定を、管腔の第1位置に第1測定ディスク705を配置するとともに管腔の第2位置に第2測定ディスク710を配置することによって簡単化することができる。ポイント間のユークリッド長ではなく測定ディスク705,710間の中心線715のセグメントに沿った長さが、関心のあるセグメントの実際の長さとして決定され及び用いられる。これによって、結腸及び大動脈の領域のような捩れるおそれがあるオブジェクトの長さを実際に測定する。
図8を参照すると、領域のボリュームを、二つの測定ディスクを用いて決定することもできる。この場合、ボリュームは、関心のある領域の境界805及び測定ディスク805,810によって規定される。ボリュームを、このように取得された領域によって決定することができ、その領域を、取得された領域に含まれるボクセルの個数を計数するとともにこの個数に単一のボクセルの等量のボリュームを乗算することによって決定することができる。
図9は、関心のあるオブジェクトの湾曲の角度を決定する3個の測定ディスクの使用を示す。3個のディスクは、2個の終点905,910と、内角及び外角の頂点を規定する。ディスクを、関心のある終点及び頂点を可変に規定するために管腔に沿って独立に配置することができる。角度を、ディスク905,915の原点及びディスク910,915の原点を結合する光線920,925の交差によって規定される内角によって規定することができる。この角度を、外角によって規定することもできる。この場合、光線930,935は、頂点に向かう中心線の正接に沿って各終点ディスク905,910の原点から投影される。3個の測定ディスクの原点は、光線を投影する共通面を規定するのに使用される。このようにして、終点から投影される光線は、収束するよう保証される。
セグメンテーション光線を用いる電子洗浄
結腸のようなオブジェクトの仮想的(かつ通常の)検査における共通の問題は、オブジェクトから残留材料を除去することである。結腸の場合、結腸の流動体及び結腸内の便は、それが除去されない場合にはポリープを隠すおそれがある。従来、そのような便及び流動体を除去するには、著しいプレイメージングプロトコル(pre-imaging protocol)を必要とし、それは、多量の流動体及び造影剤の摂取及び結腸の洗浄を完了するためのプレイメージング浣腸を必要とする。参照することによってここに完全に組み込まれる1999年6月29日に出願された発明の名称”がSystem and Method for Performing a Three-Dimensional Virtual Segmentation and Examination”である米国出願番号09/343,012号に開示されているように、画像セグメンテーションのような電子洗浄技術を、仮想オブジェクトを有効に洗浄するのに用いることができる。本発明は、仮想オブジェクトのセグメンテーション及びデジタル洗浄を行う向上した方法を提供し、それは、従来のセグメンテーションによる除去を防止する部分的なボリューム効果を示す領域の有効な処理を提供する。
図10は、結腸のCT画像データの密度プロファイルの一例を示すグラフである。この密度グラフにおいて、軟らかい組織1005、空気1010及び流動体ボクセル1015を表す三つの個別の停滞レベルが存在する。高密度の流動体は、イメージング前の造影剤の摂取の結果である。これらの領域が、従来の画像セグメンテーション技術を用いて容易に区別できるのに対して、これら領域の界面を表すグラフの傾斜部は、分類が困難である。これらボクセルは、考察される部分的なボリュームの影響(partial volume effect :PVE)ボクセル1020である。その理由は、交差部を形成する二つの領域のボクセルの混合によって強度に影響が及ぼされるからである。セグメンテーションを用いてPVEボクセルを分類するのが困難であるので、領域間の境界にしばしば歪みが生じ、その領域が関心のある領域を正確に反映しないおそれがある。例えば、セグメンテーションのエイリアジングの影響の結果、結腸の粘液のような材料の中間層を除去する境界が急になるおそれがある。しかしながら、そのような中間領域は、重要な診断の助けになることがあり、セグメント化された画像において保存される必要がある。
本発明は、予め設定された交差特性を用いて交差の領域を識別するために境界ボクセルから投影されたセグメンテーション光線の概念を提供する。交差の領域が識別されると、部分的なボリュームの影響に起因するあいまいさを解決するために交差特有の調整が行われる。
図11は、本発明のセグメンテーション光線電子セグメンテーションプロセスの大要を示すフローチャートである。ステップ1105において、画像データは、予測される密度の値に基づいて、予め設定された数のカテゴリー又はビンに分類される。例えば、図12に示した結腸の典型的なCTデータの密度ヒストグラムにおいて、空気(AIR)1205、軟らかい組織(ST)1210及び流動体、便、骨(FSB)1215を表す領域を、密度の値の領域によって規定することができる。さらに、一般に、PVI1220及びPV1225のような部分的なボリュームの影響の一つ以上の領域がある。一般に、イメージされるオブジェクト及びイメージされた材料に対する予測された密度の値の以前の知識に基づいたシステム又はユーザによって、分類が割り当てられる。領域間の互いに相違する交差に対する独自の密度プロファイルは、後の使用のために格納することができる特性のセットを決定するために調べられる。
ステップ1110において、シードポイントが、セグメント化すべき領域に配置される。例えば、電子的な結腸洗浄において、結腸内に配置されたAIR領域のシードボクセルを識別し及び選択するのが望ましい。この場合、有効な技術は、FSB密度領域の密度を有するボクセルを識別した後にその真上に配置されたボクセルを検査することである。FSBボクセルが直前にAIRボクセルを有する場合、そのAIRボクセルは、結腸内に存在し、それをシードボクセルとして格納することができる。この状態は、重力が流動体にかかることに起因し、それによって、結腸の折り畳みの下部に収集されるとともに、結腸内の空気とともに滑らかな水平方向の界面を確立する。骨のような結腸の外側のFSBボクセルに対して、これらボクセルは、空気ボクセルではなく軟らかい組織によって境界が設定され、上記状態が満足されない。
シードボクセルを検出するプロセスを、状態すなわちFSBの上のAIRが満足されるか否かを決定するために画像データの垂直方向の走査線を横切ることによって実現することができる。満足される場合、AIRボクセルは、アレイのような適切なデータ構造のシードポイントとして格納される。シードポイント検出評価が完了すると、AIRと他の領域との間の境界を決定するために、各シードから領域増大(region growing)を用いることができる(ステップ1115)。
領域増大を、洗練されていない拡張及び成長ストラテジを用いて行うことができる。このプロセスを、隣接部が分析されなかったボクセルのデータ構造を維持することによって更に有効に行うことができる。好適な洗練されていない拡張及び増大方法において、最初のシードボクセルがデータ構造から除去され、その隣接部が検査される。隠されていないAIRボクセルが見つけられると、このボクセルが格納される。隠されたAIRボクセルが検出されると、このボクセルは無視される。AIRでないボクセルが見つけられると、このボクセルは、境界ボクセルとしてマークされ、個別のデータ構造(BVキュー)に格納される。全ての隣接部が評価された後、ボクセルは、それが処理されたことを表すためにマークされる。このプロセスは、全てのシードボクセルに対して繰り返される。隣接する隠されていないボクセルを識別するために、6接続分析(評価された6個の隣接部)を用いることができる。しかしながら、境界状態を評価する際に、26接続(現在のボクセルの周辺の26個の隣接部)が、精度を向上するのに好ましい。
ステップ1115で識別された境界ボクセルからセグメンテーション光線を投射して、交差の種々の対応する領域を表す交差基準の予め設定されたセットを満足する区域を決定する(ステップ1120)。このステップは、交差の典型的な領域の密度プロファイルの予めの評価と、各交差領域を区別する特性のセットの分離を伴う。このプロセスの一例を、結腸の予測される交差領域の関連で説明する。交差特性の特定のセットが特有のアプリケーションであり、イメージされた材料のような複数の変数に依存する。
仮想的な結腸検査に関連して説明した領域増大オペレーションの場合、結腸内のAIR領域が識別され、AIRと他の領域との間の交差の境界が決定される。その交差は、AIR−ST交差、AIR−流動体交差又はAIR−便交差を表す。そのような交差の領域の密度プロファイルで観察される独自の特性を用いてこれらの交差を特徴づけることによって、特定の補正を行って部分的なボリュームの影響を除去することができる。
例えば、図13は、AIR−ST交差における密度プロファイルを示すグラフである。このプロファイルの特徴は、次の通りである。密度遷移としての勾配の漸進的な増大は、AIRからPV1を通じた軟らかい組織強度まで、場合によってはPV2領域1310まであり、最初の負又は零の勾配1305の後、密度値はST範囲にあり、強度がFSB領域に入らず、もはや一つのPV2ボクセル1310は負又は零の勾配の前に存在しない。
図14は、AIR−流動体交差領域の密度プロファイルのグラフである。この交差のプロファイルは次の通りである。強度値としての勾配の急峻な上昇がAIRからFSBまで移動し、AIR領域とFSB領域との間に出くわす3個以下のPV1ボクセルが存在し、最初の負の勾配に続くボクセルがFSB密度領域に存在したままである。
図15は、AIRの密度プロファイル−便交差を示すグラフである。この交差の特徴は、次の通りである。密度値としての勾配の急峻な上昇がAIRからPV2又はFSBまで移動し、最初の負の勾配の後、強度値はPV2領域にある。
これら交差領域、AIR−ST、AIR−流動体、及びAIR−便の各々に対して、上記状態が満足されたときに交差が見つかる傾向にある。したがって、交差の検出は、交差状態の任意のセットに適合するか否かを決定するために投影セグメンテーション光線の検査を必要とする。光線の投影は、識別された境界ボクセルの各々に対して行われる。光線は、シードボクセル(この場合、AIRボクセルでない全ての隣接部。)と同一タイプでない26個の接続された隣接部の各々に対する方向で外側に投射される。ステップ1120の光線投影の簡単化された2次元表示を、図16で図式的に示す。図16において、境界ボクセルにBを付し、AIRボクセルにAを付す。
セグメンテーション光線が広がると、交差状態のセットの一つに適合するか否かを決定するために、光線が検査される。交差状態の予め設定されたセットの一つに適合された場合、後に説明する補正プロセスを適用することができる。予め設定された光線の距離内で交差状態のセットが満足されない場合、その光線は降ろされる。
交差補正プロセスは、部分的なボリュームの影響によって導入される予測された誤差を補正するために予め設定される。図17のグラフに示すように、検出されたAIR−ST交差に対して、光線の最後の2個のボクセルが結腸壁ボクセルとして示され、光線上の残りのボクセルが粘液ボクセルとしてマークされる。これが結腸壁と粘液との間を正確に区別することを意図しない間、任意のポリープを示す結腸壁の内側の輪郭が正確に保存される。図18のグラフに示すように、AIR−流動体交差のボクセルに対して、これらボクセルは、ボクセルにAIR領域の密度を指定することによって除去される。この動作は、結腸の内側から流動体を除去するプロセスを継続する。AIR−便交差に対して、下にある粘液ボクセルの位置を保持し及び補正する間に便ボクセルを除去することを目的とする。これを、図19に示すように光線に沿って便ボクセルを除去するとともに粘液ボクセルを補正位置に移動させることによって行う。
交差領域の特定の補正が行われた後、PVI領域の部分的なボリュームボクセルの全てと、PV領域の一部のものとが除去される。残りのものは、FSB範囲の高密度ボクセルと、流動体−ST交差の部分的なボリュームボクセルである。これら最後の状態を補正するために、ステップ1130の容量測定に関するコントラストの増強を行うことができる。容量的なコントラスト増強は、ST領域と除去すべきFSB領域との間のコントラストを増強するために図20のグラフに示した伝達関数を用いる。したがって、ルックアップテーブルの使用のように、ボクセルの元の密度を、再構成された密度(Y軸)に再構成することによって、ST密度に近接する流動体−ST交差のボクセルが、ST領域に移動されるとともに維持され、それに対して、FSB領域に近接した交差のボクセルは、除去のためにFSB領域に移動される。図20のグラフは、好適であるが、所望のコントラスト増強を行うために用いることができる伝達関数の一例であり、他の曲線や、予め設定された勾配を有する直線を用いることもできる。
魚眼投影イメージング
通常のコンピュータグラフックスシミュレーションにおいて、3次元ボクセルをコンピュータディスプレイの2次元画像平面に投影するために透視写像が用いられる。図21に示すように、透視投影の結果、制限された視界からの光線が、光源から、画像面上の等間隔で配置された位置に投影される。この結果、歪みが非常に少ない画像が、通常のカメラによって観察されるものに非常に似たものとなる。しかしながら、所定の場合において、更に広いすなわち60°を超える視野をユーザに与える。しかしながら、視野が広がるに従って、画像が歪み始める傾向にある。さらに、180°の視野は、通常の透視投影によって達成することができない。
魚眼投影の本アプリケーションを、仮想結腸検査で検査されるポリープの球面の性質のように重大な特徴を保持するよう視野を増大するために仮想検査において用いることができる。図22に示すように、画像光線を等角度間隔に沿って原点から投影することを目的とする。
画像平面上へのボクセル(x,y,z)の投影は、前方の観察方向に対する二つの角度(φ,θ)及び垂直ベクトルをそれぞれ算出することによって行われる。ボクセルは、極方向の写像(polar mapping)によって画像座標(u,v)に写像される。
u=φ*cosθ
v=φ*sinθ
それに対して、画像座標(u,v)は、
φ=sqrt((u−u)^2+(v−v)^2)
θ=atan((v−v)/(u−u))
によって角度(φ,θ)を最初に算出することによって光線に変換される。
光線は、前方観察光線(view forward ray)を上方観察方向(view up direction)の回りでφだけ回転するとともに前方観察方向(view forward direction)の回りでθだけ回転することによって算出される。結果的に得られる光線は、通常のボリュームレンダリングプロセスと同様にボリュームを通じて投影される。先行する計算を、全画像に対する二つの角度(φ,θ)又は対応する回転マトリックスを予め算出することによって更に有効に行うことができる。
本発明による方法を、3次元視覚化、ナビゲーション及び検査を行う既知のシステム及び方法に対する向上とまとめることができる。そのようなシステム及び方法は、例えば、参照することによってここに完全に組み込むことができるKaufmanなどによる発明の名称が”System and Method for Performing a Virtual Examination”である米国特許番号第5,971,767号に記載されている。本発明による方法を、パーソナルコンピュータを含む任意の数のコンピュータ処理プラットホーム上で実施することができる。例えば、Windows(登録商標)2000オペレーティングシステムの下で動作するとともに単一の1GHz CPUを有するIBMコンパチブルWintel PCが、一般的にそのようなアプリケーションに適切である。
移動断面マーキング
仮想ナビゲーション及び検査に対する更なる向上は、一つ以上の2次元画像に対して現在のナビゲーションを相互参照できる間に3次元環境でナビゲーションできることである。図23を参照すると、本発明は、3次元環境のマーカの表示及びマーカ位置に対応する一つ以上の2次元画像の同時の表示を行う。結腸の3次元表示2205において、スライスマーカ2210は、矢状の断面イメージ215に対応し、スライスマーカ2220は、冠状の断面イメージ2225に対応し、スライスマーカ2230は、軸状の断面イメージ2235に対応する。軸状、冠状及び矢印状のイメージは、患者の軸線に整列される再フォーマット化された2次元イメージである。さらに、スライスマーカ2240は、オブジェクトの中心線に垂直に整列した断面イメージ2245に対応する。
図23に示すように、再フォーマット化された断面イメージの各々は、関連のスクロールバー2250を有する。これは、各マーカを3次元イメージの関心がある領域に配置し及びその逆を行う図形的なユーザインタフェースを提供して、2次元イメージ及び3次元イメージが、同期をとりながら関心のある選択された領域を表示することができる。スクロールバー又は他のユーザインタフェースが移動されると、2次元イメージは、再フォーマット化された2次元イメージを新たに選択した位置に表示するよう変化する。さらに、3次元位置のマーカは、現在表示されている選択された断面イメージを反映するよう移動される。したがって、互いに相違する観察及び観察モードの間で仮想的な座標が設定される。
3次元イメージウィンドウのスライスマーカに加えて、好適には、各断面ウィンドウが、現在のナビゲーション位置及び3次元オブジェクトの観察方向に対応するナビゲーションマーカ2255を有する。
図23において互いに相違する四つの断面イメージ及び関連のスライスマーカを示す間、これら画像の各々をユーザによって選択でき又は選択できないようにするのが好適である。一般に、任意の所定の動作中に一つの断面イメージのみがユーザによって選択される。
好適には、スライスマーカ2210,2220,2230,2240は、カラー又は半透明で表示され、これによって、3次元イメージウィンドウのコンテントを不明確にすることなくスライスマーカ2210,2220,2230,2240を3次元表示で区別することができる。仮想オブジェクトの形状がシェーディングの変動によってわかるので、スライスマーカに対応するボクセルのクロミナンス値(カラー)を変更するとともにそのようなボクセルの輝度値を変更しないことによってスライスマーカを表示するのが好ましい。
スライスマーカの着色を、ボリュームレンダリングモジュール内のベースとなるボクセルカラーを変更することによって行うことができる。ボリュームレンダリング中、可視のボクセルの各々の2次元スライス平面の各々からの距離が算出される。これは、各平面の各ボクセルに対する平面等式を直接算出することによって行われる。平面等式は、
Ax+By+Cz+D=距離
として表現される。この場合、A,B,C及びDは、3次元における2次元スライス位置を規定する平面等式の係数である。現在のボクセル位置は、(x,y,z)によって与えられる。係数が予め正規化されると、平面上の正確なボクセルは、零に等しい距離値を有し、同時に、平面から所定の距離のボクセルは、平面からの距離に比例するゼロでない値を有する。したがって、ボクセルに対する平面等式を算出した結果、平面からのボクセルの距離となる。平面からの距離の絶対値が、予め設定されたしきい値未満である場合、ボクセルは平面の一部と考えられる。ボクセルが平面内で考えられる場合、ベースとなるカラーは、ボリュームレンダリング中に変更される。
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
通常の光学的な結腸検査中の可視表面の領域を示す結腸の管腔の線形的な断面図である。 ナビゲーション中に見失った領域を決定する方法の簡単化されたブロック図である。 オブジェクトの見失った領域の視覚化を向上するために2次元平面に写像された管腔オブジェクトの平面表示を示す線形図である。 観察のために「選択したパッチ」に持ってきた仮想的なカメラを示す結腸の管腔の線形的な断面図である。 仮想的な視覚化アプリケーションの量的な測定を実行するための「測定ディスク」の使用の一例を示す線形図である。 関心のある領域の径を決定するための測定ディスクの使用の一例を示す線形図である。 関心のある領域の長さを決定するための測定ディスクの使用の一例を示す線形図である。 関心のある領域のボリュームを決定するための測定ディスクの使用の一例を示す線形図である。 関心のある領域の湾曲の角度を決定するための測定ディスクの使用の一例を示す線形図である。 結腸のCTイメージデータに対する密度プロファイルの一例を示すグラフである。 本発明のセグメンテーション光線の電子的なセグメンテーションの大要を示すフローチャートである。 結腸の典型的なCTデータの密度ヒストグラムを示すグラフである。 結腸内の空気及び軟らかい組織のボクセルの交差の密度プロファイルを示すグラフである。 結腸内の空気及び流動体ボクセルの交差の密度プロファイルを示すグラフである。 結腸内の空気及び便ボクセルの交差の密度プロファイルを示すグラフである。 交差の領域を配置するための境界ボクセルからセグメンテーション光線の簡単化された2次元図形表示である。 空気−軟らかい組織の交差を検出する光線上のボクセルの分類の図形的な表示である。 空気−流動体の交差を検出する光線上のボクセルの分類の図形的な表示である。 空気−便の交差を検出する光線上のボクセルの分類及び再構成の図形的な表示である。 容量測定に関するコントラスト増強オペレーション中に元の密度から再構成された密度にボクセルを写像するのに使用することができる伝達関数の一例を示すグラフである。 通常の透視投影におけるイメージ光線の投影を示す図である。 視野を増大するために等角度の間隔を用いたイメージ光線の投影を示す図である。 断面マーキングの移動の使用を示す仮想的な検査システムに対するユーザインタフェースの一例の図形的な表示である。

Claims (7)

  1. オブジェクトの仮想的な検査を向上する方法であって、
    画像データセットのボクセルを、これらボクセルがユーザディスプレイに存在する際に観察されたものとしてマークし、
    最初の検査の完了後、観察されたものとしてマークされなかったボクセルを識別し、
    予め設定されたしきい値より大きいサイズを有する識別されたボクセルの全ての領域を識別するユーザディスプレイを提供することを特徴とする方法。
  2. 全ての領域を識別するユーザディスプレイを、3次元の閉ざされたオブジェクトの2次元の平坦な投影としたことを特徴とする請求項1記載の方法。
  3. 前記2次元の平坦な投影が、図形的なユーザインタフェースの表示を提供し、ユーザが、観察しなかったボクセルの領域を選択すると、選択された領域における前記3次元の閉ざされたオブジェクトの表示を行うことを特徴とする請求項2記載の方法。
  4. 前記2次元の平坦な投影を、管腔形状の2次元平面へのメルカトル投影とすることを特徴とする請求項2記載の方法。
  5. 全ての見失った領域を識別するユーザディスプレイを、消失した領域のテーブルリストとすることを特徴とする請求項1記載の方法。
  6. 観察されたものとしてのボクセルのマーキングを、ボクセルが表示されたことを表す2値マーキングとすることを特徴とする請求項1記載の方法。
  7. 観察されたものとしてのボクセルのマーキングを、表示された際のボクセルの関与のレベルに対応する複数レベルのマーキングとすることを特徴とする請求項1記載の方法。
JP2007035403A 2000-10-02 2007-02-15 向上した視覚化、ナビゲーション及び検査 Pending JP2007236929A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US23731100P 2000-10-02 2000-10-02

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002533220A Division JP2004522464A (ja) 2000-10-02 2001-10-02 向上した視覚化、ナビゲーション及び検査

Publications (1)

Publication Number Publication Date
JP2007236929A true JP2007236929A (ja) 2007-09-20

Family

ID=22893204

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2002533220A Pending JP2004522464A (ja) 2000-10-02 2001-10-02 向上した視覚化、ナビゲーション及び検査
JP2002533214A Pending JP2004518186A (ja) 2000-10-02 2001-10-02 仮想的な空間に対する中心線及びツリーブランチ選択決定
JP2007035392A Pending JP2007195991A (ja) 2000-10-02 2007-02-15 向上した視覚化、ナビゲーション及び検査
JP2007035403A Pending JP2007236929A (ja) 2000-10-02 2007-02-15 向上した視覚化、ナビゲーション及び検査
JP2007035402A Pending JP2007203082A (ja) 2000-10-02 2007-02-15 向上した視覚化、ナビゲーション及び検査

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2002533220A Pending JP2004522464A (ja) 2000-10-02 2001-10-02 向上した視覚化、ナビゲーション及び検査
JP2002533214A Pending JP2004518186A (ja) 2000-10-02 2001-10-02 仮想的な空間に対する中心線及びツリーブランチ選択決定
JP2007035392A Pending JP2007195991A (ja) 2000-10-02 2007-02-15 向上した視覚化、ナビゲーション及び検査

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2007035402A Pending JP2007203082A (ja) 2000-10-02 2007-02-15 向上した視覚化、ナビゲーション及び検査

Country Status (5)

Country Link
US (2) US7574024B2 (ja)
EP (2) EP1337970A4 (ja)
JP (5) JP2004522464A (ja)
AU (2) AU2001296506A1 (ja)
WO (2) WO2002029723A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013512009A (ja) * 2009-11-27 2013-04-11 ドッグ マイクロシステムズ インコーポレーテッド 画像データのフィルタリング方法、画像データのフィルタリングシステム、及び仮想内視鏡検査における画像データの使用

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324104B1 (en) * 2001-09-14 2008-01-29 The Research Foundation Of State University Of New York Method of centerline generation in virtual objects
JP4248399B2 (ja) * 2001-10-16 2009-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動枝ラベリング方法
JP2003141548A (ja) * 2001-10-22 2003-05-16 Ge Medical Systems Global Technology Co Llc 3次元ラベリング装置及びその方法
WO2003046811A1 (en) * 2001-11-21 2003-06-05 Viatronix Incorporated Registration of scanning data acquired from different patient positions
GB2390792B (en) * 2002-07-08 2005-08-31 Vision Rt Ltd Image processing system for use with a patient positioning device
JP4564233B2 (ja) * 2003-01-31 2010-10-20 株式会社東芝 画像処理装置、画像データ処理方法、及びプログラム
US7333644B2 (en) * 2003-03-11 2008-02-19 Siemens Medical Solutions Usa, Inc. Systems and methods for providing automatic 3D lesion segmentation and measurements
US7304644B2 (en) * 2003-03-12 2007-12-04 Siemens Medical Solutions Usa, Inc. System and method for performing a virtual endoscopy
US7457444B2 (en) * 2003-05-14 2008-11-25 Siemens Medical Solutions Usa, Inc. Method and apparatus for fast automatic centerline extraction for virtual endoscopy
US7489810B2 (en) * 2003-06-06 2009-02-10 Ge Medical Systems Information Technologies, Inc. Method and system for linking location information between software applications for viewing diagnostic medical images
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
US7613316B2 (en) * 2003-07-22 2009-11-03 L-3 Communications Security and Detection Systems Inc. Methods and apparatus for detecting objects in baggage
US7300398B2 (en) * 2003-08-14 2007-11-27 Siemens Medical Solutions Usa, Inc. Method and apparatus for registration of virtual endoscopic images
US7574032B2 (en) * 2003-10-31 2009-08-11 General Electric Company Method and apparatus for virtual subtraction of stool from registration and shape based analysis of prone and supine scans of the colon
EP1680767A2 (en) * 2003-11-03 2006-07-19 Bracco Imaging, S.P.A. DYNAMIC CROP BOX DETERMINATION FOR OPTIMIZED DISPLAY OF A TUBE-LIKE STRUCTURE IN ENDOSCOPIC VIEW ( CROP BOX”)
CN1902640A (zh) * 2003-11-12 2007-01-24 西门子共同研究公司 对医学图像中的候选解剖结构进行滤波和自动检测的系统和方法
US7310435B2 (en) * 2003-11-25 2007-12-18 General Electric Company Method and apparatus for extracting multi-dimensional structures using dynamic constraints
US20050256400A1 (en) * 2003-12-03 2005-11-17 Bhargav Raman Method to identify arterial and venous vessels
US7609887B2 (en) * 2004-06-07 2009-10-27 Siemens Medical Solutions Usa, Inc. System and method for toboggan-based object segmentation using distance transform
JP3943563B2 (ja) * 2004-08-11 2007-07-11 ザイオソフト株式会社 画像表示方法及び画像表示プログラム
JP2008521461A (ja) * 2004-11-26 2008-06-26 ブラッコ イメージング ソチエタ ペル アチオニ 知識構造のマッピングを使用した管状器官を測定する方法
JP4146438B2 (ja) * 2005-01-19 2008-09-10 ザイオソフト株式会社 識別方法
US8712115B2 (en) * 2005-04-19 2014-04-29 Siemens Medical Solutions Usa, Inc. Real-time virtual endoscopy
US20060258935A1 (en) * 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US8971597B2 (en) 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US7889897B2 (en) * 2005-05-26 2011-02-15 Siemens Medical Solutions Usa, Inc. Method and system for displaying unseen areas in guided two dimensional colon screening
US7379062B2 (en) * 2005-08-01 2008-05-27 Barco Nv Method for determining a path along a biological object with a lumen
US20080219531A1 (en) * 2005-08-01 2008-09-11 Koninklijke Philips Electronics, N.V. Method and Apparatus For Metching First and Second Image Data of an Object
US7903851B2 (en) * 2005-10-17 2011-03-08 Siemens Medical Solutions Usa, Inc. Method and system for vertebrae and intervertebral disc localization in magnetic resonance images
US7711168B2 (en) * 2005-10-19 2010-05-04 Siemens Medical Solutions Usa, Inc. Method for tracking blood vessels
EP1941449B1 (en) * 2005-10-21 2012-07-11 Koninklijke Philips Electronics N.V. Rendering method and apparatus
US20070109299A1 (en) * 2005-11-15 2007-05-17 Vital Images, Inc. Surface-based characteristic path generation
JP4808477B2 (ja) * 2005-11-25 2011-11-02 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
WO2007064981A2 (en) * 2005-11-30 2007-06-07 The Research Foundation Of State University Of New York Reducing false positives of polyp in cad
US8452061B2 (en) * 2005-11-30 2013-05-28 The Research Foundation Of State University Of New York Electronic colon cleansing method for virtual colonoscopy
DE102006003179B4 (de) * 2006-01-23 2009-02-26 Siemens Ag Verfahren und Vorrichtung zur virtuellen Endoskopie eines Hohlkanals
CN101443815A (zh) * 2006-05-11 2009-05-27 皇家飞利浦电子股份有限公司 重建图像的方法和装置
US8023703B2 (en) * 2006-07-06 2011-09-20 The United States of America as represented by the Secretary of the Department of Health and Human Services, National Institues of Health Hybrid segmentation of anatomical structure
US7929741B2 (en) * 2006-08-14 2011-04-19 Siemens Medical Solutions Usa, Inc. System and method for automated detection of mucus plugs within bronchial tree in MSCT images
US8014561B2 (en) * 2006-09-07 2011-09-06 University Of Louisville Research Foundation, Inc. Virtual fly over of complex tubular anatomical structures
US7786990B2 (en) 2006-11-22 2010-08-31 Agfa Healthcare Inc. Cursor mode display system and method
US8442290B2 (en) 2007-01-19 2013-05-14 Mayo Foundation For Medical Education And Research Simultaneous dual window/level settings for display of CT colonography images
WO2008089492A2 (en) * 2007-01-19 2008-07-24 Mayo Foundation For Medical Education And Research Electronic stool subtraction using quadratic regression and intelligent morphology
WO2008089490A2 (en) * 2007-01-19 2008-07-24 Mayo Foundation For Medical Education And Research Axial centerline following display of ct colonography images
WO2008089483A2 (en) * 2007-01-19 2008-07-24 Mayo Foundation For Medical Education And Research Oblique centerline following display of ct colonography images
WO2008091583A2 (en) * 2007-01-23 2008-07-31 Dtherapeutics, Llc Image-based extraction for vascular trees
CN100583164C (zh) * 2007-01-24 2010-01-20 中国科学院自动化研究所 一种树状形体的立体分解和分级骨架提取方法
EP2431943B1 (en) 2007-05-30 2015-04-01 The Cleveland Clinic Foundation Automated centerline extraction method and generation of corresponding analytical expression and use
DE102007028065A1 (de) * 2007-06-19 2009-01-02 Siemens Ag Vorrichtung und Verfahren zur automatischen Wegplanung
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
JP5114121B2 (ja) * 2007-07-18 2013-01-09 株式会社日立メディコ 医用画像処理装置
WO2009022283A1 (en) * 2007-08-16 2009-02-19 Koninklijke Philips Electronics N. V. Imaging method for sampling a cross-section plane in a three-dimensional (3d) image data volume
WO2009071106A1 (en) * 2007-12-05 2009-06-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Image analysis method, image analysis system and uses thereof
EP2353147B1 (en) 2008-11-28 2021-05-19 Fujifilm Medical Systems U.S.A. Inc. System and method for propagation of spine labeling
WO2010074058A1 (ja) * 2008-12-25 2010-07-01 株式会社 日立メディコ 医用画像表示装置及び方法
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US20120027260A1 (en) * 2009-04-03 2012-02-02 Koninklijke Philips Electronics N.V. Associating a sensor position with an image position
JP5302761B2 (ja) * 2009-04-30 2013-10-02 日立アロカメディカル株式会社 超音波診断装置
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
DE102009033452B4 (de) * 2009-07-16 2011-06-30 Siemens Aktiengesellschaft, 80333 Verfahren zur Bereitstellung eines segmentierten Volumendatensatzes für eine virtuelle Koloskopie sowie zugehörige Gegenstände
US8275547B2 (en) * 2009-09-30 2012-09-25 Utility Risk Management Corporation, Llc Method and system for locating a stem of a target tree
WO2011048530A2 (en) 2009-10-21 2011-04-28 Koninklijke Philips Electronics N.V. Interactive determination of coiling parameters.
US8781214B2 (en) * 2009-10-29 2014-07-15 Optovue, Inc. Enhanced imaging for optical coherence tomography
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US8666920B2 (en) * 2010-02-15 2014-03-04 Microsoft Corporation Estimating shortest distances in graphs using sketches
JP5551955B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム
US9401047B2 (en) * 2010-04-15 2016-07-26 Siemens Medical Solutions, Usa, Inc. Enhanced visualization of medical image data
MY152058A (en) * 2010-06-21 2014-08-15 Univ Putra Malaysia A method of constructing at least one 3 dimensional image
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
US9589204B2 (en) * 2010-09-20 2017-03-07 Koninklijke Philips N.V. Quantification of a characteristic of a lumen of a tubular structure
US8463011B2 (en) * 2010-09-30 2013-06-11 Siemens Aktiengesellschaft Tools for automatic colonic centerline extraction
US8922546B2 (en) * 2010-09-30 2014-12-30 Siemens Aktiengesellschaft Dynamic graphical user interfaces for medical workstations
TWI419080B (zh) * 2010-12-07 2013-12-11 私立中原大學 用於室內設計色彩調和系統之方法
US8680994B2 (en) 2010-12-30 2014-03-25 Utility Risk Management Corporation, Llc Method for locating vegetation having a potential to impact a structure
JP6013037B2 (ja) * 2011-06-23 2016-10-25 東芝メディカルシステムズ株式会社 医用画像処理装置
US8646921B2 (en) 2011-11-30 2014-02-11 Izi Medical Products Reflective marker being radio-opaque for MRI
US8661573B2 (en) 2012-02-29 2014-03-04 Izi Medical Products Protective cover for medical device having adhesive mechanism
US8605973B2 (en) * 2012-03-17 2013-12-10 Sony Corporation Graph cuts-based interactive segmentation of teeth in 3-D CT volumetric data
CN102663700B (zh) * 2012-04-13 2014-11-05 福州大学 粘连颗粒二值图像的分割方法
US9498290B2 (en) 2012-07-19 2016-11-22 MRI Interventions, Inc. Surgical navigation devices and methods
US9153049B2 (en) * 2012-08-24 2015-10-06 International Business Machines Corporation Resource provisioning using predictive modeling in a networked computing environment
JP5957409B2 (ja) * 2013-03-29 2016-07-27 富士フイルム株式会社 領域抽出装置および方法並びにプログラム
US9836879B2 (en) * 2013-04-16 2017-12-05 Autodesk, Inc. Mesh skinning technique
US9734616B1 (en) * 2013-10-11 2017-08-15 Pixar Tetrahedral volumes from segmented bounding boxes of a subdivision
US9754398B1 (en) * 2014-03-24 2017-09-05 Amazon Technologies, Inc. Animation curve reduction for mobile application user interface objects
USD784392S1 (en) * 2014-07-17 2017-04-18 Coretech System Co., Ltd. Display screen with an animated graphical user interface
US10242488B1 (en) * 2015-03-02 2019-03-26 Kentucky Imaging Technologies, LLC One-sided transparency: a novel visualization for tubular objects
JP5943287B2 (ja) * 2015-04-02 2016-07-05 国立大学法人名古屋大学 全球型視野をもつ仮想内視鏡装置
US9892506B2 (en) * 2015-05-28 2018-02-13 The Florida International University Board Of Trustees Systems and methods for shape analysis using landmark-driven quasiconformal mapping
USD824027S1 (en) 2016-01-13 2018-07-24 MRI Interventions, Inc. Fins for a support column for a surgical trajectory frame
USD829904S1 (en) 2016-01-13 2018-10-02 MRI Interventions, Inc. Curved bracket for surgical navigation systems
US10376333B2 (en) 2016-01-14 2019-08-13 MRI Interventions, Inc. Devices for surgical navigation systems
US9943959B2 (en) * 2016-04-25 2018-04-17 Disney Enterprises, Inc. Map localizing with partially obstructed ranging devices for autonomous robots and vehicles
US10304236B2 (en) * 2017-03-13 2019-05-28 Siemens Healthcare Gmbh Methods and systems for segmented volume rendering
US10169874B2 (en) * 2017-05-30 2019-01-01 International Business Machines Corporation Surface-based object identification
US10751621B2 (en) * 2017-09-01 2020-08-25 Square Enix Limited Method and system for rendering video game images
WO2019152850A1 (en) 2018-02-02 2019-08-08 Centerline Biomedical, Inc. Segmentation of anatomic structures
US11373330B2 (en) * 2018-03-27 2022-06-28 Siemens Healthcare Gmbh Image-based guidance for device path planning based on penalty function values and distances between ROI centerline and backprojected instrument centerline
CN109658426B (zh) * 2018-12-14 2021-10-29 上海联影医疗科技股份有限公司 结肠中心线修正方法、装置、设备和存储介质
GB201903154D0 (en) * 2019-03-08 2019-04-24 Congenita Ltd System and method for producing a tissue patch for use in reconstruction of tubular anatomical structures
US11151789B1 (en) 2019-03-25 2021-10-19 Kentucky Imaging Technologies Fly-in visualization for virtual colonoscopy
US11044400B1 (en) 2019-04-03 2021-06-22 Kentucky Imaging Technologies Frame stitching in human oral cavity environment using intraoral camera
US11521316B1 (en) 2019-04-03 2022-12-06 Kentucky Imaging Technologies Automatic extraction of interdental gingiva regions
CN113573640A (zh) 2019-04-04 2021-10-29 中心线生物医药股份有限公司 对解剖结构的感兴趣区域进行建模
US10671934B1 (en) 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
US11191423B1 (en) * 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
US11423318B2 (en) 2019-07-16 2022-08-23 DOCBOT, Inc. System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
US11771505B2 (en) * 2019-12-31 2023-10-03 Biosense Webster (Israel) Ltd. Three dimensional mapping system for cranial surgical pathways and method
JP6832479B1 (ja) * 2020-04-10 2021-02-24 株式会社ヴォクシス 立体を形状の狭隘部で分割する画像処理方法、画像処理プログラム、及び画像処理装置
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
EP4012662A1 (en) * 2020-12-09 2022-06-15 Koninklijke Philips N.V. Method for identifying a material boundary in volumetric image data

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK273280A (da) 1979-06-28 1980-12-29 Schering Ag Trijoderede 5-aminoisophthalsyrederivater
US4391280A (en) 1980-04-04 1983-07-05 Miller Roscoe E Enema apparata improvements relating to double contrast studies
US4630203A (en) 1983-12-27 1986-12-16 Thomas Szirtes Contour radiography: a system for determining 3-dimensional contours of an object from its 2-dimensional images
US4737921A (en) 1985-06-03 1988-04-12 Dynamic Digital Displays, Inc. Three dimensional medical image display system
US4729098A (en) 1985-06-05 1988-03-01 General Electric Company System and method employing nonlinear interpolation for the display of surface structures contained within the interior region of a solid body
US4710876A (en) 1985-06-05 1987-12-01 General Electric Company System and method for the display of surface structures contained within the interior region of a solid body
US4719585A (en) 1985-08-28 1988-01-12 General Electric Company Dividing cubes system and method for the display of surface structures contained within the interior region of a solid body
DE3611018C1 (de) 1986-03-27 1987-06-19 Wiest Peter P Vorrichtung zum Insufflieren von Gas
US4751643A (en) 1986-08-04 1988-06-14 General Electric Company Method and apparatus for determining connected substructures within a body
US4791567A (en) 1986-09-15 1988-12-13 General Electric Company Three dimensional connectivity system employing an equivalence schema for determining connected substructures within a body
US4879668A (en) 1986-12-19 1989-11-07 General Electric Company Method of displaying internal surfaces of three-dimensional medical images
US4823129A (en) 1987-02-24 1989-04-18 Bison Instruments, Inc. Analog-to-digital converter
FR2613509B1 (fr) 1987-04-03 1989-06-09 Thomson Cgr Procede de calcul et de representation d'images de vues d'un objet
FR2614163B1 (fr) 1987-04-17 1989-06-09 Thomson Cgr Procede de representation d'images de vues d'un objet
US4831528A (en) 1987-11-09 1989-05-16 General Electric Company Apparatus and method for improvement of 3D images derived from tomographic data
US5170347A (en) 1987-11-27 1992-12-08 Picker International, Inc. System to reformat images for three-dimensional display using unique spatial encoding and non-planar bisectioning
US5038302A (en) 1988-07-26 1991-08-06 The Research Foundation Of State University Of New York Method of converting continuous three-dimensional geometrical representations into discrete three-dimensional voxel-based representations within a three-dimensional voxel-based system
US5023072A (en) 1988-08-10 1991-06-11 University Of New Mexico Paramagnetic/superparamagnetic/ferromagnetic sucrose sulfate compositions for magnetic resonance imaging of the gastrointestinal tract
US4993415A (en) 1988-08-19 1991-02-19 Alliance Pharmaceutical Corp. Magnetic resonance imaging with perfluorocarbon hydrides
US4987554A (en) 1988-08-24 1991-01-22 The Research Foundation Of State University Of New York Method of converting continuous three-dimensional geometrical representations of polygonal objects into discrete three-dimensional voxel-based representations thereof within a three-dimensional voxel-based system
FR2636752B1 (fr) 1988-09-16 1990-10-26 Gen Electric Cgr Procede et systeme de correction des defauts d'images d'un scanner dus aux deplacements de ce dernier
US4984157A (en) 1988-09-21 1991-01-08 General Electric Company System and method for displaying oblique planar cross sections of a solid body using tri-linear interpolation to determine pixel position dataes
US4985856A (en) 1988-11-10 1991-01-15 The Research Foundation Of State University Of New York Method and apparatus for storing, accessing, and processing voxel-based data
US4985834A (en) 1988-11-22 1991-01-15 General Electric Company System and method employing pipelined parallel circuit architecture for displaying surface structures of the interior region of a solid body
US5101475A (en) 1989-04-17 1992-03-31 The Research Foundation Of State University Of New York Method and apparatus for generating arbitrary projections of three-dimensional voxel-based data
FR2648304B1 (fr) 1989-06-12 1991-08-30 Commissariat Energie Atomique Procede de determination d'un espace a partir d'un espace discret connu pour la reconstruction d'images bi ou tridimensionnelles, dispositif de mise en oeuvre et application du procede
JP2714164B2 (ja) 1989-07-31 1998-02-16 株式会社東芝 三次元画像表示装置
US5006109A (en) 1989-09-12 1991-04-09 Donald D. Douglas Method and device for controlling pressure, volumetric flow rate and temperature during gas insuffication procedures
US5187658A (en) 1990-01-17 1993-02-16 General Electric Company System and method for segmenting internal structures contained within the interior region of a solid object
US5086401A (en) 1990-05-11 1992-02-04 International Business Machines Corporation Image-directed robotic system for precise robotic surgery including redundant consistency checking
US5047772A (en) 1990-06-04 1991-09-10 General Electric Company Digital error correction system for subranging analog-to-digital converters
US5127037A (en) 1990-08-15 1992-06-30 Bynum David K Apparatus for forming a three-dimensional reproduction of an object from laminations
US5204625A (en) 1990-12-20 1993-04-20 General Electric Company Segmentation of stationary and vascular surfaces in magnetic resonance imaging
US5270926A (en) 1990-12-21 1993-12-14 General Electric Company Method and apparatus for reconstructing a three-dimensional computerized tomography (CT) image of an object from incomplete cone beam projection data
US5166876A (en) 1991-01-16 1992-11-24 General Electric Company System and method for detecting internal structures contained within the interior region of a solid object
DE4117117A1 (de) 1991-05-25 1992-11-26 Hoehne Karl Heinz Prof Dr Dreidimensionale darstellung von raeumlichen strukturen
US5345490A (en) 1991-06-28 1994-09-06 General Electric Company Method and apparatus for converting computed tomography (CT) data into finite element models
US5261404A (en) 1991-07-08 1993-11-16 Mick Peter R Three-dimensional mammal anatomy imaging system and method
US5283837A (en) 1991-08-27 1994-02-01 Picker International, Inc. Accurate estimation of surface normals in 3-D data sets
US5734384A (en) 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
US5371778A (en) 1991-11-29 1994-12-06 Picker International, Inc. Concurrent display and adjustment of 3D projection, coronal slice, sagittal slice, and transverse slice images
US5442733A (en) 1992-03-20 1995-08-15 The Research Foundation Of State University Of New York Method and apparatus for generating realistic images using a discrete representation
US5295488A (en) 1992-08-05 1994-03-22 General Electric Company Method and apparatus for projecting diagnostic images from volumed diagnostic data
US5322070A (en) 1992-08-21 1994-06-21 E-Z-Em, Inc. Barium enema insufflation system
US5361763A (en) 1993-03-02 1994-11-08 Wisconsin Alumni Research Foundation Method for segmenting features in an image
US5365927A (en) 1993-11-02 1994-11-22 General Electric Company Magnetic resonance imaging system with pointing device
JP3483929B2 (ja) 1994-04-05 2004-01-06 株式会社日立製作所 3次元画像生成方法
US5458111A (en) 1994-09-06 1995-10-17 William C. Bond Computed tomographic colonoscopy
US5920319A (en) 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5611025A (en) 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
US5825908A (en) * 1995-12-29 1998-10-20 Medical Media Systems Anatomical visualization and measurement system
US5699799A (en) 1996-03-26 1997-12-23 Siemens Corporate Research, Inc. Automatic determination of the curved axis of a 3-D tube-shaped object in image volume
US5971767A (en) 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US6343936B1 (en) 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US6331116B1 (en) 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US5986662A (en) 1996-10-16 1999-11-16 Vital Images, Inc. Advanced diagnostic viewer employing automated protocol selection for volume-rendered imaging
JP3813343B2 (ja) * 1997-09-09 2006-08-23 三洋電機株式会社 3次元モデリング装置
US6130671A (en) 1997-11-26 2000-10-10 Vital Images, Inc. Volume rendering lighting using dot product methodology
DE69805209T2 (de) * 1998-02-23 2002-11-28 Algotec Systems Ltd System und methode zur automatischen wegplanung
US6771262B2 (en) 1998-11-25 2004-08-03 Siemens Corporate Research, Inc. System and method for volume rendering-based segmentation
US20020164061A1 (en) 2001-05-04 2002-11-07 Paik David S. Method for detecting shapes in medical images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013512009A (ja) * 2009-11-27 2013-04-11 ドッグ マイクロシステムズ インコーポレーテッド 画像データのフィルタリング方法、画像データのフィルタリングシステム、及び仮想内視鏡検査における画像データの使用

Also Published As

Publication number Publication date
WO2002029723A9 (en) 2003-02-20
WO2002029723A1 (en) 2002-04-11
JP2004522464A (ja) 2004-07-29
EP1337970A2 (en) 2003-08-27
US20070003131A1 (en) 2007-01-04
JP2007195991A (ja) 2007-08-09
US7574024B2 (en) 2009-08-11
EP1402478A2 (en) 2004-03-31
WO2002029717A2 (en) 2002-04-11
AU2001296506A1 (en) 2002-04-15
AU2002211391A1 (en) 2002-04-15
WO2002029717A3 (en) 2002-08-15
JP2004518186A (ja) 2004-06-17
JP2007203082A (ja) 2007-08-16
EP1402478A4 (en) 2006-11-02
EP1337970A4 (en) 2006-09-20
US20040109603A1 (en) 2004-06-10
US7706600B2 (en) 2010-04-27

Similar Documents

Publication Publication Date Title
JP2007236929A (ja) 向上した視覚化、ナビゲーション及び検査
Tschirren et al. Intrathoracic airway trees: segmentation and airway morphology analysis from low-dose CT scans
US8600125B2 (en) System and method for computer aided polyp detection
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Kiraly et al. Three-dimensional human airway segmentation methods for clinical virtual bronchoscopy
JP4950071B2 (ja) 3次元医療画像からの肺動脈樹の自動抽出の方法
JP4347880B2 (ja) 自動三次元病変セグメント化および測定を行なうためのシステムおよび方法
EP1791087B1 (en) Method for point-of-interest attraction in digital images
US20070116357A1 (en) Method for point-of-interest attraction in digital images
Yoshida et al. CAD in CT colonography without and with oral contrast agents: progress and challenges
US20100134491A1 (en) Methods, systems, and computer readable media for flexible occlusion rendering
US20060062447A1 (en) Method for simple geometric visualization of tubular anatomical structures
US20110118596A1 (en) Automatic analysis in virtual endoscopy
Vos et al. Computational modeling for assessment of IBD: to be or not to be?
Serlie et al. Electronic cleansing for computed tomography (CT) colonography using a scale-invariant three-material model
JP2006075602A (ja) 血管構造の3d画像データセットからなるプラーク沈着の可視化方法
JP2004520923A (ja) デジタル画像をセグメント化する方法
CN102132320A (zh) 图像处理,特别是医学图像处理的方法和设备
Rebouças Filho et al. 3D segmentation and visualization of lung and its structures using CT images of the thorax
Serlie et al. Classifying CT image data into material fractions by a scale and rotation invariant edge model
Kiraly et al. Virtual bronchoscopy for quantitative airway analysis
Dijkers et al. Segmentation and size measurement of polyps in CT colonography
Mlejnek et al. Application-oriented extensions of profile flags.
Kiraly 3D image analysis and visualization of tubular structures
Abrahams et al. Detecting blindspots in colonoscopy by modelling curvature

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090407