JP2000514223A - 三次元対象物中に含まれる関心要素の、特に乳房撮影法における定位検査中の位置決定法 - Google Patents

三次元対象物中に含まれる関心要素の、特に乳房撮影法における定位検査中の位置決定法

Info

Publication number
JP2000514223A
JP2000514223A JP10504876A JP50487698A JP2000514223A JP 2000514223 A JP2000514223 A JP 2000514223A JP 10504876 A JP10504876 A JP 10504876A JP 50487698 A JP50487698 A JP 50487698A JP 2000514223 A JP2000514223 A JP 2000514223A
Authority
JP
Japan
Prior art keywords
interest
region
target
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10504876A
Other languages
English (en)
Other versions
JP3993240B2 (ja
JP2000514223A5 (ja
Inventor
ミュラー,セルジュ
グリマウド,シシェル
エイドシエック,ロベール
ルギャグナー,ティエリー サルモン
ボソレル,シルビィ
Original Assignee
ジーイー・メディカル・システムズ・エス アー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー・メディカル・システムズ・エス アー filed Critical ジーイー・メディカル・システムズ・エス アー
Publication of JP2000514223A publication Critical patent/JP2000514223A/ja
Publication of JP2000514223A5 publication Critical patent/JP2000514223A5/ja
Application granted granted Critical
Publication of JP3993240B2 publication Critical patent/JP3993240B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

(57)【要約】 定位画像がディジタル化され、目標関心領域における目標ピクセルが選択され(400)、選ばれた寸法特性を有し前記目標関心領域を含む目標ウィンドウが、選択された目標ピクセルの周りに生成され(401)、1組のピクセルが所定の選択判定基準にしたがって第2画像中に決定され(402)、前記目標ウィンドウと同じ寸法特性の第2ウィンドウが選択された各ピクセルの周りに生成され(403)、各第2ウィンドウにおけるピクセルのグレイスケール・レベルと目標ウィンドウにおけるピクセルのグレイスケール・レベルとの間の相関処理(404)が実施され、その結果、各第2ウィンドウの相関値が得られ、目標関心領域に相同の関心領域が、こうして得られた相関値のセットの解析に基づいて識別され、この結果、相同関心領域間の整合誤差の危険性を最小限に抑える。それから、関心要素は2つの相同性の領域の位置に基づいて位置決定される。

Description

【発明の詳細な説明】 三次元対象物中に含まれる関心要素の、特に乳房撮影法における 定位検査中の位置決定法 発明の背景 本発明は、三次元対象物中に含まれる関心要素を、関心要素に対応し対象物の 1組の定位画像中に現れる相同性の領域の位置に基づいて、位置決定することに 関する。 本発明は、任意の三次元対象物のいかなる定位画像セットにも適用可能である が、医療の分野において、特に前胸部における微小石灰沈着部を位置決定するた めに乳房造影法によって定位検査する際に、特に有用である。 定位検査は一般に、三次元対象物の所定の点に、例えば受像装置の平面に対す る垂線の各側における2つの対向する角入射で得られるこの対象物の2つの二次 元投影図に基づいて、1ミリメートル程度の高精度でアクセスすることを可能に する。その受像装置は、一方では得られた各定位画像の平面への前記の点の投影 位置の、他方では定位結像装置のジオメトリの情報に基づいて、前記の投影図を 送出し、前記の定位結像装置は2つの画像の構成を終えているので、三角法によ る計算によって三次元対象物中の前記の点の正確な空間位置を計算することが可 能である。 要約すれば、定位検査には、 異なる角度での対象物の少なくとも2つの画像と、 定位システムの取得ジオメトリの完全な情報と、得られた様々な定位画像にお ける選択された関心要素の投影個所を位置決定する能力と が必要である。 最初の2点は大きな問題を提起するものではない。現在、乳房造影法における 定位検査は、定位結像装置を備えた乳房X線写真装置を使用して行われている。 乳房X線写真装置は、第1アームの端部に位置するX線管を包含し、X線管は軸 の周りに可動で、別のアームの端部に位置するレシーバにX線を放射している。 X線管とレシーバの間には、一方には胸部支持板すなわち患者支持板が、他方に は乳房撮影中に胸部を適所に保持する圧縮板が配置されている。受像装置は例え ば、ディジタル化された画像を送出するCCDカメラなどのディジタル受像装置 でよい。定位結像のためには、X線管が、受像装置の平面に垂直な初期位置の各 側の2つの連続する対向する配列方向に、胸部支持板と圧縮板との周りを回転す ることが必要である。 得られたディジタル化された定位画像に基づいて、様々な画像における関心要 素の位置決定は、2つの異なる定位画像における対応する相同性の関心領域が胸 部に存在する単一の関心要素と対応するか整合することが必要であるから、特に 乳房X線写真撮影法においては困難な作業である。 こうして、乳房X線写真撮影法においては、得られる様々な定位画像において 同じ微小石灰沈着部に対応する関心領域を整合させる試みを行った。 しかしながら、投影された微小石灰沈着部の整合は、微小石灰沈着部はある画 像ごとに同じには見えないので、困難な問題である。空間におけるこれらの配置 が変わると、これらの形状とコントラストが変化する可能性がある。これらに繊 維質のゾーンまたは他の微小石灰沈着部が重なることもある。 現在まで、整合は放射線医師によって完全に手作業で行われてきた。放射線医 師は、2つの角度から撮った定位画像の上で一致する関心領域を選択し、それか らこれらの領域の二次元座標をコンピュータに入力し、コンピュータは微小石灰 沈着部の空間位置、すなわち微小石灰沈着部の三次元座標を得る。これらの座標 に基づいて、放射線医師は例えば持針器の位置を、針を刺す目的で微小石灰沈着 部に針を整列するように調節することができた。 しかしながら、この完全手動の整合は時間のかかる、ときには不正確なステッ プであることがわかった。 発明の簡単な概要 本発明の目的は、定位検査の持続時間を実質的に短縮すること、およびさらに すぐれた整合精度を得ることである。 本発明の一実施態様では、類似性の測定が定義され、角度をつけて撮った定位 画像の1つにおける(例えば放射線医師に手作業によって、または自動選択法に よって自動的に)選択された関心領域(例えば微小石灰沈着部)と第2定位画像 の関心領域との間の、類似度を評価することを可能にする。 この類似性の測定に基づいて、関心の相同性の領域を得るために、捜索ゾーン に属し最初の微小石灰沈着部に対する高度の類似度を有する多くの「候補」を選 択する。 次に、定位手術の原理を使用して、これらの候補の三次元座標を計算し、次い でこれらをセンタリング画像に再投影する。これらの再投影された点と微小石灰 沈着部との間の類似性を再度計算する。実際は、候補が実際に最初の微小石灰沈 着部に対応する場合には、この計算された投影は実際に、センタリング画像の上 のこの微小石灰沈着部の画像に対応することになる。 最後に、各候補について計算されたこれら2つの類似性の値を使用して、最良 の候補を提案する。 理論上では、目標画像の上で選択された領域と相同性の関心領域を選択するた めに、センタリング画像を使用する再投影ステップを省いて、上述の整合を処理 することは可能である。しかしながら、微小石灰沈着部がある画像から他の画像 へ形状とコントラストを変える可能性のある乳房X線写真撮影法においては特に 、行った最初の選択を確証するために、センタリング画像の上に候補の再投影を 使用することがはるかに好ましい。 換言すれば、本発明は、三次元対象物中に含まれる関心要素を、その関心要素 に対応して対象物の1組の定位画像中に現れる相同性の関心領域の位置に基づい て、位置決定するための方法を提案する。この方法は、第1定位画像すなわち目 標画像において、目標関心領域と呼ばれる第1関心領域、特に微小石灰沈着部を 選択するステップを含む。この方法はまた、前記の第1領域を、第1領域に相同 で第2定位画像に現れる第2関心領域と整合させることも含む。 本発明の一般的特徴によれば、ディジタル化される定位画像すなわち前記の目 標関心領域における目標ピクセルは、選択ステップにおいて選択される。整合ス テップでは、選択された寸法特性を有し、目標関心領域を含む目標ウインドウが 、選択された目標ピクセルの周りに作られる。それから1組のピクセルが、所定 の 選択基準にしたがって第2画像中に決定され、また目標ウインドウと同じ寸法特 性の第2ウインドウが、選択された各ピクセルの周りに形成される。各第2ウイ ンドウにおけるピクセルのグレイスケール・レベルと目標ウインドウにおけるピ クセルのグレイスケール・レベルとの間で、相関処理が実施され、その結果、各 第2ウインドウのための相関値が得られる。それから目標関心領域に相同の関心 領域は、こうして得られた相関値のセットの解析に基づいて識別される。こうし て、相同性の関心領域間の整合誤差の危険性は最小限に抑えられる。 一実施態様によれば、得られた相関値の解析は、ある一定数の相関最大値また は最少値の選択を含み、相同性の領域は、これらの相関最大値または最少値の1 つである関連相関値を有するものから選択される。 実際に、画像が「正常」であるか反転しているかに応じて(「正常」画像は通 常フィルム・ネガで見えるものと類似のグレイスケール・レベルとコントラスト を有するとして定義される)、最大値または最少値をそれぞれ使用する。 また、選択された最大値または最少値のダイナミック・レンジの決定と、得ら れたダイナミック・レンジの限界値との比較も準備することが可能である。 使用される相関処理には、センタリングされた、またはされない正規化された 相関処理、または正規化された差分処理を含むことができる。 上述の整合の変形形態として本発明はまた、あらゆる関心領域の所定の特性、 特に広がり、コントラスト、階調度などの物理特性の取り扱い、それから様々な 関心領域に関連するこれらの特性表の間の比較に基づく整合も提案する。 さらに正確には、本発明の一般的特性によれば、関心目標領域における目標ピ クセルは選択ステップにおいて選択され、整合ステップにおいては、選ばれた寸 法特性を有し関心目標領域を含む目標ウィンドウが、選択された目標ピクセルの 周りに作られる。目標ウィンドウにおけるピクセルのグレイスケール・レベル値 に基づいて、あらゆる関心領域を特徴付ける所定の特性(例えば形状、コントラ スト、または階調度の特性など)をそれぞれ表す第1組の数値が、目標関心領域 のために決定され、この第1組の数値が記憶される。第2画像では、所定の選択 基準にしたがって、第2画像中に現れるいわゆる候補関心領域にそれぞれ属する 一組のピクセルが決定され、対応する候補関心領域を含む第2ウィンドウが、こ れらの選択されたピクセルの各々の周りに作られる。各候補関心領域のために、 第2組の数値はそれぞれ、所定の特性を示しており、関連する第2ウィンドウに おけるピクセルのグレイスケール・レベル値に基づいて決定され、この第2組の 数値は記憶される。それから、目標関心領域に相同の関心領域は、第1組の数値 と各第2組の数値との間の比較処理に基づいて識別される。こうして相同性の領 域間の整合誤差の危険性は最小限に抑えられる。 比較処理は、2組の数値の間の距離最小化処理を含むこともできる。 上に説明した2つの整合変形において、計算時間をさらに最小限に抑えるため に、目標ピクセルに関係するエピポーラ・セグメントを少なくとも含むエピポー ラ・ゾーンが、第2定位画像中に決定される。したがってエピポーラ・ゾーンに おけるピクセルは選択されたピクセルを含む。計算時間をさらに短縮するために 、確定されたエピポーラ・ゾーンにおけるすべてのピクセルに対して整合を実施 する代りに、第2画像におけるピクセルを、所定の限界値より大きなダイナミッ ク・レンジを持つグレイスケール・レベル値の最大と最小を有するピクセルから 選択することが有利である。 さらにまた、画像背景の問題を克服するため、および2つの相同性の関心領域 の間の整合誤差の危険性を最小限にするために、例えば、いわゆる「トップハッ ト変換」形式の定位画像の事前フィルタリングを含むことは、本発明による整合 のためには特に有利である。 候補関心要素をセンタリング画像に再投影するステップの使用は、前に使用さ れた整合形式とは独立している。 したがって、本発明の一般的特徴によれば、上述の形式の位置決定方法は、第 1デジタル化定位画像における第1のいわゆる目標関心領域の選択と、第2デジ タル化定位画像における、第1自動整合に基づく、目標領域に相同である少なく とも1つの第2関心領域の選択と、これらの2つの関心領域に対応する候補関心 要素の候補ピクセルの空間位置決定と、第3定位画像における、候補ピクセルの 第3定位画像への投影に対応する投影されたピクセルの位置決定と、投影された 関心領域を決める、目標関心領域と投影されたピクセルの付近との間の第2自動 整合とを含む。 実際上は、目標領域に相同である1組の第2領域を、第1自動整合に基づいて 、第2定位画像において選択することが有利であり、そして目標領域と第2領域 の1つとによって形成される各対の関心領域に対応する各候補ピクセルの空間位 置が決定される。それぞれの対応する投影されたピクセルの第3画像における位 置も決定され、目標領域と投影された各ピクセルの付近との間の第2自動整合が 実施される。 得られた第2領域のセットを、これらの目標領域に相同の領域であるという確 率の降順に配列することが可能である。また、得られた投影された領域のセット を、これらの目標領域に相同の領域であるという確率の降順に配列することも可 能である。したがって、目標領域に相同の領域を、2つの配列におけるそれぞれ の階級の積が最小になる領域として選択することは有利である。 第1自動整合は、いわゆる相関処理または比較処理に基づいて、上に説明した 2つの整合の1つにすることができる。 同様に、第2自動整合は、上述のように投影された各ピクセルの付近と目標関 心領域を含む目標ウィンドウとの間の相関処理を含むことができる。第2自動整 合を、上記で定義したように目標関心領域と投影された各関心領域との間の比較 処理にすることもできる。 ハードウェアの観点から、本発明を、前記の関心要素に対応して前記の対象物 の1組の定位画像中に現れる相同性の関心領域の位置に基づいて、三次元対象物 中に含まれる関心要素を位置決定するための装置と見ることができる。この装置 は、対象物と、デジタル化された定位画像を得ることのできるCCDカメラなど の受像装置とのための支持物を備えた、定位結像装置を含む。これらの画像を表 示するために手段、例えばマイクロコンピュータが有するようなビデオ画面も備 えられる。マイクロコンピュータの「マウス」などの選択手段は、画面上でカー ソルを移動させること、およびこのマーカーを関心領域の目標ピクセルの上で「 クリック」することを可能にして、目標ピクセルの選択が可能になる。最後に、 上述の方法のすべてのステップを機能的に実施できるようにする手段をソフトウ ェアの形で組み込むために、マイクロプロセッサと付属記憶機構が設けられてい る。 図面の簡単な説明 本発明のその他の利点と特徴は、限定されない実施例と添付の図面を完全に吟 味することによって明らかになろう。添付の図面は下記の通りである。 第1図は、定位結像装置から得られた三次元対象物の3つの定位画像の概略図 である。 第2図は、エピポーラ・セグメントの概念を示す概略図である。 第3図は、整合を実施するために本発明によって選択されるエピポーラ・ゾー ンを示す図である。 第4図は、本発明による方法の全体的フロー・チャートである。 第5図は、相関処理を使用する方法の変形形態の一ステップをさらに詳細に示 す図である。 第6図は、センタリング画像への再投影を使用する本発明による方法をさらに 特定して示す概略図である。 発明の詳細な説明 特に乳房造影法における定位検査は、支持物3の上に保持されて圧縮板2によ って圧縮される胸部などの三次元対象物1(第1図)の、3つの異なった位置6 、7、8をそれぞれ占めるX線管を使用した一連の3つの照射からなる。実際上 は、1つの照射は0°の角度で行われ、2つの照射は2つの同じ反対角度、実際 には±15°の角度をとって行われる。 こうしてCCDレシーバ4によって、3つのデジタル化された定位画像10、 11、12を得ることができる。通常使用される慣行にしたがって、画像10は 右画像とし、画像12は左画像、画像11はセンタリング画像とする。 三次元対象物1中に含まれる関心要素5、例えば微小石灰沈着部は、画像10 、11、12の各々ではそれぞれ参照記号5d、5c、5gを付けた関心領域を 形成する。センタリング画像は特に、続いて行われる医療手術のときに微小石灰 沈着部にアクセス可能であるかどうかをチェックするために使用される。 微小石灰沈着部5の三次元座標を、例えば2つの投影図5d、5gの二次元座 標の情報に基づく簡単な三角法による計算によって、当業者には慣習的で周知の 方法によって得ることができる。これらの座標は、胸部を支持する板の上にエッ チングされた十字9の中心によって明示される原点を元にして表現され、基準十 字の中心は、幾何学的にシステムを初期化するために各画像上で識別される。 当業者には、定義により、角度θ1の画像9の点5dのエピポーラ・セグメン ト(epipolar segment)50(第2図)は、角度θ2の画像12では、先行の点 5dを有する第2画像12における点のセットに対応することは周知である。換 言すればこれは、前記の点を角度θ1のソースと結ぶ直線セグメント52の、角 度θ2のソースによる円錐投影である。 X線管の位置が画像の線に平行な平面中にあるように定位画像が角度によって 得られた場合には、このエピポーラ・セグメント50は直線セグメントであり、 これは画像の線に平行であることがわかる。しかしながら、三次元対象物の厚さ が未知である場合には、このエピポーラ・セグメントの両端の位置を決定するこ とは不可能である。するとこのエピポーラ・セグメントはエピポーラ直線となり 、これは、ここで説明する特定の取得ジェオメトリでは、同じ画像線12の上に 画像9上の関心点5dとして存在する。 さらに、幾何学的ひずみを有する検出器を使用すると、エピポーラ直線はエピ ポーラ曲線53に変換される(第3図)。CCDカメラの幾何学的較正によって 、画像12におけるエピポーラ曲線上の点のセットの座標を決定することが可能 である。こうして、この点のセットの上のみで本発明による整合を実施すること が可能である。 しかし幾何学的較正の精度の理由で、エピポーラ曲線上の点の座標を近似的に のみ決定可能である場合には、エピポーラ曲線を含むエピポーラ条片51に本発 明による整合を実施するという選択がなされる。実施上は、所定の限界によって エピポーラ53の最上点と最下点のいずれの側にも、拡大する2点をそれぞれ通 過する平行な2本の線によって境界づけられたエピポーラ・ゾーンまたは探索ゾ ーンが決められる。一般に3〜5ピクセルの限界が選ばれる。 本発明による整合の2形式について、第4図と第5図を詳しく参照してさらに 詳細に説明する。 第1ステップは、目標画像と呼ばれる例えば右の画像10に存在する目標関心 領域5dの内部の目標ピクセル60dを選択すること(ステップ400)にある 。実際上は、この選択を、マイクロコンピュータ画面上に表れる問題の画像中の 関心領域の1点の上でクリックして手動で行うことができる。この場合には、自 動ピクセル選択法を用いることもできる。このピクセル60dを目標領域にセン タリングしてもしなくてもよい。 次に(ステップ401)、目標関心領域を含む目標ウィンドウ61dを作る。 この目標ウィンドウを、従来の領域増加ソフトウェア・ツールを目標ピクセル6 0dに適用した後に、自動的に作ることができる。変形形態として、本発明の適 用領域に応じて、所定のサイズのウィンドウを選択するよう準備することもでき る。いずれの場合にも、一般に矩形または正方形の目標ウィンドウが得られ、こ の両側は10〜数10ピクセル程度の寸法を有する。 次に、目標ウィンドウにおける各ピクセルのグレイスケール・レベルを、マイ クロコンピュータに付属する記憶機構に記憶させる。マイクロコンピュータは、 説明した方法を実施するための機能ツールのすべてをソフトウェアとして組み込 んでいる。 これに基づいて、第2定位画像、例えば左画像における1組のピクセルをステ ップ402で選択する。この選択されたピクセルのセットは探索ゾーン51を構 成し、この中で、目標関心領域に相同である1つまたは複数の候補関心領域が選 択される。 上述のように、また整合時間を短縮するために、この探索ゾーン51を例えば 上記のエピポーラ・ゾーン51にすることもできる。さらに正確には、目標ウィ ンドウと同じ寸法特性の第2ウィンドウ61gを、探索ゾーンにおいて選択され たピクセルの各々の周りに作る(ステップ403)。各第2ウィンドウにおける ピクセルのグレイスケール・レベルを記憶させ、各第2ウィンドウ61gにおけ るピクセルのグレイスケール・レベルと目標ウィンドウ61dにおける各ピクセ ルのグレイスケール・レベルの間で相関処理を実施する(ステップ404)。 相関処理は、目標ウィンドウと第2画像の第2ウィンドウの各々との間の類似 性の測定を実施することを可能にし、その結果、類似性の値(これら2つのウィ ンドウ間の相関値)が得られる。 目標関心領域が相同関心領域を整合するのは、これらの相関値の解析に基づく ものである。 相関処理(ステップ404)については、正規化された相関が使用される。さ らに正確には、第2ウィンドウの各相関値は下記の式で与えられる。 ただし、Nはウィンドウにおけるピクセルの数、kはピクセルのランニング・イ ンデックス、l(k)は目標ウィンドウにおけるピクセルkのグレイスケール・ レベル、J(k)は第2ウィンドウにおけるピクセルkのグレイスケール・レベ ルである。 正規化差分を使用して、下記の式によって相関値が得られるようにすることも 可能である。 理論上は、相同性の関心領域は、最大相関値を有する第2ウィンドウ中に含ま れる領域になる。この場合、いくつかの相関値を実際上は高い暗明度で見つける ことができる。それから、相関最大値の限定されたセットを、最大の暗明度など 、または暗明度の降順に並べられた相関値表における最大値の数などの所定の判 断基準にしたがって、相関値のセットから選択する(ステップ405)。 追加の選択判断基準として、選択された最大値のダイナミック・レンジの決定 と、得られた動的値と所定の限界値との比較とを使用することも可能である。最 大値のダイナミック・レンジの決定は当業者には完全に周知である。しかしなが ら当業者は、このようなダイナミック・レンジの決定に関してさらに詳しい内容 については、フランス特許第9115308号を自由に選択参照することができ る。ここで、本発明による方法は、例えば目標領域の相同の領域として考えられ る関心領域をフラッシュさせることによって、マイクロコンピュータの画面で決 定、表示し、誤差の危険性を最小にしてこの実施を可能にすることに留意された い。 この場合、本発明による方法は、実際上は、目標領域の相同である限られた数 の候補関心領域を選択できることになる。こうして放射線医師は、実際に相同の 領域であると考えられるものを手動で選択する可能性を有することになる。 上述のように、整合処理において特定の比較処理を相関処理の代りに使用する ことができる。 こうして、第4図にさらに詳しく示すように、関心領域の一般的特徴表示を可 能にする特性表が、目標ウィンドウ61dの内部に含まれる目標領域のために、 この目標ウィンドウに含まれるピクセルのグレイスケール・レベルに基づいて決 定される(ステップ409)。これらの特性には、例えば関心領域の広がりを示 す値、その平均幅を示す値、その平均グレイスケール・レベルを示す値、または 平均暗明階調度が含まれる。 この作業(ステップ410)は、探索ゾーンにおいて選択されたピクセルに基 づいて定義された第2ウィンドウ61gに含まれる候補関心領域のために実施さ れる。これに関して、処理時間を制限するために、候補領域を包含する第2ウィ ンドウの決定のために選択されたピクセルを、所定の限界値よりも大きなダイナ ミック・レンジを有するグレイスケール最大値を持つ探索ゾーンのピクセルから 選択する。 こうして得られたこれらの様々な特性表に基づいて、目標領域に割り当てられ た特性表と候補領域の各々に割り当てられた特性表の各々との間で、比較処理4 11を行う。 実際上は他の形式の比較処理も考えられるが、ベクトルとして考えられる目標 領域の特性表とやはりベクトルとして考えられる候補領域の特性表との間の、ユ ークリッド距離などの距離の最小化をもたらす、比較処理を使用することが好ま しい。 例示として、2つの特性表の相同値の間における差の絶対値の平均値を決定し 、平均値の最低値を探して、これから相同性の関心領域を導き出すことを準備す ることもできる。 こうして、ステップ405で準備される相同性の領域の選択は、この変形形態 によって、正規化相関または正規化差分を最大化することではなく、特性表の間 の距離を最小化することによって得られる。 本発明はさらにいくつかの改善を提供する。 こうして、相関処理をもたらす整合の変形形態では、探索ゾーンを、所定の限 界値より大きなダイナミック・レンジを持つグレイスケール・レベルの最大値を 有するエピポーラ・ゾーンのピクセルに限定することが可能である。 特に画像背景の問題を克服するには、定位画像をあらかじめ「トップハット変 換」形式のフィルタリングによってフィルタリングすることがさらに好ましい。 この形式のフィルタリングは当業者には周知であり、さらに詳しくは、J.SE RRAによる論文「Image Analysis and Mathemat ical Morphology」(Academic Press 1988 年第2巻)を参照することができる。 この形式のフィルタリングによって、デジタル画像の明るい狭い領域を抽出で きるようになり、背景の問題を克服できる。 こうして、これから説明する本発明による、特にセンタリング画像への再投影 を提供する方法のステップは、目標画像と第2画像との間の先行整合結果の確認 に特に等しく、こうして整合誤差の危険性をさらに最小限に抑えることを可能に する。 この場合に、第4図と第6図とをさらに詳しく参照して説明する本方法の残り は、すでに説明した形式の相関処理または比較処理を使用する可能性を提供する が、センタリング画像への再投影を使用する本発明の方法は、目標画像と第2画 像との間で使用された先の整合とは独立したものである。 ここで、本発明による方法が、左の画像12において、目標画像10に現れる 目標領域5dに相同の領域であるかもしれない2つの候補関心領域5g、20g の選択を可能にしたと想定する(第6図)。 目標関心領域における目標ピクセルと、候補関心領域5gの選択のもととなっ た候補ピクセルとに基づいて、立体三角法計算と立体装置のジェオメトリの情報 を使用して、これら2つの領域5d、5gに対応する候補関心対象物の対応点の 三次元座標を決定する(ステップ406)。次に、反転定位三角法計算によって 、候補要素のピクセルのこのセンタリング画像への投影に対応する投影されたピ クセルのセンタリング画像における座標が決定される。 したがって、この場合には、候補領域5gが有効に領域5dに相同な領域であ るから、センタリング画像11に投影されたピクセルの位置は実際には、現にこ のセンタリング画像への関心要素5の投影である投影された関心領域5pに対応 する。 対照的に、同じ計算を使用して、候補関心領域20gは結果的に、得られるセ ンタリング画像における投影された位置20pとなり、この場合、この位置はこ のセンタリング画像に物理的に存在するどの関心領域とも重ねられない。 こうして、目標領域5dを含む目標ウィンドウと投影された関心領域5pを含 む投影されたピクセルの付近との間の相関処理は、目標ウィンドウ5dと投影さ れたピクセル20pの付近との間で得られた相関値より大きな相関値をもたらす 。投影された点20pの付近が、微小石灰沈着部5に実際に対応するもの以外の 投影された微小石灰沈着部に対応している場合でも、同じことが言えよう。 したがってこの方法は、2つの候補5g、20gから、現に領域5dに相同の 領域である領域5gを選択することを可能にする。 もちろん、相関処理407の代りに比較処理412を使用するときにも、結論 は同じであろう。 投影されたピクセル、典型的には投影された点の周りのいくつかのピクセルの 付近を使用することで、0°での照射と±15°での照射との間の対象物内の偏 移による可能な誤差を説明することが可能になる。 さらに一般的には、第2画像で得られた候補領域のセットを、これらの目標領 域に相同の領域であるという確率の降順に配列することが可能である。こうして 、例えば最高ダイナミック・レンジを持った相関最大値をもたらす領域を階級1 に割り当て、以下降順に割り当てることになる。同じ配列を、センタリング画像 で 得られた投影された領域のセットについて実施することができる。こうして、目 標領域に相同の領域が、2つの配列におけるそれぞれの階級の積が最小になる領 域として選択されることになる。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 エイドシエック,ロベール フランス国・エフ―78150・ロッククエン クール・リュ デ エラブル・14 (72)発明者 サルモン ルギャグナー,ティエリー フランス国・エフ―75017・パリ・リュ レクルス・16 (72)発明者 ボソレル,シルビィ フランス国・エフ―92100・ブルゴーニュ ―ビルランクール・リュ デュ レスト・ 29

Claims (1)

  1. 【特許請求の範囲】 1.三次元対象物中に含まれる関心要素を、その関心要素に対応して対象物の 1組の定位画像中に現れる相同性の関心領域の位置に基づいて位置決定するため の、第1定位画像(10)における第1のいわゆる「目標」関心領域(5d)の 選択、ならびに前記第1領域の、第1領域に相同であって第2定位画像(12) に現れる第2関心領域(5g)との整合とを含む方法であって、定位画像はディ ジタル化され、前記目標関心領域(5d)における目標ピクセル(60d)は選 択ステップにおいて選択され(400)、また整合ステップにおいて、選ばれた 寸法特性を有し前記目標関心領域を含む目標ウィンドウ(61d)が、選択され た目標ピクセルの周りに生成され(401)、1組のピクセルが所定の選択判定 基準にしたがって第2画像中に決定され(402)、前記目標ウィンドウと同じ 寸法特性の第2ウィンドウが選択された各ピクセルの周りに生成され(403) 、各第2ウィンドウにおけるピクセルのグレイスケール・レベルと目標ウィンド ウにおけるピクセルのグレイスケール・レベルとの間の相関処理(404)が実 施され、その結果、各第2ウィンドウの相関値が得られ、目標関心領域に相同の 関心領域が、こうして得られた相関値のセットの解析に基づいて識別され、この 結果、相同関心領域間の整合誤差の危険性を最小限に抑えることを特徴とする位 置決定方法。 2.得られた相関値の解析が一定数の相関最大値または最小値の選択を含み、 相同関心領域は、これらの相関最大または最小の1つである関連相関値を有する 関心領域から選択される請求項1に記載の方法。 3.得られた相関値の解析がさらに、選択された最大または最小のダイナミッ ク・レンジの決定と、得られたダイナミック・レンジの限界値との比較とを含む ことを特徴とする請求項2に記載の方法。 4.相関処理が正規化された相関処理を含むことを特徴とする請求項1ないし 3のいずれか一項に記載の方法。 5.相関処理が正規化された差分処理を含むことを特徴とする請求項1ないし 3のいずれか一項に記載の方法。 6.三次元対象物中に含まれる関心要素を、前記関心要素に対応して前記対象 物の1組の定位画像中に現れる相同関心領域の位置に基づいて位置決定するため の、第1定位画像(10)における第1のいわゆる「目標」関心領域(5d)の 選択、ならびに前記第1領域の、第1領域に相同であって第2定位画像(12) に現れる第2関心領域(5g)との整合とを含む方法であって、定位画像はディ ジタル化され、前記目標関心領域における目標ピクセルは選択ステップにおいて 選択され(400)、また整合ステップにおいて、選ばれた寸法特性を有し前記 目標関心領域を含む目標ウィンドウ(61d)が、選択された目標ピクセルの周 りに生成され(401)、どの関心領域も特徴付ける所定の特性をそれぞれ示す 第1組の数値が、前記目標ウィンドウにおけるピクセルのグレイスケール・レベ ル値に基づいて前記目標関心領域のために決定され(409)、この第1セット の数値は記憶され、第2画像に現れるいわゆる「候補」関心領域にそれぞれ属す る1組のピクセルが、所定の選択判定基準にしたがって第2画像中に決定され( 402)、前記対応候補関心領域を含む第2ウィンドウがこれらの選択された各 ピクセルの周りに生成され(403)、前記の所定の特性をそれぞれ示す第2組 の数値が、関連する第2ウィンドウのピクセルのグレイスケール・レベル値に基 づいて各候補関心領域のために決定され(410)、この第2組の数値は記憶さ れ、目標関心領域に相同の関心領域が、前記第1組の数値と各第2組の数値との 間の比較処理(411)に基づいて識別され、この結果、相同関心領域間の整合 誤差の危険性を最小限に抑えることを特徴とする位置決定方法。 7.前記所定の特性が形状、コントラスト、または階調度の特性を含むことを 特徴とする請求項6に記載の方法。 8.比較処理が2組の数値の間の距離最小化処理を含むことを特徴とする請求 項6または7に記載の方法。 9.目標ピクセルに関するエピポーラ・セグメントを少なくとも含むエピポー ラ・ゾーンが、第2定位画像中で決定され、エピポーラ・ゾーンにおけるピクセ ルが選択されたピクセルを含むことを特徴とする前記請求項のいずれか一項に記 載の方法。 10.前記の選択されたピクセルが、所定の限界値より高いダイナミック・レ ンジを持つグレイスケール・レベル最大または最小を有する第2画像におけるピ クセルから選ばれることを特徴とする前記請求項のいずれか一項に記載の方法。 11.整合が、特にいわゆる「トップハット変換」形式の定位画像の事前フィ ルタリングを含むことを特徴とする前記請求項のいずれか一項に記載の方法。 12.三次元対象物中に含まれる関心要素を、前記関心要素に対応して前記対 象物の1組の定位画像中に現れる相同性の関心領域の位置に基づいて位置決定す るための方法であって、定位画像はディジタル化され、第1定位画像(10)に おける第1のいわゆる「目標」関心領域(5d)の選択と、第2定位画像(12 )における第1自動整合に基づいた、目標領域に相同であるかもしれない少なく とも1つの第2関心領域(5g)の選択(405)と、これらの2つの関心領域 に対応する候補関心要素の候補ピクセルの空間位置の決定と、第3定位画像にお ける、候補ピクセルのこの第3定位画像への投影に対応する投影されたピクセル の位置の決定(406)と、目標関心領域と投影されたピクセルの付近との間の 第2自動整合とを含み、投影された関心領域を決め、この結果、相同関心領域間 の整合誤差の危険性を最小限に抑えることを特徴とする位置決定方法。 13.前記第1自動整合に基づいて、目標領域に相同である1組の第2領域が 第2定位画像において選択され、目標領域と第2領域の1つとによって形成され る各対の関心領域に対応する各候補ピクセルの空間位置が決定され、ならびにそ れぞれの対応する投影されたピクセルの第3画像における位置が決定され、目標 領域と投影された各ピクセルの付近との間の第2自動整合が実施されることを特 徴とする請求項12に記載の方法。 14.得られた第2領域のセットが、これらの目標領域に相同の領域であると いう確率の降順に配列され、また得られた投影された領域のセットが、これらの 目標領域に相同の領域であるという確率の降順に配列され、また目標領域に相同 の領域が、2つの配列におけるそれぞれの階級の積が最小になる領域として選択 されることを特徴とする請求項13に記載の方法。 15.第1自動整合が、請求項1ないし11のいずれか一項に定義された整合 であることを特徴とする請求項12ないし14のいずれか一項に記載の方法。 16.第2自動整合が、投影された各ピクセルの付近と目標関心領域を含む目 標ウィンドウとの間の請求項1ないし5のいずれか一項に定義された相関処理、 または目標関心領域と投影された各関心領域との間の請求項6ないし11のいず れか一項に定義された比較処理を含むことを特徴とする請求項12ないし15の いずれか一項に記載の方法。
JP50487698A 1996-07-09 1997-07-08 三次元対象物中に含まれる関心要素の、特に乳房撮影法における定位検査中の位置決定法 Expired - Lifetime JP3993240B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR96/08542 1996-07-09
FR9608542A FR2751109B1 (fr) 1996-07-09 1996-07-09 Procede de localisation d'un element d'interet contenu dans un objet tridimensionnel, en particulier lors d'un examen de stereotaxie en mammographie
PCT/FR1997/001232 WO1998001826A1 (fr) 1996-07-09 1997-07-08 Procede de localisation d'un element d'interet contenu dans un objet tridimensionnel, en particulier lors d'un examen de stereotaxie en mammographie

Publications (3)

Publication Number Publication Date
JP2000514223A true JP2000514223A (ja) 2000-10-24
JP2000514223A5 JP2000514223A5 (ja) 2005-03-10
JP3993240B2 JP3993240B2 (ja) 2007-10-17

Family

ID=9493851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50487698A Expired - Lifetime JP3993240B2 (ja) 1996-07-09 1997-07-08 三次元対象物中に含まれる関心要素の、特に乳房撮影法における定位検査中の位置決定法

Country Status (6)

Country Link
US (1) US7035450B1 (ja)
EP (1) EP0912963B1 (ja)
JP (1) JP3993240B2 (ja)
DE (1) DE69716269T2 (ja)
FR (1) FR2751109B1 (ja)
WO (1) WO1998001826A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007502644A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元の血管モデルを生成する装置及び方法
JP2007536968A (ja) * 2004-05-14 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 乳癌診断システム及び方法
JP2012245060A (ja) * 2011-05-25 2012-12-13 Fujifilm Corp 画像処理装置、放射線画像撮影システム、画像処理プログラム、及び画像処理方法
JP2013180024A (ja) * 2012-03-01 2013-09-12 Hitachi Medical Corp X線撮影装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2818781B1 (fr) 2000-12-22 2003-03-21 Ge Med Sys Global Tech Co Llc Procede d'affichage simultane d'images d'organes
FR2824163B1 (fr) * 2001-04-30 2003-08-15 Ge Med Sys Global Tech Co Llc Procede de localisation d'elements d'interet d'un organe
GB2380888A (en) * 2001-10-13 2003-04-16 Hewlett Packard Co Automatic determination of regions of interest in an image
US7233699B2 (en) * 2002-03-18 2007-06-19 National Instruments Corporation Pattern matching using multiple techniques
US7110490B2 (en) * 2002-12-10 2006-09-19 General Electric Company Full field digital tomosynthesis method and apparatus
EP1627294A2 (en) * 2003-05-01 2006-02-22 Delta Dansk Elektronik, Lys & Akustik A man-machine interface based on 3-d positions of the human body
US20060013486A1 (en) * 2004-07-13 2006-01-19 Burns Peter D Identification of acquisition devices from digital images
US7564999B2 (en) * 2005-07-25 2009-07-21 Carestream Health, Inc. Method for identifying markers in radiographic images
EP2034890A4 (en) * 2006-06-01 2011-02-16 Gen Hospital Corp IN VIVO OPTICAL IMAGING METHOD COMPRISING THE ANALYSIS OF DYNAMIC IMAGES
TW200937348A (en) * 2008-02-19 2009-09-01 Univ Nat Chiao Tung Calibration method for image capturing device
US8396248B2 (en) * 2008-09-16 2013-03-12 Varian Medical Systems, Inc. Sequential stereo imaging for estimating trajectory and monitoring target position
JP6226621B2 (ja) 2013-08-06 2017-11-08 株式会社東芝 医用画像処理装置、医用画像処理方法、及び、医用画像処理システム
JP6342128B2 (ja) * 2013-08-23 2018-06-13 キヤノンメディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP6271230B2 (ja) * 2013-11-29 2018-01-31 株式会社東芝 画像処理装置、治療システム及び画像処理方法
KR102096410B1 (ko) * 2014-05-02 2020-04-03 삼성전자주식회사 의료 영상 장치 및 그 제어 방법
JP6508435B1 (ja) * 2017-10-23 2019-05-08 東レ株式会社 樹脂成形品の検査方法および製造方法、樹脂成形品の検査装置および製造装置
JP6777248B1 (ja) * 2019-01-25 2020-10-28 東レ株式会社 構造体の検査方法および製造方法、構造体の検査装置および製造装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589140A (en) * 1983-03-21 1986-05-13 Beltronics, Inc. Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like
US4991092A (en) * 1988-08-12 1991-02-05 The Regents Of The University Of California Image processor for enhancing contrast between subregions of a region of interest
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US5376795A (en) * 1990-07-09 1994-12-27 Regents Of The University Of California Emission-transmission imaging system using single energy and dual energy transmission and radionuclide emission data
US5699798A (en) * 1990-08-10 1997-12-23 University Of Washington Method for optically imaging solid tumor tissue
US5845639A (en) * 1990-08-10 1998-12-08 Board Of Regents Of The University Of Washington Optical imaging methods
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
US5142557A (en) * 1990-12-21 1992-08-25 Photometrics Ltd. CCD and phosphor screen digital radiology apparatus and method for high resolution mammography
US5261404A (en) * 1991-07-08 1993-11-16 Mick Peter R Three-dimensional mammal anatomy imaging system and method
US5381791A (en) * 1992-03-10 1995-01-17 Siemens Medical Systems, Inc. Automatic indentification of anatomical features of interest from data acquired in nuclear medicine studies and automatic positioning of scintillation cameras to carry out such studies at optimal positions
FR2684830B1 (fr) 1991-12-10 1998-06-12 Gen Electric Cgr Procede d'analyse d'images.
US5568384A (en) * 1992-10-13 1996-10-22 Mayo Foundation For Medical Education And Research Biomedical imaging and analysis
US5526812A (en) * 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US5394875A (en) * 1993-10-21 1995-03-07 Lewis; Judith T. Automatic ultrasonic localization of targets implanted in a portion of the anatomy
FR2712415B1 (fr) 1993-11-09 1995-12-22 Ge Medical Syst Sa Procédé de repérage automatique de points d'intérêt lors d'un examen de stéréotaxie en mammographie.
US5632276A (en) * 1995-01-27 1997-05-27 Eidelberg; David Markers for use in screening patients for nervous system dysfunction and a method and apparatus for using same
US5515853A (en) * 1995-03-28 1996-05-14 Sonometrics Corporation Three-dimensional digital ultrasound tracking system
US5588033A (en) * 1995-06-06 1996-12-24 St. Jude Children's Research Hospital Method and apparatus for three dimensional image reconstruction from multiple stereotactic or isocentric backprojections
US5776062A (en) * 1996-10-15 1998-07-07 Fischer Imaging Corporation Enhanced breast imaging/biopsy system employing targeted ultrasound

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007502644A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元の血管モデルを生成する装置及び方法
JP4644670B2 (ja) * 2003-08-21 2011-03-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元の血管モデルを生成する装置及び方法
JP2007536968A (ja) * 2004-05-14 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 乳癌診断システム及び方法
JP4691552B2 (ja) * 2004-05-14 2011-06-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 乳癌診断システム及び方法
JP2012245060A (ja) * 2011-05-25 2012-12-13 Fujifilm Corp 画像処理装置、放射線画像撮影システム、画像処理プログラム、及び画像処理方法
US9123108B2 (en) 2011-05-25 2015-09-01 Fujifilm Corporation Image processing device, radiographic image capture system, image processing method, and image processing storage medium
JP2013180024A (ja) * 2012-03-01 2013-09-12 Hitachi Medical Corp X線撮影装置

Also Published As

Publication number Publication date
JP3993240B2 (ja) 2007-10-17
DE69716269T2 (de) 2003-06-26
FR2751109B1 (fr) 1998-10-09
FR2751109A1 (fr) 1998-01-16
EP0912963B1 (fr) 2002-10-09
EP0912963A1 (fr) 1999-05-06
US7035450B1 (en) 2006-04-25
WO1998001826A1 (fr) 1998-01-15
DE69716269D1 (de) 2002-11-14

Similar Documents

Publication Publication Date Title
JP2000514223A (ja) 三次元対象物中に含まれる関心要素の、特に乳房撮影法における定位検査中の位置決定法
CN103501688B (zh) 注视点映射的方法和装置
CN105705096B (zh) 用于显示医学图像的方法和设备
JP5337845B2 (ja) デジタル画像上での測定の実施法
van Engeland et al. A comparison of methods for mammogram registration
US6055326A (en) Method for orienting electronic medical images
US20060029268A1 (en) Image displaying apparatus, image displaying method, computer readable medium and computer program product
EP3153101B1 (en) Identification and registration of multi-marker jig
CN113116367A (zh) 用于医学成像期间的患者结构估计的系统和方法
JPH08507249A (ja) デジタルマンモグラムでの自動区画化及び皮膚ライン検出
CN105451657A (zh) 用于导航断层合成堆叠的包括自动聚焦的系统和方法
JP2001511570A (ja) 放射線写真におけるインターバル変化を検出する方法
JP2003132356A (ja) 二つの3次元画像データセットを位置合わせする方法及び装置
JP2009090094A (ja) 画像整合のための方法および装置
JP3236362B2 (ja) 皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置
Algazi et al. Computer analysis of the optic cup in glaucoma.
WO2001057805A2 (en) Image data processing method and apparatus
JP4408863B2 (ja) 医用画像処理装置及び方法
JP3585331B2 (ja) 眼底立体画像の解析方法
WO2020016886A1 (en) Systems and methods of navigation for robotic colonoscopy
EP1047018A1 (en) Method of localization and three-dimensional representation of elements of interest of an organ
WO2013132407A1 (en) Stereo x-ray tube based suppression of outside body high contrast objects
US20050185831A1 (en) Analysis of a multi-dimensional structure
US5429135A (en) Determining the depth of an organ which is the subject of a nuclear medicine study using only planar image data
WO1998052011A9 (en) Systems and methods for analyzing phantom images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070305

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term