JP2008534055A - 膝関節形態の特徴付けのための方法及びシステム - Google Patents

膝関節形態の特徴付けのための方法及びシステム Download PDF

Info

Publication number
JP2008534055A
JP2008534055A JP2008503042A JP2008503042A JP2008534055A JP 2008534055 A JP2008534055 A JP 2008534055A JP 2008503042 A JP2008503042 A JP 2008503042A JP 2008503042 A JP2008503042 A JP 2008503042A JP 2008534055 A JP2008534055 A JP 2008534055A
Authority
JP
Japan
Prior art keywords
parameters
trajectories
knee joint
knee
statistical template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008503042A
Other languages
English (en)
Other versions
JP5054669B2 (ja
Inventor
ケヴィン ウォーカー
ジェイン ハスラム
アンソニー ホームズ
Original Assignee
オプタジア メディカル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オプタジア メディカル リミテッド filed Critical オプタジア メディカル リミテッド
Publication of JP2008534055A publication Critical patent/JP2008534055A/ja
Application granted granted Critical
Publication of JP5054669B2 publication Critical patent/JP5054669B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30Anatomical models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Optics & Photonics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

骨格形態に関して膝関節を特徴付けるための方法及びシステム。膝関節の骨格構造のモデルに関連する複数の軌跡がフィッティングされ、所与の被検体における複数の軌跡の位置をパラメータ化するために用いられ、その結果、変形可能な統計的テンプレートのパラメータが導出される。次に、骨格形態が、変形可能な統計的テンプレートの導出されたパラメータに基づいて特徴付けられる。

Description

本発明は、一般に、研究目的又は特定の個人の病理診断のためにそれぞれの膝関節に対して1回又は複数回行われる、膝関節の特徴付けに関する。
膝の解剖学的研究は、構造パラメータの定量的特徴付けを必要とする。ある特定の例として、識別された母集団の膝の解剖学的研究は、関節の軟骨の損失により特徴付けられ関節運動の損失及び増大する痛みをもたらす、ゆっくりとした進行性疾患である膝の変形性関節症(OA)の測定を必要とする。膝の主要な2つのコンパートメント(外側及び内側)のうち、内側コンパートメントにかかる体重を支える負荷の方がより大きいため、OAは主に内側コンパートメントに見られる。個体におけるこの疾患の長期的評価は、臨床的特徴及び放射線写真の特徴、主に痛み、障害及び構造上の変化に依存している。疾患緩和治療法が現在開発中であるが、これらは疾患の進行の正確且つ精密な判定に依存することになる。
現在の診療では、膝のOAに関する、母集団を対象とした研究、臨床試験、及び疫学調査における主要な評価項目は、図1の放射線写真に示されているように半屈曲位で撮影された放射線写真から大腿骨顆部及び脛骨プラトーの体重を支える両方の面の間で測定される、放射線写真による最小関節裂隙(minimum Joint Space Width(mJSW))の代理測定値である。軟骨の進行性消失は、mJSWが狭くなっていくことによって測定される。OAは主に内側コンパートメントにおいて見られるため、mJSWは通常、このコンパートメントでのみ測定される。
mJSWの測定は通常、訓練を受けた医師によって、ライトボックスの上の放射線写真を精査しながら目盛り付きの手持ち式レンズを使って行われる。この方法を使った場合、観察する人間の主観のため、観察者間及び観察者内の有意な変動を避けることが困難である。さらに、mJSWは通常内側コンパートメントでしか測定されないため、外側コンパートメントのOAが検出を免れる可能性があり、実際、原発性外側コンパートメント疾患を患う患者もいる。最後に、mJSWが病気の進行に関する唯一の測定値であるという点で、唯一の指標に依存することよって関節全体への影響が隠される可能性がある。
人間の主観という重大な問題に対処するために、mJSWの測定のためにデジタル化された膝の放射線写真のコンピュータ解析が幾人かの著者によって用いられている。X線像からmJSWを導出するコンピュータ解析の1つの方法が、Duryea他によりMed.Phys.27,580−91ページ(2000年3月)に記載されている。さらに、mJSW以外の膝関節空間の特徴付けに対する代理的結果測定が、例えば、Duryea他のOsteoarthritis & Cartilage11,102−110ページ(2003年)で研究され、mJSWと比較されている。上述の方法は、特徴に基づいた解析技術の例である。
しかしながら、非モデルベースのアプローチを用いて得られる感度よりもさらに高感度なOAの定量的測定に寄与する技術で、特に可能性のある治療法の臨床評価を視野に入れると、感度が高いので、より少ない患者で、より迅速に実行できる技術で、放射線写真のmJSW測定を補うことが望ましい。
本発明の好ましい実施形態により、モデルのパラメータ化の観点から膝関節を特徴付ける方法が提供される。その方法は、
a.膝関節の特定の特徴の空間的位置の集合を表す抽象ベクトル空間を集合として張るパラメータの集合であって、各ベクトルが母平均からの変分を一意的に記述する、パラメータの集合によって特徴付けられる、変形可能な統計的テンプレートを創出するステップと、
b.実行時に、膝の骨格の2次元画像中に特定の特徴に関連する複数の軌跡をフィッティングして、変形可能な統計的テンプレートに関してのパラメータ化を可能にする、ステップと、
c.所与の被検体における複数の軌跡の位置をパラメータ化して、変形可能な統計的テンプレートのパラメータに対する値を導出する、ステップと、
d.複数の軌跡の部分集合、及び/又は変形可能な統計的テンプレートの導出されたパラメータに基づいて、所与の被検体の膝の骨格形態を特徴付けるステップと
を有する。
本発明の説明又は付随のいずれの請求項においても、ある集合を構成する元に関連して「部分集合」という用語が用いられる場合、「部分集合」という用語は、元の集合全体の真部分集合又は完全な部分集合を包含すると理解されるべきである。さらに、「軌跡(locus)」という語は、特徴を定義する(ベクトル空間内の)点からある「距離」の内にある複数の点の1つを意味するために用いられる。「距離」は、一般に、ベクトル空間上で定義されるノルムを意味する。
本発明の他の実施形態によれば、2次元画像は、膝関節を貫通する放射線の透過によって、例えば膝関節を通過するX線の透過によって得られる放射線写真とすることができる。この方法は、変形可能な統計的テンプレートのパラメータに関しての骨格形態の特徴付けに基づいて、治療様式の臨床転帰を予測するステップをさらに含むことができる。
本発明のさらなる実施形態によれば、変形可能な統計的テンプレートを創出するステップは、膝の2次元画像の集合の統計的解析に基づいてパラメータの集合を定義することを含むことができ、実行時に特定のモデルの特徴に関連する複数の軌跡をフィッティングするステップは、操作者の入力を受け取ることを含むことができる。前述の方法の(c)及び(d)のステップは、経時的な骨格形態の進展を記述するために、継続的な時点において繰り返されてもよい。
本発明のさらに他の実施形態によれば、ステップ(c)の継続的な反復の間に、臨床的介入を行う追加のステップを含むことができる。位置をパラメータ化するステップは、複数の軌跡の位置の逐次近似を含むことができる。膝の骨格形態を特徴付けるステップは、内側コンパートメント又は外側コンパートメントの特定の位置での関節裂隙を推定すること、或いは、内側コンパートメント及び外側コンパートメントの少なくとも1つにおいて最小関節裂隙を推定することを含むことができる。
本発明のさらなる態様は、骨格形態に関して膝関節を特徴付けるための方法を提供する。この方法は、
a.実行時に、膝の骨格の2次元画像中に特定の特徴に関連する複数の軌跡をフィッティングして、変形可能な統計的テンプレートのパラメータ化を可能にする、ステップと、
b.所与の被検体における複数の軌跡の位置をパラメータ化して、変形可能な統計的テンプレートのパラメータを導出する、ステップと、
c.複数の軌跡の部分集合、及び/又は変形可能な統計的テンプレートの導出されたパラメータに基づいて、骨格形態を特徴付けるステップと
を有する。
最後に、本発明によれば、被検体の膝関節の骨格形態を特徴付けるためにコンピュータ・システム上で使用するためのコンピュータ・プログラム製品が提供される。このコンピュータ・プログラム製品は、膝関節の2次元画像中の特定の骨格特徴に関する複数の軌跡をコンピュータ・メモリに格納するプログラム・コードと、所与の被検体における複数の軌跡の位置をパラメータ化して、変形可能な統計的テンプレートのパラメータを導出するためのプログラム・コードと、複数の軌跡の部分集合、及び/又は変形可能な統計的テンプレートの導出されたパラメータに基づいて、骨格形態を特徴付けるためのプログラム・コードと、を有する。
本発明は、添付の図面と共に以下の説明を参照することによって、より容易に理解されるであろう。
本発明の好ましい実施形態によれば、デジタル化された膝の放射線写真のコンピュータ解析が、例えば、手書きの注釈のある膝の放射線写真の多数の実例の統計的解析によって生成された変形可能な統計的テンプレートを用いて、自動的に又は半自動的に行われる。
本明細書に記載され、添付の任意の請求項において特許請求されている発明は、例えばX線のような貫通性の電磁放射線の使用による、ヒト又は動物の膝関節の画像化によって得られるデータに適用される。典型的には、膝関節を貫通する放射線の透過を示す2次元放射線写真が用いられる。本発明は、特定の画像化方式又は得られた画像を格納し操作する特定の方式に範囲を限定されるものではないことが理解されるべきであるが、高エネルギー(X線又はガンマ線)放射線によって有利に提供される高空間分解能のような特定の方式から生じる利点がある。
膝関節の画像(本明細書において、限定することなく「放射線写真」と称する)の解析は、入力データに適用される「モデル」に基づいて、以下に説明されるように進められる。本明細書及び付随のいずれの請求項において用いられる場合にも、「モデル」という用語は、一般に、被検体又はその構成部分の位置及び/又は運動のパラメータ化を規定するいかなる数学的記述をも指す。本明細書で説明されている方法を膝の画像データへのいかなるモデルへと適用することも、特許請求される本発明の範囲内である。モデルが本明細書において「統計的」と称されている場合、被検体の母集団の要素間のパラメータの変動の解析に基づくと理解されるべきである。
さらに詳細には、本発明は、あるクラスのモデルに関して説明され、そのモデルは、膝の2D点の位置の特定の集合の平均相対位置を、これらの相対位置が、正常な環境において個人間で変動する様子、又は時の経過、若しくは、例えば疾患の進行のような介入する環境に起因して特定の個人において変化する様子の数学的記述と共に表す。本発明の実施は、「妥当と思われる(plausible)」形態の数学的モデルの存在を前提としており、ここで、形態(morphology)は、形状及び形状の変動を包含し、モデル化された物体の質感のような外観の他の様相をも包含することができる。以下に説明される方法は、モデルを実際の膝の画像から得られたデータに適用するために用いられる。しかしながら、この方法は、点集合のどのような特別な配置にも特定されておらず、図2において、単に例示としてであり、限定するものとしてではなく、頚骨棘(tibial spine)、関節の周縁境界部、大腿骨顆部の縁及び脛骨プラトーの上に自動的に又は半自動的に配置された点の集合(又は「ランドマーク」)20として図示されている。測定値を長さの標準単位で表すことを可能にするための既知の直径の較正目標として用いられるボールベアリング25も、図2に示される画像中に示されている。
本発明の実施形態の実行時の適用の際には、この特定の位置は、これらの位置を識別するように訓練されたプログラム要素によって、膝関節の画像において事前に識別される(本明細書でセグメント化と呼ばれる工程)。半自動的な分析では、このアプリケーションのユーザは、変形可能な統計的テンプレートの創出において、自動的又は半自動的に識別された膝の放射線写真上のランドマークの部分集合(真部分集合又は完全部分集合)(図2の大き目の点26)を定義するよう求められる。これらの位置は、膝の放射線写真の外観を、極値的特徴に関連して、或いは他の方法で、効果的に「記述」できるような方式で定義される。
膝関節の正確な形態は、被検体間で異なり、且つ経時的に変化するが、これらのランドマークはほとんどの部分で識別可能なままである。このテンプレートは、被検体の集団全体にわたる(上述のような)膝の放射線写真の外観の(平均の「正規分布的(nomal)」変動、又は限定ではないが、代表的な特徴として役立つ他のモーメントを有する)分布をモデル化しているという点で統計的である。このように、このテンプレートは、有限個の値に関して形態のパラメータ化を可能にし、本発明は、いずれの特定のパラメータ化のスキームとも無関係である。
ここで説明されるように、本発明における適用のために、点の妥当と思われる位置の数学的モデルを構築することができる。訓練用(training)2Dデータブロックの集合が、膝の放射線画像の集団から取り出される。これらのデータは、モデル構築のプロセスの前に、手動の調整により増強されてもよい。
モデルを構築するためには、空間を参照した2D点の「絶対」位置よりも、それらの相対位置の方が重大である。それゆえ、モデルの構築における最初のステップは、典型的には、2Dデータの各座標系(frame)を共通の基準座標系に位置合わせすることであり、種々の位置合わせ技術のうちの1つ、例えば、Hornの、J.Optical Society A4巻,629〜42ページ(1987年4月)のClosed Form Solution of Absolute Orientation Using Unit Quanternionsに記載されている「プロクラステス(Procrustes)分析」などを用いて達成することができる。
モデルは、訓練用データの座標系間での2D点の相対位置の変動について、コンパクトな数学的記述を与える。データが位置合わせされると、これは、例えば、Johnson及びWichenにより、Applied Multivariate Statistical Analysis(第5版、2002年)、458〜513ページに記載されているような「主成分分析(Principal Component Analysis)」をはじめとする数種の統計的モデル化技術の1つ又はそれ以上によって行われることができる。
1つの実施形態の組では、モデルは、2Dデータについての「平均」形状と共に、その形状がどのように変化し得るかを記述する1組の数学的関数から構成されることができる。制御数(control number)又は「モデル・パラメータ」のベクトルをこの数学的関数に入力することにより、どのような妥当と思われる2D点の座標の集合でも生成することができる。モデル・パラメータは、モデル形状の可動域(excursion)の空間を張ることができるが、それは特許請求される本発明の実施には必ずしも当てはまらない。さらに、運動が(例えば、弧又は曲線よりも)直線に沿って動く点の線形結合に対応するという意味で、モデルは線形となることもある。しかしながら、本発明はそのようなモデルへの適用可能性に限定されるものではない。
ここで、図3のフロー図を参照して論じられるように、本発明の実施形態は、一旦、前述のように訓練されると、そのモデルを用いて画像をセグメント化する。すなわち、膝の骨格形態を特徴付ける2D点の座標の位置を確認する。本発明の好ましい実施形態によれば、例えば、無作為に、又は予め定義された可能な位置の集合にわたって、多数の推定入力点位置の集合が生成される。適切な初期入力点位置の集合を識別するために、モデルが「合理的である」と認識する近隣の点からの「距離」内での位置決めに基づいて、これらの集合の各々が検定される。本明細書及び付随の任意の請求項において用いられる「距離」という用語は、モデルのパラメータ化された変数に関するノルムを指し、ユークリッド・ノルムに対応する場合もあるが、本発明の範囲において必須ではない。一旦、初期入力2D点位置が識別されたら、これらの位置をモデル内の対応する点の位置に適合させるための、すなわち、モデルの基準座標系に対する全ての座標をモデル・パラメータが実際の画像を記述する確率を最大化するような方式で変換するための、最良の位置合わせパラメータの集合が見出される。その後、局所化されたフィッティングのために、以下に述べられるように、反復が用いられる。そのようなセグメント化ステップを実行するためのアルゴリズムは、T.F.Cootes及びC.J.Taylorの、Proc.SPIE Medical Imaging(2001年)のStatistical Models of Appearance for Medical Image Analysis and Computer Visionに記載されている。
初期の点の集合は、ベクトルXとして表すことができ、
X={X1,X2...Xn,y1,y2...yn
であり、ここで(Xi,yi)は、添え字iの点の2D座標である。
点は、例えばHorn(上記)の方法を用いてモデルの基準座標系に位置合わせされた場合、ベクトルX’と表され、ここでX’は算出された位置合わせ変換TをXに適用した結果であり、
X’=T(X)
であり、ここでTは算出された変換パラメータの行列である。
モデルはある関数Fであり、これは、入力点座標の集合が与えられたならば、パラメータのベクトルbを生成する。
b=F(X’)
1つの実施形態の組において、モデルは、2Dデータについての「平均」形状と共に、その形状がどのように変化し得るかを記述する1組の数学的関数から構成され、bは以下の式を用いて計算され、
b=A(X’− X’m
ここで、Xmは「平均的」形状についての2D点座標のベクトルであり、Aは、例えば、Johnson及びWichenによって、Applied Multivariate Statistical Analysis(第5版、2002年)、458〜513ページに記載された「Principal Component Analysis」の中で説明されているような主成分分析を用いて、訓練段階中に学習された行列である。
モデルパラメータの集合が与えられたときに、点座標の集合を推定するために、Fの「逆関数」(ほとんどの場合、単に近似的逆関数でよい)であるF’が用いられる。
e’=F’(b)
ここで、Xeは、所与のパラメータの集合bについての2D座標の推定値である。モデルが主成分分析を用いて構築されている場合、これは以下のように表される。
e=Xm+A’(b)
ここで、A’はAの擬逆関数であり、これは、主成分分析の場合、Aの転置に等しい。
前述のステップを達成するために、種々のモデル・フィッティング・アルゴリズム用いることができる。一実施形態において、モデル値の単純な重みづけされていない最小二乗推定値が計算される。
b=A(X’− Xm’)
これらの値は、次式
e’=F’(b)
に従って、モデルの基準座標系における2D点ベクトル全体の値を予測するために用いられる。
変換行列Tの逆関数T’は、元の基準座標系の2D点ベクトル全体を推定するために用いられる。
e=T’( Xe’)
この、次の点の集合をここでモデルの基準座標系で再度位置決めし、説明してきたプロセスが繰り返される。最良の位置決めパラメータの集合が見出され、次に、フィッティング・アルゴリズムが適用されて、最良のモデル・パラメータの集合を導出する。次に、この最良のモデル・パラメータの集合を用いて、別の点の集合を生成する。
この反復プロセスは(指定された基準内に)収束するまで、そうでなければ指定された最大数の反復が遂行されるまで、繰り返される。反復が終了したとき、最終ステップの出力が、このモデル・パラメータによってフィッティングされた2D点の完全な集合に対する解である。
最終的なセグメント化(すなわち、放射線写真における特定の初期化点の識別)をここで用いて、以下に概要を述べるように、放射線写真から多数の測定値を抽出することができるが、これらは例として提示されているだけであり、包括的な集合として提示されているものではない。
1.外側コンパートメント又は内側コンパートメントのいずれかのmJSW。
2.外側コンパートメント又は内側コンパートメントの任意の位置でのJSW。JSW測定の位置は、頚骨棘から関節の縁部の特定の位置までの線に沿ってパラメータ化されることができ、それゆえ、この測定値は長期的研究における種々の時点で比較されることができる。
3.面積の次元を持ち、いずれかのコンパートメントで境界を定められた特定領域を特徴づける、定義された測定値。
変形可能な統計的テンプレートを用いて関節を検出して注釈をつけているため、関節形状のパラメータ化は、このテンプレートの最適化されたフィッティングから決定されることができる。したがって、抽象的な意味での関節の「形状」は「正常な」関節の「領域(universe)」の形状と比較されてもよく、あるいは長期的研究の時点における形状パラメータの変化を疾患の進行の新規な測定値として用いることができる。ある期間の経過に亘って、医療的介入の存在下、又はそれ以外で、特定の測定値における変化をマッピングすることができる。医療的介入の場合は、最も一般的な意味で、本明細書及び付随する任意の請求項において「治療様式」として言及され、医薬の投与を含むが、それに限定されるものではない。
実行されているこれらの測定のいくつかを示すソフトウェア・アプリケーションの画面例が図4に示される。特に、以下の測定が、本発明によって膝の形態の特徴付けのために用いることができる測定の例である。
軟骨面積の測定
基準画像及び追跡画像の両方に対して、且つ、どちらのコンパートメントに対しても、脛骨プラトー、大腿骨顆部及びコンパートメントの両端の関節裂隙(JSW)によって定められる面積が測定される。
関節裂隙(JSW)プロファイルの測定
基準画像及び追跡画像の両方に対して、且つ、どちらのコンパートメントに対しても、脛骨プラトーの全長に沿って、関節裂隙(JSW)の輪郭を測定することができる。所与の点でのJSWは、脛骨の境界と大腿骨の境界との間の最小距離である。JSWプロファイルは、関節の中央軸(medial axis)に沿った脛骨棘からの距離の関数として(ミリメートル(mm)で)測定される。
最小JSWの測定
基準画像及び追跡画像の両方に対して、最小JSWが、内側コンパートメント及び外側のコンパートメントの両方で測定される。最小JSWは、脛骨プラトーに沿った所与の範囲内のJSWプロファイル測定値の最小値である。デフォルトでは、最小値は、軟骨面積測定値の内部範囲(inner extent)とJSW輪郭測定値の外部範囲(outer extent)との間で求められる。
等価JSWの測定
追跡画像に対して、且つ、どちらのコンパートメントに対しても、JSWは、基準画像においてmJSWが算定された(脛骨プラトーに沿った)推定位置で測定することができる。この測定は、ひとりの患者についての基準画像及び追跡画像の両方が研究に付されていることを必要とする。
クロスオーバー・フラグ
クロスオーバー・フラグは、内側コンパートメント又は外側コンパートメントのいずれかで、脛骨の境界が大腿骨の境界と重なっているかどうかを示すフラグである。クロスオーバーが検出された場合、その結果は無視することが望ましい。
形状の測定
所与の一対の基本画像及び追跡画像に対して、システムは、膝の全体的な形状が基本画像の膝と追跡画像の膝との間でどれくらい変化したかに対応する統計量を計算することができる。この統計量の値が高ければ高いほど、基本と追跡との間でより大きな変化があることになる。形状測定の単位はミリメートル(mm)であり、数字は、同じ基準座標系で測定された、セグメント化された膝の境界上の各点が基本画像の膝と追跡画像の膝との間で移動した量の平均値に相当する。この測定は、ひとりの患者についての基本画像及び追跡画像の両方が研究に付されていることを必要とする。これは、拡張された手作業の調査の正当な理由となり得る「興味深い」画像の迅速な識別を可能にするはずである。
膝関節の形態を特徴付けるための開示された方法は、コンピュータ・システムと共に使用するためのコンピュータ・プログラム製品として実施されることができる。そのような実施は、コンピュータ可読媒体(例えば、ディスケット、CD−ROM、ROM、又は固定ディスク)のような有形媒体上に固定されるか、又は媒体を超えたネットワークに接続された通信アダプタのようなモデム又は他のインターフェース機器を介してコンピュータ・システムに伝達可能な、一連のコンピュータ命令を含むことができる。この媒体は、有形媒体(例えば、光学又はアナログの通信線)又は無線技術で実施される媒体(例えば、マイクロ波、赤外線、又は他の伝送技術)とすることができる。一連のコンピュータ命令は、システムに関して本明細書で前述された機能の全て又は一部を具現化する。当業者は、そのようなコンピュータ命令は、多くのコンピュータ・アーキテクチャ又はオペレーティング・システムとともに使用するための多くのプログラミング言語で記述することができるということを理解すべきである。さらに、そのような命令は、半導体、磁気、光学、又は他の記憶装置といった任意の記憶装置に格納されることができ、光学、赤外線、マイクロ波、又は他の伝送技術といった任意の通信技術を用いて伝送されることができる。そのようなコンピュータ・プログラム製品は、添付の印刷された文書又は電子文書と共に取り外し可能媒体として配布され(例えば、シュリンク包装されたソフトウエア)、コンピュータ・システムに予め組み込まれ(例えば、システムROMは固定ディスク上に)、或いはネットワーク(例えば、インターネット又はワールド・ワイド・ウェブ)上のサーバ又は電子掲示板から配布されることができることが予期される。もちろん、本発明の幾つかの実施形態は、ソフトウエア(例えば、コンピュータ・プログラム製品)とハードウエアとの組み合わせとして実施されることができる。さらに他の本発明の実施形態は、完全にハードウエアとして、又は完全にソフトウエア(例えば、コンピュータ・プログラム製品)として実施される。
説明された本発明の実施形態は、単に例示として意図され、当業者には多くの変更及び修正が意図される。そのような全ての変更及び改変は、付随の特許請求の範囲で定義される本発明の範囲内であると意図される。
本発明の実施形態による、2次元キャピラリエンドカラム画像化装置の概略図である。 図1Aで示される本発明の実施形態の外観図である。 本発明の実施形態による、LEDアレイの様々な図を示す。 典型的な光強度収支を示す。 励起放射線及びフルオロフォア吸収の典型的なスペクトルを示す。 本発明の実施形態による、光を透過された小型レンズアレイの斜視図である。 小型レンズアレイの製造のための射出成形金型を示す。 本発明の実施形態による、キャピラリエンドに焦点を合わせた画像化光学素子の設計に関する一組の方程式である。 イオン化衝撃CCDアレイの読み出し操作の概略図である。 フルオロフォア濃度に対する実証された感度を示す。 本発明の実施形態による、並列キャピラリアレイ電気泳動システムの概略図である。 本発明の実施形態による、バッファアレイの断面概略図及び斜視図を示す。 本発明の実施形態による、分子流出の隔離のための、キャピラリアレイの端部にインターフェース接続された隔離部分を有するマイクロ流路プレート配置の平面図を示す。 B−B線に沿った図11Aのマイクロ流路プレート配置の断面図を示す。 A−A線に沿った図11Aのマイクロ流路プレート配置の断面図を示す。

Claims (13)

  1. モデルのパラメータ化に関して膝関節を特徴付けるための方法であって、
    a.膝関節の特定の特徴の空間的位置の集合を表す抽象ベクトル空間を集合として張るパラメータの集合であって、各ベクトルが母平均からの変動を一意的に記述する、パラメータの集合によって特徴付けられる、変形可能な統計的テンプレートを創出するステップと、
    b.実行時に、膝の骨格の2次元画像中に前記特定の特徴に関連する複数の軌跡をフィッティングして、変形可能な統計的テンプレートに関してのパラメータ化を可能にする、ステップと、
    c.所与の被検体における前記複数の軌跡の位置をパラメータ化して、前記変形可能な統計的テンプレートのパラメータに対する値を導出する、ステップと、
    d.前記複数の軌跡の部分集合、及び/又は前記変形可能な統計的テンプレートの前記導出されたパラメータに基づいて、所与の被検体の膝の骨格形態を特徴付けるステップと
    を含むことを特徴とする方法。
  2. 前記2次元画像が前記膝関節を貫通する放射線の透過によって得られる放射線写真であることを特徴とする請求項1に記載の方法。
  3. 前記2次元画像が前記膝関節を通過するX線の透過によって得られる放射線写真であることを特徴とする請求項1に記載の方法。
  4. 前記変形可能な統計的テンプレートのパラメータに関しての骨格形態の特徴付けに基づいて治療様式の臨床転帰を予測するステップをさらに含むことを特徴とする請求項1に記載の方法。
  5. 変形可能な統計的テンプレートを創出する前記ステップが、膝の2次元画像の集合の統計的解析に基づいてパラメータの集合を定義することを含むことを特徴とする請求項1に記載の方法。
  6. 実行時に特定のモデルの特徴に関連する複数の軌跡をフィッティングする前記ステップが、操作者の入力を受け取ることを含むことを特徴とする請求項1に記載の方法。
  7. 経時的な骨格形態の進展を記述するために、継続的な時点において(c)及び(d)のステップを繰り返すことをさらに含むことを特徴とする請求項1に記載の方法。
  8. ステップ(c)の継続的な反復の間に臨床的介入を行うステップをさらに含むことを特徴とする請求項7に記載の方法。
  9. 前記フィッティング・ステップが、前記複数の軌跡の位置の逐次近似を含むことを特徴とする請求項1に記載の方法。
  10. 骨格形態に関して膝関節を特徴付けるための方法であって、
    a.実行時に、膝の骨格の2次元画像中に特定の特徴に関連する複数の軌跡をフィッティングして、変形可能な統計的テンプレートのパラメータ化を可能にする、ステップと、
    b.所与の被検体における複数の軌跡の位置をパラメータ化して、前記変形可能な統計的テンプレートのパラメータを導出する、ステップと、
    c.前記複数の軌跡の部分集合、及び/又は前記変形可能な統計的テンプレートの前記導出されたパラメータに基づいて、骨格形態を特徴付けるステップと
    を含むことを特徴とする方法。
  11. 前記骨格形態を特徴付ける前記ステップが、内側コンパートメント又は外側コンパートメントの特定の位置での関節裂隙を推定することを含むことを特徴とする請求項1に記載の方法。
  12. 前記骨格形態を特徴付ける前記ステップが、内側コンパートメント及び外側コンパートメントの少なくとも1つにおいて最小関節裂隙を推定することを含むことを特徴とする請求項1に記載の方法。
  13. 被検体の膝関節の骨格形態を特徴付けるためにコンピュータ・システム上で使用するためのコンピュータ・プログラム製品であって、
    a.膝関節の2次元画像中の特定の骨格特徴に関する複数の軌跡をコンピュータ・メモリに格納するプログラム・コードと、
    b.所与の被検体における前記複数の軌跡の位置をパラメータ化して、変形可能な統計的テンプレートのパラメータを導出するためのプログラム・コードと、
    c.前記複数の軌跡の部分集合、及び/又は前記変形可能な統計的テンプレートの前記導出されたパラメータに基づいて、前記骨格形態を特徴付けるためのプログラム・コードと
    を含むことを特徴とするコンピュータ・プログラム製品。
JP2008503042A 2005-03-24 2006-03-16 膝関節形態の特徴付けのための方法及びシステム Expired - Fee Related JP5054669B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US66491205P 2005-03-24 2005-03-24
US60/664,912 2005-03-24
PCT/US2006/009565 WO2006104707A2 (en) 2005-03-24 2006-03-16 Method and system for characterization of knee joint morphology

Publications (2)

Publication Number Publication Date
JP2008534055A true JP2008534055A (ja) 2008-08-28
JP5054669B2 JP5054669B2 (ja) 2012-10-24

Family

ID=36791636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008503042A Expired - Fee Related JP5054669B2 (ja) 2005-03-24 2006-03-16 膝関節形態の特徴付けのための方法及びシステム

Country Status (7)

Country Link
US (2) US7760923B2 (ja)
EP (1) EP1861821A2 (ja)
JP (1) JP5054669B2 (ja)
CN (1) CN101189638B (ja)
AU (1) AU2006229785A1 (ja)
CA (1) CA2602218C (ja)
WO (1) WO2006104707A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010071654A (ja) * 2008-09-16 2010-04-02 Eiichi Bando 原因物理量推定方法および装置
JP2010515557A (ja) * 2007-01-16 2010-05-13 オプタジア メディカル リミテッド 画像処理システム、及び方法。
JP2018023773A (ja) * 2016-08-05 2018-02-15 キャノンメディカルシステムズ株式会社 医用画像処理装置及びx線ct装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760923B2 (en) 2005-03-24 2010-07-20 Optasia Medical Limited Method and system for characterization of knee joint morphology
AU2007227129B2 (en) 2006-03-17 2012-06-14 Mohamed Mahfouz Methods of predetermining the contour of a resected bone surface and assessing the fit of a prosthesis on the bone
JP4934786B2 (ja) * 2006-10-13 2012-05-16 国立大学法人 東京大学 膝関節診断支援方法及び装置並びにプログラム
US9179983B2 (en) 2007-08-14 2015-11-10 Zimmer, Inc. Method of determining a contour of an anatomical structure and selecting an orthopaedic implant to replicate the anatomical structure
US8126249B2 (en) * 2008-05-30 2012-02-28 Optasia Medical Limited Methods of and system for detection and tracking of osteoporosis
US8811696B2 (en) 2008-08-12 2014-08-19 Wyeth Pharmaceuticals, Inc. Morphometry of the human hip joint and prediction of osteoarthritis
EP2385792A1 (en) * 2008-08-12 2011-11-16 Wyeth Pharmaceuticals Inc. Morphometry of the human knee joint and prediction for ostearthritis
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8675939B2 (en) * 2010-07-13 2014-03-18 Stryker Leibinger Gmbh & Co. Kg Registration of anatomical data sets
KR101883258B1 (ko) * 2010-08-13 2018-07-31 스미스 앤드 네퓨, 인크. 해부학적 계측점의 검출 방법
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9235929B2 (en) 2012-05-23 2016-01-12 Glasses.Com Inc. Systems and methods for efficiently processing virtual 3-D data
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US20140270449A1 (en) * 2013-03-15 2014-09-18 John Andrew HIPP Interactive method to assess joint space narrowing
CN103186901A (zh) * 2013-03-29 2013-07-03 中国人民解放军第三军医大学 全自动图像分割方法
TWI700473B (zh) 2014-06-04 2020-08-01 美商康寧公司 用於量測玻璃物品厚度的方法及系統
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US10376182B2 (en) 2015-10-30 2019-08-13 Orthosensor Inc. Spine measurement system including rod measurement
GB2544531A (en) * 2015-11-20 2017-05-24 Imorphics Ltd Image processing method
CN109377478B (zh) * 2018-09-26 2021-09-14 宁波工程学院 一种骨关节炎自动分级方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003144454A (ja) * 2001-11-16 2003-05-20 Yoshio Koga 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム
JP2004195213A (ja) * 2002-11-27 2004-07-15 Canon Inc 放射線画像のモデルベース解釈の初期化方法
JP2005332397A (ja) * 2004-05-18 2005-12-02 Agfa Gevaert Nv 幾何学的オブジェクトをデジタルの医学的画像内に自動写像する方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360446A (en) * 1992-12-18 1994-11-01 Zimmer, Inc. Interactive prosthesis design system for implantable prosthesis
US5682886A (en) * 1995-12-26 1997-11-04 Musculographics Inc Computer-assisted surgical system
US5880976A (en) * 1997-02-21 1999-03-09 Carnegie Mellon University Apparatus and method for facilitating the implantation of artificial components in joints
EP0991015B1 (fr) * 1998-09-29 2004-12-01 Koninklijke Philips Electronics N.V. Procédé de traitement d'images médicales d'ultrasons de structures osseuses et dispositif pour chirurgie assistée par ordinateur
FR2798760B1 (fr) * 1999-09-17 2002-03-29 Univ Joseph Fourier Reconstitution de surfaces en trois dimensions par utilisation de modeles statistiques
US7027650B2 (en) * 1999-12-10 2006-04-11 Christian Williame Dynamic computing imagery, especially for visceral osteopathy and for articular kinetics
US6711432B1 (en) * 2000-10-23 2004-03-23 Carnegie Mellon University Computer-aided orthopedic surgery
US6701174B1 (en) * 2000-04-07 2004-03-02 Carnegie Mellon University Computer-aided bone distraction
US6963825B1 (en) * 2000-10-16 2005-11-08 Kabushiki Kaisha Armonicos Outline extracting apparatus and method and computer readable memory medium
EP1293925A1 (en) * 2001-09-18 2003-03-19 Agfa-Gevaert Radiographic scoring method
EP1923809A3 (en) 2002-03-27 2010-12-29 Agfa HealthCare NV Method of performing geometric measurements on digital radiological images
WO2003088085A1 (en) * 2002-04-04 2003-10-23 Arizona Board Of Regents Three-dimensional digital library system
JP2004041694A (ja) 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム
GB2393625C (en) * 2002-09-26 2004-08-18 Meridian Tech Ltd Orthopaedic surgery planning
GB2402470B (en) 2003-04-30 2005-11-30 Image Metrics Plc A method of and apparatus for classifying images
US8290564B2 (en) * 2003-09-19 2012-10-16 Imatx, Inc. Method for bone structure prognosis and simulated bone remodeling
US7760923B2 (en) 2005-03-24 2010-07-20 Optasia Medical Limited Method and system for characterization of knee joint morphology
CN1710612A (zh) * 2005-07-08 2005-12-21 北京航空航天大学 基于备选关节点集合的皮肤顶点影响权值分配方法
US7848592B2 (en) * 2006-07-31 2010-12-07 Carestream Health, Inc. Image fusion for radiation therapy
JP2010515557A (ja) 2007-01-16 2010-05-13 オプタジア メディカル リミテッド 画像処理システム、及び方法。
US8126249B2 (en) 2008-05-30 2012-02-28 Optasia Medical Limited Methods of and system for detection and tracking of osteoporosis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003144454A (ja) * 2001-11-16 2003-05-20 Yoshio Koga 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム
JP2004195213A (ja) * 2002-11-27 2004-07-15 Canon Inc 放射線画像のモデルベース解釈の初期化方法
JP2005332397A (ja) * 2004-05-18 2005-12-02 Agfa Gevaert Nv 幾何学的オブジェクトをデジタルの医学的画像内に自動写像する方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515557A (ja) * 2007-01-16 2010-05-13 オプタジア メディカル リミテッド 画像処理システム、及び方法。
JP2010071654A (ja) * 2008-09-16 2010-04-02 Eiichi Bando 原因物理量推定方法および装置
JP2018023773A (ja) * 2016-08-05 2018-02-15 キャノンメディカルシステムズ株式会社 医用画像処理装置及びx線ct装置

Also Published As

Publication number Publication date
US20100272332A1 (en) 2010-10-28
EP1861821A2 (en) 2007-12-05
CA2602218A1 (en) 2006-10-05
WO2006104707A2 (en) 2006-10-05
US7760923B2 (en) 2010-07-20
US7929745B2 (en) 2011-04-19
CA2602218C (en) 2015-02-10
WO2006104707A3 (en) 2006-12-21
CN101189638A (zh) 2008-05-28
US20060216681A1 (en) 2006-09-28
CN101189638B (zh) 2011-11-30
AU2006229785A1 (en) 2006-10-05
AU2006229785A2 (en) 2006-10-05
JP5054669B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
JP5054669B2 (ja) 膝関節形態の特徴付けのための方法及びシステム
Tajdari et al. Image-based modelling for adolescent idiopathic scoliosis: mechanistic machine learning analysis and prediction
Maken et al. 2D-to-3D: a review for computational 3D image reconstruction from X-ray images
Nithiananthan et al. Demons deformable registration for CBCT‐guided procedures in the head and neck: convergence and accuracy
Esfandiari et al. A deep learning framework for segmentation and pose estimation of pedicle screw implants based on C-arm fluoroscopy
US9524552B2 (en) 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
US20160236009A1 (en) Estimating position of an organ with a biomechanical model
Zhong et al. FEM-based evaluation of deformable image registration for radiation therapy
Morooka et al. A survey on statistical modeling and machine learning approaches to computer assisted medical intervention: Intraoperative anatomy modeling and optimization of interventional procedures
Strickland et al. Development of subject-specific geometric spine model through use of automated active contour segmentation and kinematic constraint-limited registration
Ün et al. An analytical method to create patient-specific deformed bone models using X-ray images and a healthy bone model
Zhang et al. Deformable registration of lateral cephalogram and cone‐beam computed tomography image
Kadoury et al. Postoperative 3D spine reconstruction by navigating partitioning manifolds
EP3629931A1 (en) Heatmap and atlas
Ha et al. 2D-3D Reconstruction of a Femur by Single X-Ray Image Based on Deep Transfer Learning Network
Moura et al. Real-scale 3D models of the scoliotic spine from biplanar radiography without calibration objects
Kumar et al. Improving visibility of stereo-radiographic spine reconstruction with geometric inferences
Kadoury Three-dimensional spine reconstruction from radiographs
Kadoury et al. Self-calibration of biplanar radiographic images through geometric spine shape descriptors
Overbergh et al. Development and validation of image-based subject-specific skeletal models of spinal deformity patients for use in motion analysis
Sargent et al. Cross modality registration of video and magnetic tracker data for 3D appearance and structure modeling
Gadu A Hybrid Generative Adversarial network with Quantum U-NET for 3D spine X-ray image registration
Drobny et al. Towards automated spine mobility quantification: A locally rigid ct to x-ray registration framework
Pilgram et al. Proximal femur segmentation in conventional pelvic x ray
Alvarez-Gomez et al. Intraoperative Registration of 2D C-arm Images with Preoperative CT Data in Computer Assisted Spine Surgery: Motivation to Use Convolutional Neural Networks for Initial Pose Generator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110701

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120702

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120727

R150 Certificate of patent or registration of utility model

Ref document number: 5054669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees