JP2009273638A - エネルギーサブトラクション方法及び装置 - Google Patents

エネルギーサブトラクション方法及び装置 Download PDF

Info

Publication number
JP2009273638A
JP2009273638A JP2008127269A JP2008127269A JP2009273638A JP 2009273638 A JP2009273638 A JP 2009273638A JP 2008127269 A JP2008127269 A JP 2008127269A JP 2008127269 A JP2008127269 A JP 2008127269A JP 2009273638 A JP2009273638 A JP 2009273638A
Authority
JP
Japan
Prior art keywords
image
deformation
radiographic
operation mode
radiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008127269A
Other languages
English (en)
Other versions
JP5511152B2 (ja
Inventor
Sadataka Akahori
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008127269A priority Critical patent/JP5511152B2/ja
Priority to US12/453,507 priority patent/US7940892B2/en
Publication of JP2009273638A publication Critical patent/JP2009273638A/ja
Application granted granted Critical
Publication of JP5511152B2 publication Critical patent/JP5511152B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

【課題】多様な部位のエネルギーサブトラクションにおいて、撮影部位によらず動きによらずアーチファクトの低減された画像を得る。
【解決手段】異なる線質の放射線を被写体に照射して撮影された異なる2種類以上の放射線画像を入力する画像入力手段と、撮影部位を指定する撮影部位取得手段と、前記被写体の動きによる前記異なる2種類以上の放射線画像間における対応する点の移動を補償し位置合わせ処理を行う動き補償処理手段と、前記異なる2種類以上の放射線画像に対してエネルギーサブトラクション処理を行うサブトラクション手段と、前記撮影部位に応じて前記動き補償処理手段における位置合わせ処理の動作モードを切り替える動作モード切替手段とを備えたことを特徴とするエネルギーサブトラクション装置を提供することにより前記課題を解決する。
【選択図】図2

Description

本発明は、エネルギーサブトラクション方法及び装置に係り、特に、異なる放射線エネルギーで少なくとも2種類以上の放射線画像を撮影してこれからエネルギーサブトラクション画像を得る方法を様々な部位に適用するための技術に関する。
従来より、同一の被写体に対して異なるエネルギー分布を有する放射線を照射して、異なる放射線エネルギーで少なくとも2種類以上の放射線画像を撮影し、これからデジタル画像信号を得た後、これらのデジタル画像信号を各画像の各画素を対応させ重み付けして減算(サブトラクション)処理し、特定の放射線吸収特性を持った物質の分布を表す画像を得るエネルギーサブトラクション技術が知られている。
特に、2枚の画像を用いるデュアルエネルギーサブトラクションがよく知られており、これによれば、例えば、骨と軟部組織とを含む被写体から骨を消去したり、軟部組織を消去したりした画像を生成することができる。
従来放射線画像の撮影には、放射線の照射によりこの放射線エネルギーの一部を蓄積し、後に可視光等の励起光の照射によって、蓄積されたエネルギーに応じて輝尽発光を示す蓄積性蛍光体をシート状に構成した蓄積性蛍光体シートが用いられていた。
この蓄積性蛍光体シートを用いてエネルギーサブトラクション処理を行う場合、サブトラクションに供する2つの放射線画像を得る方法として、1ショット方式と2ショット方式の2つの方法が知られている。
1ショット方式は、2枚の蓄積性蛍光体シートをその間に銅板等の放射線分離フィルタを介して積層させて、あるいは互いに放射線吸収特性の異なる蓄積性蛍光体シートを2枚積層させて、1回の放射線照射によって2枚を同時に曝射することにより、両シートがそれぞれエネルギー分布の異なる放射線が照射されたように1回のみ撮影する方法である。
また、2ショット方式は、2枚の蓄積性蛍光体シートを撮影毎に交換して、それぞれエネルギー分布の異なる2種類の放射線(例えば、高エネルギー及び低エネルギーの放射線)を用いて2回撮影を行う方法である。
また最近、半導体等を利用した極めて多数個のX線検出素子をX線検出面に縦横に配列したフラットパネル型X線検出器(FPD;フラットパネルディテクタ)が用いられるようになり、これを用いれば1つのFPDで何回でも撮影でき、また特に2ショット方式では照射する放射線のエネルギーの自由度が高く、良好な組織分離画像を得易いという特徴があり、FPDの利用にともない2ショット方式が注目されている。そして、従来効果が認められていた胸部に加え、腹部や頸部へのエネルギーサブトラクション技術の適用も検討されており、今後の適用範囲の拡大が期待される。
なお、2ショット方式では、ショット間の時間差が避けられないため、各ショット間における被写体の動きによるアーチファクトが生じるという問題がある。そこで、従来から、特に心拍や呼吸の影響を考慮する必要のある胸部におけるエネルギーサブトラクション技術において、このようなアーチファクトを低減する手法がいろいろ提案されている。
例えば、第1の心拍トリガを見出すために患者の心周期を監視する工程と、第1の心拍トリガに応じて患者を撮影して、X線画像を形成する工程と、第2の心拍トリガを探すために患者の心周期を監視する工程と、オフセット画像を記録する工程と、X線画像とオフセット画像を合成して患者の質の高いX線画像を見出す工程を備えた、患者の胸部の2つの画像の獲得と患者の心周期を同期させるシステムにより、患者の心臓の動きによってX線画像上にアーチファクトが表れるのを低減させるようにしたものが知られている(例えば、特許文献1等参照)。
また例えば、エネルギーサブトラクションへの適用に好適なアーチファクト低減方法として、局所領域を用いたテンプレートマッチングにより格子状に配置された各制御点に対するシフトベクトルを求め非線形変換を行い、低エネルギー画像を変形または歪曲させて位置合わせされた低エネルギー画像を形成し、これを高エネルギー画像に位置合わせして画像の間のモーション・アーチファクトを減少させるようにしたものが知られている(例えば、特許文献2等参照)。
特開2002−325756号公報 特開2003−244542号公報
しかしながら、上記特許文献1に記載の心拍同期によるアーチファクト低減方法では、心電をモニタリングするための装置が必要となり装置構成が煩雑となるとともにコストがかかるという問題がある。さらに、心電と実際の心臓の動きには約150msecの遅延が生じるという問題もある。
また、上記特許文献2に記載の画像処理によるアーチファクト低減方法では、制御点配置間隔やテンプレートサイズなどのパラメータはユーザが与えるものとされており、適用部位や患者の体格などに応じてその都度適切な指定をしなければならず、そのために手間を要するという問題がある。また、心臓のように局所的な動きのある胸部に対しては局所マッチングと非線形変形を組み合わせた手法は有効であるが、他の部位では局所的な動ききは少なく無駄な計算が多くなる等の問題がある。
本発明は、このような事情に鑑みてなされたもので、多様な部位のエネルギーサブトラクションを行うにあたり、撮影部位によらず、また動きによらずアーチファクトの低減された画像を得ることのできるエネルギーサブトラクション方法及び装置を提供することを目的とする。
前記目的を達成するために、請求項1に記載の発明は、異なる線質の放射線を被写体に照射して撮影された異なる2種類以上の放射線画像を入力する画像入力手段と、撮影部位を取得する撮影部位取得手段と、前記異なる2種類以上の放射線画像間における前記被写体の動きを補償する動き補償処理手段と、前記異なる2種類以上の放射線画像に対してエネルギーサブトラクション処理を行うサブトラクション手段と、前記撮影部位に応じて前記動き補償処理手段の動作モードを切り替える動作モード切替手段と、を備えたことを特徴とするエネルギーサブトラクション装置を提供する。
これにより、撮影部位に応じて位置合わせ処理の動作モードを切り替えるようにしたため、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、請求項2に示すように、前記動き補償処理手段は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行う局所マッチング手段と、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出する変形パラメータ算出手段と、算出された前記変形パラメータに基づいて前記放射線画像を変形する画像変形手段とを備えるとともに、前記動作モード切替手段は前記局所マッチングで用いる位置合わせパラメータを切り替えることを特徴とする。
また、請求項3に示すように、前記位置合わせパラメータは、前記放射線画像間で点の対応を求める際の基準とするために特定の放射線画像上に所定間隔で設定された制御点の制御点間隔、該制御点を含むように前記特定の放射線画像上に設定されたテンプレートのサイズ及び前記特定の放射線画像以外の放射線画像上に前記制御点に対応する点を含むように設定された探索範囲の値を含むことを特徴とする。
これにより、撮影部位により位置合わせパラメータも切り替えるようにしたため、部位の動きに追従した位置合わせが可能となり、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、請求項4に示すように、前記動き補償処理手段は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行う局所マッチング手段と、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出する変形パラメータ算出手段と、算出された前記変形パラメータに基づいて前記放射線画像を変形する画像変形手段とを備えるとともに、前記動作モード切替手段は前記画像変形モデルを切り替えることを特徴とする。
これにより、撮影部位に応じて画像変形のしかたを切り替えることでその部位の動きに適切に追従することができ、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、請求項5に示すように、前記動き補償処理手段は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行う局所マッチング手段と、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出する変形パラメータ算出手段と、算出された前記変形パラメータに基づいて前記放射線画像を変形する画像変形手段とを備えるとともに、前記動作モード切替手段は前記撮影部位が胸部である場合と胸部以外の場合とで、前記動作モードを切り替えることを特徴とする。
これにより、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、同様に前記目的を達成するために、請求項6に記載の発明は、異なる線質の放射線を被写体に照射して撮影された異なる2種類以上の放射線画像を入力するステップと、
撮影部位を取得するステップと、
前記異なる2種類以上の放射線画像間における前記被写体の動きを補償するステップと、前記異なる2種類以上の放射線画像に対してエネルギーサブトラクション処理を行うステップと、前記撮影部位に応じて、前記画素位置の移動を補償する動作モードを切り替えるステップと、を備えたことを特徴とするエネルギーサブトラクション方法を提供する。
これにより、撮影部位に応じて位置合わせ処理の動作モードを切り替えるようにしたため、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、請求項7に示すように、前記位置合わせ処理は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行うステップと、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出するステップと、算出された前記変形パラメータに基づいて前記放射線画像を変形するステップとを備えるとともに、前記動作モードを切り替えるステップは前記局所マッチングで用いる位置合わせパラメータを切り替えることを特徴とする。
また、請求項8に示すように、前記位置合わせパラメータは、前記放射線画像間で点の対応を求める際の基準とするために特定の放射線画像上に所定間隔で設定された制御点の制御点間隔、該制御点を含むように前記特定の放射線画像上に設定されたテンプレートのサイズ及び前記特定の放射線画像以外の放射線画像上に前記制御点に対応する点を含むように設定された探索範囲の値を含むことを特徴とする。
これにより、撮影部位により位置合わせパラメータも切り替えるようにしたため、部位の動きに追従した位置合わせが可能となり、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、請求項9に示すように、前記位置合わせ処理は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行うステップと、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出するステップと、算出された前記変形パラメータに基づいて前記放射線画像を変形するステップとを備えるとともに、前記動作モードを切り替えるステップは前記画像変形モデルを切り替えることを特徴とする。
これにより、撮影部位に応じて画像変形のしかたを切り替えることでその部位の動きに適切に追従することができ、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
また、請求項10に示すように、前記位置合わせ処理は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行うステップと、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出するステップと、算出された前記変形パラメータに基づいて前記放射線画像を変形するステップとを備えるとともに、前記動作モードを切り替えるステップは前記撮影部位が胸部である場合と胸部以外の場合とで、前記動作モードを切り替えることを特徴とする。
これにより、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
以上説明したように、本発明によれば、撮影部位に応じて位置合わせ処理の動作モードを切り替えるようにしたため、撮影部位によらず、動きによるアーチファクトの少ない画像を提供することが可能となる。
以下、添付図面を参照して、本発明に係るエネルギーサブトラクション方法及び装置について詳細に説明する。
図1は、本発明に係るエネルギーサブトラクション方法を実施するエネルギーサブトラクション装置の一実施形態を示す概略構成図である。
本実施形態のエネルギーサブトラクション装置は、フラットパネル型X線検出器(FPD)を用いたX線撮像システムを構成する。
図1に示すように、本実施形態のエネルギーサブトラクション装置10は、主に、被検体MにX線を照射するX線源12と、被検体Mを透過したX線を検出して検出信号を出力するフラットパネル型X線検出器(FPD)14と、X線コントローラ16及びコンソール18とから構成される。また、コンソール18にはディスプレイ20が接続されており、ディスプレイ20の画面は、オペレータがタッチして所定の指示等を入力することができるタッチパネルとなっている。また、コンソール18にはこの他にキーボード等の入力手段が接続されていても良い。
X線源12は、細かい構成についての説明は省略するが、被検体MにX線を照射するX線管を有し、所定の管電圧及び管電流によって出射されるX線のエネルギーが制御されるようになっている。
FPD14は、その表面の受光面が平板状に形成され、受光面が水平または垂直となるように傾きが変更可能となっており、被検体Mを透過してきたX線を光電的に検出してアナログ電気信号を出力するものである。
FPD14の出力信号(検出信号)は、X線コントローラ16を介してコンソール18に入力されるようになっている。
X線コントローラ16は、X線源12及びFPD14を制御してX線画像撮影を行うものである。すなわち、入力された撮影条件あるいは設定された撮影条件に基づいて、X線源12の管電圧を所定の値に制御して、低圧でのX線撮影あるいは高圧でのX線撮影を行うように制御するものである。
コンソール18は、X線コントローラ16を介してFPD14の検出信号を受け取り、撮影対象の透視像を再構成して、エネルギーサブトラクション処理を行い、所定の画像を生成してディスプレイ20に表示するものである。
ディスプレイ20は、タッチパネル操作により撮影メニュー、撮影部位等のオーダーを入力したり、通常診断画像としての第1の画像の撮影条件を入力したり、予め撮影条件が初期値で設定されている場合にその調整値を入力したりするのにも用いられる。
本実施形態におけるエネルギーサブトラクション装置10は、診断用画像と非診断用画像とのエネルギーサブトラクション処理において、診断用画像と非診断用画像とを位置合わせする際、複数種類の位置合わせ処理や複数種類の位置合わせパラメータセットを持ち、部位選択に応じて位置合わせ処理や位置合わせパラメータセットを切り替えるようにするものであり、その処理はコンソール18において行われる。
図2に、本実施形態におけるコンソール18の構成を示す。
図2に示すように、コンソール18は、画像入力手段22、撮影部位取得手段24、動作モード切替手段26、動き補償処理手段28及びサブトラクション手段30を有して構成されている。
さらに、動き補償処理手段28は、局所マッチング手段32、変形パラメータ算出手段34及び画像変形手段36を有して構成されている。また、動作モード切替手段26は、処理選択テーブル38を有している。
画像入力手段22は、X線源12から被検体Mに照射され、被検体Mを透過してFPD14で検出された検出信号をX線画像としてX線コントローラ16より受け取るものである。エネルギーサブトラクションでは、通常の診断と同じ条件で撮影した診断用画像に加えて、別のエネルギー(管電圧など)での撮影で得られた非診断用画像とがあり、これら2種類の画像を用いてサブトラクション画像が得られる。
画像入力手段22には、この診断用画像と、非診断用画像の2種類の画像がX線コントローラ16から入力される。例えば、撮影部位が胸部の場合には、診断用画像は高い管電圧(100kVp〜150kVp程度)での撮影となるため、非診断用画像は逆に低い管電圧(60kVp〜80kVp程度)で撮影するのが分離精度の観点で好ましい。
本実施形態においては、サブトラクション用に撮影した非診断用画像を変形するものとして以下説明をするが、本発明のサブトラクション方法はこれに限定されるものではなく、診断用画像の方を変形するようにしても良い。
撮影部位取得手段24は、オペレータがディスプレイ20からタッチパネル操作により、あるいはキーボード(図示省略)から入力した撮影部位を受け取るものであり、撮影部位としては、例えば胸部、腹部、頚部、四肢などが挙げられる。しかし、撮影部位はここに挙げたものだけに限定されるものではなく、他の部位を指定することもできる。
動作モード切替手段26は、撮影部位取得手段24が取得した撮影部位により、処理選択テーブル38を参照して、その撮影部位に対応する動作モードを選択する。動作モードの選択とは、詳しくは後で説明するが、どの処理のモデル及び、どのパラメータのセットを選択するかということである。
図に示すように処理選択テーブル38には、各部位毎にそれに対応する位置合わせパラメータが、胸部に対しては位置合わせ1、腹部に対しては位置合わせ2、・・・のように格納されている。位置合わせパラメータは、動作モードによって決められたものであり、部位依存のパラメータとして、制御点間隔、ROIテンプレートサイズ、探索範囲の値などのセットである。
ここで制御点とは、非診断用画像と診断用画像とで局所マッチングを行う際に用いられるもので、非診断用画像上に所定の間隔で、例えば格子点のように設定されるものである。その間隔を制御点間隔という。ROI(Region Of Interest)テンプレートとは、非診断用画像上の各制御点を含むようにその周囲に設定されるものである。また、これに対して探索範囲は、非診断用画像と局所マッチングが行われる診断用画像上に設定されるものであって、この探索範囲内をROIテンプレートを相関をとりながらずらして、一番合うところを探索するようにして局所マッチングを行うためのものである。
局所マッチング手段32は、非診断用画像と診断用画像とで局所マッチングを行い、非診断用画像上の制御点が診断用画像上でどこに移動するかを求めるものである。
変形パラメータ算出手段34は、局所マッチング手段32によって求められた非診断用画像上の制御点に対するその診断用画像上での対応点から、その制御点の移動量にあたる変形シフト量(変形パラメータ)を求めるものである。
画像変形手段36は、非診断用画像を、その各画素を変形パラメータ算出手段34で求めた変形シフト量(変形パラメータ)に基づいて変形するものである。
このように、動き補償処理手段28は、局所マッチング手段32、変形パラメータ算出手段34及び画像変形手段36を備え、非診断用画像上の制御点が診断用画像上の対応する点としてどのように移動するのかを求め、変形シフト量を求めて、非診断用画像を変形することにより、非診断用画像上の画素位置の移動を補償し位置合わせ処理を行うものである。
サブトラクション手段30は、上記動き補償処理手段28において変形された非診断用画像と、画像入力手段22から受け取った診断用画像に対してエネルギーサブトラクション処理を施して所定のX線画像を生成するものである。
以下、本実施形態の作用を説明する。
最初に、局所変形のパラメータ(位置合わせパラメータ)を切り替える動作モードについて説明する。
図3に、この動作モードにおける処理の流れをフローチャートで示す。
まず、図3のステップS100において、オペレータが撮影部位を入力する。撮影部位としては例えば胸部、腹部、頸部、四肢などが考えられるがこれらに限定されるものではない。撮影部位の入力は図1に示すディスプレイ20のタッチパネル操作を用いても良いし、図示を省略したキーボード等の入力手段を用いても良い。オペレータによって入力された撮影部位は撮影部位取得手段24に取り込まれる。
ステップS110において、動作モードが切り替えられる。入力された撮影部位は撮影部位取得手段24から動作モード切替手段26に送られる。動作モード切替手段26ではこの撮影部位に基づいて処理選択テーブル38を参照して動作モードを決定する位置合わせパラメータを選択する。前述したように、位置合わせパラメータは部位依存のパラメータとして、制御点間隔、ROIテンプレートサイズ、探索範囲などの値がセットで処理選択テーブル38に各部位毎に用意されている。
次にステップS120において、X線コントローラ16でX線源12及びFPD14を制御して撮影された診断用画像及び非診断用画像という2種類のX線画像が入力される。非診断用画像は、局所マッチング手段32及び画像変形手段36に入力され、診断用画像は、局所マッチング手段32及びサブトラクション手段30に入力される。
次にステップS130において、局所マッチング手段32で局所マッチング処理、すなわち非診断用画像と診断用画像の位置合わせ処理が行われる。
図4に局所マッチングの様子を示す。図4(a)は非診断用画像、図4(b)は診断用画像である。図に示すように、非診断用画像は所定の間隔で格子状に分割されており、診断用画像もこれに対応して格子状に分割されている。図4(a)に示すように、非診断用画像上の各格子点が制御点P(i,j)を示している。
そして制御点P(i,j)に対するROIテンプレートTroiが、制御点P(i,j)を中心に含む所定サイズの正方形として設定されている。これに対して、図4(b)に示すように、非診断用画像上の制御点P(i,j)に対応する診断用画像上の点を中心として所定のサイズで探索範囲Tsが設定されている。
そして、診断用画像上の探索範囲内の各位置に対して、正規化相互相関や相互情報量などのマッチング度を評価する。このマッチング度が最大となる位置が非診断用画像上の制御点P(i,j)に対応する診断用画像上の位置P’(i,j)である。このようにして、局所マッチングにより非診断用画像上の各制御点P(i,j)と、これに対応する診断用画像上の点P’(i,j)の位置合わせが行われる。
次にステップS140において、変形パラメータ算出手段34で、変形パラメータを算出する。すなわち上で求めた各点P(i,j)及びP’(i,j)の対応から変形シフト量S(i,j)を算出する。そして、この変形シフト量S(i,j)を平滑化する。これは局所的な誤りを補正するためである。そして非診断用画像の制御点以外の各画素に対する変形シフト量を制御点に対する値から補間によって算出する。
次にステップS150において、画像変形手段36により、非診断用画像の各画素に対して上で算出した変形シフト量に基づいて非診断用画像を変形する。
このようにして非診断用画像の変形が行われるが、位置合わせパラメータは部位に応じて切り替えるようにする。例えば、局所的な体動(心拍)を含む胸部においては、制御点間隔は小さく、ROIテンプレートサイズは小さく、そして探索範囲は大きくとるようにする。また、胸部以外の部位においては、制御点間隔は大きく、ROIテンプレートサイズは大きく、そして探索範囲は小さくするようにする。
具体的には、胸部では、制御点間隔は4〜5mm程度、ROIテンプレートサイズは5〜6mm程度、探索範囲は2〜3mm程度とすると良い。また、胸部以外の部位では、制御点間隔は10mm以上、ROIテンプレートサイズは10mm以上、探索範囲は1mm以下とすると良い。
このようにすることにより、胸部では心拍など局所的な動きに追従するような位置合わせが可能な処理となり、また胸部以外の部位では姿勢変動などのような比較的大域的な動きに追従するような位置合わせに適した処理となる。
このように、非診断用画像の位置合わせ及び画像変形が行われると、次にステップS160において、サブトラクション手段30により、上で変形された非診断用画像と画像入力手段22から入力された診断用画像に対してエネルギーサブトラクション処理が行われ、所定のX線画像が得られる。
ステップS170において、上で得られた所定のX線画像(サブトラクション画像)はディスプレイ20に出力される。なお、ディスプレイ20に表示するだけでなく、これと共にあるいはこれに代えてプリンタやその他の記録手段に出力するようにしてもよい。
次に、変形モデルを切り替える動作モードについて説明する。
これは、上記局所変形のパラメータを切り替える動作モードの処理において、図3のステップS100〜ステップS130までの処理と同様の手順で制御点P(i,j)に対する診断用画像上の対応位置P’(i,j)を求めた後の処理を、部位によって切り替えるものである。
例えば、部位が胸部の場合には、心拍など局所的な動きに追従可能な自由変形モデルによる変形処理を行う。自由変形モデルというのは、肺や心臓のように、全体が動くのではなく、局所的に各部分部分で任意の動かし方をするものであり、実際の変形処理としては、前述した図3のフローチャートのステップS140〜ステップS150における処理と同様である。
すなわち、局所マッチングにより、非診断用画像上の制御点P(i,j)に対する診断用画像上の対応位置P’(i,j)を求め、これらの対応する点から変形シフト量S(i,j)を算出する。そして、局所的な誤りを補正するために、算出した変形シフト量S(i,j)を平滑化する。そして、非診断用画像の各画素に対する変形シフト量を補間によって算出する。
そして、非診断用画像の各画素に対する変形シフト量に基づいて、非診断用画像を変形する。
また、胸部以外の部位の場合には、姿勢変動など比較的大域的な動きに追従するように多項式変形モデルへのフィッティングを行って変形する。
まず、局所マッチングにより、非診断用画像上の制御点P(i,j)に対する診断用画像上の対応位置P’(i,j)を求める。次にP(i,j)及びP’(i,j)から多項式モデルへのフィッティングを行う。
すなわち、誤差が最小となるように、次の多項式の係数(変形係数)a,b,・・・,a,b,・・・を求める。
ij’=a+bij+cij+dij +eij +fijij+・・・
ij’=a+bij+cij+dij +eij +fijij+・・・
ここで、P(i,j)=(xij,yij)、P’(i,j)=(xij’,yij’)とする。
そして、変形係数に基づいて非診断用画像を変形する。
また、位置合わせ処理そのものを複数通り用意して、部位に応じて位置合わせ処理を切り替えるようにしても良い。
例えば、胸部用位置合わせとしては、肋骨運動モデルや心臓運動モデルなどを用いた専用処理にして、他の部位の位置合わせは比較的簡単な上述したようなモデルを用いた処理とするようにしても良い。
また、胸部用位置合わせ処理の具体例として、例えば、特開2006−175057号公報に開示されているように、予め撮影して得られた複数の2次元胸部画像の肋骨形状から、統計的手法を用いて得た2次元の標準肋骨形状と、この標準肋骨形状を変形する複数の形状変形ベクトルを記憶し、2次元の標準肋骨形状に対応する3次元の標準肋骨形状を記憶し、被写体を撮影して得た被写体胸部画像に撮影されている2次元の被写体肋骨形状と2次元の標準肋骨形状とに基づいて、2次元の標準肋骨形状を2次元の被写体肋骨形状に一致するように変形する各形状変形ベクトルのパラメータを取得し、このパラメータに応じて3次元の標準肋骨形状を変形して、被写体の撮影時の3次元の被写体肋骨形状を推定する肋骨形状推定方法が知られている。
このような、解剖学的な形状モデルを用いた専用処理を部位毎に用意するようにしても良い。
なお、エネルギーサブトラクションは異なる放射線エネルギーで撮影された2種類以上の放射線画像に対して荷重減算を行うものであるが、例えば、骨が相殺するような荷重で減算を行うことにより、骨を除去した軟部画像を得ることができるが、エネルギーサブトラクションはこのようなものに限定されるものではなく、例えば、特開平3−285475号公報に開示されているように、粒状抑制処理を含むようなものであっても良い。
またさらに、ギプスなど骨や軟部以外の適当な物質や組織を相殺するような荷重を適用するようにしても良い。
また、上述した実施形態においては、2種類の画像に対してエネルギーサブトラクション処理を行っていたが、3種類以上の画像に対してエネルギーサブトラクション処理を適用するようにしてもよい。また、経時変化を観察するために適用するようにしても良い。
以上説明したように、本実施形態によれば、複数種類の位置合わせ処理及び複数種類の位置合わせパラメータセットを用意し、撮影部位の選択に応じて位置合わせ処理や位置合わせパラメータセットを切り替えるようにしたため、撮影部位によらず、また動きにもよらず、アーチファクトの少ない画像を提供することが可能となった。
以上、本発明のエネルギーサブトラクション方法及び装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
本発明に係るエネルギーサブトラクション方法を実施するエネルギーサブトラクション装置の一実施形態を示す概略構成図である。 図1に示めす本実施形態のコンソールの概略構成図である。 本実施形態の処理の流れを示すフローチャートである。 局所マッチングの様子を示す説明図であり、(a)は非診断用画像、(b)は診断用画像である。
符号の説明
10…エネルギーサブトラクション装置、12…X線源、14…フラットパネル型X線検出器(FPD)、16…X線コントローラ、18…コンソール、20…ディスプレイ、22…画像入力手段、24…撮影部位取得手段、26…動作モード切替手段、28…動き補償処理手段、30…サブトラクション手段、32…局所マッチング手段、34…変形パラメータ算出手段、36…画像変形手段、38…処理選択テーブル

Claims (10)

  1. 異なる線質の放射線を被写体に照射して撮影された異なる2種類以上の放射線画像を入力する画像入力手段と、
    撮影部位を取得する撮影部位取得手段と、
    前記異なる2種類以上の放射線画像間における前記被写体の動きを補償する動き補償処理手段と、
    前記異なる2種類以上の放射線画像に対してエネルギーサブトラクション処理を行うサブトラクション手段と、
    前記撮影部位に応じて前記動き補償処理手段の動作モードを切り替える動作モード切替手段と、
    を備えたことを特徴とするエネルギーサブトラクション装置。
  2. 前記動き補償処理手段は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行う局所マッチング手段と、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出する変形パラメータ算出手段と、算出された前記変形パラメータに基づいて前記放射線画像を変形する画像変形手段とを備えるとともに、前記動作モード切替手段は前記局所マッチングで用いる位置合わせパラメータを切り替えることを特徴とする請求項1に記載のエネルギーサブトラクション装置。
  3. 前記位置合わせパラメータは、前記放射線画像間で点の対応を求める際の基準とするために特定の放射線画像上に所定間隔で設定された制御点の制御点間隔、該制御点を含むように前記特定の放射線画像上に設定されたテンプレートのサイズ及び前記特定の放射線画像以外の放射線画像上に前記制御点に対応する点を含むように設定された探索範囲の値を含むことを特徴とする請求項2に記載のエネルギーサブトラクション装置。
  4. 前記動き補償処理手段は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行う局所マッチング手段と、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出する変形パラメータ算出手段と、算出された前記変形パラメータに基づいて前記放射線画像を変形する画像変形手段とを備えるとともに、前記動作モード切替手段は前記画像変形モデルを切り替えることを特徴とする請求項1に記載のエネルギーサブトラクション装置。
  5. 前記動き補償処理手段は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行う局所マッチング手段と、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出する変形パラメータ算出手段と、算出された前記変形パラメータに基づいて前記放射線画像を変形する画像変形手段とを備えるとともに、前記動作モード切替手段は前記撮影部位が胸部である場合と胸部以外の場合とで、前記動作モードを切り替えることを特徴とする請求項1に記載のエネルギーサブトラクション装置。
  6. 異なる線質の放射線を被写体に照射して撮影された異なる2種類以上の放射線画像を入力するステップと、
    撮影部位を取得するステップと、
    前記異なる2種類以上の放射線画像間における前記被写体の動きを補償するステップと、
    前記異なる2種類以上の放射線画像に対してエネルギーサブトラクション処理を行うステップと、
    前記撮影部位に応じて、前記画素位置の移動を補償する動作モードを切り替えるステップと、
    を備えたことを特徴とするエネルギーサブトラクション方法。
  7. 前記位置合わせ処理は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行うステップと、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出するステップと、算出された前記変形パラメータに基づいて前記放射線画像を変形するステップとを備えるとともに、前記動作モードを切り替えるステップは前記局所マッチングで用いる位置合わせパラメータを切り替えることを特徴とする請求項6に記載のエネルギーサブトラクション方法。
  8. 前記位置合わせパラメータは、前記放射線画像間で点の対応を求める際の基準とするために特定の放射線画像上に所定間隔で設定された制御点の制御点間隔、該制御点を含むように前記特定の放射線画像上に設定されたテンプレートのサイズ及び前記特定の放射線画像以外の放射線画像上に前記制御点に対応する点を含むように設定された探索範囲の値を含むことを特徴とする請求項7に記載のエネルギーサブトラクション方法。
  9. 前記位置合わせ処理は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行うステップと、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出するステップと、算出された前記変形パラメータに基づいて前記放射線画像を変形するステップとを備えるとともに、前記動作モードを切り替えるステップは前記画像変形モデルを切り替えることを特徴とする請求項6に記載のエネルギーサブトラクション方法。
  10. 前記位置合わせ処理は、前記異なる2種類以上の放射線画像間で点の対応を求めるために局所マッチングを行うステップと、画像変形処理の内容を示す画像変形モデルに基づいて前記放射線画像間の対応する点の間での移動量を変形パラメータとして算出するステップと、算出された前記変形パラメータに基づいて前記放射線画像を変形するステップとを備えるとともに、前記動作モードを切り替えるステップは前記撮影部位が胸部である場合と胸部以外の場合とで、前記動作モードを切り替えることを特徴とする請求項6に記載のエネルギーサブトラクション方法。
JP2008127269A 2008-05-14 2008-05-14 エネルギーサブトラクション方法及び装置 Active JP5511152B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008127269A JP5511152B2 (ja) 2008-05-14 2008-05-14 エネルギーサブトラクション方法及び装置
US12/453,507 US7940892B2 (en) 2008-05-14 2009-05-13 Energy substraction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008127269A JP5511152B2 (ja) 2008-05-14 2008-05-14 エネルギーサブトラクション方法及び装置

Publications (2)

Publication Number Publication Date
JP2009273638A true JP2009273638A (ja) 2009-11-26
JP5511152B2 JP5511152B2 (ja) 2014-06-04

Family

ID=41316158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008127269A Active JP5511152B2 (ja) 2008-05-14 2008-05-14 エネルギーサブトラクション方法及び装置

Country Status (2)

Country Link
US (1) US7940892B2 (ja)
JP (1) JP5511152B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055474A (ja) * 2010-09-08 2012-03-22 Fujifilm Corp 体動検出装置、方法およびプログラム
JP2016041245A (ja) * 2014-08-15 2016-03-31 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP2019060211A (ja) * 2017-09-28 2019-04-18 日鉄住金鋼板株式会社 サンドイッチパネル、及び壁ユニット
JP2020093125A (ja) * 2020-03-13 2020-06-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073230B2 (en) * 2007-05-09 2011-12-06 Case Western Reserve University Systems and methods for generating images for identifying diseases
US8422757B2 (en) * 2007-05-09 2013-04-16 Case Western Reserve University Systems and methods for generating images for identifying diseases
US9351695B2 (en) * 2012-11-21 2016-05-31 Carestream Health, Inc. Hybrid dual energy imaging and bone suppression processing
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10111638B2 (en) 2016-05-24 2018-10-30 Toshiba Medical Systems Corporation Apparatus and method for registration and reprojection-based material decomposition for spectrally resolved computed tomography
CN108294768B (zh) * 2017-12-29 2020-05-19 华中科技大学 序列图像多参数配准的x射线心血管造影减影方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336517A (ja) * 1995-06-12 1996-12-24 Konica Corp 画像処理装置
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001202507A (ja) * 1999-06-02 2001-07-27 Fuji Photo Film Co Ltd 画像の位置合わせ処理方法および位置合わせ処理装置
JP2001325584A (ja) * 2000-03-06 2001-11-22 Fuji Photo Film Co Ltd 画像の位置合わせ方法および装置
JP2003099021A (ja) * 2001-09-21 2003-04-04 Canon Inc 画像表示装置、及び画像表示方法、並びにプログラム、記憶媒体
JP2003244542A (ja) * 2002-01-28 2003-08-29 Ge Medical Systems Global Technology Co Llc 2度露光二重エネルギーx線撮影のためのモーション・アーチファクト減少アルゴリズム
JP2004528068A (ja) * 2001-02-02 2004-09-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血流測定のための解剖学的に対応する位置の自動的な位置合わせ方法及びシステム
JP2005528974A (ja) * 2002-06-12 2005-09-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生理学的モデルに基づく非剛体画像位置合わせ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4482918A (en) * 1982-04-26 1984-11-13 General Electric Company Method and apparatus for X-ray image subtraction
JPH02100583A (ja) * 1988-10-07 1990-04-12 Toshiba Corp 画像処理方法およびその装置
US6363163B1 (en) * 1998-02-23 2002-03-26 Arch Development Corporation Method and system for the automated temporal subtraction of medical images
JP2001157675A (ja) * 1999-12-02 2001-06-12 Fuji Photo Film Co Ltd 画像表示方法および画像表示装置
JP4294881B2 (ja) * 2000-05-12 2009-07-15 富士フイルム株式会社 画像の位置合わせ方法および装置
US6643536B2 (en) * 2000-12-29 2003-11-04 Ge Medical Systems Global Technology Company, Llc System and method for synchronization of the acquisition of images with the cardiac cycle for dual energy imaging
US7248726B2 (en) * 2001-03-21 2007-07-24 Fujifilm Corporation Energy subtraction processing method and apparatus
US6614874B2 (en) * 2002-01-28 2003-09-02 Ge Medical Systems Global Technology Company, Llc Robust and efficient decomposition algorithm for digital x-ray de imaging
US6816572B2 (en) * 2002-03-08 2004-11-09 Ge Medical Systems Global Technology Co., Llc Method, system and computer product for processing dual energy images
JP2005073122A (ja) * 2003-08-27 2005-03-17 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006175057A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 画像処理装置、そのプログラムおよび方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336517A (ja) * 1995-06-12 1996-12-24 Konica Corp 画像処理装置
JP2001202507A (ja) * 1999-06-02 2001-07-27 Fuji Photo Film Co Ltd 画像の位置合わせ処理方法および位置合わせ処理装置
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001325584A (ja) * 2000-03-06 2001-11-22 Fuji Photo Film Co Ltd 画像の位置合わせ方法および装置
JP2004528068A (ja) * 2001-02-02 2004-09-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血流測定のための解剖学的に対応する位置の自動的な位置合わせ方法及びシステム
JP2003099021A (ja) * 2001-09-21 2003-04-04 Canon Inc 画像表示装置、及び画像表示方法、並びにプログラム、記憶媒体
JP2003244542A (ja) * 2002-01-28 2003-08-29 Ge Medical Systems Global Technology Co Llc 2度露光二重エネルギーx線撮影のためのモーション・アーチファクト減少アルゴリズム
JP2005528974A (ja) * 2002-06-12 2005-09-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生理学的モデルに基づく非剛体画像位置合わせ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055474A (ja) * 2010-09-08 2012-03-22 Fujifilm Corp 体動検出装置、方法およびプログラム
JP2016041245A (ja) * 2014-08-15 2016-03-31 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP2019060211A (ja) * 2017-09-28 2019-04-18 日鉄住金鋼板株式会社 サンドイッチパネル、及び壁ユニット
JP2020093125A (ja) * 2020-03-13 2020-06-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20090285361A1 (en) 2009-11-19
JP5511152B2 (ja) 2014-06-04
US7940892B2 (en) 2011-05-10

Similar Documents

Publication Publication Date Title
JP5511152B2 (ja) エネルギーサブトラクション方法及び装置
KR102187814B1 (ko) 의용 장치, 및 의용 장치의 제어 방법
US9888898B2 (en) X-ray diagnostic apparatus
JP6042855B2 (ja) 放射線画像撮影装置、放射線画像撮影方法、及び放射線画像撮影プログラム
JP5269298B2 (ja) X線診断装置
GB2433668A (en) Image registration based on the relative position of an imager to an imaged object
JP2017023695A (ja) 医用画像診断装置
US9384545B2 (en) X-ray image diagnosis apparatus
JP2010005032A (ja) X線撮影装置
JP5422171B2 (ja) X線画像診断装置
JP4322459B2 (ja) X線診断装置
US20100119116A1 (en) Radiographic tomography apparatus
JP4777164B2 (ja) 心拍位相決定装置、プログラム及びx線診断装置
JP2004105643A (ja) X線診断装置
US20160073998A1 (en) X-ray diagnostic apparatus
US10786220B2 (en) Device for imaging an object
JP2018175320A (ja) 放射線撮影システム
JP7099086B2 (ja) 動態画像処理装置及びプログラム
JP7086628B2 (ja) X線診断装置
KR101945856B1 (ko) 엑스선을 이용하여 내장 지방량을 측정하는 시스템 및 방법
JP5044457B2 (ja) 放射線画像撮影装置及び撮影条件設定方法
JP2019005417A (ja) 動態画像処理装置及び動態画像処理システム
KR101748348B1 (ko) 영상 획득 장치 및 방법
JP2009285048A (ja) エネルギーサブトラクション方法及び装置
JP7310239B2 (ja) 画像処理装置、放射線撮影システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140325

R150 Certificate of patent or registration of utility model

Ref document number: 5511152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250