JP2013521849A - 血管造影画像内の動きの視覚化 - Google Patents

血管造影画像内の動きの視覚化 Download PDF

Info

Publication number
JP2013521849A
JP2013521849A JP2012556627A JP2012556627A JP2013521849A JP 2013521849 A JP2013521849 A JP 2013521849A JP 2012556627 A JP2012556627 A JP 2012556627A JP 2012556627 A JP2012556627 A JP 2012556627A JP 2013521849 A JP2013521849 A JP 2013521849A
Authority
JP
Japan
Prior art keywords
image
angiographic
subtraction
motion
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012556627A
Other languages
English (en)
Other versions
JP6043187B2 (ja
Inventor
ヴェヒター−シュテーレ,イリーナ
グロート,アレクサンドラ
ペトリュス ヨーハネス ヘルマンス,ロナルデュス
ベルトラム,マティーアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013521849A publication Critical patent/JP2013521849A/ja
Application granted granted Critical
Publication of JP6043187B2 publication Critical patent/JP6043187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4464Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit or the detector unit being mounted to ceiling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

血管造影画像内の動く対象の動きを視覚化する方法と装置が説明される。本方法の好ましい実施形態では、始めに、関心対象のマスク画像が取得され、さらに、対象の異なる動きのフェーズでの対象の血管造影画像シーケンスが取得される。その後、前記血管造影画像をマスク画像から減算することにより、第1血管造影減算画像と、少なくとも第2血管造影減算画像とが生成される。引き続き、前記第1血管造影減算画像を前記第2血管造影減算画像から減算することにより、2回減算画像が生成される。このようにして、2倍減算、即ち、2回減算の血管造影画像が実行され、動きの評価を容易にする。

Description

本発明は血管造影画像内の動きの視覚化に関する。詳しくは、本発明は、血管造影画像内の移動する対象の動きの視覚化方法及び視覚化装置に関する。さらには、本発明はまた、コンピュータ上で実行される際にそうした方法をコントロールすることを可能にするコンピュータプログラム要素、及び、そうしたコンピュータプログラム要素が保存されるコンピュータ可読媒体に関する。
科学の多くの分野では、関心対象の画像又は画像シーケンスを観察者に提供することは重要だろう。多くの応用例では、関心対象は移動することがある。とりわけ、医療の分野では、対象の動きに関する正確なデータを供給することは重要なことがある。
動く対象の良好なデータ及び特には良好な視覚化は重要なことがある。例えば、特開平10−031745号公報(特許文献1)に示されるように、デジタル減算血管造影が実施されてもよい。
しかし、画像シーケンスから動きを推測することは困難であるかもしれず、とりわけ、その動きが早かったり、不規則であったり、及び/又は、その画像の寸法や周辺の対象の動きに比べて小さい場合は困難である。
特開平10−031745号公報
本発明の課題は、関心対象の動きの視覚化を改善するための方法と装置を提供することである。
関心対象の動きの視覚化の改善を実現し、それによって、その対象のより信頼性の高い正確な評価を可能にすることは有利であろう。
本発明の第1の側面によれば、動きの視覚化方法が提供され、血管造影画像内の動いている関心対象の動きが視覚化される。本方法は以下のステップを含む:関心対象の背景のマスク画像を取得するステップであり、その対象の異なる動きのフェーズでの対象の血管造影画像のシーケンスを取得するステップと;血管造影画像をマスク画像から減算することにより、第1血管造影減算画像と少なくとも第2血管造影減算画像とを生成するステップと;第1血管造影減算画像を第2血管造影減算画像から減算することにより、2回減算画像を生成するステップと;を有する。
換言すれば、本発明の第1の側面はそのアイディアに基づくと考えられてもよく、2倍の減算、即ち、2回減算の血管造影を実行し、動きの評価を容易にする。始めに、マスク画像を各取得血管造影画像から減算することにより、又は逆もまた同様に、デジタル減算血管撮影(digital subtraction angiography: DSA)が実行される。DSAから得られる画像シーケンスは少なくとも2つの画像を含み、即ち、第1と第2の血管造影減算画像である。DSAは、血管造影減算画像に、関心対象、例えば血管構造の改善された表現を供給する。DSAの後、第2減算が実行され、そこでは、DSAで生成された血管造影減算画像の1つが、DSAで生成された少なくとも1つの更なる血管造影減算画像から減算される。即ち、例えば第1血管造影減算画像は、1つ又は複数の第2血管造影減算画像から減算される。第2減算は、2回減算を供給し、2つの血管造影減算画像の間の差分のみを表す。従って、画像内の対象の変位のみが認識できる。2倍減算の実行後、2回減算画像が観察者に提供されてもよい。
血管造影画像のシーケンスを取得することは、データベース又はメモリから検索することを意味してもよく、又は、例えばx線イメージング、とりわけ回転x線イメージング、コンピュータトモグラフィ(CT)及び磁気共鳴(MR)といった技術により画像を取得することを意味してもよい。そうした画像は、データ、フレーム、フレームのシーケンス、又はそれらの視覚的な表現であってもよい。
動く対象は関心対象として表されてもよい。血管造影画像内に表される動く対象は、血管、心臓、冠状動脈、動脈性静脈異常、及び特には動脈瘤であってもよい。
血管造影画像のシーケンスは、少なくとも2つの、好ましくは複数の取得画像を含み、それらの画像は或る方法で取得され、そうして、関心対象が、例えば造影剤の注入後のような強化手法で視覚化される。対象の周期的な動きの場合には、血管造影画像のシーケンスは、動きの複数のサイクルをカバーしてもよい。例えば、そのシーケンスは、1組の又は1シリーズの画像であり、時間的に相互に続いて発生し、例えば動画として観察されてもよい。
血管造影画像のシーケンスは、異なる動きのフェーズにおける対象を表す。動きのフェーズは、心拍や呼吸に関連してもよい。動きのフェーズが心拍に依存する場合は、血管造影画像は、例えば心拍サイクルの異なるフェーズにおける血管や動脈瘤を表してもよく、その異なるフェーズは、例えば、収縮期と拡張期のような心拍のサイクル、及び、それらの2つの極端フェーズの間のフェーズ(群)である。動く対象は、周期的に動いてもよく、即ち拍動性でもよい。
マスク画像は或る時間の間に取得される画像でもよく、そこでは、造影剤は、血管のような関心対象内には存在しない。血管造影画像の取得の間、造影剤は血管内に存在してもよい。マスク画像と血管造影画像は同一の関心対象・領域を示し、即ち、そのマスク画像は、造影剤が血管内に存在する前は同一領域の画像である。血管造影画像は或る時間の間に取得されてもよく、そこでは、造影剤が血管内に存在する。マスク画像は、血管造影画像のシーケンスの一部であってもよく、血管造影画像の取得の前に取得されてもよい。マスク画像は、血管造影画像から減算されてもよく、又は代替的に、その血管造影画像はマスク画像から減算されてもよい。
周期的動きの場合は、マスク画像は動きの各フェーズに対して取得されてもよく、さらに、同一フェーズで取得された対応する血管造影画像からそれぞれ減算されてもよい。
血管造影画像のシーケンスからマスク画像を減算することは、第1血管造影減算画像と少なくとも第2血管造影減算画像からマスク画像を供給し、そこでは、例えば血管が強調され、骨や密集した組織のような邪魔になる構造が取り除かれる。マスク画像は、シーケンスの各血管造影画像から減算されてもよい。第2減算では、第1減算で受信した血管造影減算画像を相互に減算することにより、少なくとも1つの2回減算画像が生成される。例えば、所定の画像、例えば固定画像、即ち第1血管造影減算画像が、収縮期に対応する動きの状態にある関心対象を表してもよい。この第1血管造影減算画像は、拡張期のような異なる動きのフェーズを表す第2血管造影減算画像から減算されてもよい。第1血管造影減算画像は全ての更なる血管造影減算画像、即ち第2血管造影減算画像から減算されてもよく、その第2血管造影減算画像は、マスク画像が既に減算された血管造影画像のシーケンスの中に含まれる。結果的に得られる2回減算画像又は画像群は対象の変位のみを表している。これは詳しくは、対象の周囲が対象と比べて動かず、第1と第2血管造影減算画像において同一である場合である。代替的に、対象の周囲構造の動きは対象の動きに比べて無視できるほど小さくてもよい。第1と第2の減算は同時に又は好ましくは連続的に実行されてもよい。
2回減算画像を生成することにより、小さい対象の小さい動きも検出し評価することが可能になってもよく、この動きの評価は観察者に対して容易化されてもよい。
本発明の一実施形態によれば、本方法は、同じ動きのフェーズでの対象を表す、血管造影画像を更に平均化するステップを含む。
周期的に動く対象のケースでは、血管造影画像のシーケンスは、そのシーケンスが動きの複数のサイクルを含む場合に、同じ動きのフェーズでの対象を表す複数の画像を含んでもよい。例えば、心拍の例では、血管造影画像のシーケンスは、複数の心拍を含んでもよく、従って、例えば収縮期を表す複数の血管造影画像及び拡張期を表す複数の血管造影画像を含んでもよい。血管造影画像のシーケンスの画像は、始めに、例えば心臓のフェーズに従って分類され、その後に、同一フェーズの画像が平均化されてもよい。従って、例えば、平均化ステップの後、複数の心拍サイクルを表す血管造影画像のシーケンスは、一つの心拍サイクルだけを表す。
平均化ステップは、ノイズを低減することにより、さらに、例えば、血管に存在する造影剤濃度の不規則性を低減することにより、生成された画像の品質と正確さを向上してもよい。
本発明の第2の側面によれば、血管造影画像内で動く対象を視覚化するための、動きの視覚化装置が提供される。本装置は、血管造影画像をマスク画像から減算することにより、第1血管造影減算画像と少なくとも第2血管造影減算画像とを生成する第1減算器を含む。本装置は、第1血管造影減算画像を第2血管造影減算画像から減算することにより、2回減算画像を生成する第2減算器を更に含む。
本装置は、画像検出器又は画像検索器を更に含み、異なる動きのフェーズでの対象画像を取得する。さらにまた、本装置は、例えばディスプレイやスクリーンを含み、第2減算の結果、即ち2回減算画像を供給し、そうして、対象の動きによる差分が視覚化される。第1と第2の減算器は、本装置のユニットであってもよく、それらのユニットは、相互に接続されるか、及び/又は、メモリとプロセッサに接続される。
本発明の第3の側面によれば、コンピュータプログラム要素が供給され、そのコンピュータプログラム要素は、コンピュータ上で実行されると、上述の方法をコントロールすることを可能にする。
本発明の第4の側面によれば、上述のコンピュータプログラム要素を備えたコンピュータ可読媒体が供給される。
本発明の実施形態群は様々な主題に関連して述べられることに留意すべきである。とりわけ、幾つかの実施形態群は方法形式クレームで説明され、一方、他の実施形態群は装置形式クレームで説明される。しかし、関連分野の当業者は、上述の及び下で述べる説明から、他に知らされない限り、或る形式の主題に属する特徴の任意の組合せに加えて、異なる主題に関連する特徴、詳しくは装置形式クレームの特徴と方法形式クレームの特徴との間の如何なる組合せも本願により開示されているものと考えられることを理解するだろう。
本発明に係る上述の側面、更なる他の側面、特徴及び効果は、本明細書で述べた幾つかの実施形態群の例から導くことができるだろう。本発明は、以下に、実施形態群の例に関連して詳しく説明されるだろうが、本発明はそうした例に限定されない。
図1は、本発明の一実施形態に従った、動きの視覚化方法を概略的に表すフローチャートである。 図2は、本発明の更なる一実施形態に従った、動きの視覚化方法を概略的に表すフローチャートである。 図3Aは、平均化された血管造影減算画像を示し、本発明の一実施形態で用いられる心周期の異なるフェーズでの動脈瘤を表している。 図3Bは、本発明の一実施形態に従って生成された図3Aの動脈瘤の2回減算画像を概略的に示す。 図4Aは、図3Aと図3Bと同様に、画像シーケンスの更なる例を示す。 図4Bは、図3Aと図3Bと同様に、画像シーケンスの更なる例を示す。 図5Aは、図3Aと図3Bと同様に、画像シーケンスの更なる例を示す。 図5Bは、図3Aと図3Bと同様に、画像シーケンスの更なる例を示す。 図6は、本発明の一実施形態に従った、血管造影画像内の動く対象の動きを視覚化する装置を概略的に示す。 図面中の説明は、単に概略的に示される。異なる図面中で、類似の又は同一の要素が同じ参照符号で示されることに留意する。
1 対象
3 或る心周期の異なるフェーズでの動脈瘤を表す、平均化された血管造影画像のシーケンス
5 動脈瘤の2回減算画像のシーケンス
7 ディスプレイ
11 動き視覚化装置
13 第1減算器
15 第2減算器
17 プロセッサ
a―e 異なる動きのフェーズ
S1 対象のマスク画像を取得するステップ
S3 対象の異なる動きのフェーズでの対象動脈瘤画像シーケンスを取得するステップ
S5 動脈瘤画像をマスク画像から減算することで、第1血管造影減算画像と少なくとも第2血管造影減算画像とを生成するステップ
S7a 第1血管造影減算画像を第2血管造影減算画像から減算することで、2回減算画像を生成するステップ
S7b 第1血管造影減算画像を幾つかの第2血管造影減算画像から減算することで、幾つかの2回減算画像を生成するステップ
S9 対象が造影剤で満たされている血管造影画像を選択するステップ
S11 少なくとも2つの血管造影画像での動きのフェーズを判定するステップ
S13 第1血管造影減算画像を選択するステップであって、その第1血管造影減算画像に現れている動きのフェーズが動きの極端例である、ステップ
S15 血管造影画像を登録するステップ
S17 同じ動きのフェーズでの対象を表す血管造影画像を平均化するステップ
S19 2回減算画像を表示するステップ
以下の実施形態群では、動きを受ける対象は動脈瘤であってもよい。動脈瘤の処理が可能である以前に、処置の間に破裂のリスクがより高いかどうか、又は、動脈瘤が未処置のまま残されるべきかが評価されるべきである。動脈瘤壁の動きは、破裂のリスクを示す或る要素であることがある。その動脈瘤壁の動きは、その動脈瘤の局所的な生体力学的特性と関連し、次には、組織により受けるダメージの量に関係する。その動脈瘤壁の或る部分が他の1つ以上の部分よりも大きく動く場合、破裂のリスクを増加することのある壁内の弱点が存在することがある。その動脈瘤壁が動かない場合は、破裂のリスクは低いことを示すだろう。それ故、動脈瘤壁の動きを視覚化し、その状況を評価することは重要なことがある。
動脈瘤は血管造影画像を利用して視覚化されてもよい。動脈瘤壁の動きを血管造影画像シーケンスから評価することは困難なことがある。例えば、血管造影画像シーケンスは一秒あたり5フレーム又は画像の割合で取得されることがある。好ましくは、血管造影画像シーケンスは一秒あたり約30フレーム又は画像の高割合で取得される。そうした連続画像(シーケンス)が通常のスピードで再生される場合、動きがフリッカーとして認識できるが、やはり評価は困難である。その連続画像が非常に低スピードで再生される場合、その動きは小さすぎてもはや認識できない。さらには、連続画像からフレーム群を選択し表示品質を向上させる方法については、ユーザ・インタラクションを要し、それ故、正確でなく非常に時間を浪費する。
図1及び図2に示される方法の実施形態群は、良好な動きの視覚化を提供するのに役立ってもよく、従って、例えば動脈瘤壁の動きの評価を容易にするのに役立ってもよい。
図1はフローチャートを示し、本発明の一実施形態による動きの視覚化方法を概略的に表している。ステップS1では、対象(例えば動脈瘤)のマスク画像が取得される。ステップS3では、対象の血管造影画像シーケンスが対象の異なるフェーズで取得される。マスク画像の取得は造影剤が対象内に存在する前に行われる。その血管造影画像シーケンスは造影剤が対象内に存在する間に取得される。マスク画像を取得するステップはステップS3の一部であってもよい。又は、ステップS1とステップS3とは同時に又は連続的に実行されてもよい。ステップS1とS3との同時実行では、マスク画像は、血管造影画像シーケンスの取得の間に、データバンクから検索されてもよい。
ステップS5では、第1の減算が実行される。そこでは、第1の血管造影減算画像と、少なくとも第2の血管造影減算画像とが、マスク画像から血管造影画像を減算することにより、又は、血管造影画像からマスク画像を減算することにより生成される。第1の血管造影減算画像と第2の血管造影減算画像とは対象の異なる動きのフェーズを表す。さらに、その動きのフェーズは対象の周期的な動きのフェーズを表してもよい。
動きのフェーズは例えば心臓の収縮期や拡張期のフェーズでもよい。さらに、動きのフェーズは例えば吸入や呼気といった呼吸フェーズでもよい。さらにまた、動きのフェーズは、心拍と呼吸動作の組合せのような幾つかの動きの重ね合わせでもよい。
ステップS7aとS7bでは、第2の減算が実行される。ステップS7aでは2回減算画像が、第2の血管造影減算画像から第1の血管造影減算画像を減算することで生成される。
または代替的に、ステップS7bでは、幾つかの2回減算画像が、幾つかの、好ましくは全ての第2血管造影減算画像から第1血管造影減算画像を減算することにより生成される。例えば、ステップS7aに従って、2回減算画像は、収縮期と拡張期の動きのフェーズの差を表してもよい。ステップS7bに従って、第2減算は、一連の2回減算画像をもたらしてもよい:或る所定の画像、例えば固定された画像、即ち、或る心拍を表す第1血管造影減算画像が、他の血管造影減算画像、即ち第2血管造影減算画像から減算される。
本方法のステップは自動的に実行されてもよい。自動的とは、ユーザ・インタラクションの必要なしにという意味である。本方法の自動性は、ユーザ・インタラクションを必要とする方法で生成されたデータよりも、より良好に再現可能な、量的により良好で且つより正確なデータを供給してもよい。
動く対象は動脈瘤、血管構造、心臓、又は血管奇形であってもよい。さらにまた、その動きは心拍によって引き起こされてもよく、心拍サイクルの或るフェーズで表されてもよく、及び/又は、その動きは呼吸によって引き起こされてもよく、呼吸サイクルの或るフェーズで表されてもよい。
図2では、フロー図が示され、本発明の更なる一実施形態による動きの視覚化方法を概略的に表している。
ステップS1、S3、S5、S7a及びS7bは図1に示された例と同様に実行される。ステップS5の第1減算の後で、幾つかの更なるステップS9乃至S17が本方法に含まれてもよい。さらに、ステップS19がステップS7a及び/又はS7bに続いてもよい。
DSAの血管造影減算画像がステップS5で生成された後、血管造影減算画像が選択されてもよく(ステップS9)、その血管造影減算画像には対象、即ち動脈瘤が造影剤で満たされている。又は、ステップS5で第1減算が実行される前に、造影剤が血管内に存在している血管造影画像シーケンスの画像が選択される。即ちステップS9はステップS3の後で実行されてもよい。ステップS9では、例えば造影剤のない画像を選別することによりノイズが減少するので、結果的に生じる2回減算画像の品質を向上させてもよい。
ステップS11では、DSAの後に受信した、少なくとも2つの血管造影減算画像の動きのフェーズが判定される。好ましくは、全ての血管造影減算画像内の動きのフェーズが判定される。例えば、ステップS11では、血管造影減算画像が心臓フェーズにしたがって分類されてもよい。その分類は、心電図ベース(ECGベース)又は画像ベースでもよい。動きのフェーズを判定するため、動きを表す動き信号が、例えばECG信号又は呼吸信号として取得される。ECG信号は、動きのフェーズの正確な判定を可能にしてもよく、従って、血管造影減算画像の正確な分類を可能にする。ECG信号はステップS1とS3に並行して取得されてもよく、又は、代替的にデータベースから検索されてもよい。ステップS1に並行してECG信号を取得することは、幾つかのマスク画像の分類を可能にしてもよく、そうして、例えば、収縮期フェーズで取得されたマスク画像が、例えば収縮期フェーズで取得された対応する血管造影減算画像から減算されてもよい。それにより、画像品質は更に向上されてもよい。
代替的に、血管造影減算画像内の動きのフェーズを判定することは、血管造影減算画像自体の分析に基づく。画像ベースの分類は、より複雑でない装置を必要としてもよい。
ステップS11は代替的にステップS3の後でステップS5の前に実行されてもよい。即ち、分類は、ステップS5のDSAの前に、連続血管造影画像に基づいて行われてもよい。さらにまた、動きのフェーズの判定は、ステップS5のDSAの前に、血管造影画像の分析に基づいて行われてもよい。
ステップS11の動きのフェーズの判定の後、第1血管造影減算画像がステップS13で選択されてもよい。第1血管造影減算画像は、第1血管造影減算画像内に表れる動きのフェーズが動きの極端フェーズであるように選択されてもよい。動きの極端フェーズは、対象の最大の又は最小の変形をもたらす動きのフェーズであってもよい。心拍サイクルの例では、極端フェーズは収縮期と拡張期であってもよい。動きの極端フェーズを表す第1血管造影減算画像の選択は、動きの視覚化の品質を向上させるのに役立ってもよい、というのも、動きの極端フェーズでは、対象の変形は、その連続している他の血管造影画像に比べて最も大きくてもよいからである。
さらにまた、ステップS15では、血管造影画像はステップS3の後に厳密に登録されてもよい。即ち、少なくとも2つの血管造影画像の間の空間的な対応が判定される。換言すれば、画像は、画像のうちの1つを変化させ、回転し、平行移動することにより、そろえられる。又は、登録ステップS15は、ステップS5の後に、血管造影減算画像で実行される。即ち、ステップS5の第1減算の後、第1及び第2の血管造影減算画像が登録されてもよい。
動脈瘤の例では、動く関心対象として2つの異なるタイプの拍動が知られている。動脈瘤並びに親動脈の拍動拡張と拍動ロッキングが考えられる。動きの両方のタイプは、この実施形態に従って、視覚化の向上が可能になる。拍動拡張だけが視覚化されるべき場合は、異なる動きのフェーズを表す血管造影画像が、ステップS7aとS7bの減算の前に、厳密な登録により相互に登録されてもよい。その点、厳密な登録では、互いに対して、画像の平行移動と回転を補償することにより、2つの画像がそろえられてもよい。厳密な登録は、登録している間の画像の変形を回避することで、視覚化されるべき動きを画像から除去しないので、有利なことがある。
ステップS17では、同じ動きのフェーズにおける対象を表す、血管造影減算画像の平均化が実行される。ステップS17の平均化は、ステップS11で実行される動きのフェーズの判定に基づいてもよい。例えば、同じ心拍フェーズの画像は平均化され、造影剤濃度における変化の影響を低減し、ノイズを低減する。従って、ステップS17では、平均化された血管造影減算画像シーケンスが生成され、或る心拍サイクルを表す。心臓サイクルの異なるフェーズでの動脈瘤の血管造影減算画像の平均化された血管造影減算画像シーケンスの例が、図3A、4A、及び5Aに表され、参照符号3で示される。
代替的には、平均化ステップS17はステップS11の第1減算の前に実行されてもよい。即ち、血管造影画像は平均化されてもよい。
平均化ステップS17の後、ステップS7a又はステップS7bが実行される。そこでは、同じ動きのフェーズを表す、血管造影減算画像の平均化処理結果である第1血管造影減算画像が、異なる動きのフェーズの血管造影減算画像の平均化処理結果である第2血管造影減算画像から減算される(ステップS7a)。代替的には、ステップS7bでは、平均化処理の結果である第1血管造影減算画像が、各第2血管造影減算画像から減算され、その第2血管造影減算画像は、他の動きのフェーズから得られる平均処理結果を表す。
換言すれば、第1血管造影減算画像は、選択された、例えば固定画像であり、例えば、最終の心臓拡張フェーズを表している。この固定画像は、平均化された血管造影減算画像シーケンスから減算される。この減算の結果は、2回減算の血管造影画像シーケンスである。
代替的には、ステップS13での動きの極端フェーズを表す、第1血管造影画像の選択ステップは、平均化ステップS17の後でステップS7a又はS7bの前に実行されてもよい。動脈瘤の2回減算画像のシーケンスの例は図3B、4B、及び5Bで表され、参照符号5で示される。
ステップS19では、2回減算画像が表示される。第1減算の結果、平均化の結果、及び、第2減算の結果を、例えば各ステップが実行された直後、又は、代替的に全ステップが実行された後に、提供即ち表示することが可能である。上述した結果は異なるディスプレイ上で視覚化されてもよく、代替的には同じディスプレイ上で視覚化されてもよい。さらにまた、それらは連続的に又は同時に視覚化されてもよい。
図3、4、及び5では、血管造影画像シーケンスの視覚化の例が示される。そこでは、図3A、4A、及び5Aで、第1減算(ステップS5)及び第2減算(ステップS17)が実行された後に、平均化された血管造影画像が表される。
図3B、4B、5Bでは、ステップS7bの実行後の2回減算画像のシーケンスの視覚化が表される。本明細書では動脈瘤である対象1が、異なる動きのフェーズにおいて示される(a、b、c、d、e)。図3A、4A及び5Aに示される平均化されたDSAシーケンスでは、動脈瘤壁の動きは認識できない。第2減算の後、動脈瘤壁の動きは図3B及び4Bで認識される。図5で示される動脈瘤は、図5Bの表示から分かるように、動きを示さない。対象の動きの欠如の理由は、図5Bの第2減算後の“ブランク”表示による。
図3Aの例では、最終の心臓拡張フェーズ(a)を表す血管造影減算画像が、動きのフェーズb、c、d、及びeを表す第2血管造影減算画像から減算される。図3Bに示されるように、第1画像は“ブランク”表示を表す。というのも第1血管造影減算画像がこの表示においてそれ自体から減算されるからである。最大の差は、収縮フェーズ(e)で、第1血管造影減算画像が第2血管造影減算画像から減算されるときに認識できる。
図6では、本発明の一実施形態に従った、血管造影画像内の動く対象の動きを視覚化する装置11が概略的に示される。装置11は、X線検出器9を備えたCアームと、データ保存装置とを含み、その両方は、対象の一連の血管造影画像を取得するのに使用されてもよい。そこでは、データ保存装置はプロセッサ17内に組み込まれてもよい。装置11は、第1減算器13を有し、血管造影画像をマスク画像から減算することにより、第1血管造影減算画像と少なくとも第2血管造影減算画像とを生成する。
さらにまた、装置11は、第2減算器を有し、第1血管造影減算画像を第2血管造影減算画像から減算することにより、2回減算画像を生成する。第1減算器13と第2減算器15とは、プロセッサ17の一部でもよいし、それに接続されてもよい。さらに、装置11は1つ又は複数のディスプレイ7を有してもよく、対象の動きにおける差が視覚化されるように、第2減算の結果を提供する。プロセッサ17、ディスプレイ7、及びX線検出器9はケーブル又は無線で接続されてもよい。
用語“含む”“有する”等は他の要素やステップを排除せず、“1つの(a、an)”は複数形を排除しないことに留意すべきである。また、異なる実施形態に関連して記述される複数の要素は組み合わされてもよい。また、クレーム中の参照符号はクレームの適用範囲を限定するものと解釈されるべきではないことにも留意すべきである。さらにまた、コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される、例えば、光学記憶媒体や半導体媒体といった適当な媒体上に保存、及び/又は、流通されてもよいが、インターネットや、他の有線・無線通信システムを介した他の形態で流通されてもよい。

Claims (15)

  1. 血管造影画像内の動く対象の動きを視覚化する方法であって、該方法は:
    前記対象の異なる動きのフェーズでの血管造影画像シーケンスと、前記対象のマスク画像とを取得するステップと;
    前記血管造影画像を前記マスク画像から減算することにより、第1血管造影減算画像と少なくとも第2血管造影減算画像とを生成するステップと;
    前記第1血管造影減算画像を前記第2血管造影減算画像から減算することにより、2回減算画像を生成するステップと、を含む方法。
  2. 同じ動きのフェーズでの対象を表す血管造影減算画像を平均化するステップを更に含む、請求項1記載の方法。
  3. 前記第1血管造影減算画像を選択するステップであり、前記第1血管造影減算画像内に表された動きのフェーズが動きの極端フェーズである、ステップを更に含む、請求項1記載の方法。
  4. 前記第1血管造影減算画像と前記第2血管造影減算画像とは、前記対象の異なる動きのフェーズを表す、請求項1記載の方法。
  5. 前記動きのフェーズは、前記対象の周期的な動きのフェーズを表す、請求項1記載の方法。
  6. 少なくとも2つの血管造影減算画像内の前記動きのフェーズを判定するステップを更に含む、請求項1記載の方法。
  7. 前記対象の動きのフェーズを表す動き信号を取得するステップを更に含み、
    前記血管造影減算画像内の動きのフェーズの判定は前記動き信号に基づいて行われる、請求項6記載の方法。
  8. 前記血管造影減算画像内の動きのフェーズの判定は前記血管造影減算画像の分析に基づいて行われる、請求項6記載の方法。
  9. 造影剤が前記対象内に存在する血管造影減算画像を選択するステップを更に含む、請求項1記載の方法。
  10. 前記方法の前記ステップ群は自動的に実行される、請求項1記載の方法。
  11. 少なくとも2つの血管造影減算画像の間の空間的対応を判定するステップを更に含む、請求項1記載の方法。
  12. 前記動く対象は、動脈瘤、血管構造、血管奇形及び心臓からなる群のうちの1つであり;
    前記動きのフェーズは、心拍サイクルのフェーズ、及び/又は、呼吸サイクルのフェーズを表す、請求項1記載の方法。
  13. 血管造影減算画像内の動く対象の動きを視覚化する装置であって、該装置は:
    血管造影画像をマスク画像から減算することにより、第1血管造影減算画像と少なくとも第2血管造影減算画像とを生成する、第1減算器と;
    前記第1血管造影減算画像を前記第2血管造影減算画像から減算することにより、2回減算画像を生成する、第2減算器と、を有する装置。
  14. コンピュータ上で実行されると、請求項1記載の方法をコントロールすることを可能にするコンピュータプログラム。
  15. 請求項14記載のコンピュータプログラムを備えたコンピュータ可読媒体。
JP2012556627A 2010-03-12 2011-03-04 血管造影画像内の動きの視覚化 Active JP6043187B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10156297 2010-03-12
EP10156297.3 2010-03-12
PCT/IB2011/050926 WO2011110987A1 (en) 2010-03-12 2011-03-04 Motion visualisation in angiographic images

Publications (2)

Publication Number Publication Date
JP2013521849A true JP2013521849A (ja) 2013-06-13
JP6043187B2 JP6043187B2 (ja) 2016-12-14

Family

ID=44247942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012556627A Active JP6043187B2 (ja) 2010-03-12 2011-03-04 血管造影画像内の動きの視覚化

Country Status (5)

Country Link
US (1) US9025840B2 (ja)
EP (1) EP2545528B1 (ja)
JP (1) JP6043187B2 (ja)
CN (1) CN102812494B (ja)
WO (1) WO2011110987A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017538481A (ja) * 2014-11-25 2017-12-28 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. デジタルサブトラクション血管造影

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140092437A (ko) * 2012-12-27 2014-07-24 삼성전자주식회사 엑스선 영상 장치 및 엑스선 영상 장치의 제어 방법
EP2811458A1 (en) * 2013-06-05 2014-12-10 Agfa Healthcare Automated aorta detection in a CTA volume
KR20150027881A (ko) * 2013-08-29 2015-03-13 삼성전자주식회사 엑스선 영상 장치 및 그 제어방법
KR20150039242A (ko) 2013-10-01 2015-04-10 삼성전자주식회사 엑스선 영상 장치 및 그 제어 방법
JP6692817B2 (ja) * 2014-12-17 2020-05-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象物体の変位を計算する方法及びシステム
WO2016110420A1 (en) * 2015-01-05 2016-07-14 Koninklijke Philips N.V. Digital subtraction angiography
KR20160089762A (ko) * 2015-01-20 2016-07-28 삼성전자주식회사 방사선 촬영 장치 및 방사선 촬영 장치의 제어 방법
CN106033603B (zh) * 2015-03-10 2019-06-11 东芝医疗系统株式会社 医用图像处理装置和医用图像处理方法
US10116863B2 (en) * 2016-06-14 2018-10-30 Goodrich Corporation Scanning with frame averaging
DE102017201330B4 (de) * 2017-01-27 2018-10-04 Siemens Healthcare Gmbh Verfahren zur Bildbearbeitung eines vierdimensionalen Angiographiedatensatzes, Bildverarbeitungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
JP7233850B2 (ja) * 2018-04-25 2023-03-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム
CN109166097B (zh) * 2018-07-18 2021-04-20 北京理工大学 从造影图像序列中提取血管的方法及装置
US11602320B2 (en) * 2019-05-29 2023-03-14 Siemens Healthcare Gmbh Method for creating a three-dimensional digital subtraction angiography image and a C-arm X-ray device
US11399791B2 (en) * 2020-04-01 2022-08-02 Wisconsin Alumni Research Foundation System and method for flow-resolved three-dimensional imaging

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59123385A (ja) * 1982-12-29 1984-07-17 Shimadzu Corp X線画像処理装置
JPS59155234A (ja) * 1983-02-23 1984-09-04 株式会社東芝 画像入力装置
JPS60142688A (ja) * 1983-12-29 1985-07-27 Shimadzu Corp デイジタルサブトラクシヨンシステム
JPS60150730A (ja) * 1984-01-19 1985-08-08 株式会社東芝 心機能診断装置
JPH02202183A (ja) * 1989-01-31 1990-08-10 Shimadzu Corp デジタルサブトラクションアンギオグラフィ装置
JPH04307049A (ja) * 1991-04-03 1992-10-29 Koonan:Kk 心臓その他脈動体画像の解析装置
JP2006110208A (ja) * 2004-10-15 2006-04-27 Shimadzu Corp 医用画像表示装置
JP2006271484A (ja) * 2005-03-28 2006-10-12 Toshiba Corp 画像形成装置及び画像形成方法
US20070016108A1 (en) * 2005-07-14 2007-01-18 Siemens Aktiengesellschaft Method for 3D visualization of vascular inserts in the human body using the C-arm
JP2007038008A (ja) * 2005-08-03 2007-02-15 Siemens Ag 医用画像化設備の作動方法およびこれの対応物
JP2008023317A (ja) * 2006-06-20 2008-02-07 Toshiba Corp 磁気共鳴イメージング装置
JP2008136800A (ja) * 2006-11-08 2008-06-19 Toshiba Corp X線診断装置及び画像処理装置
JP2008520320A (ja) * 2004-11-24 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズのある画像における構造を向上させるための多特徴時間フィルタリング
JP2009297077A (ja) * 2008-06-10 2009-12-24 Toshiba Corp 画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19613342A1 (de) 1996-04-03 1997-10-09 Philips Patentverwaltung Automatisches Bildauswertungsverfahren
IL124814A (en) * 1998-06-08 2003-04-10 Grinvald Amiram System and method for imaging and analysis of the movement of individual red blood corpuscles
US7545967B1 (en) * 2002-09-18 2009-06-09 Cornell Research Foundation Inc. System and method for generating composite subtraction images for magnetic resonance imaging
JP5085031B2 (ja) * 2005-11-10 2012-11-28 株式会社東芝 X線アンギオ撮影装置
US7986822B2 (en) * 2006-04-24 2011-07-26 Siemens Medical Solutions Usa, Inc. System and method for X-ray based assessment of aneurysm pulsation
US8175356B2 (en) 2006-11-03 2012-05-08 Koninklijke Philips Electronics N.V. Cardiac phase determination
EP2326249B1 (en) * 2008-08-13 2017-01-18 Koninklijke Philips N.V. Dynamical visualization of coronary vessels and myocardial perfusion information
WO2010018501A2 (en) * 2008-08-13 2010-02-18 Koninklijke Philips Electronics N.V. Mask construction for cardiac subtraction

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59123385A (ja) * 1982-12-29 1984-07-17 Shimadzu Corp X線画像処理装置
JPS59155234A (ja) * 1983-02-23 1984-09-04 株式会社東芝 画像入力装置
JPS60142688A (ja) * 1983-12-29 1985-07-27 Shimadzu Corp デイジタルサブトラクシヨンシステム
JPS60150730A (ja) * 1984-01-19 1985-08-08 株式会社東芝 心機能診断装置
JPH02202183A (ja) * 1989-01-31 1990-08-10 Shimadzu Corp デジタルサブトラクションアンギオグラフィ装置
JPH04307049A (ja) * 1991-04-03 1992-10-29 Koonan:Kk 心臓その他脈動体画像の解析装置
JP2006110208A (ja) * 2004-10-15 2006-04-27 Shimadzu Corp 医用画像表示装置
JP2008520320A (ja) * 2004-11-24 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズのある画像における構造を向上させるための多特徴時間フィルタリング
JP2006271484A (ja) * 2005-03-28 2006-10-12 Toshiba Corp 画像形成装置及び画像形成方法
US20070016108A1 (en) * 2005-07-14 2007-01-18 Siemens Aktiengesellschaft Method for 3D visualization of vascular inserts in the human body using the C-arm
JP2007038008A (ja) * 2005-08-03 2007-02-15 Siemens Ag 医用画像化設備の作動方法およびこれの対応物
JP2008023317A (ja) * 2006-06-20 2008-02-07 Toshiba Corp 磁気共鳴イメージング装置
JP2008136800A (ja) * 2006-11-08 2008-06-19 Toshiba Corp X線診断装置及び画像処理装置
JP2009297077A (ja) * 2008-06-10 2009-12-24 Toshiba Corp 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017538481A (ja) * 2014-11-25 2017-12-28 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. デジタルサブトラクション血管造影

Also Published As

Publication number Publication date
US20120321156A1 (en) 2012-12-20
CN102812494B (zh) 2016-03-09
JP6043187B2 (ja) 2016-12-14
EP2545528B1 (en) 2021-01-06
EP2545528A1 (en) 2013-01-16
US9025840B2 (en) 2015-05-05
CN102812494A (zh) 2012-12-05
WO2011110987A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
JP6043187B2 (ja) 血管造影画像内の動きの視覚化
JP5685534B2 (ja) 冠状血管及び心筋灌流情報の動的視覚化
US7587074B2 (en) Method and system for identifying optimal image within a series of images that depict a moving organ
JP5503284B2 (ja) 投影撮像からの動き補償された冠血流
JP5643759B2 (ja) デジタルサブトラクションアンギオグラフィを実施するイメージングシステム及びその作動方法
JP6271097B2 (ja) デジタルサブトラクション血管造影
US10410347B2 (en) Digital subtraction angiography
US8781257B2 (en) Synchronization of two image sequences of a periodically moving object
WO2013121312A1 (en) Image resolution enhancement
US10898267B2 (en) Mobile FFR simulation
US11481957B2 (en) Medical image processing apparatus and storage medium
JP5543976B2 (ja) 冠状動脈ツリーの視覚化
JP2006087631A (ja) 画像診断装置、画像処理装置、及び画像処理プログラムを記録した記録媒体
JP6344902B2 (ja) 画像処理装置及びその作動方法、撮影装置及びその作動方法、撮影システム、並びにコンピュータプログラム
JP2004188196A (ja) 心臓サイクルの検出の方法及び装置
JP7159160B2 (ja) 血管構造の可視化
EP4412529A1 (en) Enhancing angiograms
Robert et al. A lesion stabilization method for coronary angiography
Schoonenberg 3D reconstruction for percutaneous interventions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161111

R150 Certificate of patent or registration of utility model

Ref document number: 6043187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250