JP2015510412A - 定量的t1マッピングを用いた、リスクに晒されたエリアの自動化された検出 - Google Patents

定量的t1マッピングを用いた、リスクに晒されたエリアの自動化された検出 Download PDF

Info

Publication number
JP2015510412A
JP2015510412A JP2014553834A JP2014553834A JP2015510412A JP 2015510412 A JP2015510412 A JP 2015510412A JP 2014553834 A JP2014553834 A JP 2014553834A JP 2014553834 A JP2014553834 A JP 2014553834A JP 2015510412 A JP2015510412 A JP 2015510412A
Authority
JP
Japan
Prior art keywords
image
medical imaging
tissue type
measured value
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014553834A
Other languages
English (en)
Other versions
JP6214563B2 (ja
Inventor
ラトコ フォイクト,トビーアス
ラトコ フォイクト,トビーアス
ヤーネ ヴィートホフ,アンドレア
ヤーネ ヴィートホフ,アンドレア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2015510412A publication Critical patent/JP2015510412A/ja
Application granted granted Critical
Publication of JP6214563B2 publication Critical patent/JP6214563B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • G06T2207/10096Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

医用イメージングシステム(5)が、データストア(12)、クラスタリングモジュール(22)及び表示装置(32)を含む。データストア(12)は、第1のイメージングデータセットと第2のイメージングデータセットとを含み、各々のデータセットは、同一のイメージング装置(10)と同一の測定された値とを用いて作成される。第1及び第2の組織タイプの測定された値は、第1のイメージングデータセットにおいて重複する。第2及び第3の組織タイプの測定された値は、第2のデータセットにおいて重複する。データセットは共に登録され、外部的事象が、第2のデータセットの測定された値を変化させる。クラスタリングモジュール(22)は、各位置について、第1のデータセットの測定された値と第2のデータセットの測定された値とのファジィクラスタリングに基づいて、組織タイプを分類する。表示装置(32)は、各々の分類された組織タイプを対比する医用画像を表示する。

Description

本願は、概して、医用イメージングに関する。本願は、特定の身体組織を識別することに関連して特に応用され、特定の身体組織を識別することを特に参照して説明されるものである。しかしながら、本願は、他の利用シナリオにも応用され、必ずしも前述された応用に限定されないことが理解されるであろう。
グレーゾーン定量化が、いくつかの臨床的な応用において重要である。梗塞及びグレーゾーンなどの不健康な組織タイプの大きさが心筋梗塞(MI)の予知因子であることを、近年の医学文献が報告している。例えば、「過去にMIを患った患者において、心臓磁気共鳴(CMR)により特徴付けられる梗塞周囲ゾーンの規模は、左心室収縮容積指標又は左心室駆出分画率を超えて徐々に増加する予後値を提供する。CMRによる梗塞特徴付けは、一意的で価値のある非侵襲的な、MI後死亡率の予知因子であることを証明することができる」(サーキュレーション2006;114:32−29)。グレーゾーンには、梗塞の周囲と不均一の梗塞とを含む。さらに、「組織不均一性は、人間の梗塞の中に存在し、定量化できる。より広範囲に及ぶ組織不均一性が、プログラムされた電気刺激によって、増加される心室の被刺激性と相互に関連する。こうした研究結果は、解剖学的組織不均一性が、過去に心筋梗塞及び左心室(LV)機能障害を患った患者における心室性不整脈に対する感受性を増加させるという仮説を支持している」(サーキュレーション2007;115:2006−2014)。最後に、「以前に心筋梗塞を患った患者において、造影MRIにおける梗塞組織不均一性は、それに続く植え込み型除細動器(ICD)治療を(突然心臓死の代理として)伴って、他の臨床の及びMRIの変数、すなわち、合計の梗塞サイズと左心室機能及び容積との中でも、自然発生する心室性不整脈の最も強い予知因子である」(サーキュレーション2009.2:183−190)。
以前の試みは、画像内の不健康な組織のコントラストを促進することと、ボリュームを測定するために手動の描写によって又は単一画像の信号強度に基づいた半自動的なセグメント化によってエリアをセグメント化することとに、焦点を当てていた。コントラスト促進は、複数の組織タイプが取り込まれ、健康な組織と梗塞及びグレーゾーンなどの不健康な組織とのタイプのコントラストにおいて重複が存在するため、正確さに欠ける。複数のコントラスト設定が必要であり、このことが、不健康な組織をセグメント化又は識別して測定結果に対する特定の組織タイプを手動でアウトライン化するというタスクを長々しくしている。
加えて、複数の画像には、複数のモダリティ、マシン、コイル較正、設定などを含む。1つ1つの画像において異なる技法を使用してエリアのコントラストを促進することは、コイル較正、特定の設定などの差異からの誤りをもたらす。例えば、1つの方法が、信号強度画像とT1マップとに基づいた定量化を使用する。この方法における画像は、コイル感度による影響を受け、T1マップに対する補色コントラストを示さない。
通常の磁気共鳴技法は、反転回復グラディエントエコー(IR−GE)などの従来のMR遅延促進スキャンシーケンスを用いてエリアを評価する。このシーケンスは、心臓の動きの影響を受けやすく、瘢痕又は梗塞とグレーゾーンと健康な心筋とを別々に識別するために、正確な反転時間(TI)を必要とする。種々の組織タイプの正確な識別には、時間がかかる。最適なTIは、患者ごとに変化し、さらに、造影剤の注入と画像取得との間の経過時間によって変化する。最適な反転時間は、健康な心筋からの信号がヌルになり、黒く見え、梗塞エリアが明るくなり(白く見え)、グレーゾーンがその中間であるときに生じる。心内膜及び血液は、瘢痕が心内膜‐血液境界において生じるところで不明確となる可能性があり、手動で描写される。信号強度に基づいたセグメント化のための画像解析は、グレーゾーンを、瘢痕と健康な心筋とに分類する。血液プールからの信号強度は、造影剤の分布に起因して、梗塞組織に非常に近くなる。心筋内のノイズは、セグメント化に対して大きな影響を与える可能性があり、グレーゾーンと混同される可能性がある。
本願は、上記で参照された事項及びその他に対処する、新しい、改良された、リスクのあるエリアの自動化された検出を開示する。
1つの態様に従い、医用イメージング装置が、データストア、クラスタリングモジュール及び表示装置を含む。データストアは、第1のイメージングデータセットと第2のイメージングデータセットとを含み、各々のデータセットは、同一のイメージング装置と同一の測定された値とを用いて作成される。第1及び第2の組織タイプの測定された値は、第1のイメージングデータセットにおいて重複する。第2及び第3の組織タイプの測定された値は、第2のデータセットにおいて重複する。データセットは共に登録され、外部的事象が、第2のデータセットの測定された値を変化させる。クラスタリングモジュールは、各位置について、第1のデータセットの測定された値と第2のデータセットの測定された値とのファジィクラスタリングに基づいて、組織タイプを分類する。表示装置は、各々の分類された組織タイプを対比する医用画像を表示する。
別の態様に従い、医用イメージングの方法が、第1の医用画像を取得するステップと、外部的事象の後、第1の医用画像と同一の医用イメージング装置から、同一の測定された値を含む第2の医用画像を取得するステップと、を含む。外部的な事象が、測定される値を変化させる。これら画像は、共に登録される。組織タイプは、各位置において、第1の医用画像の測定された値と第2の医用画像の測定された値とに基づいて、ファジィクラスタリングを用いて分類される。診断的医用画像が、分類された組織タイプを表すコントラストを用いて表示される。
別の態様に従い、医用イメージングシステムが、データストア、クラスタリングモジュール及びセグメント化部を含む。データストアには、第1のイメージングデータセットと第2のイメージングデータセットとを含み、各々のデータセットは、同一の装置と同一の測定された値とを用いて作成される。データセットは共に登録され、外部的事象が、第2のデータセットの測定された値を変化させる。クラスタリングモジュールは、各位置について、第1のデータセットの測定された値と第2のデータセットの測定された値とのファジィクラスタリングに基づいて、組織タイプを分類する。セグメント化部は、各々の分類された、リスクに晒された組織について、ボリューム測定結果を算出する。
1つの利点には、グレーゾーン組織の識別と測定結果とが含まれる。
別の利点には、コイル感度からの独立性が含まれる。
別の利点は、造影剤投与の正確なタイミングへの依存の低減にある。
別の利点は、自動化された、組織タイプの分類にある。
別の利点には、組織タイプが分類され、ボリュームが算出されることの容易さと速さとが含まれる。
当業者が下記の詳細な説明を読み、理解した当業者において、本願のさらに別の利点が十分理解されるであろう。
本発明は、種々のコンポーネント及びコンポーネントの構成と種々のステップ及びステップの構成との形態をとることができる。図面は、好適な実施形態を単に解説する目的のものであり、本発明を限定するものと見なされるべきではない。
医用イメージングシステムの一実施形態を概略的に示す。 T1測定された値を用いた心臓解析磁気共鳴プロットにおいて予期される組織クラスタリングの一例を図で示す。 ある対象者の左心室心臓解析を行ったシステムの一結果例を示す。 ある対象者の左心室心臓解析を行ったシステムの一結果例を示す。 ある対象者の左心室心臓解析を行ったシステムの一結果例を示す。 ある対象者の左心室心臓解析を行ったシステムの一結果例を示す。 医用イメージングシステムの一実施形態を用いた1つの方法のフローチャートを示す。
図1を参照し、医用イメージングシステムの一実施形態を概略的に示す。磁気共鳴(MR)、X線コンピュータ断層撮影(CT)、ポジトロン放出型断層撮影(PET)、単光子放出型コンピュータ断層撮影(SPECT)、組み合わせ又は掛け合わせなどの医用イメージング装置10が、データストア12に記憶される医用イメージングデータセットを作成する。データストアは、サーバ内のローカルメモリ、ローカルディスク上の記憶装置、ネットワーク接続された記憶装置上の記憶装置などとすることができる。データストア又はメモリ装置12には、第1のコントラストで画像を生成する技法を用いて取得された第1のイメージングデータ14と、第2のコントラストを生成する技法を用いて取得された第2のイメージングデータ16とを含む。1つの実施形態において、コントラストにおける差分は、造影剤の投与に基づく。MRにおいて測定される値の一例には、T1強調画像、T2強調画像などを含む。測定された値には、測定されたT1値などの直接的な測定結果、又はグレースケールに正規化されたT1値などの間接的な測定結果などを含むことができる。測定された画像は、血液、健康な心筋、梗塞及びグレーゾーンなどの少なくとも3つの異なる組織タイプの各々について、異なる相対的なコントラストを有する。他の実施形態において、3つ以上のイメージングデータセットがさらに考えられ、ここで、追加のイメージングデータセットには、造影剤の投与後の種々の時間間隔を含む。
登録部18は、第1及び第2のイメージングデータを、すでに又は生得的に(inherently)共に登録されていない場合に、共に登録する(co-register)。登録部18は、任意の動きに対して、第1及び第2のイメージングデータを補正する。登録部は、ネットワーク20を介して、データストア12及び/又は医用イメージング装置に接続する。ネットワークは、有線若しくは無線、内部若しくは外部、プライベート若しくはインターネットなどのパブリック、又は任意の組み合わせとすることができる。
分類モジュール22は、第1及び第2のイメージングデータの対応するボクセルから、測定された値ペアを生成する。生成された、測定された値ペアは、第1及び第2の画像の対応するボクセル、画素又は他のエリア(以降、総称的に「ボクセル」)の測定されたコントラスト値のペアを含む。例えば、T1強調画像において、あるボクセルが第1又は第2の画像内で高信号である場合、測定された値ペアが含まれる。ボクセルがいずれの画像内でも目立たない(not contrasted)場合、測定された値ペアは除外されることができる。測定された値ペアは、対応するボクセル位置における2つの測定された値を含む値の、散布グリッド(scatter grid)、配列又はリストとして表されることができる。分類モジュールは、測定された値ペアをクラスタ又はグループにクラスタ化し、各クラスタを組織タイプに分類する。分類モジュール22は、ネットワーク20を介して、登録部18及び/又はデータストア12に接続する。分類モジュール22は、1又は複数のプロセッサを登録部18と共有することができ、あるいは別個のものとすることができる。他の実施形態において、n個のイメージングデータセットからのn組(n-tuple)の測定された値が考えられ、ここで、nは複数の値である。クラスタ化すべきn個の対応する測定された値は、各n組から選択されることができ、各n組はコントラストの区別を提供する。n個のイメージングデータセットが、ある時間間隔にわたって撮られ、これは、正確な較正を必要としない。
1つの実施形態において、ユーザインタフェース23は、散布図又は等高線図などの図を用いて、クラスタ化された測定された値ペアを視覚化することができる。各軸は、一方の画像の測定された値を表す。各々の測定された値ペアが点でプロットされ、これにおいて、上記点は、分類された組織タイプで表される。例えば、散布図において、各点が、クラスタリングアルゴリズムによって、プロットされ、クラスタメンバシップを表す記号及び/又は色を割り当てられる。クラスタは、分類された組織タイプで、凡例内にラベル付けされる。等高線図の例において、等高線の高さは発生の頻度を表す。
セグメント化アルゴリズムを実施するプロセッサなどの、セグメント化部24は、クラスタアルゴリズムを用いて、測定された値ペアの対応するボクセルに基づいて、分類された組織タイプをセグメント化又はクラスタ化する。例えば、測定された値ペアがクラスタメンバシップに基づいて梗塞と分類された場合、測定された値ペアの対応するボクセルが梗塞と分類される。対応するボリューム又は第1若しくは第2の画像を使用して、組織タイプ分類をボクセルに割り当てることができる。
分析ユニット25は、ボリューメトリック測定結果などの分析を、セグメント化された組織タイプ又は分類された領域に適用する。例えば、グレーゾーンのボリュームと梗塞のボリュームとが、それぞれ、グレーゾーンと梗塞として分類された領域に基づいて算出される。セグメント化部24及び分析ユニット25は、ネットワーク20に接続し、1又は複数のプロセッサを登録部18及び/又は分類モジュール22と共有することができ、あるいは別個とすることができる。
ワークステーション26は、1又は複数の入力装置28、1又は複数のプロセッサ30、及び表示装置32を含む。ワークステーション28には、デスクトップコンピュータ、ラップトップコンピュータ、タブレット型コンピュータ、スマートフォンなどを含む。1又は複数の入力装置28は、医療関係者からのコマンドを入力し、画像を選択するなどする。表示装置32は、画像、メニュー、フォーム、パネル、図、プロットなどを表示する。表示装置32には、セグメント化部によって算出された分析などのデータの表示を含む。表示装置は、各々の分類された組織タイプについて、種々の色又はコントラストを含む診断画像を表示する。診断画像は、PACS、RISなどの記憶管理システム34に記憶することができる。
図2は、測定されたT1値を用いた心臓解析の磁気共鳴プロットにおいて予期される組織クラスタリングの一例を図で示す。遅延ガリウム促進剤などの造影剤の投与の前に測定されるT1値は、血液に関してより高く、しかしながら、梗塞、グレーゾーン及び健康な心筋に関して重複する。造影剤の投与の後に測定されるT1値は、健康な心筋に関してより高く、しかしながら、血液、梗塞及びグレーゾーンに関して重複する。健康な組織には、血液及び健康な心筋を含む。リスクに晒されている組織タイプには、グレーゾーン及び梗塞を含む。このプロットは、各位置について、対応するボクセルについての座標ペアとして、Y軸上に、前のコントラストの(pre-contrast)画像又はマップからのボクセルペアの測定されたT1値を、X軸上に、後のコントラストの(post-contrast)画像からの測定されたT1値をプロットする。
2つの画像又はマップは、グレースケール値又はコントラスト値を、対応する共通のボクセルにマップ付けする。一例において、T1は、標準の反転回復グラディエントエコーなどの同一のシーケンスが双方の画像について使用されるため、較正される必要がない。測定された値が同一較正、同一患者、同一パラメータ、同一アルゴリズムなどを用いて測定されるため、クラスタリングモジュールは、マシン差分、シーケンス差分、患者差分などについて責任を負う必要がなくなる。多くの潜在的誤りのもとが取り除かれる。
クラスタリングは、造影剤又は他のコントラスト変更の有無にかかわらず、対応するボクセルのグレースケール又はコントラストの値ペアをグループ化することによって、組織タイプを分類する。一方の画像内で測定された値は、ある健康な組織タイプとリスクに晒された組織タイプとについて重複し、他方の画像内で測定された値は、別の健康な組織タイプとリスクに晒された組織タイプとについて重複する。例えば、前のコントラストのT1において、健康な組織は、健康な心筋を含み、しかし血液を含まず、梗塞及びグレーゾーンを含むリスクのエリアと重複する。後のコントラストのT1において、健康な組織は、血液を含み、しかし健康な心筋を含まず、上記リスクのエリアと重複する。各造影剤は、ある時点において値の最適な区別を提供し、しかしその時間は対象者によって変化し、さらに潜在的に環境及び他の要因に起因して対象者の内部で変化する。測定されるものは、造影剤の定量化ではなく、投与された造影剤によって影響される位置の分類であるため、最適な時間は、最良の差分を提供し、しかしながら正確に測定される必要はない。予め定義された測定点に依存するのではなく、患者に対して最適なコントラストの時点を選択するように、複数のイメージングデータセットを撮ることができる。
1つの実施形態におけるセグメント化モジュール24は、ファジィc‐平均法(fuzzy c-means)アルゴリズムを使用し、例えば、グスタフソン‐ケッセル(Gustafson-Kessel)(FCGK)の改良法などを使用する。FCGKは、関数
Figure 2015510412
を最小化し、ここで、
Figure 2015510412
Figure 2015510412
Figure 2015510412
Figure 2015510412
Figure 2015510412
である。Uはファジィc‐分割を表し、Vは中心のベクトルを表し、mは重み付け指数であり、xは測定された値ペアであり、vはクラスタiの中心である。クラスタの数は、アルゴリズムの開始の前に固定される。例えば、クラスタが血液と健康な心筋とを表すときなどの、k=2のとき、血液に属する確率P<.75と健康な心筋に属する確率P<.45とを有する位置が、梗塞を定める。血液に属する確率P<.75と健康な心筋に属する確率.45<P<.65とを有する位置が、グレーゾーンを定める。別法として、クラスタが、血液、健康な心筋及び梗塞を表すときなどの、k=3のとき、グレーゾーンは、梗塞に属する確率P<.75と健康な心筋に属する確率P<.65とで定められる。確率限界は、より大きな患者コホート又はより大きなサンプル空間を用いて精緻化されることができる。ファジィc‐平均法(FCM)アルゴリズムは、測定された値ペアなどの点のメンバシップを、ファジィクラスタに割り振る。
図3A〜3Dに、ある患者の左心室(LV)心臓解析を行ったシステムの一例を示す。図3Aにおいて、LV領域の、コントラスト促進なしのT1マップ又は画像を、短軸ビュー内に示す。血液が、重複する健康な心筋、梗塞及びグレーゾーンと対比される。この血液が、画像を特色付ける。
図3Bにおいて、造影剤の投与の後に共に登録されるLVのT1マップを示す。健康な心筋が、重複する血液、梗塞及びグレーゾーンと対比される。健康な心筋が、環状エリアを形成する。
図3Cは、図3A及び図3Bの中の各々の対応するボクセルのグレースケール値又はコントラスト値の散布プロットを用いたクラスタリングの視覚化を示す。クラスタリングアルゴリズムを用いて、点の、クラスタ中心からの距離が識別され、この距離はコスト関数などを用いて最小化されて各組織タイプに対応するクラスタを生成する。この事例において、FCGK改良法を用いたFCMアルゴリズムは、図3A及び図3BからT1値のペアのメンバシップを割り振る。他の実施形態において、他のFCM技法が、図3Cの点をクラスタに分割する。
血液クラスタ内にある図3Cの点は、小さい四角形によって表される(左上)。健康な心筋にクラスタ化されている点は、小さいプラス符号によって表される(右下)。梗塞クラスタ内の点は、小さい“X”によって表される(血液クラスタの下方で、健康な心筋の左側)。グレーゾーンクラスタ内の点は、小さい円形によって表される(梗塞の右側で、血液の下方)。クラスタは、図2において図で表されている。
図3Dは、分類された組織タイプによって対比された位置を有するLV画像を示す。表される組織タイプには、血液、健康な心筋、梗塞及びグレーゾーンを含む。図3A及び図3Bの対応するボクセルからの測定された値ペアの位置をセグメント化部が使用して、各ボクセルの組織タイプを決定する。各ボクセルは、決定された組織タイプに割り当てられたコントラスト又は色を付与されて、図3DのLV画像が生成される。この例において、セグメント化部によってセグメント化され、分析ユニットによって測定されたボリュームは、85mmのグレーゾーンと154mmの梗塞とを含む。梗塞は、健康な心筋の大きい環状エリアの端において識別されることができる。他の方法を用いて梗塞とグレーゾーンとを手動で測定する困難さは、図3Dの画像と図3A及び/又は図3Bの画像とを比較すると分かるであろう。
図4Aにおいて、医用イメージングの方法の一実施形態がフローチャートで示される。ステップ40において、第1の画像が取得され、データストアに記憶される。画像は、イメージング装置から直接的に、あるいはディスク記憶装置などの記憶装置メモリからの読み出しによって間接的に、取得することができる。ステップ42において、造影剤の投与の後、第2の画像が取得される。他の実施形態において、繰り返される取得が種々の時間間隔で行われて最適なコントラストを確かにする。ステップ44において、画像が、登録部によって、共に登録され、かつ/あるいは動きについて補正される。
ステップ46において、分類モジュールが、測定された値ペアを作成又は生成する。測定された値ペアには、第1及び第2の画像の対応するボクセルからの測定された値を含み、測定された値ペアにおいて、少なくとも1つの測定された値が、対比された組織タイプを表す測定された値の閾値又は範囲を超える。測定された値ペアと関連するボクセル位置とは、(測定された値1,測定された値2,ボクセル位置)などの値のマトリクスとして表すことができる。
ステップ48において、分類モジュールは、測定された値ペアのメンバシップをクラスタに割り振る。各クラスタは、組織タイプで分類される。メンバシップの割り振りは、ファジィc‐平均法(FCM)アルゴリズムに基づき、例えばFCGK改良法を用いたFCMなどに基づく。
ステップ50において、セグメント化部は、各々の測定された値ペアの分類された組織タイプを、第1及び第2の画像に対応するボリュームに割り当てる。別法として、第1及び第2の画像のうち1つを使用して、ボクセルの強度及び/又は色を、分類された組織タイプを表す値に設定するなどの、分類された組織タイプを表示することができる。
ステップ52において、ユーザインタフェースは、測定された値ペアと分布図又は等高線図などのクラスタメンバシップとの視覚化を構築する。視覚化は、種々の時間間隔及び/又は種々のクラスタリングアルゴリズム若しくはパラメータにおいて撮られた画像間でクラスタリングを比較することに対して有用となり得る。
ステップ54において、診断画像が構築される。診断画像には、各々の分類された組織タイプを表すようにマーク付けされた、画像化された領域の表示を含む。1つの例において、診断画像には、組織タイプを指定するように色付けされた、他の解剖学的基準又は空間的関係を示す第1又は第2の画像を含むことができる。
ステップ56において、分析ユニットが、セグメント化された組織タイプのボリューム測定結果を算出するなどして、診断画像を分析する。リスクに晒された組織タイプと、場合により、健康な組織タイプとが、算出される。適用される他の分析には、セグメント化されたボリュームにおける比率などの比較、種々の患者集団との比較などを含むことができる。分析にはさらに、長さ、平均密度、最大深さなどの他の統計を含むことができる。
ステップ58において、表示装置が、種々の組織タイプを対比し、かつ/あるいは梗塞及びグレーゾーンなどのリスクに晒された組織タイプのボリュームを測定する、診断画像を表示する。場合により、ステップ60において、診断画像、分析及び/又はクラスタ視覚化を、患者データ管理システムに記憶することができる。
本明細書において提示された特定の例示的な実施形態に関連して、特定の構造及び/又は機能の特徴が、定められた要素及び/又はコンポーネントに組み込まれるものとして説明されていることを、十分理解されたい。しかしながら、こうした特徴は、同一の又は類似の便益に対して、適切な場合に他の要素及び/又はコンポーネントにも同様に組み込むことができると考えられる。さらに、別の例示的な実施形態の態様を必要に応じて選択的に採用して、所望される用途に適した他の代替の実施形態を達成することができ、他の代替の実施形態は、それにより、該実施形態に組み込まれた態様のそれぞれの利点を実現することができることを、十分理解されたい。
さらに、本明細書において説明された特定の要素又はコンポーネントは、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせを用いて適切に実施される機能性を有することができることを、十分理解されたい。加えて、本明細書において一緒に組み込まれるものとして説明された特定の要素は、適切な環境下で、独立型の要素となり、あるいはその他の方法で分割されることができることを、十分理解されたい。同様にして、1つの特定の要素によって実行されるものとして説明された複数の特定の機能は、個々の機能を実行するように独立して動作する複数の違った要素によって実行されることができ、あるいは、特定の個々の機能は、分解され、複数の違った要素によって協力して実行されることができる。別法として、本明細書において互いに違うものとして他の方法で説明され、かつ/あるいは示されたいくつかの要素又はコンポーネントは、適切である場合に、物理的又は機能的に組み合わせられることができる。
要するに、本明細書は、好適な実施形態を参照して説明されている。明らかに、本明細書を読み、理解した他者において、変更及び変形が生じることになる。本発明は、こうした変更及び変形が添付された請求項又はその均等物の範囲内に入る限り、すべてのそうした変更及び変形を含むと見なされるべきものである。すなわち、様々な上記で開示された特徴及び機能並びに他の特徴及び機能、又はそれらの代替案が、多くの他の種々のシステム又はアプリケーションに望ましく組み合わせられることができ、さらに、上記特徴及び機能において、様々な現在予見されない又は予期されない代替案、変更、変形又は改良を当業者が後に行う可能性があり、これらは同様にして別記の請求項に包含されるものであることを、十分理解されたい。

Claims (20)

  1. 第1の画像及び第2の画像を保持するデータストアであり、各画像は、共に登録され、異なるコントラストを有する、データストアと、
    前記第1の画像及び第2の画像の対応するボクセルの測定された値ペアのクラスタリングに基づいて組織タイプを分類する分類モジュールと、
    前記の分類された測定された値ペアに基づいて、前記第1の画像及び第2の画像について対応するイメージング領域の診断画像の各ボクセルに、組織タイプを割り当てるセグメント化部と、
    分類された組織タイプのボリュームを含む診断画像を表示する表示装置であり、各々の分類された組織タイプは異なるコントラスト色で表される、表示装置と、
    を含む医用イメージングシステム。
  2. 前記分類モジュールは、
    ファジィc‐平均法(FCM)アルゴリズムに基づいて、クラスタに、各々の測定された値ペアのメンバシップを割り振るステップであり、各クラスタは、前記組織タイプの1つに対応する、ステップ
    をなすようにプログラムされたプロセッサを含む、請求項1に記載の医用イメージングシステム。
  3. 前記第1の画像及び第2の画像は同一のイメージング装置上で作成される、請求項1又は2に記載の医用イメージングシステム。
  4. 前記イメージング装置は、磁気共鳴(MR)、単光子放出型コンピュータ断層撮影(SPECT)、ポジトロン放出型断層撮影(PET)及びX線コンピュータ断層撮影(CT)のうち少なくとも1つを含む、請求項1乃至3のうちいずれか1項に記載の医用イメージングシステム。
  5. 前記第1の画像は、第1の健康な組織タイプと、リスクに晒された組織タイプを含む第2の健康な組織タイプとを対比し、前記第2の画像は、第2の健康な組織タイプと、リスクに晒された組織タイプを含む第1の健康な組織タイプとを対比する、請求項1乃至4のうちいずれか1項に記載の医用イメージングシステム。
  6. 対比された前記の健康な組織は、血液及び健康な心筋のうち1つを含む、請求項5に記載の医用イメージングシステム。
  7. 前記分類モジュールは、3つ以上の組織タイプを分類する、請求項1乃至6のうちいずれか1項に記載の医用イメージングシステム。
  8. 前記分類モジュールは、血液、健康な心筋、梗塞及びグレーゾーンを含む組織を分類する、請求項1乃至7のうちいずれか1項に記載の医用イメージングシステム。
  9. 少なくとも1つの分類された組織タイプのボリュームを算出する分析ユニット
    をさらに含み、
    前記表示装置は、該分類された組織タイプについて算出されたボリュームを表示する、
    請求項1乃至8のうちいずれか1項に記載の医用イメージングシステム。
  10. 前記表示装置は、リスクに晒された組織タイプの測定されたボリュームを表示するステップを含む、請求項1乃至9のうちいずれか1項に記載の医用イメージングシステム。
  11. 第1の画像を取得するステップと、
    前記第1の画像とは異なるコントラストを有する第2の画像を取得するステップと、
    前記第1の画像及び第2の画像を共に登録するステップと、
    前記第1の画像及び第2の画像から、対応するボクセルの測定されたコントラスト値ペアを作成するステップと、
    組織タイプを各々分類するクラスタに、測定された値ペアのメンバシップを割り振るステップと、
    各々のクラスタ化された測定された値ペアの、前記の分類された組織タイプに基づいて、前記第1の画像及び第2の画像について対応する画像化された領域の診断画像の各ボクセルに、前記の分類された組織タイプを割り当てるステップと、
    前記診断画像を表示するステップであり、前記診断画像において各々の分類された組織タイプが異なるコントラスト又は色で表される、ステップと、
    を含む、医用イメージングの方法。
  12. 測定された値ペアのメンバシップをクラスタに割り振るステップは、ファジィc‐平均法(FCM)アルゴリズムを使用する、請求項11に記載の医用イメージングの方法。
  13. 前記第1の画像及び第2の画像は、同一のイメージング装置上で生成され、生得的に共に登録される、請求項11又は12に記載の医用イメージングの方法。
  14. 前記イメージング装置は、磁気共鳴(MR)、単光子放出型コンピュータ断層撮影(SPECT)、ポジトロン放出型断層撮影(PET)及びX線コンピュータ断層撮影(CT)のうち少なくとも1つを含む、請求項11乃至13のうちいずれか1項に記載の医用イメージングの方法。
  15. 測定された値ペアの分布図内に、前記クラスタ化された測定された値ペアを表示するステップであり、各々の測定された値ペアは、クラスタメンバシップによって対比される、ステップ
    をさらに含む請求項11乃至14のうちいずれか1項に記載の医用イメージングの方法。
  16. 前記の分類された組織タイプは、血液、健康な心筋、梗塞及びグレーゾーンを含む、請求項11乃至15のうちいずれか1項に記載の医用イメージングの方法。
  17. 前記診断画像内の選択された分類された組織タイプのボリュームを算出するステップ
    をさらに含み、前記表示するステップは、
    前記選択された分類された組織タイプの前記の算出されたボリュームを表示するステップ
    をさらに含む、請求項11乃至16のうちいずれか1項に記載の医用イメージングの方法。
  18. 1又は複数のプロセッサに請求項1乃至17のうちいずれか1項を実行させるコンピュータプログラム。
  19. 請求項11乃至18のうちいずれか1項に記載の方法を実行するようにプログラムされた1又は複数のプロセッサ
    を含むシステム。
  20. 異なるコントラスト特性を有する第1の画像及び第2の画像の対応するボクセルからコントラスト値ペアを生成するステップと、
    前記コントラスト値ペアを、複数の組織タイプの各々に対応するクラスタにグループ化するステップと、
    前記コントラスト値ペアがグループ化されたクラスタに基づいて、各ボクセルの組織タイプを決定するステップと、
    をなすようにプログラムされたプロセッサ
    を含む画像処理システム。
JP2014553834A 2012-01-27 2013-01-22 定量的t1マッピングを用いた、リスクに晒されたエリアの自動化された検出 Expired - Fee Related JP6214563B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261591412P 2012-01-27 2012-01-27
US61/591,412 2012-01-27
PCT/IB2013/050543 WO2013111051A1 (en) 2012-01-27 2013-01-22 Automated detection of area at risk using quantitative t1 mapping

Publications (2)

Publication Number Publication Date
JP2015510412A true JP2015510412A (ja) 2015-04-09
JP6214563B2 JP6214563B2 (ja) 2017-10-18

Family

ID=47747731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014553834A Expired - Fee Related JP6214563B2 (ja) 2012-01-27 2013-01-22 定量的t1マッピングを用いた、リスクに晒されたエリアの自動化された検出

Country Status (7)

Country Link
US (1) US9547942B2 (ja)
EP (1) EP2807633B1 (ja)
JP (1) JP6214563B2 (ja)
CN (1) CN104094314B (ja)
BR (1) BR112014018076A8 (ja)
RU (1) RU2626869C2 (ja)
WO (1) WO2013111051A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217540A (ja) * 2013-05-08 2014-11-20 株式会社東芝 画像処理装置及び磁気共鳴イメージング装置
JP2017104364A (ja) * 2015-12-11 2017-06-15 安西メディカル株式会社 キセノンct装置
WO2017134830A1 (ja) * 2016-02-05 2017-08-10 株式会社日立製作所 医用画像診断支援装置、および、磁気共鳴イメージング装置
JP2019088777A (ja) * 2017-10-31 2019-06-13 パイ メディカル イメージング ビー ヴイPie Medical Imaging B.V. 造影シネmriデータセットにおける左心室のセグメント分割の改善
JP2020513975A (ja) * 2017-03-20 2020-05-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 基準グレイスケール値を用いる画像セグメンテーション

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
CN104881865B (zh) * 2015-04-29 2017-11-24 北京林业大学 基于无人机图像分析的森林病虫害监测预警方法及其系统
US10466326B2 (en) * 2015-05-15 2019-11-05 Stc. Unm Quantitative [Fe]-MRI (femri) of anti-PSMA-conjugated SPIONs based on PSMA expression levels
CN108140117B (zh) * 2015-08-25 2022-06-07 皇家飞利浦有限公司 组织微阵列分析
US10695134B2 (en) 2016-08-25 2020-06-30 Verily Life Sciences Llc Motion execution of a robotic system
EP3373247A1 (en) * 2017-03-09 2018-09-12 Koninklijke Philips N.V. Image segmentation and prediction of segmentation
US11344374B2 (en) * 2018-08-13 2022-05-31 Verily Life Sciences Llc Detection of unintentional movement of a user interface device
TWI758950B (zh) * 2020-11-13 2022-03-21 大陸商昆山瑞創芯電子有限公司 應用於顯示面板的校準方法及校準裝置
CN118022200A (zh) * 2022-11-11 2024-05-14 中硼(厦门)医疗器械有限公司 治疗计划系统、重叠自动检查方法及治疗计划的制定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60165945A (ja) * 1984-02-10 1985-08-29 株式会社日立製作所 画像処理方式
US20090275822A1 (en) * 2008-05-01 2009-11-05 Detsky Jay S Multi-contrast delayed enhancement cardiac magnetic resonance imaging

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1261259A (zh) * 1997-05-23 2000-07-26 卡罗莱纳心脏研究所 电子成像和治疗系统
US6205349B1 (en) 1998-09-29 2001-03-20 Siemens Medical Systems, Inc. Differentiating normal living myocardial tissue, injured living myocardial tissue, and infarcted myocardial tissue in vivo using magnetic resonance imaging
US6842638B1 (en) * 2001-11-13 2005-01-11 Koninklijke Philips Electronics N.V. Angiography method and apparatus
US20040218794A1 (en) * 2003-05-01 2004-11-04 Yi-Hsuan Kao Method for processing perfusion images
US7480412B2 (en) * 2003-12-16 2009-01-20 Siemens Medical Solutions Usa, Inc. Toboggan-based shape characterization
WO2007107931A2 (en) 2006-03-17 2007-09-27 Koninklijke Philips Electronics N.V. Combining magnetic resonance images
US10098563B2 (en) 2006-11-22 2018-10-16 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus
US8086297B2 (en) 2007-01-31 2011-12-27 Duke University Dark blood delayed enhancement magnetic resonance viability imaging techniques for assessing subendocardial infarcts
CN101916443B (zh) * 2010-08-19 2012-10-17 中国科学院深圳先进技术研究院 Ct图像的处理方法及系统
CN102004917B (zh) * 2010-12-17 2012-04-18 南方医科大学 一种图像边缘近邻描述特征算子的提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60165945A (ja) * 1984-02-10 1985-08-29 株式会社日立製作所 画像処理方式
US20090275822A1 (en) * 2008-05-01 2009-11-05 Detsky Jay S Multi-contrast delayed enhancement cardiac magnetic resonance imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAY S. DETSKY ET AL: "Reproducible Classification of Infarct Heterogeneity Using Fuzzy Clustering on Multicontrast Delayed", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. vol. 28, no. 10, pp.1606-1614, JPN6016049670, October 2009 (2009-10-01), ISSN: 0003471608 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217540A (ja) * 2013-05-08 2014-11-20 株式会社東芝 画像処理装置及び磁気共鳴イメージング装置
JP2017104364A (ja) * 2015-12-11 2017-06-15 安西メディカル株式会社 キセノンct装置
WO2017134830A1 (ja) * 2016-02-05 2017-08-10 株式会社日立製作所 医用画像診断支援装置、および、磁気共鳴イメージング装置
JPWO2017134830A1 (ja) * 2016-02-05 2018-07-05 株式会社日立製作所 医用画像診断支援装置、および、磁気共鳴イメージング装置
US10914804B2 (en) 2016-02-05 2021-02-09 Hitachi, Ltd. Medical image diagnostic assistance device and magnetic resonance imaging device
JP2020513975A (ja) * 2017-03-20 2020-05-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 基準グレイスケール値を用いる画像セグメンテーション
JP2019088777A (ja) * 2017-10-31 2019-06-13 パイ メディカル イメージング ビー ヴイPie Medical Imaging B.V. 造影シネmriデータセットにおける左心室のセグメント分割の改善
JP7278056B2 (ja) 2017-10-31 2023-05-19 パイ メディカル イメージング ビー ヴイ 造影シネmriデータセットにおける左心室のセグメント分割の改善

Also Published As

Publication number Publication date
JP6214563B2 (ja) 2017-10-18
RU2626869C2 (ru) 2017-08-02
US9547942B2 (en) 2017-01-17
EP2807633B1 (en) 2018-08-22
CN104094314A (zh) 2014-10-08
US20150213652A1 (en) 2015-07-30
WO2013111051A1 (en) 2013-08-01
BR112014018076A2 (ja) 2017-06-20
RU2014134899A (ru) 2016-03-20
BR112014018076A8 (pt) 2017-07-11
CN104094314B (zh) 2018-06-08
EP2807633A1 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
JP6214563B2 (ja) 定量的t1マッピングを用いた、リスクに晒されたエリアの自動化された検出
Scalco et al. Texture analysis of medical images for radiotherapy applications
Militello et al. A semi-automatic approach for epicardial adipose tissue segmentation and quantification on cardiac CT scans
US9424644B2 (en) Methods and systems for evaluating bone lesions
Kim et al. Automatic hippocampal segmentation in temporal lobe epilepsy: impact of developmental abnormalities
US10311571B2 (en) Image analysis method supporting illness development prediction for a neoplasm in a human or animal body
Deshpande et al. Automatic segmentation, feature extraction and comparison of healthy and stroke cerebral vasculature
US9600877B2 (en) Quantitative imaging
EP2407927B1 (en) A method and device for evaluating evolution of tumoral lesions
JP2017520305A (ja) 急性脳虚血患者における組織領域の区分法及び予測法
US10275946B2 (en) Visualization of imaging uncertainty
US9147242B2 (en) Processing system for medical scan images
CN109416835B (zh) 医学图像中的变化检测
WO2019007952A1 (en) METHOD OF EVALUATING IMAGE ANALYSIS OF PROBABILITY THAT ISCHEMIA IN A CEREBRAL TISSUE AREA RESULTS IN INFARCTION OF THIS BRAIN TISSUE AREA
Yang et al. Delineation of FDG-PET tumors from heterogeneous background using spectral clustering
US20110194741A1 (en) Brain ventricle analysis
US8848998B1 (en) Automated method for contrast media arrival detection for dynamic contrast enhanced MRI
US8873817B2 (en) Processing an image dataset based on clinically categorized populations
GB2515634A (en) System and methods for efficient assessment of lesion development
US20190347788A1 (en) Systems, methods, and apparatuses for generating regions of interest from voxel mode based thresholds
JP7337693B2 (ja) 皮質奇形識別
Slomka et al. Quantification of myocardial perfusion
Wesarg AHA conform analysis of myocardial function using and extending the toolkits ITK and VTK
O'Brien et al. Machine Learning Based Cardiac Scar Detection in Computed Tomography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R150 Certificate of patent or registration of utility model

Ref document number: 6214563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees