JP6284944B2 - 画像診断装置及びその作動方法及び記憶媒体 - Google Patents

画像診断装置及びその作動方法及び記憶媒体 Download PDF

Info

Publication number
JP6284944B2
JP6284944B2 JP2015538639A JP2015538639A JP6284944B2 JP 6284944 B2 JP6284944 B2 JP 6284944B2 JP 2015538639 A JP2015538639 A JP 2015538639A JP 2015538639 A JP2015538639 A JP 2015538639A JP 6284944 B2 JP6284944 B2 JP 6284944B2
Authority
JP
Japan
Prior art keywords
image
cross
sectional
catheter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015538639A
Other languages
English (en)
Other versions
JPWO2015044983A1 (ja
Inventor
淳也 古市
淳也 古市
耕一 井上
耕一 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TRUMO KABUSHIKI KAISHA
Original Assignee
TRUMO KABUSHIKI KAISHA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRUMO KABUSHIKI KAISHA filed Critical TRUMO KABUSHIKI KAISHA
Publication of JPWO2015044983A1 publication Critical patent/JPWO2015044983A1/ja
Application granted granted Critical
Publication of JP6284944B2 publication Critical patent/JP6284944B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12Devices for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Description

本発明は、画像診断装置及びその制御方法に関するものであり、特に、超音波あるいは光等の波動信号による生体組織の断面画像生成技術に関するものである。
現在、バルーンカテーテル、ステント等の高機能カテーテルによる血管内治療が行われているが、この治療前の診断、あるいは、治療後の経過確認のため、光干渉断層診断装置(OCT:Optical Coherence Tomography)や血管内超音波診断装置(IVUS:IntraVascular Ultra Sound)等の画像診断装置が用いられるのが一般的になってきている。さらに、OCTの改良型として、波長掃引を利用した光干渉断層診断装置(SS−OCT:Swept−source Optical coherence Tomography)も開発されている。
これらの画像診断装置は、該装置により得られる情報(例えば、狭窄率等)から血管内対象部位の治療必要性を決定する際に使用されたり、治療直後の、例えば、ステントの血管に対する密着率の評価等の手技の確認のために使用される。
また、臨床上は血管内治療した部位に再狭窄が発生することがしばしば確認されるため、治療後の一定期間後に画像診断装置を用いて治療部位の断面画像を取得することで再狭窄の評価等に使用される
これらの作業において、治療対象部位に対する治療前と治療後の断面画像を並べて表示させる、かつ、同期して再生した断面画像を表示することは医師の判断ミス等を防ぎ、かつ、手技時間の短縮も見込まれる。
ここで、特許文献1には、X線画像とともに、対応するIVUS画像をカテーテル操作時のリファレンス画像として同時に表示する構成が開示されている。
特開平10−137238号公報
画像診断装置は、血管の長手方向に回転しながら、プローブから照射される走査線(例えば、超音波や近赤外光)と交差する血管組織の情報を取得し、一回転で取得される血管組織情報を断面画像として表示するものである。つまり、原理上、断面画像とは、上記走査線と血管組織の交点の描く螺旋運動の軌跡上に存在する血管組織情報を可視化しているものにすぎない(図8)。また、プローブから照射される走査線の方向は、血管内のプローブの位置と角度に依存するため、必ずしも血管に対して垂直に走査線が走るわけではない(図8)。
この原理により、画像診断装置で取得される少なくとも2つの断面画像を比較する場合、取得される断面画像は、画像取得時のプローブの位置と角度によって、必ずしも同一断面の断層像を比較できるわけではない。
一方、医師は、同一断面の治療前後の変化を確認し診断に使用したい要求がある。
つまり、画像診断装置で取得される2次元画像では、治療前後の断面画像を並べて表示したとしても、データ取得時のプローブの位置と角度の違いから厳密な意味での同じ場所の断面画像の比較にはならない問題がある(図9)。
通常臨床に置いては、医師がこの違いを意識しながら2次元画像の比較を実施するため、この違いが誤診断につながることはない。しかしながら、この問題を解決することで、原理上発生する断面画像の取得位置の違いを意識することなく画像の診断が可能になり、正確な診断の一助となる
本発明は上記課題に鑑みてなされたものであり、異なる測定状態で取得された複数の画像を同一の尺度の診断用画像として処理することができる画像診断技術を提供することを目的とする。
上記の目的を達成するために本発明による画像診断装置は以下の構成を備える。即ち、
診断用の画像を生成する画像診断装置であって、
血管の断面画像を取得するためのカテーテルにおいて、前記血管内に挿入された前記カテーテルを含むX線画像を入力する入力手段と、
前記カテーテルは波動信号を送受信する送受信部を有し、該送受信部にて受信された波動信号を所定のサンプリングレートで順次取得する取得手段と、
前記入力手段で入力したX線画像から、前記カテーテルの配置状態及び前記送受信部の位置を検出する検出手段と、
前記取得手段で順次取得した断面画像を、前記検出手段で検出した前記カテーテルの配置状態が示すカテーテルの軌跡の前記送受信部の対応する位置で、かつ前記軌跡に対して垂直に並べることで、前記血管の3次元画像を生成する生成手段と、
前記生成手段で生成する前記3次元画像から断面画像を切り出す位置と角度を指定する指定手段と、
前記指定手段で指定された位置から指定された角度で断面画像を切り出し、表示装置に表示する表示制御手段とを備え、
前記表示制御手段は、再生指示に応じて、前記3次元画像から、前記指定手段で指定された位置から一定方向に位置を進めながら、指定された角度で断面画像を順次切り出し、前記表示装置に表示することを特徴とする。
本発明によれば、異なる測定状態で取得された複数の画像を同一の尺度の診断用画像として処理することができる画像診断技術を提供できる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。尚、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
画像診断装置の外観構成を示す図である。 プローブ部の全体構成及び先端部の断面構成を示す図である。 画像診断装置の機能構成を示す図である。 画像診断装置の信号処理部の機能構成を示す図である。 表示装置に表示されるユーザインタフェースの一例を示す図である。 画像診断装置の信号処理部における画像生成処理の詳細を示すフローチャートである。 3次元画像の一例を示す図である。 プローブの走査線の様子を説明するための図である。 従来の課題を説明するための図である。
以下、必要に応じて添付図面を参照しながら本発明の実施形態を詳細に説明する。尚、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
1.画像診断装置の外観構成
図1は、画像診断装置(一例として、OCTの機能を備える画像診断装置)100の外観構成を示す図である。
図1に示すように、画像診断装置100は、プローブ部101と、スキャナ及びプルバック部102と、操作制御装置103とを備える。スキャナ及びプルバック部102と操作制御装置103とは、信号線104により各種信号が伝送可能に接続されている。
カテーテルの構成要素であるプローブ部101は、イメージングコア220(図2)が内挿されている。このイメージングコア220は、直接血管内に挿入され、伝送された光(測定光)を連続的に血管内に送信するとともに血管内からの反射光を連続的に受信する光送受信部を備える。画像診断装置100では、このイメージングコア220を用いることで、患者の血管内部の状態を測定することができる。
スキャナ及びプルバック部102は、プローブ部101が着脱可能に取り付けられ、内蔵されたモータを駆動させることでプローブ部101に内挿されたイメージングコア220の血管内の軸方向の動作及び回転方向の動作を規定している。また、スキャナ及びプルバック部102は、光送受信部において受信された反射光を取得し、操作制御装置103に対して送信する。
操作制御装置103は、測定を行うにあたり、各種設定値を入力するための機能や、測定により得られたデータを処理し、血管内の断面画像(横断方向断面画像及び軸方向断面画像)を表示するための機能を備える。ここで、横断方向断面画像とは、血管の走行方向(血管の中心軸)に対して垂直な面で血管を切った場合の断面画像であり、軸方向断面画像とは、血管の走行方向(血管の中心軸)に対して平行な面で血管を切った場合の断面画像である。
操作制御装置103において、本体制御部111は、測定により得られた反射光と光源からの光を分離することで得られた参照光とを干渉させることで干渉光データを生成するとともに、その干渉光データに基づいて生成されたラインデータを処理することで、光断面画像を生成する。
プリンタ及びDVDレコーダ111−1は、本体制御部111における処理結果を印刷したり、データとして記憶したりする。操作パネル112は、ユーザからの各種設定値及び指示の入力を行う。表示装置113は、例えば、LCDモニタで実現され、本体制御部111において生成された断面画像を表示する。
尚、本体制御部111には、X線撮像装置(図3)で撮像された患者のX線画像(例えば、Angio画像)を入力する入力部(不図示)を備える。そして、画像診断装置100では、このX線画像を利用して、カテーテルの位置情報(3次元位置情報)及び血管の位置情報(3次元位置情報)を取得することができる。
2.プローブ部の全体構成及び先端部の断面構成
次に、プローブ部101の全体構成及び先端部の断面構成について図2を用いて説明する。
図2に示すように、プローブ部101は、血管内に挿入される長尺のカテーテルシース201と、ユーザが操作するために血管内に挿入されることなく、ユーザの手元側に配置されるコネクタ部202とにより構成される。カテーテルシース201の先端には、ガイドワイヤルーメンを構成するガイドワイヤルーメン用チューブ203が設けられている。カテーテルシース201は、ガイドワイヤルーメン用チューブ203との接続部分からコネクタ部202との接続部分にかけて連続する管腔を形成している。
カテーテルシース201の管腔内部には、光を送受信する光送受信部とが配置された送受信部221と、光ファイバケーブルを内部に備える。また、カテーテルシース201の管腔内部には、光ファイバケーブルを回転させるための回転駆動力を伝達するコイル状の駆動シャフト222とを備えるイメージングコア220が、カテーテルシース201のほぼ全長にわたって挿通されている。
コネクタ部202は、カテーテルシース201の基端に一体化して構成されたシースコネクタ202aと、駆動シャフト222の基端に駆動シャフト222を回動可能に固定して構成された駆動シャフトコネクタ202bとを備える。
シースコネクタ202aとカテーテルシース201との境界部には、耐キンクプロテクタ211が設けられている。これにより所定の剛性が保たれ、急激な物性の変化による折れ曲がり(キンク)を防止することができる。駆動シャフトコネクタ202bの基端は、スキャナ及びプルバック部102に着脱可能に取り付けられる。
次に、プローブ部101の先端部の断面構成について説明する。カテーテルシース201の管腔内部には、送受信部221が配置されたハウジング223と駆動シャフト222とを備えるイメージングコア220がほぼ全長にわたって挿通されており、プローブ部101を形成している。
駆動シャフト222は、カテーテルシース201に対して送受信部221を回転動作及び軸方向動作させることが可能であり、柔軟で、かつ回転をよく伝送できる特性を有する、例えば、ステンレス等の金属線からなる多重多層密着コイルにより構成されている。そして、その内部には光ファイバケーブル(シングルモードの光ファイバケーブル)が配置されている。
ハウジング223は、短い円筒状の金属パイプの一部に切り欠き部を有した形状をしており、金属塊からの削り出しやMIM(金属粉末射出成形)等により成形される。また、先端側には短いコイル状の弾性部材231が設けられている。
弾性部材231は、ステンレス鋼線材をコイル状に形成したものであり、弾性部材231が先端側に配置されることで、イメージングコア220を前後移動させる際にカテーテルシース201内での引っかかりを防止する。補強コイル232は、カテーテルシース201の先端部分の急激な折れ曲がりを防止する目的で設けられている。
ガイドワイヤルーメン用チューブ203は、ガイドワイヤが挿入可能なガイドワイヤ用ルーメンを有する。ガイドワイヤルーメン用チューブ203は、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってカテーテルシース201を患部まで導くのに使用される。
3.画像診断装置の機能構成
次に、画像診断装置100の機能構成について説明する。図3は、OCT(ここでは、一例として、SS−OCT)の機能(波長掃引利用の光画像診断装置)を備える画像診断装置100の機能構成を示す図である。尚、IVUSの機能と他のOCTの機能とを組み合わせた画像診断装置についても、同様の機能構成を有するため、ここでは説明を省略する。
図中、428は画像診断装置100の全体の制御を司る信号処理部であり、マイクロプロセッサをはじめ、いくつかの回路で構成される。210はハードディスクに代表される不揮発性の記憶装置であり、信号処理部428が実行する各種プログラムやデータファイルを格納している。430は信号処理部428内に設けられたメモリ(RAM)である。408は波長掃引光源であり、時間軸に沿って、予め設定された範囲内で変化する波長の光を繰り返し発生する光源である。
また、信号処理部428は、生成した複数の光断面画像と、別途、X線撮像装置470から入力されるX線画像(例えば、Angio画像)とを利用して、血管の3次元画像を生成することができる。更に、信号処理部428は、その3次元画像の指定された注目位置での光断面画像を生成して、表示装置113に出力することができる。
また、信号処理部428における各種処理、ならびに、画像診断装置100に対する各種操作を行うためのユーザインタフェースに関する画像処理は、信号処理部428において所定のプログラムがコンピュータによって実行されることで実現される。
波長掃引光源408から出力された光は、第1のシングルモードファイバ271の一端に入射され、先端側に向けて伝送される。第1のシングルモードファイバ271は、途中の光ファイバカップラ272において第4のシングルモードファイバ275と光学的に結合されている。
第1のシングルモードファイバ271における光ファイバカップラ272より先端側から発した光は、コネクタ105を介して、第2のシングルモードファイバ273に導かれる。この第2のシングルモードファイバ273の他端は、スキャナ及びプルバック部102内の光ロータリージョイント230に接続されている。
一方、プローブ部101は、スキャナ及びプルバック部102と接続するためのアダプタ101aを有する。そして、このアダプタ101aによりプローブ部101を、スキャナ及びプルバック部102に接続することで、プローブ部101が安定して、スキャナ及びプルバック部102に保持される。さらに、プローブ部101内に回転自在に収容された第3のシングルモードファイバ274の端部が、光ロータリージョイト230に接続される。この結果、第2シングルモードファイバ273と第3シングルモードファイバ274が光学的に結合される。第3のシングルモードファイバ274の他方端(プローブ部101の先頭部分側)には、光を回転軸に対してほぼ直行する方向に出射するミラーとレンズを搭載したイメージングコア220が設けられている。
上記の結果、波長掃引光源408が発した光は、第1シングルモードファイバ271、第2シングルモードファイバ273、第3のシングルモードファイバ274を介して、第3のシングルモードファイバ274の端部に設けられたイメージングコア220に導かれる。イメージコア220は、この光を、ファイバの軸に直行する方向に出射するとともに、その反射光を受信し、その受信した反射光が今度は逆に導かれ、操作制御装置103に返される。
一方、光ファイバカップラ272に結合された第4のシングルモードファイバ275の反対の端部には、参照光の光路長を微調整する光路長調整機構250が設けられている。この光路長可変機構250は、プローブ部101を交換した場合など、個々のプローブ部101の長さのばらつきを吸収できるよう、その長さのばらつきに相当する光路長を変化させる光路長変更部として機能する。そのため、第4のシングルモードファイバ275に端部に位置するコリメートレンズ255が、その光軸方向である矢印256で示すように移動自在な1軸ステージ254上に設けられている。
具体的には、1軸ステージ254はプローブ部101を交換した場合に、プローブ部101の光路長のばらつきを吸収できるだけの光路長の可変範囲を有する光路長変更部として機能する。さらに、1軸ステージ254はオフセットを調整する調整部としての機能も備えている。例えば、プローブ部101の先端が生体組織の表面に密着していない場合でも、1軸ステージにより光路長を微小変化させることにより、生体組織の表面位置からの反射光と干渉させる状態に設定することが可能である。
1軸ステージ254で光路長が微調整され、グレーティング251、レンズ252を介してミラー253にて反射された光は再び第4のシングルモードファイバ275に導かれ、光ファイバカップラ272にて、第1のシングルモードファイバ271側から得られた光と混合されて、干渉光としてフォトダイオード204にて受光される。
このようにして、フォトダイオード204にて受光された干渉光は光電変換され、アンプ205により増幅された後、復調器206に入力される。この復調器206では干渉した光の信号部分のみを抽出する復調処理を行い、その出力は干渉光信号としてA/D変換器207に入力される。
A/D変換器207では、干渉光信号を例えば180MHzで2048ポイント分サンプリングして、1ラインのデジタルデータ(干渉光データ)を生成する。なお、サンプリング周波数を90MHzとしたのは、波長掃引の繰り返し周波数を80kHzにした場合に、波長掃引の周期(12.5μsec)の90%程度を2048点のデジタルデータとして抽出することを前提としたものであり、特にこれに限定されるものではない。
A/D変換器207にて生成されたライン単位の干渉光データは、信号処理部428に入力され、一旦、メモリ430に格納される。そして、信号処理部428では干渉光データをFFT(高速フーリエ変換)により周波数分解して深さ方向のデータ(ラインデータ)を生成し、これを座標変換することにより、血管内の各位置での光断面画像を構築し、所定のフレームレートで表示装置113に出力する。
信号処理部428は、更に、光路長調整用駆動部209、通信部208と接続されている。信号処理部428は、光路長調整用駆動部209を介して1軸ステージ254の位置の制御(光路長制御)を行う。
尚、信号処理部428は、モータ制御回路429と接続され、モータ制御回路429のビデオ同期信号を受信する。信号処理部428では、受信したビデオ同期信号に同期して断面画像の生成を行う。また、このモータ制御回路429のビデオ同期信号は、回転駆動装置240にも送信され、回転駆動装置240はビデオ同期信号に同期した駆動信号を出力する。
通信部208は、いくつかの駆動回路を内蔵するとともに、信号処理部428の制御下にて、スキャナ及びプルバック部102と通信する。具体的には、スキャナ及びプルバック部102内の光ロータリージョイントによる第3のシングルモードファイバの回転を行うためのラジアル走査モータへの駆動信号の供給、ラジアルモータの回転位置を検出するためのエンコーダ部242からの信号受信、並びに、第3のシングルモードファイバ274の所定速度で引っ張るための直線駆動部243への駆動信号の供給である。
尚、信号処理部428における上記処理も、所定のプログラムがコンピュータによって実行されることで実現されるものとする。
上記構成において、プローブ部101を患者の診断対象の血管位置(冠状動脈など)に位置させると、ユーザの操作によるプローブ先端から透明なフラッシュ液(通常は生理食塩水や造影剤)を血管内に放出させる。血液の影響を除外するためである。そして、ユーザがスキャン開始の指示入力を行うと、信号処理部428は、波長掃引光源408を駆動し、ラジアル走査モータ241並びに直線駆動部243を駆動させる(以降、ラジアル走査モータ241と直線駆動部243の駆動による光の照射と受光処理をスキャニングと呼ぶ)。この結果、波長掃引光源408から波長掃引光が、上記のような経路でイメージングコア220に供給される。このとき、プローブ部101にあるイメージングコア220は回転しながら、回転軸に沿って移動することになるので、イメージングコア220は、回転しながら、なおかつ、血管軸に沿って移動しながら、血管内腔面への光の出射とその反射光の受信を行うことになる。
4.信号処理部の機能構成
次に、画像診断装置100の信号処理部428において、診断用の血管断面画像及び血管3次元画像を生成する生成処理の機能構成について、図4を用いて説明する。
特に、本実施形態では、画像診断装置100は、螺旋運動を考慮した形で順次取得された断面画像データ群(A−Lineデータ群)からボリュームデータを生成し、3次元画像を構築する。X線画像上での注目位置の指示入力を受け付けた場合、画像診断装置100は、その位置を3次元画像上の座標に変換し、変換された座標近傍の血管に対して任意に特定された方向(例えば垂直な方向)の面に存在する輝度データを算出する。そして、画像診断装置100は、それらの輝度データが射影された2次元画像(断面画像)を再生成して、表示装置113に表示する。これにより、原理上発生するプローブの位置と角度の違いからなる誤差を補正し、治療前後で同じ位置の血管情報の表示が可能となる
尚、以下に説明する処理は、専用のハードウェアを用いて実現してもよいし、画像診断装置で得たデータを基に汎用のコンピュータにインストールされたソフトウェアにより(コンピュータがプログラムを実行することにより)各部の機能を実現してもよい。
以下の説明では、説明を簡単にするために、画像診断装置100の信号処理部428として、波長掃引型OCTの機能のみを利用して断面画像を生成する場合について説明する。但し、IVUSの機能と他のOCTの機能とを組み合わせた画像診断装置の信号処理部についても、本発明を同様に適用できることは言うまでもない。
信号処理部428では、信号処理部428の各種処理の制御を実行する制御部605を備える。制御部605には、断面画像処理部601、3次元画像構築部602、表示位置抽出部603、表示制御部604、X線画像処理部606、及びユーザインタフェース装置215が接続され、それぞれの動作を制御する。
A/D変換器207で生成された干渉光データは、断面画像処理部601のラインメモリ部601aにおいて、モータ制御回路429から出力されるラジアル走査モータ241のエンコーダ部242の信号を用いてラジアル走査モータ241の1回転あたりのライン数が所定数(例えば、512本)となるように処理される。
断面画像処理部601では、干渉光データに対してライン加算平均処理、フィルタ処理、対数変換処理等を施し、生体組織の深さ方向の干渉光強度データであるラインデータをラインメモリ部601a上に生成する。更に、断面画像処理部601では、その生成したラインデータに対してコントラスト調整、輝度調整、ガンマ補正、フレーム相関、シャープネス処理等を行い、極座標のラインデータ列をRθ変換することで断面画像データを生成する。尚、本実施形態では、一例として、512ラインから血管断面画像を生成することとしているが、このライン数に限定されるものではない。
X線画像処理部606は、X線撮像装置470から入力されるX線画像データから垂直同期信号を取り出し、ラジアル走査モータ241の回転周期信号と同期してX線画像データの取り込み制御を実行する。また、X線画像処理部606は、取り込んだX線画像データをラインメモリ部601aへ記憶する。尚、X線画像データは、複数の角度から撮像したX線画像データ(患者の正面画像及び側面画像)を取り込み、これらから3次元のX線画像データを構築しても良い。更には、動画のX線画像データであっても良い。
3次元画像構築部602では、ラインメモリ部601aに記憶されているX線画像データから、カテーテルのプローブ部101の位置を検出し、プローブ部101の位置を画像の中心として、生成した断面画像データを配列したボリュームデータを生成する。尚、本実施形態では、治療前後の断面画像を比較表示するために、治療前後それぞれで取得した断面画像データを、適宜、画像記憶部602aに記憶する。
X線画像表示部607では、ユーザインタフェース装置215上で表示されたX線画像において、表示位置指定部611で指定された位置にプローブ部101のX線不透過マーカが最も近くなるX線画像のフレーム数を算出し、そのフレーム数に同期する断面画像データのフレーム数を算出する。尚、X線不透過マーカには、駆動シャフト222の先端部分等のプローブ部101の位置が特定できる部分を利用できる。次に、X線画像表示部607では、その断面画像データのフレーム数から3次元ボリュームデータのデータ位置(ランドマーク)を示す座標を算出する。
表示位置抽出部603では、算出した座標から特定の血管壁の方向に対して任意の面を設定し、ボリュームレンダリングの技法を利用して、その面上に存在する断面画像データを再構築する。
表示制御部604は、再構築した断面画像をユーザインタフェース装置215の断面画像表示部610に表示する。表示制御部604は、特に、別々のタイミングで再構築した、治療前後の断面画像データと、治療前後のX線画像データとを同一画面内で対比可能に表示することができる。
尚、上記説明では、断面画像処理部601が、ラインデータを生成して直接処理するものとしているが、本発明はこれに限定されない。例えば、断面画像処理部601が生成するラインデータを、別途、記憶部(不図示)に所定の患者属性情報や測定条件情報と関連付けてファイル形式で格納されるように構成してもよい。この場合、断面画像処理部601は、ユーザからの指示に基づいて、当該記憶部よりラインデータを読み出すことで、上記処理を行うこととなる。また、この記憶部は、制御部605内に設けられていてもよいし、信号処理部428外に設けられていてもよい(例えば、DVDレコーダ111−1が記憶部として機能してもよい)。あるいは、断面画像処理部601のラインメモリ部601aが記憶部として機能してもよい。
ユーザインタフェース装置215には、表示位置指定部611が設けられており、断面画像表示部610に、診断対象として表示させる断面画像の位置をX線画像表示部607で表示されるX線画像を用いて指定することができる。表示位置指定部611により指定された位置に関する情報は、制御部605に入力され、表示位置抽出部603に送信される。表示位置抽出部603では、3次元画像から、表示位置指定部611により指定された位置に対応する断面画像データを画像記憶部602aから抽出する。
表示位置抽出部603では、画像記憶部602aより抽出した指定された位置の断面画像データを、ユーザインタフェース装置215の断面画像表示部610に表示する。
5.ユーザインタフェース
次に、表示装置113に表示されるユーザインタフェースについて説明する。図5は表示装置113に表示されるユーザインタフェース500の一例を示す図である。このユーザインタフェース500は、図5のユーザインタフェース装置215によって実現される。
図5に示すように、ユーザインタフェース500は、信号処理部428において生成された断面画像(横断方向断面)を表示する断面画像表示領域510と、X線画像を表示するX線画像表示領域520とを備える。また、ユーザインタフェース500は、断面画像表示領域510及びX線画像表示領域520にそれぞれ表示された断面画像及びX線画像に対して、各種操作を行う操作領域530とを備える。
断面画像表示領域510は、2種類の診断対象画像として、治療前画像を表示する治療前断面画像表示領域511と治療後画像を表示する治療後断面画像表示領域512とを表示する。尚、断面画像表示領域510に表示する断面画像は、OCT機能を用いて生成されたOCT断面画像(光断面画像)に基づいて生成されたものを使用する。
尚、断面画像表示領域510は、横断方向断面画像を表示する構成としているが、これに加えて、複数のOCT断面画像に基づいて生成された軸方向断面画像を断面画像表示領域510内に表示するようにしても良い。
X線画像表示領域520は、2種類の診断対象画像として、例えば、X線撮像装置470で撮像された治療前X線画像(第1X線画像)を表示する治療前X線画像表示領域521と治療後X線画像(第2X線画像)を表示する治療後X線画像領域522とを表示する。X線画像表示領域520では、指示マーカ523によって、治療前X線画像表示領域521及び治療後X線画像領域522の少なくとも一方において表示されるX線画像上の任意の位置を指定することができる。この指示マーカ523によって、治療前断面画像表示領域511及び治療後断面画像表示領域512にはそれぞれ、指示マーカ523で指定された位置において3次元画像から切り出される治療前断面画像及び治療後断面画像が表示される。
尚、指示マーカ523による位置の指定は、治療前X線画像表示領域521あるいは治療後X線画像領域522の一方の領域内での位置の指定に応じて、他方の領域内の対応する位置を自動的に検出して指定するようにしても良い。あるいは、治療前X線画像表示領域521及び治療後X線画像領域522それぞれの領域において、ユーザが同一の位置と判断する位置を個別に指定するようにしても良い。
また、指示マーカ523は、初期状態では、その先端を通る線分が表示されているX線画像に対して水平に定義されていて、その水平の線分によって3次元画像から切り出される治療前断面画像及び治療後断面画像を表示する構成としている。換言すれば、3次元画像の指定された位置から垂直(90度)に断面画像を切り出し表示する構成としているが、これに限定されない。例えば、指示マーカ523の向きを360度回転可能にして、その向きに応じて決定される角度によって3次元画像から切り出される治療前断面画像及び治療後断面画像を表示する構成としても良い。
操作領域530は、X線画像表示領域520内のX線画像を操作するためのX線画像操作領域550とを備える。また、操作領域530は、断面画像表示領域510内において、各断面画像を連続表示(再生)するための画像再生操作領域560とを備える。
X線画像操作領域550には、X線画像表示領域520内に指示マーカ523を表示させるための位置指定ボタン551が配置されている。位置指定ボタン551が押下されることで、X線画像表示領域520には、指示マーカ523が表示される。そして、ユーザは、操作パネル112上のマウスやトラックボール等の操作デバイスを用いて、指示マーカ523を治療前X線画像表示領域521及び治療後X線画像表示領域522の少なくとも一方の任意の位置に移動させる。これにより、断面画像表示領域510の治療前断面画像表示領域511と治療後断面画像表示領域512それぞれに、指示マーカ523が指示する位置に対応する治療前断面画像と治療後断面画像を表示させることが可能となる。
画像再生操作領域560には、巻き戻しボタン561と、停止ボタン562と、再生ボタン563とが配置されている。巻き戻しボタン561が押下されると、断面画像表示領域510に表示されている横断方向断面画像が、順次、生成順序の古い断面画像に切り替わる。つまり、血管内の軸方向と反対方向に進んだ場合の断面画像が連続的に表示される。尚、断面画像表示領域510に軸方向断面画像を合わせて表示している場合にあっては、横断方向断面画像の表示切替と同期して、ユーザインタフェース500の左方向に、指示マーカ523に対応する位置に、その位置を示す指示線が移動する。
再生ボタン563が押下される(再生指示が入力される)と、断面画像表示領域510に表示されている断面画像が、指定された再生レートで、順次、生成順序の新しい側の断面画像に切り替わる。つまり、軸方向に進んだ場合の断面画像が連続的に表示される。尚、断面画像表示領域510に軸方向断面画像を合わせて表示している場合にあっては、横断方向断面画像の表示切替と同期して、ユーザインタフェース500の右方向に、指示マーカ523に対応する位置に、その位置を示す指示線が移動する。
停止ボタン562が押下されると、押下されたタイミングで、断面画像の切り替わりが停止する。
6.画像生成処理
次に、信号処理部428における画像生成処理の詳細について説明する。この処理は、画像診断装置100のカテーテル(プローブ部101)から取得した時系列で並ぶ血管断面画像群と、X線撮像装置470によってカテーテル及び血管の走行状態(走行軌跡)を把握するために撮像したX線画像を用いて、血管の3次元画像を生成する。より具体的には、カテーテルの走行方向におけるカテーテルの中心軸に垂直方向に血管断面画像群を並べて血管の3次元画像を生成する。
以下、画像診断装置100における画像生成処理の処理フローについて、図6を用いて説明する。
図6は画像診断装置100の信号処理部428における画像生成処理の詳細を示すフローチャートである。この処理は、例えば、画像診断装置100による診断中に並行して実行しても良い。あるいは、ユーザインタフェース装置215から任意のタイミングで入力される実行指示に応じて実行しても良い。この場合、ラインメモリ部601aには、処理対象となる、一回の診断分の血管断面画像群及び対応するX線画像が少なくとも記憶されていることは言うまでもない。
ステップS701で、X線撮像装置470を画像診断装置100に接続した状態で、X線画像処理部606は、患者の診断対象部位をX線撮像装置470でX線画像を取得するとともに、断面画像処理部601aは血管断面画像を生成する。尚、X線撮像装置470及び画像診断装置100それぞれで処理する画像のフレームレートは同期していて、かつ一致させることができる。但し、一般的には、画像診断装置100のサンプリングレートは、X線撮像装置470のサンプリングレートよりも高い。また、X線撮像装置470では、カテーテルの配置状態と血管の配置状態を把握できる程度のサンプリングレートで構わないので、両者のサンプリングレートが必ずしも一致しているわけではない。そのため、必要に応じて、画像診断装置100のサンプリングレートを、X線撮像装置470のサンプリングレートに合うようにダウンサンプリングしても良い。
ステップS702で、X線画像処理部606は、取得したX線画像上からカテーテルの配置状態(カテーテル位置情報)を検出する。尚、患者を複数方向から撮像したX線画像を取得している場合には、カテーテルの配置状態としては、3次元の位置情報を検出することができる。
ステップS703で、X線画像処理部606は、取得したX線画像上から血管の配置状態(血管位置情報)を検出する。尚、患者を複数方向から撮像したX線画像を取得している場合には、血管の配置状態としては、3次元の位置情報を検出することができる。
ステップS704で、3次元画像構築部602は、カテーテルの配置状態が示すカテーテルの軌跡を3次元画像データの重心と設定し、重心からカテーテル軌跡に垂直な方向に各断面画像データを配列することで、血管の3次元画像データを構築する。ここで、3次元画像の一例を図7に示す。図7に示されるように、カテーテルの軌跡画像801に対して、前記軌跡上の各位置に対応する断面画像800a〜800eが、その重心を中心として配置された3次元画像を構築する。このように、前記軌跡に沿って断面画像データを配置することで、血管の配置状態を再現した3次元画像を生成することができる。
ステップS705で、3次元画像構築部602は、ステップS704で構築した3次元画像データ(第1の3次元画像)と比較する、比較対象となる断面画像データについて、同様に、3次元画像データ(第2の3次元画像)を構築する。
ステップS706で、X線画像表示部607は、構築した2つの3次元画像データ(第1の3次元画像と第2の3次元画像)から断面画像データをそれぞれ切り出すための基準位置となる、少なくとも1つのランドマーク(第1のランドマークと第2のランドマーク)のランドマーク位置をそれぞれ指定する。尚、この指定は、例えば、画像解析によって、3次元画像データ上の特徴点(例えば、血管の分岐)を抽出し、それをランドマーク位置として自動的に指定しても良い。
ステップS707で、表示位置抽出部603は、2つの3次元画像データ(第1の3次元画像と第2の3次元画像)に対して、指定されたランドマーク(第1のランドマークと第2のランドマーク)から等間隔に、血管位置情報が示す血管走行に対して指定された任意の方向になる位置(例えば、図では垂直)のデータをリサンプリングする。これにより、表示位置抽出部603は、2つの2次元画像データ(第1の再構築断面画像と第2の再構築断面画像)をそれぞれ再構築する。
ステップS708で、表示制御部604は、再構築された2つの2次元画像データ(第1の再構築断面画像と第2の再構築断面画像)を、表示位置指定部611で指定される位置に応じて、表示装置113に並列表示する。このとき、図5で説明したように、表示制御部604は、対応する3次元画像データ(第1の3次元画像と第2の3次元画像)を表示装置113に表示しても良い。また、図5では、2つの異なる断面画像を対比可能に並列表示にしているが、3つ以上の断面画像についても同様の表示制御を行っても良い。
尚、図5で説明したように、指示マーカ523の向きで角度指定された場合には、その指定された角度に応じて、表示位置抽出部603は、再構築断面画像を生成する。また、再生ボタン563が押下された場合には、指定された再生レートで、3次元画像から、現在指定されている位置での指定されている角度で断面画像を順次切り出し、表示装置に表示する。
以上説明したように、本実施形態によれば、カテーテルから取得した時系列で並ぶ血管断面画像群に対して、X線撮像装置によって撮像したX線画像(そのカテーテル及び血管の配置状態(カテーテルの軌跡))を利用することで、本来の血管の配置状態での断面画像で構成される血管の3次元画像を構築することができる。
これを利用することで、異なるタイミングで取得した、各3次元画像について、同一の尺度で、断層画像の診断を行うことができる。より正確な診断の一助となるシステムを提供することができる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

Claims (4)

  1. 診断用の画像を生成する画像診断装置であって、
    血管の断面画像を取得するためのカテーテルにおいて、前記血管内に挿入された前記カテーテルを含むX線画像を入力する入力手段と、
    前記カテーテルは波動信号を送受信する送受信部を有し、該送受信部にて受信された波動信号を所定のサンプリングレートで順次取得する取得手段と、
    前記入力手段で入力したX線画像から、前記カテーテルの配置状態及び前記送受信部の位置を検出する検出手段と、
    前記取得手段で順次取得した断面画像を、前記検出手段で検出した前記カテーテルの配置状態が示すカテーテルの軌跡の前記送受信部の対応する位置で、かつ前記軌跡に対して垂直に並べることで、前記血管の3次元画像を生成する生成手段と、
    前記生成手段で生成する前記3次元画像から断面画像を切り出す位置と角度を指定する指定手段と、
    前記指定手段で指定された位置から指定された角度で断面画像を切り出し、表示装置に表示する表示制御手段とを備え、
    前記表示制御手段は、再生指示に応じて、前記3次元画像から、前記指定手段で指定された位置から一定方向に位置を進めながら、指定された角度で断面画像を順次切り出し、前記表示装置に表示することを特徴とする画像診断装置。
  2. 前記生成手段で生成する前記3次元画像として、第1の3次元画像と第2の3次元画像の少なくとも2つを生成している場合において、前記表示制御手段は、前記第1の3次元画像と前記第2の3次元画像それぞれから、前記指定手段で指定された位置から、指定された角度で第1の断面画像と第2の断面画像を順次切り出し、前記表示装置に対比可能に表示する
    ことを特徴とする請求項1に記載の画像診断装置。
  3. 診断用の画像を生成する画像診断装置の作動方法であって、
    入力手段が、血管の断面画像を取得するためのカテーテルにおいて、前記血管内に挿入された前記カテーテルを含むX線画像を入力する入力工程と、
    取得手段が、前記カテーテルは波動信号を送受信する送受信部を有し、前記送受信部にて受信された波動信号を所定のサンプリングレートで順次取得する取得工程と、
    検出手段が、前記入力工程で入力されたX線画像から、前記カテーテルの配置状態及び前記、取得工程で得た断面画像から送受信部の位置を検出する検出工程と、
    生成手段が、前記取得工程で順次取得した断面画像を、前記検出工程で検出した前記カテーテルの配置状態が示すカテーテルの軌跡の前記取得工程で得た断面画像の対応する位置で、かつ前記軌跡に対して垂直に並べることで、前記血管の3次元画像を生成する生成工程と、
    指定手段が、前記生成工程で生成する前記3次元画像から断面画像を切り出す位置と角度の指定を受ける指定工程と、
    表示制御手段が、前記指定工程で指定された位置から指定された角度で断面画像を切り出し、表示装置に表示する表示制御工程とを備え、
    前記表示制御工程では、再生指示に応じて、前記3次元画像から、前記指定工程で指定された位置から一定方向に位置を進めながら、指定された角度で断面画像を順次切り出し、前記表示装置に表示することを特徴とする画像診断装置の作動方法。
  4. 診断用の画像を生成する画像診断装置の制御をコンピュータに機能させるためのプログラムを記憶した記憶媒体であって、
    血管の断面画像を取得するための波動信号を送受信する送受信部を有するカテーテルにおいて、前記血管内に挿入された前記カテーテルを含むX線画像と、
    断面画像とについて、
    前記コンピュータを、
    前記X線画像から、前記カテーテルの配置状態を検出する検出手段と、
    前記断面画像を、前記検出手段で検出した前記カテーテルの配置状態が示す軌跡の対応する位置で、かつ前記軌跡に対して垂直に並べることで、前記血管の3次元画像を生成する生成手段と、
    前記生成手段で生成する前記3次元画像から断面画像を切り出す位置と角度を指定する指定手段と、
    前記指定手段で指定された位置から指定された角度で断面画像を切り出し、表示装置に表示する表示制御手段として機能させ、
    前記表示制御手段は、再生指示に応じて、前記3次元画像から、前記指定手段で指定された位置から一定方向に位置を進めながら、指定された角度で断面画像を順次切り出し、前記表示装置に表示することを特徴とするプログラムを記憶した記憶媒体。
JP2015538639A 2013-09-27 2013-09-27 画像診断装置及びその作動方法及び記憶媒体 Active JP6284944B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/005782 WO2015044983A1 (ja) 2013-09-27 2013-09-27 画像診断装置及びその制御方法

Publications (2)

Publication Number Publication Date
JPWO2015044983A1 JPWO2015044983A1 (ja) 2017-03-02
JP6284944B2 true JP6284944B2 (ja) 2018-02-28

Family

ID=52742198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015538639A Active JP6284944B2 (ja) 2013-09-27 2013-09-27 画像診断装置及びその作動方法及び記憶媒体

Country Status (2)

Country Link
JP (1) JP6284944B2 (ja)
WO (1) WO2015044983A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4035586A1 (en) 2015-04-16 2022-08-03 Gentuity LLC Micro-optic probes for neurology
JP6981967B2 (ja) 2015-08-31 2021-12-17 ジェンテュイティ・リミテッド・ライアビリティ・カンパニーGentuity, LLC 撮像プローブおよびデリバリデバイスを含む撮像システム
JP2019522529A (ja) * 2016-06-22 2019-08-15 エスワイエヌシー−アールエックス、リミテッド 内腔に沿った管腔内デバイスの管腔内経路の推定
CN107392994B (zh) * 2017-06-30 2018-11-06 深圳大学 冠脉血管的三维重建方法、装置、设备及存储介质
JP7160935B2 (ja) 2017-11-28 2022-10-25 ジェンテュイティ・リミテッド・ライアビリティ・カンパニー 撮像システム
CN115484872A (zh) * 2020-03-31 2022-12-16 泰尔茂株式会社 图像处理装置、图像处理系统、图像显示方法及图像处理程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148095A (en) * 1997-09-08 2000-11-14 University Of Iowa Research Foundation Apparatus and method for determining three-dimensional representations of tortuous vessels
JP4526114B2 (ja) * 2004-05-21 2010-08-18 株式会社日立メディコ 管腔臓器切除シミュレーション方法
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP5562775B2 (ja) * 2010-09-15 2014-07-30 株式会社東芝 医用画像表示システム

Also Published As

Publication number Publication date
JPWO2015044983A1 (ja) 2017-03-02
WO2015044983A1 (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
JP7325430B2 (ja) 管腔内病巣評価及び処置計画のための解剖学的標識の決定及び可視化
US20160206267A1 (en) Image processing apparatus, image display system, imaging system, image processing method, and program
JP7391100B2 (ja) 管腔内超音波イメージングのための速度決定、並びに関連するデバイス、システム、及び方法
JP6284944B2 (ja) 画像診断装置及びその作動方法及び記憶媒体
JP6454681B2 (ja) 血管内光学撮像システム
JP2020103935A (ja) イメージングシステムの動作を制御する方法及びイメージを取得するシステム
JP5485760B2 (ja) 光干渉断層像形成装置及びその制御方法
JP6095770B2 (ja) 画像診断装置及びその作動方法、プログラム及びコンピュータ可読記憶媒体
JP6181192B2 (ja) 情報処理装置及びプログラム
EP2934282B1 (en) Locating intravascular images
US20150182192A1 (en) Imaging apparatus for diagnosis and image processing method
JP5592137B2 (ja) 光画像診断装置及びその表示制御方法
WO2014136137A1 (ja) 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
CN112512409A (zh) 血管内成像流程特异性工作流程引导和相关联的设备、系统和方法
JP6637029B2 (ja) 画像診断装置及びその作動方法、プログラム及びコンピュータ可読記憶媒体
US10470665B2 (en) Imaging apparatus for diagnosis and method of controlling the same
JP2022549208A (ja) 組み合わせ画像化のシステム及び方法
JP6389283B2 (ja) 血管内撮像
JP6794226B2 (ja) 画像診断装置、画像診断装置の作動方法およびプログラム
JP6100911B2 (ja) 画像診断装置及びその作動方法
US20220040402A1 (en) Methods and systems for automatic pullback trigger
JP6669720B2 (ja) 画像診断装置、その作動方法、プログラム及びコンピュータ可読記憶媒体
WO2020257619A1 (en) Range finder for oct luminal clearance
JP6100910B2 (ja) 情報処理装置、撮影システム、情報処理方法及びプログラム
JP6809905B2 (ja) 画像診断装置、画像診断装置の作動方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171214

TRDD Decision of grant or rejection written
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20171222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180131

R150 Certificate of patent or registration of utility model

Ref document number: 6284944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250