JP2015173843A - 医用画像表示装置および方法並びにプログラム - Google Patents

医用画像表示装置および方法並びにプログラム Download PDF

Info

Publication number
JP2015173843A
JP2015173843A JP2014052887A JP2014052887A JP2015173843A JP 2015173843 A JP2015173843 A JP 2015173843A JP 2014052887 A JP2014052887 A JP 2014052887A JP 2014052887 A JP2014052887 A JP 2014052887A JP 2015173843 A JP2015173843 A JP 2015173843A
Authority
JP
Japan
Prior art keywords
image
cross
puncture
index
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014052887A
Other languages
English (en)
Other versions
JP6026455B2 (ja
Inventor
潤 桝本
Jun Masumoto
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014052887A priority Critical patent/JP6026455B2/ja
Priority to US14/656,068 priority patent/US10617383B2/en
Priority to EP15158943.9A priority patent/EP2921116B1/en
Publication of JP2015173843A publication Critical patent/JP2015173843A/ja
Application granted granted Critical
Publication of JP6026455B2 publication Critical patent/JP6026455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3413Needle locating or guiding means guided by ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】超音波プローブによるスキャン面と穿刺ラインを含む断面とを一致させるための作業を、より容易に行うことができるようにする。【解決手段】超音波プローブによって被検体をスキャンすることにより、被検体の超音波画像を取得する。穿刺針用の穿刺ラインが設定され、穿刺ラインに中心軸線を有し、中心軸線から離れるほど不透明度が小さくなる柱状の指標45が重畳された3次元画像における、超音波画像G1に対応する断面の断面画像G2を3次元画像から取得する。超音波画像G1と断面画像G2とを表示する。この際、超音波プローブのスキャン面と穿刺ラインが設定された断面との位置関係に応じて、断面画像G2に表示される指標45の太さ、不透明度および断面形状が変化する。【選択図】図8

Description

本発明は、被検体の超音波画像を取得する超音波診断装置において、超音波プローブの操作を支援可能な医用画像表示装置および方法並びにプログラムに関するものである。
従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、この種の超音波診断装置は、超音波プローブと、超音波プローブに接続された装置本体とを有しており、超音波プローブから被検体に向けて超音波を送信して被検体をスキャンし、これによる被検体からの超音波エコーを超音波探触子で受信し、受信したエコー信号を装置本体で電気的に処理することにより超音波画像の生成を行う。
また、測定対象となる被検体内の特定の部位の生検等を専用の穿刺針を用いて容易に行うことができるように、超音波プローブに穿刺針を取り付けることできる構造(穿刺アダプタ)を備えた超音波診断装置も知られている。このような装置においては、穿刺針が穿刺される際の進入経路を表すガイドライン(以下、穿刺ガイドラインとする)をディスプレイ上に表示させることができる。このような超音波プローブを使用して、ガイドラインにしたがって穿刺針を被検体内に穿刺しながら超音波診断装置を作動させると、操作者は、被検体内の画像と穿刺針の動きを同時にディスプレイ上で確認することができ、これにより安全な穿刺術(例えば生検(バイオプシー)、ドレナージ等)を行うことができる。
一方、X線CT画像や、MRI画像等、超音波画像以外の医用画像の方が、超音波画像よりも鮮明である。このため、リアルタイムの超音波画像を表示させるとともに、表示中の超音波画像と同一断面のX線CT画像やMRI画像等の断面画像を表示させる装置が提案されている(特許文献1参照)。また、このような装置において、腫瘍等の位置に基づいて、断面画像に穿刺針を穿刺すべきライン(以下、穿刺ラインとする)を設定しておき、超音波プローブによるスキャン面と穿刺ラインを含む断面(以下、穿刺断面とする)とが一致するように、すなわち超音波画像と断面画像とが一致するように超音波プローブを移動させ、一致した位置において穿刺を行うことにより、穿刺針の穿刺ガイドラインと設定した穿刺ラインとを一致させて、安全な穿刺を行うことができる。この場合、超音波画像に穿刺ガイドラインを表示しておけば、穿刺ガイドラインと、断面画像に含まれる穿刺ラインとが一致するように超音波プローブを移動させることにより、超音波プローブによるスキャン面と穿刺断面とを一致させることができる。
しかしながら、超音波プローブによるスキャン面が穿刺断面と一致するまでには、体表面上において、超音波プローブの位置や方向を何度も変える必要があるため、その作業が非常に煩雑である。
このため、穿刺ラインと穿刺ガイドラインとの距離を表す矩形の距離マークを、超音波画像の穿刺ガイドラインおよび断面画像の穿刺ライン上に2つ配置し、超音波プローブによるスキャン面と穿刺断面との距離に応じて、矩形の距離マークの大きさを変化させて表示する手法が提案されている(特許文献2参照)。特許文献2に記載された手法を用いることにより、穿刺ガイドラインを穿刺ラインと一致させることによる、超音波プローブによるスキャン面と穿刺断面とを一致させるための作業を容易に行うことが可能となる。
特開2002−112998号公報 特開2012−040220号公報
しかしながら、特許文献2に記載された手法は、穿刺ガイドラインを穿刺ラインと一致させるためには、2つの距離マークの大きさの変化を常時確認する必要があるため、穿刺ガイドラインと穿刺ラインとの距離感が直感的に分かりにくい。
本発明は上記事情に鑑みなされたものであり、超音波プローブによるスキャン面と穿刺ラインを含む断面とを一致させるための作業をより容易に行うことができるようにすることを目的とする。
本発明による医用画像表示装置は、超音波プローブによって被検体をスキャンすることにより、被検体の超音波画像を取得する超音波画像取得手段と、
穿刺針用の穿刺ラインが設定され、穿刺ラインに中心軸線を有し、中心軸線から離れるほど不透明度が小さくなる柱状の指標が重畳された3次元画像における、超音波画像に対応する断面の断面画像を3次元画像から取得する断面画像取得手段と、
断面画像を表示する表示制御手段とを備えたことを特徴とするものである。
「穿刺針用の穿刺ライン」とは、被検体の体表から病変部分に向けて、穿刺針を侵入させる経路を表すラインを意味する。
なお、本発明による医用画像表示装置においては、指標の不透明度を中心軸線から離れるほど線形に小さくしてもよい。
また、本発明による医用画像表示装置においては、指標の不透明度を中心軸線から離れるほどガウス分布状に小さくしてもよい。
また、本発明による医用画像表示装置においては、指標を穿刺ラインを含む穿刺断面に平行な方向と穿刺断面に直交する方向とで距離尺度が異なるものとしてもよい。ここで、「距離尺度が異なる」とは、穿刺ラインを含む穿刺断面に平行な方向と穿刺断面に直交する方向とで、指標の中心軸から外縁までの距離が異なることを意味する。例えば、指標の断面形状を楕円形とし、楕円の長軸を穿刺ラインを含む穿刺断面に平行な方向に、短軸を穿刺断面に直交する方向に配置するように指標を重畳することにより、指標を、穿刺ラインを含む穿刺断面に平行な方向と穿刺断面に直交する方向とで距離尺度が異なるものとすることができる。
また、本発明による医用画像表示装置においては、指標は円柱形状であってもよい。
また、本発明による医用画像表示装置においては、指標は3次元画像に書き込まれてなるものであっててもよい。
また、本発明による医用画像表示装置においては、指標を3次元画像と別個に生成されてなるものとし、断面画像取得手段を、3次元画像に指標を重畳して断面画像を取得する手段としてもよい。
また、本発明による医用画像表示装置においては、表示制御手段を、断面画像における指標の表示、非表示および半透明表示の少なくとも2つを切り替え可能な手段としてもよい。
また、本発明による医用画像表示装置においては、3次元画像に穿刺ラインを設定する穿刺ライン設定手段をさらに備えるものとしてもよい。
本発明による医用画像表示方法は、超音波プローブによって被検体をスキャンすることにより、被検体の超音波画像を取得し、
穿刺針用の穿刺ラインが設定され、穿刺ラインに中心軸線を有し、中心軸線から離れるほど不透明度が小さくなる柱状の指標が重畳された3次元画像における、超音波画像に対応する断面の断面画像を3次元画像から取得し、
断面画像を表示することを特徴とするものである。
なお、本発明による医用画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、穿刺ラインに中心軸線を有し、中心軸線から離れるほど不透明度が小さくなる柱状の指標が3次元画像に重畳されてなり、超音波画像と、指標が重畳された3次元画像における超音波画像に対応する断面の断面画像とが表示される。このため、超音波プローブによるスキャン面が穿刺ラインが設定された穿刺断面から離れている場合は、指標は細くかつ薄く見え、近づくほど太くかつその中心付近が濃く見えるようになる。したがって、超音波プローブによるスキャン面と穿刺断面との距離を、指標の太さおよび不透明度により直感的に認識することができる。また、超音波プローブによるスキャン面が穿刺ラインが設定された断面に対して傾斜している場合は、指標の断面が見えるため、超音波プローブによるスキャン面が穿刺断面に対して傾斜していることも容易に認識することができる。よって、超音波プローブによるスキャン面と穿刺ラインを含む断面とを一致させるための作業をより容易行うことができる。
また、指標の不透明度を中心軸線から離れるほどガウス分布状に小さくすることにより、超音波プローブによるスキャン面が穿刺ラインに近づいたことをより容易に認識することができる。
また、穿刺断面に平行な方向とこの断面に直交する方向とで、指標の距離尺度を異なるものとすることにより、3次元画像における穿刺ラインが存在する断面と、超音波プローブによるスキャン面との回転の量および方向の相違が、指標の太さの相違として認識できるようになる。このため、3次元画像における穿刺ラインが存在する面と、超音波プローブによるスキャン面との回転の量および方向の関係も、直感的に認識することが可能となる。
また、指標が3次元画像と別個に生成されてなる場合には、断面画像における指標の表示、非表示および半透明表示の少なくとも2つを切り替え可能とすることにより、穿刺を行う際に指標が邪魔にならないように、指標を非表示にしたり、半透明表示にしたりすることができるため、断面画像における穿刺の対象となる位置の確認を正確に行うことができる。
本発明の第1の実施形態による医用画像表示装置を適用した超音波診断装置の構成を示す概略ブロック図 穿刺ラインの設定を説明するための図 制御部の構成を示す概略ブロック図 指標の重畳を説明するための図 指標の不透明度を説明するための図 第1の実施形態において行われる処理を示すフローチャート 表示部に表示される超音波画像および超音波画像と同一断面の断面画像を示す図 超音波画像のスキャン面と穿刺ラインが設定された断面とが平行である場合において、指標が表示される断面画像を示す図 穿刺ラインが設定された断面に対して、超音波画像のスキャン面が傾斜している状態を示す図 スキャン面により切断された指標が断面画像に表示される状態を示す図 スキャン面が穿刺断面と直交している状態を示す図 太い指標が断面画像に表示される状態を示す図 スキャン面が穿刺断面と略一致している状態を示す図 細い指標が断面画像に表示される状態を示す図 本発明の第2の実施形態による医用画像表示装置を適用した超音波診断装置の構成を示す概略ブロック図
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の第1の実施形態による医用画像表示装置を適用した超音波診断装置の構成を示す概略ブロック図である。図1に示すように、第1の実施形態による超音波診断装置1は、超音波プローブ2、超音波画像取得部3、記憶部4、制御部5、入力部6および表示部7を備える。なお、超音波画像取得部3および制御部5が、本発明の医用画像表示装置を構成する。
超音波プローブ2は、被検体内の診断部位に向けて超音波を送信するとともに体内で反射した超音波を受信するものである。本実施形態の超音波プローブ2は、1次元の超音波トランスデューサアレイを構成する複数の超音波トランスデューサを備えており、この超音波トランスデューサから被検体に対して超音波を送信し、反射してきた超音波を受信してエコー信号を出力するように構成されている。なお、超音波プローブ2には、被検体に対して穿刺を行うための穿刺針10を取り付けて案内するための穿刺アダプタ11が設けられている。また、本実施形態においては、超音波プローブ2の位置および方向を検出する位置検出部12が設けられている。位置検出部12は、例えば磁気発生部12aおよび超音波プローブ2に取り付けられた磁気センサ12bからなる。なお、位置検出部12はこれに限定されるものではなく、光学センサおよびカメラ等であってもよい。
超音波画像取得部3は、超音波プローブ2を駆動しつつ、超音波プローブ2が出力したエコー信号を受信し、エコー信号に対して増幅およびA/D変換等の各種信号処理を施して、被検体内の組織に関するBモード画像(受信信号の振幅を点の明るさ(輝度)により表した画像)を超音波画像G1として生成する。
記憶部4は、ハードディスクドライブ(HDD)、RAMおよびキャッシュメモリ(不図示)等の各種記憶媒体からなる。HDDは大容量の記憶媒体であり、後述する3次元画像V0の画像データおよび制御部5の処理を実現するためにプログラム等が記憶される。RAMは制御部5がプログラムを実行する際の作業領域となる。
ここで、本実施形態による超音波診断装置1は、ネットワーク30を介して、画像データベース31と接続されている。画像データベース31には、マルチスライスCT装置またはMRI装置等のモダリティ32において、被検体を撮影して得られた3次元画像V0の画像データが記憶されている。なお、本実施形態においては、モダリティ32はマルチスライスCT装置であるものとする。
ここで、3次元画像V0は、診断対象となる腹部を断層面に垂直な方向に沿って順に得られる2次元の断層画像を積層することによって取得されるものであり、本実施形態においては、モダリティ32において撮影された複数の断層画像を重ね合わせることにより生成される。なお、CT装置を用いて取得した3次元画像は、3次元空間上での格子点を構成するボクセル(すなわち画素位置)毎にX線の吸収量を蓄えたデータとなり、各画素位置に対して1つの信号値(CT装置で撮影した場合は、X線の吸収量を示す値)が与えられたデータとなる。
なお、本実施形態においては、3次元画像V0には、穿刺針10による穿刺を支援するための穿刺ラインが予め設定される。穿刺ラインの設定は穿刺ライン設定部33により行われる。なお、穿刺ライン設定部33は、例えば医師の端末に設けられたコンピュータであり、穿刺ラインを設定するためのプログラムをコンピュータにおいて実行することにより、3次元画像V0に穿刺ラインが設定される。
図2は穿刺ラインの設定を説明するための図である。まず、3次元画像V0における仮想的なスキャン面の2次元投影像をコンピュータのモニタに表示する。この仮想的なスキャン面は、3次元画像V0に含まれる被検体の体表を仮想的な超音波プローブによるスキャンした場合のスキャン面に相当する。なお、スキャン面は3次元画像V0の空間における任意の位置および方向に移動させることができる。この作業は、コンピュータにおけるキーボード、マウス等の入力部を用いて行われる。操作者は、3次元画像V0内においてスキャン面を移動させながら、穿刺の対象となる病変部位40を特定する。そして、被検体の体表41から穿刺針を最も安全に病変部位40まで侵入させることができるスキャン面44を特定し、そのスキャン面44において体表41と病変部位40とを結ぶ直線を穿刺針10を挿入すべき穿刺ライン43に設定する。なお、3次元画像V0には、穿刺ライン43の開始点および終点の座標の情報は、3次元画像V0と関連づけられて画像データベース21に保存される。ここで、穿刺ライン43が存在するスキャン面44は、以降の説明において穿刺断面44と称する。
制御部5は、本実施形態に係る超音波診断装置が行う各種処理の制御を行う。図3は制御部5の構成を示す概略ブロック図である。図3に示すように制御部5は、位置算出部21、断面画像取得部22および表示制御部23を備える。なお、制御部5はCPU等の処理装置であり、記憶部4のHDDに記憶されたプログラムを読み出して、位置算出部21、断面画像取得部22および表示制御部23の機能を実行する。
位置算出部21は位置検出部12と接続されている。位置検出部12は、上述したように磁気発生部12aおよび超音波プローブ2に取り付けられた磁気センサ12bとからなり、磁気発生部12aから発生される磁気を磁気センサ12bにより検出する。位置算出部21は、この検出信号に基づいて、磁気発生部12aを原点とする3次元空間の座標系における超音波プローブ2の位置および方向を算出する。そして、超音波プローブ2の位置および方向に基づいて、超音波画像G1における磁気発生部12aを原点とする3次元空間の座標系(以下、超音波画像G1の座標系とする)における位置情報を算出する。この際、位置算出部21は、超音波画像G1の各画素について位置情報を算出する。
断面画像取得部22は、超音波画像G1の位置情報に基づいて、記憶部4に保存された3次元画像V0における、超音波画像G1のスキャン面に対応する断面を特定し、この断面の断面画像G2を3次元画像V0から生成する。この際、断面画像取得部22は、超音波画像G1の座標系と3次元画像V0の座標系との座標変換を行って、超音波画像G1のスキャン面に対応する3次元画像V0の断面を特定する。このため、本実施形態においては、まず、超音波画像G1の座標系と3次元画像V0の座標系との位置合わせ処理が行われる。位置合わせ処理については後述する。
表示制御部23は、3次元画像V0に指標を重畳する。図4は指標の重畳を説明するための図である。図4に示すように、指標45は底面が楕円形の柱状の3次元の図形であり、表示制御部23は、底面における重心を通る垂線と穿刺ライン43とが一致し、かつ穿刺ライン43の開始点が上面に、終点が底面に位置するように、指標45の長さおよび位置を調整して、指標45を3次元画像V0に重畳する。ここで、指標45を表す画像データは記憶部4に記憶されている。なお、図5に示すように指標45は、その底面の短軸が穿刺断面44と一致し、長軸が穿刺断面44と直交するように、3次元画像V0に重畳される。また、指標45は任意の色を有するものであるが、図5に示すように、その不透明度は中心軸線、すなわち穿刺ライン43から離れるほど小さくなる。具体的には、不透明度は中心軸線から離れるほどガウス分布状に小さくなる。なお、不透明度は線形に小さくなるものであってもよい。断面画像取得部22は、このようにして指標45が重畳された3次元画像V0から断面画像G2を生成する。そして、表示制御部23は、超音波画像G1と断面画像G2とを並べて表示部7に表示する。
入力部6は、キーボード、マウスおよびタッチパネル等の公知の入力装置からなる。
表示部7は、液晶モニタおよびCRT等の公知の表示装置からなる。
次いで、第1の実施形態において行われる処理について説明する。図6は第1の実施形態において行われる処理を示すフローチャートである。第1の実施形態においては、超音波プローブ2により取得された、リアルタイムで変更される超音波画像G1のスキャン面に対応する断面画像G2を3次元画像から取得し、超音波画像G1と断面画像G2とを並べて表示部7に表示するものである。このため、まず、超音波画像G1の座標系と3次元画像V0の座標系との位置合わせ処理が行われる(ステップST1)。なお、3次元画像V0には、表示制御部23により指標45が重畳されているものとする。
位置合わせ処理においては、操作者は超音波プローブ2により被検体をスキャンして、任意のスキャン面の超音波画像G1を表示部7に表示する。また、入力部6からの操作により、3次元画像V0における任意の断面の断面画像G2を表示部7に表示する。そして、超音波画像G1および断面画像G2を見比べながら、超音波プローブ2によるスキャン面および3次元画像V0の断面の少なくとも一方を移動させ、超音波プローブ2によるスキャン面および3次元画像V0の断面とを一致させて、被検体における同一断面の超音波画像G1および断面画像G2を表示部7に表示する。
同一断面についての超音波画像G1および断面画像G2が表示されると、操作者は同一断面の表示がなされたことの指示を入力部6から制御部5に対して行う。これにより、超音波画像G1の座標系と3次元画像V0の座標系との間の対応関係が算出されて記憶部4に記憶され、位置合わせ処理を終了する。この対応関係を参照することにより、超音波画像G1の座標系の3次元画像V0の座標系への変換が可能となる。
位置合わせ処理後は、操作者は超音波プローブ2により被検体をスキャンする(ステップST2)。スキャンの都度、位置検出部12により超音波プローブ2の位置および方向を表す信号が位置算出部21に入力され、位置算出部21が、超音波画像G1の各画素についての位置情報を算出する(ステップST3)。そして、断面画像取得部22が、記憶部4に記憶された対応関係を参照して、超音波画像G1の各画素の位置情報を3次元画像V0の座標系に変換し、これに基づいて、超音波画像G1のスキャン面に対応する断面を特定し、その断面の断面画像G2を取得する(ステップST4)。そして、表示制御部23は、超音波画像G1と断面画像G2とを表示部7に表示し(ステップST5)、ステップST2にリターンする。これにより、リアルタイムで表示される超音波画像G1に追従するようにして、図7に示すように、超音波画像G1と同一断面の断面画像G2が表示部7に表示される。なお、超音波画像G1には、穿刺アダプタ11によりガイドされる穿刺針10のガイドライン47が表示される。
ここで、本実施形態においては、3次元画像V0には指標45が重畳されている。指標45は中心軸線から離れるほど不透明度が小さくなるため、超音波画像G1のスキャン面が、穿刺ライン43が設定された穿刺断面44から、指標45の径よりも大きく離れている場合は、断面画像G2には指標45は表示されないが、超音波画像G1のスキャン面が穿刺断面44に近づくにつれて、徐々に指標45が断面画像G2に表示される。
図8は、超音波画像G1のスキャン面と穿刺断面44とが平行である場合において、指標45が表示される断面画像G2を示す図である。図8に示すように、超音波画像G1のスキャン面、すなわち表示すべき断面画像G2の断面が指標45の長軸の端部近傍の位置50aに到達した場合、断面画像G2には細くかつ薄い色の指標45aが表示される。そして、超音波プローブ2の方向をこの状態に保ちつつ、超音波画像G1のスキャン面を穿刺断面44に近づけると、徐々に指標45が太くなりかつ中心軸付近の色が濃くなっていく。すなわち、図8に示すように、超音波画像G1のスキャン面が指標45の中心軸線の近傍の位置50bに到達した場合、断面画像G2には、指標45aよりも太くかつ中心軸付近の色が濃い指標45bが表示される。そして、超音波画像G1のスキャン面と穿刺断面44とが一致すると、指標45は最も太くかつ中心軸線付近の色は最も濃くなる。
なお、図9に示すように、穿刺断面44に対して超音波画像G1のスキャン面46が傾斜している場合には、指標45はスキャン面46により切断されるため、断面画像G2には、図10に示すように、スキャン面46により切断された指標45cが表示される。
また、本実施形態による指標45は、底面の短軸が穿刺断面44と一致し、長軸が穿刺断面44と直交するように、3次元画像V0に付与される。このため、図11に示すように、スキャン面46が穿刺断面44と直交している場合、図12に示すように、太い指標45dが断面画像G2に表示される。一方、図13に示すように、スキャン面46が穿刺断面44と略一致している場合、図14に示すように、細い指標45eが断面画像G2に表示される。
このため、操作者は、柱状の指標45が表示されるように、超音波プローブ2の方向を変更させる。その後、断面画像G2に表示される指標45が最も太くかつ中心軸線の色が最も濃くなるように、超音波プローブ2を平行移動させる。そして、断面画像G2に表示される指標45が最も細くなるように、超音波プローブ2を回転させ、さらに、超音波画像G1に表示された穿刺ガイドライン47と指標45中心軸とを一致させることにより、超音波画像G1のスキャン面46と穿刺断面44とを一致させることができる。
この状態において、穿刺針10を被検体に侵入させることにより、予め設定した穿刺ライン43に沿って安全に穿刺針10を被検体に侵入させることができる。
なお、第1の実施形態においては、表示制御部23により3次元画像V0に対して指標45が重畳されているため、操作者の入力部6からの指示により、断面画像G2における指標45の表示および非表示を切り替えることができる。この場合、指標45の表示および非表示のみではなく、半透明表示もできるようにしてもよく、表示と半透明表示、非表示と半透明表示とを切り替えることができるようにしてもよい。これにより、穿刺を行う際に、指標45を半透明表示にしたり、非表示にしたりすることができるため、断面画像G2における穿刺の対象となる病変位置の確認を正確に行うことができる。また、超音波プローブ2の移動中も、指標45が邪魔な場合には、指標45の非表示あるいは半透明表示の切り替えを行うこともできる。
このように、本実施形態においては、穿刺ライン43に中心軸線を有し、中心軸線から離れるほど不透明度が小さくなる柱状の指標45を3次元画像V0に重畳し、超音波画像G1と、指標45が重畳された3次元画像V0における超音波画像G1に対応する断面の断面画像G2とを表示するようにしたものである。このため、超音波プローブ2によるスキャン面が穿刺ライン43から離れている場合は、指標45は細くかつ薄く見え、近づくほど太くかつその中心軸付近が濃く見えるようになる。したがって、超音波プローブ2によるスキャン面46と穿刺断面44との距離を、指標45の太さおよび不透明度により直感的に認識することができる。また、超音波プローブ2によるスキャン面46が穿刺断面44に対して傾斜している場合は、指標45の断面が見えるため、超音波プローブ2によるスキャン面46が穿刺断面44に対して傾斜していることも容易に認識することができる。したがって、超音波プローブ2によるスキャン面46と穿刺ライン43を含む穿刺断面44とを一致させるための作業をより容易行うことができる。
また、指標45の不透明度を中心軸線から離れるほど小さくしているため、超音波プローブ2によるスキャン面46が穿刺ライン43に近づいたことをより容易に認識することができる。
また、指標45を穿刺ライン43を含む穿刺断面44に平行な方向と穿刺断面44面に直交する方向とで距離尺度が異なるものとする、例えば指標45の底面を楕円形状とすることにより、穿刺断面44と超音波プローブ2によるスキャン面46との回転の量および方向の相違が、指標45の太さの相違として認識できるようになる。このため、スキャン面46と穿刺断面44との回転の量および方向の関係も、直感的に認識することが可能となる。
なお、上記第1の実施形態においては、図15に示すように、穿刺ライン設定部33を超音波診断装置1に設けるようにしてもよい。以下、この場合において行われる処理を第2の実施形態他として説明する。
第2の実施形態においては、モダリティ32において取得された3次元画像V0は、穿刺ライン43の設定は行われずに、画像データベース31に保存される。超音波診断装置1は、画像データベース31に保存された3次元画像V0を取得して記憶部4に記憶する。そして、入力部7からの指示により、穿刺ライン設定部33が、上記第1の実施形態と同様に、3次元画像V0に穿刺ライン43を設定する。この場合、3次元画像V0の2次元投影像は表示部7に表示され、操作者は入力部6を操作して、穿刺ライン43を3次元画像V0に設定する。なお、第2の実施形態においては、穿刺ライン設定部33は、設定した穿刺ライン43の開始点および終了点の座標位置を、記憶部4に記憶する。
穿刺ライン設定部33により穿刺ライン43が設定されると、上記第1の実施形態と同様に、穿刺ライン43が設定された3次元画像V0に対して、穿刺ライン43の開始点および終了点の座標位置に基づいて、3次元画像V0に指標45が重畳される。そして、第1の実施形態と同様に、超音波プローブ2の位置および方向を変更させることにより、断面画像G2に指標45を表示させることができる。
なお、上記第1の実施形態においては、穿刺ライン設定部33において、3次元画像V0に指標45を重畳させるようにしてもよい。この場合、超音波診断装置1においては、指標45が重畳された3次元画像V0が取得されるため、断面画像G2における指標45の非表示および半透明表示等ができなくなる。このため、穿刺ライン設定部33において、3次元画像V0に指標45を重畳させる場合には、指標45を重畳した3次元画像V0と、指標45の重畳前の3次元画像V0の双方を画像データベース31に保存しておき、超音波診断装置1において双方の3次元画像V0を取得することが好ましい。これにより、断面画像G2の指標45を非表示にしたい場合には、指標45が重畳されていない3次元画像V0の対応する断面の断面画像G2を表示させるようにすれば、指標45の表示および非表示を切り替えることができる。
また、上記第1および第2の実施形態においては、指標45の底面を楕円としているが、これに限定されるものではなく、長方形、一方向に潰れた多角形等、穿刺ライン43を含む面に平行な方向とこの面に直交する方向とで距離尺度が異なる形状であれば、任意の形状を用いることができる。ここで、上記実施形態においては、長軸が穿刺断面44と直交するように指標45を3次元画像V0に重畳しているが、短軸が穿刺断面44と直交するように指標45を3次元画像V0に重畳してもよい。この場合、スキャン面46と穿刺断面44との回転の量および方向が一致すると、指標45は最も太く断面画像G2に表示されることとなる。
また、指標の底面の形状は、穿刺ラインを含む面に平行な方向とこの面に直交する方向とで距離尺度が異なる形状に限定されるものではなく、底面の形状を円形、正方形、正三角形および正多角形等として、指標を円柱形状あるいは角柱形状とすることにより、穿刺ラインを含む面に平行な方向とこの面に直交する方向とで距離尺度が同一の形状としてもよい。
また、上記実施形態においては、指標45の不透明度を中心軸線から離れるほど小さくしているが、指標45を完全に不透明なものとしてもよい。
1 超音波診断装置
2 超音波プローブ
3 超音波画像取得部
4 記憶部
5 制御部
6 入力部
7 表示部
10 穿刺針
11 穿刺アダプタ
12 位置検出部
21 位置算出部
22 断面画像取得部
23 表示制御部
30 ネットワーク
31 画像データベース
32 モダリティ
33 穿刺ライン設定部
41 体表
43 穿刺ライン
44 穿刺断面
45 指標
46 スキャン面

Claims (11)

  1. 超音波プローブによって被検体をスキャンすることにより、前記被検体の超音波画像を取得する超音波画像取得手段と、
    穿刺針用の穿刺ラインが設定され、該穿刺ラインに中心軸線を有し、該中心軸線から離れるほど不透明度が小さくなる柱状の指標が重畳された3次元画像における、前記超音波画像に対応する断面の断面画像を前記3次元画像から取得する断面画像取得手段と、
    前記断面画像を表示する表示制御手段とを備えたことを特徴とする医用画像表示装置。
  2. 前記指標は、前記不透明度が前記中心軸線から離れるほど線形に小さいことを特徴とする請求項1記載の医用画像表示装置。
  3. 前記指標は、前記不透明度が前記中心軸線から離れるほどガウス分布状に小さいことを特徴とする請求項1記載の医用画像表示装置。
  4. 前記指標は、前記穿刺ラインを含む穿刺断面に平行な方向と該穿刺断面に直交する方向とで距離尺度が異なることを特徴とする請求項1から3のいずれか1項記載の医用画像表示装置。
  5. 前記指標は、円柱形状であることを特徴とする請求項1から4のいずれか1項記載の医用画像表示装置。
  6. 前記指標が、前記3次元画像に書き込まれてなることを特徴とする請求項1から5のいずれか1項記載の医用画像表示装置。
  7. 前記指標が前記3次元画像と別個に生成されてなり、前記断面画像取得手段は、前記3次元画像に前記指標を重畳して前記断面画像を取得する手段であることを特徴とする請求項1から5のいずれか1項記載の医用画像表示装置。
  8. 前記表示制御手段は、前記断面画像における前記指標の表示、非表示および半透明表示の少なくとも2つを切り替え可能な手段であることを特徴とする請求項7記載の医用画像表示装置。
  9. 前記3次元画像に前記穿刺ラインを設定する穿刺ライン設定手段をさらに備えたことを特徴とする請求項1から8のいずれか1項記載の医用画像表示装置。
  10. 超音波プローブによって被検体をスキャンすることにより、前記被検体の超音波画像を取得し、
    穿刺針用の穿刺ラインが設定され、該穿刺ラインに中心軸線を有し、該中心軸線から離れるほど不透明度が小さくなる柱状の指標が重畳された3次元画像における、前記超音波画像に対応する断面の断面画像を前記3次元画像から取得し、
    前記断面画像を表示することを特徴とする医用画像表示方法。
  11. 超音波プローブによって被検体をスキャンすることにより、前記被検体の超音波画像を取得する手順と、
    穿刺針用の穿刺ラインが設定され、該穿刺ラインに中心軸線を有し、該中心軸線から離れるほど不透明度が小さくなる柱状の指標が重畳された3次元画像における、前記超音波画像に対応する断面の断面画像を前記3次元画像から取得する手順と、
    前記断面画像を表示する手順とをコンピュータに実行させることを特徴とする医用画像表示プログラム。
JP2014052887A 2014-03-17 2014-03-17 医用画像表示装置およびその作動方法並びにプログラム Active JP6026455B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014052887A JP6026455B2 (ja) 2014-03-17 2014-03-17 医用画像表示装置およびその作動方法並びにプログラム
US14/656,068 US10617383B2 (en) 2014-03-17 2015-03-12 Medical image display apparatus, method, and medium
EP15158943.9A EP2921116B1 (en) 2014-03-17 2015-03-13 Medical image display apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014052887A JP6026455B2 (ja) 2014-03-17 2014-03-17 医用画像表示装置およびその作動方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2015173843A true JP2015173843A (ja) 2015-10-05
JP6026455B2 JP6026455B2 (ja) 2016-11-16

Family

ID=52669524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014052887A Active JP6026455B2 (ja) 2014-03-17 2014-03-17 医用画像表示装置およびその作動方法並びにプログラム

Country Status (3)

Country Link
US (1) US10617383B2 (ja)
EP (1) EP2921116B1 (ja)
JP (1) JP6026455B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6078134B1 (ja) * 2015-10-15 2017-02-08 株式会社日立製作所 医療システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939881B2 (en) * 2014-06-17 2021-03-09 Koninklijke Philips N.V. Guidance device for a tee probe
US9947097B2 (en) * 2016-01-19 2018-04-17 General Electric Company Method and system for enhanced fetal visualization by detecting and displaying a fetal head position with cross-plane ultrasound images
CN105748160B (zh) * 2016-02-04 2018-09-28 厦门铭微科技有限公司 一种穿刺辅助方法、处理器及ar眼镜
KR20170093632A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN109394318A (zh) * 2018-12-18 2019-03-01 牡丹江医学院附属红旗医院 一种肾脏穿刺辅助设备
CN112043359B (zh) * 2020-09-28 2023-02-28 上海联影医疗科技股份有限公司 乳腺穿刺方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061858A (ja) * 2006-09-08 2008-03-21 Toshiba Corp 穿刺治療ナビゲーション装置
JP2010220770A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 超音波診断装置及び穿刺支援用制御プログラム
JP2012040220A (ja) * 2010-08-20 2012-03-01 Ge Medical Systems Global Technology Co Llc 医用画像装置
JP2012135394A (ja) * 2010-12-27 2012-07-19 Ge Medical Systems Global Technology Co Llc 超音波診断装置
JP2013220132A (ja) * 2012-04-13 2013-10-28 Ge Medical Systems Global Technology Co Llc 穿刺計画支援装置、医用画像装置及び超音波診断装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4443672B2 (ja) * 1998-10-14 2010-03-31 株式会社東芝 超音波診断装置
JP4632508B2 (ja) 2000-10-05 2011-02-16 東芝医用システムエンジニアリング株式会社 超音波穿刺支援装置
JP5348889B2 (ja) * 2005-10-06 2013-11-20 株式会社日立メディコ 穿刺治療支援装置
JP5147656B2 (ja) * 2008-11-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US9895135B2 (en) * 2009-05-20 2018-02-20 Analogic Canada Corporation Freehand ultrasound imaging systems and methods providing position quality feedback
US9226729B2 (en) * 2010-09-28 2016-01-05 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061858A (ja) * 2006-09-08 2008-03-21 Toshiba Corp 穿刺治療ナビゲーション装置
JP2010220770A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 超音波診断装置及び穿刺支援用制御プログラム
JP2012040220A (ja) * 2010-08-20 2012-03-01 Ge Medical Systems Global Technology Co Llc 医用画像装置
JP2012135394A (ja) * 2010-12-27 2012-07-19 Ge Medical Systems Global Technology Co Llc 超音波診断装置
JP2013220132A (ja) * 2012-04-13 2013-10-28 Ge Medical Systems Global Technology Co Llc 穿刺計画支援装置、医用画像装置及び超音波診断装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6078134B1 (ja) * 2015-10-15 2017-02-08 株式会社日立製作所 医療システム
WO2017065173A1 (ja) * 2015-10-15 2017-04-20 株式会社日立製作所 医療システム
CN108135577A (zh) * 2015-10-15 2018-06-08 株式会社日立制作所 医疗系统
CN108135577B (zh) * 2015-10-15 2020-08-04 株式会社日立制作所 医疗系统

Also Published As

Publication number Publication date
US10617383B2 (en) 2020-04-14
JP6026455B2 (ja) 2016-11-16
EP2921116A1 (en) 2015-09-23
US20150257730A1 (en) 2015-09-17
EP2921116B1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
JP6026455B2 (ja) 医用画像表示装置およびその作動方法並びにプログラム
RU2748435C2 (ru) Ультразвуковая система и способ для визуализации ткани груди
EP3003161B1 (en) Method for 3d acquisition of ultrasound images
JP5775164B2 (ja) 超音波診断装置及び超音波画像表示方法
US20180344286A1 (en) System and methods for at-home ultrasound imaging
JP5705403B2 (ja) 超音波画像内の所定の点を追跡するための方法及び装置
JP5574742B2 (ja) 超音波診断装置
WO2014003070A1 (ja) 超音波診断装置及び超音波画像処理方法
JP2008086742A (ja) 超音波プローブの軌跡表現装置及び超音波診断装置
WO2013021711A1 (ja) 超音波診断装置及び超音波画像表示方法
JP5601684B2 (ja) 医用画像装置
KR20130085380A (ko) 초음파 진단 장치 및 그 제어 프로그램
CN112545551A (zh) 用于医学成像设备的方法和系统
JP2014161598A (ja) 超音波診断装置及びその制御プログラム
JP4936281B2 (ja) 超音波診断装置
JP2010068956A (ja) 超音波診断装置及び超音波診断支援プログラム
WO2016054775A1 (zh) 超声虚拟内窥成像系统和方法及其装置
US20180085094A1 (en) Ultrasound diagnosis apparatus and medical image processing method
KR101983389B1 (ko) 초음파 진단 장치 및 그의 방법
JP6014352B2 (ja) 超音波システム
JP2014195729A (ja) 超音波診断装置
US20210290203A1 (en) Ultrasound system and method for guided shear wave elastography of anisotropic tissue
US20190388061A1 (en) Ultrasound diagnosis apparatus displaying shear wave data for object and method for operating same
WO2017065173A1 (ja) 医療システム
KR20130124750A (ko) 초음파 진단 장치 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161012

R150 Certificate of patent or registration of utility model

Ref document number: 6026455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250