JP2017000459A - 医用画像処理装置、及びそれを用いた医用画像誘導装置 - Google Patents

医用画像処理装置、及びそれを用いた医用画像誘導装置 Download PDF

Info

Publication number
JP2017000459A
JP2017000459A JP2015117900A JP2015117900A JP2017000459A JP 2017000459 A JP2017000459 A JP 2017000459A JP 2015117900 A JP2015117900 A JP 2015117900A JP 2015117900 A JP2015117900 A JP 2015117900A JP 2017000459 A JP2017000459 A JP 2017000459A
Authority
JP
Japan
Prior art keywords
image
luminal organ
organ
medical image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015117900A
Other languages
English (en)
Other versions
JP6554335B2 (ja
Inventor
信隆 阿部
Nobutaka Abe
信隆 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015117900A priority Critical patent/JP6554335B2/ja
Publication of JP2017000459A publication Critical patent/JP2017000459A/ja
Application granted granted Critical
Publication of JP6554335B2 publication Critical patent/JP6554335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】 3次元医用画像として取得された管腔臓器を用いて展開画像を作成する際、管腔臓器内の突起形状物が明瞭となるように作成し表示する医用画像処理装置を提供する。また、この医用画像処理装置により得られた医用画像を用いて術具を所定の部位に誘導する医用画像誘導装置を提供する。
【解決手段】 本発明の医用画像処理装置は、医用画像から3次元の管腔臓器画像を抽出し管腔臓器抽出画像を作成する管腔臓器抽出画像作成部と、管腔臓器外表面画像を作成する管腔臓器外表面画像作成部と、直管管腔臓器画像を作成する直管管腔臓器画像作成部と、管腔臓器破断線を設定する管腔臓器破断線設定部と、管腔臓器外表面画像を2次元の平面形状に変形させる外表面画像変形部と、管腔臓器内表画像を作成する管腔臓器内表画像作成部と、管腔臓器内表画像を表示する表示部と、を有する。
【選択図】 図1

Description

本発明は、X線CT装置、MRI装置等で得られた3次元医用画像、特に管腔臓器の画像処理及び、該画像処理により得られた医用画像を用いて術具を所定の部位に誘導する医用画像誘導装置に関する。
X線CT装置、MRI装置等では被検体の所望部位を3次元の医用画像として取得することができるが、この内、大腸、気管支、血管といった管腔臓器についてはその管腔内を効率的に診断するため、管腔臓器内の中心付近を通る線(以下、「芯線」と呼ぶ)を算出し、芯線に沿って順に仮想内視鏡画像や管腔臓器を長手方向に切り開いた画像(以下、「展開画像」と呼ぶ)が用いられている。(例えば、特許文献1、2)。
特許第5572555号公報 特開2014-210084号公報
従来の展開画像を作成する方法では、抽出した管腔臓器領域の芯線に基づいて処理を行っているため、病変部の可能性がある突起形状物が管腔臓器の配置状況や捻じれにより明瞭に表示されない虞があった。
本発明はこのような事情を鑑みてなされたものであり、3次元医用画像として取得された管腔臓器を用いて展開画像を作成する際、管腔臓器内の突起形状物が明瞭となるように作成し表示する医用画像処理装置を提供することを目的とする。また、この医用画像処理装置により得られた医用画像を用いて術具を所定の部位に誘導する医用画像誘導装置を提供することを目的とする。
上記目的を達成するために、本発明の医用画像処理装置は、医用画像撮像装置又は医用画像データベースから医用画像を読み込む医用画像読込み部と、医用画像から3次元の管腔臓器画像を抽出し管腔臓器抽出画像を作成する管腔臓器抽出画像作成部と、管腔臓器抽出画像の外表面を示す管腔臓器外表面画像を作成する管腔臓器外表面画像作成部と、管腔臓器外表面画像から捻じれを取り除いた直管形状の外表面へ変形する座標変換情報を算出し、該算出した座標変換情報に基づいて直管変形した直管管腔臓器画像を作成する直管管腔臓器画像作成部と、直管管腔臓器画像に管腔臓器破断線を設定する管腔臓器破断線設定部と、管腔臓器外表面画像を管腔臓器破断線に沿って展開して2次元の平面形状となるための座標変換情報を算出し該算出した座標変換情報を用いて管腔臓器外表面画像を2次元の平面形状に変形させる外表面画像変形部と、変形させた管腔臓器外表面画像の内側からレンダリング処理により、管腔臓器抽出画像を内側から展開した管腔臓器内表画像を作成する管腔臓器内表画像作成部と、管腔臓器内表画像を表示する表示部と、を有する。
また、本発明の医用画像誘導装置は、上記医用画像処理装置にて作成された管腔臓器抽出画像を実空間上に存在する管腔臓器と一致するように配置させる画像配置部と、実空間上における術具等の空間位置情報を検出する三次元位置検出部と、前記三次元位置検出部により検出した術具の空間位置と前記画像配置部により配置した管腔臓器抽出画像と、の空間位置が一致した場合、それらを互いに重畳表示させる画像重畳部と、を有することを特徴とする。
本発明の医用画像処理装置によれば、管腔臓器の襞を伸展した展開画像が得られるため、管腔臓器の形状による死角領域の発生を抑制することができ、管腔臓器内の突起形状物を明瞭に表示することができる。
また、本発明の医用画像誘導装置によれば、上記医用画像処理装置にて作成された管腔臓器内表画像および/又は管腔臓器側面画像上の術具を表示することが可能なため、病変部などの形状がより鮮明となっている画像上での術具の位置を確認することができる。
本発明の医用画像処理装置1のハードウェア構成を示した図。 本発明の実施例1の処理の流れを示した図。 管腔臓器抽出画像の表示例を示した図。 直管管腔臓器画像の表示例を示した図。 管腔臓器内表画像の表示例を示した図。 管腔臓器側面画像の表示例を示した図。 本発明の実施例2の処理の流れを示した図。 重畳画像の表示例を示した図。
以下、添付図面に従って本発明に係る医用画像処理装置の好ましい実施形態について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
図1は医用画像処理装置1のハードウェア構成を示す図である。
医用画像処理装置1は、制御部2と、主メモリ3と、記憶部4と、表示メモリ5と、表示部6と、マウス8と、マウス8に接続されたコントローラ7と、キーボード9と、ネットワークアダプタ10と、医用画像誘導装置15と、を有して構成され、これらの各構成要素はシステムバス11によって互いに信号を送受可能なように接続されている。
また、ネットワーク12を介することで医用画像処理装置1は、医用画像撮影装置13や医用画像データベース14との信号の送受を可能なように構成されている。ここで、「信号の送受」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
制御部2は、各構成要素の動作を制御する装置である。制御部2は、記憶部4に格納されるプログラムやプログラム実行に必要なデータを主メモリ3にロードして実行する。
記憶部4は、医用画像撮影装置13により撮影された医用画像を格納する装置であり、具体的にはハードディスク等である。また、記憶部4は、フレシキブルディスク、光(磁気)ディスク、ZIPメモリ、USBメモリ等の可搬性記録媒体とデータの受け渡しをする装置であっても良い。
医用画像はLAN(Local Area Network)等のネットワーク12を介して医用画像撮影装置13や医用画像データベース14から取得される。また、記憶部4には、制御部2が実行するプログラムやプログラム実行に必要なデータが格納される。主メモリ3は、制御部2が実行するプログラムや演算処理の途中経過を記憶するものである。
表示メモリ5は、液晶ディスプレイやCRT(Cathode Ray Tube)等の表示部6に表示するための表示データを一時格納するものである。
マウス8やキーボード9は、操作者が医用画像処理装置1に対して操作指示を行う操作デバイスである。マウス8はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。コントローラ7は、マウス8の状態を検出して、表示部6上のマウスポインタの位置を取得し、取得した位置情報等を制御部2へ出力するものである。
ネットワークアダプタ10は、医用画像処理装置1をLAN、電話回線、インターネット等のネットワーク12に接続するためのものである。
医用画像撮影装置13は、被検体801の断層画像等の医用画像を取得する装置である。医用画像撮影装置13は、例えば、MRI装置やX線CT装置、超音波診断装置、シンチレーションカメラ装置、PET装置、SPECT装置など、である。医用画像データベース14は、医用画像撮影装置13によって撮影された医用画像を記憶するデータベースシステムである。
医用画像誘導装置15は、医用画像処理装置1にて作成された画像上に術具の位置を重畳表示させるものである。
本発明の医用画像処理装置1について、図1乃至図6を用いて詳細に説明する。
本発明の医用画像処理装置1が有する制御部2は、医用画像撮像装置13又は医用画像データベース14から医用画像を読み込みこむ医用画像読込み部21と、医用画像読込み部21により読み込んだ医用画像から3次元の管腔臓器画像を抽出し管腔臓器抽出画像を作成する管腔臓器抽出画像作成部22と、管腔臓器抽出画像作成部22に作成された管腔臓器抽出画像の外表面を示す管腔臓器外表面画像を作成する管腔臓器外表面画像作成部23と、管腔臓器外表面画像作成部23により作成された管腔臓器外表面画像から捻じれを取り除いた直管形状の外表面へ変形する座標変換情報を算出し、該算出した座標変換情報に基づいて直管変形した直管管腔臓器画像を作成する直管管腔臓器画像作成部24と、直管管腔臓器画像作成部24により作成された直管管腔臓器画像に管腔臓器破断線を設定する管腔臓器破断線設定部25と、管腔臓器外表面画像作成部23により作成された管腔臓器外表面画像を管腔臓器破断線設定部25により設定された管腔臓器破断線に沿って展開して2次元の平面形状となるための座標変換情報を算出し、この算出した座標変換情報を用いて管腔臓器外表面画像を2次元の平面形状に変形させる外表面画像変形部26と、この変形させた管腔臓器外表面画像の内側からレンダリング処理により、管腔臓器抽出画像作成部22により作成された管腔臓器抽出画像を内側から展開した管腔臓器内表画像を作成する管腔臓器内表画像作成部27と、を有する。作成されたそれぞれの画像は表示部6に表示されるように構成されている。
次に、図2を用いて本発明の医用画像処理装置1の動作フローを説明する。
ステップS201では、医用画像読込み部21により、ネットワーク12を介して医用画像撮像装置13により取得された、または、医用画像データベース14内に保存された医用画像を読み込む。
ステップS202では、管腔臓器抽出画像作成部22は、取得した医用画像から対象となる3次元の管腔臓器画像を抽出した管腔臓器抽出画像300を作成し、表示部6に表示する。管腔臓器抽出画像300の表示例を図3に示す。
ステップS203では、管腔臓器外表面画像作成部23は、作成した管腔臓器抽出画像300を用いて当該管腔臓器抽出画像300の外表面を示す管腔臓器外表面画像301を作成し、表示部6へ表示する。
ステップS204では、直管管腔臓器画像作成部24は、管腔臓器外表面画像301から捻じれを取り除いた直管形状の外表面へ変形する座標変換情報を算出し、該算出した座標変換情報に基づいて直管変形した直管管腔臓器画像400を作成し、表示部6へ表示する。直管管腔臓器画像400の表示例を図4に示す。
ステップS205では、管腔臓器破断線設定部25は、直管管腔臓器画像400から展開画像を作成する上で必要となる管腔臓器破断線401を表示部6に表示する。この際、管腔臓器破断線設定部25は、管腔臓器抽出画像300の中で予め操作者により設定された領域、例えば病変部302を避けるように管腔臓器破断線401を設定するように構成してもよい。
これにより、管腔臓器抽出画像304を展開した後に病変部302が分断されて表示されることが避けられる。また、管腔臓器破断線401は表示部6に表示された直管管腔臓器画像400を見た上で操作者が設定するように構成してもよい。また、設定された管腔臓器破断線401は、直管管腔臓器画像400に表示されると共に、管腔臓器抽出画像300にも表示される。これにより操作者は管腔臓器抽出画像300の捻じれ方向を確認することができる。
ステップS206では、外表面画像変形部26は、管腔臓器外表面画像301が管腔臓器破断線401に沿って展開され2次元の平面形状となるための座標変換情報を算出し、該算出した座標変換情報を用いて管腔臓器外表面画像301を 2次元の平面形状に変形させる(特に図示しない)。
ステップS207では、管腔臓器内表画像作成部27は、2次元の平面形状に変形させた管腔臓器外表面画像301の内側からレンダリング処理により、管腔臓器抽出画像300を内側から展開した管腔臓器内表画像500を作成し、表示部6に表示する。管腔臓器内表画像500の表示例を図5に示す。
管腔臓器外表面画像301から捻じれを取り除いた直管形状の外表面へ変形する座標変換情報を算出する際のパラメータや、また、管腔臓器抽出画像300、直管管腔臓器画像400上に設定された管腔臓器破断線401は、編集可能であり必要に応じてステップS204-S207を繰り返し行えるものとする。
なお、管腔臓器内表画像500を異なる視点での画像を表示することも可能である。病変部302の形状を確認したい場合には、上記設定した管腔臓器破断線401と直交する方向に管腔臓器破断線を設定することで管腔臓器内表画像500を側面から見た画像を作成することができる。管腔臓器内表画像500を側面から見た管腔臓器側面画像600の表示例を図6に示す。
以上、本発明の医用画像処理装置1は、管腔臓器外表面画像301の捻じれを取り除いて生成した直管管腔臓器画像400から管腔臓器内表画像500を生成するために、管腔臓器抽出画像300内の突起形状物にかかるテンションが低下され、管腔臓器内表画像500上ではその形状をより鮮明に表示することができる。
次に、本発明の医用画像誘導装置15について、図1,7、8を用いて詳細に説明する。
本発明の医用画像誘導装置15は、医用画像処理装置1にて取得された管腔臓器抽出画像300を実空間上に存在する管腔臓器と一致するように配置させる画像配置部151と、実空間上における術具等の空間位置情報を検出する三次元位置検出部152と、三次元位置検出部152により検出した術具の空間位置と画像配置部151により配置した管腔臓器抽出画像300と、の空間位置が一致した場合、それらを互いに重畳表示させるとともに術具を管腔臓器抽出画像300から作成した管腔臓器内表画像500上に座標変換をし、表示させる画像重畳部153と、を有する。
次に、図7を用いて本発明の医用画像誘導装置15の動作フローを説明する。
ステップS701では、画像配置部151は、医用画像処理装置1にて取得した管腔臓器抽出画像300を実空間上に存在する管腔臓器と一致するように配置する。
ステップS702では、三次元位置検出部152は、実空間上における術具等の空間位置情報を検出する。
ステップS703では、画像重畳部153は、検出した術具の空間位置と実空間上に配置した管腔臓器抽出画像300の空間位置が一致した場合、それらを互いに重畳表示させる。
ステップS704では、画像重畳部153は、さらに術具を管腔臓器抽出画像300から作成した管腔臓器内表画像500上に座標変換をし、管腔臓器内表画像500と重畳表示させる。管腔臓器抽出画像300上の術具1000aと、管腔臓器内表画像500上の術具1000bと、管腔臓器側面画像600上の術具1000cを、の表示例を図8に示す。図中、管腔臓器破断線401aは病変部302を通り、かつ管腔臓器破断線401と直交する方向に設定した管腔臓器破断線である。
以上、本発明の医用画像誘導装置15は、医用画像処理装置1にて作成された管腔臓器内表画像500および/又は管腔臓器側面画像600上の術具を表示することが可能なため、病変部302の形状がより鮮明な画像上での術具の位置を確認することができる。
1 医用画像処理装置、2 制御部、3 主メモリ、4 記憶部、5 表示メモリ、6 表示部、7 コントローラ、8 マウス、9 キーボード、10 ネットワークアダプタ、11 システムバス、12 ネットワーク、13 医用画像撮影装置、14 医用画像データベース、15 医用画像誘導装置、21 医用画像読込み部、22 管腔臓器抽出画像作成部、23 管腔臓器外表面画像作成部、24 直管管腔臓器画像作成部、25 管腔臓器破断線設定部、26 外表面画像変形部、27 管腔臓器内表画像作成部、300 管腔臓器抽出画像、301 管腔臓器外表面画像、302 病変部、400 直管管腔臓器画像、401、401a 管腔臓器破断線、500 管腔臓器内表画像、600 管腔臓器側面画像、1000a、1000b、1000c 術具

Claims (4)

  1. 医用画像撮像装置又は医用画像データベースから医用画像を読み込む医用画像読込み部と、前記医用画像から3次元の管腔臓器画像を抽出し管腔臓器抽出画像を作成する管腔臓器抽出画像作成部と、前記管腔臓器抽出画像の外表面を示す管腔臓器外表面画像を作成する管腔臓器外表面画像作成部と、前記管腔臓器外表面画像から捻じれを取り除いた直管形状の外表面へ変形する座標変換情報を算出し、該算出した座標変換情報に基づいて直管変形した直管管腔臓器画像を作成する直管管腔臓器画像作成部と、前記直管管腔臓器画像に管腔臓器破断線を設定する管腔臓器破断線設定部と、前記管腔臓器外表面画像を管腔臓器破断線に沿って展開して2次元の平面形状となるための座標変換情報を算出し該算出した座標変換情報を用いて前記管腔臓器外表面画像を2次元の平面形状に変形させる外表面画像変形部と、前記変形させた管腔臓器外表面画像の内側からレンダリング処理により、前記管腔臓器抽出画像を内側から展開した管腔臓器内表画像を作成する管腔臓器内表画像作成部と、前記管腔臓器内表画像を表示する表示部と、を有すること
    を特徴とする医用画像処理装置。
  2. 前記管腔臓器破断線設定部は、前記管腔臓器破断線を、前記管腔臓器抽出画像を用いて予め設定した領域を避けるように設定すること
    を特徴とする請求項1に記載の医用画像処理装置。
  3. 請求項1又は2に記載の医用画像処理装置にて作成された管腔臓器抽出画像を実空間上に存在する管腔臓器と一致するように配置させる画像配置部と、実空間上における術具等の空間位置情報を検出する三次元位置検出部と、前記三次元位置検出部により検出した術具の空間位置と前記画像配置部により配置した管腔臓器抽出画像と、の空間位置が一致した場合、それらを互いに重畳表示させる画像重畳部と、を有すること
    を特徴とする医用画像誘導装置。
  4. 前記画像重畳部は、前記管腔臓器抽出画像に重畳表示させた術具を前記管腔臓器内表画像上に座標変換をし、表示させること
    を特徴とする請求項3に記載の医用画像誘導装置。
JP2015117900A 2015-06-11 2015-06-11 医用画像処理装置、及びそれを用いた医用画像誘導装置 Active JP6554335B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015117900A JP6554335B2 (ja) 2015-06-11 2015-06-11 医用画像処理装置、及びそれを用いた医用画像誘導装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015117900A JP6554335B2 (ja) 2015-06-11 2015-06-11 医用画像処理装置、及びそれを用いた医用画像誘導装置

Publications (2)

Publication Number Publication Date
JP2017000459A true JP2017000459A (ja) 2017-01-05
JP6554335B2 JP6554335B2 (ja) 2019-07-31

Family

ID=57753149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015117900A Active JP6554335B2 (ja) 2015-06-11 2015-06-11 医用画像処理装置、及びそれを用いた医用画像誘導装置

Country Status (1)

Country Link
JP (1) JP6554335B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11318884A (ja) * 1998-03-09 1999-11-24 Hitachi Medical Corp 画像表示装置
WO2009016927A1 (ja) * 2007-07-31 2009-02-05 Hitachi Medical Corporation 医用画像表示装置、医用画像表示方法
JP2009268693A (ja) * 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
JP2011218082A (ja) * 2010-04-14 2011-11-04 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11318884A (ja) * 1998-03-09 1999-11-24 Hitachi Medical Corp 画像表示装置
WO2009016927A1 (ja) * 2007-07-31 2009-02-05 Hitachi Medical Corporation 医用画像表示装置、医用画像表示方法
JP2009268693A (ja) * 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
JP2011218082A (ja) * 2010-04-14 2011-11-04 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム

Also Published As

Publication number Publication date
JP6554335B2 (ja) 2019-07-31

Similar Documents

Publication Publication Date Title
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP5384473B2 (ja) 画像表示装置及び画像表示方法
US8994720B2 (en) Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method
US20110245660A1 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
US8894566B2 (en) Endoscope system
US8170328B2 (en) Image display method, apparatus, and program
JP6049202B2 (ja) 画像処理装置、方法、及びプログラム
JP5377153B2 (ja) 画像処理装置、画像処理プログラムおよび医用診断システム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5114121B2 (ja) 医用画像処理装置
JP2019069037A (ja) 放射線撮像装置、画像処理方法及び画像処理プログラム
US9501709B2 (en) Medical image processing apparatus
JP6026932B2 (ja) 医用画像表示制御装置および方法並びにプログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びx線ct装置
WO2016147778A1 (ja) 画像処理装置、方法、及びプログラム
CN106919781B (zh) 医用图像处理装置
JP2009165718A (ja) 医用画像表示装置
JP2017000299A (ja) 医用画像処理装置
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
JP2011172692A (ja) 医用画像処理装置、及び医用画像処理プログラム
KR102321349B1 (ko) 병변 검출 장치
US9558589B2 (en) Medical image display apparatus, method, and program
JP5923067B2 (ja) 診断支援装置および診断支援方法並びに診断支援プログラム
JP6554335B2 (ja) 医用画像処理装置、及びそれを用いた医用画像誘導装置
JP5491237B2 (ja) 医用画像表示装置及び医用画像表示方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20171031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R150 Certificate of patent or registration of utility model

Ref document number: 6554335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250