JP2018068639A - 医用画像処理装置及び医用画像処理方法 - Google Patents

医用画像処理装置及び医用画像処理方法 Download PDF

Info

Publication number
JP2018068639A
JP2018068639A JP2016212186A JP2016212186A JP2018068639A JP 2018068639 A JP2018068639 A JP 2018068639A JP 2016212186 A JP2016212186 A JP 2016212186A JP 2016212186 A JP2016212186 A JP 2016212186A JP 2018068639 A JP2018068639 A JP 2018068639A
Authority
JP
Japan
Prior art keywords
valve
heart
region
image data
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016212186A
Other languages
English (en)
Other versions
JP2018068639A5 (ja
JP6849391B2 (ja
Inventor
藤澤 恭子
Kyoko Fujisawa
恭子 藤澤
和正 荒木田
Kazumasa Arakida
和正 荒木田
智司 若井
Tomoji Wakai
智司 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2016212186A priority Critical patent/JP6849391B2/ja
Publication of JP2018068639A publication Critical patent/JP2018068639A/ja
Publication of JP2018068639A5 publication Critical patent/JP2018068639A5/ja
Application granted granted Critical
Publication of JP6849391B2 publication Critical patent/JP6849391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】心臓弁に関する心疾患の診断や治療、術前計画をより効率的に支援することができる医用画像処理装置及び医用画像処理方法を提供すること。【解決手段】実施形態に係る画像処理装置は、記憶部と、同定部と、表示制御部と、計測部とを備える。記憶部は、心臓に関する3次元画像データを記憶する。同定部は、前記3次元画像データに基づいて、前記心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定する。表示制御部は、前記3次元画像データに基づいて、前記弁領域に含まれる少なくとも二つの心臓弁を同時に観察可能な表示を行う。計測部は、前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁に関する計測を行う。【選択図】図1

Description

本発明の実施形態は、医用画像処理装置及び医用画像処理方法に関する。
従来、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置等の医用画像診断装置によって得られた被検体の医用画像を用いて、心臓弁に関する心疾患の診断を支援する技術が知られている。
特開2014−200549号公報 特開2015−229031号公報 特開2015−226693号公報
本発明が解決しようとする課題は、心臓弁に関する心疾患の診断や治療、術前計画をより効率的に支援することができる医用画像処理装置及び医用画像処理方法を提供することである。
実施形態に係る画像処理装置は、記憶部と、同定部と、表示制御部と、計測部とを備える。記憶部は、心臓に関する3次元画像データを記憶する。同定部は、前記3次元画像データに基づいて、前記心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定する。表示制御部は、前記3次元画像データに基づいて、前記弁領域に含まれる少なくとも二つの心臓弁を同時に観察可能な表示を行う。計測部は、前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁に関する計測を行う。
図1は、本実施形態に係る医用画像処理装置の構成の一例を示す図である。 図2は、本実施形態に係る同定機能による弁領域の同定の一例を示す図である。 図3は、本実施形態に係る同定機能による弁領域の同定の一例を示す図である。 図4は、本実施形態に係る同定機能による弁領域の同定の一例を示す図である。 図5は、本実施形態に係る生成機能による弁画像の生成と表示の一例を示す図である。 図6は、本実施形態に係る生成機能による弁画像の生成と表示の他の例を示す図である。 図7は、本実施形態に係る生成機能による弁画像の生成と表示の他の例を示す図である。 図8は、本実施形態に係る生成機能による弁尖の同定と弁尖画像の生成の一例を示す図である。 図9は、本実施形態に係る生成機能による弁尖画像の生成と表示の一例を示す図である。 図10は、本実施形態に係る計測機能による弁尖の動きの計測の一例を示す図である。 図11は、本実施形態に係る計測機能による弁尖の動きの計測の一例を示す図である。 図12は、本実施形態に係る計測機能による心臓弁の動きの計測の一例を示す図である。 図13は、本実施形態に係る医用画像処理装置によって行われる処理の処理手順を示すフローチャートである。
以下、図面を参照しながら、医用画像処理装置及び医用画像処理方法の実施形態について詳細に説明する。
図1は、本実施形態に係る医用画像処理装置の構成の一例を示す図である。例えば、図1に示すように、本実施形態に係る医用画像処理装置100は、ネットワーク200を介して、医用画像診断装置300及び医用画像保管装置400と相互に通信可能に接続される。
医用画像診断装置300は、画像診断等に用いられる被検体の医用画像を取得する。具体的には、医用画像診断装置300は、医用画像として、被検体の2次元画像データや3次元画像データ(ボリュームデータとも呼ばれる)を生成する。例えば、医用画像診断装置300は、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、X線診断装置、超音波診断装置等である。
医用画像保管装置400は、ネットワーク200を介して、医用画像診断装置300から画像データを取得し、取得した画像データを装置内又は装置外に設けられた記憶回路に記憶させる。例えば、医用画像保管装置400は、サーバ装置等のコンピュータ機器によって実現される。
医用画像処理装置100は、ネットワーク200を介して医用画像診断装置300又は医用画像保管装置400から画像データを取得し、取得した画像データに対して各種画像処理を行う。例えば、医用画像処理装置100は、ワークステーション等のコンピュータ機器によって実現される。
具体的には、医用画像処理装置100は、I/F(インターフェース)回路110と、記憶回路120と、入力回路130と、ディスプレイ140と、処理回路150とを有する。
I/F回路110は、処理回路150に接続され、医用画像診断装置300及び医用画像保管装置400との間で行われる各種データの伝送及び通信を制御する。例えば、I/F回路110は、医用画像診断装置300又は医用画像保管装置400から画像データを受信し、受信した画像データを処理回路150に出力する。例えば、I/F回路110は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
記憶回路120は、処理回路150に接続され、各種データを記憶する。例えば、記憶回路120は、医用画像診断装置300又は医用画像保管装置400から受信した画像データを記憶する。例えば、記憶回路120は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
入力回路130は、処理回路150に接続され、操作者から受け付けた入力操作を電気信号に変換して処理回路150に出力する。例えば、入力回路130は、トラックボール、スイッチボタン、マウス、キーボード、タッチパネル等によって実現される。
ディスプレイ140は、処理回路150に接続され、処理回路150から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ140は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
処理回路150は、入力回路130を介して操作者から受け付けた入力操作に応じて、医用画像処理装置100の構成要素を制御する。例えば、処理回路150は、I/F回路110から出力される画像データを記憶回路120に記憶させる。また、例えば、処理回路150は、記憶回路120から画像データを読み出し、ディスプレイ140に表示する。例えば、処理回路150は、プロセッサによって実現される。
以上、本実施形態に係る医用画像処理装置100の全体構成について説明した。このような構成のもと、本実施形態に係る医用画像処理装置100は、心臓弁に関する心疾患の診断や治療、術前計画をより効率的に支援することができるように構成されている。
具体的には、本実施形態では、記憶回路120が、心臓に関する時系列の複数の3次元画像データを記憶する。ここで、記憶回路120には、予め、医用画像診断装置300又は医用画像保管装置400から取得された3次元画像データが記憶される。なお、記憶回路120は、特許請求の範囲における記憶部の一例である。
また、本実施形態では、処理回路150が、同定機能151と、生成機能152と、計測機能153と、表示制御機能154とを有する。なお、同定機能151は、特許請求の範囲における同定機能151の一例である。また、生成機能152は、特許請求の範囲における生成機能152の一例である。また、計測機能153は、特許請求の範囲における計測機能153の一例である。また、表示制御機能154は、特許請求の範囲における表示制御機能154の一例である。
同定機能151は、記憶回路120によって記憶された心臓に関する3次元画像データに基づいて、心臓に含まれる複数の心臓弁(僧帽弁、三尖弁、大動脈弁、肺動脈弁)について、心臓弁ごとに、心臓弁及び当該心臓弁の周辺を含む弁領域を同定する。ここで、同定機能151は、心臓に関する時系列の複数の3次元画像データそれぞれについて、心臓弁ごとに、弁領域を同定する。または、同定機能151は、複数の3次元画像データに含まれる1つの時相の3次元画像データについて弁領域を同定し、当該弁領域に基づいて、他の時相の3次元画像データについて弁領域を同定してもよい。なお、同定機能151は、心臓に含まれる一つの心臓弁のみについて、弁領域を同定してもよい。
例えば、同定機能151は、心臓に関する3次元画像データから、心室の領域及び房室の領域、又は、心室の領域及び動脈の領域を検出し、検出した各領域の境界を含む領域を弁領域として同定する。
図2〜4は、本実施形態に係る同定機能151による弁領域の同定の一例を示す図である。なお、図2〜4は、3次元画像データに含まれる心臓の一部及び全体を模式的に示している。具体的には、図2は、心臓全体を示しており、図3は、左心室と左心房との接合部分を示しており、図4は、上行大動脈の起始部と左心室との接合部分を示している。
例えば、図2に示すように、同定機能151は、左心室の領域11及び左心房の領域12を検出し、検出した各領域の境界を含む領域を僧帽弁に関する弁領域21として同定する。また、同定機能151は、右心室の領域13及び右心房の領域14を検出し、検出した各領域の境界を含む領域を三尖弁に関する弁領域22として同定する。また、同定機能151は、左心室の領域11及び上行大動脈の領域15を検出し、検出した各領域の境界を含む領域を大動脈弁に関する弁領域23として同定する。また、同定機能151は、右心室の領域13及び肺動脈の領域16を検出し、検出した各領域の境界を含む領域を肺動脈弁に関する弁領域24として同定する。なお、図2では、各領域の境界を破線で示している。
ここで、同定機能151は、公知の画像処理技術(例えば、特許文献1又は2に記載されている技術等)を用いて、心臓に関する3次元データから、左心室、右心室、左心房、右心房、上行大動脈及び肺動脈それぞれの領域11〜16を検出し、さらに、各領域の境界を検出する。このとき、例えば、同定機能151は、3次元画像データで定義されている前後、左右及び上下それぞれの方向、並びに、心臓における左心室、右心室、左心房、右心房、上行大動脈及び肺動脈それぞれの解剖学的な位置関係に基づいて、各領域を検出する。
そして、例えば、図3に示すように、同定機能151は、左心室の領域11と左心房の領域12との境界を基準として、予め決められた位置及び大きさの領域を設定することで、僧帽弁に関する弁領域21を同定する。同様に、同定機能151は、右心室の領域13と右心房の領域14との境界を基準として、予め決められた位置及び大きさの領域を設定することで、三尖弁に関する弁領域22を同定する。
また、例えば、図4に示すように、同定機能151は、左心室の領域11と上行大動脈の領域15との境界を基準として、予め決められた位置及び大きさの領域を設定することで、大動脈弁に関する弁領域23を同定する。同様に、同定機能151は、右心室の領域13と肺動脈の領域16との境界を基準として、予め決められた位置及び大きさの領域を設定することで、肺動脈弁に関する弁領域24として同定する。
ここで、例えば、各弁領域の位置及び大きさは、心臓における各心臓弁の解剖学的な配置及び形状に基づいて予め決められる。例えば、各弁領域の位置及び大きさは、各心臓弁の全体が含まれる位置及び大きさとなるように決められる。
一例として、例えば、図4に示すように、大動脈弁に関する弁領域23については、ST junction(sinotubular junction)31、バルサルバ洞32、及び、annulus(anatomical ventriculo-arterial junctionとも呼ばれる)33が含まれるように、位置及び大きさが決められる。ここで、バルサルバ洞は、上行大動脈の起始部にある膨らんだ部分である。また、ST junctionは、上行大動脈とバルサルバ洞とが接合する部分である。また、annulusは、左心室とバルサルバ洞とが接合する部分である。
なお、ここでは、同定機能151は、心室の領域と房室の領域との境界、又は、心室の領域と動脈の領域との境界を含む領域を弁領域として同定する場合の例を説明したが、弁領域を同定する方法はこれに限られない。
例えば、同定機能151は、心臓に関する3次元画像データから心室又は心房の領域を検出し、検出した領域が不連続となっている箇所を含む領域を弁領域として同定してもよい。または、例えば、同定機能151は、心臓に関する時系列の複数の3次元画像データそれぞれについて、心室又は心房の領域を検出し、検出した領域が開閉動作をしている箇所を含む領域を弁領域として同定してもよい。または、例えば、同定機能151は、心臓を表す画像をディスプレイ140に表示し、当該画像上の任意の位置に領域を指定する操作を操作者から受け付け、受け付けた領域を弁領域として同定してもよい。
図1の説明に戻って、生成機能152は、記憶回路120によって記憶された心臓に関する3次元画像データに基づいて、同定機能151によって心臓弁ごとに同定された複数の弁領域を同時に示す弁画像を生成する。ここで、生成機能152は、心臓に関する時系列の複数の3次元画像データそれぞれについて、同定機能151によって心臓弁ごとに同定された各弁領域を同期して同時に示す弁画像を生成する。
例えば、生成機能152は、同定機能151によって同定された各弁領域を同一平面上に配置した画像を弁画像として生成する。
図5は、本実施形態に係る生成機能152による弁画像の生成と表示の一例を示す図である。例えば、図5に示すように、生成機能152は、僧帽弁に関する弁領域21を示す面41aと、肺動脈弁に関する弁領域24を示す面41bと、大動脈弁に関する弁領域23を示す面41cと、三尖弁に関する弁領域22を示す面41dとを同一平面上に配置した画像を弁画像41として生成する。
ここで、例えば、生成機能152は、各弁領域について、心臓に関する3次元画像データを用いて、心臓弁の種類ごとに予め決められた視点位置、視線方向及び視野角でレンダリング処理を行うことで、各心臓弁を観察するために適した面を設定する。
なお、図5では、弁画像41において、各弁領域を示す面が左右方向に一列に並べて配置された場合の例を示しているが、弁画像41における各弁領域の配置は、これに限られない。例えば、弁画像41において、各弁領域は、上下方向や斜め方向に一列に並べて配置されてもよいし、2列×2行に並べて配置されてもよい。
また、他の例として、例えば、生成機能152は、心臓における各心臓弁の向きに応じて心臓弁ごとに各弁領域を傾けて配置した画像を弁画像として生成してもよい。
図6は、本実施形態に係る生成機能152による弁画像の生成と表示の他の例を示す図である。例えば、図6に示すように、生成機能152は、僧帽弁に関する弁領域21を示す面42aと、肺動脈に関する弁領域24を示す面42bと、大動脈弁に関する弁領域23を示す面42cと、三尖弁に関する弁領域22を示す面42dとを、心臓における各心臓弁の向きに応じて心臓弁ごとに傾けて配置した画像を弁画像42として生成する。
ここで、例えば、生成機能152は、図5に示した例と同様に、各弁領域について、心臓に関する3次元画像データを用いて、心臓弁の種類ごとに予め決められた視点位置、視線方向及び視野角でレンダリング処理を行うことで、各心臓弁を観察するために適した面を設定する。そして、生成機能152は、設定した各面について、3次元画像データにおけるそれぞれの位置関係に応じて、心臓弁ごとに各面を傾けて配置した画像を弁画像42として生成する。
なお、図6では、弁画像42において、肺動脈に関する弁領域24を示す面42bが正面を向いて配置されるように各弁領域が傾けて配置された場合の例を示しているが、弁画像42における各弁領域の配置は、これに限られない。例えば、弁画像42において、各弁領域は、僧帽弁に関する弁領域21を示す面42aが正面を向いて配置されるように傾けて配置されてもよいし、大動脈弁に関する弁領域23を示す面42cが正面を向いて配置されるように傾けて配置されてもよいし、三尖弁に関する弁領域22を示す面42dが正面を向いて配置されるように傾けて配置されてもよい。
さらに、他の例として、例えば、生成機能152は、心臓における各心臓弁の解剖学的な位置に応じて各弁領域を配置した画像を弁画像として生成してもよい。
図7は、本実施形態に係る生成機能152による弁画像の生成と表示の他の例を示す図である。例えば、図7に示すように、生成機能152は、僧帽弁に関する弁領域21を示す面43aと、三尖弁に関する弁領域22を示す面43bと、大動脈弁に関する弁領域23を示す面43cと、肺動脈弁に関する弁領域24を示す面43dとを、心臓における各心臓弁の解剖学的な位置に応じて平面又は曲面に配置した画像を弁画像43として生成する。
ここで、例えば、各弁領域について、心臓に関する3次元画像データを用いて、予め決められた共通の視点位置、視線方向及び視野角でレンダリング処理を行うことで、各心臓弁を同時に観察するために適した一つの面を設定する。そして、生成機能152は、設定した面を示す画像を弁画像43として生成する。これにより、弁画像43において、各心臓弁が解剖学的な位置に応じて表示されることになる。
なお、例えば、生成機能152は、操作者から視点位置を変更する操作を受け付けてもよい。そして、生成機能152は、操作者によって視点位置が変更されるごとに、変更後の視点位置でレンダリング処理を行うことで、観察方向を変えた弁画像43を生成する。
また、例えば、生成機能152は、同定機能151によって同定された弁領域を展開して、当該心臓弁に含まれる複数の弁尖を同時に示す弁尖画像を生成する。ここで、生成機能152は、同定機能151によって同定された全ての弁領域について弁尖画像を生成してもよいし、いずれか一つ又は一部の弁領域について弁尖画像を生成してもよい。
例えば、生成機能152は、弁領域に含まれる心臓弁について、心臓弁に含まれる複数の弁尖を検出し、各弁尖の間を通る面の位置で弁領域を展開して、弁尖画像を生成する。
図8は、本実施形態に係る生成機能152による弁尖の同定と弁尖画像の生成の一例を示す図である。また、図89は、本実施形態に係る生成機能152による弁尖画像の生成と表示の一例を示す図である。例えば、図8に示すように、生成機能152は、大動脈に関する弁領域23に含まれる三つの弁尖、すなわち、無冠尖51、右冠尖52及び左冠尖53をそれぞれ検出する。そして、生成機能152は、各弁尖の間を通る面54を設定する。ここで設定される面54は、曲面であってもよいし、連続した複数の平面であってもよい。
ここで、生成機能152は、公知の画像処理技術(例えば、特許文献3に記載されている技術等)を用いて、各弁尖を検出する。例えば、生成機能152は、心臓弁及び弁尖の特徴的な形状に基づいて、弁尖を検出する。ここでいう特徴的な形状とは、弁尖の数や、弁尖と弁尖とが接合する部分である交連部と各弁尖との接合部分の形状等である。通常、大動脈弁、肺動脈弁及び三尖弁は、弁尖の数が三つとなり、僧帽弁は、弁尖の数が二つとなる。例えば、生成機能152は、心臓弁及び弁尖の特徴的な形状に基づいて予め弁尖の種類ごとに作成されたテンプレートとマッチングすることで、各弁尖を検出する。
そして、例えば、図9に示すように、生成機能152は、設定した面54の位置で弁領域23を展開して、大動脈弁に含まれる無冠尖51、右冠尖52及び左冠尖53それぞれを示す弁尖画像61を生成する。このとき、例えば、生成機能152は、無冠尖51、右冠尖52及び左冠尖53に加えて、各弁尖に繋がる腱索62や乳頭筋63等をさらに示すように弁尖画像61を生成する。さらに、生成機能152は、ST junctionの位置やバルサルバ洞の位置を検出し、それぞれの位置を示すマーク等をさらに含むように弁尖画像61を生成してもよい。なお、生成機能152は、経時的位置の変化が観察される際には、ある特定の部位又は場所、例えば、ST junctionの位置を合わせて、複数時相の展開された画像を表示するように、弁尖画像61を生成してもよい。
図1の説明に戻って、計測機能153は、記憶回路120によって記憶された3次元画像データに基づいて、同定機能151によって同定された弁領域に含まれる心臓弁に関する計測を行う。ここで、計測機能153は、同定機能151によって同定された各弁領域に含まれる心臓弁の時系列の動きを計測する。
例えば、計測機能153は、各弁領域に含まれる心臓弁について、心臓弁に含まれる弁尖を検出し、当該弁尖の時系列の動きを計測する。例えば、計測機能153は、弁領域に含まれる大動脈弁の弁尖について、弁尖と大動脈とが付着している部分である付着部を検出し、当該付着部の経時的な位置の変化を計測する。
例えば、計測機能153は、大動脈弁に関する弁領域23に含まれる大動脈弁の弁尖について、付着部に沿った略湾曲形状の頂点、端点、及び、頂点と端点との中点を検出し、各点の経時的な位置の変化を計測する。
図10及び11は、本実施形態に係る計測機能153による弁尖の動きの計測の一例を示す図である。例えば、図10に示すように、計測機能153は、大動脈弁が有する三つの弁尖(無冠尖、右冠尖及び左冠尖)それぞれについて、付着部に沿った略湾曲形状71を検出する。そして、計測機能153は、検出した各略湾曲形状71について、その頂点72、端点73、及び、頂点72と端点73との中点74を検出する。この結果、弁尖ごとに、一つの頂点72、二つの端点73、及び、二つの中点74が検出される。
そして、例えば、計測機能153は、心臓の収縮期と拡張期との間における各点の経時的な変化を計測する。例えば、図11の上側に示すように、計測機能153は、収縮期に収集された3次元画像データで同定された第1の弁領域23−1と、拡張期に収集された3次元画像データで同定された第2の弁領域23−2との間で、各点の経時的な位置の変化を計測する。
具体的には、計測機能153は、収縮期に取得された3次元画像データに基づいて、第1の弁領域23−1に含まれる各弁尖について、付着部に沿った略湾曲形状71−1を検出し、さらに、検出した略湾曲形状71−1における一つの頂点72−1、二つの端点73−1、及び二つの中点74−1を検出する。また、計測機能153は、拡張期に取得された3次元画像データに基づいて、第2の弁領域23−2に含まれる各弁尖について、付着部に沿った略湾曲形状71−2を検出し、さらに、検出した略湾曲形状71−2における一つの頂点72−2、二つの端点73−2、及び二つの中点74−2を検出する。
そして、例えば、図11の下側に示すように、計測機能153は、各弁尖について、第1の弁領域23−1で検出した各点と、第2の弁領域23−2で検出した各点との間の位置の変化を計測する。また、例えば、計測機能153は、各点を通る曲線の経時的な位置の変化を計測してもよい。また、計測機能153は、各点を通る曲線の一方の端点73から他方の端点73までの長さを計測してもよい。また、計測機能153は、開閉程度を評価するために、各略湾曲形状で挟まれた領域の面積の経時的な変化を計測してもよい。
また、例えば、計測機能153は、大動脈弁に関する弁領域23に含まれる大動脈弁について、ST junction、バルサルバ洞及びannulusのうちの少なくとも一つを計測対象として検出し、検出した計測対象の大きさの変化を計測する。
図12は、本実施形態に係る計測機能153による心臓弁の動きの計測の一例を示す図である。例えば、図12に示すように、計測機能153は、大動脈に関する弁領域23に含まれる大動脈の径が最小となる位置をST junction31の位置として検出する。また、例えば、計測機能153は、大動脈に関する弁領域23に含まれる大動脈の径が最大となる位置をバルサルバ洞32の位置として検出する。また、例えば、計測機能153は、大動脈に関する弁領域23に含まれる大動脈弁について、上述した付着部に沿った略湾曲形状71の位置をannulus33の位置として検出する。
そして、例えば、計測機能153は、心臓の収縮期と拡張期との間におけるST junction31、バルサルバ洞32及びannulus33それぞれの大きさの変化を計測する。例えば、図12に示すように、計測機能153は、収縮期に収集された3次元画像データで同定された第1の弁領域23−1と、拡張期に収集された3次元画像データで同定された第2の弁領域23−2との間で、ST junction31、バルサルバ洞32及びannulus33それぞれの大きさの変化を計測する。
例えば、計測機能153は、収縮期に取得された3次元画像データに基づいて、第1の弁領域23−1に含まれる大動脈弁について、ST junction31、バルサルバ洞32及びannulus33それぞれの位置を検出する。その後、例えば、計測機能153は、第1の弁領域23−1に含まれる大動脈弁について、大動脈弁の中心を通る面に沿って、ST junction31の長さS−1、バルサルバ洞32の長さV−1、及び、annulus33の長さA−1を計測する。
同様に、計測機能153は、拡張期に取得された3次元画像データに基づいて、第2の弁領域23−2に含まれる大動脈弁について、ST junction31、バルサルバ洞32及びannulus33それぞれの位置を検出する。その後、例えば、計測機能153は、第2の弁領域23−2に含まれる大動脈弁について、大動脈弁の中心を通る面に沿って、ST junction31の長さS−2、バルサルバ洞32の長さV−2、及び、annulus33の長さA−2を計測する。
そして、計測機能153は、ST junction31、バルサルバ洞32及びannulus33それぞれについて、第1の弁領域23−1で計測した長さと、第2の弁領域23−2で計測した長さとの間の変化を計測する。
表示制御機能154は、心臓に関する3次元画像データに基づいて、弁領域に含まれる少なくとも二つの心臓弁を同時に観察可能な表示を行う。また、表示制御機能154は、心臓に関する3次元画像データに基づいて、弁領域に含まれる心臓弁の領域を展開して観察可能な表示を行う。なお、表示制御機能154は、心臓に関する時系列の複数の3次元画像データそれぞれについて、弁領域に含まれる少なくとも二つの心臓弁を同時に観察可能な表示を行う。
具体的には、表示制御機能154は、生成機能152によって生成された弁画像をディスプレイ140に表示する。ここで、表示制御機能154は、生成機能152によって生成された各弁画像を時系列に表示させる。例えば、表示制御機能154は、各弁画像を動画として連続して表示させてもよいし、操作者からの要求に応じて順次切り替えて表示してもよい。
また、表示制御機能154は、生成機能152によって生成された弁尖画像をディスプレイ140に表示する。ここで、表示制御機能154は、生成機能152によって複数の弁尖画像が生成されている場合は、全ての弁尖画像を表示してもよいし、いずれか一つ又は一部の弁尖画像を生成してもよい。
そして、表示制御機能154は、計測機能153によって行われた計測の計測結果をディスプレイ140にさらに表示する。例えば、表示制御機能154は、図5に示した弁画像41や、図6に示した弁画像42、図7に示した弁画像43、図9に示した弁尖画像61を表示する際に、各画像上に、計測結果を表す数値やグラフィック等を表示する。
例えば、計測結果を表す数値は、大動脈弁におけるST junction、バルサルバ洞及びannulusのような、心臓弁又は弁尖における所定の部位の大きさや、大きさの変化量である。また、例えば、計測結果を表す数値は、大動脈弁における付着部に沿った略湾曲形状の頂点、端点及び中点のような心臓弁又は弁尖における所定の位置の変化量等である。また、例えば、計測結果を表すグラフィックは、大動脈弁におけるST junction、バルサルバ洞及びannulusのような、心臓弁又は弁尖における所定の部位の位置を示すマークや、大きさを表す目盛り等である。
以上、処理回路150が有する各処理機能について説明した。上述した各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶される。処理回路150は、各プログラムを記憶回路120から読み出し、読み出した各プログラムを実行することで、各プログラムに対応する処理機能を実現する。換言すると、各プログラムを読み出した状態の処理回路150は、図1に示した各処理機能を有することとなる。
なお、図1では、上述した各処理機能が単一の処理回路150によって実現される場合の例を説明したが、実施形態はこれに限られない。例えば、処理回路150は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路150が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
図13は、本実施形態に係る医用画像処理装置100によって行われる処理の処理手順を示すフローチャートである。例えば、図13に示す処理手順は、操作者からの開始指示に応じて開始される。
まず、同定機能151が、記憶回路120によって記憶された心臓に関する3次元画像データに基づいて、心臓に含まれる複数の心臓弁について、心臓弁ごとに、心臓弁及び当該心臓弁の周辺を含む弁領域を同定する(ステップS101)。
続いて、生成機能152が、記憶回路120によって記憶された心臓に関する3次元画像データに基づいて、同定機能151によって心臓弁ごとに同定された複数の弁領域を同時に示す弁画像を生成する(ステップS102)。また、生成機能152は、同定機能151によって同定された弁領域を展開して、当該心臓弁に含まれる複数の弁尖を同時に示す弁尖画像を生成する(ステップS103)。
続いて、計測機能153が、記憶回路120によって記憶された3次元画像データに基づいて、同定機能151によって同定された弁領域に含まれる心臓弁及び弁尖の動きを計測する(ステップS104及びS105)。
そして、表示制御機能154が、生成機能152によって生成された弁画像をディスプレイ140に表示する(ステップS106)。また、表示制御機能154は、生成機能152によって生成された弁尖画像をディスプレイ140に表示する(ステップS107)。さらに、表示制御機能154は、計測機能153によって行われた計測の計測結果をディスプレイ140に表示する(ステップS108)。
なお、上述したステップS101は、例えば、処理回路150が同定機能151に対応する所定のプログラムを記憶回路120から呼び出して実行することにより実現される。また、ステップS102及びS103は、例えば、処理回路150が生成機能152に対応する所定のプログラムを記憶回路120から呼び出して実行することにより実現される。また、ステップS104は、例えば、処理回路150が計測機能153に対応する所定のプログラムを記憶回路120から呼び出して実行することにより実現される。また、ステップS105〜107は、例えば、処理回路150が表示制御機能154に対応する所定のプログラムを記憶回路120から呼び出して実行することにより実現される。
また、上述した各処理手順は、必ずしも一回の処理で全ての処理手順が行われなくてもよい。例えば、弁画像に関する処理手順(ステップS102及びS106)、弁尖画像に関する処理手順(ステップS103及びS107)、心臓弁の動きを検出する処理手順(ステップS104)、及び、弁尖の動きを検出する処理手順(ステップS105)は、いずれか一つの処理手順のみが行われてもよいし、二つ以上の処理手順が行われてもよい。また、これらの処理手順は、実行される順序が入れ替わってもよい。
上述したように、本実施形態に係る医用画像処理装置100は、心臓に関する3次元画像データに基づいて、心臓に含まれる複数の心臓弁について、心臓弁ごとに、心臓弁及び当該心臓弁の周辺を含む弁領域を同定し、心臓弁ごとに同定された複数の弁領域を同時に示す弁画像を生成する。この構成によれば、弁画像を観察することで、心臓に含まれる複数の心臓弁の状態を同時にかつ相対的に診断することができる。
また、本実施形態に係る医用画像処理装置100は、心臓に関する3次元画像データに基づいて、心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定し、弁領域を展開して、心臓弁に含まれる複数の弁尖を同時に示す弁尖画像を生成する。この構成によれば、弁尖画像を観察することで、心臓弁に含まれる複数の弁尖の状態を同時にかつ相対的に診断することができる。
また、本実施形態に係る医用画像処理装置100は、心臓に関する3次元画像データに基づいて、心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定し、弁領域に含まれる心臓弁に関する計測を行う。この構成によれば、心臓弁に関する計測の計測結果を参照することで、心臓弁の状態をより正確に把握できるようになる。
したがって、本実施形態に係る医用画像処理装置100によれば、心臓弁に関する心疾患の診断や治療、術前計画をより効率的に支援することができる。
なお、上述した実施形態では、対象となる心臓弁が生体弁(僧帽弁、三尖弁、大動脈弁、肺動脈弁)である場合の例を説明したが、実施形態はこれに限られない。例えば、上述した実施形態は、対象となる心臓弁が人工弁である場合でも、同様に適用することが可能である。
なお、上述した実施形態では、医用画像処理装置100が、自装置に備えられたディスプレイ140に弁画像、弁尖画像及び計測結果を表示する場合の例を説明したが、実施形態はこれに限られない。例えば、医用画像処理装置100は、ネットワーク200を介して接続された医用画像表示装置に、弁画像、弁尖画像及び計測結果を出力してもよい。
近年では、操作者が用いるクライアント装置には必要最小限の処理を実行させ、大部分の処理をサーバ装置に実行させるシンクライアント(Thin Client)の形態で、医用画像処理システムが構築される場合もある。例えば、このような医用画像処理システムにおいて、サーバ装置が、上述した医用画像処理装置100の構成を備え、クライアント装置として構成された医用画像表示装置が、サーバ装置から弁画像、弁尖画像及び計測結果を取得して表示してもよい。例えば、医用画像表示装置は、予め装置にインストールされた汎用的なブラウザ等によって、弁画像、弁尖画像及び計測結果を表示する。
また、上述した実施形態では、医用画像処理装置100が、上述した各機能を有する場合の例を説明したが、実施形態はこれに限られない。例えば、X線CT装置、MRI装置、X線診断装置、超音波診断装置等の医用画像診断装置300が、上述した各機能を有していてもよい。その場合には、医用画像診断装置300が備える記憶回路が、自装置又は他の医用画像診断装置によって取得された3次元画像データを記憶し、医用画像診断装置300が備える処理回路が、上述した各機能を有する。
なお、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)−ROM、FD(Flexible Disk)、CD−R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、後述する各機能部を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
以上説明した少なくとも一つの実施形態によれば、心臓弁に関する心疾患の診断や治療、術前計画をより効率的に支援することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 医用画像処理装置
150 処理回路
151 同定機能
152 生成機能
153 計測機能
154 表示制御機能

Claims (13)

  1. 心臓に関する3次元画像データを記憶する記憶部と、
    前記3次元画像データに基づいて、前記心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定する同定部と、
    前記3次元画像データに基づいて、前記弁領域に含まれる少なくとも二つの心臓弁を同時に観察可能な表示を行う表示制御部と、
    前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁に関する計測を行う計測部と
    を備える、医用画像処理装置。
  2. 心臓に関する3次元画像データを記憶する記憶部と、
    前記3次元画像データに基づいて、前記心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定する同定部と、
    前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁の領域を展開して観察可能な表示を行う表示制御部と、
    前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁に関する計測を行う計測部と
    を備える、医用画像処理装置。
  3. 前記同定部は、前記3次元画像データから、心室の領域及び房室の領域、又は、心室の領域及び動脈の領域を検出し、検出した各領域の境界を含む領域を前記弁領域として同定する、
    請求項1又は2に記載の医用画像処理装置。
  4. 前記記憶部は、前記心臓に関する時系列の複数の3次元画像データを記憶し、
    前記同定部は、前記複数の3次元画像データそれぞれについて、前記弁領域を同定し、
    前記表示制御部は、前記複数の3次元画像データそれぞれについて、前記弁領域に含まれる少なくとも二つの心臓弁を同時に観察可能な表示を行う、
    請求項1、2又は3に記載の医用画像処理装置。
  5. 前記記憶部は、前記心臓に関する時系列の複数の3次元画像データを記憶し、
    前記同定部は、前記複数の3次元画像データそれぞれについて、前記弁領域を同定し、
    前記計測部は、各弁領域に含まれる心臓弁の時系列の動きを計測する、
    請求項1、2又は3に記載の医用画像処理装置。
  6. 前記計測部は、各弁領域に含まれる心臓弁について、心臓弁に含まれる弁尖を検出し、当該弁尖の時系列の動きを計測する、
    請求項4に記載の医用画像処理装置。
  7. 前記計測部は、前記心臓弁の特徴的な形状に基づいて、前記弁尖を検出する、
    請求項6に記載の医用画像処理装置。
  8. 前記計測部は、前記弁領域に含まれる大動脈弁の弁尖について、弁尖と大動脈とが付着している部分である付着部を検出し、当該付着部の経時的な位置の変化を計測する、
    請求項6又は7に記載の医用画像処理装置。
  9. 前記計測部は、前記大動脈弁の弁尖について、前記付着部に沿った略湾曲形状の頂点、端点、及び、前記頂点と前記端点との中点を検出し、各点の経時的な位置の変化を計測する、
    請求項8に記載の医用画像処理装置。
  10. 前記計測部は、前記弁領域に含まれる大動脈弁について、ST junction、バルサルバ洞及びannulusのうちの少なくとも一つを計測対象として検出し、検出した計測対象の大きさの変化を計測する、
    請求項3〜9のいずれか一つに記載の医用画像処理装置。
  11. 前記弁領域に含まれる大動脈の径が最大となる位置を前記バルサルバ洞として検出する
    請求項10に記載の医用画像処理装置。
  12. 心臓に関する3次元画像データに基づいて、前記心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定し、
    前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁に関する計測を行う
    ことを含む、医用画像処理方法。
  13. 心臓に関する3次元画像データに基づいて、前記心臓に含まれる少なくとも一つの心臓弁について、心臓弁及び当該心臓弁の周辺を含む弁領域を同定し、
    前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁の領域を展開して観察可能な表示を行い、
    前記3次元画像データに基づいて、前記弁領域に含まれる心臓弁に関する計測を行う、
    ことを含む、医用画像処理方法。
JP2016212186A 2016-10-28 2016-10-28 医用画像処理装置及び医用画像処理方法 Active JP6849391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016212186A JP6849391B2 (ja) 2016-10-28 2016-10-28 医用画像処理装置及び医用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016212186A JP6849391B2 (ja) 2016-10-28 2016-10-28 医用画像処理装置及び医用画像処理方法

Publications (3)

Publication Number Publication Date
JP2018068639A true JP2018068639A (ja) 2018-05-10
JP2018068639A5 JP2018068639A5 (ja) 2019-10-10
JP6849391B2 JP6849391B2 (ja) 2021-03-24

Family

ID=62111849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016212186A Active JP6849391B2 (ja) 2016-10-28 2016-10-28 医用画像処理装置及び医用画像処理方法

Country Status (1)

Country Link
JP (1) JP6849391B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019202142A (ja) * 2018-05-21 2019-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
US11712219B2 (en) 2018-12-14 2023-08-01 Canon Medical Systems Corporation Ultrasonic wave diagnostic apparatus, medical information processing apparatus, and computer program product

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007044507A (ja) * 2005-08-01 2007-02-22 Biosense Webster Inc 経皮的僧帽弁形成術のモニタリング
WO2010116965A1 (ja) * 2009-04-06 2010-10-14 株式会社 日立メディコ 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム
JP2011504629A (ja) * 2007-11-22 2011-02-10 トウシバメディカルビジュアライゼーションシステムズヨーロッパ・リミテッド ボリュームレンダリング装置及び方法
JP2011217775A (ja) * 2010-04-02 2011-11-04 Toshiba Corp 医用画像処理装置
JP2013081660A (ja) * 2011-10-11 2013-05-09 Toshiba Corp 画像処理装置
JP2014144156A (ja) * 2013-01-30 2014-08-14 Fujifilm Corp 医用画像表示制御装置および方法並びにプログラム
JP2016101439A (ja) * 2014-11-28 2016-06-02 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置
JP2016516551A (ja) * 2013-05-02 2016-06-09 ミヒャエル・ジーゲンターラーMichael SIEGENTHALER カテーテルに基づく心臓の補助システムおよびその移植の方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007044507A (ja) * 2005-08-01 2007-02-22 Biosense Webster Inc 経皮的僧帽弁形成術のモニタリング
JP2011504629A (ja) * 2007-11-22 2011-02-10 トウシバメディカルビジュアライゼーションシステムズヨーロッパ・リミテッド ボリュームレンダリング装置及び方法
WO2010116965A1 (ja) * 2009-04-06 2010-10-14 株式会社 日立メディコ 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム
JP2011217775A (ja) * 2010-04-02 2011-11-04 Toshiba Corp 医用画像処理装置
JP2013081660A (ja) * 2011-10-11 2013-05-09 Toshiba Corp 画像処理装置
JP2014144156A (ja) * 2013-01-30 2014-08-14 Fujifilm Corp 医用画像表示制御装置および方法並びにプログラム
JP2016516551A (ja) * 2013-05-02 2016-06-09 ミヒャエル・ジーゲンターラーMichael SIEGENTHALER カテーテルに基づく心臓の補助システムおよびその移植の方法
JP2016101439A (ja) * 2014-11-28 2016-06-02 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019202142A (ja) * 2018-05-21 2019-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
CN110740686A (zh) * 2018-05-21 2020-01-31 佳能医疗系统株式会社 医用图像处理装置、医用图像诊断装置及医用图像处理程序
JP7210376B2 (ja) 2018-05-21 2023-01-23 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
CN110740686B (zh) * 2018-05-21 2023-10-27 佳能医疗系统株式会社 医用图像处理装置、医用图像诊断装置及存储介质
US11712219B2 (en) 2018-12-14 2023-08-01 Canon Medical Systems Corporation Ultrasonic wave diagnostic apparatus, medical information processing apparatus, and computer program product

Also Published As

Publication number Publication date
JP6849391B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
JP7375102B2 (ja) 血管内画像化システムの作動方法
JP6930283B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP7023715B2 (ja) 血管内のステントストラットカバレッジを決定するためのシステムの作動方法及びステント留置された領域を検出するための血管内画像化システムのプログラム可能なプロセッサベースのコンピュータ装置
JP5009391B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
US9808213B2 (en) Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
JP6971544B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN103294883B (zh) 用于针对经导管主动脉瓣植入进行介入规划的方法和系统
JPWO2012153539A1 (ja) 医用画像処理装置とその方法
JP2018509971A (ja) 定量的フロー分析のための方法および装置
JP2011125570A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007319689A (ja) 心臓の表示方法および磁気共鳴装置
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
JP2011182899A (ja) 診断支援装置、冠動脈解析プログラムおよび冠動脈解析方法
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
JP6849391B2 (ja) 医用画像処理装置及び医用画像処理方法
JP6849392B2 (ja) 医用画像処理装置及び医用画像処理方法
WO2014119228A1 (ja) 医用画像表示制御装置および方法並びにプログラム
US11756673B2 (en) Medical information processing apparatus and medical information processing method
JP6058454B2 (ja) 医用画像処理装置及び医用画像処理プログラム
WO2019140450A1 (en) System and method for image-guided treatment planning
JP2019084152A (ja) 医用画像表示方法及び医用画像表示装置
JP2014046109A (ja) 医用画像処理装置
JPWO2017094577A1 (ja) 超音波撮像装置、および画像処理方法
JP2020168361A (ja) 医用画像処理装置およびプログラム
CN111904450A (zh) 左心室中心和感兴趣区域的提取方法、装置及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6849391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150