JP2019081034A - 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム - Google Patents

超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム Download PDF

Info

Publication number
JP2019081034A
JP2019081034A JP2019036079A JP2019036079A JP2019081034A JP 2019081034 A JP2019081034 A JP 2019081034A JP 2019036079 A JP2019036079 A JP 2019036079A JP 2019036079 A JP2019036079 A JP 2019036079A JP 2019081034 A JP2019081034 A JP 2019081034A
Authority
JP
Japan
Prior art keywords
dimensional
site
shape
ultrasonic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019036079A
Other languages
English (en)
Other versions
JP6727363B2 (ja
JP2019081034A5 (ja
Inventor
智也 岡崎
Tomoya Okazaki
智也 岡崎
幸辰 坂田
Koshin Sakata
幸辰 坂田
智行 武口
Satoyuki Takeguchi
智行 武口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019036079A priority Critical patent/JP6727363B2/ja
Publication of JP2019081034A publication Critical patent/JP2019081034A/ja
Publication of JP2019081034A5 publication Critical patent/JP2019081034A5/ja
Application granted granted Critical
Publication of JP6727363B2 publication Critical patent/JP6727363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】 例えば組織追跡イメージング法を用いた解析や診断に要する時間を削減すると共に、解析や診断の精度を向上させることが可能な音波診断装置等を提供すること。【解決手段】 心臓の少なくとも一部を含む三次元領域に対する超音波走査に基づくボリュームデータを取得し、心腔への血液流入経路に対応する第1部位の延在方向に沿い、互いに交差する複数の断面画像それぞれにおける第1部位の輪郭に基づいて、第1部位の三次元形状を取得し、心腔からの血液流出経路に対応する第2部位の延在方向に沿った断面画像における第2部位の輪郭に基づいて、第2部位の三次元形状を取得し、心腔を示す三次元形状と、取得部で取得された第1部位および第2部位の三次元形状と、を用いて、第1部位、第2部位、および心腔を含む心筋の少なくとも一部の形状を示す三次元画像を生成する。【選択図】図2

Description

本実施形態は、超音波画像を用いて心筋(心臓を構成する筋肉)等の組織の局所的な運動情報を出力することで医学診断に有効な情報を提供する超音波診断装置、超音波画像処理装置及び超音波画像処理プログラムに関する。
超音波診断装置は、超音波プローブを体表から当てるだけの簡単な操作で心臓の拍動や胎児の動きの様子がリアルタイム表示で得られ、かつ安全性が高いため繰り返して検査を行うことができる。この他、システムの規模がX線、CT、MRIなど他の診断機器に比べて小さく、ベッドサイドへ移動していっての検査も容易に行えるなど簡便な診断手法であると言える。この超音波診断において用いられる超音波診断装置は、それが具備する機能の種類によって様々に異なるが、小型なものは片手で持ち運べる程度のものが開発されており、超音波診断はX線などのように被曝の影響がなく、産科や在宅医療等においても使用することができる。
近年、この様な超音波診断装置を用いて、生体組織としてのオブジェクトに関しその機能を客観的かつ定量的に評価する手法として、組織追跡イメージング(TTI:Tissue Tracking Imaging)法がある。このTTI法により、組織速度を用いて歪みや変位といった局所的な壁運動指標による定量的評価法が提供可能となっている。TTI法においては、基準時相のボリュームデータにおいてオブジェクトの3次元境界を入力する必要がある。この入力法としては、当該ボリュームデータに複数枚の断面像設定し、各断面に対応する各二次元画像上でオブジェクトの境界をトレースし、断面間の補間処理によって3次元境界を生成する技術が知られている。この技術では、例えば、オブジェクトを超音波画像に含まれる心臓の左心室の心筋として、基準時相のボリュームデータにおいてその3次元境界を入力する場合、左心室の複数枚の短軸断面において心筋境界をトレースし、各断面の補間処理によって3次元心筋境界を生成する。解析に用いる対象が心室と、心室へ血液を流入させるための流入部(例えば左心室の場合は僧房弁、右心室の場合は三尖弁)のみであれば、心室と流入部を通る軸に合わせて超音波プローブの位置を設定することにより、従来技術における短軸断面のみでも両者が比較的鮮明に表示され、心筋境界を適切に設定することも容易である。
特許第5276407号公報
T.E. Cootes, et al., "Active Shape models − Their training and application" CVIU, 1995.
しかしながら、解析に用いる対象の中に、心室と流入部の他、心室から血液を流出させるための流出部(例えば右心室の場合は肺動脈弁)も含まれる場合、心室と、流入部および流出部の一方の視認性は十分に確保することができるものの、他方の視認性は十分に確保することができない。その結果、解析や診断に要する時間が増大してしまう。また、心筋境界を適切に設定することも困難であるため、解析や診断の精度を十分に確保することができない。
上記事情に鑑み、目的は、解析や診断に要する時間を削減するとともに解析や診断の精度を向上させることが可能な音波診断装置、超音波画像処理装置及び超音波画像処理プログラムを提供することである。
一実施形態に係る超音波診断装置は、心臓の少なくとも一部を含む三次元領域に対する超音波走査に基づくボリュームデータを取得するデータ取得部と、心腔への血液流入経路に対応する第1部位の延在方向に沿い、互いに交差する複数の断面画像それぞれにおける前記第1部位の輪郭に基づいて、前記第1部位の三次元形状を取得し、前記心腔からの血液流出経路に対応する第2部位の延在方向に沿った断面画像における前記第2部位の輪郭に基づいて、前記第2部位の三次元形状を取得する取得部と、前記心腔を示す三次元形状と、前記取得部で取得された前記第1部位および前記第2部位の三次元形状と、を用いて、前記第1部位、前記第2部位、および前記心腔を含む心筋の少なくとも一部の形状を示す三次元画像を生成する画像生成部と、を具備する。
図1は、実施形態に係る超音波診断装置の構成を示したブロック図である。 図2は、本実施形態に係る運動情報処理ユニット29のブロック構成図である。 図3は、本実施形態に係る超音波診断装置1によって実現される心室の三次元心筋形状設定支援機能を利用して組織追跡イメージングを実行する場合のフローチャートの一例である。 図4(a)、(b)は、第1部位の設定処理を説明するための図である。 図5(a)、(b)、(c)は、第1部位の設定処理を説明するための図である。 図6は、第2部位の設定処理を説明するための図である。 図7(a)、(b)、(c)は、第2部位の設定処理を説明するための図である。 図8は、ボリュームデータ上に設定された第1部位VIの三次元形状、第2部位VOの三次元形状の一例を示した図である。 図9は、第1部位VIの三次元形状、第2部位VOの三次元形状を含む心室の三次元心筋形状VEの一例を示した図である。 図10(a)、(b)は、流入部及び流出部のそれぞれの三次元形状が滑らかに接続されるように、心室とつながる断面像上にて楕円形と円形を変形させる処理を説明するための図である。 図11は、第1部位における心筋領域の輪郭線50、51、52、53と、第2部位における心筋領域の輪郭線60、61との設定に用いる長軸断面像の変形例を示した図である。
以下、実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、実施形態に係る超音波診断装置の構成を示したブロック図である。同図に示すように、本超音波診断装置1は、超音波プローブ12、入力装置13、モニター14、超音波送信ユニット20、超音波受信ユニット21、入力バッファ22、Bモード処理ユニット23、カラードプラ処理ユニット24、FFTドプラ処理ユニット25、RAWデータメモリ26、ボリュームデータ生成ユニット27、運動情報処理ユニット29、画像処理ユニット28、表示処理ユニット30、制御プロセッサ(CPU)31、記憶ユニット32、インターフェースユニット33を具備している。以下、個々の構成要素の機能について説明する。なお、超音波プローブ12、入力装置13、モニター14、超音波送信ユニット20、超音波受信ユニット21、入力バッファ22、Bモード処理ユニット23、カラードプラ処理ユニット24、FFTドプラ処理ユニット25、RAWデータメモリ26、ボリュームデータ生成ユニット27により、データ取得部を構成する。
超音波プローブ12は、生体を典型例とする被検体に対して超音波を送信し、当該送信した超音波に基づく被検体からの反射波を受信するデバイス(探触子)であり、その先端に複数に配列された圧電振動子(超音波トランスデューサ)、整合層、バッキング材等を有している。圧電振動子は、超音波送信ユニット20からの駆動信号に基づきスキャン領域内の所望の方向に超音波を送信し、当該被検体からの反射波を電気信号に変換する。整合層は、当該圧電振動子に設けられ、超音波エネルギーを効率良く伝播させるための中間層である。バッキング材は、当該圧電振動子から後方への超音波の伝播を防止する。当該超音波プローブ12から被検体に超音波が送信されると、当該送信超音波は、体内組織の音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ12に受信される。このエコー信号の振幅は、反射することになった不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流で反射された場合のエコーは、ドプラ効果により移動体の超音波送受信方向の速度成分に依存して、周波数偏移を受ける。本実施形態においては、超音波プローブ12は、ボリュームデータを取得可能なものとして、二次元アレイプローブ(複数の超音波振動子が二次元マトリックス状に配列されたプローブ)、又はメカニカル4Dプローブ(超音波振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なプローブ)であるとする。
入力装置13は、装置本体11に接続され、撮像モードの選択等のオペレータからの各種指示、条件、関心領域(ROI)の設定指示、種々の画質条件設定指示等を装置本体11にとりこむための各種スイッチ、ボタン、トラックボール、マウス、キーボード等を有している。
モニター14は、表示処理ユニット30からのビデオ信号に基づいて、生体内の形態学的情報や、カラードプラモードによって取得された血流情報を画像として表示する。また、モニター14は、後述するカラードプラ撮像法によって再生された超音波画像を、所定の形態で所定の情報と共に表示する。
超音波送信ユニット20は、図示しないトリガ発生回路、遅延回路およびパルサ回路等を有している。トリガ発生回路では、所定のレート周波数fr Hz(周期;1/fr秒)で、送信超音波を形成するためのトリガパルスが繰り返し発生される。また、遅延回路では、チャンネル毎に超音波をビーム状に集束し且つ送信指向性を決定するのに必要な遅延時間が、各トリガパルスに与えられる。パルサ回路は、このトリガパルスに基づくタイミングで、プローブ12に駆動パルスを印加する。また、超音波送信ユニット20は、カラードプラ撮像処理において、制御ユニット31からの制御信号に基づいて後述する超音波送信を実行する。
超音波受信ユニット21は、図示していないアンプ回路、A/D変換器、遅延回路、加算器、直交検波回路等を有している。アンプ回路では、プローブ12を介して取り込まれたエコー信号をチャンネル毎に増幅する。A/D変換器では、増幅されたアナログのエコー信号をデジタルエコー信号に変換する。遅延回路では、デジタル変換されたたエコー信号に対し受信指向性を決定し、受信ダイナミックフォーカスを行うのに必要な遅延時間を与え、その後加算器において加算処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。直交検波回路は、加算器の出力信号をベースバンド帯域の同相信号(I信号:In-phase signal)と直交信号(Q信号:Quadrature-phase signal)とに変換する。直交検波回路はI信号及びQ信号(IQ信号)をエコー信号として後段の処理系に出力する。なお、直交検波回路において、RF(Radio Frequency)信号に変換する処理を実行するようにしてもよい。なお、超音波受信ユニット21は、カラードプラ撮像処理において、制御ユニット31からの制御信号に基づいて、後述する超音波受信を実行する。
入力バッファ22は、超音波受信ユニット21から出力されたエコー信号(IQ信号又はRF信号)を一時的に記憶するバッファである。入力バッファ22は、例えば、FIFO(First-In/First-Out)メモリであり、数フレーム分のIQ信号(又は数ボリューム分に相当するIQ信号)を一時的に記憶する。また、入力バッファ22は、新たに一フレーム分のIQ信号が超音波受信ユニット21から出力された場合、時間的に最も古いフレームに対応するIQ信号を、超音波受信ユニット21から新たに受け取ったIQ信号に書き換える。
Bモード処理ユニット23は、入力バッファ22からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度の明るさで表現されるデータを生成する。
カラードプラ処理ユニット24は、入力バッファ22から受け取ったエコー信号を用いてカラードプラ処理を実行し、パワー信号及び速度信号を出力する。
FFTドプラ処理ユニット25、連続波ドプラモードにおいて取得されたエコー信号を用いて高速フーリエ変換(Fast Fourier Transform)を実行し、スペクトラム信号を出力する。
RAWデータメモリ26は、Bモード処理ユニット23から受け取った複数のBモードデータを用いて、三次元的な超音波走査線上のBモードデータであるBモードRAWデータを生成する。また、RAWデータメモリ26は、カラードプラユニット24から受け取った複数の血流データを用いて、三次元的な超音波走査線上の血流データである血流RAWデータを生成する。なお、ノイズ低減や画像の繋がりを良くすることを目的として、RAWデータメモリ26の後に三次元的なフィルタを挿入し、空間的なスムージングを行うようにしてもよい。
ボリュームデータ生成ユニット27は、空間的な位置情報を加味した補間処理を含むRAW−ボクセル変換を実行することにより、Bモードボリュームデータ、血流ボリュームデータを生成する。
画像処理ユニット28は、ボリュームデータ生成ユニット27又は運動情報処理ユニット29から受け取るボリュームデータ、ボリュームレンダリング、多断面変換表示(MPR:Multi Planar Reconstruction)、最大値投影表示(MIP:Maximum Intensity Projection)等の所定の画像処理を行う。なお、ノイズ低減や画像の繋がりを良くすることを目的として、画像処理ユニット28の後に二次元的なフィルタを挿入し、空間的なスムージングを行うようにしてもよい。
運動情報処理ユニット29は、ボリュームデータ生成ユニット27から出力されたBモードボリュームデータ或いは血流ボリュームデータを用いて、組織追跡イメージング法に関連する各種処理を実行する。また、運動情報処理ユニット29は、組織追跡イメージング法において、後述する心室の三次元心筋形状設定支援機能に従う処理(心室の三次元心筋形状設定支援処理)を実行する。当該運動情報処理ユニット29の構成及び動作については、後で詳しく説明する。
表示処理ユニット30は、画像処理ユニット28において生成・処理された各種画像データに対し、ダイナミックレンジ、輝度(ブライトネス)、コントラスト、γカーブ補正、RGB変換等の各種を実行する。
制御プロセッサ31は、情報処理装置(計算機)としての機能を持ち、各構成要素の動作を制御する。また、制御プロセッサ31は、後述する心室の三次元心筋形状設定支援処理において、運動情報処理ユニット29等を制御する。
記憶ユニット32は、組織追跡イメージング法を実行するためのプログラム、後述する後述する心室の三次元心筋形状設定支援機能を実現するためのプログラム、診断プロトコル、送受信条件、その他のデータ群が保管されている。また、必要に応じて、図示しない画像メモリ中の画像の保管などにも使用される。記憶ユニット32のデータは、インターフェースユニット33を経由して外部周辺装置へ転送することも可能となっている。
インターフェースユニット33は、入力装置13、ネットワーク、新たな外部記憶装置(図示せず)に関するインターフェースである。インターフェースユニット33を介して、他の装置を本超音波診断装置本体11に接続することも可能である。また、当該装置によって得られた超音波画像等のデータや解析結果等は、インターフェースユニット33よって、ネットワークを介して他の装置に転送可能である。
(組織追跡イメージング)
次に、本実施形態の前提となる技術である組織追跡イメージング法(TTI:Tissue Tracking Imaging)について、簡単に説明する。この組織追跡イメージング法は、組織の運動情報として、運動に伴う組織位置を追跡しながら、局所の変位と歪みのパラメータを画像化するものである。当該手法によれば、心臓の局所心筋の歪みや変位の画像を、例えば短軸像を用いて作成・表示することができ、画像出力値の局所領域に対する時間変化の解析が支援される。この組織追跡イメージング法のさらなる詳細については、例えば特開平2003−175041号に説明されている。
なお、本組織追跡イメージング法には、複数の時相に関する組織速度の時空間分布画像(診断対象組織の各位置における速度を表す画像)を必要とする。この組織速度の時空間分布画像(以下、単に「速度分布画像」)は、Bモード等によって収集された複数の時相に関する複数の二次元又は三次元組織画像に対してパターンマッチング処理を施すこと、或いは組織ドプラ法によって収集された複数の時相に関する二次元又は三次元超音波画像データから生成すること等によって得られる。近年、パターンマッチング処理に基づくこの手法は、一般的にスペックルトラッキング法と呼ばれること多くなっている。
(運動情報処理ユニット)
上述した組織追跡イメージング法(特に、後述する心室の三次元心筋形状設定支援機能を用いた組織追跡イメージング法)に関する処理は、運動情報処理ユニット29において実行される。
図2は、運動情報処理ユニット29のブロック構成図である。同図に示す様に、運動情報処理ユニット29は、第1設定部290、第2設定部292、心室形状設定部294、トラッキング処理部296、運動情報生成部298を有している。
第1設定部290は、後述する心室の三次元心筋形状設定支援処理において、ボリュームデータ生成ユニット27において生成された心臓に関するボリュームデータに対し、心室への血流の流入を行うための部位(第1部位)の三次元形状を設定する。
第2設定部292は、後述する心室の三次元心筋形状設定支援処理において、ボリュームデータ生成ユニット27において生成された心臓に関するボリュームデータに対し、心室からの血流の流出を行うための部位(第2部位)の三次元形状を設定する。
心室形状設定部294は、第1部位の三次元形状及び第2部位の三次元形状を用いて、第1部位及び第2部位を含む心室の三次元心筋形状をボリュームデータに設定する。
トラッキング処理部296は、基準時相(例えば初期時相)におけるボリュームデータに対して設定された対象(例えば、心室の三次元心筋形状、第1部位の軸、第2部位の軸等)の各位置につき、複数の時相に関する複数のボリュームデータに対してパターンマッチング処理を実行することで追跡(トラッキング)し、各時相における速度分布画像を生成する。
運動情報生成部298は、生成された各時相における速度分布画像を用いて、心筋の各位置における運動情報(例えば、歪み(strain)、歪み率(strain rate)、変位、速度、捻じれ(twist)、捻じれ率(twist rate)等)等を生成する。
(心腔の三次元心筋形状設定支援機能)
次に、本超音波診断装置10が具備する心腔の三次元心筋形状設定支援機能について説明する。この時相推定処理は、例えば組織追跡イメージング法により心筋組織を映像化する場合において、血液の流入を行う第1部位、血液の流出を行う第2部位、および心腔を含む心筋領域の設定を支援するものである。なお、以下においては、説明を具体的にするため、「心腔」は「右心室」であり、「第1部位」は右心室へ血液を流入させるための「三尖弁を含む管状構造物(流入部)」であり、「第2部位」は右心室から血液を流出させるための「肺動脈弁を含む管状構造物(流出部)」であるとする。しかしながら、当該例に限定する趣旨ではなく、例えば「心腔」は「左心室」や「右心房」ないし「左心房」であってもよく、「第1部位」或いは「第2部位」は、管状の領域以外のものであってもよい。
図3は、本実施形態に係る超音波診断装置1によって実現される心室の三次元心筋形状設定支援機能を利用して組織追跡イメージングを実行する場合のフローチャートの一例である。以下、各ステップにおいて実行される処理について詳しく説明する。
[ボリュームデータの取得:ステップS1]
まず、少なくとも右心室を含む三次元領域が超音波走査(Bモードによる走査)され、例えば一心拍以上に亘る所定期間につき、時相毎のボリュームデータが取得される。ここで、「時相」或いは「心時相」とは、心臓の周期的な運動における任意の1時点(タイミング)を指す。
なお、本実施形態では、典型的な組織追跡イメージング法への適用を例とするため、複数時相に亘るボリュームデータを取得するものとした。しかしながら、本心室の三次元心筋形状設定支援機能は、一時相に対応するボリュームデータがあれば実現可能である。従って、本ステップS1では、必要に応じて、例えば拡張末期(End-systole)または収縮末期(End-Diastole)に対応する1時相でのボリュームデータを取得するようにしてもよい。
[第1部位の設定処理:ステップS2]
第1設定部290は、取得された各時相に対応するボリュームデータのうち、所定時相(例えば初期時相)に対応するボリュームデータに対して、右心室への血液の流入を行うための第1部位の心筋領域の輪郭線を、第1部位の軸に沿った断面を用いて入力し、補間処理によって、第1部位を近似した3次元形状を設定する。より具体的には以下のとおりである。
図4(a)、(b)、図5(a)、(b)、(c)は、第1部位の設定処理を説明するための図である。ステップS1において複数時相に亘る複数のボリュームデータが取得されると、第1設定部290は、図4(a)に示す様に、所定時相に対応するボリュームデータに対して、第1部位の軸A1に沿った(第1部位の延在方向に沿った)二つの長軸断面SA、SB(例えば、直交二断面)を設定する。ここで、「延在方向」とは、例えば筒状の流入経路の入り口の中心と出口の中心を結ぶ直線、又は近似線に沿った方向を意味する。また、上記説明では「第1部位の延在方向に沿った」とし、平行である例を示したが、これに拘泥されず、第1部位の延在方向とのなす角が±20度以内であってもよい。
この二つの長軸断面SA、SBの設定は、所定のアルゴリズムに従って実現可能であるが、マニュアル操作によって設定或いは微調整するようにしてもよい。当該第1部位の軸A1に沿った二つの長軸断面SA、SBが設定されると、画像処理ユニット28は、長軸断面SA、SBのそれぞれに対応する長軸断面画像SAI、SBIを生成する。生成された各長軸断面画像SAI、SBIは、モニター14において、例えば図4(b)に示す様に表示される。
ユーザは、図4(b)の如く表示された二つの長軸断面画像SAI、SBIに対して、第1部位(流入部)における心筋領域の輪郭線を、入力装置13を介してトレースし、例えば長軸断面画像SAIにおいて輪郭線50、51を設定し、長軸断面画像SBIにおいて輪郭線52、53を設定する。
図5(a)に示す様に、4本の輪郭線50、51、52、53の空間的な位置関係は、ボリュームデータ上の座標として、明確に把握することができる。第1設定部290は、図5(b)に示す様に、長軸断面SA、SBと交わる短軸断面SX1を設定し、当該短軸断面と4本の輪郭線50、51、52、53とが交わる4点を用いて、第1部位の輪郭を楕円EL1で近似する。同様に、第1設定部290は、長軸断面SA、SBと交わる短軸断面SX2、SX3、・・・、SXnを設定し、各当該短軸断面と4本の輪郭線50、51、52、53とが交わる4点を用いて、第1部位の輪郭を楕円EL2、EL3、・・・、ELnで近似する。第1設定部290は、得られた複数の楕円EL2、EL3、・・・、ELnを補間処理することによって、第1部位を近似する3次元形状をボリュームデータに設定する。なお、上記説明において「交わる」とは、交差すること、なす角が70度〜110度であること、より好ましくはなす角が90度であること、のいずれかを意味する。
なお、上記説明においては、二つの長軸断面SA、SBを用いて第1部位における心筋領域の輪郭線を設定する場合を例示した。しかしながら、当該例に拘泥されず、三つ以上の長軸断面を用いて第1部位における心筋領域の輪郭線を設定するようにしてもよい。また、二つの長軸断面SA、SBは直交二断面であるとしたが、必ずしも直交する必要はない。さらに、各長軸断面像における心筋領域の輪郭線は、例えば非特許文献1に示す画像処理手法などによって自動的に推定するようにしてもよい。
[第2部位の設定処理:ステップS3]
第2設定部292は、上記所定時相に対応するボリュームデータに対して、右心室からの血液の流出を行うための第2部位の心筋領域の輪郭線を、第2部位の軸に沿った断面像で入力し、補間処理によって、第2部位を近似した3次元形状を設定する。より具体的には以下のとおりである。
図6、図7(a)、(b)、(c)は、第2部位の設定処理を説明するための図である。第2設定部292は、上記所定時相に対応するボリュームデータに対して、第2部位の軸A2に沿った(第2部位の延在方向に沿った)長軸断面SCを設定する。この長軸断面SCの設定は、所定のアルゴリズムに従って実現可能であるが、マニュアル操作によって設定或いは微調整するようにしてもよい。当該第2部位の軸A2に沿った長軸断面SCが設定されると、画像処理ユニット28は、長軸断面SCに対応する長軸断面画像SCIを生成する。生成された長軸断面画像SCは、モニター14において、例えば図6に示す様に表示される。なお、「延在方向」、「延在方向に沿う」等については、上述の通りである。
ユーザは、図6の如く表示された長軸断面画像SCIに対して、第2部位(流出部)における心筋領域の輪郭線を、入力装置13を介してトレースし、当該長軸断面画像SCIにおいて輪郭線60、61を設定する。
図7(a)に示す様に、2本の輪郭線60、61の空間的な位置関係は、ボリュームデータ上の座標として、明確に把握することができる。第2設定部292は、図7(b)に示す様に、長軸断面SCと交わる短軸断面SY1を設定し、当該短軸断面と2本の輪郭線60、61とが交わる2点を用いて、第2部位の輪郭を円C1で近似する。同様に、第2設定部292は、長軸断面SCと交わる短軸断面SY2、SY3、・・・、SYnを設定し、各当該短軸断面と2本の輪郭線60、61とが交わる2点を用いて、第2部位の輪郭を円C2、C3、・・・、Cnで近似する。第2設定部292は、得られた複数の円C2、C3、・・・、Cnを補間処理することによって、第2部位を近似する3次元形状をボリュームデータに設定する。
ここで、流入部としての第1部位の設定では、二つの長軸断面SA、SBを用いて楕円近似したが、流出部としての第2部位の設定では、一つの長軸断面SCを用いて円で近似した。これは以下の理由による。すなわち、流入部は三尖弁を含む管状構造物であるが、三尖弁は右心房と接続しているため、流入部はやや複雑な形状となる。そのため単純な管ではなく楕円の管で近似されることが望ましい。これに対して流出部は肺動脈弁が肺動脈つまり血管と接続している。血管は円柱状のため本実施例の方法でも、妥当な近似である。また、超音波画像の画質面から考えても、視認性が十分に確保できる流入部に対して、流出部は音響窓(肺に被らずに超音波を通すことのできる肋骨の領域)の制約により不鮮明に描出される。従来技術のように短軸像ではこの影響を顕著に受けるため、流出部の心筋境界を視認するのは非常に困難である。これに対し、発明者らは、長軸像では、流出部の心筋境界を比較的目視しやすいということを見出した。そこで、長軸1断面を用いて心筋境界の輪郭線を入力することで、近似の精度と解析に要する時間の削減を両立している。
ステップS2、S3における処理の結果、例えば図8に示す様に、ボリュームデータ上において第1部位VIの三次元形状、第2部位VOの三次元形状が、それぞれ設定されることになる。
なお、心筋領域の輪郭線は、第1設定部290と同様、非特許文献1に示す画像処理手法などによって自動的に推定されてもよい。また、前段のステップS2における第1部位の設定処理と、本ステップS3における第2部位の設定処理とは、順序が逆になっても問題ない。
[心室の三次元心筋形状の設定:ステップS4]
心室形状設定部294は、近似された第1部位の三次元形状及び第2部位の三次元形状を用いて、第1部位及び第2部位を含む心室の三次元心筋形状をボリュームデータに設定する。その結果、例えば、図9に示す様に、第1部位VIの三次元形状、第2部位VOの三次元形状を含む心室の三次元心筋形状VEが設定(或いは抽出)されることになる。
なお、本実施形態では、流入部及び流出部のそれぞれの三次元形状が滑らかに接続されるように、心室とつながる断面像上にて図10(a)に示した楕円形と円形を、図10(b)に示すように心室の形状に応じて変形させるようにする。しかしながら、当該例に拘泥されず、例えば、流入部及び流出部のいずれか一方のみを心室とつながる断面像上にて変形させるようにしてもよく、また、近似した流入部及び流出部の三次元形状を変形せずにそのまま利用して、心室と繋げるようにしてもよい。
[パターンマッチングによる心筋トラッキング:ステップS5]
トラッキング処理部294は、上記所定時相において設定された心室の三次元心筋形状を初期形状として、他の各時相に対応するボリュームデータにつき例えば時系列にパターンマッチング処理を実行することで、心室の三次元心筋形状をトラッキングする。これにより、複数の時相に対応する各ボリュームデータにおいて心室の三次元心筋形状が設定されると共に、各時相における速度分布画像が生成される。
また、トラッキング処理部294は、必要に応じて、上記所定時相における第1部位の軸及び第2部位の軸を用いて、他の各時相に対応するボリュームデータ(或いは所望のいくつかの時相に対応するボリュームデータ)につき例えば時系列にパターンマッチング処理を実行することで、第1部位の軸及び第2部位の軸をトラッキングする。これにより、複数の時相に対応する各ボリュームデータにおいて第1部位の軸及び第2部位の軸が設定される。こうして設定された各時相における第1部位の軸及び第2部位の軸を用いて、上記ステップS2、S3の処理を実行することにより、各時相におけるボリュームデータに心室の三次元心筋形状を設定するようにしてもよい。
[心室の三次元心筋形状を現す三次元画像等の生成・表示:ステップS6]
画像処理ユニット28は、心室の三次元心筋形状が設定された各ボリュームデータを用いて、例えばボリュームレンダリングを実行することにより、第1部位及び第2部位を含む前記心室の三次元心筋形状を現す三次元画像を生成する。或いは、画像処理ユニット28は、心室の三次元心筋形状が設定された各ボリュームデータを用いたMPR処理を行うことにより、心臓を任意の断面で切り出して、3次元心筋境界が交わる境界線を映像化した断面像を生成する。生成された画像は、表示処理ユニット30において所定の処理を受けた後、モニター14において所定の形態で表示される。
また、運動情報生成部298は、生成された各時相における速度分布画像を用いて、心筋の各位置における運動情報を生成する。画像処理ユニット28は、生成された心筋の各位置における運動情報を用いて、例えば各時相における心室心筋領域の歪み等が可視化された運動情報画像を生成する。生成された画像は、表示処理ユニット30において所定の処理を受けた後、モニター14において所定の形態で表示される。
(変形例1)
本実施形態では、近似した第1部位と第2部位の3次元形状に基づいて、第1部位及び第2部位を含む心室の三次元心筋形状をボリュームデータに設定した。しかしながら、当該例に拘泥されず、例えば、予め心室の形状等に関する情報があれば、それを用いてもよい。具体的には、従来技術の方法などによって心室を近似した3次元形状がある場合、心室形状設定部294は、心室と第1部位、心室と第2部位が滑らかに接続されるように第1部位と第2部位の3次元形状を変形することで、心室の流入部および流出部の心筋境界を生成する構成であってもよい。また、心室形状設定部294は、3次元形状のみでなく、画像情報も用いる構成であってもよい。これら心室の形状等に関する情報は、例えば記憶ユニット32、或いはネットワーク上の記憶装置において保存されており、所定のタイミングで取得することが可能である。
(変形例2)
本実施形態では、心筋領域の輪郭線を設定する場合において、第1部位の設定においては二つの長軸断面SA、SBを利用し、第2部位の設定においては長軸断面SA、SBとは異なる長軸断面SCを利用する場合を例示した。しかしながら、当該例に拘泥されず、例えば、長軸断面SCを長軸断面SA又はSBと共通の(同じ)断面としてもよい。すなわち、長軸断面SA又はSB上に第2部位がある場合には、第2部位を有すること長軸断面SA又はSBを用いて第2部位の設定を行ってもよい。
図11は、第1部位における心筋領域の輪郭線の設定に用いる長軸断面SBと第2部位における心筋領域の輪郭線の設定に用いる長軸断面SCとを同一にした場合の、心筋領域の輪郭線の設定画面を例示した図である。同図に示す様に、本変形例によれば、第1部位における心筋領域の輪郭線と第2部位における心筋領域の輪郭線の双方を設定するための断面像を二つにすることができる。従って、三つの長軸断面像を用いて各輪郭線を設定する場合に比して、ユーザ操作をさらに簡略化することができる。
(効果)
以上述べた超音波診断装置によれば、流出部については、比較的視認しやすい長軸断面像において、やや形が複雑な流入部は2断面で輪郭線を入力し、これを用いて楕円柱で近似する。一方、血管のため形が単純であり視認が困難な流出部については、1断面で輪郭線を入力し、これを用いて円柱で近似する。そして、近似された第1部位の三次元形状及び第2部位の三次元形状を用いて、第1部位及び第2部位を含む心室の三次元心筋形状をボリュームデータに設定する。従って、ユーザは、心室についての心筋境界の設定を容易かつ高精度に行うことができる。また、心筋境界の設定の精度が向上することにより、解析や診断に要する時間を削減することができ、解析や診断の精度を向上させることができる。さらに、解析や診断に要する時間を削減することと、解析や診断の精度を向上させることの両立を達成できる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。具体的な変形例としては、例えば次のようなものがある。
(1)上述の実施形態および各変形例の超音波診断装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち上述した各部の機能は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、超音波診断装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上述した記憶部は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。
(2)上記実施形態においては、TTI法において初期時相におけるボリュームデータに三次元心筋形状を設定する場合を典型例として説明した。しかしながら、当該例に拘泥されず、ボリュームデータに三次元心筋形状を設定する必要がある場合であれば、どのようなイメージング法においても応用可能である。
(3)上記実施形態においては、三次元心筋形状の設定対象として、心室領域を例として説明した。しかしながら、当該例に拘泥されず、右心房或いは左心房にも適用することが可能である。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
上記実施形態は、例えば、以下の付記のように記載され得る。
[1] 心臓の少なくとも一部を含む三次元領域に対する超音波走査に基づくボリュームデータを取得するデータ取得部と、
心腔への血液流入経路に対応する第1部位の延在方向に沿い、互いに交差する複数の断面画像それぞれにおける前記第1部位の輪郭に基づいて、前記第1部位の三次元形状を取得し、前記心腔からの血液流出経路に対応する第2部位の延在方向に沿った断面画像における前記第2部位の輪郭に基づいて、前記第2部位の三次元形状を取得する取得部と、
前記心腔を示す三次元形状と、前記取得部で取得された前記第1部位および前記第2部位の三次元形状と、を用いて、前記第1部位、前記第2部位、および前記心腔を含む心筋の少なくとも一部の形状を示す三次元画像を生成する画像生成部と、
を具備するする超音波診断装置。
[2] 前記画像生成部は、前記心腔を示す三次元形状と前記取得部で取得された前記第1部位および前記第2部位の三次元形状が設定された前記ボリュームデータを用いて、前記三次元画像を生成する、[1]に記載の超音波診断装置。
[3] 前記データ取得部は、
前記第1部位の延在方向に沿った少なくとも二以上の前記断面画像を用いて前記第1部位の心筋領域の少なくとも一部の輪郭線を設定し、
前記第1部位の延在方向に沿った軸に交わる複数の第3断面のそれぞれにおいて前記輪郭線が通過する位置に基づいて、前記各第3断面上に楕円を設定し、
前記複数の楕円を補間することで、前記第1部位の三次元形状を取得する、[1]又は[2]に記載の超音波診断装置。
[4] 前記データ取得部は、
前記第2部位の延在方向に沿った前記断面画像を用いて前記第2部位の心筋領域の少なくとも一部の輪郭線を設定し、
前記第2部位の延在方向に沿った軸に交わる複数の第4断面のそれぞれにおいて前記輪郭線が通過する位置に基づいて、前記各第4断面上に円を設定し、
前記複数の円を補間することで、前記第2部位の三次元形状を取得する、[1]乃至[3]のいずれかに記載の超音波診断装置。
[5] 前記画像生成部は、予め準備された前記心腔に関する情報をさらに用いて、前記第1部位及び前記第2部位を含む前記心室の三次元心筋形状を現す三次元画像を生成する、[1]乃至[3]のいずれかに記載の超音波診断装置。
[6] 前記第2部位の延在方向に沿った断面画像は、前記第1部位の延在方向に沿った複数の断面画像のいずれかと同断面である、[1]乃至[5]のいずれかに記載の超音波診断装置。
[7] 前記所定時相における前記第1部位の延在方向に沿った軸及び前記第2部位の延在方向に沿った軸を用いて、少なくとも一つの他の時相のボリュームデータにおける前記第1部位の延在方向に沿った軸及び前記第2部位の延在方向に沿った軸を追跡する追跡処理部をさらに具備し、
前記データ取得部は、前記少なくとも一つの他の時相のボリュームデータに対し、前記追跡された前記第1部位の延在方向に沿った前記複数の断面画像を用いて設定し、前記設定された第1部位の心筋領域の少なくとも一部の輪郭線に基づいて、前記第1部位の三次元形状を取得し、前記少なくとも一つの他の時相のボリュームデータに対し、前記追跡された前記第2部位の延在方向に沿った前記複数の断面画像を用いて設定し、前記設定された第2部位の心筋領域の少なくとも一部の輪郭線に基づいて、前記第2部位の三次元形状を取得し、
前記画像生成部は、前記少なくとも一つの他の時相における前記1部位の三次元形状及び前記第2部位の三次元形状を用いて、前記第1部位及び前記第2部位を含む前記心室の三次元心筋形状を現す三次元画像を生成する、[1]乃至[6]のいずれかに記載の超音波診断装置。
[8] 前記心室は右心室であり、
前記第1部位は三尖弁を含む管状構造物であり、
前記第2部位は肺動脈弁を含む管状構造物である、[1]乃至[7]のいずれかに記載の超音波診断装置。
[9] 心臓の少なくとも一部を含む三次元領域に対する超音波走査に基づくボリュームデータを記憶する記憶部と、
心腔への血液流入経路に対応する第1部位の延在方向に沿い、互いに交差する複数の断面画像それぞれにおける前記第1部位の輪郭に基づいて、前記第1部位の三次元形状を取得し、前記心腔からの血液流出経路に対応する第2部位の延在方向に沿った断面画像における前記第2部位の輪郭に基づいて、前記第2部位の三次元形状を取得する取得部と、
前記心腔を示す三次元形状と、前記取得部で取得された前記第1部位および前記第2部位の三次元形状と、を用いて、前記第1部位、前記第2部位、および前記心腔を含む心筋の少なくとも一部の形状を示す三次元画像を生成する画像生成部と、
を具備する超音波画像処理装置。
[10] コンピュータに、
心臓の少なくとも一部を含む三次元領域に対する超音波走査に基づくボリュームデータを用いて、
心腔への血液流入経路に対応する第1部位の延在方向に沿い、互いに交差する複数の断面画像それぞれにおける前記第1部位の輪郭に基づいて、前記第1部位の三次元形状を取得し、前記心腔からの血液流出経路に対応する第2部位の延在方向に沿った断面画像における前記第2部位の輪郭に基づいて、前記第2部位の三次元形状を取得する取得機能と、
前記心腔を示す三次元形状と、前記取得部で取得された前記第1部位および前記第2部位の三次元形状と、を用いて、前記第1部位、前記第2部位、および前記心腔を含む心筋の少なくとも一部の形状を示す三次元画像を生成する画像生成機能と、
を実現させる超音波画像処理プログラム。
1…超音波診断装置、12…超音波プローブ、13…入力装置、14…モニター、20…超音波送信ユニット、21…超音波受信ユニット、22…入力バッファ、23…Bモード処理ユニット、24…カラードプラ処理ユニット、25…FFTドプラ処理ユニット、26…RAWデータメモリ、27…ボリュームデータ生成ユニット、28…画像処理ユニット、29…運動情報処理ユニット、30…表示処理ユニット、31…制御プロセッサ(CPU)、32…記憶ユニット、33…インターフェースユニット、290…第1設定部、292…第2設定部、294…心室形状設定部、296…トラッキング処理部、298…運動情報生成部。

Claims (1)

  1. 心臓の少なくとも心腔を含む三次元領域に対する超音波走査に基づくボリュームデータを取得するデータ取得部と、
    前記心腔の形状に関する情報に基づき、前記心腔への血液流入経路に対応する第1部位の三次元形状を取得し、前記心腔からの血液流出経路に対応する第2部位の三次元形状を取得する取得部と、
    前記心腔を示す三次元形状と、前記取得部で取得された前記第1部位および前記第2部位の三次元形状とが設定された前記ボリュームデータを用いて、前記第1部位、前記第2部位、および前記心腔を含む心筋の少なくとも一部の形状を示す三次元画像を生成する画像生成部と、
    を具備する超音波診断装置。
JP2019036079A 2019-02-28 2019-02-28 医用診断装置、医用画像処理装置及び医用画像処理方法 Active JP6727363B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019036079A JP6727363B2 (ja) 2019-02-28 2019-02-28 医用診断装置、医用画像処理装置及び医用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019036079A JP6727363B2 (ja) 2019-02-28 2019-02-28 医用診断装置、医用画像処理装置及び医用画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014202041A Division JP6640444B2 (ja) 2014-09-30 2014-09-30 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2019081034A true JP2019081034A (ja) 2019-05-30
JP2019081034A5 JP2019081034A5 (ja) 2020-02-20
JP6727363B2 JP6727363B2 (ja) 2020-07-22

Family

ID=66669876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019036079A Active JP6727363B2 (ja) 2019-02-28 2019-02-28 医用診断装置、医用画像処理装置及び医用画像処理方法

Country Status (1)

Country Link
JP (1) JP6727363B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210096942A (ko) * 2020-01-29 2021-08-06 포항공과대학교 산학협력단 심근관류 자기공명 영상 분석 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100195881A1 (en) * 2009-02-04 2010-08-05 Fredrik Orderud Method and apparatus for automatically identifying image views in a 3d dataset
US20110235883A1 (en) * 2010-03-26 2011-09-29 Fujitsu Limited Three-dimensional template transformation method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100195881A1 (en) * 2009-02-04 2010-08-05 Fredrik Orderud Method and apparatus for automatically identifying image views in a 3d dataset
JP2010179098A (ja) * 2009-02-04 2010-08-19 General Electric Co <Ge> 3dデータセット中の画像ビューを自動的に特定する方法および装置
US20110235883A1 (en) * 2010-03-26 2011-09-29 Fujitsu Limited Three-dimensional template transformation method and apparatus
JP2011200549A (ja) * 2010-03-26 2011-10-13 Fujitsu Ltd 3次元テンプレート変形方法、装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210096942A (ko) * 2020-01-29 2021-08-06 포항공과대학교 산학협력단 심근관류 자기공명 영상 분석 장치 및 방법
KR102401111B1 (ko) * 2020-01-29 2022-05-23 포항공과대학교 산학협력단 심근관류 자기공명 영상 분석 장치 및 방법

Also Published As

Publication number Publication date
JP6727363B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
JP5624258B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6180539B2 (ja) リアルタイム胎児心臓評価に対する標準面に自動配置
JP5586203B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5762076B2 (ja) 超音波診断装置、超音波画像処理装置及び医用画像診断装置
WO2013183651A1 (ja) 超音波診断装置及び画像処理装置
JP2010155073A (ja) 超音波診断装置、ドプラ計測装置及びドプラ計測方法
JP6640444B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2023126415A (ja) 超音波診断装置
JP2015006438A (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP4764209B2 (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
JP6815259B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP2008073423A (ja) 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法
JP6460707B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2012176232A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP7305438B2 (ja) 解析装置及びプログラム
JP6727363B2 (ja) 医用診断装置、医用画像処理装置及び医用画像処理方法
JP5606025B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5299961B2 (ja) 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
JP5784085B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP4795672B2 (ja) 超音波診断装置
JP2011045660A (ja) 超音波診断装置及び超音波画像処理装置
JP2020092941A (ja) 超音波診断装置、医用情報処理装置、医用情報処理プログラム
US20170296146A1 (en) Ultrasonic diagnostic device and method of generating discrimination information
JP5242092B2 (ja) 超音波診断装置
JP2022173154A (ja) 医用画像処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6727363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150