JP7366829B2 - 装置及びプログラム - Google Patents

装置及びプログラム Download PDF

Info

Publication number
JP7366829B2
JP7366829B2 JP2020069037A JP2020069037A JP7366829B2 JP 7366829 B2 JP7366829 B2 JP 7366829B2 JP 2020069037 A JP2020069037 A JP 2020069037A JP 2020069037 A JP2020069037 A JP 2020069037A JP 7366829 B2 JP7366829 B2 JP 7366829B2
Authority
JP
Japan
Prior art keywords
doppler waveform
doppler
data
waveform data
vmax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020069037A
Other languages
English (en)
Other versions
JP2021164572A (ja
Inventor
修 中嶋
弘介 並木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2020069037A priority Critical patent/JP7366829B2/ja
Publication of JP2021164572A publication Critical patent/JP2021164572A/ja
Application granted granted Critical
Publication of JP7366829B2 publication Critical patent/JP7366829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本明細書及び図面に開示の実施形態は、装置及びプログラムに関する。
例えば、三尖弁逆流を診断する場合、三尖弁を含む領域をパルスドプラで撮像し、得られた三尖弁逆流のドプラ波形の画像(ドプラ波形画像)から三尖弁逆流最大流速(TR-Vmax)を特定する。このドプラ波形画像上のTR-Vmaxの特定は、アルゴリズム演算、又は人為的に実行される。
しかしながら、ドプラ波形画像にノイズが多い場合、折り返しがある場合等においては、従来の手法ではTR-Vmaxの位置を正確に特定できないおそれがある。
特開2018-187087号公報
クリストファー M. ビショップ(Christopher M. Bishop)著、「パターン認識と機械学習(Pattern recognition and machine learning)」、(米国)、第1版、スプリンガー(Springer)、2006年、P.225-290
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ドプラ波形画像にノイズが多い場合、折り返しがある場合等であっても、TR-Vmaxの位置を正確に特定することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る装置は、取得部、検出部を備える。前記取得部は、三尖弁逆流に関する第1ドプラ波形データを取得する。前記検出部は、三尖弁逆流に関する複数の第2ドプラ波形データのそれぞれにおけるドプラ波形の最大値の位置と、前記複数の第2のドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、前記第1ドプラ波形データとを用いて、前記第1ドプラ波形データにおけるドプラ波形の最大値の位置を検出する。
図1は、実施形態に係る超音波診断装置の構成例を示す図である。 図2は、TR-Vmax検出処理の運用時における学習済みモデルの入出力の関係の一例を示す図である。 図3は、TR-Vmax検出処理の流れの一例を示すフローチャートである。 図4は、実施形態に係るTR-Vmax検出処理の結果、表示装置に表示されたドプラ波形画像の一例を示す図である。 図5は、実施形態に係るモデル生成処理において、多層化のネットワークを学習させるデータの入出力の一例を示す図である。 図6は、学習済みモデルの生成において用いられる多ノイズ波形データを含むドプラモード表示画面の一例を示す図である。 図7は、学習済みモデルの生成において用いられる折り返し波形データを含むドプラモード表示画面の一例を示す図である。 図8は、学習済みモデルの生成において用いられる正常波形データを含むドプラモード表示画面の一例を示す図である。
以下、図面を参照しながら、本実施形態に関する装置及びプログラムについて説明する。説明を具体的にするために、本実施形態に係る装置として、超音波診断装置を例にとり説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
(実施形態)
図1は、本実施形態に係る超音波診断装置100の構成例を示す図である。図1に示すように、超音波診断装置100は、超音波プローブ1と、入力装置3と、表示装置(表示部)5と、装置本体7とを有する。
超音波プローブ1は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ1は、装置本体7と着脱自在に接続される。複数の圧電振動子は、装置本体7における超音波送信回路71から供給された駆動信号に基づいて、超音波を発生する。なお、超音波プローブ1には、フリーズ操作などの各種操作の際に押下されるボタンが配置されてもよい。
超音波プローブ1から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射される。反射された超音波は、反射波信号(以下、エコー信号と呼ぶ)として超音波プローブ1が有する複数の圧電振動子にて受信される。受信されたエコー信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが移動している血流や心臓壁などの表面で反射された場合のエコー信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して周波数偏移を受ける。超音波プローブ1は、被検体Pからのエコー信号を受信して電気信号に変換する。本実施形態においては、超音波プローブ1は、例えば、複数の圧電振動子が所定の方向に沿って配列された1Dアレイプローブ、複数の圧電振動子が二次元マトリックス状に配列された2Dアレイプローブ、または圧電振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なメカニカル4Dプローブ等である。
入力装置3は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路87に出力する。入力装置3は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等を有する。なお、本実施形態において、入力装置3は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、入力装置3とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路87へ出力する電気信号の処理回路も入力装置3の例に含まれる。また、入力装置3は、装置本体7に設けられてもよい。また、入力装置3は、装置本体7と無線通信可能なタブレット端末等で構成されることにしても構わない。
例えば、入力装置3における終了ボタンの押下やフリーズボタンの押下(以下、フリーズ操作と呼ぶ)に応答して、超音波診断装置100は、超音波の送受信を中断し一時停止状態となる。
また、超音波診断装置100は、Bモードでのスキャン中における入力装置3からのフリーズ操作に応答して、超音波の送受信に伴って生成された超音波画像がリアルタイムに表示されるリアルタイム表示モードから、画像メモリ83に記憶された複数の超音波画像を時系列的に表示(以下、シネ表示と呼ぶ)可能なシネ表示モードに移行する。
また、超音波診断装置100は、ドプラモードでのスキャン中における入力装置3からのフリーズ操作に応答して、超音波の送受信に伴って生成されたドプラ波形がリアルタイムに表示されるリアルタイム表示モードから、スクロール表示モードに移行する。ここで、スクロール表示モードとは、画像メモリ83に記憶された複数のドプラ波形画像を、時系列的に順方向又は逆方向にスクロールして表示可能なモードである。例えば、スクロール表示モードにおいて、操作者がトラックボール等を回転させると、超音波診断装置100は、画像メモリ83に格納された複数のドプラ波形画像のうち、トラックボールの回転方向と回転量とに対応するドプラ波形画像を読み出して表示する。当該トラックボールの回転は、フリーズ操作の入力後において時系列のドプラ波形画像を、時系列的に順方向又は逆方向にスクロールさせるスクロール操作に相当する。
表示装置5は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ等の任意のディスプレイである。なお、表示装置5は、装置本体7に組み込まれてもよい。また、表示装置5、デスクトップ型でもよいし、装置本体7と無線通信可能なタブレット端末等で構成されることにしても構わない。なお、表示装置5は表示部の一例である。
表示装置5は、各種の情報を表示する。例えば、表示装置5は、処理回路87や画像生成回路79によって生成された超音波画像や、操作者からの各種操作を受け付けるためのユーザインタフェース(以下、GUI(Graphical User Interface)と呼ぶ)等を表示する。表示装置5は、シネ表示モードにおいて、入力装置3を介した操作者の指示により、時系列に沿って超音波画像を表示する。表示装置5は、スクロール表示モードにおいて、入力装置3を介した操作者の指示により、時系列のドプラ波形画像を表示する。また、例えば表示装置5は、ドプラモードにおいて、フリーズ操作の入力後(スクロール表示)においてスクロール操作が入力されると、スクロール操作の方向及び量に応じて、対応する少なくとも一心拍に対応するドプラ波形を表示する。
装置本体7は、超音波プローブ1が受信したエコー信号に基づいて超音波画像を生成する装置である。装置本体7は、図1に示すように、超音波送信回路71、超音波受信回路73、Bモード処理回路75、ドプラ処理回路77、画像生成回路79、内部記憶回路(記憶部)81、画像メモリ83(シネメモリまたはキャッシュとも称される)、通信インタフェース85、及び処理回路87を有する。
超音波送信回路71は、超音波プローブ1に駆動信号を供給するプロセッサである。超音波送信回路71は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等を有する。トリガ発生回路は、処理回路87におけるシステム制御機能871により、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ1から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、各レートパルスに対して与える。パルサ回路は、システム制御機能871により、レートパルスに基づくタイミングで、超音波プローブ1に駆動信号(駆動パルス)を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。
超音波受信回路73は、超音波プローブ1が受信したエコー信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路73は、例えば、アンプ回路、A/D変換器、受信遅延回路、及び加算器等を有する。アンプ回路は、超音波プローブ1が受信したエコー信号をチャンネルごとに増幅してゲイン補正処理を行なう。A/D変換器は、ゲイン補正されたエコー信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が生成される。
Bモード処理回路75は、超音波受信回路73から受け取った受信信号に基づき、Bモードデータを生成するプロセッサである。Bモード処理回路75は、超音波受信回路73から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度を輝度の明るさで表現したデータ(すなわち、Bモードによって取得されたデータ。以下、Bモードデータと呼ぶ)を生成する。生成されたBモードデータは、2次元的な超音波走査線上のBモードRAWデータとして不図示のRAWデータメモリに記憶される。
ドプラ処理回路77は、超音波受信回路73から受け取った受信信号に基づき、ドプラ波形データ、及びドプラデータを生成するプロセッサである。ドプラ処理回路77は、受信信号から血流信号を抽出し、抽出された血流信号からドプラ波形データを生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ(すなわち、ドプラモードによって取得されたデータ。以下、ドプラデータと呼ぶ)を生成する。生成されたドプラデータは、2次元的な超音波走査線上のドプラRAWデータとして不図示のRAWデータメモリに記憶される。
画像生成回路79は、操作者が入力装置3を介して各種指示を入力するためのGUIを生成する。画像生成回路79は、Bモード処理回路75及びドプラ処理回路77により生成されたデータに基づき、各種超音波画像のデータを生成する機能(スキャンコンバータ)を有するプロセッサである。画像生成回路79は、不図示の内部メモリを備える。画像生成回路79は、RAW-ピクセル変換を実行することで、ピクセルから構成される2次元の超音波画像データ(Bモード画像データ、カラードプラ画像データ、ドプラ波形画像データ等)を生成する。画像生成回路79は、生成された超音波画像データを、内部記憶回路81に記憶させる。画像生成回路79は、生成された超音波画像データに対し、ダイナミックレンジ、輝度(ブライトネス)、コントラスト、γカーブ補正及びRGB変換等の各種画像処理を実行する。
なお、画像生成回路79は、Bモード画像データ等に対し、空間的な位置情報を加味した補間処理等を実行することで、所望の範囲のボクセルから構成されるボリュームデータを生成することもできる。なお、画像生成回路79は、RAWデータメモリに記憶されているBモードRAWデータに対し、空間的な位置情報を加味した補間処理を含むRAW-ボクセル変換を実行することで、ボリュームデータを生成してもよい。また、画像生成回路79は、例えば各種ボリュームデータに対してレンダリング処理や多断面変換再構成(以下、MPR(Multi Planar Reconstruction)と呼ぶ)処理等を施し、レンダリング画像やMPR画像を生成してもよい。
内部記憶回路81は、例えば、磁気的若しくは光学的記憶媒体、又は集積回路記憶装置等のプロセッサにより読み取り可能な記憶媒体等で実現される。例えば、内部記憶回路81は、種々の情報を記憶するHDD(Hard disk Drive)やSSD(Solid State Drive)、半導体メモリ等に相当する。内部記憶回路17は、HDDやSSD等以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体や、RAM(Random Access Memory)等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。
内部記憶回路81は、本実施形態に係る各種機能を実現するためのプログラム等を記憶する。内部記憶回路81は、診断情報(例えば、患者ID、医師の所見等)、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位ごとに予め設定する変換テーブルなどのデータ群を記憶する。内部記憶回路81に記憶された各種データは、システム制御機能871により、通信インタフェース21を介して外部装置へ転送することもできる。内部記憶回路81は、学習済みモデルを記憶する。なお、学習済みモデルは、処理回路87自身のメモリに記憶されてもよい。学習済みモデルは、処理回路87における検出機能875により、三尖弁逆流に関する最大流速値(TR-Vmax)の検出(以下、TR-Vmax検出処理と言う。)において運用される。
図2は、TR-Vmax検出処理の運用時における学習済みモデルの入出力の関係の一例を示す図である。図2に示すように、学習済みモデルは、ドプラ波形画像データの入力により、当該ドプラ波形画像データにおけるドプラ波形上のTR-Vmaxの位置を、TR-Vmax検出処理の結果として出力する。すなわち、学習済みモデルは、三尖弁逆流に関する複数のドプラ波形画像データ(複数の第2ドプラ波形データ)のそれぞれにおけるドプラ波形の最大値の位置と、複数のドプラ波形画像データとを少なくとも含むトレーニングデータにより学習されたモデルである。具体的には、学習済みモデルは、ドプラ波形画像データを入力し、当該ドプラ波形画像データにおけるドプラ波形上のTR-Vmaxの位置に対応する座標を出力する。
なお、学習済みモデルに入力されるドプラ波形画像データは、少なくとも一心拍以上のドプラ波形を含むものであればよい。学習済みモデルに入力されるドプラ波形画像データが複数心拍のドプラ波形を含む場合、学習済みモデルは、例えば、各ドプラ波形上のTR-Vmaxの座標を、TR-Vmax検出処理の結果として出力する。しかしながら、当該例に限らず、複数心拍のドプラ波形のうち、少なくとも一心拍に対応するドプラ波形上のTR-Vmaxの座標を、TR-Vmax検出処理の結果として出力するようにしてもよい。
また、学習済みモデルは、入力されるドプラ波形画像データの画質にはとらわれない。例えば、学習済みモデルは、入力されるドプラ波形画像データは、ノイズを多く含む画像データ、ドプラ波形の折り返し(エイリアシング)を含む画像データ、輝度が薄い画像データのいずれであってもよい。
学習済みモデルは、それぞれが少なくとも一心拍に対応するドプラ波形を含む複数のドプラ波形画像データと、当該複数のドプラ波形画像データ各々についてのドプラ波形上のTR-Vmaxの座標である教師データ(正解データ)との組み合わせからなるトレーニングデータ(学習データ)を用いて、例えば多層化のネットワークに対して機械学習を実行することにより生成される。多層化のネットワークとは、例えば、ディープニューラルネットワーク(Deep Neural Network:以下、DNNと呼ぶ)、や畳み込みニューラルネットワーク(Convolution Neural Network:以下、CNNと呼ぶ)などの機械学習モデルである。多層化のネットワークに対する学習は、多層化のネットワークにおける複数のパラメータを調整することに相当する。なお、機械学習の対象となるモデルは、多層化のネットワークに限定されず、学習済みモデルに対する入出力の関係を維持できれば、任意のモデルが使用可能である。
トレーニングデータに含まれる教師データ、すなわち各ドプラ波形画像データに含まれるドプラ波形上のTR-Vmaxの座標は、例えば既存のアルゴリズムを用いて、又は医師や技師による人為的な処理に基づいて生成することができる。学習済みモデルの生成に関する処理(以下、モデル生成処理と呼ぶ)については、後程説明する。
画像メモリ83は、例えば、プロセッサにより読み取り可能な半導体メモリ等の記録媒体等を有する。画像メモリ83は、例えば、キャッシュメモリにより実現される。画像メモリ83は、入力装置3を介して入力されるフリーズ操作から遡った一定期間に取得された各種画像のデータを保存する。具体的には、画像メモリ83は、スクロール表示を行なうために、フリーズボタンが押下された瞬間から所定の過去の一定期間に亘るドプラ波形画像データを、他のデータで上書きされないように記憶する。なお、内部記憶回路81と画像メモリ83とは、一つの記憶装置として統合されてもよい。
通信インタフェース85は、ネットワークを介して外部装置と接続される。通信インタフェース85は、ネットワークを介して、外部装置との間でデータ通信を行う。外部装置は、例えば、各種の医用画像のデータを管理するシステムである医用画像管理システム(PACS(Picture Archiving and Communication System)、医用画像が添付された電子カルテを管理する電子カルテシステム等である。なお、外部装置との通信の規格は、如何なる規格であっても良いが、例えば、DICOM(Digital Imaging and COmmunications in Medicine)が挙げられる。
処理回路87は、例えば、超音波診断装置100の中枢として機能するプロセッサである。処理回路87は、ハードウェア資源として、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサとROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとを有する。また、処理回路87は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールド・プログラマブル・ゲート・アレイ(Field Programmable Gate Array:FPGA)、他の複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、や単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)により実現されてもよい。
処理回路87は、例えば、システム制御機能871、取得機能873、検出機能875、及び表示制御機能877などの各種機能を有する。処理回路87は、内部記憶回路81に記憶されている各種プログラムを自身のメモリに展開して実行することで、当該プログラムに対応するシステム制御機能871、取得機能873、検出機能875、及び表示制御機能877を実行する。なお、プログラムは、内部記憶回路81に保存される代わりに、当該プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、当該プロセッサは、当該回路内に組み込まれたプログラムを読み出して実行することで上記機能を実現する。
システム制御機能871、取得機能873、検出機能875、及び表示制御機能877をそれぞれ実行する処理回路87は、システム制御部、取得部、検出部、表示制御部に相当する。なお、システム制御機能871、取得機能873、検出機能875、及び表示制御機能877各々は、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより、システム制御機能871、取得機能873、検出機能875、及び表示制御機能877を実現するものとしても構わない。
処理回路87は、システム制御機能871により、超音波診断装置100の入出力等の基本動作を制御する。システム制御機能871が実行されると、処理回路87は、例えば入力装置3を介して、各種スキャンモードの入力を受け付ける。処理回路87は、受け付けたスキャンモードに応じ、各種超音波スキャンを実行し、各種超音波画像を生成する。例えば、スキャンモードがパルスドプラモードである場合、処理回路87は、超音波送信回路71、超音波受信回路73、ドプラ処理回路77、及び画像生成回路79を制御し、時系列のドプラ波形画像データを生成する。
処理回路87は、取得機能873により、被検体Pの三尖弁付近の血流をパルスドプラモードによりスキャンして、三尖弁逆流に関するドプラ波形画像データを取得する。具体的には、処理回路87は、リアルタイム表示モードにおいて入力装置3を介してフリーズ操作が入力されると、表示装置5に表示されたドプラ波形画像データを取得する。処理回路87は、フリーズ操作の入力を契機として、内部記憶回路81から学習済みモデルを取得する。なお、処理回路87は、フリーズ操作の入力の代わりに、TR-Vmax検出処理の実行指示(以下、TR-Vmax検出指示と呼ぶ)の入力を契機として、表示装置5に表示されたドプラ波形画像データを取得してもよい。また、学習済みモデルが処理回路87自身のメモリに記憶されている場合、処理回路87は、フリーズ操作の入力等を契機として、自身のメモリから学習済みモデルを取得する。
処理回路87は、検出機能875により、学習済みモデルにドプラ波形画像データを入力することで、当該学習済みモデルにより、ドプラ波形画像データに含まれるドプラ波形上のTR-Vmaxの座標を検出する。具体的には、処理回路87は、被検体Pのドプラ波形画像データを第1ドプラ波形データとして学習済みモデルに入力することで、当該ドプラ波形画像データに含まれるドプラ波形上のTR-Vmaxの座標を検出する。処理回路87は、検出されたTR-Vmaxの座標に基づいて、心拍毎のTR-Vmaxに対応する流速値等を計算する。なお、検出されたTR-Vmaxの座標に基づく流速値は、学習済みモデルに入力したドプラ波形画像データ上のグラフから計算してもよいし、ドプラ処理回路77によって生成されたドプラデータから計算することもできる。
また、学習済みモデルは、心拍毎のTR-Vmaxの座標と併せて、心拍毎のTR-Vmaxの流速値を出力してもよい。また、処理回路87は、学習済みモデルから出力された心拍毎のTR-Vmaxの座標と、学習済みモデルに入力されたドプラ画像データに含まれた対応するドプラ波形とを、関連づけて内部記憶回路81に記憶させてもよい。
処理回路87は、表示制御機能877により、検出された心拍毎のTR-Vmaxの座標に基づいて、心拍毎のTR-Vmaxの位置を対応するドプラ波形上にマッピングする。処理回路87は、心拍毎のTR-Vmaxの位置(座標)が対応するドプラ波形に重畳されたドプラ波形画像データを、表示装置5に表示させる。具体的には、処理回路87は、検出された心拍毎のTR-Vmaxの座標に基づいて、各ドプラ波形上に対応するTR-Vmaxの位置がガイドによって示されたドプラ波形画像データを、表示装置5に表示させる。
(TR-Vmax検出処理)
次に、超音波診断装置100によって実行されるTR-Vmax検出処理について説明する。図3は、TR-Vmax検出処理の流れの一例を示すフローチャートである。説明を具体的にするために、学習済みモデルは、被検体Pの三尖弁付近の血流をパルスドプラモードによりスキャンして得られたドプラ波形画像データとして入力し、当該ドプラ波形画像データに含まれる心拍毎のドプラ波形上のTR-Vmaxの座標を出力するものとする。加えて、学習済みモデルへのドプラ波形画像データの入力は、リアルタイム表示モードにおけるフリーズ操作を契機として実行されるものとする。
(ステップS301)
被検体Pに対する超音波の送受信により、ドプラ処理回路77は、ドプラモードRAWデータを生成し、生成されたドプラモードRAWデータをRAWデータメモリに記憶する。画像生成回路79は、RAWデータメモリから読み出されたドプラモードRAWデータに基づいて、ドプラ波形画像データを生成する。表示装置5は、ドプラ波形画像を表示する。なお、スクロール表示モードが実行されている場合、本ステップにおいて、表示装置5は、スクロール操作に応じて、対応する少なくとも一心拍に対応するドプラ波形を表示する。
(ステップS302)
入力装置3を介してフリーズ操作が実行される(ステップS302のYes)と、ステップS303の処理が実行される。入力装置3を介してフリーズ操作が実行されなければ、(ステップS302のNo)と、ステップS301の処理が実行される。なお、スクロール表示モードが実行されている場合、入力装置3を介してTR-Vmax検出処理の実行指示(例えば、TR-Vmax検出処理用のボタンの押下)が入力されると、ステップS303に処理が実行される。また、スクロール表示モードが実行されている場合、本ステップにおいて入力装置3を介してTR-Vmax検出処理の実行指示が入力されなければ、ステップS301において上述したスクロール表示が実行される。
(ステップS303)
処理回路87は、取得機能873により、表示装置5に表示されているドプラ波形画像に対応するデータを、内部記憶回路81または画像メモリ83から取得する。処理回路87は、内部記憶回路81から学習済みモデルを読み出す。このとき、表示装置5に表示されているドプラ波形画像は、多くのノイズを含むもの、ドプラ波形の折り返しが発生しているもの、輝度が低いもの等であってもよい。また、表示装置5に表示されているドプラ波形画像は、少なくとも一心拍に対応するドプラ波形を含むものであればよい。
(ステップS304)
処理回路87は、検出機能875により、取得されたドプラ波形画像データを学習済みモデルに入力する。これにより、処理回路87は、学習済みモデルにより、入力したドプラ波形画像データに含まれる各心拍のドプラ波形についてのTR-Vmaxの座標を出力する。
(ステップS305)
処理回路87は、表示制御機能877により、各心拍のドプラ波形についてのTR-Vmaxの座標に基づいて、心拍毎のTR-Vmaxの位置を対応するドプラ波形上にマッピングする。これにより、心拍毎のTR-Vmaxの位置(座標)が対応するドプラ波形に重畳されたドプラ波形画像データが生成される。
(ステップS306)
処理回路87は、検出された心拍毎のTR-Vmaxの座標に基づいて、各ドプラ波形上に対応するTR-Vmaxの位置がガイドによって示されたドプラ波形画像データを、表示装置5に表示させる。表示装置5は、TR-Vmaxの位置がガイドによって示されたドプラ波形画像を表示する。
図4は、実施形態に係るTR-Vmax検出処理の結果、表示装置5に表示されたドプラ波形画像の一例を示す図である。図4に示す様に、表示装置5には、三心拍のドプラ波形画像40、カラードプラ画像41、TR-Vmaxのガイド42a、42b、42c、ECG(Electrocardiogram:心電)波形43、指標44が表示されている。すなわち、図4の例では、ドプラ波形画像40の各心拍のドプラ波形におけるTR-Vmaxの位置が、ドプラ波形画像40に重畳表示されたTR-Vmaxのガイド42a、42b、42cによって示されている。なお、TR-Vmaxのガイドの破線は時間軸上の位置を、+印はドプラ波形上の位置をそれぞれ示している。また、指標44において、選択された心拍のドプラ波形に関するTR-Vmaxの値等が表示される。
(ステップS307)
入力装置3を介してTR-Vmax検出処理の終了指示が入力される(ステップS307のYes)と、TR-Vmax検出処理は終了する。入力装置3を介してTR-Vmax検出処理の終了指示が入力されない場合(ステップS307のNo)と、ステップS301以降の処理が繰り返される。
(モデル生成処理)
次に、学習済みモデルの生成に関するモデル生成処理について説明する。図5を用いて説明する。図5は、モデル生成処理において、多層化のネットワークMLNを学習させるデータの入出力の一例を示す図である。学習済みモデルの生成は、例えば、超音波診断装置100とは異なる学習装置により実行される。学習装置は、スタンドアローン(独立)型のコンピュータや、ネットワーク上に設けられたサーバ等により実現される。また、学習装置に搭載されたメモリや記憶装置、またはトレーニングデータ保管装置には、上記学習用データが記憶されているものとする。
以下、説明を具体的にするために、トレーニングデータとして多層化のネットワークMLNに入力される複数の第2ドプラ波形データは、例えば、多ノイズ波形データ及び折り返し波形データを少なくとも一方を含む。ここで、多ノイズ波形データとは、少なくとも一心拍に対応するドプラ波形に加えて、一定基準以上のノイズを含むドプラ波形データを意味する。折り返し波形データとは、折り返しが発生した少なくとも一心拍に対応するドプラ波形を含むドプラ波形データを意味する。本実施形態では、説明を具体的にするため、トレーニングデータとして多層化のネットワークMLNに入力される複数の第2ドプラ波形データは、多ノイズ波形データ、折り返し波形データ、正常波形データ(ノイズが基準値以下であり、折り返しも発生していない少なくとも一心拍に対応するドプラ波形を含むドプラ波形データ)を含むものとする。
また、トレーニングデータに用いる第2ドプラ波形データは、複数種類の心拍数に対応するドプラ波形を含む。すなわち、トレーニングデータに用いる第2ドプラ波形データが含むドプラ波形は、任意の心拍数分であってもよい。典型的には、3心拍から5心拍分のドプラ波形を含む第2ドプラ波形データを用いることができる。
図6は、学習済みモデルの生成において用いられる多ノイズ波形データを含むドプラモード表示画面の一例を示す図である。図6に示したドプラモード表示画面は、3心拍分のドプラ波形画像45、カラードプラ画像46、TR-Vmaxのガイド47、48、49、ECG波形50を表示している。また、図6に示した多ノイズ波形データとしての3心拍分のドプラ波形画像45は、例えば靄のような多ノイズ(図6においては、網掛け領域51として例示)を含む。図6に示す多ノイズ波形データに対応する正解データは、図6に示すTR-Vmaxのガイド47、48、49の+印の座標である。
図7は、学習済みモデルの生成において用いられる折り返し波形データを含むドプラモード表示画面の一例を示す図である。図7に示したドプラモード表示画面は、5心拍分のドプラ波形画像55、カラードプラ画像56、TR-Vmaxのガイド57、58、59、60、61、ECG波形62を表示している。また、図7に示した折り返し波形データとしての5心拍分のドプラ波形画像55は、各心拍において折り返し波形63を含む。図7に示す折り返し波形データに対応する正解データは、図7に示すTR-Vmaxのガイド57、58、59、60、61の+印の座標である。
図8は、学習済みモデルの生成において用いられる正常波形データを含むドプラモード表示画面の一例を示す図である。図8に示したドプラモード表示画面は、正常波形データとしての3心拍分のドプラ波形画像65、カラードプラ画像66、TR-Vmaxのガイド67、68、69、ECG波形70を表示している。なお、図8のドプラモード表示画面例では、各心拍についてのTR-Vmaxの値を示す指標72をさらに表示している。図8に示す正常波形データに対応する正解データは、図8に示すTR-Vmaxのガイド67、68、69dの+印の座標である。
図5に示すように、図6乃至図8に示すような第2ドプラ波形データが、多層化のネットワークMLNに入力される。学習装置は、多層化のネットワークMLNからの出力データと、多層化のネットワークMLNに入力された第2ドプラ波形データに対応する正解データとを差分する。学習装置は、当該差分(誤差)が一定値以下になるように、多層化のネットワークMLNにおける複数のパラメータを、例えば、誤差逆伝搬法により調整する。学習装置は、複数のパラメータが調整された多層化のネットワークMLNに対して、当該調整に用いられた第2ドプラ波形データと異なる第2ドプラ波形データを入力する。以下同様にして、学習装置は、多層化のネットワークMLNにおける複数のパラメータをさらに調整する。多層化のネットワークMLNに対する学習処理は、例えば非特許文献1等に記載されている既存の方法を適宜利用することができるため、説明は省略する。
以上述べた様に、実施形態に係る超音波診断装置100は、取得部としての取得機能873と、検出部としての検出機能875とを備える。取得機能873は、三尖弁逆流に関する第1ドプラ波形データを取得する。検出機能875は、三尖弁逆流に関する複数の第2ドプラ波形データのそれぞれにおけるドプラ波形の最大値の位置と、複数の第2のドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、第1ドプラ波形データとを用いて、第1ドプラ波形データにおけるドプラ波形の最大値の位置を検出する。
具体的には、第1超音波画像データ及び第2超音波画像データは、ドプラ波形画像データに対応する。実施形態に係る超音波診断装置100によれば、学習済みモデルにより、第1超音波画像データに含まれる心拍毎のドプラ波形につき、TR-Vmaxの位置を検出し、検出されたTR-Vmaxの位置を、第1超音波画像データに対応するドプラ波形画像タに重畳表示することができる。
また、学習済みモデルは、多ノイズ波形データ、折り返し波形データ、輝度の低いドプラ波形データ等を用いてトレーニングされた、例えば多層化のネットワークMLNである。従って、学習済みモデルに入力される第1超音波画像データがノイズ及び折り返しを含む場合、ドプラ波形が薄い画像データである場合であっても、TR-Vmaxの位置を正確に特定することができる。
また、学習済みモデルは、種々の心拍数に対応するドプラ波形を含むデータ等を用いてトレーニングされた、例えば多層化のネットワークMLNである。従って、学習済みモデルに入力される第1超音波画像データに含まれるドプラ波形の数に関わらず、TR-Vmaxの位置を正確に特定することができる。
以上のことから、実施形態に係る超音波診断装置100によれば、TR-Vmax検出処理において、ドプラ波形画像がノイズや折り返し等を含む場合など、既存のアルゴリズムや人為的処理では困難な場合であっても、心拍毎のドプラ波形について、正確なTR-Vmaxの位置を自動的に検出し、ドプラ波形画像上に重畳表示することができる。これにより、本装置によれば、心不全の超音波画像診断におけるスループットを向上させることができる。
(変形例1)
上記実施形態においては、ドプラ波形画像データを入力し、当該ドプラ波形画像データにおけるドプラ波形上のTR-Vmaxの座標を出力する学習済みモデルを例として説明した。これに対し、少なくとも一心拍に対応するドプラ波形に加えて、当該少なくとも一心拍に対応するドプラ波形と同期して取得されたECG波形をさらに含むドプラ波形画像データを入力し、当該ドプラ波形画像データにおける各ドプラ波形上のTR-Vmaxの座標を出力する学習済みモデルを用いるようにしてもよい。
なお、この様な学習済みモデルの生成は、次のようなトレーニングデータが用いられる。すなわち、少なくとも一心拍に対応するドプラ波形に加えて、当該少なくとも一心拍に対応するドプラ波形と同期して取得されたECG波形をさらに含むドプラ波形画像データを入力データとする。また、各入力データについて、ドプラ波形上のTR-Vmaxの座標が教師データとされる。この入力データと教師データの複数の組合せからなるトレーニングデータを用いて、例えば多層化のネットワークに対して機械学習を実行することにより生成される。
さらに、必要に応じて、ECG波形の画像データと共に、又はECG波形の画像データに替えて、ドプラ波形画像データに含まれるドプラ波形と同期して取得された呼気波形の画像データを入力し、当該ドプラ波形画像データにおけるドプラ波形上のTR-Vmaxの座標を出力する学習済みモデルを用いるようにしてもよい。この場合においても、呼気波形の画像データは、ドプラ波形画像データに含まれていてもよいし、ドプラ波形画像データとは別体のデータであってもよい。
例えば、ドプラ波形画像データに含まれるドプラ波形と同期して取得された呼気波形及びECG波形の画像データを入力する学習モデルの生成には、次のようなトレーニングデータが用いられる。すなわち、少なくとも一心拍に対応するドプラ波形に加えて、当該少なくとも一心拍に対応するドプラ波形と同期して取得されたECG波形及び呼気波形をさらに含むドプラ波形画像データを入力データとする。また、各入力データについて、ドプラ波形上のTR-Vmaxの座標が教師データとされる。この入力データと教師データの複数の組合せからなるトレーニングデータを用いて、例えば多層化のネットワークに対して機械学習を実行することにより生成される。
(変形例2)
上記実施形態においては、学習済みモデルによって検出された心拍毎のTR-Vmaxの位置(座標)が対応するドプラ波形に重畳されたドプラ波形画像データを、表示装置5に表示させる場合を例示した。これに対し、学習済みモデルが、検出された心拍毎のTR-Vmaxの位置が対応するドプラ波形に重畳されたドプラ波形画像データ出力する構成としてもよい。このとき、学習済みモデルは、検出機能875において、少なくとも一心拍に対応するドプラ波形を含むドプラ波形画像データを入力し、心拍毎のTR-Vmaxの位置が対応するドプラ波形に重畳されたドプラ波形画像データを出力する。
(変形例3)
上記実施形態においては、画像生成回路79によって生成されたドプラ波形画像データを学習済みモデルに入力し、TR-Vmax検出処理を実行する場合を例示した。これに対し、ドプラ処理回路77によって生成されたドプラ波形データ(すなわち、RAWデータメモリに格納されたドプラRAWデータ)を第1ドプラ波形データとして学習済みモデルに入力し、TR-Vmax検出処理を実行するようにしてもよい。係る場合、TR-Vmax検出処理を実行するモデルは、ドプラRAWデータを第2ドプラ波形データとし、当該第2ドプラ波形データ上のTR-Vmaxの座標を教師データとするトレーニングデータを用いて生成される。
(変形例4)
上記実施形態においては、装置が超音波診断装置100である場合を例示した。これに対し、本実施形態に係る装置は、例えば、医用画像処理装置、医用画像処理サーバ装置、ワークステーションまたはクラウドコンピューティングにより実現されてもよい。医用画像装置、医用画像処理サーバ装置、ワークステーションまたはクラウドコンピューティングは、例えば、図1に記載の点線の枠9内の構成を有する。なお、装置が医用画像処理サーバ装置、ワークステーションまたはクラウドコンピューティングとして実現される場合、入力装置3と表示装置5とは、例えば、クライアント装置として、ネットワークに接続されてもよい。このとき、例えば、内部記憶回路81と、画像メモリ83と、通信インタフェース85と、処理回路87とは、ネットワーク上のサーバに搭載されてもよい。
本実施形態及び本応用例における技術的思想を医用画像処理プログラムなどのプログラムで実現する場合、プログラムは、コンピュータに、三尖弁逆流に関する第1ドプラ波形データを取得し、三尖弁逆流に関する複数の第2ドプラ波形データのそれぞれにおけるドプラ波形の最大値(TR-Vmax)の位置と、複数の第2のドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、第1ドプラ波形データとを用いて、第1ドプラ波形データにおけるドプラ波形の最大値の位置を検出すること、を実現させる。例えば、病院情報システムにおけるPACSサーバや統合サーバ、超音波診断装置100などにおけるコンピュータに当該プログラムをインストールし、これらをメモリ上で展開することによっても、TR-Vmax検出処理を実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(ハードディスクなど)、光ディスク(CD-ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。プログラムにおける処理手順及び効果は、実施形態と同様なため、説明は省略する。
以上説明した少なくとも1つの実施形態及び変形例等によれば、ドプラ波形画像にノイズが多い場合、折り返しがある場合等であっても、TR-Vmaxの位置を正確に特定することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 超音波プローブ
3 入力装置
5 表示装置
7 装置本体
9 医用画像処理装置、医用画像処理サーバ装置、またはクラウドコンピューティング
71 超音波送信回路
73 超音波受信回路
75 Bモード処理回路
77 ドプラ処理回路
79 画像生成回路
81 内部記憶回路
83 画像メモリ
85 通信インタフェース
87 処理回路
100 超音波診断装置
871 システム制御機能
873 取得機能
875 検出機能
877 表示制御機能

Claims (10)

  1. 三尖弁逆流に関する第1ドプラ波形データを取得する取得部と、
    三尖弁逆流に関する複数の第2ドプラ波形データのそれぞれにおけるドプラ波形の最大値の位置と、前記複数の第2ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、前記第1ドプラ波形データとを用いて、前記第1ドプラ波形データにおけるドプラ波形の最大値の位置を検出する検出部と、
    を備える装置。
  2. 前記取得部は、少なくとも一心拍のドプラ波形を含む第1ドプラ波形データを取得し、
    前記複数の第2ドプラ波形データは、少なくとも一心拍のドプラ波形を含む、
    請求項1に記載の装置。
  3. 前記取得部は、前記第1ドプラ波形データに含まれるドプラ波形と同期したECG波形を取得し、
    前記検出部は、前記ECG波形をさらに含む前記トレーニングデータにより、学習された前記学習済みモデルと、前記第1ドプラ波形データとを用いて、前記第1ドプラ波形データにおける前記ドプラ波形の最大値の位置を検出する、
    請求項1又は2に記載の装置。
  4. 前記取得部は、前記第1ドプラ波形データに含まれるドプラ波形と同期した呼気波形を取得し、
    前記検出部は、前記呼気波形をさらに含む前記トレーニングデータにより、学習された前記学習済みモデルと、前記第1ドプラ波形データとを用いて、前記第1ドプラ波形データにおける前記ドプラ波形の最大値の位置を検出する、
    請求項1乃至3のうちいずれか一項に記載の装置。
  5. 前記複数の第2ドプラ波形データは、ノイズが基準値以上のドプラ波形データを少なくとも含む、
    請求項1乃至4のうちいずれか一項に記載の装置。
  6. 前記複数の第2ドプラ波形データは、ドプラ波形の折り返しを含むドプラ波形データを少なくとも含む、
    請求項1乃至4のうちいずれか一項に記載の装置。
  7. 前記複数の第2ドプラ波形データは、複数種類の心拍数に対応するドプラ波形を含む、
    請求項1乃至6のうちいずれか一項に記載の装置。
  8. 前記検出部は、前記第1ドプラ波形データが複数心拍のドプラ波形を含む場合には、心拍毎の前記ドプラ波形の最大値の位置を検出する、
    請求項1乃至7のうちいずれか一項に記載の装置。
  9. 検出された前記ドプラ波形の最大値の座標と前記第1ドプラ波形データとを用いて、前記ドプラ波形の最大値の位置が前記第1ドプラ波形データ上に重畳された画像を表示部に表示させる表示制御部をさらに有する、
    請求項1乃至8のうちいずれか一項に記載の装置。
  10. コンピュータに、
    三尖弁逆流に関する第1ドプラ波形データを取得し、
    三尖弁逆流に関する複数の第2ドプラ波形データのそれぞれにおけるドプラ波形の最大値の位置と、前記複数の第2ドプラ波形データとを少なくとも含むトレーニングデータにより学習された学習済みモデルと、前記第1ドプラ波形データとを用いて、前記第1ドプラ波形データにおけるドプラ波形の最大値の位置を検出すること、
    を実現させるプログラム。
JP2020069037A 2020-04-07 2020-04-07 装置及びプログラム Active JP7366829B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020069037A JP7366829B2 (ja) 2020-04-07 2020-04-07 装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020069037A JP7366829B2 (ja) 2020-04-07 2020-04-07 装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021164572A JP2021164572A (ja) 2021-10-14
JP7366829B2 true JP7366829B2 (ja) 2023-10-23

Family

ID=78021292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020069037A Active JP7366829B2 (ja) 2020-04-07 2020-04-07 装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7366829B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310837A1 (en) 2008-06-12 2009-12-17 Siemens Corporate Research, Inc. Method and System for Automatic Detection and Measurement of Mitral Valve Inflow Patterns in Doppler Echocardiography
JP2010155073A (ja) 2008-12-02 2010-07-15 Toshiba Corp 超音波診断装置、ドプラ計測装置及びドプラ計測方法
WO2013057999A1 (ja) 2011-10-20 2013-04-25 日立アロカメディカル株式会社 超音波撮像装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310837A1 (en) 2008-06-12 2009-12-17 Siemens Corporate Research, Inc. Method and System for Automatic Detection and Measurement of Mitral Valve Inflow Patterns in Doppler Echocardiography
JP2010155073A (ja) 2008-12-02 2010-07-15 Toshiba Corp 超音波診断装置、ドプラ計測装置及びドプラ計測方法
WO2013057999A1 (ja) 2011-10-20 2013-04-25 日立アロカメディカル株式会社 超音波撮像装置及び方法
US20140236008A1 (en) 2011-10-20 2014-08-21 Hitachi Aloka Medical, Ltd. Ultrasound imaging equipment and method

Also Published As

Publication number Publication date
JP2021164572A (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
CN106037797B (zh) 超声成像中感兴趣的三维容积
US20180206820A1 (en) Ultrasound apparatus and method
US9468418B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image display apparatus, and ultrasonic image display method
US20140108053A1 (en) Medical image processing apparatus, a medical image processing method, and ultrasonic diagnosis apparatus
US10390801B2 (en) Ultrasonic diagnostic apparatus
US9888905B2 (en) Medical diagnosis apparatus, image processing apparatus, and method for image processing
US11266380B2 (en) Medical ultrasound image processing device
JP2006503620A (ja) 診断画像の表示を改良させるシステム及び方法
CN103126724A (zh) 超声波诊断装置以及图像处理方法
US20200334818A1 (en) Medical image processing apparatus
JP2008073423A (ja) 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法
JP5390149B2 (ja) 超音波診断装置、超音波診断支援プログラム及び画像処理装置
US20190117196A1 (en) Ultrasound diagnostic apparatus and ultrasound probe
JP7366829B2 (ja) 装置及びプログラム
JP5299961B2 (ja) 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
US11963825B2 (en) Apparatus and data processing method
JP6622018B2 (ja) 超音波診断装置及び医用画像処理装置
JP5242092B2 (ja) 超音波診断装置
JP2022158712A (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
EP3626177A1 (en) Apparatus and computer program
JP7451267B2 (ja) 装置およびプログラム
WO2020118128A1 (en) Method and system for simultaneously presenting doppler signals of a multi-gated doppler signal corresponding with different anatomical structures
US20240050074A1 (en) Medical information processing apparatus, a non-transitory computer readable medium, and ultrasonic diagnostic apparatus
JP2018171436A (ja) 超音波プローブ、超音波診断装置及び超音波診断支援プログラム
JP2021164573A (ja) 装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7366829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150