JP2022545219A - 超音波ガイダンスダイナミックモード切り替え - Google Patents

超音波ガイダンスダイナミックモード切り替え Download PDF

Info

Publication number
JP2022545219A
JP2022545219A JP2022510895A JP2022510895A JP2022545219A JP 2022545219 A JP2022545219 A JP 2022545219A JP 2022510895 A JP2022510895 A JP 2022510895A JP 2022510895 A JP2022510895 A JP 2022510895A JP 2022545219 A JP2022545219 A JP 2022545219A
Authority
JP
Japan
Prior art keywords
ultrasound
mode
computing system
target organ
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022510895A
Other languages
English (en)
Other versions
JP7497424B2 (ja
Inventor
カデュー,チャールズ
キャノン,マイケル,ジー.
チョウドリー,アリ
ホン,ハ
ケプセル,キラン
パラジュリ,ンリペーシュ
ポワルヴェール,ニコラス
Original Assignee
キャプション ヘルス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キャプション ヘルス インコーポレイテッド filed Critical キャプション ヘルス インコーポレイテッド
Publication of JP2022545219A publication Critical patent/JP2022545219A/ja
Application granted granted Critical
Publication of JP7497424B2 publication Critical patent/JP7497424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【解決手段】超音波ガイダンスダイナミックモード切り替え方法は、超音波診断コンピューティングシステムのメモリ内の所定の超音波診断手順を選択する工程、および選択された手順に対応するワークフローとしてビューの第1のシーケンスのためのシステムの操作モードを識別する工程を含む。本方法は、識別された操作モードにシステムを配する工程、およびワークフローのビューの第1のシーケンスと関連付けた標的器官の画像を取得する工程をさらに含む。最後に、この方法は、取得画像において、異なる操作モードにマッピングされた標的器官の特徴を検出する工程、および、検出に応答して、操作モードを変更するための推奨をディスプレイに表示し、システムを異なる操作モードに配して、異なるワークフローの追加ビューの異なるシーケンスに関連付けてシステムを利用して標的器官の追加画像を取得する工程を含む。【選択図】図1

Description

本発明は、超音波画像化、より具体的には超音波画像取得に関する。
関連技術の説明
医療用画像化は、臨床分析と医学的介入の目的で、哺乳類の身体の内部の視覚的表現を作成するプロセスを指す。医療用画像化は、疾患の診断および治療を容易にするために、身体の外部によって隠された内部構造を明らかにしようとしている。医療用画像化には、いくつかの様々な画像取得方法および対応する放射性装置技術が組み込まれている。一般的な技術は、コンピュータ断層撮影(CT)を含むX線撮影、磁気共鳴画像法(MRI)、医療用超音波検査または超音波、内視鏡検査、エラストグラフィ、触覚画像法、サーモグラフィー、医療写真、およびポジトロン放出断層撮影(PET)としての核医学機能画像技術および単一光子放出コンピュータ断層撮影(SPECT)が含まれる。医学的診断または特定の組織または特定の器官もしくは器官の部分の標的化の目的での画像の所望の使用に応じて、異なる画像に対する異なる技術および装置が好ましい場合がある。
超音波検査として知られている超音波画像化は、高周波音波を使用して生体内の三次元構造を表示する医療用画像化技術である。超音波画像はリアルタイムで捕らえられるため、超音波画像は、人体の血管を流れる血液や組織の硬さだけでなく、体内の臓器の動きも示す。X線画像化とは異なり、超音波画像化は、電離放射線を伴わないため、長時間の放射線曝露による組織や内臓の損傷を脅かすことなく、超音波画像化を長期間使用可能とする。
超音波検査中に、超音波画像を取得するために、一般的にプローブと呼ばれるトランスデューサは、皮膚の上に直接、または身体開口部内に置かれる。プローブは、プローブ間で信号を送受信するように適合された回路を含む画像生成回路に結合され、ビーム形成器を含むことができるが、合成開口画像化システムは、ビームフォーミングおよびスキャン変換機能の必要性を減らす遡及的画像形成を使用することができる。超音波がトランスデューサからゲルの媒体を通って体内に伝達されるように、ゲルの薄層が皮膚に塗布される。超音波画像は、身体構造からの超音波の反射の測定に基づいて生成される。検出された音波反射の振幅として測定される超音波信号の強度、および音波が身体を通過するのにかかる時間は、身体の標的構造の画像を計算するために必要な情報を提供する。「ドップラー」効果は、身体構造内の流体(すなわち、血液)の流れの速度と方向を測定するために超音波画像で使用されてもよい。
超音波は、複数のタイプのスキャンモードを可能にする。これらのモードは、様々な臨床目的のために解剖学的構造と機能を視覚化するために、様々なトランスデューサパルスおよび画像生成技法を使用して標的を調べる。例えば、二次元画像化は、構造体の二次元視覚化を提供する。カラードプラー超音波法画像化は、二次元画像と組み合わせた血流のカラーマップを提供する。パルス波および連続波ドプラー超音波法画像化は、血流速度および振幅のスペクトルのヒストグラムを提供する。負荷画像化は組織弾性を視覚化する。三次元モードは、三次元で構造体および血流を視覚化する。様々なスキャンモードの使用は、健康状態の完全な診断を行うことにおいて重要である。
医療用画像化の他の顕著な方法と比較して、超音波は診断医および患者にいくつかの利点を与える。何よりもまず、超音波画像化はリアルタイムで画像を提供する。同様に、超音波画像化は、持ち運び可能で患者の寝台脇に持ち込むことができる機器が必要とする。さらに、実際問題として、超音波画像機器は、他の医療用画像機器よりも実質的に低コストであり、前述のように、有害な電離放射線を使用しない。依然として、超音波画像には問題がないわけではない。
例えば、いくつかの例では、解剖学的制限または画像センサーの不適切な配置に起因に起因して、標的器官に試みられたビューが、ビューから標的器官の主要な特徴を省略しており不完全な場合がある。この点では、「ビュー」という用語に関して、身体の標的領域の超音波画像化は、超音波プローブを利用して多くの異なる「ビュー」から達成され得る。各ビューは、超音波プローブの角度とアプローチが全体として標的領域の異なる視点の「ビュー」をもたらすように、プローブの位置とポーズの組み合わせによって達成され得る。通常は、超音波画像で提示される標的領域の特定のビューは、医学的診断、あるいは特定の組織または特定の器官もしくはその部分の標的化の目的に望ましい画像の使用に応じて好ましい場合がある。さらに重要なことに、同じ標的領域の異なるビューは、異なる解剖学的特徴に重点を置いた画像を生成し、そうして、一部のビューは、対象の特徴の画像を生成する可能性が最も高いことが知られている。同様に、診断目的で使用される測定を実行するために、様々なビューが必要になり得る。
したがって、対象の特定の特徴に応じて、操作者は、先ず対象の特徴を最もよく画像化するために所望のビューを把握する必要があり、次に、画像化のために選択された身体の部分および所望のビューに関して、熟練の操作者は、先ず超音波プローブを身体のどこに配置するかを把握する必要がある。次に、熟練の操作者は、どのようにプローブを空間的に方向付けるかを把握する必要があり、最後に、熟練の操作者は、所望の画像を取得するためにプローブをどこに移動するかを把握する必要がある。通常は、超音波操作者は、超音波中に生成された画像によって提供される視覚的フィードバックに基づいて、プローブの最初の配置、向き、および動きをガイドされる。したがって、本質的に、プローブのナビゲーションは、反復的な試行錯誤からなる手動プロセスであり、超音波操作者の側で、特にプローブが完全な試験を生成する必要があるビューのルートの選択において、専門知識および専門技能を必要とする。
重要なことに、従来の超音波画像化の性質を考えると、身体の標的領域の結果として得られる画像は、品質が異なる可能性がある。すなわち、操作者によっては、医療用画像の鮮明さと焦点が異なる場合がある。同様に、身体の解剖学的特徴などの外部要因が、画像センサーの適切な配置にもかかわらず、標的器官の主要な特徴の鮮明さを妨げる可能性がある。それでも、特定の解剖学的特徴は、1つのビューにおいて標的領域の高品質の画像を妨げ得るが、同じ標的領域の異なるビューまたはわずかに異なる標的領域でさえ、医療従事者が画像化するために求められる解剖学的特徴のより高品質な画像を提供する場合がある。以上のように、高品質の超音波画像の生成は、未だに熟練の操作者に大きく依存している。
本発明の実施形態は、超音波画像化に関する当技術分野の欠陥に対処するものであり、超音波ガイダンスダイナミックモード切り替えのための新規で非自明な方法、システム、およびコンピュータプログラム製品を提供する。本発明の実施形態では、超音波ガイダンスダイナミックモード切り替え方法は、超音波診断コンピューティングシステムのメモリ内に所定の超音波診断手順を選択する工程、および選択された手順に対応するワークフローとしてメモリに記憶されたビューの第1のシーケンスのための超音波診断コンピューティングシステムの操作モードを識別する工程を含む。本方法は、超音波診断コンピューティングシステムを識別されたモードに配し、ワークフローのビューの第1のシーケンスと関連付けてコンピューティングシステムを利用して標的器官の画像を取得する工程をさらに含む。最後に、本方法は、取得画像において、超音波診断コンピューティングシステムの異なる操作モードにマッピングされた標的器官の特徴を検出する工程、および検出に応答して、超音波診断コンピューティングシステムのディスプレイに推奨を表示し、超音波診断コンピューティングシステムの操作モードを変更し、超音波診断コンピューティングシステムを特徴にマッピングされた異なる操作モードに配し、別のワークフローの追加ビューの異なるシーケンスに関連付けて超音波診断コンピューティングシステムを利用して標的器官の追加画像を取得する工程を含む。
実施形態の一態様では、本方法は、超音波診断コンピューティングシステムの異なる操作モードの1つを使用する、測定を必要とする標的器官の特徴を取得画像において検出することに基づいて、実行される測定を識別する工程をさらに含む。それに応じて、識別された測定に関連して、異なる操作モードの1つが識別される。その後、異なる操作モードの1つは、識別された測定を行なうために同時の操作モードの代替として提示される。例示的な測定は、流体速度、すなわち標的器官に近接する血流速度の測定を含む。
実施形態の一態様では、識別された操作モードは、二次元超音波モード、または三次元超音波モードのいずれかである。実施形態の別の態様では、異なる操作モードは、非画像化持続波(CW)超音波モードである。さらなる実施形態の別の態様では、異なる操作モードは、カラーフロードップラー超音波モード、パルス波ドップラー超音波モード、連続波ドップラー超音波モード、またはドップラー組織画像化超音波モードなどのドップラー超音波モードである。別の考えられ得る操作モードは、ひずみ画像化超音波モードである。さらなる実施形態の別の態様では、標的器官は心臓であり、特徴は閾値率を超過する狭窄弁速度である。最後に、実施形態のさらに別の態様では、本方法は、推奨された操作モードの変更の文字を参照して追加の取得画像を記憶するディジタルファイルを注釈する工程をさらに含む。
本発明の別の実施形態では、データ処理システムは超音波ガイダンスダイナミックモード切り替えのために構成される。システムは、メモリおよび少なくとも1つのプロセッサを備えたコンピュータ、コンピュータに結合されたディスプレイ、コンピュータとディスプレイに結合された画像生成回路、および画像生成回路に接続されたトランスデューサを含む超音波画像プローブを含む。システムは、コンピュータのメモリ内で実行される超音波ガイダンスダイナミック進行モジュールをさらに含む。このモジュールは、コンピュータのプロセッサによる実行時に、コンピュータのメモリ内の所定の超音波診断手順を選択し、選択された手順に対応して、ワークフローとしてメモリに記憶されたビューの第1のシーケンスに対する超音波画像プローブの操作モードを識別し、超音波画像プローブを識別された操作モードに配し、ワークフローのビューの第1のシーケンスに関連付けて超音波画像プローブを利用して標的器官の画像を取得することを可能にされるプログラムコードを含む。
重要なことに、プログラムコードはさらに、取得画像において、超音波画像プローブの異なる操作モードにマッピングされた標的器官の特徴を検出し、ならびにコンピュータのディスプレイに推奨を表示して、超音波画像化プローブの操作モードを変更すること、超音波画像化プローブを特徴にマッピングされた異なる操作モードに配すること、および異なるワークフローの追加ビューの異なるシーケンスに関連して超音波画像化プローブを利用して標的器官の追加画像を取得することにより検出に応答することが可能となる。
本発明の付加的な態様は、以下の記載において部分的に明記され、且つ前記記載から部分的に明瞭であり、または、本発明の実施により理解され得る。本発明の態様は、添付の請求項で具体的に指摘される要素および組み合わせによって実現され、および達成される。前述の一般的な記載と以下の詳細な記載の両方が例示的で例証的なものに過ぎず、本発明の主張を限定するものではないことを理解されたい。
添付の図面は、本明細書に組み入れられ、明細書の一部を構成するものであり、本発明の実施形態を示し、記載とともに本発明の原理について説明する役目をする。本明細書に示される実施形態が現在好ましいが、本発明は、示される正確な配置および手段に限定されないことが理解される。
図1は、超音波ガイダンスダイナミックモード切り替えのプロセスを図解したものである。 図2は、超音波ガイダンスダイナミックモード切り替えのために構成された超音波診断データ処理システムの概略図である。 図3は超音波ガイダンスダイナミックモード切り替えのプロセスを例示するフローチャートである。
本発明の実施形態は、超音波ガイダンスダイナミックモード切り替えを提供する。本発明の実施形態により、超音波診断コンピューティングシステムは、ワークフロー内のビューのシーケンスに従って標的器官の画像が取得される第1の操作モードに配される。画像の取得中に、取得画像内で特徴が検出される場合がある。その後、この特徴は、超音波診断コンピューティングシステムの別の操作モードにマッピングされる。したがって、特徴の検出に応答して、超音波画像の取得に関連して使用されるトランスデューサの変更を含む特徴にマッピングされた異なる操作モードに、超音波診断コンピューティングシステムの操作モードを変更するための推奨が、超音波診断コンピューティングシステムに表示される。超音波診断コンピューティングシステムは、異なる操作モードに配され、異なるワークフローの追加のビューの異なるシーケンスに関連して標的器官の追加画像が取得される。
さらなる例示では、図1は、超音波ガイダンスダイナミックモード切り替えのプロセスを図で示す。図1に示されるように、超音波診断コンピューティングシステム(110)は、初期操作モード(160)、例えば、超音波画像取得Bモードなどの二次元画像化モードに配される。その後、超音波診断コンピューティングシステム(110)は、初期操作モード(160)に従って、標的器官の初期画像(120A)を取得する。ダイナミックモード切り替えロジック(100)の画像分析部分(130)は、初期の取得画像(120A)を処理して、初期画像(120A)内の特定の特徴(140)を検出する。これに関して、特徴(140)は、標的器官の病状、例えば、標的器官の血流特性の予測を含み得、画像分析部分(130)は、特定の特徴(140)を含む特定の特徴を包含するものとして画像を特徴づけるように訓練された畳み込みニューラルネットワークを含み得る。
特徴(140)を検出する際、ダイナミックモード切り替えロジック(100)は、特徴(140)を超音波診断コンピューティングシステム(110)の対応する操作モードにマッピングする。例えば、ダイナミックモード切り替えロジック(100)は、表(150)を参照して推奨操作モード(170)を識別することができ、これに応答してダイナミックモード切り替えロジック(100)は、超音波診断コンピューティングシステム(110)のディスプレイに、初期操作モード(160)から推奨操作モード(170)、例えば、非画像化CWトランスデューサ画像取得モードに切り替える命令を表示する。表(150)は、異なる操作モードを必要とする実行されるべき測定を識別し、測定を実行するための画像が生成されるようにモード切り替えを推奨することができる。その後、推奨される操作モード(170)に従って、追加の画像(120B)が取得される。
追加画像(120B)が取得されると、初期の取得画像(120A)および追加画像(120B)の両方が、モードを初期操作モード(160)から推奨操作モード(170)に変更するための推奨の注釈(190)とともに超音波診断レポート(180)に含まれる。さらに、ダイナミックモード切り替えロジック(100)の画像分析部分(130)が、取得画像(120A)、(120B)が取得された特定のモードを検出することが可能である限り、検出されたモードは、注釈(190)の一部としてレポート(180)にさらに含まれる。最終的に、ダイナミックモード切り替えロジック(100)の画像分析部分(130)が、取得画像(120A)、(120B)が取得された特定のビューを検出することが可能である限り、特定のビューは、注釈(190)の一部としてレポート(180)にさらに含まれる。このようにして、レポート(190)をレビューする診断医は、初期画像(120A)で検出された特徴(140)の結果としてモードの必要な切り替えが発生し、適切なビューで推奨モード(170)を利用して追加画像(120B)が取得されたと確信する。
図1に関連して記載されたプロセスは、超音波診断データ処理システムに実装され得る。さらなる例示では、図2は、超音波ガイダンスダイナミックモード切り替え用に構成された超音波診断データ処理システムを概略的に示している。システムは、少なくとも1つのプロセッサ、メモリ、およびディスプレイを備えたコンピュータを含むホストコンピューティングシステム(210)を含む。ホストコンピューティングシステム(210)は、データストア(250)をさらに含む。ホストコンピューティングシステム(210)は、画像生成回路(220)の操作によって、哺乳動物対象の関心の標的器官に近接する画像化トランスデューサ(230)の配置を通じて取得された超音波画像をメモリに記憶するように適合された超音波画像化システム(240)にさらに結合される。これに関して、画像化トランスデューサ(230)は、2つの例を挙げれば、マルチモードフェーズドアレイトランスデューサ、または非画像化CWドップラーモードトランスデューサを含み得る。したがって、超音波画像化システム(240)は、マルチモードフェーズドアレイトランスデューサ、すなわち二次元超音波モード、三次元超音波モード、ドップラー超音波モード、カラーフローマッピングモード、パルス波(PW)モード、およびCWモードに関連付けられているもの、さらには非画像化CWドップラーモードトランスデューサに関連付けられているものなど、多数のモード(200)のうちの1つで操作することができる。
ホストコンピューティングシステム(210)は、固定ストレージ(図示されず)に通信可能に結合され、ローカルまたはリモート(「クラウド内」)のいずれかでそこに1つ以上のニューラルネットワーク(260)およびニューラルネットワーク(260)へのプログラムインターフェースを記憶する。ニューラルネットワーク(260)は、標的器官の1つ以上の特徴、例えば、標的器官の1つ以上の物理的構成要素、または標的器官の物理的性能を特徴づけるように訓練される。そうするために、超音波画像化システム(240)によって取得された標的器官の特定のビューの画像がニューラルネットワーク(260)に提供され、ニューラルネットワーク(260)は次にプログラムインターフェースにアクセスし、ニューラルネットワーク(260)が画像の特性付けとその特性付けにおける信頼の表示とともに出力できるようにする。次に、超音波画像化システム(240)は、ホストコンピューティングシステム(210)のディスプレイ上に、画像だけでなく、特徴付け、および任意選択で、その特徴付けにおける信頼の表示もレンダリングする。
同様に、第2のニューラルネットワーク(270)は、同時に取得された標的器官の画像に対してガイダンス命令を特徴づけるように訓練され得る。これに関して、ビュー(290)の特定の1つに関して、第2のニューラルネットワーク(270)は、ホストコンピューティングシステム(210)のディスプレイに同時に提示される画像に対して、ビュー(290)の特定の1つに関する標的器官の画像の最適な取得を達成するための推奨ガイダンスを生成するように訓練される。例えば、心臓の画像化に関連して、ビュー(290)は、いくつかの例を挙げれば、胸骨傍長軸ビュー、胸骨傍短軸ビュー、心尖部2、3、4または5腔ビュー、あるいは肋骨下ビューを含み得る。そのために、ニューラルネットワーク(270)は、ビュー(290)の特定の1つの標的器官の同時に取得された画像とともに提示されると、ビュー(290)の特定の1つのために許容可能とみなされる画像を取得するために、超音波画像トランスデューサ(230)の推奨される動きまたはポーズを生成する。
重要なことに、ダイナミックモード切り替えモジュール(300)は、超音波画像化システム(240)に結合されている。ダイナミックモード切り替えモジュール(300)は、コンピュータプログラム命令を含み、このコンピュータプログラム命令は、ホストコンピューティングシステム(210)のメモリ内で実行されるときに、ワークフローとして異なるビュー(290)のシーケンスを一緒にグループ化し、超音波画像化システム(240)を指定された操作モード(200)の1つに配し、およびシーケンス内のビュー(290)のそれぞれについて、適切な超音波画像化トランスデューサ(230)を利用して、特定された操作モード(200)の1つに従って、選択されたビュー(290)のうち1つの画像を最適に取得するのに必要なガイダンス命令をデータストア(250)から検索することが可能となる。
プログラム命令は、ワークフローのビュー(250)のうちの選択された1つのために取得されたリアルタイム画像を特徴付ける際ニューラルネットワーク(260)から、病気を示す標的器官の構成要素の存在などの対象の特徴の表示、または病気を示す標的器官の視覚化された性能を受信することがさらに可能になる。例は、標的器官の部分を通る血液の閾値流量を含む。心臓の文脈では、例えば、弁を通る血液の速度は、狭窄性弁膜症の指標となり得る。
その後、モジュール(300)のプログラム命令は、特徴を、表(280)中の操作モード(200)の異なる1つおよびビュー(290)のうち1つ以上の選択と相関させるように適合される。同様に、モジュール(300)のプログラム命令は、ビュー(290)の相関されたものについてデータストア(250)からガイダンスを検索し、ホストコンピューティングシステム(210)のディスプレイに、異なる超音波画像化トランスデューサの選択を含む操作モードの変更を推奨するプロンプトを提示することができる。最後に、プログラム命令は、ホストコンピューティングシステム(210)のディスプレイに検索されたガイダンスを表示すると、モード(200)のうち推奨されたものに異なる超音波画像化トランスデューサを利用して標的器官の追加画像の取得を容易にすることが可能となる。
ダイナミックモード切り替えモジュール(300)の操作のさらに別の例示では、図3は、超音波ガイダンスダイナミックモード切り替えのプロセスを例示するフローチャートである。ブロック(310)から開始して、標的器官の多数の異なるビューを含むワークフローが選択される。ブロック(320)では、ビューの第1のビューが標的器官の画像を取得するために選択され、ブロック(330)では、第1のビューのガイダンス命令がメモリに検索され、超音波画像化システムへのユーザインターフェースに表示される。この点に関して、ガイダンス命令は、第1のビューのために取得された同時画像に関係なく、固定データストアから検索することができ、またはガイダンス命令は、第1のビューで取得された同時画像のコンテンツに基づいて特定のビューのガイダンス命令を生成するために訓練されたニューラルネットワークの出力に基づき、選択することができる。いずれの状況でも、ブロック(340)では、ガイダンス命令は、超音波画像化システムへのユーザインターフェースに表示される。
ブロック(350)では、画像は、第1の画像化トランスデューサを利用して、標的器官の超音波画像化システムにおいて取得され、超音波画像化システムが初期操作モードに配される。決定ブロック(360)では、取得されたリアルタイム画像に関連して特定の特徴が存在するかどうかが決定される。例えば、リアルタイム画像は、疾患を示す標的器官の物理的構成要素の存在、または疾患を示す標的器官の物理的操作などの特徴を分類するように訓練されたニューラルネットワークに提出され得る。例は、疾患を示す心臓の弁の状態、または疾患を示す弁を通過する血液の閾値速度の検出を含む。特定の特徴が取得画像に存在しないと決定された場合、決定ブロック(370)では、追加のビューがワークフローで処理され続けるべきかどうかが決定される。処理され続けるべきであると決定される場合、ワークフローの次のビューが選択され、プロセスがブロック(330)において繰り返される。それ以外の場合、プロセスはブロック(390)に進む。
ブロック(390)では、取得画像に関連して特定の特徴が検出されたという決定に応答して、その特徴は、異なる操作モードおよび1つ以上のビューのセットと相関される。ブロック(400)では、超音波画像化システムが操作モードを異なる操作モードに変更し、および随意に、画像化トランスデューサを変更するためのプロンプトがユーザインターフェースで生成される。その後、ブロック(410)では、異なる操作モードに関連付けられる第1のビューのガイダンスが検索され、およびブロック(420)では、異なる操作モードの第1のビューのガイダンスが、超音波画像化システムのユーザインターフェースに提示される。最後に、プロセスは決定ブロック(350)に戻り、そこでは、異なる操作モード、および随意に、異なる画像化トランスデューサを利用して新しいリアルタイム画像が取得され、および決定ブロック(360)では、新たに取得された画像で追加の特徴が検出されるかどうかが決定される。
その後、決定ブロック(370)では、ワークフローで処理される追加のビューが残っていないと決定された場合、取得画像および操作モードを変更するための推奨の表示を含むレポートが生成され、各画像は、対応するビューおよび画像を取得するために利用される操作モードを示すように注釈付けられる。このようにして、レポートを確認する診断医は、操作モード、および随意に、画像化トランスデューサの切り替えを推奨する特徴の検出を認識するだけでなく、推奨される画像化トランスデューサを利用した推奨ビューを利用して追加の画像を取得するために操作モードが切り替えられたことの保証も認識する。
本発明は、システム、方法、コンピュータプログラム製品、またはそれらの任意の組み合わせ内で具体化されてもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるための、コンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含み得る。コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持および記憶することができる有形の装置であり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、または前述の任意の適切な組み合わせであり得るが、これらに限定されない。
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理装置に、またはネットワークを介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、独立型のソフトウェアパッケージとして、部分的にユーザコンピュータ上で、および部分的にリモートコンピュータ上で、あるいは、完全にリモートコンピュータまたはサーバー上で、実行され得る。本発明の態様は、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して本明細書で記載される。フローチャート図および/またはブロック図の各ブロック、およびフローチャート図および/またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されよう。
これらのコンピュータ可読プログラム命令が、機械を製造するために汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を介して実行される命令が、フローチャートおよび/またはブロック図のブロックで指定された機能/行為を実装するための手段を作成する。これらのコンピュータ可読プログラム命令は、特定の方法で機能するようにコンピュータ、プログラム可能なデータ処理装置、および/または他の装置に指示することができるコンピュータ可読記憶媒体にさらに記憶され得、その結果、その中に記憶された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図またはブロックで指定された機能/行為の態様を実装する命令を含む製造品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードされ、コンピュータ、他のプログラム可能な装置または他の装置上で一連の操作ステップをさらに実行させ、コンピュータ実装プロセスを生成することができ、コンピュータ、他のプログラム可能な装置、または他の装置上で実行される命令が、フローチャートおよび/またはブロック図のブロックで指定された機能/行為を実装する。
図面中のフローチャートおよびブロック図は、本発明の様々な実施形態にかかる、システム、方法およびコンピュータプログラム製品の可能な実施の構造、機能および操作を例示する。この点に関し、フローチャートまたはブロック図中の各ブロックは、モジュール、セグメント、または命令の部分を表わしてもよく、特定のロジック関数(複数可)を実行するための1つ以上の実施可能な命令を含む。いくつかの代替の実装では、ブロックに書き留められた機能は、図で示された順序を脱して生じることもある。例えば、連続して示された2つのブロックは実際には実質的に同時に実行されてもよく、あるいは、ブロックは、含まれる機能にしたがってしばしば逆の順序で実行されることもある。ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図内のブロックの組み合わせは、特定の機能もしくは行為を実施する、または特殊な用途のハードウェアとコンピュータ命令との組み合わせを実行する特殊な用途のハードウェアに基づいたシステムによって、実行されうることも留意されるだろう
最後に、本明細書で使用される用語は、特別の実施形態だけを記載することを目的としており、本発明を制限することを意図していない。本明細書で使用されるように、単数形「a」、「an」、および「the」は、文脈が他に明白に示していない限り、複数形を同様に含むことが意図されている。用語「含む」および/または「含むこと」は、本明細書での使用時に、明示された特徴、整数、工程、操作、要素、および/または構成要素の存在を特定するが、1以上の他の特徴、整数、工程、操作、要素、構成要素、および/またはそれらの群の存在または追加を除外しないことが、さらに理解される。
以下の請求項における機能要素に加え、全ての手段又は工程の対応する構造、材料、作用、及び等価物は、具体的に請求されるような他の要素と組み合わせた機能を実行するための任意の構造、材料、又は作用を含むように、意図される。本発明の記載は、例示及び記載の目的のために示されてきたが、それは、網羅的なものであったり、または、開示される形態の本発明に限定したりするようには意図されていない。多くの修正及び変形が、本発明の範囲及び精神から逸脱することなく、当業者に明白であろう。本発明の原理及び実用化について最良の説明をし、かつ他の当業者が様々な修正を有する様々な実施形態の本発明が企図された特定の使用に適していることを理解することできるように、実施形態は選択され、記載された。
このように本出願の発明を詳細に説明し、その実施形態を参照することにより、以下のように添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、修正および変形が可能であることは明らかであろう。

Claims (20)

  1. 超音波ガイダンスダイナミックモード切り替え方法であって、該方法は、
    超音波診断コンピューティングシステムのメモリにおいて所定の超音波診断手順を選択する工程と、
    選択された手順に対応するワークフローとしてメモリ内に記憶されるビューの第1のシーケンスのための超音波診断コンピューティングシステムの操作モードを識別する工程と、
    前記超音波診断コンピューティングシステムを、識別された操作モードに配して、前記ワークフローのビューの第1のシーケンスと関連付けて超音波診断コンピューティングシステムを利用して標的器官の画像を取得する工程と、
    取得画像において、超音波診断コンピューティングシステムの様々な操作モードにマッピングされた標的器官の特徴を検出する工程と、
    検出に応答して、超音波診断コンピューティングシステムのディスプレイにおいて超音波診断コンピューティングシステムの操作モードを変更するための推奨を表示し、超音波診断コンピューティングシステムを特徴にマッピングされた異なる操作モードに配し、異なるワークフローの追加ビューの異なるシーケンスに関連して超音波診断コンピューティングシステムを利用して標的器官の追加画像を取得する工程と、を含む、方法。
  2. 超音波診断コンピューティングシステムのディスプレイにおいて操作モードを変更するための推奨を表示することは、
    超音波診断コンピューティングシステムの様々な操作モードを使用して、測定を必要とする標的器官の特徴を取得画像において検出することに基づいて、実行される測定を識別する工程と、
    測定を実行するために、識別された操作モードの代替として異なる操作モードを選択する工程と、
    超音波診断コンピューティングシステムのディスプレイにおいて異なる操作モードに変更するための推奨を表示する工程と、を含む、請求項1に記載の方法。
  3. 前記識別された操作モードは、二次元超音波モードおよび三次元操作モードからなる群から選択される操作モードである、請求項1に記載の方法。
  4. 前記異なる操作モードは、非画像化持続波(CW)超音波モードである、請求項1に記載の方法。
  5. 前記異なる操作モードは、ドプラー超音波モードである、請求項1に記載の方法。
  6. 標的器官は心臓であり、特徴は閾値率を超過する狭窄弁速度である、請求項1に記載の方法。
  7. 推奨された操作モードの変更の文字を参照して追加の取得画像を記憶するデジタルファイルを注釈する工程をさらに含む、請求項1に記載の方法。
  8. 超音波ガイダンスダイナミックモード切り替え方法のために構成されたデータ処理システムであって、該データ処理システムは、
    メモリおよび少なくとも1つのプロセッサを備えたコンピュータと、
    前記コンピュータに連結されたディスプレイと、
    前記コンピュータと前記ディスプレイに連結された画像生成回路と、
    前記画像生成回路に接続されたトランスデューサを含む超音波画像化プローブと、
    前記コンピュータのメモリにおいて実行される超音波ガイダンスダイナミック進行モジュールと、を含み、前記モジュールは、前記コンピュータの前記プロセッサによる実行に際して、
    前記コンピュータのメモリ中の所定の超音波診断手順を選択すること、
    選択された手順に対応するワークフローとしてメモリ内に記憶されるビューの第1のシーケンスのための、超音波画像化プローブの操作モードを識別すること、
    超音波画像化プローブを識別された操作モードに配し、ワークフローのビューの第1のシーケンスと関連付けて超音波画像化プローブを利用して標的器官の画像を取得すること、
    取得画像において、超音波画像化プローブの異なる操作モードにマッピングされた標的器官の特徴を検出すること、並びに、
    検出に応答して、前記コンピュータのディスプレイにおいて前記超音波画像化プローブの操作モードを変更するための推奨を表示し、前記超音波画像化プローブを前記特徴にマッピングされた前記異なる操作モードに配し、異なるワークフローの追加ビューの異なるシーケンスに関連付けて前記超音波画像化プローブを利用して前記標的器官の追加画像を取得することが可能となったプログラムコードを含む、データ処理システム。
  9. 超音波診断のコンピューティングシステムのディスプレイにおいて操作モードを変更するための推奨を表示することは、
    超音波診断コンピューティングシステムの様々な操作モードを使用して、測定を必要とする標的器官の特徴を取得画像において検出することに基づいて、実行される測定を識別することと、
    測定を実行するために、識別された操作モードの代替として異なる操作モードを選択することと、
    超音波診断コンピューティングシステムのディスプレイにおいて異なる操作モードに変更するための推奨を表示することと、を含む、請求項8に記載のシステム。
  10. 前記識別された操作モードは、二次元超音波モードおよび三次元超音波モードからなる群から選択される操作モードである、請求項8に記載のシステム。
  11. 前記異なる操作モードは、非画像化持続波(CW)超音波モードである、請求項8に記載のシステム。
  12. 前記異なる操作モードは、ドプラー超音波モードである、請求項8に記載システム。
  13. 前記標的器官は心臓であり、前記特徴は閾値率を超過する狭窄弁速度である、請求項8に記載のシステム。
  14. 推奨された操作モードの変更の文字を参照して追加の取得画像を記憶するデジタルファイルを注釈することをさらに含む、請求項8に記載のシステム。
  15. 超音波ガイダンスダイナミックモード切り替えのためのコンピュータプログラム製品であって、該コンピュータプログラム製品は、中に具体化されたプログラム命令を有するコンピュータ可読記憶媒体を含み、前記プログラム命令は、装置によって実行可能であり、
    超音波診断コンピューティングシステムのメモリ内に所定の超音波診断手順を選択する工程と、
    選択された手順に対応するワークフローとしてメモリ内に記憶されるビューの第1のシーケンスのための、超音波診断コンピューティングシステムの操作モードを識別する工程と、
    超音波診断コンピューティングシステムを、識別された操作モードに配し、ワークフローのビューの第1のシーケンスと関連付けてコンピューティングシステムを利用して標的器官の画像を取得する工程と、
    取得画像において、超音波診断コンピューティングシステムの異なる操作モードにマッピングされた標的器官の特徴を検出する工程と、
    検出に応答して、超音波診断コンピューティングシステムのディスプレイで超音波診断コンピューティングシステムの操作モードを変更するための推奨を表示し、超音波診断コンピューティングシステムを特徴にマッピングされた異なる操作モードに配し、異なるワークフローの追加ビューの異なるシーケンスに関連付けて超音波診断コンピューティングシステムを利用して標的器官の追加画像を取得する工程と、
    を含む方法を、装置実行させるコンピュータプログラム製品。
  16. 超音波診断コンピューティングシステムのディスプレイにおいて操作モードを変更するための推奨を表示することは、
    超音波診断コンピューティングシステムの様々な操作モードを使用して、測定を必要とする標的器官の特徴を取得画像において検出することに基づいて、実行される測定を識別することと、
    測定を実行するために、識別された操作モードの代替として異なる操作モードを選択することと、
    超音波診断コンピューティングシステムのディスプレイにおいて異なる操作モードを変更するための推奨を表示することと、を含む、請求項15に記載のコンピュータプログラム製品。
  17. 前記識別された操作モードは、二次元超音波モードおよび三次元超音波モードからなる群から選択される操作モードである、請求項15に記載のコンピュータプログラム製品。
  18. 前記異なる操作モードは、非画像化持続波(CW)超音波モードである、請求項15に記載のコンピュータプログラム製品。
  19. 前記異なる操作モードは、ドプラー超音波モードである、請求項15に記載コンピュータプログラム製品。
  20. 標的器官は心臓であり、特徴は閾値率を超過する狭窄弁速度である、請求項15に記載のコンピュータプログラム製品。
JP2022510895A 2019-08-19 2020-08-19 超音波ガイダンスダイナミックモード切り替え Active JP7497424B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/544,657 2019-08-19
US16/544,657 US20210052255A1 (en) 2019-08-19 2019-08-19 Ultrasound guidance dynamic mode switching
PCT/US2020/047077 WO2021034981A1 (en) 2019-08-19 2020-08-19 Ultrasound guidance dynamic mode switching

Publications (2)

Publication Number Publication Date
JP2022545219A true JP2022545219A (ja) 2022-10-26
JP7497424B2 JP7497424B2 (ja) 2024-06-10

Family

ID=74646994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510895A Active JP7497424B2 (ja) 2019-08-19 2020-08-19 超音波ガイダンスダイナミックモード切り替え

Country Status (6)

Country Link
US (1) US20210052255A1 (ja)
EP (1) EP4017371A4 (ja)
JP (1) JP7497424B2 (ja)
KR (1) KR20220063176A (ja)
CA (1) CA3054483A1 (ja)
WO (1) WO2021034981A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11602332B2 (en) 2019-10-29 2023-03-14 GE Precision Healthcare LLC Methods and systems for multi-mode ultrasound imaging
JP7555719B2 (ja) * 2020-03-31 2024-09-25 キヤノンメディカルシステムズ株式会社 超音波診断装置
CN114271853B (zh) * 2021-12-23 2024-05-03 武汉中旗生物医疗电子有限公司 超声设备成像模式参数控制方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7244230B2 (en) * 2002-11-08 2007-07-17 Siemens Medical Solutions Usa, Inc. Computer aided diagnostic assistance for medical imaging
US20100217128A1 (en) * 2007-10-16 2010-08-26 Nicholas Michael Betts Medical diagnostic device user interface
EP2323558A1 (en) * 2008-08-05 2011-05-25 Guardsman Scientific, Inc. System and method for managing a patient
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
US11690590B2 (en) * 2017-11-13 2023-07-04 Edwards Lifesciences Corporation Non-invasive heart valve screening device and method

Also Published As

Publication number Publication date
WO2021034981A1 (en) 2021-02-25
KR20220063176A (ko) 2022-05-17
EP4017371A4 (en) 2023-03-15
EP4017371A1 (en) 2022-06-29
US20210052255A1 (en) 2021-02-25
CA3054483A1 (en) 2021-02-19
JP7497424B2 (ja) 2024-06-10

Similar Documents

Publication Publication Date Title
JP5208415B2 (ja) 超音波画像を生成する方法、システムおよびコンピュータ・プログラム
CN109310399B (zh) 医学超声图像处理设备
JP5530592B2 (ja) イメージング・パラメータの記憶法
EP2919033B1 (en) Method and apparatus for displaying a plurality of different images of an object
JP7497424B2 (ja) 超音波ガイダンスダイナミックモード切り替え
JP2017527401A (ja) 超音波撮像装置
JP5322600B2 (ja) 超音波診断装置
US10685451B2 (en) Method and apparatus for image registration
US20140153358A1 (en) Medical imaging system and method for providing imaging assitance
US11844654B2 (en) Mid-procedure view change for ultrasound diagnostics
BR112020014733A2 (pt) Método implementado por computador para a obtenção de medições anatômicas em uma imagem de ultrassom, meios de programa de computador, dispositivo de análise de imagem e método de imageamento por ultrassom
JP5390149B2 (ja) 超音波診断装置、超音波診断支援プログラム及び画像処理装置
JP7516283B2 (ja) 呼吸モードに応じた超音波画像取得の最適化
CN111317508B (zh) 超声波诊断装置、医用信息处理装置、计算机程序产品
US11850101B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP2016093302A (ja) 医用画像診断装置、画像処理装置及び画像処理プログラム
JP5921610B2 (ja) 超音波診断装置
US20160147794A1 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20221130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221130

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230721

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230724

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20230724

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240529

R150 Certificate of patent or registration of utility model

Ref document number: 7497424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150