JP2021530303A - 深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法 - Google Patents

深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法 Download PDF

Info

Publication number
JP2021530303A
JP2021530303A JP2021502524A JP2021502524A JP2021530303A JP 2021530303 A JP2021530303 A JP 2021530303A JP 2021502524 A JP2021502524 A JP 2021502524A JP 2021502524 A JP2021502524 A JP 2021502524A JP 2021530303 A JP2021530303 A JP 2021530303A
Authority
JP
Japan
Prior art keywords
ultrasonic
image
subject
channel data
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021502524A
Other languages
English (en)
Other versions
JPWO2020016449A5 (ja
Inventor
スンス キム
ジュン ソブ シン
フランソワ ガイ ジェラルド マリエ ヴィニョン
ジャン‐ルック フランソワ‐マリエト ロベルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021530303A publication Critical patent/JP2021530303A/ja
Publication of JPWO2020016449A5 publication Critical patent/JPWO2020016449A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G01S7/52028—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52036—Details of receivers using analysis of echo signal for target characterisation
    • G01S7/52042—Details of receivers using analysis of echo signal for target characterisation determining elastic properties of the propagation medium or of the reflective target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52044—Scan converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

超音波イメージングデバイス、システム、及び方法が提供される。一実施形態では、超音波イメージングシステムは、超音波トランスデューサから生成された被検者の解剖学的構造を表す超音波チャネルデータを受信し、超音波チャネルデータに予測ネットワークを適用して、被検者の解剖学的構造の画像を生成し、プロセッサと通信するディスプレイに、被検者の解剖学的構造の画像を出力するプロセッサを含む。一実施形態では、画像を生成するためのシステムは、少なくとも１つの機械学習ネットワークを記憶するメモリと、メモリと通信するプロセッサとを含み、プロセッサは、超音波トランスデューサから生成された生のチャネルデータを受信し、生のチャネルデータに機械学習ネットワークを適用して１つ以上の画像処理ステップを置換し、それによって修正データを生成し、修正データを使用して画像を生成する。

Description

[0001] 本開示は、一般に、超音波イメージングに関し、特に、予測モデルを使用して、取得された超音波エコー応答から超音波画像を再構成することに関する。
[0002] 超音波イメージングシステムは、医用イメージングに広く使用されている。従来の医用超音波システムは、取得された生データから画像を再構成するには複雑なハードウェア及びソフトウェアを必要とする。例えば、従来の医用超音波システムは、処理システムに結合された超音波トランスデューサプローブと、１つ以上のディスプレイデバイスとを含む。超音波トランスデューサプローブは、音響波を物体（例えば、患者の身体）内に送信し、物体から反射された音響波を記録する超音波トランスデューサ素子のアレイを含む。音響波の送信及び／又は反射された音響波、すなわち、エコー応答の受信は、同じセットの超音波トランスデューサ素子又は異なるセットの超音波トランスデューサ素子によって行われてよい。処理システムは、ビーム形成処理、信号処理、及び／又は画像処理技法を適用することによって、エコー応答から物体の画像を再構成又は作成し、及び／又は特定の測定値を求める。ビーム形成処理、信号処理、及び／又は画像処理は複雑であり、処理に様々な電子機器、専用ハードウェア、及び複雑なソフトウェアを必要とする。したがって、従来の医用超音波システムの複雑度は高く、新しいシステムアーキテクチャやアプリケーションの開発時間は長く、コストがかかり、超音波イメージングの用途を制限している。
[0003] 既存の超音波イメージングは、臨床ガイダンス及び診断に有用であることが証明されているが、現在の超音波イメージング用途のためのシステムコスト及びシステムサイズを低減し、新しい超音波イメージング用途のための開発時間及び努力を低減するための改良されたシステム及び技法が依然として必要とされている。
本開示の実施形態は、取得された超音波エコーデータから超音波画像を再構成するための深層学習フレームワークを提供する。例えば、トランスデューサアレイを含むイメージングプローブを超音波イメージングに使用する。トランスデューサアレイは、物体（例えば、患者の解剖学的構造）に超音波パルスを放出し、超音波エコー応答（例えば、物体から反射された超音波）を受信する音響素子のアレイを含む。予測ネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ））がトレーニングされて、取得された超音波エコー応答から超音波画像を再構成する。例えば、予測ネットワークは、従来のビーム形成処理及び超音波信号及び／又は画像処理機能を近似及び最適化するようにトレーニングされる。超音波エコー応答は、様々なフォーマットで、例えば、チャネルごとの生の無線周波数（ＲＦ）データ又はチャネルごとのベースバンド同相直交位相（ＩＱ）データの形式で予測ネットワークに提供される。あるいは、予測ネットワークは、取得された生の超音波エコーデータの代わりに、ビーム形成されたデータから超音波画像を再構成するようにトレーニングされてもよい。一実施形態では、予測ネットワークは、従来の方法で構成された超音波画像よりも高品質の高解像度でスペックルフリーの超音波画像を生成するようにトレーニングされる。
[0004] 一実施形態では、超音波イメージングシステムは、超音波トランスデューサから生成された被検者の解剖学的構造を表す超音波チャネルデータを受信し、超音波チャネルデータに予測ネットワークを適用して、被検者の解剖学的構造の画像を生成し、プロセッサと通信するディスプレイに、被検者の解剖学的構造の画像を出力するプロセッサを含む。
[0005] いくつかの実施形態では、超音波トランスデューサは、音響素子のアレイを含む。超音波チャネルデータは、複数の超音波エコーチャネルデータストリームを含み、複数の超音波エコーチャネルデータストリームのそれぞれは、音響素子のアレイの１つの音響素子から生成される。いくつかの実施形態では、複数の超音波エコーチャネルデータストリームは、被検者の解剖学的構造を表す無線周波数（ＲＦ）データを含む。いくつかの実施形態では、プロセッサはさらに、予測ネットワークを適用する前に、ＲＦデータを同相直交位相（ＩＱ）データに変換する。いくつかの実施形態では、プロセッサはさらに、予測ネットワークを適用する前に、超音波エコーチャネルデータストリームに対してビーム形成処理を行う。いくつかの実施形態では、画像は、被検者の解剖学的構造の形態学的情報、被検者の解剖学的構造の機能情報、又は被検者の解剖学的構造の定量的測定値の少なくとも１つを含む。いくつかの実施形態では、画像は、被検者の解剖学的構造のＢモード情報、被検者の解剖学的構造のストレス情報、被検者の解剖学的構造の弾性情報、被検者の解剖学的構造の組織ドップラー情報、又は被検者の解剖学的構造の血流ドップラー情報の少なくとも１つを含む。いくつかの実施形態では、予測ネットワークは、テスト超音波チャネルデータ、及び、テスト物体を表す対応するテスト画像を提供することと、テスト超音波チャネルデータからテスト画像を生成するように予測ネットワークをトレーニングすることとによって、トレーニングされる。いくつかの実施形態では、テスト画像は、テスト超音波チャネルデータに対して、ビーム形成処理、Ｂモード処理、ドップラー処理、又はスキャン変換処理の少なくとも１つを行うことによって、テスト超音波チャネルデータから生成される。いくつかの実施形態では、テスト超音波チャネルデータは、超音波トランスデューサ構成パラメータに基づいてテスト画像から生成される。いくつかの実施形態では、テスト超音波チャネルデータは、無線周波数（ＲＦ）データ、同相直交位相（ＩＱ）データ、又はビーム形成済みデータの少なくとも１つを含む。いくつかの実施形態では、システムは、超音波トランスデューサを含む超音波イメージングプローブを含み、プロセッサは、超音波トランスデューサと通信し、超音波トランスデューサから超音波チャネルデータを受信する。いくつかの実施形態では、超音波イメージングプローブは、プロセッサを含む。
[0006] 一実施形態では、超音波イメージング方法は、超音波トランスデューサから生成された被検者の解剖学的構造を表す超音波チャネルデータを受信するステップと、超音波チャネルデータに予測ネットワークを適用して被検者の解剖学的構造の画像を生成するステップと、ディスプレイによって被検者の解剖学的構造の画像を表示するステップとを含む。
[0007] いくつかの実施形態では、超音波トランスデューサは、音響素子のアレイを含む。超音波チャネルデータは、複数の超音波エコーチャネルデータストリームを含み、複数の超音波エコーチャネルデータストリームのそれぞれは、音響素子のアレイの１つの音響素子から生成される。いくつかの実施形態では、複数の超音波エコーチャネルデータストリームは、被検者の解剖学的構造を表す無線周波数（ＲＦ）データを含む。いくつかの実施形態では、方法はさらに、予測ネットワークを適用する前に、ＲＦデータを同相直交位相（ＩＱ）データに変換するステップを含む。いくつかの実施形態では、方法はさらに、予測ネットワークを適用する前に、超音波エコーチャネルデータストリームに対してビーム形成処理を行うステップを含む。いくつかの実施形態では、画像は、被検者の解剖学的構造の形態学的情報、被検者の解剖学的構造の機能情報、又は被検者の解剖学的構造の定量的測定値の少なくとも１つを含む。いくつかの実施形態では、画像は、被検者の解剖学的構造のＢモード情報、被検者の解剖学的構造のストレス情報、被検者の解剖学的構造の弾性情報、被検者の解剖学的構造の組織ドップラー情報、又は被検者の解剖学的構造の血流ドップラー情報の少なくとも１つを含む。
[0008] 一実施形態では、画像を生成するためのシステムは、少なくとも１つの機械学習ネットワークを記憶するメモリと、メモリと通信するプロセッサとを含み、プロセッサは、超音波トランスデューサから生成された生のチャネルデータを受信し、生のチャネルデータに機械学習ネットワークを適用して１つ以上の画像処理ステップを置換し、それによって修正データを生成し、修正データを使用して画像を生成する。機械学習ネットワークは、１つ以上のターゲット画像の複数の超音波画像を使用してトレーニングされ、生成された画像は、ターゲット画像の特徴を含む。
[0009] いくつかの実施形態では、複数の超音波画像はシミュレートされる。いくつかの実施形態では、画像処理ステップは、ビーム形成処理、フィルタリング処理、ダイナミックレンジ適用処理、及び圧縮処理を含む。いくつかの実施形態では、ターゲット画像は写真画像を含む。いくつかの実施形態では、特徴は約１波長以下の解像度を含む。いくつかの実施形態では、特徴はある量のスペックルを含む。
[0010] 本開示のさらなる態様、特徴、及び利点は、以下の詳細な説明から明らかになるであろう。
[0011] 本開示の例示的な実施形態を添付の図面を参照しながら説明する。
[0012]図１は、本発明の態様による超音波イメージングシステムの概略図である。 [0013]図２は、本発明の態様による深層学習に基づく超音波イメージングシステムの概略図である。 [0014]図３は、本発明の態様による深層学習ネットワークの構成を示す概略図である。 [0015]図４は、本発明の態様による深層学習ネットワークトレーニングデータ生成スキームを示す概略図である。 [0016]図５は、本発明の態様による、超音波画像を生成するための深層学習ネットワークトレーニングスキームを示す概略図である。 [0017]図６は、本発明の態様による、超音波画像を生成するための深層学習ネットワークトレーニングスキームを示す概略図である。 [0018]図７は、本発明の態様による、ターゲット画像と比較される、従来のイメージングから生成された画像及び深層学習に基づくイメージングから生成された画像を示す。 [0019]図８は、本発明の態様による深層学習ベースの超音波イメージング方法のフロー図である。
[0020] 本開示の原理の理解を促進する目的のために、ここで、図面に示される実施形態を参照し、それを説明するために特定の言語を使用する。しかしながら、本開示の範囲への限定は意図されないことが理解される。説明されるデバイス、システム、及び方法に対する任意の変更及びさらなる修正、並びに本開示の原理の任意のさらなる用途は、本開示が関係する当業者に通常想起されるように、本開示内に十分に企図され、含まれている。特に、本開示の一実施形態に関して説明される特徴、構成要素、及び／又はステップは、他の実施形態に関して説明される特徴、構成要素、及び／又はステップと組み合わせ得ることが十分に企図されている。しかしながら、簡潔さのために、これらの組合せの多数の反復は、個別には説明しない。
[0021] 図１は、本開示の態様による超音波イメージングシステム１００の概略図である。システム１００は、患者の身体の領域又はボリュームをスキャンするために使用される。システム１００は、通信インターフェース又はリンク１２０を介してホスト１３０と通信する超音波イメージングプローブ１１０を含む。プローブ１１０は、トランスデューサ１１２、アナログフロントエンド（ＡＦＥ）１１３、ビームフォーマ１１４、処理構成要素１１６、及び通信インターフェース１１８を含む。ホスト１３０は、ディスプレイ１３２、処理構成要素１３４、通信インターフェース１３６、及びメモリ１３８を含む。
[0022] プローブ１１０は、患者の身体の内側又は外側に配置されている間に患者の様々な身体部分をイメージングするための任意の適切な形態であってよい。一実施形態では、プローブ１１０は、ユーザによるハンドヘルド操作のために構成されたハウジングを含む外部超音波イメージングデバイスである。トランスデューサ１１２は、トランスデューサ１１２が患者の皮膚に隣接して及び／又は接触して配置されるように、ユーザがプローブ１１０のハウジングを把持する間に超音波データを取得する。プローブ１１０は、プローブ１１０が患者の身体の外側に配置されている間に、患者の身体の内側の解剖学的構造の超音波データを取得する。いくつかの他の実施形態では、プローブ１１０は、カテーテル、血管内超音波（ＩＶＵＳ）カテーテル、心臓内超音波検査（ＩＣＥ）カテーテル、経食道心エコー検査（ＴＥＥ）プローブ、経胸腔心エコー検査（ＴＴＥ）プローブ、腔内プローブ、ハンドヘルド超音波スキャナ、又はパッチベースの超音波デバイスの形態であってもよい。
[0023] トランスデューサ１１２は、解剖学的物体１０５に向けて超音波信号を放出し、物体１０５から反射されてトランスデューサ１１２に戻るエコー信号を受信する。物体１０５は、超音波イメージング検査に適した患者の任意の解剖学的構造（例えば、肺、血管、組織、心臓、腎臓、及び／又は肝臓）を含んでよい。超音波トランスデューサ１１２は、１つ以上の音響素子及び／又は複数の音響素子を含む、任意の適切な数の音響素子を含む。いくつかの実施例では、トランスデューサ１１２は単一の音響素子を含む。いくつかの例では、トランスデューサ１１２は、任意の数の音響素子が任意の適切な構成にある音響素子のアレイを含む。例えば、トランスデューサ１１２は、１〜１０００個の音響素子、例えば、２個の音響素子、４個の音響素子、３６個の音響素子、６４個の音響素子、１２８個の音響素子、５００個の音響素子、８１２個の音響素子、及び／又は、より大きい数及びより小さい数の音響素子を含む。いくつかの例では、トランスデューサ１１２は、線形アレイ、平面アレイ、曲面アレイ、曲線アレイ、円周アレイ、環状アレイ、フェーズドアレイ、マトリクスアレイ、１次元（１Ｄ）アレイ、１．ｘ次元アレイ（例えば、１．５Ｄアレイ）、又は２次元（２Ｄ）アレイなどの、任意の数の音響素子が任意の適切な構成にある音響素子のアレイを含む。音響素子のアレイ（例えば、１つ以上の行、１つ以上の列、及び／又は１つ以上の向き）は、均一に又は独立して制御され、駆動され得る。トランスデューサ１１２は、患者の解剖学的構造の１次元、２次元、及び／又は３次元画像を取得できる。音響素子は、トランスデューサ素子又はイメージング素子とも呼ぶ。いくつかの実施形態では、トランスデューサ１１２は、圧電型微細加工超音波トランスデューサ（ＰＭＵＴ）、容量型微細加工超音波トランスデューサ（ＣＭＵＴ）、単結晶、チタン酸ジルコン酸鉛（ＰＺＴ）、ＰＺＴ複合体、他の適切なトランスデューサタイプ、及び／又はこれらの組合せを含み得る。
[0024] ＡＦＥ１１３は、トランスデューサ１１２に結合される。ＡＦＥ１１３は、トランスデューサ１１２における超音波の送信及び／又はトランスデューサ１１２におけるエコー応答の受信を制御する構成要素を含む。例えば、送信経路では、ＡＦＥ１１３は、デジタル−アナログ変換器（ＤＡＣ）、フィルタ、利得制御器、及び／又はトランスデューサ１１２の音響素子又はトランスデューサ素子での超音波パルス放出を駆動又はトリガする高電圧（ＨＶ）送信器を含む。受信経路では、ＡＦＥ１１３は、ゲイン制御器、フィルタ、及びトランスデューサ１１２のトランスデューサ素子からのエコー応答を受信するアナログ−デジタル変換器（ＡＤＣ）を含む。ＡＦＥ１１３はさらに、トランスデューサ素子での送信と受信との切り替えを制御し、高電圧パルスがトランスデューサ１１２のトランスデューサ素子を損傷するのを防ぐ複数の送信／受信（Ｔ／Ｒ）スイッチを含む。
[0025] 一実施形態では、トランスデューサ１１２は、Ｍ個の複数のトランスデューサ素子を含む。いくつかの実施形態では、Ｍは約２、１６、６４、１２８、１９２、又は１９２より大きくてもよい。受信経路では、各トランスデューサ素子は、反射された超音波パルスから受け取った超音波エネルギーを電気信号に変換し、単一の受信チャネルを形成する。換言すれば、トランスデューサ１１２は、Ｍ個のアナログ超音波エコーチャネル信号１６０を生成する。ＡＦＥ１１３は、Ｍ本の信号線を介してトランスデューサ１１２に結合される。ＡＦＥ１１３内のＡＤＣは、それぞれ、トランスデューサ１１２内のトランスデューサ素子のうちの１つで受信されたアナログ超音波エコーチャネル信号１６０に対応する、Ｍ個のデジタル超音波エコーチャネル信号１６２を生成する。デジタル超音波エコーチャネル信号１６２は、超音波エコーデータストリームとも呼ぶ。
[0026] ビームフォーマ１１４はＡＦＥ１１３に結合される。ビームフォーマ１１４は、トランスデューサ１１２における送信及び／又は受信ビーム形成を制御する遅延素子及び加算素子を含む。ビームフォーマ１１４は、デジタル超音波エコーチャネル信号１６２の少なくともサブセットに適切な時間遅延を適用し、時間遅延されたデジタル超音波エコーチャネル信号を組み合わせて、ビーム形成された信号１６４（例えば、集束されたビーム）を形成する。例えば、ビームフォーマ１１４は、Ｌ個の複数のビーム形成された信号１６４を生成し、ここで、Ｌは、Ｍよりも小さい正の整数である。いくつかの実施形態では、ビームフォーマ１１４は、複数段のビーム形成を含む。例えば、ビームフォーマ１１４は、部分ビーム形成を行って、デジタル超音波エコーチャネル信号１６２のサブセットを組み合わせて、部分ビーム形成された信号を形成し、続いて、部分ビーム形成された信号をビーム形成して、完全ビーム形成された信号を生成する。ビームフォーマ１１４は、デジタルビーム形成のコンテキストで説明されているが、いくつかの実施形態では、ＡＦＥ１１３がアナログ部分ビーム形成のための電子機器及び／又は専用ハードウェアを含むことができる。
[0027] 処理構成要素１１６はビームフォーマ１１４に結合される。処理構成要素１１６は、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書で説明する演算を実行するそれらの任意の組合せを含み得る。処理構成要素１３４はまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと併用される１つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。処理構成要素１１６は、ビーム形成信号１６４を処理する。例えば、処理構成要素１１６は、ビーム形成信号１６４に対して、複合化、包絡線検出、対数圧縮、及び／又は非線形画像フィルタリングなどの一連のコヒーレント及び／又はインコヒーレント信号処理を行い、画像信号１６６を生成する。
[0028] 通信インターフェース１１８は処理構成要素１１６に結合される。通信インターフェース１１８は、１つ以上の送信器、１つ以上の受信器、１つ以上のトランシーバ、及び／又は通信信号を送受信するための回路を含む。通信インターフェース１１８は、通信リンク１２０を介してホスト１３０に信号を伝送するのに適した特定の通信プロトコルを実施するハードウェア構成要素及び／又はソフトウェア構成要素を含む。通信インターフェース１１８は、通信装置又は通信インターフェースモジュールと呼んでもよい。
[0029] 通信リンク１２０は、任意の適切な通信リンクとすることができる。例えば、通信リンク１２０は、ユニバーサルシリアルバス（ＵＳＢ）リンク又はイーサネット（登録商標）リンクなどの有線リンクである。あるいは、通信リンク１２０は、超広帯域（ＵＷＢ）リンク、電気電子技術者協会（ＩＥＥＥ）８０２．１１Ｗｉ−Ｆｉ（登録商標）リンク、又はＢｌｕｅｔｏｏｔｈ（登録商標）リンクなどの無線リンクであってもよい。
[0030] ホスト１３０において、通信インターフェース１３６は、画像信号１６６を受信する。通信インターフェース１３６は、通信インターフェース１１８と実質的に類似している。ホスト１３０は、ワークステーション、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、又は携帯電話などの任意の適切な計算及び表示デバイスであってよい。
[0031] 処理構成要素１３４は通信インターフェース１３６に結合される。処理構成要素１３４は、ソフトウェア構成要素とハードウェア構成要素との組合せとして実装される。処理構成要素１３４は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡデバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書で説明する演算を実行するそれらの任意の組合せを含み得る。処理構成要素１３４はまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと併用される１つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。
[0032] 処理構成要素１３４は、プローブ１１０から受け取った画像信号１６６から、物体１０５の画像１６８を生成又は再構成する。処理構成要素１３４はさらに、画像信号１６６に画像処理技法を適用する。いくつかの実施形態では、処理構成要素１３４は、スキャン変換を行い、画像データから２Ｄ又は３次元（３Ｄ）ボリューム画像を形成する。いくつかの実施形態では、処理構成要素１３４は、画像信号１６６にリアルタイム処理を行い、物体１０５の超音波画像１６８のストリーミングビデオを提供する。画像１６８は、プローブ１１０で使用される取得様式に応じて、物体１０５の形態学的情報、機能情報、及び／又は定量的測定値を含む。形態学的情報は、物体１０５の解剖学的構造情報（例えば、Ｂモード情報）を含む。機能情報の例としては、物体１０５に関連する組織ストレイン、弾性、ドップラーフロー、組織ドップラーフロー、及び／又は血流情報が挙げられる。定量的測定値の例としては、血流速度、血流ボリューム、管腔直径、管腔面積、狭窄長、プラーク負荷、及び／又は組織弾性が挙げられる。いくつかの実施形態では、処理構成要素１３４は、画像信号１６６に画像解析を行い、物体１０５に関連する臨床状態を判定する。
[0033] ディスプレイ１３２は処理構成要素１３４に結合される。ディスプレイ１３２は、モニタ又は任意の適切なディスプレイとすることができる。ディスプレイ１３２は、超音波画像、画像ビデオ、及び／又は検査中の物体１０５に関連する情報を表示する。
[0034] システム１００は、プローブ１１０において、ビームフォーマ１１４によってビーム形成機能が行われ、処理構成要素１１６によって信号処理機能が行われるものとして説明しているが、いくつかの実施形態では、ビーム形成機能及び／又は信号処理機能の少なくとも一部はホスト１３０において行われてもよい。換言すれば、プローブ１１０は、デジタル超音波エコーチャネル信号１６２又はビーム形成信号１６４を処理のためにホスト１３０に転送してもよい。いくつかの他の実施形態では、プローブ１１０は、アナログ超音波エコーチャネル信号１６０を、例えば、いくつかの利得制御及び／又はフィルタリングを用いて、処理のためにホスト１３０に転送してもよい。さらに、プローブ１１０における通信インターフェース１１８は、業界標準の物理コネクタ及び／又は独自の物理コネクタであってもよく、通信リンク１２０は、任意の業界標準ケーブル、同軸ケーブル、及び／又は独自のケーブルを含んでもよい。一般に、システム１００は、あらゆるタイプの超音波イメージングシステムを表すことができ、超音波イメージング機能は、プローブ（例えば、トランスデューサ１１２を含む）、ホスト、及び／又はプローブとホストとの間の任意の中間処理サブシステムにわたって任意の適切なやり方で分割されてよい。
[0035] システム１００は、超音波イメージングの様々な段階での使用のために構成される。一実施形態では、システム１００は、本明細書でより詳細に説明されるように、超音波画像を収集して、超音波イメージング用の深層学習ネットワークをトレーニングするためのトレーニングデータセットを形成するために使用される。例えば、ホスト１３０は、キャッシュメモリ（例えば、処理構成要素１３４のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）（登録商標）、フラッシュメモリ、ソリッドステートメモリデバイス、ハードディスクドライブ、ソリッドステートドライブ、その他の形態の揮発性及び不揮発性メモリ、又は異なる種類のメモリの組み合わせなど、任意の適切な記憶デバイスであるメモリ１３８を含む。メモリ１３８は、画像データセット１４０及び機械学習ネットワーク１４２を記憶する。例えば、画像データセット１４０は、デジタル超音波エコーチャネル信号１６２を、対応する画像１６８との関連で記憶する。画像データセット１４０を使用して、本明細書でより詳細に説明されるように、超音波イメージング用の深層学習ネットワークである機械学習ネットワーク１４２をトレーニングする。
[0036] システム１００に見られるように、生の取得データ（例えば、アナログ超音波エコーチャネル信号１６０及び／又はデジタル超音波エコーチャネル信号１６２）からの超音波画像の生成又は再構成には、ビーム形成処理と、一連の信号処理及び／又は画像処理ブロック（例えば、ビームフォーマ１１４、プローブ１１０の処理構成要素１１６及び／又はホスト１３０の処理構成要素１３４）が必要である。生データからの画像再構成に必要なハードウェア及び／又はソフトウェアは、複雑でコストがかかる。さらに、新しい超音波イメージング用途を展開するための開発時間は、システムの複雑さのために長くなる。
[0037] 本開示は、従来の超音波画像再構成技法（例えば、ビーム形成処理、信号処理、及び／又は画像処理）の代わりに機械学習ネットワークを使用して、生のチャネルデータから超音波画像を再構成又は生成する技法を提供する。
[0038] 図２は、本開示の態様による、深層学習ベースの超音波イメージングシステム２００の概略図である。システム２００は、超音波イメージングプローブ２１０と、深層学習エンジン２２０と、ディスプレイ２３０とを含む。プローブ２１０及びディスプレイ２３０は、それぞれ、プローブ１１０及びディスプレイ１３２と実質的に同様である。例えば、プローブ２１０は、少なくとも、トランスデューサ１１２と同様のトランスデューサ素子２１２のアレイ２１４を含む。トランスデューサ素子２１２は、物体２０５（例えば、物体１０５）に向かって超音波信号を放出し、物体２０５から反射された超音波エコー応答を受信する。実施形態に応じて、プローブ２１０は、ビームフォーマ（例えば、ビームフォーマ１１４）及び／又は処理構成要素（例えば、処理構成要素１１６）を含んでも含まなくてもよい。高レベルでは、深層学習エンジン２２０が、超音波エコー応答を受信し、ディスプレイ２３０での表示のために、物体２０５の超音波画像（例えば、画像１６８）を出力する。
[0039] 深層学習エンジン２２０は、従来の超音波画像再構成演算に取って代わる、超音波エコー応答に深層学習ネットワーク２２２（例えば、機械学習ネットワーク１４２）を適用して、超音波画像を生成するハードウェア及び／又はソフトウェア構成要素を含む。従来の超音波画像再構成演算は、受信ビーム形成演算２４０及びバックエンド処理演算２４２を含む。深層学習ネットワーク２２２は、関数近似及びパラメータ最適化によって、従来の超音波画像再構成演算に取って代わる。
[0040] 一例として、プローブ２１０から取得された超音波エコー応答は、ｉｎ（ｃ，ｔ）で表され、ここで、ｃはチャネルインデックスを表し、ｔは時間を表す。取得データｉｎ（ｃ，ｔ）は、システム１００のデジタル超音波エコーチャネル信号１６２と同様である。取得データｉｎ（ｃ，ｔ）は、ＲＦデータとも呼び、各チャネルは１つのトランスデューサ素子２１２に対応する。
[0041] 受信ビーム形成演算２４０は、図１に関して上述したシステム１００のビームフォーマ１１４によって適用される演算と実質的に同様である。例えば、ビーム形成演算２４０は、生のＲＦデータｉｎ（ｃ，ｔ）からビーム形成されたＲＦデータを生成又は再構成する。ビーム形成演算２４０は、以下のように表すことができる：
Figure 2021530303
 ここで、ｂｆは、ビーム形成されたＲＦデータを表し、ｘ及びｙは、空間座標であり、ｆＢＦは、ビーム形成伝達関数であり、ｐａｒＡは、音速、アポダイゼーション関数、線密度に関連する１つ以上のビーム形成最適化パラメータ、及び／又はビーム形成に関連する任意のパラメータを含む。
[0042] バックエンド処理演算２４２は、図１に関して上述したシステム１００の処理構成要素１１６及び／又は処理構成要素１３４によって適用される演算と実質的に同様である。例えば、バックエンド処理演算２４２は、ビーム形成されたＲＦデータｂｆ（ｘ，ｙ）から出力画像を生成又は再構成する。バックエンド処理演算２４２は、以下のように表すことができる：
Figure 2021530303
 ここで、ｏｕｔは、出力画像を表し、ｆＢＥは、複合化、包絡線検出、対数圧縮、非線形画像フィルタリング、Ｂモード処理、ドップラー処理、スキャン変換、及び／又は画像後処理を含むコヒーレント及び／又は非コヒーレント信号処理機能を表す超音波イメージングバックエンド処理伝達関数であり、ｐａｒＢは、非線形圧縮曲線、ダイナミックレンジ、利得フィルタ係数に関連する１つ以上のバックエンド処理最適化パラメータ、及び／又は超音波画像再構成に関連する任意のパラメータを含む。
[0043] 受信した生チャネルデータｉｎ（ｃ，ｔ）から最終的な最適化された超音波画像ｏｕｔ（ｘ，ｙ）への、ｆとして示される全体的な超音波イメージング再構成伝達関数は、以下のように表すことができる：
Figure 2021530303
[0044] 深層学習ネットワーク２２２は、最適化されたパラメータｐａｒＡ及びｐａｒＢを用いて関数ｆを近似するようにトレーニングされる。深層学習ネットワーク２２２のアーキテクチャ及び深層学習ネットワーク２２２のトレーニングについて、本明細書でより詳細に説明する。
[0045] 一実施形態では、プローブ２１０から取得された生のチャネルデータｉｎ（ｃ，ｔ）は、画像データ２５２として示され、クラウドストレージネットワーク２５０に送信され、記憶される。深層学習エンジン２２０は、ホスト１３０と同様の遠隔処理システムにある。遠隔処理システムは、生のチャネルデータが取得される場所とは異なる部屋や建物内など、患者及びプローブ２１０から遠隔に配置される。例えば、生のチャネルデータは、病院又は他の臨床施設内の部屋などのポイントオブケア環境においてプローブ２１０によって取得される。遠隔処理システムは、施設の異なる部屋又は異なる施設にあってもよい。遠隔処理システムは、クラウドストレージネットワーク２５０内の画像データ２５２にアクセスし、深層学習エンジン２２０が画像データ２５２に適用されて、出力超音波画像ｏｕｔ（ｘ，ｙ）が生成される。出力超音波画像は、出力超音波画像をレビューするために患者や臨床医がいる異なる場所に送信されてもよい。例えば、出力超音波画像は、生のチャネルデータが取得された部屋などのポイントオブケア場所、又は患者／臨床医が超音波画像をレビューする異なる部屋に送信される。このようにして、深層学習エンジン２２０は画像データ２５２に適用され、出力超音波画像が、生チャネルデータが取得された場所、及び／又は患者／臨床医が出力超音波画像をレビューする場所から離れた場所で生成される。
[0046] 図２は、深層学習エンジン２２０を、プローブ２１０に対する外部構成要素として図示しているが、いくつかの実施形態では、深層学習エンジン２２０は、プローブ２１０に対する内部構成要素として統合（例えば、ＡＳＩＣ又はＦＰＧＡデバイスとして実装）されてもよい。
[0047] 一般に、本開示の態様は、機械学習ネットワークを使用して、従来の超音波画像を生成するために必要とされる１つ以上の従来の超音波画像処理ステップを置き換えることについて説明する。生チャネルデータに対して実行される従来の画像処理ステップ（例えば、ビーム形成処理、フィルタリング処理、ダイナミックレンジ適用処理、及び／又は圧縮処理）のうちの１つ以上ではなく、機械学習ネットワークが、超音波トランスデューサによって取得された生チャネルデータに適用される。機械学習ネットワークは、１つ以上のターゲット画像の複数の超音波画像を使用してトレーニングされている。機械学習ネットワークを生チャネルデータに適用すると、修正データがもたらされる。プロセッサは、ターゲット画像の特徴（例えば、解剖学的構造、スペックルなど）を含む修正データを使用して超音波画像を生成する。
[0048] 図３は、本開示の態様による、深層学習ネットワーク２２２の構成３００を示す概略図である。深層学習ネットワーク２２２は、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）３１０を含む。ＣＮＮ３１０は、超音波チャネルデータ３０２に作用する。例えば、超音波チャネルデータ３０２は、システム１００のデジタル超音波エコーチャネル信号１６２、又はシステム２００の生のＲＦチャネルデータｉｎ（ｃ，ｔ）に対応する。
[0049] ＣＮＮ３１０は、Ｎ個の畳み込み層３２０のセットと、それに続くＫ個の全結合層３３０のセットとを含み、ここで、Ｎ及びＫは、任意の正の整数とすることができる。Ｎ及びＫの値は、実施形態に応じて異なる。場合によっては、Ｎは約１２であり、Ｋは約２である。各畳み込み層３２０は、超音波チャネルデータ３０２から特徴を抽出するフィルタ３２２のセットを含む。図３には示されていないが、いくつかの実施形態では、畳み込み層３２０は、空間プーリング層とインターリーブされてもよく、各プーリング層は、抽出されたイメージング特徴の次元性を低減するダウンサンプリング演算のセットを含む。加えて、各畳み込み層３２０は、整流された特徴マップを抽出する非線形関数（例えば、整流非線形（ＲｅＬＵ）演算を含む）を含んでもよい。さらに、各畳み込み層３２０は、ＣＮＮ３１０のトレーニングを高速化するために、バッチ正規化関数を含んでもよい。全結合層３３０は、非線形で、最後の畳込み層３２０（Ｎ）の高次元出力を徐々に収縮させて、出力超音波画像３０４を生成してもよい。例えば、超音波画像３０４は、システム２００の出力画像ｏｕｔ（ｘ，ｚ）又はシステム１００の画像１６８に対応する。
[0050] 図からわかるように、ＣＮＮ３１０の実装又は適用は、大部分はフィルタリング及び／又は重み付け演算を必要とし、これは、乗算加算演算である。したがって、ＣＮＮ３１０の実装又は適用は、従来の受信ビーム形成演算２４０及びバックエンド処理演算２４２と比べて、必要な計算が著しく少ない、及び／又はハードウェアが複雑でない。したがって、深層学習エンジン（例えば、深層学習エンジン２２０）のサイズ又はフットプリントは、従来のビームフォーマ（例えば、ビームフォーマ１１４）及びバックエンド処理構成要素（例えば、処理構成要素１１６及び１３４）と比べて比較的小さくできる。したがって、本開示は、トランスデューサプローブ（例えば、プローブ２１０）内への深層学習エンジンの組み込み可能にする。
[0051] 超音波イメージング用途用の十分に開発された深層学習フレームワークを提供する際の１つの課題は、トレーニングのための多数の入力−出力対（例えば、ｉｎ（ｃ，ｔ）とｏｕｔ（ｘ，ｚ）との対）を含む大きなデータセットを有することである。上述したように、システム１００を使用して、トレーニングのために入力−出力対（例えば、デジタル超音波エコーチャネル信号１６２及び対応する画像１６８）を提供できる。しかしながら、十分にトレーニングされた深層学習ネットワークを提供するのに十分な大きさのデータセットの収集は時間がかかり、複雑であり得る。
[0052] 本開示はさらに、臨床環境からデータを収集する代わりに、シミュレーションに基づいて超音波イメージング用途用の深層学習ネットワークをトレーニングできる技法を提供する。したがって、本開示は、トレーニングデータを生成又は収集するプロセスを単純化することができ、また、トレーニングデータを収集するために必要とされる時間及び労力を低減することができ、したがって、新しい超音波用途を迅速かつ容易に展開することを可能にする。さらに、シミュレーションベースのトレーニングは、従来の再構成超音波画像よりも高品質の高解像度（例えばスペックルフリー）超音波画像を出力するように、深層学習ネットワークをトレーニングできる。
[0053] 図４は、本開示の態様による、深層学習ネットワークトレーニングデータ生成スキーム４００を示す概略図である。スキーム４００は、ホスト１３０などのコンピュータシステムによって実現される。スキーム４００を使用して、超音波画像再構成のために深層学習ネットワーク２２２又はＣＮＮ３１０などの深層学習ネットワークをトレーニングするための入力−出力データ対を生成する。
[0054] スキーム４００では、入力画像４１０、散乱マップ４２０、及びトランスデューサアレイパラメータ４３０がデータセット（例えば、データセット１４０）を生成するために提供される。入力画像４１０は、超音波検査下の物体（例えば、物体１０５及び２０５）をエミュレートする任意の画像（例えば、デジタルファントム画像、写真画像、シミュレーション画像、又は超音波画像）であってよい。入力画像４１０は、ｘ‐ｚ平面のエコー輝度マップを含んでもよい。ｚ軸は、超音波トランスデューサアレイ４１２（例えば、トランスデューサ１１２及び２１４）の軸方向の深さを表し、ｘ軸は、超音波トランスデューサアレイ４１２の横方向の幅を表す。散乱マップ４２０は、超音波イメージング下の組織からの超音波の後方散乱をシミュレートするランダム散乱位置を含む。トランスデューサアレイパラメータ４３０は、超音波パルス放出の中心周波数及び帯域幅、トランスデューサ素子（例えば、素子２１２）の数、トランスデューサ素子の配置、及び／又は超音波トランスデューサアレイに関連する任意のパラメータを含む。
[0055] 入力画像４１０、散乱マップ４２０、及びトランスデューサアレイパラメータ４３０は、超音波チャネルデータ生成ユニット４４０への入力である。超音波チャネルデータ生成ユニット４４０は、任意の適切な超音波イメージングシステムシミュレータである。超音波チャネルデータ生成ユニット４４０は、トランスデューサアレイパラメータ４３０に基づいて、入力画像４１０に向かう超音波放出をシミュレートする。超音波チャネルデータ生成ユニット４４０は、トランスデューサアレイパラメータ４３０及び散乱マップ４２０に基づいて、画像４１０から反射されて戻る超音波（例えば、エコー応答）をシミュレートする。超音波チャネルデータ生成ユニット４４０は、超音波チャネルデータ４５０として超音波エコー応答を提供する。超音波チャネルデータ４５０は、システム１００のデジタル超音波エコーチャネル信号１６２、システム２００の超音波エコー応答ｉｎ（ｃ，ｔ）、又は超音波チャネルデータ３０２と同様である。
[0056] 超音波チャネルデータ４５０は、任意の適切なフォーマットであってよい。いくつかの実施形態では、超音波チャネルデータ生成ユニット４４０は、生のＲＦデータ４５０ａ（例えば、デジタルＲＦサンプル）を出力する。出力された生のＲＦデータ４５０ａは、デジタル超音波エコーチャネルデータストリーム又は信号１６２に対応する。いくつかの実施形態では、超音波チャネルデータ生成ユニット４４０は、ベースバンドＩＱデータ４５０ｂを出力する。ＩＱデータ４５０ｂは、ベースバンドへのダウンコンバート後の生のＲＦデータ４５０ａに対応する。ＩＱデータ４５０ｂは、デカルト形式で表される。例えば、ＲＦデータ４５０ａは、約５０メガヘルツ（ＭＨｚ）のサンプリングレートを有する一方で、ＩＱデータ４５０ｂは、ＲＦデータ帯域幅の２倍のデータ帯域幅を有して、約２０ＭＨｚのより低いサンプリングレートを有する。いくつかの実施形態では、ＩＱデータ４５０ｂは極形式に変換され、ＩＱ極性データ４５０ｃと呼ばれる。
[0057] 超音波チャネルデータ４５０は、プロット４５２に示すように、チャネルごとのデータサンプルを含む。このプロットでは、ｘ軸は、（例えば、チャネルに対応する）超音波トランスデューサ素子インデックスを表し、ｚ軸は、経時的に各素子から受信されたデータサンプルを表す。生のＲＦデータ４５０ａでは、チャネルごとのデータサンプルは、生のＲＦデータ４５０ａ内のチャネルごとのＲＦデータサンプル（実数値）である。ＩＱデータ４５０ｂでは、チャネルごとのデータサンプルは、実数成分値及び虚数成分値を含むＩＱサンプルである。ＩＱ極性データ４５０ｃでは、チャンネルごとのデータサンプルは、包絡線成分及び位相成分を含むＩＱサンプルである。
[0058] 超音波チャネルデータ４５０は、ＲＦ形式、ＩＱ形式、又はＩＱ極形式のいずれかで画像再構成ユニット４６０に提供される。画像再構成ユニット４６０は、従来の超音波画像再構成処理技法（例えば、ビーム形成処理、信号処理、及び／又は画像処理）を超音波チャネルデータ４５０に適用して、（例えば、超音波イメージング下の物体を表す）入力画像４１０の超音波画像４７０（例えば、画像１６８）を再構成する。
[0059] スキーム４００を複数の画像４１０について繰り返して、深層学習ネットワークをトレーニングするための超音波チャネルデータ４５０と対応する再構成された超音波画像４７０との入力−出力対含むトレーニングデータセットが生成される。トレーニングデータセットのサイズは、シミュレーションに使用されるトランスデューサ素子の数又はチャネルの数やチャネルごとのデータサイズに依存する。例えば、ＩＱデータ４５０ｂ又はＩＱ極性データ４５０ｃは、ＩＱデータサンプリングレートがＲＦデータサンプリングレートよりも低いことから、生のＲＦデータ４５０ａよりも小さいサイズのトレーニングデータセットを提供する。
[0060] いくつかの実施形態では、画像再構成ユニット４６０はさらに、超音波チャネルデータ４５０にビーム形成処理を適用した後に、ビーム形成されたデータ４８０を出力する。ビーム形成済みデータ４８０は、ビーム形成されたチャネル（すなわち、時間整列されたチャネルデータ）又はビーム和データ（すなわち、すべての時間整列されたチャネルデータの和）を含む。ビーム形成済みデータ４８０及び対応する再構成され最適化された超音波画像４７０は、トレーニングに使用される入力−出力対を形成できる。ビーム形成済みデータ４８０は、超音波チャネルデータ４５０よりも小さい寸法を有する。したがって、ビーム形成済みデータ４８０から形成されるトレーニングデータセットは、超音波チャネルデータ４５０から形成されるトレーニングデータセットよりも小さいサイズを有する。
[0061] 図５は、本開示の態様による、超音波画像を生成するための深層学習ネットワークトレーニングスキーム５００を示す概略図である。スキーム５００は、ホスト１３０などのコンピュータシステムによって実現される。スキーム５００を使用して、超音波画像再構成のための深層学習ネットワーク２２２又はＣＮＮ３１０などの深層学習ネットワークをトレーニングできる。
[0062] スキーム５００は、スキーム４００によって生成された入力−出力対を使用して、深層学習ネットワーク２２２をトレーニングする。例えば、入力−出力対は、超音波チャネルデータ４５０及び再構成超音波画像４７０に対応する。超音波チャネルデータ４５０は、深層学習ネットワーク２２２への入力（丸で囲まれた１で示す）であり、再構成超音波画像４７０は、トレーニングのためのターゲット出力５２０である。
[0063] トレーニング中、順方向伝播を使用して深層学習ネットワーク２２２を超音波チャネルデータ４５０に適用して、出力５１０（例えば、超音波画像３０４）が生成される。畳み込み層３２０内のフィルタ３２２の係数及び全結合層３３０内の重み付けを、逆方向伝搬を使用して調整して、出力５１０とターゲット出力５２０との間の誤差が最小限に抑えられる。言い換えれば、スキーム５００は、式（３）の画像再構成関数ｆに近似するように深層学習ネットワーク２２２をトレーニングする。トレーニングは、式（３）におけるビーム形成パラメータｐａｒＡ及びバックエンド処理パラメータｐａｒＢを最適化する。トレーニングは、パラメータｐａｒＡ及びｐａｒＢを同時に又は複数の段階で最適化できる。
[0064] 別の実施形態では、入力−出力対は、ビーム形成済みデータ４８０及び再構成超音波画像４７０に対応する。ビーム形成済みデータ４８０は、深層学習ネットワーク２２２への入力（丸で囲まれた２で示す）であり、再構成超音波画像４７０は、トレーニングのためのターゲット出力５２０である。トレーニングメカニズムは、上述のステップと実質的に同様である。例えば、畳み込み層３２０内のフィルタ３２２の係数及び全結合層３３０内の重み付けを調整して、出力５１０とターゲット出力５２０との間の誤差が最小限に抑えられる。言い換えれば、スキーム５００は、式（２）のバックエンド処理関数ｆＢＥに近似するように深層学習ネットワーク２２２をトレーニングする。トレーニングは、式（２）のバックエンド処理パラメータｐａｒＢを最適化する。
[0065] 図６は、本開示の態様による、超音波画像を生成するための深層学習ネットワークトレーニングスキーム６００を示す概略図である。スキーム６００は、ホスト１３０などのコンピュータシステムによって実現される。スキーム６００を使用して、超音波画像再構成のための深層学習ネットワーク２２２又はＣＮＮ３１０などの深層学習ネットワークをトレーニングできる。スキーム６００は、スキーム５００と実質的に同様であるが、トレーニングのためのターゲット出力６２０が、従来の再構成超音波画像４７０の代わりに、元の入力画像４１０に対応する。言い換えれば、ターゲットは完全な画像再構成（例えば、超解像度でアーチファクトがない）下の物体の画像に対応する。
[0066] 図示のように、入力−出力対は、超音波チャネルデータ４５０及び入力画像４１０に対応する。トレーニング中、順方向伝播を使用して深層学習ネットワーク２２２を超音波チャネルデータ４５０に適用して、出力６１０が生成される。畳み込み層３２０内のフィルタ３２２の係数及び全結合層３３０内の重み付けを、逆方向伝搬を使用して調整して、出力６１０と、元の入力画像４１０であるターゲット出力６２０との間の誤差が最小限に抑えられる。
[0067] ターゲット出力６２０として元の入力画像４１０を使用することにより、トレーニングによって深層学習ネットワーク２２２が最適化され、従来の再構成超音波画像（例えば、再構成超音波画像４７０）よりも高品質の超解像度のスペックルのない画像が生成される。言い換えれば、スキーム６００は、式（３）の関数ｆに近似するように深層学習ネットワーク２２２をトレーニングして、超解像度及び／又はスペックルフリー画像再構成のために、パラメータｐａｒＡ及びｐａｒＢが最適化される。
[0068] スキーム５００と同様に、スキーム６００は、超音波チャネルデータ４５０の代わりに、深層学習ネットワーク２２２への入力としてビーム形成済みデータ４８０（丸で囲まれた２で示す）を使用して、深層学習ネットワーク２２２をトレーニングしてもよい。
[0069] 深層学習ネットワーク２２２は、スキーム５００又は６００を使用してトレーニングされた後、システム２００において使用されて、ディスプレイ２３０での表示のための超音波画像が生成される。例えば、深層学習ネットワーク２２２が超音波チャネルデータ４５０を使用してトレーニングされる場合、プローブ２１０は検査中の物体（例えば、物体１０５及び２０５）を表す生のＲＦ又はＩＱデータ（例えば、超音波チャネルデータ４５０）を取得して、深層学習ネットワーク２２２は、取得されたＲＦ又はＩＱデータに適用されて、物体の超音波画像が生成される。
[0070] あるいは、深層学習ネットワーク２２２がビーム形成済みデータ４８０を使用してトレーニングされる場合、プローブ２１０は、生のＲＦ又はＩＱデータにビーム形成を適用するビームフォーマを含み、深層学習ネットワーク２２２は、ビーム形成済み信号に適用されて、物体の超音波画像が生成される。
[0071] 深層学習ネットワーク２２２によって生成された超音波画像は、トレーニングターゲットに使用された画像と同様の特性及び特徴（例えば、解像度）を含むことに留意されたい。例えば、スキーム５００を使用してトレーニングされた深層学習ネットワーク２２２は、画像４７０（例えば、ターゲット出力５２０）と同様の特性又は特徴を含む超音波画像を生成する。画像４７０がスペックルを含む場合、生成された超音波画像もある程度のスペックルを含む。同様に、スキーム５００を使用してトレーニングされた深層学習ネットワーク２２２は、元の高解像度画像４１０（例えば、ターゲット出力６２０）と同様の特性又は特徴を含む超音波画像を生成する。画像４１０が約１波長以下の解像度を含む場合、生成された超音波画像もまた同様の解像度を含む。一例として、ターゲット画像が５ｍｍの範囲にわたって２５６の画素を含む場合、解像度は約０．００１９５ｍｍである。
[0072] 図７は、本発明の態様による、ターゲット画像と比較される、従来のイメージングから生成された画像及び深層学習に基づくイメージングから生成された画像を示す。図７は、ターゲット画像７３０、従来の再構成画像７１０、及び深層学習ベースの再構成画像７２０を示す。例えば、ターゲット画像７３０は、超音波イメージング下の物体（例えば、物体１０５及び２０５）を表す。ターゲット画像７３０は、入力画像４１０に対応する。従来の再構成画像７１０は、超音波エコー応答がターゲット画像７３０からシミュレートされ、次いで、従来のビーム形成処理、信号処理及び／又は画像処理が続くスキーム４００に説明されるような類似のメカニズムを用いてターゲット画像７４０から生成される。深層学習ベースの再構成画像７２０は、スキーム６００を使用してトレーニングされた深層学習ネットワーク（例えば、深層学習ネットワーク２２２）を適用することによって、ターゲット画像７３０から生成される。図からわかるように、深層学習ベースの再構成画像７２０は、従来の再構成画像７１０よりも高い解像度と高い品質を有する。
[0073] 図８は、本開示の態様による深層学習ベースの超音波イメージング方法８００のフロー図である。方法８００のステップは、システム２００によって、例えば、プロセッサ、処理回路、及び／又はプローブ２１０、深層学習エンジン２２０、及び／又はディスプレイ２３０などの他の適切な構成要素によって実行できる。図示されるように、方法８００は、いくつかの列挙されたステップを含むが、方法８００の実施形態は、列挙されたステップの前、後、及びその間に追加のステップを含んでもよい。いくつかの実施形態では、列挙されたステップのうちの１つ以上は、省略されても、異なる順序で行われてもよい。
[0074] ステップ８１０において、方法は、被検者の解剖学的構造（例えば、物体１０５及び２０５）を表す超音波チャネルデータ（例えば、超音波チャネルデータ３０２及び４５０、ならびに画像データ２５２）を受信することを含む。超音波チャネルデータは、超音波トランスデューサ（例えば、トランスデューサ１１２又は２１４）から生成される。超音波チャネルデータは、超音波トランスデューサから受信されても、ネットワーク（例えば、クラウドストレージネットワーク２５０）から取り出されてもよい。
[0075] ステップ８２０において、方法８００は、超音波チャネルデータに予測ネットワーク（例えば、深層学習ネットワーク２２２及びＣＮＮ３１０）を適用して、被検者の解剖学的構造の画像（例えば、画像３０４、４７０、及び７２０）を生成することを含む。
[0076] ステップ８３０において、方法８００は、被検者の解剖学的構造の画像をディスプレイ（例えば、ディスプレイ１３２及び２３０）上に表示することを含む。
[0077] 一実施形態では、超音波トランスデューサは、音響素子（例えば、素子２１２）のアレイを含む。超音波チャネルデータは、複数の超音波エコーチャネルデータストリームを含み、複数の超音波エコーチャネルデータストリームの各々は、音響素子のアレイの１つの音響素子から受信される。
[0078] 一実施形態では、複数の超音波エコーチャネルデータストリームは、被検者の解剖学的構造を表すＲＦデータ（例えば、ＲＦデータ４５０ａ）を含む。一実施形態では、方法８００は、予測ネットワークを適用する前に、ＲＦデータをＩＱデータ（例えば、ＩＱデータ４５０ｂ及びＩＱ極性データ４５０ｃ）に変換することを含む。一実施形態では、方法８００は、予測ネットワークを適用する前に、超音波エコーチャネルデータストリームにビーム形成処理（例えば、ビーム形成演算２４０）を行うことを含む。
[0079] 一実施形態では、画像は、被検者の解剖学的構造の形態学的情報、被検者の解剖学的構造の機能情報、又は被検者の解剖学的構造の定量的測定値のうちの少なくとも１つを含む。一実施形態では、画像は、被検者の解剖学的構造のＢモード情報、被検者の解剖学的構造のストレス情報、被検者の解剖学的構造の弾性情報、被検者の解剖学的構造の組織ドップラー情報、又は被検者の解剖学的構造の血流ドップラー情報のうちの少なくとも１つを含む。
[0080] 本開示の態様は、いくつかの利点を提供する。例えば、プローブ（例えば、プローブ１１０及び２１０）から取得された生のＲＦデータ（例えば、ＲＦデータ４５０ａ）、ＩＱデータ（例えば、ＩＱデータ４５０ｂ及びＩＱ極性データ４５０ｃ）、及び／又はビーム形成済みデータ（例えば、ビーム形成済みデータ４８０）から超音波画像を再構成するために深層学習を使用することにより、ビームフォーマ、信号処理エンジン、及び／又は画像処理エンジンを使用する従来の超音波画像再構成と比べて、計算の複雑さ及びシステムの複雑さを低減することを可能にする。例えば、深層学習ネットワークの適用は、ＡＳＩＣ及び／又はＦＰＧＡなどの単純なハードウェア及び／又はソフトウェアを用いて実現される。したがって、本開示は、小型化されたトランスデューサ内超音波イメージングエンジン（例えば、プローブ２１０又はＩＶＵＳ内に組み込まれた深層学習エンジン２２０）を可能にする。加えて、トレーニングのためのターゲット出力として、高解像度画像（例えば、元の入力画像４１０）を使用することにより、深層学習ネットワークが、従来の方法で生成された超音波画像よりも高品質の高解像度及び／又はスペックルフリー画像を生成するために最適化されることを可能にする。さらに、シミュレーションベースの深層学習トレーニングデータ生成を使用することにより、短時間で十分に大きなトレーニングデータセットを提供することを可能にする。したがって、本開示は、新しい超音波用途の開発時間及びコストを低減して、新しい超音波用途の展開を迅速に可能にする。
[0081] 当業者であれば、上述の装置、システム、及び方法を様々なやり方で修正できることを理解するであろう。したがって、当業者は、本開示によって包含される実施形態が上述の特定の例示的な実施形態に限定されないことを理解するであろう。この点に関して、例示的な実施形態が示され、説明されたが、前述の開示において、広範囲の修正、変更、及び置換が企図される。このような変形は、本開示の範囲から逸脱することなく、上記になされ得ることが理解される。したがって、添付の特許請求の範囲は、広くかつ本開示と一致するよう解釈されることが適切である。

Claims (26)

  1. プロセッサを含む、超音波イメージングシステムであって、前記プロセッサは、
    超音波トランスデューサから生成された被検者の解剖学的構造を表す超音波チャネルデータを受信し、
    前記超音波チャネルデータに予測ネットワークを適用して前記被検者の解剖学的構造の画像を生成し、
    前記被検者の解剖学的構造の前記画像を、プロセッサと通信するディスプレイに出力する、
    超音波イメージングシステム。
  2. 前記超音波トランスデューサは、音響素子のアレイを含み、前記超音波チャネルデータは、複数の超音波エコーチャネルデータストリームを含み、前記複数の超音波エコーチャネルデータストリームのそれぞれは、前記音響素子のアレイの１つの音響素子から生成される、請求項１に記載の超音波イメージングシステム。
  3. 前記複数の超音波エコーチャネルデータストリームは、前記被検者の解剖学的構造を表す無線周波数（ＲＦ）データを含む、請求項２に記載の超音波イメージングシステム。
  4. 前記プロセッサはさらに、
    前記予測ネットワークを適用する前に、前記ＲＦデータを同相直交位相（ＩＱ）データに変換する、請求項３に記載の超音波イメージングシステム。
  5. 前記プロセッサはさらに、
    前記予測ネットワークを適用する前に、前記超音波エコーチャネルデータストリームに対してビーム形成処理を行う、請求項２に記載の超音波イメージングシステム。
  6. 前記画像は、前記被検者の解剖学的構造の形態学的情報、前記被検者の解剖学的構造の機能情報、又は前記被検者の解剖学的構造の定量的測定値の少なくとも１つを含む、請求項１に記載の超音波イメージングシステム。
  7. 前記画像は、前記被検者の解剖学的構造のＢモード情報、前記被検者の解剖学的構造のストレス情報、前記被検者の解剖学的構造の弾性情報、前記被検者の解剖学的構造の組織ドップラー情報、又は前記被検者の解剖学的構造の血流ドップラー情報の少なくとも１つを含む、請求項１に記載の超音波イメージングシステム。
  8. 前記予測ネットワークは、
    テスト超音波チャネルデータ、及び、テスト物体を表す対応するテスト画像を提供することと、
    前記テスト超音波チャネルデータから前記テスト画像を生成するように前記予測ネットワークをトレーニングすることと、
    によってトレーニングされる、請求項１に記載の超音波イメージングシステム。
  9. 前記テスト画像は、前記テスト超音波チャネルデータに対して、ビーム形成処理、Ｂモード処理、ドップラー処理、又はスキャン変換処理の少なくとも１つを行うことによって、前記テスト超音波チャネルデータから生成される、請求項８に記載の超音波イメージングシステム。
  10. 前記テスト超音波チャネルデータは、超音波トランスデューサ構成パラメータに基づいて前記テスト画像から生成される、請求項８に記載の超音波イメージングシステム。
  11. 前記テスト超音波チャネルデータは、無線周波数（ＲＦ）データ、同相直交位相（ＩＱ）データ、又はビーム形成済みデータの少なくとも１つを含む、請求項８に記載の超音波イメージングシステム。
  12. 前記超音波トランスデューサを含む超音波イメージングプローブをさらに含み、前記プロセッサは、前記超音波トランスデューサと通信し、前記超音波トランスデューサから前記超音波チャネルデータを受信する、請求項１に記載の超音波イメージングシステム。
  13. 前記超音波イメージングプローブが、前記プロセッサを含む、請求項１２に記載の超音波イメージングシステム。
  14. 超音波トランスデューサから生成された被検者の解剖学的構造を表す超音波チャネルデータを受信するステップと、
    前記超音波チャネルデータに予測ネットワークを適用して、前記被検者の解剖学的構造の画像を生成するステップと、
    ディスプレイによって前記被検者の解剖学的構造の前記画像を表示するステップと、
    を含む、超音波イメージング方法。
  15. 前記超音波トランスデューサは、音響素子のアレイを含み、前記超音波チャネルデータは、複数の超音波エコーチャネルデータストリームを含み、前記複数の超音波エコーチャネルデータストリームのそれぞれは、前記音響素子のアレイの１つの音響素子から生成される、請求項１４に記載の超音波イメージング方法。
  16. 前記複数の超音波エコーチャネルデータストリームは、前記被検者の解剖学的構造を表す無線周波数（ＲＦ）データを含む、請求項１５に記載の超音波イメージング方法。
  17. 前記予測ネットワークを適用する前に、前記ＲＦデータを同相直交位相（ＩＱ）データに変換するステップをさらに含む、請求項１６に記載の超音波イメージング方法。
  18. 前記予測ネットワークを適用する前に、前記超音波エコーチャネルデータストリームに対してビーム形成処理を行うステップをさらに含む、請求項１５に記載の超音波イメージング方法。
  19. 前記画像は、前記被検者の解剖学的構造の形態学的情報、前記被検者の解剖学的構造の機能情報、又は前記被検者の解剖学的構造の定量的測定値の少なくとも１つを含む、請求項１４に記載の超音波イメージング方法。
  20. 前記画像は、前記被検者の解剖学的構造のＢモード情報、前記被検者の解剖学的構造のストレス情報、前記被検者の解剖学的構造の弾性情報、前記被検者の解剖学的構造の組織ドップラー情報、又は前記被検者の解剖学的構造の血流ドップラー情報の少なくとも１つを含む、請求項１４に記載の超音波イメージング方法。
  21. 画像を生成するためのシステムであって、
    少なくとも１つの機械学習ネットワークを記憶するメモリと、
    前記メモリと通信するプロセッサと、
    を含み、
    前記プロセッサは、
    超音波トランスデューサから生成された生のチャネルデータを受信し、
    前記機械学習ネットワークを前記生のチャネルデータに適用して１つ以上の画像処理ステップを置換し、それによって修正データを生成し、
    前記修正データを使用して画像を生成し、
    前記機械学習ネットワークは、１つ以上のターゲット画像の複数の超音波画像を使用してトレーニングされ、
    生成された前記画像は、前記１つ以上のターゲット画像の特徴を含む、
    システム。
  22. 前記複数の超音波画像は、シミュレートされる、請求項２１に記載のシステム。
  23. 前記１つ以上の画像処理ステップは、ビーム形成処理、フィルタリング処理、ダイナミックレンジ適用処理、及び圧縮処理を含む、請求項２１に記載のシステム。
  24. 前記１つ以上のターゲット画像は、写真画像を含む、請求項２１に記載のシステム。
  25. 前記特徴は、約１波長以下の解像度を含む、請求項２１に記載のシステム。
  26. 前記特徴は、ある量のスペックルを含む、請求項２１に記載のシステム。
JP2021502524A 2018-07-20 2019-07-19 深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法 Pending JP2021530303A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862700960P 2018-07-20 2018-07-20
US62/700,960 2018-07-20
US201862730623P 2018-09-13 2018-09-13
US62/730,623 2018-09-13
PCT/EP2019/069602 WO2020016449A1 (en) 2018-07-20 2019-07-19 Ultrasound imaging by deep learning and associated devices, systems, and methods

Publications (2)

Publication Number Publication Date
JP2021530303A true JP2021530303A (ja) 2021-11-11
JPWO2020016449A5 JPWO2020016449A5 (ja) 2022-07-26

Family

ID=67390082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021502524A Pending JP2021530303A (ja) 2018-07-20 2019-07-19 深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法

Country Status (5)

Country Link
US (1) US20210265042A1 (ja)
EP (1) EP3824313A1 (ja)
JP (1) JP2021530303A (ja)
CN (1) CN112470028A (ja)
WO (1) WO2020016449A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220019036A (ko) * 2019-06-12 2022-02-15 카네기 멜론 유니버시티 초음파 데이터를 라벨링하기 위한 시스템 및 방법
CN114554969A (zh) * 2019-10-16 2022-05-27 皇家飞利浦有限公司 用于基于深度学习的超声波束形成的方法和装置
CN110874828B (zh) * 2020-01-20 2020-04-21 上海尽星生物科技有限责任公司 神经网络模型及基于神经网络模型的超声波束形成方法
CN113499096B (zh) * 2021-06-21 2022-10-25 西安交通大学 一种超声跨尺度和多参量检测的成像平台及方法
US11657504B1 (en) 2022-06-28 2023-05-23 King Abdulaziz University System and method for computationally efficient artificial intelligence based point-of-care ultrasound imaging healthcare support
CN118000786B (zh) * 2024-04-10 2024-07-19 之江实验室 一种基于解剖学先验的超声层析成像方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018127498A1 (en) * 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
US9918701B2 (en) * 2014-09-03 2018-03-20 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
US20160174937A1 (en) * 2014-12-23 2016-06-23 General Electric Company Wireless ultrasound probe
US10959702B2 (en) * 2016-06-20 2021-03-30 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US20180103912A1 (en) * 2016-10-19 2018-04-19 Koninklijke Philips N.V. Ultrasound system with deep learning network providing real time image identification
US10779800B2 (en) * 2016-12-01 2020-09-22 B-K Medical Aps Ultrasound imaging transducer electrical noise compensation
US11832969B2 (en) * 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
WO2018130370A1 (en) * 2017-01-11 2018-07-19 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
JP6902625B2 (ja) * 2017-05-11 2021-07-14 ベラソン インコーポレイテッドＶｅｒａｔｈｏｎ Ｉｎｃ． 確率マップに基づいた超音波検査
US11382601B2 (en) * 2018-03-01 2022-07-12 Fujifilm Sonosite, Inc. Method and apparatus for annotating ultrasound examinations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018127498A1 (en) * 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization

Also Published As

Publication number Publication date
WO2020016449A1 (en) 2020-01-23
US20210265042A1 (en) 2021-08-26
EP3824313A1 (en) 2021-05-26
CN112470028A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
Van Sloun et al. Deep learning in ultrasound imaging
JP2021530303A (ja) 深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法
US11709265B2 (en) Network-based ultrasound imaging system
US11899141B2 (en) Ultrasound system for high-speed and high resolution imaging applications
JP2019535448A (ja) 超音波画像クラッタをフィルタリングする方法及びシステム
KR101649273B1 (ko) 곡면 프로브를 이용하여 탄성 영상을 생성하는 방법 및 그 의료 영상 장치
KR20170042936A (ko) 초음파 장치 및 초음파 신호 처리 방법
US12092735B2 (en) Method and apparatus for deep learning-based ultrasound beamforming
US11950960B2 (en) Ultrasound imaging with deep learning-based beamforming and associated devices, systems, and methods
KR102524068B1 (ko) 초음파 진단 장치, 초음파 프로브 및 그 제어 방법
Nguon et al. Reconstruction for plane-wave ultrasound imaging using modified U-Net-based beamformer
Ibrahim et al. Single-FPGA complete 3D and 2D medical ultrasound imager
Chatar et al. Analysis of existing designs for fpga-based ultrasound imaging systems
Jonveaux et al. Review of current simple ultrasound hardware considerations, designs, and processing opportunities
KR102605151B1 (ko) 빔포밍을 수행하는 방법 및 빔포머.
EP4394441A1 (en) A beamforming method and system
Hager Design of Fully-Digital Medical Ultrasound Imaging Systems
Kim et al. Hybrid beamformation for volumetric ultrasound imaging scanners using 2-D array transducers
Tasinkevych 3D Ultrasonography in Real Time: Image Reconstruction Methods
JG et al. Deep Learning in Ultrasound Imaging
Ibrahim 3-Dimensional Ultrasound Imaging for Medical Telesonography: Algorithms and Architectures
Ibrahim et al. Assessment of image quality vs. computation cost for different parameterizations of ultrasound imaging pipelines
CN118252526A (zh) 一种超声成像方法和系统
George Sub-wavelength imaging methodology for medical ultrasound applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231211

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240209