JP2022537274A - 合成エラストログラフィ画像を生成するための方法及びシステム - Google Patents

合成エラストログラフィ画像を生成するための方法及びシステム Download PDF

Info

Publication number
JP2022537274A
JP2022537274A JP2021573494A JP2021573494A JP2022537274A JP 2022537274 A JP2022537274 A JP 2022537274A JP 2021573494 A JP2021573494 A JP 2021573494A JP 2021573494 A JP2021573494 A JP 2021573494A JP 2022537274 A JP2022537274 A JP 2022537274A
Authority
JP
Japan
Prior art keywords
neural network
artificial neural
image
trained
elastography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021573494A
Other languages
English (en)
Other versions
JPWO2020254159A5 (ja
Inventor
ロジャー ルドルフ ウィルデボア
スローン ルード ヨハネス ジェラルドゥス ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022537274A publication Critical patent/JP2022537274A/ja
Publication of JPWO2020254159A5 publication Critical patent/JPWO2020254159A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Gynecology & Obstetrics (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本発明は、(a)関心領域のBモード超音波画像を受信するステップと、(b)前記訓練される人工ニューラルネットワークをBモード超音波画像に適用することによって関心領域の合成エラストグラフィ画像を生成するステップとを有する、合成エラストグラフィ画像を生成する方法に関する。本発明はまた、合成エラストグラフィ画像を生成するのに有用な人工ニューラルネットワークを訓練するための方法、ならびに関連するコンピュータプログラム及びシステムに関する。

Description

本発明は、合成エラストグラフィ画像を生成するためのコンピュータ実装方法、Bモード超音波画像から合成エラストグラフィ画像を生成する際に有用な人工ニューラルネットワークを訓練するための方法、信頼マップを提供するために人工ニューラルネットワーク又は第2の人工ニューラルネットワークを訓練するための方法、ならびに関連するコンピュータプログラム及びシステムに関する。
組織の弾性又は剛性は生物医学において、例えば、癌画像又は筋骨格系の病理学の評価において重要なマーカーである。組織が硬質であるか軟質であるかは、重要な診断情報を提供し得る。例えば、癌性腫瘍は周囲の組織よりも硬いことが多く、肝硬度は通常、肝硬変及び肝炎を含む様々な疾患状態を示す。組織の弾性特性を撮像するために、組織が変形したときにどのように振る舞うかを記録する必要がある。超音波エラストグラフィーでは通常、集束超音波パルスの放射力を用いて、組織内部に「プッシュ」を遠隔的に作り出す。例えば、剪断波エラストグラフィー(SWE)は局所弾性推定と2Dエラストグラムの生成を可能にする先進技術である。SWEでは音響放射力のシーケンスによって「プッシュ」が組織内に深く誘導される。この「プッシュ」によって作り出される擾乱が剪断波として、組織を横方向(横方向)に進む。超高速超音波撮像を使用して、剪断波が異なる横方向位置にどれだけ速く進むかを見ることによって、介在組織の剛性が推測され、エラストグラムとも呼ばれるエラストグラフィ画像を生成することができる。しかしながら、剪断波速度を評価するためには、ストロボスコープ技術又は1000Hzのオーダーのフレーム速度を使用する超高速撮像の何れかを採用しなければならない。次に、これらの記録を処理して、2Dエラストグラフィックマップを生成しなければならない。
SWE画像は、とりわけ、超音波プローブ血圧、動きアーチファクト、及び関心領域(ROI)の位置に敏感であることが知られている。更に、SWEは高い音響放射力「プッシュ」パルスを発生し、直ちに高フレームレート画像が続く能力を有する特殊な超音波(US)トランスデューサを必要とする。従って、SWEは、多くの超音波装置において容易に入手することができず、その場合、計算的に要求が厳しく、低フレームレートを有する。したがって、高度な取得計画又は特殊化されるハードウェア構成要素を必要とせずに、弾性画像を取得するためのロバストな技術を有することが有利であろう。
従来のBモード超音波は、高速収集及び画像再構成時間を有する2D画像を生成する。
US 2018／0132830 A1は、in vivoで被検体のヒト組織の変位及び株マップを再構築するための方法を開示している。この方法は、標的領域に機械的変形を適用するステップと、標的領域に変形が適用される間に組織を撮像するステップと、標的領域における軸方向及び横方向の変位及び歪みを測定して、それによって、異なる剛性及び歪み応答の組織を区別するステップとを含む。特に、本文献は、従来の超音波Bモード画像からの変位及び歪み画像の再構成を開示している。したがって、記載される方法は、例えばユーザの手によって行われる機械的な「プッシュ」のアプリケーションを必要とする。
M. Feiginらの「医療用超音波における片側音速反転のための深層学習フレームワーク」において、2018年12月10日にIEEEに提出される論文では、剪断波撮像の代替アプローチが使用される。このアプローチが従来の超音波プローブからの片側圧力波速度測定を採用している。この方法は生の超音波チャネルデータを使用し、完全畳み込み深層ニューラルネットワークを使用して、対応する組織音速マップを生成する。
したがって、本発明の目的はより高速で、計算量が少なく、さらに、特殊な超音波プローブを必要としない方法(及び関連するコンピュータプログラム及びシステム)を提供することである。
この目的は、請求項1に記載の合成エラストグラフィ画像を生成するためのコンピュータ実施方法、請求項10に記載の合成エラストグラフィ画像を生成するのに有用な人工ニューラルネットワークを訓練するための方法、請求項12に記載の信頼度マップを提供するのに有用な第2の人工ニューラルネットワークを訓練するための方法、請求項13に記載のコンピュータプログラム、及び請求項14に記載のシステムによって満たされるか、又は超えられる。有利な実施形態は従属請求項に記載される。特許請求される方法に関連して本明細書で説明される任意の特徴、利点、又は代替実施形態は他の特許請求の範囲のカテゴリ、特に特許請求の範囲のシステム、コンピュータプログラムにも適用可能であり、その逆も同様である。特に、訓練される人工ニューラルネットワークは、特許請求の範囲に記載される訓練方法によって提供又は改善することができる。さらに、訓練される人工ニューラルネットワークへの入出力データは入力／出力訓練データの有利な特徴及び実施形態を備えることができ、逆もまた同様である。
第1の態様によれば、本発明は、合成エラストグラフィ画像を生成する方法を提供する。この方法は、(a)関心領域のBモード超音波画像を受信するステップと、(b)訓練される人工ニューラルネットワークをBモード超音波画像に適用することによって関心領域の合成エラストグラフィ画像を生成するステップとを含む。好ましくは、本方法がBモード超音波画像が第1のインターフェースを介して受信される計算ユニットによって実行される。任意選択で、訓練される人工ニューラルネットワーク(NN)の出力、すなわち合成エラストグラフィ画像は、例えば第2のインターフェースを介して出力される。この方法は合成エラストグラフィ画像を、例えば、NNへの入力を形成するBモード超音波画像と並べて、又は重ねて表示するステップを更に含むことができる。
従って、本発明は機械的変形を追跡する一連のBモード画像から、又は生の超音波チャネルデータ(高周波データ)から推定される変位マップからではなく、単一のBモード画像からエラストグラムを生成する方法を提供する。むしろ、任意のBモード画像は、本発明の訓練される人工ニューラルネットワーク(NN)のための入力として働くことができる。従来技術の方法とは異なり、本発明は弾性を推定するために変位を計算せず、特殊なBモード特性に基づいてエラストグラムを生成する。本発明はBモード超音波が弾性ではなく組織エコー源性を測定するが、Bモード超音波画像も、下にある組織構造及び機械的特性にリンクされるテクスチャ情報を搬送することができることを認識した。NNはこれを認識し、その情報を弾性マップ(合成弾性画像)に変換するように訓練され、この弾性マップは、剪断波弾性記録プロトコルなどの超音波弾性記録技術を用いて現在生成され得る弾性記録画像に少なくとも類似している。
したがって、本発明は、単純な従来のBモード取得からのSWEのような画像のロバストな合成を可能にする深層学習ソリューションを提供する。したがって、本発明は、Bモード超音波のフレームレートで合成エラストグラフィ画像を生成することを可能にする。従って、本発明は従来のスキャナーにおける剪断波エラストグラフィーを付加又は置換するために使用することができ、重いシステム要件及びSWEのような従来の超音波エラストグラフィー技術によって依然として示されるオペレータ感度を緩和する。さらに、本発明の方法は、SWE自体のために十分に装備されていない超音波スキャナによって実行することができる。別の用途は、既に記録されるBモード画像から合成エラストグラフィ画像が生成されるレトロスペクティブエラストグラフィであり得る。これは、診断プロセスの後の段階におけるさらなる組織タイピングのために使用され得る。
本方法を実行する計算ユニットは、GPU(グラフィックス処理ユニット)、CPU(中央処理ユニット)、又は他のデジタルデータ処理装置など、任意のデータ処理ユニットとすることができる。好ましくは、この方法が診断撮像に使用される超音波スキャナの一部であるか、又は超音波スキャナに接続される計算ユニットによって実行されてもよい。有用な実施形態では、NNの出力、すなわち合成弾性画像は計算ユニットのインターフェースを介して出力され、ユーザに、例えば、コンピュータ画面、モバイル装置の画面、テレビセット、又は他の表示装置上に表示されてもよい。この方法はまた、関心領域のBモード超音波画像を取得するステップを含むことができるが、このようなBモード画像はローカル又はリモートの何れかで、データ記憶装置から提供することもできる。本発明の方法は非常に高速であるため、Bモード超音波画像の取得直後にリアルタイムで実行することができ、それによって、エラストグラフィ画像の直接評価を可能にする。
Bモード超音波画像は輝度モードの任意の画像であってもよく、すなわち、超音波エコーの強度が輝度として描写される。それは、任意の公知によって獲得され得る。Bモード超音波画像は好ましくは二次元(2D)画像であり、例えば、グレースケール値の2D行列によって表される。この方法は、関心ボリュームを一緒にカバーする2D画像のスタックにも適用することができる。しかし、この方法は三次元(3D)Bモード超音波画像、あるいは一次元(1D)画像にさえも適用可能である。Bモード超音波画像は任意のフォーマット、例えば、DICOM(Digital Imaging and Communications in Medicine)規格で提供されてもよい。
人工ニューラルネットワーク(NN)はノードとも呼ばれる接続される人工ニューロンの集合に基づいており、各接続(エッジとも呼ばれる)は、1つのノードから別のノードに信号を送信することができる。信号を受信する各人工ニューロンはそれを処理し、それに接続されるさらなる人工ニューロンにそれを転送することができる。有用な実施形態では、本発明のNNの人工ニューロンが層状に配置される。入力信号、すなわちBモード超音波画像の画素値は、入力層とも呼ばれる最初の層から最後の層である出力層まで伝わる。
有用な実施形態では、NNはフィードフォワードネットワークである。ニューラルネットワークは好ましくは隠れ層を含むいくつかの層を含み、したがって、好ましくは、深層ネットワークである。一実施形態では、NNが機械学習技術、特に深層学習に基づいて、例えばバックプロパゲーションによって訓練される。使用される訓練データは、任意のエラストグラフィ技術、好ましくは超音波エラストグラフィ技術によって生成されるエラストグラフィ画像であってもよい。NNによって生成される合成エラストグラフィ画像は、出力訓練データとして使用される超音波エラストグラフィ技術によって生成される画像と同様である。
好ましい実施形態ではNNはSWE上で訓練されるが、他の超音波エラストグラフィ画像も訓練に使用することができる。例えば、NNは、準静的エラストグラフィ画像上で訓練されてもよい。この技術では、外部圧迫が組織に適用され、圧迫の前後の超音波画像が比較される。最も変形されていない画像の領域は最も剛性である領域であり、最も変形される領域は最も剛性である。エラストグラフィ画像は、相対的な歪み(歪み)の画像である。NNはまた、音響放射力インパルス画像(ARFI)上で訓練されてもよい。この技術は集束超音波ビームからの音響放射力を用いて組織内部に「プッシュ」を作り出す。ビームの軸に沿った組織の押し下げ量が組織の硬さを反映する。多くの異なる場所を押すことによって、組織の硬さのマップが構築される。NNはSWEに基づく超音波せん断撮像(SSI)によって得られたエラストグラフィー画像上で訓練されてもよい。この技術が音響放射力を用いて、関心組織内部に「プッシュ」を誘導し、組織の硬さは結果として生じる剪断波がどのくらい速く組織を通って進行するかから計算される。局所的な組織速度マップは、特別な追跡技術を用いて得られ、組織を通る剪断波伝播の完全な動画を提供する。さらなる実施形態では、本発明のNNはまた、磁気共鳴エラストグラフィ画像(MRE)上で訓練されてもよい。MREでは、機械的バイブレータが患者の身体の表面上で使用され、患者のより深層組織内に進む剪断波の速度を測定する撮像取得シーケンスが組織の剛性を推測するために使用される。
使用される訓練データが何であれ、合成エラストグラフィ画像は、本明細書ではsSWE画像と省略される。
本発明による訓練される人工ニューラルネットワークはソフトウェアプログラムの形成で提供されてもよいが、ハードウェアとして実装されてもよい。さらに、訓練されるNNは訓練される関数の形成で提供されてもよく、これは訓練されるニューラルネットワークと全く同じ方法で必ずしも構造化されない。例えば、ある接続／エッジが訓練後に重み0を有する場合、そのような接続は、訓練されるNNに基づく訓練される関数を提供するときに省略されてもよい。
本発明のNNにより生成した合成エラストグラフィー画像は、剪断波エラストグラフィー撮像により得られたSWE画像と高い相関を持つことを証明した。従って、本発明の方法は、この特殊化されるハードウェアを必要とせず、かつ従来の剪断波エラストグラフィー画像よりも少ない計算労力で合成エラストグラフィー画像を得ることを可能にする。超高速撮像計画がないので、音響放射力「プッシュ」パルスがなく、2Dエラストグラムを生成するための高度なシーケンスが必要でないので、合成エラストグラフィー画像(sSWE)の生成はSWE自体よりもはるかに高速で、計算量が少なく、Bモード超音波撮像に適応するが、SWEには適応しない従来の超音波プローブで実行できる。本発明の方法は、分離される超音波プローブを必要としない。本発明のNNによって生成される合成エラストグラフィ画像は、診断目的に使用することができる。それらは、弾性値の形成で診断情報を保持する。
一実施形態によれば、訓練される人工ニューラルネットワークへの入力、すなわちBモード超音波画像は、訓練されるNNの出力、すなわち合成エラストグラフィ画像と同じサイズ及び寸法を有する。これに関連して、サイズはデータ点の行列のサイズ、及びインプットの次元、例えば、2D又は3Dを手段する。言い換えれば、好ましくは、訓練されるNNがBモード画像を同じサイズ及び寸法のエラストグラフィ様画像に変換するエンドツーエンドマッピング関数として働く。好ましくはNNへの入力が2次元又は2次元Bモード画像の積層であり、また、出力は同じサイズの2次元又は2次元エラストグラフィ画像の積層である。好ましい実施形態によれば、訓練されるNNは、少なくとも1つの畳み込み層を含む。畳み込み層は入力層全体にわたって比較的小さいフィルタカーネルを適用し、その結果、層内のニューロンは、それより前の層の小さい領域のみに接続される。このアーキテクチャは、学習されるフィルタカーネルが空間的にローカル入力パターンに対して最も強い応答を生成することを保証する。各フィルターカーネルは、入力層全体に複製される。本発明の有用な実施形態では畳み込み層のパラメータが小さい受信フィールドを有するが、入力ボリュームの全深さにわたって延在することができる学習可能フィルタカーネルのセットを含む。畳み込み層を通る順方向パスの間、各フィルタカーネルは入力ボリュームの幅及び高さにわたって畳み込まれ、フィルタカーネルのエントリと入力との間のドット積を計算し、そのフィルタの特徴マップを生成する。深さ寸法に沿って全てのフィルタカーネルの特徴マップを積み重ねることにより、畳み込み層の全出力ボリュームが形成される。したがって、いくつかの特徴マップ又は特徴マップの組合せを含む出力層内のすべてのエントリは、入力内の小さい領域を見て、同じ特徴マップ内のニューロンとパラメータを共有するニューロンの出力として解釈することができる。
好ましい実施形態によれば、訓練される人工ニューラルネットワークは、深層完全畳み込みニューラルネットワークである。この点に関して、完全に結合される層が存在しないという完全に畳み込みの手段がある。むしろ、本発明のNNは隣接する層のニューロン間の疎な局所的接続性パターンを強制することによって空間的局所的な相関を利用し、各ニューロンは、入力ボリュームの小さい領域のみに連結される。深層畳み込みニューラルネットワークは、少なくとも2つの畳み込み層を含む。実際、本発明の訓練されるNNは、好ましくは少なくとも4つの畳み込み層、より好ましくは8つ以上の畳み込み層を含む。完全畳み込みニューラルネットワークのさらなる利点は訓練されるNNが任意のサイズの入力画像に適用され得ることである。フィルタカーネルが入力層全体又は前の層にわたって複製されるので、畳み込みネットワークは任意のサイズの画像に適用され得る。NNへの入力は2次元であることが好ましく、これは、NNにおけるトレーニングパラメータが著しく少なくなるからである。有用な実施形態では、NNの畳み込み層又は層が2D入力画像の場合、3×3ピクセル、より好ましくない2×2又は4×4ピクセルのサイズを有する畳み込みフィルタカーネルを含む。3D入力画像の場合、フィルタカーネルも3D、例えば3×3×3又は2×2×2ピクセルとなる。
有用な実施形態では、各畳み込み層の深さは8乃至64、好ましくは16乃至32、最も好ましい32であり、異なるフィルタカーネルによって生成される32の異なる特徴マップが各畳み込み層の一部であることを意味する。2つの畳み込み層が互いに続く場合、それらの深さは同じままであることが好ましく、後続層の32個の特徴マップの各々は、前の層の特徴マップの各々を別々に訓練されるフィルタカーネルで畳み込んだ結果を一緒に加算することによって生成される。従って、32の深さを有し、32の深さを有する後続の層に接続される深層畳み込み層は、訓練するために32×32のフィルタカーネルを必要とする。
さらなる有用な実施形態によれば、訓練される人工ニューラルネットワークは、1乃至3、好ましくは2乃至3、最も好ましくは2つの畳み込み層と、それに続くプーリング層又はアップサンプリング層とを備える少なくとも1つのユニットを備える。例えば、2つの畳み込み層毎に、プーリング(ダウンサンプリング)オペレーション、好ましくは2×2最大プーリングオペレーションが続き、これは最高値のみを後続の層に投影することによって4つの画素のカーネルを1に低減し、したがって、後続の層はより小さいサイズを有する。これは、ネットワークに、局所的変動にあまり敏感でないより大きなスケールの特徴を学習させるステップである。これは、エンコーダ部と呼ばれる、NNの第1の部分において実行されてもよい。いくつかの実施形態では、出力層が入力層と同じサイズを有するように、層のサイズを再び増加させるために、最大プーリング動作が例えば、最近傍アップサンプリングによって置き換えられる、デコーダ部と呼ばれるネットワークの第2の部分が存在する。
一実施形態では、訓練される人工ニューラルネットワークがエンコーダデコーダアーキテクチャを備える。好ましくは、NNが正確に1つのエンコーダ部分と、正確に1つのデコーダ部分とを含む。したがって、層のサイズ(例えば、その中で処理される画素数)は、ネットワーク内に深く進むにつれて徐々に減少する。中央層は、深層潜在空間と呼ばれる。有用な実施形態では、深層潜伏空間内の層が各サイズにおいて、入力層に関して、例えば8倍の4乃至16の大きさに縮小される。また、深層潜在空間は、少なくとも1つの畳み込み層を含み得る。例えば、それは、2つの畳み込み層から構成されてもよい。
一実施形態によれば、NNは、少なくとも1つ、好ましくは複数のプーリング層又はダウンサンプリング層を備えるエンコーダ部を備える。NNのエンコーダ部分の後には、少なくとも1つ、好ましくは複数のアップサンプリング層を含むデコーダ部分が続く。好ましくは、NNが複数のプーリング層又はダウンサンプリング層を含む正確に1つのエンコーダ部分と、複数のアップサンプリング層を含む正確に1つのデコーダ部分とを含む。任意に、デコーダ部分とエンコーダ部分との間の深層潜在空間は更なる層を含み、特に、それは、2つの畳み込み層を含んでもよい。プーリング層は最大プーリング層であってもよいが、平均プーリング又はl2ノームプーリングのような他の機能を使用してもよい。アップサンプリング層は最近傍アップサンプリングを使用してもよいが、線形補間を使用してもよい。好ましくはデコーダ部がエンコーダ部のミラーリングされるバージョンであり、ダウンサンプリング層はアップサンプリング層によって置き換えられる。好ましくは、エンコーダ部が2×2のフィルタカーネル及び2のストライドを有する少なくとも2つ、好ましくは3つの最大プーリング層を備える。ストライドが2である場合、フィルタカーネルは層の周りをスライドするときに、一度に2ピクセル移動する。それによって、先行する畳み込み層のニューロンの各2×2の二乗から、最もアクティブな(すなわち、最も高い値の)ニューロンのアクティビティのみが、さらなる計算のために使用される。これにより、フィルタカーネルのサイズを縮小する必要なく、より深層の受容場が自動的に成長する。さらに、より深層ネットワークを構築することが可能であり、より複雑な動作を可能にする。
一実施形態によれば、訓練される人工ニューラルネットワークは、デコーダ部とエンコーダ部との間に1つ又は複数の層を備える。デコーダ部分とエンコーダ部分の間の層又は層は、深層潜在空間と呼ばれる。任意選択的に、深層潜在空間内で実行される動作があってもよい。深層潜在空間は、少なくとも1つの畳み込み層を含み得る。一実施形態によれば、深層潜在空間は、同様に2つの畳み込み層を含むか、又はそれらからなる。別の実施形態によれば、深層潜在空間は、少なくとも1つの完全に接続される層を含む。好ましい実施形態では、ネットワークの符号化部分が入力画像を深層潜在空間にマッピングする合計6つの畳み込み層及び最大3つのプーリング層からなる。
好ましくはまた、ネットワークのデコーダ部分は6つの畳み込み層及び3つのアップサンプリング層の合計で構成されてもよい。一実施形態によれば、NNは複数の畳み込み層を含むエンコーダ部を備え、各畳み込み層は1乃至3個、好ましくは2乃至3個、最も好ましい2つの畳み込み層に続いてプーリング層を備え、デコーダ部は複数の畳み込み層を備え、各畳み込み層は1乃至3個、好ましくは2乃至3個、最も好ましい2つの畳み込み層に続いてアップサンプリング層を備える。デコーダ部の畳み込み層は好ましくはエンコーダ部と同じフィルタカーネルサイズ及びストライド、例えば、3D入力画像の場合は3×3×3、2D入力画像の場合は2×2のフィルタカーネルを有する。デコーダ部分上の畳み込み層によって実行される演算は、畳み込み解消として記述されてもよい。好ましくは、各々の2つの畳み込み層に続いて、エンコーダ部分及びデコーダ部分にそれぞれプーリング層又はアップサンプリング層が設けられる。一実施形態ではエンコーダ部分が2乃至4、好ましくは3つのこのようなユニットを含み、このようなユニットは1乃至3つの畳み込み層と、それに続くプーリング層とから構成される。デコーダ部分は好ましくはデコーダ部分もまた、エンコーダのミラー化されるバージョンであるので、好ましくはデコーダ部分が1つから3つの畳み込み層とそれに続くアップサンプリング層とからなる、2つから4つ、好ましくは3つのユニットを含む。さらなる実施形態によれば、NNは、エンコーダ部の層からデコーダ部の等しいサイズの層への少なくとも1つのスキップ接続を含む。換言すれば、NNは、好ましくは少なくとも1つのエンコーダフィルタ層からその等しいサイズのデコーダに対応するものへの直接的な「スキップ」接続を備えている。潜在空間を横切ってエンコーダ層出力を転送し、デコード中にそれをより大規模なモデル特徴に連結することにより、NNは微細で粗いレベル情報を最適に結合し、より高解像度のエラストグラフィ画像推定を生成することを可能にした。有用な実施形態では、エンコーダ部分においてプーリング層が続く1つから3つの畳み込み層を含む各ユニットから、エンコーダ部分においてアップサンプリング層が続く1つから3つの畳み込み層を含む対応するユニットへの1つのスキップ接続が存在する。スキップ接続は、エンコーダ部上のそれぞれの層の出力を、デコーダ部内の対応する層の出力に追加又は連結することによって実施することができる。例えば、畳み込み層がエンコーダ部分において32の深さを有する場合、それらは、デコーダ部分における対応する層における32の特徴マップに連結され、その結果、64の特徴マップが存在することになる。デコーダ部分における畳み込み層におけるフィルタカーネルの数の2倍(例えば、64×32)を使用することによって、これらの64個の特徴マップは、後続の層における32個の特徴マップにマップされて戻される。従って、デコーダ部分における以下の畳み込み層の各特徴マップは、エンコーダ部分からのスキップ接続によってもたらされる入力に影響され得る。
フィルタカーネルが適用されるストライドは好ましくは1であり、すなわち、フィルタカーネルは、一度に1ピクセルずつ移動される。これは、列間の重複受信場を導き、格子サイズは畳み込み層間で低減されない。代替的に、ストライドは2であってもよく、フィルタカーネルは、スライドするときに一度に2つの画素をジャンプする。これにより、後続の層のサイズは各寸法で2 倍に減少する。たとえば、2 寸法グリッドでは2×2 倍になる。従って、畳み込みネットワークは、ダウンサンプリング層を必要とせずに構築することができる。
本発明のほとんどの実施形態では、NNが活性化関数、好ましくは非線形活性化関数を含む少なくとも1つの層を含む。例えば、各畳み込み層の結果は、非線形活性化関数を通過することができる。好ましくは、このような活性化関数が正及び負の入力値の両方を無制限の出力値で伝播する。「無制限」とは、活性化関数の出力値が任意の特定の値(＋1又は―1など)に限定されないことを意味する。好ましくは、原則として任意の値が得られ、それによって入力データのダイナミックレンジを保存する。好ましくは、本発明の活性化関数が負の信号成分を保存しながら非線形性を導入し、訓練中に勾配が消失するリスクを最小化する。有用な実施形態では、畳み込み層で使用される活性化関数が漏れ整流器線形ユニット(LReLU)であり、次のように記述することができる。
Figure 2022537274000002
α値は0．01乃至0．4、たとえば0．1である。あるいは、負の値を保存するために、双曲線正接活性化を使用してもよい。他の実施形態では、活性化関数が整流線形ユニット(ReLU)、双曲線正接、又はシグモイド関数。さらなる実施形態では、活性化関数がサンプリング方向のL2正規化と、2つの整流器線形ユニット(ReLU)活性化とを組み合わせ、それによって、入力の正負の部分を連結する、逆整流器機能であってもよい。好ましくは、各畳み込み層の結果がそのような非線形活性化関数を通過する。本発明の別の実施形態によれば、潜在空間はsSWE生成を他の超音波マシン及び取得、例えば、ネットワークが訓練されるもの以外の他のタイプの超音波スキャナ及び／又は他のエラストグラフィック取得技術に転送することを可能にする、ドメイン適応構造又は機能を含む。これは、例えば、係数及び／又はシフト及び／又は他の関数を潜在空間内の各ノードに適用することによって行われてもよい。したがって、潜在空間内の少なくとも1つの層、すなわち、ネットワークのエンコーダ部分とデコーダ部分との間の最小サイズの層は、特徴マップを異なるシステムに整列させるドメイン適応機能を備えることができる。例えば、NNがSWE画像上で訓練される場合、潜在空間内のノードをシフト及び／又はスケーリングすることによって、例えば、そのような適応機能を各ノードに適用する層を追加することによって、超音速エラストグラフィ撮像にさらに適用することができる。これは、潜在空間内の層に適用される変換に対応することができる。必要とされる並進及びスケーリングは、異なるドメインの2つのデータセットの符号化される潜在空間を比較することによって確立され得る。好ましい実施形態では、潜在ベクトルの平均及び分散が補正される。
別の態様によれば、本発明は、Bモード超音波画像から合成エラストグラフィ画像を生成するのに有用な人工ニューラルネットワークを訓練する方法であって、(a) 入力訓練データ、すなわち、関心領域の少なくとも1つのBモード超音波画像を受信するステップであって、Bモード超音波画像は、人間又は動物の被検体の超音波検査中に取得されるステップと、 (b) 出力訓練データ、すなわち、同じ超音波検査中に超音波エラストグラフィ技術によって取得される関心領域の少なくとも1つの超音波エラストグラフィ画像を受信するステップ と、(c) 入力訓練データと出力訓練データを用いて人工ニューラルネットワークを訓練するステップとを提供する。訓練方法は、本明細書に記載される関心領域の合成エラストグラフィ画像を生成することができる人工ニューラルネットワークを訓練するために使用されてもよい。これは、入力訓練データとしてのBモード超音波画像、及び同じ超音波検査中に任意の超音波エラストグラフィ技術によって取得される同じ関心領域のエラストグラフィ画像、又はBモード超音波画像と同時に訓練される。エラストグラフィ画像は剪断波エラストグラフィ(SWE)画像であってもよいが、任意の他の超音波エラストグラフィ技術を使用して取得されてもよい。例えば、それは、準静的エラストグラフィー画像、音響放射力インパルス画像(ARFI)、超音速せん断画像(SSI)、又は過渡エラストグラフィーによって、又は場合によっては磁気共鳴エラストグラフィー(MRE)によってさえ取得されてもよい。使用されるトレーニングデータに応じて、本発明の方法は主にデータ駆動型であるので、NNの出力の外観は異なる。
本明細書に記載される訓練方法は、合成エラストグラフィ画像を生成するため、すなわち最初にNNを訓練するのに有用な人工ニューラルネットワークを提供するために使用されてもよい。それはまた、既に訓練されるネットワークを再較正するために使用されてもよい。従って、(請求項1の方法及びBモード画像を入力として使用することにより)実時間全ビュー合成剪断波エラストグラフィ画像を実行するが、スキャン中に通常のエラストグラフィ画像、特に従来のSWE画像で時々モデルを較正する組み合わせSWE／SWE計画を実行することが可能である。Bモード超音波画像から合成エラストグラフィ画像を生成するように構成される人工ニューラルネットワークを較正する代替方法によれば、本方法は、 Bモード超音波画像と同じ超音波検査中に超音波エラストグラフィ技術によって取得される関心領域の少なくとも1つの(従来の)超音波エラストグラフィ画像を取得するステップであって、エラストグラフィ画像及び合成エラストグラフィ画像に基づいて、訓練される人工ニューラルネットワークを再較正するステップを含む。
一実施形態では、本方法が合成エラストグラフィ画像(sSWE)の信頼度マップを推定するステップをさらに含む。したがって、本方法はNN又は第2の訓練される人工ニューラルネットワークをBモード超音波画像に適用するさらなるステップを含み、NN又は第2の訓練される人工ニューラルネットワークの出力は複数の信頼スコアを含む信頼マップであり、各信頼スコアは、合成エラストグラフィ画像の対応する画素の値の信頼レベルを表す、信頼マップを提供及び／又は表示する任意選択のさらなるステップを含む。したがって、このステップはSWE信頼度の同時推定を可能にし、SWE信頼度は、(疑似)液体病変における信号ボイド又はシャドウイング又は残響などのBモードアーチファクトなどの剪断波アーチファクトによる低信頼領域を識別するために使用される。この方法は例えば、sSWEと並べて、又はsSWEと重ねて、信頼度マップを表示するステップをさらに含むことができる。
NN又は第2のNNは、 a) 入力訓練データ、すなわち、本明細書に記載される方法によって生成される少なくとも1つの合成エラストグラフィ画像を受信するステップであって、合成エラストグラフィ画像を生成するために使用されるBモード超音波画像は、人間又は動物の被検体の超音波検査中に取得されるステップと、 (b) 出力訓練データ、すなわち、同じ超音波検査中に超音波エラストグラフィ技術によって取得される関心領域の少なくとも1つの超音波エラストグラフィ画像を受信するステップと、 (c) 入力訓練データと出力訓練データを用いて人工ニューラルネットワークを訓練するステップとを含む方法で信頼性マップを提供するように訓練されることが好ましい。
一実施形態では信頼度マップがSWEを予測する際のNN又は第2のNNの信頼度だけでなく、SWE取得自体の固有の信頼度(これは通常、フィッティング、ノイズなどに基づいてSWEプロトコル中に推定される)も含む。また、この信頼度は、上記の訓練方法の実施形態において訓練することができる。好ましくは、sSWE画像及び対応する信頼度マップの両方が入力としてBモード画像を用いて、同じ人工NNによって生成される。あるいは、信頼度マップが関心領域のエラストグラフィ画像を生成するのに有用な(第1の)NNと同じアーキテクチャを有することができる第2のNNを備えることができる。あるいは第2のNNがより単純なアーキテクチャを有してもよく、例えば、深層畳み込みニューラルネットワークであってもよいが、第1のNNよりも少ない層を有する可能性がある。例えば、第2のNNは、エンコーダ部分及びデコーダ部分の各々の上にプーリング層又はアップサンプリング層が続く1つ又は3つの畳み込み層を含む1つ又は2つのユニットを有するエンコーダデコーダアーキテクチャを有することができる。
第1及び第2のニューラルネットワークの訓練は、バックプロパゲーションによって行うことができる。この方法では、入力訓練データが所定のフィルタカーネルを使用してNNを通して伝播される。出力は誤差又はコスト関数を使用して出力訓練データと比較され、その出力はNNを通って戻るように伝播され、それによって、最小誤差をもたらすフィルタカーネル(及び場合によってはバイアスなどの他のパラメータ)を見つけるために勾配を計算する。これは、フィルタカーネルの重みを調整し、コスト関数の負の勾配に従うことによって行うことができる。
有用な実施形態では、ニューラルネットワークが訓練中にドロップアウト層を使用する。そこでは、ドロップアウト層内の特定のノード又はフィルタカーネルがランダムに選択され、値／重みが0に設定される。例えば、ドロップアウト層は全てのノードの30乃至80％、好ましくは40乃至60％がドロップアウトであり、それらの値／重みが0に設定されるような、ドロップアウトノードの所定のパーセンテージを有する可能性がある。トレーニングデータの次のバックプロパゲーションのために、ドロップアウト層の異なるノードセットが0 に設定される。これは訓練中にノイズを生成するが、訓練が有用な最小値に収束するという利点を有する。したがって、NNは、より良好に訓練可能である。有用な実施形態では、2つ又は3つの畳み込み層のそれぞれの後に、訓練中にドロップアウト層が続く。
本発明はまた、プログラムが計算ユニットによって実行されるときに、計算ユニットに本発明の方法を実行させる命令を含むコンピュータプログラムに関する。これは、合成エラストグラフィ画像を生成するための方法、複数の信頼スコアを含む信頼マップを提供するために第2の訓練される人工ニューラルネットワークを適用する追加の方法ステップ、ならびに第1及び第2の人工ニューラルネットワークの訓練方法について当てはまる。あるいは、ニューラルネットワークが例えば、チップ又は他の処理ユニット上の固定接続を有するハードウェアとして実装されてもよい。本発明の方法を実行することができる計算ユニットは、CPU(Central Processing Unit)又はGPU(Graphics Processing Unit)などの任意の処理ユニットとすることができる。計算ユニットは、コンピュータ、クラウド、サーバ、ラップトップ、タブレットコンピュータ、携帯電話、スマートフォンなどのモバイル装置の一部とすることができる。特に、計算ユニットは、超音波画像システムの一部であってもよい。前記超音波画像システムは、コンピュータスクリーンのような表示装置を含むこともできる。
本発明はまた、計算ユニットによって実行されると、計算ユニットに本発明による方法、特に、請求項1乃至9の何れか一項に記載の方法又は訓練方法を実行させる命令を含むコンピュータ可読媒体を対象とする。このようなコンピュータ可読媒体は任意のデジタル記憶媒体、例えば、ハードディスク、サーバ、クラウド、又はコンピュータ、光学又は磁気デジタル記憶媒体、CDROM、SSDカード、SDカード、DVD又はUSB又は他のメモリスティックであってもよい。
別の態様によれば、本発明は、合成エラストグラフィ画像を生成するためのシステムであって、 a) 関心領域のBモード超音波画像を受信するように構成される第1のインターフェースと、 b) 訓練される人工ニューラルネットワークをBモード超音波画像に適用し、それによって関心領域の合成エラストグラフィ画像を生成するように構成される計算ユニットと、 c) 関心領域の合成エラストグラフィ画像を出力するように構成される第2のインターフェースとを有する、システムにも関する。
システムは、合成エラストグラフィ画像を生成するために本発明を実行するように構成されることが好ましい。このようなシステムは超音波画像システム上に実装されてもよく、例えば、GPUなどのその処理ユニットの1つ上に実装される。しかしながら、超音波撮像システムによって取得されるBモード超音波画像が例えばインターネットを介して、ローカル又はリモートの別の計算ユニットに転送され、関心領域の合成エラストグラフィ画像がそこから超音波撮像システムに戻され、表示されることも重要である。したがって、第2のインターフェースは、コンピュータスクリーン、タッチスクリーンなどのディスプレイデバイスに接続されてもよい。
さらに、本発明は、本明細書に記載の訓練方法によって第1又は第2の人工ニューラルネットワークを訓練するためのシステムにも関する。
さらなる態様によると、本発明は、超音波信号を送受信するように構成される超音波トランスデューサと、受信される超音波信号からBモード超音波画像を生成するように構成される計算ユニットと、を備え、計算ユニットも、請求項1乃至9の何れかに記載の方法を実行するように構成される、超音波撮像システムに関する。前記方法の計算コストが低いため、このような計算ユニットは、既存の超音波システムに組み込むことができる。次に、本発明の有用な実施形態を添付の図面を参照して説明する。類似の要素又は特徴は、図面において同じ参照符号で示される。
従来のBモード超音波撮像の概略図である。 従来の剪断波エラストグラフィーの概略図である。 本発明の一実施形態によるsSWE画像を生成するための方法の概略図である。 本発明の一実施形態による深層畳み込みニューラルネットワークの概略図である。 2つの畳み込み層及びプーリング層を備える、本発明の実施形態によるNNのユニットのより詳細な概略図である。 本発明の一実施形態に従って生成されるBモード画像、SWE画像、及びsSWE画像の一例である。 本発明の一実施形態による超音波画像システムを示す。
図1はBモード超音波のプロセスを概略的に示しており、超音波プローブ2は通常、超音波トランスデューサのアレイを備え、一連の超音波パルス3を、例えば、圧縮波面として、通常、人間又は動物の体内の関心領域4に送信する。エコーを記録し、ビーム形成のような適当な信号処理を行うことにより、関心領域のBモード超音波画像5が取得される。これは、特に2D画像の場合、高いフレームレートで行うことができる。
図2は、従来のSWE画像を示す。超音波プローブ2は音響放射力パルス6を関心領域4に「押し込む」シーケンスを発生する。「押し込む」パルスが横方向に進行する剪断波8を生じ、これは超音波プローブ2による超高速撮像及びさらなる超音波透過パルス3を使用することによって記録される。記録されるエコーは、計算ユニット10に転送され、この計算ユニットは超高速画像記録を処理し、2D SWE画像12を生成する。図1及び図2に示すBモード画像5及びSWE 12はここではヒト被検体の前立腺検査中に、同じ関心領域から取得される。
図3は、本発明の一実施形態による合成SWE画像の生成方法の概略図であり、まず、図1に示すように、従来の方法でBモード画像5を生成する。Bモード画像5は、市販の超音波スキャナの計算ユニットであってもよい計算ユニット102上に(ソフトウェア又はハードウェアによって)実装される、本発明の実施形態による訓練される人工ニューラルネットワーク16を通して伝播される。その結果、合成エラストグラフィ画像(sSWE)18が得られ、これは好ましくはBモード画像と同じ大きさ及び寸法を有するが、従来のSWE画像においてもそうため、グリッドがやや粗くなることもある。図4は、本発明によるNN 16の実施形態を示す。入力画像は、NN 16を通って左から右に順方向に伝播される。層の画素サイズは、それぞれの層の権利に注目される。
この場合、64×96画素の画像サイズを有する2D Bモード画像5が、入力層22に供給される。入力層22の後には、深さ32を有する2つの畳み込み層24が続く。したがって、32個のフィルタカーネルが入力層22に適用され、32個の特徴マップが得られ、これが各畳み込み層24の一部を形成する。好ましい実施形態ではネットワークの畳み込み層24、24a、38はそれぞれ、32又は32×32の2次元3×3画素畳み込みフィルタカーネルを含み、その結果は非線形活性化関数、特に漏洩整流線形ユニットを通過する。エンコーダ部30の最初の2つの畳み込み層24の後には2×2最大プーリング層26が続き、これは最高値のみを次の層の対応するノードに投影することによって、4つの画素のカーネルを1に減少させ、これは再び畳み込み層24aである。2つの畳み込み層24とマックスプーリング層26は一緒になってユニット28を形成する。このユニットのアーキテクチャは、2つの畳み込み層24aと最大プーリング26aとからなる次のユニット28aで繰り返される。層の画素サイズから、各ユニット28から次のユニット28aまでのサイズが2×2倍小さくなっていることが分かる。しかしながら、深さ(すなわち、各畳み込み層に含まれる特徴マップの数)は、32において同じままである。この実施形態では、ネットワークの符号化部分30に合計3つのユニット28、28a、及び28bがある。第3のユニット28bのプーリング層の後には深層潜在空間34内のいくつかの層が続き、グリッド／層は8×12×32又は8×12×64のサイズのみを有する。この実施形態では、深層潜在空間が2つの畳み込み層、続いてアップサンプリング層からなる。別の実施形態では、ネットワークの復号部32の一部としてユニット34をカウントすることもできる。デコーダ部分内の各ユニット36は2つの畳み込み層38と、それに続くアップサンプリング層40とを含み、それは、最近傍アップサンプリングによって、先行層内の各画素／ノードを、後続の層内の2×2ピクセル上に投影する。従って、デコーダ部分32はエンコーダ部分のミラーされるバージョンであり、3つのユニット36を含み、各ユニットは2つの畳み込み層からなり、その後にアップサンプリング層、又は最終ユニット36aの場合には、出力活性化層42によって続く。NNの出力は、合成剪断波エラストグラフィ画像18である。
さらに、深層畳み込みニューラルネットワーク(DCNN)16は、エンコーダフィルタ層からその等しいサイズのデコーダに対応する直接「スキップ」接続44を備えている。有用な実施形態では、エンコーダ部分30内の各ユニット28、28a、28bから、デコーダ部分32内の等しいサイズの層への1つのスキップ接続が存在する。
図5は、ユニット28、すなわちネットワーク16の符号化部30の第1のユニットをより詳細に示す。したがって、Bモード画像5は、ここでは例示的な例として、入力層22に供給され、16個の画素を含む1次元マトリックスによって表される。入力層22は4つの異なるフィルタカーネルK1、K2、並びにK3及びK4(図示せず)を適用する畳み込み層であり、各フィルタカーネルは3画素のサイズを有し、入力データ22に適用される。したがって、これは深さ4を有する、すなわち4つの特徴マップ48a乃至48dを含む次の層24をもたらし、各特徴マップは入力層22内の対応する空間位置で何らかの特定のタイプの特徴を検出したときにアクティブになる。次の畳み込み層24'は4乃至16個のフィルタカーネルを含み、各フィルタカーネルは層24内の1つの特徴マップを横切って掃引し、その結果を層24'内の4つの特徴マップのうちの1つに加える。例えば、フィルタカーネルK4，1は層24の第4の特徴マップ48dを掃引し、その結果を層24'の第1の特徴マップ49aに追加する。フィルタカーネルK3，1は層24の第3の特徴マップ48cを畳み込み、それを層24'の第1の特徴マップ49aに追加する。したがって、4×4＝16のフィルタカーネルが、トレーニングステップ中に訓練される。層24'はやはり完全に畳み込みの層であり、その結果、深さが4、すなわち4つの特徴マップを含む出力が得られる。この出力はプーリング層26に供給され、ここでは50で表示される小さなグリッドに最も高い値のみを投影することにより、2画素の各カーネルを1に減少させる。NNのフレームワークでは、層50がすでに潜在空間内にあるか、又は次のユニット28の第1の畳み込み層であってもよい。
本発明の実施形態を以下のように試験した。前立腺癌と診断される50人の患者が、ドイツの大学病院ハンブルグエッペンドルフのMartini Clinicで経直腸SWE検査を受けた。SE12―3超音波プローブを備えたAixplorer(商標)(SuperSonic Imagine, Aixen―Provence, France)を使用した。各患者について、SWE画像を前立腺の基底部、中央部、及び先端部切片で得た。関心領域は、前立腺全体又は前立腺の一部を覆うように選択した。トレーニングセット内の最初の40人の患者を割り当てると、対応するBモード(サイドバイサイドビュー)画像が与えられた場合にSWE画像を合成するために、完全畳み込み深層ニューラルネットワークが訓練される。高信頼度SWE測定値から損失勾配を推定するだけで、過剰適合のリスクを軽減し、訓練を妨げるアーチファクトを防止するために、データ増強を活用した。この方法を、残りの10人の患者からの30個の画像平面について試験した。その結果を図6に示す。NNは、Bモード画像を、Young率に関して画素方向平均絶対誤差が約4．8kPaのsSWE画像に正確にマッピングできることが示される。定性的には、硬度が高いことを特徴とする腫瘍部位はほとんど保存されていた(病理組織学的検査により検証される)。図6は5人の試験患者からの例を示し、第1の列(a)はBモード超音波画像を示し、第2の列(b)は剪断波エラストグラフィック取得を示し、第3の列(c)は、本発明の一実施形態による方法によって取得される対応する合成SWE画像を示す。
図7は、本発明の一実施形態による、本発明の方法を実行するように構成される超音波システム100の概略図である。超音波システム100は、CPU 104、GPU 106及びデジタル記憶媒体108、例えばハードディスク又はソリッドステートディスクを有する通常の超音波ハードウェアユニット102を含む。コンピュータプログラムはCD―ROM 110から、又はインターネット112を介して、ハードウェアユニットにロードすることができる。ハードウェアユニット102は、キーボード116及び任意選択でタッチパッド118を備えるユーザインターフェース114に接続される。また、タッチパッド118は、撮像パラメータを表示するための表示装置として機能してもよい。ハードウェアユニット102は超音波プローブ120に接続され、超音波トランスデューサ122のアレイを含み、これにより、好ましくはリアルタイムで、被検体又は患者(図示せず)からBモード超音波画像を取得することができる。超音波プローブ120によって取得されるBモード画像124、ならびにCPU 104及び／又はGPUによって実行される本発明の方法によって生成されるsSWE画像18は、スクリーン126上に表示され、スクリーン、テレビ、フラットスクリーン、プロジェクタなどの任意の市販の表示ユニットであってもよい。 さらに、例えばインターネット112を介して、遠隔コンピュータ又はサーバ128への接続が存在してもよい。本発明による方法はハードウェアユニット102のCPU 104又はGPU 106によって実行されてもよいが、遠隔サーバ128のプロセッサによって実行されてもよい。
上記の議論は単に本システムを例示することを意図しており、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものと解釈されるべきではない。したがって、本システムは例示的な実施形態を参照して特に詳細に発明されてきたが、当業者であれば、以下の特許請求の範囲に記載される本システムのより広く意図される精神及び範囲から逸脱することなく、多数の修正及び代替実施形態を考案することができることも理解される。したがって、本明細書及び図面は例示的な方法で見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。

Claims (15)

  1. 合成エラストグラフィ画像を生成するためのコンピュータ実施方法であって、前記方法は、
    a)関心領域のBモード超音波画像を受信するステップと、
    b)訓練される人工ニューラルネットワークを前記Bモード超音波画像に適用することによって、前記関心領域の合成エラストグラフィ画像を生成するステップと
    を有する、方法。
  2. 前記訓練される人工ニューラルネットワークへの入力、すなわち前記Bモード超音波画像は、前記訓練される人工ニューラルネットワークの出力、すなわち前記合成エラストグラフィ画像と同じサイズ及び次元を有する、請求項1に記載の方法。
  3. 前記訓練される人工ニューラルネットワークは、少なくとも1つの畳み込み層を有し、前記1つ又は複数の畳み込み層は、3×3画素のサイズを有するフィルタカーネルを有する、請求項1又は2に記載の方法。
  4. 前記訓練される人工ニューラルネットワークは、深層完全畳み込みニューラルネットワークである、請求項1乃至３の何れか一項に記載の方法。
  5. 前記訓練される人工ニューラルネットワークは、プーリング層又はアップサンプリング層に後続される2つの畳み込み層を有する少なくとも1つのユニットを有する、請求項１乃至４の何れか一項に記載の方法。
  6. 前記訓練される人工ニューラルネットワークは、エンコーダデコーダアーキテクチャを有し、前記人工ニューラルネットワークは、1つのエンコーダ部及び1つのデコーダ部を有する、請求項１乃至５の何れか一項に記載の方法。
  7. 前記訓練される人工ニューラルネットワークは、前記エンコーダ部と前記デコーダ部との間の一つ又は複数の深層潜伏空間内の層を有する、請求項１乃至６の何れか一項に記載の方法。
  8. 前記訓練される人工ニューラルネットワークは、複数の畳み込み層を有するエンコーダ部を備え、1乃至3つの畳み込み層の各々は、プーリング層と、複数の畳み込み層を有するデコーダ部とによって後続され、1乃至3つの畳み込み層の各々は、アップサンプリング層によって後続される、請求項１乃至７の何れか一項に記載の方法。
  9. 前記訓練される人工ニューラルネットワークは、前記エンコーダ部内の層から前記デコーダ部内の等しいサイズの層への少なくとも1つのスキップ接続を有する、請求項7又は8に記載の方法。
  10. 前記訓練される人工ニューラルネットワークは、Leaky ReLU、ReLU、双曲線正接、シグモイド、又は抗整流器などの非線形活性化関数を含む少なくとも1つの層を備える、請求項１乃至９の何れか一項に記載の方法。
  11. Bモード超音波画像から合成エラストグラフィ画像を生成するのに有用な人工ニューラルネットワークを訓練する方法であって、
    (a) 入力訓練データ、すなわち、関心領域の少なくとも1つのBモード超音波画像を受信するステップであって、前記Bモード超音波画像は、人間又は動物の被検体の超音波検査中に取得される、ステップと、
    (b) 出力訓練データ、すなわち、同じ超音波検査中に超音波エラストグラフィ技術によって取得される前記関心領域の少なくとも1つの超音波エラストグラフィ画像を受信するステップと、
    (c)前記入力訓練データ及び前記出力訓練データを使用することによって前記人工ニューラルネットワークを訓練するステップと
    を有する、方法。
  12. c)前記訓練される人工ニューラルネットワーク又は第2の訓練される人工ニューラルネットワークを前記Bモード超音波画像に適用するステップであって、前記訓練される人工ニューラルネットワーク又は前記第2の訓練される人工ニューラルネットワークの出力は複数の信頼スコアを有する信頼マップであり、各信頼スコアは、前記合成エラストグラフィ画像の対応する画素の値の信頼レベルを表す、ステップ
    を有する、請求項1乃至10の何れか一項に記載の方法。
  13. 複数の信頼スコアを有する信頼マップを提供するための第2の人工ニューラルネットワーク又は前記訓練される人工ニューラルネットワークを訓練するための方法であって、各信頼スコアは、合成エラストグラフィ画像の画素の値の前記信頼レベルを表す方法であって、
    (a)入力訓練データ、すなわち、請求項1乃至10の何れか一項に記載の方法によって生成される少なくとも1つの合成エラストグラフィ画像を受信するステップであって、前記合成エラストグラフィ画像を生成するために使用される前記Bモード超音波画像は、ヒト又は動物の被検体の超音波検査中に取得される、ステップと、
    (b)出力訓練データ、すなわち、同じ超音波検査中に超音波エラストグラフィ技術によって取得される前記関心領域の少なくとも1つの超音波エラストグラフィ画像を受信するステップと、
    (c)前記入力訓練データ及び前記出力訓練データを使用することによって前記人工ニューラルネットワークを訓練するステップと
    を有する、方法。
  14. コンピュータプログラムであって、前記プログラムが計算ユニットによって実行されるとき、前記計算ユニットに請求項1乃至13の何れか一項に記載の方法を実行させる命令を有する、コンピュータプログラム。
  15. 合成エラストグラフィ画像を生成するためのシステムであって、前記システムは、
    a)関心領域のBモード超音波画像を受信するように構成される第1のインターフェースと、
    b)訓練される人工ニューラルネットワークを前記Bモード超音波画像に適用して、それによって前記関心領域の合成エラストグラフィ画像を生成するように構成される計算ユニットと、
    c)前記関心領域の前記合成エラストグラフィ画像を出力するように構成される第2のインターフェースと
    を有する、システム。
JP2021573494A 2019-06-20 2020-06-10 合成エラストログラフィ画像を生成するための方法及びシステム Pending JP2022537274A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19181415.1A EP3754558A1 (en) 2019-06-20 2019-06-20 Method and system for generating a synthetic elastrography image
EP19181415.1 2019-06-20
PCT/EP2020/066009 WO2020254159A1 (en) 2019-06-20 2020-06-10 Method and system for generating a synthetic elastrography image

Publications (2)

Publication Number Publication Date
JP2022537274A true JP2022537274A (ja) 2022-08-25
JPWO2020254159A5 JPWO2020254159A5 (ja) 2023-06-13

Family

ID=66999690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021573494A Pending JP2022537274A (ja) 2019-06-20 2020-06-10 合成エラストログラフィ画像を生成するための方法及びシステム

Country Status (5)

Country Link
US (1) US20220361848A1 (ja)
EP (2) EP3754558A1 (ja)
JP (1) JP2022537274A (ja)
CN (1) CN113994367A (ja)
WO (1) WO2020254159A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655333B1 (ko) * 2021-01-25 2024-04-05 한국과학기술원 초음파 데이터를 이용한 다변수 정량적 이미징 방법 및 장치
US11651554B2 (en) * 2021-07-30 2023-05-16 The Boeing Company Systems and methods for synthetic image generation
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation
WO2023019363A1 (en) * 2021-08-20 2023-02-23 Sonic Incytes Medical Corp. Systems and methods for detecting tissue and shear waves within the tissue
CN117094897B (zh) * 2023-10-20 2024-02-02 广东工业大学 一种相衬光学相干弹性成像的超分辨相位梯度估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10675002B2 (en) 2016-01-02 2020-06-09 Ahmed M Ehab Mahmoud Method and apparatus to measure tissue displacement and strain
JP6290336B2 (ja) * 2016-08-25 2018-03-07 株式会社日立製作所 超音波診断装置
JP6761128B2 (ja) * 2016-09-06 2020-09-23 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
CN110381845B (zh) * 2017-01-05 2022-08-12 皇家飞利浦有限公司 具有用于导出成像数据和组织信息的神经网络的超声成像系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks

Also Published As

Publication number Publication date
WO2020254159A1 (en) 2020-12-24
EP3754558A1 (en) 2020-12-23
CN113994367A (zh) 2022-01-28
US20220361848A1 (en) 2022-11-17
EP3987445A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
JP2022537274A (ja) 合成エラストログラフィ画像を生成するための方法及びシステム
Zhang et al. Ultrasound image reconstruction from plane wave radio-frequency data by self-supervised deep neural network
JP5276336B2 (ja) 変形可能モデルを用いて動いている対象の超音波画像を作成するための方法及び装置
Huang et al. Mimicknet, mimicking clinical image post-processing under black-box constraints
US8818064B2 (en) Time-domain estimator for image reconstruction
CN103239258B (zh) 采用超声波的同轴切变波表征
US8840554B2 (en) Ultrasonic 3-dimensional image reconstruction method and ultrasonic wave system thereof
US9433399B2 (en) Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
Mor et al. A unified deep network for beamforming and speckle reduction in plane wave imaging: A simulation study
Schretter et al. Ultrasound imaging from sparse RF samples using system point spread functions
Deprez et al. 3D estimation of soft biological tissue deformation from radio-frequency ultrasound volume acquisitions
Zhang et al. Deep network for scatterer distribution estimation for ultrasound image simulation
Hosseinpour et al. Temporal super resolution of ultrasound images using compressive sensing
Yousufi et al. Application of compressive sensing to ultrasound images: a review
He et al. An application of super-resolution generative adversary networks for quasi-static ultrasound strain elastography: A feasibility study
Jalilian et al. Increasing frame rate of echocardiography based on a novel 2d spatio-temporal meshless interpolation
CN112351742A (zh) 用于执行跨瓣压量化的方法和系统
Jiang et al. Ultrasonic methods for assessment of tissue motion in elastography
Touil et al. Analysis of motion tracking in echocardiographic image sequences: Influence of system geometry and point-spread function
van Sloun et al. 1 Deep learning for ultrasound beamforming
Hyun A universal end-to-end description of pulse-echo ultrasound image reconstruction
Hosseinpour et al. Compressive sensing theory and neighborhood spatial‐temporal information for frame rate improvement of dynamic ultrasonic imaging
Bangalore Narasimha Prasad Ultrasound Computed Tomography using Deep Learning
Li et al. A global strain estimation algorithm for non-invasive vascular ultrasound elastography
Xu 3D tongue motion visualization based on the B-mode ultrasound tongue images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240530