JP2021115211A - Ultrasonic diagnostic device, image processing method, learning device, and program - Google Patents
Ultrasonic diagnostic device, image processing method, learning device, and program Download PDFInfo
- Publication number
- JP2021115211A JP2021115211A JP2020009885A JP2020009885A JP2021115211A JP 2021115211 A JP2021115211 A JP 2021115211A JP 2020009885 A JP2020009885 A JP 2020009885A JP 2020009885 A JP2020009885 A JP 2020009885A JP 2021115211 A JP2021115211 A JP 2021115211A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- ultrasonic
- ultrasonic waves
- transmitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000005540 biological transmission Effects 0.000 claims abstract description 96
- 239000000523 sample Substances 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 85
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 2
- 230000006866 deterioration Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は超音波診断装置、画像処理方法、学習装置及びプログラムに関し、特に超音波診断装置の画質を向上させるための技術に関する。 The present invention relates to an ultrasonic diagnostic apparatus, an image processing method, a learning apparatus and a program, and more particularly to a technique for improving the image quality of the ultrasonic diagnostic apparatus.
超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。一般的な超音波画像生成の手法は、送信ビームの形成と受信信号の整相加算処理を含む。送信ビームの形成は、複数の変換素子に対して時間遅延を与えた電圧波形を入力し、生体内で超音波を収束させることで実施する。受信信号の整相加算は、生体内の構造により反射された超音波を複数の変換素子で受信し、得られた受信信号に対して、注目点に対する経路長を考慮した時間遅延を与え、さらに加算することで実施する。この送信ビームの形成と整相加算処理とにより、注目点からの反射信号を選択的に抽出し、画像化を行う。この送信ビームが画像化領域の中を走査するように制御することで観察したい領域の画像を得ることができる。 Ultrasound diagnostic devices are widely used in clinical practice as diagnostic imaging devices due to their simplicity, high resolution, and real-time performance. A general method of ultrasonic image generation includes the formation of a transmission beam and the phasing addition processing of a received signal. The transmission beam is formed by inputting voltage waveforms with a time delay given to a plurality of conversion elements and converging ultrasonic waves in the living body. The phasing addition of the received signal receives the ultrasonic waves reflected by the structure in the living body by a plurality of conversion elements, gives a time delay to the obtained received signal in consideration of the path length with respect to the point of interest, and further. It is carried out by adding. By the formation of the transmission beam and the phasing addition processing, the reflected signal from the point of interest is selectively extracted and imaged. By controlling the transmission beam to scan in the imaging region, an image of the region to be observed can be obtained.
このような超音波診断装置において、送信信号の基本波成分に対する高調波成分の画像化(ハーモニックイメージング)が広く行われている。超音波が被検体内を伝搬する過程で生じる高調波成分を画像化する手法は、組織ハーモニックイメージング(THI:Tissue Harmonic Imaging)と呼ばれている。Tissue Harmonic Imagingは、被検体(生体組織)のもつ固有の非線形に起因して発生する高調波成分を受信信号から抽出して被検体内部を画像化する。非線形効果によって生じる高調波成分を利用していることから、分解能の向上とアーチファクトの低減の効果が得られる。Tissue Harmonic Imagingでの高調波成
分の抽出方法の1つにPulse Inversion法がある。Pulse Inversion法では、第1の送信波形とその位相を反転した第2の送信波形を送受信して得られる受信信号を加算することで、基本波成分を打ち消し、高調波成分を強調する。
In such an ultrasonic diagnostic apparatus, imaging (harmonic imaging) of a harmonic component with respect to a fundamental wave component of a transmission signal is widely performed. The method of imaging the harmonic components generated in the process of ultrasonic waves propagating in the subject is called tissue harmonic imaging (THI: Tissue Harmonic Imaging). Tissue Harmonic Imaging extracts the harmonic components generated due to the inherent non-linearity of the subject (living tissue) from the received signal and images the inside of the subject. Since the harmonic component generated by the non-linear effect is used, the effect of improving the resolution and reducing the artifact can be obtained. The Pulse Inversion method is one of the methods for extracting harmonic components in Tissue Harmonic Imaging. In the Pulse Inversion method, the fundamental wave component is canceled and the harmonic component is emphasized by adding the received signal obtained by transmitting and receiving the first transmission waveform and the second transmission waveform whose phase is inverted.
特許文献1には、高調波成分に加えて差音成分も用いることで分解能を維持しつつペネトレーションを向上させたPulse Inversion法について開示されている。特許文献2には
ニューラルネットワークで構成された復元器を用いた医用撮像装置が開示されている。
Pulse Inversion法によるTissue Harmonic Imagingを行うためには、被検体の同一箇所に対して複数回の超音波パルスを送受信しなければならない。それゆえ、フレームレートが低下するという課題がある(単純に言うと、1回の送受信で画像を生成するのに比べ、N回の送受信を行えばフレームレートは1/Nとなる)。また、N回の送受信を行うあいだに被検体や超音波プローブが動く場合、分解能やコントラストなどの画質が低下するという課題もある。 In order to perform Tissue Harmonic Imaging by the Pulse Inversion method, it is necessary to send and receive multiple ultrasonic pulses to the same part of the subject. Therefore, there is a problem that the frame rate is lowered (simply speaking, the frame rate becomes 1 / N when N transmissions and receptions are performed, as compared with the case where an image is generated by one transmission and reception). Further, when the subject or the ultrasonic probe moves during N transmissions / receptions, there is also a problem that the image quality such as resolution and contrast deteriorates.
本発明は上述した課題に鑑みてなされたものであり、フレームレート低下の影響を少なくしつつ画質の良い画像を得ることのできる超音波診断装置を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide an ultrasonic diagnostic apparatus capable of obtaining an image with good image quality while reducing the influence of a decrease in frame rate.
本発明の第一の態様は、被検体に対して超音波を送受信する超音波探触子と、1つの送信波形の超音波の送受信によって得られる受信信号に基づく第1のデータと、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づく第2のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による1つの送信波形の超音波の送受信によって得られる受信信号に基づく第3のデータから、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づくデータを推定する推定演算部と、を有することを特徴とする超音波診断装置である。 A first aspect of the present invention includes an ultrasonic probe that transmits and receives ultrasonic waves to a subject, first data based on a received signal obtained by transmitting and receiving ultrasonic waves of one transmission waveform, and a plurality of pieces. Using a model machine-learned using training data including second data based on received signals obtained by transmitting and receiving ultrasonic waves of different transmission waveforms, ultrasonic waves of one transmission waveform by the ultrasonic probe. An ultrasonic wave having an estimation calculation unit that estimates data based on a received signal obtained by transmitting and receiving ultrasonic waves having a plurality of different transmission waveforms from a third data based on the received signal obtained by the transmission and reception of the ultrasonic waves. It is a diagnostic device.
本発明の第二の態様は、上記第一態様の超音波診断装置の推定演算部で用いられる学習モデルの機械学習を行う学習装置であって、1つの送信波形の超音波の送受信によって得られる第1のデータを入力データ、複数の異なる送信波形の超音波の送受信によって得られる第2のデータを正解データ、として含む学習データを用いて、前記学習モデルの機械学習を行う学習部を有する、ことを特徴とする学習装置である。 The second aspect of the present invention is a learning device that performs machine learning of a learning model used in the estimation calculation unit of the ultrasonic diagnostic apparatus of the first aspect, and is obtained by transmitting and receiving ultrasonic waves of one transmission waveform. It has a learning unit that performs machine learning of the learning model using learning data including the first data as input data and the second data obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms as correct answer data. It is a learning device characterized by this.
本発明の第三の態様は、被検体に対して超音波を送受信する送受信ステップと、1つの送信波形の超音波の送受信によって得られる第1のデータと、複数の異なる送信波形の超音波の送受信によって得られる第2のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記送受信ステップにおける1つの送信波形の超音波の送受信によって得られる第3のデータから、複数の異なる送信波形の超音波の送受信によって得られるデータを推定する推定演算ステップと、を含むことを特徴とする画像処理方法である。 A third aspect of the present invention is a transmission / reception step of transmitting / receiving ultrasonic waves to a subject, first data obtained by transmitting / receiving ultrasonic waves of one transmission waveform, and ultrasonic waves having a plurality of different transmission waveforms. Using a model machine-learned using training data including a second data obtained by transmission and reception, a plurality of different data from the third data obtained by transmission and reception of ultrasonic waves of one transmission waveform in the transmission and reception step. It is an image processing method including an estimation calculation step for estimating data obtained by transmitting and receiving ultrasonic waves of a transmission waveform.
本発明によれば、フレームレート低下の影響を少なくしつつ画質の良い画像を得ることのできる超音波診断装置を提供することができる。 According to the present invention, it is possible to provide an ultrasonic diagnostic apparatus capable of obtaining an image with good image quality while reducing the influence of a decrease in frame rate.
<第1実施形態>
本発明の第1実施形態について説明する。図1は超音波診断装置のハードウェア構成の一例を示すブロック図である。
<First Embodiment>
The first embodiment of the present invention will be described. FIG. 1 is a block diagram showing an example of the hardware configuration of the ultrasonic diagnostic apparatus.
超音波診断装置1は、概略、超音波プローブ(超音波探触子)102、プローブ接続部103、送信電気回路104、受信電気回路105、受信信号処理ブロック106、画像処理ブロック107、表示装置108、システム制御ブロック109を有する。超音波診断装置1は、超音波プローブ102から超音波パルスを被検体100に送信し、被検体100の内部で反射された反射超音波を受信して、被検体100の内部の画像情報(超音波画像)を生成するためのシステムである。超音波診断装置1で得られる超音波画像は各種の臨床検査で利用される。
The ultrasonic
超音波プローブ102は、電子スキャン方式のプローブであり、その先端に1次元又は2次元に配列された複数の振動子101を有する。振動子101は、電気信号(電圧パルス信号)と超音波(音響波)のあいだの相互変換を行う電気機械変換素子である。超音波プローブ102は、被検体100に対して複数の振動子101から超音波を送信し、被検体100からの反射超音波を複数の振動子101により受信する。反射音響波は、被検体100内の音響インピーダンスの差を反映している。
The
送信電気回路104は、複数の振動子101に対してパルス信号(駆動信号)を出力する送信部である。複数の振動子101に対して時間差をつけてパルス信号を印加することで、複数の振動子101から遅延時間の異なる超音波が送信されることで送信超音波ビームが形成される。パルス信号を印加する振動子101(つまり駆動する振動子101)を選択的に変えたり、パルス信号の遅延時間(印加タイミング)を変えたりすることで、送信超音波ビームの方向やフォーカスを制御できる。この送信超音波ビームの方向及びフォーカスを順次変更することで、被検体100内部の観察領域が走査(スキャン)される。送信電気回路104は、所定の駆動波形のパルス信号を振動子101に送信することで、振動子101において所定の送信波形を有する送信超音波を発生させる。受信電気回路105は、反射超音波を受信した振動子101から出力される電気信号を、受信信号として入力する受信部である。受信信号は受信信号処理ブロック106に入力される。送信電気回路104及び受信電気回路105の動作、すなわち、超音波の送受信は、システム制御ブロック109によって制御される。なお、本明細書では、振動子101から出力されるアナログ信号も、それをサンプリング(デジタル変換)したデジタルデータも、特に区別することなく受信信号と呼ぶ。ただし、文脈によってデジタルデータであることを明示する目的で、受信信号を受信データと記す場合もある。
The transmission
受信信号処理ブロック106は、超音波プローブ102から得られた受信信号に基づいて画像データを生成する画像生成部である。画像処理ブロック107は、受信信号処理ブロック106で生成された画像データに対し、輝度調整、補間、フィルタ処理などの画像処理を施す。表示装置108は、画像データ及び各種情報を表示するための表示部であり、例えば液晶ディスプレイや有機ELディスプレイなどで構成される。システム制御ブロック109は、送信電気回路104、受信電気回路105、受信信号処理ブロック106、画像処理ブロック107、表示装置108などを統括制御する制御部である。
The reception
(受信信号処理ブロックの構成)
図2は受信信号処理ブロック106が有する機能の一例を示すブロック図である。受信信号処理ブロック106は、整相加算処理ブロック201、信号記憶ブロック202、演算処理ブロック203、Bモード処理ブロック204、推定演算ブロック205を有する。
(Configuration of received signal processing block)
FIG. 2 is a block diagram showing an example of the function of the received
整相加算処理ブロック201は、受信電気回路105から得られた受信信号に対して整相加算を行い、加算された受信信号を信号記憶ブロック202に保存する。整相加算処理とは、振動子101ごとに遅延時間を変えて複数の振動子101の受信信号を足し合わせることで受信超音波ビームを形成する処理であり、Delay and Sum(DAS)ビームフォーミングとも呼ばれる。整相加算処理は、システム制御ブロック109から与えられる素子配置や画像生成の各種条件(開口制御、信号フィルタ)に基づいて行われる。
The phasing
演算処理ブロック203は、従来のTissue Harmonic Imaging(THI)の手法によっ
て、高調波成分に基づく超音波信号を生成する。信号記憶ブロック202に保存された受信信号とTHI用の超音波信号はBモード処理ブロック204へと送信される。演算処理ブロック203は、本発明の演算処理部に相当する。
The
Bモード処理ブロック204は、信号記憶ブロック202および演算処理ブロック203からの受信信号とTHI用の超音波信号に包絡線検波処理および対数圧縮処理を行い、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。
The B-
推定演算ブロック205(推定演算部)は、モデルを用いて、超音波探触子による1つの送信波形の超音波の送受信によって得られる第3のデータから、複数の異なる送信波形の超音波の送受信によって得られるデータを推定する。本実施形態では、推定演算ブロック205は、受信信号から得られる機械学習により得られた学習済みモデルを用いて、信号記憶ブロック202に保存された受信信号に基づくBモード画像から、擬似THI相当画像を推定(生成)する。推定演算ブロック205は、本発明の推定演算部に相当する。
The estimation calculation block 205 (estimation calculation unit) uses a model to transmit and receive ultrasonic waves of a plurality of different transmission waveforms from the third data obtained by transmitting and receiving ultrasonic waves of one transmission waveform by an ultrasonic probe. Estimate the data obtained by. In the present embodiment, the estimation calculation block 205 uses a learned model obtained by machine learning obtained from the received signal, and uses a pseudo-THI equivalent image from a B-mode image based on the received signal stored in the
本明細書では、「THI画像」は、THI用の超音波信号から生成される画像を意味する。THI画像は、従来のTHIイメージング手法によって生成される画像であるともいえる。また、「擬似THI画像」は、受信信号に基づくBモード画像に画像処理(推定演算処理)を施すことによって得られる、THI画像に相当する画像を意味する。推定演算ブロック205による擬似THI画像の生成を、THI画像推定処理と呼ぶことができる。また、擬似THI画像との区別を明確にするために、従来の手法によって得られるTHI画像を通常THI画像と呼ぶこともある。 As used herein, "THI image" means an image generated from an ultrasonic signal for THI. It can be said that the THI image is an image generated by a conventional THI imaging method. Further, the "pseudo-THI image" means an image corresponding to the THI image obtained by performing image processing (estimation calculation processing) on the B-mode image based on the received signal. The generation of the pseudo THI image by the estimation calculation block 205 can be called the THI image estimation process. Further, in order to clarify the distinction from the pseudo THI image, the THI image obtained by the conventional method may be referred to as a normal THI image.
受信信号処理ブロック106は、通常のBモード画像、通常のTHI画像、および擬似THI画像を、画像処理ブロック107に出力する。なお、受信信号処理ブロック106は、常にこれらの画像を出力するとは限らず、これらのいずれかの画像のみを出力することもある。受信信号処理ブロック106から出力される画像は、画像処理ブロック107で所定の処理が施されたのち、表示装置108で表示される。
The reception
受信信号処理ブロック106は、1つ以上のプロセッサとメモリにより構成してもよい。その場合、図2に示す各ブロック201〜205の機能はコンピュータ・プログラムによって実現される。例えば、メモリに記憶されているプログラムをCPUが読み込み実行することにより、各ブロック201〜205の機能を提供することができる。受信信号処理ブロック106は、CPUの他に、演算処理ブロック203の演算や推定演算ブロック205の演算を担当するプロセッサ(GPU、FPGAなど)を備えていてもよい。特に同時に多くのデータが入力される演算処理ブロック203にはFPGAを、推定演算ブロック205のような演算を効率よく実行するにはGPUを用いることが有効である。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、CPUが利用するワーキングメモリなどを含むとよい。
The received
(THIイメージング:Pulse Inversion法)
ここで、THIイメージングによる画像生成方法であるPulse Inversion(PI)法に
ついて説明する。THIイメージングは、異なる送信波形を有する超音波の送受信によって得られる複数の受信信号から送信超音波の基本周波数成分を低減させて、高調波成分に基づく画像を生成する手法である。
(THI imaging: Pulse Inversion method)
Here, the Pulse Inversion (PI) method, which is an image generation method by THI imaging, will be described. THI imaging is a method of generating an image based on a harmonic component by reducing the fundamental frequency component of a transmitted ultrasonic wave from a plurality of received signals obtained by transmitting and receiving ultrasonic waves having different transmission waveforms.
基本波成分f1を持つ超音波を被検体に送信すると、図3Aに示すように、基本波成分f1と高調波成分2f1を含む反射超音波を表す第1の受信信号31が受信される。基本波成分f1と高調波成分2f1を超音波プローブ102の有効周波数帯域に含まれるよう調整することで、基本波成分f1と高調波成分2f1の両方を受信することができる。基本波の周波数は、超音波プローブ102の中心周波数よりも低いのが一般的である。第1の受信信号31は受信信号処理ブロック106内で整相加算され、信号記憶ブロック202に保存される。
When an ultrasonic wave having a fundamental wave component f1 is transmitted to a subject, as shown in FIG. 3A, a first received
次に、図3Bに示すよう、第1の送信波形と位相が反転した周波数スペクトルを持つ超音波を被検体に送信すると、基本波成分f1と高調波成分2f1を含む反射超音波を表す第2の受信信号32が受信される。第2の受信信号32は受信信号処理ブロック106内で整相加算され、信号記憶ブロック202に保存される。
Next, as shown in FIG. 3B, when an ultrasonic wave having a frequency spectrum whose phase is inverted from that of the first transmitted waveform is transmitted to the subject, a second reflected ultrasonic wave containing the fundamental wave component f1 and the harmonic component 2f1 is represented. The
第2高調波の位相変化は基本波の位相変化の2倍である。したがって、基本波の位相を180度変化させる(反転させる)と、第2高調波の位相は360度変化する。すなわち、第1の受信信号31と第2の受信信号32に含まれる高調波成分2f1は同位相である。
The phase change of the second harmonic is twice the phase change of the fundamental wave. Therefore, when the phase of the fundamental wave is changed (inverted) by 180 degrees, the phase of the second harmonic is changed by 360 degrees. That is, the harmonic components 2f1 included in the first received
整相加算された受信信号31,32は演算処理ブロック203で加算される。その結果、図3Cに示すように、基本波成分f1は打ち消され高調波成分2f1が強調された周波数スペクトルを持つ超音波信号33が生成される。この超音波信号33が、上述したTHI用の超音波信号に相当する。
The phasing-added received
Bモード処理ブロック204は、演算処理ブロック203で生成された超音波信号33に対して、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。これにより、高調波成分のみを画像化しているため、基本波成分を画像化する通常のBモードに比べて分解能やコントラストが優れた画像が得られる。
The B-
ここでは、超音波信号を送受信する回数が2回である例を説明したが、送受信回数は、2回に限定されず、加算して基本波成分を打ち消すように送信波形の位相が調整されていれば送受信回数は2回以上の任意の回数であってよい。なお、基本波成分は完全に打ち消されることが理想であるが、加算により基本波成分が低減されれば完全に打ち消されなくてもよい。 Here, an example in which the ultrasonic signal is transmitted and received twice is described, but the number of times of transmission and reception is not limited to two, and the phase of the transmission waveform is adjusted so as to add and cancel the fundamental wave component. If so, the number of transmissions and receptions may be any number of times of 2 or more. Ideally, the fundamental wave component is completely canceled, but if the fundamental wave component is reduced by addition, it may not be completely canceled.
上記の第1の受信信号31および第2の受信信号32から、それぞれBモード画像を生成することもできる。このようにして生成されるBモード画像は、送信超音波の基本波に基づくので、本明細書では「基本波画像」とも称する。また、第1の受信信号31に基づくBモード画像をTHI正パルスモードの基本波画像あるいは第1の基本波画像とも称し、受信信号32に基づくBモード画像をTHI負パルスモードの基本波画像あるいは第2の基本波画像とも称する。
A B-mode image can also be generated from the first received
第1の受信信号31および第2の受信信号32のそれぞれは、1つの送信波形の超音波の送受信によって得られる受信信号であると呼ぶことができる。第1のおよび第2の基本波画像は、それぞれ1つの送信波形の超音波の送受信によって得られる受信信号に基づくデータであると呼ぶことができる。また、第1の受信信号31および第2の受信信号32は全体として、送信波形の位相を異ならせた複数回の超音波の送信によって生成される反射超音波をそれぞれ表す複数の受信信号と呼ぶこともできる。THI用の超音波信号33は、当該複数の受信信号から送信超音波の基本周波数成分を低減し、高調波成分を強調した信号であると呼ぶこともできる。また、超音波信号33に基づく超音波画像(THI画像)は、当該複数の受信信号に含まれる、送信超音波の基本周波数成分に基づく高調波画像データであると呼ぶこともできる。
Each of the first received
(推定演算ブロック)
推定演算ブロック205について説明する。推定演算ブロック205は学習済みモデルを用いて擬似THI画像を生成(推定)する処理を行う。
(Estimation calculation block)
The
モデルは、1つの送信波形の超音波の送受信により得られる受信信号に基づく第1のデータ(入力データ)と、複数の異なる送信波形の超音波の送受信により得られる受信信号に基づく第2のデータ(正解データ)とを含む学習データを用いて機械学習される。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。 The model is a first data (input data) based on a received signal obtained by transmitting and receiving ultrasonic waves of one transmission waveform, and a second data based on a received signal obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms. Machine learning is performed using training data including (correct answer data). Specific algorithms for machine learning include the nearest neighbor method, the naive Bayes method, and support vector machines. In addition, deep learning (deep learning) in which features and coupling weighting coefficients for learning are generated by themselves using a neural network can also be mentioned. As appropriate, any of the above algorithms that can be used can be applied to this embodiment.
図4は、モデルの機械学習を行う学習装置40の一例を示している。学習装置40は、複数の学習データ401を用いてモデルの機械学習を実施する学習部(学習器)404を有している。学習部404は先に例示した機械学習アルゴリズムのうちいずれを利用してもよいし、他の機械学習アルゴリズムを利用してもよい。学習データ401は、入力データと正解データ(教師データ)の組で構成されている。本実施形態では、入力データとして基本波画像402(1つの送信波形の超音波の送受信による受信信号に基づく画像)を、正解データとしてTHI画像403(複数の異なる送信波形の超音波の送受信による複数の受信信号に基づく画像)を用いる。学習部404は、与えられた複数の学習データ401を基に、基本波画像402とTHI画像403のあいだの相関を学習して、学習済みモデル405を作成する。これにより、学習済みモデル405は、基本波画像を入力データとして与えると、擬似THI画像を出力データとして生成する機能(能力)を獲得することができる。言い換えると、学習済みモデル405は、1つの送信波形の超音波の送受信によって得られる受信信号に基づくデータから、当該受信信号に含まれる送信超音波の高調波成分に基づくデータを推定する機能を獲得する。学習済みモデル405は、超音波診断装置1の推定演算ブロック205で実行されるプログラムに実装される。モデルの学習(学習済みモデル405の生成処理)は、超音波診断装置1に組み込まれる前に実施されるのが望ましい。ただし、超音波診断装置1が学習機能を有する場合には超音波診断装置1で得られた画像データを用いて学習(新規の学習又は追加学習)を行ってもよい。
FIG. 4 shows an example of a
学習データは、演算処理ブロック203およびBモード処理ブロック204で説明した処理を用いて、THI画像を生成することにより用意されうる。具体的には、位相を異ならせた複数回の超音波送信を行って複数の受信信号を取得し、これら複数の受信信号から抽出された高調波成分に基づくTHI画像を生成する。また、複数の受信信号のそれぞれからBモード画像(基本波画像)を生成する。このようにして生成される、基本波画像および送信超音波の波形(位相)モードが入力データ、THI画像が正解データとして用いられる。したがって、1回のTHIイメージングの結果、複数組の学習データが得られる。なお、学習データの生成は、学習モデルが搭載される超音波診断装置以外の装置で行われてもよいし、学習モデルが搭載される超音波診断装置で行われてもよい。
The training data can be prepared by generating a THI image using the processes described in the
図5を参照して、学習データについてより具体的に説明する。学習データに含まれる正解データは、THIモードを用いて撮像したTHI画像である。学習データに含まれる入力データのうち、送信波形モードは、入力データである基本波画像を生成した際に用いた送信超音波が、PI法における反転なしの波形を送信するモードと反転ありの波形を送信するモードのいずれを有するかを表す。反転なしの送信モードをTHI正パルスモード(あるいは単に正パルスモード)と称し、反転ありの送信モードをTHI負パルスモード(あるいは単に負パルスモード)と称する。学習データに含まれる入力データのうち、基本波画像は、上記のTHIモード撮像(PI法)における各送信波形に対応する受信信号を画像化したデータ(正パルスモードの基本波画像または負パルスモードの基本波画像)である。 The learning data will be described more specifically with reference to FIG. The correct answer data included in the training data is a THI image captured using the THI mode. Among the input data included in the training data, the transmission waveform mode is a mode in which the transmitted ultrasonic wave used when generating the fundamental wave image which is the input data transmits a waveform without inversion in the PI method and a waveform with inversion. Indicates which of the modes to transmit. The transmission mode without inversion is referred to as THI positive pulse mode (or simply positive pulse mode), and the transmission mode with inversion is referred to as THI negative pulse mode (or simply negative pulse mode). Of the input data included in the training data, the fundamental wave image is the data obtained by imaging the received signal corresponding to each transmission waveform in the above THI mode imaging (PI method) (primary wave image in positive pulse mode or negative pulse mode). Fundamental wave image).
図5には、学習データID1〜4の4つの学習データが例示されている。学習データI
D1の入力データとして、第1のTHIイメージングにおける正パルスモードの基本波画像B1−1およびそのときの送信波形モードである正パルスモードを用いる。また学習データID1の正解データとして第1のTHIイメージングの結果として得られるTHI画像を用いる。学習データID2の入力データとして、第1のTHIイメージングにおける負パルスモードの基本波画像B1−2およびそのときの送信波形モードである負パルスモードを用いる。また学習データID2の正解データとして第1のTHIイメージングの結果として得られるTHI画像を用いる。
FIG. 5 illustrates four learning data of learning
As the input data of D1, the fundamental wave image B1-1 of the positive pulse mode in the first THI imaging and the positive pulse mode which is the transmission waveform mode at that time are used. Further, the THI image obtained as a result of the first THI imaging is used as the correct answer data of the learning data ID1. As the input data of the learning data ID2, the fundamental wave image B1-2 of the negative pulse mode in the first THI imaging and the negative pulse mode which is the transmission waveform mode at that time are used. Further, as the correct answer data of the learning data ID2, the THI image obtained as a result of the first THI imaging is used.
同様に、学習データID3の入力データは、第2のTHIイメージングにおける正パルスモードの基本波画像B2−1および正パルスモードであり、正解データは第2のTHIイメージングの結果として得られるTHI画像である。学習データID4の入力データは、第2のTHIイメージングにおける負パルスモードの基本波画像B2−2および負パルスモードであり、正解データは第2のTHIイメージングの結果として得られるTHI画像である。 Similarly, the input data of the training data ID3 is the fundamental wave image B2-1 in the positive pulse mode and the positive pulse mode in the second THI imaging, and the correct answer data is the THI image obtained as a result of the second THI imaging. be. The input data of the training data ID4 is the fundamental wave image B2-2 and the negative pulse mode of the negative pulse mode in the second THI imaging, and the correct answer data is the THI image obtained as a result of the second THI imaging.
様々な条件で取得された学習データを用いて学習することで、様々なパターンの入力に対する学習が行われ、実際に使用されたときも安定して画質の良い画像を推定することが期待できる。したがって、同じ被検体に対して、異なる条件でTHIイメージングを行って学習データを得ることが好ましい。なお、被検体として、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いてもよく、さらには実際のファントム、またさらに実際の生体を用いても構わない。 By learning using the learning data acquired under various conditions, learning for input of various patterns is performed, and it can be expected that an image with good image quality can be stably estimated even when it is actually used. Therefore, it is preferable to perform THI imaging on the same subject under different conditions to obtain learning data. As the subject, a digital phantom that can be imaged by ultrasonic transmission / reception simulation may be used, or an actual phantom or an actual living body may be used.
また学習データの前処理を行ってもよい。例えば、超音波の減衰による輝度値のムラを補正することにより、学習効率の改善を図ってもよい。また、超音波が被検体内を伝搬する過程で生じる高調波成分は、伝搬距離が長いほど増加する。一方で高調波成分は基本波成分と比較して周波数が高いため、伝搬時に減衰の影響が大きくなる。つまり、THIイメージングの効果が得られる程度の高調波成分が蓄積される深さ、かつ高調波成分のSNが十分に得られる深さは、ある程度の範囲に限られる。したがって、THIイメージングで得られるTHI画像および基本波画像のうち、上記範囲の深さの画像のみを抜き出して前処理を行うとよい。これにより、THIイメージングの効果が小さい浅部やペネトレーションが良くない深部でも、基本波画像からTHI画像を推定することができ、分解能やコントラストが向上する効果が得られる。 Further, the training data may be preprocessed. For example, the learning efficiency may be improved by correcting the unevenness of the brightness value due to the attenuation of ultrasonic waves. In addition, the harmonic component generated in the process of ultrasonic waves propagating in the subject increases as the propagation distance increases. On the other hand, since the harmonic component has a higher frequency than the fundamental wave component, the influence of attenuation becomes large during propagation. That is, the depth at which the harmonic components to the extent that the effect of THI imaging can be obtained and the depth at which the SN of the harmonic components can be sufficiently obtained are limited to a certain range. Therefore, from the THI image and the fundamental wave image obtained by THI imaging, it is preferable to extract only the image having the depth in the above range and perform the preprocessing. As a result, the THI image can be estimated from the fundamental wave image even in a shallow part where the effect of THI imaging is small or a deep part where the penetration is not good, and the effect of improving the resolution and contrast can be obtained.
学習においては図6に示したようなGUIを用いて入力データおよび正解データの前処理を行っても良い。表示画面内に入力データ60と正解候補データ61とを示し、それぞれを複数の領域に分割するインジケータ62を表示する。図6の例では画像を4×4の16個の領域に分割している。採択指定ボックス63は、領域ごとの採否を使用者に指定させるためのユーザインタフェースである。使用者は入力データ60と正解候補データ61を見比べながら、学習データとして採択する領域に「〇」を、除外する領域に「×」を入力する。これにより、正解候補データ61の中で予期せぬ画像劣化が起きているところなどを除外することができる。例えば、前述したようなTHIイメージングの効果が小さいと判断されるような浅部やペネトレーションが良くない深部を除外することができる。また、複数回の超音波パルスの送受信間の被検体の動きにより基本波成分を打ち消しが不十分となり画質が低下していると判断される箇所を除外することもできる。図5では、画像全体を1つの学習データとして用いる想定で説明をしているが、図6のように画像を複数の領域に分割した場合には、個々の領域の画像(部分画像)が1つの学習データとして用いられる。この場合、学習モデルは、入力データ60と同じサイズ(分解能)の画像を入力として受け付け、正解候補データ61と同じサイズの画像を出力する。図6の例では、採択される領域が7個あるため、7組の学習データが生成されることとなる。
In learning, input data and correct answer data may be preprocessed using a GUI as shown in FIG. The
本実施形態では、学習データの入力データとして、THIイメージングにおける基本波画像を用いているが、通常のBモード画像を入力データに用いてもよい。ここでの通常のBモード画像とは、超音波プローブ102の中心周波数の超音波を送信して得られる基本波画像である。これにより、学習モデルは、通常のBモード画像からTHI画像を推定できるようになる。
In the present embodiment, the fundamental wave image in THI imaging is used as the input data of the training data, but a normal B mode image may be used as the input data. The normal B-mode image here is a fundamental wave image obtained by transmitting ultrasonic waves at the center frequency of the
また、本実施形態では入力データとして基本波画像および送信波形モードを例示しているが、基本波画像だけを入力データとしても効果が得られる。また、基本波画像を取得した際の送信周波数やバンドパスフィルタの帯域を入力データにすることでも入力データの状況に合わせて精度よく推定できる。また、被検体が生体のどの部分なのか、体軸に対してどの向きに超音波プローブを接触しているのかも合わせて入力データとすることで、部位ごとの特徴に応じた学習が行え、推定精度が向上する。部位毎の特徴として、例えば脂肪層が表面にある、筋膜の構造による高輝度領域がある、太い血管による低輝度値領域が存在するなどが挙げられる。またさらに、診療科や性別、BMI、年齢、病態などの情報を入力データに付加することで、部位ごとの特徴にさらに詳細に対応した学習モデルが得られ、より推定精度が高まることが期待できる。 Further, in the present embodiment, the fundamental wave image and the transmission waveform mode are illustrated as the input data, but the effect can be obtained even if only the fundamental wave image is used as the input data. Further, by using the transmission frequency when the fundamental wave image is acquired and the band of the bandpass filter as input data, it is possible to estimate accurately according to the situation of the input data. In addition, by inputting data such as which part of the living body the subject is in and in which direction the ultrasonic probe is in contact with the body axis, learning can be performed according to the characteristics of each part. The estimation accuracy is improved. Features of each site include, for example, a fat layer on the surface, a high-luminance region due to the structure of fascia, and a low-luminance region due to thick blood vessels. Furthermore, by adding information such as clinical department, gender, BMI, age, and pathological condition to the input data, a learning model corresponding to the characteristics of each part in more detail can be obtained, and it can be expected that the estimation accuracy will be further improved. ..
また、超音波診断装置1に搭載される推定演算ブロック205の学習済みモデル405は、全診療科の画像データを学習させたモデルでもよいし、診療科ごとの画像データを学習させたモデルでもよい。診療科ごとの画像データを学習させたモデルが搭載されている場合は、システム制御ブロック109が、超音波診断装置1の使用者に診療科情報を入力ないし選択させ、診療科に合わせて用いる学習済みモデルを変更するとよい。撮像部位がある程度限定される診療科ごとにモデルを使い分けることで、より推定精度が高まることが期待できる。
Further, the trained
このような各種撮像条件と基本波画像とを入力データとし、その正解データにTHI画像を用いた学習を行うことで得られた学習済みモデル405が推定演算ブロック205上で動作する。結果として推定演算ブロック205は入力される基本波画像に対して分解能やコントラストの高いTHI画像に相当する画像を推定し、出力することが期待できる。
The trained
(画像生成方法)
次に本実施形態における画像生成のための処理の詳細を図1を用いて述べる。図示していないGUIを利用して使用者から撮像の指示が入力されると、GUIからの指示を受けたシステム制御ブロック109が送信電気回路104に超音波の送信指示を入力する。送信指示は、遅延時間を計算するためのパラメータや音速情報を含むと良い。送信電気回路104はシステム制御ブロック109からの送信指示に基づいて、複数のパルス信号(電圧波形)をプローブ接続部103を通じて超音波プローブ102の複数の振動子101へと出力する。ここでは、図3Aに示すような基本波成分f1を持つ超音波を正パルスモードの送信波形とする。
(Image generation method)
Next, the details of the process for image generation in the present embodiment will be described with reference to FIG. When an imaging instruction is input from the user using a GUI (not shown), the system control block 109 that receives the instruction from the GUI inputs an ultrasonic transmission instruction to the transmission
複数の振動子101から送信された送信超音波は被検体内を伝播し、被検体内の音響インピーダンスの差を反映した反射超音波を生じさせる。反射超音波は、複数の振動子101によって受信され、電圧波形(電圧信号)に変換される。この電圧波形はプローブ接続部103を通して受信電気回路105へと入力される。受信電気回路105は必要に応じて電圧波形を増幅、デジタルサンプリングし、受信信号処理ブロック106へ受信信号として出力する。受信信号処理ブロック106内では受信電気回路105で得られた受信信号に対して、システム制御ブロック109から入力される素子配置や画像生成の各種条件(開口制御、信号フィルタ)を元に、整相加算処理ブロック201が整相加算を行う。さらに、整相加算された信号は信号記憶ブロック202に保存される。これにより、正パルスモードの送信波形に対応する受信データが信号記憶ブロック202に保存される。同様
の処理を行うことで、図3Bに示すような正パルスモードの送信波形と位相が反転した周波数スペクトル(負パルスモードの送信波形)に対応する受信データが信号記憶ブロック202に保存される。
The transmitted ultrasonic waves transmitted from the plurality of
演算処理ブロック203は、正パルスモードおよび負パルスモードの送信波形に対応する複数の受信データから、PI法を用いて、基本波成分が打ち消して高調波成分を抽出し、高調波成分が強調された高調波画像を生成する。これら画像はBモード処理ブロック204へと送信される。Bモード処理ブロック204は、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表したTHI画像データ(高調波画像データ)を生成する。
In the
また、Bモード処理ブロック204は、正パルスモードの受信データおよび負パルスモードの受信データに対しても、包絡線検波処理、対数圧縮処理などを行う。正パルスモードおよび負パルスモードの受信データから第1および第2の基本波画像データが生成される。
Further, the B
推定演算ブロック205は、Bモード処理ブロック204からの第1および第2の基本波画像データと、システム制御ブロック209からの基本波に関する撮像条件(入力される送信波形モードなど)とを入力として推定演算を実行し、画像データを出力する。推定演算ブロック205は、上述した学習済みモデルを用いて、第1の基本波画像データから第1の擬似THI画像データを推定し、第2の基本波画像データから第2の擬似THI画像データを推定する。
The estimation calculation block 205 estimates the first and second fundamental wave image data from the B
このように推定演算ブロック205は、通常THI画像(高調波画像)を生成するために用いた受信データから得られる基本波画像データを学習済みモデルに複数入力して、通常THI画像に相当する擬似THI画像(推定画像)を複数推定する。なお、それぞれの基本波画像データから擬似THI画像を推定しているが、一部の基本波画像データのみから擬似THI画像を推定してもよい。この画像生成処理における正パルスモードおよび負パルスモードの受信データが、それぞれ本発明における「1つの送信波形の超音波の送受信によって得られる受信信号」に相当する。また、本実施形態では、第1および第2の基本波画像データがそれぞれ「第3のデータ」に相当する。また、第1および第2の基本波画像データから推定される第1および第2の擬似THI画像がそれぞれ推定演算部によって推定されるデータに相当する。
In this way, the
THI画像データおよび第1および第2の擬似THI画像データは、画像処理ブロック107へ入力され、輝度調整や補間、その他のフィルタが適用された後、システム制御ブロック109の指示に従って表示装置108にて表示される。これら3個の画像データを連続的に表示することで、THI相当の画質での表示を通常のTHIモードよりも早いフレームレートで実現することができる。
The THI image data and the first and second pseudo-THI image data are input to the
また、通常THI画像の画質が低いと判断される場合には、通常THI画像データは表示せずに、第1および第2の擬似THI画像データのみを表示してもよい。第1の受信データと第2の受信データを得る間に被検体の動きがあると、PI法における基本波成分の打ち消しが不十分となって通常THI画像データの画質が低下する。このような場合に、第1および第2の擬似THI画像データのみを表示することで、画質の低下を防ぎつつ通常のTHIモードよりも早いフレームレートを実現することが可能である。被検体の動きが大きい部位などを撮像する際はこのような表示を用いることが望ましい。 Further, when it is determined that the image quality of the normal THI image is low, only the first and second pseudo THI image data may be displayed without displaying the normal THI image data. If there is a movement of the subject between obtaining the first received data and the second received data, the cancellation of the fundamental wave component in the PI method becomes insufficient, and the image quality of the THI image data usually deteriorates. In such a case, by displaying only the first and second pseudo THI image data, it is possible to realize a frame rate faster than that of the normal THI mode while preventing deterioration of the image quality. It is desirable to use such a display when imaging a part where the movement of the subject is large.
超音波診断装置1は、通常THI画像データの表示のオンオフと擬似THI画像のオンオフの少なくともいずれかが異なる複数の表示モードを有する。例えば、超音波診断装置
1は、通常THI画像データおよび擬似THI画像データを表示する第1モードと、擬似THI画像データのみを表示する第2のモードとを、有する。表示モードに、擬似THI画像データを表示せずに通常THI画像データのみを表示する第3のモードが含まれてもよい。表示モードに基づく画像の表示制御は、システム制御ブロック109によって行われる。
The ultrasonic
表示モードは、例えば、使用者が表示装置108のGUI(入力手段)から指定可能としてもよいし、画像処理ブロック107が判断してもよい。例えば、表示装置108に、通常THI画像および擬似THI画像の表示のオンオフをユーザが個別に指定可能なGUIを表示させて、当該GUIを介して通常THI画像および擬似THI画像の表示オンオフの指定を使用者から受け付けてもよい。
The display mode may be specified by the user from the GUI (input means) of the
モード選択の判断は、画像処理ブロック107あるいはシステム制御ブロック109が行ってもよい。例えば、画像処理ブロック107は、通常THI画像の画質が閾値より高いか否かを判断し、判断結果に基づいて表示モードを選択してもよい。具体的には、通常THI画像の画質が閾値よりも高い場合には、通常THI画像と擬似THI画像の両方を表示するモードを選択し、画質が閾値よりも低い場合には通常THI画像を表示せずに擬似THI画像を表示するモードを選択する。通常THI画像の画質は、被検体の動き量に基づいて判断可能である。例えば、画像処理ブロック107は、第1および第2の基本波画像データ、あるいは第1および第2の擬似THI画像データに基づいて求められる被検体の動きが所定量以上であるか否かに応じて、通常THI画像の画質が閾値よりも高いか否かを判断してもよい。あるいは、画像処理ブロック107は、第1および第2の受信データを合計した信号に含まれる基本波成分が所定量以上であるか否かに基づいて、通常THI画像の画質を判断してもよい。
The
図7A〜図7Dは表示装置108における画像の表示例を模式的に示したものである。表示画面70は、画像表示領域71、フレームレート表示領域72、通常THI画像の表示オンオフのインジケータ73、擬似THI画像の表示オンオフのインジケータ74を含む。なお、インジケータ73,74が、通常THI画像と擬似THI画像の表示オンオフの切り替えボタン(GUI)を兼ねてもよい。
7A to 7D schematically show an example of displaying an image on the
図7Aは通常のTHIモードの表示、すなわち、通常THI画像を表示し、擬似THI画像(AI−THI画像)を表示しないモードにおける表示例を示す。フレームレート(FR)は50fpsとなっている。通常THI画像が表示されているのでインジケータ73には「通常THI:ON」と表示され、擬似THI画像は表示されていないのでインジケータ74には「AI−THI:OFF」と表示される。
FIG. 7A shows a display example in a normal THI mode display, that is, a mode in which a normal THI image is displayed and a pseudo THI image (AI-THI image) is not displayed. The frame rate (FR) is 50 fps. Since the normal THI image is displayed, "normal THI: ON" is displayed on the
図7Bは通常THI画像と擬似THI画像の両方を表示するモードの表示例を示す。この表示モードでは、通常THI画像と擬似THI画像が画像表示領域71に連続して表示される。第1および第2の受信データに基づく基本波画像のそれぞれから擬似THI画像データが推定できるので、本モードでは図7Aと比較してフレームレートが3倍の150fpsとなる。本実施形態では、インジケータ74に「AI−THI:ON」と表示される。これにより、表示画像に、推定演算ブロック205によって推定された推定画像が含まれることを使用者に明示できる。本実施形態のインジケータ74は、文字表示により推定画像が表示されることを通知しているが、その他の方式により推定画像の表示を通知してもよい。例えば、表示画像や表示領域の外縁の色を変える、点滅させる、背景の色、彩度、模様を変化させるなどの手法を採用してもよい。
FIG. 7B shows a display example of a mode for displaying both a normal THI image and a pseudo THI image. In this display mode, the normal THI image and the pseudo THI image are continuously displayed in the
図7Cは、擬似THI画像を表示し、通常THI画像は表示しないモードにおける表示例を示す。本モードのフレームレートは、図7Aの2倍の100fpsとなる。インジケ
ータ73には通常THI画像の表示がオフ(通常THI:OFF)であることが表示され、インジケータ74には擬似THI画像の表示がオン(AI−THI:ON)であることが表示される。
FIG. 7C shows a display example in a mode in which a pseudo THI image is displayed and a normal THI image is not displayed. The frame rate in this mode is 100 fps, which is twice that of FIG. 7A. The
図7Dは、通常THI画像75と擬似THI画像76を並べた表示した例である。画面の左側には通常THI画像のみがフレームレート50fpsで表示され、画面の右側に擬似THI画像のみがフレームレート100fpsで表示されている。この表示画面を用いれば、推定画像だけでなく、正解画像である通常THI画像も同時に確認できる。このような表示画面は、推定演算ブロック205の精度や信頼性の評価やチェックに有用である。
FIG. 7D is an example in which the
<第2実施形態>
次に本発明の別の実施形態について述べる。第1実施形態ではTHIモードで得られる基本波画像を推定演算ブロック205に入力して、擬似THI画像を推定した。本実施形態では通常のBモードで撮像した画像データを推定演算ブロック205に入力して、擬似THI画像を推定する。本実施形態においても、PI法によるフレームレートの低下を生じることなく、THI相当の画質の画像を得ることができる。
<Second Embodiment>
Next, another embodiment of the present invention will be described. In the first embodiment, the fundamental wave image obtained in the THI mode is input to the
超音波診断装置1の全体構成は第1実施形態(図1)と同様である。被検体100に対して超音波を送信して受信信号を受信信号処理ブロック106に入力するまでのフローは第1実施形態と同様である。ただし、第1実施形態では、基本波成分f1と高調波成分2f1の両方が超音波プローブ102の有効周波数帯域に含まれるように調整したが、本実施形態では、高調波成分2f1は超音波プローブ102の有効周波数帯域の外でも構わない。すなわち、本実施形態では、基本波成分f1が超音波プローブ102の有効周波数帯域と一致するような帯域幅を持った送信波形を使用できる。さらには、基本波成分f1は超音波プローブの有効周波数帯域に含まれるが、高調波成分2f1は超音波プローブの有効周波数帯域に含まれない送信波形、すなわち第1実施形態の場合よりも基本波成分f1が高い周波数となる送信波形でもよい。
The overall configuration of the ultrasonic
図8は第2実施形態における受信信号処理ブロック116の詳細を表す図である。受信信号処理ブロック116は、整相加算処理ブロック201、信号記憶ブロック202、Bモード処理ブロック204、推定演算ブロック205を有している。各ブロックの機能および処理は、基本的に、第1実施形態の同じ名称のブロックと同じである。すなわち、受信電気回路105から取り込まれた受信信号は、整相加算処理ブロック201によって整相加算され、信号記憶ブロック202に保存される。そしてBモード処理ブロック204が通常Bモード画像を生成し、推定演算ブロック205に入力する。推定演算ブロック205は、学習済みモデルに通常Bモード画像を入力し、推定結果として、擬似THI画像(推定画像)を得る。本実施形態ではこの推定画像が表示装置108での表示に利用される。
FIG. 8 is a diagram showing details of the received
本実施形態によれば、超音波プローブ102が高調波成分2f1を受信できなくても、擬似THI画像を取得できる。言い換えると、高調波成分を受信するために、送信超音波の周波数を下げる必要がない。超音波の周波数が高いほど高精細な画像が得られるので、本実施形態によれば、推定演算ブロック205における擬似THI画像の推定精度も向上する。
According to this embodiment, a pseudo THI image can be acquired even if the
本実施形態の推定演算ブロック205が有する学習済みモデルは、第1実施形態と同様の処理により生成される。本実施形態においては、学習データ中に含まれる入力データは、超音波プローブ102の中心周波数の超音波を送受信して得られる通常Bモード画像とするとよい。ただし、第1実施形態と同じ学習データに基づく学習を行った学習済みモデ
ルを用いても構わない。
The trained model included in the estimation calculation block 205 of the present embodiment is generated by the same processing as that of the first embodiment. In the present embodiment, the input data included in the training data may be a normal B-mode image obtained by transmitting and receiving ultrasonic waves at the center frequency of the
<その他の実施形態>
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。
<Other Embodiments>
The above-described embodiment merely shows a specific example of the present invention. The scope of the present invention is not limited to the configuration of the above-described embodiment, and various embodiments can be adopted without changing the gist thereof.
例えば、第1実施形態および第2実施形態においては、Bモード画像を入力データ、推定画像を出力データとする学習モデルを利用したが、モデル入出力は画像である必要はなく、画像生成の元となるデータであればよい。例えば、基本波送信により得られる受信データそのものを入力データとして用いてもよいし、整相加算処理後の受信データを入力データとして用いてもよい。その場合は、正解データとして、高調波成分のみを抽出した受信データそのもの、もしくは高調波成分のみを抽出した受信したデータに整相加算処理を行った受信データを用いるとよい。このようなモデルを用いても上述した実施形態と同様の作用効果を得ることができる。なお、モデルの出力が画像ではない場合には、受信信号処理ブロック106は推定演算ブロック205から出力されるデータに基づいて画像を生成する画像生成部をさらに備えるとよい。この画像生成部は、推定演算ブロック205(推定演算部)で推定されたデータから高調波画像に相当する推定画像を生成するように構成される。
For example, in the first embodiment and the second embodiment, a learning model using a B-mode image as input data and an estimated image as output data is used, but the model input / output does not have to be an image and is a source of image generation. Any data will do. For example, the received data itself obtained by the fundamental wave transmission may be used as the input data, or the received data after the phase adjustment addition processing may be used as the input data. In that case, as the correct answer data, it is preferable to use the received data itself from which only the harmonic components are extracted, or the received data obtained by performing phase adjustment addition processing on the received data from which only the harmonic components are extracted. Even if such a model is used, the same effect as that of the above-described embodiment can be obtained. When the output of the model is not an image, the received
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、1つの機器からなる装置に適用しても良い。 Further, the disclosed technology can take an embodiment as a system, an apparatus, a method, a program, a recording medium (storage medium), or the like. Specifically, it may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or it may be applied to a device composed of one device. good.
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。 Needless to say, the object of the present invention is achieved by doing the following. That is, a recording medium (or storage medium) in which a software program code (computer program) that realizes the functions of the above-described embodiment is recorded is supplied to the system or device. Needless to say, such a storage medium is a computer-readable storage medium. Then, the computer (or CPU or MPU) of the system or device reads and executes the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the function of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.
1:超音波診断装置 102:超音波プローブ 106:受信信号処理ブロック
205:推定演算ブロック 405:学習済みモデル
1: Ultrasonic diagnostic device 102: Ultrasonic probe 106: Received signal processing block 205: Estimated calculation block 405: Trained model
Claims (15)
1つの送信波形の超音波の送受信によって得られる受信信号に基づく第1のデータと、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づく第2のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による1つの送信波形の超音波の送受信によって得られる受信信号に基づく第3のデータから、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づくデータを推定する推定演算部と、
を有することを特徴とする超音波診断装置。 An ultrasonic probe that sends and receives ultrasonic waves to the subject,
Using training data including first data based on a received signal obtained by transmitting and receiving ultrasonic waves of one transmission waveform and second data based on received signals obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms. By transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms from the third data based on the received signal obtained by transmitting and receiving ultrasonic waves of one transmission waveform by the ultrasonic probe using the machine-learned model. An estimation calculation unit that estimates data based on the obtained received signal,
An ultrasonic diagnostic apparatus characterized by having.
請求項1に記載の超音波診断装置。 The model is trained using training data in which data based on signals obtained by reducing fundamental frequency components from a plurality of received signals obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms is used as correct answer data.
The ultrasonic diagnostic apparatus according to claim 1.
請求項1または2に記載の超音波診断装置。 It further has an image generation unit that generates an estimated image corresponding to a harmonic image obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms from the data estimated by the estimation calculation unit.
The ultrasonic diagnostic apparatus according to claim 1 or 2.
前記推定演算部は、前記モデルを用いて、前記超音波探触子による1つの送信波形の超音波の送受信によって得られる受信信号に基づく第3のデータから、前記高調波画像に相当する推定画像を推定する、
請求項1から3のいずれか1項に記載の超音波診断装置。 Arithmetic processing that extracts harmonic components from a plurality of received signals based on reflected ultrasonic waves generated by transmitting ultrasonic waves with different phases of the transmitted waveform and generates a harmonic image based on the harmonic components. Has more parts,
Using the model, the estimation calculation unit uses the model to obtain an estimation image corresponding to the harmonic image from the third data based on the received signal obtained by transmitting and receiving ultrasonic waves of one transmission waveform by the ultrasonic probe. To estimate,
The ultrasonic diagnostic apparatus according to any one of claims 1 to 3.
前記高調波画像、および、複数の前記推定画像を表示装置に表示する、
請求項3または4に記載の超音波診断装置。 The estimation calculation unit inputs a plurality of third data based on the received signal obtained by transmitting and receiving ultrasonic waves of one transmission waveform by the ultrasonic probe into the model, and estimates corresponding to the harmonic image. Estimate multiple images and
Displaying the harmonic image and a plurality of the estimated images on a display device.
The ultrasonic diagnostic apparatus according to claim 3 or 4.
前記制御部は、前記推定画像の表示のオンオフ、および、前記高調波画像の表示のオンオフの少なくともいずれかが異なる複数の表示モードを有する、
請求項4または5に記載の超音波診断装置。 It also has a control unit that controls the display image output to the display device.
The control unit has a plurality of display modes in which at least one of the on / off of the display of the estimated image and the on / off of the display of the harmonic image are different.
The ultrasonic diagnostic apparatus according to claim 4 or 5.
請求項6に記載の超音波診断装置。 Further, the user further has an input means capable of individually designating the on / off of the display of the estimated image and the on / off of the display of the harmonic image.
The ultrasonic diagnostic apparatus according to claim 6.
請求項6または7に記載の超音波診断装置。 The control unit displays both the estimated image and the harmonic image when the image quality of the harmonic image is higher than the threshold value, and when the image quality of the harmonic image is lower than the threshold value, the harmonic image is displayed. Display the estimated image without displaying the wave image,
The ultrasonic diagnostic apparatus according to claim 6 or 7.
請求項6から8のいずれか1項に記載の超音波診断装置。 The control unit displays the estimated image and the harmonic image side by side.
The ultrasonic diagnostic apparatus according to any one of claims 6 to 8.
請求項3から9のいずれか1項に記載の超音波診断装置。 The fundamental frequency of the ultrasonic wave transmitted by the ultrasonic probe is lower than the center frequency of the ultrasonic probe.
The ultrasonic diagnostic apparatus according to any one of claims 3 to 9.
請求項1または2に記載の超音波診断装置。 The first data is data based on a received signal that receives reflected ultrasonic waves generated by transmission of ultrasonic waves having the central frequency of the ultrasonic probe as a fundamental frequency.
The ultrasonic diagnostic apparatus according to claim 1 or 2.
請求項11に記載の超音波診断装置。 The harmonic of the center frequency of the ultrasonic probe is not included in the effective frequency band of the ultrasonic probe.
The ultrasonic diagnostic apparatus according to claim 11.
1つの送信波形の超音波の送受信によって得られる第1のデータを入力データ、複数の異なる送信波形の超音波の送受信によって得られる第2のデータを正解データ、として含む学習データを用いて、前記モデルの機械学習を行う学習部を有する、
ことを特徴とする学習装置。 A learning device that performs machine learning of a model used in the estimation calculation unit of the ultrasonic diagnostic apparatus according to any one of claims 1 to 12.
The learning data including the first data obtained by transmitting and receiving ultrasonic waves of one transmission waveform as input data and the second data obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms as correct answer data is used. Has a learning unit that performs machine learning of models,
A learning device characterized by that.
1つの送信波形の超音波の送受信によって得られる第1のデータと、複数の異なる送信波形の超音波の送受信によって得られる第2のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記送受信ステップにおける1つの送信波形の超音波の送受信によって得られる第3のデータから、複数の異なる送信波形の超音波の送受信によって得られるデータを推定する推定演算ステップと、
を含むことを特徴とする画像処理方法。 Sending and receiving steps to send and receive ultrasonic waves to the subject,
Using a machine-learned model using training data including first data obtained by transmitting and receiving ultrasonic waves of one transmission waveform and second data obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms. The estimation calculation step of estimating the data obtained by transmitting and receiving ultrasonic waves of a plurality of different transmission waveforms from the third data obtained by transmitting and receiving ultrasonic waves of one transmission waveform in the transmission / reception step.
An image processing method comprising.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020009885A JP7395367B2 (en) | 2020-01-24 | 2020-01-24 | Ultrasonic diagnostic equipment, image processing methods, learning devices and programs |
US17/150,923 US12016729B2 (en) | 2020-01-24 | 2021-01-15 | Ultrasonic diagnostic apparatus, learning apparatus, and image processing method |
EP21152761.9A EP3854312A1 (en) | 2020-01-24 | 2021-01-21 | Ultrasonic diagnostic apparatus, learning apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020009885A JP7395367B2 (en) | 2020-01-24 | 2020-01-24 | Ultrasonic diagnostic equipment, image processing methods, learning devices and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021115211A true JP2021115211A (en) | 2021-08-10 |
JP7395367B2 JP7395367B2 (en) | 2023-12-11 |
Family
ID=77175449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009885A Active JP7395367B2 (en) | 2020-01-24 | 2020-01-24 | Ultrasonic diagnostic equipment, image processing methods, learning devices and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7395367B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003230559A (en) * | 2002-02-08 | 2003-08-19 | Toshiba Corp | Ultrasonic diagnostic equipment |
WO2011152260A1 (en) * | 2010-06-04 | 2011-12-08 | 株式会社日立メディコ | Ultrasound diagnosis device |
WO2019166332A1 (en) * | 2018-02-27 | 2019-09-06 | Koninklijke Philips N.V. | Ultrasound system with a neural network for producing images from undersampled ultrasound data |
JP2020179029A (en) * | 2019-04-26 | 2020-11-05 | キヤノンメディカルシステムズ株式会社 | Medical image processing device, ultrasound diagnostic device, and method for creating learned model |
-
2020
- 2020-01-24 JP JP2020009885A patent/JP7395367B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003230559A (en) * | 2002-02-08 | 2003-08-19 | Toshiba Corp | Ultrasonic diagnostic equipment |
WO2011152260A1 (en) * | 2010-06-04 | 2011-12-08 | 株式会社日立メディコ | Ultrasound diagnosis device |
WO2019166332A1 (en) * | 2018-02-27 | 2019-09-06 | Koninklijke Philips N.V. | Ultrasound system with a neural network for producing images from undersampled ultrasound data |
JP2020179029A (en) * | 2019-04-26 | 2020-11-05 | キヤノンメディカルシステムズ株式会社 | Medical image processing device, ultrasound diagnostic device, and method for creating learned model |
Also Published As
Publication number | Publication date |
---|---|
JP7395367B2 (en) | 2023-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5404141B2 (en) | Ultrasonic device and control method thereof | |
JP5134787B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
JP7370903B2 (en) | Ultrasonic diagnostic equipment, learning equipment, image processing methods and programs | |
US10980515B2 (en) | Acoustic wave processing apparatus, signal processing method, and program for acoustic wave processing apparatus | |
JP4764209B2 (en) | Ultrasonic signal analysis apparatus, ultrasonic signal analysis method, ultrasonic analysis program, ultrasonic diagnostic apparatus, and control method of ultrasonic diagnostic apparatus | |
JP7242409B2 (en) | MEDICAL IMAGE PROCESSING DEVICE, ULTRASOUND DIAGNOSTIC DEVICE, AND LEARNED MODEL CREATION METHOD | |
JP7305438B2 (en) | Analysis device and program | |
JP2008073423A (en) | Ultrasonic diagnostic apparatus, diagnostic parameter measuring device, and diagnostic parameter measuring method | |
JP2007117168A (en) | Ultrasonic diagnostic apparatus | |
JP5269517B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
JP7395367B2 (en) | Ultrasonic diagnostic equipment, image processing methods, learning devices and programs | |
KR20100016731A (en) | Ultrasound system and method for processing ultrasound data considering scan conversion | |
JP7419081B2 (en) | Ultrasonic diagnostic equipment, image processing method, image processing method and program | |
JP7387461B2 (en) | Ultrasonic diagnostic equipment, learning equipment, image processing methods and programs | |
US12016729B2 (en) | Ultrasonic diagnostic apparatus, learning apparatus, and image processing method | |
JP7455696B2 (en) | Ultrasonic diagnostic equipment, learning equipment, image processing methods and programs | |
JP7346314B2 (en) | Ultrasonic diagnostic equipment, learning equipment, image processing methods and programs | |
JP6008814B2 (en) | Image analysis system, image analysis method, image analysis program, and ultrasonic diagnostic apparatus | |
JP6793502B2 (en) | Ultrasonic diagnostic equipment | |
JP2005245479A (en) | Ultrasonic diagnostic apparatus | |
JP2020069301A (en) | Ultrasonic diagnostic device | |
JP2019097794A (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and program of the same | |
JP2019097795A (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and program of the same | |
JP2013244138A (en) | Ultrasonic diagnostic apparatus and sound velocity display method | |
JP2024054939A (en) | Ultrasonic diagnostic apparatus, ultrasonic image generation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7395367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |