JP2020179029A - 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法 - Google Patents

医用画像処理装置、超音波診断装置及び学習済モデルの作成方法 Download PDF

Info

Publication number
JP2020179029A
JP2020179029A JP2019085933A JP2019085933A JP2020179029A JP 2020179029 A JP2020179029 A JP 2020179029A JP 2019085933 A JP2019085933 A JP 2019085933A JP 2019085933 A JP2019085933 A JP 2019085933A JP 2020179029 A JP2020179029 A JP 2020179029A
Authority
JP
Japan
Prior art keywords
data set
image
scanning line
data
ultrasonic waves
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019085933A
Other languages
English (en)
Other versions
JP7242409B2 (ja
Inventor
泰徳 本庄
Yasunori Honjo
泰徳 本庄
啓太 米森
Keita Yonemori
啓太 米森
正毅 渡辺
Masaki Watanabe
正毅 渡辺
優子 高田
Yuko Takada
優子 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019085933A priority Critical patent/JP7242409B2/ja
Priority to US16/856,153 priority patent/US11568535B2/en
Publication of JP2020179029A publication Critical patent/JP2020179029A/ja
Application granted granted Critical
Publication of JP7242409B2 publication Critical patent/JP7242409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52036—Details of receivers using analysis of echo signal for target characterisation
    • G01S7/52038—Details of receivers using analysis of echo signal for target characterisation involving non-linear properties of the propagation medium or of the reflective target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nonlinear Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】診断に有用な情報を効率的に得ること。【解決手段】実施形態に係る医用画像処理装置は、処理部を備える。処理部は、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットを疑似的に表す出力データセットを生成する学習済モデルに対して、第１のデータセットを入力することで、出力データセットを生成する。【選択図】図１

Description

本発明の実施形態は、医用画像処理装置、超音波診断装置及び学習済モデルの作成方法に関する。
超音波診断装置において、位相、偏向角、周波数等の送信パラメータを変化させながら、走査線毎に超音波を複数回送受信し、得られた同一走査線に関する受信信号を合成することで、高画質な画像を得る技術がある。このような技術の例として、例えば、ＴＨＩ（Ｔｉｓｓｕｅ Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎ）や、Ｄｉｆｆ−ＴＨＩ（Ｄｉｆｆｅｒｅｎｔｉａｌ ｔｉｓｓｕｅ Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎｇ）等の方法がある。
しかし、これら、一つの走査線あたり複数回超音波を送受信して高次高調波の信号を抽出する技術においては、一つの走査線あたり超音波を１回送受信する技術と比較して、一つのフレームの画像を得るために要する時間が大きくなる。この結果、フレームレートは低くなる。つまり、上記の例の場合、画質とフレームレートは、トレードオフの関係にある。
加えて、心臓など高速で動く部位においては、一つの走査線あたり超音波を複数回送受信した場合、次の超音波を送受信するまでに部位が動いてしまい、画質が劣化する。そのため、これらの部位においては、一つの走査線あたり超音波を複数回送受信して撮影するのが難しい場合がある。
米国特許出願公開第２０１５／０３２４９５７号明細書
本発明が解決しようとする課題は、診断に有用な情報を効率的に得ることである。
実施形態に係る医用画像処理装置は、処理部を備える。処理部は、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットを疑似的に表す出力データセットを生成する学習済モデルに対して、第１のデータセットを入力することで、出力データセットを生成する。
図１は、実施形態に係る医用画像処理装置及び超音波診断装置を示す図である。 図２は、第１の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。 図３は、第１の実施形態に係る医用画像処理装置の行う処理について説明した図である。 図４は、第１の実施形態に係る医用画像処理装置の行う処理について説明した図である。 図５は、第１の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。 図６は、第１の実施形態の第１の変形例に係る医用画像処理装置の行う処理について説明した図である。 図７は、第１の実施形態の第３の変形例に係る医用画像処理装置の行う処理について説明した図である。 図８は、第１の実施形態の第３の変形例に係る医用画像処理装置の行う処理について説明した図である。 図９は、第２の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。 図１０は、第２の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。 図１１は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。 図１２は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複する説明は省略する。
（第１の実施形態）
まず、第１の実施形態に係る医用画像処理装置及び超音波診断装置の構成について説明する。図１は、第１の実施形態に係る医用画像処理装置及び超音波診断装置の構成例を示すブロック図である。図１に例示するように、第１の実施形態に係る超音波診断装置は、超音波プローブ５と、超音波診断装置本体１０とを有する。超音波診断装置本体１０は、送信回路９と、受信回路１１と、医用画像処理装置１００とを有する。
超音波プローブ５は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する超音波診断装置本体１０が有する送信回路９から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ５が有する複数の圧電振動子は、被検体Ｐからの反射波を受信して電気信号（反射波信号）に変換する。また、超音波プローブ５は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ５は、超音波診断装置本体１０と着脱自在に接続される。
超音波プローブ５から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波として超音波プローブ５が有する複数の圧電振動子にて受信され、反射波信号に変換される。反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合、反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
なお、実施形態は、超音波プローブ５が、被検体Ｐを２次元で走査する１Ｄアレイプローブであっても、被検体Ｐを３次元で走査するメカニカル４Ｄプローブや２Ｄアレイプローブであっても適用可能である。
超音波診断装置本体１０は、超音波プローブ５から受信した反射波信号に基づいて超音波画像データを生成する装置である。図１に示す超音波診断装置本体１０は、２次元の反射波信号に基づいて２次元の超音波画像データを生成可能であり、３次元の反射波信号に基づいて３次元の超音波画像データを生成可能な装置である。ただし、実施形態は、超音波診断装置１０が、２次元データ専用の装置である場合であっても適用可能である。
超音波診断装置１０は、図１に例示するように、送信回路９と、受信回路１１と、医用画像処理装置１００とを備える。
送信回路９及び受信回路１１は、後述する制御機能１１０ｙを有する処理回路１１０の指示に基づいて、超音波プローブ５が行なう超音波送受信を制御する。送信回路９は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ５に駆動信号を供給する。パルス発生器は、所定のパルス繰り返し周波数（ＰＲＦ：Pulse Repetition Frequency）で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ５から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ５に駆動信号（駆動パルス）を印加する。
すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。また、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、超音波送信の深さ方向における集束点（送信フォーカス）の位置を制御する。
なお、送信回路９は、後述する処理回路１１０の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。
また、受信回路１１は、アンプ回路、Ａ／Ｄ（Analog／Digital）変換器、受信遅延回路、加算器、直交検波回路等を有し、超音波プローブ５から受信した反射波信号に対して各種処理を行って受信信号（反射波データ）を生成する。アンプ回路は、反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換する。受信遅延回路は、デジタルデータに受信指向性を決定するのに必要な受信遅延時間を与える。加算器は、受信遅延回路により受信遅延時間が与えられた反射波信号の加算処理を行う。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。そして、直交検波回路は、加算器の出力信号をベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と直交信号（Ｑ信号、Ｑ：Quadrature-phase）とに変換する。そして、直交検波回路は、Ｉ信号及びＱ信号（以下、ＩＱ信号と記載する）を受信信号（反射波データ）として処理回路１１０に送信する。なお、直交検波回路は、加算器の出力信号を、ＲＦ（Radio Frequency）信号に変換した上で、処理回路１１０に送信しても良い。ＩＱ信号及びＲＦ信号は、位相情報を有する受信信号となる。
送信回路９は、被検体Ｐ内の２次元領域を走査する場合、超音波プローブ５から２次元領域を走査するための超音波ビームを送信させる。そして、受信回路１１は、超音波プローブ５から受信した２次元の反射波信号から２次元の受信信号を生成する。また、送信回路９は、被検体Ｐ内の３次元領域を走査する場合、超音波プローブ５から３次元領域を走査するための超音波ビームを送信させる。そして、受信回路１１は、超音波プローブ５から受信した３次元の反射波信号から３次元の受信信号を生成する。受信回路１１は、反射波信号を基に、受信信号を生成し、生成した受信信号を、処理回路１１０に送信する。
送信回路９は、超音波プローブ５に、所定の送信位置（送信走査線）から、超音波ビームを送信させる。受信回路１１は、超音波プローブ５から、所定の受信位置（受信走査線）において、送信回路９が送信した超音波ビームの反射波による信号を受信する。並列同時受信を行わない場合、送信走査線と受信走査線は同一の走査線になる。一方、並列同時受信を行う場合には、送信回路９が１回の超音波ビームを１つの送信走査線で超音波プローブ５に送信させると、受信回路１１は、送信回路９が超音波プローブ１に送信させた超音波ビームに由来する反射波による信号を、複数本の受信ビームとして複数の所定の受信位置（受信走査線）で超音波プローブ５を通じて同時に受信する。
医用画像処理装置１００は、送信回路９及び受信回路１１に接続され、受信回路１１から受信した信号の処理、送信回路９の制御とともに、学習済モデルの生成、学習済モデルの実行、及び様々な画像処理を実行する。医用画像処理装置１００は、処理回路１１０と、メモリ１３２と、入力装置１３４と、ディスプレイ１３５とを備える。処理回路１１０は、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ及び生成機能１１０ｚとを備える。
実施形態では、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ、生成機能１１０ｚにて行われる各処理機能及び学習済モデルは、コンピュータによって実行可能なプログラムの形態でメモリ１３２へ記憶されている。処理回路１１０はプログラムをメモリ１３２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１０は、図１の処理回路１１０内に示された各機能を有することになる。また、学習済モデルに対応するプログラムを読み出した状態の処理回路１１０は、当該学習済モデルに従った処理を行うことができる。なお、図１においては処理回路１１０の機能が単一の処理回路により実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよい。また、単一の処理回路により、処理回路１１０、の有する機能のうち２以上の機能が実現されてもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
なお、図１において、処理回路１１０、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ、及び生成機能１１０ｚは、それぞれ処理部、Ｂモード処理部、ドプラ処理部、作成部、学習部、受付部、制御部、生成部の一例である。生成機能１１０ｚは、後述する合成部としての機能も更に備える。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。
また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。従って、例えばメモリ１３２に学習済モデルが保存される代わりに、プロセッサの回路内に学習済モデルに係るプログラムが直接組み込まれていてもよい。また、超音波診断装置本体１０に内蔵される送信回路９、受信回路１１等は、集積回路等のハードウェアで構成されることもあるが、ソフトウェア的にモジュール化されたプログラムである場合もある。
処理回路１１０は、受信回路１１から受信した受信信号に対して、各種の信号処理を行なう処理部である。処理回路１１０は、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ及び生成機能１１０ｚを有する。
処理回路１１０は、Ｂモード処理機能１１０ａにより、受信回路１１からデータを受信し、対数増幅処理、包絡線検波処理、対数圧縮処理等を行なって、信号強度が輝度（Ｂｒｉｇｈｔｎｅｓｓ）の明るさで表現されるデータ（Ｂモードデータ）を生成する。
また、処理回路１１０は、ドプラ処理機能１１０ｂにより、受信回路１１から受信した受信信号（反射波データ）から速度情報を周波数解析し、ドプラ効果による速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。
なお、図１に例示するＢモード処理機能１１０ａ及びドプラ処理機能１１０ｂにおいては、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。
処理回路１１０は、インタフェース機能１１０ｘにより、受信回路１１やメモリ１３２から、生成機能１１０ｚによる画像生成のためのデータや画像等を取得する。
処理回路１１０は、訓練データ生成機能１１０ｃにより、インタフェース機能１１０ｙにより取得されたデータや画像に基づいて、学習を行うための訓練データを生成する。訓練データ生成機能１１０ｃａ及び学習機能１１０ｄの処理の詳細については後述する。
処理回路１１０は、学習機能１１０ｄにより、訓練データ作成機能１１０ｃにより生成された訓練データを用いて学習を行い、学習済モデルを生成する。
処理回路１１０は、制御機能１１０ｙにより、超音波診断装置の処理全体を制御する。具体的には、処理回路１１０は、制御機能１１０ｙにより、入力装置１３４を介して操作者から入力された各種設定要求や、メモリ１３２から読込んだ各種制御プログラム及び各種データに基づき、送信回路９、受信回路１１、処理回路１１０の処理を制御する。また、処理回路１１０は、制御機能１１０ｙにより、メモリ１３２が記憶する表示用の超音波画像データをディスプレイ１３５にて表示するように制御する。
処理回路１１０は、生成機能１１０ｚにより、Ｂモード処理機能１１０ａ及びドプラ処理機能１１０ｂにより生成されたデータから超音波画像データを生成する。処理回路１１０は、生成機能１１０ｚにより、Ｂモード処理機能１１０ａにより生成された２次元のＢモードデータから反射波の強度を輝度で表した２次元Ｂモード画像データを生成する。また、処理回路１１０は、生成機能１１０ｚにより、ドプラ処理機能１１０ｂにより生成された２次元のドプラデータから移動体情報を表す２次元ドプラ画像データを生成する。２次元ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。
また、処理回路１１０は、生成機能１１０ｚにより、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。また、処理回路１１０は、生成機能１１０ｚにより、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、処理回路１１０は、生成機能１１０ｚにより、ボリュームデータをディスプレイ１３５にて表示するための２次元画像データを生成するために、ボリュームデータに対して各種レンダリング処理を行なう。
また、処理回路１１０は、生成機能１１０ｚにより、訓練データ生成機能１１０ｃ及び学習機能１１０ｄを用いて行われた処理の結果に基づいて画像を生成する。また、処理回路１１０は、生成機能１１０ｚにより、学習機能１１０ｄにより生成された学習済モデルを入力画像に対して適用し、学習済モデルの適用結果に基づいて画像を生成する。
メモリ１３２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等で構成される。メモリ１３２は、処理回路１１０が生成した表示用の画像データ、訓練用の画像データ等のデータを記憶するメモリである。また、メモリ１３２は、Ｂモード処理機能１１０ａやドプラ処理機能１１０ｂにおいて生成されたデータを記憶することも可能である。メモリ１３２が記憶するＢモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、処理回路１１０を経由して表示用の超音波画像データとなる。また、メモリ１３２は、受信回路１１が出力した受信信号（反射波データ）を記憶することも可能である。
加えて、メモリ１３２は、必要に応じて、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。
入力装置１３４は、操作者からの各種指示や情報入力を受け付ける。入力装置１３４は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。
ディスプレイ１３５は、制御機能１１０ｙ等による制御の下、撮像条件の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や、生成機能１１０ｚ等によって生成された画像等を表示する。ディスプレイ１３５は、例えば、液晶表示器等の表示デバイスである。ディスプレイ１３５は、表示部の一例である。ディスプレイ１３５は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有する。
続いて、実施形態に係る背景について簡単に説明する。
超音波診断装置において、位相、偏向角、周波数等の送信パラメータを変化させながら、走査線毎に超音波を複数回送受信し、得られた同一走査線に関する受信信号を合成することで、高画質な画像を得る技術がある。変化させるパラメータが位相である例として、ＴＨＩ（Ｔｉｓｓｕｅ Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎ）や、Ｄｉｆｆ−ＴＨＩ（Ｄｉｆｆｅｒｅｎｔｉａｌ ｔｉｓｓｕｅ Ｈａｒｍｏｎｉｃ Ｉａｍａｇｉｎｇ）の方法がある。
しかし、これら、一つの走査線あたり超音波を複数回送受信する技術においては、一つの走査線あたり超音波を１回送受信する技術と比較して、一つのフレームの画像を得るために要する時間が大きくなる。（フレームレートは低くなる）。つまり、上記の例の場合、画質とフレームレートは、トレードオフの関係にある。
加えて、心臓など高速で動く部位においては、一つの走査線あたり超音波を複数回送受信した場合、次の超音波を送受信するまでに部位が動いてしまい、画質が劣化する。そのため、これらの部位においては、一つの走査線あたり超音波を複数回送受信するのが難しい場合がある。
かかる背景に鑑みて、実施形態に係る医用画像処理装置１００においては、処理回路１１０は、学習機能１１０ｄにより、各走査線について第１の回数ずつ超音波を送受信して得られた第１の画像ないし信号と、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２の画像ないし信号とをそれぞれ入力画像ないし信号、出力画像ないし信号として、学習を行い、学習済モデルを生成する。これにより、各走査線において第１の回数ずつ超音波送信をして得られた第１の画像ないし信号を基に、各走査線において第１の回数より大きい回数である第２の回数ずつ超音波送信をして得られた画像に相当する画像を得ることができる。
かかる構成について、図２〜図８を用いて説明する。本例では、関連する入出力データは、画像データを用いて説明するが、必ずしも画像データに限定せず、画像構成する前に取得される、RF信号データ群やIQデータ群を用いても良い。
はじめに、図２を用いて、処理回路１１０が訓練データ作成機能１１０ｃ及び学習機能１１０ｄにより行う、学習済モデルの生成手順について説明する。図２は、第１の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。ここで、例えば第１の回数は１であり、第２の回数は２である。また、送信パラメータとは、例えば送信する超音波の位相である。上述の例では、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。なお、送信する超音波の位相を変化させることは、この超音波に含まれる全ての周波数成分の位相を変化させるということに限定されず、少なくとも１つの周波数成分の位相を変化させることを含む。また、送信する超音波の位相を変化させることは、直接的に送信する超音波の位相を制御することに限定されず、送信する超音波の位相を結果的に変化させることを含む。一例として、圧電振動子に適用する駆動信号の形状（波形）を変えることは、送信する超音波の位相を結果的に変化させ得る。
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群を含む第２の受信信号群として受信させる。第２の受信信号群は、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する受信信号群であり、後述の処理において、例えば非線形成分画像を生成するために使用される受信信号群である。同時に、受信回路９が超音波プローブ５に受信させた第２の受信信号群の中には、後述の処理において、例えば線形成分画像を生成するために使用される第１の受信信号群が含まれる。
例えば、図３に示されるように、送信回路９が、超音波プローブ５に各走査線について送信させる超音波の位相を、第１の超音波送信で初期位相を第１の位相、例えば０度で、第２の超音波送信で初期位相を第１の位相とは異なる第２の位相、例えば１８０度で、各走査線で２回ずつ超音波を送信させた場合を考える。この場合、受信回路９は、超音波プローブ５に、図３に示されるように、初期位相が０度の超音波送信に対応する第１の超音波送受信からなる第１の受信信号群２０ａと、初期位相が１８０度の超音波送信に対応する第３の受信信号群２０ｂとを受信させる。ここで、第１の受信信号群２０ａ及び第３の受信信号群２０ｂは第２の受信信号群を構成し、ＴＨＩ（Ｔｉｓｓｕｅ Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎｇ）画像である第２の画像２を生成するために用いられる。また、第１の受信信号群２０ａは、基本波画像である第１の画像１を生成するために用いられる。なお、ここでいう基本波画像とは、高次高調波成分が０であることを必ずしも要求するものではなく、実施形態において、基本波画像の中に、少量の高次高調波成分が混じっていても良い。なお、以下、送信回路９が超音波プローブ５に送信させる超音波が、単一の周波数成分からなる場合について説明する。
図２に戻り、ステップＳ１１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群２０ａに基づいて、線形成分画像であり基本波画像である第１の画像１を、線形成分画像データセットである第１のデータセットとして生成する。第１の受信信号群２０ａは、各走査線において第１の回数ずつ超音波を送受信して得られたデータに対応する。従って、第１の画像は、各走査線について第１の回数ずつ超音波を送受信して得られた画像である。
なお、以下、「画像データセット」とは、画像に係るデータセットであって、当該データセットから、画像を直接的、間接的に構成することができるような様々な種類のデータセットのことを指す。従って、画像それ自身は画像データセットのとりうるデータ形態の一例であり、画像データセットの一例に含まれるが、画像データセットの有するデータ形態はそれに限られず、一見すると画像とは異なる形態のデータであっても、適切な処理のもと画像を構成することができるような種々のデータセットを含む。
また、ステップＳ１１０において処理回路１１０が訓練データ作成機能１１０ｃにより第１の画像１を生成する代わりに、処理回路１１０は、例えばインタフェース機能１１０ｘにより、メモリ１３２又は外部の記憶装置から、第１の受信信号群２０ａに基づく第１の線形成分画像又は非線形成分画像を第１の画像１として取得してもよい。
続いて、ステップＳ１２０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群２０ａと、第１の受信信号群２０ａとは異なる複数の第３走査線データセットである第３の受信信号群２０ｂ等から構成され、第１の受信信号群２０ａを含む複数の第２走査線データセットである第２の受信信号群に基づいて、非線形成分画像でありＴＨＩ画像である第２の画像２を、非線形成分画像データセットである第２のデータセットとして生成する。第２の画像２は、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送受信することで得られる画像である。非線形成分画像データセットである第２の画像２は、複数の第２走査線データセットである第２の受信信号群を走査線ごとに合成することで生成され、例えば第２の受信信号群を構成する各受信信号に含まれる２次以上の高周波成分、差音成分、及び和音成分のうち少なくとも１つに基づく画像データセットである。図３の例では、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群を、走査線ごとに重み付け加算することで、第２の画像２を生成する。
第２の画像２は、第１の画像１と比較して、各走査線あたりのデータ量が多く、例えばより高次高調波の成分まで描出された画像となっており、より高画質な画像となっている。
なお、ステップＳ１２０において、処理回路１１０が訓練データ作成機能１１０ｃにより第２の画像２を第２のデータセットとして生成する代わりに、処理回路１１０は、例えばインタフェース機能１１０ｘにより、メモリ１３２又は外部の記憶装置から、第１の受信信号群を含む第２の受信信号群に基づく非線形成分画像（ステップＳ１１０において非線形成分画像を取得した場合には、当該非線形成分画像とは異なる非線形成分画像）を第２の画像２として取得してもよい。
続いて、ステップＳ１３０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータセット及び第２のデータをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。具体的には、処理回路１１０は、学習機能１１０ｄにより、第１の画像１及び第２の画像２をそれぞれ入力データ、出力データの組として、例えばニューラルネット等を用いて学習を実行して学習済モデルを生成する。例えば、処理回路１１０は、学習機能１１０ｄにより、学習済モデルを、複数の第１走査線データセットである第１の受信信号群２０ａに基づく線形成分画像データセットである線形成分画像である第１の画像１を入力、第１の受信信号群２０ａを含み、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する複数の第２走査線データセットである第２の受信信号群に基づく非線形成分画像データセットである非線形成分画像である第２の画像２を出力とした学習により作成する。すなわち、処理回路１１０は、学習機能１１０ｄにより、線形成分画像（又は非線形画像）を入力側の学習データと、非線形画像（入力側の学習データとして非線形画像を取得した場合には、当該非線形画像とは異なる非線形画像）を出力側の学習データとして使用し、学習済モデルを作成する。かかる学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像が第１のデータセットとして入力されることで、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセット（例えば画像）を疑似的に表す出力画像を出力データセットとして生成する。
例えば、図４に示されているように、処理回路１１０は、学習機能１１０ｄにより、第１のデータセットの一例である第１の画像１及び第２のデータセットの一例である第２の画像２をそれぞれニューラルネットワーク３０に対する入力データ、出力データの組として学習を実行して、ニューラルネットワーク３０の重みを調整することにより、学習済モデルを生成する。
このようにして生成された学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットである第１の画像１に基づいて、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットである第２の画像２を疑似的に表す出力データセットである画像を生成する学習済モデルになっている。ここで生成された学習済モデルは、学習済モデルの実行時、入力画像に基づいて処理回路１１０により処理が行われることにより、方位分解能及び距離分解能が入力画像よりも高い出力画像を生成する。
なお、処理回路１１０は、学習機能１１０ｄにより、ステップＳ１３０の学習済モデルの生成時、画像全体を用いて学習を行ってもよいし、第１の画像１及び第２の画像２のうちの一部分を抽出して、その部分に関してのみ学習を行ってもよい。処理回路１１０が学習機能１１０ｄにより、ステップＳ１３０における学習済モデルの生成時、画像のうち一部分を抽出する場合、ランダム抽出により当該一部分を生成してもよいし、またパターンマッチング等を用いて特定の部位を抽出してもよい。
例えば、処理回路１１０は、学習機能１１０ｄにより、例えばあらかじめ設定された解析窓を用いて、学習済モデルを生成してもよい。例えば、処理回路１１０は、学習機能１１０ｄにより、第１の画像１及び第２の画像２のそれぞれの画像のうち、設定された解析窓の中にあるデータのみを学習対象とし、設定された解析窓の外になるデータを学習の対象としない。処理回路１１０は、例えばインタフェース機能１１０ｘにより、かかる解析窓の設定に関する入力をユーザから受け付けても良い。
なお、特定の部位を抽出する場合において、学習時に用いられる画像の部位と、学習済モデルの実行時に用いられる画像の部位とは必ずしも同じである必要はなく、学習時に用いられる画像の部位と、学習済モデルの実行時に用いられる画像の部位とは異ならせることができる。
一例として、処理回路１１０は、学習機能１１０ｄにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位以外の部位において学習を行う。例えば、第処理回路１１０は、学習機能１１０ｄにより、心臓以外の部位の画像を線形成分画像である第１の画像及び非線形成分画像である第２の画像として用いて学習を行う。続いて、学習済モデルの実行時、処理回路１１０は、生成機能１１０ｚにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位の画像を学習済モデルに入力する。
例えば、学習済モデルの実行時、処理回路１１０は、生成機能１１０ｚにより、心臓を含む画像を、学習済モデルに入力画像として入力する。換言すると、学習済モデルの実行時において入力画像は心臓を含む一方で、学習に用いる線形成分画像である第１の画像１及び非線形成分画像である第２の画像２は、心臓を含まない。換言すると、学習済モデルの実行時における第１のデータセットは、心臓を含む領域に対する超音波の送受信により得られる一方で、学習に用いる線形成分画像である第１の画像１及び非線形成分画像である第２の画像２は、心臓を含まない。このことにより、処理回路１１０は、生成機能１１０ｚにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位、例えば心臓の部位における、複数回の超音波送信により得られた画像に相当する画像を、出力画像として得ることができる。
また、処理回路１１０は、学習機能１１０ｄにより、第１の画像及び第２の画像を部位毎に分類し、異なる部位毎に別々に学習を行っても良い。また、ステップＳ１３０において、出力データセットのデータ形式は、画像に限られない。例えば、処理回路１１０は、学習機能１１０ｄにより、走査線について第１の回数だけ超音波を送受信して得られる第１の走査線データセットに基づいて、当該走査線について第１の回数より多い第２の回数だけ超音波を送受信して得られる第２の走査線データセットを疑似的に表す出力データセットを生成する学習済モデルに対して、第１走査線データセットを入力することで、出力データセットを生成し、生成機能１１０ｚにより、当該出力データセットに基づいて画像を生成してもよい。
ステップＳ１３０における学習方法の一例として、処理回路１１０は、学習機能１１０ｄにより、逆誤差伝播法を用いて学習を実行して学習済モデルを生成する。また、処理回路１１０は、学習機能１１０ｄにより、自己符号化を用いた深層学習を行って学習を実行して学習済モデルを生成してもよい。
続いて、処理回路１１０が学習機能１１０ｄに基づいて生成した学習済モデルの実行について説明する。図５は、第１の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
はじめに、ステップＳ２１０において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像を第１のデータセットとして取得する。一例として、処理回路１１０は、インタフェース機能１１０ｘにより、メモリ１３２に保存されている医用画像を取得することにより、入力画像を取得する。なお、入力画像は、医用画像の全体に限定されない。例えば関心領域に対応する医用画像の一部であっても良い。この場合、処理回路１１０への負荷を低減することができ、例えば出力画像の生成に関するリアルタイム性を向上させることができる。
続いて、ステップＳ２２０において、処理回路１１０は、生成機能１１０ｚにより、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルに対して、処理回路１１０が生成機能１１０ｚによりステップＳ２１０で取得した第１のデータセットを入力することで、第２のデータセットを生成する。一例として、処理回路１１０は、生成機能１１０ｚにより、ステップＳ２１０で取得した入力画像と、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルとに基づいて、出力画像を生成する。ここで処理回路１１０が画像生成機能１１０ｄにより生成した出力画像は、各走査線について送信パラメータを変化させながら第２の回数ずつ超音波を送信することで得られる第２のデータセットである第２の画像２を疑似的に表す。例えば、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルは、ステップＳ２１０で取得した第１のデータセットである入力画像に基づいて、方位分解能及び距離分解能が第１のデータセットである入力画像より高い出力データセットである出力画像を生成する。
なお、処理回路１１０は、合成部としての生成機能１１０ｚにより、ステップＳ２１０で取得した第１のデータセットである入力画像と、ステップＳ２２０において生成された出力データセットである出力画像とを、距離方向の位置に応じた比率で合成して合成データセットである合成画像を更に得ても良い。
ここで、処理回路１１０が、生成機能１１０ｚにより、ステップＳ２１０で取得した入力画像と、ステップＳ２２０において生成された出力画像とを、距離方向の位置に応じた比率で合成する理由は以下の通りである。すなわち、例えば基本波成分画像と、２次高調波成分画像と、３次高調波成分画像とでは、距離方向の位置（深さ）に対する信号強度の減衰の大きさが異なる。例えば、高調波成分画像は、基本波成分画像と比較して、距離が深くなるにつれて信号強度が大きく減衰する。従って、処理回路１１０は、生成機能１１０ｚにより、例えば距離が浅いところで高調波成分画像の重みを大きくし、逆に距離が深いところで基本波成分画像の重みを大きくしながら画像を合成することで、全体としてＳＮ比の大きな画像を得ることができる。また、類似の理由から、処理回路１１０が学習機能１１０ｄにより、周波数帯域が異なる非線形成分の画像を出力側の学習データとして学習した学習済モデルを生成している場合、各学習済モデル（例えば２次高調波画像を出力側の学習データとして学習した学習済モデルＡ、３次高調波画像を出力画像の学習データとして学習した学習済モデルＢ）に入力画像を入力して生成された各出力画像（学習済モデルＡの出力画像、学習済モデルＢの出力画像）を、距離方向の位置に応じた比率で合成して合成画像を得ても良い。なお、この処理で得られた合成画像に対して、更に入力画像を合成しても良い。
以上述べたように、第１の実施形態に係る医用画像処理装置によれば、高画質な画像を得ることができる。
（第１の実施形態の第１の変形例）
なお、実施形態は上述の例に限られない。
これまでの例では、処理回路１１０が、学習機能１１０ｄにより、第１の受信信号群２０ａに基づく線形成分画像である第１の画像１を入力、第２の受信信号群に基づく非線形成分画像である第２の画像２を出力とする学習により、学習済モデルを生成する場合について説明した。しかしながら、実施形態における第１の画像１及び第２の画像２の例はこれに限られず、処理回路１１０は、学習機能１１０ｄにより、さまざまな第１の画像１及び第２の画像２を使用して、学習済モデルを生成してもよい。
かかる場合について、図６を用いて説明する。図６は、第１の実施形態の第１の変形例に係る医用画像処理装置の行う処理について説明した図である。
図６（ａ）は、第１の実施形態で説明した場合における第１の画像１及び第２の画像２の生成に対応する図である。かかる場合、処理回路１１０が、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づき線形成分画像であり基本波画像である第１の画像１を生成し、第１の受信信号群２０ａと、第３の受信信号群２０ｂ等で構成される第２の受信信号群に基づき非線形成分画像でありＴＨＩ画像である第２の画像２を生成する。すなわち、処理回路１１０は、学習機能１１０ｄにより、学習済モデルを、例えば、第１の位相で送信された超音波に対応する複数の第１走査線データセットである第１の受信信号群２０ａに基づく線形成分画像を入力、第２の受信信号群に基づく非線形成分画像を出力とした学習により作成する。しかしながら、実施形態はこれに限られない。
例えば、図６（ｂ）に示されるように、処理回路１１０は、第２の受信信号群に含まれるが第１の受信信号群には含まれない第３の受信信号群２０ｂに基づき線形成分画像であり基本波画像である第１の画像１を生成し、学習機能１１０ｄにより、生成された基本波画像１を入力画像として用いて学習済モデルを生成してもよい。すなわち、処理回路１１０は、学習機能１１０ｄにより、学習済モデルを、例えば、複数の第２走査線データセットである第２の受信信号群に含まれ、複数の第１走査線データセットである第１の受信信号群２０ａとは異なる、複数の第３走査線データセットである第３の受信信号群２０ｂに基づく別の線形成分画像データセットである線形成分画像を入力、非線形画像データセットである非線形成分画像を出力とした学習により作成してもよい。ここで、複数の第３走査線データセットである第３の受信信号群２０ｂは、第１の受信信号２０ａに係る送受信の位相である第１の位相とは異なる第２の位相で送信された超音波に対応する受信信号群である。
また、例えば図６（ｃ）に示されているように、処理回路１１０は、学習機能１１０ｄにより、第１の受信信号群２０ａに基づく線形成分画像と、第３の受信信号群２０ｂに基づく線形成分画像との両方を入力画像として学習を行ってもよい。これにより、入力側の学習データと出力側の学習データのペアをより多く確保することができ、より高性能な学習済モデルを生成することができる。
（第１の実施形態の第２の変形例）
図３では、第１の回数が１である場合について説明したが、実施形態は、第１の回数が１である場合に限られない。また、実施形態は、第１の画像１が線形成分画像である場合に限られない。一例として、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群に周波数フィルタを適用することにより、基本波成分を除去し非線形成分を抽出し、複数の第１走査線データセットである第１の受信信号群に基づく第１の非線形成分画像を第１のデータセットである第１の非線形成分画像データセットとして生成する。一方で、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群を含む複数の第２走査線データセットである第２の受信信号群を走査線毎に合成することで、第２の非線形成分画像を第２のデータセットである第２の非線形成分画像データセットとして生成する。一例として、第１の非線形成分画像は、２次高調波の画像であり、第２の非線形成分画像は、３次高調波の画像である。
かかるのち、処理回路１１０は、学習機能１１０ｄにより、複数の第１走査線データセットである第１の受信信号群に基づく第１の非線形成分画像データセットである第１の非線形成分画像を入力、複数の第１走査線データセットである第１の受信信号群を含む複数の第２走査線データセットである第２の受信信号群に基づく第２の非線形成分画像データセットである第２の非線形画像を出力とした学習により学習済モデルを生成してもよい。
ここで、第１の非線形成分画像も、第２の非線形成分画像も、非線形成分画像であることは、共通する。しかしながら、第１の非線形成分画像が、各走査線に対して第１の回数ずつ超音波を送受信して得られた画像を基にしているのに対して、第２の非線形成分画像は、各走査線に対して第１の回数より多い第２の回数ずつ超音波を送受信して得られた画像を基にしている。すなわち、この場合、複数の第２走査線データセットは、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する。従って、処理回路１１０は、学習機能１１０ｄにより、送信回数が少ない画像を基に送信回数が多い画像を推定する学習を行い、比較的低画質な第１の非線形成分画像を基に、比較的高画質な第２の非線形成分画像を疑似的に表す画像を生成することで、高画質な画像を生成することができる。
なお、第１の実施形態と同様に、処理回路１１０は、学習機能１１０ｄにより、心臓以外の部位の画像を第１の非線形成分画像及び第２の非線形成分画像として用いて学習を行い、続いて、学習済モデルの実行時、処理回路１１０は、生成機能１１０ｚにより、心臓を含む画像を、学習済モデルに入力画像として入力してもよい。かかる場合、学習済モデルの実行時において入力画像は心臓を含む一方で、学習に用いる第１の非線形成分画像及び第２の非線形成分画像は、心臓を含まない。換言すると、学習済モデルの実行時における第１のデータセットは、心臓を含む領域に対する超音波の送受信により得られ、すなわち第１のデータセットに含まれる画像データセットが心臓を含む一方で、学習に用いる線形成分画像データセットである線形成分画像である第１の画像１及び非線形成分画像データセットである非線形成分画像である第２の画像２は、心臓を含まない。このことにより、処理回路１１０は、生成機能１１０ｚにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位、例えば心臓の部位における、複数回の超音波送信により得られた画像に相当する画像を、出力画像として得ることができる。
（第１の実施形態の第３の変形例）
また、実施形態では、２レート送信すなわち２回の超音波送受信をひとかたまりの超音波送受信として処理を行う場合、かつ送受信される超音波が、単一周波数の場合について説明した。しかしながら、実施形態はこれに限られない。図７及び図８を用いて、かかる場合について説明する。図７及び図８は、第１の実施形態の第３の変形例に係る医用画像処理装置の行う処理について説明した図である。
まず、２レート送信の場合について説明する。
図７（ａ）に示されるように、送信回路９は、超音波プローブ５に、超音波送信を、第１の位相、例えば０度の初期位相で行わせ、第１の位相とは異なる第２の位相、例えば１８０度の初期位相で行わせる。これにより、受信回路１１は、これら２回の超音波送信それぞれに対応する受信信号を、超音波プローブ５を通じて受信する。
図７（ｂ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、単一の周波数成分ｆの超音波送信である場合を示している。かかる場合、送信回路９は、超音波プローブ５に、単一の周波数成分ｆで初期位相が０度の超音波送信及び、単一の周波数成分ｆで初期位相が１８０度の超音波送信を送信させる。受信回路１１は、超音波プローブ５を通じて、これら超音波送信に対応する受信信号を第１の受信信号群２０ａ及び第３の受信信号群２０ｂとして取得する。処理回路１１０は、生成機能１１０ｚにより、第１の受信信号群２０ａ及び第３の受信信号群２０ｂに対して所定の重み付け加算を行って倍音の周波数２ｆの周波数成分に対応する高次高調波成分の信号を抽出し、第２の画像２を生成する。例えば、処理回路１１０は、生成機能１１０ｚにより、受信した受信信号の和を取ることにより周波数２ｆの周波数成分に対応する高次高調波成分の信号を抽出し、非線形成分画像である第２の画像２を生成する。
しかしながら、実施形態は、送信回路９が超音波プローブ５に送信させる超音波送信が、単一の周波数成分ｆの超音波送信である場合に限られず、送信回路９が超音波プローブ５に送信させる超音波送信が、複数の周波数成分を持つ超音波送信であってもよい。
図７（ｃ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、複数の周波数成分を持つ超音波送信である場合を示している。図７（ｃ）において、ｆ１及びｆ２は、これら複数の周波数成分を示している。送信回路９は、超音波プローブ５に、第１の超音波送受信において、複数の周波数成分ｆ１、ｆ２で初期位相が０度の超音波送信を送信させ、第２の超音波送受信において、複数の周波数成分ｆ１、ｆ２で初期位相が１８０度の超音波送信を送信させる。
続いて受信回路１１は、超音波プローブ５に、これらの超音波送受信のそれぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、画像成績機能１２０ｚにより、これらの受信信号に基づいて、例えばｆｘ−ｆ１、２ｆ１の周波数成分に対応する高次高調波成分の信号を抽出し、非線形成分画像である第２の画像２を生成する。
また、送信回路９が超音波プローブ５に送信させる超音波送信は、２つの周波数成分の超音波送信に限られず、例えば３つの周波数成分を持つ超音波送信を２レート送信で行って２回の超音波送信を行っても良い。かかる２回の超音波送受信に係る受信信号を加算又は減算することにより、処理回路１１０は、偶数次または奇数次の高調波成分を抽出することができる。なお、これに加えて、処理回路１１０は、基本波成分をフィルタで抽出することにより、基本波成分以外の奇数次の高調波成分を抽出してもよい。
また、実施形態は、送信回路９が超音波プローブ５に送信させる超音波送信が、２レート送信である場合に限られず、３レート以上の送信であってもよい。図８は、３レート以上の送信の場合の一例として、３レート送信の場合を示している。
そのような場合、図８（ａ）に示されるように、送信回路９は、例えば第１の超音波送信を０度の初期位相で、第２の超音波送信を、第１の超音波送信とは異なる初期位相、例えば１２０度の初期位相、第３の超音波送信を、例えば２４０度の初期位相で超音波プローブ５に送信させる。続いて受信回路１１は、送信回路９が超音波プローブ５に送信させた３回の超音波送信それぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、生成機能１１０ｚにより、受信した受信信号群２１ａ、２１ｂ、２１ｃに対して所定の重み付け加算を行って、高次高調波の成分を抽出し、非線形成分画像である第２の画像２を生成する。
図８（ｂ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、単一の周波数成分ｆの超音波送信である場合を示している。かかる場合、送信回路９は、超音波プローブ５に、位相を変化させながら３回の超音波送信を送信させる。続いて受信回路１１１は、超音波プローブ５に、これらの超音波送信のそれぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、生成機能１１０ｚにより、受信信号群２１ａ、２１ｂ、２１ｃに所定の加算処理を行うことにより、周波数３ｆの周波数成分に対応する高次高調波成分の信号を抽出する。
また、別の例として、図８（ｃ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、複数の周波数成分の超音波送信である場合を示している。例えば、送信回路９は、超音波プローブ５に、３つの周波数成分f1,f2,f3を有する超音波を位相反転させながら２レートで送信させる。続いて受信回路１１は、超音波プローブ５に、これらの超音波送信のそれぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、生成機能１１０ｚにより、受信した受信信号に対して加算処理や減算処理、フィルタ処理などを行って、例えばｆ２−ｆ１， ｆ３−ｆ２，２ｆ１，ｆ３−ｆ１，３ｆ１，ｆ１＋ｆ２の周波数成分に対応する高次高調波成分の信号を抽出する。
(第１の実施形態のその他の変形例)
実施形態では、図３のステップＳ１１０において処理回路１１０が、訓練データ生成機能１１０ｃにより、第１の画像１を第１のデータセットとして生成し、ステップＳ１２０において、第２の画像２を第２のデータセットとして生成し、それらを用いて学習を行う場合について説明した。しかしながら、実施形態はこれに限られず、例えば第１のデータセットは、画像である場合に限られず、例えばビームフォーミング実行前の受信信号群(ch信号)でもよく、またビームフォーミング実行後の受信信号群でもよい。同様に、第２のデータセットは、画像である場合に限られず、例えばビームフォーミング実行前の受信信号群でもよく、またビームフォーミング実行後の受信信号後でもよい。すなわち、第１のデータセット、第２のデータセット及び出力データセットは、それぞれ画像データセットを含む場合に限られない。例えば、第１のデータセット、第２のデータセット及び出力データセットは、それぞれ走査線データセットを生成するための複数のチャンネルデータセットを含んでもよい。例えば、実施形態において、学習済モデルは、複数の第１チャンネルデータセットを入力、複数の第１チャンネルデータセットと複数の第２チャンネルデータセットを、チャンネル毎に合成して得られる複数の第３チャンネルデータセットを出力とした学習により作成されてもよい。ここで、複数の第１チャンネルデータセット及び複数の第２チャンネルデータセットは、例えば、同じ走査線について第２の回数ずつ連続的に送受信された超音波に対応する。ここで、複数の第１チャンネルデータセット及び複数の第２チャンネルデータセットは、典型的には、心臓とは異なる部位に対する超音波送受信により得られるのに対して、複数の第３のチャンネルデータセットは、心臓に対する超音波送受信により得られる。
例えば、処理回路１１０は、訓練データ生成機能１１０ｃにより、ステップＳ１１０においてビームフォーミング実行前の受信信号群を第１のデータセットとして生成し、ステップＳ１２０において、ビームフォーミング実行前の受信信号群を第２のデータセットとして生成し、ステップＳ１３０において、第１のデータセット及び第２のデータセットをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。
また、別の例として、処理回路１１０は、訓練データ生成機能１１０ｃにより、ステップＳ１１０においてビームフォーミング実行後の受信信号群を第１のデータセットとして生成し、ステップＳ１２０において、ビームフォーミング実行後の受信信号群を第２のデータセットとして生成し、ステップＳ１３０において、第１のデータセット及び第２のデータセットをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。
なお、ビームフォーミング実行前の受信信号群や、ビームフォーミング実行後の受信信号群を、第１のデータセットや第２のデータセットとして用いる場合については、後述する第２の実施形態及び第３の実施形態で詳しく説明する。
また、実施形態において、学習済モデルに用いられる入力データ及び出力データ、すなわち第１のデータセット及び第２のデータセットは、同一の処理段階に係るデータセットに限られず、異なる処理段階に係るデータセットであってもよい。例えば、ビームフォーミング実行後の受信信号群が、学習済モデルの入力データ（第１のデータセット）として用いられ、画像が、学習済モデルの出力データ（第２のデータセット）として用いられてもよい。別の例として、例えば、ビームフォーミング実行前の受信信号群が、第１のデータセットとして用いられ、ビームフォーミング実行後の受信信号群が、第２のデータセットとして用いられても良い。
また、上述した学習済モデルにおいて入力されるデータセットである第１のデータセット及び、出力されるデータセットである第２のデータセットについて、上述のようにさまざまなデータの形態や形式が考えられることは、第２の実施形態以降についても同様である。以降の実施形態における第１のデータセット、第２のデータセット等についても、同様に、上述されているさまざまなデータの形態や形式に係る変形例を考えることができる。 また、送信回路９が各走査線で変化させる送信パラメータが、送信する超音波の位相である場合について説明したが、実施形態は、そのような例に限られない。例えば、実施形態は、空間コンパウンドの場合、すなわち、送信回路９が各走査線で変化させるパラメータが、ビームの向きであってもよい。すなわち、送信パラメータ送信回路９が非線形成分画像である第２の画像２を生成する際、ビームの向きを変化させながら、複数の超音波送受信を行う。
また、実施形態では、送信回路９が超音波プローブ５に、走査線毎に複数回の超音波送信を行い、それら複数回の超音波送信で得られたデータから、処理回路１１０が生成機能１１０ｚにより第１の画像１と第２の画像２との両方を生成する場合について説明した。しかしながら、実施形態はこれに限られない。第１の画像１は、第２の画像２を生成したスキャンのデータから生成されなくともよく、第１の画像１及び第２の画像２は、別々のスキャンに基づいて生成されてもよい。
また、処理回路１１０が学習済モデルを適用して生成した出力画像に対して、ユーザがフィードバックを与え、処理回路１１０が、学習機能１１０ｄにより、ユーザから与えられたフィードバックを基に、学習済モデルの内部アルゴリズムを更新してもよい。すなわち、処理回路１１０は、学習機能１１０ｄにより、ユーザからのフィードバックを基に学習済モデルを更新し続けることにより、自己学習を行っても良い。
（第２の実施形態）
第１の実施形態においては、処理回路１１０が、学習機能１１０ｄにより、第１の画像１及び第２の画像２をそれぞれ入力、出力として、学習を行い学習済モデルを生成する場合について説明した。しかしながら実施形態は、画像を用いて学習を行う場合に限られず、画像を生成する前の中間的なデータ、例えば、Ｄｅｌａｙ−ａｎｄ−Ｓｕｍ後のＲＦ信号や直行検波後のＩＱ信号を用いて、学習を行っても良い。
かかる構成について、図９及び図１０を用いて説明する。図９は、第２の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
まず、図９を用いて、学習済モデルの生成段階の処理の流れについて説明する。
はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。例えば、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群２０ａを含む第２の受信信号群として受信させる
ステップＳ３００において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づいて、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理後のＲＦ信号ないしＩＱ信号の信号データ群である第１のデータを、第１の受信信号としてインタフェース機能１１０ｘ等により受信回路１１から取得する。かかる第１のデータは、例えば、ビーム方向、深さ方向の２軸に対応するデータであり、第１の画像１を生成するための中間データである。なお、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理は、例えばソフトウェア処理として処理回路１１０が実行する。あるいは、出力データ（受信信号群）を受信回路１１に入力し、受信回路１１が実行する。このように、第２の実施形態では、第１の受信信号は、ビームフォーミング実行後の受信信号である。
続いて、ステップＳ３１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群に基づいて、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理後のＲＦ信号ないしＩＱ信号の信号データである第２のデータを、第２の受信信号としてインタフェース機能１１０ｘ等により受信回路１１から取得する。かかる第２のデータは、例えば、ビーム方向、深さ方向の２軸に対応する２次元データであり、第２の受信信号群に含まれる受信信号群を対応する位置毎に合成して得られる。また、かかる第２のデータは、例えば、第２の画像２を生成するための中間データである。このように、第２の実施形態では、第２の受信信号は、ビームフォーミング実行後の受信信号である。
続いて、ステップＳ３２０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータ及び第２のデータをそれぞれ入力データ、出力データの組として、例えばニューラルネット等を用いて学習を実行して学習済モデルを生成する。かかる学習済モデルは、走査線について第１の回数だけ超音波を送受信して得られる、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理後の信号データ群である第１の受信信号に基づいて、当該走査線について第１の回数より多い第２の回数だけ超音波を送受信して得られる、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理後の信号データ群である第２の受信信号を疑似的に表す出力信号を出力データセットとして生成する。
これらステップＳ３００からステップＳ３２０の処理は、学習の対象が例えばチャネルごとの中間データであることを除いてはステップＳ１１０からステップＳ１３０と同様な処理であるが、第２の実施形態においては、第１の実施形態と比較して前段処理によって得られるデータ群を用いて学習を行っているので、より画質の向上が期待される。
続いて、図１０を用いて、学習済モデルの実行段階の処理について説明する。図１０は、第２の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
ステップＳ４００において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像を生成する前の中間データであって、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われた後のＲＦ信号ないしＩＱ信号の信号データ群である入力データを、第１の受信信号として受信回路１１やメモリ１３２等から取得する。
続いて、ステップＳ４１０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４００で取得した入力データと、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルとに基づいて、第２の受信信号を第２のデータに対応する出力データとして生成する。すなわち、処理回路１１０は、図示しない処理部により、ステップＳ３２０で生成された学習済モデルに対して、走査線について第１の回数だけ超音波を送受信して得られる入力受信信号を第１の受信信号として入力することで、出力信号を第２の受信信号として生成する。
続いて、ステップＳ４２０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０において生成された出力データに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送信して得られる第２の画像を疑似的に表す出力画像を生成する。すなわち、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０で生成された出力信号に基づいて画像を生成する。
なお、第１の実施形態と同様に、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４００で取得した入力データから得られる画像と、ステップＳ４２０において生成された画像とを、距離方向の位置に応じた比率で合成して合成画像を更に得ても良い。複数の学習済モデルを生成した場合の合成についても、第１の実施形態と同様である。また、実施形態は、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理後の信号データ群を、入力及び出力に使用する場合に限られず、処理回路１１０は、学習機能１１０ｄにより、その他の種類の処理前後での信号データ群または受信直後の信号データを用いて学習を行っても良い。
以上のように、第２の実施形態では、処理回路１１０は、画像ではなく、信号データ群を用いて学習を行う。これにより、画質を更に向上することができる。
（第３の実施形態）
第２の実施形態においては、画像以外のデータ形式で学習が行われる例の一例として、処理回路１１０が、学習機能１１０ｄにより、ビームフォーミング後の信号群、例えばＤｅｌａｙ−ａｎｄ−ｓｕｍ処理後のＲＦ信号や直交検波後のＩＱ信号を第１のデータセット及び第２のデータセットとして用いて学習を行う場合について説明した。第３の実施形態においては、画像以外のデータ形式で学習が行われる例の別の一例として、更に前段の処理の信号群、例えばＤｅｌａｙ−ａｎｄ−ｓｕｍ処理を行ってビームフォーミングを行う前のチャンネルごとのデータを第１のデータセット及び第２のデータセットとして用いて学習を行う場合について説明する。
第３の実施形態は、第２の実施形態と比較して、さらに前段の処理のデータを用いて学習が行われるので、より前段の処理で発生するノイズ等の効果を除去することができ、画質の向上が期待できる。
かかる構成について、図９及び図１０を再び用いて説明する。なお、第３の実施形態は、第２の実施形態と、第１のデータセット及び第２のデータセットとして使用されるデータの種類が異なり、その他の処理については第２の実施形態と同様の処理が行われる。以下、第２の実施形態と同様の処理を行う部分については繰り返しての説明は割愛する。
まず、図９を用いて、学習済モデルの生成段階の処理の流れについて説明する。
第２の実施形態と同様に、はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。例えば、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群２０ａを含む第２の受信信号群として受信させる。
ステップＳ３００において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づいて、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる前のチャネルごとのデータであって、第１の画像１を生成する前の中間データである第１のデータを、第１の受信信号として、インタフェース機能１１０ｚ等により受信回路１１から取得する。かかる第１のデータは、例えば、チャンネル方向、ビーム方向、深さ方向の３次元ボリュームデータである。このように、第３の実施形態では、第１の受信信号は、ビームフォーミング実行前の受信信号である。
続いて、ステップＳ３１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群に基づいて、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる前のチャネルごとのデータであって、第２の画像２を生成する前の中間データである第２のデータを、第２の受信信号として、インタフェース機能１１０ｚ等により受信回路１１から取得する。このように、第３の実施形態では、第２の受信信号は、ビームフォーミング実行前の受信信号である。
続いて、ステップＳ３２０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータ及び第２のデータをそれぞれ入力データ、出力データの組として、例えばニューラルネット等を用いて学習を実行して学習済モデルを生成する。かかる学習済モデルは、走査線について第１の回数だけ超音波を送受信して得られる、超音波画像生成に用いられるデータであって、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる前のチャネルごとのデータである第１の受信信号に基づいて、当該走査線について第１の回数より多い第２の回数だけ超音波を送受信して得られる、超音波画像生成に用いられるデータであって、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる前のチャネルごとのデータである第２の受信信号を疑似的に表す出力信号を出力データセットとして生成する。
続いて、図１０を再び用いて、学習済モデルの実行段階の処理について説明する。
ステップＳ４００において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像を生成する前の中間データであって、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる前のチャネルごとのデータである第１のデータを、第１の受信信号として、受信回路１１やメモリ１３２等から取得する。
続いて、ステップＳ４１０において、処理回路１１０は、図示しない処理部により、ステップＳ３２０で生成された学習済モデルに対して第１の受信信号を入力することで、第２の受信信号を出力データとして生成する。
続いて、ステップＳ４１０の終了段階では生成されたデータは中間的なデータに過ぎないことから、これらを画像の形式に変換するために、例えばＤｅｌａｙ ａｎｄ Ｓｕｍ処理を含む処理が行われる。ステップＳ４２０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０において生成された出力データに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送信して得られる第２の画像を疑似的に表す出力画像を生成する。すなわち、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０で生成された出力信号に基づいて画像を生成する。なお、Ｄｅｌｔａ ａｎｄ Ｓｕｍ処理は、例えばソフトウェア処理として処理回路１１０が実行する。あるいは、ステップＳ４１０の終了段階で生成された出力データ（受信信号群）を受信回路１１に入力し、受信回路１１が実行する。
なお、第２の実施形態と同様に、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４００で取得した入力データから得られる画像と、ステップＳ４２０において生成された画像とを、距離方向の位置に応じた比率で合成して合成画像を更に得ても良い。
以上のように、第３の実施形態では、処理回路１１０は、第２の実施形態よりさらに前段におけるデータを用いて学習を行う。これにより、画質を更に向上することができる。
（第４の実施形態）
第１の実施形態では、処理回路１１０が、学習機能１１０ｄにより、線形成分画像を入力、非線形成分画像を出力として学習を行う場合について説明した。すなわち、上述の例では、処理回路１１０は、学習機能１１０ｄにより、比較的画質の低い画像を入力、画質の高い画像を出力として学習を行い、画質の低い画像を基に、画質の高い画像を算出する。しかしながら、実施形態はこれに限られない。第４の実施形態では、処理回路１１０は、学習機能１１０ｄにより、画質の高い画像と画質の低い画像との差分画像を出力として学習を行う。これにより、処理回路１１０は、画質が低下し、またはアーチファクトが生じている場所を特定することができる。
かかる構成について、図１１及び図１２を用いて説明する。図１１は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
まず、図１１を用いて、学習済モデルの生成段階の処理の流れについて説明する。
はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。例えば、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群２０ａを含む第２の受信信号群として受信させる。
ステップＳ５１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、画像を用いて学習をする場合、各走査線について第１の回数ずつ超音波を送受信して得られたデータである第１の受信信号群２０ａに基づいて、第１の画像１を第１のデータセットとして生成する。また、別の例として、処理回路１１０は、訓練データ作成機能１１０ｃにより、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる後のＲＦ信号ないしＩＱ信号の信号データ群を、第１のデータセットとして生成する。
また、別の例として、チャネルごとのデータを用いて学習をする場合、処理回路１１０は、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づいて、チャネルごとのデータである第１のデータを第１のデータセットとして生成する。
また、ステップＳ５２０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、画像を用いて学習をする場合、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られたデータである第２の受信信号群に基づいて、第２の画像２を第２のデータセットとして生成する。
また、別の例として、処理回路１１０は、訓練データ作成機能１１０ｃにより、Ｄｅｌａｙ ａｎｄ Ｓｕｍ処理が行われる後のＲＦ信号ないしＩＱ信号の信号データ群を、第２のデータセットとして生成する。また、別の例として、チャネルごとのデータを用いて学習をする場合、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群に基づいて、チャネルごとのデータである第２のデータを生成する。なお、ステップＳ５１０及びステップＳ５２０の処理は、ステップＳ１１０及びステップＳ１２０、あるいはステップＳ３００及びステップＳ３１０と同様の処理である。
続いてステップＳ５３０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、ステップＳ５１０で生成された第１の画像と第２の画像との差分画像を、第３のデータセットして生成する、または例えばチャネルごとのデータである第１のデータと第２のデータとの差分データを生成する。
続いてステップＳ５４０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータセット及び第３のデータセットをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。例えば、処理回路１１０は、学習機能１１０ｄにより、第１の画像及び差分画像をそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する、または、第１のデータ及び差分データをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。かかる学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットである第１の画像に基づいて、第１の画像と、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットである第２の画像との差分画像を疑似的に表す、すなわち第２のデータセットと第１のデータセットとの違いを表す出力画像を出力データセットである第３のデータセットとして疑似的に生成する。
ここで、差分画像は、比較的低画質であると考えられる第１の画像と、比較的高画質であると考えられる第２の画像との差分であり、この差分画像の画素値が大きい場所は、例えばアーチファクトがあるなどして画質が劣化している領域であると考えられる。従って、処理回路１１０が、学習機能１１０ｄにより、差分画像を出力データとして学習を行うことで、アーチファクトがあるなどして画質が劣化していると考えられる領域を特定することができ、それを用いて画像処理を行うことができる。
続いて、図１２を用いて、学習済モデルの実行段階の処理について説明する。図１２は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
ステップＳ６００において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像（又はチャネルごとの入力データ）を、第１のデータセットとして受信回路１１やメモリ１３２等から取得する。
続いて、ステップＳ６１０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ５４０において処理回路１１０が学習機能１１０ｄに生成した学習済モデルに対して、ステップＳ６００で取得した、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像（又はチャネルごとの入力データ）を入力することで、差分画像を疑似的に表す、すなわち第１のデータセットと第２のデータセットとの違いを表す出力画像を出力データセットである第３のデータとして生成する。
続いて、ステップＳ６２０において、処理回路１１０は、図示しない特定機能により、ステップ６１０で生成された出力画像に基づいて、低画質箇所を特定する。一例として、処理回路１１０は、特定機能により、ステップＳ６１０で生成された出力画像の値の絶対値が、基準値を上回る箇所を、低画質箇所と特定する。
続いて、ステップＳ６３０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ６００で取得した入力画像（またはチャネルごとの入力データから構成された画像）におけるステップＳ６２０で特定された低画質箇所に対して、高画質化処理（ノイズ低減処理）を実行する。具体的には、処理回路１１０は、入力画像の低画質箇所の画素の画素値を、周辺の画素の平均値で置き換える等の処理を行う。
続いて、ステップＳ６４０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ６３０で高画質化処理が行われた入力画像を、第２の画像を疑似的に表す画像であり、第２のデータセットである疑似第２画像として生成する。
このように、第３の実施形態では、低画質箇所を学習により特定して高画質化処理を行うことで、画質の向上を行うことができる。
上述した各実施形態では、超音波診断装置本体１０が医用画像処理装置１００を備えており、医用画像処理装置１００の処理回路１１０が、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、及び生成機能１１０ｚ等により学習済モデルの生成と適用の両方を行う場合について説明したが、本発明はこれに限定されない。
例えば、超音波診断装置本体１０が備える医用画像処理装置１００の処理回路１１０は、生成機能１１０ｚを実行できる一方で、訓練データ作成機能１１０ｃ、学習機能１１０ｄを実行できなくても良い。逆に、例えば、超音波診断装置本体１０が備える医用画像処理装置１００の処理回路１１０は、訓練データ作成機能１１０ｃ及び学習機能１１０ｄを実行できる一方で、生成機能１１０ｚを実行できる一方で、訓練データ作成機能１１０ｃ及び学習機能１１０ｄを実行できなくても良い。
例えば、生成機能１１０ｚは、医用画像処理装置１００とは別の第１の医用画像処理装置（図示しない）における処理回路（図示しない）で実行されても良い。
医用画像処理装置１００の処理回路１１０で生成機能１１０ｚを実行し、リアルタイムに高画質な出力画像を得ることが理想的である。しかし、処理回路１１０の性能によっては、処理負荷の増大により、リアルタイムで出力画像を得られないこともある。生成機能１１０ｚを処理回路１１０の機能から分離することで、高いリアルタイム性が要求される超音波診断装置本体１０では、制御機能１１０ｙによりリアルタイムで入力画像をディスプレイに表示させるとともに、高いリアルタイム性が要求されない解析時に高画質の出力画像を生成することができる。また、例えばフリーズ操作や保存操作を受け付けたタイミング、又はその前後の所定期間内に収集したデータセットに限定して、生成機能１１０ｚを適用しても良い。
例えば、訓練データ作成機能１１０ｃと学習機能１００ｄによる学習、超音波診断装置本体１０が備える医用画像処理装置１００とは別の第１の医用画像処理装置（図示しない）における処理回路（図示しない）で実行されても良い。
以上少なくとも一つの実施形態に係る医用画像処理装置によれば、診断に有用な情報を効率的に得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１１０ 処理回路
１１０ｃ 訓練データ作成機能
１１０ｄ 学習機能
１１０ｚ 生成機能

Claims (23)

  1. 各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットを疑似的に表す出力データセットを生成する学習済モデルに対して、前記第１のデータセットを入力することで、前記出力データセットを生成する処理部を備えた医用画像処理装置。
  2. 前記第１のデータセット及び前記出力データセットは、それぞれ画像データセットを含む、請求項１に記載の医用画像処理装置。
  3. 前記第１のデータセット及び前記出力データセットは、それぞれ走査線データセットを生成するための複数のチャンネルデータセットを含む、請求項１に記載の医用画像処理装置。
  4. 前記出力データセットは、各走査線について送信パラメータを変化させながら前記第２の回数ずつ超音波を送信することで得られる前記第２のデータセットを疑似的に表す、請求項１乃至３のうちいずれか一つに記載の医用画像処理装置。
  5. 前記送信パラメータは、送信する超音波の位相を含む、請求項４に記載の医用画像処理装置。
  6. 前記学習済モデルは、複数の第１走査線データセットに基づく線形成分画像データセットを入力、前記複数の第１走査線データセットを含む複数の第２走査線データセット群に基づく非線形成分画像データセットを出力とした学習により作成され、
    前記複数の第２走査線データセットは、各走査線について前記第２の回数ずつ連続的に送受信された超音波に対応する、請求項２に記載の医用画像処理装置。
  7. 前記非線形成分画像データセットは、前記複数の第２走査線データセットを走査線ごとに合成することで生成される、請求項６に記載の医用画像処理装置。
  8. 前記学習済モデルは、前記複数の第２走査線データセットに含まれ、前記複数の第１走査線データセットとは異なる複数の第３走査線データセットに基づく別の線形成分画像データセットを入力、前記非線形成分画像データセットを出力とした学習により作成される、請求項７に記載の医用画像処理装置。
  9. 前記複数の第１走査線データセットは、第１の位相で送信された超音波に対応し、
    前記複数の第３走査線データセットは、前記第１の位相とは異なる第２の位相で送信された超音波に対応する、請求項８に記載の医用画像処理装置。
  10. 前記学習済モデルは、複数の第１チャンネルデータセットを入力、前記複数の第１チャンネルデータセットと複数の第２チャンネルデータセットを、チャンネル毎に合成して得られる複数の第３チャンネルデータセットを出力とした学習により作成され、
    前記複数の第１チャンネルデータセット及び前記複数の第２チャンネルデータセットは、同じ走査線について前記第２の回数ずつ連続的に送受信された超音波に対応する、請求項３に記載の医用画像処理装置。
  11. 前記非線形成分画像データセットは、前記複数の第２走査線データセットそれぞれに含まれる２次以上の高周波成分、差音成分、及び和音成分のうち少なくとも１つに基づく画像データセットである、請求項７に記載の医用画像処理装置。
  12. 前記学習済モデルは、複数の第１走査線データセットに基づく第１の非線形成分画像データセットを入力、前記複数の第１走査線データセットを含む複数の第２走査線データセットに基づく第２の非線形成分画像データセットを出力とした学習により生成され、
    前記複数の第２走査線データセットは、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する、請求項２に記載の医用画像処理装置。
  13. 前記第１の非線形成分画像データセットは、前記複数の第１走査線データセットに周波数フィルタを適用することで生成され、
    前記第２の非線形成分画像データセットは、前記複数の第２走査線データセットを走査線毎に合成することで生成される、請求項１２に記載の医用画像処理装置。
  14. 前記第１の回数は１であり、前記第２の回数は２である、請求項１に記載の医用画像処理装置。
  15. 前記学習済モデルは、前記第１のデータセットに基づいて、方位分解能及び距離分解能が前記第１のデータセットよりも高い前記出力データセットを生成する、請求項１に記載の医用画像処理装置。
  16. 前記画像データセットは、心臓を含み、
    前記線形成分画像データセット及び前記非線形成分画像データセットは、心臓を含まない、
    請求項６に記載の医用画像処理装置。
  17. 前記複数の第３チャンネルデータセットは、心臓に対する超音波送受信により得られ、
    前記複数の第１チャンネルデータセット及び前記複数の第２チャンネルデータセットは、心臓とは異なる部位に対する超音波送受信により得られる、
    請求項１０に記載の医用画像処理装置。
  18. 前記第１のデータセットと前記出力データセットを、距離方向の位置に応じた比率で合成して合成データセットを生成する合成部を備えた、請求項１に記載の医用画像処理装置。
  19. 走査線について第１の回数だけ超音波を送受信して得られる第１走査線データセットに基づいて、前記走査線について前記第１の回数より多い第２の回数だけ超音波を送受信して得られる第２走査線データセットを疑似的に表す出力データセットを生成する学習済モデルに対して、前記第１走査線データセットを入力することで、前記出力データセットを生成する処理部と、
    前記出力データセットに基づいて画像を生成する画像生成部と、
    を備える、医用画像処理装置。
  20. 各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットと、前記第１のデータセットとの違いを表す出力データセット
    を生成する学習済モデルに対して、前記第１のデータセットを入力することで、前記出力データセットを生成する処理部を備えた医用画像処理装置。
  21. 請求項１乃至２０のいずれか一つに記載の前記医用画像処理装置を含む、超音波診断装置。
  22. 複数の第１走査線データセットに基づく線形成分画像データセット又は第１の非線形成分画像データセットと、前記複数の第１走査線データセットを含む複数の第２走査線データセットに基づく第２の非線形成分画像データセットとを取得するステップと、
    前記線形成分画像データセット又は前記第１の非線形成分画像データセットを入力側の学習用データセットと、前記第２の非線形成分画像データセットを出力側の学習用データセットとして使用し、学習済モデルを作成するステップと、
    を含む、学習済モデルの作成方法。
  23. 前記学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた第１の画像データセットが入力されることで、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２の画像データセットを疑似的に表す出力画像データセットを生成する、請求項２２に記載の学習済モデルの作成方法。
JP2019085933A 2019-04-26 2019-04-26 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法 Active JP7242409B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019085933A JP7242409B2 (ja) 2019-04-26 2019-04-26 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
US16/856,153 US11568535B2 (en) 2019-04-26 2020-04-23 Medical image processing apparatus, ultrasound diagnosis apparatus, and trained model generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019085933A JP7242409B2 (ja) 2019-04-26 2019-04-26 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法

Publications (2)

Publication Number Publication Date
JP2020179029A true JP2020179029A (ja) 2020-11-05
JP7242409B2 JP7242409B2 (ja) 2023-03-20

Family

ID=72916775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019085933A Active JP7242409B2 (ja) 2019-04-26 2019-04-26 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法

Country Status (2)

Country Link
US (1) US11568535B2 (ja)
JP (1) JP7242409B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021115211A (ja) * 2020-01-24 2021-08-10 キヤノン株式会社 超音波診断装置、画像処理方法、学習装置及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022068043A (ja) * 2020-10-21 2022-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014108191A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 超音波診断装置及び制御プログラム
JP2018134448A (ja) * 2012-07-31 2018-08-30 キヤノンメディカルシステムズ株式会社 超音波診断装置及び制御方法
US20180330518A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6866631B2 (en) 2001-05-31 2005-03-15 Zonare Medical Systems, Inc. System for phase inversion ultrasonic imaging
US9335605B2 (en) 2010-01-25 2016-05-10 Washington University Iteration of optical time reversal by ultrasonic encoding in biological tissue
JP6342212B2 (ja) 2014-05-12 2018-06-13 キヤノンメディカルシステムズ株式会社 超音波診断装置
US20210015456A1 (en) * 2016-11-16 2021-01-21 Teratech Corporation Devices and Methods for Ultrasound Monitoring
US20190336101A1 (en) * 2016-11-16 2019-11-07 Teratech Corporation Portable ultrasound system
WO2019039050A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 音響波診断装置および音響波診断装置の制御方法
DE102017126158A1 (de) * 2017-11-08 2019-05-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ultraschall-Bilderzeugungssystem
US11207055B2 (en) * 2018-10-08 2021-12-28 General Electric Company Ultrasound Cardiac Doppler study automation
US20200245967A1 (en) * 2019-02-04 2020-08-06 General Electric Company Localization of bleeding
WO2020167938A1 (en) * 2019-02-13 2020-08-20 Butterfly Network, Inc. Methods and apparatuses for collecting ultrasound images depicting needles
WO2020206173A1 (en) * 2019-04-03 2020-10-08 Butterfly Network, Inc. Methods and apparatuses for collection and visualization of ultrasound data
US11617565B2 (en) * 2019-06-14 2023-04-04 Bfly Operations, Inc. Methods and apparatuses for collection of ultrasound data along different elevational steering angles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018134448A (ja) * 2012-07-31 2018-08-30 キヤノンメディカルシステムズ株式会社 超音波診断装置及び制御方法
JP2014108191A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 超音波診断装置及び制御プログラム
US20180330518A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GASSE,MAXIME ET AL.: "High-Quality Plane Wave Compounding Using Convolutional Neural Networks", IEEE TRANSACTIONS ON ULTRASONICS, FERROELECTRICS, AND FREQUENCY CONTROL, vol. 64, no. 10, JPN6022046201, 6 October 2017 (2017-10-06), US, pages 1637 - 1639, XP011661912, ISSN: 0004909546, DOI: 10.1109/TUFFC.2017.2736890 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021115211A (ja) * 2020-01-24 2021-08-10 キヤノン株式会社 超音波診断装置、画像処理方法、学習装置及びプログラム
JP7395367B2 (ja) 2020-01-24 2023-12-11 キヤノン株式会社 超音波診断装置、画像処理方法、学習装置及びプログラム

Also Published As

Publication number Publication date
US20200342593A1 (en) 2020-10-29
US11568535B2 (en) 2023-01-31
JP7242409B2 (ja) 2023-03-20

Similar Documents

Publication Publication Date Title
WO2014021402A1 (ja) 超音波診断装置及び制御方法
US20150320398A1 (en) Ultrasonic diagnostic apparatus and control method
JP5508829B2 (ja) 医用画像表示装置
JP2015013077A (ja) 超音波診断装置及び超音波イメージングプログラム
JP7370903B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP7242409B2 (ja) 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
KR102249528B1 (ko) 미리 저장된 그라데이션 데이터 및 영상을 이용하여 초음파 영상의 밝기를 조정하는 방법, 장치 및 시스템.
US20230248336A1 (en) Ultrasound diagnosis apparatus
CN110575198B (zh) 解析装置及解析方法
CN104644210B (zh) 超声波诊断装置、图像处理装置以及图像处理方法
JP6567122B2 (ja) 超音波診断装置、制御方法、装置及びプログラム
US20220367039A1 (en) Adaptive ultrasound deep convolution neural network denoising using noise characteristic information
US11564659B2 (en) Ultrasonic diagnostic and image processing apparatus for tissue harmonic imaging by extracting nonlinear components from three signals via addition after phase rotation
JP2023006198A (ja) 超音波診断装置及びプログラム
JP6288998B2 (ja) 超音波診断装置及び超音波イメージングプログラム
CN110462427B (zh) 用于控制超声系统中的图像外观特征的方法、控制用户接口和系统
JP7345374B2 (ja) 超音波診断装置
JP7455696B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP7280713B2 (ja) 超音波診断装置
US20230225710A1 (en) Ultrasonic diagnostic apparatus and image processing apparatus
EP4109132A1 (en) Ultrasound diagnostic apparatus and extraction method
US20220361843A1 (en) Ultrasound diagnosis apparatus
JP7066487B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP2024068538A (ja) 超音波受信装置、及び超音波受信方法
JP2020185122A (ja) 解析装置及び超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150