CN109833061B - 基于深度学习的优化超声成像系统参数的方法 - Google Patents

基于深度学习的优化超声成像系统参数的方法 Download PDF

Info

Publication number
CN109833061B
CN109833061B CN201711224993.0A CN201711224993A CN109833061B CN 109833061 B CN109833061 B CN 109833061B CN 201711224993 A CN201711224993 A CN 201711224993A CN 109833061 B CN109833061 B CN 109833061B
Authority
CN
China
Prior art keywords
network
preset value
image
ultrasonic
dbm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711224993.0A
Other languages
English (en)
Other versions
CN109833061A (zh
Inventor
张智伟
赵明昌
陆坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN201711224993.0A priority Critical patent/CN109833061B/zh
Priority to PCT/CN2018/093561 priority patent/WO2019100718A1/zh
Priority to US16/766,643 priority patent/US11564661B2/en
Priority to EP18880759.8A priority patent/EP3716000A4/en
Publication of CN109833061A publication Critical patent/CN109833061A/zh
Application granted granted Critical
Publication of CN109833061B publication Critical patent/CN109833061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于深度学习的优化超声成像系统参数的方法，包括以下步骤：步骤1：收集用于训练神经网络的样本，样本包括超声图像样本I、以及采集这超声些图像样本时超声成像系统所使用的相应超声成像系统参数向量样本P；步骤2：建立神经网络模型并使用步骤1收集到的样本训练神经网络至收敛，得到训练好得神经网络系统onn；步骤3：以原始的超声成像系统参数向量p或者原始超声图像作为输入输入到步骤2训练好的神经网络系统onn中，此时从onn输出端获得的参数就是优化的超声成像系统参数向量ep=onn(p)。本发明实现通过优化超声成像系统参数来提高超声图像质量的目的。

Description

基于深度学习的优化超声成像系统参数的方法
技术领域
本发明涉及医疗超声成像系统，尤其是一种优化超声成像系统参数的方法。
背景技术
超声图像因具有无侵入、价格低、成像快等优点在临床中得到广泛应用。但由于超声成像的物理特性，影像图像的参数很多，为了获得一张想要的超声图像，需要调整很多参数，使用人员调整起来还是比较繁琐。
目前，超声诊断设备上大都提供了预设值(Presets)对个成像参数进行预设值的设置。预设值是一个包含所有可控的成像参数的实体集合。常用的成像参数大致可以分为三类：图像获取参数、显示参数、信号处理参数。图像获取参数主要控制发射电路、接收电路、换能器、波束合成等前端模块，这些参数可以控制图像的亮度、对比度、分辨率、穿透率等性质，比如当图像偏暗的时候，可以适当增大增益参数，使图像整体变亮，如果需要精确控制图像上区间的亮度，可以控制多个时间补偿增益来控制不同区间的图像的亮度。显示参数主要控制图像处理器、显示器等后端模块，这些参数主要影响最终图像显示的亮度、对比度、放大缩小倍数、伪彩显示等；信号处理参数主要控制信号处理和图像处理器模块，用来对波束合成后的信号作各种滤波处理，这些参数的取值对图像效果有这比较大的影响。
随着社会技术的发展，深度学习技术在其他领域有一定进展，但是在医疗超声领域，由于超声系统的复杂性，深度学习技术在医疗器械领域目前仍存在一些缺陷，仍然不能根据当前的图像快速、准确、智能的调整当前的预设值等缺点。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种基于深度学习的优化超声成像系统参数的方法，可被用于超声成像；本发明通过训练人工神经网络，在图像质量与超声成像系统参数之间建立映射关系，从而实现通过优化超声成像系统参数来提高超声图像质量的目的。本发明采用的技术方案是：
一种基于深度学习的优化超声成像系统参数的方法，包括以下步骤：
步骤1：收集用于训练神经网络的样本，样本包括超声图像样本I、以及采集这超声些图像样本时超声成像系统所使用的相应超声成像系统参数向量样本P；
步骤2：建立神经网络模型并使用步骤1收集到的样本训练神经网络至收敛，得到训练好得神经网络系统onn；
步骤3：以原始的超声成像系统参数向量p或者原始超声图像作为输入输入到步骤2训练好的神经网络系统onn中，此时从onn输出端获得的参数就是优化的超声成像系统参数向量ep＝onn(p)。
本发明的优点在于：本发明借助深度学习来优化超声成像系统参数，在图像质量与超声成像系统参数之间建立映射关系，从而实现通过优化超声成像系统参数来提高图像质量的目的。
附图说明
图1为本发明的系统框图。
图2为本发明的总体实施流程图。
图3为本发明的实施例一中训练DCGAN网络示意图。
图4为本发明的实施例一中训练多模DBM示意图。
图5为本发明的实施例一中应用阶段神经网络系统示意图。
图6为本发明的实施例二中训练多模DBM示意图。
图7为本发明的实施例二中获得优化预设值参数向量EP示意图。
图8为本发明的实施例二中训练全连接神经网络示意图。
图9为本发明的实施例三中训练全连接型自动编码器示意图。
图10为本发明的实施例三中训练卷积型自动编码器示意图。
图11为本发明的实施例三中训练全连接神经网络DNN-T示意图。
图12为本发明的实施例三中通过神经网络系统获得优化的预设值参数样本集EP示意图。
图13为本发明的实施例三中训练全连接神经网络DNN示意图。
图14为本发明的实施例四中训练DCGAN网络示意图。
图15为本发明的实施例四中训练全连接型自动编码器示意图。
图16为本发明的实施例四中训练卷积型自动编码器示意图。
图17为本发明的实施例四中训练全连接神经网络DNN-T示意图。
图18为本发明的实施例四中组合神经网络系统示意图。
图19为本发明的实施例五中训练DCGAN生成器网络示意图。
图20为本发明的实施例五中训练多模DBM示意图。
图21为本发明的实施例五中组合神经网络系统示意图。
图22为本发明的实施例六中获取矩阵OIO、EIO、MO、ME示意图。
图23为本发明的实施例六中训练解卷积网络示意图。
图24为本发明的实施例六中通过解卷积网络优化输入示意图。
图25为本发明的实施例七中通过LeNet获得训练数据示意图。
图26为本发明的实施例七中训练解卷积网络示意图。
图27为本发明的实施例七中通过解卷积网络优化输入的预设值参数示意图。
图28为本发明的实施例的预设值相关的参数示意图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
本发明的技术方案的系统框图参见图1所示，图2显示了本技术方案的实施流程图。
一种基于深度学习的优化超声成像系统参数的方法，包括以下步骤：
步骤1：收集用于训练神经网络的样本N组，样本包括但不限于超声图像样本I、以及采集这超声些图像样本时超声成像系统所使用的相应超声成像系统参数向量样本P；
步骤2：建立神经网络模型并使用步骤1收集到的样本训练神经网络至收敛，得到训练好得神经网络系统onn；
步骤3：以原始的超声成像系统参数向量p或者原始超声图像作为输入输入到步骤2训练好的神经网络系统onn中，此时从onn输出端获得的参数就是优化的超声成像系统参数向量ep＝onn(p)。
实施例1；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤101：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含1000张图像)与预设值参数样本集OP(含1000组预设值参数)；
步骤102：获取OI对应的优化图像样本集EI(含1000张与OI中每个图像内容一致但质量更优的图像)；
步骤103：使用OI与EI训练如图3所示的DCGAN(深度卷积生成式对抗网络)直至DCGAN的生成器网络能够在给定原始超声图像的情况下输出相应的优化图像，从而获得训练好的DCGAN；
DCGAN包括生成器网络和鉴别器网络；OI样本输入到生成器网络，通过生成器网络生成与OI样本对应的图像，然后鉴别器网络把生成器网络生成的图像与相应EI样本进行一致性比较；
步骤104：使用OP与OI训练如图4所示的多模DBM(深度玻尔兹曼机)至收敛，从而获得训练好的多模DBM；
多模DBM包括卷积DBM、普通DBM，以及联系卷积DBM、普通DBM的共享隐层；OI输入卷积DBM，OP输入普通DBM，共享隐层建立OI与OP两种信息之间的联系；
应用阶段：
步骤a101，取训练阶段步骤103训练好的DCGAN的生成器网络部分，同时取得训练阶段步骤104训练好的多模DBM，组成如图5所示的人工神经网络系统；生成器网络的输出端连接卷积DBM的输入端；
步骤a102，向图5中生成器网络输入端即图像端输入原始超声图像，普通DBM的参数向量端输出优化后的超声成像系统参数向量(即优化的预设值参数向量)。
具体步骤101的超声成像系统参数的集合如下：发射功率p1、发射频率p2、接受频率p3、波束密度p4、穿透深度p5、总增益p6、时间增益补偿p7、焦点位置p8、脉冲重复频率p9、动态范围p10、图像分辨率p11、边缘增强p12等，p1—p12代表各自的参数大小此时获得此时预设值集合下的超声图像。
实施例2；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤201：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含2000张图像)与预设值参数样本集OP(含2000组预设值参数)；
步骤202：获取OI对应的优化图像样本集EI(含2000张与OI中每个图像内容一致但质量更优的图像)；
步骤203：使用OI样本集与OP样本集训练如图6所示的多模DBM(深度玻尔兹曼机)至收敛，从而获得训练好的多模DBM；
多模DBM包括卷积DBM、普通DBM，以及联系卷积DBM、普通DBM的共享隐层；OI输入卷积DBM，OP输入普通DBM，共享隐层建立OI与OP两种信息之间的联系；
步骤204：向步骤203中训练好的多模DBM的卷积DBM输入端输入样本集EI，此时多模DBM在预设值参数端即普通DBM的参数向量端输出的结果就是相应的优化预设值参数向量EP，过程如图7所示；
步骤205：使用OP作为输入、EP作为输出训练如图8所示的全连接神经网络DNN；
应用阶段：
步骤a201，向训练阶段步骤205中获得的训练好的全连接神经网络DNN输入端输入预设值参数向量，此时输出端得到的向量即为优化的超声成像系统参数向量(即优化的预设值参数向量)。
实施例3；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤301：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含2000张图像)与预设值参数样本集OP(含2000组预设值参数)；
步骤302：获取OI对应的优化图像样本集EI(含2000张与OI中每个图像内容一致但质量更优的图像)；
步骤303：使用预设值参数样本集OP训练一个全连接型自动编码器DNN-AutoEncoder，如图9所示；
全连接型自动编码器包括级联的全连接型编码器和全连接型解码器；全连接型编码器用于将高维度的输入信息压缩到低维空间，全连接型解码器用于将压缩后的低维空间信息转换回到原来的高维空间；
步骤304：使用图像样本集OI训练一个卷积型自动编码器CNN-AutoEncoder，如图10所示；
卷积型自动编码器包括级联的卷积型编码器和卷积型解码器；卷积型编码器用于将高维度的输入信息压缩到低维空间，卷积型解码器用来将压缩后的低维空间信息转换回到原来的高维空间；
步骤305：分别向步骤304中训练好的CNN-AutoEncoder的卷积型编码器输入OI，获得其输出MI，同时向步骤303中DNN-AutoEncoder的全连接编码器输入OP，获得其输出MP，使用MI作为输入，而MP作为输出训练全连接神经网络DNN-T，如图11所示；
步骤306：由CNN-AutoEncoder卷积型编码器部分、DNN-AutoEncoder全连接型解码器部分以及DNN-T构成如图12所示的神经网络系统，
CNN-AutoEncoder卷积型编码器部分连接DNN-T，DNN-T连接DNN-AutoEncoder全连接型解码器部分；
向该神经网络系统CNN-AutoEncoder的卷积型编码器端输入EI样本集，并在该神经网络系统的DNN-AutoEncoder的全连接型解码器输出端获得优化的预设值参数样本集EP；
步骤307：使用步骤301获得的预设值参数样本集OP和步骤306获得的优化的预设值参数样本集EP训练如图13所示的全连接神经网络DNN，直至网络收敛；
应用阶段：
步骤a301：向训练阶段步骤307获得的DNN输入预设值参数向量，在输出端得到的即是优化的超声成像系统参数向量。
实施例4；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤401：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含2000张图像)与预设值参数样本集OP(含2000组预设值参数)；
步骤402：获取OI对应的优化图像样本集EI(含2000张与OI中每个图像内容一致但质量更优的图像)；
步骤403：使用样本集OI与EI训练如图14所示DCGAN，直至DCGAN的生成器网络能在输入原始超声图像的情况下输出相应的优化图像；从而获得训练好的DCGAN；
DCGAN包括生成器网络和鉴别器网络；OI样本输入到生成器网络，通过生成器网络生成与OI样本对应的图像，然后鉴别器网络把生成器网络生成的图像与相应EI样本进行一致性比较；
步骤404：使用预设值参数样本集OP训练一个全连接型自动编码器DNN-AutoEncoder，如图15所示；
全连接型自动编码器包括级联的全连接型编码器和全连接型解码器；全连接型编码器用于将高维度的输入信息压缩到低维空间，全连接型解码器用于将压缩后的低维空间信息转换回到原来的高维空间；
步骤405：使用图像样本集OI训练一个卷积型自动编码器CNN-AutoEncoder，如图16所示；
卷积型自动编码器包括级联的卷积型编码器和卷积型解码器；卷积型编码器用于将高维度的输入信息压缩到低维空间，卷积型解码器用来将压缩后的低维空间信息转换回到原来的高维空间；
步骤406：分别向步骤405中训练好的CNN-AutoEncoder的卷积型编码器输入OI，获得其输出MI，同时向步骤404中DNN-AutoEncoder的全连接型编码器输入OP，获得其输出MP，使用MI作为输入，而MP作为输出训练全连接神经网络DNN-T，如图17所示；
应用阶段：
步骤a401：利用步骤403训练好的DCGAN的生成器网络、步骤404训练好的DNN-AutoEncoder的全连接型解码器、以及步骤405训练好的CNN-AutoEncoder的卷积型编码器组成如图18所示的神经网络系统；
DCGAN的生成器网络连接CNN-AutoEncoder的卷积型编码器，CNN-AutoEncoder的卷积型编码器连接DNN-T，DNN-T连接DNN-AutoEncoder的全连接型编码器；
步骤a402：向图18所示的神经网络系统输入原始超声图像，此时经由该神经网络系统的输出即为优化的超声成像系统参数向量(即优化的预设值参数向量)。
实施例5；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤501：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含2000张图像)与预设值参数样本集OP(含2000组预设值参数)；
步骤502：获取OI对应的优化图像样本集EI(含2000张与OI中每个图像内容一致但质量更优的图像)；
步骤503：取DCGAN(深度卷积生成式对抗网络)的生成器网络部分；
步骤504：设DCGAN的生成器网络含有N层卷积层，向生成器网络依次输入OI样本与EI样本，并取得第n∈[1,N]层的输出分别为OIO、EIO；
步骤505：设步骤504中获得的OIO与EIO均为m个矩阵，将这m个矩阵统统向量化并分别合并成为矩阵MO(对应OIO)与ME(对应EIO)；
步骤506：以loss＝1/m(OIO-EIO)^2+(MO^2-ME^2)^2为优化目标来训练此DCGAN生成器网络直至收敛，如图19所示；loss是损失函数；
步骤507：使用OP与OI训练如图20所示的多模DBM(深度玻尔兹曼机)至收敛，从而获得训练好的多模DBM；
多模DBM包括卷积DBM、普通DBM，以及联系卷积DBM、普通DBM的共享隐层；OI输入卷积DBM，OP输入普通DBM，共享隐层建立OI与OP两种信息之间的联系；
应用阶段：
步骤a501：利用训练阶段步骤506、507训练好的DCGAN生成器网络和多模DBM构建如图21所示的神经网络系统；
DCGAN生成器网络连接多模DBM中的卷积DBM；
步骤a502：向图21所示的神经网络系统中DCGAN生成器网络输入超声图像，此时该神经网络系统的普通DBM输出端获得的向量即为优化的超声成像系统参数向量(即优化的预设值参数向量)。
实施例6；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤601：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含2000张图像)与预设值参数样本集OP(含2000组预设值参数)；
步骤602：获取OI对应的优化图像样本集EI(含2000张与OI中每个图像内容一致但质量更优的图像)；
步骤603：取VGG网络的卷积网络部分；VGG网络是Deep Learning的网络结构之一；
步骤604：设VGG的卷积网络含有N层，向此卷积网络依次输入OI样本与EI样本，并取得第n∈[1,N]层的输出分别为OIO、EIO；
步骤605：设步骤604中获得的OIO与EIO均为m个矩阵，将这m个矩阵统统向量化并将每个向量化的矩阵按行排列，从而分别合并成为矩阵MO(对应OIO)与ME(对应EIO)，如图22所示；
步骤606：以OP作为输入、(OIO-EIO)^2和(MO^2-ME^2)^2作为输出训练一个解卷积网络，如图23所示；
应用阶段：
步骤a601：将超声系统预设值参数向量作为输入输入到训练阶段步骤606训练好的解卷积网络中，网络权值不变，以解卷积网络的两个输出之和为0为目标，优化网络输入端的预设值参数值，直至网络收敛，收敛时网络输入端被修改过的预设值参数向量就是优化的超声成像系统参数向量(即优化的预设值参数向量)，过程如图24所示。
实施例7；将本技术方案具体分为训练阶段和应用阶段依次执行，各个阶段步骤如下：
训练阶段：
步骤701：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI(含2000张图像)与预设值参数样本集OP(含2000组预设值参数)；
步骤702：获取OI对应的优化图像样本集EI(含2000张与OI中每个图像内容一致但质量更优的图像)；
步骤703：取LeNet网络的卷积网络部分；LeNet网络是Deep Learning的网络结构之一；
步骤704：向LeNet的卷积网络依次输入OI样本与EI样本，并取得最后一层的输出分别为OIO、EIO，获得的OIO与EIO均为m个矩阵，如图25所示；
步骤705：以OP作为输入、相应的res＝OIO-EIO作为输出训练一个解卷积网络，如图26所示；res是两个矩阵OIO与EIO的差；
应用阶段：将超声系统预设值参数向量作为输入输入到训练阶段步骤705训练好的解卷积网络中，网络权值不变，以解卷积网络输出0为目标，优化网络输入端的预设值参数值，直至网络收敛，收敛时网络输入端被修改过的参数向量就是优化的超声成像系统参数向量(即优化的预设值参数向量)，过程如图27所示。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于深度学习的优化超声成像系统参数的方法，其特征在于，包括以下步骤：
步骤1：收集用于训练神经网络的样本，样本包括超声图像样本I、以及采集这超声些图像样本时超声成像系统所使用的相应超声成像系统参数向量样本P；
步骤2：建立神经网络模型并使用步骤1收集到的样本训练神经网络至收敛，得到训练好得神经网络系统onn；
步骤3：以原始的超声成像系统参数向量p或者原始超声图像作为输入输入到步骤2训练好的神经网络系统onn中，此时从onn输出端获得的参数就是优化的超声成像系统参数向量ep＝onn(p)；
该方法具体包括：
训练阶段：
步骤101，从超声设备上随机选择超声成像系统参数预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI与预设值参数样本集OP；
步骤102：获取OI对应的优化图像样本集EI；
步骤103：使用OI与EI训练一个DCGAN直至DCGAN的生成器网络能够在给定原始超声图像的情况下输出相应的优化图像，从而获得训练好的DCGAN；
DCGAN包括生成器网络和鉴别器网络；OI样本输入到生成器网络，通过生成器网络生成与OI样本对应的图像，然后鉴别器网络把生成器网络生成的图像与相应EI样本进行一致性比较；
步骤104：使用OP与OI训练一个多模DBM至收敛，从而获得训练好的多模DBM；
多模DBM包括卷积DBM、普通DBM，以及联系卷积DBM、普通DBM的共享隐层；OI输入卷积DBM，OP输入普通DBM，共享隐层建立OI与OP两种信息之间的联系；
应用阶段：
步骤a101，取训练阶段步骤103训练好的DCGAN的生成器网络部分，同时取得训练阶段步骤104训练好的多模DBM，组成人工神经网络系统；生成器网络的输出端连接卷积DBM的输入端；
步骤a102，向生成器网络输入端即图像端输入原始超声图像，普通DBM的参数向量端输出优化后的超声成像系统参数向量；
或者，
训练阶段：
步骤301：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI与预设值参数样本集OP；
步骤302：获取OI对应的优化图像样本集EI；
步骤303：使用预设值参数样本集OP训练一个全连接型自动编码器DNN-AutoEncoder；
全连接型自动编码器包括级联的全连接型编码器和全连接型解码器；全连接型编码器用于将高维度的输入信息压缩到低维空间，全连接型解码器用于将压缩后的低维空间信息转换回到原来的高维空间；
步骤304：使用图像样本集OI训练一个卷积型自动编码器CNN-AutoEncoder；
卷积型自动编码器包括级联的卷积型编码器和卷积型解码器；卷积型编码器用于将高维度的输入信息压缩到低维空间，卷积型解码器用来将压缩后的低维空间信息转换回到原来的高维空间；
步骤305：分别向步骤304中训练好的CNN-AutoEncoder的卷积型编码器输入OI，获得其输出MI，同时向步骤303中DNN-AutoEncoder的全连接编码器输入OP，获得其输出MP，使用MI作为输入，而MP作为输出训练全连接神经网络DNN-T；
步骤306：由CNN-AutoEncoder卷积型编码器部分、DNN-AutoEncoder全连接型解码器部分以及DNN-T构成一个神经网络系统，
CNN-AutoEncoder卷积型编码器部分连接DNN-T，DNN-T连接DNN-AutoEncoder全连接型解码器部分；
向该神经网络系统CNN-AutoEncoder的卷积型编码器端输入EI样本集，并在该神经网络系统的DNN-AutoEncoder的全连接型解码器输出端获得优化的预设值参数样本集EP；
步骤307：使用步骤301获得的预设值参数样本集OP和步骤306获得的优化的预设值参数样本集EP训练一个全连接神经网络DNN，直至网络收敛；
应用阶段：
步骤a301：向训练阶段步骤307获得的DNN输入预设值参数向量，在输出端得到的即是优化的超声成像系统参数向量；
或者，
训练阶段：
步骤401：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI与预设值参数样本集OP；
步骤402：获取OI对应的优化图像样本集EI；
步骤403：使用样本集OI与EI训练一个DCGAN，直至DCGAN的生成器网络能在输入原始超声图像的情况下输出相应的优化图像；从而获得训练好的DCGAN；
DCGAN包括生成器网络和鉴别器网络；OI样本输入到生成器网络，通过生成器网络生成与OI样本对应的图像，然后鉴别器网络把生成器网络生成的图像与相应EI样本进行一致性比较；
步骤404：使用预设值参数样本集OP训练一个全连接型自动编码器DNN-AutoEncoder；
全连接型自动编码器包括级联的全连接型编码器和全连接型解码器；全连接型编码器用于将高维度的输入信息压缩到低维空间，全连接型解码器用于将压缩后的低维空间信息转换回到原来的高维空间；
步骤405：使用图像样本集OI训练一个卷积型自动编码器CNN-AutoEncoder；
卷积型自动编码器包括级联的卷积型编码器和卷积型解码器；卷积型编码器用于将高维度的输入信息压缩到低维空间，卷积型解码器用来将压缩后的低维空间信息转换回到原来的高维空间；
步骤406：分别向步骤405中训练好的CNN-AutoEncoder的卷积型编码器输入OI，获得其输出MI，同时向步骤404中DNN-AutoEncoder的全连接型编码器输入OP，获得其输出MP，使用MI作为输入，而MP作为输出训练全连接神经网络DNN-T；
应用阶段：
步骤a401：利用步骤403训练好的DCGAN的生成器网络、步骤404训练好的DNN-AutoEncoder的全连接型解码器、以及步骤405训练好的CNN-AutoEncoder的卷积型编码器组成一个神经网络系统；
神经网络系统中，DCGAN的生成器网络连接CNN-AutoEncoder的卷积型编码器，CNN-AutoEncoder的卷积型编码器连接DNN-T，DNN-T连接DNN-AutoEncoder的全连接型编码器；
步骤a402：向步骤a401中组成的神经网络系统输入原始超声图像，此时经由该神经网络系统的输出即为优化的超声成像系统参数向量；
或者，
训练阶段：
步骤501：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI与预设值参数样本集OP；
步骤502：获取OI对应的优化图像样本集EI；
步骤503：取DCGAN的生成器网络部分；
步骤504：设DCGAN的生成器网络含有N层卷积层，向生成器网络依次输入OI样本与EI样本，并取得第n∈[1,N]层的输出分别为OIO、EIO；
步骤505：设步骤504中获得的OIO与EIO均为m个矩阵，将这m个矩阵统统向量化并分别合并成为矩阵MO与ME；
步骤506：以loss＝1/m(OIO-EIO)^2+(MO^2-ME^2)^2为优化目标来训练此DCGAN生成器网络直至收敛；loss是损失函数；
步骤507：使用OP与OI训练多模DBM至收敛，从而获得训练好的多模DBM；
多模DBM包括卷积DBM、普通DBM，以及联系卷积DBM、普通DBM的共享隐层；OI输入卷积DBM，OP输入普通DBM，共享隐层建立OI与OP两种信息之间的联系；
应用阶段：
步骤a501：利用训练阶段步骤506、507训练好的DCGAN生成器网络和多模DBM构建神经网络系统；
神经网络系统中，DCGAN生成器网络连接多模DBM中的卷积DBM；
步骤a502：向上述神经网络系统中DCGAN生成器网络输入超声图像，此时该神经网络系统的普通DBM输出端获得的向量即为优化的超声成像系统参数向量；
或者，
训练阶段：
步骤601：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI与预设值参数样本集OP；
步骤602：获取OI对应的优化图像样本集EI；
步骤603：取VGG网络的卷积网络部分；
步骤604：设VGG的卷积网络含有N层，向此卷积网络依次输入OI样本与EI样本，并取得第n∈[1,N]层的输出分别为OIO、EIO；
步骤605：设步骤604中获得的OIO与EIO均为m个矩阵，将这m个矩阵统统向量化并将每个向量化的矩阵按行排列，从而分别合并成为矩阵MO与ME；
步骤606：以OP作为输入、(OIO-EIO)^2和(MO^2-ME^2)^2作为输出训练一个解卷积网络；
应用阶段：
步骤a601：将超声系统预设值参数向量作为输入输入到训练阶段步骤606训练好的解卷积网络中，网络权值不变，以解卷积网络的两个输出之和为0为目标，优化网络输入端的预设值参数值，直至网络收敛，收敛时网络输入端被修改过的预设值参数向量就是优化的超声成像系统参数向量；
或者，
训练阶段：
步骤701：从超声设备上随机选择超声成像系统参数的预设值，并且每选择一个预设值就在该预设值条件下采集一张超声图像，保存超声图像并一并记录下采集该超声图像时所采用的预设值参数，从而分别获得图像样本集OI与预设值参数样本集OP；
步骤702：获取OI对应的优化图像样本集EI；
步骤703：取LeNet网络的卷积网络部分；LeNet网络是Deep Learning的网络结构之一；
步骤704：向LeNet的卷积网络依次输入OI样本与EI样本，并取得最后一层的输出分别为OIO、EIO；
步骤705：以OP作为输入、相应的res＝OIO-EIO作为输出训练一个解卷积网络；res是两个矩阵OIO与EIO的差；
应用阶段：将超声系统预设值参数向量作为输入输入到训练阶段步骤705训练好的解卷积网络中，网络权值不变，以解卷积网络输出0为目标，优化网络输入端的预设值参数值，直至网络收敛，收敛时网络输入端被修改过的参数向量就是优化的超声成像系统参数向量。
CN201711224993.0A 2017-11-24 2017-11-24 基于深度学习的优化超声成像系统参数的方法 Active CN109833061B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711224993.0A CN109833061B (zh) 2017-11-24 2017-11-24 基于深度学习的优化超声成像系统参数的方法
PCT/CN2018/093561 WO2019100718A1 (zh) 2017-11-24 2018-06-29 基于深度学习的优化超声成像系统参数的方法
US16/766,643 US11564661B2 (en) 2017-11-24 2018-06-29 Method for optimizing ultrasonic imaging system parameter based on deep learning
EP18880759.8A EP3716000A4 (en) 2017-11-24 2018-06-29 PROCESS FOR OPTIMIZING THE PARAMETERS OF ULTRASONIC IMAGING SYSTEMS BASED ON DEEP LEARNING

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711224993.0A CN109833061B (zh) 2017-11-24 2017-11-24 基于深度学习的优化超声成像系统参数的方法

Publications (2)

Publication Number Publication Date
CN109833061A CN109833061A (zh) 2019-06-04
CN109833061B true CN109833061B (zh) 2020-08-04

Family

ID=66631311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711224993.0A Active CN109833061B (zh) 2017-11-24 2017-11-24 基于深度学习的优化超声成像系统参数的方法

Country Status (4)

Country Link
US (1) US11564661B2 (zh)
EP (1) EP3716000A4 (zh)
CN (1) CN109833061B (zh)
WO (1) WO2019100718A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656543B1 (ko) * 2018-03-16 2024-04-12 삼성메디슨 주식회사 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램
JP7237147B2 (ja) * 2018-08-23 2023-03-10 コーニンクレッカ フィリップス エヌ ヴェ バイオメトリック測定及び品質評価
CN110974305B (zh) * 2019-12-13 2021-04-27 山东大学齐鲁医院 基于深度学习的远程心脏超声三维成像系统及方法
CN110464380B (zh) * 2019-09-12 2021-10-29 李肯立 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
CN110840482B (zh) * 2019-10-28 2022-12-30 苏州佳世达电通有限公司 超音波成像系统及其方法
US11977982B2 (en) 2020-07-02 2024-05-07 International Business Machines Corporation Training of oscillatory neural networks
US20220163665A1 (en) * 2020-11-24 2022-05-26 Olympus NDT Canada Inc. Techniques to reconstruct data from acoustically constructed images using machine learning
CN112465786A (zh) * 2020-12-01 2021-03-09 平安科技（深圳）有限公司 模型训练方法、数据处理方法、装置、客户端及存储介质
US11933765B2 (en) * 2021-02-05 2024-03-19 Evident Canada, Inc. Ultrasound inspection techniques for detecting a flaw in a test object
CN112946081B (zh) * 2021-02-09 2023-08-18 武汉大学 基于缺陷多特征智能提取与融合的超声成像方法
KR102550262B1 (ko) * 2021-02-22 2023-07-03 광주과학기술원 무작위 간섭을 이용한 초음파 이미징 장치 및 그 방법
CN113449737B (zh) * 2021-05-27 2023-11-17 南京大学 一种基于自编码器的单探头声学成像方法及装置
CN113509208B (zh) * 2021-09-14 2021-11-30 西南石油大学 一种基于相位约束的超高速超声成像的重建方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030045797A1 (en) 2001-08-28 2003-03-06 Donald Christopher Automatic optimization of doppler display parameters
US7627386B2 (en) 2004-10-07 2009-12-01 Zonaire Medical Systems, Inc. Ultrasound imaging system parameter optimization via fuzzy logic
CN100581479C (zh) * 2007-01-10 2010-01-20 华中科技大学 三维超声影像的重建方法
CN101664321B (zh) * 2009-09-07 2011-06-15 无锡祥生科技有限公司 组织声速实时可调的超声诊断设备及其波束合成方法
CN101756713A (zh) * 2009-09-09 2010-06-30 西安交通大学 超声造影成像、灌注参量估计和灌注参量功能成像及其集成方法
CN102184330A (zh) 2011-05-09 2011-09-14 周寅 一种基于影像特征和智能回归模型的优化调强放疗计划的方法
US10667790B2 (en) * 2012-03-26 2020-06-02 Teratech Corporation Tablet ultrasound system
US9918701B2 (en) 2014-09-03 2018-03-20 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
CN104572940B (zh) * 2014-12-30 2017-11-21 中国人民解放军海军航空工程学院 一种基于深度学习与典型相关分析的图像自动标注方法
CN104778659A (zh) * 2015-04-15 2015-07-15 杭州电子科技大学 基于深度学习的单帧图像超分辨率重建方法
CN104933446B (zh) * 2015-07-15 2018-09-18 福州大学 一种用于计算机辅助诊断乳腺b超特征有效性验证的方法
CN105574820A (zh) * 2015-12-04 2016-05-11 南京云石医疗科技有限公司 一种基于深度学习的自适应超声图像增强方法
US20190018933A1 (en) * 2016-01-15 2019-01-17 Preferred Networks, Inc. Systems and methods for multimodal generative machine learning
CN105787867B (zh) * 2016-04-21 2019-03-05 华为技术有限公司 基于神经网络算法的处理视频图像的方法和装置
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法

Also Published As

Publication number Publication date
WO2019100718A1 (zh) 2019-05-31
EP3716000A4 (en) 2021-09-01
CN109833061A (zh) 2019-06-04
EP3716000A1 (en) 2020-09-30
US11564661B2 (en) 2023-01-31
US20200345330A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN109833061B (zh) 基于深度学习的优化超声成像系统参数的方法
CN108604369B (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN109271964B (zh) 基于深度学习模型与长短记忆网络的情绪识别方法及系统
CN109345476A (zh) 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN105120130A (zh) 一种图像升频系统、其训练方法及图像升频方法
CN110020715B (zh) 利用波动和脉冲信号混合编码的神经网络识别方法与装置
CN114190953A (zh) 针对脑电采集设备的脑电信号降噪模型的训练方法和系统
CN109671031A (zh) 一种基于残差学习卷积神经网络的多光谱图像反演方法
US11744525B2 (en) Ultrasound diagnosis apparatus with enhanced image resolution
KR20160091607A (ko) 영상처리장치, 초음파 장치 및 그 제어방법
CN104159046A (zh) 一种探月工程用自适应宽动态成像方法及装置
CN101836868A (zh) 自适应的动态范围调整方法和设备
CN106859695B (zh) 应用于超声探头的q帧t孔径复合发射成像方法及系统
CN111028174A (zh) 一种基于残差连接的多维图像复原方法和设备
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
CN116029954A (zh) 一种图像融合方法及装置
CN112950473B (zh) 一种mr图像超分辨方法
CN115565082A (zh) 一种卫星遥感图像云噪声去除方法、系统和装置
JP4982393B2 (ja) 画像フィルタリング装置、画像フィルタリングプログラム、画像フィルタリング方法及び超音波診断装置
JP2020057373A5 (zh)
CN108460754B (zh) 低频超声图像转换为高频超声图像的方法
CN103126720B (zh) 多传播速度的超声成像方法及装置
CN113298239B (zh) 一种生成图像超分辨网络的神经组件搜索方法
CN116245756A (zh) 一种快速稳健的医学超声图像增强方法
WO2022091875A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant