CN114913159A - 超声图像的质量评估方法、模型训练方法及电子设备 - Google Patents

超声图像的质量评估方法、模型训练方法及电子设备 Download PDF

Info

Publication number
CN114913159A
CN114913159A CN202210565807.4A CN202210565807A CN114913159A CN 114913159 A CN114913159 A CN 114913159A CN 202210565807 A CN202210565807 A CN 202210565807A CN 114913159 A CN114913159 A CN 114913159A
Authority
CN
China
Prior art keywords
image
sample
evaluation model
ultrasonic
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210565807.4A
Other languages
English (en)
Inventor
宋钰鑫
胡颖
赵保亮
张朋
何玉成
靳海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Broadcare Medical Robot Co ltd
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Broadcare Medical Robot Co ltd
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Broadcare Medical Robot Co ltd, Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Broadcare Medical Robot Co ltd
Priority to CN202210565807.4A priority Critical patent/CN114913159A/zh
Publication of CN114913159A publication Critical patent/CN114913159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请公开了一种超声图像的质量评估方法、模型训练方法及电子设备，属于图像处理技术领域。该方法包括：获取目标部位的目标超声图像，目标超声图像是通过超声扫描设备的超声探头对目标部位进行探测得到；通过目标图像评估模型对目标超声图像进行质量评估，目标图像评估模型能够评估任意一个超声图像的质量；其中，目标图像评估模型是基于训练样本集合对第一图像评估模型进行迭代训练得到，训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。本申请实施例中，目标图像评估模型可以学习医务人员对超声图像的质量评估标准，从而提高了质量评估的准确性。

Description

超声图像的质量评估方法、模型训练方法及电子设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种超声图像的质量评估方法、模型训练方法及电子设备。
背景技术
随着社会的进步，医疗诊断方法也在不断进步，比如，可以通过医学超声检查进行疾病诊断。其中，医学超声检查是采用超声波探测患者身体的内部结构，并生成反应身体内部结构的超声图像的医学影像诊断技术。为了减轻医务人员负担、避免医患直接接触，越来越多的机构开始采用超声扫描设备进行超声图像的自主采集。为了提高诊断的准确性，超声扫描设备可在扫描过程中对超声图像的质量进行评估，然后根据评估结果对超声扫描设备的超声探头的位姿进行调整。
目前，可以通过超声置信图来评估超声图像的质量，也即是，超声扫描设备在扫描得到超声图像后，可以通过置信度估计方法对超声图像进行处理，得到超声图像对应的超声置信图，然后基于超声置信度图对超声图像进行质量评估。
但是，超声置信图衡量的是超声图像对应像素位置成像的可信度，并没有考虑超声图像的整体内容特征对于诊断的意义，从而导致超声扫描设备对超声图像的质量评估不准确。
发明内容
本申请实施例提供了一种超声图像的质量评估方法、模型训练方法及电子设备，可以解决相关技术中超声扫描设备对超声图像的质量评估不准确的问题。所述技术方案如下：
第一方面，提供了一种超声图像的质量评估方法，所述方法包括：
获取目标部位的目标超声图像，所述目标超声图像是通过超声扫描设备的超声探头对所述目标部位进行探测得到；
通过目标图像评估模型对所述目标超声图像进行质量评估，所述目标图像评估模型能够评估任意一个超声图像的质量；
其中，所述目标图像评估模型是基于训练样本集合对第一图像评估模型进行迭代训练得到，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。
第二方面，提供了一种模型训练方法，所述方法包括：
获取训练样本集合，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息；
基于所述训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型；
若当前满足迭代训练结束条件，则基于所述第二图像评估模型确定目标图像评估模型，所述目标图像评估模型能够评估任意一个超声图像的质量。
作为本申请的一个示例，所述获取训练样本集合，包括：
获取多个样本超声图像，所述多个样本超声图像中包括质量不同的多类超声图像；
按照所述多个样本超声图像中的各类样本超声图像的数量，对所述各类样本超声图像赋予对应的权重，所述各类样本超声图像的数量与所述各类样本超声图像对应的权重呈负相关；
基于所述各类样本超声图像对应的权重，从所述多个样本超声图像中进行图像采样；
在采样的数量达到数量阈值的情况下，将所述数量阈值个采样得到的样本超声图像组合为一个图像组；
重复进行图像采样过程，直至对所述多个样本超声图像采样完毕，得到所述至少一个图像组。
作为本申请的一个示例，所述基于所述各类样本超声图像对应的权重，从所述多个样本超声图像中进行图像采样，包括：
根据所述各类样本超声图像对应的权重，确定从所述各类样本超声图像中进行采样的采样数量，所述各类样本超声图像对应的权重与所述各类样本超声图像对应的采样数量呈正相关；
按照所述各类样本超声图像对应的采样数量，从所述各类样本超声图像中进行图像采样。
作为本申请的一个示例，所述若当前满足迭代训练结束条件，则基于所述第二图像评估模型确定目标图像评估模型，包括：
若当前满足所述迭代训练结束条件，则通过所述第二图像评估模型，对测试超声图像进行质量评估，得到测试评估结果；
若所述测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将所述第二图像评估模型确定为所述目标图像评估模型，所述参考评估结果为医务人员对所述测试超声图像的质量评估结果。
作为本申请的一个示例，所述第一图像评估模型中包括特征提取模型和分类器；所述基于所述训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型，包括：
基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值；
基于所述第一损失值，通过反向传递的方式更新所述分类器的模型参数；
基于所述训练样本集合，再次对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第二损失值；
基于所述第二损失值，通过反向传递的方式更新所述特征提取模型的模型参数和所述分类器的模型参数；
若当前不满足所述迭代训练结束条件，则返回至所述基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值的操作，直至当前满足所述迭代训练结束条件，结束迭代训练，得到所述第二图像评估模型。
作为本申请的一个示例，所述基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值，包括：
将所述训练样本集合中任意一个图像组输入至所述第一图像评估模型中；
通过所述第一图像评估模型对所述任意一个图像组进行处理，得到所述任意一个图像组中每个样本超声图像对应的质量预测值，所述质量预测值用于指示所述第一图像评估模型对对应的样本超声图像进行质量评估的评估结果；
通过目标损失函数基于所述任意一个图像组中每个样本超声图像对应的质量预测值，确定所述第一损失值。
作为本申请的一个示例，所述若所述测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将所述第二图像评估模型确定为所述目标图像评估模型之前，还包括：
确定所述测试评估结果与参考评估结果之间的相关系数；
在所述相关系数的绝对值大于或等于系数阈值的情况下，确定所述测试评估结果与所述参考评估结果之间的相似度大于或等于所述相似度阈值。
第三方面，提供了一种超声图像的质量评估装置，所述装置包括：
获取模块，用于获取目标部位的目标超声图像，所述目标超声图像是通过超声扫描设备的超声探头对所述目标部位进行探测得到；
评估模块，用于通过目标图像评估模型对所述目标超声图像进行质量评估，所述目标图像评估模型能够评估任意一个超声图像的质量；
其中，所述目标图像评估模型是基于训练样本集合对第一图像评估模型进行迭代训练得到，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。
第四方面，提供了一种模型训练装置，所述装置包括：
获取模块，用于获取训练样本集合，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息；
训练模块，用于基于所述训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型；
确定模块，用于若当前满足迭代训练结束条件，则基于所述第二图像评估模型确定目标图像评估模型，所述目标图像评估模型能够评估任意一个超声图像的质量。
作为本申请的一个示例，所述获取模块包括：
获取子模块，用于获取多个样本超声图像，所述多个样本超声图像中包括质量不同的多类超声图像；
赋值子模块，用于按照所述多个样本超声图像中的各类样本超声图像的数量，对所述各类样本超声图像赋予对应的权重，所述各类样本超声图像的数量与所述各类样本超声图像对应的权重呈负相关；
采样子模块，用于基于所述各类样本超声图像对应的权重，从所述多个样本超声图像中进行图像采样；
组合子模块，用于在采样的数量达到数量阈值的情况下，将所述数量阈值个采样得到的样本超声图像组合为一个图像组；
第一触发子模块，用于触发所述采样子模块重复进行图像采样过程，直至对所述多个样本超声图像采样完毕，得到所述至少一个图像组。
作为本申请的一个示例，所述采样子模块用于：
根据所述各类样本超声图像对应的权重，确定从所述各类样本超声图像中进行采样的采样数量，所述各类样本超声图像对应的权重与所述各类样本超声图像对应的采样数量呈正相关；
按照所述各类样本超声图像对应的采样数量，从所述各类样本超声图像中进行图像采样。
作为本申请的一个示例，所述确定模块包括：
评估子模块，用于若当前满足所述迭代训练结束条件，则通过所述第二图像评估模型，对测试超声图像进行质量评估，得到测试评估结果；
第一确定子模块，用于若所述测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将所述第二图像评估模型确定为所述目标图像评估模型，所述参考评估结果为医务人员对所述测试超声图像的质量评估结果。
作为本申请的一个示例，所述第一图像评估模型中包括特征提取模型和分类器；所述训练模块包括：
第一计算子模块，用于基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值；
第一更新子模块，用于基于所述第一损失值，通过反向传递的方式更新所述分类器的模型参数；
第二计算子模块，用于基于所述训练样本集合，再次对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第二损失值；
第二更新子模块，用于基于所述第二损失值，通过反向传递的方式更新所述特征提取模型的模型参数和所述分类器的模型参数；
第二触发子模块，用于若当前不满足所述迭代训练结束条件，则触发所述第一计算子模块基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值，直至当前满足所述迭代训练结束条件，结束迭代训练，得到所述第二图像评估模型。
作为本申请的一个示例，所述第一计算子模块用于：
将所述训练样本集合中任意一个图像组输入至所述第一图像评估模型中；
通过所述第一图像评估模型对所述任意一个图像组进行处理，得到所述任意一个图像组中每个样本超声图像对应的质量预测值，所述质量预测值用于指示所述第一图像评估模型对对应的样本超声图像进行质量评估的评估结果；
通过目标损失函数基于所述任意一个图像组中每个样本超声图像对应的质量预测值，确定所述第一损失值。
作为本申请的一个示例，所述确定模块还包括：
第二确定子模块，用于确定所述测试评估结果与参考评估结果之间的相关系数；
第三确定子模块，用于在所述相关系数的绝对值大于或等于系数阈值的情况下，确定所述测试评估结果与所述参考评估结果之间的相似度大于或等于所述相似度阈值。
第五方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的用于超声图像的质量评估方法。
第六方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所述的用于模型训练方法。
第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的用于超声图像的质量评估方法。
第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第二方面所述的用于模型训练方法。
第九方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的用于超声图像的质量评估方法。
第十方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面所述的用于模型训练方法。
可以理解的是，上述第二方面至第十方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例提供的技术方案带来的有益效果是：
在本申请实施例中，由于目标图像评估模型是基于训练样本集合包括的至少一个图像组对第一图像评估模型进行迭代训练得到，且每个图像组中每个样本超声图像标注有经医务人员质量评估后的评估信息，也即是，目标图像评估模型可以学习医务人员对超声图像的质量评估标准，因此，通过目标图像评估模型对目标超声图像进行质量评估，提高了质量评估的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种超声图像的质量评估方法流程图；
图2是根据一示例性实施例示出的一种特征提取模块的结构示意图；
图3是根据一示例性实施例示出的一种残差学习模块的结构示意图；
图4是根据一示例性实施例示出的一种分类器的结构示意图；
图5是根据一示例性实施例示出的一种目标图像评估模型的结构示意图；
图6是根据一示例性实施例示出的一种模型训练方法流程图；
图7是根据一示例性实施例示出的一种超声图像的质量评估装置的结构示意图；
图8是根据一示例性实施例示出的一种模型训练装置的结构示意图；
图9是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包括”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在对申请实施例提供的一种超声图像的质量评估方法进行详细地解释说明之前，先对本申请实施例提供的一种应用场景进行介绍。
目前，出于减轻医生负担、保证超声图像质量的一致性的目的，使用自主式扫描的超声扫描设备(也可称为超声自主采集设备、超声自主扫描机器人等)进行超声图像的自动采集已成为了超声诊断的趋势。由于超声扫描设备的超声探头的位置、方向、与被检测者的接触情况等显著影响超声图像质量，而且超声图像在成像特点上具有大量噪声与伪影、分辨率低、边界模糊、对比度低等特点。因此，在超声扫描设备进行自动采集的过程中，关键步骤是对获取的超声图像的质量进行评价，之后可以将质量评价结果反馈给超声扫描设备的控制系统，从而超声扫描设备的控制系统根据超声图像的质量评价结果进行超声探头的位姿调整。
目前，超声扫描设备可以通过超声探头采集被检测者的待检查部位的超声图像，通过置信度估计方法对超声图像进行处理，得到超声图像对应的超声置信图，然后基于超声置信度图对超声图像进行质量评估。但是，超声置信图衡量的是超声图像对应像素位置成像的可信度，并没有考虑超声图像的整体内容特征对于诊断的意义，从而导致超声扫描设备对超声图像的质量评估不准确。
基于这样的应用场景，本申请实施例提供了一种能够提高质量评估准确性的超声图像的质量评估方法。
图1是根据一示例性实施例示出的一种超声图像的质量评估方法流程图，本实施例以该超声图像的质量评估方法应用于电子设备中进行举例说明，该超声图像的质量评估方法可以包括如下几个步骤：
步骤101：获取目标部位的目标超声图像，该目标超声图像是通过超声扫描设备的超声探头对目标部位进行探测得到。
在对被检测者进行超声诊断的情况下，需要使用到超声扫描设备，超声扫描设备的超声探头可以对被检测者的目标部位进行探测，从而得到目标部位的目标超声图像。
需要说明的是，该目标部位为被检测者的任意一个身体部位，比如，可以为腹部、胸部等等。
在一些实施例中，电子设备可以为超声扫描设备，可以为控制超声扫描设备的其他设备。在电子设备为超声扫描设备的情况下，超声扫描设备可以直接通过超声探头探测目标部位，以得到目标超声图像；在电子设备为控制超声扫描设备的其他设备的情况下，超声扫描设备在通过超声探头探测目标部位，得到目标超声图像后，将目标超声图像发送至电子设备，从而使电子设备获取到目标超声图像。
作为一种示例，该超声扫描设备可以为某品牌S2000超声诊断仪，使用的超声探头型号可以为9L4，探头频率可以为5～12MHz(兆赫兹)。
步骤102：通过目标图像评估模型对目标超声图像进行质量评估，该目标图像评估模型能够评估任意一个超声图像的质量。
作为一种示例，电子设备可以将目标超声图像输入至目标图像评估模型中，目标图像评估模型可以对目标超声图像进行处理，在处理完成后，输出目标超声图像的质量评估结果。
需要说明的是，目标图像评估模型是基于训练样本集合对第一图像评估模型进行迭代训练得到，该训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。对第一图像评估模型进行迭代训练，得到目标图像评估模型的过程可以参考下述步骤601-步骤603的操作。
作为一种示例，该目标图像评估模型中可以包括特征提取模型和分类器，该特征提取模型可以对目标超声图像进行卷积、池化等操作，得到目标超声图像的特征信息，之后将提取的特征信息输入至分类器中，分类器可以对特征信息进行分类处理，并输出分类处理结果，即输出质量评估结果。
为了便于对本申请实施例的理解，现对特征提取模型和分类器进行解释说明。
在一种实施例中，该特征提取模型可以为ResNet(残差神经网络)18，且在本申请实施例中，参见图2，该ResNet18的第一个模块为预处理模块，由一个大小为7*7，跨步为2的卷积层和一个大小为3*3，跨步为2的最大池化层构成。在预处理模块之后连接了四个残差学习模块，每个残差学习模块都由两个残差学习模块组成，每个残差学习模块的结构可以如图3所示，每个残差学习模块可以由两个3*3卷积和一个跃层连接组成。ResNet18的最后一层为全连接层，输出层的节点个数为分类的类别个数。
需要说明的是，在本申请实施例中，残差学习模块中加入了跃层连接，通过跳接在激活函数前，将上一层或上几层之前的输出与本层计算的输出相加，将求和的结果输入到激活函数中做为本层的输出，该过程可以通过下述第一公式表示。
y＝F(x，{Wi})+x (1)
需要说明的是，在上述第一公式(1)中，x为残差学习模块的输入信息，y为输出信息，F为输入信息和输出信息之间的残差，Wi为对应层网络的权重。其中，残差F可以通过下述第二公式表示。
F＝W2σ(W1x) (2)
需要说明的是，在上述第二公式(2)中，W1和W2分别为两层网络的权重，σ()为ReLU(Rectified Linear Units，线性整流函数)激活函数。
还需要说明的是，该特征提取模块不仅可以为ResNet18，也可以是其他结构的特征提取模块，本申请实施例仅以特征提取模块为ResNet18为例进行说明，并不对特征提取模型的结构做具体限制。
在一种实施例中，为了提高图像质量评估的准确性，本申请实施例可以采用细粒度图像分类中的高阶特征分类器替代了全连接层。由于细粒度网络的任务场景是对大类别下的子类进行识别，细粒度分类的特点有子类之间差异细微、子类内部差异巨大、受视角、背景、遮挡等。这些特点与超声图像的质量评估具有类似的特点，不同质量的超声图像之间差异并不显著，而相同质量的超声图像可能因超声采集的部位、角度等原因存在巨大差异，因此，本申请实施例中可以选用细粒度分类中常用的高阶特征编码器方法BCNN(BilinearConvolutional Neural Networks，双线性卷积神经网络)作为分类器。
作为一种示例，BCNN方法是使用二次线性池化将两个CNN(Convolutional NeuralNetworks，卷积神经网络)提取到的特征进行结合，从而提高分类精度。BCNN的示意图参见图4，图4中以CNN A和CNN B两个网络作为示例进行说明，在此基础上，目标图像评估模型的结构可以参见图5。其中，二次线性池化的具体操作包括：将两个网络提取到的特征信息进行外积操作，比如，A和B分别是两个CNN网络提取到的特征信息，对特征信息A和特征信息B进行外积操作的过程可以用第三公式进行表示；之后，将外积操作后得到的结果进行求和池化，得到双线性特征，对外积操作后的结果进行求和池化的过程可以用下述第四公式表示；最后，将双线性特征经过符号平方根变换，该过程通过下述第五公式表示，并进行标准化(比如，l2标准化)，该标准化过程通过下述第六公式表示。然后将结果输入至分类器中，已完成分类任务。
作为一种示例，第三公式(3)、第四公式(4)、第五公式(5)和第六公司(6)如下所示：
X(I)＝A(I)TB(I) (3)
Figure BDA0003656987720000111
Figure BDA0003656987720000112
Figure BDA0003656987720000113
需要说明的是，在上述第三公式(3)、第四公式(4)、第五公式(5)和第六公式(6)中，A(I)为未特征信息A，B(I)为特征信息B，X(I)为外积操作后的结果，X为双线性特征，Y为对双线性特征进行符号平方根变换的结果，Z为标准化后得到的结果。
还需要说明的是，该分类器不仅可以为BCNN，也可以是其他结构的分类器，本申请实施例仅以分类器为BCNN为例进行说明，并不对分类器的结构做具体限制。
步骤103：基于目标超声图像的质量评估结果，对超声探头的位姿进行调整。
作为一种示例，电子设备可以基于目标超声图像的质量评估结果，控制超声探头与目标部位的接触姿势进行变化，同时，控制超声探头的位置进行移动，以使超声探头与目标部位的接触位置发生变化。
作为一种示例，电子设备可以基于目标超声图像的质量评估结果，控制超声探头的位姿随机发生变化，也可以控制超声探头的位姿按照指定规律进行变化，本申请实施例对此不进行具体限制。
需要说明的是，电子设备基于目标超声图像的质量评估结果，对超声探头的位姿进行调整的操作可以参考相关技术，本申请实施例对此不再进行一一赘述。
由上述可知，电子设备可以为超声扫描设备，也可以为控制超声扫描设备的其他设备；在电子设备为超声扫描设备的情况下，电子设备可以直接对超声探头的位姿进行调整；在电子设备为控制超声扫描设备的其他设备的情况下，电子设备可以根据目标超声图像的质量评估结果，向超声扫描设备的控制系统发送控制信息，超声扫描设备在接收到控制信息后，对超声探头的位姿进行调整。
在本申请实施例中，由于目标图像评估模型是基于训练样本集合包括的至少一个图像组对第一图像评估模型进行迭代训练得到，且每个图像组中每个样本超声图像标注有经医务人员质量评估后的评估信息，也即是，目标图像评估模型可以学习医务人员对超声图像的质量评估标准，因此，通过目标图像评估模型对目标超声图像进行质量评估，提高了质量评估的准确性。
接下来，对模型训练的方式进行解释说明，参见图6，本申请实施例提供了一种模型训练方法流程图，本实施例以该模型训练方法应用于电子设备中进行举例说明，该模型训练方法可以包括如下几个步骤：
步骤601：获取训练样本集合。
需要说明的是，训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。
作为一种示例，该评估信息可以包括医务人员对对应的样本超声图像进行打分的分数，也即是，每个样本超声图像可以事先由医务人员综合样本超声图像的模糊程度、噪声数量、清晰度、对比度、分辨率和视野等因素进行判断，并根据判断结果进行打分，且该打分范围为1分-5分五个档。其中，5分表示对应样本超声图像的质量很优秀，可用于诊断，对对应样本超声图像的满意程度为非常满意；4分表示对应样本超声图像的质量很好，可用于诊断，对对应样本超声图像的满意程度为满意；3分表示对应的样本超声图像质量有瑕疵，不影响诊断，对对应样本超声图像的满意程度为一般满意；2分表示对应的样本超声图像的质量欠佳，影响诊断，对对应样本超声图像的满意程度为欠满意；1分表示对应样本超声图像的质量差，不能诊断，对对应样本超声图像的满意程度为不满意。
作为一种示例，为了提高目标图像评估模型对超声图像的评估准确性，可以对样本超声图像进行筛选。比如，对于评分存在差异的样本超声图像，当不同的医务人员对其评分的差异大于2分的情况下，剔除该样本超声图像。经过筛选的样本超声图像的最终得分为N个医务人员的打分的平均分，该N为事先设置的大于2的正整数。比如，N可以为3、4等等。
在一些实施例中，电子设备获取训练样本集合的操作包括：获取多个样本超声图像，该多个样本超声图像中包括质量不同的多类超声图像；按照多个样本超声图像中的各类样本超声图像的数量，对各类样本超声图像赋予对应的权重，该各类样本超声图像的数量与各类样本超声图像对应的权重呈负相关；基于各类样本超声图像对应的权重，从多个样本超声图像中进行图像采样；在采样的数量达到数量阈值的情况下，将数量阈值个采样得到的样本超声图像组合为一个图像组；重复进行图像采样过程，直至对多个样本超声图像采样完毕，得到至少一个图像组。
由于该多个样本超声图像在质量上存在严重的类不均衡问题，类不均衡问题是指不同类别样本超声图像的数目差异较大，比如，高质量和低质量的样本超声图像数量较少，而一般质量的样本超声图像的数量最多，总体接近正态分布。而类不均衡问题将会造成对极端类别的样本超声图像的训练数量有限，导致训练得到的目标图像评估模型不准确，进而可能会导致目标图像评估模型对超声图像评估不准确，因此，为了提高目标图像评估模型训练的准确性，可以按照多个样本超声图像中的各类样本超声图像的数量，对各类样本超声图像赋予对应的权重。
作为一种示例，可以将各类样本超声图像数量所占所有样本超声图像数量的比例的倒数，确定为各类样本超声图像对应的权重；或者，可以将各类样本超声图像的数量的倒数，确定为各类样本超声图像对应的权重。
在一种可能的实现方式中，电子设备基于各类样本超声图像对应的权重，从多个样本超声图像中进行图像采样的操作包括：根据各类样本超声图像对应的权重，确定从各类样本超声图像中进行采样的采样数量，该各类样本超声图像对应的权重与各类样本超声图像对应的采样数量呈正相关；按照各类样本超声图像对应的采样数量，从各类样本超声图像中进行图像采样。
在另一种可能的实现方式中，电子设备基于各类样本超声图像对应的权重，从多个样本超声图像中进行图像采样的操作包括：根据各类样本超声图像对应的权重，确定为从各类样本超声图像中进行采样的采样频率，该各类样本超声图像对应的权重与各类样本超声图像对应的采样频率呈正相关；按照各类样本超声图像对应的采样频率，从各类样本超声图像中进行图像采样。
作为一种示例，电子设备可以将各类样本超声图像对应的权重，确定为从各类样本超声图像中进行采样的采样频率，也可以根据其他方式确定，本申请实施例对此不做具体限制。
在另一种可能的实现方式中，电子设备基于各类样本超声图像对应的权重，从多个样本超声图像中进行图像采样的操作包括：将各类样本超声图像对应的权重，确定为从各类样本超声图像中进行采样的采样概率；按照各类样本超声图像对应的采样概率，从各类样本超声图像中进行图像采样。
值得说明的是，相关技术中，在进行采样的过程中，每批样本超声图像都是随机均等的采样获得，而本申请实施例中，是对不同质量的样本超声图像赋予了不同的权重，且权重取决于各类样本超声图像数量占所有样本超声图像数量的比例，因此，各类样本超声图像的数量越低，对应的权重就越高，权重越高那么被采样到的概率就越高，进而实现了对数量较少的某类样本超声图像的着重训练，缓解了多个样本超声图像中存在的类不均衡问题，避免了相关技术中过采样带来的过拟合问题和欠采样导致的样本信息丢失问题。
由于通常情况下，在进行迭代训练的过程中，每一次训练都是将样本超声图像以批(batch)为单位输入到模型中进行迭代训练的，因此，为了便于进行迭代训练，在采样的数量达到数量阈值的情况下，将数量阈值个采样得到的样本超声图像组合为一个图像组。
需要说明的是，数量阈值可以根据需求实现进行设置，比如，该数量阈值可以为24张。
步骤602：基于训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型。
需要说明的是，该第一图像评估模型为待训练的图像评估模型，且该第一图像评估模型可以为未经过任何训练的图像评估模型，也可以为经过一些训练的图像评估模型，本申请实施例对此不做具体限制。
由于样本超声图像以及携带有医务人员质量评估后的评估信息的样本超声图像的稀缺，样本超声图像的数量较少可能会不利于对第一图像评估模型的迭代训练，因此，可以采用迁移学习的策略对第一图像评估模型的参数进行初始化。将在ImageNet数据集中预训练好的ResNet18作为第一图像评估模型中特征提取部分的初始状态，并以此为基础进行后续的迭代训练。
由上述可知，第一图像评估模型中包括特征提取模型和分类器，作为一种示例，电子设备基于训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型的操作包括：基于训练样本集合，对第一图像评估模型进行前向计算，以确定第一图像评估模型的第一损失值；基于第一损失值，通过反向传递的方式更新分类器的模型参数；基于训练样本集合，再次对第一图像评估模型进行前向计算，以确定第一图像评估模型的第二损失值；基于第二损失值，通过反向传递的方式更新特征提取模型的模型参数和分类器的模型参数；若当前不满足迭代训练结束条件，则返回至基于所述训练样本集合，对第一图像评估模型进行前向计算，以确定第一图像评估模型的第一损失值的操作，直至当前满足迭代训练结束条件，结束迭代训练，得到第二图像评估模型。
作为一种示例，电子设备基于训练样本集合，对第一图像评估模型进行前向计算，以确定第一图像评估模型的第一损失值的操作包括：将训练样本集合中任意一个图像组输入至第一图像评估模型中；通过第一图像评估模型对任意一个图像组进行处理，得到任意一个图像组中每个样本超声图像对应的质量预测值，该质量预测值用于指示第一图像评估模型对对应的样本超声图像进行质量评估的评估结果；通过目标损失函数基于任意一个图像组中每个样本超声图像对应的质量预测值，确定第一损失值。
需要说明的是，电子设备通过第一图像评估模型对任意一个图像组进行处理，得到任意一个图像组中每个样本超声图像对应的质量预测值的操作包括：通过第一图像评估模型中的特征提取模块对任意一个图像组中每个样本超声图像特征提取的操作，得到每个样本超声图像对应的特征信息，将每个样本超声图像对应的特征信息通过分类器进行分类处理，得到任意一个图像组中每个样本超声图像对应的质量预测值。
作为一种示例，电子设备通过目标损失函数基于任意一个图像组中每个样本超声图像对应的质量预测值，确定第一损失值的操作包括：通过目标损失函数确定每个样本超声图像对应的质量预测值与该对应的样本超声图像中携带的评估信息之间的均方误差；通过目标损失函数确定任意一个图像组中多个样本超声图像对应的均方误差，得到第一损失值。
需要说明的是，该目标损失函数为事先设置的函数，比如，该目标损失函数可以为MSE(Mean Squared Error，均方差)函数，当然，该目标损失函数也可以为其他损失函数，本申请实施例对此不做具体限制。其中，该MES函数可以用下述第七公式表示。
Figure BDA0003656987720000161
需要说明的是，在上述第七公式(7)中，xn为任意一个图像组中第n个样本超声图像对应的质量预测值，yn为第n个样本超声图像携带的评估信息，ln为第n个样本超声图像对应的均方误差，l(x，y)为第一损失值。
还需要说明的是，电子设备基于训练样本集合，再次对第一图像评估模型进行前向计算，以确定第一图像评估模型的第二损失值的操作可以参考上述电子设备基于训练样本集合，对第一图像评估模型进行前向计算，以确定第一图像评估模型的第一损失值的操作，本申请实施例对此不再进行一一赘述。
在一些实施例中，电子设备在基于第一损失值，通过反向传递的方式更新分类器的模型参数的过程中，可以冻结特征提取模型的模型参数，并基于第一损失值对分类器中的全连接层的参数进行更新，也即是，在基于第一损失值，通过反向传递的方式更新分类器的模型参数的过程中，更新分类器中全连接层的参数，特征提取模块的参数保持原有状态。
需要说明的是，电子设备基于第一损失值，通过反向传递的方式更新分类器的模型参数，以及基于第二损失值，通过反向传递的方式更新特征提取模型的模型参数和分类器的模型参数的操作可以参考相关技术，本申请实施例对此不再进行一一赘述。
值得说明的是，由于在迭代训练过程中可以单独对分类器进行一次训练，从而使没有预训练的分类器得到充分训练。
在一些实施例中，迭代训练结束条件可以根据需求事先进行设置，比如，该迭代训练结束条件可以包括：目标损失函数对应的损失值收敛至目标范围，或者，训练次数达到预设次数。
需要说明的是，目标范围和预设数均可以根据需求事先进行设置，比如，该目标范围可以为1、2等等，预设次数可以为50次、100次、200次等等。
步骤603：若当前满足迭代训练结束条件，则基于第二图像评估模型确定目标图像评估模型，该目标图像评估模型能够评估任意一个超声图像的质量。
在一种可能的实现方式中，若当前满足迭代训练结束条件，则电子设备基于第二图像评估模型确定目标图像评估模型的操作包括：若当前满足迭代训练结束条件，则通过第二图像评估模型，对测试超声图像进行质量评估，得到测试评估结果；若测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将第二图像评估模型确定为目标图像评估模型，该参考评估结果为医务人员对测试超声图像的质量评估结果。
为了提高对超声图像的质量评估准确性，在当前满足迭代训练结束条件的情况下，还可以对第二图像评估模型评估超声图像质量的准确性进行验证，并在验证到测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值的情况下，将第二图像评估模型确定为目标图像评估模型。
作为一种示例，电子设备可以直接计算测试评估结果与参考评估结果之间的相似度，并在相似度大于或等于相似度阈值的情况下，将第二图像评估模型确定为目标图像评估模型。
需要说明的是，电子设备计算测试评估结果与参考评估结果之间的相似度的操作可以参考相关技术，本申请实施例对此不再进行一一赘述。
作为一种示例，电子设备还可以通过其他参数来表示测试评估结果与参考评估结果之间的相似度，比如，电子设备可以通过测试评估结果与参考评估结果之间的相关系数来表示，也即是，电子设可以确定测试评估结果与参考评估结果之间的相关系数；在相关系数的绝对值大于或等于系数阈值的情况下，确定测试评估结果与参考评估结果之间的相似度大于相似度阈值。
在一些实施例中，电子设备可以通过PLCC(Pearson linear correlationcoefficient，斯皮尔曼等级相关系数)来表示测试评估结果与参考评估结果之间的相似度，该PLCC可以通过下述第八公式确定，也即是，电子设可以通过下述第八公式确定测试评估结果与参考评估结果之间的相关系数。
Figure BDA0003656987720000181
需要说明的是，在上述第八公式(8)中，ρp为相关系数，Xi为第i个测试超声图像的参考评估结果，Yi为第i个测试超声图像的测试评估结果，
Figure BDA0003656987720000182
为N个测试超声图像的参考评估结果的均值，
Figure BDA0003656987720000183
为N个测试超声图像的测试评估结果的均值，N为测试超声图像的数量。
还需要说明的是，PLCC可以描述测试评估结果与参考评估结果之间的线性相关性，相关系数越大相关性越好，二者的相似性越高。相关系数越接近1或-1，相关度越强，相似性越高，相关系数越接近0，相关度越弱，相似性越低。由于相关系数可能为正数，也可能为负数，因此，在通过相关系数表示相似度的情况下，需要确定相关系数的绝对值，并在相关系数的绝对值大于或等于系数阈值的情况下，确定测试评估结果与参考评估结果之间的相似度大于相似度阈值。
作为另一种示例，电子设备还可以确定测试评估结果与参考评估之间的测试误差，在测试误差位于误差范围内的情况下，确定测试评估结果与参考评估结果之间的相似度大于相似度阈值。
需要说明的是，系数阈值、相似度阈值和误差范围均可以根据需求事先进行设置，比如，该系数阈值可以为0.5，0.6等等，相似度阈值可以为90％、95％等等，误差范围可以为0-1，0-2等等。
在一种实施例中，若测试评估结果与参考评估结果之间的相似度小于相似度阈值，则继续按照上述对第一图像评估模型进行迭代训练的方式，对第二图像评估模型进行迭代训练，直至测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值。
在另一种可能的实现方式中，若当前满足迭代训练结束条件，则将第二图像评估模型确定为目标图像评估模型。
在本申请实施例中，由于目标图像评估模型是基于训练样本集合包括的至少一个图像组对第一图像评估模型进行迭代训练得到，且每个图像组中每个样本超声图像标注有经医务人员质量评估后的评估信息，也即是，目标图像评估模型可以学习医务人员对超声图像的质量评估标准，因此，通过目标图像评估模型对目标超声图像进行质量评估，提高了质量评估的准确性。另外，由于在进行模型训练的过程中进行图像采样时，可以通过各类样本超声图像对应的权重，且权重取决于各类样本超声图像数量占所有样本超声图像数量的比例，从而各类样本超声图像的数量越低，对应的权重就越高，权重越高那么被采样到的概率就越高，进而实现了对数量较少的某类样本超声图像的着重训练，缓解了多个样本超声图像中存在的类不均衡问题。
应理解，上述实施例中各步骤的序号并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图7是根据一示例性实施例示出的一种超声图像的质量评估装置的结构示意图，该超声图像的质量评估装置可以由软件、硬件或者两者的结合实现。该超声图像的质量评估装置可以包括：获取模块701和评估模块702。
获取模块701，用于获取目标部位的目标超声图像，所述目标超声图像是通过超声扫描设备的超声探头对所述目标部位进行探测得到；
评估模块702，用于通过目标图像评估模型对所述目标超声图像进行质量评估，所述目标图像评估模型能够评估任意一个超声图像的质量；
其中，所述目标图像评估模型是基于训练样本集合对第一图像评估模型进行迭代训练得到，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。
在本申请实施例中，由于目标图像评估模型是基于训练样本集合包括的至少一个图像组对第一图像评估模型进行迭代训练得到，且每个图像组中每个样本超声图像标注有经医务人员质量评估后的评估信息，也即是，目标图像评估模型可以学习医务人员对超声图像的质量评估标准，因此，通过目标图像评估模型对目标超声图像进行质量评估，提高了质量评估的准确性。
图8是根据一示例性实施例示出的一种模型训练装置的结构示意图，该模型训练装置可以由软件、硬件或者两者的结合实现。该模型训练装置可以包括：获取模块801、训练模块802和确定模块803。
获取模块801，用于获取训练样本集合，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息；
训练模块802，用于基于所述训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型；
确定模块803，用于若当前满足迭代训练结束条件，则基于所述第二图像评估模型确定目标图像评估模型，所述目标图像评估模型能够评估任意一个超声图像的质量。
作为本申请的一个示例，所述获取模块801包括：
获取子模块，用于获取多个样本超声图像，所述多个样本超声图像中包括质量不同的多类超声图像；
赋值子模块，用于按照所述多个样本超声图像中的各类样本超声图像的数量，对所述各类样本超声图像赋予对应的权重，所述各类样本超声图像的数量与所述各类样本超声图像对应的权重呈负相关；
采样子模块，用于基于所述各类样本超声图像对应的权重，从所述多个样本超声图像中进行图像采样；
组合子模块，用于在采样的数量达到数量阈值的情况下，将所述数量阈值个采样得到的样本超声图像组合为一个图像组；
第一触发子模块，用于触发所述采样子模块重复进行图像采样过程，直至对所述多个样本超声图像采样完毕，得到所述至少一个图像组。
作为本申请的一个示例，所述采样子模块用于：
根据所述各类样本超声图像对应的权重，确定从所述各类样本超声图像中进行采样的采样数量，所述各类样本超声图像对应的权重与所述各类样本超声图像对应的采样数量呈正相关；
按照所述各类样本超声图像对应的采样数量，从所述各类样本超声图像中进行图像采样。
作为本申请的一个示例，所述确定模块803包括：
评估子模块，用于若当前满足所述迭代训练结束条件，则通过所述第二图像评估模型，对测试超声图像进行质量评估，得到测试评估结果；
第一确定子模块，用于若所述测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将所述第二图像评估模型确定为所述目标图像评估模型，所述参考评估结果为医务人员对所述测试超声图像的质量评估结果。
作为本申请的一个示例，所述第一图像评估模型中包括特征提取模型和分类器；所述训练模块802包括：
第一计算子模块，用于基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值；
第一更新子模块，用于基于所述第一损失值，通过反向传递的方式更新所述分类器的模型参数；
第二计算子模块，用于基于所述训练样本集合，再次对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第二损失值；
第二更新子模块，用于基于所述第二损失值，通过反向传递的方式更新所述特征提取模型的模型参数和所述分类器的模型参数；
第二触发子模块，用于若当前不满足所述迭代训练结束条件，则触发所述第一计算子模块基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值，直至当前满足所述迭代训练结束条件，结束迭代训练，得到所述第二图像评估模型。
作为本申请的一个示例，所述第一计算子模块用于：
将所述训练样本集合中任意一个图像组输入至所述第一图像评估模型中；
通过所述第一图像评估模型对所述任意一个图像组进行处理，得到所述任意一个图像组中每个样本超声图像对应的质量预测值，所述质量预测值用于指示所述第一图像评估模型对对应的样本超声图像进行质量评估的评估结果；
通过目标损失函数基于所述任意一个图像组中每个样本超声图像对应的质量预测值，确定所述第一损失值。
作为本申请的一个示例，所述确定模块803还包括：
第二确定子模块，用于确定所述测试评估结果与参考评估结果之间的相关系数；
第三确定子模块，用于在所述相关系数的绝对值大于或等于系数阈值的情况下，确定所述测试评估结果与所述参考评估结果之间的相似度大于或等于所述相似度阈值。
在本申请实施例中，由于目标图像评估模型是基于训练样本集合包括的至少一个图像组对第一图像评估模型进行迭代训练得到，且每个图像组中每个样本超声图像标注有经医务人员质量评估后的评估信息，也即是，目标图像评估模型可以学习医务人员对超声图像的质量评估标准，因此，通过目标图像评估模型对目标超声图像进行质量评估，提高了质量评估的准确性。另外，由于在进行模型训练的过程中进行图像采样时，可以通过各类样本超声图像对应的权重，且权重取决于各类样本超声图像数量占所有样本超声图像数量的比例，从而各类样本超声图像的数量越低，对应的权重就越高，权重越高那么被采样到的概率就越高，进而实现了对数量较少的某类样本超声图像的着重训练，缓解了多个样本超声图像中存在的类不均衡问题。
图9为本申请一实施例提供的电子设备的结构示意图。如图9所示，该实施例的电子设备9包括：至少一个处理器90(图9中仅示出一个)、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意各个方法实施例中的步骤。
所述电子设备9可以是超声扫码设备、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是电子设备9的举例，并不构成对电子设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是CPU(Central Processing Unit，中央处理单元)，该处理器90还可以是其他通用处理器、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现成可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述电子设备9的内部存储单元，例如电子设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述电子设备9的外部存储设备，例如所述电子设备9上配备的插接式硬盘，SMC(Smart Media Card,智能存储卡)，SD(Secure Digital,安全数字)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述电子设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包括在本申请的保护范围之内。

Claims (10)

1.一种超声图像的质量评估方法，其特征在于，所述方法包括：
获取目标部位的目标超声图像，所述目标超声图像是通过超声扫描设备的超声探头对所述目标部位进行探测得到；
通过目标图像评估模型对所述目标超声图像进行质量评估，所述目标图像评估模型能够评估任意一个超声图像的质量；
其中，所述目标图像评估模型是基于训练样本集合对第一图像评估模型进行迭代训练得到，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息。
2.一种模型训练方法，其特征在于，所述方法包括：
获取训练样本集合，所述训练样本集合包括至少一个图像组，每个图像组包括质量不同的多个样本超声图像，每个样本超声图像标注有经医务人员质量评估后的评估信息；
基于所述训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型；
若当前满足迭代训练结束条件，则基于所述第二图像评估模型确定目标图像评估模型，所述目标图像评估模型能够评估任意一个超声图像的质量。
3.如权利要求2所述的方法，其特征在于，所述获取训练样本集合，包括：
获取多个样本超声图像，所述多个样本超声图像中包括质量不同的多类超声图像；
按照所述多个样本超声图像中的各类样本超声图像的数量，对所述各类样本超声图像赋予对应的权重，所述各类样本超声图像的数量与所述各类样本超声图像对应的权重呈负相关；
基于所述各类样本超声图像对应的权重，从所述多个样本超声图像中进行图像采样；
在采样的数量达到数量阈值的情况下，将所述数量阈值个采样得到的样本超声图像组合为一个图像组；
重复进行图像采样过程，直至对所述多个样本超声图像采样完毕，得到所述至少一个图像组。
4.如权利要求3所述的方法，其特征在于，所述基于所述各类样本超声图像对应的权重，从所述多个样本超声图像中进行图像采样，包括：
根据所述各类样本超声图像对应的权重，确定从所述各类样本超声图像中进行采样的采样数量，所述各类样本超声图像对应的权重与所述各类样本超声图像对应的采样数量呈正相关；
按照所述各类样本超声图像对应的采样数量，从所述各类样本超声图像中进行图像采样。
5.如权利要求2-4中任一项所述的方法，其特征在于，所述若当前满足迭代训练结束条件，则基于所述第二图像评估模型确定目标图像评估模型，包括：
若当前满足所述迭代训练结束条件，则通过所述第二图像评估模型，对测试超声图像进行质量评估，得到测试评估结果；
若所述测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将所述第二图像评估模型确定为所述目标图像评估模型，所述参考评估结果为医务人员对所述测试超声图像的质量评估结果。
6.如权利要求2所述的方法，其特征在于，所述第一图像评估模型中包括特征提取模型和分类器；所述基于所述训练样本集合对第一图像评估模型进行迭代训练，得到第二图像评估模型，包括：
基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值；
基于所述第一损失值，通过反向传递的方式更新所述分类器的模型参数；
基于所述训练样本集合，再次对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第二损失值；
基于所述第二损失值，通过反向传递的方式更新所述特征提取模型的模型参数和所述分类器的模型参数；
若当前不满足所述迭代训练结束条件，则返回至所述基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值的操作，直至当前满足所述迭代训练结束条件，结束迭代训练，得到所述第二图像评估模型。
7.如权利要求6所述的方法，其特征在于，所述基于所述训练样本集合，对所述第一图像评估模型进行前向计算，以确定所述第一图像评估模型的第一损失值，包括：
将所述训练样本集合中任意一个图像组输入至所述第一图像评估模型中；
通过所述第一图像评估模型对所述任意一个图像组进行处理，得到所述任意一个图像组中每个样本超声图像对应的质量预测值，所述质量预测值用于指示所述第一图像评估模型对对应的样本超声图像进行质量评估的评估结果；
通过目标损失函数基于所述任意一个图像组中每个样本超声图像对应的质量预测值，确定所述第一损失值。
8.如权利要求5所述的方法，其特征在于，所述若所述测试评估结果与参考评估结果之间的相似度大于或等于相似度阈值，则将所述第二图像评估模型确定为所述目标图像评估模型之前，还包括：
确定所述测试评估结果与参考评估结果之间的相关系数；
在所述相关系数的绝对值大于或等于系数阈值的情况下，确定所述测试评估结果与所述参考评估结果之间的相似度大于或等于所述相似度阈值。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述的方法。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求2-8任一项所述的方法。
CN202210565807.4A 2022-05-23 2022-05-23 超声图像的质量评估方法、模型训练方法及电子设备 Pending CN114913159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210565807.4A CN114913159A (zh) 2022-05-23 2022-05-23 超声图像的质量评估方法、模型训练方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210565807.4A CN114913159A (zh) 2022-05-23 2022-05-23 超声图像的质量评估方法、模型训练方法及电子设备

Publications (1)

Publication Number Publication Date
CN114913159A true CN114913159A (zh) 2022-08-16

Family

ID=82768622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210565807.4A Pending CN114913159A (zh) 2022-05-23 2022-05-23 超声图像的质量评估方法、模型训练方法及电子设备

Country Status (1)

Country Link
CN (1) CN114913159A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661619A (zh) * 2022-11-03 2023-01-31 北京安德医智科技有限公司 网络模型训练、超声图像质量评估方法及装置、电子设备
CN115902227A (zh) * 2022-12-22 2023-04-04 巴迪泰（广西）生物科技有限公司 一种免疫荧光试剂盒的检测评估方法及系统
CN116128854A (zh) * 2023-02-03 2023-05-16 深圳市儿童医院 一种基于卷积神经网络的髋关节超声图像质量评估方法
CN116958122A (zh) * 2023-08-24 2023-10-27 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质
CN117274180A (zh) * 2023-09-13 2023-12-22 广州诺芯软件科技有限公司 应用于产品质量评估模型的数据处理方法及系统
CN117292249A (zh) * 2023-09-26 2023-12-26 南开大学 一种水下声呐图像开放集分类方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860573A (zh) * 2020-06-04 2020-10-30 北京迈格威科技有限公司 模型训练方法、图像类别检测方法、装置和电子设备
CN112614110A (zh) * 2020-12-24 2021-04-06 Oppo（重庆）智能科技有限公司 评估图像质量的方法、装置及终端设备
CN112950581A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评估方法、装置和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860573A (zh) * 2020-06-04 2020-10-30 北京迈格威科技有限公司 模型训练方法、图像类别检测方法、装置和电子设备
CN112614110A (zh) * 2020-12-24 2021-04-06 Oppo（重庆）智能科技有限公司 评估图像质量的方法、装置及终端设备
CN112950581A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评估方法、装置和电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661619A (zh) * 2022-11-03 2023-01-31 北京安德医智科技有限公司 网络模型训练、超声图像质量评估方法及装置、电子设备
CN115902227A (zh) * 2022-12-22 2023-04-04 巴迪泰（广西）生物科技有限公司 一种免疫荧光试剂盒的检测评估方法及系统
CN115902227B (zh) * 2022-12-22 2024-05-14 巴迪泰（广西）生物科技有限公司 一种免疫荧光试剂盒的检测评估方法及系统
CN116128854A (zh) * 2023-02-03 2023-05-16 深圳市儿童医院 一种基于卷积神经网络的髋关节超声图像质量评估方法
CN116128854B (zh) * 2023-02-03 2023-11-10 深圳市儿童医院 一种基于卷积神经网络的髋关节超声图像质量评估方法
CN116958122A (zh) * 2023-08-24 2023-10-27 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质
CN117274180A (zh) * 2023-09-13 2023-12-22 广州诺芯软件科技有限公司 应用于产品质量评估模型的数据处理方法及系统
CN117292249A (zh) * 2023-09-26 2023-12-26 南开大学 一种水下声呐图像开放集分类方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN114913159A (zh) 超声图像的质量评估方法、模型训练方法及电子设备
EP3445250B1 (en) Echocardiographic image analysis
US20210209775A1 (en) Image Processing Method and Apparatus, and Computer Readable Storage Medium
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
US11017210B2 (en) Image processing apparatus and method
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN110738643A (zh) 脑出血的分析方法、计算机设备和存储介质
CN115393361B (zh) 低标注成本的皮肤病图像分割方法、装置、设备及介质
US20210145389A1 (en) Standardizing breast density assessments
CN111626379B (zh) 肺炎x光图像检测方法
FR et al. Segmentation of mammography by applying extreme learning machine in tumor detection
WO2021010342A1 (ja) 行動認識装置、行動認識方法、及び行動認識プログラム
CN111742343A (zh) 超声图像处理方法、系统及计算机可读存储介质
CN114596440A (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN108537329B (zh) 一种利用Volume R-CNN神经网络进行运算的方法和装置
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
CN111652350A (zh) 神经网络可视化解释方法及弱监督定位物体方法
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
CN111080588A (zh) 基于多尺度神经网络的快速胎儿mr图像大脑提取方法
WO2024108438A1 (zh) 一种速度编码磁共振成像的运动伪影校正方法
CN116183638B (zh) 一种dr空间分辨力自动检测计算方法
US20230325981A1 (en) Systems for Single Image Reflection Removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination