CN115761452A - 基于强化学习的超声图像优化方法、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于强化学习的超声图像优化方法，包括以下步骤：S1，加载超声成像参数，获取对应的超声图像；S2，对所述超声图像进行综合质量评估，确定所述超声图像的质量评估结果；其中所述综合质量评估包括模型质量评估和参数质量评估；S3，若所述质量评估结果不是最优，则采用强化学习方法调整超声成像参数，产生新的超声成像参数；每次获得新的超声成像参数，都将新的超声成像参数代入并执行S1‑S3步骤，直到所述质量评估结果达到最优或执行S1‑S3步骤的迭代次数超过预设的次数阈值，最终获得最优超声成像参数；根据所述最优超声成像参数产生超声图像。该方法减少操作者手动调参的工作，提高了扫查工作效率。

Description

基于强化学习的超声图像优化方法、设备及存储介质

技术领域

本发明涉及医学超声成像技术领域，尤其涉及一种基于强化学习的超声图像优化方法、设备及存储介质。

背景技术

在超声扫查中，为了获得好的图像质量，操作者需要手动调整多个成像参数。在对不同患者、或同一患者的不同部位进行扫查时，往往需要操作者再次重复调参过程。上述调参过程不仅消耗操作者的精力，而且延迟受试者的检查时间。

在目前的超声技术中，通常使用预设的多组参数，分别针对不同的检测区域或组织进行针对性的图像优化，通常根据所述预设参数能够针对检测器官产生不错的图像质量，但是由于患者的体型、组织密度等有差异，医生在检查时需要在预设参数的基础上再调整各种成像参数，以获得更好的图像质量，如何实现自动化参数调优是当前亟须解决的问题，自动化调优可以减少操作者手动调参的工作，使得扫查流程更为流畅。

发明内容

本发明的目的在于提供一种基于强化学习的超声图像优化方法、系统及存储介质。

为了实现上述发明目的，本发明提供一种基于强化学习的超声图像优化方法，所述方法包括步骤：S1，加载超声成像参数，获取对应的超声图像；S2，对所述超声图像进行综合质量评估，确定所述超声图像的质量评估结果；其中所述综合质量评估包括模型质量评估和参数质量评估；S3，若所述质量评估结果不是最优，则采用强化学习方法调整超声成像参数，产生新的超声成像参数；每次获得新的超声成像参数，都将新的超声成像参数代入并执行S1-S3步骤，直到所述质量评估结果达到最优或执行S1-S3步骤的迭代次数超过预设的次数阈值，最终获得最优超声成像参数；根据所述最优超声成像参数产生超声图像。

作为本发明的进一步改进，所述“模型质量评估”，具体包括：根据待检测的组织切面，制定超声图像质量评价标准；根据所述评价标准，获取多个专家打分标注的超声图像数据；对所述超声图像数据进行学习训练，构建超声图像质量评估模型；根据所述质量评估模型对所述超声图像进行模型质量评估，产生模型质量评分。

作为本发明的进一步改进，所述“参数质量评估”，具体包括：计算所述超声图像的多个质量特征并分别对其进行评估，产生多个质量特征评分，其中，所述质量特征包括穿透深度、信噪比、对比度、分辨率和帧频；对所述多个质量特征评分进行加权平均计算，产生参数质量评分。

作为本发明的进一步改进，所述方法还包括：将所述模型质量评分和参数质量评分进行加权平均计算，得到所述超声图像的质量评估结果。

作为本发明的进一步改进，所述方法还包括：所述专家打分包括单激励打分和双激励方法。

作为本发明的进一步改进，所述“采用强化学习方法调整成像参数”，具体包括：构建人工神经网络模型作为调参代理；将所述超声图像和对应的质量评估结果作为当前状态和奖励输入到所述调参代理中，输出调整超声成像参数的动作，产生若干个新的超声成像参数。

作为本发明的进一步改进，所述“构建人工神经网络模型作为调参代理”，具体包括：提取所述超声图像的多维度特征数据；将所述多维度特征数据进行归一化处理，产生归一化特征向量；基于所述归一化特征向量和对应的质量评估结果，使用强化学习算法进行人工神经网络训练，产生所述人工神经网络模型。

作为本发明的进一步改进，所述“提取所述超声图像的多维度特征数据”具体包括：利用统计模型、数学模型或卷积神经网络提取超声图像的灰度特征、纹理特征、形状特征和空间关系特征。

本发明还提供一种超声图像优化系统，所述系统包括：超声成像参数加载单元，用于加载超声设备设置的超声成像参数；超声图像采集单元，用于根据所述加载的超声成像参数产生超声图像；超声图像质量评估单元，用于对采集到的超声图像质量进行评估；超声成像参数调整单元，用于根据质量评估结果调整成像参数，使得图像质量达到最优。

本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项基于强化学习的超声图像优化方法。

与现有技术相比，本发明实施例具有如下至少一种有益效果：

面对质量层次不齐的超声图像，本发明提供的方法完成了对所获取的超声图像进行质量评估，该质量评估包括对参数技术指标的计算和利用质量评估模型对质量评分的自动获取，两方面的综合考虑能够全面、准确反映图像质量。质量评估模型和图像的质量参数评估，实现了超声图像质量的全面综合评估，为后续优化成像参数提供调整方向；质量评估模型和调参代理模型的构建，减少操作者收到调参的工作，使得扫查流程更加流畅，不仅提高了工作效率，而且也使得超声图像的质量得到提高。

附图说明

图1是本发明实施例中基于强化学习的超声图像优化系统原理示意图。

图2是本发明实施例中基于强化学习的超声图像优化方法步骤流程图。

图3是本发明实施例中基于强化学习的超声图像优化方法中构建图像质量评估模型流程图。

图4是本发明实施例中基于强化学习的超声图像优化方法中构建人工神经网络调参代理流程图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明的实施例针对用于超声图像优化的方法。该技术包括通过对超声图像自动评价其图像质量，利用图像质量评价的反馈信息和人工神经网络模型，自动优化超声成像参数。基于常规或者无需创造性的劳动，所述方法在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施方式中所提供的执行顺序。

如图1所示，为本发明实施例提供的一种基于强化学习的超声图像优化系统原理示意图。该系统包括医学超声成像设备，超声成像设备一般会配有多个超声探头，有线阵、凸阵和相控阵等，每个探头适合检查不同的部位，所以给患者检查之前需要选择超声探头和待检查的器官组织，不同的超声探头和器官组织对应的预设超声成像参数是不同的，所以在超声设备中存储有多组超声成像预设参数，根据选择的探头和待检测的组织器官加载相对应的预设参数，产生并采集超声图像。对采集到的图像进行质量评估，本发明中将模型质量评估和参数质量评估进行结合，以判断采集的超声图像是否达到最优，若没有达到最优，则采用基于强化学习方法训练产生的人工神经网络模型作为调参代理，来自动调整超声成像参数，目标是得到最优质量的超声图像。

具体的，参照图2所示，本发明一实施例提供一种基于强化学习的超声图像优化方法，包括如下步骤：

步骤101，加载超声成像参数，获取对应的超声图像。

步骤102，对所述超声图像进行综合质量评估，确定所述超声图像的质量评估结果。

根据超声设备加载的超声成像参数，利用图像采集设备获得超声图像，在获取超声图像时，多种情况都可造成图像的退化，比如超声成像环境的变化、成像设备与目标之间的相对运动等，这些因素往往会使图像产生模糊或形变，另外，在图像的后期处理、传输过程中也会有不可避免的质量损失。图像质量的好坏会直接影响着医护人员对图像中信息的获取和判断，因此超声图像的质量是医学超声成像设备和图像处理算法性能优劣的重要指标。

图像质量评估方法按照是否由人工评价可分成图像质量主观评估和图像质量客观评估，其中图像质量主观评估是通过人的主观感知对图像质量作出的定性评价，而图像质量客观评估主要根据图像中定义的一些量化指标来定量评价图像质量。图像质量主观评估一般指专家根据图像的诊断价值，比如图像是否清晰可靠、关键结构是否可见等，对图像质量做出评价。常用的主观评估方式是采用打分制，分为单激励和双激励两种方法，其中单激励方法是只给出单幅超声图像，让专家根据其主观感受打分；而双激励方法是同时给出原始超声图像和失真超声图像，让专家根据两者之间的差异给出打分结果。

为了实现超声图像质量主观评估的自动化，可以构建一种图像质量评估模型，如图3所示，具体包括图像步骤：

步骤1020，根据待检测的组织切面制定超声图像质量评价标准。

步骤1021，获取多个专家打分标注的图像数据作为训练集。

步骤1022，采用所述训练集和质量标签进行人工神经网络训练，构建图像质量评估模型。

具体地，在本实施例的超声图像模型质量评估过程中，首先根据待检测的组织切面，制订对应的超声图像质量评价标准，比如肝脏超声图像和心脏超声图像的评价标准是不一样的。接着获取多个专家打分标注的图像数据并将其作为训练数据集，所述训练数据集中的训练样本都是专家已经对其的质量进行了主观评分的，根据评分结果确定训练数据集中每个训练样本图像的质量标签，使用这些专家打分标注的图像数据训练机器学习算法，构建一个能够预测图像质量的质量评估模型，该模型会根据输入的图像数据预测该图像质量评分，得到该图像的模型质量评分。

尽管模型质量评价更接近于人类感知，但是质量评估模型的构建需要大量的打分标注样本进行采集和训练，时间成本大，再加上医院超声图像的解读需要专业背景的专家，实现起来也就更加不容易，所以还要权衡图像质量的参数指标。

图像的参数质量评估主要是通过计算影响图像质量的参数指标来实现的，通过获取图像的不同质量特征，以得到多个质量评价结果，该评估方法一般通过对超声图像本身的质量特征进行计算，不存在人为因素的干扰和影响。超声图像本身的质量特征包括空间分辨率、频帧、信噪比、对比度、穿透深度和伪影等，而所述超声图像本身的质量特征是受超声成像参数影响的，按照超声成像流程，所述超声成像参数主要分为采集参数和后处理参数，其中采集参数主要指超声设备的发射和接收参数，包括发射接收频率、发射接收孔径、发射接收变迹、焦点数量和深度、脉冲重复频率、束线密度以及功率等；后处理参数主要包括接收滤波、增益、动态范围和时间增益补偿等。通过调整不同的超声参数，得到相应的超声图像，获取并计算该超声图像本身的多个质量特征评分，再对所述多个质量特征评分进行加权平均计算，产生该图像的参数质量评分。

在本发明实施例中，根据超声图像质量的模型质量评分和参数质量评分，对其进行加权平均计算，得到该超声图像的质量评估结果，如图1所示。

步骤103，若所述质量评估结果不是最优，则采用强化学习方法调整成像参数，产生新的超声成像参数。

步骤104，将新的超声成像预设参数代入并执行步骤101-103，直到所述质量评估结果达到最优或执行101-103步骤的迭代次数超过预设的次数阈值，最终获得最优成像参数。

步骤105，根据所述最优成像参数产生超声图像。

根据超声图像的质量评估结果判断当前超声图像质量是否达到最优，若否，则表示当前产生的超声图像质量尚未达到最优的，需要对成像参数进行调整。本发明采用的是强化学习的方法进行成像参数优化，具体操作步骤如图3所示。

在本发明实施例中，采用强化学习方法调整成像参数具体包括：首先构建人工神经网络模型作为调参代理，接着将所述超声图像和对应的质量评估结果作为当前状态和奖励输入到所述调参代理中，该调参代理对超声成像参数执行增大、减小或不变操作，产生若干个新的超声参数，可能是一个超声成像参数被调整，也可能是多个参数被调整；然后使用调整后的超声成像参数，继续产生新的超声图像，再利用质量评估方法对当前超声成像参数获得的新的图像质量进行评价，得到新的评价结果继续作为调参代理的奖励或惩罚，也就是说新的超声图像和新的评价结果作为下一轮参数调整的输入参数，继续优化参数。调参代理的目标就是获得最大的奖励，即得到最优的图像质量。

在本发明实施例中，在构建人工神经网络模型过程中，所述强化学习，又称再励学习、评价学习或增强学习，是一种机器学习方法，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励(反馈)以获得学习信息并更新模型参数，比如接收到超声设备调整某个参数的动作，然后对产生对应的超声图像质量进行评分，评分结果作为该动作的奖励或惩罚，以实现参数的调整。最近，随着与人工神经网络的结合，这种算法不断发展，为解决复杂的非线性、不确定、不确知系统的问题开辟了新途径。

进一步的，所述方法的步骤103中需要使用调参代理，所述的调参代理是通过构建人工神经网络模型训练获得，其构建的过程具体包括以下步骤，如图4所示：

步骤1031，获取当前超声成像参数产生的超声图像。

步骤1032，从所述超声图像中提取多维度图像特征，将提取到的多维度图像特征进行归一化处理，得到归一化图像特征向量。

步骤1033，基于强化学习方法，采用归一化图像特征向量和所述超声图像对应的质量评分结果进行人工神经网络训练。

步骤1034，通过不断训练得到一个准确率最高的人工神经网络模型，将该模型作为调参代理。

在本发明实施例中，有两种方式可以提取超声图像特征。第一种方式是利用统计模型或者是数学模型提取该超声图像中的多维度的图像特征，比如图像的灰度特征、纹理特征、形状特征和空间关系特征等。第二种方式是利用卷积神经网络直接提取超声图像中的多维度图像特征，即将超声图像输入到该网络中，自动提取出多个图像特征。最后对获取到的多维度特征值进行归一化处理，得到归一化图像特征向量，基于所述归一化特征向量和对应质量评估结果，进行人工神经网络训练，产生所述人工神经网络模型，将该模型当成调参代理。。

调参代理的训练是一个迭代的过程，根据新调整的参数采集图像，得到新的超声图像，对新的超声图像进行模型质量评估和参数质量评估，得到新的质量评估结果；继续将新的超声图像和新的质量评估结果继续作为下一轮训练的参数输入到调参代理中，再输出更新的成像参数，重复执行上述步骤101-103，到所述质量评估结果达到最优或执行101-103步骤的迭代次数超过预设的次数阈值，最终获得最优成像参数，再根据所述最优成像参数产生最优质量的超声图像。其中，调参代理对参数的调整包括对采集参数和后处理参数的调整，该调参代理的输出是对参数执行调整，比如让某个参数增加或减少5％，以产生新的超声成像参数。基于强化学习的原理和该调参代理的构建过程，在本发明实施例中，每次参数调优都是针对单个参数进行调整的，避免了成像参数之间的互相干扰，提高了超声图像质量。

本发明一实施例提供了一种超声图像优化系统，该系统包括：超声成像参数加载单元，用于加载设置的超声成像参数；超声图像采集单元，用于根据所述加载的超声成像参数产生超声图像；超声图像质量评估单元，用于对采集到的超声图像质量进行模型质量评估和参数质量评估；超声成像参数调整单元，用于根据质量评估结果和当前超声图像的特征向量，来迭代调整成像参数，使得图像质量达到最优，得到最优质量超声图像。

本发明实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项所述超声图像优化方法。

综上，本发明提供的一种基于强化学习的超声图像优化的方法、系统及存储介质，加载成像参数并采集超声图像，通过参数质量评分和模型质量评分的加权计算，自动的对超声图像质量进行全面的评价。其作用是为后续优化成像参数提供调整方向，每次优化过成像参数之后，都会对新的图像进行质量评价，调参的目标是使图像质量更好；同时也是为超声成像系统提供质量控制，只有当图像质量评分足够高时，才会停止优化成像参数，开始正常的采集图像和诊断工作，使得扫查流程更加流畅。

采用强化学习方法进行成像参数优化，训练人工神经网络模型作为调参代理，图像质量的评价结果作为调参代理的奖励，参数调整不断迭代，得到最优的图像质量。本发明采用的调优方法减少了操作者手动调参的工作，而且该方法可以实现参数的独立自动调整，便于区分每个参数对超声成像参数质量的影响，方便后续定位图像质量与参数调整之间的关系。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于强化学习的超声图像优化方法，其特征在于，所述方法包括：

S1，加载超声成像参数，获取对应的超声图像；

S2，对所述超声图像进行综合质量评估，确定所述超声图像的质量评估结果；其中所述综合质量评估包括模型质量评估和参数质量评估；

S3，若所述质量评估结果不是最优，则采用强化学习方法调整超声成像参数，产生新的超声成像参数；

每次获得新的超声成像参数，都将新的超声成像参数代入并执行S1-S3步骤，直到所述质量评估结果达到最优或执行S1-S3步骤的迭代次数超过预设的次数阈值，最终获得最优超声成像参数；

根据所述最优超声成像参数产生超声图像。

2.根据权利要求1所述的方法，其特征在于，

所述“模型质量评估”，具体包括：

根据待检测的组织切面，制定超声图像质量评价标准；

根据所述评价标准，获取多个专家打分标注的超声图像数据；

对所述超声图像数据进行学习训练，构建超声图像质量评估模型；

根据所述质量评估模型对所述超声图像进行模型质量评估，产生模型质量评分。

3.根据权利要求1所述的方法，其特征在于，

所述“参数质量评估”，具体包括：

计算所述超声图像的多个质量特征并分别对其进行评估，产生多个质量特征评分，其中，所述质量特征包括穿透深度、信噪比、对比度、分辨率和帧频；

对所述多个质量特征评分进行加权平均计算，产生参数质量评分。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述模型质量评分和参数质量评分进行加权平均计算，得到所述超声图像的质量评估结果。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述专家打分包括单激励打分和双激励方法。

6.根据权利要求1所述的方法，其特征在于，

所述“采用强化学习方法调整成像参数”，具体包括：

构建人工神经网络模型作为调参代理；

将所述超声图像和对应的质量评估结果作为当前状态和奖励输入到所述调参代理中，输出调整超声成像参数的动作，产生若干个新的超声成像参数。

7.根据权利要求6所述的方法，其特征在于，

所述“构建人工神经网络模型作为调参代理”，具体包括：

提取所述超声图像的多维度特征数据；

将所述多维度特征数据进行归一化处理，产生归一化特征向量；

基于所述归一化特征向量和对应质量评估结果，使用强化学习算法进行人工神经网络训练，产生所述人工神经网络模型。

8.根据权利要求7所述的方法，其特征在于，

所述“提取所述超声图像的多维度特征数据”具体包括：

利用统计模型、数学模型或卷积神经网络提取超声图像的灰度特征、纹理特征、形状特征和空间关系特征。

9.一种超声图像优化系统，其特征在于，该系统包括：超声成像参数加载单元，用于加载超声设备设置的超声成像参数；超声图像采集单元，用于根据所述加载的超声成像参数产生超声图像；超声图像质量评估单元，用于对采集到的超声图像质量进行评估；超声成像参数调整单元，用于根据质量评估结果调整超声成像参数，使得图像质量达到最优。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时候实现如权利要求1-8任意一项所述的方法。

Images