CN114494255B - 医学图像处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种医学图像处理方法、装置、计算机设备及存储介质，获取通过电子胃镜采集到的目标用户的内镜图像集；对内镜图像集进行识别，确定存在异常的食管图像和存在异常的胃底图像；对存在异常的食管图像进行第一维度的特征提取，对存在异常的胃底图像进行第二维度的特征提取，对第一维度的特征和第二维度的特征进行融合，得到目标用户消化道的多维度特征融合结果，实现了对不同部位图像的多维度特征的提取和融合处理，提高了目标用户消化道的多维度特征的丰富度和全面性，使得目标用户消化道的多维度特征融合结果更加准确，提升了对内镜图像集的处理效率。

Description

医学图像处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种医学图像处理方法、装置、计算机设备及存储介质。

背景技术

目前，胃镜检查为诊断食管胃底静脉曲张最简便而有效的方法，然而，内镜医师在内镜检查中既要操作内镜，同时要观察动态的内镜图像中可能的各种消化道病变，以得到准确的诊断结果。因此，内镜检查是一项高强度的工作，很容易出现漏看、漏诊的情况，对医师的精力、技术、经验有很高的要求，对于经验不同的医师，得到的胃镜报告结果也不同，存在主观性强、结果不稳定的问题，且降低了胃镜图像的处理效率。

发明内容

本申请实施例提供一种医学图像处理方法、装置、计算机设备及存储介质，以解决人工检测存在的检测效率低的技术问题。

一方面，本申请提供一种图像处理方法，包括：

获取通过电子胃镜采集到的目标用户的内镜图像集；

对所述内镜图像集进行识别，确定所述内镜图像集中的食管图像和胃底图像；

确定所述食管图像中存在异常的食管图像；

确定所述胃底图像中存在异常的胃底图像；

对所述存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，所述第一维度包括多个静脉曲张维度；

对所述存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，所述第二维度包括多个静脉曲张维度，且所述第一维度中静脉曲张维度数量多于所述第二维度中静脉曲张维度数量，所述第一维度中静脉曲张维度包括所述第二维度中所有静脉曲张维度；

对所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果。

一方面，本申请提供一种医学图像处理装置，包括：

获取模块，用于获取通过电子胃镜采集到的目标用户的内镜图像集；

识别模块，用于对所述内镜图像集进行识别，确定所述内镜图像集中的食管图像和胃底图像；

第一确定模块，用于确定所述食管图像中存在异常的食管图像；

第二确定模块，用于确定所述胃底图像中存在异常的胃底图像；

第一提取模块，用于对所述存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，所述第一维度包括多个静脉曲张维度；

第二提取模块，用于对所述存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，所述第二维度包括多个静脉曲张维度，且所述第一维度中静脉曲张维度数量多于所述第二维度中静脉曲张维度数量，所述第一维度中静脉曲张维度包括所述第二维度中所有静脉曲张维度；

融合模块，用于对所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果。

一方面，本申请提供一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述医学图像处理方法中的步骤。

一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述医学图像处理方法中的步骤。

本申请实施例提供了一种医学图像处理方法、装置、计算机设备及存储介质，该方法获取通过电子胃镜采集到的目标用户的内镜图像集；对内镜图像集进行识别，确定内镜图像集中的食管图像和胃底图像；确定食管图像中存在异常的食管图像；确定胃底图像中存在异常的胃底图像；对存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，第一维度包括多个静脉曲张维度；对存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，第二维度包括多个静脉曲张维度，且第一维度中静脉曲张维度数量多于第二维度中静脉曲张维度数量，第一维度中静脉曲张维度包括第二维度中所有静脉曲张维度；对目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果，本申请实施例中，根据内镜图像集中内镜图像的不同部位的图像的特征信息不同的特点，实现了对不同部位图像的多维度特征的提取和融合处理，提高了目标用户消化道的多维度特征的丰富度和全面性，使得目标用户消化道的多维度特征融合结果更加准确，提升了对内镜图像集的处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中医学图像处理方法的流程图；

图2为一个实施例中存在异常的食管图像的示意图；

图3为一个实施例中存在异常的胃底图像的示意图；

图4为一个实施例中食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况各自对应的典型的第一食管图像的示意图；

图5为一个实施例中红色征、异常区域大小、出血情况和黏膜情况各自对应的典型的胃底图像的示意图；

图6为一个实施例中医学图像处理装置的结构框图；

图7为一个实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在一个实施例中，提供了一种医学图像处理方法，该图像处理方法可以应用于终端，也可以应用于服务器，本实施例以应用于服务器举例说明。该医学图像处理方法具体包括以下步骤：

步骤102，获取通过电子胃镜采集到的目标用户的内镜图像集。

其中，内镜图像集是指包含有多帧内镜图像的集合，其中的内镜图像是通过电子胃镜采集的能够反映消化道信息的图像，用于对目标用户的消化道一个目标用户对应一个内镜图像集。具体地，可以通过电子胃镜的探头采集到包含有消化道信息的视频，通过对视频进行分帧处理和筛选，其中的筛选规则可以是根据每一帧图像的清晰度或者每一帧图像反映的消化道信息进行筛选，生成内镜图像集。

步骤104，对内镜图像集进行识别，确定内镜图像集中的食管图像和胃底图像。

其中，食管图像是指包含有消化道中的食管部位信息的内镜图像，胃底图像是指包含有消化道中的胃底部位信息的内镜图像。由于消化道包含多个部位，不同部位包含的反映静脉曲张程度的图像信息不同，为了提高对内镜图像的识别的准确性，本实施例中，对内镜图像集进行识别，确定内镜图像集中的各帧内镜图像是食管图像还是胃底图像。具体地，可以采用已训练的消化道部位识别模型进行内镜图像集进行识别，即将各帧内镜图像分别输入至消化道部位识别模型中进行识别，根据模型的输出确定对应的内镜图像是食管图像还是胃底图像,其中的消化道部位识别模型可以是基于Resnet50神经网络、CNN神经网络训练得到。也可以采用基于人工特征提取和识别的方式，如HOG特征或者PCA特征等，对内镜图像集进行识别，确定内镜图像是食管图像还是胃底图像。可以理解地，本实施例中，通过对内镜图像集进行识别，实现了对内镜图像的部位识别，以便后续针对不同部位采用对应的方式进行图像处理，提高图像处理效率。

值得说明的是，食管部位相较于胃底部位，其面积更大，通常情况下，在电子胃镜在采集过程中，电子胃镜的探头按照预设路径和速度从食管部位一直移动到胃底部位，由于食管部位的面积大于胃底部位的面积，因此，在内镜图像集中，食管图像的数量通常多于胃底图像的数量。

步骤106，确定食管图像中存在异常的食管图像。

其中，存在异常的食管图像是指食管部位存在异物常的概率大于第一预设概率阈值的食管图像。由于存在异常的食管图像相较于正常的食管图像，对于后续医生进行静脉曲张的诊断，更具参考价值，同时，避免了对正常的食管图像的冗余操作，有利于提高图像处理效率。具体地，可以采用已训练的第一病变区域检测模型进行检测，即将食管图像输入至第一病变区域检测模型中进行检测，根据模型的输出确定食管图像是否存在异常，并获取存在异常的食管图像,其中的第一病变区域检测模型可以是基于Resnet50神经网络或VGG16神经网络训练得到。如图2所示，为存在异常的食管图像的示意图。

步骤108，确定胃底图像中存在异常的胃底图像。

其中，存在异常的胃底图像是指胃底部位存在异物的概率大于第二预设概率阈值的胃底图像。由于存在异常的胃底图像相较于正常的胃底图像，对于后续医生进行静脉曲张的诊断，更具参考价值，同时，避免了对正常的胃底图像的冗余操作，有利于提高图像处理效率。具体地，可以采用已训练的第二病变区域检测模型进行检测，即将胃底图像输入至第二病变区域检测模型中进行检测，根据模型的输出确定胃底图像是否存在异常，并获取存在异常的胃底图像,其中的第二病变区域检测模型可以是基于Resnet50神经网络或VGG16神经网络训练得到。如图3所示，为存在异常的胃底图像的示意图。

步骤110，对存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，第一维度包括多个静脉曲张维度。

其中，第一维度是指存在异常的食管图像的用于表征静脉曲张特征信息的维度，包括多个静脉曲张维度，如形态、颜色、边界等静脉曲张维度。具体地，第一维度的特征提取可以是人工特征提取方法结合基于图像特征分析的算法如像素邻域均值计算、最大像素值提取等，得到各个静脉曲张维度对应的特征，也可以是预先训练第一静脉曲张特征识别模型，例如，选择Resnet50网络模型进行训练，其中的静脉曲张维度的标签包括：大小特征（如大静脉曲张、小静脉曲张）、红色征特征（如无红色征、有红色征）等。将存在异常的食管图像作为训练后的第一静脉曲张特征识别模型的输入，从而输出一种标签中各个分类结果及对应的置信度，例如，输出标签为大小特征，其对应的分类结果及对应的置信度为[大静脉曲张:0.85,小静脉曲张:0.15]。本实施例中，通过对存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，实现了对存在异常的食管图像的多个静脉曲张维度的提取，相较于传统的单一的静脉曲张维度的特征，使得目标用户的食管的静脉曲张特征更加丰富全面，能够更加准确的刻画目标用户的食管特征，进而提高后续图像处理的准确性。

步骤112，对存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，第二维度包括多个静脉曲张维度，且第一维度中静脉曲张维度数量多于第二维度中静脉曲张维度数量，第一维度中静脉曲张维度包括第二维度中所有静脉曲张维度。

其中，第二维度是指存在异常的胃底图像的用于表征静脉曲张特征信息的维度，包括多个静脉曲张维度，如形态、颜色、边界等静脉曲张维度，第一维度中静脉曲张维度包括第二维度中所有静脉曲张维度，即第二维度中静脉曲张维度为第一维度中静脉曲张维度的子集，由于食管部位面积大于胃底部位的面积，因此，存在异常的食管图像中的静脉曲张特征信息通常比存在异常的胃底图像中的脉曲张特征信息更加丰富，为了提高图像处理的准确性和处理效率，第一维度中静脉曲张维度数量多于第二维度中静脉曲张维度数量，目标用户食管的多维度静脉曲张特征的维度多于目标用户胃底的多维度静脉曲张特征的维度，如此，既保证了目标用户食管的多维度静脉曲张特征的全面丰富性，同时由于减少了对存在异常的胃底图像的一定数量维度的静脉曲张特征提取，进而提高了存在异常的胃底图像的特征提取效率，大大提高了图像的处理效率。具体地，由于第一维度中静脉曲张维度包括第二维度中所有静脉曲张维度，因此，第二维度的特征提取方法与步骤110中的第一维度的特征提取方法相同，为避免重复，此处不再赘述。本实施例中，通过对存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，实现了对存在异常的胃底图像的多个静脉曲张维度的提取，使得目标用户的胃底的静脉曲张特征更加丰富的同时，还提高了第二维度的特征提取效率。

步骤114，对目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果。

具体地，可以通过数学运算（如加和计算或取平均值）或者逻辑运算（如取并集或取最大值）的方式来实现目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征的融合，得到目标用户消化道的多维度特征融合结果，提高了目标用户消化道的多维度特征的丰富度和全面性，使得目标用户消化道的多维度特征融合结果更加准确，提升了对内镜图像集的处理效率。

上述医学图像处理方法中，获取通过电子胃镜采集到的目标用户的内镜图像集；对内镜图像集进行识别，确定内镜图像集中的食管图像和胃底图像；确定食管图像中存在异常的食管图像；确定胃底图像中存在异常的胃底图像；对存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，第一维度包括多个静脉曲张维度；对存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，第二维度包括多个静脉曲张维度，且第一维度中静脉曲张维度数量多于第二维度中静脉曲张维度数量，第一维度中静脉曲张维度包括第二维度中所有静脉曲张维度；对目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果，本申请实施例中，根据内镜图像集中内镜图像的不同部位的图像的特征信息不同的特点，实现了对不同部位图像的多维度特征的提取和融合处理，提高了目标用户消化道的多维度特征的丰富度和全面性，使得目标用户消化道的多维度特征融合结果更加准确，提升了对内镜图像集的处理效率。

在一个实施例中，获取通过电子胃镜采集到的目标用户的内镜图像集，包括：获取胃镜视频，胃镜视频包括多帧胃镜图像，且每帧胃镜图像均标识有采集时间戳；确定每帧胃镜图像的有效区域，并确定有效区域的水平外切矩形；按照水平外切矩形对胃镜图像进行裁剪，得到合格图像；计算各帧合格图像的清晰度，将清晰度大于预设阈值的多帧合格图像确定为内镜图像集，且每帧内镜图像标识有采集时间戳。

其中，采集时间戳是指电子胃镜采集到对应胃镜图像的时间点，有效区域是指包含有目标部位信息的区域，例如食管部位、胃底部位等，具体地，可以通过预先训练图像分割模型，例如，选择UNet++网络模型进行训练，将胃镜图像输入图像分割模型，根据模型的输出，得到有效区域，并根据有效区域的边界坐标点，确定对应的水平外切矩形，以该水平外接矩形裁剪胃镜图像，得到合格图像，由于合格图像包含有效区域及外接矩形区域，保证了合格图像的有效区域的完整性，同时合格图像为规则的矩形，便于后续的图像处理的计算。图像的清晰度是衡量图像质量优劣的重要指标。其中，合格图像的清晰度可以通过计算图像的Laplacian梯度函数、方差函数、能量梯度函数等确定清晰度，然后根据合格图像的清晰度筛选出内镜图像集，即将清晰度大于预设阈值的合格图像确定为内镜图像，且内镜图像标识有采集时间戳与对应的胃镜图像的采集时间戳一致。可以理解地，本实施例中通过对有效区域进行分割，避免了对无效区域的冗余处理，同时通过筛选出清晰度更高的合格图像，保证了内镜图像集的质量，有利于提高后续的内镜图像的处理效率。

在一个实施例中，存在异常的食管图像中包括第一食管图像和第二食管图像；对存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，包括：对第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征；对第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征；根据第一多维度静脉曲张特征和第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征。

其中，第一食管图像和第二食管图像是两帧存在异常的食管图像，具体地，提取第一食管图像的第一维度特征，得到第一多维度静脉曲张特征，提取第二食管图像的第一维度特征，得到第二多维度静脉曲张特征，然后，将第一多维度静脉曲张特征和第二多维度静脉曲张特征进行拟合处理，得到目标用户食管的多维度静脉曲张特征，其中的拟合处理包括但不限于是求取最大值、加权求和等。作为本实施例的优选第一多维度静脉曲张特征和第二多维度静脉曲张特征中最大值作为目标用户食管的多维度静脉曲张特征，简单快捷，且保证了目标用户食管的多维度静脉曲张特征的准确性。本实施例中，通过根据第一多维度静脉曲张特征和第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征，由于是通过两帧存在异常的食管图像的第一维度的特征进行分析，使得目标用户食管的多维度静脉曲张特征更加精准丰富。值得说明的是，由于第一维度中静脉曲张维度数量多于第二维度中静脉曲张维度数量，且存在异常的食管图像的数量通常多余存在异常的胃底图像，因此，根据两帧存在异常的食管图像确定目标用户食管的第一多维度静脉曲张特征，充分考虑了食管部位面积稍大、静脉曲张维度更多的特点，因此，使得目标用户食管的第一多维度静脉曲张特征不仅丰富，而且更加精准，进一步提高了后续图像的处理效率。

在一个实施例中，第一维度中静脉曲张维度包括食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况；对第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征，包括：检测第一食管图像中食管静脉曲张形态，得到第一食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第一置信度，第一食管静脉曲张形态为呈直线形或略有迂曲，第二食管静脉曲张形态为呈蛇形迂曲隆起，第三食管静脉曲张形态为呈串珠状、结节状或瘤状；检测第一食管图像中色调，得到第一食管图像中基本色调分别为白色和蓝色的第二置信度；检测第一食管图像中红色征，得到第一食管图像中存在红色征和不存在红色征的第三置信度；检测第一食管图像中异常区域大小，得到第一食管图像中存在大静脉曲张和小静脉曲张的第四置信度；检测第一食管图像中的出血情况，得到第一食管图像中无出血、出血中和曾出血的第五置信度；检测第一食管图像中的黏膜情况，得到第一食管图像中糜烂、溃疡、疤痕和无黏膜异常的第六置信度；第一多维度静脉曲张特征包括第一食管图像中食管静脉曲张形态及各自对应的第一置信度、基本色调及各自对应的第二置信度、红色征及各自对应的第三置信度、异常区域大小及各自对应的第四置信度、出血情况及各自对应的第五置信度、黏膜情况及各自对应的第六置信度。

具体地，可以预先训练6个Resnet50图像分类神经网络模型，6个Resnet50图像分类神经网络模型均是Resnet50神经网络，各自的模型参数和损失函数不同，分别用于检测第一食管图像的食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况各自的分类结果及各个结果对应的置信度，也即第一多维度静脉曲张特征包括3个第一置信度、2个第二置信度、2个第三置信度、2个第四置信度、3个第五置信度、4个第六置信度，实现了对第一食管图像的形态、颜色、形状的分析和精准量化，提高了第一多维度静脉曲张特征的准确性和丰富性，使得第一多维度静脉曲张特征更加凸显且精准。如图4所示，为食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况各自对应的典型的第一食管图像的示意图，a为食管静脉曲张形态为呈直线形或略有迂曲的第一食管图像的示意图，b为食管静脉曲张形态为呈蛇形迂曲隆起的第一食管图像的示意图，c为食管静脉曲张形态为呈串珠状、结节状或瘤状的第一食管图像的示意图，d为基本色调为白色的第一食管图像的示意图，e为基本色调为的第一食管图像的示意图,f为红色征为存在红色征的第一食管图像的示意图，g为红色征为不存在红色征的第一食管图像的示意图，h为大小为大静脉曲张的第一食管图像的示意图，i为大小为小静脉曲张的第一食管图像的示意图,j为出血情况为无出血的第一食管图像的示意图，k为出血情况为出血中的第一食管图像的示意图,l为出血情况为曾出血的第一食管图像的示意图，m为黏膜情况为糜烂的第一食管图像的示意图,n为黏膜情况为溃疡的第一食管图像的示意图,o为黏膜情况为疤痕的第一食管图像的示意图，p为黏膜情况为无黏膜异常的第一食管图像的示意图。

在一个实施例中，对第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征，包括：检测第一食管图像中食管静脉曲张形态，得到第二食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第七置信度；检测第二食管图像中色调，得到第二食管图像中基本色调分别为白色和蓝色的第八置信度；检测第二食管图像中红色征，得到第二食管图像中存在红色征和不存在红色征的第九置信度；检测第二食管图像中异常区域大小，得到第二食管图像中存在大静脉曲张和小静脉曲张的第十置信度；检测第二食管图像中的出血情况，得到第二食管图像中无出血、出血中和曾出血的第十一置信度；检测第二食管图像中的黏膜情况，得到第二食管图像中糜烂、溃疡、疤痕和无黏膜异常的第十二置信度；第二多维度静脉曲张特征包括第二食管图像中食管静脉曲张形态及各自对应的第七置信度、基本色调及各自对应的第八置信度、红色征及各自对应的第九置信度、异常区域大小及各自对应的第十置信度、出血情况及各自对应的第十一置信度、黏膜情况及各自对应的第十二置信度。

具体地，可以预先训练6个Resnet50图像分类神经网络模型，6个Resnet50图像分类神经网络模型均是Resnet50神经网络，各自的模型参数和损失函数不同，分别用于检测第二食管图像的食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况各自的分类结果及各个结果对应的置信度，也即第二多维度静脉曲张特征包括3个第七置信度、2个第八置信度、2个第九置信度、2个第十置信度、3个第十一置信度、4个第十二置信度，实现了对第二食管图像的形态、颜色、形状的分析和精准量化，提高了第二多维度静脉曲张特征的准确性和丰富性，使得第二多维度静脉曲张特征更加凸显且精准。

在一个实施例中，根据第一多维度静脉曲张特征和第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征，包括：对第一多维度静脉曲张特征中的多个第一置信度、多个第二置信度、多个第三置信度、多个第四置信度、多个第五置信度、多个第六置信度按照由大到小的顺序进行排序，并选取靠前的预设数量的第一多维度静脉曲张特征，作为第一食管特征；对第二多维度静脉曲张特征中的多个第七置信度、多个第八置信度、多个第九置信度、多个第十置信度、多个第十一置信度、多个第十二置信度进行排序，并选取靠前的预设数量的第二多维度静脉曲张特征，作为第二食管特征；根据第一食管特征和第二食管特征确定目标用户食管的多维度静脉曲张特征。

其中，预设数量N小于6，第一食管特征为置信度位于前N个的第一多维度静脉曲张特征，第一食管特征为置信度位于前N个的第二多维度静脉曲张特征，置信度越大，表明第一多维度静脉曲张特征或第二多维度静脉曲张特征中对应的静脉曲张特征越凸显，目标用户食管的多维度静脉曲张特征可以通过比较第一食管特征与第二食管特征各自对应的置信度，选取置信度最大的第一食管特征或第二食管特征确定为目标用户食管的多维度静脉曲张特征，使得目标用户食管的多维度静脉曲张特征进一步刻画了静脉曲张特征。本实施例中通过对置信度较大的第一多维度静脉曲张特征和第二多维度静脉曲张特征进行分析，确定目标用户食管的多维度静脉曲张特征，进一步提高了确定目标用户食管的多维度静脉曲张特征的准确性。

在一个实施例中，第二维度中静脉曲张维度包括红色征、异常区域大小、出血情况和黏膜情况；对存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，包括：检测胃底图像中红色征，得到胃底图像中存在红色征和不存在红色征的置信度；检测胃底图像中异常区域大小，得到胃底图像中存在大静脉曲张和小静脉曲张的置信度；检测胃底图像中的出血情况，得到胃底图像中无出血、出血中和曾出血的置信度；检测胃底图像中的黏膜情况，得到胃底图像中糜烂、溃疡、疤痕和无黏膜异常的置信度；目标用户胃底的多维度静脉曲张特征包括胃底图像中存在大静脉曲张和小静脉曲张的置信度、胃底图像中存在大静脉曲张和小静脉曲张的置信度、胃底图像中无出血、出血中和曾出血的置信度和胃底图像中糜烂、溃疡、疤痕和无黏膜异常的置信度。

具体地，可以预先训练4个Resnet50图像分类神经网络模型，4个Resnet50图像分类神经网络模型均是Resnet50神经网络，各自的模型参数和损失函数不同，分别用于检测胃底图像的红色征、异常区域大小、出血情况和黏膜情况各自的分类结果及各个结果对应的置信度，实现了对胃底图像的形态、颜色、形状的分析和精准量化，提高了第一多维度静脉曲张特征的准确性和丰富性，使得第二多维度静脉曲张特征更加凸显且精准。如图5所示，为红色征、异常区域大小、出血情况和黏膜情况各自对应的典型的胃底图像的示意图，q为红色征为存在红色征的胃底图像的示意图，r为红色征为不存在红色征的胃底图像的示意图，s为大小为大静脉曲张的胃底图像的示意图，t为大小为小静脉曲张的胃底图像的示意图,u为出血情况为无出血的胃底图像的示意图，v为出血情况为出血中的胃底图像的示意图,w为出血情况为曾出血的胃底图像的示意图，x为黏膜情况为糜烂的胃底图像的示意图,y为黏膜情况为溃疡的胃底图像的示意图，z为黏膜情况为疤痕的第一食管图像的示意图，σ为黏膜情况为无黏膜异常的第一食管图像的示意图。

在一个实施例中，对目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果，包括：求取目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征并集；基于并集确定目标用户消化道的多维度特征融合结果。

其中，并集是指将两个集合的元素融合在一起组成的集合，本实施例中的目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征并集，即是目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征的组合，基于并集确定目标用户消化道的多维度特征融合结果，可以是直接将目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征的组合确定为目标用户消化道的多维度特征融合结果，也可以是对并集中的置信度进行数学运算或者逻辑运算，将运算结果确定为目标用户消化道的多维度特征融合结果。本实施例中，通过将目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行合并，基于合并后的特征确定目标用户消化道的多维度特征融合结果，使得目标用户消化道的多维度特征融合结果更加全面精准，提高了目标用户消化道的多维度特征融合结果的准确性，进而为后续医生的诊断提供准确的参考。

在一个实施例中，在对目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果之后，还包括：将目标用户消化道的多维度特征融合结果满足预设条件的内镜图像作为候选图像；若任意两帧候选图像对应采集时间戳之间的差值大于预设差值阈值，则将候选图像进行保存。

其中，预设条件是用于判定目标用户消化道的多维度特征融合结果对应的内镜图像是否有价值的临界条件，例如，该预设条件可以是置信度阈值，例如85%、90%等，预设差值阈值是指不同内镜图像之间采集时间戳的临界值，例如5S、6S等。具体地，根据目标用户消化道的多维度特征融合结果选取满足预设条件的内镜图像作为候选图像，并将任意两帧候选图像对应采集时间戳之间的差值大于预设差值阈值，则将候选图像进行保存，可以理解地，两帧候选图像对应采集时间戳之间的差值越小，表明两帧内镜图像的异常位置越接近，因此，选取采集时间戳之间的差值大于预设差值阈值的两帧候选图像，进行保存，使得保存的候选图像更具有多样，进而后续给医生提供更具有价值的候选图像。

如图6所示，在一个实施例中，提出了一种医学图像处理装置，包括：

获取模块602，用于获取通过电子胃镜采集到的目标用户的内镜图像集；

识别模块604，用于对内镜图像集进行识别，确定内镜图像集中的食管图像和胃底图像；

第一确定模块606，用于确定食管图像中存在异常的食管图像；

第二确定模块608，用于确定胃底图像中存在异常的胃底图像；

第一提取模块610，用于对存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，第一维度包括多个静脉曲张维度；

第二提取模块612，用于对存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，第二维度包括多个静脉曲张维度，且第一维度中静脉曲张维度数量多于第二维度中静脉曲张维度数量，第一维度中静脉曲张维度包括第二维度中所有静脉曲张维度；

融合模块614，用于对目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果。

在一个实施例中，获取模块包括：

获取单元，用于获取胃镜视频，胃镜视频包括多帧胃镜图像，且每帧胃镜图像均标识有采集时间戳；

第一确定单元，用于确定每帧胃镜图像的有效区域，并确定有效区域的水平外切矩形；

裁剪单元，用于按照水平外切矩形对胃镜图像进行裁剪，得到合格图像；

选取单元，用于计算各帧合格图像的清晰度，将清晰度大于预设阈值的多帧合格图像确定为内镜图像集，且每帧内镜图像标识有采集时间戳。

在一个实施例中，第一提取模块包括：

第一提取单元，用于对第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征；

第二提取单元，用于对第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征；

第二确定单元，用于根据第一多维度静脉曲张特征和第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征。

在一个实施例中，第一提取单元包括：

第一检测子单元，用于检测第一食管图像中食管静脉曲张形态，得到第一食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第一置信度，第一食管静脉曲张形态为呈直线形或略有迂曲，第二食管静脉曲张形态为呈蛇形迂曲隆起，第三食管静脉曲张形态为呈串珠状、结节状或瘤状；

第二检测子单元，用于检测第一食管图像中色调，得到第一食管图像中基本色调分别为白色和蓝色的第二置信度；

第三检测子单元，用于检测第一食管图像中红色征，得到第一食管图像中存在红色征和不存在红色征的第三置信度；

第四检测子单元，用于检测第一食管图像中异常区域大小，得到第一食管图像中存在大静脉曲张和小静脉曲张的第四置信度；

第五检测子单元，用于检测第一食管图像中的出血情况，得到第一食管图像中无出血、出血中和曾出血的第五置信度；

第六检测子单元，用于检测第一食管图像中的黏膜情况，得到第一食管图像中糜烂、溃疡、疤痕和无黏膜异常的第六置信度；

第一多维度静脉曲张特征包括第一食管图像中食管静脉曲张形态及各自对应的第一置信度、基本色调及各自对应的第二置信度、红色征及各自对应的第三置信度、异常区域大小及各自对应的第四置信度、出血情况及各自对应的第五置信度、黏膜情况及各自对应的第六置信度。

在一个实施例中，第二提取单元包括：

第七检测子单元，用于检测第一食管图像中食管静脉曲张形态，得到第二食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第七置信度；

第八检测子单元，用于检测第二食管图像中色调，得到第二食管图像中基本色调分别为白色和蓝色的第八置信度；

第九检测子单元，用于检测第二食管图像中红色征，得到第二食管图像中存在红色征和不存在红色征的第九置信度；

第十检测子单元，用于检测第二食管图像中异常区域大小，得到第二食管图像中存在大静脉曲张和小静脉曲张的第十置信度；

第十一检测子单元，用于检测第二食管图像中的出血情况，得到第二食管图像中无出血、出血中和曾出血的第十一置信度；

第十二检测子单元，用于检测第二食管图像中的黏膜情况，得到第二食管图像中糜烂、溃疡、疤痕和无黏膜异常的第十二置信度；

第二多维度静脉曲张特征包括第二食管图像中食管静脉曲张形态及各自对应的第七置信度、基本色调及各自对应的第八置信度、红色征及各自对应的第九置信度、异常区域大小及各自对应的第十置信度、出血情况及各自对应的第十一置信度、黏膜情况及各自对应的第十二置信度。

在一个实施例中，第二确定单元包括：

第一确定子单元，用于对第一多维度静脉曲张特征中的多个第一置信度、多个第二置信度、多个第三置信度、多个第四置信度、多个第五置信度、多个第六置信度按照由大到小的顺序进行排序，并选取靠前的预设数量的第一多维度静脉曲张特征，作为第一食管特征；

第二确定子单元，用于对第二多维度静脉曲张特征中的多个第七置信度、多个第八置信度、多个第九置信度、多个第十置信度、多个第十一置信度、多个第十二置信度进行排序，并选取靠前的预设数量的第二多维度静脉曲张特征，作为第二食管特征；

第三确定子单元，用于根据第一食管特征和第二食管特征确定目标用户食管的多维度静脉曲张特征。

在一个实施例中，第二提取模块包括：

第一检测单元，用于检测胃底图像中红色征，得到胃底图像中存在红色征和不存在红色征的置信度；

第二检测单元，用于检测胃底图像中异常区域大小，得到胃底图像中存在大静脉曲张和小静脉曲张的置信度；

第三检测单元，用于检测胃底图像中的出血情况，得到胃底图像中无出血、出血中和曾出血的置信度；

第四检测单元，用于检测胃底图像中的黏膜情况，得到胃底图像中糜烂、溃疡、疤痕和无黏膜异常的置信度；

目标用户胃底的多维度静脉曲张特征包括胃底图像中存在大静脉曲张和小静脉曲张的置信度、胃底图像中存在大静脉曲张和小静脉曲张的置信度、胃底图像中无出血、出血中和曾出血的置信度和胃底图像中糜烂、溃疡、疤痕和无黏膜异常的置信度。

在一个实施例中，融合模块包括：

计算单元，用于求取目标用户食管的多维度静脉曲张特征和目标用户胃底的多维度静脉曲张特征并集；

融合单元，用于基于并集确定目标用户消化道的多维度特征融合结果。

在一个实施例中，该医学图像处理装置还包括：

获取模块，用于将目标用户消化道的多维度特征融合结果满足预设条件的内镜图像作为候选图像；

选取模块，用于若任意两帧候选图像对应采集时间戳之间的差值大于预设差值阈值，则将候选图像进行保存。

图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，服务器包括但不限于高性能计算机和高性能计算机集群。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现医学图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行医学图像处理方法。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的医学图像处理方法可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成医学图像处理装置的各个程序模板。比如，获取模块602，识别模块604，第一确定模块606，第二确定模块608，第一提取模块610，第二提取模块612，融合模块614。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述医学图像处理方法中的步骤。

一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述医学图像处理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种医学图像处理方法，其特征在于，所述方法包括：

获取通过电子胃镜采集到的目标用户的内镜图像集；

对所述内镜图像集进行识别，确定所述内镜图像集中的食管图像和胃底图像；

确定所述食管图像中存在异常的食管图像；

确定所述胃底图像中存在异常的胃底图像；

对所述存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，所述第一维度包括多个静脉曲张维度，其中，所述存在异常的食管图像中包括第一食管图像和第二食管图像；所述对所述存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，包括：

对所述第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征；

对所述第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征；

根据所述第一多维度静脉曲张特征和所述第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征；

所述第一维度中静脉曲张维度包括食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况；

所述对所述第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征，包括：

检测所述第一食管图像中食管静脉曲张形态，得到所述第一食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第一置信度，所述第一食管静脉曲张形态为呈直线形或略有迂曲，所述第二食管静脉曲张形态为呈蛇形迂曲隆起，所述第三食管静脉曲张形态为呈串珠状、结节状或瘤状；

检测所述第一食管图像中色调，得到所述第一食管图像中基本色调分别为白色和蓝色的第二置信度；

检测所述第一食管图像中红色征，得到所述第一食管图像中存在红色征和不存在红色征的第三置信度；

检测所述第一食管图像中异常区域大小，得到所述第一食管图像中存在大静脉曲张和小静脉曲张的第四置信度；

检测所述第一食管图像中的出血情况，得到所述第一食管图像中无出血、出血中和曾出血的第五置信度；

检测所述第一食管图像中的黏膜情况，得到所述第一食管图像中糜烂、溃疡、疤痕和无黏膜异常的第六置信度；

所述第一多维度静脉曲张特征包括所述第一食管图像中食管静脉曲张形态及各自对应的第一置信度、基本色调及各自对应的第二置信度、红色征及各自对应的第三置信度、异常区域大小及各自对应的第四置信度、出血情况及各自对应的第五置信度、黏膜情况及各自对应的第六置信度；

所述对所述第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征，包括：

检测所述第二食管图像中食管静脉曲张形态，得到所述第二食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第七置信度；

检测所述第二食管图像中色调，得到所述第二食管图像中基本色调分别为白色和蓝色的第八置信度；

检测所述第二食管图像中红色征，得到所述第二食管图像中存在红色征和不存在红色征的第九置信度；

检测所述第二食管图像中异常区域大小，得到所述第二食管图像中存在大静脉曲张和小静脉曲张的第十置信度；

检测所述第二食管图像中的出血情况，得到所述第二食管图像中无出血、出血中和曾出血的第十一置信度；

检测所述第二食管图像中的黏膜情况，得到所述第二食管图像中糜烂、溃疡、疤痕和无黏膜异常的第十二置信度；

所述第二多维度静脉曲张特征包括所述第二食管图像中食管静脉曲张形态及各自对应的第七置信度、基本色调及各自对应的第八置信度、红色征及各自对应的第九置信度、异常区域大小及各自对应的第十置信度、出血情况及各自对应的第十一置信度、黏膜情况及各自对应的第十二置信度；

根据所述第一多维度静脉曲张特征和所述第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征，包括：对所述第一多维度静脉曲张特征中的多个所述第一置信度、多个第二置信度、多个第三置信度、多个第四置信度、多个第五置信度、多个第六置信度按照由大到小的顺序进行排序，并选取靠前的预设数量的第一多维度静脉曲张特征，作为第一食管特征；

对所述第二多维度静脉曲张特征中的多个所述第七置信度、多个第八置信度、多个第九置信度、多个第十置信度、多个第十一置信度、多个第十二置信度进行排序，并选取靠前的预设数量的第二多维度静脉曲张特征，作为第二食管特征；

根据所述第一食管特征和所述第二食管特征确定目标用户食管的多维度静脉曲张特征；

对所述存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，所述第二维度包括多个静脉曲张维度，且所述第一维度中静脉曲张维度数量多于所述第二维度中静脉曲张维度数量，所述第一维度中静脉曲张维度包括所述第二维度中所有静脉曲张维度；

对所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果。

2.如权利要求1所述的医学图像处理方法，其特征在于，所述获取通过电子胃镜采集到的目标用户的内镜图像集，包括：

获取胃镜视频，所述胃镜视频包括多帧胃镜图像，且每帧所述胃镜图像均标识有采集时间戳；

确定每帧所述胃镜图像的有效区域，并确定所述有效区域的水平外切矩形；

按照所述水平外切矩形对所述胃镜图像进行裁剪，得到合格图像；

计算各帧所述合格图像的清晰度，将清晰度大于预设阈值的多帧所述合格图像确定为所述内镜图像集，且每帧所述内镜图像标识有采集时间戳。

3.如权利要求1所述的医学图像处理方法，其特征在于，所述第二维度中静脉曲张维度包括红色征、异常区域大小、出血情况和黏膜情况；

所述对所述存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，包括：

检测所述胃底图像中红色征，得到所述胃底图像中存在红色征和不存在红色征的置信度；

检测所述胃底图像中异常区域大小，得到所述胃底图像中存在大静脉曲张和小静脉曲张的置信度；

检测所述胃底图像中的出血情况，得到所述胃底图像中无出血、出血中和曾出血的置信度；

检测所述胃底图像中的黏膜情况，得到所述胃底图像中糜烂、溃疡、疤痕和无黏膜异常的置信度；

所述目标用户胃底的多维度静脉曲张特征包括所述胃底图像中存在大静脉曲张和小静脉曲张的置信度、所述胃底图像中存在大静脉曲张和小静脉曲张的置信度、所述胃底图像中无出血、出血中和曾出血的置信度和所述胃底图像中糜烂、溃疡、疤痕和无黏膜异常的置信度。

4.如权利要求3所述的医学图像处理方法，其特征在于，所述对所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果，包括：

求取所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征并集；

基于所述并集确定目标用户消化道的多维度特征融合结果。

5.如权利要求1-4任一项所述的医学图像处理方法，其特征在于，在所述对所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果之后，还包括：

将所述目标用户消化道的多维度特征融合结果满足预设条件的所述内镜图像作为候选图像；

若任意两帧所述候选图像对应所述采集时间戳之间的差值大于预设差值阈值，则将所述候选图像进行保存。

6.一种医学图像处理装置，其特征在于，包括：

获取模块，用于获取通过电子胃镜采集到的目标用户的内镜图像集；

识别模块，用于对所述内镜图像集进行识别，确定所述内镜图像集中的食管图像和胃底图像；

第一确定模块，用于确定所述食管图像中存在异常的食管图像；

第二确定模块，用于确定所述胃底图像中存在异常的胃底图像；

第一提取模块，用于对所述存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，所述第一维度包括多个静脉曲张维度，其中，所述存在异常的食管图像中包括第一食管图像和第二食管图像；所述对所述存在异常的食管图像进行第一维度的特征提取，得到目标用户食管的多维度静脉曲张特征，包括：

对所述第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征；

对所述第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征；

根据所述第一多维度静脉曲张特征和所述第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征；

所述第一维度中静脉曲张维度包括食管静脉曲张形态、基本色调、红色征、异常区域大小、出血情况和黏膜情况；

所述对所述第一食管图像进行第一维度的特征提取，得到目标用户食管的第一多维度静脉曲张特征，包括：

检测所述第一食管图像中食管静脉曲张形态，得到所述第一食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第一置信度，所述第一食管静脉曲张形态为呈直线形或略有迂曲，所述第二食管静脉曲张形态为呈蛇形迂曲隆起，所述第三食管静脉曲张形态为呈串珠状、结节状或瘤状；

检测所述第一食管图像中色调，得到所述第一食管图像中基本色调分别为白色和蓝色的第二置信度；

检测所述第一食管图像中红色征，得到所述第一食管图像中存在红色征和不存在红色征的第三置信度；

检测所述第一食管图像中异常区域大小，得到所述第一食管图像中存在大静脉曲张和小静脉曲张的第四置信度；

检测所述第一食管图像中的出血情况，得到所述第一食管图像中无出血、出血中和曾出血的第五置信度；

检测所述第一食管图像中的黏膜情况，得到所述第一食管图像中糜烂、溃疡、疤痕和无黏膜异常的第六置信度；

所述第一多维度静脉曲张特征包括所述第一食管图像中食管静脉曲张形态及各自对应的第一置信度、基本色调及各自对应的第二置信度、红色征及各自对应的第三置信度、异常区域大小及各自对应的第四置信度、出血情况及各自对应的第五置信度、黏膜情况及各自对应的第六置信度；

所述对所述第二食管图像进行第一维度的特征提取，得到目标用户食管的第二多维度静脉曲张特征，包括：

检测所述第二食管图像中食管静脉曲张形态，得到所述第二食管图像分别为第一食管静脉曲张形态、第二食管静脉曲张形态和第三食管静脉曲张形态的第七置信度；

检测所述第二食管图像中色调，得到所述第二食管图像中基本色调分别为白色和蓝色的第八置信度；

检测所述第二食管图像中红色征，得到所述第二食管图像中存在红色征和不存在红色征的第九置信度；

检测所述第二食管图像中异常区域大小，得到所述第二食管图像中存在大静脉曲张和小静脉曲张的第十置信度；

检测所述第二食管图像中的出血情况，得到所述第二食管图像中无出血、出血中和曾出血的第十一置信度；

检测所述第二食管图像中的黏膜情况，得到所述第二食管图像中糜烂、溃疡、疤痕和无黏膜异常的第十二置信度；

所述第二多维度静脉曲张特征包括所述第二食管图像中食管静脉曲张形态及各自对应的第七置信度、基本色调及各自对应的第八置信度、红色征及各自对应的第九置信度、异常区域大小及各自对应的第十置信度、出血情况及各自对应的第十一置信度、黏膜情况及各自对应的第十二置信度；

根据所述第一多维度静脉曲张特征和所述第二多维度静脉曲张特征，确定目标用户食管的多维度静脉曲张特征，包括：对所述第一多维度静脉曲张特征中的多个所述第一置信度、多个第二置信度、多个第三置信度、多个第四置信度、多个第五置信度、多个第六置信度按照由大到小的顺序进行排序，并选取靠前的预设数量的第一多维度静脉曲张特征，作为第一食管特征；

对所述第二多维度静脉曲张特征中的多个所述第七置信度、多个第八置信度、多个第九置信度、多个第十置信度、多个第十一置信度、多个第十二置信度进行排序，并选取靠前的预设数量的第二多维度静脉曲张特征，作为第二食管特征；

根据所述第一食管特征和所述第二食管特征确定目标用户食管的多维度静脉曲张特征；

第二提取模块，用于对所述存在异常的胃底图像进行第二维度的特征提取，得到目标用户胃底的多维度静脉曲张特征，所述第二维度包括多个静脉曲张维度，且所述第一维度中静脉曲张维度数量多于所述第二维度中静脉曲张维度数量，所述第一维度中静脉曲张维度包括所述第二维度中所有静脉曲张维度；

融合模块，用于对所述目标用户食管的多维度静脉曲张特征和所述目标用户胃底的多维度静脉曲张特征进行融合，得到目标用户消化道的多维度特征融合结果。

Images