CN114445406A - 肠镜图像分析方法、装置和医学图像处理设备 - Google Patents

Abstract

本申请提供一种肠镜图像分析方法、装置和医学图像处理设备，方法包括：获取肠镜医学图像；将肠镜医学图像输入至已训练的肠镜分析模型中，输出肠镜医学图像的肠异严重度数和目标异常肠段；根据肠异严重度数和目标异常肠段，生成肠段病变图标；合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。采用本方法，能够提升肠镜图像的分析精度，进而提高UC检测结果的可靠性，最终改善UC检测结果的展示稳定性。

Description

肠镜图像分析方法、装置和医学图像处理设备

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种肠镜图像分析方法、装置和医学图像处理设备。

背景技术

计算机视觉(Computer Vision，CV)是指通过图像传感器和计算机来代替人类对目标进行识别、跟踪和测量等处理，使得目标成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像语义分割、图像检索、人脸识别、指纹识别等技术。

近年来，以深度学习为中心的计算机视觉技术引起了人们的关注，并逐渐应用于医学领域。其中，溃疡性结肠炎（UC）是一种慢性特发性炎症性疾病，UC内镜下病变范围和活动度检测，可以为医生提供病理诊断的重要依据。

然而，目前的UC检测主要依赖于医生，不同内镜医师对UC活动性的评估难免产生差异，因此，难免存在UC检测准确率低的情况。

发明内容

基于此，有必要针对上述技术问题，提供一种肠镜图像分析方法、装置和医学图像处理设备，用以通过提升肠镜图像的分析精度，来提高UC检测结果的可靠性，以便于采用可视化技术改善UC检测结果的展示效果，使其展示内容具有高度稳定性。

第一方面，本申请提供一种肠镜图像分析方法，包括：

获取肠镜医学图像；

将肠镜医学图像输入至已训练的肠镜分析模型中，输出肠镜医学图像的肠异严重度数和目标异常肠段；

根据肠异严重度数和目标异常肠段，生成肠段病变图标；

合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。

在本申请一些实施例中，已训练的肠镜分析模型包括已训练的肠炎评分模型和已训练的肠段识别模型；其中，将肠镜医学图像输入至已训练的肠镜分析模型中，输出肠镜医学图像的肠异严重度数和目标异常肠段，包括：将肠镜医学图像输入至已训练的肠镜分析模型中，通过已训练的肠炎评分模型，预测肠镜医学图像相对于各个预设肠异类型的严重程度分值，得到肠异严重度数；通过已训练的肠段识别模型，识别肠镜医学图像在预设标准肠段中的肠段，得到目标异常肠段。

在本申请一些实施例中，在将肠镜医学图像输入至已训练的肠镜分析模型中之前，还包括：构建初始的肠镜分析模型；肠镜分析模型包括肠炎评分模型和肠段识别模型构成；获取肠镜医学图像集；肠镜医学图像集包括多个已标注肠异严重度数的第一肠镜医学图像，以及多个已标注肠段的第二肠镜医学图像；通过第一肠镜医学图像和第二肠镜医学图像，对初始的肠镜分析模型进行训练，得到已训练的肠炎评分模型和已训练的肠段识别模型，作为已训练的肠镜分析模型。

在本申请一些实施例中，获取肠镜医学图像，包括：获取肠镜医学视频；对肠镜医学视频进行抽帧，得到至少两帧的医学图像；对各医学图像进行预处理，得到肠镜医学图像；其中，预处理包括无效筛除、画质筛选、黑边去除中的至少一种。

在本申请一些实施例中，根据肠异严重度数和目标异常肠段，生成肠段病变图标，包括：根据肠异严重度数和目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息；根据病变范围信息和病变程度信息，生成肠段病变图标。

在本申请一些实施例中，根据肠异严重度数和目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息，包括：根据肠异严重度数的肠异类型，统计肠镜医学视频中的视频图像帧，得到肠异图像总数；其中，肠异类型包括血管型、出血、溃烂以及UCEIS总分中的至少一种；统计肠异严重度数的视频图像帧，得到分值图像总数；获取分值图像总数与肠异图像总数之比，得到预设标准肠段中的病变范围信息；以及根据肠异严重度数的肠异类型，从预存的标记色中筛选出目标标记色，以根据肠异类型和目标标记色，确定预设标准肠段中的病变程度信息。

在本申请一些实施例中，在合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像之后，还包括：确定肠镜医学图像对应的患者标识，以判断患者标识是否存在对应的历史合成图像；若患者标识存在对应的历史合成图像，则合成该合成后的肠镜医学图像和历史合成图像，得到当前医学图像；通过终端展示当前医学图像。

第二方面，本申请提供一种肠镜图像分析装置，包括：

图像获取模块，用于获取肠镜医学图像；

图像分析模块，用于将肠镜医学图像输入至已训练的肠镜分析模型中，输出肠镜医学图像的肠异严重度数和目标异常肠段；

图像生成模块，用于根据肠异严重度数和目标异常肠段，生成肠段病变图标；

图像合成模块，用于合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。

第三方面，本申请还提供一种医学图像处理设备，包括：

一个或多个处理器；

存储器；以及一个或多个应用程序，其中的一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现肠镜图像分析方法。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行肠镜图像分析方法中的步骤。

第五方面，本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。医学图像处理设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该医学图像处理设备执行上述第一方面提供的方法。

上述肠镜图像分析方法、装置和医学图像处理设备，服务器通过获取肠镜医学图像，并将肠镜医学图像输入至已训练的肠镜分析模型中，可得到模型输出的肠镜医学图像的肠异严重度数和目标异常肠段，再根据肠异严重度数和目标异常肠段，生成肠段病变图标，即可合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。由于本申请提出结合深度学习技术实现对肠镜图像的精准异常分析，进而通过可视化技术手段展示分析结果，不仅能够提高UC检测结果的可靠性，还能够提升UC检测结果的展示稳定性，节省人力成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中肠镜图像分析方法的场景示意图；

图2是本申请实施例中肠镜图像分析方法的流程示意图；

图3是本申请实施例中图像预处理步骤的效果示意图；

图4是本申请实施例中肠段病变图标的展示效果图；

图5是本申请实施例中历史合成图像的展示效果图；

图6是本申请实施例中肠镜图像分析装置的结构示意图；

图7是本申请实施例中医学图像处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请提供的方案涉及计算机视觉技术和人工智能技术，具体通过如下实施例进行说明：

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

卷积神经网络（CNN）是受人脑处理和识别图像的机制启发而建立的有监督的机器学习模型，也是人工智能的机器学习中的重要算法。在CNN中每个计算单元作为人工神经元相互连接，形成一个网络。通过多个网络层，CNN可以通过预处理从图像中提取关键特征，然后通过全连接层作为输出提供最终分类。卷积神经网络（CNNs）等深度学习算法已被证明在图像识别上具有远超人类的表现，并被大量应用于医学中设计特征提取于图像分析的工程。尤其在医学消化内镜领域，人工智能对肠道息肉、肠黏膜表现、毛细血管等的识别已经取得了很好的效果。

溃疡性结肠炎（UC）是一种慢性特发性炎症性疾病，与克罗恩病同属炎症性肠病（IBD）。UC主要在西方国家发病，但近年来其发病率在发展中国家成上升趋势，其发病机制复杂，涉及到环境因素与患者本体遗传易感性以及倡导菌群相互作用等多种因素。为了研究其发病机制，业内通常采用UC内镜观察，即通过观察UC内镜下的病变范围和活动度，实现对溃疡性结肠炎的判断分析，其对于病理性研究有着重要意义。

然而，实际应用中不同内镜医师对UC患者进行肠镜检查时，对UC活动性的评估会产生无法避免的差异，这种差异会使医生对患者病情缓解情况的判断出现不一致，进而对治疗方案和后续决策产生不可控的影响。为了解决这一问题，传统的研究主要针对UC的内镜表现定义了三组相对可靠的描述符（血管型、出血、糜烂与溃疡），并据此分级制定了UC内镜下表现的评分标准——溃疡性结肠炎内镜下严重程度指数（UCEIS），以此分级UC的内镜活动程度。但不同熟练度以及培训背景不同的内镜医师仍然可能给出不同的UCEIS分数，即便是经受过培训的医师也可能低估一些患者的内镜下活动度。

因此，本申请实施例提供一种肠镜图像分析方法、装置和医学图像处理设备，主要基于计算机视觉技术和人工智能技术分析处理肠镜图像，以规避人工分析的不稳定性，降低人力成本，且定量不同活动度的病变范围，可以有效提高肠镜图像的肠炎判断准确率，进而通过可视化技术改善肠炎判断结果的展示效果，同时集成入系统方便快捷，具有可推广性，以下分别进行详细说明。

参阅图1，图1为本申请提供的肠镜图像分析方法的场景示意图，该肠镜图像分析方法可应用于肠镜图像分析系统中。其中，肠镜图像分析系统包括终端102和服务器104。终端102可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。终端102具体可以是台式终端或移动终端，终端102具体还可以是手机、平板电脑、笔记本电脑中的一种。服务器104可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。此外，终端102与服务器104之间通过网络建立通信连接，网络具体可以是广域网、局域网、城域网中的任意一种。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是适用于本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的医学图像处理设备，例如图1中仅示出1个服务器104。可以理解的是，该肠镜图像分析系统还可以包括一个或多个其他服务器，具体此处不作限定。另外，如图1所示，该肠镜图像分析系统还可以包括存储器，用于存储数据，如存储医学图像。

需要说明的是，图1所示的肠镜图像分析系统的场景示意图仅仅是一个示例，本发明实施例描述的肠镜图像分析系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着肠镜图像分析系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

参阅图2，本申请实施例提供了一种肠镜图像分析方法，本实施例主要以该方法应用于上述图1中的服务器104来举例说明，该方法包括步骤S201至S204，具体如下：

S201，获取肠镜医学图像。

其中，本申请实施例涉及的医学图像分析(Medical Image Analysis)，是综合医学影像、数学建模、数字图像处理与分析、人工智能和数值算法等学科的交叉领域。医学图像包括但不局限于：CT影像、PET（Positron Emission Computed Tomography，正电子发射型计算机断层显像）影像，或者MRI（Magnetic Resonance Imaging，核磁共振成像）影像等。

具体实现中，服务器104可采用如下几种方式之一，获取肠镜医学图像，例如：（1）从终端102或其他设备处获取肠镜医学图像；（2）从其他区块链节点服务器处同步获取得到肠镜医学图像；（3）从上级服务器请求得到，或是从下级服务器轮询得到肠镜医学图像。当然，服务器104还可从其他设备处首先获取用于获取肠镜医学图像的初始图像，进而分析初始图像，得到肠镜医学图像。其中，该初始图像可以是白光内镜影像，白光内镜影像即白光内镜检查视频所含影像。

在一个实施例中，本步骤包括：获取肠镜医学视频；对肠镜医学视频进行抽帧，得到至少两帧的医学图像；对各医学图像进行预处理，得到肠镜医学图像；其中，预处理包括无效筛除、画质筛选、黑边去除中的至少一种。

其中，肠镜医学视频可以是白光模式下的肠镜检查视频。

其中，无效筛除可以是筛除掉冲吸水、活检等操作图片；画质筛选可以是去除清洁度不达标图片；黑边去除可以是去除黑边，仅保留镜下视野。

具体实现中，本申请提出在服务器104获取肠镜医学图像之前，若是获取到肠镜医学视频，则可利用OpenCV、ffmpeg、via等工具对视频进行抽帧，抽帧频率可以是每秒一帧，也可以是每秒多帧（如每秒两帧），具体本申请实施例不作限定，即可得到连续帧的医学图像。由此，作为后续分析依据的医学图像可以不单是一帧，也可以是连续帧；若是连续帧，则将逐帧进行分析。

进一步地，服务器104获取到多帧医学图像之后，为了提升后续的肠炎判断准确率，可对医学图像进行预处理，包括无效筛除、画质筛选、黑边去除中的至少一种。需要说明的是，本申请实施例提及的白光模式，其可基于预设程序启动，启动程序可设置于终端102中，也可设置于服务器104中，具体本申请不做限定。

S202，将肠镜医学图像输入至已训练的肠镜分析模型中，输出肠镜医学图像的肠异严重度数和目标异常肠段。

其中，已训练的肠镜分析模型可以是由ResNet34模型，或VGG16模型，或Inception-V3模型构成（具体本申请实施例不作限定），因其预先采用了肠镜医学图像进行迭代训练，具备有肠镜分析功能，故而称之为肠镜分析模型。

其中，肠异严重度数可以是指溃疡性结肠炎内镜下的严重程度指数（UCEIS），且UCEIS数值通常分为三种类型，分别是：（1）血管型、（2）出血、（3）糜烂与溃疡；血管型的肠异严重度数包括：0、1、2；出血的肠异严重度数包括：0、1、2、3；糜烂与溃疡的肠异严重度数包括：0、1、2、3。

其中，目标异常肠段可以是指升结肠、横结肠、降结肠、乙状结肠、直肠几大肠段，或其他依据实际业务需求划分的肠段之一，主要代指当前所分析肠镜医学图像中的异常肠段。

具体实现中，服务器104获取肠镜医学图像之前，可先获取已训练的肠镜分析模型，模型获取步骤包括：构建初始的肠镜分析模型；肠镜分析模型包括肠炎评分模型和肠段识别模型；获取肠镜医学图像集；肠镜医学图像集包括多个已标注肠异严重度数的第一肠镜医学图像，以及多个已标注肠段的第二肠镜医学图像；通过第一肠镜医学图像和第二肠镜医学图像，对初始的肠镜分析模型进行训练，得到已训练的肠炎评分模型和已训练的肠段识别模型，作为已训练的肠镜分析模型。

其中，肠炎评分模型和/或肠段识别模型可由ResNet34模型，或VGG16模型，或Inception-V3模型构成，具体本申请不作限定。

具体而言，针对肠镜医学图像集的获取，可以是对白光肠镜图像分别进行UCEIS三项（血管型、出血、糜烂与溃疡）评分标注，并形成UCEIS评分样本集（第一肠镜医学图像），以及对肠段标注形成肠段样本集（第二肠镜医学图像），具体步骤包括：通过内镜中心数据系统导出UC患者的肠镜检查图像数据集；对肠镜检查图像进行预处理，包括：去除边框只保留感兴趣区域、筛选去除不合焦、清洁度不达标等的不合格图像；对每一张图像分别标注UCEIS三项评分（肠异严重度数），具体为：（1）血管型：“0”表示血管形态清楚或毛细血管边缘模糊，即表示正常、“1”表示血管斑片样缺失，即表示斑片状鼻塞、“2”表示血管形态缺失，即表示闭塞；（2）出血：“0”表示无可见血液，即表示没有出血、“1”表示粘膜有血点或血痕，即表示粘膜出血、“2”表示管腔内有游离血液，即表示腔内轻度出血、“3”表示血管内有明显大量血液或冲洗后有粘膜渗血，即表示腔内中度或重度出血；（3）糜烂与溃疡：“0”表示粘膜完好、无糜烂或溃疡，即表示无明显糜烂与溃疡、“1”表示粘膜有微小缺损（≤5mm），即表示粘膜小侵蚀、“2”表示粘膜较大的浅表溃疡，即表示表浅性溃疡、“3”表示粘膜中较深较大的溃疡、周围突起，即表示深度溃疡。如此，服务器104执行完上述步骤之后，即可得到第一肠镜医学图像。

进一步地，针对肠镜医学图像集中第二肠镜医学图像的获取，服务器104可针对同一批白光肠镜图像进行肠段标注，也可重新获取白光肠镜图像进行肠段标注，进而得到第二肠镜医学图像。

最后，使用第一肠镜医学图像训练肠炎评分模型，即可得到已训练的肠炎评分模型，而使用第二肠镜医学图像训练肠段识别模型，即可得到已训练的肠段识别模型。如此，已训练的肠炎评分模型和已训练的肠段识别模型可合并作为训练的肠镜分析模型。但需说明的是，在一些实施例中，服务器104在获取到第一肠镜医学图像和/或第二肠镜医学图像之后，可不立即执行模型训练任务，而是先进行图像增强预处理，如图3所示，可对图像进行随机擦除，再将擦除后的第一肠镜医学图像和/或第二肠镜医学图像输入至模型训练。

在一个实施例中，已训练的肠镜分析模型包括已训练的肠炎评分模型和已训练的肠段识别模型，本步骤包括：将肠镜医学图像输入至已训练的肠镜分析模型中，通过已训练的肠炎评分模型，预测肠镜医学图像相对于各个预设肠异类型的严重程度分值，得到肠异严重度数；通过已训练的肠段识别模型，识别肠镜医学图像在预设标准肠段中的肠段，得到目标异常肠段。

其中，预设肠异类型包括上文所述的血管型、出血、糜烂与溃疡三种肠道异常类型，当然，在其他实施例中可依据实际业务需求设置更多或更少的肠异类型，本申请实施例不做限定。

其中，预设标准肠段可以是人体标准肠道形状，即图4右侧所示完整肠段。

具体实现中，服务器104构建并训练得到已训练的肠镜分析模型之后，即可调用已训练的肠镜分析模型，以将肠镜医学图像输入至该模型，则由于已训练的肠镜分析模型包括已训练的肠炎评分模型和已训练的肠段识别模型，所以已训练的肠炎评分模型和已训练的肠段识别模型将分别对肠镜医学图像进行检测，得到肠异严重度数和目标异常肠段。

例如，某帧肠镜医学图像的肠异严重度数包括：血管型“2”、出血“1”、糜烂与溃疡“3”，目标异常肠段检测为“降结肠”。

S203，根据肠异严重度数和目标异常肠段，生成肠段病变图标。

具体实现中，肠段病变图标是基于预设标准肠段生成的，服务器104主要是根据肠异严重度数分析确定在预设标准肠段中的病变范围信息和病变程度信息，然后结合目标异常肠段，再通过预设的标记色标记预设标准肠段中的异常肠段，即可得到肠段病变图标。

例如，如图4右侧显示带有多色标记的预设标准肠段，即为肠段病变图标。

在一个实施例中，本步骤包括：根据肠异严重度数和目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息；根据病变范围信息和病变程度信息，生成肠段病变图标。

其中，病变范围信息是指粘膜病变的范围，也指已检查肠段范围。

其中，病变程度信息是指UC内镜活动度，也指肠段异常的严重度。

具体实现中，服务器104可在执行完上述实施例得到肠异严重度数和目标异常肠段之后，分别针对肠异严重度数中的三项之一与目标异常肠段，计算出不同分值粘膜病变范围，即病变范围信息。

具体而言，肠异严重度数包括：（1）血管型的肠异严重度数；（2）出血的肠异严重度数；（3）糜烂与溃疡的肠异严重度数。那么，服务器104可根据血管型的肠异严重度数和目标异常肠段，计算出相应的病变范围信息；同理，可根据出血的肠异严重度数和目标异常肠段，计算出相应病变范围信息；根据糜烂与溃疡的肠异严重度数和目标异常肠段，计算出相应病变范围信息。至于病变程度信息，则可分析单项的肠异严重度数、全部的肠异严重度数，甚至于肠异类型来获取，具体将在下文详细说明。

在一个实施例中，根据肠异严重度数和目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息，包括：根据肠异严重度数的肠异类型，统计肠镜医学视频中的视频图像帧，得到肠异图像总数；其中，肠异类型包括血管型、出血、溃烂以及UCEIS总分中的至少一种；统计肠异严重度数的视频图像帧，得到分值图像总数；获取分值图像总数与肠异图像总数之比，得到预设标准肠段中的病变范围信息；以及根据肠异严重度数的肠异类型，从预存的标记色中筛选出目标标记色，以根据肠异类型和目标标记色，确定预设标准肠段中的病变程度信息。

具体实现中，肠异图像总数表示为“S”，血管型的病变范围信息计算方式为：对于血管型得分为“x”的肠段有对应占比：P血管型_X=S血管型_X /(S血管型₀+ S血管型₁+ S血管型₂)（x=0, 1, 2）。出血的病变范围信息计算方式为：对于出血得分为“x”的肠段有对应占比：P出血_X=S出血_X/(S出血₀+ S出血₁+ S出血₂+ S出血₃)

（x=0, 1, 2, 3）。糜烂与溃疡的病变范围信息计算方式为：对于糜烂与溃疡得分为“x”的肠段有对应占比：P糜烂与溃疡_X=S糜烂与溃疡_X/(S糜烂与溃疡₀+ S糜烂与溃疡₁+ S糜烂与溃疡₂+ S糜烂与溃疡₃)（x=0, 1, 2, 3）。UCEIS总分的病变范围信息计算方式为：对于UCEIS总分为“x”的肠段有对应占比：P总_X=S总_X/(S总₀+ S总₁+ S总₂+……+ S总₈)（x=0,1,2,3,4,5,6,7,8）。

例如，如图4所示，某帧肠镜医学图像相对于肠镜医学视频而言，其出血得分（出血的肠异严重度数）为“x=0”的病变范围信息为“50%”，而其出血得分（出血的肠异严重度数）为“x=1”的病变范围信息为“20%”。

进一步地，服务器104可根据上述分析结果将图像的血管型、出血、糜烂与溃疡、UCEIS总分不同分数对应颜色显示于标准肠段中，并合成至本图像对应肠段位置输出，具体为（包括但不局限于此处的颜色标记方案）：

（1）UCEIS总分的颜色标记方案如下：褐色：有两项为项目最高分（出血、糜烂与溃疡为3，血管型为2），提示粘膜有严重炎症或糜烂；红色：有一项为项目最高分或总评分≥3，提示粘膜有中轻度炎症或糜烂；黄色：总评分≥2，提示粘膜有轻度炎症或糜烂；绿色：总评分≤1，提示粘膜表现基本正常；灰色：提示尚未检查到该肠段。

（2）出血、糜烂与溃疡的颜色标记方案如下：褐色：得分3，提示有严重对应病变；红色：得分2，提示有中度对应病变；黄色：得分1，提示有轻度对应病变；绿色：得分0，提示无对应病变。

（3）血管型的颜色标记方案如下：红色：得分2，提示血管形态缺损；黄色：得分1，提示血管斑片样缺失；绿色：得分0，提示无血管型缺失。

S204，合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。

具体实现中，可参阅图4，为合成后的肠镜医学图像，该合成后的肠镜医学图像和展示于终端102的显示屏。

在一个实施例中，在本步骤之后，还包括：确定肠镜医学图像对应的患者标识，以判断患者标识是否存在对应的历史合成图像；若患者标识存在对应的历史合成图像，则合成该合成后的肠镜医学图像和历史合成图像，得到当前医学图像；通过终端展示当前医学图像。

具体实现中，如图5所示，为了进一步改善肠炎判断结果的展示效果，服务器104可获取历史合成图像，以便于同时展示两次肠炎判断结果，使得当前的肠炎判断结果更加突出差异性。

上述实施例中的肠镜图像分析方法，服务器通过获取肠镜医学图像，并将肠镜医学图像输入至已训练的肠镜分析模型中，可得到模型输出的肠镜医学图像的肠异严重度数和目标异常肠段，再根据肠异严重度数和目标异常肠段，生成肠段病变图标，即可合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。由于本申请提出结合深度学习技术实现对肠镜图像的精准异常分析，进而通过可视化技术手段展示分析结果，不仅能够提高UC检测结果的可靠性，还能够提升UC检测结果的展示稳定性，节省人力成本。

为了更好实施本申请实施例提供的肠镜图像分析方法，在本申请实施例所提肠镜图像分析方法的基础之上，本申请实施例中还提供一种肠镜图像分析装置，如图6所示，该肠镜图像分析装置600包括：

图像获取模块610，用于获取肠镜医学图像；

图像分析模块620，用于将肠镜医学图像输入至已训练的肠镜分析模型中，输出肠镜医学图像的肠异严重度数和目标异常肠段；

图像生成模块630，用于根据肠异严重度数和目标异常肠段，生成肠段病变图标；

图像合成模块640，用于合成肠段病变图标和肠镜医学图像，得到合成后的肠镜医学图像用于展示。

在本申请一些实施例中，已训练的肠镜分析模型包括已训练的肠炎评分模型和已训练的肠段识别模型，图像分析模块620还用于将肠镜医学图像输入至已训练的肠镜分析模型中，通过已训练的肠炎评分模型，预测肠镜医学图像相对于各个预设肠异类型的严重程度分值，得到肠异严重度数；通过已训练的肠段识别模型，识别肠镜医学图像在预设标准肠段中的肠段，得到目标异常肠段。

在本申请一些实施例中，肠镜图像分析装置600还包括模型训练模块，用于构建初始的肠镜分析模型；肠镜分析模型包括肠炎评分模型和肠段识别模型；获取肠镜医学图像集；肠镜医学图像集包括多个已标注肠异严重度数的第一肠镜医学图像，以及多个已标注肠段的第二肠镜医学图像；通过第一肠镜医学图像和第二肠镜医学图像，对初始的肠镜分析模型进行训练，得到已训练的肠炎评分模型和已训练的肠段识别模型，作为已训练的肠镜分析模型。

在本申请一些实施例中，图像获取模块610还用于获取肠镜医学视频；对肠镜医学视频进行抽帧，得到至少两帧的医学图像；对各医学图像进行预处理，得到肠镜医学图像；其中，预处理包括无效筛除、画质筛选、黑边去除中的至少一种。

在本申请一些实施例中，图像生成模块630还用于根据肠异严重度数和目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息；根据病变范围信息和病变程度信息，生成肠段病变图标。

在本申请一些实施例中，图像生成模块630还用于根据肠异严重度数的肠异类型，统计肠镜医学视频中的视频图像帧，得到肠异图像总数；其中，肠异类型包括血管型、出血、溃烂以及UCEIS总分中的至少一种；统计肠异严重度数的视频图像帧，得到分值图像总数；获取分值图像总数与肠异图像总数之比，得到预设标准肠段中的病变范围信息；以及根据肠异严重度数的肠异类型，从预存的标记色中筛选出目标标记色，以根据肠异类型和目标标记色，确定预设标准肠段中的病变程度信息。

在本申请一些实施例中，肠镜图像分析装置600还包括图像展示模块，用于确定肠镜医学图像对应的患者标识，以判断患者标识是否存在对应的历史合成图像；若患者标识存在对应的历史合成图像，则合成该合成后的肠镜医学图像和历史合成图像，得到当前医学图像；通过终端展示当前医学图像。

上述实施例，本申请提出结合深度学习技术实现对肠镜图像的精准异常分析，进而通过可视化技术手段展示分析结果，不仅能够提高UC检测结果的可靠性，还能够提升UC检测结果的展示稳定性，节省人力成本。

在本申请一些实施例中，肠镜图像分析装置600可以实现为一种计算机程序的形式，计算机程序可在如图7所示的医学图像处理设备上运行。医学图像处理设备的存储器中可存储组成该肠镜图像分析装置600的各个程序模块，比如，图7所示的图像获取模块610、图像分析模块620、图像生成模块630以及图像合成模块640以及。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的肠镜图像分析方法中的步骤。

例如，图7所示的医学图像处理设备可以通过如图7所示的肠镜图像分析装置600中的图像获取模块610执行步骤S201。医学图像处理设备可通过图像分析模块620执行步骤S202。医学图像处理设备可通过图像生成模块630执行步骤S203。医学图像处理设备可通过图像合成模块640执行步骤S204。该医学图像处理设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该医学图像处理设备的处理器用于提供计算和控制能力。该医学图像处理设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该医学图像处理设备的网络接口用于与外部的医学图像处理设备通过网络连接通信。该计算机程序被处理器执行时以实现一种肠镜图像分析方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的医学图像处理设备的限定，具体的医学图像处理设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请一些实施例中，提供了一种医学图像处理设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述肠镜图像分析方法的步骤。此处肠镜图像分析方法的步骤可以是上述各个实施例的肠镜图像分析方法中的步骤。

在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行上述肠镜图像分析方法的步骤。此处肠镜图像分析方法的步骤可以是上述各个实施例的肠镜图像分析方法中的步骤。

本邻域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例所提供的一种肠镜图像分析方法、装置和医学图像处理设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种肠镜图像分析方法，其特征在于，包括：

获取肠镜医学图像；

将所述肠镜医学图像输入至已训练的肠镜分析模型中，输出所述肠镜医学图像的肠异严重度数和目标异常肠段；

根据所述肠异严重度数和所述目标异常肠段，生成肠段病变图标；

合成所述肠段病变图标和所述肠镜医学图像，得到合成后的肠镜医学图像用于展示。

2.如权利要求1所述的方法，其特征在于，所述已训练的肠镜分析模型包括已训练的肠炎评分模型和已训练的肠段识别模型；

其中，所述将所述肠镜医学图像输入至已训练的肠镜分析模型中，输出所述肠镜医学图像的肠异严重度数和目标异常肠段，包括：

将所述肠镜医学图像输入至所述已训练的肠镜分析模型中，通过所述已训练的肠炎评分模型，预测所述肠镜医学图像相对于各个预设肠异类型的严重程度分值，得到所述肠异严重度数；

通过所述已训练的肠段识别模型，识别所述肠镜医学图像在预设标准肠段中的肠段，得到所述目标异常肠段。

3.如权利要求2所述的方法，其特征在于，在所述将所述肠镜医学图像输入至已训练的肠镜分析模型中之前，还包括：

构建初始的肠镜分析模型；所述肠镜分析模型包括肠炎评分模型和肠段识别模型构成；

获取肠镜医学图像集；所述肠镜医学图像集包括多个已标注肠异严重度数的第一肠镜医学图像，以及多个已标注肠段的第二肠镜医学图像；

通过所述第一肠镜医学图像和所述第二肠镜医学图像，对所述初始的肠镜分析模型进行训练，得到所述已训练的肠炎评分模型和所述已训练的肠段识别模型，作为所述已训练的肠镜分析模型。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述获取肠镜医学图像，包括：

获取肠镜医学视频；

对所述肠镜医学视频进行抽帧，得到至少两帧的医学图像；

对各所述医学图像进行预处理，得到所述肠镜医学图像；其中，所述预处理包括无效筛除、画质筛选、黑边去除中的至少一种。

5.如权利要求4所述的方法，其特征在于，所述根据所述肠异严重度数和所述目标异常肠段，生成肠段病变图标，包括：

根据所述肠异严重度数和所述目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息；

根据所述病变范围信息和所述病变程度信息，生成肠段病变图标。

6.如权利要求5所述的方法，其特征在于，所述根据所述肠异严重度数和所述目标异常肠段，确定预设标准肠段中的病变范围信息和病变程度信息，包括：

根据所述肠异严重度数的肠异类型，统计所述肠镜医学视频中的视频图像帧，得到肠异图像总数；其中，所述肠异类型包括血管型、出血、溃烂以及UCEIS总分中的至少一种；

统计所述肠异严重度数的视频图像帧，得到分值图像总数；

获取所述分值图像总数与所述肠异图像总数之比，得到所述预设标准肠段中的病变范围信息；以及

根据所述肠异严重度数的肠异类型，从预存的标记色中筛选出目标标记色，以根据所述肠异类型和所述目标标记色，确定所述预设标准肠段中的病变程度信息。

7.如权利要求1所述的方法，其特征在于，在所述合成所述肠段病变图标和所述肠镜医学图像，得到合成后的肠镜医学图像之后，还包括：

确定所述肠镜医学图像对应的患者标识，以判断所述患者标识是否存在对应的历史合成图像；

若所述患者标识存在对应的历史合成图像，则合成所述合成后的肠镜医学图像和所述历史合成图像，得到当前医学图像；

通过终端展示所述当前医学图像。

8.一种肠镜图像分析装置，其特征在于，包括：

图像获取模块，用于获取肠镜医学图像；

图像分析模块，用于将所述肠镜医学图像输入至已训练的肠镜分析模型中，输出所述肠镜医学图像的肠异严重度数和目标异常肠段；

图像生成模块，用于根据所述肠异严重度数和所述目标异常肠段，生成肠段病变图标；

图像合成模块，用于合成所述肠段病变图标和所述肠镜医学图像，得到合成后的肠镜医学图像用于展示。

9.一种医学图像处理设备，其特征在于，所述医学图像处理设备包括：

一个或多个处理器；

存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的肠镜图像分析方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的肠镜图像分析方法中的步骤。

Images