CN114419041B - 病灶颜色的识别方法及装置 - Google Patents

病灶颜色的识别方法及装置 Download PDF

Info

Publication number
CN114419041B
CN114419041B CN202210316606.0A CN202210316606A CN114419041B CN 114419041 B CN114419041 B CN 114419041B CN 202210316606 A CN202210316606 A CN 202210316606A CN 114419041 B CN114419041 B CN 114419041B
Authority
CN
China
Prior art keywords
focus
color
lesion
moment
gastroscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210316606.0A
Other languages
English (en)
Other versions
CN114419041A (zh
Inventor
于红刚
董泽华
王君潇
朱益洁
吴练练
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210316606.0A priority Critical patent/CN114419041B/zh
Publication of CN114419041A publication Critical patent/CN114419041A/zh
Application granted granted Critical
Publication of CN114419041B publication Critical patent/CN114419041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本申请提供一种病灶颜色的识别方法及装置，该病灶颜色的识别方法包括：获取第一胃镜图像，其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域；计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩；基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型；将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果；基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。本申请能够提高病灶颜色的识别方法准确率。

Description

病灶颜色的识别方法及装置
技术领域
本申请主要涉及图像处理技术领域，具体涉及一种病灶颜色的识别方法及装置。
背景技术
内镜，也叫内窥镜，是一种通过管道进入人体，观察人体内部状况的医疗仪器。内镜检查能以最少的伤害，达成观察人体内部器官的目的，是现代医学非常重要一种的观察和治疗手段。上消化道内镜（下简称胃镜）是检出胃腔病变的最直观方法之一。在白光下，胃腔病变重要特征之一是病灶颜色，其与背景黏膜颜色的差异是判断病灶性质的参考之一。近年来，人工智能技术在消化内镜领域迅速发展，主要是用于图像识别方面，即首先提取胃镜图像的相关特征，如病灶颜色等，然后根据特征进行分类。深度学习可自动提取相关成像特征。胃局部病灶颜色可分为发白、发红和同色调（即和背景黏膜颜色无区别）。然而，由于内镜的型号不同、胃镜图像存储后模糊以及胃镜图片放大后分辨率下降，导致人工对图片进行分类时出现分歧，进一步导致训练人工智能模型时机器学习出现偏差，分类效果不甚理想，准确率低。
也即，现有技术中病灶颜色的识别方法准确率较低。
发明内容
本申请提供一种病灶颜色的识别方法及装置，旨在解决现有技术中病灶颜色的识别方法准确率较低的问题。
第一方面，本申请提供一种病灶颜色的识别方法，该病灶颜色的识别方法包括：
获取第一胃镜图像，其中，所述第一胃镜图像上标识有第一病灶区域和第一非病灶区域；
计算所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩；
基于所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩对所述第一胃镜图像进行颜色分类，得到所述第一胃镜图像的病灶颜色量化识别类型；
将所述第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到所述第一胃镜图像的病灶颜色模型识别结果；
基于所述病灶颜色量化识别类型和所述病灶颜色模型识别结果确定病灶目标识别结果。
可选地，所述病灶颜色模型识别结果包括第一胃镜图像为各个病灶颜色识别类型的预测概率值；
所述基于所述病灶颜色量化识别类型和所述病灶颜色模型识别结果确定病灶目标识别结果，包括：
判断所述病灶颜色模型识别结果中是否存在第一病灶颜色识别类型，其中，第一病灶颜色识别类型的预测概率值大于第一预设值；
若所述病灶颜色模型识别结果中存在第一病灶颜色识别类型，则将所述第一病灶颜色识别类型确定为所述目标识别结果；
若所述病灶颜色模型识别结果中不存在第一病灶颜色识别类型，则判断所述病灶颜色模型识别结果中是否存在第二病灶颜色识别类型，其中，第二病灶颜色识别类型的预测概率值大于第二预设值且不大于第一预设值；
若所述病灶颜色模型识别结果中存在第二病灶颜色识别类型，则判断所述第二病灶颜色识别类型与所述病灶颜色量化识别类型是否相同，若第二病灶颜色识别类型与所述病灶颜色量化识别类型不相同，则基于预设权重系数对所述病灶颜色量化识别类型和所述病灶颜色模型识别结果进行加权得到病灶目标识别结果。
可选地，所述获取第一胃镜图像，包括：
获取第二胃镜图像，其中，所述第二胃镜图像上标识有第二病灶区域和第二非病灶区域，
获取所述第二病灶区域的病灶轮廓；
在所述病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将所述内边界轮廓与和病灶轮廓之间的区域确定为第一病灶区域，将所述外边界轮廓与和病灶轮廓之间的区域确定为第一非病灶区域，得到所述第一胃镜图像，其中，外边界轮廓、内边界轮廓以及所述病灶轮廓的形状相同且形心相同，所述第一非病灶区域的面积和所述第一病灶区域的面积相同。
可选地，所述获取第二胃镜图像，包括：
获取多个第三胃镜图像；
对多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域；
将各个第三胃镜图像上的病灶区域进行匹配，得到同一病灶区域对应的多个第三胃镜图像；
分别计算多个第三胃镜图像中第二病灶区域的形心与所在第三胃镜图像形心之间的病灶形心距离；
将多个第三胃镜图像中病灶形心距离最小的第三胃镜图像确定为第二胃镜图像。
可选地，所述获取多个第三胃镜图像，包括：
获取白光胃镜拍摄得到的胃镜视频；
对所述胃镜视频解码，得到多个第三胃镜图像。
可选地，所述计算所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩，包括：
计算第一病灶区域的一阶矩、二阶矩以及三阶矩；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩；
所述基于所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩对所述第一胃镜图像进行颜色分类，得到所述第一胃镜图像的病灶颜色量化识别类型，包括:
计算第一病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到病灶颜色矩量化值；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到非病灶颜色矩量化值；
基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定所述第一胃镜图像的病灶颜色量化识别类型。
可选地，所述基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定所述第一胃镜图像的病灶颜色量化识别类型，包括:
若所述量化比值大于1.1，则确定病灶颜色量化识别类型为发白类型；
若所述量化比值不小于0.9且不大于1.1，则确定病灶颜色量化识别类型为同色调类型；
若所述量化比值小于0.9，则确定病灶颜色量化识别类型为发红类型。
第二方面，本申请提供一种病灶颜色的识别装置，所述病灶颜色的识别装置包括：
获取单元，用于获取第一胃镜图像，其中，所述第一胃镜图像上标识有第一病灶区域和第一非病灶区域；
计算单元，用于计算所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩；
第一分类单元，用于基于所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩对所述第一胃镜图像进行颜色分类，得到所述第一胃镜图像的病灶颜色量化识别类型；
第二分类单元，用于将所述第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到所述第一胃镜图像的病灶颜色模型识别结果；
确定单元，用于基于所述病灶颜色量化识别类型和所述病灶颜色模型识别结果确定病灶目标识别结果。
可选地，所述病灶颜色模型识别结果包括第一胃镜图像为各个病灶颜色识别类型的预测概率值；
所述确定单元，用于：
判断所述病灶颜色模型识别结果中是否存在第一病灶颜色识别类型，其中，第一病灶颜色识别类型的预测概率值大于第一预设值；
若所述病灶颜色模型识别结果中存在第一病灶颜色识别类型，则将所述第一病灶颜色识别类型确定为所述目标识别结果；
若所述病灶颜色模型识别结果中不存在第一病灶颜色识别类型，则判断所述病灶颜色模型识别结果中是否存在第二病灶颜色识别类型，其中，第二病灶颜色识别类型的预测概率值大于第二预设值且不大于第一预设值；
若所述病灶颜色模型识别结果中存在第二病灶颜色识别类型，则判断所述第二病灶颜色识别类型与所述病灶颜色量化识别类型是否相同，若第二病灶颜色识别类型与所述病灶颜色量化识别类型不相同，则基于预设权重系数对所述病灶颜色量化识别类型和所述病灶颜色模型识别结果进行加权得到病灶目标识别结果。
可选地，所述获取单元，用于：
获取第二胃镜图像，其中，所述第二胃镜图像上标识有第二病灶区域和第二非病灶区域，
获取所述第二病灶区域的病灶轮廓；
在所述病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将所述内边界轮廓与和病灶轮廓之间的区域确定为第一病灶区域，将所述外边界轮廓与和病灶轮廓之间的区域确定为第一非病灶区域，得到所述第一胃镜图像，其中，外边界轮廓、内边界轮廓以及所述病灶轮廓的形状相同且形心相同，所述第一非病灶区域的面积和所述第一病灶区域的面积相同。
可选地，所述获取单元，用于：
获取多个第三胃镜图像；
对多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域；
将各个第三胃镜图像上的病灶区域进行匹配，得到同一病灶区域对应的多个第三胃镜图像；
分别计算多个第三胃镜图像中第二病灶区域的形心与所在第三胃镜图像形心之间的病灶形心距离；
将多个第三胃镜图像中病灶形心距离最小的第三胃镜图像确定为第二胃镜图像。
可选地，所述获取单元，用于：
获取白光胃镜拍摄得到的胃镜视频；
对所述胃镜视频解码，得到多个第三胃镜图像。
可选地，所述计算单元，用于：
计算第一病灶区域的一阶矩、二阶矩以及三阶矩；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩；
所述第一分类单元，用于:
计算第一病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到病灶颜色矩量化值；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到非病灶颜色矩量化值；
基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定所述第一胃镜图像的病灶颜色量化识别类型。
可选地，所述确定单元，用于:
若所述量化比值大于1.1，则确定病灶颜色量化识别类型为发白类型；
若所述量化比值不小于0.9且不大于1.1，则确定病灶颜色量化识别类型为同色调类型；
若所述量化比值小于0.9，则确定病灶颜色量化识别类型为发红类型。
第三方面，本申请提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的病灶颜色的识别方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的病灶颜色的识别方法中的步骤。
本申请提供一种病灶颜色的识别方法及装置，该病灶颜色的识别方法包括：获取第一胃镜图像，其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域；计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩；基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型；将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果；基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。本申请根据一方面根据第一胃镜图像上第一病灶区域的颜色矩和第一非病灶区域的颜色矩进行量化，并进行分类，得到病灶颜色量化识别类型，另一方面使用病灶颜色分类模型件分类，得到病灶颜色模型识别结果，然后结合两方面得到的病灶颜色量化识别类型和病灶颜色模型识别结果共同确定病灶目标识别结果，能够提高病灶颜色的识别方法准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的病灶颜色的识别系统的场景示意图；
图2是本申请实施例提供的病灶颜色的识别方法一实施例的流程示意图；
图3是本申请实施例提供的病灶颜色的识别方法一实施例中S201的流程示意图；
图4是本申请实施例中提供的病灶颜色的识别装置的一个实施例结构示意图；
图5是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种病灶颜色的识别方法及装置，以下分别进行详细说明。
请参阅图1，图1为本申请实施例所提供的病灶颜色的识别系统的场景示意图，该病灶颜色的识别系统可以包括计算机设备100，计算机设备100中集成有病灶颜色的识别装置。
本申请实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本申请实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑（Personal Digital Assistant，PDA）、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的类型。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该病灶颜色的识别系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。
另外，如图1所示，该病灶颜色的识别系统还可以包括存储器200，用于存储数据。
需要说明的是，图1所示的病灶颜色的识别系统的场景示意图仅仅是一个示例，本申请实施例描述的病灶颜色的识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着病灶颜色的识别系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本申请实施例中提供一种病灶颜色的识别方法，病灶颜色的识别方法包括：获取第一胃镜图像，其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域；计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩；基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型；将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果；基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。
如图2所示，图2是本申请实施例中病灶颜色的识别方法的一个实施例流程示意图，该病灶颜色的识别方法包括如下步骤S201~S205：
S201、获取第一胃镜图像。
其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域。
在一个具体的实施例中，第一胃镜图像上的第一病灶区域和第一非病灶区域可以人工标注。
在另一个具体的实施例中，参阅图3，获取第一胃镜图像，包括以下步骤S211~S213：
S211、获取第二胃镜图像，其中，第二胃镜图像上标识有第二病灶区域和第二非病灶区域。
在一个具体的实施例中，获取白光胃镜拍摄得到的胃镜视频；对胃镜视频解码，得到多个第三胃镜图像。将第三胃镜图像输入图像分割模型进行图像分割，得到第二胃镜图像，第二胃镜图像上标识有第二病灶区域和第二非病灶区域。在一个具体的实施例中，将第三胃镜图像输入UNet++分割模型对第三胃镜图像中的病灶进行分割提取，得到第二胃镜图像。其中，第二胃镜图像上标识有第二病灶区域和第二非病灶区域得到第二病灶区域和第二非病灶区域。
在另一个具体的实施例中，获取多个第三胃镜图像，可以包括：
（1）获取白光胃镜拍摄得到的胃镜视频。
（2）对胃镜视频解码，得到多个第三胃镜图像。
在一个具体的实施例中，对胃镜视频解码，得到多个第三胃镜图像。
在另一个具体的实施例中，对胃镜视频解码，得到多个第四胃镜图像。分别计算各个第四胃镜图像的模糊度，将模糊度小于预设模糊度的第四胃镜图像剔除，其中，可以使用Brenner函数和Roberts梯度和计算第四胃镜图像的模糊度。将多个第四胃镜图像分别输入部位类别分类模型，得到各个第四胃镜图像的部位分类结果，将部位分类结果为十二指肠部位、食管类型的第四胃镜图像剔除。部位类别分类模型可以为经过训练的CNN，可以将输入的图像分为十二指肠部位、食管类型或者胃部类型。
（3）对多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域。
具体的，将第三胃镜图像输入图像分割模型进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域。在一个具体的实施例中，将第三胃镜图像输入UNet++分割模型对第三胃镜图像中的病灶进行分割提取，得到各个第三胃镜图像上的病灶区域和非病灶区域。图像分割模型为经过训练的UNet++分割模型。
（4）将各个第三胃镜图像上的病灶区域进行匹配，得到同一病灶区域对应的多个第三胃镜图像。
具体的，从多个第三胃镜图像中任意获取两个第三胃镜图像，对两个第三胃镜图像上的病灶区域进行匹配，若两个第三胃镜图像上的病灶区域匹配，则确定两个第三胃镜图像上的病灶区域为同一病灶，分别对多个第三胃镜图像中的两个第三胃镜图像进行匹配，得到各个病灶区域各自对应的多个第三胃镜图像。
具体的，提取两个第三胃镜图像的病灶区域，判断两个第三胃镜图像的病灶区域是否重合，若两个第三胃镜图像的病灶区域重合，则确定两个第三胃镜图像上的病灶区域匹配。进一步的，若两个第三胃镜图像的病灶区域重合，则计算两个第三胃镜图像的病灶区域的图像相似度，若两个第三胃镜图像的病灶区域的图像相似度超过预设相似度，则确定两个第三胃镜图像上的病灶区域匹配。其中，预设相似度可以为95%。
（5）分别计算多个第三胃镜图像中第二病灶区域的形心与所在第三胃镜图像形心之间的病灶形心距离。
具体的，获取第二病灶区域对应的多个第三胃镜图像，分别计算多个第三胃镜图像中第二病灶区域的形心与所在第三胃镜图像形心之间的病灶形心距离。
（6）将多个第三胃镜图像中病灶形心距离最小的第三胃镜图像确定为第二胃镜图像。
将多个第三胃镜图像中病灶形心距离最小的第三胃镜图像确定为第二胃镜图像。可以保证第二胃镜图像中病灶区域位于中心位置，提高颜色识别准确率。
在一个具体的实施例中，针对第二病灶区域对应的多个第三胃镜图像，绘制各个第三胃镜图像中各个第二病灶区域的最小外接矩形，计算各个第二病灶区域距离对应第三胃镜图像边缘的距离H1，H2，W1，W2，取|H1-H2|+|W1-W2|值最小者作为第二胃镜图像，即最靠近视野最中心者作为该病灶的最佳图片。
在一个具体的实施例中，对多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域，包括：
（1）基于预设尺寸将第三胃镜图像分割为多个图像区域。
其中，多个图像区域在图像宽度方向的每行数量与预设尺寸中的宽度相等；图像区域在图像高度方向的每列数量与预设尺寸中的高度相等。优选地，各个图像区域的面积相同。
例如，9×9的第三胃镜图像，在图像宽度方向上有9个像素，图像高度方向上有9个像素。需要得到3×3的缩小后的第三胃镜图像。将第三胃镜图像分割为9个图像区域，每行数量3个，每列数量3个。
（2）获取目标图像区域中各个像素点的第一权重系数，其中，目标图像区域为多个图像区域中的一个。
在一个具体的实施例中，获取各个像素点落入目标图像区域的面积占比；基于各个像素点落入目标图像区域的面积占比确定目标图像区域中各个像素点的第一权重系数。具体的，将完全落入目标图像区域的像素点的第一权重系数确定为1，将像素点落入目标图像区域的面积占比确定为像素点的第一权重系数。其中，面积占比是各个像素点落入目标图像区域的面积与像素点面积的面积占比。例如，将11×1的图像缩小为4×1，平均每个图像区域有2.2个像素，部分像素占了两个区域，需要根据像素点占各个区域的面积比进行分配。例如，同一个像素在第一个图像区域的占比为0.2，在第二个图像区域的占比为0.8，则第一个图像区域中3个像素的第一权重系数分别为1、1、0.2。
（3）基于各个像素点的第一权重系数对目标图像区域中多个像素点的像素值进行加权平均，得到目标图像区域的像素值。
分别将各个图像区域确定为目标图像区域进行计算，即可得到各个图像区域的像素值。
（4）将各个图像区域的像素值确定为缩小后的第三胃镜图像中各个像素点的像素值。
这里缩小图片采用了区域插值法，与其他缩放图片方法相比，该方法不会产生波纹效应，且缩小后图片质量高。
（5）对缩小后的多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域。
S212、获取第二病灶区域的病灶轮廓。
对第二病灶区域进行边缘提取，得到第二病灶区域的病灶轮廓。
S213、在病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将内边界轮廓与和病灶轮廓之间的区域确定为第一病灶区域，将外边界轮廓与和病灶轮廓之间的区域确定为第一非病灶区域，得到第一胃镜图像，其中，外边界轮廓、内边界轮廓以及病灶轮廓的形状相同且形心相同，第一非病灶区域的面积和第一病灶区域的面积相同。在一个优选的实施例中，第一非病灶区域与第二非病灶区域相同。
具体的，对第二病灶区域的病灶轮廓的每一点作切线，在垂直于切线位置引一距离D，在病灶轮廓外环绕一宽为D的条带区域，生成外边界轮廓，得到第一非病灶区域。对第二病灶区域的病灶轮廓的每一点作切线，在垂直于切线位置引一距离F，在病灶轮廓内环绕一宽为F的条带区域，生成内边界轮廓，得到第一病灶区域。通过对D和F取合适的值，即可使第一非病灶区域和第一病灶区域的面积相等。
由于第二非病灶区域是一个很大的范围，一些地方离病灶较远，不具备参考价值，仅将第二非病灶区域中靠近病灶的第一非病灶区域作为比较对象，能够提高颜色量化的准确度，提高病灶颜色识别类型。
S202、计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩。
在一个具体的实施例中，获取第一病灶区域的RGB值，将第一病灶区域的RGB值转换至HSV值。基于第一病灶区域的HSV值计算第一病灶区域的一阶矩、二阶矩以及三阶矩。获取第一非病灶区域的RGB值，将第一非病灶区域的RGB值转换至HSV值。基于第一非病灶区域的HSV值计算第一非病灶区域的一阶矩、二阶矩以及三阶矩。
在一个具体的实施例中，根据公式（1）将第一病灶区域的RGB值转换至HSV值，
Figure 574383DEST_PATH_IMAGE001
（1）
根据公式（2）计算一阶矩，
Figure 22682DEST_PATH_IMAGE002
（2）
根据公式（3）计算二阶矩，
Figure 208944DEST_PATH_IMAGE003
（3）
根据公式（4）计算三阶矩，
Figure 135311DEST_PATH_IMAGE004
（4）
S203、基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型。
（1）计算第一病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到 病灶颜色矩量化值
Figure 621787DEST_PATH_IMAGE005
。
具体的，根据公式（5）计算病灶颜色矩量化值
Figure 975408DEST_PATH_IMAGE006
，
Figure 976862DEST_PATH_IMAGE007
（5）
（2）计算第一非病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到非病灶颜色矩量化值。
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到 非病灶颜色矩量化值
Figure 582287DEST_PATH_IMAGE008
。
（3）基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定第一胃镜图像的病灶颜色量化识别类型。
具体的，病灶颜色矩量化值和非病灶颜色矩量化值的量化比值η根据公式（6）确定，
Figure 782324DEST_PATH_IMAGE009
（6）
若量化比值η大于1.1，则确定病灶颜色量化识别类型为发白类型；
若量化比值η不小于0.9且不大于1.1，则确定病灶颜色量化识别类型为同色调类型；
若量化比值η小于0.9，则确定病灶颜色量化识别类型为发红类型。
S204、将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果。
具体的，病灶颜色分类模型为训练过的Resnet-50。建立病灶颜色发红、发白、同色调的三分类深度学习模型，即病灶颜色分类模型。首先数据的采集以及预处理，通过内镜检查设备获取普通白光模式下胃镜图像，由专业医师对采集到的胃镜图像进行分类标记，标签总共分为3个，分别为：发红类型、发白类型、同色调类型（即和胃局部病灶背景黏膜颜色无差异）。基于Resnet-50构建及训练Resnet-50，得到病灶颜色分类模型。病灶颜色分类模型预测图像为任一类别的预测概率值为
Figure 946327DEST_PATH_IMAGE011
。病灶颜色模型识别结果包括：发红类型的预测概率值
Figure 231815DEST_PATH_IMAGE013
，发白类型的预测概率值
Figure 375352DEST_PATH_IMAGE015
，同色调类型的预测概率值
Figure 633158DEST_PATH_IMAGE017
，
S205、基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。
本申请实施例中，基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果，包括：
（1）判断病灶颜色模型识别结果中是否存在第一病灶颜色识别类型，其中，第一病灶颜色识别类型的预测概率值大于第一预设值。
在一个具体的实施例中，第一预设值为0.85。
（2）若病灶颜色模型识别结果中存在第一病灶颜色识别类型，则将第一病灶颜色识别类型确定为目标识别结果。
若病灶颜色模型识别结果中存在第一病灶颜色识别类型，说明预测可信度较高，则将第一病灶颜色识别类型确定为目标识别结果。
（3）若病灶颜色模型识别结果中不存在第一病灶颜色识别类型，则判断病灶颜色模型识别结果中是否存在第二病灶颜色识别类型，其中，第二病灶颜色识别类型的预测概率值大于第二预设值且不大于第一预设值。
其中，第二预设值位0.5。
（4）若病灶颜色模型识别结果中存在第二病灶颜色识别类型，则判断第二病灶颜色识别类型与病灶颜色量化识别类型是否相同，若第二病灶颜色识别类型与病灶颜色量化识别类型不相同，则基于预设权重系数对病灶颜色量化识别类型和病灶颜色模型识别结果进行加权得到病灶目标识别结果。
若病灶颜色模型识别结果不存在第二病灶颜色识别类型，说明模型分类不准确，将病灶颜色量化识别类型确定为病灶目标识别结果。
若病灶颜色模型识别结果中存在第二病灶颜色识别类型，说明模型分类和量化分类两种方式分类的可信度相差不大，则判断第二病灶颜色识别类型与第一病灶颜色识别类型是否相同，若第二病灶颜色识别类型与病灶颜色量化识别类型不相同，说明模型分类和量化分类两种方式分类结果不统一，则基于预设权重系数对病灶颜色量化识别类型和病灶颜色模型识别结果进行加权得到病灶目标识别结果。若第二病灶颜色识别类型与病灶颜色量化识别类型相同，说明模型分类和量化分类两种方式分类结果统一，则将第二病灶颜色识别类型或者病灶颜色量化识别类型确定为病灶目标识别结果。
在一个具体的实施例中，若第二病灶颜色识别类型与病灶颜色量化识别类型不相同，则基于预设权重系数对病灶颜色量化识别类型和病灶颜色模型识别结果进行加权得到加权值，基于加权值和预设加权阈值确定病灶目标识别结果。
具体的，根据公式（7）确定加权值
Figure 594160DEST_PATH_IMAGE018
，
Figure 242311DEST_PATH_IMAGE020
（7）
其中，
Figure 314172DEST_PATH_IMAGE018
为加权值，预设加权系数包括发红类型加权系数
Figure 364167DEST_PATH_IMAGE021
、发白类型加权系数
Figure 433755DEST_PATH_IMAGE022
、同色调类型加权系数
Figure 693835DEST_PATH_IMAGE023
、病灶颜色模型识别结果的加权系数。发红类型加权系数
Figure 677709DEST_PATH_IMAGE021
可以 为0.15，发白类型加权系数
Figure 972424DEST_PATH_IMAGE022
可以为0.25，同色调类型加权系数
Figure 478492DEST_PATH_IMAGE023
可以为0.1，
若
Figure 835655DEST_PATH_IMAGE018
大于0.5，确定病灶目标识别结果为发白类型。若
Figure 249319DEST_PATH_IMAGE018
小于0.3，确定病灶目标识 别结果为发红类型。若
Figure 273906DEST_PATH_IMAGE018
不小于0.3且不大于0.5，确定病灶目标识别结果为同色调类型。
为了更好实施本申请实施例中病灶颜色的识别方法，在病灶颜色的识别方法基础之上，本申请实施例中还提供一种病灶颜色的识别装置，如图4所示，病灶颜色的识别装置300包括：
获取单元301，用于获取第一胃镜图像，其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域；
计算单元302，用于计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩；
第一分类单元303，用于基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型；
第二分类单元304，用于将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果；
确定单元305，用于基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。
可选地，病灶颜色模型识别结果包括第一胃镜图像为各个病灶颜色识别类型的预测概率值；
确定单元305，用于：
判断病灶颜色模型识别结果中是否存在第一病灶颜色识别类型，其中，第一病灶颜色识别类型的预测概率值大于第一预设值；
若病灶颜色模型识别结果中存在第一病灶颜色识别类型，则将第一病灶颜色识别类型确定为目标识别结果；
若病灶颜色模型识别结果中不存在第一病灶颜色识别类型，则判断病灶颜色模型识别结果中是否存在第二病灶颜色识别类型，其中，第二病灶颜色识别类型的预测概率值大于第二预设值且不大于第一预设值；
若病灶颜色模型识别结果中存在第二病灶颜色识别类型，则判断第二病灶颜色识别类型与病灶颜色量化识别类型是否相同，若第二病灶颜色识别类型与病灶颜色量化识别类型不相同，则基于预设权重系数对病灶颜色量化识别类型和病灶颜色模型识别结果进行加权得到病灶目标识别结果。
可选地，获取单元301，用于：
获取第二胃镜图像，其中，第二胃镜图像上标识有第二病灶区域和第二非病灶区域，
获取第二病灶区域的病灶轮廓；
在病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将内边界轮廓与和病灶轮廓之间的区域确定为第一病灶区域，将外边界轮廓与和病灶轮廓之间的区域确定为第一非病灶区域，得到第一胃镜图像，其中，外边界轮廓、内边界轮廓以及病灶轮廓的形状相同且形心相同，第一非病灶区域的面积和第一病灶区域的面积相同。
可选地，获取单元301，用于：
获取多个第三胃镜图像；
对多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域；
将各个第三胃镜图像上的病灶区域进行匹配，得到同一病灶区域对应的多个第三胃镜图像；
分别计算多个第三胃镜图像中第二病灶区域的形心与所在第三胃镜图像形心之间的病灶形心距离；
将多个第三胃镜图像中病灶形心距离最小的第三胃镜图像确定为第二胃镜图像。
可选地，获取单元301，用于：
获取白光胃镜拍摄得到的胃镜视频；
对胃镜视频解码，得到多个第三胃镜图像。
可选地，计算单元302，用于：
计算第一病灶区域的一阶矩、二阶矩以及三阶矩；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩；
第一分类单元303，用于:
计算第一病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到病灶颜色矩量化值；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到非病灶颜色矩量化值；
基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定第一胃镜图像的病灶颜色量化识别类型。
可选地，确定单元305，用于:
若量化比值大于1.1，则确定病灶颜色量化识别类型为发白类型；
若量化比值不小于0.9且不大于1.1，则确定病灶颜色量化识别类型为同色调类型；
若量化比值小于0.9，则确定病灶颜色量化识别类型为发红类型。
本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种病灶颜色的识别装置，计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述病灶颜色的识别方法实施例中任一实施例中的病灶颜色的识别方法中的步骤。
如图5所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；处理器401可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取第一胃镜图像，其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域；计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩；基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型；将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果；基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种病灶颜色的识别方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取第一胃镜图像，其中，第一胃镜图像上标识有第一病灶区域和第一非病灶区域；计算第一病灶区域的颜色矩和第一非病灶区域的颜色矩；基于第一病灶区域的颜色矩和第一非病灶区域的颜色矩对第一胃镜图像进行颜色分类，得到第一胃镜图像的病灶颜色量化识别类型；将第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到第一胃镜图像的病灶颜色模型识别结果；基于病灶颜色量化识别类型和病灶颜色模型识别结果确定病灶目标识别结果。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种病灶颜色的识别方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种病灶颜色的识别方法，其特征在于，所述病灶颜色的识别方法包括：
获取第一胃镜图像，其中，所述第一胃镜图像上标识有第一病灶区域和第一非病灶区域；其中，获取第二胃镜图像，其中，所述第二胃镜图像上标识有第二病灶区域和第二非病灶区域，获取所述第二病灶区域的病灶轮廓；在所述病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将所述内边界轮廓与和病灶轮廓之间的区域确定为第一病灶区域，将所述外边界轮廓与和病灶轮廓之间的区域确定为第一非病灶区域，得到所述第一胃镜图像，其中，外边界轮廓、内边界轮廓以及所述病灶轮廓的形状相同且形心相同，所述第一非病灶区域的面积和所述第一病灶区域的面积相同；
计算所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩；
基于所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩对所述第一胃镜图像进行颜色分类，得到所述第一胃镜图像的病灶颜色量化识别类型；
将所述第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到所述第一胃镜图像的病灶颜色模型识别结果；
基于所述病灶颜色量化识别类型和所述病灶颜色模型识别结果确定病灶目标识别结果。
2.根据权利要求1所述的病灶颜色的识别方法，其特征在于，所述病灶颜色模型识别结果包括第一胃镜图像为各个病灶颜色识别类型的预测概率值；
所述基于所述病灶颜色量化识别类型和所述病灶颜色模型识别结果确定病灶目标识别结果，包括：
判断所述病灶颜色模型识别结果中是否存在第一病灶颜色识别类型，其中，第一病灶颜色识别类型的预测概率值大于第一预设值；
若所述病灶颜色模型识别结果中存在第一病灶颜色识别类型，则将所述第一病灶颜色识别类型确定为所述目标识别结果；
若所述病灶颜色模型识别结果中不存在第一病灶颜色识别类型，则判断所述病灶颜色模型识别结果中是否存在第二病灶颜色识别类型，其中，第二病灶颜色识别类型的预测概率值大于第二预设值且不大于第一预设值；
若所述病灶颜色模型识别结果中存在第二病灶颜色识别类型，则判断所述第二病灶颜色识别类型与所述病灶颜色量化识别类型是否相同，若第二病灶颜色识别类型与所述病灶颜色量化识别类型不相同，则基于预设权重系数对所述病灶颜色量化识别类型和所述病灶颜色模型识别结果进行加权得到病灶目标识别结果。
3.根据权利要求1所述的病灶颜色的识别方法，其特征在于，所述获取第二胃镜图像，包括：
获取多个第三胃镜图像；
对多个第三胃镜图像进行图像分割，得到各个第三胃镜图像上的病灶区域和非病灶区域；
将各个第三胃镜图像上的病灶区域进行匹配，得到同一病灶区域对应的多个第三胃镜图像；
分别计算多个第三胃镜图像中第二病灶区域的形心与所在第三胃镜图像形心之间的病灶形心距离；
将多个第三胃镜图像中病灶形心距离最小的第三胃镜图像确定为第二胃镜图像。
4.根据权利要求3所述的病灶颜色的识别方法，其特征在于，所述获取多个第三胃镜图像，包括：
获取白光胃镜拍摄得到的胃镜视频；
对所述胃镜视频解码，得到多个第三胃镜图像。
5.根据权利要求1所述的病灶颜色的识别方法，其特征在于，所述计算所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩，包括：
计算第一病灶区域的一阶矩、二阶矩以及三阶矩；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩；
所述基于所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩对所述第一胃镜图像进行颜色分类，得到所述第一胃镜图像的病灶颜色量化识别类型，包括:
计算第一病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到病灶颜色矩量化值；
计算第一非病灶区域的一阶矩、二阶矩以及三阶矩的颜色特征值的平均值，得到非病灶颜色矩量化值；
基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定所述第一胃镜图像的病灶颜色量化识别类型。
6.根据权利要求5所述的病灶颜色的识别方法，其特征在于，所述基于病灶颜色矩量化值和非病灶颜色矩量化值的量化比值确定所述第一胃镜图像的病灶颜色量化识别类型，包括:
若所述量化比值大于1.1，则确定病灶颜色量化识别类型为发白类型；
若所述量化比值不小于0.9且不大于1.1，则确定病灶颜色量化识别类型为同色调类型；
若所述量化比值小于0.9，则确定病灶颜色量化识别类型为发红类型。
7.一种病灶颜色的识别装置，其特征在于，所述病灶颜色的识别装置包括：
获取单元，用于获取第一胃镜图像，其中，所述第一胃镜图像上标识有第一病灶区域和第一非病灶区域；其中，获取第二胃镜图像，其中，所述第二胃镜图像上标识有第二病灶区域和第二非病灶区域，获取所述第二病灶区域的病灶轮廓；在所述病灶轮廓内外分别生成外边界轮廓和内边界轮廓，将所述内边界轮廓与和病灶轮廓之间的区域确定为第一病灶区域，将所述外边界轮廓与和病灶轮廓之间的区域确定为第一非病灶区域，得到所述第一胃镜图像，其中，外边界轮廓、内边界轮廓以及所述病灶轮廓的形状相同且形心相同，所述第一非病灶区域的面积和所述第一病灶区域的面积相同；
计算单元，用于计算所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩；
第一分类单元，用于基于所述第一病灶区域的颜色矩和所述第一非病灶区域的颜色矩对所述第一胃镜图像进行颜色分类，得到所述第一胃镜图像的病灶颜色量化识别类型；
第二分类单元，用于将所述第一胃镜图像输入病灶颜色分类模型进行颜色分类，得到所述第一胃镜图像的病灶颜色模型识别结果；
确定单元，用于基于所述病灶颜色量化识别类型和所述病灶颜色模型识别结果确定病灶目标识别结果。
8.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至6中任一项所述的病灶颜色的识别方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至6任一项所述的病灶颜色的识别方法中的步骤。
CN202210316606.0A 2022-03-29 2022-03-29 病灶颜色的识别方法及装置 Active CN114419041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210316606.0A CN114419041B (zh) 2022-03-29 2022-03-29 病灶颜色的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210316606.0A CN114419041B (zh) 2022-03-29 2022-03-29 病灶颜色的识别方法及装置

Publications (2)

Publication Number Publication Date
CN114419041A CN114419041A (zh) 2022-04-29
CN114419041B true CN114419041B (zh) 2022-06-21

Family

ID=81264028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210316606.0A Active CN114419041B (zh) 2022-03-29 2022-03-29 病灶颜色的识别方法及装置

Country Status (1)

Country Link
CN (1) CN114419041B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311268B (zh) * 2022-10-10 2022-12-27 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530296A (zh) * 2016-11-07 2017-03-22 首都医科大学 一种基于pet/ct图像特征的肺部检测方法和装置
DE102016203709A1 (de) * 2016-03-08 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
WO2019177539A1 (en) * 2018-03-14 2019-09-19 Agency For Science, Technology And Research Method for visual inspection and apparatus thereof
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN113222957A (zh) * 2021-05-25 2021-08-06 长春大学 一种基于胶囊镜图像的多类别病灶高速检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105308621B (zh) * 2013-05-29 2019-05-21 王康怀 从活体内多相机胶囊重建影像
CN107729932B (zh) * 2017-10-10 2019-07-26 杭州智微信息科技有限公司 骨髓细胞标记方法和系统
CN113177928B (zh) * 2021-05-18 2022-05-17 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN114092450A (zh) * 2021-11-25 2022-02-25 合肥中纳医学仪器有限公司 一种基于胃镜检查视频的实时图像分割方法、系统、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016203709A1 (de) * 2016-03-08 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
CN106530296A (zh) * 2016-11-07 2017-03-22 首都医科大学 一种基于pet/ct图像特征的肺部检测方法和装置
WO2019177539A1 (en) * 2018-03-14 2019-09-19 Agency For Science, Technology And Research Method for visual inspection and apparatus thereof
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN113222957A (zh) * 2021-05-25 2021-08-06 长春大学 一种基于胶囊镜图像的多类别病灶高速检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Computer assisted gastric abnormalities detection using hybrid texture descriptors for chromoendoscopy images;HussamAli et al.;《Computer Methods and Programs in Biomedicine》;20180430;第157卷;全文 *
Real-time use of artificial intelligence for diagnosing early gastric cancer by magnifying image-enhanced endoscopy:a multicenter diagnostic study (with videos);Lianlian Wu et al.;《Gastrointestinal Endoscopy》;20211008;全文 *
基于直方图和颜色矩的胃癌细胞颜色特征表达与识别;李林;《江西科学》;20101031;第28卷(第5期);全文 *

Also Published As

Publication number Publication date
CN114419041A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
US8705818B2 (en) Image processing device, computer readable storage medium storing image processing program, and image processing method
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
CN104244801B (zh) 图像处理装置和图像处理方法
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
CN114419521B (zh) 肠道内镜检查的监控方法及装置
CN114419041B (zh) 病灶颜色的识别方法及装置
CN113658179B (zh) 肠道清洁度的检测方法及装置
CN113823400A (zh) 肠道退镜速度监测方法、装置及计算机可读存储介质
CN114417037B (zh) 图像处理方法、装置、终端及可读存储介质
CN114693598A (zh) 一种胶囊内镜胃肠道器官图像自动识别方法
Ratheesh et al. Advanced algorithm for polyp detection using depth segmentation in colon endoscopy
CN115511885B (zh) 盲肠插管成功率的检测方法及装置
CN114511558B (zh) 肠道清洁度的检测方法及装置
Liedlgruber et al. A summary of research targeted at computer-aided decision support in endoscopy of the gastrointestinal tract
CN113706536B (zh) 滑镜风险预警方法、装置及计算机可读存储介质
Arnold et al. Indistinct frame detection in colonoscopy videos
EP4241650A1 (en) Image processing method, and electronic device and readable storage medium
Chu et al. Epitomized summarization of wireless capsule endoscopic videos for efficient visualization
CN113870151A (zh) 内镜图像的矫正方法及装置
CN110706220B (zh) 一种胶囊内镜图像处理和分析方法
CN114271763A (zh) 一种基于Mask RCNN的胃癌早期识别方法、系统、装置
CN115311268B (zh) 食管内窥镜图像的识别方法及装置
Li et al. Capsule endoscopy video boundary detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant