CN113870151A - 内镜图像的矫正方法及装置 - Google Patents

内镜图像的矫正方法及装置 Download PDF

Info

Publication number
CN113870151A
CN113870151A CN202111463270.2A CN202111463270A CN113870151A CN 113870151 A CN113870151 A CN 113870151A CN 202111463270 A CN202111463270 A CN 202111463270A CN 113870151 A CN113870151 A CN 113870151A
Authority
CN
China
Prior art keywords
color
image
region
endoscope
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111463270.2A
Other languages
English (en)
Other versions
CN113870151B (zh
Inventor
邢达奇
刘奇为
胡珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202111463270.2A priority Critical patent/CN113870151B/zh
Publication of CN113870151A publication Critical patent/CN113870151A/zh
Application granted granted Critical
Publication of CN113870151B publication Critical patent/CN113870151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)

Abstract

本申请提供一种内镜图像的矫正方法及装置，内镜图像的矫正系统包括内镜，内镜包括内镜本体和色帽，色帽包括管体，管体的一端设有管口，管体上有参考色卡，参考色卡和管口位于内镜本体的拍摄视野内，内镜图像的矫正方法包括：获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域；获取参考色卡的第一颜色信息和色卡区域的第二颜色信息；基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵；根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。本申请提高了内镜图像的矫正准确率。

Description

内镜图像的矫正方法及装置
技术领域
本申请主要涉及图像处理技术领域，具体涉及一种内镜图像的矫正方法及装置。
背景技术
内镜，也叫内窥镜，是一种通过管道进入人体，观察人体内部状况的医疗仪器。内镜检查能以最少的伤害，达成观察人体内部器官的目的，是现代医学非常重要一种的观察和治疗手段。但因为生产厂家、具体型号、照明光源和人体内部环境等各方面差异，不同内镜图像之间在颜色表现上会有较大的差异，且与实际人体内部环境的颜色不符。这给基于内镜图像的临床诊断、手术和医学研究造成了很大的困扰。因此，亟需一种内镜图像颜色还原方法。现有的内镜图像颜色还原方法，一般是用已有的内镜图像去训练模型，然后用模型对内镜图像进行预测，生成新的颜色还原后的图像。但上述方法受现有图像样本影响较大，且预测结果是对内镜图像颜色的一种估计，并不能客观反映真实场景的颜色，故颜色还原效果有限。
也即，现有技术中内镜图像的矫正方法准确率较低。
发明内容
本申请提供一种内镜图像的矫正方法及装置，旨在解决现有技术中内镜图像的矫正方法准确率较低的问题。
第一方面，本申请提供一种内镜图像的矫正方法，应用于内镜图像的矫正系统，所述内镜图像的矫正系统包括内镜，所述内镜包括内镜本体和色帽，所述色帽包括管体，所述管体的一端设有管口，所述管体的另一端连接于所述内镜本体，所述管体上有参考色卡，所述参考色卡和所述管口位于所述内镜本体的拍摄视野内，所述内镜图像的矫正方法包括：
获取所述内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；
从所述第一内镜图像识别所述管口对应的待矫正区域和所述参考色卡对应的色卡区域；
获取所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息；
基于所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息确定所述色卡区域与所述参考色卡颜色之间的目标颜色转换矩阵；
根据所述目标颜色转换矩阵对所述第一内镜图像进行颜色矫正，得到目标内镜图像。
可选地，所述从所述第一内镜图像识别所述管口对应的待矫正区域和所述参考色卡对应的色卡区域，包括：
将所述第一内镜图像缩小至预设尺寸，得到第二内镜图像；
使用Unet分割网络对所述第二内镜图像进行图像分割，得到所述待矫正区域和所述参考色卡对应的色卡区域，其中，所述Unet分割网络经过标注好的内镜图像集进行训练得到，所述内镜图像集包括多张标注好的预设尺寸的内镜图像样本。
可选地，所述将所述第一内镜图像缩小至预设尺寸，得到第二内镜图像，包括：
基于所述预设尺寸将所述第一内镜图像分割为多个图像区域，其中，所述多个图像区域在图像宽度方向的列数与所述预设尺寸中的宽度相等；所述图像区域在图像高度方向的行数与所述预设尺寸中的高度相等；
获取目标图像区域中各个像素点的第一权重系数，其中，所述目标图像区域为所述多个图像区域中的一个；
基于各个像素点的第一权重系数对所述目标图像区域中多个像素点的像素值进行加权平均，得到所述目标图像区域的像素值；
将各个所述图像区域的像素值确定为第二内镜图像中各个像素点的像素值。
可选地，所述获取目标图像区域中各个像素点的第一权重系数，包括：
获取各个像素点落入所述目标图像区域的面积占比；
基于各个像素点落入所述目标图像区域的面积占比确定所述目标图像区域中各个像素点的第一权重系数。
可选地，所述参考色卡包括至少两个色块，所述色卡区域包括与所述至少两个色块对应的至少两个色块区域，所述获取所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息，包括：
获取各个色块的第一颜色值和各个色块区域中各个像素点的第二颜色值；
所述基于所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息确定所述色卡区域与所述参考色卡颜色之间的目标颜色转换矩阵，包括：
将所述色块区域中多个第二颜色值中的离群值剔除，得到所述色块区域的多个第三颜色值；
将所述色块区域的多个第三颜色值的平均值确定为所述色块区域的区域颜色值；
基于各个色块的第一颜色值和各个色块区域的区域颜色值确定所述目标颜色转换矩阵。
可选地，所述基于各个色块的第一颜色值和各个色块区域的区域颜色值确定所述目标颜色转换矩阵，包括:
获取初始颜色转换矩阵；
基于所述初始颜色转换矩阵对各个色块区域的区域颜色值进行转化，得到所述各个色块区域的转化颜色值；
对所述各个色块区域的转化颜色值和所述各个色块的第一颜色值进行lab空间颜色转换，得到各个色块的lab空间值和各个色块区域的lab空间值；
基于预设损失函数计算各个色块的lab空间值和对应的各个色块区域的lab空间值之间的区域损失函数值；
基于各个区域损失函数值确定总损失函数值；
更新迭代所述初始颜色转换矩阵至所述总损失函数值小于预设值，将所述总损失函数值小于预设值时的颜色转换矩阵确定为所述目标颜色转换矩阵。
可选地，所述基于各个区域损失函数值确定总损失函数值，包括:
获取各个色块区域在各个通道上的颜色分量；
基于各个色块区域在各个通道上的颜色分量确定各个区域损失函数值的第二权重系数，其中，第一色块区域对应的区域损失函数值的第二权重系数小于第二色块区域对应的区域损失函数值的第二权重系数，第一色块区域为存在颜色分量大于预设分量的色块区域，第二色块区域为不存在颜色分量大于预设分量的色块区域；
基于各个区域损失函数值的第二权重系数对各个区域损失函数值加权平均，得到所述总损失函数值。
第二方面，本申请提供一种内镜图像的矫正装置，应用于内镜图像的矫正系统，所述内镜图像的矫正系统包括内镜，所述内镜包括内镜本体和色帽，所述色帽包括管体，所述管体的一端设有管口，所述管体的另一端连接于所述内镜本体，所述管体上有参考色卡，所述参考色卡和所述管口位于所述内镜本体的拍摄视野内，所述内镜图像的矫正装置包括：
第一获取单元，用于获取所述内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；
识别单元，用于从所述第一内镜图像识别所述管口对应的待矫正区域和所述参考色卡对应的色卡区域；
第二获取单元，用于获取所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息；
确定单元，用于基于所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息确定所述色卡区域与所述参考色卡颜色之间的目标颜色转换矩阵；
矫正单元，用于根据所述目标颜色转换矩阵对所述第一内镜图像进行颜色矫正，得到目标内镜图像。
可选地，所述识别单元，用于：
将所述第一内镜图像缩小至预设尺寸，得到第二内镜图像；
使用Unet分割网络对所述第二内镜图像进行图像分割，得到所述待矫正区域和所述参考色卡对应的色卡区域，其中，所述Unet分割网络经过标注好的内镜图像集进行训练得到，所述内镜图像集包括多张标注好的预设尺寸的内镜图像样本。
可选地，所述识别单元，用于：
基于所述预设尺寸将所述第一内镜图像分割为多个图像区域，其中，所述多个图像区域在图像宽度方向的列数与所述预设尺寸中的宽度相等；所述图像区域在图像高度方向的行数与所述预设尺寸中的高度相等；
获取目标图像区域中各个像素点的第一权重系数，其中，所述目标图像区域为所述多个图像区域中的一个；
基于各个像素点的第一权重系数对所述目标图像区域中多个像素点的像素值进行加权平均，得到所述目标图像区域的像素值；
将各个所述图像区域的像素值确定为第二内镜图像中各个像素点的像素值。
可选地，所述识别单元，用于：
获取各个像素点落入所述目标图像区域的面积占比；
基于各个像素点落入所述目标图像区域的面积占比确定所述目标图像区域中各个像素点的第一权重系数。
可选地，所述参考色卡包括至少两个色块，所述色卡区域包括与所述至少两个色块对应的至少两个色块区域，所述第二获取单元，用于，包括：
获取各个色块的第一颜色值和各个色块区域中各个像素点的第二颜色值；
所述确定单元，用于：
将所述色块区域中多个第二颜色值中的离群值剔除，得到所述色块区域的多个第三颜色值；
将所述色块区域的多个第三颜色值的平均值确定为所述色块区域的区域颜色值；
基于各个色块的第一颜色值和各个色块区域的区域颜色值确定所述目标颜色转换矩阵。
可选地，所述确定单元，用于:
获取初始颜色转换矩阵；
基于所述初始颜色转换矩阵对各个色块区域的区域颜色值进行转化，得到所述各个色块区域的转化颜色值；
对所述各个色块区域的转化颜色值和所述各个色块的第一颜色值进行lab空间颜色转换，得到各个色块的lab空间值和各个色块区域的lab空间值；
基于预设损失函数计算各个色块的lab空间值和对应的各个色块区域的lab空间值之间的区域损失函数值；
基于各个区域损失函数值确定总损失函数值；
更新迭代所述初始颜色转换矩阵至所述总损失函数值小于预设值，将所述总损失函数值小于预设值时的颜色转换矩阵确定为所述目标颜色转换矩阵。
可选地，所述确定单元，用于:
获取各个色块区域在各个通道上的颜色分量；
基于各个色块区域在各个通道上的颜色分量确定各个区域损失函数值的第二权重系数，其中，第一色块区域对应的区域损失函数值的第二权重系数小于第二色块区域对应的区域损失函数值的第二权重系数，第一色块区域为存在颜色分量大于预设分量的色块区域，第二色块区域为不存在颜色分量大于预设分量的色块区域；
基于各个区域损失函数值的第二权重系数对各个区域损失函数值加权平均，得到所述总损失函数值。
第三方面，本申请提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的内镜图像的矫正方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的内镜图像的矫正方法中的步骤。
本申请提供一种内镜图像的矫正方法及装置，该内镜图像的矫正方法应用于内镜图像的矫正系统，内镜图像的矫正系统包括内镜，内镜包括内镜本体和色帽，色帽包括管体，管体的一端设有管口，管体的另一端连接于内镜本体，管体上有参考色卡，参考色卡和管口位于内镜本体的拍摄视野内，内镜图像的矫正方法包括：获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域；获取参考色卡的第一颜色信息和色卡区域的第二颜色信息；基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵；根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。本申请在现有技术都采用透明帽的基础上，创造性的提出在内镜中设置色卡，色卡位于内镜的拍摄视野里，使得内镜拍摄的内镜拍摄图像中包含了待矫正区域和色卡区域，然后根据色卡区域与参考色卡之间的目标颜色转换矩阵对待矫正区域进行矫正，从而得到色彩矫正后的目标内镜图像，由于待矫正区域和色卡区域是在同一环境中拍摄的，可以根据色卡区域的颜色变化对待矫正区域进行矫正，能够辅助精准地矫正内镜图像的颜色，使矫正后的内镜图像更加真实地反映人体内景象，能够消除不同内镜拍摄图像间的差异，将内镜拍摄图像颜色还原到标准颜色空间中。使得基于内镜拍摄图像的临床诊断和医学研究依据更加真实，颜色更为统一，提高了内镜图像的矫正准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的内镜图像的矫正系统的场景示意图；
图2是本申请实施例提供的内镜图像的矫正系统一实施例中内镜的结构示意图；
图3是本申请实施例提供的内镜图像的矫正系统一实施例中色帽的结构示意图；
图4是本申请实施例提供的内镜图像的矫正系统一实施例中色帽的剖面结构示意图；
图5是本申请实施例提供的内镜图像的矫正系统一实施例中内镜拍摄的内镜图像的示意图；
图6是本申请实施例提供的内镜图像的矫正方法一实施例的流程示意图；
图7是本申请实施例提供的内镜图像的矫正方法一实施例中将第一内镜图像缩小至预设尺寸的示意图；
图8是本申请实施例提供的内镜图像的矫正方法一实施例中获取目标图像区域中各个像素点的第一权重系数的示意图；
图9是本申请实施例中提供的内镜图像的矫正装置的一个实施例结构示意图；
图10是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种内镜图像的矫正方法及装置，以下分别进行详细说明。
请参阅图1，图1为本申请实施例所提供的内镜图像的矫正系统的场景示意图，该内镜图像的矫正系统可以包括计算机设备100，计算机设备100中集成有内镜图像的矫正装置。
本申请实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本申请实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑（Personal Digital Assistant，PDA）、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的类型。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该内镜图像的矫正系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。
另外，如图1所示，该内镜图像的矫正系统还可以包括存储器200，用于存储数据。
结合图1-图5，本申请实施例中，内镜图像的矫正系统包括内镜20和电子设备100，内镜20包括内镜本体30和色帽10，色帽10包括管体13，管体13的一端设有管口141，管体13的另一端连接于内镜本体30，管体13上有参考色卡11，参考色卡11和管口141位于内镜本体30的拍摄视野内。内镜20包括以上的色帽10和内镜本体30，内镜本体30与色帽10连接。色帽10包括中空的管体13，管体13包括第一管段15和第二管段14，第一管段15的一端和第二管段14的一端连通。第一管段15用于连接内镜本体30，第二管段14的侧壁设有参考色卡11，参考色卡11和位于第二管段14的另一端的管口141位于内镜本体30的拍摄视野内。
本申请实施例中，参考色卡11包括多个色块。多个色块可以包括多个第一色块111和多个第二色块112。各个第一色块111的颜色不相同，多个第一色块111在第二管段14的侧壁周向上依次粘贴，第一色块111的一侧与管口141平齐。例如，各个第一色块111的颜色可以为蓝色，绿色等。
本申请实施例中，各个第一色块111、各个第二色块112的颜色均不相同，多个第二色块112在第二管段14的侧壁周向上依次粘贴，第二色块112的一侧与第一色块111的另一侧连接。例如，各个第一色块111的颜色可以为红色，紫色等。
本申请实施例中，管体13为圆形管体，第一色块111和第二色块112均为矩形色块，第一色块111距离第一管段15的距离大于第二色块112距离第一管段15的距离，第一色块111的面积大于第二色块112的面积。当然，第一色块111的面积也可以等于第二色块112的面积。第一管段15和第二管段14的内径相同。由于，第一色块111距离第一管段15的距离大于第二色块112距离第一管段15的距离，同样大小的第二色块112和第一色块111位于同一张图像时，第一色块111的面积会小于第二色块112的面积。将第一色块111的面积设置为大于第二色块112的面积，能够使得内镜本体30拍摄的内镜拍摄图像中第一色块111与第二色块112的面积大致相同，便于进行对比。优选地，第一色块111与第二色块112均为梯形，第一色块111的上底位于第一色块111的下底靠近第一管段15的一侧，第二色块112的上底位于第一色块111的下底靠近第一管段15的一侧。第一色块111与第二色块112均为梯形，在内镜本体30拍摄下，能够使得内镜本体30拍摄的内镜拍摄图像中第一色块111与第二色块112变为矩形，从而便于进行对比观察。
本申请实施例中，管体13为圆形管体13，第二管段14为透明管段，参考色卡11位于第二管段14的内壁或者参考色卡11位于第二管段14的外壁。若第二管段14不为透明管段，则参考色卡11位于第二管段14的内壁。
进一步的，第二管段14的管口141边沿设有圆角，可以避免第二管段14伸入人体时伤害人体。
本申请实施例中，第二管段14的内壁凸设有环形挡板12，环形挡板12位于第二管段14和第一管段15交接的位置，内镜本体30的一端伸入第一管段15并抵持于环形挡板12。
本申请实施例中，参考色卡11为24色麦克佩斯标准参考色卡11，参考色卡11包括12个第一色块111和12个第二色块112。当然，参考色卡11中第一色块111的数量可以少于第二色块112的数量，例如，参考色卡11包括10个第一色块111和14个第二色块112。第一色块111相对第二色块112距离内镜本体30更远，在图像上更小，因此，减小第一色块111的数量，可以增大内镜拍摄图像上第一色块11的面积。
本申请实施例中，第一管段15的内壁设有内螺纹，内镜本体30的一端旋进第一管段15与第一管段15螺纹连接。
本申请实施例中，第一管段15与第二管段14一体成型。
需要说明的是，图1所示的内镜图像的矫正系统的场景示意图仅仅是一个示例，本申请实施例描述的内镜图像的矫正系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着内镜图像的矫正系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本申请实施例中提供一种内镜图像的矫正方法，应用于内镜图像的矫正系统，内镜图像的矫正系统包括内镜，内镜包括内镜本体和色帽，色帽包括管体，管体的一端设有管口，管体的另一端连接于内镜本体，管体上有参考色卡，参考色卡和管口位于内镜本体的拍摄视野内，内镜图像的矫正方法包括：
获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；
从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域；
获取参考色卡的第一颜色信息和色卡区域的第二颜色信息；
基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵；
根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。
如图6所示，图6是本申请实施例中内镜图像的矫正方法的一个实施例流程示意图，该内镜图像的矫正方法包括如下步骤S201~S205：
S201、获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像。
本申请实施例中，将色帽10的与内镜本体30连接，完成色帽10的佩戴。色帽10的参考色卡11可以为单一颜色，也可以是多种颜色。优选地，参考色卡11包括至少两个色块，至少两个色块使用了24色的Macbeth色卡颜色值。
本申请实施例中，目标检测环境可以是肠道、气管、胃等位置。
本申请实施例中，将戴有色帽10的内镜伸入目标检测环境，使用戴有色帽10的内镜观察人体内部，按预设频率对实时内镜视频进行采帧，例如，预设频率为20hz，即每秒采集20帧第一内镜图像。
在一个具体的实施例中，按预设频率采集多帧第三内镜图像，分别计算多帧第三内镜图像的模糊度，将模糊度最小的第三内镜图像确定为第一内镜图像。其中，可以使用Brenner函数和Roberts梯度和计算第三内镜图像的模糊度。参考色卡11位于内镜的拍摄范围内，因此，无论内镜移动到什么位置，第一内镜图像中总会存在与参考色卡11对应色卡区域16。
S202、从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域。
本申请实施例中，第一内镜图像中包含待矫正区域17和参考色卡11对应的色卡区域16。待矫正区域17是内镜通过管体对目标检测环境进行拍照得到的区域，例如，可能是胃部、肠道等位置的图像。色卡区域16是内镜对参考色卡11拍照得到的区域。
本申请实施例中，从第一内镜图像识别待矫正区域17和参考色卡11对应的色卡区域16，可以包括：
（1）将第一内镜图像缩小至预设尺寸，得到第二内镜图像。
本申请实施例中，预设尺寸可以为512×512，表示图像宽度方向上有512个像素，高度方向上有512个像素。当然，在其他实施例中，也可以根据具体情况设定预设尺寸。
进一步的，可以裁剪掉第一内镜图像的无效区域，只留下关心的内镜主体区域，然后将第一内镜图像缩小至预设尺寸，得到第二内镜图像。
（2）使用Unet分割网络对第二内镜图像进行图像分割，得到待矫正区域17和参考色卡11对应的色卡区域16。
其中，Unet分割网络经过标注好的内镜图像集进行训练得到，内镜图像集包括多张标注好的预设尺寸的内镜图像样本。内镜图像样本中标注待矫正区域17的位置和类别，色卡区域16的位置和颜色类别。当色卡区域16包括多个色块区域161时，内镜图像样本中标注有各个色块区域161的位置和颜色类别。
训练Unet分割网络时，为了使训练效率最大化，会使用Unet分割网络的预训练权重，本申请使用的神经网络预训练权重是在尺寸为512×512的样本集上训练的，所以训练时同样使用了512×512的样本集进行微调。为了保证预测的准确性，预测时使用的图片大小也要与训练时保持一致，故缩小为512×512。
在一个优选的实施例中，色卡区域16围绕待矫正区域17。参考色卡11包括至少两个色块，色卡区域16包括与至少两个色块对应的至少两个色块区域161。至少两个色块在管体的内壁环绕设置，形成环状色卡，环状色卡围绕的区域即为待矫正区域17，对应的，在第一内镜图像上，检测区域对应待矫正区域17，参考色卡11对应色卡区域16，色卡区域16围绕待矫正区域17。由于色卡区域16围绕待矫正区域17，而色卡区域16特征相对明显，更容易识别，因此，只需要识别出色卡区域16即可确定待矫正区域17。
在另一个具体的实施例中，从第一内镜图像识别待矫正区域17和参考色卡11对应的色卡区域16，可以包括：将第一内镜图像缩小至预设尺寸，得到第二内镜图像。使用Unet分割网络对第二内镜图像进行图像分割，得到参考色卡11对应的色卡区域16，将色卡区域16围绕的区域确定为待矫正区域17。对应的，Unet分割网络经过标注好的内镜图像集进行训练得到，内镜图像集包括多张标注好的预设尺寸的内镜图像样本。内镜图像样本中标注有色卡区域16的位置和颜色类别。此时，训练样本无需标注待矫正区域17，可大大提高训练效率。
在又一个具体的实施例中，由于参考色卡11和内镜本体的位置相对固定，因此，当内镜拍摄的色卡区域16理论上在每张第一内镜图像同一位置，可以获取历史拍摄的历史内镜图像，从历史内镜图像中获取色卡区域16的色卡位置信息和色卡颜色信息，作为色卡区域16在第一内镜图像的色卡位置信息和色卡颜色信息，可以预先将色卡区域16在第一内镜图像的色卡位置信息和色卡颜色信息存储，色卡位置信息可以包括色卡区域16轮廓的点坐标，色卡颜色信息可以包括色卡颜色。从第一内镜图像识别待矫正区域17和参考色卡11对应的色卡区域16，可以包括：将第一内镜图像缩小至预设尺寸，得到第二内镜图像，基于色卡位置信息从第二内镜图像中截取色卡区域16。当色卡区域16包括多个色块区域161时，色卡位置信息可以包括各个色块区域161轮廓的点坐标，色卡颜色信息可以包括各个色块区域161的子区域颜色。可以基于色卡位置信息从第二内镜图像中截取各个色块区域161，并得到各个色块区域161的子区域颜色。由于不需要训练神经网络训练，该方案不仅准确，且快速。为了确保参考色卡11和内镜位置没有变，在获取到第二内镜图像中的色卡区域16时，判断第二内镜图像中的色卡区域16与历史内镜图像中色卡区域16的相似度是否高于预设相似度，若第二内镜图像中的色卡区域16与历史内镜图像中色卡区域16的相似度高于预设相似度，说明两张图像中色卡区域16高度重合，可以确定第二内镜图像中的色卡区域16识别正确，进而可以确定待矫正区域17；若第二内镜图像中的色卡区域16与历史内镜图像中色卡区域16的相似度不高于预设相似度，则使用Unet分割网络对第二内镜图像进行图像分割，得到参考色卡11对应的色卡区域16，将色卡区域16围绕的区域确定为待矫正区域17。其中，预设相似度可以为90%、95%等，根据具体情况设定即可。
在一个具体的实施例中，将第一内镜图像缩小至预设尺寸，得到第二内镜图像，包括：
（1）基于预设尺寸将第一内镜图像分割为多个图像区域。
其中，多个图像区域在图像宽度方向的每行数量与预设尺寸中的宽度相等；图像区域在图像高度方向的每列数量与预设尺寸中的高度相等。优选地，各个图像区域的面积相同。
如图7所示，为便于描述，此处以将9×9的第一内镜图像缩小至预设尺寸3×3为例进行说明。
9×9的第一内镜图像，在图像宽度方向上有9个像素，图像高度方向上有9个像素。需要得到3×3的第二内镜图像。将第一内镜图像分割为9个图像区域，每行数量3个，每列数量3个。
（2）获取目标图像区域中各个像素点的第一权重系数，其中，目标图像区域为多个图像区域中的一个。
在一个具体的实施例中，如图8所示，获取各个像素点落入目标图像区域的面积占比；基于各个像素点落入目标图像区域的面积占比确定目标图像区域中各个像素点的第一权重系数。具体的，将完全落入目标图像区域的像素点的第一权重系数确定为1，将像素点落入目标图像区域的面积占比确定为像素点的第一权重系数。其中，面积占比是各个像素点落入目标图像区域的面积与像素点面积的面积占比。例如，将11×1的图像缩小为4×1，平均每个图像区域有2.2个像素，部分像素占了两个区域，需要根据像素点占各个区域的面积比进行分配。例如，图8中，第三个像素在第一个图像区域的占比为0.2，在第二个图像区域的占比为0.8，则第一个图像区域中3个像素的第一权重系数分别为1、1、0.2。
（3）基于各个像素点的第一权重系数对目标图像区域中多个像素点的像素值进行加权平均，得到目标图像区域的像素值。
分别将各个图像区域确定为目标图像区域进行计算，即可得到各个图像区域的像素值。
（4）将各个图像区域的像素值确定为第二内镜图像中各个像素点的像素值。
这里缩小图片采用了区域插值法，与其他缩放图片方法相比，该方法不会产生波纹效应，且缩小后图片质量高。
S203、获取参考色卡的第一颜色信息和色卡区域的第二颜色信息。
本申请实施例中，参考色卡11为使用了24色的Macbeth色卡颜色值，参考色卡11的第一颜色信息即为各个色块的第一颜色值。具体的，获取各个色块的第一颜色值和各个色块区域161中各个像素点的第二颜色值，各个色块的第一颜色值包括各个色块在RGB三通道上的RGB颜色值。各个色块区域161中各个像素点的第二颜色值包括各个色块区域161上各个像素点在RGB三通道上的RGB颜色值。例如，用 C i 表示识别出的每个色块区域161中的像素点的第二颜色值，本例中i = 1,2,3,…24。
S204、基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵。
（1）将色块区域161中多个第二颜色值中离群值剔除，得到多个第三颜色值。
本申请实施例中，使用LOP（Local Outlier Factor）算法，对色块区域161中的像素点的第二颜色值C i 进行离群值检测，剔除离群值后的点集合对应的多个第三颜色值用C ri 表示。
（2）将多个第三颜色值的平均值确定为色块区域161的区域颜色值。
然后对每个色块区域161的点集合对应的第三颜色值求取平均值，确定为色块区 域161的区域颜色值，用C mi 表示，
Figure 165722DEST_PATH_IMAGE001
。C m 表示观测到的内镜图像中所有色块区域161 的区域颜色值，C m 是C mi 组成的集合。本申请中一共24个区域颜色值，每个区域颜色值有在 RGB有RGB三个通道分量，用RGB空间表示。
（3）基于各个色块的第一颜色值和各个色块区域161的区域颜色值确定目标颜色转换矩阵。
目标颜色转换矩阵为CCM（color correction matrix）矩阵。色彩矫正的时候通常使用CCM矩阵作为从线性化的输入色彩空间到线性绝对色彩空间变换的近似。颜色矫正的核心就是求解CCM矩阵，表示为M CCM 。CCM矩阵的形状通常有3×3和4×3两种，前者对色彩数值进行线性变换，后者做仿射变换，本例使用3×3。
在一个具体的实施例中，对各个色块区域161的区域颜色值C m 进行归一化，得到归一化后的区域颜色值C n ；对归一化后的颜色值C n 进行线性化，得到线性化后的区域颜色值C nl ，基于各个色块的第一颜色值和各个色块区域161线性化后的区域颜色值C nl 确定目标颜色转换矩阵。
具体的，第一步归一化，将各个色块区域161的区域颜色值C m 中所有RGB数值归一到(0,1)之间，得到归一化后的区域颜色值C n ，具体如公式（1）所示，
Figure 286125DEST_PATH_IMAGE002
（1）
第二步线性化，观测数据可能由于观测的物理机制或者为了适应人眼的习惯等原因与亮度存在非线性关系，如果不将其线性化，无法有效地线性变换到近似线性化的绝对色彩空间。
本申请使用gamma矫正对各个色块区域161归一化后的区域颜色值C n 做线性化，具体如公式（2）所示，
Figure 721654DEST_PATH_IMAGE003
（2）
其中γ=2.2，C nl 表示各个色块区域161线性化后的区域颜色值。
本申请实施例中，基于各个色块的第一颜色值和各个色块区域161的区域颜色值确定目标颜色转换矩阵，可以包括：
（1）获取初始颜色转换矩阵。
本申请实施例中，色帽10上的色卡11上各个色块的颜色值都是被严格标定的，每个颜色都明确地对应绝对颜色空间中的颜色值，用各个色块的第四颜色值用A表示。对各个色块的第四颜色值A归一并线性化后，得到的第一颜色值为A nl 。他们的关系如公式（3）所示，
Figure 648022DEST_PATH_IMAGE004
（3）
先要对M CCM 初始化，好的初始化方法可以加速模型收敛。本申请使用最小二乘法初始化M CCM ，初始颜色转换矩阵M CCM 的计算如公式（4）所示，
Figure 868919DEST_PATH_IMAGE005
（4）
由于最小二乘法初始化M CCM 只是简单求取了解析解，但解析解并非是最优解，需要进行迭代求取最优的M CCM 。通过最小二乘法初始化M CCM ，可以将迭代的初始颜色转换矩阵确定在一个较为合理的初始值，能够加速后续模型收敛。
（2）基于初始颜色转换矩阵对各个色块区域161的区域颜色值进行转化，得到各个色块区域161的转化颜色值。
在M CCM 还未优化至最终结果前，为了方便区分，记为M’ CCM 。
此时，线性化后的区域颜色值C nl 用初始颜色转换矩阵M’ CCM 线性变换后，转换后的各个色块区域161的转化颜色值为A’ nl ，计算过程如公式（5）所示，
A’ nl = C nl × M’ CCM （5）
优化过程需要评估转换后的各个色块区域161的转化颜色值A’ nl 是否与作为参考值的第一颜色值A nl 接近。评估使用的函数称为损失函数，我们需要找到合适的M CCM 的值，以尽可能的降低损失函数的大小。
（3）对各个色块区域161的转化颜色值和各个色块的第一颜色值进行lab空间颜色转换，得到各个色块区域161的lab空间值和各个色块区域161的lab空间值。
计算损失函数时需要计算颜色的差值，通常颜色差值的标准都是在CIE Lab色彩空间的基础上建立的，因此我们需要把上述的A’ nl 、A nl 转换到CIE Lab色彩空间进行计算。RGB空间不能直接转换为Lab空间，需要借助XYZ空间。
先将RGB转换到XYZ空间，如公式（6）所示：
Figure 956961DEST_PATH_IMAGE006
（6）
然后再由XYZ空间转换到Lab空间，如公式（7）（8）（9）所示：
Figure 879786DEST_PATH_IMAGE007
（7）
Figure 609845DEST_PATH_IMAGE008
（8）
Figure 481986DEST_PATH_IMAGE009
（9）
其中，
Figure 131142DEST_PATH_IMAGE010
Figure 416630DEST_PATH_IMAGE011
，
用上述方法，将的各个色块区域161的转化颜色值A’ nl 和作为参考值的第一颜色值A nl 转换到CIE Lab空间，记为各个色块区域161的lab空间值A’ lab 和各个色块的lab空间值A lab 。
（4）基于预设损失函数计算各个色块的lab空间值和对应的各个色块区域161的lab空间值之间的区域损失函数值。
本申请实施例中，预设损失函数为
Figure 560166DEST_PATH_IMAGE012
（10）
其中，N为色块区域161的个数，本申请中N=24，Loss i 是区域损失函数值。
（5）基于各个区域损失函数值确定总损失函数值。
计算损失时，不是所有的颜色都会参与计算，排斥的理由就是饱和。如果某个标准色至少一个通道的值达到或者非常接近最大值，则认为该颜色饱和，不能参与到最终的损失计算。所以需要计算第二权重系数Mask。
在一个具体的实施例中，基于各个区域损失函数值确定总损失函数值，包括：获取各个色块区域161在各个通道上的颜色分量。基于各个色块区域161在各个通道上的颜色分量确定各个区域损失函数值的第二权重系数。
其中，第一色块区域161对应的区域损失函数值的第二权重系数小于第二色块区域161对应的区域损失函数值的第二权重系数，第一色块区域161为存在颜色分量大于预设分量的色块区域161，第二色块区域161为不存在颜色分量大于预设分量的色块区域161。
具体的，预设分量为threshhold，第一色块区域161的第二权重系数为1，第二色块区域161的第二权重系数为0，本申请实施例中预设分量threshhold为0.98，在其他实施例中，也可以为其他值。如公式（11）所示，
Figure 349131DEST_PATH_IMAGE013
（11）
其中，i表示第几种标准色，N为标准色个数，本申请中N=24，threshhold为判断是否饱和的阈值，预设分量threshhold为0.98。
基于各个区域损失函数值的第二权重系数对各个区域损失函数值加权平均，得到总损失函数值。
进一步的，基于各个区域损失函数值的第二权重系数和各个区域的颜色权重对各个区域损失函数值加权平均，得到总损失函数值。
总损失函数值Loss total 的计算公式如公式（12）所示，
Figure 237364DEST_PATH_IMAGE014
（12）
其中，N为色块区域161的个数，本申请中N=12，W i 表示每个色块区域161对应颜色权重，Mask i 表示每个色块区域161的第二权重系数。其中，W i 可以均为1，也可以不相同，根据具体情况设定。
（6）更新迭代初始颜色转换矩阵至总损失函数值小于预设值，将总损失函数值小于预设值时的颜色转换矩阵确定为目标颜色转换矩阵。
具体的，判断总损失函数值Loss total 是否小于预设值，若总损失函数值Loss total 不小于预设值，则根据无导数非线性优化颜色转换矩阵M CCM ，并更新初始颜色转换矩阵，使用更新后的初始颜色转换矩阵迭代计算总损失函数值Loss total ，在总损失函数值Loss total 小于预设值时，停止迭代，将总损失函数值小于预设值时的颜色转换矩阵确定为目标颜色转换矩阵。优选的，根据Nelder-Mead算法优化颜色转换矩阵M CCM 。由于上述从RGB空间转换到CIE Lab空间并不连续，因此不能采用基于导数的非线性优化方法。Nelder-Mead算法是无导数非线性优化方法，我们使用该方法作为非线性优化方法。
S205、根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。
本申请实施例中，对第一内镜图像中待矫正区域进行归一化和线性化，得到归一线性化后的待矫正区域，使用目标颜色转换矩阵对归一线性化后的待矫正区域进行颜色转换，得到转换后的待矫正区域，对转换后的待矫正区域进行反线性化和反归一化，得到目标内镜图像。
为了更好实施本申请实施例中内镜图像的矫正方法，在内镜图像的矫正方法基础之上，本申请实施例中还提供一种内镜图像的矫正装置，如图9所示，内镜图像的矫正装置300包括：
第一获取单元301，用于获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；
识别单元302，用于从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域；
第二获取单元303，用于获取参考色卡的第一颜色信息和色卡区域的第二颜色信息；
确定单元304，用于基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵；
矫正单元305，用于根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。
可选地，识别单元302，用于：
将第一内镜图像缩小至预设尺寸，得到第二内镜图像；
使用Unet分割网络对第二内镜图像进行图像分割，得到待矫正区域和参考色卡对应的色卡区域，其中，Unet分割网络经过标注好的内镜图像集进行训练得到，内镜图像集包括多张标注好的预设尺寸的内镜图像样本。
可选地，识别单元302，用于：
基于预设尺寸将第一内镜图像分割为多个图像区域，其中，多个图像区域在图像宽度方向的列数与预设尺寸中的宽度相等；图像区域在图像高度方向的行数与预设尺寸中的高度相等；
获取目标图像区域中各个像素点的第一权重系数，其中，目标图像区域为多个图像区域中的一个；
基于各个像素点的第一权重系数对目标图像区域中多个像素点的像素值进行加权平均，得到目标图像区域的像素值；
将各个图像区域的像素值确定为第二内镜图像中各个像素点的像素值。
可选地，识别单元302，用于：
获取各个像素点落入目标图像区域的面积占比；
基于各个像素点落入目标图像区域的面积占比确定目标图像区域中各个像素点的第一权重系数。
可选地，参考色卡包括至少两个色块，色卡区域包括与至少两个色块对应的至少两个色块区域，第二获取单元303，用于，包括：
获取各个色块的第一颜色值和各个色块区域中各个像素点的第二颜色值；
确定单元304，用于：
将色块区域中多个第二颜色值中的离群值剔除，得到色块区域的多个第三颜色值；
将色块区域的多个第三颜色值的平均值确定为色块区域的区域颜色值；
基于各个色块的第一颜色值和各个色块区域的区域颜色值确定目标颜色转换矩阵。
可选地，确定单元304，用于:
获取初始颜色转换矩阵；
基于初始颜色转换矩阵对各个色块区域的区域颜色值进行转化，得到各个色块区域的转化颜色值；
对各个色块区域的转化颜色值和各个色块的第一颜色值进行lab空间颜色转换，得到各个色块的lab空间值和各个色块区域的lab空间值；
基于预设损失函数计算各个色块的lab空间值和对应的各个色块区域的lab空间值之间的区域损失函数值；
基于各个区域损失函数值确定总损失函数值；
更新迭代初始颜色转换矩阵至总损失函数值小于预设值，将总损失函数值小于预设值时的颜色转换矩阵确定为目标颜色转换矩阵。
可选地，确定单元304，用于:
获取各个色块区域在各个通道上的颜色分量；
基于各个色块区域在各个通道上的颜色分量确定各个区域损失函数值的第二权重系数，其中，第一色块区域对应的区域损失函数值的第二权重系数小于第二色块区域对应的区域损失函数值的第二权重系数，第一色块区域为存在颜色分量大于预设分量的色块区域，第二色块区域为不存在颜色分量大于预设分量的色块区域；
基于各个区域损失函数值的第二权重系数对各个区域损失函数值加权平均，得到总损失函数值。
本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种内镜图像的矫正装置，计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述内镜图像的矫正方法实施例中任一实施例中的内镜图像的矫正方法中的步骤。
如图10所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；处理器401可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域；获取参考色卡的第一颜色信息和色卡区域的第二颜色信息；基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵；根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种内镜图像的矫正方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；从第一内镜图像识别管口对应的待矫正区域和参考色卡对应的色卡区域；获取参考色卡的第一颜色信息和色卡区域的第二颜色信息；基于参考色卡的第一颜色信息和色卡区域的第二颜色信息确定色卡区域与参考色卡颜色之间的目标颜色转换矩阵；根据目标颜色转换矩阵对第一内镜图像进行颜色矫正，得到目标内镜图像。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种内镜图像的矫正方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种内镜图像的矫正方法，其特征在于，应用于内镜图像的矫正系统，所述内镜图像的矫正系统包括内镜，所述内镜包括内镜本体和色帽，所述色帽包括管体，所述管体的一端设有管口，所述管体的另一端连接于所述内镜本体，所述管体上有参考色卡，所述参考色卡和所述管口位于所述内镜本体的拍摄视野内，所述内镜图像的矫正方法包括：
获取所述内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；
从所述第一内镜图像识别所述管口对应的待矫正区域和所述参考色卡对应的色卡区域；
获取所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息；
基于所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息确定所述色卡区域与所述参考色卡颜色之间的目标颜色转换矩阵；
根据所述目标颜色转换矩阵对所述第一内镜图像进行颜色矫正，得到目标内镜图像。
2.根据权利要求1所述的内镜图像的矫正方法，其特征在于，所述从所述第一内镜图像识别所述管口对应的待矫正区域和所述参考色卡对应的色卡区域，包括：
将所述第一内镜图像缩小至预设尺寸，得到第二内镜图像；
使用Unet分割网络对所述第二内镜图像进行图像分割，得到所述待矫正区域和所述参考色卡对应的色卡区域，其中，所述Unet分割网络经过标注好的内镜图像集进行训练得到，所述内镜图像集包括多张标注好的预设尺寸的内镜图像样本。
3.根据权利要求2所述的内镜图像的矫正方法，其特征在于，所述将所述第一内镜图像缩小至预设尺寸，得到第二内镜图像，包括：
基于所述预设尺寸将所述第一内镜图像分割为多个图像区域，其中，所述多个图像区域在图像宽度方向的列数与所述预设尺寸中的宽度相等；所述图像区域在图像高度方向的行数与所述预设尺寸中的高度相等；
获取目标图像区域中各个像素点的第一权重系数，其中，所述目标图像区域为所述多个图像区域中的一个；
基于各个像素点的第一权重系数对所述目标图像区域中多个像素点的像素值进行加权平均，得到所述目标图像区域的像素值；
将各个所述图像区域的像素值确定为第二内镜图像中各个像素点的像素值。
4.根据权利要求3所述的内镜图像的矫正方法，其特征在于，所述获取目标图像区域中各个像素点的第一权重系数，包括：
获取各个像素点落入所述目标图像区域的面积占比；
基于各个像素点落入所述目标图像区域的面积占比确定所述目标图像区域中各个像素点的第一权重系数。
5.根据权利要求1所述的内镜图像的矫正方法，其特征在于，所述参考色卡包括至少两个色块，所述色卡区域包括与所述至少两个色块对应的至少两个色块区域，所述获取所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息，包括：
获取各个色块的第一颜色值和各个色块区域中各个像素点的第二颜色值；
所述基于所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息确定所述色卡区域与所述参考色卡颜色之间的目标颜色转换矩阵，包括：
将所述色块区域中多个第二颜色值中的离群值剔除，得到所述色块区域的多个第三颜色值；
将所述色块区域的多个第三颜色值的平均值确定为所述色块区域的区域颜色值；
基于各个色块的第一颜色值和各个色块区域的区域颜色值确定所述目标颜色转换矩阵。
6.根据权利要求5所述的内镜图像的矫正方法，其特征在于，所述基于各个色块的第一颜色值和各个色块区域的区域颜色值确定所述目标颜色转换矩阵，包括:
获取初始颜色转换矩阵；
基于所述初始颜色转换矩阵对各个色块区域的区域颜色值进行转化，得到所述各个色块区域的转化颜色值；
对所述各个色块区域的转化颜色值和所述各个色块的第一颜色值进行lab空间颜色转换，得到各个色块的lab空间值和各个色块区域的lab空间值；
基于预设损失函数计算各个色块的lab空间值和对应的各个色块区域的lab空间值之间的区域损失函数值；
基于各个区域损失函数值确定总损失函数值；
更新迭代所述初始颜色转换矩阵至所述总损失函数值小于预设值，将所述总损失函数值小于预设值时的颜色转换矩阵确定为所述目标颜色转换矩阵。
7.根据权利要求6所述的内镜图像的矫正方法，其特征在于，所述基于各个区域损失函数值确定总损失函数值，包括:
获取各个色块区域在各个通道上的颜色分量；
基于各个色块区域在各个通道上的颜色分量确定各个区域损失函数值的第二权重系数，其中，第一色块区域对应的区域损失函数值的第二权重系数小于第二色块区域对应的区域损失函数值的第二权重系数，第一色块区域为存在颜色分量大于预设分量的色块区域，第二色块区域为不存在颜色分量大于预设分量的色块区域；
基于各个区域损失函数值的第二权重系数对各个区域损失函数值加权平均，得到所述总损失函数值。
8.一种内镜图像的矫正装置，其特征在于，应用于内镜图像的矫正系统，所述内镜图像的矫正系统包括内镜，所述内镜包括内镜本体和色帽，所述色帽包括管体，所述管体的一端设有管口，所述管体的另一端连接于所述内镜本体，所述管体上有参考色卡，所述参考色卡和所述管口位于所述内镜本体的拍摄视野内，所述内镜图像的矫正装置包括：
第一获取单元，用于获取所述内镜在目标检测环境移动的过程中拍摄得到的第一内镜图像；
识别单元，用于从所述第一内镜图像识别所述管口对应的待矫正区域和所述参考色卡对应的色卡区域；
第二获取单元，用于获取所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息；
确定单元，用于基于所述参考色卡的第一颜色信息和所述色卡区域的第二颜色信息确定所述色卡区域与所述参考色卡颜色之间的目标颜色转换矩阵；
矫正单元，用于根据所述目标颜色转换矩阵对所述第一内镜图像进行颜色矫正，得到目标内镜图像。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的内镜图像的矫正方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的内镜图像的矫正方法中的步骤。
CN202111463270.2A 2021-12-03 2021-12-03 内镜图像的矫正方法、装置、设备及存储介质 Active CN113870151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111463270.2A CN113870151B (zh) 2021-12-03 2021-12-03 内镜图像的矫正方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111463270.2A CN113870151B (zh) 2021-12-03 2021-12-03 内镜图像的矫正方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113870151A true CN113870151A (zh) 2021-12-31
CN113870151B CN113870151B (zh) 2022-02-18

Family

ID=78985702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111463270.2A Active CN113870151B (zh) 2021-12-03 2021-12-03 内镜图像的矫正方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113870151B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393230A (zh) * 2022-10-28 2022-11-25 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970074A (zh) * 2017-03-16 2017-07-21 四川大学 具有色彩矫正能力的尿液试纸图像识别方法
CN110060222A (zh) * 2019-04-29 2019-07-26 重庆金山医疗器械有限公司 一种图像校正方法、装置及内窥镜系统
CN111292246A (zh) * 2018-12-07 2020-06-16 上海安翰医疗技术有限公司 图像颜色校正方法、存储介质及内窥镜
US10835105B1 (en) * 2019-06-27 2020-11-17 Diva Laboratories, Ltd. Display correction system for endoscope and the correction method thereof
CN112950485A (zh) * 2020-11-27 2021-06-11 京东数字科技控股股份有限公司 色卡及图像色差处理方法、装置、电子设备和存储介质
US20210350535A1 (en) * 2021-05-12 2021-11-11 ShenZhen Jifu Medical Technology Co, Ltd Endoscopic image enhancement system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970074A (zh) * 2017-03-16 2017-07-21 四川大学 具有色彩矫正能力的尿液试纸图像识别方法
CN111292246A (zh) * 2018-12-07 2020-06-16 上海安翰医疗技术有限公司 图像颜色校正方法、存储介质及内窥镜
CN110060222A (zh) * 2019-04-29 2019-07-26 重庆金山医疗器械有限公司 一种图像校正方法、装置及内窥镜系统
US10835105B1 (en) * 2019-06-27 2020-11-17 Diva Laboratories, Ltd. Display correction system for endoscope and the correction method thereof
CN112950485A (zh) * 2020-11-27 2021-06-11 京东数字科技控股股份有限公司 色卡及图像色差处理方法、装置、电子设备和存储介质
US20210350535A1 (en) * 2021-05-12 2021-11-11 ShenZhen Jifu Medical Technology Co, Ltd Endoscopic image enhancement system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393230A (zh) * 2022-10-28 2022-11-25 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置
CN115393230B (zh) * 2022-10-28 2023-02-03 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置

Also Published As

Publication number Publication date
CN113870151B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
WO2020114037A1 (zh) 基于计算机视觉的肠镜退镜速度实时监测方法和系统
CN110136106B (zh) 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
EP4016451A1 (en) Endoscope image processing method and apparatus, and electronic device and storage medium
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
WO2017030747A1 (en) Reconstruction with object detection for images captured from a capsule camera
CN109002846B (zh) 一种图像识别方法、装置和存储介质
US20100183204A1 (en) Image processing device, image processing method, and computer readable storage medium storing image processing program
WO2021073101A1 (zh) 一种图像处理方法、装置和电子设备及可读存储介质
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN107146221B (zh) 基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法
CN113870151B (zh) 内镜图像的矫正方法、装置、设备及存储介质
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
US20220006981A1 (en) Method of automatic image freezing of digestive endoscopy
CN115553685B (zh) 一种判断内窥镜进出的方法
CN113823400A (zh) 肠道退镜速度监测方法、装置及计算机可读存储介质
US20240005494A1 (en) Methods and systems for image quality assessment
CN111275707A (zh) 肺炎病灶分割方法和装置
CN104469334A (zh) 一种医疗设备取得图像数据的处理方法及装置
CN116091432A (zh) 一种用于医疗内窥镜检查的质控方法、装置及计算机设备
CN114022880A (zh) 食管粘膜平坦程度量化方法、装置、终端及存储介质
WO2024164912A1 (zh) 内窥镜下目标结构评估系统、方法、设备及存储介质
CN116309605B (zh) 基于深度学习和状态转移的内窥镜检查质控方法及系统
CN115511885B (zh) 盲肠插管成功率的检测方法及装置
CN105874508A (zh) 用于具有经改进的可靠性的宫颈图像分析的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant