CN117437131A - 内窥镜图像电子染色方法及装置、设备、存储介质 - Google Patents

内窥镜图像电子染色方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN117437131A
CN117437131A CN202311772506.XA CN202311772506A CN117437131A CN 117437131 A CN117437131 A CN 117437131A CN 202311772506 A CN202311772506 A CN 202311772506A CN 117437131 A CN117437131 A CN 117437131A
Authority
CN
China
Prior art keywords
image
network level
residual error
images
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311772506.XA
Other languages
English (en)
Other versions
CN117437131B (zh
Inventor
谭有余
黄建兴
何进雄
郑理铨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Seesheen Medical Technology Co ltd
Original Assignee
Zhuhai Seesheen Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Seesheen Medical Technology Co ltd filed Critical Zhuhai Seesheen Medical Technology Co ltd
Priority to CN202311772506.XA priority Critical patent/CN117437131B/zh
Publication of CN117437131A publication Critical patent/CN117437131A/zh
Application granted granted Critical
Publication of CN117437131B publication Critical patent/CN117437131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于内窥镜图像处理技术领域，公开了一种内窥镜图像电子染色方法及装置、设备、存储介质，通过获取内窥镜在普通白光模式下采集到的内窥镜图像输入预设光谱重建模型，以获得多个波长各不相同的高光谱图像，对每个高光谱图像进行增强处理，获得与高光谱图像对应的增强图像，从中选择指定数量个增强图像融合成目标彩色图像，其中模型包括像素逆重组层和四个级联的网络层级，通过对下层级的输出特征连接到当前层的层层递进方式，使得每个网络层级都包含了上一网络层级的特征信息，能够更好的提取特征，以及通过残差密集块和残差全局块充分提取全局与局部特征，可以更好的减少伪影，从而更好的自适应复杂多变的内腔环境，提高精准性。

Description

内窥镜图像电子染色方法及装置、设备、存储介质
技术领域
本发明属于内窥镜图像处理技术领域，具体涉及一种内窥镜图像电子染色方法及装置、设备、存储介质。
背景技术
内窥镜电子染色并非真正的染色，而是根据不同的原理对内窥镜成像进行处理，使病变组织和正常组织成像出现差异，方便进行观察，能够起到突出病灶的效果。现有的电子染色内窥镜可以被归类为硬件方式和软件方式两大类。
硬件方式主要有窄带成像（narrow-band imaging，NBI）以及智能电子分光技术（Fuji intelligent chromo-endoscopy，FICE）。这两项技术能够较好的突出内窥镜影像的病灶，但是NBI技术是利用光学透镜、FICE技术也需要分光光度计等物理设备进行校正，因此这两项技术均需要复杂且昂贵的物理设备的支持才能实现，导致内窥镜染色系统的结构复杂、硬件成本较高。
软件方式则是基于数字图像处理技术，通过调整图像的亮度、对比度、锐度等，凸显消化道组织的轮廓与纹理，达到增强图像的目的。也即，不需要借助其他复杂、昂贵的物理设备，达到与利用物理染色的类似效果，能够极大的简化内窥镜染色系统的结构以及降低成本。
但在实践中发现，现有基于数字图像处理技术的电子染色方法，一些处理参数的调整比较复杂，而人体内腔环境复杂多变，因此难以实现自适应染色，精准性较差。
发明内容
本发明的目的在于提供一种内窥镜图像电子染色方法及装置、设备、存储介质，可以更好的自适应复杂多变的内腔环境，提高精准性。
本发明第一方面公开一种内窥镜图像电子染色方法，包括：
获取内窥镜在普通白光模式下采集到的内窥镜图像；
将所述内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像；
对每个所述高光谱图像进行增强处理，获得与所述高光谱图像一一对应的第一指定数量个增强图像；
从第一指定数量个所述增强图像中选择第二指定数量个所述增强图像融合成目标彩色图像，其中，第二指定数量小于第一指定数量；
其中，所述预设光谱重建模型包括像素逆重组层和四个级联的网络层级，四个级联的网络层级由上至下分别为第一网络层级、第二网络层级、第三网络层级和第四网络层级；所述像素逆重组层用于对输入的内窥镜图像分别进行3次下采样，得到尺度缩小2倍、4倍、8倍的3个下采样图；所述第二网络层级、所述第三网络层级和所述第四网络层级，分别用于对缩小2倍、4倍、8倍的3个下采样图像进行特征提取，再层间集成至上一层级；
其中，所述第一网络层级包括依次串联的两个3×3卷积块、四个残差密集块、一个残差全局块和一个3×3卷积块；所述第二网络层级包括依次串联的两个3×3卷积块、两个残差密集块和一个残差全局块；所述第三网络层级包括依次串联的两个3×3卷积块、一个残差密集块和一个残差全局块；所述第四网络层级包括依次串联的一个3×3卷积块、一个残差密集块、一个残差全局块和一个1×1卷积块。
本发明第二方面公开一种内窥镜图像电子染色装置，包括：
获取单元，用于获取内窥镜在普通白光模式下采集到的内窥镜图像；
重建单元，用于将所述内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像；
增强单元，用于对每个所述高光谱图像进行增强处理，获得与所述高光谱图像一一对应的第一指定数量个增强图像；
融合单元，用于从第一指定数量个所述增强图像中选择第二指定数量个所述增强图像融合成目标彩色图像，其中，第二指定数量小于第一指定数量；
其中，所述预设光谱重建模型包括像素逆重组层和四个级联的网络层级，四个级联的网络层级由上至下分别为第一网络层级、第二网络层级、第三网络层级和第四网络层级；所述像素逆重组层用于对输入的内窥镜图像分别进行3次下采样，得到尺度缩小2倍、4倍、8倍的3个下采样图；所述第二网络层级、所述第三网络层级和所述第四网络层级，分别用于对缩小2倍、4倍、8倍的3个下采样图像进行特征提取，再层间集成至上一层级；
其中，所述第一网络层级包括依次串联的两个3×3卷积块、四个残差密集块、一个残差全局块和一个3×3卷积块；所述第二网络层级包括依次串联的两个3×3卷积块、两个残差密集块和一个残差全局块；所述第三网络层级包括依次串联的两个3×3卷积块、一个残差密集块和一个残差全局块；所述第四网络层级包括依次串联的一个3×3卷积块、一个残差密集块、一个残差全局块和一个1×1卷积块。
本发明第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的内窥镜图像电子染色方法。
本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的内窥镜图像电子染色方法。
本发明的有益效果在于，通过获取内窥镜在普通白光模式下采集到的内窥镜图像，将内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像，对每个高光谱图像进行增强处理，获得与高光谱图像一一对应的第一指定数量个增强图像，从第一指定数量个增强图像中选择第二指定数量个增强图像融合成目标彩色图像，其中，预设光谱重建模型包括像素逆重组层和四个级联的网络层级，通过对下层级的输出特征连接到当前层的层层递进方式，使得每个网络层级都包含了上一网络层级的特征信息，能够更好的提取特征，以及通过残差密集块和残差全局块以充分的提取全局与局部特征，可以更好的减少伪影，从而可以更好的自适应复杂多变的内腔环境，提高精准性。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是本发明实施例公开的一种内窥镜图像电子染色方法的流程图；
图2是本发明实施例公开的预设光谱重建模型的结构示意图；
图3是本发明实施例公开的残差密集块的结构示意图；
图4是本发明实施例公开的残差全局块的结构示意图；
图5是本发明实施例公开的滑动窗口在高光谱图像上滑动的示意图；
图6是本发明实施例公开的一种内窥镜图像电子染色装置的结构示意图；
图7是本发明实施例公开的一种电子设备的结构示意图。
附图标记说明：
601、获取单元；602、重建单元；603、增强单元；604、融合单元；701、存储器；702、处理器。
具体实施方式
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和／或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，当元件被认为“固定于”另一个元件，它可以是直接固定在另一个元件上，也可以是存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件，也可以是同时存在居中元件；当一个元件被认为是“安装在”另一个元件，它可以是直接安装在另一个元件，也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件，它可以是直接设在另一个元件，也可以是同时存在居中元件。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。此外，本文所使用的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开一种内窥镜图像电子染色方法，该方法可以通过计算机编程实现。该方法的执行主体可为如计算机电脑、笔记本电脑、平板电脑等电子设备，或内嵌于电子设备中的内窥镜图像电子染色装置，本发明对此不作限定。为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
如图1所示，该方法包括以下步骤110~140：
110、获取内窥镜在普通白光模式下采集到的内窥镜图像。
其中，内窥镜图像为3通道RGB图像。
120、将内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像。
本发明利用了多层级的深度学习网络架构来实现RGB图像到高光谱图像的重建。其中，预设光谱重建模型由该多层级的深度学习网络架构训练得到。如图2所示，预设光谱重建模型包括像素逆重组（PixelUnShuffle）层和四个级联的网络层级，四个级联的网络层级由上至下分别为第一网络层级、第二网络层级、第三网络层级和第四网络层级。
像素逆重组层用于对输入的3通道RGB图像分别进行3次下采样，得到尺度（包括长和宽）缩小2倍、4倍、8倍的3个下采样图，其通道分别为12、48和192，以获得不同尺度的特征。第二网络层级、第三网络层级和第四网络层级，分别用于对缩小2倍、4倍、8倍的3个下采样图像进行特征提取，再层间集成至上一层级。
进一步可选的，第一网络层级包括依次串联的两个3×3卷积块、四个残差密集块、一个残差全局块和一个3×3卷积块；第二网络层级包括依次串联的两个3×3卷积块、两个残差密集块和一个残差全局块；第三网络层级包括依次串联的两个3×3卷积块、一个残差密集块和一个残差全局块；第四网络层级包括依次串联的一个3×3卷积块、一个残差密集块、一个残差全局块和一个1×1卷积块。
第四网络层级用于对输入的尺度缩小8倍的下采样图进行特征提取，获得维度不变的第一特征图。具体的，对于尺度缩小8倍的下采样图，分别利用第四网络层级中的3×3卷积块、残差密集块、残差全局块进行特征提取，然后利用1×1卷积对所有通道进行加权来增强色调映射，以获得第一特征图。像素逆重组层还用于将第一特征图进行扩大2倍的上采样以获得第一上采样图。
第三网络层级用于对输入的尺度缩小4倍的下采样图进行一次特征提取，再与第一上采样图拼接后进行二次特征提取，获得维度不变的第二特征图。具体的，对于尺度缩小4倍的下采样图，先利用第三网络层级中第一个3×3卷积块进行一次特征提取，然后与第一上采样图在通道维度上拼接后，分别利用第二个3×3卷积块、一个残差密集块和一个残差全局块进行二次特征提取，获得第二特征图。像素逆重组层还用于将第二特征图进行扩大2倍的上采样以获得第二上采样图。
第二网络层级用于对输入的尺度缩小2倍的下采样图进行一次特征提取，再与第二上采样图拼接后进行二次特征提取，获得维度不变的第三特征图。具体的，对于尺度缩小2倍的下采样图，先利用第二网络层级中第一个3×3卷积块进行一次特征提取，然后与第二上采样图在通道维度上拼接后，分别利用第二个3×3卷积块、两个残差密集块和一个残差全局块进行二次特征提取，获得第三特征图。像素逆重组层还用于将第三特征图进行扩大2倍的上采样以获得第三上采样图。
第一网络层级用于对输入的3通道RGB图像进行一次特征提取，再与第三上采样图拼接后进行二次特征提取，获得维度不变的第一指定数量个高光谱图像。具体的，对于原始输入的3通道RGB图像，先利用第一网络层级中第一个3×3卷积块进行一次特征提取，然后与第三上采样图在通道维度上拼接后分别利用第二个3×3卷积块、四个残差密集块和一个残差全局块进行二次特征提取，获得第四特征图。最后利用第一网络层级中最后一个3×3卷积块，其输出通道为第一指定数量（如31），将第四特征图映射到31个通道，得到最终包含31个通道的高光谱图像。
其中，3×3卷积块用于提取全局特征，输出特征的维度不变；残差密集块用于提取局部特征，可以减少伪影；残差全局块用于对全局特征和局部特征进行融合。
如图3所示，残差密集块包括依次串联的五个第一卷积层，任意两个第一卷积层之间均设置有跳连结构，这样每个第一卷积层都包含了上层的信息，也可以访问所有的后续层，传递需要保留的信息，能够更好的提取特征。其中，每个第一卷积层后都跟随有LReLU激活函数。
如图4所示，残差全局块包括两个第一卷积层和特征融合层，其中，特征融合层设置于两个第一卷积层中间，每个第一卷积层后都跟随有LReLU激活函数，第一个卷积层的输入与第二个第一卷积层的输出相加后输出，特征融合层包括依次串联的第二卷积层、三个线性层和一个膨胀层，第二卷积层的输入与膨胀层的输出相乘后输出，并作为第二个第一卷积层的输入。其中，第一卷积层为3×3卷积。
在本发明中，对于模型的层间集成，通过对下层级的输出特征进行像素混洗，然后连接到当前层，最后由附加的卷积层处理以统一通道数；对于伪影减少，通过残差密集块和残差全局块以充分的提取全局与局部特征。此外在底层特征最密集，因此在底层的最后附加了一个1×1卷积层，用来对所有通道进行加权来增强色调映射。最后将底层的特征通过PixelShuffle进行上采样，并与上一层的特征拼接，最终得到包含多个层次的特征图。此外，在训练过程中，使用L1损失函数来计算网络预测的高光谱图像与真实高光谱图像的差距，以此来更新模型。
130、对每个高光谱图像进行增强处理，获得与高光谱图像一一对应的第一指定数量个增强图像。
可选的，步骤130可以包括以下未图示的步骤1301~1305：
1301、对于每个高光谱图像，控制指定大小的滑动窗口在高光谱图像上进行滑动，以将高光谱图像分成多个区域子图；其中，每相邻的两个区域子图之间具有重叠区域。
如图5所示，以4×4图像为例，滑动窗口的大小设置为2×2，其中虚线框代表滑动窗口在图像上的移动。如图5所示，滑动窗口以步长为1在高光谱图像上移动，因此能够保证有一定的重叠区域，如图5所示一共经过9步完成滑动窗口的移动，获得9个区域子图。
1302、对每个区域子图进行直方图均衡化，获得每个区域子图对应的映射子图。
通过应用直方图均衡化，可以使得区域子图内各像素灰度值更均匀分布。在直方图均衡化的过程中，首先计算每个区域子图的直方图，根据每个区域子图的直方图计算每个区域子图对应的映射函数；然后根据映射函数对每个区域子图进行像素值变换，获得每个区域子图对应的映射子图。
具体的，对区域子图的灰度情况进行统计分析，计算出每个区域子图的灰度级分布（即直方图），其中直方图用于表征区域子图中各灰度级出现的概率，灰度级通常是在0到255之间的整数。然后根据直方图计算对应的累计概率函数(Cumulative probabilitydensity function，CDF)，根据CDF求出区域子图到映射子图的各个灰度级的灰度映射关系，从而获得包含所有灰度级的灰度映射关系的映射函数。最后，按照每个区域子图对应的映射函数，对区域子图各像素进行灰度转换获得映射子图，即可完成对区域子图的直方图均衡化。
优选的，在直方图均衡化过程中的根据直方图计算对应的CDF时，可以应用对比度限制。即，通过设定一个限制阈值，假设在直方图中某个灰度级的概率超过了该限制阈值，则对其超出部分进行裁剪，然后将超过限制阈值的部分均匀分配各个灰度级中，以保证直方图总面积不变，通过该操作使得计算出来的CDF更为平滑，从而避免在直方图均衡化中强化噪声点。
1303、对每相邻的两个映射子图之间的重叠区域进行插值处理，获得与多个映射子图一一对应的多个增强子图。
将高光谱图像进行分块处理，若每块中的像素点仅通过该块中的映射函数进行像素值变换，则会导致最终图像呈块状效应。因此在每相邻的两个映射子图之间的重叠区域进行插值，可以确保图像的整体一致性和平滑性。
1304、将多个增强子图组合，以获得高光谱图像对应的增强图像。
1305、遍历所有高光谱图像之后，获得与高光谱图像一一对应的第一指定数量个增强图像。
140、从第一指定数量个增强图像中选择第二指定数量个增强图像融合成目标彩色图像，其中，第二指定数量小于第一指定数量。
在本发明实施例中，第一指定数量设置为31，第二指定数量设置为3。
综上所述，实施本发明实施例，利用深度学习的方法从普通白光下得到的内窥镜图像重建出具有31个不同波长的高光谱图像，以达到NBI、FICE借助物理设备获取不同波长图像的效果。以及，利用限制对比度自适应直方图均衡化、累积直方图展平等方法对重建的31个不同波长的高光谱图像进行增强处理，从重建的31个高光谱图像中选取3个不同波长的图像进行通道融合，最终生成染色的彩色图像，通过对下层级的输出特征连接到当前层的层层递进方式，使得每个网络层级都包含了上一网络层级的特征信息，能够更好的提取特征，以及通过残差密集块和残差全局块以充分的提取全局与局部特征，可以更好的减少伪影，从而可以更好的自适应复杂多变的内腔环境，提高精准性。
如图6所示，本发明实施例公开一种内窥镜图像电子染色装置，包括获取单元601、重建单元602、增强单元603、融合单元604，其中，
获取单元601，用于获取内窥镜在普通白光模式下采集到的内窥镜图像；
重建单元602，用于将内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像；
增强单元603，用于对每个高光谱图像进行增强处理，获得与高光谱图像一一对应的第一指定数量个增强图像；
融合单元604，用于从第一指定数量个增强图像中选择第二指定数量个增强图像融合成目标彩色图像，其中，第二指定数量小于第一指定数量；
其中，预设光谱重建模型包括像素逆重组层和四个级联的网络层级，四个级联的网络层级由上至下分别为第一网络层级、第二网络层级、第三网络层级和第四网络层级；像素逆重组层用于对输入的内窥镜图像分别进行3次下采样，得到尺度缩小2倍、4倍、8倍的3个下采样图；第二网络层级、第三网络层级和第四网络层级，分别用于对缩小2倍、4倍、8倍的3个下采样图像进行特征提取，再层间集成至上一层级；
其中，第一网络层级包括依次串联的两个3×3卷积块、四个残差密集块、一个残差全局块和一个3×3卷积块；第二网络层级包括依次串联的两个3×3卷积块、两个残差密集块和一个残差全局块；第三网络层级包括依次串联的两个3×3卷积块、一个残差密集块和一个残差全局块；第四网络层级包括依次串联的一个3×3卷积块、一个残差密集块、一个残差全局块和一个1×1卷积块。
作为一种可选的实施方式，增强单元603可以包括以下未图示的子单元：
滑动子单元，用于对于每个高光谱图像，控制指定大小的滑动窗口在高光谱图像上进行滑动，以将高光谱图像分成多个区域子图；其中，每相邻的两个区域子图之间具有重叠区域；
均衡处理子单元，用于对每个区域子图进行直方图均衡化，获得每个区域子图对应的映射子图；
插值子单元，用于对每相邻的两个映射子图之间的重叠区域进行插值处理，获得与多个映射子图一一对应的多个增强子图；
组合子单元，用于将多个增强子图组合，以获得高光谱图像对应的增强图像；
遍历子单元，用于遍历所有高光谱图像之后，获得与高光谱图像一一对应的第一指定数量个增强图像。
如图7所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器701以及与存储器701耦合的处理器702；
其中，处理器702调用存储器701中存储的可执行程序代码，执行上述各实施例中描述的内窥镜图像电子染色方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的内窥镜图像电子染色方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (10)

1.内窥镜图像电子染色方法，其特征在于，包括：
获取内窥镜在普通白光模式下采集到的内窥镜图像；
将所述内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像；
对每个所述高光谱图像进行增强处理，获得与所述高光谱图像一一对应的第一指定数量个增强图像；
从第一指定数量个所述增强图像中选择第二指定数量个所述增强图像融合成目标彩色图像，其中，第二指定数量小于第一指定数量；
其中，所述预设光谱重建模型包括像素逆重组层和四个级联的网络层级，四个级联的网络层级由上至下分别为第一网络层级、第二网络层级、第三网络层级和第四网络层级；所述像素逆重组层用于对输入的内窥镜图像分别进行3次下采样，得到尺度缩小2倍、4倍、8倍的3个下采样图；所述第二网络层级、所述第三网络层级和所述第四网络层级，分别用于对缩小2倍、4倍、8倍的3个下采样图像进行特征提取，再层间集成至上一层级；
其中，所述第一网络层级包括依次串联的两个3×3卷积块、四个残差密集块、一个残差全局块和一个3×3卷积块；所述第二网络层级包括依次串联的两个3×3卷积块、两个残差密集块和一个残差全局块；所述第三网络层级包括依次串联的两个3×3卷积块、一个残差密集块和一个残差全局块；所述第四网络层级包括依次串联的一个3×3卷积块、一个残差密集块、一个残差全局块和一个1×1卷积块。
2.如权利要求1所述的内窥镜图像电子染色方法，其特征在于，
所述第四网络层级用于对输入的尺度缩小8倍的下采样图进行特征提取，获得维度不变的第一特征图；所述像素逆重组层还用于将所述第一特征图进行扩大2倍的上采样以获得第一上采样图；
所述第三网络层级用于对输入的尺度缩小4倍的下采样图进行一次特征提取，再与所述第一上采样图拼接后进行二次特征提取，获得维度不变的第二特征图；所述像素逆重组层还用于将所述第二特征图进行扩大2倍的上采样以获得第二上采样图；
所述第二网络层级用于对输入的尺度缩小2倍的下采样图进行一次特征提取，再与所述第二上采样图拼接后进行二次特征提取，获得维度不变的第三特征图；所述像素逆重组层还用于将所述第三特征图进行扩大2倍的上采样以获得第三上采样图；
所述第一网络层级用于对输入的所述内窥镜图像进行一次特征提取，再与所述第三上采样图拼接后进行二次特征提取，获得维度不变的第一指定数量个高光谱图像。
3.如权利要求2所述的内窥镜图像电子染色方法，其特征在于，所述第四网络层级用于对输入的尺度缩小8倍的下采样图进行特征提取获得维度不变的第一特征图，具体方式为：
对于尺度缩小8倍的下采样图，分别利用所述第四网络层级中的3×3卷积块、残差密集块、残差全局块进行特征提取，然后利用1×1卷积对所有通道进行加权来增强色调映射，以获得第一特征图。
4.如权利要求2所述的内窥镜图像电子染色方法，其特征在于，所述第三网络层级用于对输入的尺度缩小4倍的下采样图进行一次特征提取，再与所述第一上采样图拼接后进行二次特征提取获得维度不变的第二特征图，具体方式为：
对于尺度缩小4倍的下采样图，先利用所述第三网络层级中第一个3×3卷积块进行一次特征提取，然后与第一上采样图在通道维度上拼接后，分别利用第二个3×3卷积块、一个残差密集块和一个残差全局块进行二次特征提取，获得第二特征图。
5.如权利要求2所述的内窥镜图像电子染色方法，其特征在于，所述第二网络层级用于对输入的尺度缩小2倍的下采样图进行一次特征提取，再与所述第二上采样图拼接后进行二次特征提取获得维度不变的第三特征图，具体方式为：
对于尺度缩小2倍的下采样图，先利用所述第二网络层级中第一个3×3卷积块进行一次特征提取，然后与所述第二上采样图在通道维度上拼接后，分别利用第二个3×3卷积块、两个残差密集块和一个残差全局块进行二次特征提取，获得第三特征图。
6.如权利要求2所述的内窥镜图像电子染色方法，其特征在于，所述第一网络层级用于对输入的所述内窥镜图像进行一次特征提取，再与所述第三上采样图拼接后进行二次特征提取，获得维度不变的第一指定数量个高光谱图像，具体方式为：
对于原始输入的所述内窥镜图像，先利用所述第一网络层级中第一个3×3卷积块进行一次特征提取，然后与所述第三上采样图在通道维度上拼接后，分别利用第二个3×3卷积块、四个残差密集块和一个残差全局块进行二次特征提取，获得第四特征图；最后利用所述第一网络层级中最后一个3×3卷积块，其输出通道为第一指定数量，将所述第四特征图映射到第一指定数量个通道，得到最终包含第一指定数量个通道的高光谱图像。
7.如权利要求1至6任一项所述的内窥镜图像电子染色方法，其特征在于，对每个所述高光谱图像进行增强处理，获得与所述高光谱图像一一对应的第一指定数量个增强图像，包括：
对于每个所述高光谱图像，控制指定大小的滑动窗口在所述高光谱图像上进行滑动，以将所述高光谱图像分成多个区域子图；其中，每相邻的两个所述区域子图之间具有重叠区域；
对每个所述区域子图进行直方图均衡化，获得每个所述区域子图对应的映射子图；
对每相邻的两个所述映射子图之间的重叠区域进行插值处理，获得与多个所述映射子图一一对应的多个增强子图；
将多个所述增强子图组合，以获得所述高光谱图像对应的增强图像；
遍历所有所述高光谱图像之后，获得与所述高光谱图像一一对应的第一指定数量个所述增强图像。
8.内窥镜图像电子染色装置，其特征在于，包括：
获取单元，用于获取内窥镜在普通白光模式下采集到的内窥镜图像；
重建单元，用于将所述内窥镜图像输入预设光谱重建模型，以获得第一指定数量个波长各不相同的高光谱图像；
增强单元，用于对每个所述高光谱图像进行增强处理，获得与所述高光谱图像一一对应的第一指定数量个增强图像；
融合单元，用于从第一指定数量个所述增强图像中选择第二指定数量个所述增强图像融合成目标彩色图像，其中，第二指定数量小于第一指定数量；
其中，所述预设光谱重建模型包括像素逆重组层和四个级联的网络层级，四个级联的网络层级由上至下分别为第一网络层级、第二网络层级、第三网络层级和第四网络层级；所述像素逆重组层用于对输入的内窥镜图像分别进行3次下采样，得到尺度缩小2倍、4倍、8倍的3个下采样图；所述第二网络层级、所述第三网络层级和所述第四网络层级，分别用于对缩小2倍、4倍、8倍的3个下采样图像进行特征提取，再层间集成至上一层级；
其中，所述第一网络层级包括依次串联的两个3×3卷积块、四个残差密集块、一个残差全局块和一个3×3卷积块；所述第二网络层级包括依次串联的两个3×3卷积块、两个残差密集块和一个残差全局块；所述第三网络层级包括依次串联的两个3×3卷积块、一个残差密集块和一个残差全局块；所述第四网络层级包括依次串联的一个3×3卷积块、一个残差密集块、一个残差全局块和一个1×1卷积块。
9.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的内窥镜图像电子染色方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的内窥镜图像电子染色方法。
CN202311772506.XA 2023-12-21 2023-12-21 内窥镜图像电子染色方法及装置、设备、存储介质 Active CN117437131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311772506.XA CN117437131B (zh) 2023-12-21 2023-12-21 内窥镜图像电子染色方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311772506.XA CN117437131B (zh) 2023-12-21 2023-12-21 内窥镜图像电子染色方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN117437131A true CN117437131A (zh) 2024-01-23
CN117437131B CN117437131B (zh) 2024-03-26

Family

ID=89546601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311772506.XA Active CN117437131B (zh) 2023-12-21 2023-12-21 内窥镜图像电子染色方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN117437131B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689762A (zh) * 2024-02-04 2024-03-12 江苏无右微创医疗科技有限公司 一种内窥镜图像染色方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437168A (zh) * 2007-11-12 2009-05-20 索尼株式会社 图像拾取装置
US20160117800A1 (en) * 2014-08-18 2016-04-28 Entropix, Inc. Photographic image acquistion device and method
CN111626934A (zh) * 2020-05-14 2020-09-04 山东师范大学 高空间分辨率多光谱图的重构方法、系统、介质及设备
US20220207680A1 (en) * 2019-09-18 2022-06-30 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
CN114821261A (zh) * 2022-05-20 2022-07-29 合肥工业大学 一种图像融合的算法
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
WO2023070447A1 (zh) * 2021-10-28 2023-05-04 京东方科技集团股份有限公司 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质
US20230269385A1 (en) * 2022-02-24 2023-08-24 Sharp Kabushiki Kaisha Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437168A (zh) * 2007-11-12 2009-05-20 索尼株式会社 图像拾取装置
US20160117800A1 (en) * 2014-08-18 2016-04-28 Entropix, Inc. Photographic image acquistion device and method
US20220207680A1 (en) * 2019-09-18 2022-06-30 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
CN111626934A (zh) * 2020-05-14 2020-09-04 山东师范大学 高空间分辨率多光谱图的重构方法、系统、介质及设备
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
WO2023070447A1 (zh) * 2021-10-28 2023-05-04 京东方科技集团股份有限公司 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质
US20230269385A1 (en) * 2022-02-24 2023-08-24 Sharp Kabushiki Kaisha Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data
CN114821261A (zh) * 2022-05-20 2022-07-29 合肥工业大学 一种图像融合的算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689762A (zh) * 2024-02-04 2024-03-12 江苏无右微创医疗科技有限公司 一种内窥镜图像染色方法及系统

Also Published As

Publication number Publication date
CN117437131B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN117437131B (zh) 内窥镜图像电子染色方法及装置、设备、存储介质
CN111402146B (zh) 图像处理方法以及图像处理装置
CN111145097B (zh) 图像处理方法、装置和图像处理系统
CN110428366A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN111311532B (zh) 图像处理方法及装置、电子设备、存储介质
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN106462986A (zh) 用于数字图像的颜色处理的方法和系统
Kotwal et al. An optimization-based approach to fusion of multi-exposure, low dynamic range images
Karađuzović-Hadžiabdić et al. Assessment of multi-exposure HDR image deghosting methods
Ren et al. Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition
CN113592726A (zh) 高动态范围成像方法、装置、电子设备和存储介质
CN116051428A (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
WO2020064676A1 (en) Method for simulating the rendering of a make-up product on a body area
KR102092205B1 (ko) 초해상화, 역톤매핑 및 동시 초해상화-역톤매핑 처리된 다중 출력 이미지를 생성하는 이미지 처리 방법 및 장치
CN114638749A (zh) 低光照图像增强模型、方法、电子设备及存储介质
Liang et al. Method for reconstructing a high dynamic range image based on a single-shot filtered low dynamic range image
Han et al. Single image reflection removal using non-linearly synthesized glass images and semantic context
Ma et al. STSRNet: Self-texture transfer super-resolution and refocusing network
CN112200719A (zh) 图像处理方法、电子设备及可读存储介质
CN116563606A (zh) 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
CN115035170A (zh) 基于全局纹理与结构的图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant