CN110276731B - 内镜图像颜色还原方法及装置 - Google Patents
内镜图像颜色还原方法及装置 Download PDFInfo
- Publication number
- CN110276731B CN110276731B CN201910521475.8A CN201910521475A CN110276731B CN 110276731 B CN110276731 B CN 110276731B CN 201910521475 A CN201910521475 A CN 201910521475A CN 110276731 B CN110276731 B CN 110276731B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- color
- restored
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009467 reduction Effects 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 74
- 238000005070 sampling Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种内镜图像颜色还原方法及装置，方法包括：将待还原内镜图像转换为灰度图像；基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原。本发明能实现对失真或偏色图像进行颜色还原。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种内镜图像颜色还原方法及装置。
背景技术
内窥镜手术过程中，由于照明结构的空间限制、多种照明光源的干扰和光源输出功率过高等原因，会造成内窥镜图像产生明暗不均、高曝光、或者严重偏色失真的问题，导致图像失去大量的色度信息和细节信息。此时医生无法实时判断内窥镜镜头在腔道内的位置和病灶反应，增加了手术风险。
因此，亟需一种内镜图像颜色还原方法，能还原内窥镜图像的颜色，从而还原手术的真实场景，确保医生手术的精准度和安全性。
发明内容
为克服上述内窥镜图像出现偏色或色度信息丢失，无法还原手术的真实场景，影响医生手术的精确度和安全性的问题或者至少部分地解决上述问题，本发明实施例提供一种内镜图像颜色还原方法及装置。
根据本发明实施例的第一方面，提供一种内镜图像颜色还原方法，包括：
将待还原内镜图像转换为灰度图像；
基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；
基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络。
根据本发明实施例第二方面提供一种内镜图像颜色还原装置，包括：
转换模块，用于将待还原内镜图像转换为灰度图像；
提取模块，用于基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；
还原模块，用于基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络。
根据本发明实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的内镜图像颜色还原方法。
根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的内镜图像颜色还原方法。
本发明实施例提供一种内镜图像颜色还原方法及装置，该方法通过使用下采样卷积神经网络和ResNet网络分别提取待还原内镜图像的灰度图像中的局部特征和全局场景信息，并将两种特征进行融合，将融合结果作为上采样卷积神经网络的输入获取灰度图像对应的色度信息，根据色度信息对待还原内镜图像的颜色进行还原，本实施例不需要先验知识，可以对失真或偏色的图像进行颜色恢复，针对内窥镜图像可以改善手术中医生的观测条件，从而提高内窥镜手术治疗的准确性和可控性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的内镜图像颜色还原方法整体流程示意图；
图2为本发明实施例提供的内镜图像颜色还原装置整体结构示意图；
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种内镜图像颜色还原方法，图1为本发明实施例提供的内镜图像颜色还原方法整体流程示意图，该方法包括：S101，将待还原内镜图像转换为灰度图像；
其中，待还原内镜图像为需要进行颜色还原的偏色失真彩色内窥镜图像。待还原内镜图像一般为RGB颜色空间的图像，首先将待还原内镜图像转换为灰度图像。
S102，基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；
将待还原内镜图像转换后的灰度图像分别作为下采样卷积神经网络和ResNet网络的输入，提取灰度图像的特征，将下采样卷积神经网络提取的灰度图像的特征作为局部特征，将ResNet网络提取的灰度图像的特征作为全局场景信息，将提取到的灰度图像的局部特征和全局场景信息进行融合。其中，ResNet网络为残差网络，下采样卷积神经网络中卷积核的大小可以为3×3，但不限这种大小，激活函数为ReLU函数，随着下采样卷积神经网络深度的增加，卷积层的特征图数量逐渐增加，经过多次下采样后，最终得到的特征图的长和宽均比原始图像小。在进行融合时，将ResNet网络最终输出的特征向量进行组合，使组合获得的特征图与下采样卷积神经网络输出的特征图尺寸相同。将两部分特征图进行拼接，获取融合结果，本实施例不限于这种融合方式。
S103，基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络。
使用上采样卷积神经网络将融合结果恢复到待还原内镜图像的尺寸。由于下采样卷积网络经过了多次下采样，将待还原内镜图像的尺寸进行了缩小，所以融合层后面连接多个上采样层，用于将融合结果恢复到原尺寸。下采样卷积网络中下采样层的数量与上采样卷积网络中上采样层的数量相同。上采样卷积神经网络中卷积核大小与下采样卷积神经网络中卷积核大小相同，例如均为3×3，上采样卷积神经网络采用LeakyRelu激活函数。上采样卷积神经网络输出灰度图像对应的色度信息，根据色度信息完成待还原内镜图像颜色的还原。本实施例中的下采样卷积神经网络、ResNet网络和上采样卷积神经网络已经预先训练完成。
本实施例通过使用下采样卷积神经网络和ResNet网络分别提取待还原内镜图像的灰度图像中的局部特征和全局场景信息，并将两种特征进行融合，将融合结果作为上采样卷积神经网络的输入获取灰度图像对应的色度信息，根据色度信息对待还原内镜图像的颜色进行还原，本实施例不需要先验知识，可以对失真或偏色的图像进行颜色恢复，针对内窥镜图像可以改善手术中医生的观测条件，从而提高内窥镜手术治疗的准确性和可控性。
在上述实施例的基础上，本实施例中基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息的步骤具体包括：根据预先训练好的ResNet网络的输入尺寸对所述灰度图像进行裁剪；将裁剪后的所述灰度图像分别作为三个通道上的图像，将三个通道上的所述灰度图像进行叠加，将叠加结果作为所述ResNet网络的输入，提取所述灰度图像的全局场景信息。
具体地，由于预训练ResNet的输入为固定大小的三值图像，例如固定大小为224×224，但灰度图像为单值图像，所以在灰度图像输入到训练好的ResNet之前，需要对灰度图像进行裁剪处理，使之为ResNet输入的固定大小。并将三个通道上的灰度图进行叠加得到三值图像，例如224×224×3图像。将叠加结果作为ResNet网络的输入，提取灰度图像的全局场景信息。
在上述实施例的基础上，本实施例中所述灰度图像对应的色度信息包括色彩和饱和度；相应地，根据所述色度信息对所述待还原内镜图像进行颜色还原的步骤具体包括：将所述灰度图像作为所述待还原内镜图像的亮度，根据所述亮度、所述色彩和所述饱和度，获取YUV颜色空间下的所述待还原内镜图像；将YUV颜色空间下的所述待还原内镜图像转换为RGB颜色空间下的所述待还原内镜图像，将RGB颜色空间下的所述待还原内镜图像作为所述待还原内镜图像的颜色还原结果。
具体地，将待还原内镜图像的灰度图像作为待还原内镜图像的亮度，即Y值图像，将上采样卷积神经网络输出的灰度图像对应的色彩图像作为U值图像，将上采样卷积神经网络输出的灰度图像对应的饱和度图像作为V值图像。将三个值图像进行叠加处理，获取待还原内镜图像还原后的YUV颜色空间图像，将YUV颜色空间图像转换dao RGB颜色空间，获取待还原内镜图像还原后的RGB图像，从而实现对待还原内镜图像的颜色还原。
在上述各实施例的基础上，本实施例中在基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征的步骤之前还包括：将图像样本的颜色空间转换为YUV颜色空间；将YUV颜色空间下的所述图像样本的Y值图像作为所述下采样卷积神经网络和预先训练好的ResNet网络的输入，获取所述Y值图像的局部特征和全局场景信息，并将所述Y值图像的局部特征和全局场景信息进行融合；将所述Y值图像对应的融合结果作为上采样卷积神经网络的输入，将所述Y值图像对应的融合结果恢复到所述图像样本的尺寸，并生成所述Y值图像对应的色度信息，将所述Y值图像对应的色度信息与所述Y值图像进行叠加，获取所述图像样本的颜色还原结果；基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值；若所述损失值大于预设阈值，则对所述上采样卷积神经网络和所述下采样卷积神经网络的参数进行调整，直到所述损失值小于或等于所述预设阈值。
具体地，本实施例在对待还原内镜图像的颜色进行还原之前，还对使用到的上采样卷积神经网络和下采样卷积神经网络进行训练，从而学习图像特征与图像颜色信息之间的映射关系，从而在图像丢失颜色信息的情况下，可以基于图像特征和网络模型恢复图像颜色。本实施例采用亮度信号和色度信号分离的YUV颜色空间。其中，“Y”表示亮度，也就是图像灰度值；而“U”和“V”表示色度，对应描述图像色彩及饱和度，用于指定图像像素的颜色。本实施例不限于损失函数的类型，若迭代次数到达预设次数，损失值依然大于预设阈值，则停止迭代。
图像样本一般为RGB格式，首先将RGB颜色空间下的图像样本转换到YUV颜色空间，以图像样本的Y值图像作为下采样卷积神经网络和预训练ResNet网络组成的输入进行特征提取，特征提取的方式和待还原内镜图像的相同。在图像样本的Y值图像输入到ResNet网络之前对Y值图像进行裁剪和通道叠加处理，得到三通道图像，将该图像作为预训练ResNet的输入。然后，将下采样卷积神经网络和预训练ResNet提取到图像样本的特征图进行融合。将融合后的特征图作为上采样卷积神经网络的输入，将图像样本的U值图像和V值图像作为网络的标签。在训练时，需要采集大量的图像样本，例如不低于1000。训练之前设定网络参数，如设定初始学习率设为1×10-4，迭代总次数设为5万次，其中每迭代1000次进行一次测试，测试的目的是防止过拟合。
在上述实施例的基础上，本实施例中基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值的步骤具体包括：基于所述损失函数中的色彩损失函数计算所述图像样本的色度信息和所述图像样本的颜色还原结果的色度信息之间的距离；基于VGG网络提取所述图像样本和所述图像样本的颜色还原结果的高层特征图，基于所述损失函数中的感知损失函数计算所述图像样本的高层特征图和所述图像样本的颜色还原结果的高层特征图之间的损失值；将所述图像样本和所述图像样本的颜色还原结果的色度信息之间的距离，以及所述图像样本和所述图像样本的颜色还原结果的高层特征图之间的损失值相加，获取所述图像样本和所述图像样本的颜色还原结果之间的损失值。
其中，所述图像样本的颜色还原结果的色度信息包括所述图像样本的颜色还原结果的U值图像和Y值图像，所述图像样本的色度信息为所述图像样本的U值图像和Y值图像。
在上述实施例的基础上，本实施例中所述损失函数的公式如下：
l＝lUV+lVGG；
其中，l为损失函数，lUV为色彩损失函数，lVGG为感知损失函数，W和H分别表示所述图像样本的宽度和高度，
表示所述图像样本中坐标为(x，y)的像素的色度信息，
表示颜色还原结果中坐标为(x，y)的像素的色度信息，Wi，j和Hi，j分别为所述VGG网络中第i个最大池化层前的第j个卷积层输出的高层特征图的宽度和高度，
表示所述VGG网络中第i个最大池化层前的第j个卷积层输出的所述图像样本的高层特征图中坐标为(x，y)的像素值，
表示所述VGG网络中第i个最大池化层前的第j个卷积层输出的所述颜色还原结果的高层特征图中坐标为(x，y)的像素值。
具体地，当色度信息有多种时，例如包括色彩和饱和度时，对应每种色度信息分别计算其相应的lUV值，然后将所有色度信息对应的lUV值相加，获取最终的色彩损失函数值。VGG(Visual Geometry Group，视觉几何组)网络中有多个池化层和多个卷积层，其中每个池化层前面有多个卷积层，如两个或三个。
在本发明的另一个实施例中提供一种内镜图像颜色还原装置，该装置用于实现前述各实施例中的方法。因此，在前述内镜图像颜色还原方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的内镜图像颜色还原装置整体结构示意图，该装置包括转换模块201、提取模块202和还原模块203；
其中，转换模块201用于将待还原内镜图像转换为灰度图像；
其中，待还原内镜图像为需要进行颜色还原的偏色失真彩色图像，可以为内窥镜图像，也可以为其他的图像，本实施例不限于待还原内镜图像的类型。待还原内镜图像一般为RGB颜色空间的图像，首先转换模块201将待还原内镜图像转换为灰度图像。
提取模块202用于基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；
提取模块202将待还原内镜图像转换后的灰度图像分别作为下采样卷积神经网络和ResNet网络的输入，提取灰度图像的特征，将下采样卷积神经网络提取的灰度图像的特征作为局部特征，将ResNet网络提取的灰度图像的特征作为全局场景信息，将提取到的灰度图像的局部特征和全局场景信息进行融合。随着下采样卷积神经网络深度的增加，卷积层的特征图数量逐渐增加，经过多次下采样后，最终得到的特征图的长和宽均比原始图像小。在进行融合时，将ResNet网络最终输出的特征向量进行组合，使组合获得的特征图与下采样卷积神经网络输出的特征图尺寸相同。将两部分特征图进行拼接，获取融合结果，本实施例不限于这种融合方式。
还原模块203用于基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络。
还原模块203使用上采样卷积神经网络将融合结果恢复到待还原内镜图像的尺寸。由于下采样卷积网络经过了多次下采样，将待还原内镜图像的尺寸进行了缩小，所以融合层后面连接多个上采样层，用于将融合结果恢复到原尺寸。下采样卷积网络中下采样层的数量与上采样卷积网络中上采样层的数量相同。上采样卷积神经网络中卷积核大小与下采样卷积神经网络中卷积核大小相同，采用LeakyRelu激活函数。上采样卷积神经网络输出灰度图像对应的色度信息，根据色度信息完成待还原内镜图像颜色的还原。
本实施例通过使用下采样卷积神经网络和ResNet网络分别提取待还原内镜图像的灰度图像中的局部特征和全局场景信息，并将两种特征进行融合，将融合结果作为上采样卷积神经网络的输入获取灰度图像对应的色度信息，根据色度信息对待还原内镜图像的颜色进行还原，本实施例不需要先验知识，可以对失真或偏色的图像进行颜色恢复，针对内窥镜图像可以改善手术中医生的观测条件，从而提高内窥镜手术治疗的准确性和可控性。
在上述实施例的基础上，本实施例中提取模块进一步用于：根据预先训练好的ResNet网络的输入尺寸对所述灰度图像进行裁剪；将裁剪后的所述灰度图像分别作为三个通道上的图像，将三个通道上的所述灰度图像进行叠加，将叠加结果作为所述ResNet网络的输入，提取所述灰度图像的全局场景信息。
在上述实施例的基础上，本实施例中所述灰度图像对应的色度信息包括色彩和饱和度；相应地，还原模块具体用于：将所述灰度图像作为所述待还原内镜图像的亮度，根据所述亮度、所述色彩和所述饱和度，获取YUV颜色空间下的所述待还原内镜图像；将YUV颜色空间下的所述待还原内镜图像转换为RGB颜色空间下的所述待还原内镜图像，将RGB颜色空间下的所述待还原内镜图像作为所述待还原内镜图像的颜色还原结果。
在上述各实施例的基础上，本实施例中还包括训练模块，用于将图像样本的颜色空间转换为YUV颜色空间；将YUV颜色空间下的所述图像样本的Y值图像作为所述下采样卷积神经网络和预先训练好的ResNet网络的输入，获取所述Y值图像的局部特征和全局场景信息，并将所述Y值图像的局部特征和全局场景信息进行融合；将所述Y值图像对应的融合结果作为上采样卷积神经网络的输入，将所述Y值图像对应的融合结果恢复到所述图像样本的尺寸，并生成所述Y值图像对应的色度信息，将所述Y值图像对应的色度信息与所述Y值图像进行叠加，获取所述图像样本的颜色还原结果；基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值；若所述损失值大于预设阈值，则对所述上采样卷积神经网络和所述下采样卷积神经网络的参数进行调整，直到所述损失值小于或等于所述预设阈值。
在上述各实施例的基础上，本实施例中训练模块进一步用于：基于所述损失函数中的色彩损失函数计算所述图像样本的色度信息和所述图像样本的颜色还原结果的色度信息之间的距离；基于VGG网络提取所述图像样本和所述图像样本的颜色还原结果的高层特征图，基于所述损失函数中的感知损失函数计算所述图像样本的高层特征图和所述图像样本的颜色还原结果的高层特征图之间的损失值；将所述图像样本和所述图像样本的颜色还原结果的色度信息之间的距离，以及所述图像样本和所述图像样本的颜色还原结果的高层特征图之间的损失值相加，获取所述图像样本和所述图像样本的颜色还原结果之间的损失值。
在上述实施例的基础上，本实施例中所述图像样本的颜色还原结果的色度信息包括所述图像样本的颜色还原结果的U值图像和Y值图像，所述图像样本的色度信息为所述图像样本的U值图像和Y值图像。
在上述实施例的基础上，本实施例中所述损失函数的公式如下：
l＝lUV+lVGG；
其中，l为损失函数，lUV为色彩损失函数，lVGG为感知损失函数，W和H分别表示所述图像样本的宽度和高度，
表示所述图像样本中坐标为(x，y)的像素的色度信息，
表示所述图像样本的颜色还原结果中坐标为(x，y)的像素的色度信息，Wi，j和Hi，j分别为所述VGG网络中第i个最大池化层前的第j个卷积层输出的高层特征图的宽度和高度，
表示所述VGG网络中第i个最大池化层前的第j个卷积层输出的所述图像样本的高层特征图中坐标为(x，y)的像素值，
表示所述VGG网络中第i个最大池化层前的第j个卷积层输出的所述颜色还原结果的高层特征图中坐标为(x，y)的像素值。
本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，
处理器301和存储器302通过总线303完成相互间的通信；
存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：将待还原内镜图像转换为灰度图像；基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：将待还原内镜图像转换为灰度图像；基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；基于预先训练好的上采样卷积神经网络将所述融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种内镜图像颜色还原方法，其特征在于，包括：
将待还原内镜图像转换为灰度图像；
基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；
基于预先训练好的上采样卷积神经网络将融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络；
所述灰度图像对应的色度信息包括色彩和饱和度；
相应地，根据所述色度信息对所述待还原内镜图像进行颜色还原的步骤具体包括：
将所述灰度图像作为所述待还原内镜图像的亮度，根据所述亮度、所述色彩和所述饱和度，获取YUV颜色空间下的所述待还原内镜图像；
将YUV颜色空间下的所述待还原内镜图像转换为RGB颜色空间下的所述待还原内镜图像，将RGB颜色空间下的所述待还原内镜图像作为所述待还原内镜图像的颜色还原结果；
所述根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，包括：将所述上采样卷积神经网络输出的所述灰度图像对应的色彩图像作为U值图像，将所述上采样卷积神经网络输出的所述灰度图像对应的饱和度图像作为V值图像；
所述下采样卷积神经网络中所述下采样层的数量与所述上采样卷积神经网络中所述上采样层的数量相同；所述上采样卷积神经网络中卷积核大小与所述下采样卷积神经网络中卷积核大小相同。
2.根据权利要求1所述的内镜图像颜色还原方法，其特征在于，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息的步骤具体包括：
根据预先训练好的ResNet网络的输入尺寸对所述灰度图像进行裁剪；
将裁剪后的所述灰度图像分别作为三个通道上的图像，将三个通道上的所述灰度图像进行叠加，将叠加结果作为所述ResNet网络的输入，提取所述灰度图像的全局场景信息。
3.根据权利要求1-2任一所述的内镜图像颜色还原方法，其特征在于，在基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征的步骤之前还包括：
将图像样本的颜色空间转换为YUV颜色空间；
将YUV颜色空间下的所述图像样本的Y值图像作为所述下采样卷积神经网络和预先训练好的ResNet网络的输入，获取所述Y值图像的局部特征和全局场景信息，并将所述Y值图像的局部特征和全局场景信息进行融合；
将所述Y值图像对应的融合结果作为上采样卷积神经网络的输入，将所述Y值图像对应的融合结果恢复到所述图像样本的尺寸，并生成所述Y值图像对应的色度信息，将所述Y值图像对应的色度信息与所述Y值图像进行叠加，获取所述图像样本的颜色还原结果；
基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值；
若所述损失值大于预设阈值，则对所述上采样卷积神经网络和所述下采样卷积神经网络的参数进行调整，直到所述损失值小于或等于所述预设阈值。
4.根据权利要求3所述的内镜图像颜色还原方法，其特征在于，基于损失函数计算所述图像样本和所述图像样本的颜色还原结果之间的损失值的步骤具体包括：
基于所述损失函数中的色彩损失函数计算所述图像样本的色度信息和所述图像样本的颜色还原结果的色度信息之间的距离；
基于VGG网络提取所述图像样本和所述图像样本的颜色还原结果的高层特征图，基于所述损失函数中的感知损失函数计算所述图像样本的高层特征图和所述图像样本的颜色还原结果的高层特征图之间的损失值；
将所述图像样本和所述图像样本的颜色还原结果的色度信息之间的距离，以及所述图像样本和所述图像样本的颜色还原结果的高层特征图之间的损失值相加，获取所述图像样本和所述图像样本的颜色还原结果之间的损失值。
5.根据权利要求4所述的内镜图像颜色还原方法，其特征在于，所述图像样本的颜色还原结果的色度信息包括所述图像样本的颜色还原结果的U值图像和Y值图像，所述图像样本的色度信息为所述图像样本的U值图像和Y值图像。
6.根据权利要求4所述的内镜图像颜色还原方法，其特征在于，所述损失函数的公式如下：
l＝lUV+lVGG；
其中，l为损失函数，lUV为色彩损失函数，lVGG为感知损失函数，W和H分别表示所述图像样本的宽度和高度，
表示所述图像样本中坐标为(x,y)的像素的色度信息，
表示所述图像样本的颜色还原结果中坐标为(x,y)的像素的色度信息，Wi,j和Hi,j分别为所述VGG网络中第i个最大池化层前的第j个卷积层输出的高层特征图的宽度和高度，
表示所述VGG网络中第i个最大池化层前的第j个卷积层输出的所述图像样本的高层特征图中坐标为(x,y)的像素值，
表示所述VGG网络中第i个最大池化层前的第j个卷积层输出的所述颜色还原结果的高层特征图中坐标为(x,y)的像素值。
7.一种内镜图像颜色还原装置，其特征在于，包括：
转换模块，用于将待还原内镜图像转换为灰度图像；
提取模块，用于基于预先训练好的下采样卷积神经网络提取所述灰度图像的局部特征，基于预先训练好的ResNet网络提取所述灰度图像的全局场景信息，将所述局部特征和所述全局场景信息进行融合；其中，所述下采样卷积神经网络为包含多个下采样层的卷积神经网络；
还原模块，用于基于预先训练好的上采样卷积神经网络将融合结果恢复到所述待还原内镜图像的尺寸，并根据尺寸还原后的所述融合结果基于所述上采样卷积神经网络获取所述灰度图像对应的色度信息，根据所述灰度图像对应的色度信息对所述待还原内镜图像进行颜色还原；其中，所述上采样卷积神经网络为包含多个上采样层的卷积神经网络；
所述灰度图像对应的色度信息包括色彩和饱和度；
所述还原模块，还用于：将所述灰度图像作为所述待还原内镜图像的亮度，根据所述亮度、所述色彩和所述饱和度，获取YUV颜色空间下的所述待还原内镜图像；
将YUV颜色空间下的所述待还原内镜图像转换为RGB颜色空间下的所述待还原内镜图像，将RGB颜色空间下的所述待还原内镜图像作为所述待还原内镜图像的颜色还原结果；
所述还原模块，还用于：将所述上采样卷积神经网络输出的所述灰度图像对应的色彩图像作为U值图像，将所述上采样卷积神经网络输出的所述灰度图像对应的饱和度图像作为V值图像；
所述下采样卷积神经网络中所述下采样层的数量与所述上采样卷积神经网络中所述上采样层的数量相同；所述上采样卷积神经网络中卷积核大小与所述下采样卷积神经网络中卷积核大小相同。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述内镜图像颜色还原方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述内镜图像颜色还原方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910521475.8A CN110276731B (zh) | 2019-06-17 | 2019-06-17 | 内镜图像颜色还原方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910521475.8A CN110276731B (zh) | 2019-06-17 | 2019-06-17 | 内镜图像颜色还原方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110276731A CN110276731A (zh) | 2019-09-24 |
| CN110276731B true CN110276731B (zh) | 2022-08-09 |
Family
ID=67960881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910521475.8A Active CN110276731B (zh) | 2019-06-17 | 2019-06-17 | 内镜图像颜色还原方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110276731B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| CN111127366A (zh) * | 2019-12-26 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种人像图片还原方法、装置以及设备 |
| CN111192215B (zh) * | 2019-12-30 | 2023-08-29 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| CN113256503B (zh) * | 2020-02-13 | 2024-03-08 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN111402306A (zh) * | 2020-03-13 | 2020-07-10 | 中国人民解放军32801部队 | 一种基于深度学习的微光/红外图像彩色融合方法及系统 |
| CN111626954B (zh) * | 2020-05-22 | 2022-05-06 | 兰州理工大学 | 壁画图像色彩还原方法、装置、存储介质及计算机设备 |
| CN111898448B (zh) * | 2020-06-30 | 2023-10-24 | 北京大学 | 一种基于深度学习的行人属性识别方法和系统 |
| CN111953977A (zh) * | 2020-07-09 | 2020-11-17 | 西安万像电子科技有限公司 | 图像传输方法、系统及装置 |
| CN112508812A (zh) * | 2020-12-01 | 2021-03-16 | 厦门美图之家科技有限公司 | 图像色偏校正方法、模型训练方法、装置及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364270B (zh) * | 2018-05-22 | 2020-11-06 | 北京理工大学 | 偏色图像颜色还原方法及装置 |
| CN109102483B (zh) * | 2018-07-24 | 2020-12-18 | 厦门美图之家科技有限公司 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
-
2019
- 2019-06-17 CN CN201910521475.8A patent/CN110276731B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110276731A (zh) | 2019-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276731B (zh) | 内镜图像颜色还原方法及装置 | |
| CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108364270B (zh) | 偏色图像颜色还原方法及装置 | |
| JP2022501662A (ja) | 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体 | |
| CN110796595B (zh) | 一种色调映射方法、装置及电子设备 | |
| CN111353956B (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| CN113344773B (zh) | 基于多级对偶反馈的单张图片重构hdr方法 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN112700460A (zh) | 图像分割方法及系统 | |
| CN111179196A (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN115393227A (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| US11783454B2 (en) | Saliency map generation method and image processing system using the same | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN114049264A (zh) | 暗光图像增强方法、装置、电子设备及存储介质 | |
| CN114926359B (zh) | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 | |
| CN111754412B (zh) | 构建数据对的方法、装置及终端设备 | |
| CN112200719A (zh) | 图像处理方法、电子设备及可读存储介质 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| KR20120083671A (ko) | 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치 | |
| Hong et al. | Multi-scale iterative network for underwater image restoration | |
| US20240193734A1 (en) | Display device system and method for adaptively enhancing image quality | |
| CN114511462B (zh) | 一种视觉图像增强方法 | |
| KR102670870B1 (ko) | 딥러닝 기반 영상 노이즈 저감 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |