CN116433508A - 一种基于Swin-Unet的灰度图像着色校正方法 - Google Patents
一种基于Swin-Unet的灰度图像着色校正方法 Download PDFInfo
- Publication number
- CN116433508A CN116433508A CN202310255192.XA CN202310255192A CN116433508A CN 116433508 A CN116433508 A CN 116433508A CN 202310255192 A CN202310255192 A CN 202310255192A CN 116433508 A CN116433508 A CN 116433508A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- color
- neural network
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 55
- 238000012937 correction Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 239000003086 colorant Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003705 background correction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于Swin‑Unet的灰度图像着色校正方法，包括：获取原始图像，对所述原始图像预处理得到预处理数据集，其中，所述预处理数据集包括训练集和测试集；构建灰度图像着色校正模型，将所述训练集输入到所述灰度图像着色校正模型进行训练，得到训练好的灰度图像着色校正模型；将所述测试集输入到所述训练好的灰度图像着色校正模型，得到最终的彩色图片。本发明利用Swin‑Unet对灰度图像进行颜色预测，并通过卷积神经网络对预估颜色进行颜色校正，确保颜色校正效果，并且泛化性强。
Description
技术领域
本发明涉及图像着色技术领域，特别涉及一种基于Swin-Unet的灰度图像着色校正方法。
背景技术
图像是人们日常获取信息的一个重要途径，承载着巨大的信息量，特别是在现在这个信息时代，音频、图像、视频等多媒体信息呈现指数级增长，有研究表明，人眼可以分辨上千万种颜色，却只能分辨十几种灰度层级，相比于灰度图像，彩色图像包含更丰富的视觉信息。但是由于早期的拍摄技术和设备限制，存在着大量黑白照片和影像，它们同样具有重大的意义，将这些留存下来的黑白影像着色还原有助于了解那个年代的事物，满足人们的视觉需求。
不仅在影视制作方面灰度图像着色技术有重要意义，同样，在工业领域，如合成孔径雷达(SAR)影像、医学图像等方向，应用着色技术可以弥补设备自身不足导致的图像限制，可以更好的凸显图像特征，帮助人们做出更准确的判断；在艺术创作领域，如素描绘画、动漫等方向，用着色技术进行图像增强和伪着色也可以为艺术创作者提供帮助，提高工作效率，在一定程度上还能启发创作者；在图像预处理领域，如图像分割、行人检测、人脸识别等，彩色化后的影像也具有更加丰富的特征信息，从而提高识别的准确率。因此，灰度图像的着色在众多领域有着广泛应用，具有很高的研究价值。
发明内容
本发明的目的在于，目前的灰度图像着色方法大致分为两类：基于回归和基于分类，受限于网络自身架构和损失函数等，着色结果通常不饱和、语义颜色信息错误、颜色容易晕染。本发明从人类绘画的角度出发，提供一种基于unet-transformer的图像着色和基于卷积神经网络的颜色校正方法，利用unet-transformer对灰度图像进行颜色预测，并通过卷积神经网络对预估颜色进行颜色校正，确保颜色校正效果，并且泛化性强。
为了实现上述技术目的，本发明提供了如下技术方案：一种基于Swin-Unet的灰度图像着色校正方法，包括：
获取原始图像，对所述原始图像预处理得到预处理数据集，其中，所述预处理数据集包括训练集和测试集；
构建灰度图像着色校正模型，将所述训练集输入到所述灰度图像着色校正模型进行训练，得到训练好的灰度图像着色校正模型；
将所述测试集输入到所述训练好的灰度图像着色校正模型，得到最终的彩色图片。
可选的，基于图像裁剪和数据增强方法对所述原始图像进行预处理得到预处理数据集；
其中，所述预处理数据集包括训练集和测试集；
所述训练集和测试集均包括原始图像对应的灰度图像和ab通道图。
可选的，所述灰度图像着色校正模型包括unet-swintransformer分类着色模型和卷积神经网络颜色校正模型；
其中，所述unet-swintransformer分类着色模型用于图像颜色预测；
所述卷积神经网络颜色校正模型用于图像颜色校正。
可选的，所述unet-swintransformer分类着色模型包括：补丁嵌入层、编码器、瓶颈层、解码器和跳跃连接；
其中，所述编码器包括第一下采样层、第二下采样层和第三下采样层，三个所述下采样层依次连接，三个所述下采样层均包括swin block和patchmerging；
所述解码器包括第一上采样层、第二上采样层、第三上采样层，三个所述上采样层依次连接，三个所述上采样层包括patch expanding层、concat层和color attention模块；
所述瓶颈层分别为window attention和shift window attention，所述瓶颈层分别与所述编码器和所述解码器连接。
可选的，基于所述unet-swintransformer分类着色模型进行图像颜色预测的过程包括：
将所述灰度图像输入所述补丁嵌入层，得到若干图像块；
将若干所述图像块输入所述编码器，经第一下采样层得到第一特征向量；经第二下采样层得到第二特征向量；将第三下采样层得到第三特征向量；
将所述第三特征向量输入所述解码器，经所述第一上采样层的patch expanding层得到第四特征向量；
基于所述跳跃连接，所述第四特征向量和所述第二特征向量拼接，输入所述第一上采样层的color attention模块得到第一融合图像；
将所述第四特征向量输入所述第二上采样层的patch expanding层，得到第五特征向量；
基于所述跳跃连接，所述第五特征向量和所述第一特征向量拼接，输入所述第二上采样层的color attention模块得到第二融合图像；
将所述第五特征向量输入所述第三上采样层，得到第六特征向量和颜色标记；
所述第六特征向量和所述颜色标记经两个反卷积层得到图像预测颜色。
可选的，所述卷积神经网络颜色校正模型包括第一层神经网络、第二层神经网络、第三层神经网络和第四层神经网络；
其中，前三层神经网络均依次包括卷积层、批归一化层、激活层、卷积层和激活层；第四层神经网络为网络输出层；
可选的，基于所述卷积神经网络颜色校正模型进行图像颜色校正的过程包括：
基于所述灰度图像计算亮度值；
将所述图像预测颜色与亮度值拼接转换得到图像的RGB值；
将所述图像的RGB值转换为Lab模式，得到亮度分量；
将所述亮度分量输入第一层神经网络得到第一层神经网络结果，将所述图像预测颜色分别输入第二层神经网络得到第二层神经网络结果；
将所述第一层神经网络结果和所述二层神经网络结果拼接，输入到第三层神经网络，得到图像校正颜色；
将所述图像校正颜色、图像预测颜色和灰度图像均输入所述网络输出层，得到最终的彩色图片。
本发明具有如下技术效果：
1.本发明通过将颜色预测转换为颜色空间的分类问题，将swin transformer提取出来的图像特征与在lab颜色空间编码好的color tokens进行交互，使颜色信息融入到图像特征中，采用softmax函数预测像素可能出现的颜色的最大概率进行着色。
2.本发明在颜色分类的基础上增加了基于卷积神经网络的颜色校正网络，使得着色效果更自然，在一定程度上也有助于降低颜色晕染。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的方法流程示意图；
图2为本发明实施例中的基于unet-transformer的图像着色和基于卷积神经网络的颜色校正网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明以研究自然图像为对象，采用深度学习方法对灰度图像进行自动着色，无需任何人工介入和先验。当前的深度学习方法大致可以分为两类，一是基于回归对像素进行着色，而是基于分类，二者在着色过程中仍会存在颜色语义信息预测失败、颜色饱和度不足、颜色预测偏差、颜色溢出等问题，为了克服以上问题，本发明从人类绘画的角度出发，模拟人类对图像上色的过程，将灰度图像上色变为二阶段问题，首先将像素大致映射为lab颜色空间中规定的颜色种类，然后在此基础上进一步细化颜色，将预测颜色进行重定向，在保证颜色预测大致正确和饱和度较高的前提下使得颜色更加精细，更接近图像真实的颜色。
为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。
实施例一
本实施例提供了一种基于Swin-Unet的灰度图像着色校正方法，包括如下步骤：
本发明依次对自然图像数据集进行颜色校正得到偏色训练数据集；将相应灰度图像进行裁剪，使用预设unet-transformer和卷积神经网络模型对灰度图像进行颜色预测分类、颜色校正，优化模型的网络参数直至收敛，输出训练好的transformer和卷积神经网络模型；利用训练好的模型预估待着色的灰度图像颜色，并进行颜色校正，确保着色效果，得到更加鲜艳、符合人眼偏好的彩色图像。
其中，unet-transformer和卷积神经网络模型为：
编码器部分包括一个基于ImageNet数据集的预训练Swin Transformer模型，得到编码器的输出和每一层swin transformer的输出集合。
解码器包括一个基于颜色mask的三层transformer网络，将编码器的输出和颜色tokens拼接后输入解码器，然后将每层color-mask transformer网络的输出跟编码器下采样的输出拼接并输入下一层color-mask tranformer网络。
基于卷积神经网络的颜色校正网络包括四层神经网络，前三层每层包含一个卷积层、一个批归一化层、一个激活层、一个卷积层、一个激活层；最后一层为网络输出层，输出为解码器的输出结果的极坐标校正矩阵。
将解码器和颜色校正网络的输出结果结合，得到最终的校正图片。
实施例二
如图1所示，本发明提供一种基于Swin-Unet的灰度图像着色校正方法，包括如下步骤：
依次对原始图像进行裁剪、数据增强等处理，得到相应的灰度图像和ab通道图，构成训练数据集。
构建用于灰度图像着色的unet-swintransformer网络和图像颜色校正的卷积神经网络模型，利用训练集对预设unet-swintransformer和卷积神经网络模型进行训练，基于预设的损失函数和优化器，对模型参数进行优化调整，直至网络收敛，输出训练好的unet-swintransformer和卷积神经网络模型。
利用训练好的模型对灰度图像进行着色和颜色校正，得到最后的彩色图片。
实施例三
本实施例提供一种基于Swin-Unet的灰度图像着色校正方法，本实施例训练所用的图像来自于公开数据集—ImageNet。
对图片进行预处理具体为：将公开数据集中的图像进行随机区域固定大小剪裁，裁剪大小为256*256，然后按照一定概率随机水平翻转图片，将转换好的图片由RGB格式转换为LAB格式，第一个通道的就是灰度图像image_l，后两个通道分别为a、b通道，根据image_l计算亮度值的mask_l。从而得到预处理数据集，用以训练预设的unet-swintransformer和卷积神经网络模型。
如图2所示，所构建的模型大体可以分为左边部分unet-swintransformer分类着色模型和右边部分卷积神经网络颜色校正模型。
左边部分为一个U型swintransformer，其具体结构为：
输入为单亮度通道的灰度图像，大小为[B,1,256,256]，将图像第二个通道复制为3通道，方便后续处理。
将image输入Patch embedding，变为一系列经过卷积和Linear层后的imagepatches，大小为[B,64*64,C]，C为通道数。
layers_down_1为swin block和patch merging，将输出的image patches经过自注意力计算后变为[B,32*32,2*C]。
layers_down_2和layers_down_3和layers_down_1为相同结构，Bottle_neck_1和Bottle_neck_2分别为window attention和shift window attention，经过layers_down_2、layers_down_3、Bottle_neck_1和Bottle_neck_2后得到大小为[B,8*8,8*C]的特征向量。
layers_up_1包括一个patch expanding层、一个concat层和一个colorattention模块，将上一步得到的大小为[B,8*8,8*C]的特征向量输入patch expanding层得到大小为[B,16*16,4*C]的特征向量，将其与经过layers_down_2的大小相同的向量在最后一维拼接后与color tokens共同输入color attention模块，让图像特征与颜色特征相互融合。
layers_up_2与layers_up_3跟layers_up_1结构相同，但是为了保存更多的颜色信息，在上采样时保持通道数并与相应下采样层特征拼接，因此layers_up_2和layers_up_3分别得到大小为[B,32*32,6C]和[B,64*64,7C]的特征向量。为了方便计算，颜色标记在每次上采样后也需要通过一个线性层与图像特征向量保持相同通道数。因此，最后得到大小为[B,64*64,7C]的图像特征向量和大小为[B,313,7C]的颜色标记。
up_final是两个反卷积层，将大小为[B,64*64,7C]的图像特征向量输入up_final后得到大小为[B,256*256,7C]的图像特征向量，然后与颜色tokens向乘得到最后的pred_colors，经过颜色空间映射后得到预测的ab通道图片。
右侧的颜色回归网络包括两个分支模块，用于处理颜色预测网络得到的Pred_colors和ground truth的亮度值L，每个通道分别代表极坐标下预测的ab值到真实ab值的角度和距离。具体步骤如图2所示，一阶段处理得到的pred_colors分别和ground truth的亮度值分量L拼接后转换为图像的RGB值，再转换到Lab模式提取亮度分量L’，L’和pred_colors计算得到的pred_theta再分别经过一个三层的组合卷积神经网络后拼接到一起，经过一个两层的组合卷积神经网络后得到最后的校正颜色Correct_colors张量，与pred_colors和输入Gray image共同组成最后的输出图片output。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种基于Swin-Unet的灰度图像着色校正方法，其特征在于，包括：
获取原始图像，对所述原始图像预处理得到预处理数据集，其中，所述预处理数据集包括训练集和测试集；
构建灰度图像着色校正模型，将所述训练集输入到所述灰度图像着色校正模型进行训练，得到训练好的灰度图像着色校正模型；
将所述测试集输入到所述训练好的灰度图像着色校正模型，得到最终的彩色图片。
2.根据权利要求1所述的基于Swin-Unet的灰度图像着色校正方法，其特征在于：基于图像裁剪和数据增强方法对所述原始图像进行预处理得到预处理数据集；
其中，所述预处理数据集包括训练集和测试集；
所述训练集和测试集均包括原始图像对应的灰度图像和ab通道图。
3.根据权利要求2所述的基于Swin-Unet的灰度图像着色校正方法，其特征在于：所述灰度图像着色校正模型包括unet-swintransformer分类着色模型和卷积神经网络颜色校正模型；
其中，所述unet-swintransformer分类着色模型用于图像颜色预测；
所述卷积神经网络颜色校正模型用于图像颜色校正。
4.根据权利要求3所述的基于Swin-Unet的灰度图像着色校正方法，其特征在于：所述unet-swintransformer分类着色模型包括：补丁嵌入层、编码器、瓶颈层、解码器和跳跃连接；
其中，所述编码器包括第一下采样层、第二下采样层和第三下采样层，三个所述下采样层依次连接，三个所述下采样层均包括swinblock和patch merging；
所述解码器包括第一上采样层、第二上采样层、第三上采样层，三个所述上采样层依次连接，三个所述上采样层包括patchexpanding层、concat层和colorattention模块；
所述瓶颈层分别为windowattention和shiftwindowattention，所述瓶颈层分别与所述编码器和所述解码器连接。
5.根据权利要求4所述的基于Swin-Unet的灰度图像着色校正方法，其特征在于：基于所述unet-swintransformer分类着色模型进行图像颜色预测的过程包括：
将所述灰度图像输入所述补丁嵌入层，得到若干图像块；
将若干所述图像块输入所述编码器，经第一下采样层得到第一特征向量；经第二下采样层得到第二特征向量；将第三下采样层得到第三特征向量；
将所述第三特征向量输入所述解码器，经所述第一上采样层的patch expanding层得到第四特征向量；
基于所述跳跃连接，所述第四特征向量和所述第二特征向量拼接，输入所述第一上采样层的colorattention模块得到第一融合图像；
将所述第四特征向量输入所述第二上采样层的patchexpanding层，得到第五特征向量；
基于所述跳跃连接，所述第五特征向量和所述第一特征向量拼接，输入所述第二上采样层的colorattention模块得到第二融合图像；
将所述第五特征向量输入所述第三上采样层，得到第六特征向量和颜色标记；
所述第六特征向量和所述颜色标记经两个反卷积层得到图像预测颜色。
6.根据权利要求5所述的基于Swin-Unet的灰度图像着色校正方法，其特征在于：所述卷积神经网络颜色校正模型包括第一层神经网络、第二层神经网络、第三层神经网络和第四层神经网络；
其中，前三层神经网络均依次包括卷积层、批归一化层、激活层、卷积层和激活层；第四层神经网络为网络输出层。
7.根据权利要求6所述的基于Swin-Unet的灰度图像着色校正方法，其特征在于：基于所述卷积神经网络颜色校正模型进行图像颜色校正的过程包括：
基于所述灰度图像计算亮度值；
将所述图像预测颜色与亮度值拼接转换得到图像的RGB值；
将所述图像的RGB值转换为Lab模式，得到亮度分量；
将所述亮度分量输入第一层神经网络得到第一层神经网络结果，将所述图像预测颜色分别输入第二层神经网络得到第二层神经网络结果；
将所述第一层神经网络结果和所述二层神经网络结果拼接，输入到第三层神经网络，得到图像校正颜色；
将所述图像校正颜色、图像预测颜色和灰度图像均输入所述网络输出层，得到最终的彩色图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310255192.XA CN116433508B (zh) | 2023-03-16 | 2023-03-16 | 一种基于Swin-Unet的灰度图像着色校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310255192.XA CN116433508B (zh) | 2023-03-16 | 2023-03-16 | 一种基于Swin-Unet的灰度图像着色校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116433508A true CN116433508A (zh) | 2023-07-14 |
| CN116433508B CN116433508B (zh) | 2023-10-27 |
Family
ID=87086378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310255192.XA Active CN116433508B (zh) | 2023-03-16 | 2023-03-16 | 一种基于Swin-Unet的灰度图像着色校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433508B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507250A (zh) * | 2017-06-02 | 2017-12-22 | 北京工业大学 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
| CN107578390A (zh) * | 2017-09-14 | 2018-01-12 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
| CN110322530A (zh) * | 2019-06-21 | 2019-10-11 | 湖南大学 | 一种基于深度残差网络的可交互图像着色 |
| CN110363296A (zh) * | 2019-06-28 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 任务模型获取方法和装置、存储介质及电子装置 |
| CN110651301A (zh) * | 2017-05-24 | 2020-01-03 | 黑拉有限责任两合公司 | 用于自动为夜视图像着色的方法和系统 |
| CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN112489164A (zh) * | 2020-12-07 | 2021-03-12 | 南京理工大学 | 基于改进深度可分离卷积神经网络的图像着色方法 |
| WO2021164731A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
| US20210366087A1 (en) * | 2018-02-07 | 2021-11-25 | Boe Technology Group Co., Ltd. | Image colorizing method and device |
| CN113793275A (zh) * | 2021-08-27 | 2021-12-14 | 西安理工大学 | 一种Swin Unet低照度图像增强方法 |
| CN113837963A (zh) * | 2021-09-26 | 2021-12-24 | 大连理工大学 | 基于深度网络在lab颜色空间下的水下图像增强方法 |
| CN114339185A (zh) * | 2020-09-29 | 2022-04-12 | 福特全球技术公司 | 用于车辆相机图像的图像彩色化 |
| CN114581552A (zh) * | 2022-03-15 | 2022-06-03 | 南京邮电大学 | 一种基于生成对抗网络的灰度图像彩色化方法 |
| US20220301227A1 (en) * | 2019-09-11 | 2022-09-22 | Google Llc | Image colorization using machine learning |
| CN115170430A (zh) * | 2022-07-21 | 2022-10-11 | 西北工业大学 | 基于两阶段条件生成对抗网络的近红外图像着色方法 |
| CN115482160A (zh) * | 2022-08-09 | 2022-12-16 | 上海贝业斯健康科技有限公司 | 基于深度卷积神经网络的舌色校正方法 |
| US20230059499A1 (en) * | 2020-02-13 | 2023-02-23 | Nec Corporation | Image processing system, image processing method, and non-transitory computer readable medium |
-
2023
- 2023-03-16 CN CN202310255192.XA patent/CN116433508B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110651301A (zh) * | 2017-05-24 | 2020-01-03 | 黑拉有限责任两合公司 | 用于自动为夜视图像着色的方法和系统 |
| CN107507250A (zh) * | 2017-06-02 | 2017-12-22 | 北京工业大学 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
| CN107578390A (zh) * | 2017-09-14 | 2018-01-12 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
| US20210366087A1 (en) * | 2018-02-07 | 2021-11-25 | Boe Technology Group Co., Ltd. | Image colorizing method and device |
| CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN110322530A (zh) * | 2019-06-21 | 2019-10-11 | 湖南大学 | 一种基于深度残差网络的可交互图像着色 |
| CN110363296A (zh) * | 2019-06-28 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 任务模型获取方法和装置、存储介质及电子装置 |
| US20220301227A1 (en) * | 2019-09-11 | 2022-09-22 | Google Llc | Image colorization using machine learning |
| US20230059499A1 (en) * | 2020-02-13 | 2023-02-23 | Nec Corporation | Image processing system, image processing method, and non-transitory computer readable medium |
| WO2021164731A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
| CN114339185A (zh) * | 2020-09-29 | 2022-04-12 | 福特全球技术公司 | 用于车辆相机图像的图像彩色化 |
| CN112489164A (zh) * | 2020-12-07 | 2021-03-12 | 南京理工大学 | 基于改进深度可分离卷积神经网络的图像着色方法 |
| CN113793275A (zh) * | 2021-08-27 | 2021-12-14 | 西安理工大学 | 一种Swin Unet低照度图像增强方法 |
| CN113837963A (zh) * | 2021-09-26 | 2021-12-24 | 大连理工大学 | 基于深度网络在lab颜色空间下的水下图像增强方法 |
| CN114581552A (zh) * | 2022-03-15 | 2022-06-03 | 南京邮电大学 | 一种基于生成对抗网络的灰度图像彩色化方法 |
| CN115170430A (zh) * | 2022-07-21 | 2022-10-11 | 西北工业大学 | 基于两阶段条件生成对抗网络的近红外图像着色方法 |
| CN115482160A (zh) * | 2022-08-09 | 2022-12-16 | 上海贝业斯健康科技有限公司 | 基于深度卷积神经网络的舌色校正方法 |
Non-Patent Citations (4)
| Title |
|---|
| HU CAO等: "Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation", ARXIV, pages 1 - 14 * |
| SHUCHEN WENG等: "CT2: Colorization Transformer via Color Tokens", ECCV2022, pages 1 - 24 * |
| 刘晓丽等: "基于卷积神经网络的智能着色技术的研究", 网络安全技术与应用, no. 9, pages 56 - 58 * |
| 李智敏;陆宇豪;俞成海;: "基于深度学习的灰度图像实际颜色预测", 计算机应用, vol. 39, no. 2, pages 231 - 235 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116433508B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| Li et al. | Underwater scene prior inspired deep underwater image and video enhancement | |
| CN111210435B (zh) | 一种基于局部和全局特征增强模块的图像语义分割方法 | |
| CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| US20230215132A1 (en) | Method for generating relighted image and electronic device | |
| CN113450313B (zh) | 一种基于区域对比学习的图像显著性可视化方法 | |
| CN111476133B (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| CN116863320B (zh) | 基于物理模型的水下图像增强方法及系统 | |
| CN115546505A (zh) | 一种基于深度学习的无监督单目图像深度估计方法 | |
| CN115187480A (zh) | 一种基于Transformer的图像颜色校正方法 | |
| CN114862707B (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| CN117314808A (zh) | 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法 | |
| CN116630625A (zh) | 一种基于双图推理的变电设备渗漏油分割方法 | |
| CN112070703A (zh) | 一种仿生机器鱼水下视觉图像增强方法及系统 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| WO2020093210A1 (zh) | 基于上下文信息指导的场景分割方法和系统 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN117196980A (zh) | 基于照度和场景纹理注意力图的低照度图像增强方法 | |
| CN117058392A (zh) | 一种基于卷积局部增强的多尺度Transformer图像语义分割方法 | |
| CN116433508B (zh) | 一种基于Swin-Unet的灰度图像着色校正方法 | |
| CN116912114A (zh) | 基于高阶曲线迭代的无参考低光照图像增强方法 | |
| CN113506230B (zh) | 一种基于机器视觉的光伏电站航拍影像匀光处理方法 | |
| CN114283288B (zh) | 一种夜间车辆图像增强的方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |