CN113706647A - 一种图像上色方法及相关装置 - Google Patents
一种图像上色方法及相关装置 Download PDFInfo
- Publication number
- CN113706647A CN113706647A CN202110873360.2A CN202110873360A CN113706647A CN 113706647 A CN113706647 A CN 113706647A CN 202110873360 A CN202110873360 A CN 202110873360A CN 113706647 A CN113706647 A CN 113706647A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- coloring
- original image
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000009795 derivation Methods 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 241000283690 Bos taurus Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请公开了一种图像上色方法，包括：将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值；根据损失函数对所有所述差值进行计算，得到总体损失值；通过反向传播算法根据所述总体损失值对所述原始图像进行反向求导，得到导数；采用优化算法根据所述导数对原始图像进行更新，得到上色图像，以便降低图像上色过程投入的人力成本，提高处理效率。本申请还公开了一种图像上色装置、服务器以及计算机可读存储介质，具有以上有益效果。
Description
技术领域
本申请涉及图像数据处理技术领域，特别涉及一种图像上色方法、图像上色装置、服务器以及计算机可读存储介质。
背景技术
随着图像处理技术不断发展，为了加快对于图像的处理速度，可以对没有色彩的图像或色彩单一的图像进行上色处理，以便加快图像的处理效率。
相关技术中，一般使用GAN(Generative Adversarial Networks，生成式对抗网络)网络作为素描上色的技术，首先根据任务内容创建一个素描和彩色图相互映射的训练数据集，然后根据任务需求搭建一个对应的GAN网络，最后对其进行训练，最终可以得到一个可以用于该任务的GAN网络。用户使用时，只需要将素描图输入模型，模型进行正向推理，就能得到对应的上色图像。但是，根据任务制作素描图和彩色图的训练数据集，需要大量的人力劳动，不利于快速进行上色处理，降低了上色处理的效率。
因此，如何降低上色过程投入的大量人力是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种图像上色方法、图像上色装置、服务器以及计算机可读存储介质，以便降低图像上色过程投入的人力成本，提高处理效率。
为解决上述技术问题，本申请提供一种图像上色方法，包括：
将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值；
根据损失函数对所有所述差值进行计算，得到总体损失值；
通过反向传播算法根据所述总体损失值对所述原始图像进行反向求导，得到导数；
采用优化算法根据所述导数对原始图像进行更新，得到上色图像。
可选的，采用优化算法根据所述导数对原始图像进行更新，得到上色图像，包括：
采用optimize优化算法根据所述导数对原始图像进行更新，得到所述上色图像。
可选的，根据损失函数对所有所述差值进行计算，得到总体损失值，包括：
根据欧式距离损失函数或KL散度损失函数对所有所述差值进行计算，得到所述总体损失值。
可选的，根据损失函数对所有所述差值进行计算，得到总体损失值，包括：
获取每一层的权重值；
根据所述损失函数和每一层的权重值对所有所述差值进行计算，得到所述总体损失值。
可选的，将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值，包括：
将所述原始图像输入DNN分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值。
可选的，还包括：
判断所述上色图像是否符合上色标准；
若否，则将所述上色图像作为所述原始数据，并执行所述将原始图像输入分类模型进行处理以及后续的步骤，得到新的上色图像。
本申请还提供一种图像上色装置，包括：
差值记录模块，用于将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值；
损失计算模块，用于根据损失函数对所有所述差值进行计算，得到总体损失值；
反向求导模块，用于通过反向传播算法根据所述总体损失值对所述原始图像进行反向求导，得到导数；
图像更新模块，用于采用优化算法根据所述导数对原始图像进行更新，得到上色图像。
可选的，所述图像更新模块，具体用于采用optimize优化算法根据所述导数对原始图像进行更新，得到所述上色图像。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的图像上色方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像上色方法的步骤。
本申请所提供的一种图像上色方法，包括：将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值；根据损失函数对所有所述差值进行计算，得到总体损失值；通过反向传播算法根据所述总体损失值对所述原始图像进行反向求导，得到导数；采用优化算法根据所述导数对原始图像进行更新，得到上色图像。
通过将原始图像输入到分类模型，并获取所述处理的过程中每一层与BN层间的差值，根据损失函数对所有所述差值进行计算，得到总体损失值，也就是确定原始图像与标准图像之间的差距，最后通过该差距对原始图像进行更新，实现对原始图像进行上色，也就是采用分类模型对原始图像进行分类的过程确定原始图像中的色彩信息，而不是采用大量的训练数据训练上色模型，避免加入大量的人力成本，提高了上色处理过程的效率。
本申请还提供一种图像上色装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种图像上色方法的流程图；
图2为本申请实施例所提供的一种图像上色方法的执行结构示意图；
图3为本申请实施例所提供的一种图像上色装置的结构示意图。
具体实施方式
本申请的核心是提供一种图像上色方法、图像上色装置、服务器以及计算机可读存储介质，以便降低图像上色过程投入的人力成本，提高处理效率。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，一般使用GAN网络作为素描上色的技术，首先根据任务内容创建一个素描和彩色图相互映射的训练数据集，然后根据任务需求搭建一个对应的GAN网络，最后对其进行训练，最终可以得到一个可以用于该任务的GAN网络。用户使用时，只需要将素描图输入模型，模型进行正向推理，就能得到对应的上色图像。但是，根据任务制作素描图和彩色图的训练数据集，需要大量的人力劳动，不利于快速进行上色处理，降低了上色处理的效率。
因此，本申请提供一种图像上色方法，通过将原始图像输入到分类模型，并获取所述处理的过程中每一层与BN层间的差值，根据损失函数对所有所述差值进行计算，得到总体损失值，也就是确定原始图像与标准图像之间的差距，最后通过该差距对原始图像进行更新，实现对原始图像进行上色，也就是采用分类模型对原始图像进行分类的过程确定原始图像中的色彩信息，而不是采用大量的训练数据训练上色模型，避免加入大量的人力成本，提高了上色处理过程的效率。
以下通过一个实施例，对本申请提供的一种图像上色方法进行说明。
请参考图1，图1为本申请实施例所提供的一种图像上色方法的流程图。
本实施例中，该方法可以包括：
S101，将原始图像输入分类模型进行处理，并获取处理的过程中每一层与BN层间的差值；
本步骤旨在将原始图像输入分类模型进行处理，并获取处理的过程中每一层与BN层间的差值。也就是，记录每一次计算结果与BN层之间的差距。
其中，BN(Batch Normalization，批量归一化)层主要是解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。由于，训练好模型中的BN层含有数据集的均值和方差信息，该信息和训练集有很高的相关性。因此，可以提取出该信息，实现素描图上色。
据此，本实施例中将原始图像输入到分类模型进行处理，并非是需要获取到最后的识别结果。而是获取处理的过程中每一层与BN层间的差值。也就是，记录每一层处理结果的均值和方差与BN层的均值和方差的差值，以便确定原始图像与训练集中的标准图像的距离。
其中，原始图像即为需要进行上色的素描图。
相应的，本实施例中的分类模型包含有该BN层。
其中，本实施例中的分类模型为基本的分类模型。例如，原始图像是牛的素描图，该分类模型可以对该原始图像识别为牛即可，而不需要通过模型对该原始图像进行上色。因此，该分类模型可以是基于imagenet2012的预训练模型，该模型包含了1000种类别，满足了大部分需求，直接使用即可。还可以使用预训练得到的模型。例如，可以在网上找一些该类别的图像，然后在预训练模型基础上进行训练，此过程所需要的计算量很少，最后得到满足需求的预训练DNN(Deep Neural Networks，深度神经网络)分类模型。
进一步的，本步骤可以包括：
将原始图像输入DNN分类模型进行处理，并获取处理的过程中每一层与BN层间的差值。
可见，本可选方案中主要是说明采用DNN分类模型进行处理，以便提高对于原始图像进行分类准确性。
S102，根据损失函数对所有差值进行计算，得到总体损失值；
在S101的基础上，本步骤旨在通过所有的差值确定出总体损失值。也就是，确定所有层结果与BN层的标准值之间的差距，而不是仅仅获取其中某一层的结果与BN层之间的差距，或者是最后结果与BN层之间的差距，以便提高本实施例中获取损失值的准确性。
其中，损失函数是用来估量输出与真实值之间的差距，给模型的优化指引方向。由于，本实施例中的真实值为BN层，因此可以确定原始图像中与标准图像之间的色彩差距，以便通过该差距对原始图像进行上色。
进一步的，本步骤可以包括：
根据欧式距离损失函数或KL散度损失函数对所有差值进行计算，得到总体损失值。
可见，本可选方案中主要是对如何进行损失计算进行说明。本可选方案中选择的损失计算方式可以是欧式距离损失函数或KL散度损失函数。其中，KL散度(Kullback-Leibler)散度或称为信息散度，是两个概率分布间差异的非对称性度量。在信息理论中，相对熵等价于两个概率分布的信息熵的差值，表示使用理论分布拟合真实分布时产生的信息损耗，可见可以确定两者之间的差距。
进一步的，本步骤可以包括：
步骤1，获取每一层的权重值；
步骤2，根据损失函数和每一层的权重值对所有差值进行计算，得到总体损失值。
可见，本可选方案中主要是对如何进行损失计算进行说明。本可选方案中，获取每一层的权重值，根据损失函数和每一层的权重值对所有差值进行计算，得到总体损失值。
由于，分类模型中各层的深度不同，不同层所提取的信息不同，提取信息能力也不同。因此，可以对每层得到的差值设置一定的权重值，甚至有的层的权重值可以设置为0，以便实现上色效果可控，提高对图像进行上色的效果。
S103，通过反向传播算法根据总体损失值对原始图像进行反向求导，得到导数；
在S104的基础上，本步骤旨在通过反向传播算法将总体损失值对原始图像进行反向求导，得到导数。
其中，反向传播算法由信号的正向传播和误差的反向传播两个过程组成。正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出不同，则转至误差反向传播；如果输出层的实际输出与期望输出相同，结束学习算法。反向传播时，将输出误差按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。
S104，采用优化算法根据导数对原始图像进行更新，得到上色图像。
在S103的基础上，本步骤旨在采用优化算法根据导数对原始图像进行更新，得到上色图像。
其中，优化算法可以采用现有技术提供的任意一种优化算法，在此不做具体限定。
本实施例中，基于导数对原始图像进行更新，可以实现对输入素描图进行一次上色，单次的上色会是一些细节方面的上色。因此，可以进行不断地循环迭代更新输入上色后的原始图像，也就是不断输入上色图像，得到新的上色图像，会使上色从点到面，而且整个循环迭代过程，可以观察，可以进行控制各层权值、控制总的循环次数，实现上色步骤可控，上色可解释。
进一步的，本步骤可以包括：
采用optimize优化算法根据导数对原始图像进行更新，得到上色图像。
进一步的，本实施例还可以包括：
步骤1，判断上色图像是否符合上色标准；
步骤2，若否，则将上色图像作为原始数据，并执行将原始图像输入分类模型进行处理以及后续的步骤，得到新的上色图像。
可见，本可选方案主要是说明本实施例可以循环执行，直至上色图像符合上色标准。
综上，本实施例通过将原始图像输入到分类模型，并获取处理的过程中每一层与BN层间的差值，根据损失函数对所有差值进行计算，得到总体损失值，也就是确定原始图像与标准图像之间的差距，最后通过该差距对原始图像进行更新，实现对原始图像进行上色，也就是采用分类模型对原始图像进行分类的过程确定原始图像中的色彩信息，而不是采用大量的训练数据训练上色模型，避免加入大量的人力成本，提高了上色处理过程的效率。
以下通过一个具体的实施例，对本申请提供的一种图像上色方法做进一步说明。
请参考图2，图2为本申请实施例所提供的一种图像上色方法的执行结构示意图。
本实施例中，首先获取到一个含有目标图像类别的分类模型，如想对一幅牛素描图上色，只需要获得一个分类模型，其中的类别含有牛即可，若无法直接找到该种模型，直接使用官方给定的ImageNet预训练模型，然后进行微调即可，此步骤很快，所需的计算量也很少。
也就是说，本实施例所需的分类模型的结构很简单，只要模型的类别中含有目标类别即可。可以从两个途径获取该分裂模型。一种可以找到预训练的模型，比如基于imagenet2012的预训练模型已包含了1000种类别，满足了大部分需求，直接使用即可。另一种无法找到预训练模型时，可以在网上找一些该类别的图像，然后在官方给定的预训练模型基础上进行训练，此过程所需要的计算量很少，最后得到满足需求的预训练DNN分类模型。
然后，将目标素描图输入到分类模型中，进行循环更新，首先进行正向推理，在该图经过模型每层时记录下与BN层间的差距，等传输到最后一层后即可得到所有的损失值，然后根据该损失值使用反向传播算法对目标素描图进行更新，接着再使用更新后的图像进行正向推理，进入下一个循环更新素描图。经过不断更新后目标素描图即可实现上色，可以根据此时的上色效果决定是否停止更新，或者循环到一定的步骤后即可停止更新。
具体的，首先将目标素描图输入到模型中，做为初始的输入图像input，然后模型进行前向计算，在前向计算中根据输入图像到达每层得到的均值、方差与BN层训练得到的均值和方差之间的差值根据一定的损失函数得到总体损失值。
其中，该损失函数可以是欧式距离或者是KL散度等，可充分描述两组数据间差值的函数即可。
同时，因为模型中各层的深度不同，不同层所提取的信息不同，提取信息能力也不同，所以可以对每层得到的损失值设置一定的权重，可以实现上色效果可控。
得到总损失值之后，就可以使用反向传播算法对总损失值进行反向求导，然后使用optimize优化算法，基于导数对输入图像input进行更新。实现对输入素描图进行一次上色，单次的上色会是一些细节方面的上色。可以进行不断地循环迭代更新输入素描图，使得上色从点到面，而且整个循环迭代过程可以观察到，可以进行控制各层权值、控制总的循环次数，实现上色步骤可控，上色可解释。
可见，本实施例通过将原始图像输入到分类模型，并获取处理的过程中每一层与BN层间的差值，根据损失函数对所有差值进行计算，得到总体损失值，也就是确定原始图像与标准图像之间的差距，最后通过该差距对原始图像进行更新，实现对原始图像进行上色，也就是采用分类模型对原始图像进行分类的过程确定原始图像中的色彩信息，而不是采用大量的训练数据训练上色模型，避免加入大量的人力成本，提高了上色处理过程的效率。
下面对本申请实施例提供的图像上色装置进行介绍，下文描述的图像上色装置与上文描述的图像上色方法可相互对应参照。
请参考图3，图3为本申请实施例所提供的一种图像上色装置的结构示意图。
本实施例中，该装置可以包括：
差值记录模块100，用于将原始图像输入分类模型进行处理，并获取处理的过程中每一层与BN层间的差值；
损失计算模块200，用于根据损失函数对所有差值进行计算，得到总体损失值；
反向求导模块300，用于通过反向传播算法根据总体损失值对原始图像进行反向求导，得到导数；
图像更新模块400，用于采用优化算法根据导数对原始图像进行更新，得到上色图像。
可选的，该图像更新模块400，具体用于采用optimize优化算法根据导数对原始图像进行更新，得到上色图像。
可选的，该损失计算模块200，具体用于根据欧式距离损失函数或KL散度损失函数对所有差值进行计算，得到总体损失值。
可选的，该损失计算模块200，具体用于获取每一层的权重值；根据损失函数和每一层的权重值对所有差值进行计算，得到总体损失值。
可选的，该差值记录模块100，具体用于将原始图像输入DNN分类模型进行处理，并获取处理的过程中每一层与BN层间的差值。
可选的，该装置还可以包括：
循环执行模块，用于判断上色图像是否符合上色标准；若否，则将上色图像作为原始数据，并执行将原始图像输入分类模型进行处理以及后续的步骤，得到新的上色图像。
本申请实施例还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的图像上色方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的图像上色方法的步骤。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种图像上色方法、图像上色装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种图像上色方法，其特征在于，包括：
将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值；
根据损失函数对所有所述差值进行计算，得到总体损失值；
通过反向传播算法根据所述总体损失值对所述原始图像进行反向求导，得到导数；
采用优化算法根据所述导数对原始图像进行更新，得到上色图像。
2.根据权利要求1所述的图像上色方法，其特征在于，采用优化算法根据所述导数对原始图像进行更新，得到上色图像，包括：
采用optimize优化算法根据所述导数对原始图像进行更新，得到所述上色图像。
3.根据权利要求1所述的图像上色方法，其特征在于，根据损失函数对所有所述差值进行计算，得到总体损失值，包括：
根据欧式距离损失函数或KL散度损失函数对所有所述差值进行计算，得到所述总体损失值。
4.根据权利要求1所述的图像上色方法，其特征在于，根据损失函数对所有所述差值进行计算，得到总体损失值，包括：
获取每一层的权重值；
根据所述损失函数和每一层的权重值对所有所述差值进行计算，得到所述总体损失值。
5.根据权利要求1所述的图像上色方法，其特征在于，将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值，包括：
将所述原始图像输入DNN分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值。
6.根据权利要求1所述的图像上色方法，其特征在于，还包括：
判断所述上色图像是否符合上色标准；
若否，则将所述上色图像作为所述原始数据，并执行所述将原始图像输入分类模型进行处理以及后续的步骤，得到新的上色图像。
7.一种图像上色装置，其特征在于，包括：
差值记录模块，用于将原始图像输入分类模型进行处理，并获取所述处理的过程中每一层与BN层间的差值；
损失计算模块，用于根据损失函数对所有所述差值进行计算，得到总体损失值；
反向求导模块，用于通过反向传播算法根据所述总体损失值对所述原始图像进行反向求导，得到导数；
图像更新模块，用于采用优化算法根据所述导数对原始图像进行更新，得到上色图像。
8.根据权利要求7所述的图像上色装置，其特征在于，所述图像更新模块，具体用于采用optimize优化算法根据所述导数对原始图像进行更新，得到所述上色图像。
9.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的图像上色方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像上色方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110873360.2A CN113706647B (zh) | 2021-07-30 | 2021-07-30 | 一种图像上色方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110873360.2A CN113706647B (zh) | 2021-07-30 | 2021-07-30 | 一种图像上色方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706647A true CN113706647A (zh) | 2021-11-26 |
| CN113706647B CN113706647B (zh) | 2024-02-13 |
Family
ID=78651219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110873360.2A Active CN113706647B (zh) | 2021-07-30 | 2021-07-30 | 一种图像上色方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706647B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015226165A (ja) * | 2014-05-27 | 2015-12-14 | 国立大学法人 千葉大学 | 色情報を推定する方法及び色情報推定プログラム |
| CN105787517A (zh) * | 2016-03-11 | 2016-07-20 | 西安电子科技大学 | 基于小波稀疏自编码器的极化sar图像分类方法 |
| CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| EP3540635A1 (en) * | 2018-03-16 | 2019-09-18 | Identy Inc. | Method for identifying an object within an image and mobile device for executing the method |
| CN111476863A (zh) * | 2020-04-02 | 2020-07-31 | 北京奇艺世纪科技有限公司 | 一种黑白漫画上色的方法、装置、电子设备及存储介质 |
| CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
| US20200320748A1 (en) * | 2017-10-24 | 2020-10-08 | L'oreal | System and method for image processing using deep neural networks |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112070658A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 一种基于深度学习的汉字字体风格迁移方法 |
| WO2021012406A1 (zh) * | 2019-07-19 | 2021-01-28 | 深圳市商汤科技有限公司 | 批归一化数据的处理方法及装置、电子设备和存储介质 |
| CN112508125A (zh) * | 2020-12-22 | 2021-03-16 | 无锡江南计算技术研究所 | 一种图像检测模型的高效全整数量化方法 |
| CN112991371A (zh) * | 2021-04-20 | 2021-06-18 | 云南大学 | 一种基于着色溢出约束的图像自动着色方法及系统 |
-
2021
- 2021-07-30 CN CN202110873360.2A patent/CN113706647B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015226165A (ja) * | 2014-05-27 | 2015-12-14 | 国立大学法人 千葉大学 | 色情報を推定する方法及び色情報推定プログラム |
| CN105787517A (zh) * | 2016-03-11 | 2016-07-20 | 西安电子科技大学 | 基于小波稀疏自编码器的极化sar图像分类方法 |
| US20200320748A1 (en) * | 2017-10-24 | 2020-10-08 | L'oreal | System and method for image processing using deep neural networks |
| EP3540635A1 (en) * | 2018-03-16 | 2019-09-18 | Identy Inc. | Method for identifying an object within an image and mobile device for executing the method |
| CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| WO2021012406A1 (zh) * | 2019-07-19 | 2021-01-28 | 深圳市商汤科技有限公司 | 批归一化数据的处理方法及装置、电子设备和存储介质 |
| CN111476863A (zh) * | 2020-04-02 | 2020-07-31 | 北京奇艺世纪科技有限公司 | 一种黑白漫画上色的方法、装置、电子设备及存储介质 |
| CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112070658A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 一种基于深度学习的汉字字体风格迁移方法 |
| CN112508125A (zh) * | 2020-12-22 | 2021-03-16 | 无锡江南计算技术研究所 | 一种图像检测模型的高效全整数量化方法 |
| CN112991371A (zh) * | 2021-04-20 | 2021-06-18 | 云南大学 | 一种基于着色溢出约束的图像自动着色方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| RICHARD ZHANG等: "Coloful Image Colorization", ARXIV, pages 1 - 29 * |
| 李智敏;陆宇豪;俞成海;: "基于深度学习的灰度图像实际颜色预测", 计算机应用, no. 2, pages 236 - 240 * |
| 李炬;: "基于生成对抗网络的人脸灰度图上色", 电脑知识与技术, no. 11, pages 185 - 187 * |
| 蒋文杰;罗晓曙;戴沁璇;: "一种改进的生成对抗网络的图像上色方法研究", 计算机技术与发展, no. 07, pages 63 - 66 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706647B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902546B (zh) | 人脸识别方法、装置及计算机可读介质 | |
| CN111340214B (zh) | 对抗攻击模型的训练方法及装置 | |
| GB2601946A (en) | Training strategy search using reinforcement learning | |
| CN111898764A (zh) | 联邦学习的方法、装置和芯片 | |
| US10943352B2 (en) | Object shape regression using wasserstein distance | |
| KR20190031318A (ko) | 도메인 분리 뉴럴 네트워크들 | |
| CN112884059B (zh) | 一种融合先验知识的小样本雷达工作模式分类方法 | |
| CN110930996B (zh) | 模型训练方法、语音识别方法、装置、存储介质及设备 | |
| US11508120B2 (en) | Methods and apparatus to generate a three-dimensional (3D) model for 3D scene reconstruction | |
| US11449715B2 (en) | Sequential learning maintaining a learned concept | |
| CN111192313A (zh) | 机器人构建地图的方法、机器人及存储介质 | |
| CN113361636A (zh) | 一种图像分类方法、系统、介质及电子设备 | |
| CN111724370A (zh) | 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统 | |
| CN113935475A (zh) | 具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法 | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN111260056B (zh) | 一种网络模型蒸馏方法及装置 | |
| US20230281981A1 (en) | Methods, devices, and computer readable media for training a keypoint estimation network using cgan-based data augmentation | |
| CN110598737B (zh) | 一种深度学习模型的在线学习方法、装置、设备及介质 | |
| CN113706647A (zh) | 一种图像上色方法及相关装置 | |
| CN113535911B (zh) | 奖励模型处理方法、电子设备、介质和计算机程序产品 | |
| US11748943B2 (en) | Cleaning dataset for neural network training | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| CN111126617B (zh) | 一种选择融合模型权重参数的方法、装置及设备 | |
| CN114548297A (zh) | 基于领域自适应的数据分类方法、装置、设备及介质 | |
| CN112115509A (zh) | 一种数据生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |