CN110880016B - 图像风格迁移方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种图像风格迁移方法、装置、设备及存储介质。图像风格迁移方法包括：获取日间内容图像集和夜间图像参考集；根据夜间图像参考集预先设置辅助图像参考集；根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系；根据第一映射关系进行计算，得到第二映射关系；根据第二映射关系对日间内容图像集和夜间图像参考集进行风格迁移学习，得到目标图像集，目标图像集为已标注的夜间图像训练样本。本发明以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，将已标注的日间真实图像集转换为目标图像集，将目标图像集作为语义分割的训练样本，提高夜间图像语义分割的准确性。

Description

图像风格迁移方法、装置、设备及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及图像风格迁移方法、装置、设备及存储介质。

背景技术

随着科技技术迅速发展，在深度学习研究领域，使用卷积神经网络将一张图片的语义内容与不同风格融合起来的过程被称为神经风格迁移，将具有艺术作品上的艺术风格转移到日常照片上，成为在学术界和工业界中非常受重视的计算机视觉任务。

图像风格迁移的目的是要对图像的纹理、色彩、内容等进行定向的改变，使得图像由一种风格变化为另外一种风格，例如，将人的照片进行风格迁移，得到具有油画风格的图像，或者将光线较昏暗条件下拍摄得到的风景照片进行风格迁移，得到在光线较明亮条件下的图像。因此，对于夜间场景语义标注已成为棘手可热的研究方向

图像语义标注作为图像场景理解的核心之一，已成为图像处理与计算机视觉领域的研究热点。目前解决语义分割的主要方法是使用大量注释来训练深度神经网络，这一监督学习方案在日间光照条件良好的图像上取得了成功，但对于其他光照条件不利的环境下，可扩展性很差，因此不能满足许多户外应用全天候的视觉识别需求，例如，在夜间和恶劣天气下，采集的车牌图像质量差，不能作为有价值的训练样本。图像分割是图像识别和计算机视觉至关重要的预处理，没有正确的分割就不可能有正确的识别。图像分割仅有的依据是图像中像素的亮度及颜色，使得计算机自动处理分割时，遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分以及阴影等，常常发生分割错误，不能对业务中的车辆、车牌以及道路进行有效识别。

发明内容

本发明的主要目的在于解决了在光照条件不利环境下采集的图像训练样本标注不准确，可扩展性差的技术问题。

为实现上述目的，本发明第一方面提供了一种图像风格迁移方法，包括：获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集；根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集；根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系；根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系；根据所述第二映射关系对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

可选的，在本发明第一方面的第一种实现方式中，所述根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系包括：根据预置算法对所述日间内容图像集中的第一图像进行特征提取，得到第一特征；根据所述预置算法对所述辅助图像参考集中的第二图像进行特征提取，得到第二特征；根据所述第一特征和所述第二特征分别计算每个第一图像与多个第二图像之间的多个相似度，得到最大相似度；根据所述最大相似度确定所述日间内容图像集和所述辅助图像参考集之间的图像匹配关系，得到第一映射关系，并将第一映射关系存储到预置映射数据表中。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系包括：从所述预置映射数据表中读取所述预置映射关系和所述第一映射关系；根据所述预置映射关系和所述第一映射关系进行矩阵乘法计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集与所述夜间图像参考集的配对图像。

可选的，在本发明第一方面的第三种实现方式中，所述根据所述第二映射关系对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本包括：根据所述第二映射关系确定所述日间内容图像集与所述夜间图像参考集之间的配对图像，所述配对图像包括日间内容图像和夜间图像；通过预置深度卷积神经网络模型对所述配对图像按照对应关系进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

可选的，在本发明第一方面的第四种实现方式中，所述通过预置深度卷积神经网络模型对所述配对图像按照对应关系进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本包括：确定所述日间内容图像的尺寸，并根据所述日间内容图像的尺寸生成高斯白噪声图像；将所述日间内容图像、所述夜间图像和所述高斯白噪声图像输入到所述预置深度卷积神经网络模型中，所述预置深度卷积神经网络模型包括内容约束特征提取层和风格约束特征提取层；在所述内容约束特征提取层对所述日间内容图像和所述高斯白噪声图像进行计算，得到内容约束层损失函数；在所述风格约束特征提取层对所述夜间图像和所述高斯白噪声图像进行计算，得到风格约束层损失函数；对所述内容约束层损失函数和所述风格约束层损失函数进行累加计算，得到总的损失函数；采用梯度下降算法迭代更新所述总的损失函数，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

可选的，在本发明第一方面的第五种实现方式中，所述获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集包括：根据所述日间内容图像集的数量、所述夜间图像参考集的数量和结构化查询语言SQL语言规则生成第一查询语句；执行所述第一查询语句，得到所述日间内容图像集和所述夜间图像参考集，所述日间内容图像集为根据预置业务采集并标注的真实图像集。

可选的，在本发明第一方面的第六种实现方式中，所述根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集包括：从所述预置映射数据表中读取所述预置映射关系，所述预置映射关系用于指示根据所述夜间图像参考集的唯一标识和辅助图像参考集的唯一标识预先设置映射关系；根据所述预置映射关系和所述SQL语言规则生成第二查询语句；执行所述第二查询语句，得到所述辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集。

本发明第二方面提供了一种图像风格迁移装置，包括：获取单元，用于获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集；设置单元，用于根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集；匹配单元，用于根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系；计算单元，用于根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系；风格迁移单元，用于根据所述第二映射关系对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

可选的，在本发明第二方面的第一种实现方式中，所述匹配单元具体用于：根据预置算法对所述日间内容图像集中的第一图像进行特征提取，得到第一特征；根据所述预置算法对所述辅助图像参考集中的第二图像进行特征提取，得到第二特征；根据所述第一特征和所述第二特征分别计算每个第一图像与多个第二图像之间的多个相似度，得到最大相似度；根据所述最大相似度确定所述日间内容图像集和所述辅助图像参考集之间的图像匹配关系，得到第一映射关系，并将第一映射关系存储到预置映射数据表中。

可选的，在本发明第二方面的第二种实现方式中，所述计算单元具体用于：从所述预置映射数据表中读取所述预置映射关系和所述第一映射关系；根据所述预置映射关系和所述第一映射关系进行矩阵乘法计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集与所述夜间图像参考集的配对图像。

可选的，在本发明第二方面的第三种实现方式中，所述风格迁移单元还包括：确定子单元，用于根据所述第二映射关系确定所述日间内容图像集与所述夜间图像参考集之间的配对图像，所述配对图像包括日间内容图像和夜间图像；风格迁移子单元，用于通过预置深度卷积神经网络模型对所述配对图像按照对应关系进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

可选的，在本发明第二方面的第四种实现方式中，所述风格迁移子单元具体用于：确定所述日间内容图像的尺寸，并根据所述日间内容图像的尺寸生成高斯白噪声图像；将所述日间内容图像、所述夜间图像和所述高斯白噪声图像输入到所述预置深度卷积神经网络模型中，所述预置深度卷积神经网络模型包括内容约束特征提取层和风格约束特征提取层；在所述内容约束特征提取层对所述日间内容图像和所述高斯白噪声图像进行计算，得到内容约束层损失函数；在所述风格约束特征提取层对所述夜间图像和所述高斯白噪声图像进行计算，得到风格约束层损失函数；对所述内容约束层损失函数和所述风格约束层损失函数进行累加计算，得到总的损失函数；采用梯度下降算法迭代更新所述总的损失函数，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

可选的，在本发明第二方面的第五种实现方式中，所述获取单元具体用于：根据所述日间内容图像集的数量、所述夜间图像参考集的数量和结构化查询语言SQL语言规则生成第一查询语句；执行所述第一查询语句，得到所述日间内容图像集和所述夜间图像参考集，所述日间内容图像集为根据预置业务采集并标注的真实图像集。

可选的，在本发明第二方面的第六种实现方式中，所述设置单元具体用于：从所述预置映射数据表中读取所述预置映射关系，所述预置映射关系用于指示根据所述夜间图像参考集的唯一标识和所述辅助图像参考集的唯一标识预先设置映射关系；根据所述预置映射关系和所述SQL语言规则生成第二查询语句；执行所述第二查询语句，得到所述辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集。

本发明第三方面提供了一种图像风格迁移设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；所述至少一个处理器调用所述存储器中的所述指令，以使得所述图像风格迁移设备执行上述第一方面所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的技术方案中，获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集；根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集；根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系；根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系；根据所述第二映射关系对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。本发明实施例中，通过以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，便于对日间内容图像集和夜间图像参考集的特征提取和匹配，将已标注的日间真实图像转换为合成的夜间图像，并将合成的夜间图像作为语义分割的训练样本，避免重新标注的工作量，提高夜间图像语义分割的准确性和可扩展性。

附图说明

图1为本发明实施例中图像风格迁移方法的一个实施例示意图；

图2为本发明实施例中图像风格迁移方法的另一个实施例示意图；

图3为本发明实施例中图像风格迁移装置的一个实施例示意图；

图4为本发明实施例中图像风格迁移装置的另一个实施例示意图；

图5为本发明实施例中图像风格迁移设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种图像风格迁移方法、装置、设备及存储介质，用于通过以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，便于对日间内容图像集和夜间图像参考集的特征提取和匹配，将已标注的日间真实图像转换为合成的夜间图像，并将合成的夜间图像作为语义分割的训练样本，避免重新标注的工作量，提高夜间图像语义分割的准确性和可扩展性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例进行描述。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中图像风格迁移方法的一个实施例包括：

101、获取日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集；

服务器获取日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集。具体的，服务器获取已标注的日间内容图像集I＝{I_i:i＝1,2...,M}和夜间图像参考集R＝{R_r:r＝1,2...,N}，其中，M和N相等并且均为正整数,日间内容图像集中已标注的语义特征包括车辆、车牌和道路，具体此处不做限定。

需要说明的是，预置业务包括定损业务、车辆理赔业务，具体此处不做限定。日间内容图像集为在白天场景下拍摄的一组照片，夜间图像参考集为在夜晚场景下拍摄的一组照片，日间内容图像集包含的图像个数与夜间图像参考集的个数是相等的，但是场景顺序并不是一一对应的关系。

102、根据夜间图像参考集预先设置辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集；

服务器根据夜间图像参考集预先设置辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集，其中，预置图像集是指根据夜间图像参考集的场景预先设置的辅助图像参考集，服务器根据夜间图像参考集的场景预设辅助图像参考集的场景，服务器根据夜间图像参考集的每一张图像的唯一标识和辅助图像参考集的唯一标识进行映射，得到预置映射关系。例如，对于辅助图像参考集R'＝{R'_k:k＝1,2...,K}，K为正整数，与夜间图像参考集R具有相同的场景，也就是K与N相等，得到预置映射关系为B，其中，B:{1,2...,K}→{1,2...,N}，也就是B为同一场景夜间图像集的映射。通过局部化基础事实，R'_k粗略地描绘了R_B(k)中的相同图像，服务器将辅助图像参考集作为日间图像集和夜间图像集映射的桥梁。

可以理解的是，风格迁移是以相似的语义内容去跨越两个图像，服务器使用具有类似高级特征的配对图像对能够获取更准确的输出，其中，相似的语义内容如，乌鸦和燕子、汽车和公交车。由于夜间图像参考集存在大量语义类别、互相遮挡、低层视觉特征辨识力较弱以及不均匀光照等问题，若服务器直接根据日间内容图像集和夜间图像参考集进行特征提取和匹配，会导致有些特征识别不准确，因此服务器选定一个辅助图像参考集便于服务器进行特征提取与匹配。

103、根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系，第一映射关系用于指示日间内容图像集和辅助图像参考集之间的图像对应关系；

服务器根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系，第一映射关系用于指示日间内容图像集和辅助图像参考集之间的图像对应关系。具体的，服务器根据预置算法对日间内容图像集中的第一图像进行特征提取，得到第一特征；服务器根据预置算法对辅助图像参考集中的第二图像进行特征提取，得到第二特征，其中，第一特征和第二特征为卷积层数更深的特征；服务器根据第一特征和第二特征分别计算日间内容图像集中每个第一图像与辅助图像参考集中多个第二图像的多个相似度，并将日间内容图像集中每个第一图像与辅助图像参考集中多个第二图像的多个相似度的最大值设置为最大相似度，最大相似度用于指示依据相似度的最大值确定所述日间内容图像集与所述辅助图像参考集的图像匹配对，进一步地，服务器根据图像匹配对确定第一映射关系，因此，第一映射关系就是基于两个图像的相似度匹配计算得到的。

104、根据第一映射关系进行计算，得到第二映射关系，第二映射关系用于指示日间内容图像集和夜间图像参考集之间的图像对应关系；

服务器根据第一映射关系进行计算，得到第二映射关系，第二映射关系用于指示日间内容图像集和夜间图像参考集之间的图像对应关系。例如，对于日间内容图像集I＝{I_i:i＝1,2,3,4,5}、夜间图像参考集R＝{R_r:r＝1,2,3,4,5}和图像辅助参考集R'＝{R'_k:k＝1,2,3,4,5}，服务器确认图像辅助参考集到夜间图像参考集的预置映射关系为B:{1,2,3,4,5}→{5,4,3,2,1}，服务器确认日间内容图像集至图像辅助参考集的第一映射关系为A':{1,2,3,4,5}→{5,4,3,2,1}，则服务器得到日间内容图像集和夜间图像参考集的第二映射关系为A:{1,2,3,4,5}→{1,2,3,4,5}。

105、根据第二映射关系对日间内容图像集和夜间图像参考集进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。

服务器根据第二映射关系对日间内容图像集和夜间图像参考集进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。服务器将夜间图像参考集中每张图像的风格迁移至日间内容图像集中相对应的每张日间图像的内容上，得到目标图像集，目标图像集为已标注的夜间图像训练样本，例如，针对一张包括白天场景下车牌的日间内容图像，车牌为ABCD，车牌的颜色为亮蓝色，相对应的一张包括夜间场景的另一个车牌为12？？的夜间图像，该车牌的后两位比较模糊，车牌背景颜色为黑灰色，服务器根据训练好的模型进行图像风格迁移后，得到目标夜间图像为背景颜色是黑灰色的车牌ABCD。可以理解的是，目标夜间图像集包括日间图像集的内容和夜间图像集的风格，同时目标图像集的内容为已标注的内容，则避免重新标注的工作量。

本发明实施例中，通过以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，便于对日间内容图像集和夜间图像参考集的特征提取和匹配，将已标注的日间真实图像转换为合成的夜间图像，将合成的夜间图像作为语义分割的训练样本，避免重新标注的工作量，提高夜间图像语义分割的准确性和可扩展性。

请参阅图2，本发明实施例中图像风格迁移方法的另一个实施例包括：

201、获取日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集；

服务器获取日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集。其中，预置业务包括定损业务、车辆理赔业务，具体此处不做限定。日间内容图像集为在白天场景下拍摄的一组照片，夜间图像参考集为在夜晚场景下拍摄的一组照片，日间内容图像集包含的图像个数与夜间图像参考集的个数是相等的，但是场景顺序并不是一一对应的关系。

具体的，服务器根据日间内容图像集的数量、夜间图像参考集的数量和结构化查询语言SQL语言规则生成第一查询语句；服务器执行第一查询语句，得到日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集。例如，服务器获取已标注的日间内容图像集I＝{I_i:i＝1,2...,M}和夜间图像参考集R＝{R_r:r＝1,2...,N}，其中，M和N相等并且均为正整数,日间内容图像集中已标注的语义特征包括车辆、车牌和道路，具体此处不做限定。

202、根据夜间图像参考集预先设置辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集；

服务器根据夜间图像参考集预先设置辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集。其中，预置图像集是指根据夜间图像参考集的场景预先设置辅助图像参考集，并根据夜间图像参考集的每一张图像的唯一标识和辅助图像参考集的唯一标识进行映射，得到预置映射关系。例如，对于辅助图像参考集R'＝{R'_k:k＝1,2...,K}，K为正整数，与夜间图像参考集R具有相同的场景，也就是K与N相等，得到预置映射关系为B，其中，B:{1,2...,K}→{1,2...,N}，也就是B为同一场景夜间图像集的映射。通过局部化基础事实，R'_k粗略地描绘了R_B(k)中的相同图像，服务器将辅助图像参考集作为日间图像集和夜间图像集映射的桥梁。

具体的，服务器从预置数据表中读取预置映射关系，预置映射关系用于指示根据夜间图像参考集的唯一标识和辅助图像参考集的唯一标识预先设置映射关系；服务器根据预置映射关系和SQL语言规则生成第二查询语句；服务器执行第二查询语句，得到辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集。例如，对于夜间图像参考集中的一张夜间图像N，N的场景地点为c，则辅助参考集中与B相对应的图像是一张包括地点为c的日间图像。

需要说明的是，风格迁移是以相似的语义内容去跨越两个图像，服务器使用具有类似高级特征的配对图像对能够获取更准确的输出，其中，相似的语义内容如，乌鸦和燕子、汽车和公交车等。由于夜间图像参考集存在大量语义类别、互相遮挡、低层视觉特征辨识力较弱以及不均匀光照等问题，若服务器直接根据日间内容图像集和夜间图像参考集进行特征提取和匹配，有些特征识别不准确，因此服务器选定一个辅助图像参考集便于服务器进行特征提取与匹配。

203、根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系，并将第一映射关系存储到预置映射数据表中，第一映射关系用于指示日间内容图像集和辅助图像参考集之间的图像对应关系；

服务器根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系，并将第一映射关系存储到预置映射数据表中，第一映射关系用于指示日间内容图像集和辅助图像参考集之间的图像对应关系。具体的，服务器根据预置算法对日间内容图像集中的第一图像进行特征提取，得到第一特征；服务器根据预置算法对辅助图像参考集中的第二图像进行特征提取，得到第二特征，可选的，服务器采用尺度不变特征变换算法作为预置算法对第一图像和第二图像进行特征提取；服务器根据第一特征和第二特征分别计算每个第一图像与多个第二图像之间的多个相似度，得到最大相似度；服务器根据最大相似度确定日间内容图像集和辅助图像参考集之间的图像匹配关系，得到第一映射关系，并将第一映射关系存储到预置映射数据表中。进一步地，以上过程为

其中，F(I_i)用于指示对日间内容图像集中的图像进行特征提取，F(R'_k)用于指示对辅助图像参考集中的图像进行特征提取，ρ用于表示相似度。

可以理解的是，服务器对日间内容图像集和辅助图像参考集进行计算，只要两张图片的特征中，相同区域的大部分特征能找到彼此相似的点就可以认为两张图片是相似的。进一步地，两张图像同一区域的特征块中大部分是相似的，就确认两张图像是相似的。可选的，通过计算特征之间的余弦距离衡量两个特征的相似度。服务器根据最大相似度确定第一映射关系。例如，服务器对日间内容图像集I和辅助图像参考集R'进行处理后，得到第一映射关系A':{1,2...,M}→{1,2...,K}，其中，M与K相等。

204、从预置映射数据表中读取预置映射关系和第一映射关系；

服务器从预置映射数据表中读取预置映射关系和第一映射关系。具体的，服务器根据预置映射数据表和SQL语法规则生成第三查询语句；服务器执行第三查询语句，得到查询结果，该查询结果包括预置映射关系和第一映射关系。

需要说明的是，结构化查询语言(structured query language，SQL)是一种数据库查询和程序设计语言，用于存取数据、查询数据、更新数据和管理关系数据库系统。

205、根据预置映射关系和第一映射关系进行矩阵乘法计算，得到第二映射关系，第二映射关系用于指示日间内容图像集与夜间图像参考集的配对图像；

服务器根据预置映射关系和第一映射关系进行矩阵乘法计算，得到第二映射关系，第二映射关系用于指示日间内容图像集与夜间图像参考集的配对图像。其中，该预置映射公式为A＝BOA'，其中，B为预置映射关系，A'为第一映射关系，A为第二映射关系。例如，服务器根据预置映射关系B:{1,2,...,K}→{1,2,...,N}和第一映射关系A':{1,2,...,M}→{1,2,...,K}得到第二映射关系为A:{1,2,...,M}→{1,2,...,N}。

需要说明的是，第二映射关系采用日间内容图像集与夜间图像参考集的配对图像的唯一标识进行关系映射，也就是说，1、2、……M为日间内容图像的唯一标识，1、2、……N为夜间图像的唯一标识。

206、根据第二映射关系确定日间内容图像集与夜间图像参考集之间的配对图像，配对图像包括日间内容图像和夜间图像；

服务器根据第二映射关系确定日间内容图像集与夜间图像参考集之间的配对图像，配对图像包括日间内容图像和夜间图像。具体的，服务器对第二映射关系进行解析，得到配对图像的映射标识，配对图像的映射标识包括日间内容图像的唯一标识和夜间图像的唯一标识；服务器根据配对图像的映射标识读取日间内容图像集与夜间图像参考集之间的配对图像。例如，服务器获取第二映射关系为A:{1,2,...,M}→{1,2,...,N}，服务器将第二映射关系解析后，得到日间内容图像的唯一标识为1、2、……M，夜间图像的唯一标识为1、2、……N，其中，1、2、……M与1、2、……N构成配对图像的映射标识，则日间内容图像的唯一标识1与夜间图像的唯一标识1互为映射关系，日间内容图像的唯一标识2与夜间图像的唯一标识3互为映射关系，以此类推，日间内容图像的唯一标识M与夜间图像的唯一标识N互为映射关系。

207、通过预置深度卷积神经网络模型对配对图像按照对应关系进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。

服务器通过预置深度卷积神经网络模型对配对图像按照对应关系进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。具体的，服务器确定日间内容图像的尺寸，并根据日间内容图像的尺寸生成高斯白噪声图像；服务器将日间内容图像、夜间图像和高斯白噪声图像输入到预置深度卷积神经网络模型中，预置深度卷积神经网络模型包括内容约束特征提取层和风格约束特征提取层；服务器在内容约束特征提取层对日间内容图像和高斯白噪声图像进行计算，得到内容约束层损失函数；服务器在风格约束特征提取层对夜间图像和高斯白噪声图像进行计算，得到风格约束层损失函数；服务器对内容约束层损失函数和风格约束层损失函数进行累加计算，得到总的损失函数；服务器采用梯度下降算法迭代更新总的损失函数，得到目标图像集，目标图像集为已标注的夜间图像训练样本。目标图像集为接近真实图像的模拟图像，提高了预置业务中夜间图像训练样本的质量，例如，在车险理赔业务中，将已标注车辆和道路的目标夜间图像集作为夜间图像训练样本，根据夜间图像训练样本对语义分割模型进行训练，并通过训练好的语义分割模型对待识别的车辆图像进行语义分割，得到准确的车辆和车牌分割结果。

可以理解的是，该目标图像集包括日间内容图像集的内容和夜间图像集的风格例如，针对一张包括白天场景下车牌的日间内容图像，车牌为ABCD，车牌的颜色为亮蓝色，相对应的一张包括夜间场景的另一个车牌为12？？的夜间图像，该车牌的后两位比较模糊，车牌背景颜色为黑灰色，服务器根据训练好的模型进行图像风格迁移后，得到目标夜间图像为背景颜色是黑灰色的车牌ABCD。进一步地，该目标夜间图像集用于语义分割训练，避免重新标注的工作量。

需要说明的是，预置深度卷积神经网络模型可采用VGG-19，VGG-19模型是指19层的超分辨率测试序列(visual geometry group，VGG)网络，包含16个卷积层和5个池化层提供的特征空间。按比例改变权重规范化网络，每层卷积滤波器在图像和位置上平均激活值就等于1。

本发明实施例中，通过以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，便于对日间内容图像集和夜间图像参考集的特征提取和匹配，将已标注的日间真实图像转换为合成的夜间图像，并将合成的夜间图像作为语义分割的训练样本，避免重新标注的工作量，提高夜间图像语义分割的准确性和可扩展性。

上面对本发明实施例中图像风格迁移方法进行了描述，下面对本发明实施例中图像风格迁移装置进行描述，请参阅图3，本发明实施例中图像风格迁移装置的一个实施例包括：

获取单元301，用于获取日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集；

设置单元302，用于根据夜间图像参考集预先设置辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集；

匹配单元303，用于根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系，第一映射关系用于指示日间内容图像集和辅助图像参考集之间的图像对应关系；

计算单元304，用于根据第一映射关系进行计算，得到第二映射关系，第二映射关系用于指示日间内容图像集和夜间图像参考集之间的图像对应关系；

风格迁移单元305，用于根据第二映射关系对日间内容图像集和夜间图像参考集进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。

本发明实施例中，通过以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，便于对日间内容图像集和夜间图像参考集的特征提取和匹配，将已标注的日间真实图像转换为合成的夜间图像，并将合成的夜间图像作为语义分割的训练样本，避免重新标注的工作量，提高夜间图像语义分割的准确性和可扩展性。

请参阅图4，本发明实施例中图像风格迁移装置的另一个实施例包括：

获取单元301，用于获取日间内容图像集和夜间图像参考集，日间内容图像集的数量与夜间图像参考集的数量相等，日间内容图像集为根据预置业务采集并标注的真实图像集；

设置单元302，用于根据夜间图像参考集预先设置辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集；

匹配单元303，用于根据预置算法对日间内容图像集和辅助图像参考集进行特征匹配，得到第一映射关系，第一映射关系用于指示日间内容图像集和辅助图像参考集之间的图像对应关系；

计算单元304，用于根据第一映射关系进行计算，得到第二映射关系，第二映射关系用于指示日间内容图像集和夜间图像参考集之间的图像对应关系；

风格迁移单元305，用于根据第二映射关系对日间内容图像集和夜间图像参考集进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。

可选的，匹配单元303还可以具体用于：

根据预置算法对日间内容图像集中的第一图像进行特征提取，得到第一特征；

根据预置算法对辅助图像参考集中的第二图像进行特征提取，得到第二特征；

根据第一特征和第二特征分别计算每个第一图像与多个第二图像之间的多个相似度，得到最大相似度；

根据最大相似度计算确定日间内容图像集和辅助图像参考集之间的图像匹配关系，得到第一映射关系，并将第一映射关系存储到预置映射数据表中。

可选的，计算单元304还可以具体用于：

从预置映射数据表中读取预置映射关系和第一映射关系；

根据预置映射关系和第一映射关系进行矩阵乘法计算，得到第二映射关系，第二映射关系用于指示日间内容图像集与夜间图像参考集之间的图像对应关系。

可选的，迁移学习单元305还可以进一步包括：

确定子单元3051，用于根据第二映射关系确定日间内容图像集与夜间图像参考集之间的配对图像，配对图像包括日间内容图像和夜间图像；

风格迁移子单元3052，用于通过预置深度卷积神经网络模型对配对图像按照对应关系进行风格迁移，得到目标图像集，目标图像集为已标注的夜间图像训练样本。

可选的，风格迁移子单元3052还可以具体用于：

确定日间内容图像的尺寸，并根据日间内容图像的尺寸生成高斯白噪声图像；

将日间内容图像、夜间图像和高斯白噪声图像输入到预置深度卷积神经网络模型中，预置深度卷积神经网络模型包括内容约束特征提取层和风格约束特征提取层；

在内容约束特征提取层对日间内容图像和高斯白噪声图像进行计算，得到内容约束层损失函数；

在风格约束特征提取层对夜间图像和高斯白噪声图像进行计算，得到风格约束层损失函数；

对内容约束层损失函数和风格约束层损失函数进行累加计算，得到总的损失函数；

采用梯度下降算法迭代更新总的损失函数，得到目标图像集，目标图像集为已标注的夜间图像训练样本。

可选的，获取单元301还可以具体用于：

根据日间内容图像集的数量、夜间图像参考集的数量和结构化查询语言SQL语言规则生成第一查询语句；

执行第一查询语句，得到日间内容图像集和夜间图像参考集，日间内容图像集为根据预置业务采集并标注的真实图像集。

可选的，设置单元302还可以具体用于：

从预置映射数据表中读取预置映射关系，预置映射关系用于指示根据夜间图像参考集预先设置辅助图像参考集；

根据预置映射关系和SQL语言规则生成第二查询语句；

执行第二查询语句，得到辅助图像参考集，辅助图像参考集为场景与夜间图像参考集的场景一致，并且风格为日间的预置图像集。

本发明实施例中，通过以辅助图像参考集作为日间内容图像集和夜间图像参考集的配对桥梁，便于对日间内容图像集和夜间图像参考集的特征提取和匹配，将已标注的日间真实图像转换为合成的夜间图像，并将合成的夜间图像作为语义分割的训练样本，避免重新标注的工作量，提高夜间图像语义分割的准确性和可扩展性。

上面图3和图4从模块化功能实体的角度对本发明实施例中的图像风格迁移装置进行详细描述，下面从硬件处理的角度对本发明实施例中图像风格迁移设备进行详细描述。

图5是本发明实施例提供的一种图像风格迁移设备的结构示意图，该图像风格迁移设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)501(例如，一个或一个以上处理器)和存储器509，一个或一个以上存储应用程序507或数据506的存储介质508(例如一个或一个以上海量存储设备)。其中，存储器509和存储介质508可以是短暂存储或持久存储。存储在存储介质508的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对图像风格迁移设备中的一系列指令操作。更进一步地，处理器501可以设置为与存储介质508通信，在图像风格迁移设备500上执行存储介质508中的一系列指令操作。

图像风格迁移设备500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统505，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5中示出的图像风格迁移设备结构并不构成对图像风格迁移设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像风格迁移方法，其特征在于，包括：

获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集；

根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集；

根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系；

根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系；

根据所述第二映射关系和预置深度卷积神经网络模型对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

2.根据权利要求1所述的图像风格迁移方法，其特征在于，所述根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系包括：

根据预置算法对所述日间内容图像集中的第一图像进行特征提取，得到第一特征；

根据所述预置算法对所述辅助图像参考集中的第二图像进行特征提取，得到第二特征；

根据所述第一特征和所述第二特征分别计算每个第一图像与多个第二图像之间的多个相似度，得到最大相似度；

根据所述最大相似度确定所述日间内容图像集和所述辅助图像参考集之间的图像匹配关系，得到第一映射关系，并将第一映射关系存储到预置映射数据表中。

3.根据权利要求2所述的图像风格迁移方法，其特征在于，所述根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系包括：

从所述预置映射数据表中读取预置映射关系和所述第一映射关系；

根据所述预置映射关系和所述第一映射关系进行矩阵乘法计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集与所述夜间图像参考集之间的图像对应关系。

4.根据权利要求1所述的图像风格迁移方法，其特征在于，所述根据所述第二映射关系和预置深度卷积神经网络模型对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本包括：

根据所述第二映射关系确定所述日间内容图像集与所述夜间图像参考集之间的配对图像，所述配对图像包括日间内容图像和夜间图像；

通过预置深度卷积神经网络模型对所述配对图像按照对应关系进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

5.根据权利要求4所述的图像风格迁移方法，其特征在于，所述通过预置深度卷积神经网络模型对所述配对图像按照对应关系进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本包括：

确定所述日间内容图像的尺寸，并根据所述日间内容图像的尺寸生成高斯白噪声图像；

将所述日间内容图像、所述夜间图像和所述高斯白噪声图像输入到所述预置深度卷积神经网络模型中，所述预置深度卷积神经网络模型包括内容约束特征提取层和风格约束特征提取层；

在所述内容约束特征提取层对所述日间内容图像和所述高斯白噪声图像进行计算，得到内容约束层损失函数；

在所述风格约束特征提取层对所述夜间图像和所述高斯白噪声图像进行计算，得到风格约束层损失函数；

对所述内容约束层损失函数和所述风格约束层损失函数进行累加计算，得到总的损失函数；

采用梯度下降算法迭代更新所述总的损失函数，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

6.根据权利要求1所述的图像风格迁移方法，其特征在于，所述获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集包括：

根据所述日间内容图像集的数量、所述夜间图像参考集的数量和结构化查询语言SQL语言规则生成第一查询语句；

执行所述第一查询语句，得到所述日间内容图像集和所述夜间图像参考集，所述日间内容图像集为根据预置业务采集并标注的真实图像集。

7.根据权利要求1所述的图像风格迁移方法，其特征在于，所述根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集包括：

从预置映射数据表中读取预置映射关系，所述预置映射关系用于指示根据所述夜间图像参考集的唯一标识和辅助图像参考集的唯一标识预先设置映射关系；

根据所述预置映射关系和SQL语言规则生成第二查询语句；

执行所述第二查询语句，得到所述辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集。

8.一种图像风格迁移装置，其特征在于，所述图像风格迁移装置包括：

获取单元，用于获取日间内容图像集和夜间图像参考集，所述日间内容图像集的数量与所述夜间图像参考集的数量相等，所述日间内容图像集为根据预置业务采集并标注的真实图像集；

设置单元，用于根据所述夜间图像参考集预先设置辅助图像参考集，所述辅助图像参考集为场景与所述夜间图像参考集的场景一致，并且风格为日间的预置图像集；

匹配单元，用于根据预置算法对所述日间内容图像集和所述辅助图像参考集进行特征匹配，得到第一映射关系，所述第一映射关系用于指示所述日间内容图像集和所述辅助图像参考集之间的图像对应关系；

计算单元，用于根据所述第一映射关系进行计算，得到第二映射关系，所述第二映射关系用于指示所述日间内容图像集和所述夜间图像参考集之间的图像对应关系；

风格迁移单元，用于根据所述第二映射关系和预置深度卷积神经网络模型对所述日间内容图像集和所述夜间图像参考集进行风格迁移，得到目标图像集，所述目标图像集为已标注的夜间图像训练样本。

9.一种图像风格迁移设备，其特征在于，所述图像风格迁移设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述图像风格迁移设备执行如权利要求1-7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述方法的步骤。

Images