CN113378923A - 图像生成装置获取方法及图像生成装置 - Google Patents

图像生成装置获取方法及图像生成装置 Download PDF

Info

Publication number
CN113378923A
CN113378923A CN202110644537.1A CN202110644537A CN113378923A CN 113378923 A CN113378923 A CN 113378923A CN 202110644537 A CN202110644537 A CN 202110644537A CN 113378923 A CN113378923 A CN 113378923A
Authority
CN
China
Prior art keywords
image
chrominance
feature
frame
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110644537.1A
Other languages
English (en)
Inventor
陈凯
王建生
王水根
王宏臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202110644537.1A priority Critical patent/CN113378923A/zh
Priority to PCT/CN2021/101407 priority patent/WO2022257184A1/zh
Publication of CN113378923A publication Critical patent/CN113378923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像生成装置获取方法及图像生成装置，第一图像生成装置用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本进行图像生成装置、预测装置和判别装置互相博弈的训练过程，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像。判别装置评价图像真实度的能力更强，本发明能够用于获得将灰度图像生成为彩色图像的图像生成装置，能够使生成的彩色图像更接近真实彩色图像，较好地保留颜色信息。

Description

图像生成装置获取方法及图像生成装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像生成装置获取方法。本发明还涉及一种图像生成装置。
背景技术
在一些图像处理及应用中，依赖于能够获得高质量图像的前提。当环境亮度低或者夜间成像困难时，可见光相机无法获得高质量的图像或者视频，这对后续的图像应用或者图像处理带来了阻碍。
现有技术中，应用微光夜视技术或者红外夜视技术。微光夜视技术能够将夜间的微弱可见光通过增强几十万倍，来生成可见光图像，以此来实现夜间成像。红外夜视技术通过捕获红外辐射能够在极其苛刻的条件下获得红外光图像。由于人眼视觉神经系统只对可见光所成的真彩图像具有较高的分辨性，而微光夜视图像或者红外夜视图像，相比存在细节丢失以及为灰度图像，并不符合人的视觉感知习惯，也会导致各类针对彩色图像的处理算法性能显著下降。
发明内容
本发明的目的是提供一种图像生成装置获取方法，通过该方法能够获得将灰度图像生成为彩色图像的图像生成装置，能够使彩色图像较好地保留颜色信息。本发明还提供一种图像生成装置。
为实现上述目的，本发明提供如下技术方案：
一种图像生成装置获取方法，包括第一图像生成装置、第一预测装置、第一判别装置和第二判别装置，所述第一图像生成装置用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，所述第一预测装置用于根据输入的连续至少两帧第一色度图像生成后一帧第一色度图像的预测图像，所述第一判别装置用于评价输入的第一色度图像的真实度，所述第二判别装置用于评价输入的第二色度图像的真实度；
所述方法包括：以连续至少两帧真实第一色度图像以及连续至少两帧真实第二色度图像为一组训练样本，该各帧真实第一色度图像与该各帧真实第二色度图像为对同一场景同步获取的图像，使用训练样本根据以下过程训练获得所述第一图像生成装置、所述第一预测装置、所述第一判别装置和所述第二判别装置，训练过程包括：
将一组训练样本的前至少一帧真实第一色度图像依次输入所述第一图像生成装置，通过所述第二判别装置分别评价生成的前至少一帧第二色度图像以及前至少一帧真实第二色度图像；
将一组训练样本的前至少一帧真实第一色度图像输入所述第一预测装置，获取生成的后一帧第一色度图像预测图像相对于后一帧真实第一色度图像的特征损失，通过所述第一判别装置分别评价生成的后一帧第一色度图像预测图像以及后一帧真实第一色度图像；
根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置和所述第二判别装置。
优选的，训练过程还包括：将一组训练样本的前至少一帧真实第二色度图像输入所述第一图像生成装置，分别获取相应生成的前至少一帧第二色度图像相对于对应的真实第二色度图像的特征损失。
优选的，训练过程还包括：将后一帧第一色度图像预测图像输入所述第一图像生成装置，通过所述第二判别装置评价后一帧真实第二色度图像以及由所述第一图像生成装置生成的后一帧第一色度图像预测图像对应的后一帧第二色度图像。
优选的，还包括第二图像生成装置，所述第二图像生成装置用于将输入的连续至少两帧第二色度图像依次生成为对应的第一色度图像，训练过程还包括：
将由所述第一图像生成装置生成的前至少一帧第二色度图像依次输入所述第二图像生成装置，相应分别获取由所述第二图像生成装置生成的前至少一帧第一色度图像相对于对应的真实第一色度图像的特征损失；
具体包括：根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置、所述第二图像生成装置和所述第二判别装置。
优选的，还包括第二图像生成装置和第二预测装置，所述第二图像生成装置用于将输入的连续至少两帧第二色度图像依次生成为对应的第一色度图像，所述第二预测装置用于根据输入的连续至少两帧第二色度图像生成后一帧第二色度图像的预测图像，训练过程还包括：
将由所述第一图像生成装置生成的前至少一帧第二色度图像输入所述第二预测装置，将生成的后一帧第二色度图像预测图像输入所述第二图像生成装置，获取相应生成的后一帧第一色度图像相对于后一帧真实第一色度图像的特征损失；
具体包括：根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置、所述第二图像生成装置、所述第二预测装置和所述第二判别装置。
优选的，获取图像的特征损失中图像的特征包括以像素为单元描述的特征、以对图像卷积运算提取的特征或者以对图像进行拉格姆矩阵计算的特征。
优选的，所述第一图像生成装置包括第一装置、第二装置和第三装置；
所述第一装置用于对当前帧第一色度图像提取特征；
所述第二装置用于通过第1至第N特征连接模块对所述第一装置输出特征处理，第i-1特征连接模块输出的特征图输入第i特征连接模块，特征连接模块用于将输入的特征图分为第一特征图和第二特征图，将所述第二特征图依次进行多次提取特征，每一次提取特征的输入是前面各次所提取特征的合并，以及将所述第一特征图和将所述第二特征图提取特征得到的特征图拼接而输出，i∈[2，N]，N为大于等于1的正整数；
所述第三装置用于根据所述第二装置输出的特征图，生成当前帧第一色度图像对应的第二色度图像。
优选的，所述特征连接模块用于将所述第二特征图依次进行多次提取特征包括：
由第1至第M特征连接层对所述第二特征图处理，第j特征连接层用于对输入的特征图提取特征，将得到的特征图分别输入到第j+1特征连接层至第M特征连接层，第M特征连接层用于对输入的特征图提取特征，j∈[1，M-1]，M为大于等于1的正整数。
优选的，所述特征连接模块具体用于将输入的特征图分为具有不同通道数或者具有相同通道数的所述第一特征图和所述第二特征图。
优选的，所述第一预测装置具体用于进行提取特征过程和还原图像过程，提取特征过程包括对将前多帧图像拼接后图像依次进行多次提取特征，前一次所提取的特征图是后一次提取特征的输入，还原图像过程包括根据得到的特征图依次进行多次还原图像，前一次所还原的图像与在特征提取过程得到的相同大小的特征图拼接后图像，为后一次还原图像的输入。
优选的，所述第一判别装置或者所述第二判别装置具体用于通过对图像进行卷积运算，得到n*n的矩阵，以得到矩阵各个元素的均值作为输出。
一种图像生成装置，用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，所述图像生成装置采用以上所述的图像生成装置获取方法获得。
由上述技术方案可知，本发明所提供的一种图像生成装置获取方法，第一图像生成装置用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，第一预测装置用于根据输入的连续至少两帧第一色度图像生成后一帧第一色度图像的预测图像，第一判别装置用于评价输入的第一色度图像的真实度，第二判别装置用于评价输入的第二色度图像的真实度。本方法以连续的至少两帧真实第一色度图像以及连续的至少两帧真实第二色度图像为一组训练样本，该各帧真实第一色度图像与该各帧真实第二色度图像为对同一场景同步获取的图像，使用训练样本训练获得第一图像生成装置、第一预测装置、第一判别装置和第二判别装置。
本发明的图像生成装置获取方法以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本进行图像生成装置、预测装置和判别装置互相博弈的训练过程，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像。判别装置评价图像真实度的能力更强，本发明能够用于获得将灰度图像生成为彩色图像的图像生成装置，能够使生成的彩色图像更接近真实彩色图像，较好地保留颜色信息。
本发明提供的一种图像生成装置，能够达到上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的图像生成装置获取方法采用的训练过程的流程图；
图2为本发明一实施例的图像生成装置获取方法进行的训练过程示意图；
图3为本发明又一实施例的图像生成装置获取方法采用的训练过程的流程图；
图4为本发明又一实施例的图像生成装置获取方法进行的训练过程示意图；
图5为本发明又一实施例的图像生成装置获取方法采用的训练过程的流程图；
图6为本发明又一实施例的图像生成装置获取方法进行的训练过程示意图；
图7为本发明又一实施例的图像生成装置获取方法采用的训练过程的流程图；
图8为本发明实施例使用的学习感知损失的网络模型的示意图；
图9为本发明实施例的图像生成装置获取方法构建训练样本的示意图；
图10为本发明实施例构建的第一图像生成装置的示意图；
图11为本发明实施例的特征连接模块对特征图处理的示意图；
图12为本发明实施例的特征连接模块将第二特征图提取特征的示意图；
图13为本发明实施例的第一预测装置处理图像的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本实施例提供一种图像生成装置获取方法，包括第一图像生成装置、第一预测装置、第一判别装置和第二判别装置，所述第一图像生成装置用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，所述第一预测装置用于根据输入的连续至少两帧第一色度图像生成后一帧第一色度图像的预测图像，所述第一判别装置用于评价输入的第一色度图像的真实度，所述第二判别装置用于评价输入的第二色度图像的真实度。
第一色度图像和第二色度图像分别以不同数量的颜色分量描述，即第一色度图像和第二色度图像包括的颜色分量数量不同。
第一图像生成装置能够将输入的连续至少两帧第一色度图像，分别生成各帧对应的第二色度图像。第一预测装置能够根据输入的连续至少两帧第一色度图像，预测生成后一帧第一色度图像，即生成得到后一帧图像的预测图像。
图像的真实度是指图像相对于真实图像的差异程度，图像的真实度越大，表示该图像相对于真实图像的差异程度越小。
本实施例的图像生成装置获取方法包括：以连续至少两帧真实第一色度图像以及连续至少两帧真实第二色度图像为一组训练样本，该各帧真实第一色度图像与该各帧真实第二色度图像为对同一场景同步获取的图像，使用训练样本根据以下过程训练获得第一图像生成装置、第一预测装置、第一判别装置和第二判别装置。
本方法中，以连续的至少两帧真实第一色度图像以及连续的至少两帧真实第二色度图像构成一组训练样本，其中该各帧真实第一色度图像与该各帧真实第二色度图像是对同一场景同步获取得到的。对于每一组训练样本，使用训练样本根据以下过程训练各装置。
请参考图1，图1为本实施例的图像生成装置获取方法采用的训练过程的流程图，如图所示，训练过程包括以下步骤：
S10：将一组训练样本的前至少一帧真实第一色度图像依次输入所述第一图像生成装置，通过所述第二判别装置分别评价生成的前至少一帧第二色度图像以及前至少一帧真实第二色度图像。
可参考图2，图2为本实施例的图像生成装置获取方法进行的训练过程示意图。假设，第一色度图像帧域表示为X，第二色度图像帧域表示为Y，一组训练样本包括连续的至少两帧真实第一色度图像{x1，…，xt，xt+1}和连续的至少两帧真实第二色度图像{y1，…，yt，yt+1}。
将一组训练样本的前t帧真实第一色度图像x1、…、xt依次输入第一图像生成装置GX，分别生成该各帧图像对应的第二色度图像
Figure BDA0003108597280000071
相应的，通过第二判别装置DY，分别评价生成的各帧第二色度图像
Figure BDA0003108597280000072
以及分别评价各帧真实第二色度图像y1、…、yt。
S11：将一组训练样本的前至少一帧真实第一色度图像输入所述第一预测装置，获取生成的后一帧第一色度图像预测图像相对于后一帧真实第一色度图像的特征损失，通过所述第一判别装置分别评价生成的后一帧第一色度图像预测图像以及后一帧真实第一色度图像。
将一组训练样本的前t帧真实第一色度图像x1、…、xt输入第一预测装置PX，生成得到后一帧第一色度图像预测图像x′t+1。相应的，获取后一帧第一色度图像预测图像x′t+1相对于后一帧真实第一色度图像xt+1的特征损失，该种特征损失可称为反复损失。
以及，通过第一判别装置DX，评价后一帧第一色度图像预测图像x′t+1的真实度以及评价后一帧真实第一色度图像xt+1真实度。
S12：根据评价得出的各帧图像真实度以及获得的特征损失，训练第一图像生成装置、第一预测装置、第一判别装置和第二判别装置。
进而，根据评价得出的各帧图像真实度以及获得的特征损失，优化当前的第一图像生成装置GX、第一预测装置PX、第一判别装置DX和第二判别装置DY。依次使用各组训练样本，根据上述过程进行训练，训练得到第一图像生成装置GX、第一预测装置PX、第一判别装置DX和第二判别装置DY。
其中，通过评价第一图像生成装置GX生成图像和真实图像的真实度进行训练，使得第一图像生成装置GX和第二判别装置DY形成相互对抗。通过评价第一预测装置PX生成的预测图像和真实图像的真实度进行训练，使得第一预测装置PX和第一判别装置DX形成相互对抗。
根据评价出的生成图像真实度和真实图像真实度进行训练，可根据评价出的生成图像真实度和真实图像真实度描述为对抗损失。可选的，评价生成的前至少一帧第二色度图像以及前至少一帧真实第二色度图像真实度，对应这部分对抗损失可表示为：
Figure BDA0003108597280000081
其中，Lg(GX，DY)表示第一色度图像到第二色度图像的对抗损失，GX表示第一图像生成装置，DY表示第二判别装置，s、t分别表示图像数量。
可选的，评价生成的后一帧第一色度图像预测图像以及后一帧真实第一色度图像真实度对应这部分的对抗损失可表示为：
Figure BDA0003108597280000091
其中，PX表示第一预测装置，DX表示第一判别装置，x1:t表示图像x1、…、xt。
本实施例主要描述从第一色度图像域到第二色度图像域的训练过程，在其它实施例中可使用本实施例描述方法同时进行从第二色度图像域到第一色度图像域的训练过程，在此训练过程中同理的，第二色度图像到第一色度图像的对抗损失Lg(GY，DX)可相应表示。
本实施例的图像生成装置获取方法构建第一图像生成装置、第一预测装置，并构建第一判别装置、第二判别装置，以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本，进行图像生成装置、预测装置、判别装置互相博弈的训练过程，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像，第一判别装置和第二判别装置评价图像真实度的能力更强。
本实施例方法能够用于获得将灰度图像生成为彩色图像的图像生成装置，能够使生成的彩色图像更接近真实彩色图像，较好地保留颜色信息。
进一步优选的请参考图3，图3为又一本实施例的图像生成装置获取方法采用的训练过程的流程图，由图可看出，在上述实施例描述的训练过程基础上，训练过程还包括步骤S13：将后一帧第一色度图像预测图像输入所述第一图像生成装置，通过所述第二判别装置评价后一帧真实第二色度图像以及由所述第一图像生成装置生成的后一帧第一色度图像预测图像对应的后一帧第二色度图像。
可参考图4，图4为又一实施例的图像生成装置获取方法进行的训练过程示意图。将后一帧第一色度图像预测图像x′t+1输入第一图像生成装置GX，生成得到后一帧第二色度图像
Figure BDA0003108597280000101
。通过第二判别装置DY评价后一帧真实第二色度图像yt+1以及后一帧第二色度图像
Figure BDA0003108597280000102
进而，根据获得的特征损失以及评价得出的各帧图像真实度优化当前的第一图像生成装置GX、第一预测装置PX、第一判别装置DX和第二判别装置DY。依次使用各组训练样本，根据上述过程进行训练，训练得到第一图像生成装置GX、第一预测装置PX、第一判别装置DX和第二判别装置DY。
通过将第一预测装置PX生成的预测图像输入第一图像生成装置GX，并评价第一图像生成装置GX根据预测图像所生成图像的真实度来进行训练，使得第一图像生成装置GX、第一预测装置PX和第一判别装置DX、第二判别装置DY形成相互对抗，进行图像生成装置、预测装置和判别装置互相博弈的训练过程。
可选的，评价后一帧真实第二色度图像yt+1以及生成的后一帧第二色度图像
Figure BDA0003108597280000103
真实度，对应这部分的对抗损失可描述为：
Figure BDA0003108597280000104
进一步优选的可参考图3，在上述实施例描述的训练过程基础上，训练过程还包括步骤S14：将一组训练样本的前至少一帧真实第二色度图像输入所述第一图像生成装置，分别获取相应生成的前至少一帧第二色度图像相对于对应的真实第二色度图像的特征损失。
将一组训练样本的前t帧真实第二色度图像y1、…、yt输入第一图像生成装置GX，分别生成该各帧图像对应的第二色度图像GX(y1)、…、GX(yt)。相应的，对于生成的各帧第二色度图像GX(y1)、…、GX(yt)，分别获取各帧图像相对于各自对应的真实第二色度图像y1、…、yt的特征损失。该种特征损失可称为同一映射损失。
通过将真实第二色度图像输入第一图像生成装置GX，根据生成图像相对于真实第二色度图像的特征损失进行训练，能够保证第一图像生成装置GX不修改图像包含的颜色分量数量，避免生成图像整体颜色产生变化。
可选的，同一映射损失可表示为：
Figure BDA0003108597280000111
其中，Lidt(GX)表示生成的第二色度图像相对于对应的真实第二色度图像的特征损失。
本实施例主要描述从第一色度图像域到第二色度图像域的训练过程，在其它实施例中可使用本实施例描述方法同时进行从第二色度图像域到第一色度图像域的训练过程，在此训练过程中同一映射损失可表示为：
Figure BDA0003108597280000112
Lidt(GY)表示生成的第一色度图像相对于对应的真实第一色度图像的特征损失。其中，λinx、λiny分别表示权重，t、s分别表示图像数量。
需要说明的是，本实施例采用的训练过程中步骤S10和步骤S11的执行先后顺序可调换，步骤S10、步骤S11和步骤S14的执行先后顺序可任意选择，不限于图1或者图3所示的执行顺序。
优选的，在又一实施例提供的一种图像生成装置获取方法中，在以上实施例的基础上，还包括第二图像生成装置，所述第二图像生成装置用于将输入的连续至少两帧第二色度图像依次生成为对应的第一色度图像。
相应的可参考图5，图5为又一实施例的图像生成装置获取方法采用的训练过程的流程图，训练过程包括以下步骤：
S20：将一组训练样本的前至少一帧真实第一色度图像依次输入所述第一图像生成装置，通过所述第二判别装置分别评价生成的前至少一帧第二色度图像以及前至少一帧真实第二色度图像。
S21：将一组训练样本的前至少一帧真实第一色度图像输入所述第一预测装置，获取生成的后一帧第一色度图像预测图像相对于后一帧真实第一色度图像的特征损失，通过所述第一判别装置分别评价生成的后一帧第一色度图像预测图像以及后一帧真实第一色度图像。
请参考图6，图6为又一实施例的图像生成装置获取方法进行的训练过程示意图。使用一组训练样本的连续多帧真实第一色度图像x1、…、xt，使用第一图像生成装置GX、第一预测装置PX生成相应的图像。
S22：将由所述第一图像生成装置生成的前至少一帧第二色度图像依次输入所述第二图像生成装置，相应分别获取由所述第二图像生成装置生成的前至少一帧第一色度图像相对于对应的真实第一色度图像的特征损失。
本训练过程还将由第一图像生成装置GX生成的前t帧第二色度图像
Figure BDA0003108597280000121
，分别输入第二图像生成装置GY，分别生成各帧对应的第一色度图像，可表示为
Figure BDA0003108597280000122
。相应的，对于生成的各帧第一色度图像
Figure BDA0003108597280000123
，获取各帧图像分别相对于各自对应的真实第一色度图像的特征损失，该种特征损失可称为空间循环一致性损失。
S23：根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置、所述第二图像生成装置和所述第二判别装置。
进而，根据评价得出的各帧图像真实度以及获得的特征损失优化当前的第一图像生成装置GX、第二图像生成装置GY、第一预测装置PX、第一判别装置DX和第二判别装置DY。依次使用各组训练样本，根据上述过程进行训练，训练得到第一图像生成装置GX、第二图像生成装置GY、第一预测装置PX、第一判别装置DX和第二判别装置DY。
本实施例方法将由图像生成装置生成的图像，再次通过另一图像生成装置生成原始色度图像，根据所生成图像的特征损失进行训练，能够保证源域图像的空间结构，防止多张源域图像同时映射到同一张目标域图像。
本实施例的图像生成装置获取方法构建从第一色度图像到第二色度图像的第一图像生成装置以及从第二色度图像到第一色度图像的第二图像生成装置，构建成对的双生成装置结构。以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本，进行第一图像生成装置、第一预测装置、第二图像生成装置、第一判别装置和第二判别装置互相博弈的训练过程，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像，判别装置评价图像真实度的能力更强。
本实施例的图像生成装置获取方法以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本进行训练，考虑了图像的循环一致性损失，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像。
进一步优选的，在上述实施例的基础上还包括第二预测装置，所述第二预测装置用于根据输入的连续至少两帧第二色度图像生成后一帧第二色度图像的预测图像。请参考图7，图7为又一实施例的图像生成装置获取方法采用的训练过程的流程图，由图可看出，在上述实施例描述的训练过程基础上，训练过程还包括步骤S24：将由所述第一图像生成装置生成的前至少一帧第二色度图像输入所述第二预测装置，将生成的后一帧第二色度图像预测图像输入所述第二图像生成装置，获取相应生成的后一帧第一色度图像相对于后一帧真实第一色度图像的特征损失。
将由第一图像生成装置GX生成的前t帧第二色度图像
Figure BDA0003108597280000131
输入第二预测装置PY，生成后一帧第二色度图像预测图像PY(GX(x1:t))。将生成图像PY(GX(x1:t))输入第二图像生成装置GY，生成后一帧第一色度图像GY(PY(GX(x1:t)))。相应获取生成图像GY(PY(GX(x1:t)))相对于后一帧真实第一色度图像xt+1的特征损失。该种特征损失可称为时空循环一致性损失。
相应步骤S23具体包括：根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置、所述第二图像生成装置、所述第二预测装置和所述第二判别装置。
根据评价得出的各帧图像真实度以及获得的特征损失优化当前的第一图像生成装置GX、第二图像生成装置GY、第一预测装置PX、第二预测装置PY、第一判别装置DX和第二判别装置DY。依次使用各组训练样本，根据上述过程进行训练。
本实施例的图像生成装置获取方法构建从第一色度图像到第二色度图像的第一图像生成装置、第一预测装置以及从第二色度图像到第一色度图像的第二图像生成装置、第二预测装置，构建成对的双生成装置结构。以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本，进行图像生成装置、预测装置和判别装置互相博弈的训练过程，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像，判别装置评价图像真实度的能力更强。
本实施例的图像生成装置获取方法以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本进行训练，考虑了图像的时空循环一致性损失，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像。并且结合时间和空间的约束，缩小了映射空间，使得若应用于视频，转换生成的连续帧图像不会出现帧间闪烁的问题。
本实施例方法能够用于获得将灰度图像生成为彩色图像的图像生成装置，能够使生成的彩色图像更接近真实彩色图像，较好地保留颜色信息。生成的彩色图像更符合人的视觉神经感知，而且对后续的彩色图像处理算法比如目标识别或者评估等算法不会造成影响。
需要说明的是，以上实施例采用的训练过程中步骤S20和步骤S21的执行先后顺序可调换，步骤S22和步骤S24的执行先后顺序可任意选择，不限于图5或者图7所示的执行顺序。
在以上各实施例的图像生成装置获取方法中，获取图像的特征损失中图像的特征包括以像素为单元描述的特征，该部分特征是在像素层面描述的特征。可选的，可以是两个图像之间的欧式距离。
优选的，获取图像的特征损失中图像的特征还可包括以对图像卷积运算提取的特征或者以对图像进行拉格姆矩阵计算的特征，这部分特征是在更深层面上的图像特征，来衡量图像之间的差异。
对图像卷积运算提取的特征能够描述图像的内容特征，根据该种特征损失进行训练，能够还原出图像的细节纹理信息，使生成图像更富有纹理，看起来更自然。对图像进行拉格姆矩阵计算的特征主要描述图像的风格特征，根据该种特征损失进行训练能够捕捉到隐藏在视频中时间的风格信息，提升生成视频的质量和效果。
相应的，以上实施例描述的反复损失可表示为：
Lτ(PX)＝Σt(||xt+1-PX(x1：t)||2+λp2Lp(xt+1，PX(x1：t)))；
其中，Lτ(PX)表示第一色度图像到第二色度图像的反复损失，x1:t表示图像x1、…、xt，PX表示第一预测装置，λp2表示权重。Lp()表示感知损失即在更深层面上的图像特征损失。同理的第二色度图像到第一色度图像的反复损失Lτ(PY)可相应表示。
以上实施例描述的循环一致性损失可表示为：
LC(GX，GY)＝Σt(||xt-GY(GX(xt))||1+λp1Lp(xt，GY(GX(xt))))；
其中，LC(GX，GY)表示第一色度图像到第二色度图像的循环一致性损失，λp1表示权重。Lp()表示感知损失即在更深层面上的图像特征损失。同理的第二色度图像到第一色度图像的循环一致性损失LC(GY，GX)可相应表示。
可选的，时空循环一致性损失可表示为：
Lr(GX，GY，PY)＝Σt(||xt+1-GY(PY(GX(x1:t)))||2+λp3Lp(xt+1，GY(PY(GX(x1:t)))))；
其中，Lr(GX，GY，PY)表示时空循环一致性损失，Lp()表示感知损失即在更深层面上的图像特征损失。在其它实施例中可使用本实施例描述方法同时进行从第二色度图像域到第一色度图像域的训练过程，在此训练过程中同理的时空循环一致性损失Lr(GY，GX，PX)可相应表示。
优选的在一优选实施例提供的图像生成装置获取方法中，包括第一图像生成装置GX、第二图像生成装置GY、第一预测装置PX、第二预测装置PY、第一判别装置DX和第二判别装置DY，使用训练样本，根据以上实施例描述的训练过程同时进行从第一色度图像域到第二色度图像域的训练过程以及从第二色度图像域到第一色度图像域的训练过程，获得各种特征损失以及根据损失优化各装置。
综合以上各种特征损失，训练过程使用的损失函数可表示为：
Figure BDA0003108597280000161
其中，Lg(GX，DY)、Lg(GY，DX)分别表示第一色度图像到第二色度图像、第二色度图像到第一色度图像的对抗损失，Lr(GX，GY,PY)、Lr(GY，GX,PX)分别表示第一色度图像到第二色度图像、第二色度图像到第一色度图像的时空循环一致性损失，LC(GX，GY)、LC(GY，GX)分别表示第一色度图像到第二色度图像、第二色度图像到第一色度图像的循环一致性损失，Lτ(PX)、Lτ(PY)分别表示第一色度图像到第二色度图像、第二色度图像到第一色度图像的反复损失，Lidt(GX)、Lidt(GY)分别表示第一色度图像到第二色度图像、第二色度图像到第一色度图像的同一映射损失；λrx、λry、λcx、λcy、λτx、λτy、λinx、λiny分别表示权重。
优选的，在以上各实施例中，图像的感知特征损失包括图像的内容特征损失和风格特征损失。图像的感知特征损失表示为：
Figure BDA0003108597280000162
其中，内容损失表示为：
Figure BDA0003108597280000171
风格损失表示为：
Figure BDA0003108597280000172
其中，
Figure BDA0003108597280000173
和y分别表示生成的第二色度图像和真实第二色度图像，φj表示图像经过学习感知损失的网络模型第j层的激活函数层，C_j H_j W_j表示第j层特征图的通道数、高度和宽度，G_j表示拉格姆矩阵计算(Gram矩阵)，λ表示风格损失所占权重。
需要注意的是λp1、λp2与λp3表示在各损失中，感知损失所占的权重大小，其取值在0.5到5之间。Lp表示学习感知损失的网络模型，它将图像分为图像的内容与风格两部分，它们分别取该网络模型不同层的特征激活层。本实施例方法的训练过程能够捕捉到隐藏在视频中时间的风格信息，提升了生成视频的质量和效果。
示例性的请参考图8，图8为一实施例使用的学习感知损失的网络模型的示意图，其中第一卷积层深度64，为3×3conv，包括conv1_1和conv1_2。第二卷积层深度128，为3×3conv，包括conv2_1和conv2_2。第三卷积层深度256，为3×3conv，包括conv3_1、conv3_2、conv3_3和conv3_4。第四卷积层深度512，为3×3conv，包括conv4_1、conv4_2、conv4_3和conv4_4。第五卷积层深度512，为3×3conv，包括conv5_1、conv5_2、conv5_3和conv5_4。其中从conv1_1、conv2_1、conv3_1、conv4_1和conv5_1得到风格特征损失，由conv3_2得到内容特征损失。
本实施例的图像生成装置获取方法采用的训练过程就是图像生成装置、预测装置和判别装置互相博弈的过程，在这个相互博弈的过程中，生成装置生成的假图像越来越逼真，预测装置预测的下一帧图像与真实的下一帧图像越来越接近，预测能力越来越强，判别装置的判别能力也越来越强，即其区分真假图像的能力也越来越强。经过若干次迭代后，三者之间达到了一种纳什平衡的状态(动态平衡状态)，此时的判别装置的判别能力已经很强，但也无法区分生成装置和预测装置产生图像的真假，训练结束。
本实施例方法采用的训练过程不需要严格配对配准的训练样本，并且网络的训练采用的是无监督的训练方法，无需人工制作标签信息，节省了大量的人力和时间，使用起来更加方便。
示例性的，本方法训练可基于pytorch1.6.0版本，初始学习率设为0.0002，学习率衰减因子倍率为0.01。网络的生成装置、预测装置与判别装置同时训练。模型训练30个阶段可以初步获得较好的效果，再训练50到150个阶段可以明显改善生成图像的效果。
在实际应用中，可以使用在相同场景下获取的红外光视频和可见光视频，来构建训练样本。采集时无需严格的配准算法处理，只需要保证二者视场近可能接近即可。示例性的，可以使用红外光可见光双目摄像头采集视频，或者可以将红外光摄像头与可见光摄像头紧贴在一起同时开启采集红外光视频流数据和可见光视频流数据。
然后可以分别将红外光视频和可见光视频进行分帧处理，记红外光视频帧域为X，可见光视频帧域为Y。如果可见光视频的视场范围与红外光视频相比相差较多，需要对较大的视频帧数据集进行图像大小的裁剪，裁剪出视场内容基本一致的区域。如果二者图像内容相差并不大，可以不进行裁剪。
可参考图9，图9为本实施例的图像生成装置获取方法构建训练样本的示意图，如图所示分别将X域和Y域的连续帧图像，每预设数量帧进行一次横向拼接，然后将X域和Y域的图像分别放在trainA与trainB文件夹中构成训练样本。比如预设数量是3，即以连续的3帧图像为一组训练样本。
下面对图像生成装置、预测装置以及判别装置的具体实施方式进行说明。
优选的请参考图10，图10为本实施例构建的第一图像生成装置的示意图，第一图像生成装置包括第一装置101、第二装置102和第三装置103。
所述第一装置101用于对当前帧第一色度图像提取特征；
所述第二装置102用于通过第1至第N特征连接模块100对所述第一装置101输出特征处理，第i-1特征连接模块100输出的特征图输入第i特征连接模块100，特征连接模块100用于将输入的特征图分为第一特征图和第二特征图，将所述第二特征图依次进行多次提取特征，每一次提取特征的输入是前面各次所提取特征的合并，以及将所述第一特征图和将所述第二特征图提取特征得到的特征图拼接而输出，i∈[2，N]，N为大于等于1的正整数；
所述第三装置103用于根据所述第二装置102输出的特征图，生成当前帧第一色度图像对应的第二色度图像。
请结合参考图11，图11为本实施例的特征连接模块对特征图处理的示意图，对于第1特征连接模块至第N特征连接模块的每一特征连接模块100，将输入的特征图分为第一特征图和第二特征图，其中将第一特征图保留，将第二特征图依次进行多次提取特征，第一次提取特征是对得到的第二特征图进行，而后每一次提取特征的输入是前面各次所提取特征的合并；进而，将第一特征图和将第二特征图提取特征得到的特征图拼接而输出。
第三装置103根据第N特征连接模块输出的特征图，生成当前帧第一色度图像对应的第二色度图像。
本实施例的图像生成装置实现将第一色度图像生成对应的第二色度图像。其中通过第二装置对第一色度图像的不相近特征组合，进而根据所提取特征生成第二色度图像。
可选的，特征连接模块100将第二特征图依次进行多次提取特征可通过以下方法进行，具体包括：由第1至第M特征连接层对所述第二特征图处理，第j特征连接层用于对输入的特征图提取特征，将得到的特征图分别输入到第j+1特征连接层至第M特征连接层，第M特征连接层用于对输入的特征图提取特征，j∈[1，M-1]，M为大于等于1的正整数。
请参考图12，图12为本实施例的特征连接模块将第二特征图提取特征的示意图，图12所示是以通过6层特征连接层对特征图处理为例说明的。如图所示，第1特征连接层对得到的第二特征图提取特征，第1特征连接层输出特征分别输入到第2至第6特征连接层，第2特征连接层输出特征分别输入到第3至第6特征连接层，依次类推，第6特征连接层以第1至第5特征连接层各层输出特征的合并为输入。
本实施例的特征连接模块将第一特征图保留，能够使得保留较多的浅层风格特征，同时有助于降低模型的参数量。另外，通过上述过程对第二特征图进行多次提取特征处理，实现将对第一色度图像提取特征的不相近特征组合，并且能够强化特征传递，减轻梯度消失的问题，使得深度网络的训练更加容易，降低了模型的参数量。
优选的，特征连接模块100具体用于将输入的特征图分为具有不同通道数的第一特征图和第二特征图。通过将特征图进行通道数分流，使得能够保留更多通道的浅层风格特征。
可选的，可对输入特征图进行1*1卷积操作，从而将输入特征图分为具有不同通道数的特征图。优选的，进行的卷积操作可以采用深度可分离卷积操作。能够使得生成的图像效果更好，模型推理速度更快，更利于移植于其它平台应用。
可选的，第一装置101可通过多个特征提取模块对图像提取特征，得到指定大小的特征图，其中前一特征提取模块输出特征为后一特征提取模块的输入。示例性的，特征提取模块可包括卷积层、归一化层和激活层。
可选的，第三装置103可通过对特征图进行反卷积操作，将特征图生成第二色度图像。
可选的，第一预测装置具体用于进行提取特征过程和还原图像过程，提取特征过程包括对将前多帧图像拼接后图像依次进行多次提取特征，前一次所提取的特征图是后一次提取特征的输入，还原图像过程包括根据得到的特征图依次进行多次还原图像，前一次所还原的图像与在特征提取过程得到的相同大小的特征图拼接后图像，为后一次还原图像的输入。
示例性的请参考图13，图13为本实施例的第一预测装置处理图像的示意图，其中是以根据前两帧图像第t-2帧图像和第t-1帧图像来生成第t帧图像的预测图像为例说明的。将第t-2帧图像和第t-1帧图像拼接后的图像输入，依次进行三次提取特征。还原图像过程中根据得到的特征图依次进行三次还原，并且前一次所还原的图像与在特征提取过程得到的相同大小的特征图拼接后图像为后一次还原的输入，最后得到一帧与当前帧图像即第t帧图像相同大小的图像。
可选的，第一判别装置或者第二判别装置具体用于通过对图像进行卷积运算，得到n*n的矩阵，以得到矩阵各个元素的均值作为输出。输出矩阵中的每一个输出元素，表示着原图像中一个感受野，对应了原图像的一片。
第一色度图像可以对应为灰度图像，第二色度图像可以对应为彩色图像，因此本图像生成装置获取方法能够用于获得将灰度图像生成为彩色图像的图像生成装置。应用本图像生成装置根据灰度图像生成为彩色图像，能够还原出彩色图像的细节纹理信息，富有纹理，看起来更自然。
相应的，本实施例还提供一种图像生成装置，用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，所述图像生成装置采用以上所述的图像生成装置获取方法获得。
本实施例的图像生成装置是以同步获取的连续帧第一色度图像和连续帧第二色度图像为样本训练得到，进行图像生成装置、预测装置和判别装置互相博弈的训练过程，通过训练能够使图像生成装置生成图像更接近真实图像，预测装置生成的预测图像更接近真实图像。判别装置评价图像真实度的能力更强。本实施例的图像生成装置能够是将灰度图像生成为彩色图像的图像生成装置，能够使生成的彩色图像更接近真实彩色图像，较好地保留颜色信息。
本实施例的图像生成装置可以应用于视频，本图像生成装置以连续的至少两帧图像为输入，依次输出该至少两帧图像对应生成的各帧图像。实现将第一色度图像的视频转换生成为第二色度图像的视频。
以上对本发明所提供的图像生成装置获取方法及图像生成装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (12)

1.一种图像生成装置获取方法，其特征在于，包括第一图像生成装置、第一预测装置、第一判别装置和第二判别装置，所述第一图像生成装置用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，所述第一预测装置用于根据输入的连续至少两帧第一色度图像生成后一帧第一色度图像的预测图像，所述第一判别装置用于评价输入的第一色度图像的真实度，所述第二判别装置用于评价输入的第二色度图像的真实度；
所述方法包括：以连续至少两帧真实第一色度图像以及连续至少两帧真实第二色度图像为一组训练样本，该各帧真实第一色度图像与该各帧真实第二色度图像为对同一场景同步获取的图像，使用训练样本根据以下过程训练获得所述第一图像生成装置、所述第一预测装置、所述第一判别装置和所述第二判别装置，训练过程包括：
将一组训练样本的前至少一帧真实第一色度图像依次输入所述第一图像生成装置，通过所述第二判别装置分别评价生成的前至少一帧第二色度图像以及前至少一帧真实第二色度图像；
将一组训练样本的前至少一帧真实第一色度图像输入所述第一预测装置，获取生成的后一帧第一色度图像预测图像相对于后一帧真实第一色度图像的特征损失，通过所述第一判别装置分别评价生成的后一帧第一色度图像预测图像以及后一帧真实第一色度图像；
根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置和所述第二判别装置。
2.根据权利要求1所述的图像生成装置获取方法，其特征在于，训练过程还包括：将一组训练样本的前至少一帧真实第二色度图像输入所述第一图像生成装置，分别获取相应生成的前至少一帧第二色度图像相对于对应的真实第二色度图像的特征损失。
3.根据权利要求1所述的图像生成装置获取方法，其特征在于，训练过程还包括：将后一帧第一色度图像预测图像输入所述第一图像生成装置，通过所述第二判别装置评价后一帧真实第二色度图像以及由所述第一图像生成装置生成的后一帧第一色度图像预测图像对应的后一帧第二色度图像。
4.根据权利要求1所述的图像生成装置获取方法，其特征在于，还包括第二图像生成装置，所述第二图像生成装置用于将输入的连续至少两帧第二色度图像依次生成为对应的第一色度图像，训练过程还包括：
将由所述第一图像生成装置生成的前至少一帧第二色度图像依次输入所述第二图像生成装置，相应分别获取由所述第二图像生成装置生成的前至少一帧第一色度图像相对于对应的真实第一色度图像的特征损失；
具体包括：根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置、所述第二图像生成装置和所述第二判别装置。
5.根据权利要求1所述的图像生成装置获取方法，其特征在于，还包括第二图像生成装置和第二预测装置，所述第二图像生成装置用于将输入的连续至少两帧第二色度图像依次生成为对应的第一色度图像，所述第二预测装置用于根据输入的连续至少两帧第二色度图像生成后一帧第二色度图像的预测图像，训练过程还包括：
将由所述第一图像生成装置生成的前至少一帧第二色度图像输入所述第二预测装置，将生成的后一帧第二色度图像预测图像输入所述第二图像生成装置，获取相应生成的后一帧第一色度图像相对于后一帧真实第一色度图像的特征损失；
具体包括：根据评价得出的各帧图像真实度以及获得的特征损失，训练所述第一图像生成装置、所述第一预测装置、所述第一判别装置、所述第二图像生成装置、所述第二预测装置和所述第二判别装置。
6.根据权利要求1所述的图像生成装置获取方法，其特征在于，获取图像的特征损失中图像的特征包括以像素为单元描述的特征、以对图像卷积运算提取的特征或者以对图像进行拉格姆矩阵计算的特征。
7.根据权利要求1-6任一项所述的图像生成装置获取方法，其特征在于，所述第一图像生成装置包括第一装置、第二装置和第三装置；
所述第一装置用于对当前帧第一色度图像提取特征；
所述第二装置用于通过第1至第N特征连接模块对所述第一装置输出特征处理，第i-1特征连接模块输出的特征图输入第i特征连接模块，特征连接模块用于将输入的特征图分为第一特征图和第二特征图，将所述第二特征图依次进行多次提取特征，每一次提取特征的输入是前面各次所提取特征的合并，以及将所述第一特征图和将所述第二特征图提取特征得到的特征图拼接而输出，i∈[2，N]，N为大于等于1的正整数；
所述第三装置用于根据所述第二装置输出的特征图，生成当前帧第一色度图像对应的第二色度图像。
8.根据权利要求7所述的图像生成装置获取方法，其特征在于，所述特征连接模块用于将所述第二特征图依次进行多次提取特征包括：
由第1至第M特征连接层对所述第二特征图处理，第j特征连接层用于对输入的特征图提取特征，将得到的特征图分别输入到第j+1特征连接层至第M特征连接层，第M特征连接层用于对输入的特征图提取特征，j∈[1，M-1]，M为大于等于1的正整数。
9.根据权利要求7所述的图像生成装置获取方法，其特征在于，所述特征连接模块具体用于将输入的特征图分为具有不同通道数或者具有相同通道数的所述第一特征图和所述第二特征图。
10.根据权利要求1-6任一项所述的图像生成装置获取方法，其特征在于，所述第一预测装置具体用于进行提取特征过程和还原图像过程，提取特征过程包括对将前多帧图像拼接后图像依次进行多次提取特征，前一次所提取的特征图是后一次提取特征的输入，还原图像过程包括根据得到的特征图依次进行多次还原图像，前一次所还原的图像与在特征提取过程得到的相同大小的特征图拼接后图像，为后一次还原图像的输入。
11.根据权利要求1所述的图像生成装置获取方法，其特征在于，所述第一判别装置或者所述第二判别装置具体用于通过对图像进行卷积运算，得到n*n的矩阵，以得到矩阵各个元素的均值作为输出。
12.一种图像生成装置，其特征在于，用于将输入的连续至少两帧第一色度图像依次生成为对应的第二色度图像，所述图像生成装置采用权利要求1-11任一项所述的图像生成装置获取方法获得。
CN202110644537.1A 2021-06-09 2021-06-09 图像生成装置获取方法及图像生成装置 Pending CN113378923A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110644537.1A CN113378923A (zh) 2021-06-09 2021-06-09 图像生成装置获取方法及图像生成装置
PCT/CN2021/101407 WO2022257184A1 (zh) 2021-06-09 2021-06-22 图像生成装置获取方法及图像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644537.1A CN113378923A (zh) 2021-06-09 2021-06-09 图像生成装置获取方法及图像生成装置

Publications (1)

Publication Number Publication Date
CN113378923A true CN113378923A (zh) 2021-09-10

Family

ID=77573350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644537.1A Pending CN113378923A (zh) 2021-06-09 2021-06-09 图像生成装置获取方法及图像生成装置

Country Status (2)

Country Link
CN (1) CN113378923A (zh)
WO (1) WO2022257184A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760953A (zh) * 2023-08-17 2023-09-15 国网吉林省电力有限公司信息通信公司 基于无线通信网络的变电站视频监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738153A (zh) * 2019-09-30 2020-01-31 汉王科技股份有限公司 异质人脸图像转换方法、装置、电子设备及存储介质
CN110930295A (zh) * 2019-10-25 2020-03-27 广东开放大学（广东理工职业学院） 一种图像风格迁移方法、系统、装置和存储介质
CN111524205A (zh) * 2020-04-23 2020-08-11 北京信息科技大学 基于循环生成对抗网络的图像着色处理方法及装置
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120063689A1 (en) * 2010-09-15 2012-03-15 The Johns Hopkins University Object recognition in an image
CN108320274A (zh) * 2018-01-26 2018-07-24 东华大学 一种基于双通道循环生成对抗网络的红外视频彩色化方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN112270300A (zh) * 2020-11-17 2021-01-26 衡阳师范学院 基于生成式对抗网络的人脸素描图像转换为rgb图像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738153A (zh) * 2019-09-30 2020-01-31 汉王科技股份有限公司 异质人脸图像转换方法、装置、电子设备及存储介质
CN110930295A (zh) * 2019-10-25 2020-03-27 广东开放大学（广东理工职业学院） 一种图像风格迁移方法、系统、装置和存储介质
CN111524205A (zh) * 2020-04-23 2020-08-11 北京信息科技大学 基于循环生成对抗网络的图像着色处理方法及装置
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AAYUSH BANSAL等: "Recycle-GAN: Unsupervised Video Retargeting", 《ARXIV:1808.05174V1》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760953A (zh) * 2023-08-17 2023-09-15 国网吉林省电力有限公司信息通信公司 基于无线通信网络的变电站视频监控系统
CN116760953B (zh) * 2023-08-17 2023-12-05 国网吉林省电力有限公司信息通信公司 基于无线通信网络的变电站视频监控系统

Also Published As

Publication number Publication date
WO2022257184A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
WO2022042049A1 (zh) 图像融合方法、图像融合模型的训练方法和装置
CN108596041B (zh) 一种基于视频的人脸活体检测方法
CN107808137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
CN107509031A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107730446A (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
CN115035003A (zh) 交互补偿注意力的红外与可见光图像对抗融合方法
CN110225260A (zh) 一种基于生成对抗网络的立体高动态范围成像方法
CN110880163A (zh) 一种基于深度学习的弱光彩色成像方法
Zhang et al. A real-time semi-supervised deep tone mapping network
CN115883761A (zh) 时间视频增强方法
Cai et al. Perception preserving decolorization
CN115209119A (zh) 一种基于深度神经网络的视频自动着色方法
Wei et al. Sidgan: Single image dehazing without paired supervision
CN113378923A (zh) 图像生成装置获取方法及图像生成装置
CN114067018A (zh) 一种基于扩张残差生成对抗网络的红外图像彩色化方法
CN113066074A (zh) 一种基于双目视差偏移融合的视觉显著性预测方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN111861949A (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN116863069A (zh) 三维光场人脸内容生成方法、电子设备及存储介质
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
Wang et al. Exposure fusion using a relative generative adversarial network
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910