CN108320274A - 一种基于双通道循环生成对抗网络的红外视频彩色化方法 - Google Patents

一种基于双通道循环生成对抗网络的红外视频彩色化方法 Download PDF

Info

Publication number
CN108320274A
CN108320274A CN201810078449.8A CN201810078449A CN108320274A CN 108320274 A CN108320274 A CN 108320274A CN 201810078449 A CN201810078449 A CN 201810078449A CN 108320274 A CN108320274 A CN 108320274A
Authority
CN
China
Prior art keywords
network
infrared
video
colorization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810078449.8A
Other languages
English (en)
Inventor
李佳豪
孙韶媛
吴雪平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201810078449.8A priority Critical patent/CN108320274A/zh
Publication of CN108320274A publication Critical patent/CN108320274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及一种基于双通道循环生成对抗网络的红外视频彩色化方法，包括以下步骤：采集夜视红外视频数据和彩色视频数据；将视频数据集抽帧处理后放入数据库，构建训练集和测试集；构建双通道循环生成对抗深度学习网络，通过循环训练的方法提高生成网络G、生成网络F、判别网络DX和判别网络DY的能力；实时获取红外视频中的红外图像，将该红外图像与上一帧红外图像彩色化的结果输入经过训练后的生成网络G，由生成网络G对红外图像序列进行彩色化处理。本发明增强了夜视红外视频的彩色化效果，提高了彩色化视频的可观察性，无需人工干预。

Description

一种基于双通道循环生成对抗网络的红外视频彩色化方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于双通道循环生成对抗网络的红外视频彩色化方法。
背景技术
红外视频彩色化指的是赋予红外视频中的红外图像颜色及纹理信息，从本质上来讲属于图像增强问题。将红外视频赋予色彩和纹理，可以帮助人更加直观地观察视频内容，也可以帮助无人车或者机器人更好地理解环境。
红外视频彩色化的传统方法主要有伪彩色化方法、基于人工干预的彩色化方法、基于模板的彩色化方法和基于多传感器融合的彩色化方法。但这四类传统算法的实现需要人工干预，且彩色化结果与真实彩色图像有较大差别。
目前，国内对红外视频的彩色化研究仍然有较多不足之处。通常只能简单地对天空赋予蓝色，对道路赋予黄色，对树木和草地赋予绿色。这与实际彩色图像有很大区别，并且彩色化后的视频仍然缺少纹理信息。代中华等人提出了基于Fisher评价函数的多阈值红外图像分割算法和基于先验知识的红外图像上色算法。该方法首先对视频的关键帧进行快速模糊C均值聚类，以得到聚类中心来限制多阈值分割中心阈值的取值范围，然后用基于Fisher分割的评价算法进行图像分割。该算法能够较为快速地对视频序列进行彩色化，它的缺点是适用的场景较为单一，且需要人工干预。谯帅等人继续深入研究，提出了一种基于轮廓追踪的红外视频彩色化方法。该方法通过构建景物类别色彩数据集，提供彩色化中颜色信息的来源，而后在全局分割中引入帧间颜色传递，并采用改进的KLT运动估计方法提取和跟踪特征点，最后按类别区域分别为图像上色。该方法提高了彩色化的准确率，但该方法的彩色化结果与真实彩色场景仍有较大区别，且需要人工干预。
发明内容
本发明所要解决的技术问题是提供一种基于双通道循环生成对抗网络的红外视频彩色化方法，无需人工干预且能够赋予自然的色彩信息和纹理信息。
本发明解决其技术问题所采用的技术方案是：提供一种基于双通道循环生成对抗网络的红外视频彩色化方法，包括以下步骤：
(1)采集夜视红外视频数据和彩色视频数据，夜视红外视频数据中的场景与彩色视频数据中的场景相同；
(2)将视频数据集抽帧处理后放入数据库，构建训练集和测试集；
(3)构建双通道循环生成对抗深度学习网络，利用夜视红外训练数据集和彩色训练数据集训练该双通道循环生成对抗深度学习网络，所述双通道循环生成对抗深度学习网络包括生成网络G、生成网络F、判别网络DX和判别网络DY，其中，生成网络G将红外视频中的红外图像生成为彩色图像，生成网络F将彩色视频中的彩色图像生成为红外图像，判别网络DX判断输入图像是否符合真实红外图像的分布，判别网络DY判断输入图像是否符合真实彩色图像的分布；通过循环训练的方法提高生成网络G、生成网络F、判别网络DX和判别网络DY的能力；
(4)实时获取红外视频中的红外图像，将该红外图像与上一帧红外图像彩色化的结果输入所述步骤(2)训练后的生成网络G，由生成网络G对红外图像序列进行彩色化处理。
所述生成网络G包含三个部分：两个并行且权值共享的卷积网络，残差网络和反卷积网络，其中，一个卷积网络提取视频中当前帧红外图像的特征，另一个卷积网络提取上一帧红外图像彩色化结果的特征，然后将两个卷积网络提取的特征图合并成一个高维度的特征图，残差网络整合高维度特征图的特征信息，反卷积网络将特征图生成为一张彩色图像，该彩色图像即为彩色化结果图。
所述生成网络F包含三个部分：两个并行且权值共享的卷积网络，残差网络和反卷积网络，其中，一个卷积网络将彩色视频中当前帧的彩色图像提取为特征图，另一个卷积网络将上一帧彩色图像生成的红外图像提取为特征图，残差网络整合高维特征图，反卷积网络将整合后的特征图生成为一张红外图像。
所述判别网络DX由卷积网络构成，用于对输入的红外图像进行四次卷积操作，输出一张特征图，而后用sigmoid交叉熵损失函数计算输入红外图像是否符合真实红外图像的分布。
所述判别网络DY由卷积网络构成，用于将输入的彩色图像进行卷积操作输出对应特征图。
所述步骤(3)中通过构造生成网络G、生成网络F和判别网络DY的子循环网络，训练生成网络G和判别网络DY的能力，通过构造生成网络F、生成网络G和判别网络DX的子循环网络，训练生成网络F和判别网络DX的能力。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过循环生成对抗的方法，无需手工提取特征，无需对训练集进行标注，即可找到红外图像和彩色图像的函数映射关系，实现红外视频的彩色化。该方法显著增强了红外视频的可观察性，提高了视频中场景的辨识度，这对人和机器人理解拍摄场景有很大的帮助。
附图说明
图1是本发明的流程图；
图2是生成网络的神经网络结构图；
图3是判别网络的神经网络结构图；
图4是算法训练图；
图5是视频彩色化结果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于双通道循环生成对抗网络的红外视频彩色化方法，如图1所示，包括以下步骤：采集夜视红外视频数据和彩色视频数据，夜视红外视频数据中的场景与彩色视频数据中的场景相同；将视频数据集抽帧处理后放入数据库，构建训练集和测试集；构建双通道循环生成对抗深度学习网络，利用夜视红外训练数据集和彩色训练数据集训练该双通道循环生成对抗深度学习网络，所述双通道循环生成对抗深度学习网络包括生成网络G、生成网络F、判别网络DX和判别网络DY，其中，生成网络G将红外视频中的红外图像生成为彩色图像，生成网络F将彩色视频中的彩色图像生成为红外图像，判别网络DX判断输入图像是否符合真实红外图像的分布，判别网络DY判断输入图像是否符合真实彩色图像的分布；通过循环训练的方法提高生成网络G、生成网络F、判别网络DX和判别网络DY的能力；实时获取红外视频中的红外图像，将该红外图像与上一帧红外图像彩色化的结果输入经过训练后的生成网络G，由生成网络G对红外图像序列进行彩色化处理。
本实施方式中，如图2所示，所述生成网络G包含三个部分：两个并行且权值共享的卷积网络，残差网络和反卷积网络，其中，一个卷积网络提取视频中当前帧红外图像的特征，另一个卷积网络提取上一帧红外图像彩色化结果的特征，然后将两个卷积网络提取的特征图合并成一个高维度的特征图，残差网络整合高维度特征图的特征信息，反卷积网络将特征图生成为一张彩色图像，该彩色图像即为彩色化结果图。所述生成网络F包含三个部分：两个并行且权值共享的卷积网络，残差网络和反卷积网络，其中，一个卷积网络将彩色视频中当前帧的彩色图像提取为特征图，另一个卷积网络将上一帧彩色图像生成的红外图像提取为特征图，残差网络整合高维特征图，反卷积网络将整合后的特征图生成为一张红外图像。
如图3所示，所述判别网络DX由卷积网络构成，用于对输入的红外图像进行四次卷积操作，输出一张特征图，而后用sigmoid交叉熵损失函数计算输入红外图像是否符合真实红外图像的分布。所述判别网络DY由卷积网络构成，用于将输入的彩色图像进行卷积操作输出对应特征图。
本实施方式中通过循环训练的方法提高生成网络G、生成网络F、判别网络DX和判别网络DY的能力。如图4所示，具体为：通过构造生成网络G、生成网络F和判别网络DY的子循环网络，训练生成网络G和判别网络DY的能力，通过构造生成网络F、生成网络G和判别网络DX的子循环网络，训练生成网络F和判别网络DX的能力。
下面通过一个具体的实施例来进一步说明本发明，具体实施如下。
步骤1：采集视频数据，视频数据集由两部分构成：1.夜视红外视频。2.与夜视红外视频有相同场景的彩色视频；
步骤2：对视频数据集进行抽帧处理，抽帧处理后训练夜视红外视频为3109帧，训练彩色视频为3109帧，测试夜视红外视频为621帧，视频中每帧图像大小为256×256像素；
步骤3：构建双通道循环生成对抗网络，利用步骤2得到训练数据集训练该双通道循环生成对抗网络。双通道循环生成对抗网络中包含两个循环子网络：其中，一个用于训练生成网络G和判别网络DY的生成网络G、生成网络F和判别网络DY子循环网络，另一个用于训练生成网络F和判别网络DX的生成网络F、生成网络G和判别网络DX子循环网络。步骤3中双通道循环生成对抗网络的具体训练步骤如下：
步骤3.1：将红外图像Xi和前一帧红外图像生成的彩色图像通入生成网络G，生成一张对应的彩色化图像生成图像大小为256×256像素。其中，彩色化视频中的第1帧是直接由红外视频中的第1帧X1生成的；
步骤3.2：再将彩色化图像和上一轮训练时生成网络F生成的红外图像同时通入生成网络F，生成一幅红外图像
步骤3.3：将彩色化图像与源彩色图像Yi输入判别网路DY，得到和DY(Yi)。根据损失函数LG和计算生成网络G和判别网路DY的损失并调整参数。生成网络G的损失函数LG和判别网路DY的损失函数的损失函数如下：
式(1)为生成网络G的损失函数，生成网络G生成的彩色化图像应服从真实彩色图像的分布，将彩色化图像输入生成网络F得到红外图像应与源红外图像Xi相似。所以LG为的sigmoid函数及红外图像与源红外图像Xi的L1范数期望之和。式(2)中，由DY(Yi)和的sigmoid交叉熵函数构成；
步骤3.4：在生成网络F和判别网络DX的训练中，首先将彩色图像Yi和前一帧彩色图像生成的红外图像输入生成网络F，生成一张对应的红外图像生成图像为256×256像素；
步骤3.5：将红外图像和上一轮训练时生成网络G生成的彩色图像同时输入生成网络G，生成一幅彩色图像
步骤3.6：将红外图像与源红外图像Xi输入判别网络DX，得到和DX(Xi)。根据损失函数LF和计算生成网络F和判别网络DX的损失并调整参数。生成网络F的损失函数LF和判别网络DX的损失函数如下：
式(3)为生成网络F的损失函数，生成网络F生成的红外图像应服从真实红外图像的分布，将红外图像输入生成网络G得到彩色图像应与源彩色图像Yi相似。所以LF为的sigmoid函数的对数和彩色图像与源彩色图像Yi的L1范数期望之和。式(4)中，LDX由DX(Xi)和的sigmoid交叉熵函数构成；
步骤4：将测试红外视频输入训练好的生成网络G，生成网络G将视频中的图像进行彩色化处理，得到一个彩色化视频。图5是视频彩色化结果图，其中，第一、三行是从测试红外视频中抽样的红外图像，第二、四行是抽样红外图像对应的彩色化结果，从图中可以看出，采用上述方法不仅能使红外图像彩色化，并且还能够赋予自然的色彩信息和纹理信息。
不难发现，本发明通过循环生成对抗的方法，无需手工提取特征，无需对训练集进行标注，即可找到红外图像和彩色图像的函数映射关系，实现红外视频的彩色化。该方法显著增强了红外视频的彩色化效果和可观察性，提高了视频中场景的辨识度，这对人和机器人理解拍摄场景有很大的帮助。

Claims (6)

1.一种基于双通道循环生成对抗网络的红外视频彩色化方法，其特征在于，包括以下步骤：
(1)采集夜视红外视频数据和彩色视频数据，夜视红外视频数据中的场景与彩色视频数据中的场景相同；
(2)将视频数据集抽帧处理后放入数据库，构建训练集和测试集；
(3)构建双通道循环生成对抗深度学习网络，利用夜视红外训练数据集和彩色训练数据集训练该双通道循环生成对抗深度学习网络，所述双通道循环生成对抗深度学习网络包括生成网络G、生成网络F、判别网络DX和判别网络DY，其中，生成网络G将红外视频中的红外图像生成为彩色图像，生成网络F将彩色视频中的彩色图像生成为红外图像，判别网络DX判断输入图像是否符合真实红外图像的分布，判别网络DY判断输入图像是否符合真实彩色图像的分布；通过循环训练的方法提高生成网络G、生成网络F、判别网络DX和判别网络DY的能力；
(4)实时获取红外视频中的红外图像，将该红外图像与上一帧红外图像彩色化的结果输入所述步骤(2)训练后的生成网络G，由生成网络G对红外图像序列进行彩色化处理。
2.根据权利要求1所述的基于双通道循环生成对抗网络的红外视频彩色化方法，其特征在于，所述生成网络G包含三个部分：两个并行且权值共享的卷积网络，残差网络和反卷积网络，其中，一个卷积网络提取视频中当前帧红外图像的特征，另一个卷积网络提取上一帧红外图像彩色化结果的特征，然后将两个卷积网络提取的特征图合并成一个高维度的特征图，残差网络整合高维度特征图的特征信息，反卷积网络将特征图生成为一张彩色图像，该彩色图像即为彩色化结果图。
3.根据权利要求1所述的基于双通道循环生成对抗网络的红外视频彩色化方法，其特征在于，所述生成网络F包含三个部分：两个并行且权值共享的卷积网络，残差网络和反卷积网络，其中，一个卷积网络将彩色视频中当前帧的彩色图像提取为特征图，另一个卷积网络将上一帧彩色图像生成的红外图像提取为特征图，残差网络整合高维特征图，反卷积网络将整合后的特征图生成为一张红外图像。
4.根据权利要求1所述的基于双通道循环生成对抗网络的红外视频彩色化方法，其特征在于，所述判别网络DX由卷积网络构成，用于对输入的红外图像进行四次卷积操作，输出一张特征图，而后用sigmoid交叉熵损失函数计算输入红外图像是否符合真实红外图像的分布。
5.根据权利要求1所述的基于双通道循环生成对抗网络的红外视频彩色化方法，其特征在于，所述判别网络DY由卷积网络构成，用于将输入的彩色图像进行卷积操作输出对应特征图。
6.根据权利要求1所述的基于双通道循环生成对抗网络的红外视频彩色化方法，其特征在于，所述步骤(3)中通过构造生成网络G、生成网络F和判别网络DY的子循环网络，训练生成网络G和判别网络DY的能力，通过构造生成网络F、生成网络G和判别网络DX的子循环网络，训练生成网络F和判别网络DX的能力。
CN201810078449.8A 2018-01-26 2018-01-26 一种基于双通道循环生成对抗网络的红外视频彩色化方法 Pending CN108320274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078449.8A CN108320274A (zh) 2018-01-26 2018-01-26 一种基于双通道循环生成对抗网络的红外视频彩色化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078449.8A CN108320274A (zh) 2018-01-26 2018-01-26 一种基于双通道循环生成对抗网络的红外视频彩色化方法

Publications (1)

Publication Number Publication Date
CN108320274A true CN108320274A (zh) 2018-07-24

Family

ID=62888627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078449.8A Pending CN108320274A (zh) 2018-01-26 2018-01-26 一种基于双通道循环生成对抗网络的红外视频彩色化方法

Country Status (1)

Country Link
CN (1) CN108320274A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN110033033A (zh) * 2019-04-01 2019-07-19 南京谱数光电科技有限公司 一种基于CGANs的生成器模型训练方法
CN110378844A (zh) * 2019-06-14 2019-10-25 杭州电子科技大学 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN110880163A (zh) * 2018-09-05 2020-03-13 南京大学 一种基于深度学习的弱光彩色成像方法
CN111242044A (zh) * 2020-01-15 2020-06-05 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111583096A (zh) * 2019-02-15 2020-08-25 北京京东乾石科技有限公司 图片处理方法及装置、电子设备和计算机可读介质
CN112949662A (zh) * 2021-05-13 2021-06-11 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备以及存储介质
WO2022257184A1 (zh) * 2021-06-09 2022-12-15 烟台艾睿光电科技有限公司 图像生成装置获取方法及图像生成装置
CN116033279A (zh) * 2023-03-23 2023-04-28 长春理工大学 一种夜晚监控相机的近红外图像彩色化方法、系统及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853492A (zh) * 2010-05-05 2010-10-06 浙江理工大学 一种夜视微光图像与红外图像融合方法
US20120063689A1 (en) * 2010-09-15 2012-03-15 The Johns Hopkins University Object recognition in an image
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN106530220A (zh) * 2016-11-09 2017-03-22 深圳市唯特视科技有限公司 一种根据客户喜好的对产品图片智能可视化操作方法
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107358626A (zh) * 2017-07-17 2017-11-17 清华大学深圳研究生院 一种利用条件生成对抗网络计算视差的方法
CN107527318A (zh) * 2017-07-17 2017-12-29 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN107590774A (zh) * 2017-09-18 2018-01-16 北京邮电大学 一种基于生成对抗网络的车牌清晰化方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853492A (zh) * 2010-05-05 2010-10-06 浙江理工大学 一种夜视微光图像与红外图像融合方法
US20120063689A1 (en) * 2010-09-15 2012-03-15 The Johns Hopkins University Object recognition in an image
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN106530220A (zh) * 2016-11-09 2017-03-22 深圳市唯特视科技有限公司 一种根据客户喜好的对产品图片智能可视化操作方法
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107358626A (zh) * 2017-07-17 2017-11-17 清华大学深圳研究生院 一种利用条件生成对抗网络计算视差的方法
CN107527318A (zh) * 2017-07-17 2017-12-29 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN107590774A (zh) * 2017-09-18 2018-01-16 北京邮电大学 一种基于生成对抗网络的车牌清晰化方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN-YAN ZHU 等: "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
PATRICIA L.SUAREZ 等: "Infrared Image Colorization based on a Triplet DCGAN Architecture", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
PHILLIP ISOLA 等: "Image-to-Image Translation with Conditional Adversarial Networks", 《CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
代中华: "车载红外视频彩色化算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
韦鹏程 等编著: "《基于R语言数据挖掘的统计与分析》", 31 December 2017, 电子科技大学出版社 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880163A (zh) * 2018-09-05 2020-03-13 南京大学 一种基于深度学习的弱光彩色成像方法
CN110880163B (zh) * 2018-09-05 2022-08-19 南京大学 一种基于深度学习的弱光彩色成像方法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN109584325B (zh) * 2018-10-30 2020-01-07 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN111583096A (zh) * 2019-02-15 2020-08-25 北京京东乾石科技有限公司 图片处理方法及装置、电子设备和计算机可读介质
CN110033033A (zh) * 2019-04-01 2019-07-19 南京谱数光电科技有限公司 一种基于CGANs的生成器模型训练方法
CN110378844A (zh) * 2019-06-14 2019-10-25 杭州电子科技大学 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN110378844B (zh) * 2019-06-14 2021-04-09 杭州电子科技大学 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN111242044A (zh) * 2020-01-15 2020-06-05 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111242044B (zh) * 2020-01-15 2022-06-28 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN112949662A (zh) * 2021-05-13 2021-06-11 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备以及存储介质
WO2022257184A1 (zh) * 2021-06-09 2022-12-15 烟台艾睿光电科技有限公司 图像生成装置获取方法及图像生成装置
CN116033279A (zh) * 2023-03-23 2023-04-28 长春理工大学 一种夜晚监控相机的近红外图像彩色化方法、系统及设备

Similar Documents

Publication Publication Date Title
CN108320274A (zh) 一种基于双通道循环生成对抗网络的红外视频彩色化方法
CN106127702B (zh) 一种基于深度学习的图像去雾方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN104268583B (zh) 基于颜色区域特征的行人重识别方法及系统
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN109344701A (zh) 一种基于Kinect的动态手势识别方法
CN108509920B (zh) 基于CNN的多patch多通道联合特征选择学习的人脸识别方法
CN106651795A (zh) 一种利用光照估计来校正图像颜色的方法
Almogdady et al. A flower recognition system based on image processing and neural networks
CN103679677B (zh) 一种基于模型互更新的双模图像决策级融合跟踪方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN111274921A (zh) 一种利用姿态掩模进行人体行为识别的方法
CN106529494A (zh) 一种基于多摄像头机型的人脸识别方法
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN109635636A (zh) 基于属性特征和加权的分块特征相融合的行人再识别方法
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN112487981A (zh) 基于双路分割的ma-yolo动态手势快速识别方法
CN103065282A (zh) 一种基于稀疏线性系统的图像融合方法
CN107481183A (zh) 一种基于多维数据关联规则的微光图像彩色化方法
Du et al. Double-channel guided generative adversarial network for image colorization
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
CN104636728B (zh) 一种图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724

RJ01 Rejection of invention patent application after publication