CN108198138A - 一种针对监控视频的夜间效果去除方法及装置 - Google Patents

一种针对监控视频的夜间效果去除方法及装置 Download PDF

Info

Publication number
CN108198138A
CN108198138A CN201711193039.XA CN201711193039A CN108198138A CN 108198138 A CN108198138 A CN 108198138A CN 201711193039 A CN201711193039 A CN 201711193039A CN 108198138 A CN108198138 A CN 108198138A
Authority
CN
China
Prior art keywords
image
coding
initial
night
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711193039.XA
Other languages
English (en)
Other versions
CN108198138B (zh
Inventor
傅慧源
马华东
耿欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201711193039.XA priority Critical patent/CN108198138B/zh
Publication of CN108198138A publication Critical patent/CN108198138A/zh
Application granted granted Critical
Publication of CN108198138B publication Critical patent/CN108198138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种针对监控视频的夜间效果去除方法及装置；所述方法包括：获取监控视频中的待处理夜间图像；基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。本发明将待处理夜间图像输入夜间效果去除模型中，夜间效果去除模型便可以输出去夜图像，实现端到端的模型，同时对原始编码特征进行重采样的处理使得模型的泛化能力得到提高，提高了模型对多种不同监控场景去夜效果的鲁棒性。

Description

一种针对监控视频的夜间效果去除方法及装置
技术领域
本发明涉及图像处理技术领域，特别是指一种针对监控视频的夜间效果去除方法及装置。
背景技术
图像夜间效果去除(简称为“去夜”)是视频监控领域的重要方面，在监控场景下，对夜间图像进行去夜处理得到更为清楚，信息更多的画面具有重大的意义。近年来，随着数字图像处理、模式识别和人工智能技能技术的日趋成熟，图像去夜方法也在不断发展。
传统的去夜技术对图像进行去噪、计算背景图和前景图等操作，方法多为对图像进行直接的处理，没有利用图像的高级特征，对不同场景的适应性较差。
发明内容
有鉴于此，本发明的目的在于提出一种针对监控视频的夜间效果去除方法及装置，能够提高对多种不同监控场景的去夜鲁棒性以及传统去夜方法的效果。
基于上述目的本发明提供的一种针对监控视频的夜间效果去除方法，包括：
获取监控视频中的待处理夜间图像；
基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。
在一些实施方式中，所述夜间效果去除模型包括：图像编码网络及图像生成网络；
所述基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像，包括：
将所述待处理夜间图像输入所述图像编码网络并进行第一预设卷积运算，得到初始编码特征图；
对所述初始编码特征图进行重采样操作，得到编码特征图；
将所述编码特征图输入所述图像生成网络并进行第二预设卷积运算，得到所述去夜图像。
在一些实施方式中，所述方法还包括：
构建初始夜间效果去除模型；所述初始夜间效果去除模型包括：初始图像编码网络、初始图像生成网络及初始辅助训练编码网络；其中，所述初始辅助训练编码网络与所述初始图像编码网络层次结构相同，所述初始辅助训练编码网络与所述初始图像编码网络的低层参数互相独立，高层参数共享；
获取图像样本，一组所述图像样本为同一监控场景下的白天图像样本和夜间图像样本；
将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，得到每个夜间图像样本的初始编码特征图样本；对所述初始编码特征图样本进行重采样操作，得到编码特征图样本；
将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，得到每个白天图像样本的初始辅助编码特征图样本；对所述初始辅助编码特征图样本进行重采样操作，得到辅助编码特征图样本；
根据所述编码特征图样本与所述辅助编码特征图样本之间的KL距离，调整所述初始图像编码网络和所述初始辅助训练编码网络的参数，当迭代次数达到第一预设次数时，得到所述图像编码网络；
将所述编码特征图样本和所述辅助编码特征图样本分别送入所述初始图像生成网络并进行第二预设卷积运算，由所述编码特征图样本生成去夜图像样本，由所述辅助编码特征图样本生成辅助去夜图像样本；
对比所述白天图像样本与所述去夜图像样本，获得第一差异度；对比所述白天图像样本与所述辅助去夜图像样本，获得第二差异度；根据所述第一差异度和所述第二差异度，调整所述初始图像生成网络的参数，当迭代次数达到第二预设次数时，得到所述图像生成网络。
在一些实施方式中，所述将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，包括：
先将所述夜间图像样本进行尺寸调整，再送入所述初始图像编码网络；
所述将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，包括：
先将所述白天图像样本进行尺寸调整，再送入所述初始辅助训练编码网络。
在一些实施方式中，所述对所述初始编码特征图进行重采样操作，包括：
对所述初始编码特征图求均值u与方差o，假设维度为N*M；
采样一个维度为N*M的标准高斯分布图g～N(0,1)；
将所述方差o与高斯采样g进行哈达马乘积，得到维度为N*M的方差采样值o*g；
将所述均值u与所述方差采样值o*g相加，得到所述编码特征图为：Z＝u+o*g。
另一方面，本发明还提供了一种针对监控视频的夜间效果去除装置，包括：
获取模块，用于获取监控视频中的待处理夜间图像；
去夜模块，用于基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。
在一些实施方式中，所述夜间效果去除模型包括：图像编码网络及图像生成网络；
所述去夜模块具体用于：将所述待处理夜间图像输入所述图像编码网络并进行第一预设卷积运算，得到初始编码特征图；对所述初始编码特征图进行重采样操作，得到编码特征图；将所述编码特征图输入所述图像生成网络并进行第二预设卷积运算，得到所述去夜图像。
在一些实施方式中，所述装置还包括：
训练模块，用于构建初始夜间效果去除模型；所述初始夜间效果去除模型包括：初始图像编码网络、初始图像生成网络及初始辅助训练编码网络；其中，所述初始辅助训练编码网络与所述初始图像编码网络层次结构相同，所述初始辅助训练编码网络与所述初始图像编码网络的低层参数互相独立，高层参数共享；获取图像样本，一组所述图像样本为同一监控场景下的白天图像样本和夜间图像样本；将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，得到每个夜间图像样本的初始编码特征图样本；对所述初始编码特征图样本进行重采样操作，得到编码特征图样本；将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，得到每个白天图像样本的初始辅助编码特征图样本；对所述初始辅助编码特征图样本进行重采样操作，得到辅助编码特征图样本；根据所述编码特征图样本与所述辅助编码特征图样本之间的KL距离，调整所述初始图像编码网络和所述初始辅助训练编码网络的参数，当迭代次数达到第一预设次数时，得到所述图像编码网络；将所述编码特征图样本和所述辅助编码特征图样本分别送入所述初始图像生成网络并进行第二预设卷积运算，由所述编码特征图样本生成去夜图像样本，由所述辅助编码特征图样本生成辅助去夜图像样本；对比所述白天图像样本与所述去夜图像样本，获得第一差异度；对比所述白天图像样本与所述辅助去夜图像样本，获得第二差异度；根据所述第一差异度和所述第二差异度，调整所述初始图像生成网络的参数，当迭代次数达到第二预设次数时，得到所述图像生成网络。
在一些实施方式中，所述去夜模块还用于：先将所述夜间图像样本进行尺寸调整，再送入所述初始图像编码网络；以及，先将所述白天图像样本进行尺寸调整，再送入所述初始辅助训练编码网络。
在一些实施方式中，所述去夜模块具体用于：对所述初始编码特征图求均值u与方差o，假设维度为N*M；采样一个维度为N*M的标准高斯分布图g～N(0,1)；将所述方差o与高斯采样g进行哈达马乘积，得到维度为N*M的方差采样值o*g；将所述均值u与所述方差采样值o*g相加，得到所述编码特征图为：Z＝u+o*g。
从上面所述可以看出，本发明提供的针对监控视频的夜间效果去除方法及装置，将待处理夜间图像输入夜间效果去除模型中，夜间效果去除模型便可以输出去夜图像，实现端到端的模型，同时对原始编码特征进行重采样的处理使得模型的泛化能力得到提高，提高了模型对多种不同监控场景去夜效果的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的针对监控视频的夜间效果去除方法流程图；
图2为图1所示实施例中步骤102的具体流程图；
图3为图2所示实施例中步骤202编码特征重采样过程的一种示意图；
图4为本发明实施例中夜间效果去除模型的一种训练方式的流程图；
图5为本发明实施例的针对监控视频的夜间效果去除装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例提供了一种针对监控视频的夜间效果去除方法。参考图1，所述针对监控视频的夜间效果去除方法，包括以下步骤：
步骤101、获取监控视频中的待处理夜间图像。
本步骤中，从相应电子设备中获取的即为待处理夜间图像。该待处理夜间图像可以是电子设备本地存储的视频，当然也可以是与电子设备建立通信连接的图像采集设备采集并发送的图像。
步骤102、基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。
本步骤中，获取夜间图像后，便可以将该夜间图像输入预先训练的夜间效果去除模型中，经夜间效果去除模型处理，得到去夜图像。本实施例中，该夜间效果去除模型包括：图像编码网络和图像生成网络。
具体的，参考图2，前述的步骤102，即所述获得去夜图像的步骤，具体包括：
步骤201、所述待处理夜间图像输入所述图像编码网络并进行第一预设卷积运算，得到初始编码特征图。
本步骤中，首先待处理夜间图像会被输入图像编码网络中，进行第一预设卷积运算，得到初始编码特征图。在一种实施方式中，图像编码网络可以为轻量级特征提取卷积神经网络，比如Darknet reference network等卷积神经网络。可以理解的是，轻量级特征提取卷积神经网络的连接参数比较少，占据内存少，能够更加快速的对待识别图像的图像特征进行提取。同时，对硬件的要求也相对降低。
其中，图像编码网络在第一预设卷积运算的过程中，每层的卷积核大小和卷积步长应根据具体的场景设定。例如，采用卷积核大小为(4*4)，步长为(2*2)的卷积层对夜间图像进行第一预设卷积运算，得到该夜间图像在该次卷积操作后的初始编码特征图。可以理解的是，由于卷积运算的特性，在该初始编码特征图中，所有物体之间的相对位置与在待处理夜间图像中是相同的。图像编码网络应包含多层卷积层，后一层的卷积网络对前一层输出的编码特征图继续进行卷积操作，最后一层输出的编码特征即为该夜间图像的初始编码特征图。
步骤202、对所述初始编码特征图进行重采样操作，得到编码特征图。
本步骤中，对图像编码网络输出的初始编码特征图进行重采样操作，加入随机噪音使得图像生成网络在生成去夜图像时对随机的噪音具有容忍能力，能够从随机噪音中恢复出真实图像。增强了网络对不同监控场景、变化的前景以及一些其他干扰的兼容性，提高了模型的鲁棒性。
在一种实施方式中，参考图3，重采样操作可以包括以下步骤：
分别对初始编码特征图z求均值u与方差o，假设维度为N*M；
采样一个维度为N*M的标准高斯分布图g～N(0,1)；
编码特征的方差u与高斯采样g进行Hadama product(哈达马乘积)，得到维度为N*M的方差采样值o*g；
将均值与方差采样值相加，得到编码特征图Z＝u+o*g。
步骤203、将所述编码特征图输入所述图像生成网络并进行第二预设卷积运算，得到所述去夜图像。
本步骤中，基于重采样操作后的编码特征图，将编码特征图输入图像生成网络，对所述编码特征图进行第二预设卷积运算，最终生成去夜图像。在一种实施方案中，图像生成网络可以是多层转置卷积网络或者深度残差网络，将图像从抽象的编码特征图还原至与夜间图像尺寸相同的去夜图像。
其中，图像生成网络的第二预设卷积运算的过程中，每层的卷积核大小和卷积步长应根据具体的场景设定。例如，采用卷积核大小为(3*3)，步长为(2*2)的卷积层对编码特征行第二预设卷积运算，得到该夜间图像在该次卷积操作后的生成特征。图像生成网络可以包含多层转置卷积层，后一层的卷积网络对前一层输出的生成特征继续进行卷积操作，最后一层输出的生成特征即为最后的生成图像，即去夜图像。
在一种实施方式中，图像生成网络可以使用UNIT结构。可以理解的是，UNIT结构是指每层卷积后得到的生成特征在送去下一层卷积层之前，可以与图像编码网络中卷积过程生成的尺寸相同的编码特征融合为新的特征，这样做的目的是希望每层的生成特征中既有生成过程“翻译”出来的图像新的信息，也有编码过程中压缩的属于原图的信息，使得恢复出来的图像能够保留原图像的画面结构等信息。
在一种实施方式中，图像生成网络可以是一种对抗生成网络。对抗生成网络一般包括图像生成模型和图像判别模型，图像生成模型的目标是生成一张真实度较高的图片，而图像判别模型的目标是能够正确判别一张图片是生成出来的还是真实存在的。也就是说，图像判别模型判断图像生成模型所生成的图像是否为真实的。在模型训练过程中，不断调整图像生成网络的的参数，直到图像判别模型无法判断图像生成网络生成的图片是生成的还是真实的存在。此时，我们便可以得到和真实白天图像相似的去夜图像。
在本发明的一种实施例中，还包括：夜间效果去除模型的训练步骤。参考图4，所述的夜间效果去除模型的训练步骤，包括：
步骤401、构建初始夜间效果去除模型；所述初始夜间效果去除模型包括：初始图像编码网络、初始图像生成网络及初始辅助训练编码网络；其中，所述初始辅助训练编码网络与所述初始图像编码网络层次结构相同，所述初始辅助训练编码网络与所述初始图像编码网络的低层参数互相独立，高层参数共享。
本步骤中，初始辅助训练编码网络接受的样本为白天图像样本，与初始图像编码网络共享参数，目的是为了提取夜间图像样本和白天图像样本之间具有共性的编码特征。
在一种实施方式中，可以基于tensorflow深度学习框架构建初始夜间效果去除模型，以便后续对初始夜间效果去除模型的训练。
步骤402、获取图像样本，一组所述图像样本为同一监控场景下的白天图像样本和夜间图像样本。
本步骤中，可以获取大量图像样本用于训练初始夜间效果去除模型。为了保证训练得到的夜间效果去除模型的去夜效果，该图像样本可以在真实的监控场景中获取。
步骤403、将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，得到每个夜间图像样本的初始编码特征图样本；对所述初始编码特征图样本进行重采样操作，得到编码特征图样本。
在一种实施方式中，先将所述夜间图像样本进行尺寸调整，再送入所述初始图像编码网络。
步骤404、将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，得到每个白天图像样本的初始辅助编码特征图样本；对所述初始辅助编码特征图样本进行重采样操作，得到辅助编码特征图样本。
在一种实施方式中，先将所述白天图像样本进行尺寸调整，再送入所述初始辅助训练编码网络。
在步骤403、步骤404中，获得编码特征图样本和辅助编码特征图样本的过程与前述实施例中获得编码特征图的步骤类似，具体内容不再赘述。
步骤405、根据所述编码特征图样本与所述辅助编码特征图样本之间的KL距离(Kullback-Leibler Distance)，调整所述初始图像编码网络和所述初始辅助训练编码网络的参数，当迭代次数达到第一预设次数时，得到所述图像编码网络。
计算编码特征图样本和辅助编码特征图样本之间的KL距离，调整初始图像编码网络的参数与初始辅助训练编码网络的参数，当迭代次数到达第一预设次数时候，初始图像编码网络可以从夜间图像中提取出与白天图像相近的底层特征，输出至初始图像生成网络进行去夜图像的生成，便可以停止调整初始图像编码网络和初始辅助训练编码网络的参数。其中，第一预设次数可以为1万、2万、5万等，在此不做具体限定。
步骤406、将所述编码特征图样本和所述辅助编码特征图样本分别送入所述初始图像生成网络并进行第二预设卷积运算，由所述编码特征图样本生成去夜图像样本，由所述辅助编码特征图样本生成辅助去夜图像样本。
本步骤中，将编码特征图样本和辅助特征图样本分别送入初始图像生成网络，初始生成网络将两个样本恢复成白天图像，对来自夜间图像的样本来说是去夜过程，对来自白天图像的样本来说是恢复原图的过程。由编码特征图生成去夜图像样本，由辅助编码特征图样本生成辅助去夜图像样本。
步骤407、对比所述白天图像样本与所述去夜图像样本，获得第一差异度；对比所述白天图像样本与所述辅助去夜图像样本，获得第二差异度；根据所述第一差异度和所述第二差异度，调整所述初始图像生成网络的参数，当迭代次数达到第二预设次数时，得到所述图像生成网络。
本步骤中，根据白天图像样本与去夜图像样本，以及白天图像样本与辅助去夜图像样本的差异度，调整初始图像生成网络的参数，其中该差异度可以是生成去夜图像样本(辅助去夜图像样本)与白天图像样本之间的残差等能够表示二者差异的参数。
当迭代次数达到第二预设次数时，说明图像生成网络参数的调整次数已经达到第二预设次数，此时的初始图像生成网络一般已经可以生成真实度较高的去夜图像，所以便可以停止调整初始图像生成网络的参数，得到最终的图像生成网络。其中，第二预设次数可以为1万、2万、5万等，在此不做具体限定。
在一种实施方式中，图像生成网络可以是一种对抗生成网络，包括图片生成模型和图像判别模型，图片生成模型为所述图像生成网络，图像生成网络包含多层的卷积层，图像编码网络的卷积后，图像生成网络的卷积可以对图片进行像素级别的还原，并将图片进行可视化，最终得到去夜图像。
基于同一发明构思，本实施例还提供了一种针对监控视频的夜间效果去除装置。参考图5，所述针对监控视频的夜间效果去除装置，包括：
获取模块501，用于获取监控视频中的待处理夜间图像；
去夜模块502，用于基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。
在一种实施方式中，所述夜间效果去除模型包括：图像编码网络及图像生成网络。所述去夜模块502具体用于：将所述待处理夜间图像输入所述图像编码网络并进行第一预设卷积运算，得到初始编码特征图；对所述初始编码特征图进行重采样操作，得到编码特征图；将所述编码特征图输入所述图像生成网络并进行第二预设卷积运算，得到所述去夜图像。
在一种实施方式中，所述针对监控视频的夜间效果去除装置，还包括：
训练模块503，用于构建初始夜间效果去除模型；所述初始夜间效果去除模型包括：初始图像编码网络、初始图像生成网络及初始辅助训练编码网络；其中，所述初始辅助训练编码网络与所述初始图像编码网络层次结构相同，所述初始辅助训练编码网络与所述初始图像编码网络的低层参数互相独立，高层参数共享；获取图像样本，一组所述图像样本为同一监控场景下的白天图像样本和夜间图像样本；将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，得到每个夜间图像样本的初始编码特征图样本；对所述初始编码特征图样本进行重采样操作，得到编码特征图样本；将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，得到每个白天图像样本的初始辅助编码特征图样本；对所述初始辅助编码特征图样本进行重采样操作，得到辅助编码特征图样本；根据所述编码特征图样本与所述辅助编码特征图样本之间的KL距离，调整所述初始图像编码网络和所述初始辅助训练编码网络的参数，当迭代次数达到第一预设次数时，得到所述图像编码网络；将所述编码特征图样本和所述辅助编码特征图样本分别送入所述初始图像生成网络并进行第二预设卷积运算，由所述编码特征图样本生成去夜图像样本，由所述辅助编码特征图样本生成辅助去夜图像样本；对比所述白天图像样本与所述去夜图像样本，获得第一差异度；对比所述白天图像样本与所述辅助去夜图像样本，获得第二差异度；根据所述第一差异度和所述第二差异度，调整所述初始图像生成网络的参数，当迭代次数达到第二预设次数时，得到所述图像生成网络。
在一种实施方式中，所述去夜模块502还用于：先将所述夜间图像样本进行尺寸调整，再送入所述初始图像编码网络；以及，先将所述白天图像样本进行尺寸调整，再送入所述初始辅助训练编码网络。
在一种实施方式中，所述去夜模块502具体用于：对所述初始编码特征图求均值u与方差o，假设维度为N*M；采样一个维度为N*M的标准高斯分布图g～N(0,1)；将所述方差o与高斯采样g进行哈达马乘积，得到维度为N*M的方差采样值o*g；将所述均值u与所述方差采样值o*g相加，得到所述编码特征图为：Z＝u+o*g。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种针对监控视频的夜间效果去除方法，其特征在于，包括：
获取监控视频中的待处理夜间图像；
基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。
2.根据权利要求1所述的方法，其特征在于，所述夜间效果去除模型包括：图像编码网络及图像生成网络；
所述基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像，包括：
将所述待处理夜间图像输入所述图像编码网络并进行第一预设卷积运算，得到初始编码特征图；
对所述初始编码特征图进行重采样操作，得到编码特征图；
将所述编码特征图输入所述图像生成网络并进行第二预设卷积运算，得到所述去夜图像。
3.根据权利要求2所述的方法，其特征在于，还包括：
构建初始夜间效果去除模型；所述初始夜间效果去除模型包括：初始图像编码网络、初始图像生成网络及初始辅助训练编码网络；其中，所述初始辅助训练编码网络与所述初始图像编码网络层次结构相同，所述初始辅助训练编码网络与所述初始图像编码网络的低层参数互相独立，高层参数共享；
获取图像样本，一组所述图像样本为同一监控场景下的白天图像样本和夜间图像样本；
将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，得到每个夜间图像样本的初始编码特征图样本；对所述初始编码特征图样本进行重采样操作，得到编码特征图样本；
将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，得到每个白天图像样本的初始辅助编码特征图样本；对所述初始辅助编码特征图样本进行重采样操作，得到辅助编码特征图样本；
根据所述编码特征图样本与所述辅助编码特征图样本之间的KL距离，调整所述初始图像编码网络和所述初始辅助训练编码网络的参数，当迭代次数达到第一预设次数时，得到所述图像编码网络；
将所述编码特征图样本和所述辅助编码特征图样本分别送入所述初始图像生成网络并进行第二预设卷积运算，由所述编码特征图样本生成去夜图像样本，由所述辅助编码特征图样本生成辅助去夜图像样本；
对比所述白天图像样本与所述去夜图像样本，获得第一差异度；对比所述白天图像样本与所述辅助去夜图像样本，获得第二差异度；根据所述第一差异度和所述第二差异度，调整所述初始图像生成网络的参数，当迭代次数达到第二预设次数时，得到所述图像生成网络。
4.根据权利要求3所述的方法，其特征在于，所述将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，包括：
先将所述夜间图像样本进行尺寸调整，再送入所述初始图像编码网络；
所述将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，包括：
先将所述白天图像样本进行尺寸调整，再送入所述初始辅助训练编码网络。
5.根据权利要求2所述的方法，其特征在于，所述对所述初始编码特征图进行重采样操作，包括：
对所述初始编码特征图求均值u与方差o，假设维度为N*M；
采样一个维度为N*M的标准高斯分布图g～N(0,1)；
将所述方差o与高斯采样g进行哈达马乘积，得到维度为N*M的方差采样值o*g；
将所述均值u与所述方差采样值o*g相加，得到所述编码特征图为：Z＝u+o*g。
6.一种针对监控视频的夜间效果去除装置，其特征在于，包括：
获取模块，用于获取监控视频中的待处理夜间图像；
去夜模块，用于基于所述待处理夜间图像及预先训练完成的夜间效果去除模型，将所述待处理夜间图像送入所述夜间效果去除模型，获得去夜图像。
7.根据权利要求6所述的装置，其特征在于，所述夜间效果去除模型包括：图像编码网络及图像生成网络；
所述去夜模块具体用于：将所述待处理夜间图像输入所述图像编码网络并进行第一预设卷积运算，得到初始编码特征图；对所述初始编码特征图进行重采样操作，得到编码特征图；将所述编码特征图输入所述图像生成网络并进行第二预设卷积运算，得到所述去夜图像。
8.根据权利要求7所述的装置，其特征在于，还包括：
训练模块，用于构建初始夜间效果去除模型；所述初始夜间效果去除模型包括：初始图像编码网络、初始图像生成网络及初始辅助训练编码网络；其中，所述初始辅助训练编码网络与所述初始图像编码网络层次结构相同，所述初始辅助训练编码网络与所述初始图像编码网络的低层参数互相独立，高层参数共享；获取图像样本，一组所述图像样本为同一监控场景下的白天图像样本和夜间图像样本；将所述夜间图像样本送入所述初始图像编码网络并进行所述第一预设卷积运算，得到每个夜间图像样本的初始编码特征图样本；对所述初始编码特征图样本进行重采样操作，得到编码特征图样本；将所述白天图像样本送入所述初始辅助训练编码网络并进行所述第一预设卷积运算，得到每个白天图像样本的初始辅助编码特征图样本；对所述初始辅助编码特征图样本进行重采样操作，得到辅助编码特征图样本；根据所述编码特征图样本与所述辅助编码特征图样本之间的KL距离，调整所述初始图像编码网络和所述初始辅助训练编码网络的参数，当迭代次数达到第一预设次数时，得到所述图像编码网络；将所述编码特征图样本和所述辅助编码特征图样本分别送入所述初始图像生成网络并进行第二预设卷积运算，由所述编码特征图样本生成去夜图像样本，由所述辅助编码特征图样本生成辅助去夜图像样本；对比所述白天图像样本与所述去夜图像样本，获得第一差异度；对比所述白天图像样本与所述辅助去夜图像样本，获得第二差异度；根据所述第一差异度和所述第二差异度，调整所述初始图像生成网络的参数，当迭代次数达到第二预设次数时，得到所述图像生成网络。
9.根据权利要求8所述的装置，其特征在于，所述去夜模块还用于：先将所述夜间图像样本进行尺寸调整，再送入所述初始图像编码网络；以及，先将所述白天图像样本进行尺寸调整，再送入所述初始辅助训练编码网络。
10.根据权利要求7所述的装置，其特征在于，所述去夜模块具体用于：对所述初始编码特征图求均值u与方差o，假设维度为N*M；采样一个维度为N*M的标准高斯分布图g～N(0,1)；将所述方差o与高斯采样g进行哈达马乘积，得到维度为N*M的方差采样值o*g；将所述均值u与所述方差采样值o*g相加，得到所述编码特征图为：Z＝u+o*g。
CN201711193039.XA 2017-11-24 2017-11-24 一种针对监控视频的夜间效果去除方法及装置 Active CN108198138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711193039.XA CN108198138B (zh) 2017-11-24 2017-11-24 一种针对监控视频的夜间效果去除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711193039.XA CN108198138B (zh) 2017-11-24 2017-11-24 一种针对监控视频的夜间效果去除方法及装置

Publications (2)

Publication Number Publication Date
CN108198138A true CN108198138A (zh) 2018-06-22
CN108198138B CN108198138B (zh) 2019-05-03

Family

ID=62573008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711193039.XA Active CN108198138B (zh) 2017-11-24 2017-11-24 一种针对监控视频的夜间效果去除方法及装置

Country Status (1)

Country Link
CN (1) CN108198138B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276715A (zh) * 2019-05-14 2019-09-24 北京邮电大学 一种图像去夜方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665034A (zh) * 2012-03-16 2012-09-12 江苏华枫物联网科技有限公司 一种针对摄像机采集视频的夜间效果去除方法
CN103700066A (zh) * 2013-12-05 2014-04-02 莱阳市科盾通信设备有限责任公司 一种便携式夜视装备视频图像处理方法
CN105631829A (zh) * 2016-01-15 2016-06-01 天津大学 基于暗通道先验与颜色校正的夜间雾霾图像去雾方法
CN106709893A (zh) * 2016-12-28 2017-05-24 西北大学 一种全天时雾霾图像清晰化恢复方法
CN106778701A (zh) * 2017-01-20 2017-05-31 福州大学 一种加入Dropout的卷积神经网络的果蔬图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665034A (zh) * 2012-03-16 2012-09-12 江苏华枫物联网科技有限公司 一种针对摄像机采集视频的夜间效果去除方法
CN103700066A (zh) * 2013-12-05 2014-04-02 莱阳市科盾通信设备有限责任公司 一种便携式夜视装备视频图像处理方法
CN105631829A (zh) * 2016-01-15 2016-06-01 天津大学 基于暗通道先验与颜色校正的夜间雾霾图像去雾方法
CN106709893A (zh) * 2016-12-28 2017-05-24 西北大学 一种全天时雾霾图像清晰化恢复方法
CN106778701A (zh) * 2017-01-20 2017-05-31 福州大学 一种加入Dropout的卷积神经网络的果蔬图像识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276715A (zh) * 2019-05-14 2019-09-24 北京邮电大学 一种图像去夜方法和装置
CN110276715B (zh) * 2019-05-14 2020-07-17 北京邮电大学 一种图像去夜方法和装置

Also Published As

Publication number Publication date
CN108198138B (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN110084757B (zh) 一种基于生成对抗网络的红外深度图像增强方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN104620282B (zh) 用于抑制图像中的噪声的方法和系统
CN101639938B (zh) 一种基于双边滤波器和余量去卷积的图像复原方法
CN107392852B (zh) 深度图像的超分辨率重建方法、装置、设备及存储介质
CN110223251B (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN108921196A (zh) 一种改进全卷积神经网络的语义分割方法
CN107205154B (zh) 一种基于矩阵补全的无线多媒体传感网图像压缩采集方法
CN111476745B (zh) 一种进行运动模糊超分辨的多分支网络及方法
CN111340901B (zh) 基于生成式对抗网络的复杂环境下输电网图片的压缩方法
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN110223245B (zh) 基于深度神经网络的模糊图片清晰化处理方法及系统
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN110852948A (zh) 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111784596A (zh) 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
CN112330761B (zh) 基于混合精度训练的深度ect图像增强方法
CN108198138B (zh) 一种针对监控视频的夜间效果去除方法及装置
CN111429374A (zh) 图像中摩尔纹的消除方法及装置
Zhu et al. Image guided depth enhancement via deep fusion and local linear regularizaron
CN114972061A (zh) 一种暗光视频去噪增强方法及系统
CN108876728B (zh) 基于残差学习的单幅图像去雾方法
CN117315336A (zh) 花粉颗粒识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant