CN111147924A - 一种视频增强处理方法及系统 - Google Patents

一种视频增强处理方法及系统 Download PDF

Info

Publication number
CN111147924A
CN111147924A CN201911352154.6A CN201911352154A CN111147924A CN 111147924 A CN111147924 A CN 111147924A CN 201911352154 A CN201911352154 A CN 201911352154A CN 111147924 A CN111147924 A CN 111147924A
Authority
CN
China
Prior art keywords
channel
loss
network
frame
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911352154.6A
Other languages
English (en)
Other versions
CN111147924B (zh
Inventor
王栋
陆明
魏晨朝
姜东�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuhang Technology Beijing Co Ltd
Original Assignee
Shuhang Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuhang Technology Beijing Co Ltd filed Critical Shuhang Technology Beijing Co Ltd
Priority to CN201911352154.6A priority Critical patent/CN111147924B/zh
Publication of CN111147924A publication Critical patent/CN111147924A/zh
Application granted granted Critical
Publication of CN111147924B publication Critical patent/CN111147924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频增强处理方法及系统，方法包括：获取目标视频，确定目标视频的类别标签是否满足第一预设条件，若是，将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第一预设条件，若是，则：将该帧的亮度通道输入深度学习网络，生成增强的亮度通道；将增强的亮度通道与色度通道合并，生成增强的帧。本发明能够通过深度学习网络对目标视频的亮度通道的对比度进行增强，有效的提升视频主观质量，自适应提高视频对比度，增强视频的细节特征。

Description

一种视频增强处理方法及系统
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频增强处理方法及系统。
背景技术
目前，对视频对比度的提高大都利用传统的方法，如，Gamma校正、Retinex算法、直方图均衡化等，或者通过简单调节某些颜色通道的值来实现。现有方案的缺点是：1)普适性较差，对不同类别视频做自适应性处理，需要增加繁琐的判断逻辑；2)鲁棒性较差，处理后的视频或图片容易出现颜色失真、过曝等情况。
因此，如何有效的提升视频主观质量，自适应提高视频对比度，增强视频的细节特征，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种视频增强处理方法，能够有效的提升视频主观质量，自适应提高视频对比度，增强视频的细节特征。
本发明提供了
一种视频增强处理方法，包括：
获取目标视频；
确定所述目标视频的类别标签是否满足第一预设条件，若是，则：
将所述目标视频转换为YUV格式，并将通道分离为亮度通道和色度通道；
提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，若是，则：
将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；
将所述增强的亮度通道与所述色度通道合并，生成增强的帧。
优选地，所述方法还包括：
训练所述深度学习网络。
优选地，训练所述深度学习网络，包括：
准备训练数据集，其中，所述训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的图像；
训练教师网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述教师网络损失等于第一生成损失与原始损失之和，其中，所述第一生成损失等于深度学习网络生成图像与目标图像亮度通道的均方误差，所述原始损失等于深度学习网络生成图像与输入网络图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；
基于所述教师网络训练学生网络，减小网络耗时；将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述学生网络损失等于蒸馏损失与第二生成损失之和，其中，所述蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，所述第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。
优选地，所述提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，包括：
提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道像素均值，以及与上一帧的像素均值之差的绝对值是否满足第二预设条件。
一种视频增强处理系统，包括：
获取模块，用于获取目标视频；
确定模块，用于确定所述目标视频的类别标签是否满足第一预设条件；
转换模块，用于当所述目标视频的类别标签满足第一预设条件时，将所述目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；
判断模块，用于提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件；
第一生成模块，用于当每帧的亮度通道满足第二预设条件时，将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；
合并模块，用于将所述增强的亮度通道的帧与所述色度通道的帧合并，生成增强的帧。
优选地，所述系统还包括：
第二生成模块，用于训练所述深度学习网络。
优选地，所述第二生成模块在执行训练所述深度学习网络时，具体用于：
准备训练数据集，其中，所述训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的图像；
训练教师网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述教师网络损失等于第一生成损失与原始损失之和，其中，所述第一生成损失等于深度学习网络生成图像与目标图像的均方误差，所述原始损失等于深度学习网络生成图像与原始图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；
基于所述教师网络训练学生网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述学生网络损失等于蒸馏损失与第二生成损失之和，其中，所述蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，所述第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。
优选地，所述判断模块在执行提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件时，具体用于：
提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道像素均值，以及与上一帧的像素均值之差的绝对值是否满足第二预设条件。
综上所述，本发明公开了一种视频增强处理方法，当需要对视频进行增强处理时，首先获取目标视频，确定目标视频的类别标签满足第一预设条件时，将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道，提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第一预设条件，若是，则：将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；然后将增强的亮度通道的帧与所述色度通道的帧合并，生成增强的帧。本发明能够通过深度学习网络对目标视频的亮度通道的对比度进行增强，有效的提升视频主观质量，自适应提高视频对比度，增强视频的细节特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种视频增强处理方法实施例1的方法流程图；
图2为本发明公开的一种视频增强处理方法实施例2的方法流程图；
图3为本发明公开的一种视频增强处理系统实施例1的结构示意图；
图4为本发明公开的一种视频增强处理系统实施例2的结构示意图；
图5为本发明公开的教师网络结构示意图；
图6为本发明公开的学生网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种视频增强处理方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、获取目标视频；
当需要对视频进行增强处理时，首先获取目标视频，即，首先获取需要进行增强处理的视频。
S102、确定目标视频的类别标签是否满足第一预设条件，若是，则进入S103：
在获取到目标视频后，进一步判断目标视频的类别标签是否满足第一预设条件，如果目标视频的类别标签不满足第一预设条件，将不再对目标视频进行增强处理。通过判断目标视频的类别标签是否满足第一预设条件，能够区分出某些颜色敏感类视频，如美妆等。
S103、将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；
在确定目标视频的类别标签满足第一预设条件后，进一步对目标视频进行格式转换，将目标视频转换为YUV格式。其中，YUV格式是一种图片格式，是由Y、U、V三种部分组成，Y表示亮度，U、V表示颜色的色度。在将目标视频转换为YUV格式后，进一步将目标视频分离为亮度通道和色度通道。
S104、提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，若是，则进入S105：
在将目标视频通道分离为亮度通道和色度通道后，进一步提取出目标视频每帧的亮度通道，并对提取出的每帧的亮度通道进行判断，判断亮度通道是否满足第二预设条件，即，判断亮度通道是否满足增强处理条件。
S105、将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；
当判断亮度通道满足第一预设条件时，将满足第二预设条件的亮度通道输入预先训练好的深度学习网络，生成增强的亮度通道。
S106、将增强的亮度通道的帧与色度通道的帧合并，生成增强的帧。
然后将生成的增强的亮度通道的帧与目标视频色度通道的帧合并，合成增强的帧，直至所有增强的亮度通道的帧合并后，完成增强的视频。
综上所述，在上述实施例中，当需要对视频进行增强处理时，首先获取目标视频，确定目标视频的类别标签满足第一预设条件时，将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道，提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第一预设条件，若是，则：将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；然后将增强的亮度通道的帧与所述色度通道的帧合并，生成增强的帧。本发明能够通过深度学习网络对目标视频的亮度通道的对比度进行增强，有效的提升视频主观质量，自适应提高视频对比度，增强视频的细节特征。
如图2所示，为本发明公开的一种视频增强处理方法实施例2的方法流程图，所述方法可以包括以下步骤：
S201、训练深度学习网络；
当需要对视频进行增强处理时，首先训练用于对比度增强的深度学习网络。
具体的，在训练深度学习网络时，首先准备训练数据集，其中，训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的约22K张图像；
然后，训练教师网络，将iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，教师网络损失等于第一生成损失与原始损失之和，其中，第一生成损失等于深度学习网络生成图像与目标图像亮度通道的均方误差，原始损失等于深度学习网络生成图像与输入网络图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；
然后，基于教师网络训练学生网络，减小网络耗时；将iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，学生网络损失等于蒸馏损失与第二生成损失之和，其中，蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。
具体的，如图5所示，为教师网络的结构示意图，如图6所示，为学生网络的结构示意图。
S202、获取目标视频；
在对视频进行增强处理时，获取目标视频，即，首先获取需要进行增强处理的视频。
S203、确定目标视频的类别标签是否满足第一预设条件，若是，则进入S204：
在获取到目标视频后，进一步判断目标视频的类别标签是否满足第一预设条件，如果目标视频的类别标签不满足第一预设条件，将不再对目标视频进行增强处理。通过判断目标视频的类别标签是否满足第一预设条件，能够区分出某些颜色敏感类视频，如美妆等。
S204、将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；
在确定目标视频的类别标签满足第一预设条件后，进一步对目标视频进行格式转换，将目标视频转换为YUV格式。其中，YUV格式是一种图片格式，是由Y、U、V三种部分组成，Y表示亮度，U、V表示颜色的色度。在将目标视频转换为YUV格式后，进一步将目标视频分离为亮度通道和色度通道。
S205、提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，若是，则进入S206：
在将目标视频通道分离为亮度通道和色度通道后，进一步提取出目标视频每帧的亮度通道，并对提取出的每帧的亮度通道进行判断，判断亮度通道是否满足第二预设条件，即，判断亮度通道是否满足增强处理条件。
S206、将该帧的亮度通道输入深度学习网络，生成增强的亮度通道；
当判断亮度通道满足第二预设条件时，将满足第二预设条件的亮度通道输入训练好的深度学习网络，生成增强的亮度通道。
S207、将增强的亮度通道的帧与色度通道的帧合并，生成增强的帧。
然后将生成的增强的亮度通道的帧与目标视频色度通道的帧合并，合成增强的帧，直至所有增强的亮度通道的帧合并后，完成对比度增强的视频。
综上所述，本实施例在上述实施例的基础上，在训练深度学习网络时，能够采用训练生成的教师网络去指导训练学生网络，在保持主观质量一致的情况下，能够使得网络预测时间缩小一倍；另外，通过提取目标视频每帧的亮度通道，只对亮度通道进行处理，能够在尽可能保留原始图像/视频的颜色风格的基础上，加快处理速度，进一步提升了用户体验；在对目标视频进行增强处理时，通过预先判断目标视频的类别标签是否满足第一预设条件，能够有效的跳过某些颜色敏感类视频，实现只对目标视频的类别标签满足第一预设条件的目标视频进行增强处理，以达到更好的视频增强处理效果。
如图3所示，为本发明公开的一种视频增强处理系统实施例1的结构示意图，所述系统可以包括：
获取模块301，用于获取目标视频；
当需要对视频进行增强处理时，首先获取目标视频，即，首先获取需要进行增强处理的视频。
确定模块302，用于确定目标视频的类别标签是否满足第一预设条件；
在获取到目标视频后，进一步判断目标视频的类别标签是否满足第一预设条件，如果目标视频的类别标签不满足第一预设条件，将不再对目标视频进行增强处理。通过判断目标视频的类别标签是否满足第一预设条件，能够区分出某些颜色敏感类视频，如美妆等。
转换模块303，用于当目标视频的类别标签满足第一预设条件时，将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；
在确定目标视频的类别标签满足第一预设条件后，进一步对目标视频进行格式转换，将目标视频转换为YUV格式。其中，YUV格式是一种图片格式，是由Y、U、V三种部分组成，Y表示亮度，U、V表示颜色的色度。在将目标视频转换为YUV格式后，进一步将目标视频分离为亮度通道和色度通道。
判断模块304，用于提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件；
在将目标视频通道分离为亮度通道和色度通道后，进一步提取出目标视频每帧的亮度通道，并对提取出的每帧的亮度通道进行判断，判断亮度通道是否满足第二预设条件，即，判断亮度通道是否满足增强处理条件。
第一生成模块305，用于当每帧的亮度通道满足第二预设条件时，将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；
当判断亮度通道满足第二预设条件时，将满足第二预设条件的亮度通道输入预先训练好的深度学习网络，生成增强的亮度通道。
合并模块306，用于将增强的亮度通道的帧与色度通道的帧合并，生成增强的帧。
然后将生成的增强的亮度通道的帧与目标视频色度通道的帧合并，合成增强的帧，直至所有增强的亮度通道的帧合并后，完成对比度增强的视频。
综上所述，在上述实施例中，当需要对视频进行增强处理时，首先获取目标视频，确定目标视频的类别标签满足第一预设条件时，将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道，提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第一预设条件，若是，则：将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；然后将增强的亮度通道的帧与所述色度通道的帧合并，生成增强的帧。本发明能够通过深度学习网络对目标视频的亮度通道的对比度进行增强，有效的提升视频主观质量，自适应提高视频对比度，增强视频的细节特征。
如图4所示，为本发明公开的一种视频增强处理系统实施例2的结构示意图，所述系统可以包括：
第二生成模块401，用于训练深度学习网络；
当需要对视频进行增强处理时，首先训练用于对比度增强的深度学习网络。
具体的，在训练深度学习网络时，首先准备训练数据集，其中，训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的约22K张图像；
然后，训练教师网络，将iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，教师网络损失等于第一生成损失与原始损失之和，其中，第一生成损失等于深度学习网络生成图像与目标图像亮度通道的均方误差，原始损失等于深度学习网络生成图像与输入网络图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；
然后，基于教师网络训练学生网络，减小网络耗时；将iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，学生网络损失等于蒸馏损失与第二生成损失之和，其中，蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。
具体的，如图5所示，为教师网络的结构示意图，如图6所示，为学生网络的结构示意图。
获取模块402，用于获取目标视频；
在对视频进行增强处理时，获取目标视频，即，首先获取需要进行增强处理的视频。
确定模块403，用于确定目标视频的类别标签是否满足第一预设条件；
在获取到目标视频后，进一步判断目标视频的类别标签是否满足第一预设条件，如果目标视频的类别标签不满足第一预设条件，将不再对目标视频进行增强处理。通过判断目标视频的类别标签是否满足第一预设条件，能够区分出某些颜色敏感类视频，如美妆等。
转换模块404，用于当目标视频的类别标签是否满足第一预设条件时，将目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；
在确定目标视频的类别标签满足第一预设条件后，进一步对目标视频进行格式转换，将目标视频转换为YUV格式。其中，YUV格式是一种图片格式，是由Y、U、V三种部分组成，Y表示亮度，U、V表示颜色的色度。在将目标视频转换为YUV格式后，进一步将目标视频分离为亮度通道和色度通道。
判断模块405，用于提取目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件；
在将目标视频通道分离为亮度通道和色度通道后，进一步提取出目标视频每帧的亮度通道，并对提取出的每帧的亮度通道进行判断，判断亮度通道是否满足第二预设条件，即，判断亮度通道是否满足增强处理条件。
第一生成模块406，用于当每帧的亮度通道满足第二预设条件时，将该帧的亮度通道输入深度学习网络，生成增强的亮度通道；
当判断亮度通道满足第二预设条件时，将满足第二预设条件的亮度通道输入训练好的深度学习网络，生成增强的亮度通道。
合并模块407，用于将增强的亮度通道的帧与色度通道的帧合并，生成增强的帧。
然后将生成的增强的亮度通道的帧与目标视频色度通道的帧合并，合成增强的帧，直至所有增强的亮度通道的帧合并后，完成对比度增强的视频。
综上所述，本实施例在上述实施例的基础上，在训练深度学习网络时，能够采用训练生成的教师网络去指导训练学生网络，在保持主观质量一致的情况下，能够使得网络预测时间缩小一倍；另外，通过提取目标视频每帧的亮度通道，只对亮度通道进行处理，能够在尽可能保留原始图像/视频的颜色风格的基础上，加快处理速度，进一步提升了用户体验；在对目标视频进行增强处理时，通过预先判断目标视频的类别标签是否满足第一预设条件，能够有效的跳过某些颜色敏感类视频，实现只对目标视频的类别标签满足第一预设条件的目标视频进行增强处理，以达到更好的视频增强处理效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种视频增强处理方法，其特征在于，包括：
获取目标视频；
确定所述目标视频的类别标签是否满足第一预设条件，若是，则：
将所述目标视频转换为YUV格式，并将通道分离为亮度通道和色度通道；
提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，若是，则：
将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；
将所述增强的亮度通道与所述色度通道合并，生成增强的帧。
2.根据权利要求1所述的方法，其特征在于，还包括：
训练所述深度学习网络。
3.根据权利要求2所述的方法，其特征在于，训练所述深度学习网络，包括：
准备训练数据集，其中，所述训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的图像；
训练教师网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述教师网络损失等于第一生成损失与原始损失之和，其中，所述第一生成损失等于深度学习网络生成图像与目标图像亮度通道的均方误差，所述原始损失等于深度学习网络生成图像与输入网络图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；
基于所述教师网络训练学生网络，减小网络耗时；将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述学生网络损失等于蒸馏损失与第二生成损失之和，其中，所述蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，所述第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。
4.根据权利要求1所述的方法，其特征在于，所述提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件，包括：
提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道像素均值，以及与上一帧的像素均值之差的绝对值是否满足第二预设条件。
5.一种视频增强处理系统，其特征在于，包括：
获取模块，用于获取目标视频；
确定模块，用于确定所述目标视频的类别标签是否满足第一预设条件；
转换模块，用于当所述目标视频的类别标签满足第一预设条件时，将所述目标视频转换为YUV格式，并进行通道分离为亮度通道和色度通道；
判断模块，用于提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件；
第一生成模块，用于当每帧的亮度通道满足第二预设条件时，将该帧的亮度通道输入训练好的深度学习网络，生成增强的亮度通道；
合并模块，用于将所述增强的亮度通道的帧与所述色度通道的帧合并，生成增强的帧。
6.根据权利要求5所述的系统，其特征在于，还包括：
第二生成模块，用于训练所述深度学习网络。
7.根据权利要求6所述的系统，其特征在于，所述第二生成模块在执行训练所述深度学习网络时，具体用于：
准备训练数据集，其中，所述训练数据集包括：iPhone 3gs和单反相机在室外同步拍摄的图像；
训练教师网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述教师网络损失等于第一生成损失与原始损失之和，其中，所述第一生成损失等于深度学习网络生成图像与目标图像的均方误差，所述原始损失等于深度学习网络生成图像与原始图像的均方误差；不断减小所述损失，直到该损失趋于平稳，得到训练好的教师网络；
基于所述教师网络训练学生网络，将所述iPhone 3gs拍摄的图像的亮度通道输入网络，得到增强的亮度通道，然后计算输入对应的所述单反相机拍摄图像的亮度图像与增强的亮度通道的损失，其中，所述学生网络损失等于蒸馏损失与第二生成损失之和，其中，所述蒸馏损失等于教师网络中间层输出与学生网络相对应中间层输出的均方误差，所述第二生成损失等于学生网络生成图像与教师网络生成图像的均方误差，不断减小所述损失，直到该损失趋于平稳，得到训练好的学生网络。
8.根据权利要求5所述的系统，其特征在于，所述判断模块在执行提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道是否满足第二预设条件时，具体用于：
提取所述目标视频每帧的亮度通道，分别判断每帧的亮度通道像素均值，以及与上一帧的像素均值之差的绝对值是否满足第二预设条件。
CN201911352154.6A 2019-12-24 2019-12-24 一种视频增强处理方法及系统 Active CN111147924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911352154.6A CN111147924B (zh) 2019-12-24 2019-12-24 一种视频增强处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911352154.6A CN111147924B (zh) 2019-12-24 2019-12-24 一种视频增强处理方法及系统

Publications (2)

Publication Number Publication Date
CN111147924A true CN111147924A (zh) 2020-05-12
CN111147924B CN111147924B (zh) 2022-10-04

Family

ID=70519794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911352154.6A Active CN111147924B (zh) 2019-12-24 2019-12-24 一种视频增强处理方法及系统

Country Status (1)

Country Link
CN (1) CN111147924B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019827A (zh) * 2020-09-02 2020-12-01 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质
CN115601274A (zh) * 2021-07-07 2023-01-13 荣耀终端有限公司（Cn） 图像处理方法、装置和电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100743A1 (en) * 2006-10-25 2008-05-01 Samsung Electronics Co., Ltd. Display device and method of improving flicker of image
CN102202163A (zh) * 2011-05-13 2011-09-28 成都西图科技有限公司 一种监控视频的自适应增强方法及其装置
CN103379346A (zh) * 2012-04-23 2013-10-30 深圳市融创天下科技股份有限公司 一种yuv格式图像的色度信息处理方法、装置及系统
US20150046953A1 (en) * 2013-08-07 2015-02-12 AudioStreamTV Inc. Systems and Methods for Providing Synchronized Content
CN104811587A (zh) * 2015-04-21 2015-07-29 深圳市载德光电技术开发有限公司 一种图像亮度色度调节方法、装置和系统
CN105407296A (zh) * 2015-11-18 2016-03-16 腾讯科技（深圳）有限公司 实时视频增强方法和装置
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN108062746A (zh) * 2016-11-09 2018-05-22 深圳市优朋普乐传媒发展有限公司 一种视频图像处理方法与装置、视频编码系统
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
US20190266701A1 (en) * 2019-03-14 2019-08-29 Intel Corporation Generating gaze corrected images using bidirectionally trained network
CN110458765A (zh) * 2019-01-25 2019-11-15 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100743A1 (en) * 2006-10-25 2008-05-01 Samsung Electronics Co., Ltd. Display device and method of improving flicker of image
CN102202163A (zh) * 2011-05-13 2011-09-28 成都西图科技有限公司 一种监控视频的自适应增强方法及其装置
CN103379346A (zh) * 2012-04-23 2013-10-30 深圳市融创天下科技股份有限公司 一种yuv格式图像的色度信息处理方法、装置及系统
US20150046953A1 (en) * 2013-08-07 2015-02-12 AudioStreamTV Inc. Systems and Methods for Providing Synchronized Content
CN104811587A (zh) * 2015-04-21 2015-07-29 深圳市载德光电技术开发有限公司 一种图像亮度色度调节方法、装置和系统
CN105407296A (zh) * 2015-11-18 2016-03-16 腾讯科技（深圳）有限公司 实时视频增强方法和装置
CN108062746A (zh) * 2016-11-09 2018-05-22 深圳市优朋普乐传媒发展有限公司 一种视频图像处理方法与装置、视频编码系统
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN110458765A (zh) * 2019-01-25 2019-11-15 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法
US20190266701A1 (en) * 2019-03-14 2019-08-29 Intel Corporation Generating gaze corrected images using bidirectionally trained network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
方明等: "低照度视频图像增强算法综述", 《长春理工大学学报(自然科学版)》 *
谭海曙等: "基于神经网络的图像亮度和对比度自适应增强", 《光电子.激光》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019827A (zh) * 2020-09-02 2020-12-01 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质
CN115601274A (zh) * 2021-07-07 2023-01-13 荣耀终端有限公司（Cn） 图像处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN111147924B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN110378859B (zh) 一种新的高动态范围图像生成方法
KR101257942B1 (ko) 광역 역광보정 영상처리에서의 전처리 방법 및 장치
JP3668014B2 (ja) 画像処理方法及び装置
US7680326B2 (en) Method, system, and program for correcting the image quality of a moving image
JP6415062B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
KR101023944B1 (ko) 영상 처리 장치 및 그 방법
CN113518185B (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
JP3959909B2 (ja) ホワイトバランス調整方法及び調整装置
CN111147924B (zh) 一种视频增强处理方法及系统
CN113297937B (zh) 一种图像处理方法、装置、设备及介质
JP2018206144A (ja) 画像処理装置、画像処理方法及びプログラム
KR102192016B1 (ko) 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
JP4635975B2 (ja) 画像処理装置及び画像処理方法
CN110136085B (zh) 一种图像的降噪方法及装置
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
WO2022111269A1 (zh) 视频的细节增强方法、装置、移动终端和存储介质
KR102338877B1 (ko) 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법
CN105631812B (zh) 一种对显示图像进行色彩增强的控制方法及控制装置
KR101903428B1 (ko) 연관 이미지간 컬러 보정 시스템 및 보정방법
KR101039404B1 (ko) 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법
CN112308785B (zh) 图像去噪方法、存储介质及终端设备
KR102389304B1 (ko) 주변 영역을 고려한 이미지 인페인팅 방법 및 디바이스
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant