CN105959663A - 视频帧间信号连续性的优化处理方法、系统及拍摄终端 - Google Patents

视频帧间信号连续性的优化处理方法、系统及拍摄终端 Download PDF

Info

Publication number
CN105959663A
CN105959663A CN201610351686.8A CN201610351686A CN105959663A CN 105959663 A CN105959663 A CN 105959663A CN 201610351686 A CN201610351686 A CN 201610351686A CN 105959663 A CN105959663 A CN 105959663A
Authority
CN
China
Prior art keywords
video
frame
color
pixel
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610351686.8A
Other languages
English (en)
Other versions
CN105959663B (zh
Inventor
万鹏飞
程安
张伟
傅松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201610351686.8A priority Critical patent/CN105959663B/zh
Publication of CN105959663A publication Critical patent/CN105959663A/zh
Application granted granted Critical
Publication of CN105959663B publication Critical patent/CN105959663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Abstract

本发明公开了一种视频帧间信号连续性的优化处理方法、系统及拍摄终端,其通过对原始视频的各个视频帧进行图像增强的处理得到增强视频,并根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值,最后根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理得到输出视频,从而有效解决视频时间域信号不连续的问题,并能够避免重影现象,提高视频的观看质量。

Description

视频帧间信号连续性的优化处理方法、系统及拍摄终端
技术领域
本发明涉及视频信号处理技术,特别是涉及一种视频帧间信号连续性的优化处理方法及其应用该方法的系统、拍摄终端。
背景技术
随着网络传输和存储容量的更新换代,视频越来越成为人们重要的娱乐和社交媒介。特别是智能手机的普及,人们对视频信号处理的需求与日俱增。但由于拍摄条件的限制,一般用户拍摄的视频质量常常不够理想。比如说,在暗光条件下拍摄的视频经常会有严重的噪点;天气情况不好的时候,拍摄出的视频常常会有色彩饱和度低,对比度差的情况。
针对这样的情况,自动又好用的视频处理算法成为一个日益突出的痛点。在现有的视频处理方法中,一般分为两大类。一类方法利用到视频帧间的时序信息进行信号质量的改善,但这往往涉及到大量的块匹配,计算复杂度过高,难以满足手机用户对于算法运算时间的要求。另外一类方法将图像处理领域的成熟技术直接应用到视频中,即对视频的每一帧单独进行图像质量改善(如去噪,调节亮度,调节对比度,调节色彩饱和度,锐化等)。这样的方法执行效率高,但由于每一帧视频都是单独处理的,会出现处理过后的视频帧间信号不连续的问题。举例来说,一般的调节图像色彩饱和度的方法是基于图像直方图推算出一个色彩变换的函数。视频前后帧由于内容的差别,直方图很可能不一样,因此应用在前后帧的色彩变换函数也不一样。这样就会导致同样一个物体在处理后的视频中的前一帧是淡黄色,而后一帧则变成深黄色甚至橘黄色。这样的视频在播放的时候,就会出现明显的时间域上的信号波动,影响观看质量。
发明内容
本发明为解决上述问题,提供了一种视频帧间信号连续性的优化处理方法、系统及拍摄终端,从而解决视频帧间信号不连续的问题。
为实现上述目的,本发明采用的技术方案为:
首先,本发明提供一种视频帧间信号连续性的优化处理方法,其包括以下步骤:
10.对原始视频的各个视频帧进行图像增强的处理,得到增强视频;
20.根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值;
30.根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理,得到输出视频。
优选的,所述的步骤10中,所述图像增强的处理包括以下一种或一种以上的组合:图像亮度调节、图像对比度调节、图像色调调节、图像去噪处理,图像饱和度调节、图像锐化处理、图像白平衡处理。
优选的,所述的步骤20中,所述原始视频的结构信息,其计算方法如下:
B ~ ( i , j , k , c ) = B ( i , j , k , c ) - m e a n ( B ( i , j , k , c ) ) ;
其中,B(i,j,k,c)是一个大小为BW*BH*BD的矩阵,表示所述原始视频中在第k个视频帧上以(i,j)像素为中心的宽度为BW个像素高度为BH个像素时间宽度为BD个帧的像素块在颜色通道c上的像素值,mean(B(i,j,k,c))是一个大小与B(i,j,k,c)一样的常数矩阵,其值为B(i,j,k,c)所有元素的平均值,表示所述像素块在颜色通道c的结构信息。
优选的,所述的步骤20中,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,进一步包括:
21.根据所述原始视频的结构信息计算所述增强视频的当前视频帧与前后视频帧之间的时间距离和颜色距离;
22.根据所述时间距离和颜色距离计算所述增强视频的当前视频帧的相似性权值。
优选的,所述的步骤21中,所述增强视频的当前视频帧与前后视频帧之间的颜色距离的计算方法如下:
diff c o l o r ( i , j , k ) = Σ c = 0 , 1 , 2 | B ~ ( i , j , k , c ) - B ~ ( i , j , t , c ) | ;
其中,第t帧表示所述当前视频帧,第k帧表示该当前视频帧相邻的某个视频帧,k=t-n,…,t+n;表示所述原始视频在第k个视频帧上以(i,j)像素为中心的像素块在颜色通道c中的结构信息;表示所述原始视频在第t个视频帧上以(i,j)像素为中心的像素块在颜色通道c的结构信息;diffcolor(i,j,k)表示所述增强视频的第t个视频帧与第k个视频帧之间在(i,j)像素处的颜色距离。
优选的,所述的步骤22中,所述相似性权值的计算方法如下:
W(i,j,k)=f(difftime(k))*g(diffcolor(i,j,k));
其中,difftime(k)=|k-t|,表示所述增强视频的第k个视频帧与当前第t个视频帧之间的时间距离,diffcolor(i,j,k)表示所述增强视频的第k个视频帧与当前第t个视频帧之间在(i,j)像素处的颜色距离,f(x)和g(x)是随着实数x增大而下降的函数,f(difftime(k))表示基于时间距离计算得到的所述第k个视频帧与当前第t个视频帧之间的相似性,g(diffcolor(i,j,k))表示基于颜色距离计算得到的所述第k个视频帧与当前第t个视频帧之间在(i,j)像素处的相似性,W(i,j,k)表示所述增强视频的第k个视频帧相对于当前第t帧在(i,j)像素处的相似性权值。
优选的,所述的步骤30中,对所述增强视频的各个视频帧进行时间域上的信号平滑处理,是指对所述增强视频的所有视频帧进行双边滤波的处理。
优选的,所述的双边滤波,是通过对所述增强视频的各个视频帧的像素值进行加权平均,即,所述平滑处理后的输出视频的各个视频帧的像素值的计算方法为:
O ( i , j , t , c ) = Σ k = t - n t + n W ( i , j , k ) * P ( i , j , k , c ) ;
其中,W(i,j,k)表示所述增强视频的第k个视频帧在(i,j)像素处的相似性权值,P(i,j,k,c)表示所述第k个视频帧上在(i,j)像素处的第c个颜色通道的颜色值,O(i,j,t,c)表示平滑处理后的第t个视频帧上在(i,j)像素处的第c个颜色通道的颜色值。
其次,本发明提供一种视频帧间信号连续性的优化处理系统,其包括:
增强处理模块,用于对原始视频的各个视频帧进行图像增强的处理,得到增强视频;
相似性计算模块,用于根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值;
平滑处理模块,用于根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理,得到输出视频。
另外,本发明还提供一种拍摄终端,该拍摄终端包括如上所述的视频帧间信号连续性的优化处理系统。
本发明的有益效果是:
本发明的一种视频帧间信号连续性的优化处理方法、系统及拍摄终端,其通过对原始视频的各个视频帧进行图像增强的处理得到增强视频,并根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值,最后根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理得到输出视频,从而有效解决视频时间域信号不连续的问题,并能够避免重影现象,提高视频的观看质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明视频帧间信号连续性的优化处理方法的流程简图;
图2为本发明视频帧间信号连续性的优化处理过程示意图;
图3为本发明的原始视频中的各个视频帧上的像素块的示意图;
图4为本发明的增强视频中进行时间域上的平滑处理示意图;
图5为本发明视频帧间信号连续性的优化处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1至图2所示,本发明的一种视频帧间信号连续性的优化处理方法,其包括以下步骤:
10.对原始视频的各个视频帧进行图像增强的处理,得到增强视频;
20.根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值;
30.根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理,得到输出视频。
所述的步骤10中,所述图像增强的处理包括以下一种或一种以上的组合:图像亮度调节、图像对比度调节、图像色调调节、图像去噪处理,图像饱和度调节、图像锐化处理、图像白平衡处理,等等,不以此为限。由于该步骤中的图像增强的处理没有考虑帧与帧之间的关联性,因此将导致所述增强视频帧间信号不连续的现象。
所述的步骤20中,所述原始视频的结构信息,其计算方法如下:
B ~ ( i , j , k , c ) = B ( i , j , k , c ) - m e a n ( B ( i , j , k , c ) ) ;
其中,如图3所示,B(i,j,k,c)是一个大小为BW*BH*BD的矩阵,表示所述原始视频中在第k个视频帧上以(i,j)像素为中心的宽度为BW个像素高度为BH个像素时间宽度为BD个帧的像素块在颜色通道c上的像素值,mean(B(i,j,k,c))是一个大小与B(i,j,k,c)一样的常数矩阵,其值为B(i,j,k,c)所有元素的平均值,表示所述像素块在颜色通道c上的结构信息。
一般来说,BW、BH、BD为奇数,这种情况下:
B ( i , j , k , c ) = V ( i - B W 2 : i + B W 2 , j - B H 2 : j + B H 2 , k - B D 2 : k + B D 2 , c ) ;
这里的V表示的是原始视频信号。本发明的所述结构信息减掉了所述像素块的平均颜色值(直流信号)mean(B(i,j,k,c))相当于排除了平均亮度的影响,减小了亮度或者颜色变化造成的影响,因此可以有效减少由于视频帧单独处理而造成的对所述相似性权值W计算的影响。需要说明的是,这里的B是原始视频中的颜色,也就是在经过图像增强之前的视频的颜色,之所以用原始视频是因为视频信号的时间连续性在增强的过程中被打破,所以我们需要用原始视频来计算像素块之前的颜色相似度。
所述的步骤20中,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,进一步包括:
21.根据所述原始视频的结构信息计算所述增强视频的当前视频帧与前后视频帧之间的时间距离和颜色距离;
该颜色距离的计算方法如下:
diff c o l o r ( i , j , k ) = Σ c = 0 , 1 , 2 | B ~ ( i , j , k , c ) - B ~ ( i , j , t , c ) | ;
其中,第t帧表示所述当前视频帧,第k帧表示该当前视频帧相邻的某个视频帧,k=t-n,…,t+n;表示所述原始视频在第k个视频帧上以(i,j)像素为中心的像素块在颜色通道c中的结构信息;表示所述原始视频在第t个视频帧上以(i,j)像素为中心的像素块在颜色通道c的结构信息;diffcolor(i,j,k)表示所述增强视频的第t个视频帧与第k个视频帧之间在(i,j)像素处的颜色距离。
22.根据所述时间距离和颜色距离计算所述增强视频的当前视频帧的相似性权值。该相似性权值的计算方法如下:
W(i,j,k)=f(difftime(k))*g(diffcolor(i,j,k));
其中,difftime(k)=|k-t|,表示所述增强视频的第k个视频帧与当前第t个视频帧之间的时间距离(这个距离对于所有的(i,j)(像素是一样的),diffcolor(i,j,k)表示所述增强视频的第k个视频帧与当前第t个视频帧之间在(i,j)像素处的颜色距离,f(x)和g(x)是随着实数x增大而下降的函数,f(difftime(k))表示基于时间距离计算得到的所述第k个视频帧与当前第t个视频帧之间的相似性,g(diffcolor(i,j,k))表示基于颜色距离计算得到的所述第k个视频帧与当前第t个视频帧之间在(i,j)像素处的相似性,W(i,j,k)表示所述增强视频的第k个视频帧相对于当前第t帧的在(i,j)像素处的相似性权值。
通过本方法计算得到的相似性权值在每个视频帧的不同位置上是不同的,从而能够自适应于信号;本实施例中,所述函数g(diffcolor(i,j,k))采用的是平移过的高斯函数,即:
g ( diff c o l o r ( i , j , k ) ) = 1 , i f diff c o l o r ( i , j , k ) ≤ thres c o l o r e - ( diff c o l o r ( i , j , k ) - thes c o l o r ) 2 σ c o l o r 2 , o t h e r w i s e ;
1.当diffcolor(i,j,k)足够小时,表示两个像素块之间属于同一个物体,返回最高值1;2.当diffcolor(i,j,k)>threscolor时,函数g(.)是快速下降的,使得内容无关的像素块为较低的权值,以免加权平均的时候引入重影现象;本发明用原始视频而不是增强视频确定双边滤波的权值W,可以最大程度地还原所述原始视频中的时间一致性,若直接采用增强视频自身的像素值来计算双边滤波的相似性权值,由于增强视频本身的时间一致性已经在增强处理过程中遭到破坏,并无法通过双边滤波真正去除时间域上信号不一致的问题。
本发明中,双边滤波的相似性权值是由两个部分(时间距离和颜色距离)分别决定的,所以这是一个双边的权值,由σtime和σcolor两个参数控制了双边滤波的强度,并且,所述的相似性权值在计算过程中利用到了全部的三个色彩通道,但在加权平均时,采用三个色彩通道共用一个相似性权值,从而减小了计算量,并且避免了输出视频的颜色比例失调。
所述的步骤30中,对所述增强视频的各个视频帧进行时间域上的信号平滑处理,是指对所述增强视频的所有视频帧进行双边滤波的处理。或者还可以采用其他平滑处理方法,例如中值滤波、高斯滤波、归一化滤波等,不以此为限。本实施例中,所述的双边滤波,是通过对所述增强视频的各个视频帧的像素值进行加权平均,即,所述平滑处理后的输出视频的各个视频帧的像素值的计算方法为:
O ( i , j , t , c ) = Σ k = t - n t + n W ( i , j , k ) * P ( i , j , k , c ) ;
其中,W(i,j,k)表示所述增强视频的第k个视频帧在(i,j)像素处的相似性权值,P(i,j,k,c)表示所述第k个视频帧上在(i,j)像素处的第c个颜色通道的颜色值,O(i,j,t,c)表示平滑处理后的第t个视频帧上在(i,j)像素处的第c个颜色通道的颜色值。如图4所示,时序信号的不连续性发生在不同帧的相同图像位置(i,j)上,利用第t-n,…,t-1,t,t+1,…,t+n帧图像,对当前的第t帧图像进行时间域上的信号平滑,并对第t帧(i,j)位置上的像素值P(i,j,t,c)的前后帧共2n+1个值进行加权平均,得到平滑处理后的输出视频的各个视频帧的新像素值。本发明利用所述原始视频(未经过图像增强的视频)的时间关联性信息对所述增强视频进行双边滤波操作,可有效平滑时间域信号,保留原始视频时间上的一致性,有效避免现有技术中简单的前后帧信号平均所带来的“重影现象”。
如图5所示,本发明提供一种视频帧间信号连续性的优化处理系统,其包括:
增强处理模块A,用于对原始视频的各个视频帧进行图像增强的处理,得到增强视频;
相似性计算模块B,用于根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值;
平滑处理模块C,用于根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理,得到输出视频。
另外,本发明还提供一种拍摄终端,该拍摄终端包括如上所述的视频帧间信号连续性的优化处理系统,其中,视频帧间信号连续性的优化处理系统可以采用图2实施例的结构,其对应地,可以执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,此处不再赘述。
所述拍摄终端包括:手机、数码相机或平板电脑等配置有摄像头的设备。
本发明通过对视频信号在时间域上进行双边滤波,可有效平滑视频信号在时间域上的不连续,使得处理之后的视频在播放时更加平滑。通过利用原始视频,而不是增强之后的视频,对增强之后的视频进行时间域平滑,从而有效解决视频时间域信号不连续的问题。另外,本算法的计算复杂度不高,而且由于像素值之间没有计算上的依赖性,完全可以用并行计算的方式进行加速处理,因此可以在手机等中低计算能力的设备上高效运行。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统实施例和终端实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。并且,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外,本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述说明示出并描述了本发明的优选实施例,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种视频帧间信号连续性的优化处理方法,其特征在于,包括以下步骤:
10.对原始视频的各个视频帧进行图像增强的处理,得到增强视频;
20.根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值;
30.根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理,得到输出视频。
2.根据权利要求1所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的步骤10中,所述图像增强的处理包括以下一种或一种以上的组合:图像亮度调节、图像对比度调节、图像色调调节、图像去噪处理,图像饱和度调节、图像锐化处理、图像白平衡处理。
3.根据权利要求1所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的步骤20中,所述原始视频的结构信息,其计算方法如下:
B ~ ( i , j , k , c ) = B ( i , j , k , c ) - m e a n ( B ( i , j , k , c ) ) ;
其中,B(i,j,k,c)是一个大小为BW*BH*BD的矩阵,表示所述原始视频中在第k个视频帧上以(i,j)像素为中心的宽度为BW个像素高度为BH个像素时间宽度为BD个帧的像素块在颜色通道c上的像素值,mean(B(i,j,k,c))是一个大小与B(i,j,k,c)一样的常数矩阵,其值为B(i,j,k,c)所有元素的平均值,表示所述像素块在颜色通道c上的结构信息。
4.根据权利要求1或2或3所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的步骤20中,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,进一步包括:
21.根据所述原始视频的结构信息计算所述增强视频的当前视频帧与前后视频帧之间的时间距离和颜色距离;
22.根据所述时间距离和颜色距离计算所述增强视频的当前视频帧的相似性权值。
5.根据权利要求4所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的步骤21中,所述增强视频的当前视频帧与前后视频帧之间的颜色距离的计算方法如下:
diff c o l o r ( i , j , k ) = Σ c = 0 , 1 , 2 | B ~ ( i , j , k , c ) - B ~ ( i , j , t , c ) | ;
其中,第t帧表示所述当前视频帧,第k帧表示该当前视频帧相邻的某个视频帧,k=t-n,…,t+n;表示所述原始视频在第k个视频帧上以(i,j)像素为中心的像素块在颜色通道c中的结构信息;表示所述原始视频在第t个视频帧上以(i,j)像素为中心的像素块在颜色通道c的结构信息;diffcolor(i,j,k)表示所述增强视频的第t个视频帧与第k个视频帧之间在(i,j)像素处的颜色距离。
6.根据权利要求4所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的步骤22中,所述相似性权值的计算方法如下:
W(i,j,k)=f(difftime(k))*g(diffcolor(i,j,k));
其中,difftime(k)=|k-t|,表示所述增强视频的第k个视频帧与当前第t个视频帧之间的时间距离,diffcolor(i,j,k)表示所述增强视频的第k个视频帧与当前第t个视频帧之间在(i,j)像素处的颜色距离,f(x)和g(x)是随着实数x增大而下降的函数,f(difftime(k))表示基于时间距离计算得到的所述第k个视频帧与当前第t个视频帧之间的相似性,g(diffcolor(i,j,k))表示基于颜色距离计算得到的所述第k个视频帧与当前第t个视频帧之间在(i,j)像素处的相似性,W(i,j,k)表示所述增强视频的第k个视频帧相对于当前第t帧在(i,j)像素处的相似性权值。
7.根据权利要求1所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的步骤30中,对所述增强视频的各个视频帧进行时间域上的信号平滑处理,是指对所述增强视频的所有视频帧进行双边滤波的处理。
8.根据权利要求7所述的一种视频帧间信号连续性的优化处理方法,其特征在于:所述的双边滤波,是通过对所述增强视频的各个视频帧的像素值进行加权平均,即,所述平滑处理后的输出视频的各个视频帧的像素值的计算方法为:
O ( i , j , t , c ) = Σ k = t - n t + n W ( i , j , k ) * P ( i , j , k , c ) ;
其中,W(i,j,k)表示所述增强视频的第k个视频帧在(i,j)处的相似性权值,P(i,j,k,c)表示所述第k个视频帧上在(i,j)像素处的第c个颜色通道的颜色值,O(i,j,t,c)表示平滑处理后的第t个视频帧上在(i,j)像素处的第c个颜色通道的颜色值。
9.一种视频帧间信号连续性的优化处理系统,其特征在于,包括:
增强处理模块,用于对原始视频的各个视频帧进行图像增强的处理,得到增强视频;
相似性计算模块,用于根据所述原始视频的结构信息,对所述增强视频的当前视频帧与前后视频帧之间进行相似性计算,得到所述增强视频的各个视频帧的相似性权值;
平滑处理模块,用于根据所述的相似性权值对所述增强视频的各个视频帧进行时间域上的信号平滑处理,得到输出视频。
10.一种拍摄终端,其特征在于,其包括权利要求9所述的视频帧间信号连续性的优化处理系统。
CN201610351686.8A 2016-05-24 2016-05-24 视频帧间信号连续性的优化处理方法、系统及拍摄终端 Active CN105959663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610351686.8A CN105959663B (zh) 2016-05-24 2016-05-24 视频帧间信号连续性的优化处理方法、系统及拍摄终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610351686.8A CN105959663B (zh) 2016-05-24 2016-05-24 视频帧间信号连续性的优化处理方法、系统及拍摄终端

Publications (2)

Publication Number Publication Date
CN105959663A true CN105959663A (zh) 2016-09-21
CN105959663B CN105959663B (zh) 2018-09-21

Family

ID=56909729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610351686.8A Active CN105959663B (zh) 2016-05-24 2016-05-24 视频帧间信号连续性的优化处理方法、系统及拍摄终端

Country Status (1)

Country Link
CN (1) CN105959663B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905590A (zh) * 2017-12-08 2019-06-18 腾讯科技(深圳)有限公司 一种视频图像处理方法及装置
CN110610267A (zh) * 2019-09-10 2019-12-24 京东城市(北京)数字科技有限公司 人才信息的处理方法及装置、计算机存储介质、电子设备
CN112218156A (zh) * 2020-10-09 2021-01-12 海信视像科技股份有限公司 一种调节视频动态对比度的方法及显示设备
CN112971778A (zh) * 2021-02-09 2021-06-18 北京师范大学 脑功能成像信号获得方法、装置及电子设备
CN113298723A (zh) * 2020-07-08 2021-08-24 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及计算机存储介质
CN114040179A (zh) * 2021-10-20 2022-02-11 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056638A1 (en) * 2002-09-23 2006-03-16 Koninklijke Philips Electronics, N.V. Sound reproduction system, program and data carrier
CN101329767A (zh) * 2008-07-11 2008-12-24 西安交通大学 基于学习的视频中显著物体序列自动检测方法
CN101577831A (zh) * 2009-03-10 2009-11-11 北京中星微电子有限公司 启动白平衡调节的控制方法和控制装置
CN101695136A (zh) * 2009-10-22 2010-04-14 北京交通大学 一种自动式视频颜色协调处理方法和处理系统
CN102800095A (zh) * 2012-07-17 2012-11-28 南京特雷多信息科技有限公司 一种镜头边界检测方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103501401A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 面向超大噪声基于预滤波的实时视频去噪方法
CN103530848A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种非均匀光照图像二次曝光的实现方法
CN104010180A (zh) * 2014-06-13 2014-08-27 华为技术有限公司 三维视频滤波方法和装置
CN104994397A (zh) * 2015-07-08 2015-10-21 北京大学深圳研究生院 基于时域信息的自适应视频预处理方法
CN105118036A (zh) * 2015-08-26 2015-12-02 广西小草信息产业有限责任公司 一种对破损图像进行修复的方法和系统
CN105469050A (zh) * 2015-11-24 2016-04-06 南京师范大学 基于局部时空特征描述与金字塔词汇树的视频行为识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056638A1 (en) * 2002-09-23 2006-03-16 Koninklijke Philips Electronics, N.V. Sound reproduction system, program and data carrier
CN101329767A (zh) * 2008-07-11 2008-12-24 西安交通大学 基于学习的视频中显著物体序列自动检测方法
CN101577831A (zh) * 2009-03-10 2009-11-11 北京中星微电子有限公司 启动白平衡调节的控制方法和控制装置
CN101695136A (zh) * 2009-10-22 2010-04-14 北京交通大学 一种自动式视频颜色协调处理方法和处理系统
CN102800095A (zh) * 2012-07-17 2012-11-28 南京特雷多信息科技有限公司 一种镜头边界检测方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103530848A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种非均匀光照图像二次曝光的实现方法
CN103501401A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 面向超大噪声基于预滤波的实时视频去噪方法
CN104010180A (zh) * 2014-06-13 2014-08-27 华为技术有限公司 三维视频滤波方法和装置
CN104994397A (zh) * 2015-07-08 2015-10-21 北京大学深圳研究生院 基于时域信息的自适应视频预处理方法
CN105118036A (zh) * 2015-08-26 2015-12-02 广西小草信息产业有限责任公司 一种对破损图像进行修复的方法和系统
CN105469050A (zh) * 2015-11-24 2016-04-06 南京师范大学 基于局部时空特征描述与金字塔词汇树的视频行为识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905590A (zh) * 2017-12-08 2019-06-18 腾讯科技(深圳)有限公司 一种视频图像处理方法及装置
CN109905590B (zh) * 2017-12-08 2021-04-27 腾讯科技(深圳)有限公司 一种视频图像处理方法及装置
CN110610267A (zh) * 2019-09-10 2019-12-24 京东城市(北京)数字科技有限公司 人才信息的处理方法及装置、计算机存储介质、电子设备
CN113298723A (zh) * 2020-07-08 2021-08-24 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及计算机存储介质
CN112218156A (zh) * 2020-10-09 2021-01-12 海信视像科技股份有限公司 一种调节视频动态对比度的方法及显示设备
CN112971778A (zh) * 2021-02-09 2021-06-18 北京师范大学 脑功能成像信号获得方法、装置及电子设备
CN114040179A (zh) * 2021-10-20 2022-02-11 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置
CN114040179B (zh) * 2021-10-20 2023-06-06 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置

Also Published As

Publication number Publication date
CN105959663B (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN105959663A (zh) 视频帧间信号连续性的优化处理方法、系统及拍摄终端
Huang et al. Visibility restoration of single hazy images captured in real-world weather conditions
CN104346776B (zh) 基于Retinex理论的非线性图像增强方法及其系统
US20090317017A1 (en) Image characteristic oriented tone mapping for high dynamic range images
JP6615917B2 (ja) 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体
CN102289792A (zh) 一种低照度视频图像增强方法及系统
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
CN107680056A (zh) 一种图像处理方法及装置
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN113850741B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN108305225A (zh) 基于暗通道先验的交通监控图像快速去雾方法
Tang et al. Improved retinex image enhancement algorithm
CN104253929A (zh) 视频降噪方法及其系统
CN108600783A (zh) 一种帧率调节方法、装置及终端设备
US8896674B2 (en) Video signal processing apparatus and video signal processing method
US11516450B1 (en) Method of regional color processing based on video content and system using the same
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN116433525A (zh) 一种基于边缘检测函数变分模型的水下图像去雾方法
Abbaspour et al. A new fast method for foggy image enhancement
CN115760640A (zh) 基于含噪Retinex模型的煤矿低光照图像增强方法
Honnutagi et al. Optimized weight maps and fusion for underwater image enhancement
Lee et al. Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms
Niu et al. Improvement of low illumination image enhancement algorithm based on physical mode
CN111031301A (zh) 一种色域空间调整的方法、存储设备及显示终端
Wilson et al. FPGA implementation of hardware efficient algorithm for image contrast enhancement using Xilinx System Generator

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant