CN118251884A - 视频处理方法、装置及显示设备 - Google Patents
视频处理方法、装置及显示设备 Download PDFInfo
- Publication number
- CN118251884A CN118251884A CN202280003694.7A CN202280003694A CN118251884A CN 118251884 A CN118251884 A CN 118251884A CN 202280003694 A CN202280003694 A CN 202280003694A CN 118251884 A CN118251884 A CN 118251884A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- color temperature
- target
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 claims description 11
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 23
- 238000004422 calculation algorithm Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本申请公开了一种视频处理方法、装置及显示设备,该视频处理方法能够将初始视频划分为多个视频片段,并计算出该多个视频片段的色温。对于该多个视频片段中的每个目标视频片段,该方法能够基于该目标视频片段的色温,以及该目标视频片段的颜色平衡校正系数,确定出该目标视频片段的色温调节系数,并采用该色温调节系数对该目标视频片段中至少一个视频帧的色温进行调节。由此,能够确保每个视频片段的色温调节效果较好,进而确保处理后的视频的显示效果较好。
Description
本申请涉及图像处理技术领域,特别涉及一种视频处理方法、装置及显示设备。
在图像处理技术领域,色温是衡量图像显示质量的标准之一。由于图像采集设备(例如摄像头)自身性能的限制,导致该图像采集设备对目标物进行拍摄得到的图像,与该目标物的真实颜色存在一定程度的偏差,即图像采集设备拍摄得到的图像存在色温偏差。
相关技术中,为了提高图像的显示效果,可以采用色温调节系数对图像的色温进行调节,从而提升图像的显示效果。
发明内容
本申请提供了一种视频处理方法、装置及显示设备,所述技术方案如下:
一方面,提供了一种视频处理方法,所述方法包括:
将初始视频包括的多个视频帧划分为多个视频片段,每个所述视频片段包括一个或多个视频帧,其中,所述多个视频帧连续;
对于所述多个视频片段中的每个视频片段,基于所述视频片段中的至少一个视频帧的色温,确定所述视频片段的色温;
对于所述多个视频片段中的每个目标视频片段,基于所述目标视频片段的色温,以及所述目标视频片段的颜色平衡校正系数,确定所述目标视频片段的色温调节系数,所述色温调节系数与所述目标视频片段的色温和所述目标视频片段的颜色平衡校正系数均正相关,其中,所述初始视频包括的所述目标视频片段的个数小于或等于所述多个视频片段的个数;
对于每个目标视频片段,采用所述目标视频片段的色温调节系数,对所述目标视频片段中的每个视频帧的色温进行调节;
按照播放顺序对色温调节后的所述至少一个目标视频片段,以及除所述至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
可选地,所述基于所述视频片段中的至少一个视频帧的色温,确定所述视频片段的色温,包括:
对所述视频片段中的每个视频帧进行空间转换;
基于每个所述视频帧包括的多个像素在空间转换后各通道的均值,确定所述视频帧的色温;
基于所述视频片段中至少一个视频帧的色温的均值,确定所述视频片段的色温。
可选地,所述对所述视频片段中的每个视频帧进行空间转换,包括:
将所述视频片段中的每个视频帧从红绿蓝(red green blue,RGB)色彩空间分别转换至色相-饱和度-亮度(hue saturation value,HSV)色彩空间和明亮度-色度YUV色彩空间;
所述基于每个所述视频帧包括的多个像素在空间转换后各通道的均值,确定所述视频帧的色温,包括:
对于所述视频片段中的每个视频帧,基于所述视频帧包括的多个像素在所述YUV色彩空间中Y通道上的均值、U通道上的均值和V通道上的均值,以及所述多个像素在所述HSV色彩空间中S通道上的均值,确定所述视频帧的色温,所述视频帧的色温与所述视频帧包括的多个像素在所述Y通道上的均值和所述U通道上的均值正相关,并与所述视频帧包括的多个像素在所述V通道上的均值和所述S通道上的均值负相关。
可选地,所述视频帧的色温CT满足:
其中,α为预设的增益系数,Y
mean为所述Y通道上的均值,U
mean为所述U通道上的均值,V
mean为所述V通道上的均值,C
minus为所述U
mean和所述V
mean的差值的绝对值,S
mean为所述S通道上的均值。
可选地,所述初始视频中的多个视频帧均为高动态范围(high-dynamic range,HDR)图像,所述α的取值为5000。
可选地,在确定所述目标视频片段的色温调节系数之前,所述方法还包括:
基于所述多个视频片段的色温,从所述多个视频片段中确定至少一个所述 目标视频片段;
其中,每个所述目标视频片段的色温均位于预设的色温范围之外。
可选地,所述色温范围为6000开尔文(K)至7000K。
可选地,所述目标视频片段的色温调节系数包括:R通道调节系数K
R、G通道调节系数K
G和B通道调节系数K
B;
其中,所述R通道调节系数K
R满足:K
R=CT`×β
1×Avg_gain′
R;
所述G通道调节系数K
G满足:K
G=CT`×β
2×Avg_gain′
G;
所述B通道调节系数K
B满足:K
B=CT`×β
3×Avg_gain′
B;
其中,β
1、β
2和β
3均为预设的色温参考系数,CT`为所述目标视频片段的色温,Avg_gain′
R为所述目标视频片段在R通道的颜色平衡校正系数,Avg_gain′
G为所述目标视频片段在G通道的颜色平衡校正系数,Avg_gain′
B为所述目标视频片段在B通道的颜色平衡校正系数。
可选地,所述采用所述目标视频片段的色温调节系数,对所述目标视频片段中的每个视频帧的色温进行调节,包括:
对于所述目标视频片段中的每个视频帧,采用所述R通道调节系数K
R,对所述视频帧中每个像素的R像素值进行调节;
采用所述G通道调节系数K
G,对所述视频帧中每个像素的G像素值进行调节;
采用所述B通道调节系数K
B,对所述视频帧中每个像素的B像素值进行调节。
可选地,所述Avg_gain′
R为所述目标视频片段中至少一个视频帧在R通道上的颜色平衡校正系数的均值;
所述Avg_gain′
G为所述目标视频片段中至少一个视频帧在G通道上的颜色平衡校正系数的均值;
所述Avg_gain′
B为所述目标视频片段中至少一个视频帧在B通道上的颜色平衡校正系数上的均值。
可选地,每个所述视频帧在所述R通道上的颜色平衡校正系数gain
R满足:gain
R=K/R
avg+a;
每个所述视频帧在所述G通道上的颜色平衡校正系数gain
B满足:gain
B=K/G
avg+b;
每个所述视频帧在所述B通道上的颜色平衡校正系数gain
B满足:gain
B=K/B
avg+c;
其中,R
avg为所述视频帧中多个像素的R像素值的均值,G
avg为所述视频帧中多个像素的G像素值的均值,B
avg为所述视频帧中的多个像素的B像素值的均值,a、b和c为预设的参考偏差值,K为所述R
avg,所述G
avg和所述B
avg的均值。
可选地,所述初始视频中的多个视频帧为HDR图像,所述a的取值为20,所述b的取值为10,所述c的取值为0。
可选地,所述将初始视频包括的多个视频帧划分为多个视频片段,包括:
按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度;
基于计算得到的每相邻两个视频帧的相似度,将所述初始视频划分为多个视频片段。
可选地,所述初始视频中的每个视频帧均包括多个图像块;所述按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度,包括:
在所述初始视频中的每个视频帧中确定出至少一个目标图像块,所述至少一个目标图像块的个数小于所述多个图像块的个数;
按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧中的至少一个目标图像块与前一个视频帧中的至少一个目标图像块的相似度;
其中,每个所述视频帧中的至少一个目标图像块在所述视频帧中的位置,与前一个视频帧中的至少一个目标图像块在所述前一个视频帧中的位置相同。
可选地,在按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度,所述方法还包括:
对所述初始视频中的每个初始视频帧进行降维处理,得到所述多个视频帧。
可选地,所述依次计算每个视频帧与前一个视频帧的相似度,包括:
基于每个所述视频帧的图像数据的均值和所述前一个视频帧的图像数据的均值,所述视频帧的图像数据的标准差和所述前一个视频帧的图像数据的标准差,以及所述视频帧的图像数据和所述前一个视频帧的图像数据的协方差,确定所述视频帧与所述前一个视频帧的结构相似度;
基于所述视频帧和所述前一个视频帧的结构相似度,确定所述视频帧与所述前一个视频帧的相似度
可选地,所述方法还包括:采用结构相似性(structural similarity,SSIM)算法,依次计算每个视频帧与前一个视频帧的相似度。
可选地,所述方法还包括:按照播放顺序对色温调节后的所述至少一个目标视频片段,以及除所述至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
另一方面,提供了一种视频处理装置,所述装置包括:
划分模块,用于将初始视频包括的多个视频帧划分为多个视频片段,每个所述视频片段包括一个或多个视频帧,其中,所述多个视频帧连续;
第一确定模块,用于对于所述多个视频片段中的每个视频片段,基于所述视频片段中的至少一个视频帧的色温,确定所述视频片段的色温;
第二确定模块,用于对于所述多个视频片段中的每个目标视频片段,基于所述目标视频片段的色温,以及所述目标视频片段的颜色平衡校正系数,确定所述目标视频片段的色温调节系数,所述色温调节系数与所述色温和所述颜色平衡校正系数均正相关,其中,所述初始视频包括的所述目标视频片段的个数小于或等于所述多个视频片段的个数;
处理模块,用于对于每个目标视频片段,采用所述目标视频片段的色温调节系数,对所述目标视频片段中的每个视频帧的色温进行调节;
拼接模块,用于按照播放顺序对色温调节后的所述至少一个目标视频片段,以及除所述至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
可选地,所述第一确定模块,用于:
对所述视频片段中的每个视频帧进行空间转换;
基于每个所述视频帧包括的多个像素在空间转换后各通道的均值,确定所述视频帧的色温;
基于所述视频片段中至少一个视频帧的色温的均值,确定所述视频片段的色温。
可选地,所述第一确定模块,用于:
将所述视频片段中的每个视频帧从RGB色彩空间分别转换至HSV色彩空间和YUV色彩空间;
对于所述视频片段中的每个视频帧,基于所述视频帧包括的多个像素在所述YUV色彩空间中Y通道上的均值、U通道上的均值和V通道上的均值,以及所述多个像素在所述HSV色彩空间中S通道上的均值,确定所述视频帧的色温,所述视频帧的色温与所述视频帧包括的多个像素在所述Y通道上的均值和所述U通道上的均值正相关,并与所述视频帧包括的多个像素在所述V通道上的均值和所述S通道上的均值负相关。
可选地,所述视频帧的色温CT满足:
其中,α为预设的增益系数,Y
mean为所述Y通道上的均值,U
mean为所述U通道上的均值,V
mean为所述V通道上的均值,C
minus为所述U
mean和所述V
mean的差值的绝对值,S
mean为所述S通道上的均值。
可选地,所述初始视频中的多个视频帧均为HDR图像,所述α的取值为5000。
可选地,所述视频处理装置还包括:第三确定模块,所述第三确定模块用于基于所述多个视频片段的色温,从所述多个视频片段中确定至少一个所述目标视频片段;
其中,每个所述目标视频片段的色温均位于预设的色温范围之外。
可选地,所述色温范围为6000K至7000K。
可选地,所述目标视频片段的色温调节系数包括:R通道调节系数K
R、G通道调节系数K
G和B通道调节系数K
B;
其中,所述R通道调节系数K
R满足:K
R=CT`×β
1×Avg_gain′
R;
所述G通道调节系数K
G满足:K
G=CT`×β
2×Avg_gain′
G;
所述B通道调节系数K
B满足:K
B=CT`×β
3×Avg_gain′
B;
其中,β
1、β
2和β
3均为预设的色温参考系数,CT`为所述目标视频片段的色温,Avg_gain′
R为所述目标视频片段在R通道的颜色平衡校正系数,Avg_gain′
G为所述目标视频片段在G通道的颜色平衡校正系数,Avg_gain′
B为所述目标视频片段在B通道的颜色平衡校正系数。
可选地,所述处理模块,用于:
对于所述目标视频片段中的每个视频帧,采用所述R通道调节系数K
R,对所述视频帧中每个像素的R像素值进行调节;
采用所述G通道调节系数K
G,对所述视频帧中每个像素的G像素值进行调节;
采用所述B通道调节系数K
B,对所述视频帧中每个像素的B像素值进行调节。
可选地,所述Avg_gain′
R为所述目标视频片段中至少一个视频帧在R通道上的颜色平衡校正系数的均值;
所述Avg_gain′
G为所述目标视频片段中至少一个视频帧在G通道上的颜色平衡校正系数的均值;
所述Avg_gain′
B为所述目标视频片段中至少一个视频帧在B通道上的颜色平衡校正系数上的均值。
可选地,每个所述视频帧在所述R通道上的颜色平衡校正系数gain
R满足:gain
R=K/R
avg+a;
每个所述视频帧在所述G通道上的颜色平衡校正系数gain
B满足:gain
B=K/G
avg+b;
每个所述视频帧在所述B通道上的颜色平衡校正系数gain
B满足:gain
B=K/B
avg+c;
其中,R
avg为所述视频帧中多个像素的R像素值的均值,G
avg为所述视频帧中多个像素的G像素值的均值,B
avg为所述视频帧中的多个像素的B像素值的均值,a、b和c为预设的参考偏差值,K为所述R
avg,所述G
avg和所述B
avg的均值。
可选地,所述初始视频中的多个视频帧为HDR图像,所述a的取值为20,所述b的取值为10,所述c的取值为0。
可选地,所述划分模块,用于:
按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度;
基于计算得到的每相邻两个视频帧的相似度,将所述初始视频划分为多个视频片段。
可选地,所述初始视频中的每个视频帧均包括多个图像块;所述划分模块,用于:
在所述初始视频中的每个视频帧中确定出至少一个目标图像块,所述至少 一个目标图像块的个数小于所述多个图像块的个数;
按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧中的至少一个目标图像块与前一个视频帧中的至少一个目标图像块的相似度;
其中,每个所述视频帧中的至少一个目标图像块在所述视频帧中的位置,与前一个视频帧中的至少一个目标图像块在所述前一个视频帧中的位置相同。
可选地,所述视频处理装置还包括:降维模块,所述降维模块用于在所述划分模块按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度之前,对所述初始视频中的每个初始视频帧进行降维处理,得到所述多个视频帧。
可选地,所述划分模块,用于:
基于每个所述视频帧的图像数据的均值和所述前一个视频帧的图像数据的均值,所述视频帧的图像数据的标准差和所述前一个视频帧的图像数据的标准差,以及所述视频帧的图像数据和所述前一个视频帧的图像数据的协方差,确定所述视频帧与所述前一个视频帧的结构相似度;
基于所述视频帧和所述前一个视频帧的结构相似度,确定所述视频帧与所述前一个视频帧的相似度。
又一方面,提供了一种显示设备,所述显示设备包括:显示屏,处理器和存储器,所述存储器中存储有指令,所述指令由所述处理器加载并执行以实现如上述方面提供的视频处理方法。
再一方面,提供了一种计算机可读存储介质,所述存储介质中存储有指令,所述指令由处理器加载并执行以实现如上述方面提供的视频处理方法。
再一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机指令,所述指令由处理器加载并执行以实现如上述方面提供的视频处理方法。
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频处理系统的结构示意图;
图2是本申请实施例提供的一种视频处理方法的流程示意图;
图3是本申请实施例提供的另一种视频处理方法的流程示意图;
图4是本申请实施例提供的一种终端对初始视频进行处理的示意图;
图5是本申请实施例提供的一种视频片段的色温分布图;
图6是本申请实施例提供的一种视频处理装置的结构示意图;
图7是本申请实施例提供的另一种视频处理装置的结构示意图;
图8是本申请实施例提供的一种显示设备的结构示意图。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种视频处理系统的结构示意图。参见图1,该系统包括:服务器110和终端120。该服务器110与终端120之间建立有线或无线通信连接。可选地,该服务器110可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统。该终端120可以是个人计算机(personal computer,PC)、车载终端、平板电脑、智能手机、可穿戴设备或智能机器人等具有显示屏且具备数据计算、处理和存储能力的终端。
在本申请实施例中,该系统中的终端120可以用于获取初始视频并将该初始视频发送至服务器110。服务器110进而可以对该初始视频进行处理和分析,并将处理得到的目标视频发送至终端120,以供终端120显示。也即是,该终端120可以是显示设备。
可选地,该终端120中可以安装有浏览器或视频应用,该服务器110可以是视频网站或视频应用的后台服务器。
可以理解的是,该终端120也可以具备对该初始视频进行处理和分析的能力,并能够实现对该初始视频的色温的调节。相应的,该视频处理系统也可以不包括服务器110。
图2是本申请实施例提供的一种视频处理方法的流程示意图,该方法可以应用于图1所示场景中的服务器110或者终端120。下文以该视频处理方法应用于终端为例进行说明,如图2所示,该方法包括如下步骤。
步骤101、将初始视频包括的多个视频帧划分为多个视频片段。
在本申请实施例中,终端获取到初始视频后,能够基于该初始视频中多个视频帧的相似度,将该多个视频帧划分为多个视频片段。其中,每个视频片段包一个或多个视频帧。其中,若每个视频片段包括多个视频帧,则该多个视频帧连续。该每个视频片段也可以称为一个场景,相应的,该划分视频片段的过程也可以称为场景切分。
可以理解的是,该初始视频中的多个视频帧是图像采集设备(例如摄像头)采集到的,且该初始视频可以包含多个不同场景。其中,不同场景的视频帧的色温是不同的,同一场景的视频帧的色温则可以基本相同。因此终端在对一段初始视频进行处理前,可以先对该初始视频进行场景切分。由此,可以便于终端基于初始视频中多个视频帧所属的场景,对该多个视频帧进行进一步处理。
可选地,终端中可以预先存储有图像相似度算法。基于该图像相似度算法,终端能够计算出每个视频帧与前一个视频帧的相似度,从而将初始视频包括的多个视频帧划分为多个视频片段。例如,该图像相似度算法可以为SSIM算法、余弦相似度算法或欧氏距离(也称为欧几里得距离)算法等。
步骤102、对于多个视频片段中的每个视频片段,基于视频片段中的至少一个视频帧的色温,确定视频片段的色温。
在本申请实施例中,对于每个视频片段,终端能够先计算出该视频片段中的每个视频帧的色温。之后,终端即可基于该视频片段包括的至少一个视频帧的色温,确定出该视频片段的色温。
例如,若该视频片段仅包括一个视频帧,则终端可以直接将该视频帧的色温确定为该视频片段的色温。若该视频片段包括至少两个视频帧,则终端可以将该至少两个视频帧的色温的均值确定为该视频片段的色温。或者,终端可以将该视频片段中至少两个视频帧的色温的中值确定为该视频片段的色温。再或者,终端可以将该视频片段中至少两个视频帧的色温的众值确定为该视频片段的色温。
步骤103、对于多个视频片段中的每个目标视频片段,基于目标视频片段的色温,以及目标视频片段的颜色平衡校正系数,确定目标视频片段的色温调节系数。
在本申请实施例中,终端中预先存储有计算视频帧的颜色平衡校正系数的 图像处理算法。对于每个目标视频片段,终端能够先采用该图像处理算法计算出该目标视频片段中至少一个视频帧的颜色平衡校正系数,再基于该至少一个视频帧的颜色平衡校正系数确定出该目标视频片段的颜色平衡校正系数。其中,该目标视频片段的色温调节系数与该目标视频片段的色温和该目标视频片段的颜色平衡校正系数均正相关。
可以理解的是,该初始视频包括的目标视频片段的个数可以小于或等于多个视频片段的个数。也即是,终端可以对该多个视频片段中的部分或全部视频片段进行处理。可选地,终端可以基于该多个视频片段的图像特征,从多个视频片段中确定至少一个目标视频片段。其中,该图像特征可以包括下述特征中的至少一个:色温、饱和度、清晰度和颜色等。
可选地,终端中预先存储的图像处理算法可以为下述算法中的一种:灰度世界算法、完美反射算法、动态阈值算法以及基于色温估计的自动白平衡算法等。
步骤104、对于每个目标视频片段,采用该目标视频片段的色温调节系数,对目标视频片段中的每个视频帧的色温进行调节。
在本申请实施例中,在RGB色彩空间,目标视频片段中每个视频帧中的每个像素均包括红(red,R)、绿(green,G)和蓝(blue,B)三个颜色通道的通道值。该三个通道的通道值,也可以称为R像素值、G像素值和B像素值。终端可以通过调节视频帧中每个像素的R像素值、G像素值和B像素值,以实现对该视频帧的色温的调节。
可以理解的是,同一个目标视频片段(即同一场景下)中的视频帧的偏色情况(即色温的偏差)是相同的,因此终端可以采用同一色温调节系数对该目标视频片段中的至少一个视频帧的色温进行调节,从而实现对该至少一个视频帧的色彩平衡的校正(即白平衡校正)。由此,能够确保该目标视频片段所对应的场景下的视频帧的处理效果较好,进而确保处理后得到的视频的显示效果较好。
步骤105、按照播放顺序对色温调节后的至少一个目标视频片段,以及除至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
在本申请实施例中,终端在完成至少一个目标视频片段的色温调节后,能够按照播放顺序对该至少一个视频片段,以及初始视频进行片段划分得到的多 个视频片段中未进行色温调节的视频片段进行拼接,得到目标视频。也即是,该目标视频中,部分视频片段是经过色温调节处理的,部分视频片段未进行色温调节处理。由此,可以确保该目标视频的显示效果较好。
综上所述,本申请实施例提供了一种视频处理方法,终端能够将初始视频划分为多个视频片段,并计算出该多个视频片段的色温。对于该多个视频片段中的每个目标视频片段,终端能够基于该目标视频片段的色温,以及该目标视频片段的颜色平衡校正系数,确定出该目标视频片段的色温调节系数,并采用该色温调节系数对该目标视频片段中至少一个视频帧的色温进行调节。由此,能够确保每个视频片段的色温调节效果较好,进而确保处理后的视频的显示效果较好。
图3是本申请实施例提供的另一种视频处理方法的流程示意图,该方法可以应用于图1所示场景中的服务器110或者终端120。下文以该视频处理方法应用于终端为例进行说明,如图3所示,该方法包括如下步骤。
步骤201、按照初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度。
在本申请实施例中,终端中预先存储有图像相似度算法。终端获取到初始视频后,能够采用该图像相似度算法,依次计算每个视频帧与前一个视频帧的相似度。
可以理解的是,终端在采用图像相似度算法计算每个视频帧与前一个视频帧的相似度时,可以基于每个视频帧和前一个视频帧的结构相似度,确定该视频帧与前一个视频帧的相似度。可选地,终端可以基于每个视频帧的图像数据的均值和前一个视频帧的图像数据的均值,该视频帧的图像数据的标准差和前一个视频帧的图像数据的标准差,以及该视频帧的图像数据和前一个视频帧的图像数据的协方差,确定该视频帧与前一个视频帧的结构相似度。
可选地,终端可以采用SSIM算法,依次计算每个视频帧与前一个视频帧的结构相似度,进而确定每个视频帧与前一个视频帧的相似度。其中,视频帧X与前一个视频帧Y的结构相似度SSIM(X,Y)满足:
其中,μ
x表示视频帧X的图像数据的均值,μ
y表示视频帧Y的图像数据的 均值,σ
x表示视频帧X的图像数据的标准差,σ
y表示视频帧Y的图像数据的标准差,σ
xy表示视频帧X的图像数据和视频帧Y的图像数据的协方差。c
1和c
2为预设的常数。视频帧X与前一个视频帧Y的结构相似度的取值范围可以满足:0≤SSIM(X,Y)≤1。两个视频帧的结构相似度的取值越接近1,则表示该两个视频帧越相似。
可以理解的是,同一场景下的视频帧的结构相似性较大,而不同场景下的视频帧的结构相似性较小,因此可以采用SSIM算法计算初始视频中的相邻两个视频帧的结构相似度,从而便于终端可以基于该结构相似度对该初始视频进行场景切分,并确保场景切分的效果较好。
作为第一种可能的实现方式,该初始视频中的每个视频帧可以均包括多个图像块,终端可以在初始视频中的每个视频帧中确定出至少一个目标图像块,并按照初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧中的至少一个目标图像块与前一个视频帧中的至少一个目标图像块的相似度。
其中,每个视频帧中至少一个目标图像块的个数小于多个图像块的个数,每个视频帧中所选取的至少一个目标图像块在视频帧中的位置,与前一个视频帧中所选取的至少一个目标图像块在前一个视频帧中的位置相同且一一对应。
在该实现方式中,终端只需计算两个视频帧中的部分区域(即该两个视频帧中一一对应的目标图像块)的相似度,并将该部分区域的相似度确定为该两个视频帧的相似度。由此,能够有效降低计算相似度时的计算复杂度,提高相似度的计算效率。其中,该相邻两个视频帧中的目标图像块的相似度可以采用SSIM算法进行计算。
作为第二种可能的实现方式,终端可以对初始视频中的每个初始视频帧进行降维处理,得到多个视频帧。之后,终端可以采用图像相似度算法(例如SSIM算法)计算该多个视频帧中每个视频帧与前一个视频帧的相似度。
在本申请实施例中,终端中可以有预先存储有数据降维算法,终端可以采用该数据降维算法对该初始视频中的每个初始视频帧进行降维处理,从而将初始视频帧的图像数据从高维度转换至低维度,从而减少每个初始视频帧的数据量。其中,该数据降维算法可以为主成分分析(principal component analysis,PCA)算法、t-分布领域嵌入(t-distributed stochastic neighbor embedding,t-SNE)算法或者神经网络算法等。
可以理解的是,终端采用降维处理后的视频帧进行相似度的计算,能够有效降低相似度计算的复杂度,并提升计算效率。
步骤202、基于计算得到的每相邻两个视频帧的相似度,将初始视频划分为多个视频片段。
终端计算得到初始视频中每相邻两个视频帧的相似度后,可以按照初始视频包括的多个视频帧的播放顺序,依次遍历每个视频帧。对于遍历到的每个视频帧,若该视频帧与前一个视频帧的相似度大于相似度阈值,则终端可以将该视频帧与前一个视频帧划分至同一个视频片段(即同一个场景)。若该视频帧与前一个视频帧的相似度不大于相似度阈值,则终端可以将该视频帧与前一个视频帧划分至不同的视频片段。
示例的,对于终端遍历到的每个视频帧,若该视频帧与前一个视频帧的相似度大于相似度阈值,则终端可以确定该两个视频帧属于同一视频片段,并继续遍历视频帧。若该视频帧与前一个视频帧的相似度小于或等于相似度阈值,则终端可以记录当前遍历到的视频帧的帧号。终端在遍历完视频帧后,可以将记录的每个帧号所指示的视频帧确定为一个视频片段的第一个视频帧。
基于上述划分方法,终端能够将初始视频划分为多个视频片段。其中,每个视频片段包括连续的至少一个视频帧。该每个视频片段也可以称为一个场景,上述划分视频片段的过程也可以称为场景切分。
可以理解的是,该初始视频中的多个视频帧是图像采集设备(例如摄像头)采集到的,且该初始视频可以包含多个不同场景。其中,不同场景的视频帧的色温是不同的,同一场景的视频帧的色温则可以基本相同。因此终端在对一段初始视频进行处理前,可以先对该初始视频进行场景切分。由此,可以便于终端基于初始视频中多个视频帧所属的场景,对该多个视频帧进行进一步处理。
示例的,参考图4,初始视频经终端进行场景切分后,可以得到n个视频片段,即n个场景。其中,n为大于等于1的整数。
可以理解的是,终端划分视频片段时所参考的相似度阈值可以是根据应用场景的需求设置的。例如,终端若采用SSIM算法来计算每相邻两个视频帧的相似度,则该相似度阈值的取值可以为0.5。
步骤203、对于多个视频片段中的每个视频片段,对该视频片段中的每个视频帧进行空间转换。
在本申请实施例中,为了便于确定出视频片段中每个视频帧的色温,终端可以先对每个视频片段中的每个视频帧进行色彩空间的转换。由于视频片段中的每个视频帧的色彩空间一般为RGB色彩空间,而HSV色彩空间和YUV色彩空间更便于终端确定每个视频帧的色温。因此,对于多个视频片段中的每个视频片段,终端可以将该视频片段中的每个视频帧从RGB色彩空间分别转换(即映射)到HSV色彩空间和YUV色彩空间。其中,HSV色彩空间中的H表示色度,S表示饱和度,V表示亮度。YUV色彩空间中的Y表示亮度(即灰度),U和V表示色度。
步骤204、基于每个视频帧包括的多个像素在空间转换后各通道的均值,确定该视频帧的色温。
在本申请实施例中,对于视频片段中的每个视频帧,终端在对该视频帧进行空间转换后,可以分别计算该视频帧中包括的多个像素在空间转换后各个通道的均值。之后,终端即可基于计算得到的多个均值,确定出该视频帧的色温。
例如,对于视频片段中的每个视频帧,终端在将该视频帧从RGB色彩空间转换至YUV色彩空间和HSV色彩空间后,能够先计算该视频帧中包括的多个像素在YUV色彩空间中Y通道上的均值、U通道上的均值和V通道上的均值,以及多个像素在HSV色彩空间中S通道上的均值。之后,终端即可基于计算得到的多个均值,确定出该视频帧的色温。其中,该视频帧的色温CT可以满足:
其中,α为预设的增益系数,Y
mean为Y通道上的均值,U
mean为U通道上的均值,V
mean为V通道上的均值,C
minus为U
mean和V
mean的差值的绝对值,S
mean为S通道上的均值。其中,该预设的增益系数α的取值可以是根据视频帧的图像类型确定的。例如,当该初始视频中的多个视频帧均为HDR图像时,α的取值可以为5000。
参考上述公式(1)可知,视频帧的色温CT与该视频帧包括的多个像素在Y通道上的均值Y
mean和U通道上的均值U
mean均正相关,并与该视频帧包括的多个像素在V通道上的均值V
mean和S通道上的均值S
mean均负相关。
可以理解的是,当视频帧的色温较高时,该视频帧的色彩观感偏冷色调。当视频帧的色温较低时,该视频帧的色彩观感偏暖色调。
还可以理解的是,参考上述公式(1)可知,终端采用的是YUV色彩空间 中三个通道的均值,以及HSV色彩空间中S通道上的均值进行色温的计算。可选地,终端还可以采用YUV色彩空间中三个通道的均值,以及HSV色彩空间中H通道或者V通道的均值进行色温的计算。本申请实施例对此不做限定。
步骤205、对于多个视频片段中的每个视频片段,基于该视频片段中至少一个视频帧的色温的均值,确定该视频片段的色温。
在本申请实施例中,对于初始视频中的每个视频片段,终端计算得到该视频片段中每个视频帧的色温后,可以计算该视频片段中至少一个视频帧的色温的均值,从而得到该视频片段的色温。
可以理解的是,环境中的光照强度,光源的颜色等因素都会影响视频帧的色温。因此,对于多个视频片段中任意两个视频片段,若该两个视频片段中的多个视频帧是图像采集设备在同一环境下采集到的,则该两个视频片段的色温可能相同或较为接近。若该两个视频片段中的多个视频帧是图像采集设备在不同环境下采集到的,则该两个视频片段的色温可能不同。
可以理解的是,上述步骤203、204以及205可以称为视频片段的色温估计过程。参考图4,终端可以对场景切分后的n个视频片段均进行色温估计,以确定出该n个视频片段的色温。示例的,若n的取值为18,则该18个视频片段的色温可以如表1所示。该18个视频片段的色温分布可以如图5所示。其中,在图5所示的分布图中,横轴表示该初始视频中各个视频片段的序号,纵轴表示色温。
表1
视频片段 | 色温 | 视频片段 | 色温 |
视频片段0 | 5720.20909 | 视频片段9 | 8069.46948 |
视频片段1 | 5240.31785 | 视频片段10 | 7000.11555 |
视频片段2 | 5275.58894 | 视频片段11 | 6210.20417 |
视频片段3 | 5235.78897 | 视频片段12 | 8727.09987 |
视频片段4 | 3466.36371 | 视频片段13 | 6549.30958 |
视频片段5 | 3492.96300 | 视频片段14 | 6130.87969 |
视频片段6 | 3535.09971 | 视频片段15 | 3526.23534 |
视频片段7 | 3423.00837 | 视频片段16 | 3846.06156 |
视频片段8 | 3830.70259 | 视频片段17 | 3527.52028 |
参考表1和图5可知,该18个视频片段中任意两个视频片段的色温并不完全相同,但存在色温较为接近的视频片段,例如视频片段1、视频片段2和视频片段3。因此,可以确定该是三个视频片段可能是图像采集设备在同一环境下采集到的。
步骤206、基于多个视频片段的色温,从多个视频片段中确定至少一个目标视频片段。
在本申请实施例中,终端可以基于处理后的视频片段的预期显示效果,从多个视频片段中选取出需要调节色温的至少一个目标视频片段。其中,该初始视频包括的目标视频片段的个数小于或等于多个视频片段的个数,并且,每个目标视频片段的色温可以均位于预设的色温范围之外。也即是,色温位于色温范围内的视频片段是满足预期显示效果的,终端无需对该视频片段的色温进行调节。而位于色温范围外的目标视频片段的是不满足预期显示效果的,终端需对该视频片段的色温进行进一步调节。
可以理解的是,视频片段处理后的预期显示效果可以根据应用场景的需求确定。例如,该预期显示效果可以为正常色调、冷色调或暖色调。其中,正常色调的视频片段的色温一般为6000K至7000K;冷色调的视频片段的色温一般大于7000K,即色温偏高;暖色调的视频片段的色温一般小于6000K,即色温偏低。
示例的,若处理后的视频片段的预期显示效果为正常色调,则该色温范围可以为6000K至7000K。终端可以将色温位于该色温范围外的视频片段(即色温偏高或偏低的视频片段)确定为目标视频片段。参考图4,终端可以通过场景选择,在n个视频片段中选取出m个需要调节色温的目标视频片段。其中,m为不大于n的整数。
步骤207、对于多个视频片段中的每个目标视频片段,基于该目标视频片段的色温,以及该目标视频片段的颜色平衡校正系数,确定该目标视频片段的色温调节系数。
在本申请实施例中,终端中预先存储有计算视频帧的颜色平衡校正系数的图像处理算法。对于每个目标视频片段,终端能够先采用该图像处理算法计算出该目标视频片段中至少一个视频帧的颜色平衡校正系数。然后,再基于该至 少一个视频帧的颜色平衡校正系数确定出该目标视频片段的颜色平衡校正系数。其中,每个目标视频片段的色温调节系数可以包括:R通道调节系数K
R、G通道调节系数K
G和B通道调节系数K
B。
可选地,该R通道调节系数K
R、G通道调节系数K
G以及B通道调节系数K
B分别满足:
K
R=CT`×β
1×Avg_gain′
R 公式(2)
K
G=CT`×β
2×Avg_gain′
G 公式(3)
K
B=CT`×β
3×Avg_gain′
B 公式(4)
其中,β
1、β
2和β
3均为预设的色温参考系数,该3个色温参考系数的数值可以根据目标视频片段的预期显示效果,以及该目标视频片段中视频帧的图像格式进行调节。该三个色温参考系数的取值范围可以为0至1/2000。CT`为目标视频片段的色温,其取值范围可以为0至10000K。Avg_gain′
R为目标视频片段在R通道的颜色平衡校正系数,Avg_gain′
G为目标视频片段在G通道的颜色平衡校正系数,Avg_gain′
B为目标视频片段在B通道的颜色平衡校正系数。该三个通道的颜色平衡校正系数的取值范围可以为0至2。
参考上述公式(2)、(3)和(4)可知,目标视频片段的色温调节系数(即K
R、K
G以及K
B)与该目标视频片段的色温CT`和该目标视频片段的颜色平衡校正系数(即Avg_gain′
R、Avg_gain′
G以及Avg_gain′
B)均正相关。
可选地,终端中预先存储的用于计算视频帧的颜色平衡校正系数的图像处理算法可以为灰度世界算法。对于多个视频片段中的每个目标视频片段,终端可以通过该灰度世界算法计算出该目标视频片段中每个视频帧在R通道、G通道以及B通道的颜色平衡校正系数。之后,终端可以将该目标视频片段中至少一个视频帧在R通道上的颜色平衡校正系数的均值确定为该目标视频片段在R通道上的颜色平衡校正系数(即上述公式(2)中的Avg_gain′
R),将该目标视频片段中至少一个视频帧在G通道上的颜色平衡校正系数的均值确定为该目标视频片段在G通道上的颜色平衡校正系数(即上述公式(3)中的Avg_gain′
G),并将该目标视频片段中至少一个视频帧在B通道上的颜色平衡校正系数的均值确定为目标视频片段在B通道上的颜色平衡校正系数(即上述公式(3)中的Avg_gain′
B)。
示例的,参考图4,终端计算每个目标视频片段的颜色平衡校正系数的过程 也可以称为增益计算过程。可选地,如图4所示,终端也可以对初始视频中的n个视频片段均进行增益计算。
其中,对于多个视频片段中的每个目标视频片段,该目标视频片段中每个视频帧在R通道上的颜色平衡校正系数gain
R、G通道上的颜色平衡校正系数gain
B以及B通道上的颜色平衡校正系数gain
B分别满足:
gain
R=K/R
avg+a 公式(5)
gain
B=K/G
avg+b 公式(6)
gain
B=K/B
avg+c 公式(7)
其中,R
avg为视频帧中多个像素的R像素值的均值,G
avg为视频帧中多个像素的G像素值的均值,B
avg为视频帧中的多个像素的B像素值的均值,a,b和c为预设的参考偏差值,K为R
avg,G
avg和B
avg的均值。
可以理解的是,视频帧中每个像素的R像素值即为该像素在RGB色彩空间中R通道的通道值,G像素值即为该像素在RGB色彩空间中G通道的通道值,B像素值即为该像素在RGB色彩空间中B通道的通道值。
参考上述公式(5)、(6)以及(7),为了使得灰度世界算法能够适应图像内容不同的视频帧,本申请实施例在灰度世界算法的基础上增加了参考偏差值a、b以及c。该参考偏差值的取值可以根据初始视频中各个视频帧的图像格式、图像内容等进行调整,从而使得灰度世界算法能够与视频帧更加适配。例如,当该初始视频中的多个视频帧为HDR图像时,a的取值可以为20,b的取值可以为10,c的取值可以为0。
步骤208、对于目标视频片段中的每个视频帧,采用该目标视频片段的色温调节系数,对视频帧中每个像素的像素值进行调节。
在本申请实施例中,对于目标视频片段中的每个视频帧,终端可以采用上述步骤207中确定出的R通道调节系数,对视频帧中每个像素的R像素值进行调节,采用G通道调节系数,对视频帧中每个像素的G像素值进行调节,以及采用B通道调节系数,对视频帧中每个像素的B像素值进行调节。
可以理解的是,对视频帧中每个像素的像素值进行调节,即可实现对该视频帧的色温的调节。视频帧的色温调节也可以称为视频帧的白平衡处理。
其中,终端对视频帧中每个像素的像素值进行调节后,该像素的R像素值R
1,G像素值G
1以及B像素值B
1分别满足:
R
1=K
R×R
0 公式(8)
G
1=K
G×G
0 公式(9)
B
1=K
B×B
0 公式(10)
其中,R
0为终端对该像素的像素值进行调节前该像素的R像素值,G
0为调节前的该像素的G像素值,B
0为调节前的该像素的B像素值。基于公式(8)至公式(10)可知,终端可以将每个像素的像素值与对应通道的色温调节系数相乘,从而实现对该像素的像素值的调节。
参考上文描述可知,终端在对每个目标视频片段中的至少一个视频帧的色温进行调节时,所采用的色温调节系数(即K
R、K
G以及K
B)是相同的,不同目标视频片段中的视频帧所采用的色温调节系数不同。由于每个目标视频片段的色温调节系数是基于该目标视频片段中至少一个视频帧的色温的均值以及颜色平衡校正系数的均值确定出,因此采用该色温调节系数对目标视频片段中的每个视频帧的色温进行调节时,能够确保该目标视频片段的调节效果较好,进而确保色温调节后的目标视频片段的显示效果较好。
示例的,参考图4,对于m个目标视频片段中的每个目标视频片段,终端可以基于上述步骤203至步骤205中通过色温估计确定出的目标视频片段的色温,以及上述步骤207中确定出目标视频片段的颜色平衡校正系数,对该目标视频片段的色温进行调整。
步骤209、按照播放顺序对色温调节后的至少一个目标视频片段,以及除至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
示例的,参考图4,终端可以按照播放顺序对色温调节后的m个目标视频片段,以及n个视频片段中除该m个目标视频片段外的视频片段进行拼接,得到目标视频。
可以理解的是,本申请实施例提供的视频处理方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。例如,上述步骤206可以根据情况删除,也即是,终端也可以无需选取目标视频片段,而是可以直接对初始视频中的多个视频片段均进行色温的调节。或者,可以理解为:该初始视频中的每个视频片段均为目标视频片段。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
综上所述,本申请实施例提供了一种视频处理方法,终端能够将初始视频划分为多个视频片段,并计算出该多个视频片段的色温。对于该多个视频片段中的每个目标视频片段,终端能够基于该目标视频片段的色温,以及该目标视频片段的颜色平衡校正系数,确定出该目标视频片段的色温调节系数,并采用该色温调节系数对该目标视频片段中至少一个视频帧的色温进行调节。由此,能够确保每个视频片段的色温调节效果较好,进而确保处理后的视频片段的显示效果较好。
图6是本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置可以部署在图1所示场景中的服务器110或终端120中,且可以实现上述方法实施例提供的视频处理方法,如图6所示,该装置包括:
划分模块301,用于将初始视频包括的多个视频帧划分为多个视频片段,每个视频片段包括一个或多个视频帧,其中,多个视频帧连续。
第一确定模块302,用于对于多个视频片段中的每个视频片段,基于视频片段中的至少一个视频帧的色温,确定视频片段的色温。
第二确定模块303,用于对于多个视频片段中的每个目标视频片段,基于目标视频片段的色温,以及目标视频片段的颜色平衡校正系数,确定目标视频片段的色温调节系数,色温调节系数与色温和颜色平衡校正系数均正相关,其中,初始视频包括的目标视频片段的个数小于或等于多个视频片段的个数。
处理模块304,用于对于每个目标视频片段,采用目标视频片段的色温调节系数,对目标视频片段中的每个视频帧的色温进行调节。
接模块305,用于按照播放顺序对色温调节后的至少一个目标视频片段,以及除至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
可选地,该第一确定模块302,用于:对于多个视频片段中的每个视频片段,对视频片段中的每个视频帧进行空间转换;基于每个视频帧包括的多个像素在空间转换后各通道的均值,确定视频帧的色温;基于视频片段中至少一个视频帧的色温的均值,确定视频片段的色温。
可选地,该第一确定模块302,用于:对于多个视频片段中的每个视频片段,将该视频片段中的每个视频帧从RGB色彩空间分别转换至HSV色彩空间和YUV色彩空间。
对于该视频片段中的每个视频帧,基于视频帧包括的多个像素在YUV色彩空间中Y通道上的均值、U通道上的均值和V通道上的均值,以及多个像素在HSV色彩空间中S通道上的均值,确定视频帧的色温,视频帧的色温与视频帧包括的多个像素在Y通道上的均值和U通道上的均值正相关,并与视频帧包括的多个像素在V通道上的均值和S通道上的均值负相关。
可选地,对于多个视频片段中的每个视频片段,该视频片段中每个视频帧的色温CT满足:
其中,α为预设的增益系数,Y
mean为Y通道上的均值,U
mean为U通道上的均值,V
mean为V通道上的均值,C
minus为U
mean和V
mean的差值的绝对值,S
mean为S通道上的均值。
可选地,初始视频中的多个视频帧均为HDR图像,α的取值为5000。
图7是本申请实施例提供的另一种视频处理装置的结构示意图,参考图7,视频处理装置还可以包括:第三确定模块306,该第三确定模块306用于基于多个视频片段的色温,从多个视频片段中确定至少一个目标视频片段。
其中,每个目标视频片段的色温均位于预设的色温范围之外。
可选地,该色温范围为6000K至7000K。
可选地,对于多个视频片段中的每个目标视频片段,该目标视频片段的色温调节系数包括:R通道调节系数K
R、G通道调节系数K
G和B通道调节系数K
B;
其中,R通道调节系数K
R满足:K
R=CT`×β
1×Avg_gain′
R;
G通道调节系数K
G满足:K
G=CT`×β
2×Avg_gain′
G;
B通道调节系数K
B满足:K
B=CT`×β
3×Avg_gain′
B;
其中,β
1、β
2和β
3均为预设的色温参考系数,CT`为目标视频片段的色温,Avg_gain′
R为目标视频片段在R通道的颜色平衡校正系数,Avg_gain′
G为目标视频片段在G通道的颜色平衡校正系数,Avg_gain′
B为目标视频片段在B通道的颜色平衡校正系数。
可选地,该处理模块304,用于:
对于该目标视频片段中的每个视频帧,采用R通道调节系数K
R,对视频帧中每个像素的R像素值进行调节。
采用G通道调节系数K
G,对视频帧中每个像素的G像素值进行调节。
采用B通道调节系数K
B,对视频帧中每个像素的B像素值进行调节。
可选地,Avg_gain′
R为目标视频片段中至少一个视频帧在R通道上的颜色平衡校正系数的均值。Avg_gain′
G为目标视频片段中至少一个视频帧在G通道上的颜色平衡校正系数的均值。Avg_gain′
B为目标视频片段中至少一个视频帧在B通道上的颜色平衡校正系数上的均值。
可选地,每个视频帧在R通道上的颜色平衡校正系数gain
R满足:gain
R=K/R
avg+a;
每个视频帧在G通道上的颜色平衡校正系数gain
B满足:gain
B=K/G
avg+b;
每个视频帧在B通道上的颜色平衡校正系数gain
B满足:gain
B=K/B
avg+c;
其中,R
avg为视频帧中多个像素的R像素值的均值,G
avg为视频帧中多个像素的G像素值的均值,B
avg为视频帧中的多个像素的B像素值的均值,a,b和c为预设的参考偏差值,K为R
avg,G
avg和B
avg的均值。
可选地,该初始视频中的多个视频帧为HDR图像,a的取值为20,b的取值为10,c的取值为0。
可选地,参考图7,该划分模块301,用于:
按照初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度。
基于计算得到的每相邻两个视频帧的相似度,将初始视频划分为多个视频片段。
可选地,该初始视频中的每个视频帧均包括多个图像块,该划分模块301,用于:
在初始视频中的每个视频帧中确定出至少一个目标图像块,至少一个目标图像块的个数小于多个图像块的个数。
按照初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧中的至少一个目标图像块与前一个视频帧中的至少一个目标图像块的相似度。
其中,每个视频帧中的至少一个目标图像块在视频帧中的位置,与前一个视频帧中的至少一个目标图像块在前一个视频帧中的位置相同。
可选地,参考图7,该视频处理装置还可以包括:降维模块307,该降维模块307用于在划分模块301按照初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度之前,对初始视频中的每个初始视频帧进行降维处理,得到多个视频帧。
可选地,划分模块301,用于:基于每个视频帧的图像数据的均值和前一个视频帧的图像数据的均值,视频帧的图像数据的标准差和前一个视频帧的图像数据的标准差,以及视频帧的图像数据和前一个视频帧的图像数据的协方差,确定视频帧与前一个视频帧的结构相似度;基于视频帧和前一个视频帧的结构相似度,确定视频帧与前一个视频帧的相似度。
综上所述,本申请实施例提供了一种视频处理装置,该视频处理装置能够将初始视频划分为多个视频片段,并计算出该多个视频片段的色温。对于该多个视频片段中的每个目标视频片段,该视频处理装置能够基于该目标视频片段的色温,以及该目标视频片段的颜色平衡校正系数,确定出该目标视频片段的色温调节系数,并采用该色温调节系数对该目标视频片段中至少一个视频帧的色温进行调节。由此,能够确保每个视频片段的色温调节效果较好,进而确保处理后的视频的显示效果较好。
可以理解的是,上述实施例提供的视频处理装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
另外,上述实施例提供的视频处理装置和视频处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种显示设备,该显示设备可以为计算机设备,例如可以为图1所示场景中的服务器110或者终端120。并且,该显示设备可以包括上述装置实施例提供的视频处理装置。
如图8所示,该显示设备可以包括显示屏401,处理器402和存储器403,该存储器403中存储有指令,该指令由处理器402加载并执行以实现上述方法实施例提供的视频处理方法(例如图2和图3所示的方法)。该显示屏401进而可以播放处理后的视频。
本申请的实施例还提供了一种计算机可读存储介质,该存储介质中存储有指令,指令由处理器加载并执行以实现上述方法实施例提供的视频处理方法(例如图2和图3所示的方法)。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,由处理器加载并执行以实现如上述方法实施例提供的视频处理方法(例如图2和图3所示的方法)。
可以理解的是,本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (17)
- 一种视频处理方法,其特征在于,所述方法包括:将初始视频包括的多个视频帧划分为多个视频片段,每个所述视频片段包括一个或多个视频帧,其中,所述多个视频帧连续;对于所述多个视频片段中的每个视频片段,基于所述视频片段中的至少一个视频帧的色温,确定所述视频片段的色温;对于所述多个视频片段中的每个目标视频片段,基于所述目标视频片段的色温,以及所述目标视频片段的颜色平衡校正系数,确定所述目标视频片段的色温调节系数,所述色温调节系数与所述目标视频片段的色温和所述目标视频片段的颜色平衡校正系数均正相关,其中,所述初始视频包括的所述目标视频片段的个数小于或等于所述多个视频片段的个数;对于每个目标视频片段,采用所述目标视频片段的色温调节系数,对所述目标视频片段中的每个视频帧的色温进行调节;按照播放顺序对色温调节后的所述至少一个目标视频片段,以及除所述至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
- 根据权利要求1所述的方法,其特征在于,所述基于所述视频片段中的至少一个视频帧的色温,确定所述视频片段的色温,包括:对所述视频片段中的每个视频帧进行空间转换;基于每个所述视频帧包括的多个像素在空间转换后各通道的均值,确定所述视频帧的色温;基于所述视频片段中至少一个视频帧的色温的均值,确定所述视频片段的色温。
- 根据权利要求2所述的方法,其特征在于,所述对所述视频片段中的每个视频帧进行空间转换,包括:将所述视频片段中的每个视频帧从红绿蓝RGB色彩空间分别转换至色相-饱和度-亮度HSV色彩空间和明亮度-色度YUV色彩空间;所述基于每个所述视频帧包括的多个像素在空间转换后各通道的均值,确 定所述视频帧的色温,包括:对于所述视频片段中的每个视频帧,基于所述视频帧包括的多个像素在所述YUV色彩空间中Y通道上的均值、U通道上的均值和V通道上的均值,以及所述多个像素在所述HSV色彩空间中S通道上的均值,确定所述视频帧的色温,所述视频帧的色温与所述视频帧包括的多个像素在所述Y通道上的均值和所述U通道上的均值正相关,并与所述视频帧包括的多个像素在所述V通道上的均值和所述S通道上的均值负相关。
- 根据权利要求3所述的方法,其特征在于,所述视频帧的色温CT满足:其中,α为预设的增益系数,Y mean为所述Y通道上的均值,U mean为所述U通道上的均值,V mean为所述V通道上的均值,C minus为所述U mean和所述V mean的差值的绝对值,S mean为所述S通道上的均值。
- 根据权利要求1至4任一所述的方法,其特征在于,在确定所述目标视频片段的色温调节系数之前,所述方法还包括:基于所述多个视频片段的色温,从所述多个视频片段中确定至少一个所述目标视频片段;其中,每个所述目标视频片段的色温均位于预设的色温范围之外。
- 根据权利要求1至5任一所述的方法,其特征在于,所述目标视频片段的色温调节系数包括:R通道调节系数K R、G通道调节系数K G和B通道调节系数K B;其中,所述R通道调节系数K R满足:K R=CT`×β 1×Avg-gain′ R;所述G通道调节系数K G满足:K G=CT`×β 2×Avg-gain′ G;所述B通道调节系数K B满足:K B=CT`×β 3×Avg-gain′ B;其中,β 1、β 2和β 3均为预设的色温参考系数,CT`为所述目标视频片段的色温,Avg-gain′ R为所述目标视频片段在R通道的颜色平衡校正系数,Avg-gain′ G为所述目标视频片段在G通道的颜色平衡校正系数,Avg-gain′ B为所述目标视频片段在B通道的颜色平衡校正系数。
- 根据权利要求6所述的方法,其特征在于,所述采用所述目标视频片段的色温调节系数,对所述目标视频片段中的每个视频帧的色温进行调节,包括:对于所述目标视频片段中的每个视频帧,采用所述R通道调节系数K R,对所述视频帧中每个像素的R像素值进行调节;采用所述G通道调节系数K G,对所述视频帧中每个像素的G像素值进行调节;采用所述B通道调节系数K B,对所述视频帧中每个像素的B像素值进行调节。
- 根据权利要求6或7所述的方法,其特征在于,所述Avg-gain′ R为所述目标视频片段中至少一个视频帧在R通道上的颜色平衡校正系数的均值;所述Avg-gain′ G为所述目标视频片段中至少一个视频帧在G通道上的颜色平衡校正系数的均值;所述Avg-gain′ B为所述目标视频片段中至少一个视频帧在B通道上的颜色平衡校正系数上的均值。
- 根据权利要求8所述的方法,其特征在于,每个所述视频帧在所述R通道上的颜色平衡校正系数gain R满足:gain R=K/R avg+a;每个所述视频帧在所述G通道上的颜色平衡校正系数gain B满足:gain B=K/G avg+b;每个所述视频帧在所述B通道上的颜色平衡校正系数gain B满足:gain B=K/B avg+c;其中,R avg为所述视频帧中多个像素的R像素值的均值,G avg为所述视频帧中多个像素的G像素值的均值,B avg为所述视频帧中的多个像素的B像素值的均值,a、b和c为预设的参考偏差值,K为所述R avg,所述G avg和所述B avg的均值。
- 根据权利要求1至9任一所述的方法,其特征在于,所述将初始视频包括的多个视频帧划分为多个视频片段,包括:按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度;基于计算得到的每相邻两个视频帧的相似度,将所述初始视频划分为多个视频片段。
- 根据权利要求10所述的方法,其特征在于,所述初始视频中的每个视频帧均包括多个图像块;所述按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度,包括:在所述初始视频中的每个视频帧中确定出至少一个目标图像块,所述至少一个目标图像块的个数小于所述多个图像块的个数;按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧中的至少一个目标图像块与前一个视频帧中的至少一个目标图像块的相似度;其中,每个所述视频帧中的至少一个目标图像块在所述视频帧中的位置,与前一个视频帧中的至少一个目标图像块在所述前一个视频帧中的位置相同。
- 根据权利要求10所述的方法,其特征在于,在按照所述初始视频包括的多个视频帧的播放顺序,依次计算每个视频帧与前一个视频帧的相似度之前,所述方法还包括:对所述初始视频中的每个初始视频帧进行降维处理,得到所述多个视频帧。
- 根据权利要求10至12任一所述的方法,其特征在于,所述依次计算每个视频帧与前一个视频帧的相似度,包括:对于所述多个视频帧中的每个视频帧,基于所述视频帧的图像数据的均值和前一个视频帧的图像数据的均值,所述视频帧的图像数据的标准差和所述前一个视频帧的图像数据的标准差,以及所述视频帧的图像数据和所述前一个视频帧的图像数据的协方差,确定所述视频帧与所述前一个视频帧的结构相似度;基于所述视频帧和所述前一个视频帧的结构相似度,确定所述视频帧与所述前一个视频帧的相似度。
- 一种视频处理装置,其特征在于,所述装置包括:划分模块,用于将初始视频包括的多个视频帧划分为多个视频片段,每个所述视频片段包括一个或多个视频帧,其中,所述多个视频帧连续;第一确定模块,用于对于所述多个视频片段中的每个视频片段,基于所述视频片段中的至少一个视频帧的色温,确定所述视频片段的色温;第二确定模块,用于对于所述多个视频片段中的每个目标视频片段,基于所述目标视频片段的色温,以及所述目标视频片段的颜色平衡校正系数,确定所述目标视频片段的色温调节系数,所述色温调节系数与所述色温和所述颜色平衡校正系数均正相关,其中,所述初始视频包括的所述目标视频片段的个数小于或等于所述多个视频片段的个数;处理模块,用于对于每个目标视频片段,采用所述目标视频片段的色温调节系数,对所述目标视频片段中的每个视频帧的色温进行调节;拼接模块,用于按照播放顺序对色温调节后的所述至少一个目标视频片段,以及除所述至少一个目标视频片段之外的视频片段进行拼接,得到目标视频。
- 一种显示设备,其特征在于,所述显示设备包括:显示屏,处理器和存储器,所述存储器中存储有指令,所述指令由所述处理器加载并执行以实现如权利要求1至13任一所述的视频处理方法。
- 一种计算机可读存储介质,其特征在于,所述存储介质中存储有指令,所述指令由处理器加载并执行以实现如权利要求1至13任一所述的视频处理方法。
- 一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述指令由处理器加载并执行以实现如权利要求1至13任一所述的视频处理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/126793 WO2024082288A1 (zh) | 2022-10-21 | 2022-10-21 | 视频处理方法、装置及显示设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118251884A true CN118251884A (zh) | 2024-06-25 |
Family
ID=90736674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280003694.7A Pending CN118251884A (zh) | 2022-10-21 | 2022-10-21 | 视频处理方法、装置及显示设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118251884A (zh) |
WO (1) | WO2024082288A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006211386A (ja) * | 2005-01-28 | 2006-08-10 | Konica Minolta Photo Imaging Inc | 立体画像処理装置、立体画像表示装置、及び立体画像生成方法 |
KR101920816B1 (ko) * | 2013-07-08 | 2018-11-21 | 한화테크윈 주식회사 | 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치 |
CN106709887A (zh) * | 2017-01-06 | 2017-05-24 | 凌云光技术集团有限责任公司 | 基于色温曲线的图像的灰度世界白平衡调整方法及装置 |
WO2020014925A1 (zh) * | 2018-07-19 | 2020-01-23 | 深圳市大疆创新科技有限公司 | 色温调节方法、控制终端和可移动平台 |
CN113497954B (zh) * | 2020-03-20 | 2023-02-03 | 阿里巴巴集团控股有限公司 | 一种视频调色方法、设备及存储介质 |
-
2022
- 2022-10-21 CN CN202280003694.7A patent/CN118251884A/zh active Pending
- 2022-10-21 WO PCT/CN2022/126793 patent/WO2024082288A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024082288A1 (zh) | 2024-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7599550B1 (en) | Method for accurate real-time compensation for changing illumination spectra in digital video cameras | |
US10013739B2 (en) | Image enhancement methods and systems using the same | |
US9578211B2 (en) | Image de-noising methods and apparatuses using the same | |
US20070047803A1 (en) | Image processing device with automatic white balance | |
US10521887B2 (en) | Image processing device and image processing method | |
KR100925629B1 (ko) | YCbCr 색공간에서의 오토 화이트 밸런스 방법 | |
US20140133750A1 (en) | Method for improving images captured underwater | |
US11645734B2 (en) | Circuitry for image demosaicing and contrast enhancement and image-processing method | |
CN114866809B (zh) | 视频转换方法、装置、设备、存储介质及程序产品 | |
US20160275651A1 (en) | Methods for awb (automatic white balance) compensation and apparatuses using the same | |
CN112153356A (zh) | 图像参数的确定方法、图像传感器、装置、电子设备及存储介质 | |
CN113810642A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN113132695A (zh) | 镜头阴影校正方法、装置及电子设备 | |
CN114998122A (zh) | 一种低照度图像增强方法 | |
US20160286090A1 (en) | Image processing method, image processing apparatus, and image processing program | |
CN118251884A (zh) | 视频处理方法、装置及显示设备 | |
JP2023002345A (ja) | 画像処理装置および画像処理方法 | |
CN115706765A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN113643651A (zh) | 一种图像增强方法、装置、计算机设备和存储介质 | |
Gil Rodríguez et al. | High quality video in high dynamic range scenes from interlaced dual-iso footage | |
CN111242087A (zh) | 物体识别方法及装置 | |
CN112422940A (zh) | 一种自适应颜色校正方法 | |
WO2022267784A1 (en) | Systems and methods for image correction | |
Bai et al. | Analysis of high dynamic range and wide color gamut of uhdtv | |
CN114630095B (zh) | 目标场景图像的自动白平衡方法及装置、终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |