CN110149550A - 一种图像数据处理方法和装置 - Google Patents
一种图像数据处理方法和装置 Download PDFInfo
- Publication number
- CN110149550A CN110149550A CN201810628987.XA CN201810628987A CN110149550A CN 110149550 A CN110149550 A CN 110149550A CN 201810628987 A CN201810628987 A CN 201810628987A CN 110149550 A CN110149550 A CN 110149550A
- Authority
- CN
- China
- Prior art keywords
- video frame
- value
- region
- gray value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000002708 enhancing effect Effects 0.000 claims description 76
- 238000009877 rendering Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 54
- 230000004927 fusion Effects 0.000 claims description 47
- 238000005286 illumination Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000013078 crystal Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像数据处理方法,所述方法包括:获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;在所述第一视频帧中查找待增强区域,并对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;在当前播放的视频数据播放至所述第一视频帧对应的播放时间戳时,将所述第二视频帧作为目标视频帧进行播放。采用本发明,可以改善图像数据的视觉效果。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种图像数据处理方法和装置。
背景技术
随着终端屏幕的显示技术的发展,人们对终端所显示的彩色图像的要求也变得越来越高。由于显示器的各方面因素的制约,显示器显示彩色图像通常会存在颜色偏暗、对比度偏低以及局部细节不突出等问题。此外,当该终端屏幕的屏幕亮度降低时,将会降低该终端屏幕上每个RGB显示晶体的显示强度,即在该终端屏幕的亮度降低时,该终端将压缩当前播放的视频帧对应的色彩范围。
例如,当该终端用于播放视频数据,且检测到该终端屏幕的亮度值降低时,将会降低该视频数据中当前播放的视频帧的色彩范围,并直接在该终端屏幕上显示色彩范围缩小后的视频帧。以当前播放的视频帧中像素点A的彩色像素值(即RGB三原色值)为(255,255,255)为例,当该终端屏幕的屏幕亮度降为原来的一半时,该像素点A的色彩范围也会被动态的压缩(比如,彩色像素值将由原来的(255,255,255)变为(125,125,125))。因此,当该视频帧内所有像素点的彩色像素值均被压缩后,该视频帧的彩色范围也就相对缩小,从而降低了该视频帧内图像数据的显示对比度。
此外,当终端屏幕的屏幕亮度降低时,当前播放的视频帧中又存在大量的暗场景(这些暗场景内各像素点的彩色像素值之间的偏差较小),进而会难以在该视频帧中显示出这些暗场景中不同物体特征之间的差别,从而降低了这些暗场景中图像数据的视觉效果。
发明内容
本发明实施例提供一种图像数据处理方法和装置,可以提升整体的显示对比度,以改善图像数据的视觉效果。
本发明一方面提供了一种图像数据处理方法,包括:
获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;
在所述第一视频帧中查找待增强区域,并对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;
在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
其中,所述在所述第一视频帧中查找待增强区域,包括:
获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域。
其中,所述获取所述第一视频帧对应的平均灰度值,作为第一灰度值,包括:
对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口;
获取所述渲染窗口内各像素点分别对应的灰度值,并基于所述渲染窗口内各像素点分别对应的灰度值,计算所述渲染窗口对应的平均灰度值;
将所述渲染窗口对应的平均灰度值作为所述第一视频帧对应的第一灰度值。
其中,所述对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口,包括:
对具有所述第二亮度值的所述第一视频帧中的多个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像;
对所述第一灰度图像进行降采样处理,得到与所述第一灰度图像对应的降采样图像,并将所述将采样图像作为所述第一视频帧对应的渲染窗口;其中,所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍。
其中,所述对所述第一视频帧中的待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧,包括:
在所述第一视频帧中,为所述待增强区域设置第一标记,并为所述第一视频帧中的余下子区域设置第二标记,得到携带所述第一标记和所述第二标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
获取所述第一视频帧对应的第一灰度图像,并在所述第一灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像;
获取所述第二灰度图像内所有像素点的灰度值,作为第三灰度值;
将所述第三灰度值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第四灰度值;
若所述第四灰度值与所述第三灰度值之间的比值满足参数调整条件,则将所述比值作为增强调整参数,并基于所述增强调整参数,将所述第一视频帧中所述待增强区域内所有像素点的彩色像素值进行调整,得到与所述第一标记对应的增强区域;
将所述第一标记对应的增强区域与所述第二标记对应的子区域进行拼接,得到第二视频帧。
其中,所述对所述第一视频帧中的待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧,包括:
在所述第一视频帧中,为所述待增强区域设置第三标记,并为所述第一视频帧中的余下子区域设置第四标记,得到携带所述第三标记和所述第四标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
在所述第一视频帧中,获取所述第三标记对应的待增强区域内所有像素点的彩色像素值,作为第一像素值;
将所述第一像素值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第二像素值;
基于所述第二像素值,构建与所述第三标记对应的增强区域;
将所述第三标记对应的增强区域与所述第四标记对应的子区域进行拼接,得到第二视频帧。
其中,所述在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放,包括:
在当前播放的视频数据中,将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧;
在所述第一视频帧对应的播放时间戳显示所述目标视频帧。
其中,所述将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧,包括:
获取所述第一视频帧对应的第一融合参数,并获取所述第二视频帧对应的第二融合参数;
根据所述第一融合参数对所述第一视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第一视频帧对应的第一待融合像素值;
根据所述第二融合参数对所述第二视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第二视频帧对应的第二待融合像素值;
基于所述第一待融合像素值和所述第二待融合像素值,将所述第一视频帧与所述第二视频帧进行像素值叠加,得到目标视频帧。
其中,所述方法还包括:
获取环境光照强度,并在所述环境光照强度小于照度阈值时,根据所述环境光照强度将终端屏幕的亮度从第一亮度值切换为第二亮度值。
本发明一方面提供了一种图像数据处理装置,包括:
视频帧获取模块,用于获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;
区域查找模块,用于在所述第一视频帧中查找待增强区域;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;
图像增强模块,用于对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;
目标帧播放模块,用于在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
其中,所述区域查找模块包括:
第一灰度值获取单元,用于获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
第二灰度值获取单元,用于将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
待增强区域确定单元,用于将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域。
其中,所述第一灰度值获取单元包括:
渲染子单元,用于对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口;
灰度值计算子单元,用于获取所述渲染窗口内各像素点分别对应的灰度值,并基于所述渲染窗口内各像素点分别对应的灰度值,计算所述渲染窗口对应的平均灰度值;
灰度值确定子单元,用于将所述渲染窗口对应的平均灰度值作为所述第一视频帧对应的第一灰度值。
其中,所述渲染子单元,具体用于对所述第一视频帧中的多个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像,并对所述第一灰度图像进行降采样处理,得到与所述第一灰度图像对应的降采样图像,并将所述将采样图像作为所述第一视频帧对应的渲染窗口;其中,所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍。
其中,所述图像增强模块包括:
第一区域标记单元,用于在所述第一视频帧中,为所述待增强区域设置第一标记,并为所述第一视频帧中的余下子区域设置第二标记,得到携带所述第一标记和所述第二标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
灰度图像获取单元,用于获取所述第一视频帧对应的第一灰度图像,并在所述第一灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像;
第三灰度值获取单元,用于获取所述第二灰度图像内所有像素点的灰度值,作为第三灰度值;
第一增强单元,用于将所述第三灰度值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第四灰度值;
调整参数确定单元,用于若所述第四灰度值与所述第三灰度值之间的比值满足参数调整条件,则将所述比值作为增强调整参数,并基于所述增强调整参数,将所述第一视频帧中所述待增强区域内所有像素点的彩色像素值进行调整,得到与所述第一标记对应的增强区域;
第一拼接单元,用于将所述第一标记对应的增强区域与所述第二标记对应的子区域进行拼接,得到第二视频帧。
其中,所述图像增强模块包括:
第二区域标记单元,用于在所述第一视频帧中,为所述待增强区域设置第三标记,并为所述第一视频帧中的余下子区域设置第四标记,得到携带所述第三标记和所述第四标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
像素值获取单元,用于在所述第一视频帧中,获取所述第三标记对应的待增强区域内所有像素点的彩色像素值,作为第一像素值;
第二增强单元,用于将所述第一像素值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第二像素值;
增强区域构建单元,用于基于所述第二像素值,构建与所述第三标记对应的增强区域;
第二拼接单元,用于将所述第三标记对应的增强区域与所述第四标记对应的子区域进行拼接,得到第二视频帧。
其中,所述目标帧播放模块包括:
目标帧确定单元,用于在当前播放的视频数据中,将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧;
目标帧播放单元,用于在所述第一视频帧对应的播放时间戳播放所述目标视频帧。
其中,所述目标帧确定单元,包括:
融合参数获取子单元,用于获取所述第一视频帧对应的第一融合参数,并获取所述第二视频帧对应的第二融合参数;
第一加权子单元,用于根据所述第一融合参数对所述第一视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第一视频帧对应的第一待融合像素值;
第二加权子单元,用于根据所述第二融合参数对所述第二视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第二视频帧对应的第二待融合像素值;
像素值叠加子单元,用于基于所述第一待融合像素值和所述第二待融合像素值,将所述第一视频帧与所述第二视频帧进行像素值叠加,得到目标视频帧。
其中,所述装置还包括:
亮度切换模块,用于获取环境光照强度,并在所述环境光照强度小于照度阈值时,根据所述环境光照强度将终端屏幕的亮度从第一亮度值切换为第二亮度值。
本发明一方面提供了一种图像数据处理装置,包括:处理器和存储器;
所述处理器与存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行本发明实施例中上述一方面中的方法。
本发明一方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行本发明实施例中上述一方面中的方法。
本发明实施例在检测到终端屏幕的亮度从第一亮度值降低为第二亮度值时,可以在所述视频数据的多个视频帧中获取第一视频帧,并进一步在具有所述第二亮度值的所述第一视频帧中查找待增强区域,即该待增强区域为该第一视频帧中的暗部区域,且该待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;然后,可以进一步对所述待增强区域内的图像进行图像增强,得到第二视频帧。可见,本发明可以在检测到该终端屏幕的亮度降低时,对该第一视频帧中暗部区域内的图像进行增强处理,以便于在该终端屏幕中增强图像数据的显示对比度,从而改善该待增强区域内图像数据的视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种网络架构的结构示意图;
图1b是本发明实施例提供的一种压缩视频帧的色彩范围的示意图;
图2是本发明实施例提供的一种图像数据处理方法的流程示意图;
图3是本发明实施例提供的一种查找待增强区域的示意图;
图4是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图5是本发明实施例提供的一种标记待增强区域的示意图;
图6是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图7是本发明实施例提供的一种图像数据处理装置的结构示意图;
图8是本发明实施例提供的另一种图像数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1a,是本发明实施例提供的一种网络架构的结构示意图。如图1a所示,所述网络架构可以包括视频源服务器2000以及客户终端集群;所述客户终端集群可以包括多个客户终端,如图1a所示,具体包括客户终端3000a、客户终端3000b、…、客户终端3000n;
如图1a所示,所述视频源服务器2000用于存储多个视频数据源。
其中,客户终端3000a、客户终端3000b、…、客户终端3000n可以分别与所述视频源服务器2000进行网络连接,以从所述视频源服务器上获取视频数据。
如图1a所示,为更好的理解本方案,本发明实施例可在所述客户终端集群中选择一个客户终端作为目标客户终端(以目标客户终端为客户终端3000a为例),以便于描述该客户终端3000a与所述视频源服务器2000之间的数据交互关系,即该目标客户终端(客户终端3000a)可以向所述视频源服务器2000发送视频下载请求,并可以进一步接收所述视频源服务器2000基于该视频下载请求返回的视频数据。
此外,所述目标客户端还用于获取环境光照强度,并在所述环境光照强度小于照度阈值时,根据所述环境光照强度将终端屏幕的亮度从第一亮度值切换为第二亮度值。即所述目标客户终端可以在播放所述视频数据时,进一步通过其内部的光传感器,监测该终端设备周围的环境光照强度,并可以进一步在该环境光照强度小于照度阈值(比如,100勒克斯)时,确定该终端当前处于光线较暗的环境中,从而可以进一步根据该环境光照强度调整终端屏幕的亮度(即将该终端屏幕的亮度从第一亮度值切换为第二亮度值,应当理解,此时,所述第二亮度值小于所述第一亮度值)。可见,该目标客户终端可以实时根据其周围的环境光照强度,调整终端屏幕的亮度,以保护用户的视力。
为便于理解,请参见图1b,是本发明实施例提供的一种压缩视频帧的色彩范围的示意图。如图1b所示,当环境光的环境光照强度小于照度阈值时,即图1b所示的目标客户终端当前处于光线较暗的环境中时,所述目标客户终端会将该终端屏幕的亮度从第一亮度值切换为第二亮度值。与此同时,该目标客户终端基于该终端屏幕的显色原理,会在该终端屏幕的亮度降低时,动态压缩该视频数据中每个视频帧内各像素点的像素值(即会对该视频数据中尚未播放的视频帧内的各像素点的像素值进行压缩),从而缩小了每个视频帧中所显示的色彩范围,此时,所述目标客户端会降低图像数据的整体对比度。
为便于理解,现以该视频数据中的视频帧A为例,以便于描述该视频帧A对应的色彩范围的变化情况。其中,在图1b所示的第一显示界面100中,该视频帧A内各像素点所构成的色彩范围为0-255,此时,该视频帧A可以称之为具有第一亮度值的视频帧。当该终端屏幕的亮度降低(即亮度从所述第一亮度值切换为第二亮度值)时,该目标客户终端会动态压缩该视频帧A内各像素点的像素值,进而缩小该视频帧A对应的色彩范围(即在图1b所示的第二显示界面200中,该视频帧A对应的色彩范围变为0-125),从而降低了该视频帧A中图像数据的整体对比度。此时,该视频帧A可以称之为具有第二亮度值的视频帧。
因此,本发明实施例需要在该终端屏幕的亮度降低时,对该视频数据的多个视频帧对应的色彩范围进行压缩,以得到与所述视频数据对应的第一视频帧;此时,应当理解,所述第一视频帧为具有第二亮度值的视频帧(比如,在图1b所示的第二显示界面200内所显示的视频帧),此时,为了提升所述第一视频帧中图像数据的对比度,所述目标客户终端可以在该第一视频帧中查找待增强区域,其中,所述待增强区域为所述第一视频帧中的暗部区域,此时,所述暗部区域可以理解为所述第一视频帧内多个子区域中的一个子区域。因此,所目标客户终端可以在所第一视频帧中的多个子区域中,将子区域所对应的平均灰度值小于所述第一视频帧对应的平均灰度值的子区域,作为待增强区域(比如,在所述第二显示界面200中,可以将该暗部区域300作为该视频帧A的待增强区域)。于是,所述目标客户终端可以进一步对该待增强区域内的图像数据进行图像增强,并将图像增强后第一视频帧作为第二视频帧,并在当前播放的视频数据播放至所述第一视频帧对应的播放时间戳时,将所述第二视频帧作为目标视频帧进行播放,以改善该目标视频帧内图像数据的视觉效果。
应当理解,此时所述第一视频帧中的暗部区域所对应的平均灰度值小于所述第一视频帧对应的平均灰度值,即在所述第一视频帧中,存在一些比较暗的场景,即在这些较暗场景内各像素点的彩色像素值之间的偏差较小。因此,本发明实施例可以将这些存在较暗场景的子区域称之为待增强区域,以在所述第一视频帧中对该待增强区域内的图像进行图像增强,以提升该待增强区域内图像数据的显示对比度,进而增强该待增强区域内图像数据
其中,所述目标客户终端在该第一视频帧中查找待增强区域,并对该待增强区域进行图像增强的具体过程,可以参见如下图2至图6对应的实施例。
进一步地,请参见图2,是本发明实施例提供的一种图像数据处理方法的流程示意图。如图2所示,所述方法可以包括:
S101,获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;
具体地,客户终端可以向服务器发送视频下载请求,并接收该服务器基于该视频下载请求所返回的视频数据,并将接收到的所述视频数据进行播放。此时,所述客户终端的终端屏幕的亮度为第一亮度值,于是,在该终端屏幕中,当前播放的所述视频数据中每个视频帧对应的色彩范围为第一色彩范围。当所述客户终端检测到环境光照强度小于照度阈值时,可以进一步根据所述环境光照强度将终端屏幕的亮度从所述第一亮度值切换为第二亮度值。当所述客户终端检测到所述终端屏幕的亮度从第一亮度值切换为第二亮度值时(即所客户终端可以在所述终端屏幕的亮度降低为第二亮度值时),基于所述终端屏幕的显色原理,对当前播放的视频数据中每个视频帧对应的第一色彩范围进行压缩,即压缩每个视频帧中各像素点的像素值,以使每个视频帧对应的色彩范围从所述第一色彩范围变为第二色彩范围。应当理解,与所述第一色彩范围对应的视频帧可以为所述视频数据中尚未播放的视频帧,因此,当所述终端屏幕的亮度降低时,所述客户终端可以将这些尚未播放的视频帧的色彩范围进行动态压缩。然后,所述客户终端可以在所述第二色彩范围所对应的多个视频帧中获取第一视频帧,此时,所述第一视频帧可以理解为具有第二亮度值的视频帧,即所述第一视频帧为所述第二色彩范围对应的视频帧。其中,所述第二亮度值小于第一亮度值。应当理解,所述第一视频帧可以为所述视频数据中即将播放的一个视频帧(即与第二亮度值对应的所述视频数据中,播放时间戳最靠前的视频帧),或者可以是将所述视频数据中播放时间戳较靠前的多个视频帧统称为第一视频帧。为便于理解,本发明实施例仅以所述第一视频帧为所述视频数据中,播放时间戳最靠前的视频帧为例,以进一步对该视频帧执行步骤S102和步骤S103,进而改善该第一视频帧中待处理区域内图像数据的视觉效果。当然,在实际应用场景中,所述客户终端对后续视频帧中待处理区域内图像进行图像增强的具体过程,可一并参见本发明实施例中对所述第一视频帧中所述待处理区域内图像进行图像增强的过程。
其中,所述终端屏幕的显色原理可以为:当终端屏幕的亮度降低时,所述客户终端可以降低该终端屏幕上每个RGB显示晶体的显示强度,即该客户终端可以在该终端屏幕对应的视频帧内,降低所述视频帧内每个像素点的像素值。其中,每个像素点的像素值均由RGB三原色构成,从而可以在该终端屏幕上显示由该RGB三原色所组成的不同颜色。为便于理解,本发明实施例将具有第二亮度值的所述第一视频帧内各像素点的像素值统称为彩色像素值,且每个像素点的彩色像素值均包含R、G、B三个分量。
应当理解,若所述客户终端的终端屏幕的亮度始终为第一亮度值,则所述客户终端可以基于所述第一亮度值在所述终端屏幕上直接显示所述第一色彩范围所对应的每个视频帧,即所述客户终端可以在当前播放的视频数据播放至每个视频帧分别对应的播放时间戳时,直接在所述终端屏幕上显示所述视频数据中的每个视频帧。此时,当前播放的所述视频数据的每个视频帧可以称之为具有第一亮度值的视频帧。
进一步地,当所述客户终端检测到所述终端屏幕的亮度从所述第一亮度值切换为第二亮度值时,所述客户终端可以对所述视频数据中每个视频帧对应的第一色彩范围进行动态压缩,以得到每个视频帧对应的第二色彩范围。由于所述客户终端动态压缩了每个视频帧中各像素点的彩色像素值,所以,会降低所述第一视频帧中图像数据的显示对比度。为了提升所述第一视频帧中图像数据的对比度,所述客户终端可以进一步执行步骤S102,以在所述第一视频帧中查找待增强区域,进而可以针对性的对该待增强区域内的图像进行图像增强。
为便于理解,本发明实施例仅以当前播放的视频数据中一个视频帧内的局部像素点为例,以对所述终端屏幕的亮度与所述视频数据中的每个视频帧之间的显示关系进行阐述。在该视频帧中,存在A、B、C、D、E五个像素点,其中,像素点A的彩色像素值为(255,255,255),像素点B的彩色像素值为(125,125,125),像素点C的彩色像素值为(124,124,124),像素点D的彩色像素值为(25,25,25),像素点E的彩色像素值为(0,0,0),此时,该视频帧对应的色彩范围为0-255(即第一色彩范围),且所述客户终端的屏幕亮度为第一亮度值(例如,80)。当该客户终端检测到环境光照强度小于照度阈值(比如,100勒克斯)时,即该客户终端处于光线较暗的环境中时,可以将所述终端屏幕的亮度从所述第一亮度值切换为第二亮度值,比如,所述客户终端可以将该终端屏幕的亮度降低一半,此时,该终端屏幕的第二亮度值为40。基于屏幕显色原理,当该终端屏幕的亮度降低时,所述客户终端将降低该终端屏幕上每个RGB显示晶体的显示强度,即降低该视频帧内每个像素点的彩色像素值。因此,当该终端屏幕的亮度降低为第二亮度值(40)时,用户在该终端屏幕上观察到该视频帧中各像素点的彩色像素值可以为:像素点A的彩色像素值为(127,127,127),像素点B的彩色像素值为(62,62,62),像素点C的彩色像素值为(62,62,62),像素点D的彩色像素值为(12,12,12),像素点E的彩色像素值为(0,0,0),此时,该视频帧对应的色彩范围为0-127(即第二色彩范围)。可见,通过对该视频帧中各像素点的彩色像素值的压缩,将会降低该视频帧内图像数据的整体对比度,进而影响用户对该视频帧内各场景细节的分辨能力,比如,像素点B和像素点C的彩色像素值在压缩之后,变成具有相同彩色像素值的像素点,进而将会增加用户对该视频帧内部分场景细节的辨识难度。
应当理解,在当前播放的视频数据中,所述客户终端对每个视频帧中各像素点的色彩范围进行压缩的具体过程,可以一并参见本发明实施例中所列举的该视频帧内局部像素点的色彩范围的压缩过程,这里将不再继续进行赘述。
其中,所述客户终端可以为上述图1a所对应实施例中的目标客户终端,所述客户终端包括个人电脑、平板电脑、笔记本电脑、智能电视、智能手机等携带视频数据播放功能的终端设备。
其中,所述服务器可以为上述图1a所对应实施例中的视频源服务器2000,该服务器可以用于存储多个视频源,并可以在接收到客户终端发送的视频下载请求时,在视频库中查找与所述视频下载请求对应的视频数据,并将所述视频数据返回至所述客户终端。
步骤S102,在所述第一视频帧中查找待增强区域,并对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;
具体地,所述客户终端可以获取所述第一视频帧对应的平均灰度值,作为第一灰度值,与此同时,所述客户终端可以将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;然后,所述客户终端将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域;最后,所述客户终端对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧。
其中,计算所述第一视频帧对应的平均灰度值的具体过程可以为:对所述第一视频帧中的各个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像。然后,所述客户终端可以在具有第二像素值的第一视频帧中,获取该第一视频帧对应的第一灰度图像中所有像素点的灰度值,并进一步基于该第一灰度图像中所有像素点的灰度值,确定与所述第一灰度图像对应的平均灰度值,并将所述第一灰度图像对应的平均灰度值,作为所述第一视频帧对应的平均灰度值。此时,所述第一视频帧对应的平均灰度值是指所述第一灰度图像内所有像素点的灰度值的均值。
进一步地,请参见以下表1,为本发明实施例提供的一种各像素点的彩色像素值与灰度值的映射关系表。
像素点 | 像素点x1 | 像素点x2 | 像素点x3 | 像素点x4 |
彩色像素值 | (R1,G1,B1) | (R2,G2,B2) | (R3,G3,B3) | (R4,G4,B4) |
灰度值 | Y1 | Y2 | Y3 | Y4 |
像素点 | 像素点x5 | 像素点x6 | 像素点x7 | 像素点x8 |
彩色像素值 | (R5,G5,B5) | (R6,G6,B6) | (R7,G7,B7) | (R8,G8,B8) |
灰度值 | Y5 | Y6 | Y7 | Y8 |
表1
如表1所示,为了便于说明,假设在所述第一视频帧中有8个像素点,这8个像素点分别为x1,x2,x3,x4,x5,x6,x7,x8。所述客户终端可以对该第一视频帧中的8个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像。其中,在所述第一视频帧,各像素点的彩色像素值可以用R、G、B三个分量的值来表示,即像素点x1的彩色像素值为(R1,G1,B1),像素点x2的彩色像素值为(R2,G2,B2),像素点x3的彩色像素值为(R3,G3,B3),像素点x4的彩色像素值为(R4,G4,B4),像素点x5的彩色像素值为(R5,G5,B5),像素点x6的彩色像素值为(R6,G6,B6),像素点x7的彩色像素值为(R7,G7,B7),像素点x8的彩色像素值为(R8,G8,B8)。因此,所述客户终端将该第一视频帧处理为第一灰度图像的过程可以为:所述客户终端可以根据彩色图像的彩色像素值与灰度图像的灰度值之间的换算公式(比如:灰度值Y=0.3R+0.59G+0.11B),计算各像素点的灰度值。因此,所述客户终端可以将各像素点的彩色像素值作为该换算公式的输入,以得到与各像素点分别对应的灰度值。比如,像素点x1的灰度值为Y1,像素点x2的灰度值为Y2,像素点x3的灰度值为Y3,像素点x4的灰度值为Y4,像素点x5的灰度值为Y5,像素点x6的灰度值为Y6,像素点x7的灰度值为Y7,像素点x8的灰度值为Y8。此时,所述第一灰度图像的平均灰度值为这8个像素点的灰度值的均值,即Y=(Y1+Y2+Y3+Y4+Y5+Y6+Y7+Y8)/8。
由上述表1可知,所述客户终端通过上述换算公式,可以将每个像素点的彩色像素值转换为与该像素点对应的灰度值,进而可以得到如表1所示的每个像素点的彩色像素值与灰度值之间的映射关系表。
可选地,所述客户终端还可以通过所述第一视频帧对应的渲染窗口,计算该第一视频帧对应的平均灰度值。此时,所述客户终端可以对所述第一视频帧进行渲染处理,以得到与该第一视频帧对应的渲染窗口(该渲染窗口可以理解为该第一灰度图像对应的缩略图),此时,所述渲染窗口是指对所述第一视频帧的第一灰度图像进行降采样处理后的降采样图像。因此,所述客户终端可以对该渲染窗口内各像素点的灰度值进行均值计算,并把该渲染窗口对应的平均灰度值,作为所述第一视频帧对应的平均灰度值。
因此,通过该渲染窗口求取该第一视频帧对应的平均灰度值的方法,可以得到该第一视频帧的近似均值,由于所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍,因此,降采样后的降采样图像内的像素点的数量要远远比所述第一灰度图像内的像素点的数量少,进而可以加快所述第一视频帧对应的平均灰度值求取的效率,即采用该渲染窗口求取均值的方法,无需将所述第一视频帧内所有像素点的灰度值均纳入均值计算过程。
比如,对于图像大小为521*512的第一灰度图像而言,可以通过视频渲染算法,将所述第一灰度图像处理为一个图像大小为3*3的渲染窗口,此时,该渲染窗口为所述客户终端对该第一灰度图像进行降采样处理之后得到的降采样图像。
进一步地,所述客户终端在得到所述第一视频帧对应的平均灰度值之后,可以将该所述第一视频帧对应的平均灰度值,作为第一灰度值。其次,所述客户终端可以进一步在所述第一视频帧中,计算每个子区域分别对应的平均灰度值,作为第二灰度值;然后,所述客户终端可以进一步将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域。换言之,所述客户终端可以基于该第一视频帧对应的第一灰度值,在所述第一视频帧中查找待增强区域。
进一步地,请参见图3,是本发明实施例提供的一种查找待增强区域的示意图。如图3所示,所述客户终端可执行完步骤S101之后,可以得到如图3所示的具有第二亮度值的第一视频帧,并可以进一步在后台将所述第一视频帧对应的显示区域进行划分,得到如图3所示的9个子区域(这9个子区域构成了如图3所示的子区域显示界面100a,应当理解,该子区域显示界面100a对用户而言,是不可见的)。此外,应当理解,每个子区域内所包含的图像数据均为图3所示的第一视频帧中的局部图像数据。
此外,应当理解,在实际应用中,所述客户终端可以将该第一视频帧划分为多个子区域(比如,100个子区域,因此,本发明实施例将不对划分后的子区域的数量进行限制),由于是计算各子区域分别对应的平均灰度值,于是,在对各子区域进行划分的过程中,可以使划分后的各子区域具有相同尺寸,以使所述客户终端可以通过滑动窗口的方式,加快对各子区域分别对应的平均灰度值的计算效率。
可选地,所述客户终端还可以根据所述第一视频帧中目标对象的颜色和纹理,将所述第一视频帧中划分为多个大小不一的子区域(此时,每个子区域可以尽量包含一个完整的目标对象),以进一步计算每个子区域分别对应的平均灰度值,得到第二灰度值。然后,所述客户终端可以将第二灰度值小于第一灰度值的子区域作为待增强区域,此时,所述客户终端可以确保该待增强区域内尽量包含一个完整的目标对象,以便于后续对该待增强区域内的图像进行对数增强之后,可避免同一目标对象的色彩不均衡的现象,即避免对待增强区域进行对数增强后,导致同一目标对象在两个不同子区域间色彩不均衡的现象。此时,这两个不同子区域应当理解为:一个子区域为需要进行图像增强的待增强区域,另一个子区域为不需要进行图像增强的非待增强区域。其中,所述非待增强区域是指所述第二灰度值大于和/或等于所述第一灰度值的子区域,因此,所述客户终端无需将该非待增强区域进行图像增强处理,从而可以在所述第一视频帧内通过对待增强区域内的图像进行图像增强来提升该待增强区域内图像数据的显示对比度。
应当理解,所述客户终端在将所述第一视频帧划分为多个子区域后,本发明实施例将不对具体如何划分所述第一视频帧进行限制,即划分后的各子区域的尺寸可以一致,也可以不一致。
为便于理解,本发明实施例仅以将所述第一视频帧划分为如图3所示的9个子区域为例,其中,所述第一视频帧对应的平均灰度值为δ(即第一视频帧的第一灰度值为δ),如图3所示,这9个子区域分别为:A1区域,A2区域,A3区域,A4区域,A5区域,A6区域,A7区域,A8区域,A9区域,于是,所述客户终端可以进一步在该子区域显示界面100a中,求取各子区域分别对应的平均灰度值(即第二灰度值),并将所述各子区域的第二灰度值记为δi(i的取值为1~9)。此时,在如图3所示的子区域显示界面100a中,A1区域的第二灰度值为δ1,A1区域的第二灰度值为δ2,A1区域的第二灰度值为δ3,A1区域的第二灰度值为δ4,A1区域的第二灰度值为δ5,A1区域的第二灰度值为δ6,A1区域的第二灰度值为δ7,A1区域的第二灰度值为δ8,A1区域的第二灰度值为δ9。
应当理解,对终端屏幕而言,任何一种基于屏幕显色原理所显示出来的颜色都由红、绿、蓝三种颜色组成,即任何一种颜色都由RGB三原色彩构成。因此,对于彩色图像中的每个像素点而言,可以通过以下转换公式将彩色图像的彩色像素值(该彩色像素值用R、G、B三个分量表示)转换为灰度图像的灰度值(灰度值用Y表示)。因此,在灰度图像中,每个像素点的灰度值,都与该像素点在第一视频帧内的彩色像素在具有映射关系。
比如,在第一视频帧中,像素点A的彩色像素值为(R,G,B),那么,本发明可以通过下面五种方法,将该像素点A的彩色像素值转换为灰度值:
1.浮点算法:Y=R*0.3+G*0.59+B*0.11;
2.整数方法:Y=(R*30+G*59+B*11)/100;
3.移位方法:Y=(R*28+G*151+B*77)>>8;
4.平均值法:Y=(R+G+B)/3;
5.仅取绿色:Y=G;
因此,在灰度图像中,每个像素点的灰度值可以理解为它的像素值(此时,R=G=B=Y),于是,可以将该灰度图像称之为伪彩色图像,且该伪彩色图像中每个像素点的灰度值仅用于描述该灰度图像中对应像素点的颜色深度。由于该灰度图像中每个像素点的灰度值是通过上述转换公式中的函数映射得到的,因此,该灰度图像中每个像素点的灰度值Y与彩色图像中对应像素点的彩色像素值之间存在映射关系。换言之,该灰度图像是由纯黑和纯白过渡得到的,即在黑色中加入白色就可以得到灰色,且纯黑和纯白按不同的比例来混合就可以得到不同的灰度值。因此,对于每个子区域的平均灰度值而言,平均灰度值越小则对应的子区域内的图像数据则越暗,平均灰度值越大则对应的子区域内的图像数据则越亮。
因此,所述客户终端可以在图3所示的第一视频帧中,将第二灰度值小于第一灰度值的子区域(即δi<δ的子区域)作为待增强区域。比如,所述客户终端在得到每个子区域的第二灰度值后,将其与所述第一视频帧的第一灰度值进行比较,可以知道A2区域的第二灰度值(δ2)小于第一灰度值(δ),且A9区域的第二灰度值(δ9)小于第一灰度值(δ)。因此,所述客户终端可以将A2区域和A9区域一并作为待增强区域,以对这两个待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧。
其中,所述客户终端通过对数增强模型对所述待增强区域内的图像进行图像增强,即所述客户终端可以对待处理区域内各像素点的像素值进行对数增强,以提升该待处理区域内图像数据的显示对比度。
其中,所述对数增强模型为:
p'=c*log(1+β*p)/log(β),p∈Ω;
其中,符号p'为图像增强后像素点的像素值,符号p为图像增强前该像素点的像素值;c和β为对数增强参数,c的取值为1,β的取值可以为0.3;在该对数增强模型中,p属于待增强区域(即Ω)内像素点的像素值。
步骤S103,在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
具体地,所述客户终端可以在所述第一视频帧对应的播放时间戳时,直接显示所述目标视频帧(即在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,播放所述目标视频帧),此时,所述目标视频帧可以为第二视频帧,即该第二视频帧为图像增强后的第一视频帧;可选地,所述客户终端还可以将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧,并可以进一步在所述第一视频帧对应的播放时间戳播放所述目标视频帧。此时,所述目标视频帧可以为融合处理后的第二视频帧。
可见,本发明实施例可以在所述第一视频帧对应的播放时间戳时,直接显示所述第二视频帧(即在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,播放所述第二视频帧)。此外,所述客户终端还可以在执行完上述步骤S102之后,进一步将所述第一视频帧与所述第二视频帧进行融合处理,即所述客户终端还可以进一步对所述第二视频帧内的图像进行平滑处理,从而可以减少图像增强过程中所带来的噪音,即不同区域之间因增强使用不一所造成的块效应。
本发明实施例在检测到终端屏幕的亮度从第一亮度值降低为第二亮度值时,可以在所述视频数据的多个视频帧中获取第一视频帧,并进一步在具有所述第二亮度值的所述第一视频帧中查找待增强区域,即该待增强区域为该第一视频帧中的暗部区域,且该待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;然后,可以进一步对所述待增强区域内的图像进行图像增强,得到第二视频帧。可见,本发明可以在检测到该终端屏幕的亮度降低时,对该第一视频帧中暗部区域内的图像进行增强处理,以便于在该终端屏幕中增强图像数据的显示对比度,从而改善该待增强区域内图像数据的视觉效果。
进一步地,请参见图4,是本发明实施例提供的另一种图像数据处理方法的流程示意图。如图4所示,所述方法可以包括:
步骤S201,获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;
其中,所述第二亮度值小于所述第一亮度值;所述第一视频帧为具有第二亮度值的视频帧;
其中,步骤S201的具体执行方法可以参见上述图2所对应实施例中对步骤S101的描述,这里将不再继续进行赘述。
步骤S202,获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
具体地,所述客户终端可以对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口,并可以进一步获取所述渲染窗口内各像素点分别对应的灰度值,并基于所述渲染窗口内各像素点分别对应的灰度值,计算所述渲染窗口对应的平均灰度值,并将所述渲染窗口对应的平均灰度值作为所述第一视频帧对应的第一灰度值。
其中,所述渲染窗口是指对所述第一视频帧对应的灰度图像进行降采样处理后的降采样图像。
其中,所述客户终端获取所述渲染窗口的具体步骤可以为:对所述第一视频帧中的多个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像,并对所述第一灰度图像进行降采样处理,得到与所述第一灰度图像对应的降采样图像,并将所述将采样图像作为所述第一视频帧对应的渲染窗口;
其中,所述客户终端对所第一视频帧中的多个像素点进行灰度处理,即为所述客户终端可以通过上述图2所对应实施例中的换算公式,将该第一视频帧中每个像素点的彩色像素值转化为对应像素点的灰度值,以得到与所述第一视频帧对应的第一灰度图像。此时,对于每个像素点而言,其在灰度图像中的灰度值与在所述第一视频帧中的彩色像素值具有如上述表1所示的映射关系。
其中,所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍,即该渲染窗口可以理解为该第一灰度图像对应的缩略图,即该缩略图为通过对该第一灰度图像进行降采样后的降采样图像,因此,该渲染窗口内像素点的数量要远远小于所述第一灰度图像内像素点的数量。于是,所述客户终端可以将求取该第一视频帧对应的平均灰度值,转换为计算该渲染窗口对应的平均灰度值,从而可以缩短计算该第一视频帧的近似均值的时间,即可以加快计算该第一视频帧对应的第一灰度值的效率。
步骤S203,将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
其中,划分后的多个子区域可以具有相同的尺寸。当然,划分后的多个子区域也可以具有不同的尺寸,此时,所述客户终端可以根据该第一视频帧中目标对象的颜色或者纹理,将该第一视频划分为多个子区域,以确保每个子区域内可以尽量包含完整的目标对象,从而可以避免对不同子区域之间图像增强使用不一,而对目标对象的颜色造成色彩不均衡等现象。
其中,所述客户终端对于具有相同尺寸的多个子区域而言,可以通过滑动窗口的方法,依次求取每个窗口的均值(即每个窗口的平均灰度值),作为各子区域分别对应的第二灰度值。其中,每个窗口的均值的计算过程可以参见上述图2所对应实施例中对所述第一灰度图像的平均灰度值的计算过程,这里将不再继续进行赘述。
当然,对于具有不同尺寸的多个子区域而言,所述客户终端可以分别获取每个子区域的灰度图像(此时,本发明将各子区域的灰度图像称之为第二灰度图像),并在每个第二灰度图像中,对应的计算每个子区域的平均灰度值。其中,所述客户终端对每个子区域的平均灰度值的计算过程仍可参见上述图2所对应实施例中对各子区域的平均灰度值(δi)的计算过程,这里将不再继续进行赘述。
步骤S204,将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域;
由于灰度值可以反映灰度图像中各像素点的明暗程度,因此所述客户终端可以将所述第二灰度值小于所述第一灰度值的子区域,确定为该第一视频帧中的暗部区域,并可以进一步将该暗部区域作为待增强区域。
步骤S205,在所述第一视频帧中,为所述待增强区域设置第三标记,并为所述第一视频帧中的余下子区域设置第四标记,得到携带所述第三标记和所述第四标记的第一视频帧;
其中,所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
进一步地,请参见图5,是本发明实施例提供的一种标记待增强区域的示意图。所述客户终端在执行完上述步骤S204之后,可以在所述第一视频帧中找到所述待增强区域,即所述客户终端可以在如图5所示的子区域显示界面200a中将A2区域和A9区域作为待增强区域。于是,所述客户终端可以在第一视频帧中,将A2区域和A9区域均标记为1(即为A2区域和A9区域设置第三标记),,因此,可以在图5所示的子区域显示界面200b中,将A2区域和A9区域用第三标记(1)进行显示。与此同时,所述客户终端还将该第一视频帧中为余下子区域设置第四标记,即所述客户终端可以在该子区域显示界面200b中,将A1区域,A3区域,A4区域,A5区域,A6区域,A7区域和A8区域分别对应的第四标记均标记为0,以在如图5所示的子区域显示界面200b中,得到携带第三标记和第四标记的第一视频帧。
步骤S206,在所述第一视频帧中,获取所述第三标记对应的待增强区域内所有像素点的彩色像素值,作为第一像素值;
为便于理解,本发明实施例以上述图5所对应实施例中的待增强区域为A2区域为例,所述客户终端可以进一步在该A2区域内,获取所述第三标记对应的所有像素点的彩色像素值。比如,在该A2区域内,共有6个像素点,这6个像素点分别为C1,C2,C3,C4,C5和C6,则所述客户终端可以得到这6个像素点分别对应的彩色像素值,此时,在所述第一视频帧中,这6个像素点的彩色像素值均可以用R、G、B三个分量的值来表示。于是,像素点C1的彩色像素值可以表示为(R1,G1,B1),像素点C2的彩色像素值可以表示为(R2,G2,B2),像素点C3的彩色像素值可以表示为(R3,G3,B3),像素点C4的彩色像素值可以表示为(R4,G4,B4),像素点C5的彩色像素值可以表示为(R5,G5,B5),像素点C6的彩色像素值可以表示为(R6,G6,B6)。然后,所述客户终端可以将这6个像素点分别对应的彩色像素值,作为第一像素值,此时,该第一像素值可以用符号p表示,即符号p可以用于表示增强前的各像素点的像素值。
步骤S207,将所述第一像素值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第二像素值;
其中,所述对数增强模型为:
p'=c*log(1+β*p)/log(β),p∈Ω;
其中,符号p'为图像增强后像素点的像素值,符号p为图像增强前该像素点的像素值;c和β为对数增强参数,c的取值为1,β的取值可以为0.3;在该对数增强模型中,p属于待增强区域(即Ω)内像素点的像素值。
比如,当输入该对数增强模型的第一像素值(p)为像素点C1的彩色像素值(R1,G1,B1)时,可以得到该像素点C1对应的对数增强后的彩色像素值此时,增强后的彩色像素值(即第二像素值)可以用符号p'表示,即p'=(R1’,G1’,B1’)。可见,所述客户终端可以在该待增强区域(A2区域)内,对像素点C1的三个彩色分量同步进行对数增强,当所述客户终端将该待增强区域内所有像素点的彩色像素值(p)均进行对数增强后,可以得到与各像素点分别对应的第二像素值(p')。
步骤S208,基于所述第二像素值,构建与所述第三标记对应的增强区域;
具体地,所述客户终端通过上述步骤S207得到各像素点分别对应的第二像素值之后,可以将所述第二像素值赋值给对应的像素点,以构建与所述第三标记对应的增强区域。
由于对该待增强区域内每个像素点的像素值均进行了对数增强处理,故而基于屏幕显色原理,可以在所述增强区域内提升图像数据的显示对比度,从而有助于用户在所述终端屏幕的亮度为第二亮度值时,分辨出该增强区域内图像的细节,即用户在较暗的环境光下,仍可以分别清楚该增强区域内图像的细节。
步骤S209,将所述第三标记对应的增强区域与所述第四标记对应的子区域进行拼接,得到第二视频帧。
应当理解,所述客户终端仅仅对所述第三标记对应的待增强区域进行了图像增强,以得到了与该第三标记对应的增强区域,但是,该客户终端并未对所述第四标记对应的子区域进行任何处理,因此所述客户终端需要进一步将所述第三标记对应的增强区域和所述第四标记对应的子区域进行拼接,即所述客户终端可以用增强区域替换所述第一视频帧中的待增强区域,以得到第二视频帧。
步骤S210,在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
应当理解,所述客户终端在执行完上述步骤S209之后,可以在所述第一视频帧对应的播放时间戳时,播放所述第二视频帧,即此时,所述第二视频帧即为该终端屏幕上所播放的目标视频帧。
可选地,在所述第二视频帧中,为了减少图像增强过程中所带来的噪音,所述客户终端还可以进一步将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧,并在所述第一视频帧对应的播放时间戳播放所述目标视频帧。
可见,在所述终端屏幕中,需要播放的目标视频帧可以为第二视频帧(即持有该客户终端的用户可以在该终端屏幕上看到所述第二视频帧),当然,作为本发明实施例的一种优选方案,在所述终端屏幕中,需要播放的目标视频帧还可以为融合处理后的第二视频帧(即持有该客户终端的用户可以在该终端屏幕上看到融合处理后的第二视频帧)。
其中,所述客户终端对所述第二视频帧进行融合处理的具体过程可以为:所述客户终端可以获取所述第一视频帧对应的第一融合参数,并获取所述第二视频帧对应的第二融合参数,并根据所述第一融合参数对所述第一视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第一视频帧对应的第一待融合像素值,并根据所述第二融合参数对所述第二视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第二视频帧对应的第二待融合像素值,并基于所述第一待融合像素值和所述第二待融合像素值,将所述第一视频帧与所述第二视频帧进行像素值叠加,得到目标视频帧。
其中,对所述第二视频帧进行融合处理的算法可以为:
Ifinal=t*Ibefore+(1-t)*Iafter;
其中,符号t为融合系数,一般取0.3,符号Ibefore为所述第一视频帧内的图像,符号Iafter为所述图像增强后的第一视频帧(即第二视频帧)内的图像,符号Ifinal为融合处理后的第二视频帧(即目标视频帧)内的图像。在该算法中,所述客户终端可以将所述第一视频帧和所述第二视频帧内各像素点的像素值进行叠加,由于所述第二视频帧为图像增强后的第一视频帧,因此,在所述第二视频帧中各像素点的位置坐标,将与所述第一视频帧中各像素点的位置坐标相同,故而可以对这两个视频帧内各像素点的像素值进行叠加,以得到所述目标视频帧。
比如,对于像素点C1而言,其在第一视频帧中的彩色像素值为p,而其在所述第二视频帧中的彩色像素值为p',因此,所述客户终端可以对该像素点C1的两个彩色像素值分别进行加权处理,以得到与所述第一视频帧对应的第一待融合像素值(即t*p),以及与所述第二视频帧对应的第二待融合像素值(即(1-t)*p'),以得到该像素点C1对应的融合像素值,当所述第一视频帧内所有像素点的第一像素值与所述第二视频帧内所有像素点的第二像素值均叠加完毕后,可以得到与各像素点分别对应的融合像素值,从而可以得到所述目标视频帧。
应当理解,对于不同终端屏幕而言,可以采用不同的屏幕显示方案来显示所述目标视频帧,即所述客户终端可以通过调整融合参数t的值,使参与融合的两个视频帧的彩色像素值具备不同的加权比例,从而可以根据不同的加权比例针对性的保留所述第一视频帧中的图像信息。比如,若该终端屏幕为具有较强动态能力的有机发光显示器(即OLED,Organic Light Emitting Display),则所述客户终端在将两个视频帧进行融合处理时,可以使所述第一视频帧的彩色像素值占据较大的加权比例,比如,融合参数t可以取0.6,以确保该终端屏幕在播放所述目标视频帧时可以适当保留所述第一视频帧内的图像信息。当然,对于一些显示效果较差的终端屏幕,则所述客户终端则应该加强图像增强效果,以保证图像增强后的图像的稳定性,即此时,所述客户终端可以在将两个视频帧进行融合处理时,使所述第二视频帧的彩色像素值占据较大的加权比例,以确保该终端屏幕在播放所以目标视频帧时,可以确保该目标视频帧内图像的稳定性。
本发明实施例在检测到终端屏幕的亮度从第一亮度值降低为第二亮度值时,可以在所述视频数据的多个视频帧中获取第一视频帧,并进一步在具有所述第二亮度值的所述第一视频帧中查找待增强区域,即该待增强区域为该第一视频帧中的暗部区域,且该待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;然后,可以进一步对所述待增强区域内的图像进行图像增强,得到第二视频帧。可见,本发明可以在检测到该终端屏幕的亮度降低时,对该第一视频帧中暗部区域内的图像进行增强处理,以便于在该终端屏幕中增强图像数据的显示对比度,从而改善该待增强区域内图像数据的视觉效果。
进一步地,请参见图6,是本发明实施例提供的另一种图像数据处理方法的流程示意图。如图6所示,所述方法可以包括:
步骤S301,获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;
步骤S302,获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
步骤S303,将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
步骤S304,将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域;
其中,所述步骤S301-步骤S304的具体执行方式可参见上述图4所对应实施例中对步骤S201-步骤S204的描述,这里将不再继续进行赘述。
步骤S305,在所述第一视频帧中,为所述待增强区域设置第一标记,并为所述第一视频帧中的余下子区域设置第二标记,得到携带所述第一标记和所述第二标记的第一视频帧;
其中,所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域。
其中,在所述第一视频帧中,对每个视频帧进行标记的具体过程可参见上述图5所对应实施例中对所述第一视频帧中的第三标记和第四标记的描述,这里将不再继续进行赘述。
应当理解,所述第一标记所起的作用类似于上述图5所对应实施例中第三标记的作用,所述第二标记所起的作用类似于上述图5所对应实施例中第四标记的作用。本发明实施例中的第一标记和所述第二标记仅仅是为了与上述图4所对应的方法实施例中的第三标记和第四标记进行区别。应该理解,该实施例与上述图5所对应的实施例为两个并列的实施例,即所述客户终端可以通过两种不同的图像增强方法,对所述待增强区域内的图像进行图像增强。
步骤S306,获取所述第一视频帧对应的第一灰度图像,并在所述第一灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像;
应当理解,由于所述待增强区域为所述第一视频帧中的子区域,于是,所述客户终端可以将所述第一视频帧处理为第一灰度图像后,进一步在该灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像。换言之,所述述第二灰度图像可以理解为所述客户终端对所述待增强区域进行灰度处理后的灰度图像。
步骤S307,获取所述第二灰度图像内所有像素点的灰度值,作为第三灰度值;
步骤S308,将所述第三灰度值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第四灰度值;
应当理解,在灰度图像中,各像素点的灰度值可以为上述图2所对应实施例中彩色图像的彩色像素值通过相应的换算公式中的函数所映射得到。因此,本发明实施例可以直接通过对各像素点的第三灰度值进行对数增强,以得到与各像素点分别对应的第四灰度值。
步骤S309,若所述第四灰度值与所述第三灰度值之间的比值满足参数调整条件,则将所述比值作为增强调整参数,并基于所述增强调整参数,将所述第一视频帧中所述待增强区域内所有像素点的彩色像素值进行调整,得到与所述第一标记对应的增强区域;
其中,所述参数调整条件是指所述第四灰度值与所述第三灰度值之间的比值存在线性关系(比如,倍数关系),则所述客户终端可以将该比值作为增强调整参数,以对该待增强区域内所有像素点的彩色像素值进行调整。比如,所述客户终端可以在第一灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像。为便于更好的理解本方案,假设在该第二灰度图像中,存在四个像素点(即像素点Q1,像素点Q2,像素点Q3和像素点Q4),应当理解,当所述客户终端将所述第一视频帧处理为第一灰度图像时,该第一灰度图像内的像素点的位置坐标,将与所述第一视频帧内的像素点的位置坐标保持一致。于是,所述客户终端可以获取这四个像素点的第三灰度值,比如,像素点Q1对应的第三灰度值为Y1,像素点Q2的第三灰度值为Y2,像素点Q3对应的第三灰度值为Y3,像素点Q4对应的第三灰度值为Y4。
于是,所述客户终端可以进一步对这四个像素点的灰度值进行对数增强,以得到与这四个像素点分别对应的第四灰度值,即像素点Q1对应的第四灰度值为Y1’,像素点Q2的第四灰度值为Y2’,像素点Q3对应的第四灰度值为Y3’,像素点Q4对应的第四灰度值为Y4’。
其中,在所述第一视频帧中的待增强区域内,像素点Q1对应的彩色像素值为p1,像素点Q2对应的彩色像素值为p2,像素点Q3对应的彩色像素值为p3,像素点Q4对应的彩色像素值为p4。当所述客户终端检测到在所述第二灰度图像内,所述第四灰度值与所述第三灰度值之间的比值满足线性关系时,可以进一步将该比值作为增强调整参数。比如,以该第二灰度图像中像素点Q1的第四灰度值(Y1’)和第三灰度值(Y1)之间的比值为例,若该比值为2,则所述客户终端可以在所述第一视频帧中的待增强区域内,将该像素点Q1对应的彩色像素值p1调整为2*p1,以得到该像素点在所述第一标记对应的增强区域内的彩色像素值。当将该待增强区域内所有像素点的彩色像素值进行调整后,可以得到与所述第一标记对应的增强区域。
步骤S310,将所述第一标记对应的增强区域与所述第二标记对应的子区域进行拼接,得到第二视频帧。
步骤S311,在当前播放的视频数据中,将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧;
步骤S312,在所述第一视频帧对应的播放时间戳播放所述目标视频帧。
其中,所述步骤S310-步骤S312的具体实现方式可参见上述图4所对应实施例中对步骤S209-步骤S210的描述,这里将不再继续进行赘述。
可选地,所述客户终端还可以在所述步骤S301之前,进一步获取环境光照强度,并在所述环境光照强度小于照度阈值时,根据所述环境光照强度将终端屏幕的亮度从第一亮度值切换为第二亮度值。
可见,当所述客户终端周围的环境光照强度变暗以后,所述客户终端会降低该终端屏幕的亮度,以保护用户的视力。与此同时,当该终端屏幕的亮度降低为第二亮度值时,所述客户终端即可执行步骤S301,即该客户终端可以根据该屏幕终端的屏幕显色原理,将获取到的视频数据的每个视频帧的色彩范围进行动态压缩,以得到具有第二亮度值的视频帧,于是所述客户终端可以在所述视频数据的多个视频帧中获取第一视频帧,以在第一视频帧中查找待增强区域,并对查找到的待增强区域内的图像进行图像增强,换言之,所述客户终端可以在环境光下变暗的情况下,监测该第一视频帧中是否存在暗部区域(即待增强区域),若存在暗部区域,则可以进一步对该暗部区域内的图像进行图像增强,以提升该暗部区域内图像数据的显示对比度,进而可以在所述第一视频帧对应的播放时间戳时,将所述第二视频帧作为目标视频帧进行播放。
应当理解,所述客户终端可以实时监测环境光照强度,一旦环境光照强度小于所述照度阈值,则会对该终端屏幕的亮度进行调整。因此,本发明将不对所述照度阈值的大小进行具体限制。
本发明实施例在检测到终端屏幕的亮度从第一亮度值降低为第二亮度值时,可以在所述视频数据的多个视频帧中获取第一视频帧,并进一步在具有所述第二亮度值的所述第一视频帧中查找待增强区域,即该待增强区域为该第一视频帧中的暗部区域,且该待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;然后,可以进一步对所述待增强区域内的图像进行图像增强,得到第二视频帧。可见,本发明可以在检测到该终端屏幕的亮度降低时,对该第一视频帧中暗部区域内的图像进行增强处理,以便于在该终端屏幕中增强图像数据的显示对比度,从而改善该待增强区域内图像数据的视觉效果。
进一步地,请参见图7,是本发明实施例提供的一种图像数据处理装置的结构示意图。如图7所示,所述图像数据处理装置1可以为上述图1a所对应实施例中的目标客户端,所述图像数据处理装置1可以包括:视频帧获取模块10,区域查找模块20,图像增强模块30,目标帧播放模块40,以及亮度切换模块50;
所述视频帧获取模块10,用于获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;
所述区域查找模块20,用于在所述第一视频帧中查找待增强区域;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;
其中,所述区域查找模块20包括:第一灰度值获取单元201,第二灰度值获取单元202和待增强区域确定单元203;
所述第一灰度值获取单元201,用于获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
其中,所述第一灰度值获取单元201包括:渲染子单元2011,灰度值计算子单元2012和灰度值确定子单元2013;
所述渲染子单元2011,用于对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口;
所述灰度值计算子单元2012,用于获取所述渲染窗口内各像素点分别对应的灰度值,并基于所述渲染窗口内各像素点分别对应的灰度值,计算所述渲染窗口对应的平均灰度值;
所述灰度值确定子单元2013,用于将所述渲染窗口对应的平均灰度值作为所述第一视频帧对应的第一灰度值。
其中,所述渲染子单元2011,灰度值计算子单元2012和灰度值确定子单元2013的具体实现过程可以参见上述图4所对应实施例中对步骤S202的描述,这里将不再继续进行赘述。
具体地,所述渲染子单元2011,具体用于对所述第一视频帧中的多个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像,并对所述第一灰度图像进行降采样处理,得到与所述第一灰度图像对应的降采样图像,并将所述将采样图像作为所述第一视频帧对应的渲染窗口;其中,所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍。
所述第二灰度值获取单元202,用于将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
所述待增强区域确定单元203,用于将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域。
其中,所述第一灰度值获取单元201,第二灰度值获取单元202和待增强区域确定单元203的具体实现过程可以参见上述图4所对应实施例中对步骤S202-步骤S204的描述,这里将不再继续进行赘述。
所述图像增强模块30,用于对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;
其中,所述图像增强模块30可以包括:第一区域标记单元301,灰度图像获取单元302,第三灰度值获取单元303,第一增强单元304,调整参数确定单元305和第一拼接单元306;
所述第一区域标记单元301,用于在所述第一视频帧中,为所述待增强区域设置第一标记,并为所述第一视频帧中的余下子区域设置第二标记,得到携带所述第一标记和所述第二标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
所述灰度图像获取单元302,用于获取所述第一视频帧对应的第一灰度图像,并在所述第一灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像;
所述第三灰度值获取单元303,用于获取所述第二灰度图像内所有像素点的灰度值,作为第三灰度值;
所述第一增强单元304,用于将所述第三灰度值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第四灰度值;
所述调整参数确定单元305,用于若所述第四灰度值与所述第三灰度值之间的比值满足参数调整条件,则将所述比值作为增强调整参数,并基于所述增强调整参数,将所述第一视频帧中所述待增强区域内所有像素点的彩色像素值进行调整,得到与所述第一标记对应的增强区域;
所述第一拼接单元306,用于将所述第一标记对应的增强区域与所述第二标记对应的子区域进行拼接,得到第二视频帧。
其中,所述第一区域标记单元301,灰度图像获取单元302,第三灰度值获取单元303,第一增强单元304,调整参数确定单元305和第一拼接单元306的具体实现过程可以参见上述图6所对应实施例中对步骤S305-步骤S310的描述,这里将不再继续进行赘述。
其中,可选地,所述图像增强模块30还可以包括:第二区域标记单元307,像素值获取单元308,第二增强单元309,增强区域构建单元310和第二拼接单元311;
所述第二区域标记单元307,用于在所述第一视频帧中,为所述待增强区域设置第三标记,并为所述第一视频帧中的余下子区域设置第四标记,得到携带所述第三标记和所述第四标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
所述像素值获取单元308,用于在所述第一视频帧中,获取所述第三标记对应的待增强区域内所有像素点的彩色像素值,作为第一像素值;
所述第二增强单元309,用于将所述第一像素值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第二像素值;
所述增强区域构建单元310,用于基于所述第二像素值,构建与所述第三标记对应的增强区域;
所述第二拼接单元311,用于将所述第三标记对应的增强区域与所述第四标记对应的子区域进行拼接,得到第二视频帧。
其中,所述第二区域标记单元307,像素值获取单元308,第二增强单元309,增强区域构建单元310和第二拼接单元311的具体实现过程可以参见上述图4所对应实施例中对步骤S205-步骤S209的描述,这里将不再继续进行赘述。
应当理解,所述客户终端在通过所述第一区域标记单元301,灰度图像获取单元302,第三灰度值获取单元303,第一增强单元304,调整参数确定单元305和第一拼接单元306对所述待增强区域内的图像进行增强时,将不通过所述第二区域标记单元307,像素值获取单元308,第二增强单元309,增强区域构建单元310和第二拼接单元311对所述待增强区域内的图像进行增强;反之,所述客户终端在通过所述第二区域标记单元307,像素值获取单元308,第二增强单元309,增强区域构建单元310和第二拼接单元311对所述待增强区域内的图像进行增强时,将不通过所述第一区域标记单元301,灰度图像获取单元302,第三灰度值获取单元303,第一增强单元304,调整参数确定单元305和第一拼接单元306对所述待增强区域内的图像进行增强。
所述目标帧播放模块40,用于在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
其中,目标帧播放模块40包括:目标帧确定单元401和目标帧播放单元402;
所述目标帧确定单元401,用于在当前播放的视频数据中,将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧;
所述目标帧播放单元402,用于在所述第一视频帧对应的播放时间戳播放所述目标视频帧。
其中,所述目标帧确定单元401和目标帧播放单元402的具体实现过程可以参见上述图2所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
所述亮度切换模块50,用于获取环境光照强度,并在所述环境光照强度小于照度阈值时,根据所述环境光照强度将终端屏幕的亮度从第一亮度值切换为第二亮度值。
其中,所述视频帧获取模块10,区域查找模块20,图像增强模块30、目标帧播放模块40以及亮度切换模块50的具体实现过程可以参见上述图2所对应实施例中对步骤S101-步骤S103的描述,这里将不再继续进行赘述。
本发明实施例在检测到终端屏幕的亮度从第一亮度值降低为第二亮度值时,可以在所述视频数据的多个视频帧中获取第一视频帧,并进一步在具有所述第二亮度值的所述第一视频帧中查找待增强区域,即该待增强区域为该第一视频帧中的暗部区域,且该待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;然后,可以进一步对所述待增强区域内的图像进行图像增强,得到第二视频帧。可见,本发明可以在检测到该终端屏幕的亮度降低时,对该第一视频帧中暗部区域内的图像进行增强处理,以便于在该终端屏幕中增强图像数据的显示对比度,从而改善该待增强区域内图像数据的视觉效果。
进一步地,请参见图8,是本发明实施例提供的另一种图像数据处理装置的结构示意图。如图8所示,所述图像数据处理装置1000可以应用于上述图1a对应实施例中的目标客户终端,所述图像数据处理装置1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图8所示的图像数据处理装置1000中,网络接口1004主要用于连接弹幕服务器和视频源服务器;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;
在所述第一视频帧中查找待增强区域,并对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;
在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
应当理解,本发明实施例中所描述的图像数据处理装置1000可执行前文图2、图4或图6所对应实施例中对所述图像数据处理方法的描述,也可执行前文图7所对应实施例中对所述图像数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2、图4或图6所对应实施例中对所述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (15)
1.一种图像数据处理方法,其特征在于,包括:
获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;
在所述第一视频帧中查找待增强区域,并对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;
在当前播放的视频数据播放至所述第一视频帧对应的时间戳时,将所述第二视频帧作为目标视频帧进行播放。
2.根据权利要求1所述的方法,其特征在于,所述在所述第一视频帧中查找待增强区域,包括:
获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第一视频帧对应的平均灰度值,作为第一灰度值,包括:
对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口;
获取所述渲染窗口内各像素点分别对应的灰度值,并基于所述渲染窗口内各像素点分别对应的灰度值,计算所述渲染窗口对应的平均灰度值;
将所述渲染窗口对应的平均灰度值作为所述第一视频帧对应的第一灰度值。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口,包括:
对所述第一视频帧中的多个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像;
对所述第一灰度图像进行降采样处理,得到与所述第一灰度图像对应的降采样图像,并将所述将采样图像作为所述第一视频帧对应的渲染窗口;其中,所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍。
5.根据权利要求4所述的方法,其特征在于,所述对所述第一视频帧中的待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧,包括:
在所述第一视频帧中,为所述待增强区域设置第一标记,并为所述第一视频帧中的余下子区域设置第二标记,得到携带所述第一标记和所述第二标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
获取所述第一视频帧对应的第一灰度图像,并在所述第一灰度图像中,将所述第一标记对应的待增强区域内的图像,作为第二灰度图像;
获取所述第二灰度图像内所有像素点的灰度值,作为第三灰度值;
将所述第三灰度值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第四灰度值;
若所述第四灰度值与所述第三灰度值之间的比值满足参数调整条件,则将所述比值作为增强调整参数,并基于所述增强调整参数,将所述第一视频帧中所述待增强区域内所有像素点的彩色像素值进行调整,得到与所述第一标记对应的增强区域;
将所述第一标记对应的增强区域与所述第二标记对应的子区域进行拼接,得到第二视频帧。
6.根据权利要求1所述的方法,其特征在于,所述对所述第一视频帧中的待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧,包括:
在所述第一视频帧中,为所述待增强区域设置第三标记,并为所述第一视频帧中的余下子区域设置第四标记,得到携带所述第三标记和所述第四标记的第一视频帧;所述余下子区域是指所述第一视频帧中除所述待增强区域之外的子区域;
在所述第一视频帧中,获取所述第三标记对应的待增强区域内所有像素点的彩色像素值,作为第一像素值;
将所述第一像素值作为对数增强模型的输入,并将所述对数增强模型对应的输出结果作为第二像素值;
基于所述第二像素值,构建与所述第三标记对应的增强区域;
将所述第三标记对应的增强区域与所述第四标记对应的子区域进行拼接,得到第二视频帧。
7.根据权利要求1所述的方法,其特征在于,所述在当前播放的视频数据播放至所述第一视频帧对应的播放时间戳时,将所述第二视频帧作为目标视频帧进行播放,包括:
在当前播放的视频数据中,将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧;
在所述第一视频帧对应的播放时间戳播放所述目标视频帧。
8.根据权利要求7所述的方法,其特征在于,所述将所述第一视频帧与所述第二视频帧进行融合处理,并将融合处理后的第二视频帧,作为目标视频帧,包括:
获取所述第一视频帧对应的第一融合参数,并获取所述第二视频帧对应的第二融合参数;
根据所述第一融合参数对所述第一视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第一视频帧对应的第一待融合像素值;
根据所述第二融合参数对所述第二视频帧内所有像素点的彩色像素值进行加权处理,得到与所述第二视频帧对应的第二待融合像素值;
基于所述第一待融合像素值和所述第二待融合像素值,将所述第一视频帧与所述第二视频帧进行像素值叠加,得到目标视频帧。
9.根据权利要求1所述的方法,其特征在于,还包括:
获取环境光照强度,并在所述环境光照强度小于照度阈值时,根据所述环境光照强度将终端屏幕的亮度从第一亮度值切换为第二亮度值。
10.一种图像数据处理装置,其特征在于,包括:
视频帧获取模块,用于获取终端当前播放的视频数据,当所述终端屏幕的亮度从第一亮度值切换为第二亮度值时,在所述视频数据的多个视频帧中获取第一视频帧;所述第二亮度值小于所述第一亮度值;
区域查找模块,用于在所述第一视频帧中查找待增强区域;所述待增强区域对应的平均灰度值小于所述第一视频帧对应的平均灰度值;
图像增强模块,用于对所述待增强区域内的图像进行图像增强,并将图像增强后的第一视频帧作为第二视频帧;
目标播放模块,用于在当前播放的视频数据播放至所述第一视频帧对应的播放时间戳时,将所述第二视频帧作为目标视频帧进行播放。
11.根据权利要求10所述的装置,其特征在于,所述区域查找模块包括:
第一灰度值获取单元,用于获取所述第一视频帧对应的平均灰度值,作为第一灰度值;
第二灰度值获取单元,用于将所述第一视频帧划分为多个子区域,并计算所述多个子区域分别对应的平均灰度值,作为第二灰度值;
待增强区域确定单元,用于将所述第二灰度值小于所述第一灰度值的子区域作为待增强区域。
12.根据权利要求11所述的装置,其特征在于,所述第一灰度值获取单元包括:
渲染子单元,用于对所述第一视频帧进行渲染处理,得到所述第一视频帧对应的渲染窗口;
灰度值计算子单元,用于获取所述渲染窗口内各像素点分别对应的灰度值,并基于所述渲染窗口内各像素点分别对应的灰度值,计算所述渲染窗口对应的平均灰度值;
灰度值确定子单元,用于将所述渲染窗口对应的平均灰度值作为所述第一视频帧对应的第一灰度值。
13.根据权利要求12所述的装置,其特征在于,
所述渲染子单元,具体用于对所述第一视频帧中的多个像素点进行灰度处理,得到与所述第一视频帧对应的第一灰度图像,并对所述第一灰度图像进行降采样处理,得到与所述第一灰度图像对应的降采样图像,并将所述将采样图像作为所述第一视频帧对应的渲染窗口;其中,所述第一灰度图像内的像素点的数量为所述降采样图像内像素点的数量的整数倍。
14.一种图像数据处理装置,其特征在于,包括:处理器和存储器;
所述处理器与存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-9任一项所述的方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810628987.XA CN110149550B (zh) | 2018-06-19 | 2018-06-19 | 一种图像数据处理方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810628987.XA CN110149550B (zh) | 2018-06-19 | 2018-06-19 | 一种图像数据处理方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110149550A true CN110149550A (zh) | 2019-08-20 |
CN110149550B CN110149550B (zh) | 2022-02-11 |
Family
ID=67589241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810628987.XA Active CN110149550B (zh) | 2018-06-19 | 2018-06-19 | 一种图像数据处理方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110149550B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110996174A (zh) * | 2019-12-19 | 2020-04-10 | 深圳市迅雷网络技术有限公司 | 一种视频画质增强方法及其相关设备 |
CN111540325A (zh) * | 2020-05-20 | 2020-08-14 | Tcl华星光电技术有限公司 | 图像增强方法和图像增强装置 |
CN112819699A (zh) * | 2019-11-15 | 2021-05-18 | 北京金山云网络技术有限公司 | 视频处理方法、装置及电子设备 |
CN113115085A (zh) * | 2021-04-16 | 2021-07-13 | 海信电子科技(武汉)有限公司 | 一种视频播放方法及显示设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189235A (ja) * | 2001-09-11 | 2003-07-04 | Seiko Epson Corp | 被写体情報を用いた画像処理 |
US20070008556A1 (en) * | 2003-08-29 | 2007-01-11 | Shuichi Kagawa | Image processing device and image processing method |
CN101118721A (zh) * | 2006-07-31 | 2008-02-06 | 三星电子株式会社 | 补偿阴影区域的方法、介质和系统 |
CN101415111A (zh) * | 2007-10-15 | 2009-04-22 | 富士施乐株式会社 | 信息处理装置和指示系统 |
CN101809647A (zh) * | 2007-10-30 | 2010-08-18 | 夏普株式会社 | 用于选择背光照度级和调节图像特性的方法 |
CN101833754A (zh) * | 2010-04-15 | 2010-09-15 | 青岛海信网络科技股份有限公司 | 图像增强方法及系统 |
US20120147225A1 (en) * | 2008-08-01 | 2012-06-14 | Nikon Corporation | Image processing method |
CN102726036A (zh) * | 2010-02-02 | 2012-10-10 | 微软公司 | 用于在液晶显示器上显示的图像的增强 |
JP2013255042A (ja) * | 2012-06-05 | 2013-12-19 | Sharp Corp | 照明制御装置、表示装置、映像再生装置、照明制御方法、プログラム、および、記録媒体 |
CN105635574A (zh) * | 2015-12-29 | 2016-06-01 | 小米科技有限责任公司 | 图像的处理方法和装置 |
CN106023100A (zh) * | 2016-05-12 | 2016-10-12 | 珠海市杰理科技有限公司 | 图像宽动态范围压缩方法及装置 |
CN107369145A (zh) * | 2017-06-16 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端设备 |
CN107438163A (zh) * | 2017-07-31 | 2017-12-05 | 努比亚技术有限公司 | 一种拍照方法、终端及计算机可读存储介质 |
-
2018
- 2018-06-19 CN CN201810628987.XA patent/CN110149550B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189235A (ja) * | 2001-09-11 | 2003-07-04 | Seiko Epson Corp | 被写体情報を用いた画像処理 |
US20070008556A1 (en) * | 2003-08-29 | 2007-01-11 | Shuichi Kagawa | Image processing device and image processing method |
CN101118721A (zh) * | 2006-07-31 | 2008-02-06 | 三星电子株式会社 | 补偿阴影区域的方法、介质和系统 |
CN101415111A (zh) * | 2007-10-15 | 2009-04-22 | 富士施乐株式会社 | 信息处理装置和指示系统 |
CN101809647A (zh) * | 2007-10-30 | 2010-08-18 | 夏普株式会社 | 用于选择背光照度级和调节图像特性的方法 |
US20120147225A1 (en) * | 2008-08-01 | 2012-06-14 | Nikon Corporation | Image processing method |
CN102726036A (zh) * | 2010-02-02 | 2012-10-10 | 微软公司 | 用于在液晶显示器上显示的图像的增强 |
CN101833754A (zh) * | 2010-04-15 | 2010-09-15 | 青岛海信网络科技股份有限公司 | 图像增强方法及系统 |
JP2013255042A (ja) * | 2012-06-05 | 2013-12-19 | Sharp Corp | 照明制御装置、表示装置、映像再生装置、照明制御方法、プログラム、および、記録媒体 |
CN105635574A (zh) * | 2015-12-29 | 2016-06-01 | 小米科技有限责任公司 | 图像的处理方法和装置 |
CN106023100A (zh) * | 2016-05-12 | 2016-10-12 | 珠海市杰理科技有限公司 | 图像宽动态范围压缩方法及装置 |
CN107369145A (zh) * | 2017-06-16 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端设备 |
CN107438163A (zh) * | 2017-07-31 | 2017-12-05 | 努比亚技术有限公司 | 一种拍照方法、终端及计算机可读存储介质 |
Non-Patent Citations (5)
Title |
---|
D. MOHANAPRIYA: "A video target tracking using shadow suppression and feature extraction", 《2017 INTERNATIONAL CONFERENCE ON INFORMATION COMMUNICATION AND EMBEDDED SYSTEMS (ICICES)》 * |
朱世松: "一种基于交通视频车辆阴影去除算法的研究", 《计算机应用与软件》 * |
王凯: "基于图像纹理特征提取算法的研究及应用", 《中国优秀博士学位论文全文库》 * |
臧立娟: "《 测量学》", 31 January 2018 * |
鄂大伟: "《大学信息技术基础》", 31 August 2009 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819699A (zh) * | 2019-11-15 | 2021-05-18 | 北京金山云网络技术有限公司 | 视频处理方法、装置及电子设备 |
CN110996174A (zh) * | 2019-12-19 | 2020-04-10 | 深圳市迅雷网络技术有限公司 | 一种视频画质增强方法及其相关设备 |
CN111540325A (zh) * | 2020-05-20 | 2020-08-14 | Tcl华星光电技术有限公司 | 图像增强方法和图像增强装置 |
CN111540325B (zh) * | 2020-05-20 | 2021-12-03 | Tcl华星光电技术有限公司 | 图像增强方法和图像增强装置 |
CN113115085A (zh) * | 2021-04-16 | 2021-07-13 | 海信电子科技(武汉)有限公司 | 一种视频播放方法及显示设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110149550B (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108600781B (zh) | 一种视频封面生成的方法以及服务器 | |
CN110149550A (zh) | 一种图像数据处理方法和装置 | |
CN105393525B (zh) | 创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置 | |
KR101170408B1 (ko) | 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출 | |
CN104778047B (zh) | 一种内容显示方法及终端 | |
CN103259989B (zh) | 屏幕内容的显示方法及装置 | |
CN105208281A (zh) | 一种夜景拍摄方法及装置 | |
CN107948733B (zh) | 视频图像处理方法及装置、电子设备 | |
CN113299245B (zh) | 显示设备局部背光调节方法、装置、显示设备及存储介质 | |
CN103096012B (zh) | 调整图像显示的方法、设备及系统 | |
EP4261784A1 (en) | Image processing method and apparatus based on artificial intelligence, and electronic device, computer-readable storage medium and computer program product | |
CN114286172B (zh) | 数据处理方法及装置 | |
CN106997748A (zh) | 基于环境光在视频显示器装置中动态地建立的白平衡 | |
CN115223509A (zh) | 背光控制方法、装置、显示设备及计算机可读存储介质 | |
CN114399437A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
KR20190080732A (ko) | 자동 화이트 밸런싱에서 조명 색도의 추정 | |
WO2017143812A1 (zh) | 区分对象的方法和装置 | |
US20170244972A1 (en) | Methods and apparatus for mapping input image | |
CN111158826B (zh) | 一种界面皮肤生成方法、装置、设备及存储介质 | |
CN113487497A (zh) | 图像处理方法、装置和电子设备 | |
CN108495053B (zh) | 高动态范围信号的元数据处理方法和装置 | |
CN112165631A (zh) | 媒体资源处理方法和装置、存储介质及电子设备 | |
US20190130851A1 (en) | Image processing method and device thereof | |
CN112396671B (zh) | 水波纹效果实现方法、装置、电子设备和计算机可读存储介质 | |
WO2011043104A1 (ja) | 液晶表示装置、画像表示方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |