CN117221742A - 视频处理方法、装置、设备和存储介质 - Google Patents
视频处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117221742A CN117221742A CN202210609643.0A CN202210609643A CN117221742A CN 117221742 A CN117221742 A CN 117221742A CN 202210609643 A CN202210609643 A CN 202210609643A CN 117221742 A CN117221742 A CN 117221742A
- Authority
- CN
- China
- Prior art keywords
- lut
- video image
- frame
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 306
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 85
- 230000008569 process Effects 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 47
- 230000004927 fusion Effects 0.000 claims description 46
- 230000007935 neutral effect Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000003595 spectral effect Effects 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 29
- 239000003086 colorant Substances 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 126
- 230000006870 function Effects 0.000 description 29
- 238000007726 management method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 239000010410 layer Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000013507 mapping Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 238000002156 mixing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 241001464837 Viridiplantae Species 0.000 description 3
- 238000000227 grinding Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100510695 Arabidopsis thaliana LUT2 gene Proteins 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种视频处理方法、装置、设备和存储介质,属于图像处理技术领域。所述方法包括:获取视频中的多帧视频图像。对于该多帧视频图像中任意的一帧视频图像,在这帧视频图像中存在预设目标的情况下,获取这帧视频图像的色温。之后,若这帧视频的色温为第一色温,则使用全局LUT和第一矫正LUT处理这帧视频图像。而若这帧视频的色温为第二色温,则使用全局LUT和第二矫正LUT处理这帧视频图像。如此,在视频图像的色温不同时,可使用不同的矫正LUT来对视频图像中预设目标所在区域进行颜色矫正,从而经过该全局LUT和矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可有效避免预设目标的偏色问题。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种视频处理方法、装置、设备和存储介质。
背景技术
随着终端技术的发展,终端逐渐集通讯、拍摄和影音等功能于一体,成为人们日常生活中不可缺少的部分。用户可以使用终端来拍摄视频,记录生活的点点滴滴。
目前,终端支持以电影模式进行视频拍摄,电影模式中可以提供用于实现电影感风格的颜色查找表(look up table,LUT)。当用户采用电影模式拍摄视频时,终端可以使用LUT对拍摄的视频图像进行处理,从而呈现出比较专业的电影感画面效果。
上述方式中,LUT是对整张视频图像生效的,而受拍摄环境中光线的影响,使用LUT处理后的视频图像可能会出现偏色的问题。
发明内容
本申请提供了一种视频处理方法、装置、设备和存储介质,可以有效避免视频图像出现偏色。所述技术方案如下:
第一方面,提供了一种视频处理方法。在该方法中,获取视频中的多帧视频图像。对于该多帧视频图像中任意的一帧视频图像,可以在这一帧视频图像中存在预设目标的情况下,获取这一帧视频图像的色温。之后,若这一帧视频的色温为第一色温,则使用全局LUT和第一矫正LUT处理这一帧视频图像。而若这一帧视频的色温为第二色温,则使用全局LUT和第二矫正LUT处理这一帧视频图像。
其中,全局LUT用于对视频图像整体进行处理,第一矫正LUT和第二矫正LUT均用于对视频图像中预设目标所在区域进行颜色矫正,第一色温与第二色温不同,第一矫正LUT与第二矫正LUT不同。
预设目标可以预先进行设置。可选地,本申请中的预设目标可以为拥有记忆颜色的目标,如预设目标可以为人像,人像的记忆颜色为肤色。当然,预设目标也可以为其他拥有记忆颜色的目标,如预设目标可以为天空、水面、绿植等目标。
可选地,在处理视频之前,终端可以事先确定用于对整张视频图像进行处理的全局LUT。可选地,该全局LUT可以是用户手动选择的,或者,可以是终端根据相机预览界面中显示的画面内容自动选择的。该全局LUT是一种用于对这一帧视频图像整体进行处理的LUT。
示例地,终端若检测到对电影模式的选择操作,则显示电影模式下的相机预览界面,相机预览界面包括LUT控件,LUT控件用于启动LUT功能。之后,终端若检测到对LUT控件的选择操作,则在相机预览界面显示LUT栏,LUT栏包括多个LUT图标,该多个LUT图标是预先设置的多个全局LUT中各个全局LUT的图标。之后,终端若检测到对该多个LUT图标中的一个LUT图标的选择操作,则获取这一个LUT图标对应的LUT作为该全局LUT。
第一矫正LUT是一种用于对这一帧视频图像中预设目标所在区域进行处理的LUT。第一矫正LUT用于矫正在具有第一色温的光源照射下的预设目标的颜色,从而第一矫正LUT可对这一帧视频图像中预设目标所在区域进行颜色矫正。这种情况下,使用第一矫正LUT对这一帧视频图像中预设目标所在区域进行处理后,可以改善这一帧视频图像中预设目标所在区域的偏色问题。
第二矫正LUT是一种用于对这一帧视频图像中预设目标所在区域进行处理的LUT。第二矫正LUT用于矫正在具有第二色温的光源照射下的预设目标的颜色,从而第二矫正LUT可对这一帧视频图像中预设目标所在区域进行颜色矫正。这种情况下,使用第二矫正LUT对这一帧视频图像中预设目标所在区域进行处理后,可以改善这一帧视频图像中预设目标所在区域的偏色问题。
在本申请中,在视频图像的色温不同的情况下,可以使用不同的矫正LUT来对视频图像中预设目标所在区域进行颜色矫正,如此,可以提高颜色矫正的灵活性和准确性,从而经过该全局LUT和矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可以有效避免预设目标的偏色问题。
作为一种示例,可以在摄像头的拍摄过程中,获取摄像头正在拍摄的视频中的多帧视频图像。
这种情况下,是对摄像头正在拍摄的视频进行实时处理。具体来讲,每获取到摄像头正在拍摄的视频中的一帧视频图像,就可以使用全局LUT和矫正LUT对这一帧视频图像进行处理,如此,在摄像头的拍摄结束时,可以完成对摄像头拍摄的视频中的多帧视频图像的处理,得到处理后的视频,在本申请中即是得到具有LUT对应的滤镜效果的视频。
作为另一种示例,可以在摄像头拍摄结束后,获取摄像头拍摄得到的视频中的每帧视频图像。
这种情况下,是对摄像头拍摄得到的视频进行后处理。具体来讲,对于从摄像头拍摄得到的视频中获取到的每一帧视频图像,都可以使用全局LUT和矫正LUT对这一帧视频图像进行处理,如此,在完成对该视频中的多帧视频图像的处理后,即可得到处理后的视频,在本申请中即是得到具有LUT对应的滤镜效果的视频。
根据这一帧视频图像的色温可以确定照射在预设目标上的光源,从而据此可以获得能够矫正在该光源照射下的预设目标的颜色的矫正LUT。
可选地,本申请中可以使用软件算法获取这一帧视频图像的色温。具体地,可以使用AWB算法,对这一帧视频图像整体进行色温估计,得到这一帧视频图像的色温;或者,使用AWB算法,对这一帧视频图像中预设目标所在区域进行色温估计,得到这一帧视频图像的色温;或者,使用AWB算法,对这一帧视频图像中的中性灰像素点进行色温估计,得到这一帧视频图像的色温。
可选地,本申请中可以使用硬件器件获取这一帧视频图像的色温。具体地,可以通过光谱检测传感器检测这一帧视频图像中的m×n个区域中每个区域的色温,光谱检测传感器包括m×n个检测元件,m和n均为正整数;根据这一帧视频图像中m×n个区域中每个区域的色温确定这一帧视频图像的色温。
作为一种示例,使用全局LUT和第一矫正LUT处理这一帧视频图像之前,还可以从色温与矫正LUT之间的对应关系中,获取第一色温对应的矫正LUT,第一色温对应的矫正LUT为第一矫正LUT。
可以预先存储色温与矫正LUT之间的对应关系,该对应关系中包括多个色温与多个矫正LUT,每个色温对应的矫正LUT可以用于矫正在具有这个色温的光源照射下的预设目标的颜色。该对应关系可以由技术人员根据实际需求和经验设置得到,如可以根据用户的视觉体验需求设置得到。
需注意的是,若从色温与矫正LUT之间的对应关系中,未获取到第一色温对应的矫正LUT,也即,该对应关系中不存在第一色温对应的矫正LUT,则可以从该对应关系中确定两个色温,第一色温处于这两个色温之间,然后可以从该对应关系中获取这两个色温中每个色温对应的矫正LUT,之后,对获取到的两个矫正LUT进行插值运算(包括但不限于线性插值运算等),得到第一矫正LUT。
作为另一种示例,使用全局LUT和第一矫正LUT处理这一帧视频图像之前,还可以获取该多帧视频图像中位于这一帧视频图像之前的k帧视频图像中每帧视频图像在处理时所使用的矫正LUT,以得到k个矫正LUT;从色温与矫正LUT之间的对应关系中,获取第一色温对应的矫正LUT;对该k个矫正LUT和第一色温对应的矫正LUT进行插值运算,得到第一矫正LUT。
k为正整数,且k可以预先进行设置,如k可以为1、2、3等。
由于每获取到一帧视频图像,就会对所获取的视频图像进行处理,且在此处理过程中,会获取所处理的视频图像的矫正LUT,所以在获取到某一帧视频图像时,已经实现对这一帧视频图像之前的视频图像的处理,因而此时可以获取这些前序视频图像的矫正LUT。之后,可以将这些前序视频图像的矫正LUT与第一色温对应的矫正LUT进行插值运算(包括但不限于线性插值运算等),来得到第一矫正LUT。如此,可以保证使用第一矫正LUT对这一帧视频图像中预设目标所在区域进行处理后滤镜效果变化的平滑性,即保证对预设目标的颜色矫正效果的时域平滑。
作为一种示例,使用该全局LUT和第一矫正LUT处理这一帧视频图像,得到处理后的视频图像的操作可以为:使用该全局LUT对这一帧视频图像整体进行处理,得到第一图像;使用第一矫正LUT对这一帧视频图像中预设目标所在区域进行处理,得到第二图像;将第一图像与第二图像进行图像融合,得到处理后的视频图像。
这种方式是对这一帧视频图像进行并行处理。这种情况下,可以利用双视频容器保存两个视频图像,这两个视频图像均是这一帧视频图像。之后,使用该全局LUT对一个视频图像整体进行处理,使用矫正LUT对另一个视频图像中预设目标所在区域进行处理,之后,对这两个视频图像的处理结果进行图像融合,得到处理后的视频图像。
可选地,获取视频中的多帧视频图像之前,还可以获取全局LUT权重和矫正LUT权重。这种情况下,可以根据全局LUT权重和矫正LUT权重,将第一图像与第二图像进行图像融合,得到处理后的视频图像。
全局LUT权重用于指示在进行图像融合时经该全局LUT处理后的像素点的像素值所占的权重,也即,全局LUT权重用于指示在进行图像融合时第一图像中预设目标所在区域内的像素点的像素值所占的权重。矫正LUT权重用于指示在进行图像融合时经矫正LUT处理后的像素点的像素值所占的权重,也即,矫正LUT权重用于指示在进行图像融合时第二图像中预设目标所在区域内的像素点的像素值所占的权重。全局LUT权重与矫正LUT权重之和为1。
其中,获取全局LUT权重和矫正LUT权重的操作可以为:显示滑动条,该滑动条用于指示矫正LUT权重;若检测到对该滑动条中滑块的滑动操作,则将该滑动条中滑块的位置对应的权重确定为矫正LUT权重;将1减去矫正LUT权重,得到全局LUT权重。或者,从全局LUT与全局LUT权重之间的对应关系中,获取该全局LUT对应的全局LUT权重,将1减去全局LUT权重,得到矫正LUT权重。
该滑动条是一个slider控件。用户可以通过滑动该滑动条上的滑块来改变滑块的位置,继而改变矫正LUT权重。这种情况下,用户可以手动设置矫正LUT权重。
由于有些全局LUT的色彩风格比较强,所以为了保证视频图像整体色彩风格的和谐,在进行图像融合时经全局LUT处理的像素点的像素值需要占据一定程度的权重。这种情况下,可以自动确定全局LUT权重和矫正LUT权重。也即,可以从全局LUT与全局LUT权重之间的对应关系中,直接获取该全局LUT对应的全局LUT权重,并据此计算得到矫正LUT权重。
作为另一种示例,使用该全局LUT和第一矫正LUT处理这一帧视频图像,得到处理后的视频图像的操作可以为:使用该全局LUT对这一帧视频图像整体进行处理,得到第一图像;使用第一矫正LUT对第一图像中预设目标所在区域进行处理,得到处理后的视频图像。
这种方式是对这一帧视频图像进行串行处理。这种情况下,先使用全局LUT对这一帧视频图像整体进行处理,再使用矫正LUT对处理后的图像中预设目标所在区域进行处理,得到处理后的视频图像。
可选地,使用第一矫正LUT对第一图像中预设目标所在区域进行处理的操作可以为:从第一图像中分割出预设目标所在区域,得到预设目标图像,使用第一矫正LUT对预设目标图像中的所有像素点进行处理,得到第三图像,将第一图像与第三图像进行图像融合,得到处理后的视频图像。
第二方面,提供了一种视频处理装置,所述视频处理装置具有实现上述第一方面中视频处理方法行为的功能。所述视频处理装置包括至少一个模块,所述至少一个模块用于实现上述第一方面所提供的视频处理方法。
第三方面,提供了一种视频处理装置,所述视频处理装置的结构中包括处理器和存储器,所述存储器用于存储支持视频处理装置执行上述第一方面所提供的视频处理方法的程序,以及存储用于实现上述第一方面所述的视频处理方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述视频处理装置还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的视频处理方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的视频处理方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种终端的结构示意图;
图2是本申请实施例提供的一种终端的软件系统的框图;
图3是本申请实施例提供的一种电影模式下的视频拍摄过程的示意图;
图4是本申请实施例提供的一种电影模式下录像前的预览界面的示意图;
图5是本申请实施例提供的一种视频处理方法的流程图;
图6是本申请实施例提供的一种视频图像及其掩膜图的示意图;
图7是本申请实施例提供的一种光谱检测传感器在视频图像中的检测区域的示意图;
图8是本申请实施例提供的另一种电影模式下录像前的预览界面的示意图;
图9是本申请实施例提供的一种视频图像的并行处理过程的示意图;
图10是本申请实施例提供的一种视频图像的串行处理过程的示意图;
图11是本申请实施例提供的一种视频处理过程的示意图;
图12是本申请实施例提供的另一种视频处理方法的流程图;
图13是本申请实施例提供的一种视频处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在本申请中描述的“一个实施例”或“一些实施例”等语句意味着在本申请的一个或多个实施例中包括该实施例描述的特定特征、结构或特点。由此,在本申请中的不同之处出现的“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等语句不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。此外,术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面对本申请实施例涉及的计算机设备予以说明。
图1是本申请实施例提供的一种终端的结构示意图。参见图1,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户识别模块(subscriber identity module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,光谱检测传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
终端100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
终端100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。终端100可以包括1个或N个摄像头193,N为大于或等于2的整数。
在本申请实施例中,终端100可以通过1个或N个摄像头193进行录像。具体地,摄像头193用于采集视频流。摄像头193采集到视频流后可以传递至ISP进行处理。
作为一种示例,摄像头193采集的视频流的视频图像的格式为RAW格式,ISP可以将该视频流中RAW格式的视频图像转换为YUV格式的视频图像,然后再对YUV格式的视频图像进行基础处理,如可调整对比度、去除噪声等。之后,ISP可以将处理后的视频流传输给应用处理器。
应用处理器可以对接收到的视频流中的视频图像进行LUT处理。具体地,应用处理器可以对视频图像进行目标检测,在检测到视频图像存在预设目标的情况下,获取视频图像的色温,然后使用全局LUT和视频图像的色温对应的矫正LUT对视频图像进行处理。该矫正LUT用于对视频图像中预设目标所在区域进行颜色矫正。如此,经过该全局LUT和该矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可以有效避免预设目标的偏色问题。
作为一种示例,应用处理器可以通过光谱检测传感器180M获取视频图像的色温。光谱检测传感器180M包括m×n个检测元件,如此,光谱检测传感器180M可以将拍摄视野分为m×n个区域,以分别检测该m×n个区域中每个区域的色温。应用处理器可以获取光谱检测传感器180M检测到的视频图像中m×n个区域中每个区域的色温,然后根据视频图像中m×n个区域中每个区域的色温确定视频图像的色温。
进一步地,应用处理器在对视频图像进行处理后,还可以通过视频编解码器、GPU和显示屏194将处理后的视频图像显示在录像界面,实现视频预览。并且,还可以对处理后的视频图像进行存储,以便于在视频拍摄结束后进行播放。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
终端100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端100的接触和分离。终端100可以支持1个或N个SIM卡接口,N为大于1的整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端100中,不能和终端100分离。
接下来对终端100的软件系统予以说明。
终端100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,对终端100的软件系统进行示例性说明。
图2是本申请实施例提供的一种终端100的软件系统的框图。参见图2,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统从上至下分为应用程序层(application,APP),应用程序框架层(framework,FWK),安卓运行时(Android runtime)和系统层,以及内核层(kernel)。
应用程序层可以包括一系列应用程序包。如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问,这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,比如,显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序的显示界面,显示界面可以由一个或多个视图组成,比如,包括显示短信通知图标的视图,包括显示文字的视图,以及包括显示图片的视图。电话管理器用于提供终端100的通信功能,比如,通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如,本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互,比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知,比如,后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知,比如,在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统层可以包括多个功能模块,比如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),二维图形引擎(比如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。二维图形引擎是二维绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动等。
在对本申请实施例进行详细地解释说明之前,对本申请实施例涉及的名词进行解释说明。
1.用户体验(user experience,UX):也可称为UX特性,在本申请实施例中是指用户在拍摄过程中的感受。
2.用户界面(user interface,UI):是应用程序或操作系统与用户之间进行交互和信息交换的接口,用以实现信息的内部形式与用户可接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是采用图形方式显示的与计算机操作相关的用户界面。示例地,GUI中可以包括各种可视的界面元素,如可以包括文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏和/或导航栏等。
3.电影模式:是拍摄视频的一种模式,具体是录像模式中的一种特殊模式。在本申请实施例中,电影模式包括LUT功能,LUT功能是指在电影模式下拍摄视频时,通过使用LUT来使得拍摄的视频具有电影的质感。
4.LUT:是一种颜色转换模板,如可以是一种红蓝绿(red green blue,RGB)映射表。通过LUT能够对实际采样的像素灰度值进行一定的变换(如阈值、反转、对比度调整以及线性变换等),得到另外一个与之对应的灰度值,这样可以起到突出图像的有用信息,增强图像的光对比度的作用。也就是说,使用LUT对图像进行处理后,可以得到相应风格的图像效果,也即可以将图像处理成相应的滤镜效果。
可以理解,一张图像包括很多像素点(pixel),每个像素点由RGB值表示。显示屏可以根据该图像中每个像素点的RGB值来显示该图像。也就是说,这些RGB值会指示显示屏如何发光,以混合出各种各样的色彩呈现给用户。
示例地,LUT可以是一种RGB映射表,用于表征调整前后的RGB值的对应关系。例如,LUT可以是下表1所示的RGB映射表。其中,当原始RGB值为(14,22,24)时,经过表1所示的LUT的映射,输出RGB值为(6,9,4)。当原始RGB值为(61,34,67)时,经过表1所示的LUT的映射,输出RGB值为(66,17,47)。当原始RGB值为(94,14,171)时,经过表1所示的LUT的映射,输出RGB值为(117,82,187)。当原始RGB值为(241,216,222)时,经过表1所示的LUT的映射,输出RGB值为(255,247,243)。
表1
本申请实施例仅以上表1为例来对LUT进行说明,上表1并不对本申请实施例构成限定。
5.图像分割:是计算机视觉中非常重要的任务,其目的是为图像中的每个像素点分类,即是像素级别的分类任务。例如,普通分割的任务是将分属不同物体的像素区域分开,即目标检测。语义分割的任务是在普通分割的基础上,识别出图像中各个像素区域的语义,即确定出各个像素区域所属的物体的类别。也即,通过语义分割,可以自动分割并识别出图像中的内容,比如,可以识别出图像中的人像、绿植、建筑物等。
下面对本申请实施例涉及的应用场景予以说明。
用户可以使用手机、平板电脑等终端来拍摄视频,记录生活中的点点滴滴。目前,终端支持以电影模式进行视频拍摄,电影模式中可以提供多套用于实现不同电影感风格的LUT。当用户采用电影模式拍摄视频时,终端可以使用LUT对拍摄的视频图像进行处理,从而呈现出比较专业的电影感画面效果。
下面结合图3和图4来对电影模式下的视频拍摄过程进行示例性说明。
以终端为手机为例,如图3中的(a)图所示,当用户需要使用手机拍摄视频时,用户在手机的主屏幕界面中操作(如点击操作)相机应用的图标301,之后,手机显示如图3中的(b)图所示的界面302。其中,界面302为拍照模式的预览界面,界面302中的工作模式控件3021可以包括:人像模式、拍照模式、录像模式、电影模式以及专业模式。响应于用户选择电影模式303的操作,手机显示如图3中的(c)图所示的界面304。其中,界面304是电影模式下录像前的预览界面。手机可以在界面304中显示提示信息305:“横屏拍摄时更具电影感”,用于提示用户先将手机调整为横屏状态,再进行视频拍摄。之后,当用户将手机调整为横屏状态时,手机显示如图3中的(d)图所示的界面304,此时界面304为手机在横屏状态下录像前的预览界面。界面304可以包括拍摄控件306、LUT控件307、设置控件308,当然,界面304还可以包括其他控件,如闪光灯控件等。其中,拍摄控件306为虚拟快门键,用户通过操作拍摄控件306,可触发手机开始拍摄。LUT控件307用于开启LUT功能。设置控件308用于实现与拍摄相关的设置功能。
响应于用户对LUT控件307的操作,如图4所示,手机开启LUT功能,并在界面304展示LUT栏309。LUT栏309包括系统预先设置的多个全局LUT中每个全局LUT的图标,供用户选择。在一些实施例中,用户可以手动在LUT栏309中操作(如点击选择)一个全局LUT的图标,接着用户操作拍摄控件306,就可以实现在电影模式下使用这个全局LUT对应的滤镜效果来拍摄视频,也即,使用这个全局LUT来处理拍摄的视频图像,由此拍摄得到的视频会呈现这个全局LUT对应的滤镜效果。在另一些实施例中,手机可以根据界面304所展示的录像前的预览界面中的画面内容自动从预先设置的多个全局LUT中选择一个全局LUT,此时用户操作拍摄控件306,就可以实现在电影模式下使用这个全局LUT对应的滤镜效果来拍摄视频,也即,使用这个全局LUT来处理拍摄的视频图像,由此拍摄得到的视频会呈现这个全局LUT对应的滤镜效果。
全局LUT用于对拍摄的视频图像整体进行处理,然而,受拍摄环境中光线的影响,使用全局LUT处理后的视频图像可能会出现偏色的问题。比如,采用电影模式拍摄人物,在拍摄环境中的光线为自然光线的情况下,使用全局LUT处理后的视频图像中的人像的肤色表现是正常的。而当拍摄环境中的光线为低色温的夜景霓虹灯光线时,使用相同的全局LUT处理视频图像,会导致处理后的视频图像中的人像出现肤色偏绿的问题。肤色是人眼很敏感的记忆颜色,如果肤色发生偏色会在很大程度上影响用户的观感,降低用户体验。
然而,由于全局LUT是对整张视频图像生效的,所以如果为了矫正肤色偏色的问题而对全局LUT做出调整,那将会导致在原先肤色表现正常的拍摄环境中再次进行拍摄时出现偏色,并且,会导致视频图像中与肤色相近的颜色(如红、橙、黄)受到影响而发生偏色。
为此,本申请实施例中提供了一种视频处理方法,可以使用全局LUT处理整张视频图像,以及使用该视频图像的光源属性对应的矫正LUT处理该视频图像中预设目标所在区域。该矫正LUT可以对在具有该光源属性的光源照射下的预设目标的颜色进行矫正,因而经过该全局LUT和该矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可以有效避免预设目标的偏色问题。
下面对本申请实施例提供的视频处理方法进行详细地解释说明。
图5是本申请实施例提供的一种视频处理方法的流程图,该方法应用于终端,该终端可以是上文图1-图2实施例所述的终端。参见图5,该方法包括以下步骤。
步骤501:终端获取视频中的多帧视频图像。
示例地,该视频的格式可以为LOG格式,LOG格式的视频是用LOG对数函数记录的视频,是灰度素材视频。当然,该视频的格式也可以是其他格式,本申请实施例对此不作限定。
该多帧视频图像可以是该视频中连续的视频图像,这种情况下,终端是获取该视频中的每帧视频图像。或者,该多帧视频图像可以是该视频中间隔一定帧数的视频图像,这种情况下,终端是每间隔一定数量的视频帧才从该视频图像中获取一帧视频图像。
可选地,终端获取视频中的多帧视频图像的操作可以通过如下两种可能的方式实现。
第一种可能的方式中,终端可以在摄像头(Camera)的拍摄过程中,获取摄像头正在拍摄的视频中的多帧视频图像。
例如,终端可以在电影模式下通过摄像头录像的过程中,获取摄像头正在录制的视频中的多帧视频图像。
这种方式中,终端对摄像头正在拍摄的视频进行实时处理。具体来讲,终端每获取到摄像头正在拍摄的视频中的一帧视频图像,就可以按照如下步骤502-步骤505对这一帧视频图像进行处理,如此,在摄像头的拍摄结束时,可以完成对摄像头拍摄的视频中的多帧视频图像的处理,得到处理后的视频,在本申请实施例中即是得到具有LUT对应的滤镜效果的视频。
第二种可能的方式中,终端可以在摄像头拍摄结束后,获取摄像头拍摄得到的视频中的多帧视频图像。
例如,终端可以在摄像头录像结束后,获取摄像头录制得到的视频中的多帧视频图像。
这种方式中,终端是对摄像头拍摄得到的视频进行后处理。具体来讲,对于终端从摄像头拍摄得到的视频中获取到的每一帧视频图像,终端都可以按照如下步骤502-步骤505对这一帧视频图像进行处理,如此,在完成对该视频中的多帧视频图像的处理后,即可得到处理后的视频,在本申请实施例中即是得到具有LUT对应的滤镜效果的视频。
步骤502:对于该多帧视频图像中任意的一帧视频图像,终端对这一帧视频图像进行目标检测。
终端对这一帧视频图像进行目标检测后,可以检测出这一帧视频图像中是否存在预设目标。其中,预设目标可以预先进行设置,如预设目标可以为人像、天空、水面、动物、植物、建筑等,本申请实施例对此不作限定。值得注意的是,本申请实施例中目标不仅可以包括人像、天空、水面、动物、植物、建筑等这种大类,还可以包括每一个大类下面的小类,比如,对于动物,可以包括猫、狗等小类。
可选地,终端可以使用感兴趣区域(region of interest,ROI)检测算法对这一帧视频图像进行目标检测,如此可以检测出这一帧视频图像中感兴趣区域的主体。或者,终端可以使用显著性目标检测算法对这一帧视频图像进行目标检测,如此可以检测出这一帧视频图像中显著性区域的主体。当然,终端也可以通过其他方式对这一帧视频图像进行目标检测,本申请实施例对此不作限定。
终端对这一帧视频图像进行目标检测的过程,即是对这一帧视频图像进行语义分割的过程,从而可以识别出这一帧视频图像中每块区域(即每个目标所在区域)的语义,也即,确定出这一帧视频图像中每个目标的类别和所在区域。如此,终端就可以获知这一帧视频图像中是否存在预设目标,以及在这一帧视频图像中存在预设目标的情况下,获知这一帧视频图像中预设目标所在区域。
值得注意的一点是,终端对这一帧视频图像进行目标检测,主要目的是为了在这一帧视频图像中存在预设目标的情况下,确定这一帧视频图像中预设目标所在区域。因而为了降低处理压力、优化处理性能,终端可以使用这一帧视频图像对应的低分辨率图像来进行目标检测。该低分辨率图像中若存在预设目标,那么这一帧视频图像中也存在预设目标,并且,该低分辨率图像中预设目标所在区域的位置即是这一帧视频图像中预设目标所在区域的位置。
比如,摄像头拍摄的视频的格式为LOG格式,该LOG格式对应的低分辨率格式可以是Rec.709格式。这种情况下,终端可以对摄像头拍摄的LOG格式的视频进行转换,得到Rec.709格式的视频,然后使用该Rec.709格式的视频来进行目标检测,也即,对该Rec.709格式的视频中的多帧视频图像进行目标检测,即将该Rec.709格式的视频中的视频图像作为目标检测算法的输入数据,目标检测算法的输出数据为该Rec.709格式的视频中的视频图像中存在的预设目标所在区域的位置,即是该LOG格式的视频中的视频图像中存在的预设目标所在区域的位置。
值得注意的另一点是,终端对这一帧视频图像进行目标检测后,若这一帧视频图像中存在预设目标,则终端可以得到这一帧视频图像中预设目标的掩膜图(Mask),该掩膜图可以指示预设目标在这一帧视频图像中所在区域的位置。使用该掩膜图可以从这一帧视频图像中分割出预设目标所在区域。
比如,预设目标为人像,这一帧视频图像为图6中的(a)图所示的图像。终端对这一帧视频图像进行目标检测后,可以得到如图6中的(b)图所示的目标检测结果,该目标检测结果可以是一张掩膜图。该掩膜图中的白色部分用于指示这一帧视频图像中人像所在区域的位置,该掩膜图中的黑色部分用于指示这一帧视频图像中除人像所在区域之外的其他区域的位置。使用该掩膜图可以从这一帧视频图像中分割出人像所在区域,也即,使用该掩膜图可以遮挡掉这一帧视频图像中除人像所在区域之外的其他区域,保留这一帧视频图像中人像所在区域,即得到如图6中的(c)图所示的图像。
具体来讲,该掩膜图可以是一张像素值包括0和255的图像,如图6中的(b)图所示,该掩膜图中的白色部分是像素值为255的部分,该掩膜图中的黑色部分是像素值为0的部分。这种情况下,使用该掩膜图从这一帧视频图像中分割出人像所在区域,是将该掩膜图中的每个像素值与这一帧视频图像中对应位置的像素值进行与运算,该与运算是指在该掩膜图中的一个像素值为0时,将对应位置的像素值设为0,在该掩膜图中的一个像素值不为0(即为255)时,保留这一帧视频图像中对应位置的像素值。如此,在将该掩膜图中的每个像素值与这一帧视频图像中对应位置的像素值进行与运算后,这一帧视频图像中人像所在区域的像素值不变,这一帧视频图像中除人像所在区域之外的其他区域的像素值均为0,即得到图6中的(c)图所示的图像,该图像是从这一帧视频图像中分割出的遮挡了其他区域(即其他区域为黑色)、保留了人像所在区域的图像。
步骤503:若这一帧视频图像中存在预设目标,则终端获取这一帧视频图像的光源属性。
这一帧视频图像的光源属性是指这一帧视频图像的拍摄环境中光源的相关属性,根据该光源属性可以确定照射在预设目标上的光源。示例地,该光源属性可以包括亮度、光源类型、相关色温(correlated colour temperature,CCT)等中的一个或多个,本申请实施例对此不作限定。
可选地,终端可以使用软件算法或硬件器件获取这一帧视频图像的光源属性。终端使用软件算法获取这一帧视频图像的光源属性的操作可以通过如下第一种可能的方式-第四种可能的方式中的任意一种方式实现。终端使用硬件器件获取这一帧视频图像的光源属性的操作可以通过如下第五种可能的方式实现。
第一种可能的方式中,终端可以使用自动白平衡(automatic white balance,AWB)算法对这一帧视频图像整体进行色温估计,得到这一帧视频图像的光源属性。
示例地,终端可以使用AWB算法确定这一帧视频图像中每个像素点的色温。之后,终端可以将这一帧视频图像中所有像素点的色温的平均值作为这一帧视频图像的光源属性;或者,对这一帧视频图像中所有像素点的色温进行加权平均,得到这一帧视频图像的光源属性。其中,这一帧视频图像中预设目标所在区域内的像素点的权重大于这一帧视频图像中除预设目标所在区域之外的其他区域内的像素点的权重,预设目标所在区域内的各个像素点的权重相同,除预设目标所在区域之外的其他区域内的各个像素点的权重相同,预设目标所在区域内的像素点的权重和除预设目标所在区域之外的其他区域内的像素点的权重均可事先设置。
第二种可能的方式中,终端可以使用AWB算法对这一帧视频图像中预设目标所在区域进行色温估计,得到这一帧视频图像的光源属性。
由于本申请实施例中主要是为了确定照射在预设目标上的光源,所以在拍摄环境中的光线为混合光的情况下,仅对这一帧视频图像中预设目标所在区域进行色温估计可以得到更为准确的光源属性。示例地,终端可以使用AWB算法确定这一帧视频图像中预设目标所在区域内每个像素点的色温,然后将这一帧视频图像中预设目标所在区域内所有像素点的色温的平均值作为这一帧视频图像的光源属性。
第三种可能的方式中,终端可以使用AWB算法对这一帧视频图像中的中性灰像素点进行色温估计,得到这一帧视频图像的光源属性。
中性灰像素点也可称为中性灰块,编码为Block 22。中性灰像素点是指RGB值中红绿蓝三色数值相等的像素点。示例地,终端可以使用AWB算法确定这一帧视频图像中每个中性灰像素点的色温,然后将这一帧视频图像中所有中性灰像素点的色温的平均值作为这一帧视频图像的光源属性。
第四种可能的方式中,终端可以使用AWB算法对这一帧视频图像中预设目标所在区域和中性灰像素点进行色温估计,得到这一帧视频图像的光源属性。
示例地,终端可以使用AWB算法确定这一帧视频图像中预设目标所在区域内每个像素点的色温以及这一帧视频图像中每个中性灰像素点的色温。之后,终端可以将这一帧视频图像中预设目标所在区域内所有像素点的色温和这一帧视频图像中所有中性灰像素点的色温的平均值作为这一帧视频图像的光源属性;或者,对这一帧视频图像中预设目标所在区域内所有像素点的色温和这一帧视频图像中所有中性灰像素点的色温进行加权平均,得到这一帧视频图像的光源属性。其中,这一帧视频图像中预设目标所在区域内的像素点的权重大于这一帧视频图像中的中性灰像素点的权重,预设目标所在区域内的各个像素点的权重相同,各个中性灰像素点的权重相同,预设目标所在区域内的像素点的权重和中性灰像素点的权重均可事先设置。
第五种可能的方式中,终端中可以设置有光谱检测传感器(sensor)。终端可以通过该光谱检测传感器检测这一帧视频图像的光源属性。
示例地,终端中可以设置有光谱检测传感器,该光谱检测传感器包括m×n个检测元件,如此,该光谱检测传感器可以将拍摄视野(Field of View,FOV)分为m×n个区域,以分别检测该m×n个区域中每个区域的光谱信息(如色温)。其中,m和n均为正整数。
终端可以通过该光谱检测传感器检测这一帧视频图像中m×n个区域中每个区域的色温,然后根据这一帧视频图像中m×n个区域中每个区域的色温确定这一帧视频图像的光源属性。比如,终端可以将这一帧视频图像中m×n个区域的色温的平均值确定为这一帧视频图像的光源属性。或者,终端可以对这一帧视频图像中m×n个区域中包含有预设目标的区域的色温和不包含有预设目标的区域的色温进行加权平均,得到这一帧视频图像的光源属性。或者,终端可以将这一帧视频图像中m×n个区域中包含有预设目标的区域的色温的平均值确定为这一帧视频图像的光源属性。或者,终端可以将这一帧视频图像中m×n个区域中包含有中性灰像素点的区域的色温的平均值确定为这一帧视频图像的光源属性。或者,终端可以将这一帧视频图像中m×n个区域中包含有预设目标的区域的色温和包含有中性灰像素点的区域的色温的平均值确定为这一帧视频图像的光源属性。或者,终端可以对这一帧视频图像中m×n个区域中包含有预设目标的区域的色温和包含有中性灰像素点的区域的色温进行加权平均,得到这一帧视频图像的光源属性。其中,这一帧视频图像中m×n个区域中包含有预设目标的区域的权重大于不包含有预设目标的区域的权重,这一帧视频图像中m×n个区域中包含有预设目标的区域的权重大于包含有中性灰像素点的区域的权重。包含有预设目标的各个区域的权重相同,不包含有预设目标的各个区域的权重相同,包含有中性灰像素点的各个区域的权重相同,包含有预设目标的区域的权重、不包含有预设目标的区域的权重相同以及包含有中性灰像素点的区域的权重均可以事先设置。
比如,预设目标为人像。终端中设置有光谱检测传感器,该光谱检测传感器包括6×6个检测元件,即设置有36个检测元件。如图7所示,这36个检测元件可以用于一一检测这一帧视频图像中36个区域的色温。其中,这一帧视频图像中的36个区域中的区域A、区域B、区域C、区域D、区域E、区域F、区域G、区域H、区域I、区域J、区域K、区域L中包含人像,即这12个区域是包含有人像的区域。这种情况下,终端可以将这12个区域的色温的平均值确定为这一帧视频图像的光源属性。
值得注意的是,终端若获取到了这一帧视频图像的光源属性中的色温,则终端也可以获取到该色温对应的光源类型、亮度等其他属性,终端可以将这些属性也作为这一帧视频图像的光源属性。
步骤504:终端根据这一帧视频图像的光源属性获取这一帧视频图像的矫正LUT。
这一帧视频图像的矫正LUT是用于对这一帧视频图像中预设目标所在区域进行颜色矫正的LUT。这一帧视频图像的矫正LUT用于矫正在具有这一帧视频图像的光源属性的光源照射下的预设目标的颜色,也即,这一帧视频图像的矫正LUT用于矫正在这一帧视频图像的拍摄环境中的光源照射下的预设目标的颜色。这种情况下,使用这一帧视频图像的矫正LUT对这一帧视频图像中预设目标所在区域进行处理后,可以改善这一帧视频图像中预设目标所在区域的偏色问题。示例地,该矫正LUT可以是3D LUT。
可选地,终端根据这一帧视频图像的光源属性获取这一帧视频图像的矫正LUT的操作可以通过如下两种可能的方式实现。
第一种可能的方式中,终端可以从光源属性与矫正LUT之间的对应关系中,获取这一帧视频图像的光源属性对应的矫正LUT,这一帧视频图像的光源属性对应的矫正LUT为这一帧视频图像的矫正LUT。
终端中可以预先存储光源属性与矫正LUT之间的对应关系,该对应关系中包括多个光源属性与多个矫正LUT,每个光源属性对应的矫正LUT可以用于矫正在具有这个光源属性的光源照射下的预设目标的颜色。该对应关系可以由技术人员根据实际需求和经验设置得到,如可以根据用户的视觉体验需求设置得到。
比如,这一帧视频图像的光源属性为“亮度:中,光源类型:TL84,色温:4000K(开尔文温度单位)”,则终端可以从下表2所示的光源属性与矫正LUT之间的对应关系中,获取这一帧视频图像的光源属性对应的矫正LUT为“室内白炽灯光的矫正LUT”,将获取到的矫正LUT“室内白炽灯光的矫正LUT”作为这一帧视频图像的矫正LUT。
表2
在本申请实施例中仅以上表2为例对光源属性与矫正LUT之间的对应关系进行举例说明,上表2并不对本申请实施例构成限定。
需注意的是,若终端从光源属性与矫正LUT之间的对应关系中,未获取到这一帧视频图像的光源属性对应的矫正LUT,也即,该对应关系中不存在这一帧视频图像的光源属性对应的矫正LUT,则终端可以从该对应关系中确定两个光源属性,这一帧视频图像的光源属性处于这两个光源属性之间,然后终端可以从该对应关系中获取这两个光源属性中每个光源属性对应的矫正LUT,之后,对获取到的两个矫正LUT进行插值运算(包括但不限于线性插值运算等),得到这一帧视频图像的矫正LUT。
比如,这一帧视频图像的光源属性为“色温:4300K”,终端从上表2所示的光源属性与矫正LUT之间的对应关系中,未获取到这一帧视频图像的光源属性对应的矫正LUT,也即,该对应关系中不存在这一帧视频图像的光源属性对应的矫正LUT。这种情况下,由于这一帧视频图像的光源属性“色温:4300K”处于该对应关系中的光源属性“色温:5000K及以上”与光源属性“色温:4000K”之间,则终端可以从该对应关系中获取光源属性“色温:5000K及以上”对应的矫正LUT为“自然光的矫正LUT”,以及从该对应关系中获取光源属性“色温:4000K”对应的矫正LUT为“室内白炽灯光的矫正LUT”,之后,终端可以对矫正LUT“自然光的矫正LUT”和矫正LUT“室内白炽灯光的矫正LUT”进行插值运算,得到这一帧视频图像的矫正LUT。
第二种可能的方式中,终端获取该多帧视频图像中位于这一帧视频图像之前的k帧视频图像中每帧视频图像的矫正LUT,以及从光源属性与矫正LUT之间的对应关系中,获取这一帧视频图像的光源属性对应的矫正LUT。之后,终端对该k帧视频图像中所有视频图像的矫正LUT和这一帧视频图像的光源属性对应的矫正LUT进行插值运算,得到这一帧视频图像的矫正LUT。
k为正整数,且k可以预先进行设置,如k可以为1、2、3等,本申请实施例对此不作限定。
由于终端每获取到一帧视频图像,就会对所获取的视频图像进行处理,且在此处理过程中,终端会获取所处理的视频图像的矫正LUT,所以在终端获取到某一帧视频图像时,已经实现对这一帧视频图像之前的视频图像的处理,因而此时终端可以获取这些前序视频图像的矫正LUT。之后,终端可以将这些前序视频图像的矫正LUT与这一帧视频图像的光源属性对应的矫正LUT进行插值运算(包括但不限于线性插值运算等),来得到这一帧视频图像的矫正LUT。如此,可以保证使用这一帧视频图像的矫正LUT对这一帧视频图像中预设目标所在区域进行处理后滤镜效果变化的平滑性,即保证对预设目标的颜色矫正效果的时域平滑。
需注意的是,若终端从光源属性与矫正LUT之间的对应关系中,未获取到这一帧视频图像的光源属性对应的矫正LUT,也即,该对应关系中不存在这一帧视频图像的光源属性对应的矫正LUT,则终端可以从该对应关系中确定两个光源属性,这一帧视频图像的光源属性处于这两个光源属性之间,然后终端可以从该对应关系中获取这两个光源属性中每个光源属性对应的矫正LUT,之后,对获取到的两个矫正LUT进行插值运算,得到这一帧视频图像的光源属性对应的矫正LUT。之后,终端再对该k帧视频图像中所有视频图像的矫正LUT和这一帧视频图像的光源属性对应的矫正LUT进行插值运算,得到这一帧视频图像的矫正LUT。
值得注意的是,在处理视频之前,即在步骤501之前,终端已经事先确定用于对整张视频图像进行处理的全局LUT。可选地,该全局LUT可以是用户手动选择的,或者,可以是终端根据相机预览界面中显示的画面内容自动选择的,当然,也可以是通过其他方式选择的,本申请实施例对此不作限定。示例地,该全局LUT可以是3D LUT。
示例地,如图3中的(d)图所示,终端显示电影模式下录像前的界面304。界面304可以包括拍摄控件306、LUT控件307。用户操作LUT控件307后,终端响应于对LUT控件307的操作,如图4所示,终端开启LUT功能,在界面304展示LUT栏309,LUT栏309包括预先设置的多个全局LUT中每个全局LUT的图标。之后,用户手动在LUT栏309中选择一个全局LUT的图标,或者,终端根据界面304所展示的录像前的预览界面中的画面内容自动在LUT栏309中选择一个全局LUT的图标。之后,若用户操作拍摄控件306,则终端响应于对拍摄控件306的操作,通过摄像头拍摄视频,并获取摄像头正在拍摄的视频中的多帧视频图像,后续终端可以使用所选择的这个全局LUT来处理获取到的视频图像。
步骤505:终端使用全局LUT和这一帧视频图像的矫正LUT处理这一帧视频图像,得到处理后的视频图像。
该全局LUT是一种用于对这一帧视频图像整体进行处理的LUT,这一帧视频图像的矫正LUT是一种用于对这一帧视频图像中预设目标所在区域进行处理的LUT。
可选地,终端使用该全局LUT和这一帧视频图像的矫正LUT处理这一帧视频图像,得到处理后的视频图像的操作可以通过如下两种可能的方式实现。
第一种可能的方式中,终端使用该全局LUT对这一帧视频图像整体进行处理,得到第一图像,以及使用这一帧视频图像的矫正LUT对这一帧视频图像中预设目标所在区域进行处理,得到第二图像,之后,将第一图像与第二图像进行图像融合,得到处理后的视频图像。
这种方式是对这一帧视频图像进行并行处理。这种情况下,可以利用双视频容器保存两个视频图像,这两个视频图像均是这一帧视频图像。之后,使用该全局LUT对一个视频图像整体进行处理,使用矫正LUT对另一个视频图像中预设目标所在区域进行处理,之后,对这两个视频图像的处理结果进行图像融合,得到处理后的视频图像。
终端使用该全局LUT对这一帧视频图像整体进行处理,即是将这一帧视频图像整体处理成具有该全局LUT的滤镜效果的图像。终端使用该全局LUT对这一帧视频图像整体进行处理的过程与相关技术中使用某个LUT处理整张图像的操作类似,本申请实施例对此不进行详细阐述。
作为一种示例,终端使用这一帧视频图像的矫正LUT对这一帧视频图像中预设目标所在区域进行处理的操作可以为:使用这一帧视频图像的矫正LUT对这一帧视频图像中的所有像素点进行处理,再从处理后的图像中分割出预设目标所在区域,得到第二图像。
比如,预设目标为人像。对于图6中的(a)图所示的视频图像,其包含有一个人像,则终端可以使用该视频图像的矫正LUT对图6中的(a)图所示的视频图像中的所有像素点进行处理,再从处理后的图像中分割出这个人像所在区域,得到第二图像。其中,在从处理后的图像中分割出这个人像所在区域时,可以使用图6中的(b)图所示的这一帧视频图像中这个人像的掩膜图来从处理后的图像中分割出这个人像所在区域,得到第二图像。具体地,可以将该掩膜图中的每个像素值与处理后的图像中对应位置的像素值进行与运算,此时处理后的图像中这个人像所在区域的像素值不变,处理后的图像中除这个人像所在区域之外的其他区域的像素值均为0,即得到第二图像,第二图像是从处理后的图像中分割出的遮挡了其他区域(即其他区域为黑色)、保留了这个人像所在区域的图像。
作为另一种示例,终端使用这一帧视频图像的矫正LUT对这一帧视频图像中预设目标所在区域进行处理的操作可以为:使用这一帧视频图像的矫正LUT对在目标检测时分割出的预设目标所在区域中的所有像素点进行处理,得到第二图像。
比如,预设目标为人像。对于图6中的(a)图所示的视频图像,其在目标检测时分割出的预设目标所在区域如图6中的(c)图所示,图6中的(c)图所示的图像是从该视频图像中分割出的遮挡了其他区域(即其他区域为黑色)、保留了人像所在区域的图像。则终端可以使用该视频图像的矫正LUT对图6中的(c)图所示的图像中的所有像素点进行处理,得到第二图像。
作为一种示例,终端将第一图像与第二图像进行图像融合的操作可以为:根据这一帧视频图像中预设目标所在区域的位置,将第二图像中预设目标所在区域与第一图像中除预设目标所在区域之外的其他区域进行图像融合。
例如,在图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置属于第一图像中预设目标所在区域,则将第二图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值。如此,即是保持第一图像中除预设目标所在区域之外的其他区域不变,融合第二图像中预设目标所在区域,来得到处理后的视频图像。
可选地,为了保证预设目标所在区域与其他区域色调的平滑过渡,在图像融合时还可以对预设目标所在区域的边缘做透明度混合(alpha blending)处理。具体来讲,在进行图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的边缘,则根据第一图像的权重和第二图像的权重,将第一图像中这个像素点位置的像素值和第二图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的内部,则将第二图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值。
其中,第一图像的权重和第二图像的权重可以预先进行设置,且第一图像的权重和第二图像的权重之和为1。比如,第一图像的权重可以大于或等于20%且小于100%,第二图像的权重可以大于0%且小于或等于80%。
这种情况下,终端根据第一图像的权重和第二图像的权重,将第一图像中这个像素点位置的像素值和第二图像中这个像素点位置的像素值进行加权平均时,可以将第一图像中这个像素点位置的像素值乘以第一图像的权重,得到第一像素值,将第二图像中这个像素点位置的像素值乘以第二图像的权重,得到第二像素值,将第一像素值与第二像素值相加,得到处理后的视频图像中对应像素点位置的像素值。
作为另一种示例,终端可以事先获取全局LUT权重和矫正LUT权重,如可以在步骤501之前获取全局LUT权重和矫正LUT权重。这种情况下,终端将第一图像与第二图像进行图像融合的操作可以为:根据全局LUT权重和矫正LUT权重,将第一图像与第二图像进行图像融合,得到处理后的视频图像。
全局LUT权重用于指示在进行图像融合时经全局LUT处理后的像素点的像素值所占的权重,也即,全局LUT权重用于指示在进行图像融合时第一图像中预设目标所在区域内的像素点的像素值所占的权重。矫正LUT权重用于指示在进行图像融合时经矫正LUT处理后的像素点的像素值所占的权重,也即,矫正LUT权重用于指示在进行图像融合时第二图像中预设目标所在区域内的像素点的像素值所占的权重。全局LUT权重与矫正LUT权重之和为1。
终端获取全局LUT权重和矫正LUT权重的操作可以为:终端显示滑动条,该滑动条用于指示矫正LUT权重;若检测到对该滑动条中滑块的滑动操作,则将该滑动条中滑块的位置对应的权重确定为矫正LUT权重;将1减去矫正LUT权重,得到全局LUT权重。或者,终端从全局LUT与全局LUT权重之间的对应关系中,获取该全局LUT对应的全局LUT权重,将1减去全局LUT权重,得到矫正LUT权重。
该滑动条是一个slider控件。用户可以通过滑动该滑动条上的滑块来改变滑块的位置,继而改变矫正LUT权重。也即,用户可以手动设置矫正LUT权重。比如,如图8所示,在摄像头拍摄视频之前,终端显示电影模式下录像前的界面304。界面304可以包括滑动条310。用户可以滑动滑动条310中的滑块,响应于用户对滑动条310中滑块的滑动操作,终端确定滑动条310中滑块的位置对应的权重为80%,则可以确定矫正LUT权重为80%、全局LUT权重为20%。
由于有些全局LUT的色彩风格比较强,所以为了保证视频图像整体色彩风格的和谐,在进行图像融合时经全局LUT处理的像素点的像素值需要占据一定程度的权重。这种情况下,终端可以自动确定全局LUT权重和矫正LUT权重。也即,终端可以从全局LUT与全局LUT权重之间的对应关系中,直接获取该全局LUT对应的全局LUT权重,并据此计算得到矫正LUT权重。
终端中可以预先存储全局LUT与全局LUT权重之间的对应关系,该对应关系中包括多个全局LUT与多个全局LUT权重,每个全局LUT对应的全局LUT权重是在进行图像融合时经这个全局LUT处理后的像素点的像素值需要占据的权重。该对应关系可以由技术人员根据实际需求和经验设置得到,如可以根据用户的视觉体验需求设置得到。
比如,该全局LUT为“全局LUT1”,则终端可以从下表3所示的全局LUT与全局LUT权重之间的对应关系中,获取该全局LUT对应的全局LUT权重为30%,则可以确定全局LUT权重为30%、矫正LUT权重为70%。
表3
全局LUT | 全局LUT权重 |
全局LUT1 | 30% |
全局LUT2 | 20% |
全局LUT3 | 10% |
…… | …… |
在本申请实施例中仅以上表3为例对全局LUT与全局LUT权重进行举例说明,上表3并不对本申请实施例构成限定。
终端根据全局LUT权重和矫正LUT权重,将第一图像与第二图像进行图像融合,得到处理后的视频图像的操作可以为:根据全局LUT权重和矫正LUT权重,以及根据这一帧视频图像中预设目标所在区域的位置,将第二图像中预设目标所在区域与第一图像进行图像融合。
例如,在图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置属于第一图像中预设目标所在区域,则根据全局LUT权重和矫正LUT权重,将第一图像中这个像素点位置的像素值和第二图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值。如此,即是保持第一图像中除预设目标所在区域之外的其他区域不变,按照全局LUT权重和矫正LUT权重,将第一图像中预设目标所在区域和第二图像中预设目标所在区域进行融合,来得到处理后的视频图像,从而可以保证处理后的视频图像中预设目标所在区域与其他区域的色彩风格较为一致。
可选地,为了保证预设目标所在区域与其他区域色调的平滑过渡,在图像融合时还可以对预设目标所在区域的边缘做透明度混合处理。具体来讲,在进行图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的边缘,则根据第一图像的权重和第二图像的权重,将第一图像中这个像素点位置的像素值和第二图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的内部,则根据全局LUT权重和矫正LUT权重,将第一图像中这个像素点位置的像素值和第二图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值。
其中,终端根据全局LUT权重和矫正LUT权重,将第一图像中这个像素点位置的像素值和第二图像中这个像素点位置的像素值进行加权平均时,将第一图像中这个像素点位置的像素值乘以全局LUT权重,得到第三像素值,以及将第二图像中这个像素点位置的像素值乘以矫正LUT权重,得到第四像素值,然后将第三像素值与第四像素值相加,得到处理后的视频图像中对应像素点位置的像素值。
下面结合图9对上述第一种可能的方式中视频图像的并行处理过程进行说明。
如图9所示,使用该全局LUT对这一帧视频图像中的所有像素点进行处理,得到第一图像。使用这一帧视频图像的矫正LUT对这一帧视频图像中的所有像素点进行处理,再使用这一帧视频图像中预设目标的掩膜图从处理后的图像中分割出预设目标所在区域,得到第二图像。之后,根据全局LUT权重和矫正LUT权重,以及根据这一帧视频图像中预设目标所在区域的位置,将第二图像中预设目标所在区域与第一图像进行图像融合,得到处理后的视频图像。
第二种可能的方式中,终端使用该全局LUT对这一帧视频图像整体进行处理,得到第一图像,然后使用这一帧视频图像的矫正LUT对第一图像中预设目标所在区域进行处理,得到处理后的视频图像。
这种方式是对这一帧视频图像进行串行处理。这种情况下,先使用该全局LUT对这一帧视频图像整体进行处理,再使用矫正LUT对处理后的图像中预设目标所在区域进行处理,得到处理后的视频图像。
可选地,终端使用这一帧视频图像的矫正LUT对第一图像中预设目标所在区域进行处理的操作可以为:从第一图像中分割出预设目标所在区域,得到预设目标图像,使用这一帧视频图像的矫正LUT对预设目标图像中的所有像素点进行处理,得到第三图像,将第一图像与第三图像进行图像融合,得到处理后的视频图像。
其中,终端从第一图像中分割出预设目标所在区域时,可以使用这一帧视频图像中预设目标的掩膜图来从第一图像中分割出预设目标所在区域,得到预设目标图像。具体地,可以将该掩膜图中的每个像素值与第一图像中对应位置的像素值进行与运算,此时第一图像中预设目标所在区域的像素值不变,第一图像中除预设目标所在区域之外的其他区域的像素值均为0,即得到预设目标图像,预设目标图像是从第一图像中分割出的遮挡了其他区域(即其他区域为黑色)、保留了预设目标所在区域的图像。
作为一种示例,终端将第一图像与第三图像进行图像融合的操作可以为:根据这一帧视频图像中预设目标所在区域的位置,将第三图像中预设目标所在区域与第一图像中除预设目标所在区域之外的其他区域进行图像融合。
例如,在图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置属于第一图像中预设目标所在区域,则将第三图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值。如此,即是保持第一图像中除预设目标所在区域之外的其他区域不变,融合第三图像中预设目标所在区域,来得到处理后的视频图像。
可选地,为了保证预设目标所在区域与其他区域色调的平滑过渡,在图像融合时还可以对预设目标所在区域的边缘做透明度混合处理。具体来讲,在进行图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的边缘,则根据第一图像的权重和第三图像的权重,将第一图像中这个像素点位置的像素值和第三图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的内部,则将第三图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值。
其中,第一图像的权重和第三图像的权重可以预先进行设置,且第一图像的权重和第三图像的权重之和为1。比如,第一图像的权重可以大于或等于20%且小于100%,第三图像的权重可以大于0%且小于或等于80%。
这种情况下,终端根据第一图像的权重和第三图像的权重,将第一图像中这个像素点位置的像素值和第三图像中这个像素点位置的像素值进行加权平均时,可以将第一图像中这个像素点位置的像素值乘以第一图像的权重,得到第五像素值,将第三图像中这个像素点位置的像素值乘以第三图像的权重,得到第六像素值,将第五像素值与第六像素值相加,得到处理后的视频图像中对应像素点位置的像素值。
作为另一种示例,终端可以事先获取全局LUT权重和矫正LUT权重,如可以在步骤501之前获取全局LUT权重和矫正LUT权重。这种情况下,终端将第一图像与第三图像进行图像融合的操作可以为:根据全局LUT权重和矫正LUT权重,将第一图像与第三图像进行图像融合,得到处理后的视频图像。
终端根据全局LUT权重和矫正LUT权重,将第一图像与第三图像进行图像融合,得到处理后的视频图像的操作可以为:根据全局LUT权重和矫正LUT权重,以及根据这一帧视频图像中预设目标所在区域的位置,将第三图像中预设目标所在区域与第一图像进行图像融合。
例如,在图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置属于第一图像中预设目标所在区域,则根据全局LUT权重和矫正LUT权重,将第一图像中这个像素点位置的像素值和第三图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值。如此,即是保持第一图像中除预设目标所在区域之外的其他区域不变,按照全局LUT权重和矫正LUT权重,将第一图像中预设目标所在区域和第三图像中预设目标所在区域进行融合,来得到处理后的视频图像,从而可以保证处理后的视频图像中预设目标所在区域与其他区域的色彩风格较为一致。
可选地,为了保证预设目标所在区域与其他区域色调的平滑过渡,在图像融合时还可以对预设目标所在区域的边缘做透明度混合处理。具体来讲,在进行图像融合时,对于第一图像中的每一个像素点位置,若这个像素点位置属于第一图像中除预设目标所在区域之外的其他区域,则将第一图像中这个像素点位置的像素值作为处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的边缘,则根据第一图像的权重和第三图像的权重,将第一图像中这个像素点位置的像素值和第三图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值;若这个像素点位置位于第一图像中预设目标所在区域的内部,则根据全局LUT权重和矫正LUT权重,将第一图像中这个像素点位置的像素值和第三图像中这个像素点位置的像素值进行加权平均,得到处理后的视频图像中对应像素点位置的像素值。
其中,终端根据全局LUT权重和矫正LUT权重,将第一图像中这个像素点位置的像素值和第三图像中这个像素点位置的像素值进行加权平均时,将第一图像中这个像素点位置的像素值乘以全局LUT权重,得到第七像素值,以及将第三图像中这个像素点位置的像素值乘以矫正LUT权重,得到第八像素值,然后将第七像素值与第八像素值相加,得到处理后的视频图像中对应像素点位置的像素值。
下面结合图10对上述第二种可能的方式中视频图像的串行处理过程进行说明。
如图10所示,使用该全局LUT对这一帧视频图像中的所有像素点进行处理,得到第一图像。使用这一帧视频图像中预设目标的掩膜图从第一图像中分割出预设目标所在区域,得到预设目标图像,使用这一帧视频图像的矫正LUT对预设目标图像中的所有像素点进行处理,得到第三图像,将第一图像与第三图像进行图像融合,得到处理后的视频图像。
在本申请实施例中,获取视频中的多帧视频图像。对于该多帧视频图像中任意的一帧视频图像,可以在这一帧视频图像中存在预设目标的情况下,获取这一帧视频图像的光源属性,且根据这一帧视频图像的光源属性获取这一帧视频图像的矫正LUT。之后,可以使用全局LUT和该矫正LUT处理这一帧视频图像。由于该矫正LUT用于对这一帧视频图像中预设目标所在区域进行颜色矫正,所以经过该全局LUT和该矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可以有效避免预设目标的偏色问题。
值得说明的是,本申请实施例中的预设目标可以为拥有记忆颜色的目标,如预设目标可以为人像,人像的记忆颜色为肤色。当然,预设目标也可以为其他拥有记忆颜色的目标,如预设目标可以为天空、水面、绿植等目标。
下面以预设目标为人像为例,结合图11来对上述视频处理方法进行举例说明。
如图11所示,该视频处理方法可以包括如下步骤(1)-步骤(5)。
(1)摄像头采集视频流。
摄像头采集的视频流可以是高分辨率的视频流,如该高分辨率的视频流可以是4K分辨率的视频流。这种情况下,还可以提供与该高分辨率的视频流对应的低分辨率的视频流,该低分辨率的视频流可以是对该高分辨率的视频流转换得到,如该低分辨率的视频流可以是视频图形阵列(video graphics array,VGA)分辨率的视频流。
高分辨率的视频流作为主路进行LUT处理,低分辨率的视频流作为辅路来确定人像的掩膜图,人像的掩膜图用于指示视频图像中人像区域的位置。
(2)将高分辨率的视频流中的视频图像输入图像处理引擎(image processingengine,IPE),由IPE对该高分辨率的视频图像进行处理后输出至LUT处理单元。
示例地,IPE中可以包括多个独立分量分析(independent component analysis,ICA)单元、局部色调映射(local tone mapping,LTM)单元、伽马(gamma)校正单元等,用以对视频图像进行处理。
可选地,还可以通过电子防抖(electronics image stabilization,EIS)单元对IPE所处理的视频图像进行网格矫正,以实现运动补偿,达到图像防抖的效果。
(3)对低分辨率的视频流中的视频图像进行语义分割,得到人像的掩膜图,将人像的掩膜图输出至LUT处理单元。
可选地,可以使用人工智能(artificial intelligence,AI)引擎来对低分辨率的视频流中的视频图像进行语义分割,得到人像的掩膜图。
这种情况下,还可以同步主路的视频图像的EIS补偿网格,对AI引擎输出的人像的掩膜图进行网格矫正,再将矫正后的掩膜图输出至LUT处理单元。
(4)获取高分辨率的视频流中的视频图像的光源属性。
可选地,可以通过光谱检测传感器检测视频图像中m×n个区域中每个区域的色温,然后根据这m×n个区域中每个区域的色温确定视频图像的光源属性。
示例地,终端可以将该m×n个区域的色温进行加权平均,得到视频图像的光源属性。这种情况下,该m×n个区域中人像区域的权重可以大于该m×n个区域中除人像区域之外的其他区域的权重,且人像区域中脸部区域的权重可以大于人像区域中除脸部区域之外的其他区域的权重。
(5)LUT处理单元根据视频图像的光源属性获取矫正LUT,使用全局LUT对高分辨率的视频图像整体进行处理,得到第一图像,以及使用矫正LUT对高分辨率的视频图像中的所有像素点进行处理,再使用人像的掩膜图从处理后的图像中分割出人像区域,得到第二图像,之后,将第一图像与第二图像进行图像融合,得到处理后的视频图像。
这种情况下,处理后的视频图像中的人像区域的颜色是经过矫正LUT矫正的,所以处理后的视频图像不仅具有该全局LUT对应的滤镜效果,还有效避免了人像的偏色问题。
可选地,可以根据全局LUT权重和矫正LUT权重,将第一图像与第二图像进行图像融合,得到处理后的视频图像。
示例地,全局LUT权重和矫正LUT权重可以由用户在拍摄前手动设置。比如,可以在相机预览界面显示一个滑动条,用户可以通过滑动这个滑动条上的滑块来改变滑块的位置,继而可以改变矫正LUT权重。
在一些实施例中,在拍摄前,还可以在相机预览界面显示其他滑动条,用户可以通过滑动该其他滑动条上的滑块来改变滑块的位置,继而可以改变人像的磨皮(skinsmooth)程度,磨皮程度越高,人像的皮肤越平滑。
下面以视频图像的光源属性为视频图像的色温为例,来对本申请实施例提供的视频处理方法进行示例性说明。
图12是本申请实施例提供的一种视频处理方法的流程图,该方法应用于终端,该终端可以是上文图1-图2实施例所述的终端。参见图12,该方法包括以下步骤。
步骤1201:终端获取视频中的多帧视频图像。
其中,步骤1201的操作与上文图5实施例中的步骤501的操作相同,本申请实施例对此不再赘述。
步骤1202:对于该多帧视频图像中任意的一帧视频图像,终端在这一帧视频图像中存在预设目标的情况下,获取这一帧视频图像的色温。
终端可以先对这一帧视频图像进行目标检测,若检测出这一帧视频图像中存在预设目标,则获取这一帧视频图像的色温。
其中,终端对这一帧视频图像进行目标检测的操作与上文图5实施例中的步骤502的操作相同,本申请实施例对此不再赘述。
其中,终端获取这一帧视频图像的色温的操作与上文图5实施例中的步骤503的操作相同,本申请实施例对此不再赘述。
在一些可能的情况中,这一帧视频图像的色温为第一色温,此时终端继续执行如下步骤1203。在另一些可能的情况中,这一帧视频图像的色温为第二色温,此时终端继续执行如下步骤1204。其中,第一色温与第二色温不同。
步骤1203:若这一帧视频图像的色温为第一色温,则终端使用全局LUT和第一矫正LUT处理这一帧视频图像,得到处理后的视频图像。
值得注意的是,在处理视频之前,即在步骤1201之前,终端已经事先确定用于对整张视频图像进行处理的全局LUT。可选地,该全局LUT可以是用户手动选择的,或者,可以是终端根据相机预览界面中显示的画面内容自动选择的,当然,也可以是通过其他方式选择的,本申请实施例对此不作限定。示例地,该全局LUT可以是3D LUT。该全局LUT是一种用于对这一帧视频图像整体进行处理的LUT。
比如,终端若检测到对电影模式的选择操作,则如图3中的(d)图所示,终端显示电影模式下的相机预览界面304,相机预览界面304包括LUT控件307,LUT控件307用于启动LUT功能。之后,终端若检测到对LUT控件307的选择操作,则如图4所示,终端在相机预览界面304显示LUT栏309,LUT栏309包括多个LUT图标,该多个LUT图标是终端预先设置的多个全局LUT中各个全局LUT的图标。之后,终端若检测到对该多个LUT图标中的一个LUT图标的选择操作,则获取这一个LUT图标对应的LUT作为该全局LUT。
第一矫正LUT是一种用于对这一帧视频图像中预设目标所在区域进行处理的LUT。第一矫正LUT用于矫正在具有第一色温的光源照射下的预设目标的颜色,从而第一矫正LUT可对这一帧视频图像中预设目标所在区域进行颜色矫正。这种情况下,使用第一矫正LUT对这一帧视频图像中预设目标所在区域进行处理后,可以改善这一帧视频图像中预设目标所在区域的偏色问题。
终端在使用全局LUT和第一矫正LUT处理这一帧视频图像之前,可以先根据第一色温获取第一矫正LUT。其中,终端根据第一色温获取第一矫正LUT的操作与上文图5实施例中的步骤504的操作类似,本申请实施例对此不进行详细阐述。
比如,终端可以从色温与矫正LUT之间的对应关系中,获取第一色温对应的矫正LUT,第一色温对应的矫正LUT为第一矫正LUT。
需注意的是,若终端从色温与矫正LUT之间的对应关系中,未获取到第一色温对应的矫正LUT,也即,该对应关系中不存在第一色温对应的矫正LUT,则终端可以从该对应关系中确定两个色温,第一色温处于这两个色温之间,然后终端可以从该对应关系中获取这两个色温中每个色温对应的矫正LUT,之后,对获取到的两个矫正LUT进行插值运算(包括但不限于线性插值运算等),得到第一矫正LUT。
又比如,终端可以获取该多帧视频图像中位于这一帧视频图像之前的k帧视频图像中每帧视频图像在处理时所使用的矫正LUT,以得到k个矫正LUT,k为正整数。之后,从色温与矫正LUT之间的对应关系中,获取第一色温对应的矫正LUT,然后对该k个矫正LUT和第一色温对应的矫正LUT进行插值运算,得到第一矫正LUT。
需注意的是,若终端从色温与矫正LUT之间的对应关系中,未获取到第一色温对应的矫正LUT,也即,该对应关系中不存在第一色温对应的矫正LUT,则终端可以从该对应关系中确定两个色温,第一色温处于这两个色温之间,然后终端可以从该对应关系中获取这两个色温中每个色温对应的矫正LUT,之后,对获取到的两个矫正LUT进行插值运算,得到第一色温对应的矫正LUT。之后,终端再对该k个矫正LUT和第一色温对应的矫正LUT进行插值运算,得到第一矫正LUT。
其中,终端使用全局LUT和第一矫正LUT处理这一帧视频图像,得到处理后的视频图像的操作与上文图5实施例中的步骤505的操作相同,本申请实施例对此不再赘述。
步骤1204:若这一帧视频图像的色温为第二色温,则终端使用全局LUT和第二矫正LUT处理这一帧视频图像,得到处理后的视频图像。
第二矫正LUT是一种用于对这一帧视频图像中预设目标所在区域进行处理的LUT。第二矫正LUT用于矫正在具有第二色温的光源照射下的预设目标的颜色,从而第二矫正LUT可对这一帧视频图像中预设目标所在区域进行颜色矫正。这种情况下,使用第二矫正LUT对这一帧视频图像中预设目标所在区域进行处理后,可以改善这一帧视频图像中预设目标所在区域的偏色问题。
第二矫正LUT与第一矫正LUT不同。本申请实施例中,在视频图像的色温不同的情况下,可以使用不同的矫正LUT来对视频图像中预设目标所在区域进行颜色矫正,如此,可以提高颜色矫正的灵活性和准确性。
其中,步骤1204的操作与步骤1205的操作类似,本申请实施例对此不再赘述。
在本申请实施例中,获取视频中的多帧视频图像。对于该多帧视频图像中任意的一帧视频图像,可以在这一帧视频图像中存在预设目标的情况下,获取这一帧视频图像的色温。之后,若这一帧视频的色温为第一色温,则使用全局LUT和第一矫正LUT处理这一帧视频图像。而若这一帧视频的色温为第二色温,则使用全局LUT和第二矫正LUT处理这一帧视频图像。如此,在视频图像的色温不同的情况下,可以使用不同的矫正LUT来对视频图像中预设目标所在区域进行颜色矫正,从而经过该全局LUT和矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可以有效避免预设目标的偏色问题。
图13是本申请实施例提供的一种视频处理装置的结构示意图,该装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部,该计算机设备可以为上文图1-图2实施例所述的终端。参见图13,该装置包括:第一获取模块1301、第二获取模块1302和处理模块1303。
第一获取模块1301,用于获取视频中的多帧视频图像;
第二获取模块1302,用于对于该多帧视频图像中任意的一帧视频图像,在这一帧视频图像中存在预设目标的情况下,获取这一帧视频图像的色温;
处理模块1303,用于若这一帧视频图像的色温为第一色温,则使用全局颜色查找表LUT和第一矫正LUT处理这一帧视频图像,得到处理后的视频图像;若这一帧视频图像的色温为第二色温,则使用该全局LUT和第二矫正LUT处理这一帧视频图像,得到处理后的视频图像;其中,该全局LUT用于对视频图像整体进行处理,第一矫正LUT和第二矫正LUT均用于对视频图像中预设目标所在区域进行颜色矫正,第一色温与第二色温不同,第一矫正LUT与第二矫正LUT不同。
可选地,预设目标为人像、天空、水面、或植物。
可选地,第二获取模块1302用于:
使用AWB算法,对这一帧视频图像整体进行色温估计,得到这一帧视频图像的色温;或者,使用AWB算法,对这一帧视频图像中预设目标所在区域进行色温估计,得到这一帧视频图像的色温;或者,使用AWB算法,对这一帧视频图像中的中性灰像素点进行色温估计,得到这一帧视频图像的色温。
可选地,第二获取模块1302用于:
通过光谱检测传感器检测这一帧视频图像中的m×n个区域中每个区域的色温,该光谱检测传感器包括m×n个检测元件,该m和该n均为正整数;根据这一帧视频图像中该m×n个区域中每个区域的色温确定这一帧视频图像的色温。
可选地,该装置还包括:
第三获取模块,用于从色温与矫正LUT之间的对应关系中,获取第一色温对应的矫正LUT,第一色温对应的矫正LUT为第一矫正LUT。
可选地,该装置还包括:
第四获取模块,用于获取该多帧视频图像中位于这一帧视频图像之前的k帧视频图像中每帧视频图像在处理时所使用的矫正LUT,以得到k个矫正LUT,该k为正整数;
第五获取模块,用于从色温与矫正LUT之间的对应关系中,获取第一色温对应的矫正LUT;
计算模块,用于对该k个矫正LUT和第一色温对应的矫正LUT进行插值运算,得到第一矫正LUT。
可选地,处理模块1303用于:
使用该全局LUT对这一帧视频图像整体进行处理,得到第一图像;使用第一矫正LUT对这一帧视频图像中预设目标所在区域进行处理,得到第二图像;将第一图像与第二图像进行图像融合,得到处理后的视频图像。
可选地,该装置还包括:
第六获取模块,用于获取全局LUT权重和矫正LUT权重;
处理模块1303用于:
根据该全局LUT权重和该矫正LUT权重,将第一图像与第二图像进行图像融合,得到处理后的视频图像。
可选地,第六获取模块用于:
显示滑动条,该滑动条用于指示该矫正LUT权重;若检测到对该滑动条中滑块的滑动操作,则将该滑动条中滑块的位置对应的权重确定为该矫正LUT权重;将1减去该矫正LUT权重,得到该全局LUT权重。
可选地,第六获取模块用于:
从全局LUT与全局LUT权重之间的对应关系中,获取该全局LUT对应的全局LUT权重;将1减去该全局LUT权重,得到该矫正LUT权重。
可选地,处理模块1303用于:
使用该全局LUT对这一帧视频图像整体进行处理,得到第一图像;
使用第一矫正LUT对第一图像中预设目标所在区域进行处理,得到处理后的视频图像。
可选地,该装置还包括:
第一显示模块,用于若检测到对电影模式的选择操作,则显示该电影模式下的相机预览界面,该相机预览界面包括LUT控件,该LUT控件用于启动LUT功能;
第二显示模块,用于若检测到对该LUT控件的选择操作,则在该相机预览界面显示LUT栏,该LUT栏包括多个LUT图标;
第七获取模块,用于若检测到对该多个LUT图标中的一个LUT图标的选择操作,则获取该一个LUT图标对应的LUT作为该全局LUT。
可选地,第一获取模块1301用于:
在摄像头的拍摄过程中,获取该摄像头正在拍摄的该视频中的多帧视频图像;或者,
在摄像头的拍摄结束后,获取该摄像头拍摄得到的该视频中的多帧视频图像。
在本申请实施例中,获取视频中的多帧视频图像。对于该多帧视频图像中任意的一帧视频图像,可以在这一帧视频图像中存在预设目标的情况下,获取这一帧视频图像的色温。之后,若这一帧视频的色温为第一色温,则使用全局LUT和第一矫正LUT处理这一帧视频图像。而若这一帧视频的色温为第二色温,则使用全局LUT和第二矫正LUT处理这一帧视频图像。如此,在视频图像的色温不同的情况下,可以使用不同的矫正LUT来对视频图像中预设目标所在区域进行颜色矫正,从而经过该全局LUT和矫正LUT处理后的视频图像,不仅可以具有该全局LUT对应的滤镜效果,还可以有效避免预设目标的偏色问题。
需要说明的是:上述实施例提供的视频处理装置在视频处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
上述实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请实施例的保护范围。
上述实施例提供的视频处理装置与视频处理方法实施例属于同一构思,上述实施例中单元、模块的具体工作过程及带来的技术效果,可参见方法实施例部分,此处不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(比如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (16)
1.一种视频处理方法,其特征在于,所述方法包括:
获取视频中的多帧视频图像;
对于所述多帧视频图像中任意的一帧视频图像,在所述一帧视频图像中存在预设目标的情况下,获取所述一帧视频图像的色温;
若所述一帧视频图像的色温为第一色温,则使用全局颜色查找表LUT和第一矫正LUT处理所述一帧视频图像,得到处理后的视频图像;
若所述一帧视频图像的色温为第二色温,则使用所述全局LUT和第二矫正LUT处理所述一帧视频图像,得到处理后的视频图像;
其中,所述全局LUT用于对视频图像整体进行处理,所述第一矫正LUT和所述第二矫正LUT均用于对视频图像中所述预设目标所在区域进行颜色矫正,所述第一色温与所述第二色温不同,所述第一矫正LUT与所述第二矫正LUT不同。
2.如权利要求1所述的方法,其特征在于,所述预设目标为人像、天空、水面、或植物。
3.如权利要求1或2所述的方法,其特征在于,所述获取所述一帧视频图像的色温,包括:
使用自动白平衡AWB算法,对所述一帧视频图像整体进行色温估计,得到所述一帧视频图像的色温;或者,
使用AWB算法,对所述一帧视频图像中所述预设目标所在区域进行色温估计,得到所述一帧视频图像的色温;或者,
使用AWB算法,对所述一帧视频图像中的中性灰像素点进行色温估计,得到所述一帧视频图像的色温。
4.如权利要求1或2所述的方法,其特征在于,所述获取所述一帧视频图像的色温,包括:
通过光谱检测传感器检测所述一帧视频图像中的m×n个区域中每个区域的色温,所述光谱检测传感器包括m×n个检测元件,所述m和所述n均为正整数;
根据所述一帧视频图像中所述m×n个区域中每个区域的色温确定所述一帧视频图像的色温。
5.如权利要求1至4任一所述的方法,其特征在于,所述使用全局颜色查找表LUT和第一矫正LUT处理所述一帧视频图像之前,还包括:
从色温与矫正LUT之间的对应关系中,获取所述第一色温对应的矫正LUT,所述第一色温对应的矫正LUT为所述第一矫正LUT。
6.如权利要求1至4任一所述的方法,其特征在于,所述使用全局颜色查找表LUT和第一矫正LUT处理所述一帧视频图像之前,还包括:
获取所述多帧视频图像中位于所述一帧视频图像之前的k帧视频图像中每帧视频图像在处理时所使用的矫正LUT,以得到k个矫正LUT,所述k为正整数;
从色温与矫正LUT之间的对应关系中,获取所述第一色温对应的矫正LUT;
对所述k个矫正LUT和所述第一色温对应的矫正LUT进行插值运算,得到所述第一矫正LUT。
7.如权利要求1至6任一所述的方法,其特征在于,所述使用全局颜色查找表LUT和第一矫正LUT处理所述一帧视频图像,得到处理后的视频图像,包括:
使用所述全局LUT对所述一帧视频图像整体进行处理,得到第一图像;
使用所述第一矫正LUT对所述一帧视频图像中所述预设目标所在区域进行处理,得到第二图像;
将所述第一图像与所述第二图像进行图像融合,得到处理后的视频图像。
8.如权利要求7所述的方法,其特征在于,所述获取视频中的多帧视频图像之前,还包括:
获取全局LUT权重和矫正LUT权重;
所述将所述第一图像与所述第二图像进行图像融合,得到处理后的视频图像,包括:
根据所述全局LUT权重和所述矫正LUT权重,将所述第一图像与所述第二图像进行图像融合,得到处理后的视频图像。
9.如权利要求8所述的方法,其特征在于,所述获取全局LUT权重和矫正LUT权重,包括:
显示滑动条,所述滑动条用于指示所述矫正LUT权重;
若检测到对所述滑动条中滑块的滑动操作,则将所述滑动条中滑块的位置对应的权重确定为所述矫正LUT权重;
将1减去所述矫正LUT权重,得到所述全局LUT权重。
10.如权利要求8所述的方法,其特征在于,所述获取全局LUT权重和矫正LUT权重,包括:
从全局LUT与全局LUT权重之间的对应关系中,获取所述全局LUT对应的全局LUT权重;
将1减去所述全局LUT权重,得到所述矫正LUT权重。
11.如权利要求1至6任一所述的方法,其特征在于,所述使用全局颜色查找表LUT和第一矫正LUT处理所述一帧视频图像,得到处理后的视频图像,包括:
使用所述全局LUT对所述一帧视频图像整体进行处理,得到第一图像;
使用所述第一矫正LUT对所述第一图像中所述预设目标所在区域进行处理,得到处理后的视频图像。
12.如权利要求1至11任一所述的方法,其特征在于,所述获取视频中的多帧视频图像之前,还包括:
若检测到对电影模式的选择操作,则显示所述电影模式下的相机预览界面,所述相机预览界面包括LUT控件,所述LUT控件用于启动LUT功能;
若检测到对所述LUT控件的选择操作,则在所述相机预览界面显示LUT栏,所述LUT栏包括多个LUT图标;
若检测到对所述多个LUT图标中的一个LUT图标的选择操作,则获取所述一个LUT图标对应的LUT作为所述全局LUT。
13.如权利要求1至11任一所述的方法,其特征在于,所述获取视频中的多帧视频图像,包括:
在摄像头的拍摄过程中,获取所述摄像头正在拍摄的所述视频中的多帧视频图像;或者,
在摄像头的拍摄结束后,获取所述摄像头拍摄得到的所述视频中的多帧视频图像。
14.一种视频处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取视频中的多帧视频图像;
第二获取模块,用于对于所述多帧视频图像中任意的一帧视频图像,在所述一帧视频图像中存在预设目标的情况下,获取所述一帧视频图像的色温;
处理模块,用于若所述一帧视频图像的色温为第一色温,则使用全局颜色查找表LUT和第一矫正LUT处理所述一帧视频图像,得到处理后的视频图像;若所述一帧视频图像的色温为第二色温,则使用所述全局LUT和第二矫正LUT处理所述一帧视频图像,得到处理后的视频图像;其中,所述全局LUT用于对视频图像整体进行处理,所述第一矫正LUT和所述第二矫正LUT均用于对视频图像中所述预设目标所在区域进行颜色矫正,所述第一色温与所述第二色温不同,所述第一矫正LUT与所述第二矫正LUT不同。
15.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-13任意一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-13任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210609643.0A CN117221742A (zh) | 2022-05-31 | 2022-05-31 | 视频处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210609643.0A CN117221742A (zh) | 2022-05-31 | 2022-05-31 | 视频处理方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117221742A true CN117221742A (zh) | 2023-12-12 |
Family
ID=89039456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210609643.0A Pending CN117221742A (zh) | 2022-05-31 | 2022-05-31 | 视频处理方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117221742A (zh) |
-
2022
- 2022-05-31 CN CN202210609643.0A patent/CN117221742A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11816775B2 (en) | Image rendering method and apparatus, and electronic device | |
CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN110706310B (zh) | 一种图文融合方法、装置及电子设备 | |
CN112262563B (zh) | 图像处理方法及电子设备 | |
CN111327814A (zh) | 一种图像处理的方法及电子设备 | |
US11949978B2 (en) | Image content removal method and related apparatus | |
US20230217098A1 (en) | Shooting method, graphical interface, and related apparatus | |
WO2021036991A1 (zh) | 高动态范围视频生成方法及装置 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN113810604B (zh) | 文档拍摄方法、电子设备和存储介质 | |
EP4318383A1 (en) | Video processing method and apparatus | |
CN114640783B (zh) | 一种拍照方法及相关设备 | |
US11521305B2 (en) | Image processing method and device, mobile terminal, and storage medium | |
CN115379208B (zh) | 一种摄像头的测评方法及设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN115550556B (zh) | 一种曝光强度调节方法及相关装置 | |
CN114845157B (zh) | 一种视频处理方法及电子设备 | |
CN117221742A (zh) | 视频处理方法、装置、设备和存储介质 | |
CN117119316B (zh) | 图像处理方法、电子设备及可读存储介质 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN116668773B (zh) | 增强视频画质的方法与电子设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN114245011B (zh) | 图像处理方法、用户界面及电子设备 | |
CN114630153B (zh) | 用于应用处理器的参数传输方法、装置及存储介质 | |
US20240046504A1 (en) | Image processing method and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |