CN117061882A - 视频图像处理方法、装置、设备、存储介质及程序产品 - Google Patents
视频图像处理方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN117061882A CN117061882A CN202311165293.4A CN202311165293A CN117061882A CN 117061882 A CN117061882 A CN 117061882A CN 202311165293 A CN202311165293 A CN 202311165293A CN 117061882 A CN117061882 A CN 117061882A
- Authority
- CN
- China
- Prior art keywords
- image
- image frame
- pixel
- parameter
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims description 45
- 241000282414 Homo sapiens Species 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 16
- 210000000746 body region Anatomy 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 21
- 230000003190 augmentative effect Effects 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 239000012634 fragment Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000033830 Hot Flashes Diseases 0.000 description 1
- 206010060800 Hot flush Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种视频图像处理方法、装置、设备、存储介质及程序产品,涉及增强现实应用技术领域。该方法包括:响应于接收到播放视频素材的指令,按照视频素材中的各个图像帧的播放时序,从视频素材中提取第一图像帧;获取实时采集的第二图像帧;基于目标图像参数,对第一图像帧进行参数调整,目标图像参数是与第二图像帧相对应的图像参数;将参数调整后的第一图像帧与第二图像帧叠加显示。该方案通过对视频素材的图像帧参数调整,保证了视频素材与其它图像叠加后的画面真实性,提高了叠加后画面的显示效果。
Description
技术领域
本申请实施例涉及增强现实应用技术领域,特别涉及一种视频图像处理方法、装置、设备、存储介质及程序产品。
背景技术
在增强现实技术的应用中,线下AR合影以AR特有的超强互动性,可适用范围以及简单操作成为热潮,AR趣味拍照合影模板,可自主编辑AR拍照画框,进行合影互动。
在现有的技术中,AR合影主要通过视频素材和用户照片进行合成,还有视频的叠加成为一个完整的视频。
然而,由于AR合影视频模板较为固定,拍照场景过多,AR合影视频模板无法灵活适应现场画面环境,会出现渲染后的画面不真实的问题。
发明内容
本申请实施例提供了一种视频图像处理方法、装置、设备、存储介质及程序产品,能够提高视频素材与实时采集的图像叠加显示的效果。所述技术方案如下:
一个方面,提供了一种视频图像处理方法,所述方法包括:
响应于接收到播放视频素材的指令,按照所述视频素材中的各个图像帧的播放时序,从所述视频素材中提取第一图像帧;
获取实时采集的第二图像帧;
基于目标图像参数,对所述第一图像帧进行参数调整,所述目标图像参数是与所述第二图像帧相对应的图像参数;
将参数调整后的所述第一图像帧与所述第二图像帧叠加显示。
另一方面,提供了一种视频图像处理装置,所述装置包括:
图像帧提取模块,用于响应于接收到播放视频素材的指令,按照所述视频素材中的各个图像帧的播放时序,从所述视频素材中提取第一图像帧;
图像帧获取模块,用于获取实时采集的第二图像帧;
参数调整模块,用于基于目标图像参数,对所述第一图像帧进行参数调整,所述目标图像参数是与所述第二图像帧相对应的图像参数;
显示模块,用于将参数调整后的所述第一图像帧与所述第二图像帧叠加显示。
在一些实施例中,所述图像参数包括以下参数中的至少一种:
亮度、对比度、饱和度。
所述图像帧获取模块,用于,
获取图像采集组件采集所述第二图像帧时设置的图像参数,作为所述目标图像参数。
在一些实施例中,所述图像帧获取模块,用于,
获取所述第二图像帧中的各个像素的像素值;
基于所述第二图像帧中的各个像素的像素值,获取所述目标图像参数。
在一些实施例中,所述图像帧获取模块,用于,
将所述第二图像帧平均划分为N个图像区域,N为大于或者等于2的整数;
取所述N个图像区域中每个图像区域的中心像素的像素值,作为所述第二图像帧中的各个像素的像素值。
在一些实施例中,所述图像帧获取模块,用于,
识别所述第二图像帧中的人体所在的人体区域;
将所述人体区域中的像素的像素值,获取为所述第二图像帧中的各个像素的像素值。
在一些实施例中,所述图像帧获取模块,用于,
在所述人体区域中随机采样M个像素,M为大于或者等于2的整数;
取所述M个像素的像素值,作为所述第二图像帧中的各个像素的像素值。
所述图像帧提取模块,用于,
获取透明化目标颜色值;
对所述第一图像帧中与所述透明化目标颜色值相匹配的区域进行透明化处理;
所述基于目标图像参数,对所述第一图像帧进行参数调整,包括:
基于所述目标图像参数对透明化处理后的所述第一图像帧进行参数调整。
在一些实施例中,所述图像帧提取模块,用于,
从所述视频素材的属性信息中读取所述透明化目标颜色值。
所述参数调整模块,用于,
对于所述第一图像帧中的第一像素,获取所述第一像素的颜色值的色度向量;所述第一像素是所述第一图像帧中的任意一个像素;
获取所述第一像素的颜色值的色度向量,与所述透明化目标颜色值的色度向量之间的差异值;
响应于所述差异值小于差异值阈值,对所述第一像素进行透明化处理。
所述显示模块,用于,
响应于接收到截屏操作,对参数调整后的所述第一图像帧与所述第二图像帧叠加显示的图像进行截屏,获得截屏图像。
又一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现上述视频图像处理方法。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述视频图像处理方法。
还一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述各种可选实现方式中提供的视频图像处理方法。
本申请实施例提供的技术方案可以包括如下有益效果:
计算机设备基于与第二图像帧相对应的目标图像参数,对第一图像帧进行参数调整,再将参数调整后的第一图像帧与第二图像帧叠加显示,使得两图像帧之间参数趋于一致后再进行叠加显示,使得两个图像帧中的图像元素的图像参数相匹配,保证叠加后的画面的真实性,提高叠加后的画面的显示效果。
附图说明
图1是本申请一个示例性实施例提供的实施环境的示意图;
图2是本申请一个实施例提供的视频图像处理方法的流程图;
图3是本申请实施例涉及的AR合影的界面图;
图4是本申请一个实施例提供的视频图像处理方法的流程图;
图5是本申请一个实施例提供的视频图像处理方法的流程图;
图6是本申请一个实施例提供的视频图像处理方法的流程图;
图7是本申请实施例涉及的一种视频渲染整体流程图;
图8是本申请实施例涉及的透明化处理的流程图;
图9是本申请实施例涉及的图像参数调整处理的流程图;
图10是本申请一个实施例提供的视频图像处理装置的框图;
图11是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
1)图像帧:组成视频的最小单位。
就是影像动画中最小单位的单幅影像画面,相当于电影胶片上的每一格镜头。一帧就是一副静止的画面,连续的帧就形成动画,如电视图像等。
2)增强现实技术:增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,通过将虚拟世界的数字信息与现实世界进行融合,使用户能够在现实世界中感知和与虚拟世界互动的技术,AR技术利用计算机生成的模拟信息与真实世界进行混合叠加,创造出新的虚拟图像,可以广泛应用于多媒体、智能交互、传感等领域,为用户提供更加丰富、直观、立体的体验。
AR技术可以将虚拟信息与真实世界融合,广泛运用了多媒体、三维建模、实时检测及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
增强现实技术也被称为扩增现实,AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在。
增强现实技术不仅能够有效体现出真实世界的内容,也能够促使虚拟的信息内容显示出来,这些细腻内容相互补充和叠加。在视觉化的增强现实中,用户需要在终端的基础上,促使真实世界能够和电脑图形之间重合在一起,在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段,增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。
图1示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境可以包括:终端110;可选的,该实施环境还可以包括服务器120。
在一些实施例中,上述终端110可以自行在显示屏中显示图像;或者,终端110可以与服务器120进行数据交互以在终端110的显示屏中显示图像。比如,终端110中可以安装应用程序,该应用程序可以是AR类应用程序(比如AR合影)等等。
具体来说,终端110可以安装和运行有应用程序111,该应用程序111可以单独在终端110的显示屏中显示视频,或者,也可以与服务器120进行数据交互以在终端110的显示屏中显示视频;同时,该应用程序111在显示视频时,将视频与图像采集组件实时采集的图像帧叠加显示,以实现AR效果,该应用程序111可以是AR类应用程序(比如AR合影)等等。
其中,上述图像采集组件可以是终端110内置的图像采集组件,比如终端110内置的摄像头;或者,上述图像采集组件也可以是独立于终端110设置的图像采集组件,比如,独立于终端110设置的摄像机,该摄像机与终端110通过有线或者无线的方式相连,以便将摄像机采集的图像帧实时的发送给终端110。
其中,上述涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
图1中仅示出了一个终端,但在不同实施例中存在多个其它终端可以接入终端110或者服务器120。可选地,还存在一个或多个终端是开发者对应的终端,在该终端上安装有开发上述应用程序111的开发平台。
终端110以及其它终端可以通过无线网络或有线网络与服务器120相连。
服务器120包括一台服务器、多台服务器组成的服务器集群、云计算平台和虚拟化中心中的至少一种。服务器120可以为终端中运行的应用程序111提供后台支持。可选地,服务器120承担主要计算工作,终端110承担次要计算工作;或者,服务器120承担次要计算工作,终端110承担主要计算工作;或者,服务器120,与终端110之间采用分布式计算架构进行协同计算。
在一个示意性的例子中,服务器120包括存储器121、处理器122、用户账号数据库123、应用服务模块124、面向用户的输入/输出接口(Input/Output Interface,I/O接口)125。其中,处理器122用于加载服务器120中存储的指令,处理用户账号数据库123和应用服务模块124中的数据;用户账号数据库123用于存储终端110以及其它终端所使用的用户账号的数据,比如用户账号的头像、用户账号的名称、用户账号的等级;应用服务模块124用于提供应用程序的后台支持服务等等;面向用户的I/O接口125用于通过无线网络或有线网络和终端110建立通信交换数据。
请参考图2,其示出了本申请一个实施例提供的视频图像处理方法的流程图。为了便于说明,仅以各步骤执行主体为计算机设备进行介绍说明。上述计算机设备可以为终端或者服务器;上述终端可以是上述图1所示的终端110,上述服务器可以是上述图1所示的服务器120;该方法可以包括如下几个步骤。
步骤210:响应于接收到播放视频素材的指令,按照视频素材中的各个图像帧的播放时序,从视频素材中提取第一图像帧。
其中,上述视频素材,可以是用于叠加在图像采集组件实时采集的图像帧上进行显示的视频文件。
上述视频素材,可以由素材提供者预先提供给计算机设备中的应用程序使用,或者,上述视频素材,也可以是计算机设备通过图像采集组件执行采集的视频文件。
在本申请实施例中,计算机设备可以展示应用程序界面,该应用程序界面中可以包含视频素材的选择选项,用户可以通过该视频素材的选择选项,选择应用程序提供的视频素材(比如预先或者实时从服务器下载的视频素材),或者,选择计算机设备中保存的视频素材(比如预先通过图像采集组件采集的视频素材)。
用户选择好视频素材后,即可以认为接收到播放视频素材的指令,或者,在用户选择好视频素材后,计算机设备可以在应用程序的界面中显示一个播放按钮,用户触发该播放按钮后,即可以认为接收到播放视频素材的指令。
在接收到播放视频素材的指令后,计算机设备可以按照视频素材中的各个图像帧的播放时序,依次提取视频素材中的各个图像帧,其中,当前提取到的图像帧可以认为是上述第一图像帧。
其中,上述播放时序,是指图像帧的播放时间的先后顺序。
步骤220:获取实时采集的第二图像帧。
在本申请实施例中,计算机设备可以实时获取图像采集组件采集到的图像帧,即上述第二图像帧。
比如,当计算机设备是内置有图像采集组件的移动终端(比如手机或平板电脑)时,移动终端可以通过图像采集组件实时采集第二图像帧。
例如,应用程序可以调用移动终端的图像采集组件启动拍摄,此时,用户可以控制移动终端的图像采集组件指向指定的人体或者环境,图像采集组件即可以采集该人体或者环境的图像帧。
再比如,当计算机设备是固定设置的AR合影设备时,该AR合影设备内置或者外接的摄像头可以实时采集第二图像帧。
例如,AR合影设备的摄像头可以指向固定的位置,用户在使用该AR合影设备时,可以站到该固定的位置处,并操作该AR合影设备中的应用程序调用该摄像头启动拍摄,此时,该摄像头即可以实时采集得到用户的图像,即上述第二图像帧。
步骤230:基于目标图像参数,对第一图像帧进行参数调整,目标图像参数是与第二图像帧相对应的图像参数。
其中,上述基于目标图像参数,对第一图像帧进行参数调整,可以是指将第一图像帧的图像参数,调整为上述目标图像参数。
或者,上述基于目标图像参数,对第一图像帧进行参数调整,也开始是指将第一图像帧的图像参数,调整至目标图像参数与第一图像帧原始的图像参数之间,比如,将第一图像帧的图像参数,调整为目标图像参数与第一图像帧原始的图像参数的平均值或者加权平均值。
步骤240:将参数调整后的第一图像帧与第二图像帧叠加显示。
在本申请实施例中,将参数调整后的第一图像帧与第二图像帧叠加显示,可以是指将参数调整后的第一图像帧叠加在第二图像帧之上进行显示。
比如,第一图像帧中的部分区域可以设置为透明,也就是将第一图像帧叠加在第二图像帧之上,这部分区域下的第二图像帧的图像元素也会被显示在屏幕上,从而展现出该第二图像帧中显示出的图像元素,与第一图像帧中非透明区域的图像元素出现在同一个场景的效果。
再比如,如果第一图像帧中的所有区域都是非透明的,则在将叠加显示之前,计算机设备可以对第一图像帧中,除了要显示的图像元素之外的其它区域做透明化处理,后续叠加显示时,即可以展现出该第二图像帧中显示出的图像元素,与第一图像帧中非透明区域的图像元素出现在同一个场景的效果。
在本申请实施例中,由于第一图像帧是预先准备好的视频素材中的图像帧,而第二图像帧是实时采集的图像帧,视频素材采集的采集位置,光照条件等情况与图像采集设备当前的采集位置,光照条件等情况可能存在较大的差别,相应的,第一图像帧和第二图像帧的图像参数也会存在不同,如果直接将第一图像帧和第二图像帧进行叠加,则会出现两个图像帧中的图像元素的图像参数不一致的情况,导致叠加显示后的画面中,两个图像帧中的图像元素的显示效果差异较大,影响叠加后的画面的真实性,导致叠加后的画面的显示效果较差。而通过本申请实施例所示的方案,在将第一图像帧与第二图像帧叠加之前,可以先通过第二图像帧对应的目标图像参数,对第一图像帧的图像参数进行调整,然后再与第二图像帧叠加显示,从而使得两个图像帧中的图像元素的图像参数相匹配,保证叠加后的画面的真实性,提高叠加后的画面的显示效果。
在一些实施例中,上述图像参数包括以下参数中的至少一种:
亮度、对比度、饱和度。
图像中的像素的亮度,可以体现图像中,照射在景物上的光线的明暗程度。图像的亮度增加,会显得图像中的元素耀眼或者刺眼,亮度降低,则会导致图像中的元素显得灰暗。
图像中的像素的对比度,可以体现一幅图像中的明暗区域最亮和最暗的颜色值之间的亮度层级的差异,差异越大表示对比度越大,差异越小表示对比度越小,也就是所谓的黑白分明,图像的对比度越大,图像就会显示越刺眼,图像的对比度越小,图像中不同颜色之间的反差就越小。
图像中的像素的饱和度,可以体现图像中的像素的色彩的鲜艳程度,也称为色彩的纯度,饱和度取决于像素的色彩中含色成分和消色成分(灰色)的比例,含色成分越大,饱和度越大,消色分成越大,饱和度越小。纯的颜色通常是高饱和的,比如鲜红,鲜绿等。混杂上白色,灰色或者其它色调的颜色,通常是不饱和的颜色,比如绛紫,粉色,黄褐等等。而完全不饱和的颜色通常没有色调,比如黑白之间的各种灰色。饱和度调节时,通常会导致色彩发生变化,饱和度调节越大,图像颜色就越失真。
在本申请实施例中,通过调整第一图像帧的亮度、对比度、饱和度中的至少一种,使得调整后的第一图像帧与第二图像帧的显示效果相接近,从而使得第一图像帧和第二图像帧叠加后,两个图像帧中的图像元素的视觉效果接近于同一图像帧中的图像元素,从而提高图像叠加后的显示效果。
在一些实施例中,响应于接收到截屏操作,对参数调整后的第一图像帧与第二图像帧叠加显示的图像进行截屏,获得截屏图像。
在本申请实施例中,计算机设备在将视频素材中经过参数调整的图像帧与实时采集的图像帧叠加显示的过程中,用户可以执行截屏操作,此时,计算机设备可以对当前显示的叠加后的图像进行截屏,从而得到同时包含第一图像帧中的图像元素,以及第二图像帧中的图像元素的截屏图像。
本申请上述实施例所示的方案,可以应用于AR合影的场景,比如,请参考图3,其示出了本申请实施例涉及的AR合影的界面图,如图3所示,用户打开终端AR合影应用软件界面,终端显示用户需要合影的视频素材,以轮播的形式展示不同视频素材,当终端界面开始显示视频素材时候,此时的第一图像帧即为显示屏正在显示的视频素材,终端设备图像采集组件采集到的画面即为第二图像帧,之后,终端获取第二图像帧对应的目标图像参数,参数包括亮度参数、对比度参数、饱和参数,然后调整第一图像帧中的图像参数,使得第一图像帧与第二图像帧具有相近的显示效果。之后,用户点击拍摄按钮,触发截屏操作,终端开始倒计时,倒计时结束后进行截屏,得到截屏图像,如果用户点击重拍,则返回显示拍摄按钮,如果用户点击获取照片,则进入照片下载的界面。
综上所述,本申请实施例所示的方案,计算机设备接收到播放视频素材的指令后,从视频素材中提取第一图像帧,并获取实时采集的第二图像帧,然后基于与第二图像帧相对应的目标图像参数,对第一图像帧进行参数调整,再将参数调整后的第一图像帧与第二图像帧叠加显示,使得两图像帧之间参数趋于一致后再进行叠加显示,从而使得两个图像帧中的图像元素的图像参数相匹配,保证叠加后的画面的真实性,提高叠加后的画面的显示效果。
基于上述图2所示的实施例所涉及的方案,终端基于目标图像参数,对所述第一图像帧进行参数调整之前的过程可以参考图4。其中,图4示出了本申请一个实施例提供的视频图像处理方法的流程图。在图2所示的实施例的基础上,在图4所示的实施例中,上述步骤230之前还有步骤221:
步骤221:获取图像采集组件采集第二图像帧时设置的图像参数,作为目标图像参数。
在本申请实施例中,如果计算机设备中运行的应用程序具有获取图像采集组件设置的图像参数的权限或者能力,则该应用程序可以直接将图像采集组件采集第二图像帧时设置的图像参数,作为目标图像参数。
可选的,上述图像采集组件通常由图像采集卡组成,用于连接照明、镜头、高速相机和图像处理器等部分。
比如,应用程序可以调用操作系统提供的,用于获取图像采集组件采集第二图像帧时设置的图像参数的接口,获取图像采集组件采集第二图像帧时设置的图像参数。
或者,图像采集组件输出第二图像帧时,可以将图像采集组件采集第二图像帧时设置的图像参数添加到第二图像帧的属性信息中,应用程序在获取并显示第二图像帧时,可以从第二图像帧的属性信息中提取图像采集组件采集第二图像帧时设置的图像参数,作为上述目标图像参数。
在上述实施例中,可以直接将图像采集组件采集第二图像帧时设置的图像参数,获取为目标图像参数,该过程的实现逻辑较为简单,能够保证获取目标图像参数的效率,进而保证尽快对第一图像帧进行图像参数的调整,包含图像参数调整的效率。
基于上述图2所示的实施例所涉及的方案,终端基于目标图像参数,对所述第一图像帧进行参数调整之前的过程可以参考图5。其中,图5示出了本申请一个实施例提供的视频图像处理方法的流程图。在图2所示的实施例的基础上,在图5所示的实施例中,上述步骤230之前还有步骤222和步骤223:
步骤222:获取第二图像帧中的各个像素的像素值。
计算机设备实现获取图像帧中各个像素的像素值的操作步骤,具体取决于计算机设备使用的编程语言和图像处理库。常见的编程语言有Python、C++和MATLAB,图像处理库有OpenCV和PIL。因为不同的编程语言和图像处理库有不同的实现方式和接口。不同的编程语言和图像处理库可能使用不同的数据结构来存储图像数据,并提供不同的方法来获取像素值。一些编程语言和图像处理库可能提供了直接访问像素值的函数或方法,而另一些可能需要通过特定的语法或函数来获取像素值。
在一些实施例中,计算机设备可以使用Python语言对应的OpenCV库通过像素遍历的方法,获取第二图像帧中各个像素的像素值,比如,首先使用cv2.imread函数读取图像,然后使用image.shape获取图像的维度信息,接下来可以使用两层嵌套的for循环遍历图像的每个像素,通过image[row,col]来访问每个像素的值。
在另一些实施例中,计算机设备还可以使用Python语言对应的PIL库中的getdata()方法,获取第二图像帧中各个像素的像素值,首先使用PIL库的Image.open()方法打开图像文件,并将其赋值给变量im,然后使用im.getdata()方法获取图像帧中各个像素的像素值,并将结果赋值给一个变量,比如pixels,最后通过遍历pixels来获取每个像素的像素值,每个像素的像素值是一个元组,包含了对应通道(例如RGB)的值,每个通道的值可以被通过索引来访问。
对于其他编程语言,可以根据所使用的图像处理库提供的函数来获取图像帧中各个像素的像素值,常见的图像处理库包括Java中的JavaCV库、C++中的OpenCV库等。
在本申请实施例中,上述第二图像帧可以是RGB格式的图像,计算机设备可以获取第二图像帧中各个像素的RGB颜色值。
在RGB色彩空间中,存在三个通道,即R通道,G通道和B通道,分别指代红色通道,绿色通道和蓝色通道,都在区间[0,255]内取值,计算机设备利用三个色彩通道的不同组合来表示不同的颜色。
计算机设备可以使用Python的图像处理库来获取图像帧中各个像素的RGB颜色值。先使用OpenCV库的imread函数读取图像帧,将其存储为一个多维数组,然后使用numpy库的split函数,将多维数组拆分为三个单通道数组,分别对应红色、绿色和蓝色通道,最后可以使用循环遍历每个像素,通过访问红、绿、蓝通道的值来获取RGB颜色值。
步骤223:基于第二图像帧中的各个像素的像素值,获取目标图像参数。
在本申请实施例中,上述所需获取的目标图像参数包括亮度、对比度和饱和度三个部分。
比如,计算机设备可以取上述第二图像帧中的各个像素的像素值的平均值,根据该平均值来获取目标图像参数。
上述亮度参数地获取可以由计算机设备通过RGB到UV地转换实现,RGB到UV的转换可以通过RGB到YUV再到UV的两步转换来实现,首先计算机设备将各个像素的像素值的平均值由RGB转换为YUV,其中Y表示亮度,U和V表示色度,然后从YUV中提取出亮度信息。
RGB到YUV的转换可以通过以下公式实现:
Y=0.299R+0.587G+0.114B
U=-0.147R-0.289G+0.436B
V=0.615R-0.515G-0.100B
在上述公式中,通过先对RGB参数乘相应的权重再进行加减计算获得YUV具体参数值,其中R、G、B分别表示RGB三个分量的值,Y、U、V分别表示对应的YUV三个分量的值,这些系数是根据国际电联制定的标准进行计算的。
需要注意的是,以上公式是基于RGB和YUV的标准范围[0,255]进行计算的。在实际应用中,需要根据具体的需求进行范围映射和取整操作。获取上述对比度参数,计算机设备可以先通过以下公式将上述第二图像帧中的各个像素进行灰度化设置:灰度值=0.299*红色分量+0.587*绿色分量+0.114*蓝色分量,然后遍历上述第二图像帧中的各个像素的像素值,再使用差分算子计算上述遍历后每个像素与相邻像素之间的差异程度,如Sobel算子,最后将各个像素之间的差异程度累加,得到对比度度量。
获取上述饱和度参数,计算机设备可以先将上述第二图像帧中的各个像素的RGB值转换为HSV值,比如可以使用OpenCV库来进行颜色空间转换,然后遍历上述部分像素,再提取其HSV分量的值,最后使用以下公式来计算饱和度:饱和度=(最大值-最小值)/最大值,其中,最大值是H、S、V分量中的最大值,最小值是H、S、V分量中的最小值。
其中,由于图像参数影响图像帧中的各个像素的显示颜色,因此,通过第二图像帧中的各个像素的像素值,可以计算出该第二图像帧对应的目标图像参数,从而不需要应用程序具有获取图像采集组件采集第二图像帧时设置的图像参数的能力,即可以确定出与第二图像帧相对应的目标图像参数的,从而扩展一种获取目标图像参数的方案,保证叠加后的第一图像帧和第二图像帧中的图像元素的显示效果的一致。
在一些实施例中,将第二图像帧平均划分为N个图像区域,N为大于或者等于2的整数;
取N个图像区域中每个图像区域的中心像素的像素值,作为第二图像帧中的各个像素的像素值。
比如,1200广域网像素拍的4:3照片分辨率是4000*3000,那么可以把该图像平均分成8个区域,每个区域分辨率为1000*1500。
计算机设备获取每个图像区域的中心像素的像素值,首先计算出图像的中心位置,接下来根据中心位置的行坐标和列坐标,计算出中心像素在内存中的偏移地址,通过该偏移地址公式,可以计算出中心像素相对于图像数据起始地址的偏移量,将图像数据起始地址加上偏移量,得到中心像素的内存地址,最后根据数据类型对内存地址进行相应的取值操作(如解引指针)得到像素的实际值。
具体来说,假设图像的宽度为w,高度为h,数据类型为type,图像数据存储在imagedata中,可以使用以下公式来计算中心像素的像素值:
中心行坐标:center_y=h/2,中心列坐标:center_x=w/2,中心像素的偏移地址:address=center_y*widthStep+center_x*sizeof(type),中心像素的实际像素值:type*pixel_value=reinterpret_cast<type*>(imagedata+address);type value=*pixel_value。
widthStep*center_y表示从图像数据起始地址到中心像素所在行的偏移量,center_x*sizeof(type)表示从图像数据起始地址到中心像素所在列的偏移量,将这两个偏移量相加,即可得到中心像素的内存地址,pixel_value是将偏移地址转换为type*类型的指针,接下来使用解引用操作符*获取指针所指向的值,即中心像素的实际值,赋值给value变量,最后求得中心像素的实际像素值。
计算机设备得到各区域的中心像素的像素值后,将各区域的中心像素的像素值相加,再除以各区域的中心像素数量相加起来的总数,得到平均值,将获取到的图像区域中心像素的像素值,求取平均值作为第二图像帧中的各个像素的像素值。
在一些实施例中,计算机设备也可以使用随机区域的方式进行抽取像素值,首先将图像划分为多个区域,可以根据需要抽取的像素值的分布情况进行划分,然后使用随机数生成器生成随机的区域索引,从而确定需要抽取的区域,最后在选定的区域内进行像素值的抽取,比如,将选定的区域内的所有像素值,作为第二图像帧中的各个像素的像素值。
在本申请实施例中,由于第二图像帧中包含的像素的数量很多,如果对第二图像帧中所有像素都进行处理以确定目标图像参数,则会导致处理过程消耗的时间过长,影响目标图像参数确定的即时性,造成叠加显示的图像帧的延迟,影响显示效果,对此,本申请实施例中在基于第二图像帧中的各个像素的像素值,获取目标图像参数时,取第二图像帧中的N个图像区域的中心像素的像素值来计算目标图像参数,从而降低处理的像素值的个数,保证目标图像参数确定的即时性,避免叠加显示的图像帧的延迟。
在一些实施例中,计算机设备识别第二图像帧中的人体所在的人体区域;
将人体区域中的像素的像素值,获取为第二图像帧中的各个像素的像素值。
在一些实施例中,计算机设备可以通过时空图像分割和目标交互区域检测的方法识别出人体区域,该方法在视频流中检测出人体轮廓,并将其进行时空图像分割形成关键段区域,然后扩展分段使其包含更多的相关信息,从而实现人体区域的识别。
在一些实施例中,计算机设备可以通过视频的人体行为识别方法识别出人体区域,该方法采用AMBER方法检测视频中的运动目标,并粗定位行为感兴趣区域,然后提取行为感兴趣区域各像素点的光流,构建归一化的光流方向直方图,通过比较直方图的差异来实现人体区域的识别。
计算机设备完成人体区域的识别后,据头、躯干、手和足划分区域,使用随机数生成器生成随机的坐标,从不同区域中得到抽取的像素值,再由不同的像素值计算求取平均值作为第二图像帧中的各个像素的像素值。
在本申请实施例中,由于在将第一图像帧和第二图像帧进行叠加时,通常是将第一图像帧中的图像元素,与第二图像帧中的人体进行合并显示,以营造出AR合影的效果,在这种情况下,按照本申请实施例所示的方案,计算机设备在确定目标图像参数时,可以识别第二图像帧中的人体所在的人体区域,比如,通过机器学习模型来识别第二图像帧中的人体所在的人体区域,然后通过人体区域中的像素的像素值,计算目标图像参数,从而使得目标图像参数与第二图像帧中的人体区域的图像参数相匹配,后续对第一图像帧进行处理时,可以使得第一图像帧中的图像元素的显示效果与第二图像帧中的人体的显示效果接近,从而进一步提高AR合影场景的显示效果。
在一些实施例中,计算机设备可以在人体区域中随机采样M个像素,M为大于或者等于2的整数;取M个像素的像素值,作为第二图像帧中的各个像素的像素值。
同样的,由于人体区域中包含的像素的个数还是较多,如果对第二图像帧中人体区域的所有像素都进行处理以确定目标图像参数,则会导致处理过程消耗的时间过长,影响目标图像参数确定的即时性,造成叠加显示的图像帧的延迟,影响显示效果,对此,本申请实施例中,在基于第二图像帧中人体区域的各个像素的像素值,获取目标图像参数时,随机抽取人体区域中的M个图像区域的中心像素的像素值来计算目标图像参数,从而在保证AR合影场景的显示效果的情况下,降低处理的像素值的个数,保证目标图像参数确定的即时性,避免叠加显示的图像帧的延迟。
基于上述图2、图4或图5所示的实施例所涉及的方案,所述基于目标图像参数,对第一图像帧进行参数调整之前过程可以参考图6。其中,图6示出了本申请一个实施例提供的视频图像处理方法的流程图。在图2所示的实施例的基础上,在图6所示的实施例中,上述步骤240之前可以有步骤224和步骤225,步骤230可以实现为步骤230a:
步骤224:获取透明化目标颜色值。
在一些实施例中,计算机设备可以获取预先设置的透明化目标颜色值,比如,各个视频素材中,需要透明化的颜色值都为统一的,比如,各个视频素材都是绿幕背景的视频,此时,应用程序中可以预先设置上述透明化目标颜色值为(0,255,0)。
在另一些实施例中,计算机设备可以从视频素材的属性信息中读取透明化目标颜色值。
比如,各个视频素材需要透明化的颜色值可以不统一,比如,有些视频素材的背景可以是绿幕,有些视频素材的背景可以是白色背景,此时,各个视频素材的属性信息中可以设置有对应的透明化目标颜色值,计算机设备在确定播放某个视频素材时,可以从该视频素材的属性信息中读取对应的透明化目标颜色值,从而能够兼容背景颜色不同的视频素材。
步骤225:对第一图像帧中与透明化目标颜色值相匹配的区域进行透明化处理。
其中,在得到透明化目标颜色值后,计算机设备即可以对第一图像帧中各个像素的颜色值,与透明化目标颜色值进行比对,如果两者一致或者接近,则将对应的像素设置为透明,后续叠加显示时,该像素下方位于第二图像帧中的像素值将会被显示在屏幕上。
可选的,上述步骤224可以包括S224a、S224b和S224c:
S224a:对于第一图像帧中的第一像素,获取第一像素的颜色值的色度向量;第一像素是第一图像帧中的任意一个像素。
在一些实施例中,计算机设备可以使用RGB颜色模型获取颜色值的色度向量。
在RGB颜色模型中,色度向量是由红色分量、绿色分量和蓝色分量的颜色值组成的。通过将每个颜色分量的值除以255,可以将其标准化为0到1之间的范围。这样,可以使用三个标准化的值来表示色度向量。
在另一些实施例中,计算机设备可以使用HIS颜色模型来获取颜色值的色度向量。
在HIS颜色模型中,色度向量是由色调、饱和度和高度的值组成的,色调表示颜色的类型,取值范围通常是0到360度,饱和度表示颜色的纯度或浓度,取值范围通常是0到1之间,亮度表示颜色的亮度级别,取值范围通常是0到1之间,通过将色调值除以360,将饱和度和亮度值标准化到0到1之间范围,可以得到色度向量。
S224b:获取第一像素的颜色值的色度向量,与透明化目标颜色值的色度向量之间的差异值。
在一些实施例中,上述差异值可以是距离形式,比如欧式距离,欧式距离是计算两个向量之间的距离的常用方法,对于两个n维向量v和w,欧式距离可以通过一下公式计算得到:
其中,v1,v2,...,vn表示向量v的各个分量,w1,w2,...,wn表示向量w的各个分量。
计算机设备通过先计算各个分量的差值平方,然后求和,最后取平方根,即可得到欧式距离。
在一些实施例中,上述差异值可以是夹角形式,比如余弦相似度,余弦相似度是指两个向量夹角的余弦,可以通过下列公式计算得到:
其中,D(x,y)表示向量x和向量y的余弦相似度,θ表示x和y之间的夹角,x·y表示x和y的内积,||x||和||y||分别表示向量x和y的范数(或长度)。通过计算向量之间的内积和范数的乘积,再进行归一化,可以得到它们之间的相似度值,即余弦相似度。
S224c:响应于差异值小于差异值阈值,对第一像素进行透明化处理。
GPU(Graphics Processing Unit,图形处理器)片元着色器程序输出的像素颜色值即为最终渲染在屏幕上的结果。一个像素的Alpha通道值的范围是0到255,可以提供256个级别的透明度,其中0表示完全透明,255表示完全不透明,而在这个范围内的其他值表示不同程度的半透明。
计算机设备通过上述差异值域值与差异值之间的大小比较,可以判断第一像素的颜色值与透明化目标颜色值是否接近,差异值越小于差异值域值代表两个颜色越接近,需要对第一像素颜色值进行透明化处理,当上述差异值小于或者等于差异值域值时,将第一像素的Alpha通道值设置为0,实现透明化处理。当差异值大于差异值域值时,代表第一像素颜色值不接近需要进行透明处理的颜色值,因此无需对第一像素颜色值进行透明化处理。
步骤230a:基于目标图像参数对透明化处理后的第一图像帧进行参数调整。
计算机设备对基于目标图像参数透明化后的第一图像帧的亮度、对比度和饱和度进行调整。
在一些实施例中,计算机设备可以通过线性运算来完成亮度调整,通过将每个像素点的将每个像素点的亮度值乘以或加上一个增强系数,从而使整个图像变亮或变暗。比如,将像素颜色乘以亮度参数,实现亮度的增加或减少。
在另一些实施例中,计算机设备还可以采用非线性调节的方法来实现图像亮度的调整,这种方法根据像素点的亮度值进行调节,使得高光和阴影部分的调节较小,而中间部分的调节较多。通过这种方式进行亮度调整,可以使图像看起来更加自然。
在一些实施例中,可以将图像中灰度值大于等于指定阈值的像素的灰度值设置为原灰度值乘以一个固定值x,而将灰度值小于该阈值的像素的灰度值设置为原灰度值乘以一个负值e,这样可以增强图像的对比度,比如通过将颜色值减去0.5(中间灰色),乘以对比度参数,再加上0.5,实现对比度的调整。
首先颜色值减去0.5表示将颜色值转换为以中间灰色0.5为中心的范围,然后乘以对比度参数可以调整颜色值的变化幅度,使得图像的对比度增加或减小,最后再加上0.5将颜色值重新映射回原来的范围,这样就可以实现对比度的调整。
在一些实施例中,使用灰度值作为参考,将颜色值与灰度值进行插值,插值系数为饱和度参数,从而实现饱和度的调整,需要计算修改亮度之后的颜色和灰度颜色之间的插值,插值的依据就是用户输入的饱和度调整值,假设_Saturation为用户输入的饱和度参数,对于每个像素,需要将灰度颜色与修改亮度之后的颜色之间进行插值,插值系数为_Saturation,这意味着,颜色值将根据_Saturation参数进行调整,越大则颜色越饱和,越小则颜色越灰暗。通过这种方式,可以使用灰度值作为参考,将颜色值与灰度值进行插值,插值系数为饱和度参数,从而实现饱和度的调整。
在本申请实施例中,计算机设备可以对不透明的第一图像帧进行部分区域的透明化处理,不需要预先对视频素材进行透明化处理,从而扩展了可用的视频素材。
以上述方案应用于AR合影场景为例,请参考图7,其示出了本申请实施例涉及的一种视频渲染整体流程图。如图7所示,该流程如下:
S1,计算机设备获取绿幕视频。
S2,计算机设备提取视频帧。
提取视频当前帧,获取视频当前帧数据并转换为纹理对象传入GPU中等待下一步处理。
计算机设备通过函数创建一个新的纹理对象并将其绑定到一个纹理单元上,然后根据当前帧数据的格式和大小确定纹理的类型和属性参数,使用函数为纹理对象分配内存并指定其属性,将当前帧数据拷贝到绑定的纹理对象中,以更新纹理内容,最后设置纹理对象的过滤和寻址模式以控制纹理在渲染时的采样方式和边缘处理方式来实现帧数据到纹理对象的转换。
转换成纹理对象后计算机设备将纹理对象传入GPU中。
计算机设备先创建纹理对象,然后绑定纹后续的纹理操作用作于该纹理对象,再设置纹理参数如过滤方式、边界处理等,将纹理数据传输到GPU的显存中,包括纹理的尺寸、像素格式、像素数据等等。
S3,计算机设备进行透明处理。
运行片元着色器程序,着色器程序是运行在GPU的代码片段,视频纹理对象的每一个像素都要经过该程序进行透明化处理。
请参考图8,其示出了本申请实施例涉及的透明化处理的流程图。如图8所示:
步骤801:计算机设备获取视频纹理颜色值和预设要透明化的颜色值。
步骤802:计算机设备将预设要透明化的颜色值的编码格式由RGB转换成YUV并获取UV进行计算。
这一步转换是为了忽略亮度信息从而更精确计算色度,转换后得到表示UV的二维向量。
步骤803:计算机设备计算两个向量的距离,比如欧式距离。
步骤804:计算机设备判断距离是否小于阈值。
计算机设备将距离与设定的阈值进行比较,如果小于阈值则将该像素的alpha通道设置成0,当alpha通道的值为0代表该像素透明不会渲染在屏幕上,如果大于阈值则不做处理,这一步进行了像素透明化的操作,输出颜色值到下一步进行颜色处理。
S4,计算机设备进行图像参数调整。
片元着色器程序在对视频纹理对象的每一个像素经过透明化处理后,继续进行图像参数调整处理。
请参考图9,其示出了本申请实施例涉及的图像参数调整处理的流程图。如图9所示,根据摄像头获取现实场景的光照信息,向片元着色器程序传入亮度参数,对比度参数和饱和度参数。
步骤901:亮度处理。
计算机设备将像素颜色乘以亮度参数,实现亮度的增加或减少。
步骤902:对比度处理。
计算机设备通过将颜色值减去0.5(中间灰色),乘以对比度参数,再加上0.5,实现对比度的调整。
步骤903:饱和度处理。
计算机设备使用灰度值作为参考,将颜色值与灰度值进行插值,插值系数为饱和度参数,从而实现饱和度的调整。
S5,计算机设备渲染视频。
程序输出处理完成后得到最终像素值,通过GPU渲染管线渲染到屏幕上。
首先输入的几何形状经过几何着色器的处理,计算机设备将其转换为屏幕上的像素坐标,然后裁剪阶段会丢弃超出视图范围的像素,以提高渲染效率,接下来片段着色器会对每个像素进行着色,生成片段的颜色值,最后将这些片段的颜色值输出到屏幕上,形成最终的图像,整个过程是高度专门化的,并且可以通过GPU上的并行处理单元来加速渲染过程。
S6,判断视频是否播放完成,若是,结束处理,否则,返回S2。
视频素材中的每一帧图像都经过透明化处理及参数调整两部分,当一帧图像经过上述两部分,处理结束后,继续处理下一帧图像,如果没有下一帧图像,即视频播放结束,就结束处理视频,否则就返回S2继续处理下一帧图像,直到整个视频的图像帧都处理结束,即整个视频都播放结束。
重复上述步骤S1-S5处理视频的下一帧,直到视频播放完成。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图10,其示出了本申请一个实施例提供的视频图像处理装置的框图。该装置可以包括以下模块。
图像帧提取模块1001,用于响应于接收到播放视频素材的指令,按照所述视频素材中的各个图像帧的播放时序,从所述视频素材中提取第一图像帧;
图像帧获取模块1002,用于获取实时采集的第二图像帧;
参数调整模块1003,用于基于目标图像参数,对所述第一图像帧进行参数调整,所述目标图像参数是与所述第二图像帧相对应的图像参数;
显示模块1004,用于将参数调整后的所述第一图像帧与所述第二图像帧叠加显示。
在一些实施例中,所述图像参数包括以下参数中的至少一种:
亮度、对比度、饱和度。
所述图像帧获取模块1002,用于,
获取图像采集组件采集所述第二图像帧时设置的图像参数,作为所述目标图像参数。
在一些实施例中,所述图像帧获取模块1002,用于,
获取所述第二图像帧中的各个像素的像素值;
基于所述第二图像帧中的各个像素的像素值,获取所述目标图像参数。
在一些实施例中,所述图像帧获取模块1002,用于,
将所述第二图像帧平均划分为N个图像区域,N为大于或者等于2的整数;
取所述N个图像区域中每个图像区域的中心像素的像素值,作为所述第二图像帧中的各个像素的像素值。
在一些实施例中,所述图像帧获取模块1002,用于,
识别所述第二图像帧中的人体所在的人体区域;
将所述人体区域中的像素的像素值,获取为所述第二图像帧中的各个像素的像素值。
在一些实施例中,所述图像帧获取模块1002,用于,
在所述人体区域中随机采样M个像素,M为大于或者等于2的整数;
取所述M个像素的像素值,作为所述第二图像帧中的各个像素的像素值。
所述图像帧提取模块1001,用于,
获取透明化目标颜色值;
对所述第一图像帧中与所述透明化目标颜色值相匹配的区域进行透明化处理;
所述基于目标图像参数,对所述第一图像帧进行参数调整,包括:
基于所述目标图像参数对透明化处理后的所述第一图像帧进行参数调整。
在一些实施例中,所述图像帧提取模块1001,用于,
从所述视频素材的属性信息中读取所述透明化目标颜色值。
所述参数调整模块1003,用于,
对于所述第一图像帧中的第一像素,获取所述第一像素的颜色值的色度向量;所述第一像素是所述第一图像帧中的任意一个像素;
获取所述第一像素的颜色值的色度向量,与所述透明化目标颜色值的色度向量之间的差异值;
响应于所述差异值小于差异值阈值,对所述第一像素进行透明化处理。
所述显示模块1004,用于,
响应于接收到截屏操作,对参数调整后的所述第一图像帧与所述第二图像帧叠加显示的图像进行截屏,获得截屏图像。
图11示出了本申请一个示例性实施例提供的计算机设备1100的结构框图。该计算机设备1100可以是终端设备,比如:个人电脑、VR设备、AR设备、智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器。计算机设备1100还可能被称为用户设备、便携式终端等其他名称。
通常,计算机设备1100包括有:处理器1101和存储器1102。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1101所执行以实现本申请实施例中提供的方法中,由终端执行的全部或者部分步骤。
在一些实施例中,计算机设备1100还可选包括有:外围设备接口1103和至少一个外围设备。具体地,外围设备包括:射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107和电源1108中的至少一种。
在一些实施例中,计算机设备1100还包括有一个或多个传感器1109。该一个或多个传感器1109包括但不限于:加速度传感器1110、陀螺仪传感器1111、压力传感器1112、光学传感器1113以及接近传感器1114。
本领域技术人员可以理解,上述示出的结构并不构成对计算机设备1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储至少一条计算机程序,该至少一条计算机程序由处理器加载并执行以实现上述各个实施例所示的方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器、随机存取存储器、只读光盘、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述各个实施例所示的方法中的全部或部分步骤。
本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示界面、弹窗或输出语音提示信息,该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据,使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时),结束获取用户相关数据的相关步骤,即不获取用户的相关数据。
换句话说,本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的,且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
上述用户的相关数据包括信息(包括但不限于用户的账号)、数据(包括但不限于用户输入的文本数据、存储的文本/图片数据、展示的文本/图片数据等)及信号等数据。例如,本申请中涉及的用户数据是在充分授权的情况下获取的。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种视频图像处理方法,其特征在于,所述方法包括:
响应于接收到播放视频素材的指令,按照所述视频素材中的各个图像帧的播放时序,从所述视频素材中提取第一图像帧;
获取实时采集的第二图像帧;
基于目标图像参数,对所述第一图像帧进行参数调整,所述目标图像参数是与所述第二图像帧相对应的图像参数;
将参数调整后的所述第一图像帧与所述第二图像帧叠加显示。
2.根据权利要求1所述的方法,其特征在于,所述图像参数包括以下参数中的至少一种:
亮度、对比度、饱和度。
3.根据权利要求1所述的方法,其特征在于,所述基于目标图像参数,对所述第一图像帧进行参数调整之前,还包括:
获取图像采集组件采集所述第二图像帧时设置的图像参数,作为所述目标图像参数。
4.根据权利要求1所述的方法,其特征在于,所述基于目标图像参数,对所述第一图像帧进行参数调整之前,还包括:
获取所述第二图像帧中的各个像素的像素值;
基于所述第二图像帧中的各个像素的像素值,获取所述目标图像参数。
5.根据权利要求4所述的方法,其特征在于,所述获取所述第二图像帧中的各个像素的像素值,包括:
将所述第二图像帧平均划分为N个图像区域,N为大于或者等于2的整数;
取所述N个图像区域中每个图像区域的中心像素的像素值,作为所述第二图像帧中的各个像素的像素值。
6.根据权利要求4所述的方法,其特征在于,所述获取所述第二图像帧中的各个像素的像素值,包括:
识别所述第二图像帧中的人体所在的人体区域;
将所述人体区域中的像素的像素值,获取为所述第二图像帧中的各个像素的像素值。
7.根据权利要求6所述的方法,其特征在于,所述将所述人体区域中的像素的像素值,获取为所述第二图像帧中的各个像素的像素值,包括:
在所述人体区域中随机采样M个像素,M为大于或者等于2的整数;
取所述M个像素的像素值,作为所述第二图像帧中的各个像素的像素值。
8.根据权利要求1至7任一所述的方法,其特征在于,所述基于目标图像参数,对所述第一图像帧进行参数调整之前,还包括:
获取透明化目标颜色值;
对所述第一图像帧中与所述透明化目标颜色值相匹配的区域进行透明化处理;
所述基于目标图像参数,对所述第一图像帧进行参数调整,包括:
基于所述目标图像参数对透明化处理后的所述第一图像帧进行参数调整。
9.根据权利要求8所述的方法,其特征在于,所述获取透明化目标颜色值,包括:
从所述视频素材的属性信息中读取所述透明化目标颜色值。
10.根据权利要求8所述的方法,其特征在于,所述对所述第一图像帧中与所述透明化目标颜色值相匹配的区域进行透明化处理,包括:
对于所述第一图像帧中的第一像素,获取所述第一像素的颜色值的色度向量;所述第一像素是所述第一图像帧中的任意一个像素;
获取所述第一像素的颜色值的色度向量,与所述透明化目标颜色值的色度向量之间的差异值;
响应于所述差异值小于差异值阈值,对所述第一像素进行透明化处理。
11.根据权利要求1至7任一所述的方法,其特征在于,所述方法还包括:
响应于接收到截屏操作,对参数调整后的所述第一图像帧与所述第二图像帧叠加显示的图像进行截屏,获得截屏图像。
12.一种用于视频图像处理装置,其特征在于,所述装置包括:
图像帧提取模块,用于响应于接收到播放视频素材的指令,按照所述视频素材中的各个图像帧的播放时序,从所述视频素材中提取第一图像帧;
图像帧获取模块,用于获取实时采集的第二图像帧;
参数调整模块,用于基于目标图像参数,对所述第一图像帧进行参数调整,所述目标图像参数是与所述第二图像帧相对应的图像参数;
显示模块,用于将参数调整后的所述第一图像帧与所述第二图像帧叠加显示。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器存储有至少一条计算机指令,所述至少一条计算机指令由所述处理器加载并执行以实现如权利要求1至11任一所述的视频图像处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机指令,所述计算机指令由处理器加载并执行以实现如权利要求1至11任一所述的视频图像处理方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中;所述计算机指令由计算机设备的处理器读取并执行,以实现如权利要求1至11任一所述的视频图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311165293.4A CN117061882A (zh) | 2023-09-08 | 2023-09-08 | 视频图像处理方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311165293.4A CN117061882A (zh) | 2023-09-08 | 2023-09-08 | 视频图像处理方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117061882A true CN117061882A (zh) | 2023-11-14 |
Family
ID=88666366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311165293.4A Pending CN117061882A (zh) | 2023-09-08 | 2023-09-08 | 视频图像处理方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117061882A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117234320A (zh) * | 2023-11-15 | 2023-12-15 | 深圳市鸿茂元智光电有限公司 | 一种led显示屏节能显示方法、系统和显示屏 |
-
2023
- 2023-09-08 CN CN202311165293.4A patent/CN117061882A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117234320A (zh) * | 2023-11-15 | 2023-12-15 | 深圳市鸿茂元智光电有限公司 | 一种led显示屏节能显示方法、系统和显示屏 |
CN117234320B (zh) * | 2023-11-15 | 2024-02-23 | 深圳市鸿茂元智光电有限公司 | 一种led显示屏节能显示方法、系统和显示屏 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215934B (zh) | 游戏模型的渲染方法、装置、存储介质及电子装置 | |
US10171785B2 (en) | Color balancing based on reference points | |
US9509886B2 (en) | Flicker removal for high speed video | |
CN113723385B (zh) | 视频处理方法及装置、神经网络的训练方法及装置 | |
CN109754375B (zh) | 图像处理方法、系统、计算机设备、存储介质和终端 | |
CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN117061882A (zh) | 视频图像处理方法、装置、设备、存储介质及程序产品 | |
CN114494566A (zh) | 图像渲染方法和装置 | |
CN112262413A (zh) | 混合现实中的实时合成 | |
CN115082328A (zh) | 用于图像校正的方法和设备 | |
CN113436284A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN115131419A (zh) | 一种形成丁达尔光效的图像处理方法及电子设备 | |
WO2022218082A1 (zh) | 基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN116188296A (zh) | 图像优化方法及其装置、设备、介质、产品 | |
CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN116740261A (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
CN116563570B (zh) | 一种颜色识别方法、装置、电子设备及存储介质 | |
CN117372272A (zh) | 一种基于注意力机制的多曝光的图像融合方法及系统 | |
CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
US20230171507A1 (en) | Increasing dynamic range of a virtual production display | |
CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
WO2022022260A1 (zh) | 图像风格迁移方法及其装置 | |
CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111787080B (zh) | 基于人工智能和物联网交互的数据处理方法及云计算平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |