CN111064994A - 视频图像处理方法及装置、存储介质 - Google Patents

视频图像处理方法及装置、存储介质 Download PDF

Info

Publication number
CN111064994A
CN111064994A CN201911354775.8A CN201911354775A CN111064994A CN 111064994 A CN111064994 A CN 111064994A CN 201911354775 A CN201911354775 A CN 201911354775A CN 111064994 A CN111064994 A CN 111064994A
Authority
CN
China
Prior art keywords
video data
video image
target
video
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911354775.8A
Other languages
English (en)
Other versions
CN111064994B (zh
Inventor
郭军
谢导
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911354775.8A priority Critical patent/CN111064994B/zh
Publication of CN111064994A publication Critical patent/CN111064994A/zh
Application granted granted Critical
Publication of CN111064994B publication Critical patent/CN111064994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Abstract

本申请公开一种视频图像处理方法及装置、存储介质,属于视频直播领域。该方法包括:获取目标视频图像的第一视频数据和第二视频数据,第一视频数据和第二视频数据均为目标视频图像的视频数据,第一视频数据的格式与第二视频数据的格式不同;根据第二视频数据从目标视频图像中确定至少一个目标特征点;根据该至少一个目标特征点和第一视频数据,对目标视频图像进行特效处理。本申请有助于提高视频图像的处理效率,改善视频直播效果。

Description

视频图像处理方法及装置、存储介质
技术领域
本申请涉及视频直播领域,特别涉及一种视频图像处理方法及装置、存储介质。
背景技术
随着智能手机、平板电脑等终端的普及,越来越多的用户使用终端进行视频直播。在视频直播的过程中,终端可以对主播用户进行美颜、贴图(例如在主播用户的人脸鼻翼所在位置贴附猫咪胡须)等特效处理。
目前,在视频直播的过程中,终端采集到的视频图像的视频数据为纹理(英文:texture)数据,终端采集到视频图像后,从该视频图像的视频数据中确定出RGB(英文:redgreen blue)数据,根据该RGB数据对该视频图像进行人脸识别,以从该视频图像中确定人脸特征点,根据该人脸特征点和该视频图像的视频数据,对该视频图像进行人脸特效处理。
但是,由于在对视频图像进行特效处理时,需要从视频图像的视频数据中确定RGB数据,而从视频图像的视频数据中确定RGB数据的过程耗时较长,因此视频图像的处理效率较低,影响视频直播效果。
发明内容
本申请提供一种视频图像处理方法及装置、存储介质,有助于提高视频图像的处理效率,改善视频直播效果。本申请的技术方案如下:
第一方面,提供一种视频图像处理方法,所述方法包括:
获取目标视频图像的第一视频数据和第二视频数据,所述第一视频数据和所述第二视频数据均为所述目标视频图像的视频数据,所述第一视频数据的格式与所述第二视频数据的格式不同;
根据所述第二视频数据从所述目标视频图像中确定至少一个目标特征点;
根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理。
可选地,所述获取目标视频图像的第一视频数据和第二视频数据,包括:
通过摄像组件获取所述目标视频图像的所述第一视频数据和所述第二视频数据。
可选地,所述第一视频数据的格式为第一格式,所述第二视频数据的格式为第二格式,在通过摄像组件获取所述目标视频图像的所述第一视频数据和所述第二视频数据之前,所述方法还包括:
设置所述摄像组件的数据输出格式包括所述第一格式和所述第二格式。
可选地,在根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理之前,所述方法还包括:
根据所述第一视频数据对所述目标视频图像进行预处理;
所述根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理,包括:
根据所述至少一个目标特征点和所述第一视频数据,对预处理后的所述目标视频图像进行特效处理。
可选地,所述第一视频数据为纹理数据,所述第二视频数据为YUV数据。
可选地,所述目标视频图像包括人脸图像,所述目标特征点包括人脸特征点。
第二方面,提供一种视频图像处理装置,所述装置包括:
获取模块,用于获取目标视频图像的第一视频数据和第二视频数据,所述第一视频数据和所述第二视频数据均为所述目标视频图像的视频数据,所述第一视频数据的格式与所述第二视频数据的格式不同;
确定模块,用于根据所述第二视频数据从所述目标视频图像中确定至少一个目标特征点;
特效处理模块,用于根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理。
可选地,所述获取模块,用于通过摄像组件获取所述目标视频图像的所述第一视频数据和所述第二视频数据。
可选地,所述第一视频数据的格式为第一格式,所述第二视频数据的格式为第二格式,所述装置还包括:
设置模块,用于设置所述摄像组件的数据输出格式包括所述第一格式和所述第二格式。
可选地,所述装置还包括:
预处理模块,用于根据所述第一视频数据对所述目标视频图像进行预处理;
所述特效处理模块,用于根据所述至少一个目标特征点和所述第一视频数据,对预处理后的所述目标视频图像进行特效处理。
可选地,所述第一视频数据为纹理数据,所述第二视频数据为YUV数据。
可选地,所述目标视频图像包括人脸图像,所述目标特征点包括人脸特征点。
第三方面,提供一种视频图像处理装置,包括:处理器和存储器,
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器上所存储的计算机程序,实现第一方面或第一方面的任一可选方式所述的视频图像处理方法。
第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的程序由处理器执行时,能够实现第一方面或第一方面的任一可选方式所述的视频图像处理方法。
本申请提供的技术方案带来的有益效果是:
本申请提供的视频图像处理方法及装置、存储介质,获取目标视频图像的第一视频数据和第二视频数据后,根据该第二视频数据从该目标视频图像中确定至少一个目标特征点,根据该至少一个目标特征点和该第一视频数据对该目标视频图像进行特效处理,该第一视频数据和该第二视频数据均为该目标视频图像的视频数据,该第一视频数据的格式与该第二视频数据的格式不同。由于能够根据获取到的第二视频数据从目标视频图像中确定至少一个目标特征点,而无需从目标视频图像的视频数据中确定RGB数据,再根据RGB数据从视频图像中确定特征点,因此有助于提高视频图像的处理效率,改善视频直播效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频图像处理方法的方法流程图;
图2是本申请实施例提供的另一种视频图像处理方法的方法流程图;
图3是本申请实施例提供的一种视频图像处理方法的示意图;
图4是本申请实施例提供的一种视频图像处理装置的框图;
图5是本申请实施例提供的另一种视频图像处理装置的框图;
图6是本申请实施例提供的一种视频图像处理装置的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
具体实施方式
为了使本申请的原理、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
目前,在视频直播的开播时,终端通过摄像头采集视频图像的texture数据,将视频图像的texture数据配置在开放图形库(英文:Open Graphics Library;简称:opengl)环境中,从该texture数据中拷贝出RGB数据,根据RGB数据进行人脸识别。但是,从texture数据中拷贝RGB数据非常耗时,并且视频图像越大,拷贝RGB数据的耗时越大,因此对于高清直播,非常有必要解决拷贝RGB数据耗时的问题。
鉴于此,本申请实施例提供一种视频图像处理方案,在该视频图像处理方案中,终端可以同时获取视频图像的texture数据和YUV数据,根据YUV数据从视频图像中识别目标特征点(例如人脸特征点),这样一来,无需从texture数据中拷贝RGB数据,有助于改善目前的视频图像处理方案中视频图像的处理效率较低的问题,改善视频直播效果。
本申请实施例提供的视频图像处理方法可以由终端执行,该终端可以是智能手机、平板电脑、智能电视、智能手表、动态影像专家压缩标准音频层面5(英文:MovingPicture Experts Group Audio Layer V;简称:MP5)播放器、膝上型便携计算机或台式计算机等等。可选地,该终端中可以安装有图像处理客户端,由该图像处理客户端进行图像处理,该图像处理客户端可以是直播客户端、视频录制客户端、视频编辑客户端等具备图像处理功能的客户端。在一些实施场景中,客户端又称为应用程序(英文:Application;简称:APP),本申请实施例对此不做限定。
请参考图1,其示出了本申请实施例提供的一种视频图像处理方法的方法流程图,该视频图像处理方法可以由终端执行。参见图1,该方法可以包括:
步骤101、获取目标视频图像的第一视频数据和第二视频数据,第一视频数据和第二视频数据均为目标视频图像的视频数据,第一视频数据的格式与第二视频数据的格式不同。
步骤102、根据第二视频数据从目标视频图像中确定至少一个目标特征点。
步骤103、根据该至少一个目标特征点和第一视频数据,对目标视频图像进行特效处理。
综上所述,本申请实施例提供的视频图像处理方法,获取目标视频图像的第一视频数据和第二视频数据后,根据第二视频数据从目标视频图像中确定至少一个目标特征点,根据该至少一个目标特征点和第一视频数据对目标视频图像进行特效处理。由于能够根据获取到的第二视频数据从目标视频图像中确定至少一个目标特征点,而无需从目标视频图像的视频数据中确定RGB数据,再根据RGB数据从视频图像中确定特征点,因此有助于提高视频图像的处理效率,改善视频直播效果。
可选地,步骤101包括:通过摄像组件获取目标视频图像的第一视频数据和第二视频数据。
可选地,第一视频数据的格式为第一格式,第二视频数据的格式为第二格式,在步骤101之前,该方法还包括:
设置摄像组件的数据输出格式包括第一格式和第二格式。
可选地,在步骤103之前,该方法还包括:
根据第一视频数据对目标视频图像进行预处理;
相应地,该步骤103包括:根据该至少一个目标特征点和该第一视频数据,对预处理后的该目标视频图像进行特效处理。
可选地,第一视频数据为纹理数据,第二视频数据为YUV数据,
可选地,目标视频图像包括人脸图像,目标特征点包括人脸特征点。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
请参考图2,其示出了本申请实施例提供的另一种视频图像处理方法的方法流程图,该视频图像处理方法可以由终端执行。参见图2,该方法可以包括:
步骤201、设置终端的摄像组件的数据输出格式包括第一格式和第二格式。
其中,摄像组件可以是摄像头等具备拍摄功能的组件,第一格式可以是纹理格式,第二格式可以是YUV格式。
可选地,终端中可以具有摄像组件,且终端可以提供摄像组件的格式设置入口,用户可以通过该格式设置入口触发终端设置摄像组件的数据输出格式包括第一格式和第二格式。
可选地,该格式设置入口可以是格式设置按键,终端可以提供多种不同的格式设置按键,每种格式设置按键对应一种数据输出格式,用户可以点击第一格式对应的格式设置按键触发终端设置摄像组件的数据输出格式包括第一格式,点击第二格式对应的格式设置按键触发终端设置摄像组件的数据输出格式包括第二格式。
可选地,该格式设置入口可以包括格式设置文本框和确定按键,用户可以通过格式设置文本框输入第一格式和第二格式,并通过点击确定按键触发终端设置摄像组件的数据输出格式包括第一格式和第二格式。
需要说明的是,该步骤201所提供的终端设置摄像组件的数据输出格式的实现方式仅仅是示例性的,本领域技术人员应当明白,终端可以采用除该步骤201所述之外的任何方式设置摄像组件的数据输出格式,本申请实施例不对终端设置摄像组件的数据输出格式的方式进行限定。
步骤202、获取目标视频图像的第一视频数据和第二视频数据,第一视频数据和第二视频数据均为目标视频图像的视频数据,第一视频数据的格式与第二视频数据的格式不同。
其中,目标视频图像可以是视频直播过程中的任意一帧视频图像。
可选地,终端可以通过终端的摄像组件获取目标视频图像的第一视频数据和第二视频数据,该第一视频数据的格式可以为第一格式,该第二视频数据的格式可以为第二格式。可选地,该第一视频数据的格式可以为纹理格式,该第二视频数据的格式可以为YUV格式,也即是,该第一视频数据可以为纹理数据,该第二视频数据可以为YUV数据。容易理解,该第一视频数据和该第二视频数据均为体现目标视频图像的视频数据,区别在于二者的格式不同。
步骤203、根据第二视频数据从目标视频图像中确定至少一个目标特征点。
可选地,终端可以根据第二视频数据对目标视频图像进行识别,从该目标视频图像中确定至少一个目标特征点。可选地,终端可以包括识别引擎,终端可以通过识别引擎,根据第二视频数据对目标视频图像进行识别。
可选地,目标视频图像可以包括人脸图像,该目标特征点可以包括人脸特征点。终端可以通过人脸检测技术,根据第二视频数据对目标视频图像进行人脸检测,确定出目标视频图像中的人脸区域,通过人脸对齐技术对检测出的人脸区域进行人脸对齐,以从目标视频图像中确定出人脸特征点。其中,该人脸特征点可以是五官特征点,例如,脸部轮廓特征点、眼部特征点、鼻部特征点、眉部特征点或唇部特征点中的至少一种。该人脸特征点还可以是脸部的其他特征点,本申请实施例对此不做限定。
需要说明的是,终端从目标视频图像中确定至少一个目标特征点后,可以得到该至少一个目标特征点在该目标视频图像中的位置,并且终端可以记录该至少一个目标特征点在该目标视频图像中的位置。
还需要说明的是,本申请实施例是以终端根据第二视频数据从目标视频图像中确定人脸特征点为例说明的,实际应用中,该目标特征点还可以包括头部特征点或身体特征点等,本申请实施例在此不再赘述。
步骤204、根据第一视频数据对目标视频图像进行预处理。
可选地,该预处理可以是旋转处理。第一视频数据对应的该目标视频图像通常存在一定角度旋转(例如90度或270度),终端可以根据该第一视频数据对该目标视频图像进行旋转处理,以将目标视频图像摆正。
步骤205、根据该至少一个目标特征点和第一视频数据,对预处理后的目标视频图像进行特效处理。
其中,该特效处理可以是美颜处理、整形处理或贴图处理中的至少一种,该整形处理可以包括瘦脸处理、大眼处理、瘦鼻处理或削脸处理等,该贴图处理可以是根据目标特征点在目标视频图像中贴附图片,例如,根据鼻部特征点在主播用户的人脸鼻翼所在位置贴附猫咪胡须等,本申请实施例对此不做限定。
可选地,终端可以获取特效处理方案,特效处理方案中可以包括特效处理函数,终端可以根据该至少一个目标特征点的位置和特效处理函数,对预处理后的该目标视频图像进行特效处理。可选地,终端可以根据该多个目标特征点将该目标视频图像划分成多个特征区域,使该多个特征区域叠加形成的图形包围该目标视频图像中的待处理区域(例如脸部区域),之后,终端根据该特效处理函数对多个特征区域分别进行特效处理,以对预处理后的目标视频图像进行特效处理。
需要说明的是,对视频图像进行处理的过程实际上是改变视频图像中各个像素点的像素值,因此在终端对目标视频图像进行美颜处理的过程中,终端可以获取目标视频图像中的每个特征区域的初始像素值,根据每个特征区域的初始像素值,通过特效处理函数计算该每个特征区域的特效像素值,将该每个特征区域的像素值配置为该特效像素值,从而对目标视频图像进行特效处理。
还需要说明的是,终端对预处理后的目标视频图像进行特效处理后,可以输出特效处理后的视频图像。在本申请实施例中,执行该视频图像处理方法的终端可以是主播终端,主播终端在对预处理后的目标视频图像进行特效处理后,可以向观众终端发送特效处理后的视频图像,以便于观众终端能够展示该特效处理后的视频图像,提高视频直播的用户体验。
综上所述,本申请实施例提供的视频图像处理方法,获取目标视频图像的第一视频数据和第二视频数据后,根据第二视频数据从目标视频图像中确定至少一个目标特征点,根据该至少一个目标特征点和第一视频数据对目标视频图像进行特效处理。由于能够根据获取到的第二视频数据从目标视频图像中确定至少一个目标特征点,而无需从目标视频图像的视频数据中确定RGB数据,再根据RGB数据从视频图像中确定特征点,因此有助于提高视频图像的处理效率,改善视频直播效果。
本申请实施例提供的视频图像处理方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
图3是本申请实施例提供的一种视频图像处理方法的示意图,下面以第一视频数据为纹理数据、第二视频数据为YUV数据为例,结合该图3对本申请实施例提供的视频图像处理方法进行说明。如图3所示,终端的摄像组件可以输出视频图像的纹理数据和YUV数据,终端可以根据该纹理数据对视频图像进行预处理,根据该YUV数据从视频图像中识别出目标特征点(例如人脸特征点),根据目标特征点对预处理后的视频图像进行特效处理,得到最终的视频图像。其中,特效处理可以包括美颜处理或贴图处理等。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图4,其示出了本申请实施例提供的一种视频图像处理装置400的框图,该视频图像处理装置400可以为终端中的程序组件。参见图4,该视频图像处理装置400可以包括但不限于:
获取模块410,用于获取目标视频图像的第一视频数据和第二视频数据,第一视频数据和第二视频数据均为目标视频图像的视频数据,第一视频数据的格式与第二视频数据的格式不同;
确定模块420,用于根据第二视频数据从目标视频图像中确定至少一个目标特征点;
特效处理模块430,用于根据该至少一个目标特征点和第一视频数据,对目标视频图像进行特效处理。
综上所述,本申请实施例提供的视频图像处理装置,获取目标视频图像的第一视频数据和第二视频数据后,根据第二视频数据从目标视频图像中确定至少一个目标特征点,根据该至少一个目标特征点和第一视频数据对目标视频图像进行特效处理。由于能够根据获取到的第二视频数据从目标视频图像中确定至少一个目标特征点,而无需从目标视频图像的视频数据中确定RGB数据,再根据RGB数据从视频图像中确定特征点,因此有助于提高视频图像的处理效率,改善视频直播效果。
可选地,获取模块410,用于通过摄像组件获取目标视频图像的第一视频数据和第二视频数据。
可选地,第一视频数据的格式为第一格式,第二视频数据的格式为第二格式,请参考图5,其示出了本申请实施例提供的另一种视频图像处理装置400的框图,参见图5,在图4的基础上,该视频图像处理装置400还包括:
设置模块440,用于设置摄像组件的数据输出格式包括第一格式和第二格式。
可选地,请继续参考图5,该视频图像处理装置400还包括:
预处理模块450,用于根据第一视频数据对目标视频图像进行预处理;
特效处理模块430,用于根据至少一个目标特征点和第一视频数据,对预处理后的目标视频图像进行特效处理。
可选地,第一视频数据为纹理数据,第二视频数据为YUV数据。
可选地,目标视频图像包括人脸图像,目标特征点包括人脸特征点。
综上所述,本申请实施例提供的视频图像处理装置,获取目标视频图像的第一视频数据和第二视频数据后,根据第二视频数据从目标视频图像中确定至少一个目标特征点,根据该至少一个目标特征点和第一视频数据对目标视频图像进行特效处理。由于能够根据获取到的第二视频数据从目标视频图像中确定至少一个目标特征点,而无需从目标视频图像的视频数据中确定RGB数据,再根据RGB数据从视频图像中确定特征点,因此有助于提高视频图像的处理效率,改善视频直播效果。
本申请实施例提供了一种视频图像处理装置,包括:处理器和存储器,
该存储器,用于存储计算机程序。
该处理器,用于执行该存储器上所存储的计算机程序,实现上述实施例提供的视频图像处理方法。
请参考图6,其示出了本申请实施例提供的一种视频图像处理装置600的结构示意图。该装置600可以是终端,比如:智能手机、平板电脑、动态影像专家压缩标准音频层面4(英文:Moving Picture Experts Group Audio Layer IV;简称:MP4)播放器、笔记本电脑或台式电脑。装置600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,装置600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、6核心处理器等。处理器601可以采用数字信号处理(英文:Digital Signal Processing;简称:DSP)、现场可编程门阵列(英文:Field-Programmable Gate Array;简称:FPGA)、可编程逻辑阵列(英文:Programmable Logic Array;简称:PLA)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器(英文:Central Processing Unit;简称:CPU);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有图像处理器(英文:Graphics Processing Unit;简称:GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括人工智能(英文:ArtificialIntelligence;简称:AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请实施例提供的视频图像处理方法。
在一些实施例中,装置600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608或电源609中的至少一种。
外围设备接口603可被用于将输入/输出(英文:Input/Output;简称:I/O)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射射频(英文:Radio Frequency;简称:RF)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(英文:Wireless Fidelity;简称:WiFi)网络。在一些实施例中,射频电路604还可以包括近距离无线通信(英文:Near FieldCommunication;简称:NFC)有关的电路,本申请对此不加以限定。
显示屏605用于显示用户界面(英文:User Interface;简称:UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置装置600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在装置600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在装置600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以为有机发光二极管(英文:Organic Light-Emitting Diode;简称:OLED)显示屏。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(英文:Virtual Reality;简称:VR)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在装置600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位装置600的当前地理位置,以实现导航或基于位置的服务(英文:Location Based Service;简称:LBS)。定位组件608可以是基于美国的全球定位系统(英文:Global Positioning System;简称:GPS)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源609用于为装置600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,装置600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以装置600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测装置600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对装置600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在装置600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在装置600的侧边框时,可以检测用户对装置600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,由处理器601根据用户对触摸显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置装置600的正面、背面或侧面。当装置600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在装置600的前面板。接近传感器616用于采集用户与装置600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与装置600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与装置600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对装置600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例提供了一种计算机可读存储介质,当该计算机可读存储介质中的程序由处理器执行时,能够实现上述实施例提供的视频图像处理方法。该计算机可读存储介质可以是非暂态的。例如,该计算机可读存储介质可以是只读存储器(英文:Read-OnlyMemory;简称:ROM)、随机存取存储器(英文:Random Access Memory;简称:RAM)、紧凑型光盘只读储存器(英文:Compact Disc Read-Only Memory;简称:CD-ROM)、磁带、软盘和光数据存储设备等。
本申请中术语“A或B的至少一种”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A或B的至少一种,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。同理,“A、B或C的至少一种”表示可以存在七种关系,可以表示:单独存在A,单独存在B,单独存在C,同时存在A和B,同时存在A和C,同时存在C和B,同时存在A、B和C这七种情况。同理,“A、B、C或D的至少一种”表示可以存在十五种关系,可以表示:单独存在A,单独存在B,单独存在C,单独存在D,同时存在A和B,同时存在A和C,同时存在A和D,同时存在C和B,同时存在D和B,同时存在C和D,同时存在A、B和C,同时存在A、B和D,同时存在A、C和D,同时存在B、C和D,同时存在A、B、C和D,这十五种情况。
本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”、“第三”和“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。术语“至少一种”表示一种或多种,多种表示两种或两种以上。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (11)

1.一种视频图像处理方法,其特征在于,所述方法包括:
获取目标视频图像的第一视频数据和第二视频数据,所述第一视频数据和所述第二视频数据均为所述目标视频图像的视频数据,所述第一视频数据的格式与所述第二视频数据的格式不同;
根据所述第二视频数据从所述目标视频图像中确定至少一个目标特征点;
根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理。
2.根据权利要求1所述的方法,其特征在于,
所述获取目标视频图像的第一视频数据和第二视频数据,包括:
通过摄像组件获取所述目标视频图像的所述第一视频数据和所述第二视频数据。
3.根据权利要求2所述的方法,其特征在于,
所述第一视频数据的格式为第一格式,所述第二视频数据的格式为第二格式,
在通过摄像组件获取所述目标视频图像的所述第一视频数据和所述第二视频数据之前,所述方法还包括:
设置所述摄像组件的数据输出格式包括所述第一格式和所述第二格式。
4.根据权利要求1所述的方法,其特征在于,
在根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理之前,所述方法还包括:
根据所述第一视频数据对所述目标视频图像进行预处理;
所述根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理,包括:
根据所述至少一个目标特征点和所述第一视频数据,对预处理后的所述目标视频图像进行特效处理。
5.根据权利要求1至4任一项所述的方法,其特征在于,
所述第一视频数据为纹理数据,所述第二视频数据为YUV数据,
所述目标视频图像包括人脸图像,所述目标特征点包括人脸特征点。
6.一种视频图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取目标视频图像的第一视频数据和第二视频数据,所述第一视频数据和所述第二视频数据均为所述目标视频图像的视频数据,所述第一视频数据的格式与所述第二视频数据的格式不同;
确定模块,用于根据所述第二视频数据从所述目标视频图像中确定至少一个目标特征点;
特效处理模块,用于根据所述至少一个目标特征点和所述第一视频数据,对所述目标视频图像进行特效处理。
7.根据权利要求6所述的装置,其特征在于,
所述获取模块,用于通过摄像组件获取所述目标视频图像的所述第一视频数据和所述第二视频数据。
8.根据权利要求7所述的装置,其特征在于,
所述第一视频数据的格式为第一格式,所述第二视频数据的格式为第二格式,所述装置还包括:
设置模块,用于设置所述摄像组件的数据输出格式包括所述第一格式和所述第二格式。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
预处理模块,用于根据所述第一视频数据对所述目标视频图像进行预处理;
所述特效处理模块,用于根据所述至少一个目标特征点和所述第一视频数据,对预处理后的所述目标视频图像进行特效处理。
10.一种视频图像处理装置,其特征在于,包括:处理器和存储器,
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器上所存储的计算机程序,实现权利要求1至5任一项所述的视频图像处理方法。
11.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的程序由处理器执行时,能够实现权利要求1至5任一项所述的视频图像处理方法。
CN201911354775.8A 2019-12-25 2019-12-25 视频图像处理方法及装置、存储介质 Active CN111064994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911354775.8A CN111064994B (zh) 2019-12-25 2019-12-25 视频图像处理方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911354775.8A CN111064994B (zh) 2019-12-25 2019-12-25 视频图像处理方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN111064994A true CN111064994A (zh) 2020-04-24
CN111064994B CN111064994B (zh) 2022-03-29

Family

ID=70303431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911354775.8A Active CN111064994B (zh) 2019-12-25 2019-12-25 视频图像处理方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111064994B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US8947449B1 (en) * 2012-02-21 2015-02-03 Google Inc. Color space conversion between semi-planar YUV and planar YUV formats
CN108012091A (zh) * 2017-11-29 2018-05-08 北京奇虎科技有限公司 图像处理方法、装置、设备及其存储介质
CN109063506A (zh) * 2018-07-09 2018-12-21 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
CN109379622A (zh) * 2018-10-24 2019-02-22 网易(杭州)网络有限公司 游戏中播放视频的方法和装置
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN110248242A (zh) * 2019-07-10 2019-09-17 广州虎牙科技有限公司 一种图像处理和直播方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US8947449B1 (en) * 2012-02-21 2015-02-03 Google Inc. Color space conversion between semi-planar YUV and planar YUV formats
CN108012091A (zh) * 2017-11-29 2018-05-08 北京奇虎科技有限公司 图像处理方法、装置、设备及其存储介质
CN109063506A (zh) * 2018-07-09 2018-12-21 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
CN109379622A (zh) * 2018-10-24 2019-02-22 网易(杭州)网络有限公司 游戏中播放视频的方法和装置
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN110248242A (zh) * 2019-07-10 2019-09-17 广州虎牙科技有限公司 一种图像处理和直播方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
昵称:HAIBINDEV: "Android camera2采集摄像头原始数据并手动预览", 《博客园,HTTPS://WWW.CNBLOGS.COM/HAIBINDEV/P/8408598/HTML》 *

Also Published As

Publication number Publication date
CN111064994B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN108401124B (zh) 视频录制的方法和装置
CN109829864B (zh) 图像处理方法、装置、设备及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110769313B (zh) 视频处理方法及装置、存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
CN111447389B (zh) 视频生成方法、装置、终端及存储介质
CN112565806B (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN110956580A (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN110827195A (zh) 虚拟物品添加方法、装置、电子设备及存储介质
CN111276122A (zh) 音频生成方法及装置、存储介质
CN110677713B (zh) 视频图像处理方法及装置、存储介质
CN111083513B (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110891181B (zh) 直播画面显示方法、装置、存储介质及终端
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN110853124A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN111064994B (zh) 视频图像处理方法及装置、存储介质
CN112399080A (zh) 视频处理方法、装置、终端及计算机可读存储介质
CN108881715B (zh) 拍摄模式的启用方法、装置、终端及存储介质
CN111898488A (zh) 视频图像的识别方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant