CN110677713B - 视频图像处理方法及装置、存储介质 - Google Patents

视频图像处理方法及装置、存储介质 Download PDF

Info

Publication number
CN110677713B
CN110677713B CN201910979387.2A CN201910979387A CN110677713B CN 110677713 B CN110677713 B CN 110677713B CN 201910979387 A CN201910979387 A CN 201910979387A CN 110677713 B CN110677713 B CN 110677713B
Authority
CN
China
Prior art keywords
webpage
special effect
engine file
video image
effect engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910979387.2A
Other languages
English (en)
Other versions
CN110677713A (zh
Inventor
白伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201910979387.2A priority Critical patent/CN110677713B/zh
Publication of CN110677713A publication Critical patent/CN110677713A/zh
Application granted granted Critical
Publication of CN110677713B publication Critical patent/CN110677713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173End-user applications, e.g. Web browser, game

Abstract

本公开提供了一种视频图像处理方法及装置、存储介质,属于计算机技术领域。该方法用于网页应用程序,包括:在主播用户通过网页应用程序进行视频直播的过程中,采集主播用户的视频图像;将网页特效引擎文件加载到网页应用程序的直播网页中;根据网页特效引擎文件对主播用户的视频图像进行特效处理,得到处理后的视频图像;在直播网页的视频展示区域中显示处理后的视频图像。由于可以通过网页应用程序进行视频直播并对视频图像进行特效处理,因此有助于降低视频直播以及视频图像处理的局限性。

Description

视频图像处理方法及装置、存储介质
技术领域
本公开涉及计算机技术领域,特别涉及一种视频图像处理方法及装置、存储介质。
背景技术
随着计算机技术的发展,视频直播受到越来越多的关注。
目前,主播用户在视频直播的过程中,直播客户端可以实时采集主播用户的视频图像,并对主播用户的视频图像进行特效处理后进行显示,其中,特效处理例如可以是对视频图像中的人脸图像进行美颜处理。
但是,目前的视频直播方案需要在直播客户端进行,这导致视频直播的局限性较高。随着浏览器技术的发展,浏览器的功能越来越丰富,因此,亟需一种能够在浏览器进行视频直播以及视频图像处理的方案。
发明内容
本公开实施例提供了一种视频图像处理方法及装置、存储介质,有助于降低视频直播以及视频图像处理的局限性。所述技术方案如下:
第一方面,提供了一种视频图像处理方法,应用于网页应用程序,所述方法包括:
在主播用户通过所述网页应用程序进行视频直播的过程中,采集所述主播用户的视频图像;
将网页特效引擎文件加载到所述网页应用程序的直播网页中;
根据所述网页特效引擎文件对所述视频图像进行特效处理,得到处理后的视频图像;
在所述直播网页的视频展示区域中,显示所述处理后的视频图像。
可选地,所述网页特效引擎文件的文件格式为网页汇编文件格式,在将网页特效引擎文件加载到所述网页应用程序的直播网页中之前,所述方法还包括:
获取代码特效引擎文件,所述代码特效引擎文件中包括采用编程语言编写的特效处理代码;
将所述代码特效引擎文件编译为所述网页特效引擎文件。
可选地,在将所述代码特效引擎文件编译为所述网页特效引擎文件之后,所述方法还包括:
将所述网页特效引擎文件发布至服务器中;
所述将网页特效引擎文件加载到所述网页应用程序的直播网页中,包括:
从所述服务器中,将所述网页特效引擎文件加载到所述网页应用程序的直播网页中。
可选地,所述视频图像包括人脸图像,所述特效处理包括美颜处理,所述网页特效引擎文件中包括人脸识别函数和美颜处理函数,
所述根据所述网页特效引擎文件对所述视频图像进行特效处理,得到处理后的视频图像,包括:
调用所述网页特效引擎文件中的所述人脸识别函数,对所述视频图像中的所述人脸图像进行识别;
调用所述网页特效引擎文件中的所述美颜处理函数,对识别出的所述人脸图像进行美颜处理。
可选地,所述美颜处理包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种;
所述美颜处理函数包括滤镜函数、瘦脸函数、大眼函数、磨皮函数中、美白函数或五官立体函数的至少一种。
第二方面,提供了一种视频图像处理装置,所述装置包括:
采集模块,用于在主播用户通过所述网页应用程序进行视频直播的过程中,采集所述主播用户的视频图像;
加载模块,用于将网页特效引擎文件加载到所述网页应用程序的直播网页中;
处理模块,用于根据所述网页特效引擎文件对所述视频图像进行特效处理,得到处理后的视频图像;
显示模块,用于在所述直播网页的视频展示区域中,显示所述处理后的视频图像。
可选地,所述网页特效引擎文件的文件格式为网页汇编文件格式,所述装置还包括:
获取模块,用于获取代码特效引擎文件,所述代码特效引擎文件中包括采用编程语言编写的特效处理代码;
编译模块,用于将所述代码特效引擎文件编译为所述网页特效引擎文件。
可选地,所述装置还包括:
发布模块,用于将所述网页特效引擎文件发布至服务器中;
所述加载模块,用于从所述服务器中,将所述网页特效引擎文件加载到所述网页应用程序的直播网页中。
可选地,所述视频图像包括人脸图像,所述特效处理包括美颜处理,所述网页特效引擎文件中包括人脸识别函数和美颜处理函数,所述处理模块,用于:
调用所述网页特效引擎文件中的所述人脸识别函数,对所述视频图像中的所述人脸图像进行识别;
调用所述网页特效引擎文件中的所述美颜处理函数,对识别出的所述人脸图像进行美颜处理。
可选地,所述美颜处理包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种;
所述美颜处理函数包括滤镜函数、瘦脸函数、大眼函数、磨皮函数中、美白函数或五官立体函数的至少一种。
第三方面,提供了一种视频图像处理装置,包括:处理器和存储器,
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器上所存储的计算机程序,实现如第一方面任一所述的视频图像处理方法。
第四方面,提供了一种存储介质,当所述存储介质中的程序由处理器执行时,能够实现如第一方面任一所述的视频图像处理方法。
本公开实施例提供的技术方案带来的有益效果包括:
本公开实施例提供的视频图像处理方法及装置、存储介质,在主播用户通过网页应用程序进行视频直播的过程中,网页应用程序可以采集主播用户的视频图像,并将网页特效引擎文件加载到网页应用程序的直播网页中,之后,根据网页特效引擎文件对主播用户的视频图像进行特效处理,得到处理后的视频图像,并在直播网页的视频展示区域中显示处理后的视频图像。由于可以通过网页应用程序进行视频直播并对视频图像进行特效处理,因此降低了视频直播以及视频图像处理的局限性。
附图说明
图1是本公开各个实施例涉及的一种实施环境的示意图;
图2是本公开实施例提供的一种视频图像处理方法的方法流程图;
图3是本公开实施例提供的另一种视频图像处理方法的方法流程图;
图4是本公开实施例提供的一种视频图像处理装置的结构示意图;
图5是本申请实施例提供的另一种视频图像处理装置的结构示意图;
图6是本申请实施例提供的又一种视频图像处理装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开各个实施例涉及的一种实施环境的示意图,如图1所示,该实施环境可以包括:终端101和服务器102,终端101与服务器102建立有通信连接,该通信连接可以是有线连接或无线连接,该无线连接可以包括但不限于无线保真(英文:Wireless Fidelity,简称:WIFI)连接、数据连接、蓝牙连接或红外连接等,该有线连接可以包括但不限于通用串行总线(英文:Universal Serial Bus,简称:USB)连接。
终端101可以是平板电脑、笔记本电脑或台式电脑等,该图1以终端101是台式电脑为例。该终端101中可以安装有网页应用程序,该网页应用程序可以为能够显示网页的应用程序,示例地,该网页应用程序可以为浏览器。服务器102可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
在本公开实施例中,网页应用程序集成有视频直播功能,主播用户可以通过该网页应用程序进行视频直播。
可选地,在视频直播的过程中,该网页应用程序可以调用终端101中的摄像头采集主播用户的视频图像,并将网页特效引擎文件加载到网页应用程序的直播网页中,根据该网页特效引擎文件对该视频图像进行特效处理,并在直播网页的视频展示区域中,显示处理后的视频图像。可选地,该主播用户的视频图像可以包括主播用户的人脸图像,网页特效引擎文件中包括可以实现美颜功能的美颜处理函数,网页应用程序可以通过调用该美颜处理函数,对主播用户的人脸图像进行美颜处理。
可选地,在进行视频直播之前,终端101可以获取代码特效引擎文件,然后将该代码特效引擎文件编译为网页特效引擎文件,之后将该网页特效引擎文件发布至服务器102中。其中,该代码特效引擎文件中包括采用编程语言编写的特效处理代码,该特效处理代码中包括用于实现美颜功能的美颜处理函数。可选地,终端101中可以安装有编译工具,终端101可以通过该编译工具将代码特效引擎文件编译为网页特效引擎文件。
图2是本公开实施例提供的一种视频图像处理方法的方法流程图,该视频图像处理方法可以由网页应用程序执行,该网页应用程序可以运行在图1所示实施环境中的终端101上,如图2所示,该方法可以包括如下步骤:
步骤201、在主播用户通过网页应用程序进行视频直播的过程中,采集主播用户的视频图像。
步骤202、将网页特效引擎文件加载到网页应用程序的直播网页中。
步骤203、根据网页特效引擎文件对视频图像进行特效处理,得到处理后的视频图像。
步骤204、在直播网页的视频展示区域中,显示处理后的视频图像。
综上所述,本公开实施例提供的视频图像处理方法,在主播用户通过网页应用程序进行视频直播的过程中,网页应用程序可以采集主播用户的视频图像,并将网页特效引擎文件加载到网页应用程序的直播网页中,之后,根据网页特效引擎文件对主播用户的视频图像进行特效处理,得到处理后的视频图像,并在直播网页中显示处理后的视频图像。由于可以通过网页应用程序进行视频直播并对主播用户的视频图像进行特效处理,因此降低了视频直播以及视频图像处理的局限性。
图3是本公开实施例提供的另一种视频图像处理方法的方法流程图,该视频图像处理方法可以由图1所示实施环境中的终端101执行,如图3所示,该方法可以包括如下步骤:
步骤301、获取代码特效引擎文件,代码特效引擎文件中包括采用编程语言编写的特效处理代码。
终端可以获取代码特效引擎文件,该代码特效引擎文件中可以包括采用编程语言编写的特效处理代码。其中,该编程语言可以是C语言、C++语言或Rust语言,该特效处理代码用于实现对视频图像进行特效处理的功能。该特效处理代码中可以包括入口函数、人脸识别函数和美颜处理函数,该入口函数用于保证网页应用程序对人脸识别函数和美颜处理函数的调用,该人脸识别函数用于实现对人脸图像进行识别的功能,该美颜处理函数用于实现对人脸图像进行美颜处理的功能。可选地,该美颜处理函数中可以包括滤镜函数、瘦脸函数、大眼函数、磨皮函数、美白函数或五官立体函数中的至少一种,相应的,该美颜处理可以包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种。
可选地,开发人员可以使用终端,编写特效处理代码,从而使终端能够获取包括该特效处理代码的代码特效引擎文件;或者,开发人员可以在其它终端中编写好特效处理代码后得到代码特效引擎文件,终端可以从开发终端获取该代码特效引擎文件,本公开实施例对此不做限定。
步骤302、将代码特效引擎文件编译为网页特效引擎文件。
可选地,终端中可以安装有编译工具,终端可以通过该编译工具将代码特效引擎文件编译为网页特效引擎文件。其中,该网页特效引擎文件的文件格式可以为网页汇编(英文:WebAssembly,简称:wasm)文件格式,该编译工具可以为Emscripten编译工具。
在本公开实施例中,由于代码特效引擎文件中可以包括入口函数、人脸识别函数和美颜处理函数,因此该网页特效引擎文件中也可以包括入口函数、人脸识别函数和美颜处理函数,且代码特效引擎文件中的体现各个函数的语言为编程语言的函数,该网页特效引擎文件中的体现各个函数的语言为wasm语言。
需要说明的是,本公开实施例中,后续步骤204至步骤207的视频图像处理过程可以由终端中的网页应用程序执行,容易理解,网页应用程序通常是基于JavaScript语言开发得到的,该网页应用程序可以调用基于wasm语言的函数,而无法调用采用C语言、C++语言或Rust语言编写的函数,也即是网页应用程序无法调用该代码特效引擎文件中的函数,终端将基于编程语言的代码特效引擎文件编译为基于wasm语言的网页特效引擎文件,网页应用程序调用该特效引擎文件对视频图像进行特效处理。其中,网页应用程序可以为能够显示网页的应用程序,例如该网页应用程序可以为浏览器。
步骤303、将网页特效引擎文件发布至服务器中。
终端将代码特效引擎文件编译为网页特效引擎文件之后,可以向服务器发送该网页特效引擎文件,服务器可以接收该网页特效引擎文件并将该网页特效引擎文件存储至本地,以使得终端将网页特效引擎文件发布至服务器中。
需要说明的是,终端将网页特效引擎文件发布至服务器中之后,可以删除本地的网页特效引擎文件,以避免网页特效引擎文件对本地存储资源的占用,容易理解,终端也可以不删除本地的网页特效引擎文件。此外,本公开实施例是以终端将网页特效引擎文件发布至服务器中为例说明的,实际应用中,终端也可以不向服务器发布网页特效引擎文件,而将网页特效引擎文件存储在本地中,本公开实施例对此不做限定。
步骤304、在主播用户通过网页应用程序进行视频直播的过程中,采集主播用户的视频图像。
其中,终端中可以安装有网页应用程序,该步骤204至下述步骤207可以由终端中的该网页应用程序执行。
在本公开实施例中,主播用户可以通过该网页应用程序进行视频直播,在视频直播的过程中,该网页应用程序可以采集主播用户的视频图像,并在直播网页中显示主播用户的视频图像,其中,该主播用户的视频图像可以包括主播用户的人脸图像。
可选地,终端中包括摄像头,网页应用程序可以调用终端中的摄像头来采集主播用户的人脸图像。
步骤305、将网页特效引擎文件加载到网页应用程序的直播网页中。
网页应用程序可以获取网页特效引擎文件,并将网页特效引擎文件加载到网页应用程序的直播网页中。
可选地,网页应用程序可以通过终端向服务器发送获取请求,该获取请求携带有网页特效引擎文件的文件标识,服务器接收该获取请求后,根据该获取请求携带的文件标识,从本地获取网页特效引擎文件并向终端发送该网页特效引擎文件,网页应用程序通过终端接收该网页特效引擎文件。
需要说明的是,本公开实施例是以网页应用程序从服务器获取网页特效引擎文件为例说明的,实际应用中,当网页特效引擎文件存储在终端本地时,网页应用程序可以从终端获取网页特效引擎文件,这样一来,可以减小网页特效引擎文件获取过程所消耗的流量。
步骤306、根据网页特效引擎文件对视频图像进行特效处理,得到处理后的视频图像。
网页应用程序在加载网页特效引擎文件之后,可以根据网页特效引擎文件对直播网页中的视频图像进行特效处理,从而得到处理后的视频图像。
可选地,网页特效引擎文件中可以包括入口函数、人脸识别函数和美颜处理函数,该美颜处理函数中可以包括滤镜函数、瘦脸函数、大眼函数、磨皮函数、美白函数或五官立体函数中的至少一种,网页应用程序可以根据上述美颜处理函数对直播网页中的视频图像进行特效处理,从而得到处理后的视频图像。
可选地,网页应用程序可以首先调用网页特效引擎文件中的入口函数,在调用入口函数之后,网页应用程序调用网页特效引擎文件中的人脸识别函数对视频图像中的人脸图像进行识别,在识别出人脸图像之后,网页应用程序调用该网页特效引擎文件中的美颜处理函数对识别后的人脸图像进行美颜处理,容易理解,该美颜处理可以包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种。
可选地,直播网页中可以具有美颜按键,该美颜按键可以包括滤镜按键、瘦脸按键、大眼按键、磨皮按键、美白按键、五官立体按键和一键美颜按键,该一键美颜按键可以对应至少两种美颜功能,例如,一键美颜按键可以对应滤镜功能和瘦脸功能,或者对应滤镜功能、瘦脸功能和大眼功能,本公开实施例对此不作限定。在本公开实施例中,主播用户可以点击不同的美颜按键触发网页应用程序调用不同的美颜处理函数对视频图像进行处理。容易理解,由于一键美颜按键可以对应至少两种美颜功能,因此在主播用户点击一键美颜按键后,网页应用程序可以调用至少两种美颜函数对视频图像进行处理,网页应用程序通常可以按照该至少两种美颜函数在网页特效引擎文件中的顺序调用该至少两种美颜函数,或者,网页应用程序可以按照该至少两种美颜函数的处理效果调用该至少两种美颜函数,当然,网页应用程序还可以按照其他顺序调用该至少两种美颜函数,本公开实施例对此不做限定。
示例地,主播用户可以点击直播网页中的瘦脸按键,触发网页应用程序调用人脸识别函数对主播用户的视频图像中的人脸图像进行识别,并在识别出人脸图像后调用瘦脸函数对人脸图像进行瘦脸处理,从而得到瘦脸处理后的人脸图像。再示例地,当一键美颜按键对应滤镜功能和瘦脸功能时,主播用户可以点击直播网页中的一键美颜按键,触发网页应用程序调用人脸识别函数对主播用户的视频图像中的人脸图像进行识别,并在识别出人脸图像后调用滤镜函数对主播用户的人脸图像进行滤镜处理,之后调用瘦脸函数对人脸图像进行瘦脸处理,从而得到滤镜且瘦脸处理后的人脸图像。
需要说明的是,本公开实施例是以网页应用程序根据主播用户对美颜按键的点击来触发网页应用程序对视频图像进行美颜处理为例说明的,实际应用中,网页应用程序可以在加载网页特效引擎文件之后,直接调用该网页特效引擎文件中的各个函数对视频图像进行美颜处理,而无需主播用户通过美颜按键进行触发,本公开实施例对此不做限定。
本领域技术人员容易理解,对视频图像进行处理的过程实际上是改变视频图像中各个像素点的像素值,因此在网页应用程序对主播用户的人脸图像进行美颜处理的过程中,网页应用程序可以获取人脸图像中每个像素点的初始像素值,并根据每个像素点的该初始像素值,通过美颜处理函数计算该每个像素点的美颜像素值,并将每个像素点的像素值配置为该美颜像素值,从而对人脸图像进行美颜处理。
307、在直播网页的视频展示区域中,显示处理后的视频图像。
网页应用程序在对视频图像进行特效处理后,可以在直播网页的视频展示区域中绘制处理后的视频图像,并在该视频展示区域中显示该处理后的视频图像。可选地,该处理后的视频图像可以是美颜处理后的人脸图像,例如,处理后的视频图像可以是瘦脸处理后的人脸图像,也可以是磨皮处理后的人眼图像,还可以是一键美颜处理后的人眼图像,本公开实施例对此不作限定。
综上所述,本公开实施例提供的视频图像处理方法,在主播用户通过网页应用程序进行视频直播的过程中,网页应用程序可以采集主播用户的视频图像,并将网页特效引擎文件加载到网页应用程序的直播网页中,之后,根据网页特效引擎文件对主播用户的视频图像进行特效处理,得到处理后的视频图像,并在直播网页中显示处理后的视频图像。由于可以通过网页应用程序进行视频直播并对主播用户的视频图像进行特效处理,因此降低了视频直播以及视频图像处理的局限性。
图4是本公开实施例提供的一种视频图像处理装置400的结构示意图,该视频图像处理装置400可以是网页应用程序,如图4所示,该视频图像处理装置400可以包括:
采集模块401,用于在主播用户通过网页应用程序进行视频直播的过程中,采集主播用户的视频图像;
加载模块402,用于将网页特效引擎文件加载到网页应用程序的直播网页中;
处理模块403,用于根据网页特效引擎文件对视频图像进行特效处理,得到处理后的视频图像;
显示模块404,用于在直播网页的视频展示区域中,显示处理后的视频图像。
综上所述,本公开实施例提供的视频图像处理装置,在主播用户通过网页应用程序进行视频直播的过程中,采集模块可以采集主播用户的视频图像,加载模块将网页特效引擎文件加载到网页应用程序的直播网页中,之后,处理模块根据网页特效引擎文件对主播用户的视频图像进行特效处理,得到处理后的视频图像,显示模块在直播网页的视频展示区域中显示处理后的视频图像。由于可以通过网页应用程序进行视频直播并对视频图像进行特效处理,因此降低了视频直播以及视频图像处理的局限性。
可选地,网页特效引擎文件的文件格式为网页汇编文件格式,请参考图5,其示出了本申请实施例提供的另一种该视频图像处理装置400的结构示意图,如图5所示,在图4的基础上,该视频图像处理装置400还包括:
获取模块405,用于获取代码特效引擎文件,代码特效引擎文件中包括采用编程语言编写的特效处理代码;
编译模块406,用于将代码特效引擎文件编译为网页特效引擎文件。
可选地,请继续参考图5,该视频图像处理装置400还包括:
发布模块407,用于将网页特效引擎文件发布至服务器中;
加载模块402,用于从该服务器中,将网页特效引擎文件加载到网页应用程序的直播网页中。
可选地,视频图像包括人脸图像,特效处理包括美颜处理,网页特效引擎文件中包括人脸识别函数和美颜处理函数,处理模块403,用于:
调用网页特效引擎文件中的人脸识别函数,对视频图像中的人脸图像进行识别;
调用网页特效引擎文件中的美颜处理函数,对识别出的人脸图像进行美颜处理。
可选地,美颜处理包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种;
美颜处理函数包括滤镜函数、瘦脸函数、大眼函数、磨皮函数中、美白函数或五官立体函数的至少一种。
综上所述,本公开实施例提供的视频图像处理装置,在主播用户通过网页应用程序进行视频直播的过程中,采集模块可以采集主播用户的视频图像,加载模块将网页特效引擎文件加载到网页应用程序的直播网页中,之后,处理模块根据网页特效引擎文件对主播用户的视频图像进行特效处理,得到处理后的视频图像,显示模块在直播网页的视频展示区域中显示处理后的视频图像。由于可以通过网页应用程序进行视频直播并对视频图像进行特效处理,因此降低了视频直播以及视频图像处理的局限性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供了一种视频图像处理装置,包括:处理器和存储器,
存储器,用于存储计算机程序。
处理器,用于执行存储器上所存储的计算机程序,实现如图2或图3所示的视频图像处理方法。
图6是本申请实施例提供的又一种视频图像处理装置600的结构示意图。该装置600可以是终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。该装置600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,视频图像处理装置600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请实施例提供的视频图像处理方法。
在一些实施例中,该装置600还可以包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以为OLED(OrganicLight-Emitting Diode,有机发光二极管)显示屏。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在视频图像处理装置600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位该装置600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源609用于为该装置600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,视频图像处理装置600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以该装置600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测该装置600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对该装置600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在该装置600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在该装置600的侧边框时,可以检测用户对该装置600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,由处理器601根据用户对触摸显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置该装置600的正面、背面或侧面。当该装置600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在该装置600的前面板。接近传感器616用于采集用户与该装置600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与该装置600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对视频图像处理装置600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例提供了一种存储介质,当存储介质中的程序由处理器执行时,能够实现如图2或图3所示的视频图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本申请中,术语“第一”和“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
本公开中术语“A或B的至少一种”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B的至少一种,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。同理,“A、B或C的至少一种”表示可以存在七种关系,可以表示:单独存在A,单独存在B,单独存在C,同时存在A和B,同时存在A和C,同时存在C和B,同时存在A、B和C这七种情况。同理,“A、B、C或D的至少一种”表示可以存在十五种关系,可以表示:单独存在A,单独存在B,单独存在C,单独存在D,同时存在A和B,同时存在A和C,同时存在A和D,同时存在C和B,同时存在D和B,同时存在C和D,同时存在A、B和C,同时存在A、B和D,同时存在A、C和D,同时存在B、C和D,同时存在A、B、C和D,这十五种情况。
以上所述仅为本公开的可选实施例,并不用以限制本公开,凡在本公开的构思和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (10)

1.一种视频图像处理方法,其特征在于,应用于网页应用程序,所述方法包括:
在主播用户通过所述网页应用程序进行视频直播的过程中,采集所述主播用户的视频图像;
将网页特效引擎文件加载到所述网页应用程序的直播网页中,所述直播网页中具有美颜按键;
调用所述网页特效引擎文件中的人脸识别函数,对所述视频图像中的人脸图像进行识别;基于针对所述美颜按键的触发操作,调用所述网页特效引擎文件中的美颜处理函数,对识别出的所述人脸图像进行美颜处理,得到处理后的视频图像;
在所述直播网页的视频展示区域中,显示所述处理后的视频图像;
所述将网页特效引擎文件加载到所述网页应用程序的直播网页中,包括:
当网页特效引擎文件存储在服务器时,向所述服务器发送获取请求,以获取所述网页特效引擎文件,将所述网页特效引擎文件加载到所述网页应用程序的直播网页中,所述获取请求中携带所述网页特效引擎文件的文件标识;或者,
当网页特效引擎文件存储在终端本地时,从所述终端中获取所述网页特效引擎文件,将所述网页特效引擎文件加载到所述网页应用程序的直播网页中。
2.根据权利要求1所述的方法,其特征在于,所述网页特效引擎文件的文件格式为网页汇编文件格式,
在将网页特效引擎文件加载到所述网页应用程序的直播网页中之前,所述方法还包括:
获取代码特效引擎文件,所述代码特效引擎文件中包括采用编程语言编写的特效处理代码;
将所述代码特效引擎文件编译为所述网页特效引擎文件。
3.根据权利要求2所述的方法,其特征在于,
在将所述代码特效引擎文件编译为所述网页特效引擎文件之后,所述方法还包括:
将所述网页特效引擎文件发布至服务器中。
4.根据权利要求1所述的方法,其特征在于,
所述美颜处理包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种;
所述美颜处理函数包括滤镜函数、瘦脸函数、大眼函数、磨皮函数、美白函数或五官立体函数中的至少一种。
5.一种视频图像处理装置,其特征在于,应用于网页应用程序,所述装置包括:
采集模块,用于在主播用户通过所述网页应用程序进行视频直播的过程中,采集所述主播用户的视频图像;
加载模块,用于将网页特效引擎文件加载到所述网页应用程序的直播网页中,所述直播网页中具有美颜按键;
处理模块,用于调用所述网页特效引擎文件中的人脸识别函数,对所述视频图像中的人脸图像进行识别;基于针对所述美颜按键的触发操作,调用所述网页特效引擎文件中的美颜处理函数,对识别出的所述人脸图像进行美颜处理,得到处理后的视频图像;
显示模块,用于在所述直播网页的视频展示区域中,显示所述处理后的视频图像;
所述加载模块,用于当网页特效引擎文件存储在服务器时,向所述服务器发送获取请求,以获取所述网页特效引擎文件,将所述网页特效引擎文件加载到所述网页应用程序的直播网页中,所述获取请求中携带所述网页特效引擎文件的文件标识;或者,
当网页特效引擎文件存储在终端本地时,从所述终端中获取所述网页特效引擎文件,将所述网页特效引擎文件加载到所述网页应用程序的直播网页中。
6.根据权利要求5所述的装置,其特征在于,所述网页特效引擎文件的文件格式为网页汇编文件格式,所述装置还包括:
获取模块,用于获取代码特效引擎文件,所述代码特效引擎文件中包括采用编程语言编写的特效处理代码;
编译模块,用于将所述代码特效引擎文件编译为所述网页特效引擎文件。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
发布模块,用于将所述网页特效引擎文件发布至服务器中。
8.根据权利要求5所述的装置,其特征在于,
所述美颜处理包括滤镜处理、瘦脸处理、大眼处理、磨皮处理、美白处理或五官立体处理中的至少一种;
所述美颜处理函数包括滤镜函数、瘦脸函数、大眼函数、磨皮函数、美白函数或五官立体函数中的至少一种。
9.一种视频图像处理装置,其特征在于,包括:处理器和存储器,
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器上所存储的计算机程序,实现如权利要求1至4任一所述的视频图像处理方法。
10.一种存储介质,其特征在于,当所述存储介质中的程序由处理器执行时,能够实现如权利要求1至4任一所述的视频图像处理方法。
CN201910979387.2A 2019-10-15 2019-10-15 视频图像处理方法及装置、存储介质 Active CN110677713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910979387.2A CN110677713B (zh) 2019-10-15 2019-10-15 视频图像处理方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979387.2A CN110677713B (zh) 2019-10-15 2019-10-15 视频图像处理方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110677713A CN110677713A (zh) 2020-01-10
CN110677713B true CN110677713B (zh) 2022-02-22

Family

ID=69082497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979387.2A Active CN110677713B (zh) 2019-10-15 2019-10-15 视频图像处理方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN110677713B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510744B (zh) * 2020-07-01 2020-10-16 北京美摄网络科技有限公司 一种处理视音频的方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979194A (zh) * 2016-05-26 2016-09-28 努比亚技术有限公司 一种视频图像处理装置和方法
CN106341720A (zh) * 2016-08-18 2017-01-18 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN108563517A (zh) * 2018-03-30 2018-09-21 腾讯科技(深圳)有限公司 系统接口的调用方法及装置
CN109670128A (zh) * 2018-11-06 2019-04-23 北京居然设计家网络科技有限公司 一种基于WebAssembly的网页应用实现方法及装置
CN110312169A (zh) * 2019-07-30 2019-10-08 腾讯科技(深圳)有限公司 视频数据处理方法、装置、终端及服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751648A (zh) * 2010-01-07 2010-06-23 江周平 一种基于网页应用的在线试穿试戴方法
US9866545B2 (en) * 2015-06-02 2018-01-09 ALTR Solutions, Inc. Credential-free user login to remotely executed applications
US10742894B2 (en) * 2017-08-11 2020-08-11 Ut-Battelle, Llc Optical array for high-quality imaging in harsh environments
CN109819316B (zh) * 2018-12-28 2021-06-01 北京字节跳动网络技术有限公司 处理视频中人脸贴纸的方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979194A (zh) * 2016-05-26 2016-09-28 努比亚技术有限公司 一种视频图像处理装置和方法
CN106341720A (zh) * 2016-08-18 2017-01-18 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN108563517A (zh) * 2018-03-30 2018-09-21 腾讯科技(深圳)有限公司 系统接口的调用方法及装置
CN109670128A (zh) * 2018-11-06 2019-04-23 北京居然设计家网络科技有限公司 一种基于WebAssembly的网页应用实现方法及装置
CN110312169A (zh) * 2019-07-30 2019-10-08 腾讯科技(深圳)有限公司 视频数据处理方法、装置、终端及服务器

Also Published As

Publication number Publication date
CN110677713A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN108401124B (zh) 视频录制的方法和装置
CN110602321B (zh) 应用程序切换方法、装置、电子装置及存储介质
CN110971930A (zh) 虚拟形象直播的方法、装置、终端及存储介质
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN108717365B (zh) 在应用程序中执行功能的方法和装置
CN110308956B (zh) 一种应用界面显示方法、装置及移动终端
CN112084811A (zh) 身份信息的确定方法、装置及存储介质
CN108132790B (zh) 检测无用代码的方法、装置及计算机存储介质
CN110769313B (zh) 视频处理方法及装置、存储介质
CN109783176B (zh) 切换页面的方法和装置
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN110677713B (zh) 视频图像处理方法及装置、存储介质
CN110288689B (zh) 对电子地图进行渲染的方法和装置
CN111881423A (zh) 限制功能使用授权方法、装置、系统
CN109189525B (zh) 加载子页面的方法、装置、设备及计算机可读存储介质
CN107943484B (zh) 执行业务功能的方法和装置
CN110941458A (zh) 启动应用程序的方法、装置、设备及存储介质
CN110045999B (zh) 绘制组件的方法、装置、终端和存储介质
CN111064994B (zh) 视频图像处理方法及装置、存储介质
CN109117466B (zh) 表格格式转换方法、装置、设备及存储介质
CN112486371B (zh) 应用图标的拖动方法、装置及存储介质
CN111897465B (zh) 弹窗显示方法、装置、设备及存储介质
CN111008381B (zh) 终端检测方法、装置、终端及存储介质
CN110471613B (zh) 存储数据的方法、读取数据的方法、装置及系统
CN108881715B (zh) 拍摄模式的启用方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant