CN113014830A - 视频虚化方法、装置、设备及存储介质 - Google Patents
视频虚化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113014830A CN113014830A CN202110227606.9A CN202110227606A CN113014830A CN 113014830 A CN113014830 A CN 113014830A CN 202110227606 A CN202110227606 A CN 202110227606A CN 113014830 A CN113014830 A CN 113014830A
- Authority
- CN
- China
- Prior art keywords
- video
- face
- face head
- head portrait
- blurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims description 35
- 238000012216 screening Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims 6
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及视频技术领域，公开了一种视频虚化方法、装置、设备及存储介质。本发明通过获取待虚化视频帧；从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理；解决了现有技术中视频虚化方式单一，无法满足多元化用户需求的问题，同时，对待虚化视频帧中，除预设目标人脸头像外的人脸头像进行虚化处理，不仅可以突出拍摄主体，还可以使用户欣赏到视频中的风景。
Description
技术领域
本发明涉及视频处理领域，尤其涉及一种视频虚化方法、装置、设备及存储介质。
背景技术
随着手机等智能终端设备的普及以及通信技术的发展，视频作为重要的传输媒介，越来越受到用户欢迎。基于突出拍摄主体或保护隐私等目的，可以对视频进行虚化。
但是，目前对视频进行虚化的方式比较单一，通常是将视频的整个背景进行虚化，无法满足多元化的用户需求。
发明内容
本发明的主要目的在于提供视频虚化方法、装置、设备及存储介质，旨在解决现有视频虚化方式单一，无法满足多元化用户需求的技术问题。
为实现上述目的，本发明提供一种视频虚化方法，所述视频虚化方法包括以下步骤：
获取待虚化视频帧；
从所述待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；
将所述人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理。
可选的，所述将所述人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理的步骤，包括：
基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合；
从所述候选人脸头像集合中，确定与所述预设目标人脸头像匹配的保留人脸头像；
将所述人脸头像集合中，除所述保留人脸头像外的所有人脸头像进行虚化处理。
可选的，所述基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合的步骤，包括：
识别所述人脸头像集合中，每一人脸头像的尺寸；
从所述人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到候选人脸头像集合。
可选的，所述基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合的步骤，包括：
从所述人脸头像集合中，筛选出所述待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合；所述N为大于等于1的整数。
可选的，所述基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合的步骤，包括：
识别所述人脸头像集合中，每一人脸头像的尺寸；
从所述人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到初始候选人脸头像集合；
从所述初始候选人脸头像集合中，筛选出所述待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合；所述N为大于等于1的整数。
可选的，所述待虚化视频帧为视频通话过程中的视频帧，所述预设尺寸阈值基于视频通话界面的尺寸设置；
所述获取待虚化视频帧的步骤，包括：
在视频通话过程中，获取摄像头采集的视频帧，以作为待虚化视频帧。
可选的，所述在视频通话过程中，获取摄像头采集的视频帧，以作为待虚化视频帧的步骤之前，还包括：
接收虚化功能开启指令；
在视频通话界面显示设置框；
将所述摄像头采集的画面显示在所述视频通话界面；
将所述视频通话界面中，所述设置框内的图像作为所述预设目标人脸头像。
此外，为实现上述目的，本发明还提出一种视频虚化装置，所述视频虚化装置包括：
获取模块，用于获取待虚化视频帧；
检测模块，用于从所述待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；
虚化模块，用于将所述人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理。
此外，为实现上述目的，本发明还提出一种视频虚化设备，所述视频虚化设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行视频虚化程序，所述视频虚化程序被所述处理器执行时实现前述任一项所述的视频虚化方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视频虚化程序，所述视频虚化程序被处理器执行时实现前述任一项所述的视频虚化方法的步骤。
本发明提供的技术方案，通过获取待虚化视频帧；从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理；解决了现有技术中视频虚化方式单一，无法满足多元化用户需求的问题。
也即本发明提供的技术方案，提供了一种新的视频虚化方式，从而丰富了视频虚化方式，同时，对待虚化视频帧中，除预设目标人脸头像外的人脸头像进行虚化处理，不仅可以突出拍摄主体，还可以使用户欣赏到视频中的风景。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频虚化设备结构示意图；
图2为本发明视频虚化方法第一实施例的流程示意图；
图3为本发明视频虚化方法第四实施例的视频通话界面示意图；
图4为本发明视频虚化装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的视频虚化设备结构示意图。
视频虚化设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、车载设备、可穿戴设备、计算设备、电视机、监控设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。设备可能被称为用户终端、便携式终端、台式终端等。
通常，视频虚化设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的视频虚化程序，所述视频虚化程序配置为实现如下任一实施例所述的视频虚化方法的步骤。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关视频虚化方法操作，使得视频虚化方法模型可以自主训练学习，提高效率和准确度。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的视频虚化方法。
在一些实施例中，视频虚化设备还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。本领域技术人员可以理解，图1中示出的结构并不构成对视频虚化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视频虚化程序，所述视频虚化程序被处理器执行时实现如下文任一实施例所述的视频虚化方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
本领域普通技术人员可以理解实现下文任一实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述视频虚化程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如下述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
基于上述硬件结构，提出本发明的各实施例。
视频虚化方法实施例：
参照图2，图2为本发明视频虚化方法第一实施例的流程示意图。
本实施例中视频虚化方法包括以下步骤：
步骤S20：获取待虚化视频帧。
需要说明的是，本发明实施例中，待虚化视频帧可以是一段视频中的视频帧；或者，待虚化视频也可以是直播过程中的视频帧；或者，待虚化视频帧也可以是视频通话过程中的视频帧，应当理解的是，视频通话过程中，通话双方中的任何一端都需要通过摄像头采集视频帧传输给对端，其中，待虚化视频帧可以是视频通话过程中，本端摄像头采集的视频帧，或者，也可以是本端接收到的对端摄像头采集的视频帧，也就是说，本端可以将本端摄像头采集的视频帧作为待虚化视频帧，对其进行虚化后，发送给对端进行显示，本端也可以在接收到对端发送的视频帧后，将接收到的视频帧作为待虚化视频帧，对其进行虚化处理后显示。
步骤S21：从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合。
本发明实施例中，在获取待虚化视频帧后，对待虚化视频帧进行检测，以从待虚化视频帧中识别出至少两个人脸头像，得到人脸头像集合。
其中，对待虚化视频帧进行检测以从待虚化视频帧中识别出人脸头像的具体方式可以根据实际需要灵活设置。例如，可以基于人脸检测模型，对待虚化视频帧进行检测以从待虚化视频帧中识别出人脸头像，为了提高检测精度，该人脸检测模型可以是基于MobileNet V3创建，应当理解的是，MobileNet V3是一种轻量级神经网络，当然，该人脸检测模型也可以是基于其他神经网络创建。
步骤S22：将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理。
其中，预设目标人脸头像为预先设置的人脸头像，其为需要保留的人脸头像，例如，假设针对视频通话，预设目标人脸头像可以是视频通话用户的的人脸头像。预设目标人脸头像的设置方式可以根据实际需要灵活设置，例如，预设目标人脸头像可以是通过摄像头采集的，或者，预设目标人脸头像可以是用户指定的图像。
本发明实施例中，在得到人脸头像集合后，将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理，其中，具体实现方式可以根据实际需要灵活设置。
本发明实施例提供一种视频虚化方法，获取待虚化视频帧；从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理；从而提供一种新的视频虚化方式，丰富了视频虚化方式，同时，对待虚化视频帧中，除预设目标人脸头像外的人脸头像进行虚化处理，不仅可以突出拍摄主体，还可以使用户欣赏到视频中的风景。
基于上述第一实施例，提出本发明视频虚化方法的第二实施例。本发明实施例中，为了从人脸头像集合中，确定出预设人脸头像外的人脸头像，以对其进行虚化处理，步骤S22包括：
步骤S221：从人脸头像集合中，确定与预设目标人脸头像匹配的保留人脸头像。
本发明实施例中，得到人脸头像集合后，从人脸头像集合中，确定与预设目标人脸头像匹配的人脸头像，将其作为保留人脸头像。
其中，判断人脸头像集合中的人脸头像与预设目标人脸头像是否匹配的方式可以是：对人脸头像集合中的人脸头像与预设目标人脸头像进行人脸特征相似度分析，以得到相似度值，若相似度值大于预设第一相似度阈值，则匹配；若相似度值小于预设第一相似度阈值，则不匹配。预设第一相似度阈值可以根据实际需要灵活设置，例如，设置为80％、85％、90％等。
例如，假设从人脸头像集合中，包括人脸1、人脸2和人脸3，预设第一相似度阈值为80，将人脸1、人脸2和人脸3分别与预设目标人脸头像进行人脸特征相似度分析后，得到的相似度值分别为10％、89％、20％，由于人脸2与预设目标人脸头像的相似度值大于预设第一相似度阈值，因此，人脸2为保留人脸头像。
在一些实施方式中，在进行人脸特征相似度分析时，可以基于前述人脸检测模型(例如基于MobileNet V3创建的人脸检测模型)进行人脸特征相似度分析；当然，还可以基于其他方式，进行人脸特征相似度分析。
步骤S222：将人脸头像集合中，除保留人脸头像外的所有人脸头像进行虚化处理。
本发明实施例中，从人脸头像集合中确定保留人脸头像之后，就可以将人脸头像集合中，除保留人脸头像外的所有人脸头像进行虚化处理。
本发明实施例提供一种视频虚化方法，获取待虚化视频帧；从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；从人脸头像集合中，确定与预设目标人脸头像匹配的保留人脸头像；将人脸头像集合中，除保留人脸头像外的所有人脸头像进行虚化处理；从而提供一种新的视频虚化方式，丰富了视频虚化方式，同时，对待虚化视频帧中，除预设目标人脸头像外的人脸头像进行虚化处理，不仅可以突出拍摄主体，还可以使用户欣赏到视频中的风景。
基于上述第一实施例，提出本发明视频虚化方法的第三实施例。本发明实施例中，为了从人脸头像集合中，确定出预设人脸头像外的人脸头像，以对其进行虚化处理，步骤S22包括：
步骤S223：基于预设筛选条件对人脸头像集合进行筛选，以得到候选人脸头像集合。
本发明实施例中，为了降低数据处理量、提升后续确定保留人脸头像的精度，预先设置有筛选条件，对人脸头像集合进行筛选，以得到候选人脸头像集合，这样，后续可以从候选人脸头像集合中，确定与预设目标人脸头像匹配的保留人脸头像，从而降低数据处理量。
其中，预设筛选条件可以根据实际需要灵活设置。
在一些实施方式中，考虑到预设目标人脸在待虚化视频帧中的尺寸通常较大，例如，假设预设目标人脸为视频通话用户的人脸，在视频通话过程中，视频通话用户的人脸通常较大，其他人脸通常较小，因此，可以基于尺寸对人脸头像集合进行筛选。其中，步骤S223可以包括：
步骤S2231：识别人脸头像集合中，每一人脸头像的尺寸。
得到人脸头像集合后，针对人脸头像集合中的每一人脸头像，识别其尺寸。
步骤S2232：从人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到候选人脸头像集合。
需要说明的是，预设尺寸阈值可以根据实际需要灵活设置，在一个示例中，预设尺寸阈值可以基于待虚化视频帧的尺寸设置，例如，可以设置为待虚化视频帧尺寸的10％、15％等；在另一示例中，若待虚化视频帧为视频通话过程中的视频帧，预设尺寸阈值可以基于视频通话界面的尺寸设置，例如，可以设置为视频通话界面的尺寸的30％、20％等。
识别人脸头像集合中，每一人脸头像的尺寸后，从人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到候选人脸头像集合，也就是说，候选人脸头像集合包括尺寸大于等于预设尺寸阈值的人脸头像；这样，后续可以从尺寸大于等于预设尺寸阈值的人脸头像中，确定与预设目标人脸头像匹配的保留人脸头像，不仅可以降低数据处理量，还由于进行比对的是尺寸较大的人脸头像，可以提升识别精度。
在一些实施方式中，考虑到预设目标人脸在视频中通常是连续出现的，例如，假设预设目标人脸为视频通话用户的人脸，在视频通话过程中，预设目标人脸通常是连续出现的，可以基于人脸头像是否连续出现对人脸头像集合进行筛选。其中，步骤S223可以包括：从人脸头像集合中，筛选出待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合，候选人脸头像集合包括：人脸头像集合中，待虚化视频帧的前N帧视频帧中，均存在的人脸头像。其中，N为大于等于1的整数，N的具体取值可以根据实际需要灵活设置。例如，可以设置为1、2、3、4、5等。
例如，假设人脸头像集合包括人脸1、人脸2、人脸3，前N帧视频帧为第一视频帧和第二视频帧，第一视频帧包括人脸1和人脸2，第二视频帧包括人脸1、人脸2、人脸3和人脸4，由于只有人脸1和人脸2在前N帧视频帧中均存在，因此，候选人脸头像集合包括人脸1和人脸2。
由于需要从人脸头像集合中，筛选出待虚化视频帧的前N帧视频帧中，均存在的人脸头像，因此，需要判断人脸头像集合中的人脸头像在待虚化视频帧的前N帧视频帧中是否均存在。其中，判断人脸头像集合中的人脸头像是否在某一视频帧中是否存在的方式可以是：将人脸头像集合中的人脸头像与视频帧中的人脸头像进行人脸特征相似度分析以得到相似度值，若视频帧中存在与人脸头像集合中的人脸头像相似度值大于预设第二相似度阈值的人脸头像，则判定人脸头像集合中的人脸头像在该视频帧中存在；若视频帧中不存在与人脸头像集合中的人脸头像相似度值大于预设第二相似度阈值的人脸头像，则判定人脸头像集合中的人脸头像在该视频帧中不存在。其中，预设第二相似度阈值可以根据实际需要灵活设置，例如，可以设置为90％、98％、80％等。在进行人脸特征相似度分析时，可以基于前述人脸检测模型进行分析。
其中，为了进一步降低数据处理量，从人脸头像集合中，筛选出待虚化视频帧的前N帧视频帧中，均存在的人脸头像时，可以基于时间先后顺序，从待虚化视频帧和前N帧视频帧中，依次确定相邻视频帧中均存在的人脸头像，从而从人脸头像集合中，筛选出待虚化视频帧的前N帧视频帧后，均存在的人脸头像。例如，假设N为3，按照时间顺序，依次有第1帧视频帧、第2帧视频帧、第3帧视频帧和待虚化视频帧，则可以先确定第1帧视频帧和第2帧视频帧中均存在的人脸头像，然后基于均存在的人脸头像和第3帧视频帧，确定第1帧视频帧、第2帧视频帧和第3帧视频帧中均存在的人脸头像，再基于均存在的人脸头像和人脸头像集合，确定人脸头像集合中前N帧视频帧中均存在的人脸头像；或者，可以先基于人脸头像集合和第3帧视频帧确定人脸头像集合和第3帧视频帧中均存在的人脸头像，然后基于均存在的人脸头像和第2帧视频帧确定人脸头像集合、第3帧视频帧和第2帧视频帧中均存在的人脸头像，再基于均存在的人脸头像和第1帧视频帧，确定人脸头像集合中，前N帧视频帧中均存在的人脸头像。
在一些实施方式中，可以基于尺寸和人脸头像是否连续出现，对人脸头像集合进行筛选。其中，步骤S223包括：
步骤1：识别人脸头像集合中，每一人脸头像的尺寸。
得到人脸头像集合后，针对人脸头像集合中的每一人脸头像，识别其尺寸。
步骤2：从人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到初始候选人脸头像集合。
其中，对于步骤2的实现方式，与前述步骤S2232类似，此处不再赘述。
步骤3：从初始候选人脸头像集合中，筛选出待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合。
其中，步骤3的具体实现方式，与前述“从人脸头像集合中，筛选出待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合”类似，此处不再赘述。
在这种实施方式中，基于尺寸和人脸头像是否连续出现，对人脸头像集合进行筛选，从而进一步降低了后续确定保留人脸头像的数据处理量，提升了识别精度。
步骤S224：从候选人脸头像集合中，确定与预设目标人脸头像匹配的保留人脸头像。
在得到候选人脸头像集合后，从候选人脸头像集合中，确定与预设目标人脸头像匹配的人脸头像，以作为保留人脸头像。其中，保留人脸头像为候选人脸头像集合中，与预设目标人脸头像的相似度值大于预设第一相似度阈值的人脸头像。
步骤S225：将人脸头像集合中，除保留人脸头像外的所有人脸头像进行虚化处理。
在确定保留人脸头像后，将人脸头像集合中，除保留人脸头像外的所有人脸头像进行虚化处理。
本发明实施例提供一种视频虚化方法，获取待虚化视频帧；从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；基于预设筛选条件对人脸头像集合进行筛选，以得到候选人脸头像集合；从候选人脸头像集合中，确定与预设目标人脸头像匹配的保留人脸头像；将人脸头像集合中，除保留人脸头像外的所有人脸头像进行虚化处理，从而降低数据处理量，提升识别精度。
基于前述实施例，提出本发明视频虚化方法的第四实施例。本发明实施例中，步骤S20包括：在视频通话过程中，获取摄像头采集的视频帧，以作为待虚化视频帧。也就是说，本发明实施例中，是在视频通话过程中，对摄像头采集的视频帧进行虚化。
在一些实施方式中，为了确定预设目标人脸头像，步骤S20之前，视频虚化方法还包括：
步骤S23：接收虚化功能开启指令。
本发明实施例中，可以接收用户下发的虚化功能开启指令。其中，可以在视频通话界面设置虚化功能选择控件，通过该虚化功能选择控件接收虚化功能开启指令。
在一些实施方式中，可以在接收到视频通话请求时，接收虚化功能开启指令；该视频通话请求可以是视频通话对端发送的，也可以是本端用户下发的。或者，也可以在视频通话建立后，在视频通话的过程中，接收虚化功能开启指令。
步骤S24：在视频通话界面显示设置框。
接收到虚化功能开启指令后，启动虚化功能，为了获取预设目标人脸头像，本发明实施例中，在视频通话界面显示设置框。其中，设置框可以显示在视频通话界面中间或其他位置，设置框的位置还可以基于用户操作移动。设置框的形状可以根据实际需要灵活设置，例如，可以是圆形框、椭圆形框、矩形框等。设置框的颜色可以基于实际需要灵活设置，例如，可以是红色、蓝色、黄色等。
在一个示例中，参见图3所示，在视频通话界面31显示设置框32。
步骤S25：将摄像头采集的画面显示在视频通话界面。
显示设置框后，将摄像头采集的画面显示在视频通话界面，此时，用户可以根据视频通话界面上显示的画面，将自己的脸移动至设置框内，从而将自己的脸设置为预设目标人脸头像。
步骤S26：将视频通话界面中，设置框内的图像作为预设目标人脸头像。
本发明实施例中，将视频通话界面中，设置框内的图像作为预设目标人脸头像。其中，获取预设目标人脸头像后，可以将其存储至缓存中，随着此次视频通话结束而删除；或者，也可以将其存储至预设位置，在下次视频通话过程中，开启虚化功能后，可以直接从预设位置获取预设目标人脸头像。
在一些实施方式中，在执行步骤S26时，还可以获取视频通话界面的尺寸，以作为预设尺寸阈值的基础。
在一些实施方式中，步骤S22之后，视频虚化方法还可以包括：将虚化处理后的待虚化视频帧发送至视频通话对端，以使视频通话对端显示虚化处理后的待虚化视频帧。
在一些实施方式中，由于本端也会显示摄像头采集的视频帧(即待虚化视频帧)，步骤S22之后，视频虚化方法还可以包括：显示虚化处理后的待虚化视频帧，或，显示未经过虚化处理的虚化视频帧。
本发明实施例提供的视频虚化方法，接收虚化功能开启指令，在视频通话界面显示设置框，将摄像头采集的画面显示在视频通话界面，将视频通话界面中，设置框内的图像作为预设目标人脸头像，在视频通话过程中，获取摄像头采集的视频帧，以作为待虚化视频帧，从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理，从而实现在视频通话过程中，将除本端用户人脸外的人脸进行虚化，以突出本端用户，并使视频通话对端用户可以欣赏本端的风景。
视频虚化装置实施例：
基于前述实施例，提出发明实施例的视频虚化装置。参照图4，图4为本发明视频虚化装置第一实施例的结构框图，其中视频虚化装置包括：
获取模块40，用于获取待虚化视频帧。
检测模块41，用于从待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合。
虚化模块42，用于将人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理。
需要说明的是，视频虚化装置还可选的包括有对应的模块，以实现前述视频虚化方法中的其他步骤。
本发明的视频虚化装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种视频虚化方法，其特征在于，所述视频虚化方法包括：
获取待虚化视频帧；
从所述待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；
将所述人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理。
2.如权利要求1所述的视频虚化方法，其特征在于，所述将所述人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理的步骤，包括：
基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合；
从所述候选人脸头像集合中，确定与所述预设目标人脸头像匹配的保留人脸头像；
将所述人脸头像集合中，除所述保留人脸头像外的所有人脸头像进行虚化处理。
3.如权利要求2所述的视频虚化方法，其特征在于，所述基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合的步骤，包括：
识别所述人脸头像集合中，每一人脸头像的尺寸；
从所述人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到候选人脸头像集合。
4.如权利要求2所述的视频虚化方法，其特征在于，所述基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合的步骤，包括：
从所述人脸头像集合中，筛选出所述待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合；所述N为大于等于1的整数。
5.如权利要求2所述的视频虚化方法，其特征在于，所述基于预设筛选条件对所述人脸头像集合进行筛选，以得到候选人脸头像集合的步骤，包括：
识别所述人脸头像集合中，每一人脸头像的尺寸；
从所述人脸头像集合中，筛选出尺寸大于等于预设尺寸阈值的人脸头像，以得到初始候选人脸头像集合；
从所述初始候选人脸头像集合中，筛选出所述待虚化视频帧的前N帧视频帧中，均存在的人脸头像，以得到候选人脸头像集合；所述N为大于等于1的整数。
6.如权利要求3或5所述的视频虚化方法，其特征在于，所述待虚化视频帧为视频通话过程中的视频帧，所述预设尺寸阈值基于视频通话界面的尺寸设置；
所述获取待虚化视频帧的步骤，包括：
在视频通话过程中，获取摄像头采集的视频帧，以作为待虚化视频帧。
7.如权利要求6所述的视频虚化方法，其特征在于，所述在视频通话过程中，获取摄像头采集的视频帧，以作为待虚化视频帧的步骤之前，还包括：
接收虚化功能开启指令；
在视频通话界面显示设置框；
将所述摄像头采集的画面显示在所述视频通话界面；
将所述视频通话界面中，所述设置框内的图像作为所述预设目标人脸头像。
8.一种视频虚化装置，其特征在于，所述视频虚化装置包括：
获取模块，用于获取待虚化视频帧；
检测模块，用于从所述待虚化视频帧中，检测出至少两个人脸头像，以得到人脸头像集合；
虚化模块，用于将所述人脸头像集合中，除预设目标人脸头像外的人脸头像进行虚化处理。
9.一种视频虚化设备，其特征在于，所述视频虚化设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行视频虚化程序，所述视频虚化程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频虚化方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有视频虚化程序，所述视频虚化程序被处理器执行时实现如权利要求1至7中任一项所述的视频虚化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110227606.9A CN113014830A (zh) | 2021-03-01 | 2021-03-01 | 视频虚化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110227606.9A CN113014830A (zh) | 2021-03-01 | 2021-03-01 | 视频虚化方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113014830A true CN113014830A (zh) | 2021-06-22 |
Family
ID=76387217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110227606.9A Pending CN113014830A (zh) | 2021-03-01 | 2021-03-01 | 视频虚化方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113014830A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114040129A (zh) * | 2021-11-30 | 2022-02-11 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN115883959A (zh) * | 2023-02-14 | 2023-03-31 | 深圳市湘凡科技有限公司 | 用于隐私保护的画面内容控制方法及相关产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140023248A1 (en) * | 2012-07-20 | 2014-01-23 | Electronics And Telecommunications Research Institute | Apparatus and method for protecting privacy information based on face recognition |
| CN107864336A (zh) * | 2017-11-24 | 2018-03-30 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端 |
| CN110175950A (zh) * | 2018-10-24 | 2019-08-27 | 广东小天才科技有限公司 | 一种基于可穿戴设备的隐私保护方法及可穿戴设备 |
| CN111031348A (zh) * | 2019-12-11 | 2020-04-17 | 浙江宇视科技有限公司 | 一种视频加扰方法、装置、服务器和存储介质 |
| CN111898587A (zh) * | 2020-08-14 | 2020-11-06 | 广州盈可视电子科技有限公司 | 一种视频打码处理方法和装置 |
-
2021
- 2021-03-01 CN CN202110227606.9A patent/CN113014830A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140023248A1 (en) * | 2012-07-20 | 2014-01-23 | Electronics And Telecommunications Research Institute | Apparatus and method for protecting privacy information based on face recognition |
| CN107864336A (zh) * | 2017-11-24 | 2018-03-30 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端 |
| CN110175950A (zh) * | 2018-10-24 | 2019-08-27 | 广东小天才科技有限公司 | 一种基于可穿戴设备的隐私保护方法及可穿戴设备 |
| CN111031348A (zh) * | 2019-12-11 | 2020-04-17 | 浙江宇视科技有限公司 | 一种视频加扰方法、装置、服务器和存储介质 |
| CN111898587A (zh) * | 2020-08-14 | 2020-11-06 | 广州盈可视电子科技有限公司 | 一种视频打码处理方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114040129A (zh) * | 2021-11-30 | 2022-02-11 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN114040129B (zh) * | 2021-11-30 | 2023-12-05 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN115883959A (zh) * | 2023-02-14 | 2023-03-31 | 深圳市湘凡科技有限公司 | 用于隐私保护的画面内容控制方法及相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111132234B (zh) | 一种数据传输方法及对应的终端 | |
| CN111552451B (zh) | 显示控制方法及装置、计算机可读介质及终端设备 | |
| EP3893495A1 (en) | Method for selecting images based on continuous shooting and electronic device | |
| CN112449120A (zh) | 高动态范围视频生成方法及装置 | |
| US20240005695A1 (en) | Fingerprint Recognition Method and Electronic Device | |
| CN112584251B (zh) | 一种显示方法及电子设备 | |
| CN113934330B (zh) | 一种截屏方法及电子设备 | |
| CN110149517B (zh) | 视频处理的方法、装置、电子设备及计算机存储介质 | |
| CN112215227B (zh) | 图像目标检测模型攻击方法、装置、终端设备及存储介质 | |
| CN113014830A (zh) | 视频虚化方法、装置、设备及存储介质 | |
| CN112672053A (zh) | 拍摄方法、装置、终端设备以及计算机可读存储介质 | |
| CN112703534A (zh) | 图像处理方法及相关产品 | |
| CN111190590A (zh) | 卡顿优化方法、装置、终端和计算机可读存储介质 | |
| CN113038232A (zh) | 视频播放方法、装置、设备、服务器及存储介质 | |
| CN111556248B (zh) | 拍摄方法、装置、存储介质及移动终端 | |
| CN116048350B (zh) | 一种截屏方法及电子设备 | |
| CN115129410B (zh) | 桌面壁纸配置方法、装置、电子设备及可读存储介质 | |
| CN111062224A (zh) | 一种内容传输方法和终端设备 | |
| CN115798418A (zh) | 图像显示方法、装置、终端及存储介质 | |
| CN112446846A (zh) | 融合帧获得方法、装置、slam系统以及存储介质 | |
| CN112532971A (zh) | 影像处理方法、装置、显示终端以及计算机可读存储介质 | |
| CN116896626B (zh) | 视频运动模糊程度的检测方法和装置 | |
| CN112218119B (zh) | 视频流帧率转换方法、装置、终端设备以及存储介质 | |
| EP4280055A1 (en) | Image display method, electronic device, and storage medium | |
| CN111598909B (zh) | 图像信号的频域特征判断方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210622 |
|
| RJ01 | Rejection of invention patent application after publication |