CN113747112A - 一种多人视频会议头像的处理方法及处理装置 - Google Patents
一种多人视频会议头像的处理方法及处理装置 Download PDFInfo
- Publication number
- CN113747112A CN113747112A CN202111298807.4A CN202111298807A CN113747112A CN 113747112 A CN113747112 A CN 113747112A CN 202111298807 A CN202111298807 A CN 202111298807A CN 113747112 A CN113747112 A CN 113747112A
- Authority
- CN
- China
- Prior art keywords
- face
- self
- head portrait
- video frame
- shielding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种多人视频会议头像的处理方法及处理装置,用于在视频会议场景中,无需用户对视频会议系统进行手工操作,就能根据多个参会用户需求对其头像进行处理,提升了用户在参与视频会议过程中的体验感。本申请方法包括:获取目标视频帧,所述目标视频帧为多人视频会议的时间内获取的视频帧;根据所述目标视频帧确定目标参会人员的人脸位置信息;根据所述人脸位置信息确定遮挡人脸;根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡;若否,则确定所述遮挡人脸为自遮挡人脸;获取并根据所述自遮挡人脸的控制请求确定头像处理操作。
Description
技术领域
本申请涉及视频处理技术领域,尤其涉及一种多人视频会议头像的处理方法及处理装置。
背景技术
近年来,视频会议系统成为许多企业信息发展不可缺少的一部分,广泛运用于远程会议、协同办公和远程培训等方面,在工作中,当有问题不能通过电话会议、邮件或即时消息来解决时,就需要大家面对面沟通,所以视频会议就成为解决这类沟通问题的重要途径。视频会议又被称为是电视会议,是通过多媒体设备和通信网络召开会议的一种方式。在召开会议时,处于多个不同地点的参会人员既可以听到对方的声音,又能看到对方的形象,同时还能看到对方会议室的场景,以及在会议室中展示的实物、图片、文件等,缩小了与会代表间的距离,从而完成了会议的目的。
视频会议的技术原理,就是在发送端将图像、声音和文字等转换成数字化信号,并经过压缩、编码后通过通信网络传送到接收端,在接收端再将这些信号还原成可以接收的视听信号。
然而,在多人视频会议场景,出于妆容或特殊原因等因素的考虑,一些参会人员并不想“上镜”,但现有的能设置虚拟头像的视频会议软件并不能满足这一需求。其一,这些视频会议系统通常只针对单人参会场景,即同时只能为画面中的一个人更换头像,不能兼顾多人;其二,更换头像需要用户在系统上进行相应的手工操作,对于参会人员与屏幕相隔较远的多人会议场景,这种交互方式显得极为不便。
发明内容
本申请提供了一种多人视频会议头像的处理方法及处理装置,用于在视频会议场景中,无需用户对视频会议系统进行手工操作,就能根据多个参会用户的需求对其头像进行处理,提升了用户在参与视频会议过程中的体验感。
本申请从第一方面提供了一种多人视频会议头像的处理方法,包括:
获取目标视频帧,所述目标视频帧为多人视频会议的时间内获取的视频帧;
根据所述目标视频帧确定目标参会人员的人脸位置信息;
根据所述人脸位置信息确定遮挡人脸;
根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡;
若否,则确定所述遮挡人脸为自遮挡人脸;
获取并根据所述自遮挡人脸的控制请求确定头像处理操作。
可选的,所述获取目标视频帧之前,所述处理方法还包括:
获取各个参会人员的正脸人脸图像信息。
可选的,所述根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡,包括:
将所述遮挡人脸与对应的正脸人脸图像进行比对,所述比对为图像色度的比对;
根据所述比对判断所述比对的结果是否达到第一预设值,若是,则确定所述遮挡人脸未被移出所述目标视频帧画面或被其他参会人员遮挡;
若否,则确定所述遮挡人脸被移出所述目标视频帧画面或被其他参会人员遮挡。
可选的,所述控制请求为添加虚拟头像,或移除虚拟头像,或更换虚拟头像,或空的控制请求;
所述获取并根据所述自遮挡人脸的控制请求确定头像处理操作,包括以下至少一种情况:
当所述自遮挡人脸的控制请求为添加虚拟头像时,设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
当所述自遮挡人脸的控制请求为移除虚拟头像时,将所述自遮挡人脸进行显示;
当所述自遮挡人脸的控制请求为更换虚拟头像时,设置预设虚拟头像列表中除原虚拟头像外的任意一个虚拟头像为当前虚拟头像;
当所述自遮挡人脸的控制请求为空时,保持所述自遮挡人脸显示。
可选的,所述获取并根据所述自遮挡人脸的控制请求确定头像处理操作之后,所述处理方法还包括:
根据所述自遮挡人脸的控制请求更新所述自遮挡人脸的自遮挡记录,所述自遮挡记录为按照所述自遮挡人脸的更新时间顺序排序的记录。
可选的,所述根据所述自遮挡人脸的控制请求更新所述自遮挡人脸的自遮挡记录之后,所述处理方法还包括:
根据更新的自遮挡记录判断所述自遮挡记录的记录条数是否达到第二预设值;
若是,则当获取到所述自遮挡人脸的控制请求时,根据所述自遮挡记录的最近一条更新记录确定头像处理操作。
可选的,所述根据所述自遮挡记录的最近一条更新记录确定头像处理操作,包括以下至少一种情况:
若最近一条更新记录为空,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
若最近一条更新记录为添加虚拟头像或更换虚拟头像,则根据所述控制请求确定头像处理操作;
若最近一条更新记录为移除虚拟头像,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像。
本申请从第二方面提供了一种多人视频会议头像的处理装置,包括:
第一获取单元,用于获取目标视频帧,所述目标视频帧为多人视频会议的时间内获取的视频帧;
第一确定单元,用于根据所述目标视频帧确定目标参会人员的人脸位置信息;
第二确定单元,用于根据所述人脸位置信息确定遮挡人脸;
第一判断单元,用于根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡;
第一执行单元,用于当所述第一判断单元根据所述目标视频帧确定所述遮挡人脸未移出所述目标视频帧画面或被其他参会人员遮挡时,则确定所述遮挡人脸为自遮挡人脸;
第三确定单元,用于获取并根据所述自遮挡人脸的控制请求确定头像处理操作,所述控制请求为添加虚拟头像或移除虚拟头像或更换虚拟头像的状态。
可选的,所述处理装置还包括:
第二获取单元,用于获取各个参会人员的正脸人脸图像信息。
可选的,所述第一判断单元,包括:
比对模块,用于将所述遮挡人脸与对应的正脸人脸图像进行比对,所述比对为图像色度的比对;
第一判断模块,用于根据所述比对判断所述比对的结果是否达到第一预设值;
第二执行模块,用于当所述第一判断模块根据所述比对确定所述比对的结果达到第一预设值时,确定所述遮挡人脸未被移出所述目标视频帧画面或被其他参会人员遮挡;
第三执行模块,用于当所述第一判断模块根据所述比对确定所述比对的结果未达到第一预设值时,确定所述遮挡人脸被移出所述目标视频帧画面或被其他参会人员遮挡。
可选的,所述第三确定单元,具体用于当所述自遮挡人脸的控制请求为添加虚拟头像时,设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
还用于当所述自遮挡人脸的控制请求为移除虚拟头像时,将所述自遮挡人脸进行显示;
还用于当所述自遮挡人脸的控制请求为更换虚拟头像时,设置预设虚拟头像列表中除原虚拟头像外的任意一个虚拟头像为当前虚拟头像;
还用于当所述自遮挡人脸的控制请求为空时,保持所述自遮挡人脸显示。
可选的,所述处理装置还包括:
更新单元,用于根据所述自遮挡人脸的控制请求更新所述自遮挡人脸的自遮挡记录,所述自遮挡记录为按照所述自遮挡人脸的更新时间顺序排序的记录;
第二判断单元,用于根据更新的自遮挡记录判断所述自遮挡记录的记录条数是否达到第二预设值;
第四执行单元,用于当所述第二判断单元根据更新的自遮挡记录确定所述自遮挡记录的记录条数达到第二预设值时,则当获取到所述自遮挡人脸的控制请求时,根据所述自遮挡记录的最近一条更新记录确定头像处理操作。
可选的,所述第四执行单元,具体用于当最近一条更新记录为空时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
还用于当最近一条更新记录为添加虚拟头像或更换虚拟头像时,则根据所述控制请求确定头像处理操作;
还用于当最近一条更新记录为移除虚拟头像时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像。
本申请从第三方面提供了一种多人视频会议头像的处理设备,包括:
处理器、存储器、输入输出单元、总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述处理器具体执行如下操作:
获取目标视频帧,所述目标视频帧为多人视频会议的时间内获取的视频帧;
根据所述目标视频帧确定目标参会人员的人脸位置信息;
根据所述人脸位置信息确定遮挡人脸;
根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡;
若否,则确定所述遮挡人脸为自遮挡人脸;
获取并根据所述自遮挡人脸的控制请求确定头像处理操作。
可选的,处理器还用于执行第一方面中的任意可选方案的操作。
一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如前述第一方面以及第一方面的任意可选的方法。
从以上技术方案可以看出,本申请具有以下优点:
在获取到目标视频帧后,可以根据目标视频帧来确定目标参会人员的人脸位置信息,从而确定人脸中被遮挡的人脸,通过目标视频帧判断该遮挡人脸是否移出目标视频帧画面或被其他参会人员遮挡,来确定该遮挡人脸是否为自遮挡人脸,当确定目标视频帧画面或被其他人脸遮挡时,则为自遮挡人脸,就可以根据该自遮挡人脸的控制请求来确定头像处理操作。先判断遮挡人脸是否为自遮挡人脸,为自遮挡人脸的即为需要对头像进行处理的参会人员人脸,再对该参会人员的控制请求对会议视频中的头像进行相应的处理,从而提升了用户在参与视频会议过程中的体验感。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中多人视频会议头像的处理方法的一个实施例流程示意图;
图2为本申请实施例中多人视频会议头像的处理方法的另一实施例流程示意图;
图3为本申请实施例中多人视频会议头像的处理装置的一个实施例结构示意图;
图4为本申请实施例中多人视频会议头像的处理装置的另一实施例结构示意图;
图5为本申请实施例中多人视频会议头像的处理设备的一个实施例结构示意图。
具体实施方式
视频会议系统是利用网络等通信技术进行媒体传输,让人物的视频、音频等信息能够通过网络进行传输的一种远程交流载体。它可以把分散在不同地域,处在各个决策层面的人们汇集在一个虚拟空间中,缩短距离,加快信息与知识的交流传播,促进团队合作,催化决策速度,提高工作效率,并大幅度压缩费用。
然而,针对于多人视频会议场景,出于妆容或特殊原因等因素的考虑,一些参会人员并不想“上镜”,但现有的能设置虚拟头像的视频会议软件并不能满足这一需求。其一,这些视频会议系统通常只针对单人参会场景,即同时只能为画面中的一个人更换头像,不能兼顾多人;其二,更换头像需要用户在系统上进行相应的手工操作,对于参会人员与屏幕相隔较远的多人会议场景,这种交互方式显得极为不便。
基于此,本申请提供了多人视频会议头像的处理方法及处理装置,应用于多人视频会议场景,先判断遮挡人脸是否为自遮挡人脸,为自遮挡人脸的即为需要对头像进行处理的参会人员人脸,再对该参会人员的控制请求对会议视频中的头像进行相应的处理,以实现在多人视频会议场景中,无需用户对视频会议系统进行手工操作,就能同时根据多名参会用户的需求对其头像进行相应处理的目的。
下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,本申请从第一方面,提供了一种多人视频会议头像的处理方法,该方法可在系统实现,可以在服务器实现,也可以在终端实现,具体不做明确限定。为方便描述,本申请实施例使用系统为执行主体进行举例描述。该方法包括:
101、系统获取目标视频帧;
在多人视频会议的场景中,开始视频会议时,会议室内会同步进行视频录制,在会议进行的过程中,参会人员在出于妆容等因素不想“上镜”的时候,需要对其人脸进行一定的隐藏处理,而在对该参会人员的人脸进行处理之前,需要识别出人脸的位置,因此,需要从同步录制的视频中获取到目标视频帧,从该目标视频帧中识别人脸位置。
102、系统根据目标视频帧确定目标参会人员的人脸位置信息;
在本申请实施例中,系统在多人视频会议的时间内获取了目标视频帧之后,可以通过该目标视频帧确定在该会议中目标参会人员的人脸位置,以对参会人员的人脸进行进一步的判断:是否为遮挡人脸。
例如,系统获取到会议室内正在开会的目标视频帧后,系统将目标视频帧输入至OpenCV库中识别出参会人员的人脸在整个视频帧场景中的坐标信息,其中,OpenCV是一个用于图像处理、分析、机器视觉方面的开源函数库,它采用C语言进行优化,包含了数百种视觉算法。
可选的方案是,系统包括还可以将目标视频帧输入预先构建的能够识别人脸五官特征的神经网络模型中进行人脸位置跟踪。具体的确定目标视频帧中人脸位置信息的方法在此处不做限定。
103、系统根据人脸位置信息确定遮挡人脸;
在本申请实施例中,需要根据参会人员的人脸特征来确定可能发起了头像的控制请求的参会人员群体,例如,系统可以将目标视频帧中,参会人员的人脸分为非遮挡人脸、被动遮挡人脸与自遮挡人脸三个部分,自遮挡遮挡人脸的即可视为对应的参会人员向系统发起了头像的控制请求,非遮挡人脸和被动遮挡人脸的即可视为对应的参会人员无任何操作请求,因此,为了确定可能发起控制请求的参会人员人群,系统需要根据目标视频帧中各个参会人员的人脸位置来确定遮挡人脸的部分,其中,遮挡人脸包括了被动遮挡人脸以及自遮挡人脸。
104、系统根据目标视频帧判断遮挡人脸是否移出目标视频帧画面或被其他参会人员遮挡;若否,则执行步骤105;
系统需要根据目标视频帧中参会人员的遮挡人脸状态进一步限定发起了头像的控制请求的参会人员群体,则需要进一步判断该遮挡人脸是否属于自遮挡人脸。
例如,在开会之前,系统可以先采集参与本次会议的人员的正脸头像,待到正式进行视频会议时,系统再根据目标视频帧中的参会人员遮挡人脸与预先采集的对应的正脸头像作对比,这个对比可以是脸部特征的色度对比。若是该色度值低于一定程度,则系统可认为存在不同肤色或存在阴影(即部分不在视频帧画面内),由此可确定该遮挡人脸被其他参会人员遮挡或移出目标视频帧画面。
105、系统确定遮挡人脸为自遮挡人脸;
当系统根据目标视频帧确定遮挡人脸未移出目标视频帧画面或被其他人脸遮挡时,确定该遮挡人脸即为自遮挡人脸。具体的,本申请所提到的自遮挡人脸的表现方式,包括但不限于用手遮住部分人脸,遮住一半脸,遮挡时露出眼睛等情况,进一步来说,参会人员自己的人脸只要是被自身的任意部分遮挡,该人脸都可以定义为自遮挡人脸。
106、系统获取并根据自遮挡人脸的控制请求确定头像处理操作。
在本申请实施例中,所获取的自遮挡人脸的控制请求可以为添加虚拟头像,也可以为移除虚拟头像,还可以为更换虚拟头像或空的请求。
针对于自遮挡人脸的控制请求的获取识别方式,可选的,可以通过自遮挡的次数来确定控制请求的类型,如,若初次自遮挡,则相应的控制请求为“添加虚拟头像”,若再次自遮挡,则相应控制请求为“移除虚拟头像”,如此交替。可选的,可以通过遮挡人脸的手部特征来确定控制请求的类型,如,若用左手自遮挡,则相应的控制请求为“添加虚拟头像”,若用右手自遮挡,则相应的控制请求为“移除虚拟头像”,若同时采用左右手自遮挡,则相应的控制请求为“更换虚拟头像”。可选的,还可以通过手势特征来确定控制请求的类型,即用预先定义好的手势对应各个控制请求类型,然后根据自遮挡人脸采用的手势动作来与定义手势匹配,匹配成功的定义手势对应的控制请求类型即为自遮挡人脸所需的控制请求。具体的控制请求获取识别方式此处不做限定。在本申请实施例中,所采用的控制请求的获取识别方式对硬件算力要求相对较低,功耗低,易于实现。
针对于识别自遮挡人脸的参会人员的控制请求,进一步来说,添加/更换虚拟头像的特点是通过改变参会人员头像在画面中的显示效果来掩饰其原始容貌或增加趣味性,故其具体处理方式包括但不限于:对头像进行风格迁移以实现抽象或卡通的效果、对头像施加2D或3D的虚拟头像、对头像施加滤镜特效、对头像施加贴纸特效、对头像直接进行贴图、对头像进行模糊处理以及对头像进行扭曲变形处理等。
在本申请实施例中,在多人视频会议的场景中,系统可以从会议视频中获取到目标视频帧,从而根据视频帧确定目标参会人员的人脸处于什么位置,接着,根据人脸的位置信息确定遮挡人脸,若是该遮挡人脸被识别为是自遮挡人脸,则可以根据该人脸的控制请求确定头像的处理操作,从而达到无需用户对视频会议系统进行手工操作,就能同时根据多名参会用户的需求对其头像进行相应处理的目的,提升了用户参与视频会议时的体验感。
请参阅图2,本申请从第一方面,提供了另一种多人视频会议头像的处理方法,该方法可在系统实现,可以在服务器实现,也可以在终端实现,具体不做明确限定。为方便描述,本申请实施例使用系统为执行主体进行举例描述。该方法包括:
201、系统获取各个参会人员的正脸人脸图像信息;
在本申请实施例中,针对多人视频会议的场景,需要根据参会人员的人脸状态来判断是哪些参会人员需要对自己的头像进行操作,因此要预先采集参加该视频会议的各个参会人员的正脸人脸图像作为参照。其中,获取正脸人脸图像信息的渠道包括但不限于:参会人员自身向系统上传一张最近的正脸证件照文件;参会人员在入场前,在与系统关联的摄像设备处进行正脸拍摄采集。
202、系统获取目标视频帧;
203、系统根据目标视频帧确定目标参会人员的人脸位置信息;
204、系统根据人脸位置信息确定遮挡人脸;
本实施例中的步骤202至204与前述实施例中步骤101至103类似,此处不再赘述。
205、系统将遮挡人脸与对应的正脸人脸图像进行比对,该比对为图像色度的比对;
206、系统根据比对判断比对的结果是否达到第一预设值;若是,则执行步骤207,若否,则执行步骤208;
207、系统确定遮挡人脸未被移出目标视频帧画面或被其他参会人员遮挡,则确定遮挡人脸为自遮挡人脸;
208、系统确定遮挡人脸被移出目标视频帧画面或被其他参会人员遮挡;结束流程;
在本申请实施例中,系统是根据自遮挡人脸的状态来确定相应的控制请求的,因此,需要根据参与视频会议的人员的遮挡人脸状态进一步确定发起了控制请求的群体,即自遮挡人脸群体。
在本申请实施例中,采用的是根据先前获取到的正脸图像与后续在进行视频会议的过程中色度对比,在进行比对之前,系统预先会设置一个色度的相似百分比,当超过这个色度相似百分比时,则可以确定该参会人员的遮挡人脸为自遮挡人脸,可进一步根据自遮挡人脸的特征分析该参会人员发起的控制请求;若未超过,则可以确定该参会人员的遮挡人脸为被别的阴影部分(其他参会人员)遮挡,或存在相当一部分人脸没被录入视频(部分人脸移出目标视频帧画面),该遮挡人脸归类于被动遮挡人脸,代表该遮挡人脸对应的参会人员没有发起控制请求,结束流程。
209、当自遮挡人脸的控制请求为添加虚拟头像时,系统设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
210、当自遮挡人脸的控制请求为移除虚拟头像时,系统将自遮挡人脸进行显示;当自遮挡人脸的控制请求为更换虚拟头像时,系统设置预设虚拟头像列表中除原虚拟头像外的任意一个虚拟头像为当前虚拟头像;当自遮挡人脸的控制请求为空时,系统保持自遮挡人脸显示;
在本申请实施例中,系统获取并根据自遮挡人脸的控制请求确定对应头像的处理操作,此处对于自遮挡人脸的控制请求的获取识别方式可如上述实施例中步骤106所述的方式。
211、系统根据自遮挡人脸的控制请求更新自遮挡人脸的自遮挡记录;
212、系统根据更新的自遮挡记录判断自遮挡记录的记录条数是否达到第二预设值;若是,则执行步骤213,若否,则返回执行步骤211;
213、当获取到自遮挡人脸的控制请求时,系统根据自遮挡记录的最近一条更新记录确定头像处理操作。
为了方便系统对视频会议进程记录的管理,在每次获取到参会人员的控制请求后,都会将根据该控制请求生成自遮挡信息,并将该自遮挡信息更新至自遮挡记录中。在生成了自遮挡记录之后,系统无需再对参会人员的每次控制请求进行分析,只需要根据最近一条记录显示的控制请求类型就可确定当前控制请求类型。例如,在本申请实施例中,当最近一条更新记录为空时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;当最近一条更新记录为添加虚拟头像或更换虚拟头像时,则再对当前控制请求进行分析来确定头像处理操作;当最近一条更新记录为移除虚拟头像时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像。
需要说明的是,该自遮挡记录为按照自遮挡人脸的更新时间顺序排序的记录。
在本申请实施例中,系统可以根据获取到的自遮挡人脸的控制请求来更新其自遮挡记录,并且根据自遮挡记录中最近的记录条数来确定对应自遮挡人脸的头像显示状态,当再次获取到自遮挡人脸的新的控制请求的时候,就可以根据头像显示状态确定后续的头像处理操作,而不用对新的控制请求进行重新分析,从而在提升了用户参与视频会议时的体验感的同时,优化了系统自身的操作。
请参阅图3,本申请从第二方面提供了一种多人视频会议头像的处理装置,该处理装置包括:
第一获取单元301,用于获取目标视频帧,该目标视频帧为多人视频会议的时间内获取的视频帧;
第一确定单元302,用于根据目标视频帧确定目标参会人员的人脸位置信息;
第二确定单元303,用于根据人脸位置信息确定遮挡人脸;
第一判断单元304,用于根据目标视频帧判断遮挡人脸是否移出目标视频帧画面或被其他参会人员遮挡;
第一执行单元305,用于当第一判断单元304根据目标视频帧确定遮挡人脸未移出目标视频帧画面或被其他参会人员遮挡时,则确定遮挡人脸为自遮挡人脸;
第三确定单元306,用于获取并根据自遮挡人脸的控制请求确定头像处理操作。
在本申请实施例中,第一获取单元301先获取到目标视频帧,然后通过第一确定单元302确定各个参会人员的人脸位置信息,第二确定单元303根据第一确定单元302的人脸位置信息确定遮挡人脸,接着,当第一判断单元304根据根据目标视频帧确定遮挡人脸未移出目标视频帧画面或被其他参会人员遮挡时,第一执行单元305确定遮挡人脸为自遮挡人脸,此时,第三确定单元306便可获取并根据自遮挡人脸的控制请求确定头像处理操作,使得无需用户对视频会议系统进行手工操作,就能根据多个参会用户的需求对其头像进行处理,提升了用户在参与视频会议过程中的体验感。
请参阅图4,本申请从第二方面提供了一种多人视频会议头像的处理装置,该处理装置包括:
第二获取单元401,用于获取各个参会人员的正脸人脸图像信息;
第一获取单元301,用于获取目标视频帧,该目标视频帧为多人视频会议的时间内获取的视频帧;
第一确定单元302,用于根据目标视频帧确定目标参会人员的人脸位置信息;
第二确定单元303,用于根据人脸位置信息确定遮挡人脸;
第一判断单元304,用于根据目标视频帧判断遮挡人脸是否移出目标视频帧画面或被其他参会人员遮挡;
第一执行单元305,用于当第一判断单元304根据目标视频帧确定遮挡人脸未移出目标视频帧画面或被其他参会人员遮挡时,则确定遮挡人脸为自遮挡人脸;
第三确定单元306,用于获取并根据自遮挡人脸的控制请求确定头像处理操作;
更新单元408,用于根据自遮挡人脸的控制请求更新自遮挡人脸的自遮挡记录,该自遮挡记录为按照自遮挡人脸的更新时间顺序排序的记录;
第二判断单元409,用于根据更新的自遮挡记录判断自遮挡记录的记录条数是否达到第二预设值;
第四执行单元410,用于当第二判断单元409根据更新的自遮挡记录确定自遮挡记录的记录条数达到第二预设值时,则当获取到自遮挡人脸的控制请求时,根据自遮挡记录的最近一条更新记录确定头像处理操作。
在本申请实施例中,第一判断单元304包括比对模块3041,用于将遮挡人脸与对应的正脸人脸图像进行比对,比对为图像色度的比对;
第一判断模块3042,用于根据比对判断比对的结果是否达到第一预设值;
第二执行模块3043,用于当第一判断模块3042根据比对确定比对的结果达到第一预设值时,确定遮挡人脸未被移出目标视频帧画面或被其他参会人员遮挡;
第三执行模块3044,用于当第一判断模块3042根据比对确定比对的结果未达到第一预设值时,确定遮挡人脸被移出目标视频帧画面或被其他参会人员遮挡。
在本申请实施例中,第三确定单元306具体用于当自遮挡人脸的控制请求为添加虚拟头像时,设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;还用于当自遮挡人脸的控制请求为移除虚拟头像时,将自遮挡人脸进行显示;还用于当自遮挡人脸的控制请求为更换虚拟头像时,设置预设虚拟头像列表中除原虚拟头像外的任意一个虚拟头像为当前虚拟头像;还用于当自遮挡人脸的控制请求为空时,保持自遮挡人脸显示。
在本申请实施例中,第四执行单元410,具体用于当最近一条更新记录为空时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;还用于当最近一条更新记录为添加虚拟头像或更换虚拟头像时,则根据控制请求确定头像处理操作;还用于当最近一条更新记录为移除虚拟头像时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像。
本申请实施例第三方面公开了一种多人视频会议头像的处理设备,参阅图5,图5为本申请实施例提供的一种多人视频会议头像的处理设备的一个实施例结构示意图,包括:
处理器501、存储器502、输入输出单元503、总线504;
处理器501与存储器502、输入输出单元503以及总线504相连;
处理器501具体执行如下操作:
获取目标视频帧,目标视频帧为多人视频会议的时间内获取的视频帧;
根据目标视频帧确定目标参会人员的人脸位置信息;
根据人脸位置信息确定遮挡人脸;
根据目标视频帧判断遮挡人脸是否移出目标视频帧画面或被其他参会人员遮挡;
若否,则确定遮挡人脸为自遮挡人脸;
获取并根据自遮挡人脸的控制请求确定头像处理操作。
本实施例中,处理器501的功能与前述图1至图2所示实施例中的步骤对应,此处不做赘述。
本申请实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行前述图1至图2所示的处理方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种多人视频会议头像的处理方法,其特征在于,包括:
获取目标视频帧,所述目标视频帧为多人视频会议的时间内获取的视频帧;
根据所述目标视频帧确定目标参会人员的人脸位置信息;
根据所述人脸位置信息确定遮挡人脸;
根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡;
若否,则确定所述遮挡人脸为自遮挡人脸;
获取并根据所述自遮挡人脸的控制请求确定头像处理操作。
2.根据权利要求1所述的多人视频会议头像的处理方法,其特征在于,所述获取目标视频帧之前,所述处理方法还包括:
获取各个参会人员的正脸人脸图像信息。
3.根据权利要求2所述的多人视频会议头像的处理方法,其特征在于,所述根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡,包括:
将所述遮挡人脸与对应的正脸人脸图像进行比对,所述比对为图像色度的比对;
根据所述比对判断所述比对的结果是否达到第一预设值,若是,则确定所述遮挡人脸未被移出所述目标视频帧画面或被其他参会人员遮挡;
若否,则确定所述遮挡人脸被移出所述目标视频帧画面或被其他参会人员遮挡。
4.根据权利要求3所述的多人视频会议头像的处理方法,其特征在于,所述控制请求为添加虚拟头像,或移除虚拟头像,或更换虚拟头像,或空的控制请求;
所述获取并根据所述自遮挡人脸的控制请求确定头像处理操作,包括以下至少一种情况:
当所述自遮挡人脸的控制请求为添加虚拟头像时,设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
当所述自遮挡人脸的控制请求为移除虚拟头像时,将所述自遮挡人脸进行显示;
当所述自遮挡人脸的控制请求为更换虚拟头像时,设置预设虚拟头像列表中除原虚拟头像外的任意一个虚拟头像为当前虚拟头像;
当所述自遮挡人脸的控制请求为空时,保持所述自遮挡人脸显示。
5.根据权利要求1至3任一项所述的多人视频会议头像的处理方法,其特征在于,所述获取并根据所述自遮挡人脸的控制请求确定头像处理操作之后,所述处理方法还包括:
根据所述自遮挡人脸的控制请求更新所述自遮挡人脸的自遮挡记录,所述自遮挡记录为按照所述自遮挡人脸的更新时间顺序排序的记录。
6.根据权利要求5所述的多人视频会议头像的处理方法,其特征在于,所述根据所述自遮挡人脸的控制请求更新所述自遮挡人脸的自遮挡记录之后,所述处理方法还包括:
根据更新的自遮挡记录判断所述自遮挡记录的记录条数是否达到第二预设值;
若是,则当获取到所述自遮挡人脸的控制请求时,根据所述自遮挡记录的最近一条更新记录确定头像处理操作。
7.根据权利要求6所述的多人视频会议头像的处理方法,其特征在于,所述根据所述自遮挡记录的最近一条更新记录确定头像处理操作,包括以下至少一种情况:
当最近一条更新记录为空时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像;
当最近一条更新记录为添加虚拟头像或更换虚拟头像时,则根据所述控制请求确定头像处理操作;
当最近一条更新记录为移除虚拟头像时,则设置预设虚拟头像列表中的任意一个虚拟头像为当前虚拟头像。
8.一种多人视频会议头像的处理装置,其特征在于,包括:
第一获取单元,用于获取目标视频帧,所述目标视频帧为多人视频会议的时间内获取的视频帧;
第一确定单元,用于根据所述目标视频帧确定目标参会人员的人脸位置信息;
第二确定单元,用于根据所述人脸位置信息确定遮挡人脸;
第一判断单元,用于根据所述目标视频帧判断所述遮挡人脸是否移出所述目标视频帧画面或被其他参会人员遮挡;
第一执行单元,用于当所述第一判断单元根据所述目标视频帧确定所述遮挡人脸未移出所述目标视频帧画面或被其他参会人员遮挡时,则确定所述遮挡人脸为自遮挡人脸;
第三确定单元,用于获取并根据所述自遮挡人脸的控制请求确定头像处理操作。
9.根据权利要求8所述的多人视频会议头像的处理装置,其特征在于,所述处理装置还包括:
第二获取单元,用于获取各个参会人员的正脸人脸图像信息。
10.根据权利要求9所述的多人视频会议头像的处理装置,其特征在于,所述第一判断单元,包括:
比对模块,用于将所述遮挡人脸与对应的正脸人脸图像进行比对,所述比对为图像色度的比对;
第一判断模块,用于根据所述比对判断所述比对的结果是否达到第一预设值;
第二执行模块,用于当所述第一判断模块根据所述比对确定所述比对的结果达到第一预设值时,确定所述遮挡人脸未被移出所述目标视频帧画面或被其他参会人员遮挡;
第三执行模块,用于当所述第一判断模块根据所述比对确定所述比对的结果未达到第一预设值时,确定所述遮挡人脸被移出所述目标视频帧画面或被其他参会人员遮挡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111298807.4A CN113747112B (zh) | 2021-11-04 | 2021-11-04 | 一种多人视频会议头像的处理方法及处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111298807.4A CN113747112B (zh) | 2021-11-04 | 2021-11-04 | 一种多人视频会议头像的处理方法及处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113747112A true CN113747112A (zh) | 2021-12-03 |
CN113747112B CN113747112B (zh) | 2022-02-22 |
Family
ID=78727375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111298807.4A Active CN113747112B (zh) | 2021-11-04 | 2021-11-04 | 一种多人视频会议头像的处理方法及处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113747112B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419694A (zh) * | 2021-12-21 | 2022-04-29 | 珠海视熙科技有限公司 | 一种多人视频会议头像的处理方法及处理装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130242127A1 (en) * | 2012-03-19 | 2013-09-19 | Casio Computer Co., Ltd. | Image creating device and image creating method |
CN108012122A (zh) * | 2017-12-15 | 2018-05-08 | 北京奇虎科技有限公司 | 监控视频的处理方法、装置和服务器 |
CN110135195A (zh) * | 2019-05-21 | 2019-08-16 | 司马大大(北京)智能系统有限公司 | 隐私保护方法、装置、设备及存储介质 |
US20200265627A1 (en) * | 2019-02-20 | 2020-08-20 | Samsung Electronics Co., Ltd. | Method of controlling display of avatar and electronic device therefor |
CN112492383A (zh) * | 2020-12-03 | 2021-03-12 | 珠海格力电器股份有限公司 | 视频帧的生成方法及装置、存储介质、电子设备 |
CN112633144A (zh) * | 2020-12-21 | 2021-04-09 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、系统、设备及存储介质 |
-
2021
- 2021-11-04 CN CN202111298807.4A patent/CN113747112B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130242127A1 (en) * | 2012-03-19 | 2013-09-19 | Casio Computer Co., Ltd. | Image creating device and image creating method |
CN108012122A (zh) * | 2017-12-15 | 2018-05-08 | 北京奇虎科技有限公司 | 监控视频的处理方法、装置和服务器 |
US20200265627A1 (en) * | 2019-02-20 | 2020-08-20 | Samsung Electronics Co., Ltd. | Method of controlling display of avatar and electronic device therefor |
CN110135195A (zh) * | 2019-05-21 | 2019-08-16 | 司马大大(北京)智能系统有限公司 | 隐私保护方法、装置、设备及存储介质 |
CN112492383A (zh) * | 2020-12-03 | 2021-03-12 | 珠海格力电器股份有限公司 | 视频帧的生成方法及装置、存储介质、电子设备 |
CN112633144A (zh) * | 2020-12-21 | 2021-04-09 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
陈晨等: "基于浅层卷积神经网络的实时视频通信隐私保护研究", 《宿州学院学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419694A (zh) * | 2021-12-21 | 2022-04-29 | 珠海视熙科技有限公司 | 一种多人视频会议头像的处理方法及处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113747112B (zh) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7110502B2 (ja) | 深度を利用した映像背景減算法 | |
CN107886032B (zh) | 终端设备、智能手机、基于脸部识别的认证方法和系统 | |
US11657557B2 (en) | Method and system for generating data to provide an animated visual representation | |
DE112013001461B4 (de) | Modifizieren des Aussehens eines Teilnehmers während einer Videokonferenz | |
CN106454481B (zh) | 一种移动终端直播互动的方法及装置 | |
CN109359548A (zh) | 多人脸识别监控方法及装置、电子设备及存储介质 | |
CN111402399B (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
WO2017072534A2 (en) | Communication system and method | |
CN110674664A (zh) | 视觉注意力的识别方法及系统、存储介质、处理器 | |
CN110956691A (zh) | 一种三维人脸重建方法、装置、设备及存储介质 | |
CN110210449B (zh) | 一种用于虚拟现实交友的人脸识别系统及方法 | |
CN111914811B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
CN109150690B (zh) | 交互数据处理方法、装置、计算机设备和存储介质 | |
CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN113747112B (zh) | 一种多人视频会议头像的处理方法及处理装置 | |
JP2021506019A (ja) | 静的な映像認識 | |
CN114615455A (zh) | 远程会议的处理方法、装置、会议系统和存储介质 | |
CN111932442B (zh) | 一种基于人脸识别技术的视频美颜方法、装置、设备及计算机可读存储介质 | |
US20240020902A1 (en) | Virtual image generation method | |
Chen et al. | Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss | |
US20230031897A1 (en) | Dynamic low lighting adjustment within a video communication system | |
CN109525483A (zh) | 移动终端及其互动动画的生成方法、计算机可读存储介质 | |
CN114419694A (zh) | 一种多人视频会议头像的处理方法及处理装置 | |
CN114040145B (zh) | 一种视频会议人像显示方法、系统、终端及存储介质 | |
CN112770074B (zh) | 视频会议的实现方法、装置、服务器和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |