CN110677610A - 一种视频流控制方法、视频流控制装置及电子设备 - Google Patents

一种视频流控制方法、视频流控制装置及电子设备 Download PDF

Info

Publication number
CN110677610A
CN110677610A CN201910950050.9A CN201910950050A CN110677610A CN 110677610 A CN110677610 A CN 110677610A CN 201910950050 A CN201910950050 A CN 201910950050A CN 110677610 A CN110677610 A CN 110677610A
Authority
CN
China
Prior art keywords
video stream
client
user
virtual object
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910950050.9A
Other languages
English (en)
Inventor
金珂
周庭竹
王多民
李姫俊男
马标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910950050.9A priority Critical patent/CN110677610A/zh
Publication of CN110677610A publication Critical patent/CN110677610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Abstract

本申请公开了一种视频流控制方法、视频流控制装置、电子设备及计算机可读存储介质,其中,该方法包括:随机匹配发起视频通信请求的两个以上客户端,组成临时群组;建立所述临时群组的视频通话;针对目标用户,为所述目标用户创建对应的虚拟对象,其中,所述目标用户为登录目标客户端的用户,所述目标客户端为所述临时群组中的任一客户端:接收所述目标客户端所发送的视频通话的视频流,并将所述虚拟对象显示至所述视频流中所述目标用户的人脸位置;将所述视频流发送至所述临时群组中的各个客户端。通过本申请方案,可在保障用户隐私的前提下,提高用户与他人通过互联网进行社交时的沟通效率,同时使得用户获得直观的社交感受。

Description

一种视频流控制方法、视频流控制装置及电子设备
技术领域
本申请属于视频处理技术领域,尤其涉及一种视频流控制方法、视频流控制装置、电子设备及计算机可读存储介质。
背景技术
传统的互联网交友方式往往是随机匹配两个用户进行文字聊天。然而,一方面,文字表达往往难以传递人的情绪,导致用户难以获得较为直观的社交感受;另一方面,文字输入需要一定的时间,导致沟通效率较为低下,用户难以与其他用户实现即时社交。
发明内容
本申请实施例提供了一种视频流控制方法、视频流控制装置、电子设备及计算机可读存储介质,可在保障用户隐私的前提下,提高用户与他人通过互联网进行社交时的沟通效率,同时使得用户获得直观的社交感受。
第一方面,本申请实施例提供了一种视频流控制方法,包括:
随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
建立上述临时群组的视频通话;
针对目标用户,为上述目标用户创建对应的虚拟对象,其中,上述目标用户为登录目标客户端的用户,上述目标客户端为上述临时群组中的任一客户端:
接收上述目标客户端所发送的视频通话的视频流,并将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置;
将上述视频流发送至上述临时群组中的各个客户端。
第二方面,本申请实施例提供了一种视频流控制装置,包括:
群组建立单元,用于随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
通话建立单元,用于建立上述临时群组的视频通话;
对象创建单元,用于针对目标用户,为上述目标用户创建对应的虚拟对象,其中,上述目标用户为登录目标客户端的用户,上述目标客户端为上述临时群组中的任一客户端;
对象显示单元,用于接收上述目标客户端所发送的视频通话的视频流,并将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置;
视频流发送单元,用于将上述视频流发送至所述临时群组中的各个客户端。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述第一方面所提供的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如第一方面所提供的方法。
第五方面,本申请实施例还提供了一种计算机程序产品,当上述计算机程序产品在电子设备上运行时,实现如第一方面所提供的方法。
由上可见,在本申请方案中,用户可通过客户端发起视频通话需求,在随机匹配多个存在社交需求的用户的客户端组成临时群组之后,即可建立临时群组的视频通话,通过视频通话可提高用户与他人通过互联网进行社交时的沟通效率,并通过视频通话过程中所传递的画面及声音使得用户获得直观的社交感受。而由于上述临时群组中的客户端为随机匹配的客户端,因而为了保障登录客户端的用户的隐私,还为每一用户生成对应的虚拟对象,并在各个用户的视频流中通过对应的虚拟对象实现对用户人脸的遮盖,避免了用户隐私的泄露。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频流控制方法的实现流出示意图;
图2是本申请实施例提供的视频流控制方法中,用户登录的客户端所显示的视频通话界面的示意图;
图3是本申请实施例提供的视频流控制方法中,用户的人脸特征点与虚拟对象的特征点的示意图;
图4是本申请实施例提供的视频流控制装置的结构框图;
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请上述的技术方案,下面通过具体实施例来进行说明。
本申请实施例中的视频流控制方法可应用于智能手机、服务器、平板电脑等电子设备中,此处不作限定。下面以该视频流控制方法应用于服务器为例,对本申请实施例提供的一种视频流控制方法进行描述,请参阅图1,包括:
步骤101,随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
在本申请实施例中,用户可在预设的客户端上通过已注册的账号登录社交平台,并在存在交友需求时向预设的服务器发起视频通信请求。服务器可以统计在预设的等待时间段内(例如一分钟之内)发起上述视频通信请求的客户端的数量,若存在多个客户端在该预设的等待时间段内发起视频通信请求,即可以将在该预设的等待时间段内发起上述视频通信请求的多个客户端组成临时群组。其中,由于一个客户端往往对应一个用户,因而为了保障社交的有效性,若在预设的等待时间段内发起上述视频通信请求的客户端数量超过预设的客户端数量阈值,则可以以随机匹配的方式,将两个以上客户端随机匹配组成临时群组,其中,每一临时群组中的客户端数量不超过上述客户端数量阈值。例如,若预设的客户端数量阈值为3,假定在17:00至17:01这一分钟时间内,服务器接收到了10个客户端所发起的视频通信请求,这10个客户端分别对应10个不同的用户,则可认为当前有10个用户存在社交需求,此时上述10个客户端可以随机匹配组成4个临时群组,其中第一个临时群组中为3个客户端,第二个临时群组中为3个客户端,第三个临时群组中为2个客户端,第四个临时群组中为2个客户端;或者,上述10个客户端也可以随机匹配组成5个临时群组,每个临时群组中为2个客户端,此处不对上述随机匹配的方式作出限定。
步骤102,建立上述临时群组的视频通话;
在本申请实施例中,在组成临时群组后,即可建立该临时群组的视频通话,也即为上述临时群组中的两个以上客户端所对应的用户建立多人的视频通话。可选地,若该临时群组中存在有客户端无法建立视频通话,则可以将上述无法建立视频通话的客户端从上述临时群组移出,上述无法建立视频通话的情况有多种,可以是该客户端无法调用摄像头,或者该客户端的网络状态不佳,此处不对上述无法建立视频通话的情况作出限定。
可选地,为了避免侵犯用户权利,在建立上述临时群组的视频通话之前,还可以触发上述临时群组中的各个客户端显示视频通话选择框,该选择框显示有“拒绝”选项及“同意”选项,若用户不愿意建立上述视频通话,则用户可以通过在客户端上的点击上述“拒绝”选项,向服务器反馈拒绝消息,服务器在接收到客户端所反馈的拒绝消息后,可以将该客户端移出上述临时群组;反之,若用户愿意建立上述视频通话,则用户可以通过在客户端上的点击上述“同意”选项,向服务器反馈同意消息,服务器在接收到客户端所反馈的同意消息时,即可开始准备建立该客户端与其他同样反馈了同意消息的客户端的视频通话。
步骤103,针对目标用户,为上述目标用户创建对应的虚拟对象;
在本申请实施例中,考虑到服务器实际在本步骤及后续步骤104、105中会对临时群组中的每一客户端都作出相同或相似的处理,因而,此处将上述临时群组中的一客户端记为目标客户端,并将登录该目标客户端的用户记为目标用户,以基于该目标用户及目标客户端对本步骤及后续步骤104、105进行描述,帮助说明本步骤及后续步骤104、105的具体操作。在本步骤中,为目标用户创建对应的虚拟对象,以使得目标用户与一虚拟对象相关联。其中,上述虚拟对象具体为非真实拍摄得到的图像,一般情况下,上述虚拟对象为动画形式;当在视频流中渲染该虚拟对象时,该虚拟对象将起到遮盖的作用,也即,虚拟对象所在位置处的原视频流的图像信息将不再显示,而是显示上述虚拟对象的图像信息。
步骤104,接收上述目标客户端所发送的视频通话的视频流,并将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置;
在本申请实施例中,仍以目标用户及目标客户端为例进行描述:目标客户端可以通过调用摄像头实现视频通话的视频拍摄操作,以得到包含有上述目标用户的视频流,并将该视频流传输至上述服务器;上述服务器在接收到目标客户端所发送的视频通话的视频流后,为了保障目标用户的隐私,可以对上述视频流作出进一步处理,将上述虚拟对象显示至上述视频流中目标用户的人脸位置。这样一来,上述视频流中的目标用户的人脸将被上述虚拟对象所遮盖,可避免在与陌生人的初次交流沟通中就泄露该目标用户的长相。
步骤105,将上述视频流发送至上述临时群组中的各个客户端。
在本申请实施例中,仍以目标用户及目标客户端为例进行描述:服务器可以将上述视频流发送至上述临时群组中的各个客户端;也即,不仅目标客户端可以接收到目标用户的视频流,而且临时群组中除目标客户端之外的其它客户端也可以接收到目标用户的视频流,需要注意的是,该目标用户的视频流是已经通过虚拟对象对目标用户的人脸进行了遮盖后所得到的视频流。各个客户端在接收到上述视频流后,可以在屏幕的预设区域进行显示,此处不作限定。
需要注意的是,由于目标客户端为上述临时群组中的任一客户端,目标用户为登录该目标客户端的用户,因而,本申请方案实际会以同样的方式为通过客户端参与上述视频通话的所有用户都生成对应的虚拟头像,并在对应的视频流中显示该虚拟头像,实现对每个用户的人脸的遮盖。最终,通过本申请方案,可以得N个遮盖了对应用户的人脸的视频流,上述N为临时群组的客户端数量,且这N个视频流可以在临时群组的各个客户端中进行显示,一方面,可以使得每一用户查看到与自身关联的虚拟对象遮盖自己的人脸后所呈现的视频流的效果,另一方面,可以使得每一用户基于虚拟对象与其他用户进行视频通话,有效保障每一用户的隐私。
以下通过具体示例作出说明:假定用户A1通过客户端a1登录了社交平台,用户A2通过客户端a2登录了社交平台,用户A3通过客户端a3登录了社交平台;上述三个用户分别通过各自客户端发起视频通信请求,组成了临时群组,用户A1即可在其智能手机上与用户A2及A3进行视频通话,如图2所示,图2给出了在用户A1的智能手机的屏幕上,该临时群组的视频通话界面的示意。其中,屏幕中的区域1显示的是用户A1的视频流(也即客户端a1对用户A1进行拍摄所得的视频流,且视频流中用户A1的人脸被用户A1的对应虚拟对象所遮盖),屏幕中的区域2显示的是用户A2的视频流(也即客户端a2对用户A2进行拍摄所得的视频流,且视频流中用户A2的人脸被用户A2的对应虚拟对象所遮盖),屏幕中的区域3显示的是用户A3的视频流(也即客户端a3对用户A3进行拍摄所得的视频流,且视频流中用户A3的人脸被用户A3的对应虚拟对象所遮盖)。
可选地,在视频通话的过程中,除了可以通过遮盖用户的人脸实现对用户隐私的保障之外,还可以对用户的声音作出处理,以进一步保障用户隐私,则上述视频流控制方法还可以包括:
获取上述视频流中的声音信号;
对上述声音信号进行变声处理,上述变声处理包括更改上述声音信号的音色及音调。
其中,考虑到用户在视频通话的过程中,除了用户本人外,用户所处环境中的其他人也有可能发出声音,因而,针对临时群组中的任一客户端所发送的视频流,并不局限于仅对登录该客户端的用户自身的声音信号的获取,而是会去获取该视频流中的所有出现的人的声音信号,随后对这些声音信号均进行变声处理。考虑到往往是通过声音信号的音色及音调辨别人的身份,因而上述变声处理可以具体为更改声音信号的音色及音调。例如,在用户A1所登录的客户端a1所上传的视频流中,除了采集到用户A1的声音信号,还采集到了用户A1的朋友B1的声音信号,则可以将上述A1的声音信号及B1的声音信号均作变声处理。进一步地,考虑到视频通话的过程中,用户所处环境中的其他人也存在误入镜的可能,而由于视频通话前并没有为误入镜的人创建对应的虚拟对象,因而,可以预先设定一固定样式的虚拟对象,并将该固定样式的虚拟对象显示至视频流中误入镜的人脸处。通过上述处理,可以保障用户及他人的隐私。
可选地,随着临时群组中的用户的沟通交流,用户之间也可以开始进一步的沟通,则上述视频流控制方法还可以包括:
若接收到虚拟对象取消指令,则在上述虚拟对象取消指令的发起客户端的视频流中取消对上述虚拟对象的显示。
其中,用户可以根据自身的需求,通过已登录的客户端向服务器发起虚拟对象取消指令,该虚拟对象取消指令用于指示服务器取消对其虚拟对象的显示。需要注意的是,每一用户仅可对自己的视频流的虚拟对象进行控制,因而,服务器仅可以基于上述虚拟对象取消指令,在与上述虚拟对象取消指令的发起客户端相关联的视频流中取消对上述虚拟对象的显示,其中,上述虚拟对象取消指令的发起客户端,指的是临时群组中发起上述虚拟对象取消指令的客户端。例如,针对用户A1所登录的客户端a1、用户A2所登录的客户端a2及用户A3所登录的客户端a3组成的临时群组,若用户A1通过客户端a1发起了虚拟对象取消指令,则不再对客户端a1所发送的视频流显示虚拟对象,这样一来,客户端a2及客户端a3所接收到的A1的视频流不会再显示有虚拟对象,也即用户A2及用户A3可以查看到用户A1的真实容貌。而由于用户A2及用户A3并未通过其对应的客户端发起虚拟对象取消指令,因而服务器仍将通过用户A2的虚拟对象遮盖该用户A2在视频流中的人脸,同时通过用户A3的虚拟对象遮盖该用户A3在视频流中的人脸,以继续保障用户A2及用户A3的隐私。
可选地,为了帮助用户扩大交友圈,上述视频流控制方法还包括:
若在结束上述视频通话后的预设时间段内,接收到任意两个客户端的双向好友添加请求,则为发起上述双向好友添加请求的两个客户端的登录账号建立好友关系。
其中,考虑到视频通话过程中,各个用户彼此之间已经有一定的了解,因而在结束上述视频通话后的预设时间段内,若接收到两个用户的双向好友添加请求,则可以为这两个用户建立好友关系。进一步地,前文已经指出了用户需要在该社交平台进行注册,才能使用上述社交平台的各项功能,因此,在注册时,社交平台可以要求用户输入其用户信息,包括性别、年龄、爱好、毕业院校等,此处不对上述用户信息作出限定,并为用户分配账号,该账号关联有用户注册时所输入的用户信息;在用户注册获得账号后,用户可通过该账号在客户端进行登录,登录成功后即可使用该社交平台的各个功能。基于此,在建立临时群组的视频通话后,还可以获取各个客户端的登录账号所关联的用户信息,也即,获取通过客户端参与该视频通话的各个用户的用户信息;随后,向上述临时群组中的各个客户端发送各个用户的用户信息,使得每一用户能够对其他用户有进一步了解,以决定是否需要发起好友添加请求。例如,针对用户A1所登录的客户端a1、用户A2所登录的客户端a2及用户A3所登录的客户端a3组成的临时群组,服务器可以在收集到了A1、A2及A3的用户信息后,向上述客户端a1、a2及a3发送这些用户信息,以使得A1可以获知A2、A3的用户信息,A2可以获知A1、A3的用户信息,A3可以获知A1、A2的用户信息,同时还可使得每一用户对自身的用户信息进行检阅;假定上述预设时间段为十分钟,则在结束上述视频通话的十分钟之内,若接收到A1通过客户端a1对A2的好友添加请求,并且接收到A2通过客户端a2对A1的好友添加请求,则认为接收到了a1、a2的双向好友添加请求,此时可以建立A1及A2的好友关系,具体为:为客户端a1的登录账号与客户端a2的登录账号建立好友关系。进一步地,在结束上述视频通话的预设时间段之后,为了减少客户端的缓存,可以将客户端所接收到的用户信息删除,例如,在上述例子中,在结束上述视频通话的十分钟之后,没有接收到A3通过客户端a3对A1或A2的好友添加请求,则服务器可以向客户端a3发送信息清除指令,以清除客户端a3所接收到的A1、A2的用户信息,当然,也可以将接收到的自身的用户信息也一并删除,此处不作限定。
可选地,上述视频流控制方法还包括:
若接收到录制指令,则在上述录制指令的接收时刻启动对各个客户端的视频流的录制;
将录制得到的视频流保存于预设的服务器或上述录制指令的发起客户端的本地。
其中,每一用户还可以通过其所登录的客户端发起录制指令,则当服务器接收到任一客户端所发起的录制指令时,可以在该录制指令的接收时刻启动对各个客户端的视频流的录制,并将录制得到的视频流保存于服务器或上述录制指令的发起客户端的本地,需要注意的是,只要客户端没有发起虚拟对象取消指令,则本步骤所录制的该客户端的视频流为通过虚拟对象遮盖了人脸的视频流。其中,各个用户在注册得到账号后,上述服务器即可为该账号划分一存储空间,每一用户仅可通过其账号访问该账号在服务器中所对应的存储空间,而无法访问其他账号所对应的存储空间。上述录制指令的发起客户端,指的是临时群组中发起该录制指令的客户端。需要注意的是,不同客户端所发起的录制指令互相不冲突。例如,针对用户A1所登录的客户端a1、用户A2所登录的客户端a2及用户A3所登录的客户端a3组成的临时群组,若在T1时刻接收到用户A1通过客户端a1发起的录制指令,则在T1时刻开始,对A1、A2、A3的视频流进行录制,并将录制的结果保存于A1的账号在服务器的存储空间或客户端a1本地;若在T2时刻又接收到了用户A2通过客户端a2发起的录制指令,则在T2时刻开始,对A1、A2、A3的视频流进行录制,并将录制的结果保存于A2的账号在服务器的存储空间或客户端a2本地。可选地,当任一客户端发起录制指令时,服务器可以向各个客户端发送录制提醒消息,以提醒各个用户当前正在进行视频录制操作。
可选地,为了提升视频通话过程中的趣味性,上述步骤103之前还包括:
触发目标客户端显示创建方式选择框;
基于上述目标用户在上述创建方式选择框中输入的选择指令,确定虚拟对象的创建方式。
其中,在建立临时群组的视频通话之初,可以在该临时群组的各个客户端中显示创建方式选择框,该创建方式选择框可以包含如下选项:智能生成及手动生成。以目标客户端及目标用户为例,在一种应用场景下,若目标用户选择智能生成,则相应地,上述步骤103表现为:采集上述目标用户的人脸图像,基于上述人脸图像生成上述目标用户的脸部三维模型;根据上述脸部三维模型创建虚拟对象。具体地,可以通过现有的人工智能算法,根据目标用户的人脸图像生成目标用户的脸部三维模型,该三维模型模型为社交平台的数据库所能提供的素材组合的一个实例,且该三维模型接近于目标用户真实的脸部特征。在另一种应用场景下,若目标用户选择手动生成,则上述步骤103表现为:为目标用户呈现社交平台的数据库;基于目标用户对上述数据库中的素材的选择,生成目标用户自定义的虚拟对象。其中,上述数据库中的素材包括但不限于脸型、眼睛、鼻子、发型、耳朵、配饰等。需要注意的是,当通过智能生成的方式生成虚拟对象后,服务器还可接收目标用户通过目标客户端所输入的调整指令,以对所生成的虚拟对象进行修改及调整。
可选地,上述步骤105中将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置的操作,包括:
提取上述虚拟对象的特征点;
在上述视频流中的实时视频帧中,提取上述目标用户的人脸特征点;
建立上述虚拟对象的特征点与上述人脸特征点的映射关系;
基于上述映射关系,将上述虚拟对象显示至上述实时视频帧中上述目标用户的人脸位置,以使得上述目标用户的人脸特征点能够与上述虚拟对象的对应特征点重合。
其中,通过预设的人脸特征点提取算法,可以提取出上述虚拟对象的特征点以及视频流的视频帧中目标用户的人脸特征点。具体地,通过预设的人脸特征点提取算法所提取得到的特征点的数量为固定值(例如可以为106个特征点),则在本申请实施例中,可以提取到虚拟对象的106个特征点以及实时视频帧中的目标用户的106个人脸特征点。如图3所示,图3左边为一用户的人脸特征点的示意图,图3右边为基于该用户对应生成的虚拟对象的特征点的示意图(需要注意的是,图3仅作为示意,其并未将用户的人脸特征点与虚拟对象的特征点完全示出),这些特征点呈现一一对应的关系,也即,对于相关联的目标用户及虚拟对象,该虚拟对象的每一特征点均可唯一的映射至该目标用户的一人脸特征点;基于此,可以建立上述虚拟对象的特征点与上述人脸特征点的映射关系,并基于上述映射关系,将上述虚拟对象显示至上述实时视频帧中上述目标用户的人脸位置,以使得上述目标用户的人脸特征点能够与上述虚拟对象的对应特征点重合。这样一来,可以实现虚拟对象为目标用户的人脸的完全覆盖。并且,伴随着目标用户表情的改变,目标用户的人脸特征点会产生位移,这将带动虚拟对象的对应特征点也产生位移,使得虚拟对象的表情能够伴随着目标用户表情发生相应改变。
由上可见,通过本申请方案,用户可通过客户端发起视频通话需求,在随机匹配多个存在社交需求的用户的客户端组成临时群组之后,即可建立临时群组的视频通话,通过视频通话可提高用户与他人通过互联网进行社交时的沟通效率,并通过视频通话过程中所传递的画面及声音使得用户获得直观的社交感受。而由于上述临时群组中的客户端为随机匹配的客户端,因而为了保障登录客户端的用户的隐私,还为每一用户生成对应的虚拟对象,并在各个用户的视频流中通过对应的虚拟对象实现对用户人脸的遮盖,避免了用户隐私的泄露。
对应于上文所提出的视频流控制方法,下面对本申请实施例提供的一种视频流控制装置进行描述,请参阅图4,上述视频流控制装置4包括:
群组建立单元401,用于随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
通话建立单元402,用于建立上述临时群组的视频通话;
对象创建单元403,用于针对目标用户,为上述目标用户创建对应的虚拟对象,其中,上述目标用户为登录目标客户端的用户,上述目标客户端为上述临时群组中的任一客户端;
对象显示单元404,用于接收上述目标客户端所发送的视频通话的视频流,并将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置;
视频流发送单元405,用于将上述视频流发送至上述临时群组中的各个客户端。
可选地,上述视频流控制装置4还包括:
声音信号获取单元,用于获取上述视频流中的声音信号;
声音信号处理单元,用于对上述声音信号进行变声处理,上述变声处理包括更改上述声音信号的音色及音调。
可选地,上述视频流控制装置4还包括:
虚拟对象取消单元,用于若接收到虚拟对象取消指令,则在上述虚拟对象取消指令的发起客户端的视频流中取消对上述虚拟对象的显示。
可选地,上述视频流控制装置4还包括:
好友关系建立单元,用于若在结束上述视频通话后的预设时间段内,接收到任意两个客户端的双向好友添加请求,则为发起上述双向好友添加请求的两个客户端的登录账号建立好友关系。
可选地,上述视频流控制装置4还包括:
视频流录制单元,用于若接收到录制指令,则在上述录制指令的接收时刻启动对各个客户端的视频流的录制;
视频流保存单元,用于将录制得到的视频流保存于预设的服务器或上述录制指令的发起客户端的本地。
可选地,上述对象创建单元403,包括:
人脸图像采集子单元,用于采集上述目标用户的人脸图像,基于上述人脸图像生成上述目标用户的脸部三维模型;
虚拟对象创建子单元,用于根据上述脸部三维模型创建虚拟对象。
可选地,上述对象显示单元404,包括:
特征点提取子单元,用于提取上述虚拟对象的特征点,以及在上述视频流中的实时视频帧中,提取上述目标用户的人脸特征点;
特征点映射子单元,用于建立上述虚拟对象的特征点与上述人脸特征点的映射关系;
虚拟对象显示子单元,用于基于上述映射关系,将上述虚拟对象显示至上述实时视频帧中上述目标用户的人脸位置,以使得上述目标用户的人脸特征点能够与上述虚拟对象的对应特征点重合。
由上可见,通过本申请方案,用户可通过客户端发起视频通话需求,在随机匹配多个存在社交需求的用户的客户端组成临时群组之后,即可建立临时群组的视频通话,通过视频通话可提高用户与他人通过互联网进行社交时的沟通效率,并通过视频通话过程中所传递的画面及声音使得用户获得直观的社交感受。而由于上述临时群组中的客户端为随机匹配的客户端,因而为了保障登录客户端的用户的隐私,还为每一用户生成对应的虚拟对象,并在各个用户的视频流中通过对应的虚拟对象实现对用户人脸的遮盖,避免了用户隐私的泄露。
本申请实施例还提供了一种电子设备,请参阅图5,本申请实施例中的电子设备5包括:存储器501,一个或多个处理器502(图5中仅示出一个)及存储在存储器501上并可在处理器上运行的计算机程序。其中:存储器501用于存储软件程序以及模块,处理器502通过运行存储在存储器501的软件程序以及单元,从而执行各种功能应用以及数据处理,以获取上述预设事件对应的资源。具体地,上述处理器502通过运行存储在存储器501的上述计算机程序时实现以下步骤:
随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
建立上述临时群组的视频通话;
针对目标用户,为上述目标用户创建对应的虚拟对象,其中,上述目标用户为登录目标客户端的用户,上述目标客户端为上述临时群组中的任一客户端:
接收上述目标客户端所发送的视频通话的视频流,并将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置;
将上述视频流发送至上述临时群组中的各个客户端。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,在上述将上述视频流发送至上述临时群组中各个客户端之前,上述处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤:
获取上述视频流中的声音信号;
对上述声音信号进行变声处理,上述变声处理包括更改上述声音信号的音色及音调。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤:
若接收到虚拟对象取消指令,则在上述虚拟对象取消指令的发起客户端的视频流中取消对上述虚拟对象的显示。
在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤:
若在结束上述视频通话后的预设时间段内,接收到任意两个客户端的双向好友添加请求,则为发起上述双向好友添加请求的两个客户端的登录账号建立好友关系。
在上述第一种可能的实施方式作为基础而提供的第五种可能的实施方式中,处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤:
若接收到录制指令,则在上述录制指令的接收时刻启动对各个客户端的视频流的录制;
将录制得到的视频流保存于预设的服务器或上述录制指令的发起客户端的本地。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础,或者上述第四种可能的实施方式作为基础,或者上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中,上述为上述目标用户创建对应的虚拟对象,包括:
采集上述目标用户的人脸图像,基于上述人脸图像生成上述目标用户的脸部三维模型;
根据上述脸部三维模型创建虚拟对象。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础,或者上述第四种可能的实施方式作为基础,或者上述第五种可能的实施方式作为基础而提供的第七种可能的实施方式中,上述将上述虚拟对象显示至上述视频流中上述目标用户的人脸位置,包括:
提取上述虚拟对象的特征点;
在上述视频流中的实时视频帧中,提取上述目标用户的人脸特征点;
建立上述虚拟对象的特征点与上述人脸特征点的映射关系;
基于上述映射关系,将上述虚拟对象显示至上述实时视频帧中上述目标用户的人脸位置,以使得上述目标用户的人脸特征点能够与上述虚拟对象的对应特征点重合。
进一步,上述电子设备还可包括:一个或多个输入设备和一个或多个输出设备。存储器501、处理器502、输入设备和输出设备通过总线连接。
应当理解,在本申请实施例中,所称处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备可以包括键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备可以包括显示器、扬声器等。
存储器501可以包括只读存储器和随机存取存储器,并向处理器502提供指令和数据。存储器501的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器501还可以存储设备类型的信息。
由上可见,通过本申请方案,用户可通过客户端发起视频通话需求,在随机匹配多个存在社交需求的用户的客户端组成临时群组之后,即可建立临时群组的视频通话,通过视频通话可提高用户与他人通过互联网进行社交时的沟通效率,并通过视频通话过程中所传递的画面及声音使得用户获得直观的社交感受。而由于上述临时群组中的客户端为随机匹配的客户端,因而为了保障登录客户端的用户的隐私,还为每一用户生成对应的虚拟对象,并在各个用户的视频流中通过对应的虚拟对象实现对用户人脸的遮盖,避免了用户隐私的泄露。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频流控制方法,其特征在于,包括:
随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
建立所述临时群组的视频通话;
针对目标用户,为所述目标用户创建对应的虚拟对象,其中,所述目标用户为登录目标客户端的用户,所述目标客户端为所述临时群组中的任一客户端:
接收所述目标客户端所发送的视频通话的视频流,并将所述虚拟对象显示至所述视频流中所述目标用户的人脸位置;
将所述视频流发送至所述临时群组中的各个客户端。
2.如权利要求1所述的视频流控制方法,其特征在于,在所述将所述视频流发送至所述临时群组中的各个客户端之前,所述视频流控制方法还包括:
获取所述视频流中的声音信号;
对所述声音信号进行变声处理,所述变声处理包括更改所述声音信号的音色及音调。
3.如权利要求1所述的视频流控制方法,其特征在于,所述视频流控制方法还包括:
若接收到虚拟对象取消指令,则在所述虚拟对象取消指令的发起客户端的视频流中取消对所述虚拟对象的显示。
4.如权利要求1所述的视频流控制方法,其特征在于,所述视频流控制方法还包括:
若在结束所述视频通话后的预设时间段内,接收到任意两个客户端的双向好友添加请求,则为发起所述双向好友添加请求的两个客户端的登录账号建立好友关系。
5.如权利要求1所述的视频流控制方法,其特征在于,所述视频流控制方法还包括:
若接收到录制指令,则在所述录制指令的接收时刻启动对各个客户端的视频流的录制;
将录制得到的视频流保存于预设的服务器或所述录制指令的发起客户端的本地。
6.如权利要求1至5任一项所述的视频流控制方法,其特征在于,所述为所述目标用户创建对应的虚拟对象,包括:
采集所述目标用户的人脸图像,基于所述人脸图像生成所述目标用户的脸部三维模型;
根据所述脸部三维模型创建虚拟对象。
7.如权利要求1至5任一项所述的视频流控制方法,其特征在于,所述将所述虚拟对象显示至所述视频流中所述目标用户的人脸位置,包括:
提取所述虚拟对象的特征点;
在所述视频流中的实时视频帧中,提取所述目标用户的人脸特征点;
建立所述虚拟对象的特征点与所述人脸特征点的映射关系;
基于所述映射关系,将所述虚拟对象显示至所述实时视频帧中所述目标用户的人脸位置,以使得所述目标用户的人脸特征点能够与所述虚拟对象的对应特征点重合。
8.一种视频流控制装置,其特征在于,包括:
群组建立单元,用于随机匹配发起视频通信请求的两个以上客户端,组成临时群组;
通话建立单元,用于建立所述临时群组的视频通话;
对象创建单元,用于针对目标用户,为所述目标用户创建对应的虚拟对象,其中,所述目标用户为登录目标客户端的用户,所述目标客户端为所述临时群组中的任一客户端;
对象显示单元,用于接收所述目标客户端所发送的视频通话的视频流,并将所述虚拟对象显示至所述视频流中所述目标用户的人脸位置;
视频流发送单元,用于将所述视频流发送至所述临时群组中的各个客户端。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN201910950050.9A 2019-10-08 2019-10-08 一种视频流控制方法、视频流控制装置及电子设备 Pending CN110677610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910950050.9A CN110677610A (zh) 2019-10-08 2019-10-08 一种视频流控制方法、视频流控制装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910950050.9A CN110677610A (zh) 2019-10-08 2019-10-08 一种视频流控制方法、视频流控制装置及电子设备

Publications (1)

Publication Number Publication Date
CN110677610A true CN110677610A (zh) 2020-01-10

Family

ID=69080902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910950050.9A Pending CN110677610A (zh) 2019-10-08 2019-10-08 一种视频流控制方法、视频流控制装置及电子设备

Country Status (1)

Country Link
CN (1) CN110677610A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614925A (zh) * 2020-05-20 2020-09-01 广州视源电子科技股份有限公司 人物图像处理方法、装置、相应终端及存储介质
CN113395597A (zh) * 2020-10-26 2021-09-14 腾讯科技(深圳)有限公司 一种视频通讯处理方法、设备及可读存储介质
CN114338761A (zh) * 2021-12-24 2022-04-12 威艾特科技(深圳)有限公司 一种远程现场通信方法及存储介质
CN115174569A (zh) * 2022-06-27 2022-10-11 普联技术有限公司 一种视频流传输的控制方法、装置、服务器及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143234A (zh) * 2011-04-11 2011-08-03 成都天语星空科技有限公司 基于网络同步互动的方法
CN102904936A (zh) * 2012-09-25 2013-01-30 北京小米科技有限责任公司 一种建立会话的方法、服务器、装置、系统及设备
CN102932243A (zh) * 2012-11-26 2013-02-13 杭州也要买电子商务有限公司 一种实现基于网页的视频聊天的方法
CN104537092A (zh) * 2015-01-08 2015-04-22 长沙糖果网络科技有限公司 一种以貌取人的随机交友方法
CN104811368A (zh) * 2015-04-21 2015-07-29 北京陪我科技有限公司 一种匿名聊天方法及系统
CN105407035A (zh) * 2015-10-26 2016-03-16 深圳市乐唯科技开发有限公司 一种建立好友关系的方法及装置
CN106331572A (zh) * 2016-08-26 2017-01-11 乐视控股(北京)有限公司 一种基于图像的控制方法和装置
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技(深圳)有限公司 视频处理方法及终端设备
CN108921715A (zh) * 2018-07-27 2018-11-30 福建兑信科技有限公司 设有限时互动的社交用户终端及社交系统
CN109145827A (zh) * 2018-08-24 2019-01-04 阿里巴巴集团控股有限公司 视频通讯方法及装置
CN109873986A (zh) * 2019-03-03 2019-06-11 太原蓝知科技有限公司 一种基于位置信息的摄像头共享方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143234A (zh) * 2011-04-11 2011-08-03 成都天语星空科技有限公司 基于网络同步互动的方法
CN102904936A (zh) * 2012-09-25 2013-01-30 北京小米科技有限责任公司 一种建立会话的方法、服务器、装置、系统及设备
CN102932243A (zh) * 2012-11-26 2013-02-13 杭州也要买电子商务有限公司 一种实现基于网页的视频聊天的方法
CN104537092A (zh) * 2015-01-08 2015-04-22 长沙糖果网络科技有限公司 一种以貌取人的随机交友方法
CN104811368A (zh) * 2015-04-21 2015-07-29 北京陪我科技有限公司 一种匿名聊天方法及系统
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技(深圳)有限公司 视频处理方法及终端设备
CN105407035A (zh) * 2015-10-26 2016-03-16 深圳市乐唯科技开发有限公司 一种建立好友关系的方法及装置
CN106331572A (zh) * 2016-08-26 2017-01-11 乐视控股(北京)有限公司 一种基于图像的控制方法和装置
CN108921715A (zh) * 2018-07-27 2018-11-30 福建兑信科技有限公司 设有限时互动的社交用户终端及社交系统
CN109145827A (zh) * 2018-08-24 2019-01-04 阿里巴巴集团控股有限公司 视频通讯方法及装置
CN109873986A (zh) * 2019-03-03 2019-06-11 太原蓝知科技有限公司 一种基于位置信息的摄像头共享方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614925A (zh) * 2020-05-20 2020-09-01 广州视源电子科技股份有限公司 人物图像处理方法、装置、相应终端及存储介质
CN113395597A (zh) * 2020-10-26 2021-09-14 腾讯科技(深圳)有限公司 一种视频通讯处理方法、设备及可读存储介质
CN114338761A (zh) * 2021-12-24 2022-04-12 威艾特科技(深圳)有限公司 一种远程现场通信方法及存储介质
CN115174569A (zh) * 2022-06-27 2022-10-11 普联技术有限公司 一种视频流传输的控制方法、装置、服务器及存储介质
CN115174569B (zh) * 2022-06-27 2024-03-19 普联技术有限公司 一种视频流传输的控制方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN110677610A (zh) 一种视频流控制方法、视频流控制装置及电子设备
CN107392783B (zh) 基于虚拟现实的社交方法及装置
CN111246232A (zh) 直播互动方法、装置、电子设备及存储介质
US11782272B2 (en) Virtual reality interaction method, device and system
CN109874021A (zh) 直播互动方法、装置及系统
US20140351720A1 (en) Method, user terminal and server for information exchange in communications
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
CN105320262A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
WO2022105846A1 (zh) 虚拟对象显示方法及装置、电子设备、介质
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN111064919A (zh) 一种vr远程会议方法及装置
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
US20220270302A1 (en) Content distribution system, content distribution method, and content distribution program
WO2021223724A1 (zh) 信息处理方法、装置和电子设备
CN114245221A (zh) 基于直播间的互动方法、装置、电子设备及存储介质
TW202123128A (zh) 虛擬人物直播方法、系統及電腦程式產品
CN109039851B (zh) 交互数据处理方法、装置、计算机设备和存储介质
CN108271058B (zh) 视频互动方法、用户客户端、服务器及存储介质
CN111614926B (zh) 网络通话方法、装置、计算机设备和存储介质
JP7291106B2 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
JP7329217B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
CN114425162A (zh) 一种视频处理方法和相关装置
JP6491808B1 (ja) ゲームプログラムおよびゲーム装置
CN115426505B (zh) 基于面部捕捉的预设表情特效触发方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110