CN112684889B - 一种用户互动方法及设备 - Google Patents
一种用户互动方法及设备 Download PDFInfo
- Publication number
- CN112684889B CN112684889B CN202011602488.7A CN202011602488A CN112684889B CN 112684889 B CN112684889 B CN 112684889B CN 202011602488 A CN202011602488 A CN 202011602488A CN 112684889 B CN112684889 B CN 112684889B
- Authority
- CN
- China
- Prior art keywords
- user
- expression
- interaction
- equipment
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请的目的是提供一种用户互动方法及设备,本申请通第一用户设备、第二用户设备及网络设备,不仅实现了在网络设备端对第一用户和第二用户所采集的面部表情进行表情符号的匹配,还实现了根据第一用户和第二用户各自的表情匹配结果确定在本次交互过程中的第一用户的互动积分和第二用户的互动积分,从而肯定第一用户和第二用户在交互过程中的参与度和互动积极性,不仅能够提高第一用户和第二用户在交互过程中的趣味性,还可以提高第一用户和第二用户的留存度和粘度。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种用户互动方法及设备。
背景技术
随着即时通讯工具的不断发展,用户与用户之间进行实时交互的场景越来越多,用户间不仅能够通过即时通讯工具进行商务上的交互,还能够通过即时通讯工具进行聊天、休闲娱乐等的交互,进一步延伸用户间进行交互的隔空距离和交互宽度,但如何提高用户间的交互趣味性也是现有技术的主要研究课题。
发明内容
本申请的一个目的是提供一种用户互动方法及设备,提高了用户交互的趣味性和用户粘度。
根据本申请的一个方面,提供了一种用户互动方法,应用于第一用户设备端,所述第一用户设备包括第一摄像装置,其中,所述方法包括:
通过所述第一摄像装置在预设时间内采集第一用户的第一面部表情并发送至网络设备,以使所述网络设备对所述第一用户的第一面部表情进行分析和匹配,得到第一用户对应的第一表情符号并转发给第二用户设备;
接收所述网络设备转发的第二用户对应的第二表情符号并显示;
通过所述第一摄像装置在所述预设时间内采集所述第一用户按照显示的所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配,并向所述网络设备发送所述第一用户的表情匹配结果;
接收并显示所述网络设备发送的所述第一用户的互动积分,其中,所述第一用户的互动积分由所述网络设备基于所述第一用户的表情匹配结果和从所述第二用户设备接收的所述第二用户的表情匹配结果确定。
进一步地,上述第一用户设备端的用户交互方法中,所述方法还包括:
与第二用户设备建立实时画面传送连接;
在所述第一用户设备的显示界面,显示所述第一用户的交互视角的同时显示所述第二用户的交互视角。
进一步地,上述第一用户设备端的用户交互方法中,所述方法还包括:
向所述网络设备发起第一交互请求,所述第一交互请求包括所述第一用户的第一标识,以使所述网络设备基于所述第一标识判断面部模型库中是否存在所述第一用户的面部模型;
若所述面部模型库存在所述第一用户的面部模型,则接收所述网络设备发送的于指示已录入所述第一用户的面部模型的第一提示信息;
若所述面部模型库不存在所述第一用户的面部模型,则接收所述网络设备发送的所述第一用户的面部采集指令,并基于所述第一用户的面部采集指令采集所述第一用户的面部信息并上传至所述网络设备。
进一步地,上述第一用户设备端的用户交互方法中,所述方法还包括:
通过所述第一摄像装置在所述预设时间内对所述第一用户的所述第一面部表情和/或所述第四面部表情进行更新。
根据本申请的另一个方面,还提供了一种用户互动方法,应用于第二用户设备端,所述第二用户设备包括第二摄像装置,其中,所述方法包括:
接收网络设备转发的第一用户对应的第一表情符号并显示;
通过所述第二摄像装置在预设时间内采集第二用户按照显示的所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配,并向所述网络设备发送所述第二用户的表情匹配结果;
通过所述第二摄像装置在所述预设时间内采集所述第二用户的第三面部表情并发送至网络设备,以使所述网络设备对所述第二用户的第三面部表情进行分析和匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备;
接收并显示所述网络设备发送的所述第二用户的互动积分,其中,所述第二用户的互动积分由所述网络设备基于所述第二用户的表情匹配结果和从所述第一用户设备接收的所述第一用户的表情匹配结果确定。
进一步地,上述第二用户设备端的用户交互方法中,所述方法还包括:
与第一用户设备建立实时画面传送连接;
在所述第二用户设备的显示界面,显示所述第二用户的交互视角的同时显示所述第一用户的交互视角。
进一步地,上述第二用户设备端的用户交互方法中,所述方法还包括:
向所述网络设备发起第二交互请求,所述第二交互请求包括所述第二用户的第二标识,以使所述网络设备基于所述第二标识判断面部模型库中是否存在所述第二用户的面部模型;
若所述面部模型库存在所述第二用户的面部模型,则接收并显示所述网络设备发送的于指示已录入所述第二用户的面部模型的第二提示信息;
若所述面部模型库不存在所述第二用户的面部模型,则接收所述网络设备发送的所述第二用户的面部采集指令,并基于所述第二用户的面部采集指令采集所述第二用户的面部信息并上传至所述网络设备。
进一步地,上述第二用户设备端的用户交互方法中,所述方法还包括:
通过所述第二摄像装置在所述预设时间内对所述第二用户的所述第二面部表情和/或所述第三面部表情进行更新。
根据本申请的另一个方面,还提供了一种用户互动方法,应用于网络设备端,其中,所述方法包括:
接收第一用户设备发送的第一用户的第一面部表情;
将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号并转发给第二用户设备,以使第二用户设备通过第二摄像装置采集所述第二用户在预设时间内按照所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配;
接收所述第二用户设备发送的所述第二用户的表情匹配结果;
接收第二用户设备发送的第二用户的第三面部表情;
将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备,以使所述第一用户设备通过第一摄像装置采集所述第一用户在所述预设时间内按照所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配;
接收第一用户设备发送的所述第一用户的表情匹配结果;
基于所述第一用户的表情匹配结果和所述第二用户的表情匹配结果,确定所述第一用户的互动积分和所述第二用户的互动积分;
将所述第一用户的互动积分发送给所述第一用户设备的同时,将所述第二用户的互动积分发送给所述第二用户设备。
进一步地,上述网络设备端的用户交互方法中,所述方法还包括:
接收所述第一用户设备发送的第一用户的第一交互请求,其中,所述第一交互请求包括所述第一用户的第一标识;
基于所述第一标识判断面部模型库中是否存在所述第一用户的面部模型,
若存在,则调出所述第一用户的面部模型,并向所述第一用户设备发送用于指示已录入所述第一用户的面部模型的第一提示信息;
若不存在,则向所述第一用户设备发送所述第一用户的面部采集指令;接收所述第一用户设备发送的所述第一用户的面部信息并基于所述第一用户的面部信息构建所述第一用户的面部模型并存储。
进一步地,上述网络设备端的用户交互方法中,所述方法还包括:
接收所述第二用户设备发送的第二用户的第二交互请求,其中,所述第二交互请求包括所述第二用户的第二标识;
基于所述第二标识判断面部模型库中是否存在所述第二用户的面部模型,
若存在,则调出所述第二用户的面部模型,并向所述第二用户设备发送用于指示已录入所述第二用户的面部模型的第二提示信息;
若不存在,则向所述第二用户设备发送所述第二用户的面部采集指令;接收所述第二用户设备发送的所述第二用户的面部信息并基于所述第二用户的面部信息构建所述第二用户的面部模型并存储。
进一步地,上述网络设备端的用户交互方法中,所述将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号,包括:将所述第一用户的第一面部表情分别与所述预设表情库中的每一表情符号进行匹配,得到所述第一面部表情分别与每一所述表情符号之间的第一匹配度;将所有所述第一匹配度中的、最高匹配度对应的表情符号,确定为所述第一用户对应的第一表情符号;
所述将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号,包括:
将所述第二用户的第三面部表情分别与所述预设表情库中的每一表情符号进行匹配,得到所述第三面部表情分别与每一所述表情符号之间的第二匹配度;将所有所述第二匹配度中的、最高匹配度对应的表情符号,确定为所述第二用户对应的第二表情符号。
根据本申请的另一个方面,还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述用户交互方法。
根据本申请的另一个方面,还提供了一种用于用户互动的第一用户设备,其中,所述第一用户设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第一用户设备端的用户交互方法。
根据本申请的另一个方面,还提供了一种用于用户互动的第二用户设备,其中,所述第二用户设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第二用户设备端的用户交互方法。
根据本申请的另一个方面,还提供了一种用于用户互动的网络设备,其中,所述网络设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述网络设备端的用户交互方法。
与现有技术相比,本申请在第一用户设备端通过所述第一用户设备中的第一摄像装置在预设时间内采集第一用户的第一面部表情并发送至网络设备,以使所述网络设备对所述第一用户的第一面部表情进行分析和匹配,得到第一用户对应的第一表情符号并转发给第二用户设备;接收所述网络设备转发的第二用户对应的第二表情符号并显示;通过所述第一摄像装置在所述预设时间内采集所述第一用户按照显示的所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配,并向所述网络设备发送所述第一用户的表情匹配结果;接收并显示所述网络设备发送的所述第一用户的互动积分,其中,所述第一用户的互动积分由所述网络设备基于所述第一用户的表情匹配结果和从所述第二用户设备接收的所述第二用户的表情匹配结果确定,实现了在第一用户设备端根据采集的第一用户的第一面部表情和第四面部表情来判定第一用户的互动积分,使得第一用户能够参与到与第二用户之间的交互过程中,并通过第一用户的互动积分让该第一用户了解到自己在本次交互中的表现,不仅能够提高第一用户在交互过程中的趣味性,还可以提高第一用户的留存度和粘度。
进一步地,所述第二用户设备接收网络设备转发的第一用户对应的第一表情符号并显示;通过所述第二用户设备中的第二摄像装置在预设时间内采集第二用户按照显示的所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配,并向所述网络设备发送所述第二用户的表情匹配结果;通过所述第二摄像装置在所述预设时间内采集所述第二用户的第三面部表情并发送至网络设备,以使所述网络设备对所述第二用户的第三面部表情进行分析和匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备;接收并显示所述网络设备发送的所述第二用户的互动积分,其中,所述第二用户的互动积分由所述网络设备基于所述第二用户的表情匹配结果和从所述第一用户设备接收的所述第一用户的表情匹配结果确定。实现了在第二用户设备端根据采集的第二用户的第二面部表情和第三面部表情来判定第二用户的互动积分,使得第二用户能够参与到与第一用户之间的交互过程中,并通过第二用户的互动积分让该第二用户了解到自己在本次交互中的表现,不仅能够提高第二用户在交互过程中的趣味性,还可以提高第二用户的留存度和粘度。
进一步地,所述网络设备先接收第一用户设备发送的第一用户的第一面部表情,并将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号并转发给第二用户设备,以使第二用户设备通过第二摄像装置采集所述第二用户在预设时间内按照所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配;接收所述第二用户设备发送的所述第二用户的表情匹配结果;然后,接收第二用户设备发送的第二用户的第三面部表情,并将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备,以使所述第一用户设备通过第一摄像装置采集所述第一用户在所述预设时间内按照所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配;接收第一用户设备发送的所述第一用户的表情匹配结果;接着,基于所述第一用户的表情匹配结果和所述第二用户的表情匹配结果,确定所述第一用户的互动积分和所述第二用户的互动积分;最后,将所述第一用户的互动积分发送给所述第一用户设备的同时,将所述第二用户的互动积分发送给所述第二用户设备,不仅实现了在网络设备端对第一用户和第二用户所采集的面部表情进行表情符号的匹配,还实现了根据第一用户和第二用户各自的表情匹配结果确定在本次交互过程中的第一用户的互动积分和第二用户的互动积分,从而肯定第一用户和第二用户在交互过程中的参与度和互动积极性,不仅能够提高第一用户和第二用户在交互过程中的趣味性,还可以提高第一用户和第二用户的留存度和粘度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种用户互动方法的交互流程示意图;
图2示出根据本申请一个方面的一种用户互动方法中的线上实时的表情表演对抗赛的进入界面示意图;
图3示出根据本申请一个方面的一种用户互动方法中的人脸识别并记录的界面示意图;
图4示出根据本申请一个方面的一种用户互动方法中的提前进入实时交互的表情表演对抗赛的挑战区的界面示意图;
图5示出根据本申请一个方面的一种用户互动方法中的实时画面调整的界面示意图;
图6示出根据本申请一个方面的一种用户互动方法中的挑战顺序的随机选择按钮的界面示意图;
图7示出根据本申请一个方面的一种用户互动方法中的用户A选中先挑战的界面示意图;
图8示出根据本申请一个方面的一种用户互动方法中的户A的挑战界面示意图;
图9示出根据本申请一个方面的一种用户互动方法中的用户A的确定或重新生成表情的界面示意图;
图10示出根据本申请一个方面的一种用户互动方法中的用户A观看用户B挑战的挑战视角的界面示意图;
图11示出根据本申请一个方面的一种用户互动方法中的用户B选中后挑战的界面示意图;
图12示出根据本申请一个方面的一种用户互动方法中的用户B的交互视角为等待对方正在表情生成中的界面示意图;
图13示出根据本申请一个方面的一种用户互动方法中的用户B对照着用户A的第一表情符号进行挑战表情的界面示意图;
图14示出根据本申请一个方面的一种用户互动方法中的交互积分展示的界面示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如图1所示,本申请一个方面的一种用户互动方法的流程示意图,应用于第一用户与第二用户之间的交互过程中,包括第一用户设备、第二用户设备及网络设备,所述第一用户设备为第一用户对应的用户设备,所述第二用户设备为第二用户对应的用户设备,所述网络设备为第一用户设备与第二用户设备均对应的后台服务器。当然,所述第一用户设备与第二用户设备均安装有用于即时通讯的即时应用,则所述网络设备为所述即时应用的后台服务器;所述第一用户设备和所述第二用户设备可以是不同的移动终端,也可以是同一移动终端,即移动终端既可以是先开始采集面部表情的用户设备端,也可以是后采集面部表情的用户设备端,第一用户设备与第二用户设备均安装有摄像装置,所述摄像装置可以包括但不限于摄像头、拍照相机及激光摄像等,其中在第一用户设备中包括有第一摄像装置,在第二用户设备中包括有第二摄像装置。在本申请的以下实施例中,优选第一用户设备与第二用户设备为不同的用户设备,且第一用户设备先采集对应的第一用户设备的面部表情,以作为第一用户与第二用户之间的交互过程的开始。其中,本申请实施例中的用户互动方法中包括:第一用户设备端执行的步骤S11、步骤S12、步骤S13及步骤S14,网络设备端执行的步骤S21、步骤S22、步骤S23、步骤S24、步骤S25、步骤S26及步骤S27,及第二用户设备端执行的步骤S31、步骤S32、步骤S33及步骤S34,具体包括如下步骤:
在实际的应用场景中,当第一用户想要与第二用户进行交互时,第一用户可以先发起交互动作,比如,第一用户可以对着自己对应的第一用户设备的第一摄像装置做一个想让对方做的面部表情,在步骤S11中,所述第一用户设备通过所述第一摄像装置在预设时间内采集第一用户的第一面部表情并发送至网络设备,以使所述网络设备对所述第一用户的第一面部表情进行分析和匹配,得到第一用户对应的第一表情符号并转发给第二用户设备。
需要说明的是,本申请实施例中的所述预设时间包括但不限于十秒钟、半分钟、一分钟,甚至是几分钟等。当然,本领域的技术人员应能理解,其他现有的或今后可能出现的用于限定用户采集面部表情的预设时间的长短如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
若在步骤S11中,第一用户设备在预设时间内采集的第一用户的第一面部表情为A1,在步骤S21中,所述网络设备接收第一用户设备发送的第一用户的第一面部表情A1。
所述网络设备接收到第一用户的第一面部表情A后,在步骤S22中,所述网络设备将所述第一用户的第一面部表情A1与预设表情库进行匹配,得到所述第一用户对应的第一表情符号A1’并转发给第二用户设备,以使第二用户设备通过第二摄像装置采集所述第二用户在预设时间内按照所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配。在此,所述网络设备的所述预设表情库中包括一个或多个表情符号及每个所述表情符号对应的面部表情特征信息,使得通过采集的每个面部表情中所携带的特征信息与所述预设表情库中的面部表情特征信息进行比对,以得到与面部表情中所携带的特征信息对应的面部表情特征信息,从而确定该面部表情所属的表情符号,实现对所有用户设备端上传的用户的面部表情所对应的表情符号的匹配和确定。
步骤S31,所述第二用户设备接收网络设备转发的第一用户对应的第一表情符号A1’并显示。
在第二用户设备的显示界面显示所述第一用户做出的第一面部表情A对应的第一表情符号A1’,为了与第一用户进行表情交互的比拼,第二用户对着第二用户设备上的第二摄像装置,按照第一表情符号A1’做出对应的面部表情,即第二用户的第二面部表情,在步骤S32中,所述第二用户设备通过所述第二摄像装置在预设时间内采集第二用户按照显示的所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配,并向所述网络设备发送所述第二用户的表情匹配结果;在此,本申请实施例中的所述预设时间包括但不限于十秒钟、半分钟、一分钟,甚至是几分钟等。当然,本领域的技术人员应能理解,其他现有的或今后可能出现的用于限定用户采集面部表情的预设时间的长短如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在第二用户对着第二摄像装置做出与第一表情符号A1’对应的第二面部表情B1后,所述第二用户设备判断采集的第二用户的第二面部表情B1与所述第一表情符号A1’是否匹配,即,分析第二面部表情B1包含的面部表情的特征信息是否与第一表情符号A1’对应的面部表情特征信息匹配,以得到第二用户的表情匹配结果A1’B1,并将第二用户的表情匹配结果A1’B1发送给网络设备。
在步骤S23中,所述网络设备接收所述第二用户设备发送的所述第二用户的表情匹配结果;即第二用户的表情匹配结果A1’B1,实现了通过第一用户设备主动做第一面部表情,由网络设备为第一面部表情匹配对应的第一表情符号并转发给第二用户设备,第二用户设备按照第一表情符号做出对应的第二面部表情,并将第一表情符号和第二面部表情进行比对,得到第二用户的表情匹配结果,使得第二用户照着第一用户所做出的第一面部表情,做出对应的第二面部表情,完成了第二用户对第一用户的表情对照表演的交互过程。
为了表示在表情对照表演的交互过程中的公平性,切换为第二用户先采集面部表情,然后让第一用户对照着做出对应的面部表情,比如,第二用户可以对着自己对应的第二用户设备的第二摄像装置做一个想让第一用户做的面部表情,在步骤S33中,所述第二用户设备通过所述第二摄像装置在所述预设时间内采集所述第二用户的第三面部表情并发送至网络设备,以使所述网络设备对所述第二用户的第三面部表情进行分析和匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备,在此,本申请实施例中的所述预设时间包括但不限于十秒钟、半分钟、一分钟,甚至是几分钟等。当然,本领域的技术人员应能理解,其他现有的或今后可能出现的用于限定用户采集面部表情的预设时间的长短如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
若在步骤S33中,第二用户设备在预设时间内采集的第二用户的第三面部表情为B2,在步骤S24中,所述网络设备接收第二用户设备发送的第二用户的第三面部表情B2。
所述网络设备接收到第二用户的第三面部表情B2后,在步骤S25中,所述网络设备将所述第二用户的第三面部表情B2与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号B2’并转发给所述第一用户设备,以使所述第一用户设备通过第一摄像装置采集所述第一用户在所述预设时间内按照所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配。
步骤S12,所述第一用户设备接收所述网络设备转发的第二用户对应的第二表情符号B2’并显示。
在第一用户设备的显示界面显示所述第二用户做出的第三面部表情B2对应的第二表情符号B2’,为了与第二用户进行表情交互的比拼,第一用户对着第一用户设备上的第一摄像装置,按照第二表情符号B2’做出对应的面部表情,即第一用户的第四面部表情A2,在步骤S13中,所述第一用户设备通过所述第一摄像装置在所述预设时间内采集所述第一用户按照显示的所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配,并向所述网络设备发送所述第一用户的表情匹配结果;在此,本申请实施例中的所述预设时间包括但不限于十秒钟、半分钟、一分钟,甚至是几分钟等。当然,本领域的技术人员应能理解,其他现有的或今后可能出现的用于限定用户采集面部表情的预设时间的长短如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在第一用户对着第一摄像装置做出与第二表情符号B2’对应的第四面部表情A2后,所述第一用户设备判断采集的第一用户的第四面部表情A2与所述第二表情符号B2’是否匹配,即,分析第四面部表情A2包含的面部表情的特征信息是否与第二表情符号B2’对应的面部表情特征信息匹配,以得到第一用户的表情匹配结果A2B2’,并将第二用户的表情匹配结果A2B2’发送给网络设备。
在步骤S26中,所述网络设备接收第一用户设备发送的所述第一用户的表情匹配结果;即第一用户的表情匹配结果A2B2’,实现了通过第二用户设备主动做第三面部表情,由网络设备为第三面部表情匹配对应的第二表情符号并转发给第一用户设备,第一用户设备按照第二表情符号做出对应的第四面部表情,并将第二表情符号和第四面部表情进行比对,得到第一用户的表情匹配结果,使得第一用户照着第二用户所做出的第三面部表情,做出对应的第四面部表情,完成了第一用户对第二用户的表情对照表演的交互过程。
步骤S27,所述网络设备基于所述第一用户的表情匹配结果和所述第二用户的表情匹配结果,确定所述第一用户的互动积分和所述第二用户的互动积分。
所述网络设备在接收到第一用户的表情匹配结果A1’B1和第二用户的表情匹配结果A2B2’后,会根据所述第一用户的表情匹配结果A1’B1和所述第二用户的表情匹配结果A2B2’来分别计算第一用户的互动积分score1和第二用户的互动积分score2,以便通过互动积分的形式来体现第一用户和第二用户在当前的交互过程中的表情表演力度和模仿程度。
步骤S28,所述网络设备将所述第一用户的互动积分发送给所述第一用户设备的同时,将所述第二用户的互动积分发送给所述第二用户设备。例如,网络设备将第一用户的互动积分score1发送给第一用户设备,同时也将第二用户的互动积分score2发送给第二用户设备,便于第一用户和第二用户各自了解自己的表情表演。
步骤S14,所述第一用户设备接收并显示所述网络设备发送的所述第一用户的互动积分,其中,所述第一用户的互动积分由所述网络设备基于所述第一用户的表情匹配结果和从所述第二用户设备接收的所述第二用户的表情匹配结果确定,使得第一用户可以从互动积分score1了解到自己与第二用户之间的交互过程的情况。
步骤S34,所述第二用户设备接收并显示所述网络设备发送的所述第二用户的互动积分,其中,所述第二用户的互动积分由所述网络设备基于所述第二用户的表情匹配结果和从所述第一用户设备接收的所述第一用户的表情匹配结果确定,使得第二用户可以从互动积分score2了解到自己与第一用户之间的交互过程的情况。
通过上述步骤S11至步骤S14,实现了在第一用户设备端根据采集的第一用户的第一面部表情和第四面部表情来判定第一用户的互动积分,使得第一用户能够参与到与第二用户之间的交互过程中,并通过第一用户的互动积分让该第一用户了解到自己在本次交互中的表现,不仅能够提高第一用户在交互过程中的趣味性,还可以提高第一用户的留存度和粘度。
通过步骤S21至步骤S27,不仅实现了在网络设备端对第一用户和第二用户所采集的面部表情进行表情符号的匹配,还实现了根据第一用户和第二用户各自的表情匹配结果确定在本次交互过程中的第一用户的互动积分和第二用户的互动积分,从而肯定第一用户和第二用户在交互过程中的参与度和互动积极性,不仅能够提高第一用户和第二用户在交互过程中的趣味性,还可以提高第一用户和第二用户的留存度和粘度。
通过步骤S31至步骤S34,实现了在第二用户设备端根据采集的第二用户的第二面部表情和第三面部表情来判定第二用户的互动积分,使得第二用户能够参与到与第一用户之间的交互过程中,并通过第二用户的互动积分让该第二用户了解到自己在本次交互中的表现,不仅能够提高第二用户在交互过程中的趣味性,还可以提高第二用户的留存度和粘度。
接着本申请的上述实施例,所述第一用户设备端的用户交互方法还包括:
所述第一用户设备与第二用户设备建立实时画面传送连接;
所述第一用户设备在所述第一用户设备的显示界面,显示所述第一用户的交互视角的同时显示所述第二用户的交互视角。
对应地,所述第二用户设备端的用户交互方法还包括:
所述第二用户设备与第一用户设备建立实时画面传送连接;
所述第二用户设备在所述第二用户设备的显示界面,显示所述第二用户的交互视角的同时显示所述第一用户的交互视角。
例如,第一用户与第二用户在进行二者之间的交互之前,需要确保第一用户对应的第一用户设备与第二用户对应的第二用户设备之间建立实时画面传送连接,便于第一用户设备的显示界面能够通过第二用户设备实时地呈现给第二用户,第而用户设备的显示界面能够通过第一用户设备实时地呈现给第一用户,即第一用户设备与第二用户设备之间建立实时画面传送连接,使得在第一用户设备的显示界面,显示所述第一用户的交互视角的同时显示所述第二用户的交互视角,在所述第二用户设备的显示界面,显示所述第二用户的交互视角的同时显示所述第一用户的交互视角,确保第一用户和第二用户在交互过程中,不仅能够通过自身所在的用户设备上看见自身所在的用户设备的摄像装置所摄取的实时画面,还能够看见交互的对方用户所在的用户设备上的摄像装置所摄取的对方实时画面,满足了交互过程的实时性的同时,还提高了用户交互体验。
接着本申请的上述实施例,所述第一用户设备端的用户交互方法还包括:
所述第一用户设备向所述网络设备发起第一交互请求,所述第一交互请求包括所述第一用户的第一标识,以使所述网络设备基于所述第一标识判断面部模型库中是否存在所述第一用户的面部模型;
若所述面部模型库存在所述第一用户的面部模型,则所述第一用户设备接收所述网络设备发送的于指示已录入所述第一用户的面部模型的第一提示信息;
若所述面部模型库不存在所述第一用户的面部模型,则所述第一用户设备接收所述网络设备发送的所述第一用户的面部采集指令,并基于所述第一用户的面部采集指令采集所述第一用户的面部信息并上传至所述网络设备。
对应地,所述网络设备端的用户交互方法还包括:
所述网络设备接收所述第一用户设备发送的第一用户的第一交互请求,其中,所述第一交互请求包括所述第一用户的第一标识;
所述网络设备基于所述第一标识判断面部模型库中是否存在所述第一用户的面部模型,若存在,则调出所述第一用户的面部模型,并向所述第一用户设备发送用于指示已录入所述第一用户的面部模型的第一提示信息。
若不存在,则向所述第一用户设备发送所述第一用户的面部采集指令;接收所述第一用户设备发送的所述第一用户的面部信息并基于所述第一用户的面部信息构建所述第一用户的面部模型并存储。
例如,在第一用户与第二用户进行实时的交互之前,需要确保网络设备中已经录入了第一用户和第二用户各自的面部信息,来得到第一用户和第二用户各自的面部模型,以便第一用户和第二用户在交互过程中,可以通过第一用户的面部模型实时或间断性地审核交互过程中的用户是否是第一用户,同时可以通过第二用户的面部模型实时或间断性地审核交互过程中的用户是否是第二用户,从而确保交互过程中的第一用户和第二用户均在且没有替换用户的出现,保证交互的公平性和公正性。在第一用户和第二用户开始实时交互之前,所述第一用户设备向所述网络设备发起第一交互请求,所述第一交互请求包括所述第一用户的第一标识User1,以使所述网络设备基于所述第一标识User1判断面部模型库中是否存在所述第一用户的面部模型。所述网络设备接收到所述第一用户设备发送的包含有所述第一用户的第一标识User1的第一交互请求后,基于所述第一标识User1判断面部模型库中是否存在所述第一用户的面部模型,若存在,则调出所述第一用户的面部模型,并向所述第一用户设备发送用于指示已录入所述第一用户的面部模型的第一提示信息,所述第一用户设备接收并显示所述网络设备发送的于指示已录入所述第一用户的面部模型的第一提示信息,以达到提示第一用户设备已录入该第一用户的面部模型的目的,还可以告知第一用户可以进入与第二用户之间的实时交互了。
所述网络设备基于所述第一标识User1判断面部模型库中是否存在所述第一用户的面部模型后,若不存在,所述网络设备向所述第一用户设备发送所述第一用户的面部采集指令;使得所述第一用户设备在接收到所述网络设备发送的所述第一用户的面部采集指令后,基于所述第一用户的面部采集指令,通过所述第一用户设备上的第一摄像装置采集所述第一用户的面部信息并上传给所述网络设备;所述网络设备接收所述第一用户设备发送的所述第一用户的面部信息,并基于所述第一用户的面部信息构建所述第一用户的面部模型并存储,不仅实现了对第一用户的面部模型的录入和确定,还便于后续可以利用第一用户的面部模型实时或间断性地审核交互过程中的、第一用户设备端的用户是否确系是该第一用户,避免交互过程中的舞弊行为的发生。
接着本申请的上述实施例,所述第二用户设备端的用户交互方法还包括:
所述第二用户设备向所述网络设备发起第二交互请求,所述第二交互请求包括所述第二用户的第二标识,以使所述网络设备基于所述第二标识判断面部模型库中是否存在所述第二用户的面部模型;
若所述面部模型库存在所述第二用户的面部模型,则所述第二用户设备接收并显示所述网络设备发送的于指示已录入所述第二用户的面部模型的第二提示信息;
若所述面部模型库不存在所述第二用户的面部模型,则所述第二用户设备接收所述网络设备发送的所述第二用户的面部采集指令,并基于所述第二用户的面部采集指令采集所述第二用户的面部信息并上传至所述网络设备。
对应地,所述网络设备端的用户交互方法还包括:
所述网络设备接收所述第二用户设备发送的第二用户的第二交互请求,其中,所述第二交互请求包括所述第二用户的第二标识;
所述网络设备基于所述第二标识判断面部模型库中是否存在所述第二用户的面部模型,若存在,则调出所述第二用户的面部模型,并向所述第二用户设备发送用于指示已录入所述第二用户的面部模型的第二提示信息;
若不存在,则向所述第二用户设备发送所述第二用户的面部采集指令;接收所述第二用户设备发送的所述第二用户的面部信息并基于所述第二用户的面部信息构建所述第二用户的面部模型并存储。
例如,在第一用户与第二用户进行实时的交互之前,需要确保网络设备中已经录入了第一用户和第二用户各自的面部信息,来得到第一用户和第二用户各自的面部模型,以便第一用户和第二用户在交互过程中,可以通过第一用户的面部模型实时或间断性地审核交互过程中的用户是否是第一用户,同时可以通过第二用户的面部模型实时或间断性地审核交互过程中的用户是否是第二用户,从而确保交互过程中的第一用户和第二用户均在且没有替换用户的出现,保证交互的公平性和公正性。在第一用户和第二用户开始实时交互之前,所述第二用户设备向所述网络设备发起第二交互请求,所述第二交互请求包括所述第二用户的第二标识User2,以使所述网络设备基于所述第二标识User2判断面部模型库中是否存在所述第二用户的面部模型。所述网络设备接收到所述第二用户设备发送的包含有所述第二用户的第二标识User2的第二交互请求后,基于所述第二标识User2判断面部模型库中是否存在所述第二用户的面部模型,若存在,则调出所述第二用户的面部模型,并向所述第二用户设备发送用于指示已录入所述第二用户的面部模型的第二提示信息,所述第二用户设备接收并显示所述网络设备发送的于指示已录入所述第二用户的面部模型的第二提示信息,以达到提示第二用户设备已录入该第二用户的面部模型的目的,还可以告知第二用户可以进入与第一用户之间的实时交互了。
所述网络设备基于所述第二标识User2判断面部模型库中是否存在所述第二用户的面部模型后,若不存在,所述网络设备向所述第二用户设备发送所述第二用户的面部采集指令;使得所述第二用户设备在接收到所述网络设备发送的所述第二用户的面部采集指令后,基于所述第二用户的面部采集指令,通过所述第二用户设备上的第二摄像装置采集所述第二用户的面部信息并上传给所述网络设备;所述网络设备接收所述第二用户设备发送的所述第二用户的面部信息,并基于所述第二用户的面部信息构建所述第二用户的面部模型并存储,不仅实现了对第二用户的面部模型的录入和确定,还便于后续可以利用第二用户的面部模型实时或间断性地审核交互过程中的、第二用户设备端的用户是否确系是该第二用户,避免交互过程中的舞弊行为的发生。
接着本申请的上述实施例,所述第一用户设备端的用户交互方法还包括:
通过所述第一摄像装置在所述预设时间内对所述第一用户的所述第一面部表情和/或所述第四面部表情进行更新。
例如,在第一用户先发起面部表情的摄取时,若采集第一用户的第一面部表情失败,比或采集的第一面部表情存在面部遮挡、五官采集不全、画面不清晰及环境嘈杂等,则所述第一用户设备可以通过所述第一摄像装置在所述预设时间内对所述第一用户的面部表情进行重新拍摄和采集,对采集失败的第一用户的第一面部表情进行更新,得到更新后的第一用户的第一面部表情,使得更新后的第一用户的第一面部表情满足面部表情的采集需求,便于后续网络设备基于更新后的第一用户的第一面部表情为第一用户匹配出对应的第一表情符号。
例如,在第二用户设备先发起面部表情的摄取时,若第二用户设备采集的第二用户的第三面部表情后,所述网络设备为所述第三面部表情匹配出对应的第二表情符号,所述第一用户设备照着所述第二表情符号做出对应的第四面部表情;若第一用户照着所述第二表情符号所做出的第四面部表情失败,比或采集的第四面部表情存在面部遮挡、五官采集不全、画面不清晰及环境嘈杂等,则所述第一用户设备可以通过所述第一摄像装置在所述预设时间内对所述第一用户的面部表情进行重新拍摄和采集,对采集失败的第一用户的第四面部表情进行更新,得到更新后的第一用户的第四面部表情,使得更新后的第一用户的第四面部表情满足面部表情的采集需求,且与所述第二表情符号更加契合,使得采集的更新后的第一用户的第四面部表情与对照的第二表情符号更加相近,从而提高第一用户在交互过程中的表演精准度。
接着本申请的上述实施例,所述第二用户设备端的用户交互方法还包括:
通过所述第二摄像装置在所述预设时间内对所述第二用户的所述第二面部表情和/或所述第三面部表情进行更新。
例如,在第一用户设备先发起面部表情的摄取时,若第一用户设备采集的第一用户的第一面部表情后,所述网络设备为所述第一面部表情匹配出对应的第一表情符号,所述第二用户设备照着所述第一表情符号做出对应的第二面部表情;若第二用户照着所述第一表情符号所做出的第二面部表情失败,比或采集的第二面部表情存在面部遮挡、五官采集不全、画面不清晰及环境嘈杂等,则所述第二用户设备可以通过所述第二摄像装置在所述预设时间内对所述第二用户的面部表情进行重新拍摄和采集,对采集失败的第二用户的第二面部表情进行更新,得到更新后的第二用户的第二面部表情,使得更新后的第二用户的第二面部表情满足面部表情的采集需求,且与所述第一表情符号更加契合,使得采集的更新后的第二用户的第二面部表情与对照的第一表情符号更加相近,从而提高第二用户在交互过程中的表演精准度。
例如,在第二用户先发起面部表情的摄取时,若采集第二用户的第三面部表情失败,比或采集的第三面部表情存在面部遮挡、五官采集不全、画面不清晰及环境嘈杂等,则所述第二用户设备可以通过所述第二摄像装置在所述预设时间内对所述第二用户的面部表情进行重新拍摄和采集,对采集失败的第二用户的第三面部表情进行更新,得到更新后的第二用户的第三面部表情,使得更新后的第二用户的第三面部表情满足面部表情的采集需求,便于后续网络设备基于更新后的第二用户的第三面部表情为第二用户匹配出对应的第二表情符号。
接着本申请的上述实施例,所述网络设备执行的所述步骤S22中的将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号,包括:
将所述第一用户的第一面部表情分别与所述预设表情库中的每一表情符号进行匹配,得到所述第一面部表情分别与每一所述表情符号之间的第一匹配度;将所有所述第一匹配度中的、最高匹配度对应的表情符号,确定为所述第一用户对应的第一表情符号。
例如,若所述预设表情库存在m个表情符号,分别为表情符号1、表情符号2、……、表情符号(m-1)及表情符号m,其中,m为大于等于1的正整数,所述网络设备在接收到第一用户设备发送的第一用户的第一面部表情A1后,将所述第一用户的第一面部表情A1分别与所述预设表情库中的表情符号1、表情符号2、……、表情符号(m-1)及表情符号m进行匹配和计算,得到所述第一面部表情A1分别与表情符号1、表情符号2、……、表情符号(m-1)及表情符号m之间的第一匹配度,依序分别为第一匹配度11、第一匹配度12、……、第一匹配度1(m-1)及第一匹配度1m;之后,查找所有的第一匹配度中的最高匹配度,若第一匹配度1(m-6)为所述m个第一匹配度中的最高匹配度,则将所述第一匹配度1(m-6)对应的表情符号(m-6)确定为所述第一用户对应的第一表情符号,即第一表情符号为表情符号(m-6),实现在网络设备端对第一用户设备采集的第一用户设备的第一面部表情A1匹配上对应的表情符号(m-6),达到将第一用户所做的第一面部表情匹配为预设表情库中的表情符号的目的,便于后续第二用户设备的第二用户能够参照匹配的第一表情符号进行对应的面部表情的表演。
将所有所述第一匹配度中的、最高匹配度对应的表情符号,确定为所述第一用户对应的第一表情符号
分别与每一所述表情符号之间的第一匹配度
对应地,所述网络设备执行的所述步骤S25中的将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号,包括:
将所述第二用户的第三面部表情分别与所述预设表情库中的每一表情符号进行匹配,得到所述第三面部表情分别与每一所述表情符号之间的第二匹配度;将所有所述第二匹配度中的、最高匹配度对应的表情符号,确定为所述第二用户对应的第二表情符号。
例如,若所述预设表情库存在m个表情符号,分别为表情符号1、表情符号2、……、表情符号(m-1)及表情符号m,其中,m为大于等于1的正整数,所述网络设备在接收到第二用户设备发送的第二用户的第三面部表情B2后,将所述第二用户的第三面部表情B2分别与所述预设表情库中的表情符号1、表情符号2、……、表情符号(m-1)及表情符号m进行匹配和计算,得到所述第三面部表情B2分别与表情符号1、表情符号2、……、表情符号(m-1)及表情符号m之间的第二匹配度,依序分别为第二匹配度21、第二匹配度22、……、第二匹配度2(m-1)及第二匹配度2m;之后,查找所有的第二匹配度中的最高匹配度,若第二匹配度2(m-11)为所述m个第二匹配度中的最高匹配度,则将所述第二匹配度2(m-11)对应的表情符号(m-11)确定为所述第二用户对应的第二表情符号,即第二表情符号为表情符号(m-11),实现在网络设备端对第二用户设备采集的第二用户设备的第三面部表情B2匹配上对应的表情符号(m-11),达到将第二用户所做的第三面部表情匹配为预设表情库中的表情符号的目的,便于后续第一用户设备的第一用户能够参照匹配的第二表情符号进行对应的面部表情的表演。
在本申请一实际应用场景中,将第一用户与第二用户之间的交互过程优选为一线上实时的表情表演对抗赛,如图2所示;其中,将第一用户优选为用户A,将第二用户优选为用户B,在进入图2所示的挤眉弄眼对抗赛的界面后,需要参加挑战赛报名;报名后需要判断用户A和用户B各自是否均进行过人脸识别,并将识别后的用户A的脸部信息和用户B的脸部信息上传至网络设备进行记录和保存,如图3所示;如果用户A和/或用户B没有录入面部信息至网络设备,则需要录入用户A和/或用户B的面部信息至网络设备,使得网络设备对用户A和/或用户B对应的面部模型保存至网络设备中;如果用户A和用户B均已识别和录入了面部信息,则直接跳过图3所示的人脸识别并记录步骤,进入如图4所示的提前进入实时交互的表情表演对抗赛的挑战区,在调整期间,用户A和用户B需要调整各自的摄像装置所拍摄的区域的环境状态,比如,用户A需要开启第一用户设备与用户B对应的第二用户设备之间的实时画面传送连接,用户B亦需要开启第二用户设备与用户A对应的第一用户设备之间的实时画面传送连接,使得在第一用户设备在所述第一用户设备的显示界面,显示所述用户A的交互视角的同时显示所述用户B的交互视角,对应地,第二用户设备在所述第二用户设备的显示界面,显示所述用户B的交互视角的同时显示所述用户A的交互视角;在实时画面传送连接建立之后,需要对第一用户设备和第二用户设备各自的摄像装置所拍摄的脸部识别进行检测,以提示用户的五官漏出,比如头发、帽子不要遮挡住脸部等,及环境需要干净等不影响摄像装置判断等的环境状态,如图5所示,以满足对用户A对应的第一用户设备和用户B对应的第二用户设备之间的实时画面传送的画面的拍摄需求。
用户A和用户B在进入正式的对抗赛后,需要通过呈现在第一用户设备和第二用户设备的显示界面中的随机选择按钮,来确定用户A和用户B的挑战顺序,如图6所示;在本申请实际应用场景的一优选实施例中,如图7所示,若用户A选中了先表演,则进入用户A的挑战界面;当用户A进入挑战界面后,需要用户A在规定的预设时间内完成用户A的表情表演,使得用户A对应的第一用户设备的第一摄像装置获取用户A在预设时间内的第一面部表情A1,如图8所示,并生成用户A的第一面部表情A1,并将用户A的第一面部表情A1发送至网络设备匹配到对应的第一表情符号A1’,将用户A所做的第一面部表情A1对应的第一表情符号A1’展示在第一用户设备的显示界面,如图9所示的完成表情上方的表情符号,可以通过对图9中的确定按钮的选中操作,来确定用户A的第一面部表情A1对应的第一表情符号A1’。当然,若用户A在规定的预设时间内生成的第一面部表情A1不合格的话,用户A还可以在所述预设时间内(即预设时间结束前)重新拍摄并生成用户A的第一面部表情A1,可以通过图9中的重新生成的按钮的选中操作,来完成对用户A的第一面部表情A1的重新拍摄和更新。
在用户A完成第一面部表情A1的拍摄后,网络设备将用户A的第一面部表情A1对应的第一表情符号A1’发送至用户B对应的第二用户设备,此时的用户A可以切换第一用户设备的显示界面的视角至用户B对应的第二用户设备的显示界面,以观看用户B的挑战视角,如图10所示。
在用户B在图6所示的挑战顺序的选择界面随机选择后,用户B对应的第二用户设备的显示界面显示用户B选中了后挑战,如图11所示;当用户A在进行面部表情的拍摄和确定的过程中,用户B所在的第二用户设备的显示界面处于等待状态,等待用户A在规定的预设时间内生成第一表情符号,如图12所示,用户B的交互视角为对方(即用户A)正在表情生成中。当用户A拍摄完了第一面部表情A1后,通过网络设备将用户A的第一面部表情A1对应的第一表情符号A1’发送至用户B对应的第二用户设备,在第二用户设备的显示界面显示第一表情符号A1’,用户B对照着第一表情符号A1’开始进行表情表演,如图13所示。所述第二用户设备通过第二摄像装置拍摄了用户B所做出的与第一表情符号A1’对应的第二面部表情B1后,判断用户B的第二面部表情B1与第一表情符号A1’是否匹配,得到用户B的表情匹配结果A1’B1,第二用户设备将所述用户B的表情匹配结果A1’B1发送至网络设备,实现了用户A先表演面部表情,用户B后挑战表情表演的交互过程,并将所述用户B挑战表演的表情匹配结果A1’B1上传至网络设备。
按照实际应用场景中的用户A先表演面部表情,用户B后挑战表情表演的交互过程,切换挑战顺序,再次进行表情表演的交互过程,即进入用户B先表演面部表情,用户A后挑战表情表演的交互过程,以得到用户A挑战用户B所做的第三面部表情B2对应的第二表情符号B2’的面部表情,即用户A参照第二表情符号B2’所做的第四面部表情A2,并在用户A对应的第一用户设备中判断用户A的第四面部表情A2与第二表情符号B2’是否匹配,得到用户A的表情匹配结果A2B2’,第一用户设备将所述用户A的表情匹配结果A2B2’发送至网络设备,实现了用户B先表演面部表情,用户A后挑战表情表演的交互过程,并将所述用户A挑战表演的表情匹配结果A2B2’上传至网络设备。
所述网络设备接收到用户B的表情匹配结果A1’B1和用户A的表情匹配结果A2B2’后,根据用户B的表情匹配结果A1’B1和用户A的表情匹配结果A2B2’来确定当前次表情表演交互过程中的用户A和用户B是否挑战成功与否;按照上述用户A和用户B之间的来回切换挑战先后顺序的加护过程,再次进行5次完整的交互过程(一个完整的交互过程包括用户A先表演、用户B后挑战表演的过程和用户B先表演、用户A后挑战表演的过程),网络设备最终统计这6次完整的交互过程,最终以谁挑战完成较多次数者为胜利者,网络设备分别将用户A的整体的互动积分和用户B的整体的互动积分依序发送给第一用户设备和第二用户设备,如图14所示,第一用户设备的显示界面显示的用户A在这6次完整的交互过程中所得的交互积分为40分,积分分配规则为一次完整的交互过程胜利者得10分,失败者扣10分,可见在这6次完整的交互过程中,用户A胜利5次和失败1次,计算得到用户A在这6次的交互过程中所得的交互积分为40分,实现用户A和用户B之间的6次完整的表情表演的交互。当然,在实际应用场景中,结束用户A与用户B之间的交互过程后,用户可以选择上传交互积分,也可以选择放弃上传互动积分至所有交互用户所在的积分系统,如图14所示。
根据本申请的另一方面,还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述用户互动方法。
根据本申请的另一方面,还提供了一种用于用户交互的第一用户设备,其中,该第一用户设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述接收端的用户互动方法。
在此,所述用于用户交互的第一用户设备中的各实施例的详细内容,具体可参见上述第一用户设备端的用户互动方法实施例的对应部分,在此,不再赘述。
根据本申请的另一方面,还提供了一种用于用户交互的第二用户设备,其中,该第二用户设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第一用户设备端的用户互动方法。
在此,所述用于用户交互的第二用户设备中的各实施例的详细内容,具体可参见上述第二用户设备端的用户互动方法实施例的对应部分,在此,不再赘述。
根据本申请的另一方面,还提供了一种用于用户交互的网络设备,其中,该网络设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述网络设备端的用户互动方法。
在此,所述用于用户交互的网络设备中的各实施例的详细内容,具体可参见上述网络设备端的用户互动方法实施例的对应部分,在此,不再赘述。
综上所述,本申请通过本申请在第一用户设备端通过所述第一用户设备中的第一摄像装置在预设时间内采集第一用户的第一面部表情并发送至网络设备,以使所述网络设备对所述第一用户的第一面部表情进行分析和匹配,得到第一用户对应的第一表情符号并转发给第二用户设备;接收所述网络设备转发的第二用户对应的第二表情符号并显示;通过所述第一摄像装置在所述预设时间内采集所述第一用户按照显示的所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配,并向所述网络设备发送所述第一用户的表情匹配结果;接收并显示所述网络设备发送的所述第一用户的互动积分,其中,所述第一用户的互动积分由所述网络设备基于所述第一用户的表情匹配结果和从所述第二用户设备接收的所述第二用户的表情匹配结果确定,实现了在第一用户设备端根据采集的第一用户的第一面部表情和第四面部表情来判定第一用户的互动积分,使得第一用户能够参与到与第二用户之间的交互过程中,并通过第一用户的互动积分让该第一用户了解到自己在本次交互中的表现,不仅能够提高第一用户在交互过程中的趣味性,还可以提高第一用户的留存度和粘度。
进一步地,所述第二用户设备接收网络设备转发的第一用户对应的第一表情符号并显示;通过所述第二用户设备中的第二摄像装置在预设时间内采集第二用户按照显示的所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配,并向所述网络设备发送所述第二用户的表情匹配结果;通过所述第二摄像装置在所述预设时间内采集所述第二用户的第三面部表情并发送至网络设备,以使所述网络设备对所述第二用户的第三面部表情进行分析和匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备;接收并显示所述网络设备发送的所述第二用户的互动积分,其中,所述第二用户的互动积分由所述网络设备基于所述第二用户的表情匹配结果和从所述第一用户设备接收的所述第一用户的表情匹配结果确定。实现了在第二用户设备端根据采集的第二用户的第二面部表情和第三面部表情来判定第二用户的互动积分,使得第二用户能够参与到与第一用户之间的交互过程中,并通过第二用户的互动积分让该第二用户了解到自己在本次交互中的表现,不仅能够提高第二用户在交互过程中的趣味性,还可以提高第二用户的留存度和粘度。
进一步地,所述网络设备先接收第一用户设备发送的第一用户的第一面部表情,并将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号并转发给第二用户设备,以使第二用户设备通过第二摄像装置采集所述第二用户在预设时间内按照所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配;接收所述第二用户设备发送的所述第二用户的表情匹配结果;然后,接收第二用户设备发送的第二用户的第三面部表情,并将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备,以使所述第一用户设备通过第一摄像装置采集所述第一用户在所述预设时间内按照所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配;接收第一用户设备发送的所述第一用户的表情匹配结果;接着,基于所述第一用户的表情匹配结果和所述第二用户的表情匹配结果,确定所述第一用户的互动积分和所述第二用户的互动积分;最后,将所述第一用户的互动积分发送给所述第一用户设备的同时,将所述第二用户的互动积分发送给所述第二用户设备,不仅实现了在网络设备端对第一用户和第二用户所采集的面部表情进行表情符号的匹配,还实现了根据第一用户和第二用户各自的表情匹配结果确定在本次交互过程中的第一用户的互动积分和第二用户的互动积分,从而肯定第一用户和第二用户在交互过程中的参与度和互动积极性,不仅能够提高第一用户和第二用户在交互过程中的趣味性,还可以提高第一用户和第二用户的留存度和粘度。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (16)
1.一种用户互动方法,应用于第一用户设备端,所述第一用户设备包括第一摄像装置,其中,
所述方法包括:
通过所述第一摄像装置在预设时间内采集第一用户的第一面部表情并发送至网络设备,以使所述网络设备对所述第一用户的第一面部表情进行分析和匹配,得到第一用户对应的第一表情符号并转发给第二用户设备;
接收所述网络设备转发的第二用户对应的第二表情符号并显示;
通过所述第一摄像装置在所述预设时间内采集所述第一用户按照显示的所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配,并向所述网络设备发送所述第一用户的表情匹配结果;
接收并显示所述网络设备发送的所述第一用户的互动积分,其中,所述第一用户的互动积分由所述网络设备基于所述第一用户的表情匹配结果和从所述第二用户设备接收的所述第二用户的表情匹配结果确定;
所述方法还包括:
向所述网络设备发起第一交互请求,所述第一交互请求包括所述第一用户的第一标识,以使所述网络设备基于所述第一标识判断面部模型库中是否存在所述第一用户的面部模型,以便所述第一用户和所述第二用户在交互过程中,可以通过所述第一用户的面部模型实时或间断性地审核交互过程中的用户是否是所述第一用户,从而确保交互过程中的所述第一用户存在且没有替换用户的出现。
2.根据权利要求1所述的方法,其中,
所述方法还包括:
与第二用户设备建立实时画面传送连接;
在所述第一用户设备的显示界面,显示所述第一用户的交互视角的同时显示所述第二用户的交互视角。
3.根据权利要求1所述的方法,其中,
若所述面部模型库存在所述第一用户的面部模型,则接收所述网络设备发送的于指示已录入所述第一用户的面部模型的第一提示信息;
若所述面部模型库不存在所述第一用户的面部模型,则接收所述网络设备发送的所述第一用户的面部采集指令,并基于所述第一用户的面部采集指令采集所述第一用户的面部信息并上传至所述网络设备。
4.根据权利要求1所述的方法,其中,
所述方法还包括:
通过所述第一摄像装置在所述预设时间内对所述第一用户的所述第一面部表情和/或所述第四面部表情进行更新。
5.一种用户互动方法,应用于第二用户设备端,所述第二用户设备包括第二摄像装置,其中,
所述方法包括:
接收网络设备转发的第一用户对应的第一表情符号并显示;
通过所述第二摄像装置在预设时间内采集第二用户按照显示的所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配,并向所述网络设备发送所述第二用户的表情匹配结果;
通过所述第二摄像装置在所述预设时间内采集所述第二用户的第三面部表情并发送至网络设备,以使所述网络设备对所述第二用户的第三面部表情进行分析和匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备;
接收并显示所述网络设备发送的所述第二用户的互动积分,其中,所述第二用户的互动积分由所述网络设备基于所述第二用户的表情匹配结果和从所述第一用户设备接收的所述第一用户的表情匹配结果确定;
所述方法还包括:
向所述网络设备发起第二交互请求,所述第二交互请求包括所述第二用户的第二标识,以使所述网络设备基于所述第二标识判断面部模型库中是否存在所述第二用户的面部模型,以便所述第一用户和所述第二用户在交互过程中,可以通过所述第二用户的面部模型实时或间断性地审核交互过程中的用户是否是所述第二用户,从而确保交互过程中的所述第二用户存在且没有替换用户的出现。
6.根据权利要求5所述的方法,其中,
所述方法还包括:
与第一用户设备建立实时画面传送连接;
在所述第二用户设备的显示界面,显示所述第二用户的交互视角的同时显示所述第一用户的交互视角。
7.根据权利要求5所述的方法,其中,
若所述面部模型库存在所述第二用户的面部模型,则接收并显示所述网络设备发送的于指示已录入所述第二用户的面部模型的第二提示信息;
若所述面部模型库不存在所述第二用户的面部模型,则接收所述网络设备发送的所述第二用户的面部采集指令,并基于所述第二用户的面部采集指令采集所述第二用户的面部信息并上传至所述网络设备。
8.根据权利要求5所述的方法,其中,
所述方法还包括:
通过所述第二摄像装置在所述预设时间内对所述第二用户的所述第二面部表情和/或所述第三面部表情进行更新。
9.一种用户互动方法,应用于网络设备端,其中,
所述方法包括:
接收第一用户设备发送的第一用户的第一面部表情;
将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号并转发给第二用户设备,以使第二用户设备通过第二摄像装置采集所述第二用户在预设时间内按照所述第一表情符号所做的第二面部表情后,判断所述第二用户的第二面部表情与所述第一表情符号是否匹配;
接收所述第二用户设备发送的所述第二用户的表情匹配结果;
接收第二用户设备发送的第二用户的第三面部表情;
将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号并转发给所述第一用户设备,以使所述第一用户设备通过第一摄像装置采集所述第一用户在所述预设时间内按照所述第二表情符号所做的第四面部表情后,判断所述第一用户的第四面部表情与所述第二表情符号是否匹配;
接收第一用户设备发送的所述第一用户的表情匹配结果;
基于所述第一用户的表情匹配结果和所述第二用户的表情匹配结果,确定所述第一用户的互动积分和所述第二用户的互动积分;
将所述第一用户的互动积分发送给所述第一用户设备的同时,将所述第二用户的互动积分发送给所述第二用户设备;
接收所述第一用户设备发送的第一用户的第一交互请求,其中,所述第一交互请求包括所述第一用户的第一标识;
基于所述第一标识判断面部模型库中是否存在所述第一用户的面部模型,以便所述第一用户和所述第二用户在交互过程中,可以通过所述第一用户的面部模型实时或间断性地审核交互过程中的用户是否是所述第一用户,从而确保交互过程中的所述第一用户存在且没有替换用户的出现。
10.根据权利要求9所述的方法,其中,
若存在,则调出所述第一用户的面部模型,并向所述第一用户设备发送用于指示已录入所述第一用户的面部模型的第一提示信息;
若不存在,则向所述第一用户设备发送所述第一用户的面部采集指令;接收所述第一用户设备发送的所述第一用户的面部信息并基于所述第一用户的面部信息构建所述第一用户的面部模型并存储。
11.根据权利要求9所述的方法,其中,
所述方法还包括:
接收所述第二用户设备发送的第二用户的第二交互请求,其中,所述第二交互请求包括所述第二用户的第二标识;
基于所述第二标识判断面部模型库中是否存在所述第二用户的面部模型,
若存在,则调出所述第二用户的面部模型,并向所述第二用户设备发送用于指示已录入所述第二用户的面部模型的第二提示信息;
若不存在,则向所述第二用户设备发送所述第二用户的面部采集指令;接收所述第二用户设备发送的所述第二用户的面部信息并基于所述第二用户的面部信息构建所述第二用户的面部模型并存储。
12.根据权利要求9所述的方法,其中,
所述将所述第一用户的第一面部表情与预设表情库进行匹配,得到所述第一用户对应的第一表情符号,包括:将所述第一用户的第一面部表情分别与所述预设表情库中的每一表情符号进行匹配,得到所述第一面部表情分别与每一所述表情符号之间的第一匹配度;将所有所述第一匹配度中的、最高匹配度对应的表情符号,确定为所述第一用户对应的第一表情符号;
所述将所述第二用户的第三面部表情与所述预设表情库进行匹配,得到所述第二用户对应的第二表情符号,包括:
将所述第二用户的第三面部表情分别与所述预设表情库中的每一表情符号进行匹配,得到所述第三面部表情分别与每一所述表情符号之间的第二匹配度;将所有所述第二匹配度中的、最高匹配度对应的表情符号,确定为所述第二用户对应的第二表情符号。
13.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如权利要求1至12中任一项所述的方法。
14.一种用于用户互动的第一用户设备,其中,
所述第一用户设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。
15.一种用于用户互动的第二用户设备,其中,
所述第二用户设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求5至8中任一项所述的方法。
16.一种用于用户互动的网络设备,其中,
所述网络设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求9至12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011602488.7A CN112684889B (zh) | 2020-12-29 | 2020-12-29 | 一种用户互动方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011602488.7A CN112684889B (zh) | 2020-12-29 | 2020-12-29 | 一种用户互动方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112684889A CN112684889A (zh) | 2021-04-20 |
CN112684889B true CN112684889B (zh) | 2023-06-30 |
Family
ID=75454429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011602488.7A Active CN112684889B (zh) | 2020-12-29 | 2020-12-29 | 一种用户互动方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112684889B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11977653B2 (en) * | 2022-03-07 | 2024-05-07 | Recolabs Ltd. | Systems and methods for securing files and/or records related to a business process |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103513753A (zh) * | 2012-06-18 | 2014-01-15 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
CN111870935A (zh) * | 2020-06-08 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 业务数据处理方法、装置、计算机设备以及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104935860A (zh) * | 2014-03-18 | 2015-09-23 | 北京三星通信技术研究有限公司 | 视频通话实现方法及装置 |
CA2989575C (en) * | 2015-06-16 | 2020-03-24 | EyeVerify Inc. | Systems and methods for spoof detection and liveness analysis |
US10025972B2 (en) * | 2015-11-16 | 2018-07-17 | Facebook, Inc. | Systems and methods for dynamically generating emojis based on image analysis of facial features |
US10228762B2 (en) * | 2017-01-10 | 2019-03-12 | Adobe Systems Incorporated | Analysis of user interface interactions within a virtual reality environment |
CN109858215B (zh) * | 2017-11-30 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 资源获取、分享、处理方法、装置、存储介质和设备 |
CN111860451A (zh) * | 2020-08-03 | 2020-10-30 | 宿州小马电子商务有限公司 | 一种基于人脸表情识别的游戏交互方法 |
CN112135083B (zh) * | 2020-09-27 | 2022-09-06 | 广东小天才科技有限公司 | 一种视频通话过程中脸舞互动的方法及系统 |
-
2020
- 2020-12-29 CN CN202011602488.7A patent/CN112684889B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103513753A (zh) * | 2012-06-18 | 2014-01-15 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
CN111870935A (zh) * | 2020-06-08 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 业务数据处理方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112684889A (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107911724B (zh) | 直播互动方法、装置及系统 | |
US10255749B2 (en) | Systems, methods, and media for immersive roulette gaming | |
US8460112B2 (en) | Computer-readable storage medium, information processing apparatus, information processing system, and information processing method | |
CN111744202A (zh) | 加载虚拟游戏的方法及装置、存储介质、电子装置 | |
CN110636315B (zh) | 一种多人虚拟直播方法、装置、电子设备及存储介质 | |
CN113301351B (zh) | 视频播放方法、装置、电子设备及计算机存储介质 | |
CN111126980B (zh) | 虚拟物品发送方法、处理方法、装置、设备及介质 | |
CN110536075B (zh) | 视频生成方法和装置 | |
CN112351348A (zh) | 直播互动方法、装置、电子设备及存储介质 | |
CN107930129B (zh) | 基于虚拟场景的通信方法、介质、装置和计算设备 | |
JP2006524060A (ja) | 通信ネットワーク電子ゲームの作動方法および装置 | |
CN112684889B (zh) | 一种用户互动方法及设备 | |
CN113287142A (zh) | 授权验证 | |
EP3541486A1 (en) | Gaming server and method to generate context-aware gaming information | |
EP3272127B1 (en) | Video-based social interaction system | |
CN114514566A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP2023018113A (ja) | 識別方法、識別装置、識別システム及び識別プログラム | |
CN111355990A (zh) | 视频获取方法及装置、计算机可读存储介质、电子设备 | |
CN109788364B (zh) | 视频通话互动方法、装置及电子设备 | |
CN112511739B (zh) | 互动信息的生成方法和设备 | |
CN110324653A (zh) | 游戏互动交互方法及系统、电子设备及具有存储功能的装置 | |
CN109005441B (zh) | 虚拟完赛场景播放方法、装置、终端及服务器 | |
WO2022100124A1 (zh) | 魔表数据处理方法及电子设备 | |
WO2021068485A1 (zh) | 多方视频的用户身份验证方法、装置及计算机设备 | |
KR101565473B1 (ko) | 게임제공방법 및 게임제공시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |