CN115396390A - 基于视频聊天的互动方法、系统、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种基于视频聊天的互动方法、系统、装置、电子设备及存储介质，涉及视频聊天技术领域。该方法包括：第二终端获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象；第二终端接收由所述第一终端发送的互动项；第二终端基于所述虚拟形象和所述互动项确定互动动画数据；第二终端将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。终端根据转换指令将人物图像处理为虚拟图像，同时接收对方终端发送的互动项，结合确定互动动画数据并同时显示在各通话终端的显示画面上，有效增强了视频聊天过程中的实时互动性与趣味性，同时为视频聊天用户提供了个性化服务。

Description

基于视频聊天的互动方法、系统、装置及电子设备

技术领域

本申请涉及视频聊天技术领域，更具体地，涉及一种基于视频聊天的互动方法、系统、装置、电子设备及存储介质。

背景技术

视频聊天以其实时性获得了用户的肯定，但随着即时通讯的迅速发展，由于现有视频聊天的互动方式过于单一，无法满足视频过程中用户的多样化需求。

发明内容

为了满足用户在视频聊天过程中的个性化需求，增加用户在视频过程中的互动方式，提高用户的互动体验，本申请提出了一种基于视频聊天的互动方法、系统、装置、电子设备及存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种基于视频聊天的互动方法，应用于交互系统的第二终端，所述交互系统还包括与所述第二终端连接的第一终端，所述方法包括：获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象；接收由所述第一终端发送的互动项；基于所述虚拟形象和所述互动项确定互动动画数据；将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。

第二方面，本申请实施例提供了一种基于视频聊天的互动方法，应用于交互系统的第一终端，所述交互系统还包括与所述第一终端连接的第二终端，所述方法包括：向所述第二终端发送互动项，以便所述第二终端根据获取到的转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，使所述第二终端基于所述虚拟形象和所述互动项确定互动动画数据；接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。

第三方面，本申请实施例提供了一种基于视频聊天的互动系统，该系统包括第一终端和第二终端，所述系统包括：所述第一终端用于向所述第二终端发送互动项；所述第二终端用于获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，同时用于接收由所述第一终端发送的互动项；所述第二终端还用于基于所述虚拟形象和所述互动项确定互动动画数据；所述第二终端还用于将所述互动动画数据发送给所述第一终端；所述第一终端还用于接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。

第四方面，本申请实施例还提供了一种基于视频聊天的互动装置，应用于交互系统的第一终端，所述交互系统还包括与所述第一终端连接的第二终端，所述装置包括：发送模块和接收模块。发送模块，用于向所述第二终端发送互动项，以便所述第二终端根据获取到的转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，使所述第二终端基于所述虚拟形象和所述互动项确定互动动画数据；接收模块，用于接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。

第五方面，本申请实施例还提供了一种基于视频聊天的互动装置，应用于交互系统的第二终端，所述交互系统还包括与所述第二终端连接的第一终端，所述装置包括：第一接收模块，第二接收模块，处理模块和发送模块。第一接收模块，用于获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象；第二接收模块，用于接收由所述第一终端发送的互动项；处理模块，用于基于所述虚拟形象和所述互动项确定互动动画数据；发送模块，用于将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。

第六方面，本申请实施例还提供了一种电子设备，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序执行上述应用于第一终端的方法。

第七方面，本申请实施例还提供了一种电子设备，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序执行上述应用于第二终端的方法。

第八方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现第一方面和第二方面中任一方面的方法。

本申请实施例提供的基于视频聊天的互动方法、系统、装置、电子设备及存储介质，在第二终端获取转换指令后，根据所述转换指令将视频通话中第二终端采集的人物图像处理成虚拟形象，同时接收第一终端发送的互动项，基于所述虚拟形象和所述互动项来确定互动动画数据，最后将所述互动动画数据发送给第一终端，并且第一终端与第二终端同时显示所述互动动画数据。终端根据转换指令将人物图像处理为虚拟图像，同时接收对方终端发送的互动项，结合确定互动动画数据并同时显示在各个通话终端的显示画面上，有效增强了视频聊天过程中的实时互动性与趣味性，同时为视频聊天用户提供了个性化服务。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的基于视频聊天的互动方法的应用环境示意图；

图2示出了本申请另一实施例提供的基于视频聊天的互动方法的应用环境示意图；

图3示出了本申请一实施例提供的应用场景示意图；

图4示出了本申请另一实施例提供的基于视频聊天的互动方法的流程图；

图5示出了本申请一实施例提供的第二终端的显示界面示意图；

图6示出了本申请一实施例提供的第二终端采集的视频流处理示意图；

图7示出了本申请另一实施例提供的第一终端的显示界面示意图；

图8示出了本申请一实施例提供的第二终端的显示界面示意图；

图9示出了本申请另一实施例提供的第一终端的显示界面示意图；

图10示出了本申请一实施例提供的基于视频聊天的互动方法的流程图；

图11示出了本申请另一实施例提供的基于视频聊天的互动方法的流程图；

图12示出了本申请又一实施例提供的第一终端及第二终端的显示界面示意图；

图13示出了本申请一实施例提供的电子设备的互动装置的模块框图；

图14示出了本申请另一实施例提供的电子设备的互动装置的模块框图；

图15示出了本申请实施例提供的电子设备的结构框图；

图16示出了本申请实施例的用于保存或者携带实现根据本申请实施例的基于视频聊天的互动方法的程序代码的计算机可读介质。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

视频聊天可以实现实时视频的传输，实时视频可以反应通话双方当前所处的背景、状态，使相隔异地的通话双方仿佛面对面地沟通、交流。依托于社交和网络的不断发展，人们之间交流方式也出现了相应的改变，单纯的文字沟通逐步演化为日益多元的表情文化，语音通话也逐步演进为用户可通过语音包、变声器等方式自由改变声线。但是，视频聊天用户除了可以在视频聊天过程中通过实时采集的视频交流外，缺乏其他增强趣味性的互动方式，传统的视频聊天已无法满足人们日益强烈的个性化互动需求。

为了改善上述缺陷，发明人提出了本申请中可以增强视频聊天过程中的互动性与趣味性，同时提供个性化服务的基于视频聊天的互动方法、系统、装置、电子设备及存储介质。

下面将先对本申请所涉及的一种应用环境进行介绍。

如图1所示的交互系统，在该交互系统中包括用户1与终端110，以及用户2与终端120。终端110和终端120之间建立视频通话连接，视频通话连接建立后，通过在双方终端中开启摄像装置及录音设备实时采集的用户1与用户2的音视频数据，可以实现视频聊天的功能。建立视频通话连接的方式可以为点对点连接和中转连接。点对点连接是指，终端110直接与终端120建立连接，数据传输直接在终端110和终端120之间进行，不需要经过服务器中转。点对点通信的方式如图1所示。中转连接的通信方式如图2所示，终端110和终端120不直接通信，而是分别先与服务端210建立链接，然后再通过服务器210和对方建立的通路来中继传输数据。其中，服务器210可以是单独的服务器，也可以是服务器集群，可以是本地服务器，也可以是云端服务器。在本发明的实施例中，终端110及终端120均可以是智能手机、平板电脑、笔记本电脑、智能穿戴设备等具有摄像功能的电子设备。电子设备内安装有多个应用程序，用户可以使用多个应用程序实现不同的功能、用途。例如，利用视频播放软件观看视频，利用电子游戏软件玩游戏，利用即时聊天应用程序进行文字、语音或视频聊天，利用社交网络平台软件进行信息分享、传播以及浏览等。并且，视频通话还可以在多方终端中同时进行，除了用户1和用户2外，还可以进行三人视频通话、四人视频通话等，此时在终端中展示本端设备实时采集的音视频数据的同时，还可以展示多方通话的其他终端实时采集的音视频数据，实现多人视频聊天的功能。在本申请实施例以第一终端、第二终端分别表示视频聊天互动动作的发起方和接收方，并未限制视频聊天的人数及终端数量。若有三个以上终端接入视频通话时，第一终端仍然为视频聊天互动动作的发起方，此时，视频聊天互动动作的接收方可以是发起方指定的一方或多方终端，可以为发起方本端，也可以为除发起方外的其他所有接入视频通话的终端，将所有接收方终端同时作为第二终端。如图3所示的显示界面示意图展示了四人视频通话中其中一方终端展示的画面，画面分为四个部分，画面310、320、330、340分别表示终端A、B、C、D采集的用户画面，若终端A发起了本申请实施例所示的方法的互动动作，指定接收方为终端B、C、D，则终端A为第一终端，终端B、C、D为第二终端。

本申请的实施例以如图1所示的交互系统为例，将用户1使用的终端110将作为第一终端，用户2使用的终端120将作为第二终端，对实施例提供的方法进行阐述。

请参考图4，其示出了本申请一实施例提供的基于视频聊天的互动方法流程图，应用于交互系统的第二终端，所述交互系统还包括与所述第二终端连接的第一终端。该方法包括：S410至S440。

步骤S410：所述第二终端获取转换指令，根据转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象。

在本申请实施例中，转换指令用于指示第二终端将视频通话中采集的人物图像处理成虚拟形象。其中，用户2正在使用第二终端，因此采集到的人物图像为用户2的图像。在视频通话接通后，可以通过在通话界面设置转换控件，通过监听针对该转换控件的触控操作来获取转换指令，比如监听到用户2点击了该转换控件，第二终端即终端110则获取到转换指令。在另一些实施例中，还可以在通话界面通过预设语音命令激活语音助手，通过控制语音助手开启转换功能的方式获取转换指令，例如开启转换功能的预设语音命令为“开启虚拟形象”，当语音助手检测到用户发出该语音，第二终端则激活转换指令，开始执行转换指令对应的操作。

可选地，转换指令还可以由视频通话的对方如第一终端发出，第二终端只需接收由第一终端发送的转换指令即可。例如，用户1在第一终端的通话界面选择转换控件或者激活语音助手，指定将第二终端的人物图像处理为虚拟形象，那么第一终端确定转换指令针对的是第二终端之后，将转换指令发送给第二终端，第二终端接收到转换指令后再根据转换指令将视频通话中采集的人物图像处理成虚拟形象。

在视频通话中，第二终端将持续通过摄像装置采集视频并显示在第二终端显示界面上，如图5所示，第二终端同时还将展示对端设备，即第一终端采集到的视频，由此实现实时视频通话的功能。在本申请的实施例中，为方便描述，将第二终端采集的本端视频画面作为设备的主画面展示在显示界面中，将对端设备采集到的视频画面作为副画面展示在显示界面中，并且第一终端的视频画面显示方式与第二终端类似。获取到转换指令后，第二终端将立即开始从视频通话的视频画面中检测人物图像，并将人物图像处理成虚拟形象。如图6所示，在一些典型的实施例中将视频通话中的人物图像处理为虚拟形象的过程由下列四个子步骤组成。第一步，由于视频通话采集的是视频流，可以将视频流拆分为多帧图像。第二步，可以对所述视频流中的每一帧图像进行处理，分别检测每一帧图像中是否存在人物图像。第三步，若在某一帧图像中存在人物图像，则将某一帧图像中的人物图像处理成虚拟形象。由此，视频流中出现人物图像的画面时，所述人物图像都会被替换为虚拟形象，而视频中背景画面可以不做处理，保持所述视频中原有的背景画面不变。第四步，由于视频中的人物图像是连续的，处理完成后视频中的虚拟形象也是由多帧人物图像处理后生成的连贯画面。

在一些实施例中，摄像装置采集到的人物图像可能包括用户及背景中的其他人物。通常来说，应该首先过滤出用户的人脸图像，然后将用户的人脸图像处理成虚拟形象，而背景中的其他人物保持原有的形象。过滤用户的人脸图像的方式，可以是根据事先录入的用户特征，通过特征匹配检测出用户的人脸图像，如人脸特征识别等方式；也可以是通过识别图像中的远近关系，过滤出只满足预设距离条件的人脸图像作为用户的人脸图像，如预设距离条件可以为设置距摄像装置最近的人脸图像作为用户的人脸图像。

在一些实施例中，视频双方在展示对方终端采集到的视频画面的同时还将展示本端采集到的视频画面。因此，所述第二终端获取到转换指令将视频通话中采集的人物图像处理成虚拟形象的同时，所述第一终端及所述第二终端的视频画面均可以实时展示第二终端生成虚拟形象。

步骤S420：所述第二终端接收由所述第一终端发送的互动项。

在本申请实施例中，第二终端根据转换指令将视频通话中采集的人物图像处理成虚拟形象后，所述第二终端将开始接收由所述第一终端发送的互动项。

在一些实施例中，互动项可以为静态或动态的图片，并且每一个互动项对应可以产生互动效果。例如，如图7所述，第一终端的互动项选择界面为用户提供了可供选择的多个互动项选项。当用户1点击互动项图标，并且在弹出窗口中选择了示意为“敲打”的图片作为互动项，并确定发送给了第二终端，那么在第二终端的视频画面上相应地就会产生互动项所示的“敲打”效果。当然，用户也可以根据自己的需要选择终端提供的其他互动项以达到期望的效果。特别地，终端也可以允许用户自定义互动项，例如提供静态或动态贴纸，或提供涂鸦选项，用户可以使用这些贴纸或涂鸦，来生成互动项。在另一些实施例中，互动项也可以为文字等，可以根据文字自动适配文字内容的互动效果，如互动项选择界面输入或选择文字“敲打”，则根据文字随机适配有“敲打”效果的图片或贴纸，可以增加趣味性。

步骤S430：所述第二终端基于所述虚拟形象和所述互动项确定互动动画数据。

在本申请实施例中，第一终端发送互动项前，第二终端已经将视频通话中的人物图像处理成虚拟图像。那么，第二终端接收到互动项后，互动项将作用于第二终端生成的虚拟图像，从而生成互动动画数据。示例性地，第二终端接收到互动项后，首先将解析互动项，若互动项可分为人物部分和效果部分，将效果部分提取出来，同时还将提取效果部分作用在人物部分的作用位置，然后将虚拟形象类比为人物部分，将提取出来的效果部分作用在虚拟形象的相同作用位置，呈现出的画面为互动项的效果部分作用在虚拟形象上，而虚拟形象仍旧为摄像装置实时采集的人物图像生成的连贯画面，将该画面作为互动动画数据。例如用户1选择了示意为“敲打”的图片作为互动项，第二终端接收到互动项后，解析出人物部分为“人物头部”，效果部分为“锤子”，同时确定效果部分作用在人物部分的作用位置，“敲打”互动项的作用位置为“人物头部”的头顶位置，可以使用人物识别的方法，识别出虚拟形象头顶的位置坐标，然后将提取出来的“锤子”效果作用在虚拟形象的头顶坐标位置，呈现出锤子敲打虚拟形象头部的画面，如图8所示，即为互动动画数据。

另外，若互动项无法解析出人物部分，而只包含效果部分，那么互动项可以默认设定效果部分作用在人物部分的作用位置，例如“亲吻”的图片或文字，可默认设定作用在人物部分的嘴唇位置，那么第二终端接收到互动项后应该先识别出虚拟形象的相应的人物部分的作用位置，本实例中人物部分的作用位置为嘴唇位置，因此需要首先识别虚拟形象的嘴唇，再将“亲吻”效果作用于虚拟形象的嘴唇位置。在此情况下，若效果部分无需作用在人物部分的特定作用位置，可以默认设定效果部分作用于显示界面的固定位置，而不需要对虚拟形象进行识别。

需要说明的是，每个互动项都对应一个持续时间，从第二终端接收到互动项开始，互动项在持续时间内起作用。如果互动项为动态图片，持续时间可以默认为动态图片完整播放一次的时间，也可以为一个预设时间，若预设时间大于动态图片完整播放一次的时间，则动态图片在预设时间内将重复播放动态画面。从第二终端接收到互动项开始，互动项持续作用的时长达到持续时间后，互动项消失，视频通话画面从互动动画数据恢复为虚拟形象。

步骤S440：所述第二终端将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。

生成互动动画数据后，第二终端需要将互动动画数据发送给第一终端，以便于第一终端与第二终端能够同时在通话界面上显示第二终端的互动动画数据。

如前所述，互动项维持一段时间后，互动项将消失，第二终端的视频画面从互动动画数据恢复为虚拟形象，所述第一终端与所述第二终端同时显示的第二终端的视频画面都将由第二终端的互动动画数据变化为第二终端的虚拟形象。

进一步地，若第二终端接收到虚拟形象的取消指令，无论互动项是否消失，第二终端的视频画面都将从互动动画数据或虚拟形象恢复为原始的人脸图像，并且第一终端与所述第二终端同时显示第二终端的原始人脸图像。如图8所示，其示出了第二终端的显示画面，如图9所示，其示出了第一终端的显示画面，两个显示画面同时显示有第二终端的互动动画数据。

综上所述，本申请实施例提供的技术方案，在第二终端获取转换指令后，根据所述转换指令将视频通话中第二终端采集的人物图像处理成虚拟形象，同时接收第一终端发送的互动项，基于所述虚拟形象和所述互动项来确定互动动画数据，最后将所述互动动画数据发送给第一终端，并且第一终端与第二终端同时显示所述互动动画数据。终端根据转换指令将人物图像处理为虚拟图像，同时接收对方终端发送的互动项，结合确定互动动画数据并同时显示各个通话终端的显示画面上，有效增强了视频聊天过程中的实时互动性与趣味性，同时为视频聊天用户提供了个性化服务。

请参考图10，其示出了本申请一实施例提供的基于视频聊天的互动方法流程图，应用于交互系统，所述交互系统中包括互相连接的第一终端和第二终端。该方法包括：S1010至S1080。

步骤S1010：所述第二终端获取转换指令，根据转换指令对视频通话中第二终端采集的人物图像进行识别，获得人物特征数据。

在本申请实施例中，转换指令可以是第二终端获取的用户2的操作指令，也可以是第二终端获取的由第一终端发送的转换指令，转换指令用于指示第二终端将视频通话中采集的人物图像处理成虚拟形象。

获取到转换指令后，首先从第二终端的摄像装置采集到的视频图像中识别出人物图像，再对人物图像进行识别获取人物特征数据，在本申请的一些实施例中，获得的人物特征数据应当包括用于描述人物面部表情的表情数据和用于描述人物动作的动作数据的至少一种，即是说，人物特征数据可以是表情数据或者动作数据中任一种，也可以同时包含表情数据和动作数据。在一些实施例中，描述人物面部表情的表情数据可以是用于描述人脸全部或部分表情形态的特征点集合，其记载有人脸上各个特征点在空间中的位置信息和深度信息，通过获取表情数据即可重建人脸局部或全部的图像。其中，可以理解的是，人物的五官特征可以描述人物面部表情，比如，当嘴角上扬、嘴巴微张时，用户的表情多为微笑；当嘴巴紧闭、眉毛皱在一起时，用户的表情多为愤怒。因此表情数据应当包括人物的五官特征，可通过提取人物五官特征的特征点，来获得表情数据。除此之外，人物的动作同样也可以传达人物的思想，比如，摇头表示不同意、震惊或不相信，点头表示赞赏等。因此，在另一些实施例中，还可以获取人物的动作数据，可以理解的是，人物的动作数据可以包括人物的肢体运动轨迹，如头部运动轨迹如点头、摇头，四肢运动轨迹如手部姿势等，身体运动轨迹如转身、弯腰等。

从而，获取转换指令后，从采集的人物图像中提取用户的表情数据和动作数据中的至少一种数据作为人物特征数据，可以用来表征获取人物图像时用户的表情和情绪。

步骤S1020：所述第二终端将人物特征数据与预先构建的虚拟形象库中每个虚拟形象的人物特征进行匹配，获取虚拟形象库中每个虚拟形象的人物特征与人物特征数据匹配度。

步骤S1030：所述第二终端查找特征匹配度满足预设条件的虚拟形象，作为目标虚拟形象。

本发明的实施例提供了两种根据人物特征数据将所述第二终端采集的人物图像处理成虚拟形象的可能实现方式。

作为其中一种可能的实现方式，可以将人物特征数据与预先构建的虚拟形象库中每个虚拟形象的人物特征进行匹配，获取虚拟形象库中每个虚拟形象的人物特征与人物特征数据匹配度，并特征匹配度满足预设条件的虚拟形象，作为目标虚拟形象。比如，人物特征数据是表情数据，包含人物的五官特征，逐一将虚拟形象库中虚拟形象的五官特征与人物的待匹配五官特征进行相似度匹配，并进行评分，最终筛选出分数最高的虚拟形象，该虚拟形象的五官特征与人物的待匹配五官特征相似度最高，表示该虚拟形象的特征匹配度满足预设条件，将该虚拟形象作为目标虚拟形象，最后将所述第二终端采集的人物图像处理成所述目标虚拟形象。

作为其中另一种可能的实现方式，若虚拟形象库中虚拟形象的人物特征匹配度均不满足预设条件，可以基于所述人物特征数据重新构建虚拟形象，并将所述人脸图像处理成重构后的虚拟形象。例如，可以通过人物特征数据来调整并生成用户的人脸模型，也就是说，虚拟形象库中的人物形象是用户本人。表情库可以存储在终端的本地存储器中，也可以存储在云端服务器中以节省终端的内存空间，本发明对此不作限制。

在一些实施例中，基于所述人物特征数据重新构建的虚拟形象，用户也可以根据自己的需求，对虚拟形象的特征进行调整，如对重新构建的虚拟形象的发型、五官进行了调整，或增加装饰物如眼镜、头饰等，经用户确认后再将视频通话中的人物图像处理成此虚拟形象，同时将此虚拟形象保存到虚拟形象库中以供再次使用。除此之外，也可以通过转化指令为第二终端指定虚拟形象，如在启动虚拟形象转换指令时，转化指令的发起者同时还指定了虚拟形象，比如在虚拟形象库中选择了发起者认为合适的虚拟形象，第二终端获取转换指令的同时也获取到指定的虚拟形象，那么第二终端将人物图像处理成该指定的虚拟形象。

步骤S1040：所述第二终端将所述人物图像处理成所述目标虚拟形象。

如上所述，由于虚拟形象是根据人物图像的人物特征数据处理生成的，因此虚拟形象的情绪和状态与人物图像的情绪和状态一致，反应出第二终端的用户的表情与反应。请再次参见图6，对比第二个子步骤中终端视频通话中摄像装置采集的原始人物图像和第三个子步骤中经过处理后生成的虚拟形象，原始人物图像中的人物眼角微弯、嘴唇微张，正在微笑，对应生成的虚拟形象为以原始人物图像的五官特征为人物特征数据生成的卡通动画形象，也是眼角微弯、嘴唇微张，反应了用户当前的情绪。需要说明的是，目标虚拟形象还可以是3D形象。

步骤S1050：所述第一终端向所述第二终端发送互动项。

在本申请实施例中，互动项由第一终端发送给第二终端，可以理解的是，在另一些实施例中，互动项也可以由第二终端的用户为自己指定。

同时，所述互动项还可为多个互动项，当第一终端将按照获取多个互动项的时间顺序，将多个互动项依次发送给第二终端。

需要说明的是，在一些典型的实施例中，在第二终端获取转换指令之前，应当建立第一终端与第二终端之间的视频通话连接。视频通话连接可以由RTC(Real-timeCommunications，实时通信)、WebRTC(Web Real-time Communications，网页实时通信)或其他深度定制的RTC模块等实时音视频框架来支撑实现视频通话功能。由于实时音视频框架的通信机制，建立视频通话连接时首先将请求建立第一终端与第二终端的点对点连接，如图1所示；若点对点视频通话连接建立失败，通过服务器与所述第一终端建立中转连接，如图2所示。若第一终端与第二终端之间的视频通话连接为点对点连接，第一终端向所述第二终端发送互动项，将通过数据通道或信令通道，直接发送给第二通话终端。若第一终端与第二终端之间的视频通话连接为中转连接，第一终端向所述第二终端发送互动项，通过数据通道或信令通道，首先第一终端将互动项发送给中转服务器，然后中转服务器再将互动项转发给第二终端。

步骤S1060：所述第二终端基于所述目标虚拟形象和所述互动项确定互动动画数据。

基于虚拟形象和互动项确定互动动画数据的过程与前述实施例一致，此处不再赘述。

步骤S1070：所述第二终端将所述互动动画数据发送给所述第一终端。

第二终端将所述互动动画数据发送给所述第一终端的过程与互动项的收发过程类似。若第一终端与第二终端之间的视频通话连接为点对点连接，第二终端向所述第一终端发送互动动画数据，将通过数据通道或信令通道，直接发送给第一通话终端。若第一终端与第二终端之间的视频通话连接为中转连接，第二终端向所述第一终端发送互动动画数据，通过数据通道或信令通道，首先第一终端将互动动画数据发送给中转服务器，然后中转服务器再将互动项转发给第一终端。

步骤S1080：所述第一终端接收由所述第二终端发送的互动动画数据并与所述第二终端同时显示所述互动动画数据。

第一终端直接接收或通过中转服务器接收由所述第二终端发送的互动动画数据，并与所述第二终端同时显示所述互动动画数据。互动动画数据包含虚拟形象和互动项两部分内容，能够实时反应出第二终端用户的表情与反应。

在一些实施例中，除了可以将第二终端采集的人物图像处理为虚拟形象，并且根据互动项生成互动动画数据外，也可以将第一终端采集的人物图像处理为虚拟形象，并且根据互动项生成互动动画数据。处理过程如图11所示，该方法包括：S1110至S1130。

步骤S1110：所述第一终端获取针对第一终端的第一转换指令，根据第一转换指令将视频通话中所述第一终端采集的人物图像处理成第一虚拟形象。

首先第一终端获取针对第一终端的转换指令，将此转换指令记为第一转换指令，根据第一转换指令将视频通话中第一终端采集的人物图像处理成第一虚拟形象，处理过程与上述实施例中将第二终端的人物图像处理为虚拟形象的过程类似，可以先获取第一终端采集的人物图像的人物特征数据，再根据人物特征数据将所人物图像处理成第一虚拟形象。

步骤S1120：所述第一终端基于所述第一虚拟形象及由第二终端发送的互动项确定第一互动动画数据，其中，所述第二终端的互动动画数据为第二互动动画数据。

接着，获取由第二终端向第一终端的互动项，基于所述第一虚拟形象和第二终端发送的互动项，确定第一终端的第一互动动画数据。其中，所述第二终端的互动动画数据为第二互动动画数据。第一互动动画数据的生成过程与第二互动动画数据的类似，可参考上述实施例的对应过程，在此不再赘述。

步骤S1130：第一终端获取虚拟场景，在所述虚拟场景中同时显示所述第一互动动画数据和第二互动动画数据。

然后，第一终端获取虚拟场景。所述虚拟场景可以由第一终端的用户1指定，也可以由第二终端的用户2指定，若由第二终端的用户2指定，第二终端还需要将虚拟场景发送给第一终端。获取到虚拟场景，以虚拟场景被显示背景，在所述虚拟场景中同时显示上述第一互动动画数据和第二互动动画数据。如图12所述，其示出了本申请实施例第一终端及第二终端的显示界面示意图，第一终端与第二终端显示同一画面，画面中，虚拟场景显示为画面背景，第一互动动画数据和第二互动动画数据并排显示在画面正中位置。可以理解的是，本申请实施例对第一互动动画数据和第二互动动画数据在虚拟场景中的显示位置不作限制，但未方便用户观看，优选为并排显示在正中位置。若视频通话可以在多方终端中同时进行时，如四人视频通话中，可以根据转换指令及互动项，分别对四个终端的人物图像进行虚拟形象的转换或生成互动动画数据，若生成两个及以上的互动动画数据，则可以由任一方或几方选择虚拟画面，以虚拟画面为背景同时显示各终端的互动动画数据。特别地，若两方及以上都选择了虚拟场景，实际显示的虚拟场景由时间靠后的选择所决定。

综上所述，本申请实施例提供的技术方案，在第二终端获取转换指令后，根据所述转换指令将视频通话中第二终端采集的人物图像获取人物特征数据，再根据人物特征数据将人物图像处理成虚拟形象，同时接收第一终端发送的互动项，基于所述虚拟形象和所述互动项来确定互动动画数据，最后将所述互动动画数据发送给第一终端，并且第一终端与第二终端同时显示所述互动动画数据。终端根据转换指令将人物图像处理为虚拟图像，同时接收对方终端发送的互动项，结合确定互动动画数据并同时显示各个通话终端的显示画面上，有效增强了视频聊天过程中的实时互动性与趣味性，同时为视频聊天用户提供了个性化服务。

请参阅图13，示出了本申请一实施例提供的基于视频聊天的互动装置的模块框图。具体地，该装置应用于交互系统的第一终端，所述交互系统还包括与所述第一终端连接的第二终端，该装置包括：发送模块1310和接收模块1320。

发送模块1310，用于向所述第二终端发送互动项，以便所述第二终端根据获取到的转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，使所述第二终端基于所述虚拟形象和所述互动项确定互动动画数据。接收模块1320，用于接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参阅图14，示出了本申请一实施例提供的基于视频聊天的互动装置的模块框图。具体地，该装置应用于交互系统的第二终端，所述交互系统还包括与所述第二终端连接的第一终端，该装置包括：第一接收模块1410，第二接收模块1420，处理模块1430和发送模块1440。

第一接收模块1410，用于获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象。第二接收模块1420，用于接收由所述第一终端发送的互动项。处理模块1430，用于基于所述虚拟形象和所述互动项确定互动动画数据。发送模块1440，用于将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参阅图15，其示出了本申请实施例提供的电子设备的结构框图，具体地，所述电子设备1500一个或多个如下部件：存储器1510、处理器1520以及一个或多个应用程序。一个或多个应用程序可以被存储在存储器1510中并被配置为由一个或多个处理器1520执行，一个或多个程序配置用于执行如前述应用于第一终端和应用于第二终端中的任一种方法实施例所描述的方法。

电子设备1500可以为移动、便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子设备1500可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)、便携式游戏设备(例如Nintendo DS TM，PlayStation PortableTM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如智能手表、智能手环、耳机、吊坠等，电子设备1500还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或头戴式设备(HMD))。

电子设备1500还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、智能手表、智能手环、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器，便携式医疗设备以及数码相机及其组合。

在一些情况下，电子设备1400可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子设备1500可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备。

处理器1510可以包括一个或者多个处理核。处理器1510利用各种接口和线路连接整个电子设备1500内的各个部分，通过运行或执行存储在存储器1520内的指令、程序、代码集或指令集，以及调用存储在存储器1520内的数据，执行电子设备1500的各种功能和处理数据。可选地，处理器1510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1510可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1510中，单独通过一块通信芯片进行实现。

存储器1520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1520可用于存储指令、程序、代码、代码集或指令集。存储器1520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)，用于执行上述应用于第一终端和应用于第二终端中的任一种方法实施例所描述的方法。存储数据区还可以存储电子设备1500在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的处理1510、存储器1520的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的基于视频聊天的互动方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

请参考图16，其示出了本申请实施例的用于保存或者携带实现根据本申请实施例的基于视频聊天的互动方法的程序代码的计算机可读介质。该计算机可读介质1600中存储有程序代码1610，所述程序代码可被处理器调用执行上述方法实施例中所描述的基于视频聊天的互动方法。

计算机可读存储介质1600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1600具有执行上述方法中的任何方法步骤的程序代码1610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1610可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的技术方案，在第二终端获取转换指令后，根据所述转换指令将视频通话中第二终端采集的人物图像处理成虚拟形象，同时接收第一终端发送的互动项，基于所述虚拟形象和所述互动项来确定互动动画数据，最后将所述互动动画数据发送给第一终端，并且第一终端与第二终端同时显示所述互动动画数据。终端根据转换指令将人物图像处理为虚拟图像，同时接收对方终端发送的互动项，结合确定互动动画数据并同时显示各个通话终端的显示画面上，有效增强了视频聊天过程中的实时互动性与趣味性，同时为视频聊天用户提供了个性化服务。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一区域和第二区域等是用于区别不同的区域，而不是用于描述区域的特定顺序。在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

在本发明的实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种基于视频聊天的互动方法，其特征在于，应用于交互系统的第二终端，所述交互系统还包括与所述第二终端连接的第一终端，所述方法包括：

获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象；

接收由所述第一终端发送的互动项；

基于所述虚拟形象和所述互动项确定互动动画数据；

将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。

2.如权利要求1所述的方法，其特征在于，所述根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，包括：

根据所述转换指令对视频通话中所述第二终端采集的人物图像进行识别，获得人物特征数据，其中，所述人物特征数据包括用于描述人物面部表情的表情数据和用于描述人物动作的动作数据的至少一种；

根据所述人物特征数据将所述人物图像处理成虚拟形象。

3.如权利要求2所述的方法，其特征在于，所述根据所述人物特征数据将所述人物图像处理成虚拟形象，包括：

将所述人物特征数据与预先构建的虚拟形象库中每个虚拟形象的人物特征进行匹配，获取所述虚拟形象库中每个虚拟形象的人物特征与所述人物特征数据匹配度；

查找特征匹配度满足预设条件的虚拟形象，作为目标虚拟形象；

将所述人物图像处理成所述目标虚拟形象。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

若虚拟形象库中虚拟形象的人物特征匹配度均不满足预设条件，基于所述人物特征数据重构虚拟形象，并将所述人脸图像处理成重构后的虚拟形象。

5.如权利要求1所述的方法，其特征在于，所述获取转换指令之前，所述方法还包括：

建立与所述第一终端之间的视频通话连接。

6.如权利要求5所述的方法，其特征在于，所述建立与所述第一终端之间的视频通话连接，包括：

请求与所述第一终端建立点对点视频通话连接；

若点对点视频通话连接建立失败，通过服务器与所述第一终端建立中转连接。

7.如权利要求1所述的方法，其特征在于，所述接收由所述第一终端发送的互动项，包括：

若所述互动项为多个互动项，接收由所述第一终端按照互动项的获取时间顺序发送的互动项。

8.一种基于视频聊天的互动方法，其特征在于，应用于交互系统的第一终端，所述交互系统还包括与所述第一终端连接的第二终端，所述方法包括：

向所述第二终端发送互动项，以便所述第二终端根据获取到的转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，使所述第二终端基于所述虚拟形象和所述互动项确定互动动画数据；

接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

获取针对第一终端的第一转换指令，根据第一转换指令将视频通话中所述第一终端采集的人物图像处理成第一虚拟形象；

基于所述第一虚拟形象及由第二终端发送的互动项确定第一互动动画数据，其中，所述第二终端的互动动画数据为第二互动动画数据；

获取虚拟场景，在所述虚拟场景中同时显示所述第一互动动画数据和第二互动动画数据。

10.一种基于视频聊天的互动系统，其特征在于，该系统包括第一终端和第二终端，所述系统包括：

所述第一终端用于向所述第二终端发送互动项；

所述第二终端用于获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，同时用于接收由所述第一终端发送的互动项；

所述第二终端还用于基于所述虚拟形象和所述互动项确定互动动画数据；

所述第二终端还用于将所述互动动画数据发送给所述第一终端；

所述第一终端还用于接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。

11.如权利要求10所述的系统，其特征在于，所述系统还包括服务器，若第一终端与所述第二终端的点对点视频通话连接建立失败，所述服务器用于建立所述第一终端与所述第二终端的中转连接。

12.一种基于视频聊天的互动装置，其特征在于，应用于交互系统的第一终端，所述交互系统还包括与所述第一终端连接的第二终端，所述装置包括：

发送模块，用于向所述第二终端发送互动项，以便所述第二终端根据获取到的转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象，使所述第二终端基于所述虚拟形象和所述互动项确定互动动画数据；

接收模块，用于接收由所述第二终端发送的所述互动动画数据并与所述第二终端同时显示。

13.一种基于视频聊天的互动装置，其特征在于，应用于交互系统的第二终端，所述交互系统还包括与所述第二终端连接的第一终端，所述装置包括：

第一接收模块，用于获取转换指令，根据所述转换指令将视频通话中所述第二终端采集的人物图像处理成虚拟形象；

第二接收模块，用于接收由所述第一终端发送的互动项；

处理模块，用于基于所述虚拟形象和所述互动项确定互动动画数据；

发送模块，用于将所述互动动画数据发送给所述第一终端，以使所述第一终端与所述第二终端同时显示所述互动动画数据。

14.一种电子设备，其特征在于，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7所述的基于视频聊天的互动方法。

15.一种电子设备，其特征在于，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求8至9任一项所述的基于视频聊天的互动方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的方法，或者，如权利要求8至9任一项所述的方法。

Images