CN107333086A - 一种在虚拟场景中进行视频通信的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种在虚拟场景中进行视频通信的方法及装置。所述方法包括：选择虚拟场景以及所述虚拟场景关联的虚拟形象；发起视频通信；获取即时视频帧；识别即时视频帧中的人脸；从所述识别的人脸提取特征；将所述特征转化为所述虚拟形象的参数；发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

Description

一种在虚拟场景中进行视频通信的方法及装置

技术领域

本发明涉及视频通信领域，特别涉及一种在虚拟场景中进行视频通信的方法及装置。

背景技术

随着技术发展，视频通信变得越来越普及。但是，目前的视频通信往往采用一个用户一个窗口的方式进行，视频方交互的场景是割裂的，造成用户体验较差。

发明内容

为了解决上述问题，本发明实施例提供了一种在虚拟场景中进行视频通信的方法及装置。技术方案如下：

根据本发明的第一方面，提供了一种在虚拟场景中进行视频通信的方法，所述方法包括：

选择虚拟场景以及所述虚拟场景关联的虚拟形象；

发起视频通信；

获取即时视频帧；

识别即时视频帧中的人脸；

从所述识别的人脸提取特征；

将所述特征转化为所述虚拟形象的参数；

发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

结合本发明的第一方面，在第一种可能的实现方式中，所述从所述识别的人脸提取特征包括：

识别所述识别的人脸的表情。

结合本发明的第一方面，在第二种可能的实现方式中，所述方法还包括：

接收远程虚拟形象选择及远程虚拟形象的参数。

结合本发明的第一方面的第二种可能的实现方式，在第三种可能的实现方式，所述方法还包括：

根据所述远程虚拟形象选择，显示远程虚拟形象。

结合本发明的第一方面的第三种可能的实现方式，在第四种可能的实现方式，所述方法还包括：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。

根据本发明的第二方面，提供了一种用于在虚拟场景下进行视频通信的装置，所述装置包括：

场景和形象选择模块，用于选择虚拟场景以及所述虚拟场景关联的虚拟形象；

视频通信发起模块，用于发起视频通信；

视频帧获取模块，用于获取即时视频帧；

人脸识别模块，用于识别即时视频帧中的人脸；

特征提取模块，用于从所述识别的人脸提取特征；

参数转化模块，用于将所述特征转化为所述虚拟形象的参数；

发送模块，用于发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

结合本发明的第二方面，在第一种可能的实现方式中，所述特征提取模块包括：

表情识别模块，用于识别所述识别的人脸的表情。

结合本发明的第二方面，在第二种可能的实现方式中，所述装置还包括：

接收模块，用于接收远程虚拟形象选择及远程虚拟形象的参数。

结合本发明的第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述装置还包括：

显示模块，用于根据所述远程虚拟形象选择，显示远程虚拟形象。

结合本发明的第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述显示还用于：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。

本发明实施例提供了一种在虚拟场景中进行视频通信的方法及装置。通过在虚拟场景下进行视频通信可以使得视频通话用户处于相同虚拟场景之下，从而提高趣味性。另外，通过与虚拟场景关联的虚拟形象进行通信，使得用户体验更加统一。通过利用用户脸部特征转化的参数来使得虚拟形象动画化，可以使得交互更加动态，更有趣味，从而提高用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的一种在虚拟场景中进行视频通信的方法；

图2示出了根据本发明实施例的一种在虚拟场景中进行视频通信的方法；

图3示出了根据本发明实施例的一种装置的框图；

图4示出了根据本发明实施例的一种电子设备的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种在虚拟场景下进行视频通信的方法及装置。该方法可应用于终端，终端可以包括但不限于视频会议系统、台式计算机、膝上型计算机、平板计算机、智能电话(例如，iPhone，基于安卓的电话等)。通过在虚拟场景下进行视频通信可以使得视频通话用户处于相同虚拟场景之下，从而提高趣味性。另外，通过与虚拟场景关联的虚拟形象进行通信，使得用户体验更加统一。通过利用用户脸部特征转化的参数来使得虚拟形象动画化，可以使得交互更加动态，更有趣味，从而提高用户体验。

图1示出了一种在虚拟场景中进行视频通信的方法的流程图。该方法可在终端中执行。

在步骤101中，选择虚拟场景以及所述虚拟场景关联的虚拟形象。虚拟场景可定义为物理场景的数字仿真。例如，虚拟场景可类似于户外场所，如城市、道路、原野、森林、岛屿等，或者类似于室内场所，如办公室、住宅、学校、商场、酒店等。每个虚拟场景可关联多个虚拟形象，例如，虚拟森林可关联虚拟猴子、老虎、鸟等虚拟动物，虚拟学校可关联虚拟老师、男学生、女学生、校长等虚拟人物，虚拟办公室可关联老板、秘书、员工等。

在一个实施例中，选择虚拟场景以及所述虚拟场景关联的虚拟形象可包括获取用户选择的虚拟场景以及所述虚拟场景关联的虚拟形象。例如，终端可先显示多个虚拟场景供用户选择，当然如果用户不满意显示的多个虚拟场景，用户可以通过滑动等操作触发终端显示其他虚拟场景。在用户选择某一虚拟场景后，可显示该虚拟场景关联的多个虚拟形象供用户选择。在另一个实施例中，选择虚拟场景以及所述虚拟场景关联的虚拟形象可包括选择预设的虚拟场景以及该预设的虚拟场景关联的预设虚拟形象。预设的虚拟场景和虚拟形象可以是系统默认的虚拟场景和虚拟形象，或者可以是用户先前选择的虚拟场景和虚拟形象。

在一个实施例中，虚拟场景可以是2D的图片，例如2D的教室图片、森林图片等。通过2D图片来展示虚拟场景可以比较容易实现，占用较少计算资源。在另一个实施例中，虚拟场景可以3D的，例如3D的岛屿、办公室等。实现3D虚拟场景相比于2D场景会占用更多资源，但是会使得用户视觉效果更逼真，用户体验更佳。

在步骤102中，发起视频通信。视频通信可以包括双方视频通信和多方视频通信。发起视频通信可包括向一个或多个远程设备发送建立视频通信连接请求。在本文中为了说明的目的，假设远程设备接受该建立视频通信连接请求。

在步骤103中，获取即时视频帧。具体的，可通过摄像头获取即时视频帧。

在步骤104中，识别即时视频帧中的人脸。可通过基于几何特征的方法、基于模板的方法、基于模型的方法或者它们的组合来识别人脸。基于模板的方法可包括基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法以及动态连接方法匹配等。基于模型的方法可包括基于隐马尔科夫模型的方法、基于主动形状模型的方法以及基于主动外观模型的方法等。识别即时视频中的人脸还可包括跟踪识别的人脸。可以利用以下技术来跟踪识别的人脸：粒子滤波、均值漂移、卡尔曼滤波等，其中的每一种技术可以利用边缘分析、平方差之和分析、特征点分析、直方图分析、肤色分析等。

在步骤105中，从所述识别的人脸提取特征。特征可包括例如眼睛、眉毛、鼻子、嘴等之类的位置和/或形状。在一个实施例中，虚拟形象动画可直接基于感测的面部动作，例如面部特征的变化，而无需面部表情的识别。虚拟形象面部上的相应特征点可遵循或模仿真实人脸的运动。在一个实施例中，从所述识别的人脸提取特征还可包括识别与检测到的特征相关联的表情，例如识别先前检测到的人脸是否快乐、悲伤、微笑、皱眉、惊讶、愤怒、兴奋等。例如，可以先确定面部特征(例如，眼睛、嘴巴、脸颊、鼻子等)的大小和/或位置，并且将这些面部特征与面部特征库进行比较，所述面部特征库包括具有对应的面部特征分类(例如微笑、皱眉、兴奋、悲伤等)的样本面部特征。

在步骤106中，将所述特征转化为所述虚拟形象的参数。参数包括对虚拟形象进行动画化的参数。本文中的动画可定义为改进图像/模型的外观。单个动画可改变2D静止图像的外观，或者多个动画可顺序出现以模仿图像中的运动，例如头部旋转、点头、眨眼、谈话、皱眉、微笑、大笑、打盹等表情或者拍手、跳跃、下蹲、跑步等肢体动作。3D模型的动画的示例包括：使3D线框模型变形、施加纹理映射以及重新计算模型的顶点法线以用于渲染。对于基于面部特征的动画方法而言，2D虚拟形象动画可通过例如图像扭曲或图像变形来进行，而3D虚拟形象动画可通过自由形式的变形进行或者通过利用定义在头部的3D模型中的动画结构来进行。

检测到的面部和/或提取的面部特征的位置变化可被转换为参数，所述参数使得虚拟形象的特征类似于用户面部的特征。在一个实施例中，检测到的面部的一般表情可被转换为一个或多个参数，所述一个或多个参数使得虚拟形象展现相同的表情。虚拟形象的表情也可以而被夸大以突显该表情。当虚拟形象参数可以一般性地应用到所有预先定义的虚拟形象时，所选虚拟形象的知识可以不是必须的。但是，在一个实施例中，虚拟形象参数可特定于所选虚拟形象，因而如果选择了另一个虚拟形象，则可以改变虚拟形象参数。例如，与动物虚拟形象和卡通虚拟形象相比，人类虚拟形象可需要不同的参数设置，例如不同的虚拟形象特征可被改变，以便展示诸如高兴、悲伤、愤怒、吃惊等情绪。

检测到的面部和/或提取的面部特征的位置变化可被转换为参数，所述参数使得虚拟形象产生与用户面部的特征对应的动作。在一个实施例中，检测到的面部的一般表情可被转换为一个或多个参数，所述一个或多个参数使得虚拟形象展现一般的动作，例如高兴表情可转为虚拟形象的拍手动作，无奈表情可转换为虚拟形象的捂脸动作等。在另一个实施例中，虚拟形象参数可特定于所选虚拟形象。例如学生虚拟形象可具有敬礼、举手、做体操等动作，而老板虚拟形象可具有抽烟、喝酒、拍桌子等动作。本发明实施例对用户面部特征与虚拟形象动作之间的对应关系不加以限定。

在步骤107中，发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。虚拟场景选择可包括虚拟场景的标识符。远程设备可通过虚拟场景的标识符来从本地或从服务器获取并显示虚拟场景。类似的，虚拟形象选择可包括虚拟形象的标识符。远程设备可通过虚拟形象的标识符来从本地或从服务器获取并显示虚拟形象。通过仅发送虚拟场景的标识符以及虚拟形象的标识符，可以避免直接发送虚拟场景和虚拟形象本身，从而节省网络带宽资源。发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数可通过P2P方式发送或者通过服务器中转方式发送。

本发明实施例提供了一种在虚拟场景中进行视频通信的方法。通过在虚拟场景下进行视频通信可以使得视频通话用户处于相同虚拟场景之下，从而提高趣味性。另外，通过与虚拟场景关联的虚拟形象进行通信，使得用户体验更加统一。通过利用用户脸部特征转化的参数来使得虚拟形象动画化，可以使得交互更加动态，更有趣味，从而提高用户体验。

如图2所示，在一个实施例中，上述方法还可包括步骤201：

接收远程虚拟形象选择及远程虚拟形象的参数。接收远程虚拟形象选择及远程虚拟形象的参数可通过P2P方式接收或通过服务器中转方式接收。根据视频通话涉及的参与人数，远程虚拟形象选择可包括单个或多个远程虚拟形象选择。远程虚拟形象的参数也可以单个或多个远程虚拟形象的参数。

在一个实施例中，上述方法还可包括步骤202：

根据所述远程虚拟形象选择，显示远程虚拟形象。具体的，虚拟形象选择可包括虚拟形象的标识符。可根据虚拟形象的标识符从本地或从服务器获取并显示虚拟形象。

在一个实施例中，上述方法还可包括步骤203：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。

远程虚拟形象的参数与对远程虚拟形象进行动画化可参照步骤106所述，在此不再赘述。

图3示出了根据本发明实施例的用于在虚拟场景中进行视频通信的装置。如图3所示，该装置包括：

场景和形象选择模块301，用于选择虚拟场景以及所述虚拟场景关联的虚拟形象；

视频通信发起模块302，用于发起视频通信；

视频帧获取模块303，用于获取即时视频帧；

人脸识别模块304，用于识别即时视频帧中的人脸；

特征提取模块305，用于从所述识别的人脸提取特征；

参数转化模块306，用于将所述特征转化为所述虚拟形象的参数；

发送模块307，用于发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

可选的，所述特征提取模块305包括：

表情识别模块3051，用于识别所述识别的人脸的表情。

可选的，所述装置还包括：

接收模块308，用于接收远程虚拟形象选择及远程虚拟形象的参数。

可选的，所述装置还包括：

显示模块309，用于根据所述远程虚拟形象选择，显示远程虚拟形象。

可选的，所述显示模块309还用于：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。

本发明实施例提供了一种用于在虚拟场景下进行视频通信的装置。通过在虚拟场景下进行视频通信可以使得视频通话用户处于相同虚拟场景之下，从而提高趣味性。另外，通过与虚拟场景关联的虚拟形象进行通信，使得用户体验更加统一。通过利用用户脸部特征转化的参数来使得虚拟形象动画化，可以使得交互更加动态，更有趣味，从而提高用户体验。

图4示出了根据本发明实施例的一种电子设备。如图4所示，该电子设备包括存储器401、网络接口模块402、摄像头403、显示器404、输入/输出接口模块405以及与存储器401、网络接口模块402、摄像头403、显示器404、输入/输出接口模块405连接的处理器406，存储器401用于存储一组程序代码，处理器406调用存储器401所存储的程序代码用于执行以下操作：

选择虚拟场景以及所述虚拟场景关联的虚拟形象；

发起视频通信；

获取即时视频帧；

识别即时视频帧中的人脸；

从所述识别的人脸提取特征；

将所述特征转化为所述虚拟形象的参数；

发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

可选的，处理器406调用存储器401所存储的程序代码用于执行以下操作：

识别所述识别的人脸的表情。

可选的，处理器406调用存储器401所存储的程序代码用于执行以下操作：

接收远程虚拟形象选择及远程虚拟形象的参数。

可选的，处理器406调用存储器401所存储的程序代码用于执行以下操作：

根据所述远程虚拟形象选择，显示远程虚拟形象。

可选的，处理器406调用存储器401所存储的程序代码用于执行以下操作：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。

本发明实施例提供了一种电子设备。通过在虚拟场景下进行视频通信可以使得视频通话用户处于相同虚拟场景之下，从而提高趣味性。另外，通过与虚拟场景关联的虚拟形象进行通信，使得用户体验更加统一。通过利用用户脸部特征转化的参数来使得虚拟形象动画化，可以使得交互更加动态，更有趣味，从而提高用户体验。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的电子设备在虚拟场景中进行视频通信的方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与在虚拟场景中进行视频通信的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在虚拟场景中进行视频通信的方法，其特征在于，所述方法包括：

选择虚拟场景以及所述虚拟场景关联的虚拟形象；

发起视频通信；

获取即时视频帧；

识别即时视频帧中的人脸；

从所述识别的人脸提取特征；

将所述特征转化为所述虚拟形象的参数；

发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

2.根据权利要求1所述的方法，其特征在于，所述从所述识别的人脸提取特征包括：

识别所述识别的人脸的表情。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收远程虚拟形象选择及远程虚拟形象的参数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述远程虚拟形象选择，显示远程虚拟形象。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。

6.一种用于在虚拟场景下进行视频通信的装置，其特征在于，所述装置包括：

场景和形象选择模块，用于选择虚拟场景以及所述虚拟场景关联的虚拟形象；

视频通信发起模块，用于发起视频通信；

视频帧获取模块，用于获取即时视频帧；

人脸识别模块，用于识别即时视频帧中的人脸；

特征提取模块，用于从所述识别的人脸提取特征；

参数转化模块，用于将所述特征转化为所述虚拟形象的参数；

发送模块，用于发送所述虚拟场景选择、虚拟形象选择及虚拟形象的参数。

7.根据权利要求6所述的装置，其特征在于，所述特征提取模块包括：

表情识别模块，用于识别所述识别的人脸的表情。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收远程虚拟形象选择及远程虚拟形象的参数。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

显示模块，用于根据所述远程虚拟形象选择，显示远程虚拟形象。

10.根据权利要求9所述的装置，其特征在于，所述显示还用于：

根据远程虚拟形象的参数，对所述远程虚拟形象进行动画化。