CN109547806A - 一种ar替身直播方法 - Google Patents

Abstract

本发明提供一种AR替身直播方法，包括：通过电子设备记录用户的表情和身体动作；将其应用于虚拟CG角色身上，与现有技术相比，本发明具有如下的有益效果：可以通过专用视频设备、手机摄像头或PC摄像头实时采集人的表情信息和人体关节姿态信息，通过局域网网络进行处理，采用直播API服务器进行推流和CDN分发，最终完成虚拟替身的内容直播过程。

Description

一种AR替身直播方法

技术领域

本发明是一种AR替身直播方法，属于AR技术领域。

背景技术

虚拟替身:

虚拟替身(avatar)是虚拟现实内容的基本元素之一。虚拟现实技术能够使玩家“沉浸”在真实的现实世界环境中，或是虚拟世界中，然而随着技术的不断发展，仅有三维场景已经无法人们对“真实感”和社交的需求。这时就出现了虚拟替身技术，可以将用户的“身体”投入到虚拟环境中，每个用户都能够拥有一个属于自己的“替身”，可以是模拟形象或者真实人物形象的再现。通过虚拟替身来完成在虚拟世界中的交互和社交活动，同时可以把自己的个性展现出来。可以说，虚拟替身技术使VR社交的核心需求之一。

Kinect:

Kinect是微软为Xbox360游戏机开发的一款体感输入设备。通过这个外设，可以使用户摆脱传统的游戏控制手柄等设备，采用自然交互的方式用身体姿势和动作语言来和游戏或程序进行交互。同时，它还导入了影像辨识、麦克风输入、语音辨识、社群互动等功能。

一个Kinect除了RGB摄像头外，还包括红外摄像头和深度传感器，用来生成场景中的深度数据，通过分析这些数据可以得到人在三维场景中的位置信息。

Facebook:

在2016年底的Oculus Connect 3大会上，Facebook带来了新一代的Social VRavatar。带上Oculus虚拟现实头盔后，人们就可以抛弃“肉身”和现实世界，在虚拟的空间里互动。每个人进入虚拟世界后，将拥有一个虚拟的替身。这个替身有清晰的面容辨识度，准确的语言口型配对，稍有瑕疵但足够精彩的面部表情，同时还有现实世界中真实的“人”所拥有的手和身体，这不仅带来了真实丰富的肢体语言，更意味着我们在比特世界的“躯体”进一步补全。这个虚拟替身所用到的技术包括动作捕捉技术、人工智能技术，和虚拟现实技术。

Snapchat:

Snapchat刚刚推出了AR版3D动画虚拟替身。通过AR应用Bitmoji，用户可以创建自己的虚拟替身——3D Bitmoji卡通形象，随后就会拥有各种以此替身为原型的表情包。同时，用户还可以把自己已经生成的3D Bitmoji卡通形象，投射到现实环境中，虚拟替身可以出现在自己的家里、社交场合、景点等等手机地理位置场所。每个人都可以让自己的替身喝水、做瑜伽，甚至通过各种各样的表情包，来表达自己的情绪。然后拍屏录视频或者拍照，并分享到自己的社交群体中去。

据了解，Snapchat去年以6400万美元收购了表情初创公司Bitmoji，并且联合HBO、Forever 21这些公司来制作可以用于Bitmoji的Avatar的品牌服装。这样用户不仅可以创造个性化的Avatar，品牌商还能了解到用户的品牌喜好，为精准推送的广告积累数据。

iPhone X：

新发布的iPhone X除了ARKit以外，最重要的就是对于手机摄像头的升级。iPhoneX在正面有一块像“刘海”的黑色区域，苹果在这个区域放进了8种传感器，有麦克风、扬声器、前置摄像头、环境光传感器、距离感应器、红外镜头、泛光感应元件、点阵投影器。这一整套系统被称为原深度摄像头系统(TrueDepth Camera System)。这些传感器会投射人眼看不见的光，并读取用户的脸部3D结构图，通过苹果神经引擎(A11Bionic Neural Engine)，可以即时处理识别数据。同时通过Face ID技术，用神经网络处理图像和点阵模式，来建立人脸数学模型。

这样一套全新的摄像头和神经网络处理方法带来全新的功能：Face ID人脸验证、AR自拍、和实时动画表情Animoji。

Animoji目前使用了12款卡通动物表情。用户可以通过Animoji录一段话，生成一个用自己的声音和表情说话的个性定制3d emoji表情，并将它发送给朋友。苹果公司表示，Animoji是一种“定制的动画信息，使用你的声音和反映你的面部表情。”基本上，Animoji是一种革命性的表情符号，可以通过AR技术进行数字增强。用户可以以另一种虚拟身份进入的全新虚拟世界。人们虽然在虚拟世界可以选择不同的虚拟形象，但是却有着自己所独有的表情和神态，包括说话的动作、声音、语调等等。

运动捕捉:

动作捕捉(Motion capture)技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。简单来说，是指检测和记录运动目标(通常是人)的动作或表情，并将其转化成为数字化的“抽象运动”的技术，其结果则表示为不同时刻目标所处的姿态和位置。作为计算机视觉和机器学习领域内的研究热点，运动捕捉技术是第四代人机交互的关键技术之一。

该技术通过在运动物体的关键部位设置跟踪器，由Motion capture系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作，步态分析，生物力学，人机工程，智能监控，虚拟现实等领域。

光学捕捉：

光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务，主要利用红外摄像机来拍摄目标，并对图像传感器上生成的数据进行三角测量来获得目标的空间三维位置。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。

典型的光学式运动捕捉系统通常使用6～8个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为“Marker”，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。

如果在表演者的脸部表情关键点贴上Marker，则可以实现表情捕捉。大部分表情捕捉都采用光学式。

有些光学运动捕捉系统不依靠Marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。研究人员正在研究不依靠Marker而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计将很快投入实用。

光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。Marker数量可根据实际应用购置添加，便于系统扩充。光学式运动捕捉系统以其快速、安全、准确、方便等优点，被广大的科研工作者所采用。

这种方法的缺点是系统价格昂贵，它可以捕捉实时运动，但后处理(包括Marker的识别、跟踪、空间坐标的计算)的工作量较大，适合科研类应用。

电磁捕捉：

电磁式运动捕捉系统是比较常用的运动捕捉设备。一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器(通常有10～20个)安置在表演者身体的关键位置，随着表演者的动作在电磁场中运动,通过电缆或无线方式与数据处理单元相连。

表演者在电磁场内表演时，接收传感器将接收到的信号通过电缆传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。Polhemus公司和Ascension公司均以生产电磁式运动捕捉设备而著称。这类系统的采样速率一般为每秒15～120次(依赖于模型和传感器的数量)，为了消除抖动和干扰，采样速率一般在15Hz以下。对于一些高速运动，如拳击、篮球比赛等，该采样速度还不能满足要求。电磁式运动捕捉的优点首先在于它记录的是六维信息，即不仅能得到空间位置，还能得到方向信息，这一点对某些特殊的应用场合很有价值。其次是速度快，实时性好，表演者表演时，动画系统中的角色模型可以同时反应，便于排演、调整和修改。装置的定标比较简单，技术较成熟，鲁棒性好，成本相对低廉。

它的缺点在于对环境要求严格，在表演场地附近不能有金属物品，否则会造成电磁场畸变，影响精度。系统的允许表演范围比光学式要小，特别是电缆对表演者的活动限制比较大，对于比较剧烈的运动和表演则不适用。

无标记点捕捉：

无标记点捕捉技术基于面部识别技术，借助脸部的特征，如鼻孔、嘴角和眼角，以及皱纹来逐帧进行跟踪。还可以分析瞳孔的运动、眼睑、被嘴唇遮挡的牙齿等，避免了传统运动捕捉中所遇到的盲点。

无标记点捕捉系统最主要的限制是画面的精度和帧率，但这些问题可以通过高速高精度摄像机进行弥补。

直播技术

视频直播：

随着网民数量指数级增长，网络带宽环境提升，中国网络视频市场规模不断扩张，直播网站如同雨后春笋般涌出。在表现形式上，视频直播包括：现场演唱会的直播、新闻发布会的直播、奥运会的直播、电视剧的直播、个人表演show，学术论坛交流会、各类技术培训等。

例如现在被大家熟知的花椒、映客等娱乐直播，还有斗鱼、熊猫等游戏直播，这些统称为泛娱乐化直播。除此之外，还有很多其它类型的直播，如音视频会议、教育直播等，这两种统称为实时互动直播。泛娱乐化直播主要有音频，视频，聊天，打赏等功能。实时互动直播除了具有音频，视频，聊天，打赏功能外，一般还包括文档共享、桌面共享、白板共享、批注等功能。

在播放形式上，用户只要具有一个可以上网的设备，可以是电脑、手机等，无论在何处只要网络环境允许，都可以及时地欣赏到正在直播的节目。在技术实现上，视频直播不需要像视频点播一样进行分段、转码、发布等一系列步骤，它可以做到节目播放的实时性。

视频直播流程主要分为5个阶段：采集；前处理；编码；推流；分发。

AR技术：

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR技术的主要功能是通过计算机系统提供的信息增加用户对现实世界的感知,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的“增强”。该技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。

ARkit和ARcore，分别是面向iOS平台和面向Android平台的开发增强现实应用的软件开发工具，将增强现实带入了整个移动端，从而使AR技术真正走入每个人的生活。

ARkit:

在2017年6月5日的苹果WWDC 2017全球开发者大会上，苹果发布了AR开发平台ARKit。该平台是苹果一系列软件开发工具的名称，使开发者能为iOS设备开发增强现实应用。

AR(Augment Reality)就是将3D模型渲染在摄像头图像之上，混合渲染达到虚拟物品就好像是现实的一部分。ARKit解决了模型定位难的问题，结合CoreMotion运动数据与图像处理数据，来建立一个非常准确的SLAM系统，构建虚拟世界和现实世界之间的映射。同时能够分析环境自动给模型添加光源，实际效果还是比较惊艳的。

从结构上看，ARKit提供了一套简单易用的AR框架，但框架之外，需要很多的三维空间、游戏编程、3D模型、GPU渲染的知识来理解AR技术。ARKit最重要的两个类是ARSession与ARSCNView。

ARcore:

ARCore，是Google推出的增强现实SDK，于北美时间2017年8月29日发布。这个开发工具目前已适配谷歌Pixel，Pixel XL，以及Android7.0以上的三星S8以及S8Edge，搭载三项功能——运动追踪、环境感知、光感检测，将支持大部分内容开发平台——Unreal、Unity、Vofuria、Java、OpenGL。

运动追踪(Motion tracking)：使用手机的传感器和相机，ARCore可以准确感知手机的位置和姿态，并改变显示的虚拟物体的位置和姿态。

环境感知(Environmental understanding)：感知平面，比如面前的桌子、地面，在虚拟空间中准确复现这个平面。

光感检测(Light estimation)：使用手机的环境光传感器，感知环境光照情况，对应调整虚拟物体的亮度、阴影和材质，让它看起来更融入环境。

发明内容

针对现有技术存在的不足，本发明目的是提供一种AR替身直播方法，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种AR替身直播方法，包括：

通过电子设备记录用户的表情和身体动作；

将其应用于虚拟CG角色身上。

进一步地，通过电子设备记录用户的表情和身体动作包括：用户佩戴一个头盔，头盔的前方有一个移动设备，移动设备是具有前置摄像头的设备，移动设备实时采集人的表情信息，经过脸部识别和跟踪以后，获取人体的表情、唇形等生物信息，并能通过移动设备的内置陀螺仪，精确记录人体头部的运动姿态信息；

位于人体前方的深度摄像头，记录图中圆点的关节点二维坐标信息，通过运动解算得到连贯的三维运动数据，包括目标点的三维空间坐标、关节的6自由度运动参数信息。

进一步地，将其应用于虚拟CG角色身上包括：通过局域网网络，将人体的表情信息，头部姿态信息、深度摄像头采集的运动信息进行信息融合，组装成运动帧，这个运动帧通过互联网进行传播；

在完成动作帧的装配后，动作帧会被打上时间码，与用户的声音数据一起通过互联网传输，在传输的过程中，会经过压缩和解压缩的过程，最后在客户端进行重新组装成动作帧，并分别转换为人体表情目标表情，头部姿态和关节运动，用于驱动虚拟角色的运动，其中虚拟角色的表情还需要通过时间码与声音数据进行同步，从而实现音唇同步的动画效果。

本发明的有益效果：本发明的一种AR替身直播方法，可以通过专用视频设备、手机摄像头或PC摄像头实时采集人的表情信息和人体关节姿态信息，通过局域网网络进行处理，采用直播API服务器进行推流和CDN分发，最终完成虚拟替身的内容直播过程。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中通过电子设备记录用户的表情和身体动作示意图；

图2为本发明中将记录数据应用于虚拟CG角色身上示意图；

图3为本发明的一个实施例图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明提供一种技术方案：一种AR替身直播方法，包括：

通过电子设备记录用户的表情和身体动作；

将其应用于虚拟CG角色身上。

如图1，通过电子设备记录用户的表情和身体动作包括：用户佩戴一个头盔，头盔的前方有一个移动设备，移动设备是具有前置摄像头的设备，移动设备实时采集人的表情信息，经过脸部识别和跟踪以后，获取人体的表情、唇形等生物信息，并能通过移动设备的内置陀螺仪，精确记录人体头部的运动姿态信息；

位于人体前方的深度摄像头，记录图中圆点的关节点二维坐标信息，通过运动解算得到连贯的三维运动数据，包括目标点的三维空间坐标、关节的6自由度运动参数信息。

如图2，将其应用于虚拟CG角色身上包括：通过局域网网络，将人体的表情信息，头部姿态信息、深度摄像头采集的运动信息进行信息融合，组装成运动帧，这个运动帧通过互联网进行传播；

在完成动作帧的装配后，动作帧会被打上时间码，与用户的声音数据一起通过互联网传输，在传输的过程中，会经过压缩和解压缩的过程，最后在客户端进行重新组装成动作帧，并分别转换为人体表情目标表情，头部姿态和关节运动，用于驱动虚拟角色的运动，其中虚拟角色的表情还需要通过时间码与声音数据进行同步，从而实现音唇同步的动画效果。

如图3，作为本发明的一个实施例：通过专用视频设备、手机摄像头或PC摄像头实时采集人的表情信息和人体关节姿态信息，经过预处理和姿态解算之后，通过局域网网络，将人体的表情信息，头部姿态信息、深度摄像头采集的运动信息进行信息融合，组装成运动帧，完成同时记录表情和身体动作的角色驱动；之后与用户的声音数据一同打包进行压缩和解压缩，以及同步，采用直播API服务器进行推流和CDN分发，最终完成虚拟替身的内容直播过程。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种AR替身直播方法，其特征在于：包括：

通过电子设备记录用户的表情和身体动作；

将其应用于虚拟CG角色身上。

2.根据权利要求1所述的一种AR替身直播方法，其特征在于：通过电子设备记录用户的表情和身体动作包括：用户佩戴一个头盔，头盔的前方有一个移动设备，移动设备是具有前置摄像头的设备，移动设备实时采集人的表情信息，经过脸部识别和跟踪以后，获取人体的表情、唇形等生物信息，并能通过移动设备的内置陀螺仪，精确记录人体头部的运动姿态信息；

位于人体前方的深度摄像头，记录图中圆点的关节点二维坐标信息，通过运动解算得到连贯的三维运动数据，包括目标点的三维空间坐标、关节的6自由度运动参数信息。

3.根据权利要求1所述的一种AR替身直播方法，其特征在于：将其应用于虚拟CG角色身上包括：通过局域网网络，将人体的表情信息，头部姿态信息、深度摄像头采集的运动信息进行信息融合，组装成运动帧，这个运动帧通过互联网进行传播；

在完成动作帧的装配后，动作帧会被打上时间码，与用户的声音数据一起通过互联网传输，在传输的过程中，会经过压缩和解压缩的过程，最后在客户端进行重新组装成动作帧，并分别转换为人体表情目标表情，头部姿态和关节运动，用于驱动虚拟角色的运动，其中虚拟角色的表情还需要通过时间码与声音数据进行同步，从而实现音唇同步的动画效果。