CN107613310B - 一种直播方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种直播方法、装置及电子设备，所述方法包括：对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染受控对象形成视频画面；将视频画面发给观众客户端。本申请是在主播客户端通过摄像头捕获的图像帧的基础上作添加AR场景形成视频画面，且主播可以影响该AR场景下的受控对象的位置，用户与虚拟世界的互动较多、代入感强；该视频画面可以发送给观众客户端，观众可以直观的看到主播玩AR游戏的样子，增加了直播的互动方式。

Description

一种直播方法、装置及电子设备

技术领域

本申请涉及视频游戏领域，尤其涉及一种直播方法、装置及电子设备。

背景技术

目前的直播内容，主要有：主播表演才艺、展示户外游玩的场景、展示打游戏的视频画面等。随着直播概念的普及，越来越多的人成为主播，但一场精彩的直播需要主播策划很多内容，还要不时的调动下观众的气氛等，然而由于直播的特殊性，主播与观众隔着屏幕交流，能够采用的互动方式有限，直播中现有的互动方式越来越难满足广大用户对直播互动的需求。

发明内容

有鉴于此，本申请提供一种直播方法、装置及电子设备，旨在增加直播的互动方式。

具体地，本申请是通过如下技术方案实现的：

一种直播方法，包括以下步骤：

对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；

将所述视频画面发给观众客户端。

一个实施例中，所述基于肢体动作计算AR场景下受控对象的位置的步骤包括：

根据受控对象位置、嘴的位置及张开程度计算所述受控对象是否落入嘴中。

一个实施例中，所述根据受控对象位置、嘴的位置及张开程度计算所述受控对象是否落入嘴中的步骤之后，还包括以下任一：

根据所述受控对象是否落入嘴中调整游戏进度条的状态；

当所述受控对象未落入嘴中时，根据目标对象的位置控制所述受控对象退出；

当所述受控对象落入嘴中和/或击中目标对象时，根据所记录的该受控对象的属性，在视频画面中添加与所述属性对应的特效。

一个实施例中，所述受控对象包括食物；

所述属性包括以下至少之一：味觉属性、物态属性、热量属性；

所述味觉属性包括：酸、甜、苦、辣、咸；

所述物态属性包括：固态、液态、气态；

所述特效包括：在目标对象上渲染表示味觉属性的表情、与受控对象接触的印迹、调整目标对象的胖瘦。

一个实施例中，所述方法还包括：

当嘴张开程度大于启动阈值时，基于嘴的位置渲染受控对象；

识别人脸朝向及嘴的闭合速度；

基于肢体动作计算AR场景下受控对象的位置的步骤包括：

基于人脸朝向设置所述受控对象运动的方向、及基于嘴的闭合速度设置所述受控对象运动的速度，基于运动的方向及速度计算受控对象的位置。

一个实施例中，所述方法还包括：

基于人脸朝向及嘴的闭合速度设置所述受控对象运动的初始速度，结合受控对象运动的起点、及重力加速度计算所述受控对象的位置。

一个实施例中，所述方法还包括：

在视频画面中渲染受控对象的关联对象，获取受控对象与关联对象的位置关系；

根据所述位置关系判断受控对象是否落入关联对象中。

一个实施例中，所述根据所述位置关系判断受控对象是否落入关联对象中的步骤之后，还包括以下任一：

根据受控对象是否落入关联对象中调整游戏进度条的状态；

当受控对象未落入关联对象中时，获取受控对象与关联对象的位置关系，根据该位置关系控制受控对象退出和/或添加特效；

当受控对象落入关联对象中时，根据受控对象与关联对象的位置关系获取命中属性，根据所述命中属性控制受控对象退出和/或命中关联对象。

一个实施例中，所述方法还包括：

当图像帧中的人脸数多于一个时，根据预设规则确定目标对象；

其中，所述预设规则包括以下至少之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；

以最早检测到的人脸为目标对象；

根据外部输入的指令确定目标对象；

以与用户身份信息匹配的人脸为目标对象。

一个实施例中，所述基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面的步骤包括：

基于视频画面前一帧的肢体动作计算受控对象在下一帧的位置。

本申请还公开了一种直播装置，包括：

识别模块，用于对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

渲染模块，用于基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；

发送模块，用于将所述视频画面发给观众客户端。

本申请还公开了一种电子设备，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；

将所述视频画面发给观众客户端。

本申请对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；将所述视频画面发给观众客户端。本申请是在主播客户端通过摄像头捕获的图像帧的基础上作添加AR场景形成视频画面，且主播可以影响该AR场景下的受控对象的位置，例如改变受控对象的运动轨迹等，用户与虚拟世界的互动较多、代入感强；该视频画面可以发送给观众客户端，观众可以直观的看到主播玩AR游戏的样子，增加了直播的互动方式。

附图说明

图1是本申请一示例性实施例示出的一种直播方法的流程图；

图2a、2b是本申请一示例性实施例示出的识别图像帧中肢体动作的示意图；

图3a是本申请一示例性实施例示出的吃食物游戏的示意图；

图3b是本申请一示例性实施例示出的吃到食物的示意图；

图3c、3d是本申请一示例性实施例示出的未吃到食物的示意图；

图4a是本申请一示例性实施例示出的一种直播方法的流程图；

图4b是本申请一示例性实施例示出的投篮球游戏的示意图；

图5是本申请一示例性实施例示出的投篮球的示意图；

图6a是本申请一示例性实施例示出的一种直播方法的流程图；

图6b是本申请一示例性实施例示出的投篮球的示意图；

图6c是本申请一示例性实施例示出的投篮命中的示意图；

图6d是本申请一示例性实施例示出的投篮未命中的示意图；

图7是本申请一示例性实施例示出的投飞镖游戏的示意图；

图8是本申请一示例性实施例示出的图像帧中存在多个人脸的情况；

图9是本申请一示例性实施例示出的一种直播装置的逻辑框图；

图10是本申请一示例性实施例示出的一种电子设备的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前的直播内容，主要有：主播表演才艺、展示户外游玩的场景、展示打游戏的视频画面等。随着直播概念的普及，越来越多的人成为主播，但一场精彩的直播需要主播策划很多内容，还要不时的调动下观众的气氛等，然而由于直播的特殊性，主播与观众隔着屏幕交流，能够采用的互动方式有限，直播中现有的互动方式越来越难满足广大用户对直播互动的需求。

随着科技的发展，虚拟现实概念不断火爆，通过佩戴VR(Virtual Reality，虚拟现实)眼镜、游戏手柄，人们已经可以与虚拟世界进行互动了。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

由于，VR游戏需要借助VR眼镜、游戏手柄等装备，游戏普及难度较大。而将真实世界与虚拟世界融合的AR(augmented reality，增强现实)技术，例如之前在全球掀起热潮的精灵宝可梦(Pokemon Go)游戏，用户拍摄的真实场景画面中会出现虚拟世界的小精灵，在屏幕上按住精灵球并抛出就可以捕捉小精灵，因其不需要额外的装备而快速普及。

但是目前的AR游戏基本都是用户用手指操作，从游戏体验的角度而言，跟传统游戏(例如切水果或愤怒的小鸟等)差距不大，只是游戏的背景换成了用户当前环境的画面，用户与虚拟世界的互动较少、代入感不强。基于此，本申请提出了将AR游戏与直播结合的方案，如图1所示：

步骤S110：对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

步骤S120：基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；

步骤S130：将所述视频画面发给观众客户端。

所述肢体动作是指通过头、眼、颈、手、肘、臂、身、胯、足等人体部位的协调活动。

本实施例可以认为是在直播软件中增加了AR游戏功能，由于AR游戏需要AR场景，即该软件需要增加建立、驱动、渲染AR模型等功能，可以插件的形式在原有直播软件中增加该功能，也可以在新版本的软件中增加该功能，本申请对此不作限定。进入直播后用户界面可以显示“开启AR游戏”的按钮，当用户点击该按钮后，若未安装插件或版本不支持玩该AR游戏，可以发送相应的提示信息；若可以玩，则如图2a、2b所示，对主播客户端通过摄像头捕获的图像帧中的目标对象110进行肢体特征识别，例如，识别出手势动作，识别出眼睛的位置和张开程度，识别出嘴101的位置和张开程度等。

AR游戏的种类可以多种多样，简单来说可以分成两大类，一类是用户接AR场景下的受控对象(例如，如图3a所示的吃食物游戏等)，另一类是控制AR场景下受控对象的运动(例如，如图6b所示的投篮球游戏、如图7所示的投飞镖游戏等)。

以图3a所示的吃食物游戏为例，物理模型设置食物(受控对象231、232、233)的形象，驱动模型根据参数计算受控对象的位置，再将受控对象渲染在该位置；若游戏规则为人要尽可能多的吃到食物(张嘴吃食物)，那么，肢体动作(例如，嘴的位置和张开程度)会影响受控对象的位置，例如，被吃到的食物，驱动模型得到的参数会不同，从而改变食物的运动路线。以图6b所示的投篮球游戏为例，物理模型设置篮球(受控对象211)的形象，若游戏规则为人要把篮球抛出去(用嘴投篮、眨眼睛投篮等)，相当于用嘴控制篮球的运动，则驱动模型根据从目标对象110识别的与嘴相关的参数计算受控对象的位置。因此，可以基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染受控对象形成视频画面。

本申请是在主播客户端通过摄像头捕获的图像帧的基础上作添加AR场景形成视频画面，且主播可以影响该AR场景下的受控对象的位置，例如改变受控对象的运动轨迹等，用户与虚拟世界的互动较多、代入感强。该视频画面可以发送给观众客户端，观众可以直观的看到主播玩AR游戏的样子，增加了主播直播的内容，游戏的形式还能调动观众与主播的互动话题，达到提高直播效果，吸引用户的目的。

可以在服务器或主播客户端计算受控对象的位置，当然，由于要根据计算出的位置在主播客户端渲染该受控对象，在服务器计算会存在一定的延时，玩游戏的过程中还需要调用一些参数，如果存储在服务器也会增加延时，且在玩的人较多时，可能影响处理器的处理性能，因此，通常会在主播客户端计算受控对象的位置，以提高游戏的流畅度。

接下来以吃食物游戏为例介绍用户接AR场景下的受控对象的游戏。如图3a所示，系统可以抛出不同的食物(辣椒231、蛋糕232、鸡蛋233)让玩家吃，可以根据受控对象位置、嘴的位置及张开程度计算食物是否落入嘴中；例如，如图3b所示，辣椒231落入玩家口中，即可认为玩家吃到了辣椒231；如图3c所示，蛋糕232未落入玩家口中，即可认为玩家没吃到蛋糕232；如图3d所示，鸡蛋233未落入玩家口中，即可认为玩家没吃到鸡蛋233。

游戏通常会有记录时间、得分、资源(例如道具等)等的进度条，如图3a所示，进度条109记录了本场游戏的剩余时间(例如剩余10s)、最高分、本场得分等信息，随着游戏的进行不断调整进度条109的状态，例如吃到辣椒231时增加相应的分值等。

为了提高AR场景的真实性，游戏中会模拟人在真实世界中抛出食物的效果，例如抛出的角度和/或力度不同，食物运动的轨迹也不同，还可以设置玩家与抛出食物的位置存在一定距离，从而食物会以抛物线形式朝玩家飞去。被玩家吃到的食物可以消失的形式退场；而未被吃到的食物，可能是如图3c所示与玩家完全没有接触的形式，则可以系统默认的运动路线朝玩家的后方落下并消失；当然，未被吃到的食物还可能如图3d所示砸中了玩家，则其退出路线会改变，例如反弹、或者向下落等。

在真实世界中，不同的食物味道不同，例如辣椒是辣，人吃了后会有烧脸、辣的冒火的感觉。则可以为不同的食物设置相应的属性，在玩家吃到或者被食物砸到后，可以相应添加不同的特效。

食物的属性有很多种，例如：味觉属性、物态属性、热量属性等；味觉属性又包括：酸、甜、苦、辣、咸等；物态属性可以包括：固态、液态、气态；从而可以在玩家脸上渲染表示味觉属性的表情、与受控对象接触的印迹、调整目标对象的胖瘦等。例如，如图3b所示，玩家吃到了辣椒231，则可以添加表示辣的冒火的特效；如图3d所示，玩家被鸡蛋233砸中了，则可以添加鸡蛋233磕破了流出蛋液的特效；或者玩家被苹果等固态食物砸中，脸会肿等；当然，还可以根据玩家吃到的食物的卡路里，调整目标对象110的胖瘦。

在玩家吃到食物时，还可以显示得分、连击数等特效，或者增加虚拟啦啦队等特效，游戏中可以根据需要添加各种特效，特效可以是flash特效、贴图特效，也可以是其它形式的特效，特效持续的时间也可以根据游戏场景具体设定，本申请对此不作限定。

通过上述方式，可以增强游戏的可玩性及真实感，提高主播和观众在游戏互动中的乐趣。

接下来以投篮球游戏为例介绍用户控制AR场景下受控对象的运动的游戏。如图4a所示，投篮过程中对篮球的控制过程如下：

步骤S410：当嘴张开程度大于启动阈值时，基于嘴的位置渲染受控对象；

步骤S420：识别人脸朝向及嘴的闭合速度；

步骤S430：基于人脸朝向设置所述受控对象运动的方向、及基于嘴的闭合速度设置所述受控对象运动的速度，基于运动的方向及速度计算受控对象的位置。

游戏过程中，需要先生成供玩家控制的篮球，再根据根据玩家嘴型的变化控制篮球运动，因此，需要有触发条件控制生成篮球，可以在玩家嘴闭合的状态生成篮球、张嘴的时候把篮球发射出去；也可以如图2b、4b所示，检测到玩家的嘴101张开达到启动阈值时，基于嘴的位置渲染篮球211(受控对象)，当然也不一定是将篮球211渲染在嘴的位置，可以根据游戏具体设置，本申请对此不作限定。

真实世界中，人在投篮时会调整投篮的角度、力度等，为了增加AR场景的真实性，本申请一实施例在进行肢体特征识别时，还能够识别人脸朝向及嘴的闭合速度，例如，从目标对象110的人脸中识别出68个2D特征点，通过将这些2D特征点与标准人脸的3D特征点对应，可以求解出目标对象110的3D姿态(包括人脸位置和朝向)；根据嘴唇区域特征点移动的距离及耗费的时间可以计算出嘴张合的速度，基于人脸朝向设置篮球211运动的方向、及基于嘴的闭合速度设置篮球211运动的速度，基于运动的方向及速度计算篮球211的位置。若为投篮的情况，由于需要调整方向和力度等多种因素才能投中篮球，得命中率可能较低，为了提高投篮命中率以增加玩家的动力，可以将游戏设置不同的关卡，例如，玩家闭嘴的力度不论多大，只要人脸朝向是对准了篮框就能命中，当然，为了提高游戏的可玩性、可观赏性，还可以通过控制篮框移动增加一定的难度。

如图5所示，玩家闭嘴后，球从初始位置开始向外飞出，由于真实世界中是存在重力作用的，所以物体抛出后是作抛物运动，因此，在计算篮球211的位置时还可以结合重力加速度，例如，基于人脸朝向及嘴的闭合速度设置篮球211运动的初始速度(矢量)，结合运动的起点、及重力加速度即可计算篮球211的位置。当然，还可以设置目标对象110与屏幕的距离，从而，在篮球211飞行的过程中，判断篮球211是否撞击到屏幕，如撞击到屏幕时可以增加如图5所示的屏幕被击碎的特效等，以增加AR场景的真实效果。

投篮游戏一个重要的对象是篮框，玩家需要朝着篮框投篮，根据篮球是否进入篮框判断是否命中，为此，视频画面中需要渲染篮框，如图6a所示，

步骤S610：在视频画面中渲染受控对象的关联对象，获取受控对象与关联对象的位置关系；

步骤S620：根据所述位置关系判断受控对象是否落入关联对象中。

如图6b所示，篮球211为受控对象，篮框311为受控对象的关联对象，篮球211和篮框311可以渲染在同一图层中，也可以渲染在不同图层中，本申请对此不作限定。获取篮球211和篮框311的位置，以判断篮球211是否投入篮框311中。例如，如图6c所示，篮球211落入篮框311中；如图6d所示，篮球211未落入篮框311中。

游戏通常会有记录时间、得分、资源(例如道具等)等的进度条，如图6c所示，进度条109记录了本场游戏的剩余时间(例如剩余10s)、最高分、本场得分等信息，随着游戏的进行不断调整进度条109的状态，例如篮球211落入篮框311时增加相应的分值等。

为了提高AR场景的真实性及趣味性，如图6c所示，可以为篮球211入框增加一定的特效，例如，投入篮框311时的速度大于阈值时增加篮球211带火的特效，或者空心入篮框311时增加篮球211带火的特效等。本申请一实施例中，将篮框311的包络框缩小一半放置在篮框311中心，如果篮球211的中心点落在缩小后的包络框中时，即认为命中。当然，游戏过程中还可能出现篮框311大小变化的情况，用于判断篮球211是否命中的篮框311的包络框会相应进行修改。还可以设置命中的得分规则，例如，空心入篮框311时2分，其它命中情况1分等。

在AR场景中还可以渲染篮板等对象，玩家投出篮球211后，可能命中也可以没命中，没命中时，例如，可能是力度太小，篮球211在目标对象110与篮框311之间落下并消失；当然，也可能撞击到篮板或篮框311后反弹消失；在位置偏离较大时还可以撞击到屏幕，则可以增加屏幕被击碎的特效等，以增加AR场景的真实效果。

在玩家投篮命中时，还可以显示得分、连击数、命中显示“good”、空心显示“prefect”等特效，或者增加虚拟啦啦队等特效，游戏中可以根据需要添加各种特效，特效可以是flash特效、贴图特效，也可以是其它形式的特效，特效持续的时间也可以根据游戏场景具体设定，本申请对此不作限定。

通过上述方式，可以增强游戏的可玩性及真实感，提高主播和观众在游戏互动中的乐趣。

如图7所示的投飞镖的游戏与投篮的游戏类似，可以是在玩家的嘴101张开达到启动阈值时，基于嘴的位置渲染飞镖221(受控对象)，玩家闭嘴后控制飞镖飞向镖盘321，细化过程可以参考上述投篮球游戏的情况，此处不予赘述。

在玩游戏的过程中，是根据目标对象110的嘴的位置、张开程度等调整受控对象位置的，通常来说，一场游戏由一个人玩，但是，直播过程中可能有多个人当主播，即主播客户端通过摄像头捕获的图像帧中可能存在多张人脸，例如，如图8所示，图像帧中存在人脸110和人脸120，确定哪一个是目标对象的规则可以包括以下之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；通常玩家的人脸会处于画面的居中位置，且离摄像头更近，因此脸的面积也会大一些；

以最早检测到的人脸为目标对象；通常摄像头最先拍到的人是玩家，或者玩家在玩的过程中有其他人入镜，因此以最早检测到的人脸为目标对象；

以与用户身份信息匹配的人脸为目标对象；例如，玩家会注册账号，特别是主播，需要认证身份证和人脸信息，以进行实名认证，因此，可以根据用户注册时用的照片，从多张人脸中匹配出注册用户的脸为目标对象；

上述方式是系统自动匹配目标对象的，可以单独使用也可以组合使用，当然，用户也可以直接指定目标对象，例如，在检测到存在多张人脸时，在每张人脸上弹出一选择框，哪个选择框被点中，则认为以该人脸为目标对象，即根据外部输入的指令确定目标对象。

视频画面归根结底是一帧一帧的图像，在渲染AR场景时，可以计算出AR场景的对象(包括受控对象、关联对象)在每一帧中应该出现的位置，由于受控对象的位置还受肢体动作的影响，因此，通常是在一帧的位置计算结束时，根据当前肢体动作等参数计算受控对象在下一帧中的位置，即基于视频画面前一帧的肢体动作计算受控对象在下一帧的位置。当然，还可以对摄像头捕获的图像帧进行美颜等处理，美颜方式等可以与现有技术相同，本申请对此不予赘述。

与前述直播方法的实施例相对应，本申请还提供了直播装置的实施例。

本申请直播装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本申请直播装置所在电子设备的一种硬件结构图，除了图10所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该直播装置的实际功能，还可以包括其他硬件，例如摄像头，对此不再赘述。

请参考图9，一种直播装置，包括：

识别模块910，用于对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

渲染模块920，用于基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；

发送模块930，用于将所述视频画面发给观众客户端。

如图10所示，本申请还公开了一种电子设备，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面；

将所述视频画面发给观众客户端。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种直播方法，其特征在于，包括以下步骤：

对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

通过物理模型设置受控对象的形象，通过驱动模型基于肢体动作计算AR场景下受控对象的位置，并在图像帧中渲染所述受控对象形成视频画面；

将所述视频画面发给观众客户端；

所述方法还包括：

当嘴张开程度大于启动阈值时，基于嘴的位置渲染受控对象；

识别人脸朝向及嘴的闭合速度；

基于肢体动作计算AR场景下受控对象的位置的步骤包括：

基于人脸朝向设置所述受控对象运动的方向、及基于嘴的闭合速度设置所述受控对象运动的速度，基于运动的方向及速度计算受控对象的位置。

2.如权利要求1所述的直播方法，其特征在于，所述基于肢体动作计算AR场景下受控对象的位置的步骤包括：

根据受控对象位置、嘴的位置及张开程度计算所述受控对象是否落入嘴中。

3.如权利要求2所述的直播方法，其特征在于，所述根据受控对象位置、嘴的位置及张开程度计算所述受控对象是否落入嘴中的步骤之后，还包括以下任一：

根据所述受控对象是否落入嘴中调整游戏进度条的状态；

当所述受控对象未落入嘴中时，根据目标对象的位置控制所述受控对象退出；

当所述受控对象落入嘴中和/或击中目标对象时，根据所记录的该受控对象的属性，在视频画面中添加与所述属性对应的特效。

4.如权利要求3所述的直播方法，其特征在于，所述受控对象包括食物；

所述属性包括以下至少之一：味觉属性、物态属性、热量属性；

所述味觉属性包括：酸、甜、苦、辣、咸；

所述物态属性包括：固态、液态、气态；

所述特效包括：在目标对象上渲染表示味觉属性的表情、与受控对象接触的印迹、调整目标对象的胖瘦。

5.如权利要求1所述的直播方法，其特征在于，所述方法还包括：

基于人脸朝向及嘴的闭合速度设置所述受控对象运动的初始速度，结合受控对象运动的起点、及重力加速度计算所述受控对象的位置。

6.如权利要求5所述的直播方法，其特征在于，所述方法还包括：

在视频画面中渲染受控对象的关联对象，获取受控对象与关联对象的位置关系；

根据所述位置关系判断受控对象是否落入关联对象中。

7.如权利要求6所述的直播方法，其特征在于，所述根据所述位置关系判断受控对象是否落入关联对象中的步骤之后，还包括以下任一：

根据受控对象是否落入关联对象中调整游戏进度条的状态；

当受控对象未落入关联对象中时，获取受控对象与关联对象的位置关系，根据该位置关系控制受控对象退出和/或添加特效；

当受控对象落入关联对象中时，根据受控对象与关联对象的位置关系获取命中属性，根据所述命中属性控制受控对象退出和/或命中关联对象。

8.如权利要求1至7中任一项所述的直播方法，其特征在于，所述方法还包括：

当图像帧中的人脸数多于一个时，根据预设规则确定目标对象；

其中，所述预设规则包括以下至少之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；

以最早检测到的人脸为目标对象；

根据外部输入的指令确定目标对象；

以与用户身份信息匹配的人脸为目标对象。

9.如权利要求1至7中任一项所述的直播方法，其特征在于，所述基于肢体动作计算AR场景下受控对象的位置，在图像帧中渲染所述受控对象形成视频画面的步骤包括：

基于视频画面前一帧的肢体动作计算受控对象在下一帧的位置。

10.一种直播装置，其特征在于，包括：

识别模块，用于对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

渲染模块，用于通过物理模型设置受控对象的形象，通过驱动模型基于肢体动作计算AR场景下受控对象的位置，并在图像帧中渲染所述受控对象形成视频画面；

发送模块，用于将所述视频画面发给观众客户端；

所述装置还包括：

第二渲染模块，用于当嘴张开程度大于启动阈值时，基于嘴的位置渲染受控对象；

第二识别模块，用于识别人脸朝向及嘴的闭合速度；

所述基于肢体动作计算AR场景下受控对象的位置包括：

基于人脸朝向设置所述受控对象运动的方向、及基于嘴的闭合速度设置所述受控对象运动的速度，基于运动的方向及速度计算受控对象的位置。

11.一种电子设备，其特征在于，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

对主播客户端通过摄像头捕获的图像帧中的目标对象进行肢体特征识别，识别出肢体动作；

通过物理模型设置受控对象的形象，通过驱动模型基于肢体动作计算AR场景下受控对象的位置，并在图像帧中渲染所述受控对象形成视频画面；

将所述视频画面发给观众客户端；

所述处理器还用于执行如下操作：

当嘴张开程度大于启动阈值时，基于嘴的位置渲染受控对象；

识别人脸朝向及嘴的闭合速度；

基于肢体动作计算AR场景下受控对象的位置的步骤包括：

基于人脸朝向设置所述受控对象运动的方向、及基于嘴的闭合速度设置所述受控对象运动的速度，基于运动的方向及速度计算受控对象的位置。

Images