CN109671141B - 图像的渲染方法和装置、存储介质、电子装置 - Google Patents

图像的渲染方法和装置、存储介质、电子装置 Download PDF

Info

Publication number
CN109671141B
CN109671141B CN201811393435.1A CN201811393435A CN109671141B CN 109671141 B CN109671141 B CN 109671141B CN 201811393435 A CN201811393435 A CN 201811393435A CN 109671141 B CN109671141 B CN 109671141B
Authority
CN
China
Prior art keywords
target object
action
matrix
target
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811393435.1A
Other languages
English (en)
Other versions
CN109671141A (zh
Inventor
王地宝
陈凯威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Information Technology Co Ltd
Original Assignee
Shenzhen Tencent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Information Technology Co Ltd filed Critical Shenzhen Tencent Information Technology Co Ltd
Priority to CN201811393435.1A priority Critical patent/CN109671141B/zh
Publication of CN109671141A publication Critical patent/CN109671141A/zh
Application granted granted Critical
Publication of CN109671141B publication Critical patent/CN109671141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明公开了一种图像的渲染方法和装置、存储介质、电子装置。其中，该方法包括：通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，其中，现实场景为目标对象实际所在的三维场景；通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，其中，虚拟场景为图像渲染引擎渲染出的三维场景。本发明解决了相关技术中制作动画的操作较为复杂的技术问题。

Description

图像的渲染方法和装置、存储介质、电子装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的渲染方法和装置、存储介质、电子装置。
背景技术
动画经常出现在电影、电视、动漫、二次元动画、虚拟主播等场景中，制作这些动画时往往需要利用专业的动画制作工具，然而，对于普通用户而言，动画制作工具很难使用且复杂，一般只有熟练的专业技术人员才能使用。
随着互联网和多媒体的发展，动画适用场景在不断变宽，如上述的动漫、二次元动画、虚拟主播等场景，在这些场景中，不仅观看动漫、二次元动画、虚拟主播的用户在增加，想直接参与制作的用户也在增加。
因此，适用于普通能够直接制作动画的方法成为一种迫切需求。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的渲染方法和装置、存储介质、电子装置，以至少解决相关技术中制作动画的操作较为复杂的技术问题。
根据本发明实施例的一个方面，提供了一种图像的渲染方法，包括：通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，其中，现实场景为目标对象实际所在的三维场景；通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，其中，虚拟场景为图像渲染引擎渲染出的三维场景。
根据本发明实施例的另一方面，还提供了一种图像的渲染装置，包括：采集单元，用于通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；确定单元，用于利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，其中，现实场景为目标对象实际所在的三维场景；渲染单元，用于通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，其中，虚拟场景为图像渲染引擎渲染出的三维场景。
可选地，第一动作包括面部表情动作，渲染单元的第一渲染模块还可用于通过图像渲染引擎在虚拟场景中染出虚拟对象的面部执行面部表情动作的画面。
可选地，图像采集器件设置在用户终端上，惯性传感器与用户终端通讯连接，该装置还可包括：交互单元，用于在通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面之后，执行以下之一：在目标对象通过用户终端上的直播应用进行直播的情况下，在直播应用上向观看者直播通过图像渲染引擎渲染出的画面；在目标对象通过用户终端上的社交应用进行社交互动的情况下，在社交应用上向与目标对象进行社交互动的用户播放通过图像渲染引擎渲染出的画面；在目标对象通过用户终端上的即时通讯应用进行即时通讯的情况下，在即时通讯应用上向与目标对象进行即时通讯的用户播放通过图像渲染引擎渲染出的画面；在虚拟对象为虚拟人偶的情况下，保存通过图像渲染引擎渲染出的画面。
可选地，确定单元包括的第三确定模块还可用于：通过对面部图像数据进行图像分析确定目标矩阵
Figure BDA0001874584730000021
和第一向量
Figure BDA0001874584730000022
其中，目标矩阵
Figure BDA0001874584730000023
用于表示目标对象的头部的位置变化矢量，第一向量
Figure BDA0001874584730000024
用于表示目标对象的头部旋转姿态；利用目标矩阵
Figure BDA0001874584730000025
和第一向量
Figure BDA0001874584730000026
确定第一矩阵信息
Figure BDA0001874584730000031
可选地，确定单元包括的第三确定模块还可用于：利用上肢惯性数据确定用于描述目标对象的右手小臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000032
用于描述目标对象的右手大臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000033
用于描述目标对象的左手小臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000034
以及用于描述目标对象的左手大臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000035
其中，第二矩阵信息包括
Figure BDA0001874584730000036
以及
Figure BDA0001874584730000037
可选地，确定单元包括的第四确定模块还可用于：对第一矩阵信息和第二矩阵信息进行融合后得到用于描述目标对象的右臂姿态变化的矩阵
Figure BDA0001874584730000038
和用于描述目标对象的左臂姿态变化的矩阵
Figure BDA0001874584730000039
Figure BDA00018745847300000310
Figure BDA00018745847300000311
其中，第二动作通过
Figure BDA00018745847300000312
和
Figure BDA00018745847300000313
表示，
Figure BDA00018745847300000314
为目标对象的头部与图像采集器件之间的姿态转换矩阵，
Figure BDA00018745847300000315
为目标对象的肩膀中心与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300000316
为目标对象的右肩膀与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300000317
为目标对象的右手大臂与目标对象的右肩膀之间的姿态转换矩阵，
Figure BDA00018745847300000318
为目标对象的右手小臂与目标对象的右手大臂之间的姿态转换矩阵，
Figure BDA00018745847300000319
为目标对象的左肩膀与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300000320
为目标对象的左手大臂与目标对象的左肩膀之间的姿态转换矩阵，
Figure BDA00018745847300000321
为目标对象的左手小臂与目标对象的左手大臂之间的姿态转换矩阵。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本发明实施例中，在制作动画时，用户可通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，虚拟场景为图像渲染引擎渲染出的三维场景，可以解决相关技术中制作动画的操作较为复杂的技术问题，进而达到降低制作动画的操作复杂度的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的图像的渲染方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的图像的渲染方法的流程图；
图3是根据本发明实施例的一种可选的姿态控制的示意图；
图4是根据本发明实施例的一种可选的姿态控制的示意图；
图5是根据本发明实施例的一种可选的姿态控制的示意图；
图6是根据本发明实施例的一种可选的姿态控制的示意图；
图7是根据本发明实施例的一种可选的图像的渲染方法的示意图；
图8是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图9是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图10是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图11是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图12是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图13是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图14是根据本发明实施例的一种可选的姿态控制的坐标系的示意图；
图15是根据本发明实施例的一种可选的图像的渲染装置的示意图；以及
图16是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一方面，提供了一种图像的渲染方法的方法实施例。
可选地，在本实施例中，上述图像的渲染方法可以应用于如图1所示的由用户终端101和/或服务器103所构成的硬件环境中。如图1所示，本申请提供的技术方案可以由用户终端来提供，如由终端上安装的应用实现本申请提供的技术方案；本申请提供的技术方案还可以由服务器以动画制作服务的形式来提供，用户终端通过网络与服务器进行连接，可用于为用户终端或用户终端上安装的客户端提供服务(如上述的动画制作服务等)，可在服务器上或独立于服务器设置数据库105，用于为服务器提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，服务器并不限定于PC、手机、平板电脑等。
本发明实施例的图像的渲染方法可以由用户终端来执行，用户终端执行本发明实施例的图像的渲染方法也可以是由安装在其上的客户端来执行。
图2是根据本发明实施例的一种可选的图像的渲染方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，用户终端通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据。
上述的图像采集器件是与用户终端存在通讯关系的器件，如与用户终端通讯连接(如通过USB连接)的摄像头、集成在用户终端上的摄像头等；惯性传感器包括加速度计(或加速度传感计)和角速度传感器(陀螺)以及它们的单、双、三轴组合IMU(惯性测量单元)，AHRS(包括磁传感器的姿态参考系统)。
上述目标对象为可自主活动的活体对象，如人、动物等，上肢可以为人的手、猿类的上肢等。
步骤S204，用户终端利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，现实场景为目标对象实际所在的三维场景。
利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作主要包括以下两个方面：图像采集器件采集目标对象的面部图像数据可通过计算机视觉算法生成头部中心的姿态(如位置矢量和/或旋转姿态)，还可生成脸部特征点的位置矢量；而穿戴在上肢上的惯性模块(或称惯性传感器)则可通过惯性感测融合与卡尔曼滤波算法生成惯性数据对应的旋转姿态，再通过头手融合算法可输出头部及双手端点的空间姿态(即上述目标动作)。
步骤S206，用户终端通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，虚拟场景为图像渲染引擎渲染出的三维场景。
上半身(如头、左右手)的空间姿态搭配预设的人体几何参数，利用反相运动学算法可产生与渲染引擎适配上半身(髋部以上)配置信息(包括骨架资讯)，例如BVH档案(BVH档案可包括骨骼和肢体关节旋转数据，BVH是一种通用的人体特征动画文件格式，可广泛地应用在的各种动画制作引擎中)，并传送给渲染引擎进行图像渲染。
在上述实施例中，以将本发明实施例的图像的渲染方法由用户终端来执行为例进行说明，可将本申请的技术方案集成在终端上安装的应用中，当用户需要制作动画时，在手臂上佩戴好上述的惯性传感器，在应用中指定待处理的虚拟对象，当用户启动应用之后，终端可以调用终端上的摄像头对自己进行拍摄，同时通过惯性传感器实时采集用户手臂的惯性数据，在终端中执行上述方法，以使得终端渲染出的虚拟对象对用户的行为动作进行模拟，执行相同的动作，从而完成动画制作。
本发明实施例的图像的渲染方法还可以由服务器103来执行，或由用户终端101和服务器103共同执行。服务器将本申请提供的技术方案以动画制作服务的形式来提供给用户，此时，终端可以通过多种渠道(如网页、客户端、公众号、微博等)去使用服务器所提供的服务，以公众号为例，用户可在终端的应用中关注该“动画制作服务”的公众号，进入公众号后按照公众号的指示进入该动画制作服务，此时，当用户需要制作动画时，在手臂上佩戴好上述的惯性传感器，当用户启动动画制作服务之后，终端可以调用终端上的摄像头对自己进行拍摄，同时通过惯性传感器实时采集用户手臂的惯性数据，并将采集到的数据传输给服务器，在服务器中执行上述方法，以使得服务器渲染出的虚拟对象对用户的行为动作进行模拟，执行相同的动作，从而完成动画制作。
随着二次元动画内容制作以及虚拟主播风潮的逐渐兴起，并带来了消费性级别动补(即动作补偿)的需求，采用本申请的上述技术方案，可融合计算来自摄像头的头部六自由度姿态以及来自惯性感测模块的手臂旋转角，进一步结合反向运动学以获得使用者上半身的动补数据，作为后续虚拟人偶制作的输入，而不需要采用工业等级的动补设备(其成本远非一般消费者能负担)，能够以低成本的方式实现头部追踪、手臂旋转角感知，与此同时，并不需要用户具备使用专业的动画制作工具的能力，只要会简单使用终端(如启动应用、关注公众号等)既可以实现动画制作，满足了虚拟主播等场景所需要的半身动补。
通过上述步骤S202至步骤S206，在制作动画时，用户可通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，虚拟场景为图像渲染引擎渲染出的三维场景，可以解决相关技术中制作动画的操作较为复杂的技术问题，进而达到降低制作动画的操作复杂度的技术效果。
在一个可选的实施例中，如图3所示，可利用惯性模块与人体骨架模型达到输出双手手臂相对于身体某处(例如髋部中心)的6D空间姿态(包括3D位置变化矢量和3D旋转矢量)，惯性模块采集手臂旋转和姿态方阵，利用坐标转换和骨架模型确定相对于身体某处的6D手臂姿态(即空间姿态)，从而完成虚拟人偶的手臂姿态的控制，若仅仅采用该方案进行动补应用，则缺乏了头部姿态与脸部表情捕捉，故可以进一步结合图像处理进行头部姿态与脸部表情捕捉。
如图4所示，可利用计算机视觉算法(如OpenFace)由摄像头的影像串流资料(即面部图像数据、或称图像帧)估计出头部的6D空间姿态(包括位置和旋转)以及脸部表情特征点的动态位置，应用半身动补应用上，控制虚拟人偶(即虚拟对象)，与图3所示的方案相结合，可以补充入手部资讯的相关信息。
可选地，如图5所示，还可使用计算机视觉算法(如OpenPose)，实现脸部表情特征点的动态位置的检测，由摄像头的影像串流资料估计脸部特征点位置，将该方案应用于半身动补应用上，控制虚拟人偶，可以实现脸部表情特征点的检测，结合前述方案，可以实现对头与手部所需的6D空间姿态的检测。
针对上述实施例中所涉及的技术方案，下面结合图2所示的步骤进一步进行详述。
在步骤S202提供的技术方案中，可以将惯性传感器IMU固定在目标对象(可以为当前制作视频的用户或者其他用户)身上，为了节约成本，可以使用四个惯性传感器IMU，分别固定左右手的大臂和小臂上，图像采集器件可以是计算机、平板电脑、手机等用户终端上的摄像头，在用户制作动画时，用户终端通过用户终端上的摄像头采集目标对象的面部图像数据，并通过固定在大臂和小臂上的惯性传感器采集目标对象的上肢惯性数据。
在步骤S204提供的技术方案中，用户终端利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，现实场景为目标对象实际所在的三维场景。
可选地，利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作可以通过如下所示的步骤11-步骤12实现对皮肤表面动作的捕捉：
步骤11，利用面部图像数据确定用于描述目标对象的面部的特征点的位置变化信息，特征点的位置变化信息用于表示目标对象的面部的表面形态变化。
步骤12，根据位置变化信息确定目标对象的面部的目标动作中的第一动作。图像采集器件采集目标对象的面部图像数据可通过计算机视觉算法生成脸部特征点的位置变化矢量，在采集到目标对象的每个特征点的位置变化矢量后，可控制虚拟对象面部相同位置的特征点执行相同的变化。
可选地，穿戴在上肢上的惯性模块(或称惯性传感器)则可通过惯性感测融合与卡尔曼滤波算法生成惯性数据对应的旋转姿态，再通过头手融合算法可输出头部及双手端点的空间姿态(即上述目标动作)，利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作可以通过如下所示的步骤13-步骤14实现对上半身动作的捕捉：
步骤13，利用面部图像数据确定用于描述目标对象的头部姿态变化的第一矩阵信息，并利用上肢惯性数据确定用于描述目标对象的上肢姿态变化的第二矩阵信息。
可选地，利用面部图像数据确定用于描述目标对象的头部姿态变化的第一矩阵信息可包括：
通过对面部图像数据进行图像分析确定目标矩阵
Figure BDA0001874584730000101
和第一向量
Figure BDA0001874584730000102
其中，K表示旋转矩阵，如
Figure BDA0001874584730000103
表示在右手(Right)上R1坐标系相对于R2坐标系的旋转矩阵，r表示移动矢量，
Figure BDA0001874584730000104
表示头部H(Head)相对于摄像头C(Camera)的移动矢量，目标矩阵
Figure BDA0001874584730000105
用于表示目标对象的头部的位置变化矢量，第一向量
Figure BDA0001874584730000106
用于表示目标对象的头部旋转姿态；
利用目标矩阵
Figure BDA0001874584730000107
和第一向量
Figure BDA0001874584730000108
确定第一矩阵信息
Figure BDA0001874584730000109
可选地，利用上肢惯性数据确定用于描述目标对象的上肢姿态变化的第二矩阵信息可包括：
利用上肢惯性数据确定用于描述目标对象的右手小臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000111
用于描述目标对象的右手大臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000112
用于描述目标对象的左手小臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000113
以及用于描述目标对象的左手大臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000114
其中，第二矩阵信息包括
Figure BDA0001874584730000115
以及
Figure BDA0001874584730000116
步骤14，通过对第一矩阵信息和第二矩阵信息进行融合确定目标对象的上半身的目标动作中的第二动作。
可选地，通过对第一矩阵信息和第二矩阵信息进行融合确定目标对象的上半身的目标动作中的第二动作包括：对第一矩阵信息和第二矩阵信息进行融合后得到用于描述目标对象的右臂姿态变化的矩阵
Figure BDA0001874584730000117
Figure BDA0001874584730000118
和用于描述目标对象的左臂姿态变化的矩阵
Figure BDA0001874584730000119
Figure BDA00018745847300001110
其中，第二动作通过
Figure BDA00018745847300001111
和
Figure BDA00018745847300001112
表示，
Figure BDA00018745847300001113
为目标对象的头部与图像采集器件之间的姿态转换矩阵，
Figure BDA00018745847300001114
为目标对象的肩膀中心与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300001115
为目标对象的右肩膀与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300001116
为目标对象的右大臂与目标对象的右肩膀之间的姿态转换矩阵，
Figure BDA00018745847300001117
为目标对象的右小臂与目标对象的右大臂之间的姿态转换矩阵，
Figure BDA00018745847300001118
为目标对象的左肩膀与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300001119
为目标对象的左大臂与目标对象的左肩膀之间的姿态转换矩阵，
Figure BDA00018745847300001120
为目标对象的左小臂与目标对象的左大臂之间的姿态转换矩阵。
在步骤S206提供的技术方案中，用户终端通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，虚拟场景为图像渲染引擎渲染出的三维场景。
可选地，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面包括以下两个方面中的至少之一：
1)在目标动作包括用于表现目标对象的面部的表面形态发生变化的第一动作的情况下，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的面部执行第一动作的画面。
第一动作可为皮肤表面变化形成的动作，如面部表情动作、眼神动作等，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行第一动作的画面包括：通过图像渲染引擎在虚拟场景中染出虚拟对象的面部执行面部表情动作或眼神动作等动作的画面。
2)在目标动作包括由目标对象的上半身的骨骼带动形成的第二动作的情况下，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行第二动作的画面，如抬手、摇头、转动身体等动作，目标对象的上半身中执行第二动作的骨骼的结构与虚拟对象的上半身中执行第二动作的骨骼的结构相同。
可选地，可将图像采集器件设置在用户终端上，惯性传感器与用户终端通讯连接，本申请的技术方案适用的场景包括但不局限于：
1))通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面之后，在目标对象通过用户终端上的直播应用进行直播的情况下，在直播应用上向观看者直播通过图像渲染引擎渲染出的画面；
2)通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面之后，在目标对象通过用户终端上的社交应用进行社交互动的情况下，在社交应用上向与目标对象进行社交互动的用户播放通过图像渲染引擎渲染出的画面；
3)通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面之后，在目标对象通过用户终端上的即时通讯应用进行即时通讯的情况下，在即时通讯应用上向与目标对象进行即时通讯的用户播放通过图像渲染引擎渲染出的画面；
4)通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面之后，在虚拟对象为虚拟人偶的情况下，保存通过图像渲染引擎渲染出的画面。
作为一种可选的实施例，下面以将本申请的技术方案应用于虚拟人偶直播、简单动画制作等场景为例进行详述。
针对使用者以坐姿为主的半身动补应用场景，若采用工业动补装备，虽然可以实现全身高精度输出，但是价格及其昂贵、需要动补服装，脸部动补需要头盔动补装备，成本达到了百万级；若仅仅采用计算机视觉算法则无法获取手部的6D姿态；仅仅采用惯性传感器，则缺少头部姿态和脸部表情咨询；采用本申请的技术方案，采用手臂挂载惯性传感器和脸部摄像的方式，然后进行头手姿态融合，可以最大限度的降低成本，同时在保证一定的精度上，可以以低廉的成本提供虚拟主播半身动补所需要的头、上半身以及脸部追踪，从而推动一般使用者采用作为二次元与虚拟主播的内容产生，满足虚拟人偶直播、简单动画制作等场景的动补需求，且操作过程非常简单。
本申请的方案可以应用在以台式计算机、笔记本计算机等具备摄像头或者可以连接摄像头的半身动补虚拟主播或二次元动画制作等应用场景中，如图6所示，在实际操作时，坐在台式机或笔记本前的使用者(即目标对象)在双手配戴至少四个惯性模块IMU后，可以任意摆动(如移动和转动)双手、并在计算机所附摄像头拍摄范围内做出任意表情以及任意摆动(移动和转动)头部，用来产生对应的虚拟人偶全身动作与表情，在这样的操作下，使用者将可在简易、便宜的设备下获得一定精度的动补结果。再搭配后续现成的动画后制软件或视频合成直播软件，就可以进行虚拟主播以及二次元动画所需的内容制作。
图7揭示了本申请所提供的摄像头和惯性模块相结合，以此达到半身动补制作动画或直播视频方法及流程，摄像头可生成每秒30-60帧的图像影像串流(即面部图像数据)，通过计算机视觉算法(例如OpenFace或OpenPose)可实时生成头部中心的6D姿态(包括3D位置矢量和3D旋转姿态)与脸部特征点3D位置矢量(即脸部特征点动态位置)，而穿戴在手臂上的惯性感测模块，或称惯性模块，可获得惯性数据)，则可通过惯性感测融合与卡尔曼滤波算法生成每秒100-200帧的3D手臂旋转姿态方阵，再通过头手融合算法可输出头部及双手端点的6D空间姿态(手臂姿态)。这三个端点(头、左右手)的6D空间姿态搭配预设的人体几何参数，送给反相运动学算法IK模块，该模块使用半身动补反向运动算法进行处理，即可产生估计而得的上半身(髋部以上)骨架资讯的输出，例如BVH档案。
虚拟人偶的3D动画制作软件(如Maya,MotionBuilder,Unity等)利用接收到的骨架资讯以及预设的几何参数或限制条件，对虚拟人偶进行控制，即可生成所需的虚拟人偶动画档，例如FBX档案，此档案即可用来做相关内容后制(如动画后制)或送入直播串流平台。
下面结合具体内容对头手融合算法进行说明，参考图8，给出了整个流程会牵涉到的相关坐标系定义，包含了摄像头C的摄像头坐标系、头颅H的坐标系、肩膀中心S的坐标系、左肩膀L3的坐标系、右肩膀R3的坐标系、左手腕(或称左前臂、左小臂)的坐标系L1、右手腕(或称右前臂、右小臂)的坐标系R1、左手肘(或者左臂、左大臂)的坐标系L2、右手肘(或者右臂、右大臂)的坐标系R2等。此处可针对半身动补进行两个简化假设，其一是头与脖子为一刚体，并保持不动；其二是肩膀、躯干与髋部为一刚体，并保持不动。若为了增加动补自由度，可以再增加惯性模块的数量，并放宽此处关于肩膀或躯干的限制；为了描述方便，此处先维持简化假设，对于不使用假设的情况，于此类似。
图9示出了融合算法过程会用到的人体固定尺寸定义，包括了两手前臂长度Lf、两手上臂长度La、肩膀宽度Ls、以及头颅中心至肩膀距离Lhc。一种可选的方式是采用人类统计数据平均值，也可采用指定值或者根据实际需求进行变更；右手腕的坐标系R1相对于右手肘的坐标系R2的位移矢量为
Figure BDA0001874584730000141
右手肘的坐标系R2相对于右肩膀R3的坐标系的位移矢量为
Figure BDA0001874584730000142
右肩膀R3的坐标系相对于肩膀中心S的坐标系的位移矢量为
Figure BDA0001874584730000143
头颅H的坐标系相对于肩膀中心S的坐标系
Figure BDA0001874584730000144
左手腕的坐标系L1相对于左手肘的坐标系L2的位移矢量为
Figure BDA0001874584730000151
左手肘的坐标系L2相对于左肩膀L3的坐标系的位移矢量为
Figure BDA0001874584730000152
左肩膀L3的坐标系相对于肩膀中心S的坐标系的位移矢量为
Figure BDA0001874584730000153
Figure BDA0001874584730000154
图10描述了当双手手臂穿上了惯性感测模块(IMU-1至IMU-4)、摄像头启动后，头跟两只手臂随机摆动时前述各坐标系相对几何关系。其中计算机视觉算法将输出头颅在摄像头的6D姿态描述
Figure BDA0001874584730000155
(包含位置矢量与姿态矩阵)，而惯性模块感测九轴融合算法(加速计+陀螺仪+磁力计)将输出两两相对旋转方阵共四个：R1相对于R2的旋转方阵
Figure BDA0001874584730000156
R2相对于R3的旋转方阵
Figure BDA0001874584730000157
L1相对于L2的旋转方阵
Figure BDA0001874584730000158
以及L2相对于L3的旋转方阵
Figure BDA0001874584730000159
为了简化计算模型，采用四个惯性传感器搭配摄像头使用，此处可假设肩膀与摄像头平行，即
Figure BDA00018745847300001510
以及双肩互相平行，即
Figure BDA00018745847300001511
地磁参考坐标系GM与摄像头坐标系之间的关系可用
Figure BDA00018745847300001512
表示，可以通过标定程序获得，其中，
Figure BDA00018745847300001513
表示地磁参考坐标系GM相对于R3的转换矩阵，
Figure BDA00018745847300001514
表示地磁参考坐标系GM相对于L3的转换矩阵，若采用四个以上的惯性传感器则可以消除该假设，采用类似方法进行处理。
如图10所示，头颅到摄像头6D姿态转换
Figure BDA00018745847300001515
可有计算机视觉算法生成，包括H相对于C的旋转方阵
Figure BDA00018745847300001516
和H相对于C的位移向量
Figure BDA00018745847300001517
在惯性模块的旋转姿态融合中，模块输出为R1相对于GM的转换矩阵
Figure BDA00018745847300001518
R2相对于GM的转换矩阵
Figure BDA00018745847300001519
L1相对于GM的转换矩阵
Figure BDA00018745847300001520
L2相对于GM的转换矩阵
Figure BDA00018745847300001521
可推导出下述旋转关系：
Figure BDA00018745847300001522
Figure BDA0001874584730000161
图11与图12中描述了如何通过连续坐标变换，以得到右手及左手在摄像头的6D姿态描述分别为
Figure BDA0001874584730000162
与
Figure BDA0001874584730000163
其中右手连续坐标变换操作如下：
Figure BDA0001874584730000164
Figure BDA0001874584730000165
Figure BDA0001874584730000166
Figure BDA0001874584730000167
Figure BDA0001874584730000168
类似地，左手连续坐标变换操作如下
Figure BDA0001874584730000169
Figure BDA00018745847300001610
Figure BDA00018745847300001611
Figure BDA00018745847300001612
Figure BDA00018745847300001613
以下将描述上述算法流程用在右手之一个简单示例，考虑人体尺寸如图13所示。
Figure BDA0001874584730000171
Figure BDA0001874584730000172
Figure BDA0001874584730000173
Figure BDA0001874584730000174
图14说明当给定头部一个假设姿态时(头部H，相对于摄像头C在左下方处(1,-1,0)，并相对Z轴旋转-45度)，摄像头根据计算机视觉算法将输出之4*4矩阵
Figure BDA0001874584730000175
Figure BDA0001874584730000176
Figure BDA0001874584730000177
假设IMU-1相对于摆置地磁坐标系GM平行，IMU-2相对于摆置地磁坐标系GM沿Z轴旋转-90度，因此IMU-1和IMU-2将会输出，同时，绑在右手臂上的两个惯性模块也将各自输出一个3*3姿态矩阵
Figure BDA0001874584730000178
与
Figure BDA0001874584730000179
Figure BDA00018745847300001710
Figure BDA00018745847300001711
可事先获得标定程序输出的
Figure BDA00018745847300001712
最后，把上述所有参数与矩阵输入
Figure BDA00018745847300001713
中即可算得一个六自由度姿态4*4矩阵，这个矩阵描述了右手端点R1相对于摄像头C的空间位置矢量与旋转资讯。右手到摄像头的6D姿态转换为：
Figure BDA00018745847300001714
Figure BDA0001874584730000181
Figure BDA0001874584730000182
Figure BDA0001874584730000183
Figure BDA0001874584730000184
代入上述数字后，可得到
Figure BDA0001874584730000185
其意义为：R1相对于C在(x,y,z)＝(1.9778,-1.0707,0)，坐标朝向为沿着Z轴旋转-90度，与原设想符合。
针对使用者以坐姿为主的半身动补应用场景所需要的头、手姿态和脸部表情，目前的工业级解决方案因为价格因素并不适合一般消费者使用。若使用单靠摄像头计算机视觉则可提供头部姿态与脸部表情，为了获得手部6D姿态，可依靠惯性模块提供手部相对6D姿态，结合前述得到的头部动作与脸部资讯，结合头手姿态融合算法，以低廉的成本提供虚拟主播半身动补所需要的头、上半身以及脸部追踪，从而推动一般使用者采用作为二次元与虚拟主播的内容产生者。
本申请所带来的消费性等级的半身动补设备(台式计算机、笔记本计算机加上轻便的手臂惯性模块)若能授权厂商量产上市，将有助于二次元内容制作与虚拟主播(Vtuber)的平民化、与相关游戏动画文化产业的发展，从而推动一般使用者采用作为二次元与虚拟主播的内容产生者。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的渲染方法的图像的渲染装置。图15是根据本发明实施例的一种可选的图像的渲染装置的示意图，如图15所示，该装置可以包括：采集单元1501、确定单元1503以及渲染单元1505。
采集单元1501，用于通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据。
上述的图像采集器件是与用户终端存在通讯关系的器件，如与用户终端通讯连接(如通过USB连接)的摄像头、集成在用户终端上的摄像头等；惯性传感器包括加速度计(或加速度传感计)和角速度传感器(陀螺)以及它们的单、双、三轴组合IMU(惯性测量单元)，AHRS(包括磁传感器的姿态参考系统)。
上述目标对象为可自主活动的活体对象，如人、动物等，上肢可以为人的手、猿类的上肢等。
确定单元1503，用于利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，其中，现实场景为目标对象实际所在的三维场景。
利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作主要包括以下两个方面：图像采集器件采集目标对象的面部图像数据可通过计算机视觉算法生成头部中心的姿态(如位置矢量和/或旋转姿态)，还可生成脸部特征点的位置矢量；而穿戴在上肢上的惯性模块(或称惯性传感器)则可通过惯性感测融合与卡尔曼滤波算法生成惯性数据对应的旋转姿态，再通过头手融合算法可输出头部及双手端点的空间姿态(即上述目标动作)。
渲染单元1505，用于通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，其中，虚拟场景为图像渲染引擎渲染出的三维场景。
上半身(如头、左右手)的空间姿态搭配预设的人体几何参数，利用反相运动学算法可产生与渲染引擎适配上半身(髋部以上)配置信息(包括骨架资讯)，例如BVH档案(BVH档案可包括骨骼和肢体关节旋转数据，BVH是一种通用的人体特征动画文件格式，可广泛地应用在的各种动画制作引擎中)，并传送给渲染引擎进行图像渲染。
需要说明的是，该实施例中的采集单元1501可以用于执行本申请实施例中的步骤S202，该实施例中的确定单元1503可以用于执行本申请实施例中的步骤S204，该实施例中的渲染单元1505可以用于执行本申请实施例中的步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，在制作动画时，用户可通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，虚拟场景为图像渲染引擎渲染出的三维场景，可以解决相关技术中制作动画的操作较为复杂的技术问题，进而达到降低制作动画的操作复杂度的技术效果。
可选地，渲染单元可包括：第一渲染模块，用于在目标动作包括用于表现目标对象的面部的表面形态发生变化的第一动作的情况下，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的面部执行第一动作的画面；第二渲染模块，用于在目标动作包括由目标对象的上半身的骨骼带动形成的第二动作的情况下，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行第二动作的画面，其中，目标对象的上半身中执行第二动作的骨骼的结构与虚拟对象的上半身中执行第二动作的骨骼的结构相同。
可选地，第一动作可包括面部表情动作，其中，第一渲染模块还可用于：通过图像渲染引擎在虚拟场景中染出虚拟对象的面部执行面部表情动作的画面。
可选地，图像采集器件设置在图像的渲染装置上，惯性传感器与图像的渲染装置通讯连接，其中，该装置还可包括：交互单元，用于在通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面之后，执行以下之一：在目标对象通过用户终端上的直播应用进行直播的情况下，在直播应用上向观看者直播通过图像渲染引擎渲染出的画面；在目标对象通过用户终端上的社交应用进行社交互动的情况下，在社交应用上向与目标对象进行社交互动的用户播放通过图像渲染引擎渲染出的画面；在目标对象通过用户终端上的即时通讯应用进行即时通讯的情况下，在即时通讯应用上向与目标对象进行即时通讯的用户播放通过图像渲染引擎渲染出的画面；在虚拟对象为虚拟人偶的情况下，保存通过图像渲染引擎渲染出的画面。
可选地，确定单元可包括：第一确定模块，用于利用面部图像数据确定用于描述目标对象的面部的特征点的位置变化信息，其中，特征点的位置变化信息用于表示目标对象的面部的表面形态变化；第二确定模块，用于根据位置变化信息确定目标对象的面部的目标动作中的第一动作。
可选地，确定单元还可用于包括：利用面部图像数据确定用于描述目标对象的头部姿态变化的第一矩阵信息，并利用上肢惯性数据确定用于描述目标对象的上肢姿态变化的第二矩阵信息；通过对第一矩阵信息和第二矩阵信息进行融合确定目标对象的上半身的目标动作中的第二动作。
可选地，确定单元在利用面部图像数据确定用于描述目标对象的头部姿态变化的第一矩阵信息时，还可用于：通过对面部图像数据进行图像分析确定目标矩阵
Figure BDA0001874584730000221
和第一向量
Figure BDA0001874584730000222
其中，目标矩阵
Figure BDA0001874584730000223
用于表示目标对象的头部的位置变化矢量，第一向量
Figure BDA0001874584730000224
用于表示目标对象的头部旋转姿态；利用目标矩阵
Figure BDA0001874584730000225
和第一向量
Figure BDA0001874584730000226
确定第一矩阵信息
Figure BDA0001874584730000227
可选地，确定单元在利用上肢惯性数据确定用于描述目标对象的上肢姿态变化的第二矩阵信息，还可用于：利用上肢惯性数据确定用于描述目标对象的右手小臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000228
用于描述目标对象的右手大臂相对于地磁坐标的姿态变化的矩阵
Figure BDA0001874584730000229
用于描述目标对象的左手小臂相对于地磁坐标的姿态变化的矩阵
Figure BDA00018745847300002210
以及用于描述目标对象的左手大臂相对于地磁坐标的姿态变化的矩阵
Figure BDA00018745847300002211
其中，第二矩阵信息包括
Figure BDA00018745847300002212
以及
Figure BDA00018745847300002213
可选地，通过对第一矩阵信息和第二矩阵信息进行融合确定目标对象的上半身的目标动作中的第二动作包括：对第一矩阵信息和第二矩阵信息进行融合后得到用于描述目标对象的右臂姿态变化的矩阵
Figure BDA00018745847300002214
和用于描述目标对象的左臂姿态变化的矩阵
Figure BDA00018745847300002215
Figure BDA00018745847300002216
Figure BDA0001874584730000231
其中，第二动作通过
Figure BDA0001874584730000232
和
Figure BDA0001874584730000233
表示，
Figure BDA0001874584730000234
为目标对象的头部与图像采集器件之间的姿态转换矩阵，
Figure BDA0001874584730000235
为目标对象的肩膀中心与目标对象的头部之间的姿态转换矩阵，
Figure BDA0001874584730000236
为目标对象的右肩膀与目标对象的头部之间的姿态转换矩阵，
Figure BDA0001874584730000237
为目标对象的右大臂与目标对象的右肩膀之间的姿态转换矩阵，
Figure BDA0001874584730000238
为目标对象的右小臂与目标对象的右大臂之间的姿态转换矩阵，
Figure BDA0001874584730000239
为目标对象的左肩膀与目标对象的头部之间的姿态转换矩阵，
Figure BDA00018745847300002310
为目标对象的左大臂与目标对象的左肩膀之间的姿态转换矩阵，
Figure BDA00018745847300002311
为目标对象的左小臂与目标对象的左大臂之间的姿态转换矩阵。
针对使用者以坐姿为主的半身动补应用场景所需要的头、手姿态和脸部表情，目前的工业级解决方案因为价格因素并不适合一般消费者使用。若使用单靠摄像头计算机视觉则可提供头部姿态与脸部表情，为了获得手部6D姿态，可依靠惯性模块提供手部相对6D姿态，结合前述得到的头部动作与脸部资讯，结合头手姿态融合算法，以低廉的成本提供虚拟主播半身动补所需要的头、上半身以及脸部追踪，从而推动一般使用者采用作为二次元与虚拟主播的内容产生者。
本申请所带来的消费性等级的半身动补设备(台式计算机、笔记本计算机加上轻便的手臂惯性模块)若能授权厂商量产上市，将有助于二次元内容制作与虚拟主播(Vtuber)的平民化、与相关游戏动画文化产业的发展，从而推动一般使用者采用作为二次元与虚拟主播的内容产生者。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的渲染方法的服务器或终端。
图16是根据本发明实施例的一种终端的结构框图，如图16所示，该终端可以包括：一个或多个(图中仅示出一个)处理器1601、存储器1603、以及传输装置1605，如图16所示，该终端还可以包括输入输出设备1607。
其中，存储器1603可用于存储软件程序以及模块，如本发明实施例中的图像的渲染方法和装置对应的程序指令/模块，处理器1601通过运行存储在存储器1603内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像的渲染方法。存储器1603可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1603可进一步包括相对于处理器1601远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1605用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1605包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1605为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器1603用于存储应用程序。
处理器1601可以通过传输装置1605调用存储器1603存储的应用程序，以执行下述步骤：
通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；
利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，其中，现实场景为目标对象实际所在的三维场景；
通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，其中，虚拟场景为图像渲染引擎渲染出的三维场景。
处理器1601还用于执行下述步骤：
在目标对象通过用户终端上的直播应用进行直播的情况下，在直播应用上向观看者直播通过图像渲染引擎渲染出的画面；
在目标对象通过用户终端上的社交应用进行社交互动的情况下，在社交应用上向与目标对象进行社交互动的用户播放通过图像渲染引擎渲染出的画面；
在目标对象通过用户终端上的即时通讯应用进行即时通讯的情况下，在即时通讯应用上向与目标对象进行即时通讯的用户播放通过图像渲染引擎渲染出的画面；
在虚拟对象为虚拟人偶的情况下，保存通过图像渲染引擎渲染出的画面。
采用本发明实施例，在制作动画时，用户可通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，虚拟场景为图像渲染引擎渲染出的三维场景，可以解决相关技术中制作动画的操作较为复杂的技术问题，进而达到降低制作动画的操作复杂度的技术效果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图16所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如，终端还可包括比图16中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图16所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行图像的渲染方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集目标对象的上肢惯性数据；
利用面部图像数据和上肢惯性数据确定目标对象的上半身在现实场景中的目标动作，其中，现实场景为目标对象实际所在的三维场景；
通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行目标动作的画面，其中，虚拟场景为图像渲染引擎渲染出的三维场景。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
在目标对象通过用户终端上的直播应用进行直播的情况下，在直播应用上向观看者直播通过图像渲染引擎渲染出的画面；
在目标对象通过用户终端上的社交应用进行社交互动的情况下，在社交应用上向与目标对象进行社交互动的用户播放通过图像渲染引擎渲染出的画面；
在目标对象通过用户终端上的即时通讯应用进行即时通讯的情况下，在即时通讯应用上向与目标对象进行即时通讯的用户播放通过图像渲染引擎渲染出的画面；
在虚拟对象为虚拟人偶的情况下，保存通过图像渲染引擎渲染出的画面。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图像的渲染方法，其特征在于，包括：
通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集所述目标对象的上肢惯性数据，其中，所述面部图像数据包括用于描述所述目标对象的面部的特征点的位置变化信息以及用于描述所述目标对象的头部姿态变化的第一矩阵信息，所述上肢惯性数据包括用于描述所述目标对象的上肢姿态变化的第二矩阵信息；
利用所述位置变化信息、所述第一矩阵信息以及所述第二矩阵信息，确定所述目标对象的上半身在现实场景中的目标动作，其中，所述现实场景为所述目标对象实际所在的三维场景，所述目标动作包括第一动作和第二动作，所述第一动作用于指示所述目标对象的面部的表面形态所发生的变化，所述第二动作用于指示所述目标对象的上半身的骨骼带动所发生的变化；
通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行所述第一动作和所述第二动作的画面，其中，所述虚拟场景为所述图像渲染引擎渲染出的三维场景。
2.根据权利要求1所述的方法，其特征在于，通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行所述第一动作和所述第二动作的画面包括：
通过所述图像渲染引擎在所述虚拟场景中渲染出所述虚拟对象的面部执行所述第一动作的画面；
通过所述图像渲染引擎在所述虚拟场景中渲染出所述虚拟对象的上半身执行所述第二动作的画面，其中，所述目标对象的上半身中执行所述第二动作的骨骼的结构与所述虚拟对象的上半身中执行所述第二动作的骨骼的结构相同。
3.根据权利要求2所述的方法，其特征在于，所述第一动作包括面部表情动作，其中，通过所述图像渲染引擎在所述虚拟场景中渲染出所述虚拟对象的面部执行所述第一动作的画面包括：
通过所述图像渲染引擎在所述虚拟场景中染出所述虚拟对象的面部执行所述面部表情动作的画面。
4.根据权利要求1所述的方法，其特征在于，所述图像采集器件设置在用户终端上，所述惯性传感器与所述用户终端通讯连接，其中，在通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行所述第一动作和所述第二动作的画面之后，所述方法还包括以下之一：
在所述目标对象通过用户终端上的直播应用进行直播的情况下，在所述直播应用上向观看者直播通过所述图像渲染引擎渲染出的画面；
在所述目标对象通过所述用户终端上的社交应用进行社交互动的情况下，在所述社交应用上向与所述目标对象进行社交互动的用户播放通过所述图像渲染引擎渲染出的画面；
在所述目标对象通过所述用户终端上的即时通讯应用进行即时通讯的情况下，在所述即时通讯应用上向与所述目标对象进行即时通讯的用户播放通过所述图像渲染引擎渲染出的画面；
在所述虚拟对象为虚拟人偶的情况下，保存通过所述图像渲染引擎渲染出的画面。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，利用所述位置变化信息确定所述目标对象的上半身在现实场景中的目标动作包括：
利用所述面部图像数据确定所述位置变化信息，其中，所述位置变化信息用于表示所述目标对象的面部的表面形态变化；
根据所述位置变化信息确定所述目标对象的面部的所述目标动作中的第一动作。
6.根据权利要求1至4中任意一项所述的方法，其特征在于，利用所述第一矩阵信息以及所述第二矩阵信息确定所述目标对象的上半身在现实场景中的目标动作包括：
利用所述面部图像数据确定所述第一矩阵信息，并利用所述上肢惯性数据确定所述第二矩阵信息；
通过对所述第一矩阵信息和所述第二矩阵信息进行融合确定所述目标对象的上半身的所述目标动作中的第二动作。
7.根据权利要求6所述的方法，其特征在于，利用所述面部图像数据确定所述第一矩阵信息包括：
通过对所述面部图像数据进行图像分析确定目标矩阵
Figure FDA0004051653340000031
和第一向量
Figure FDA0004051653340000032
其中，所述目标矩阵
Figure FDA0004051653340000033
用于表示所述目标对象的头部的位置变化矢量，所述第一向量
Figure FDA0004051653340000034
用于表示所述目标对象的头部旋转姿态；
利用所述目标矩阵
Figure FDA0004051653340000035
和所述第一向量
Figure FDA0004051653340000036
确定所述第一矩阵信息
Figure FDA0004051653340000037
8.根据权利要求6所述的方法，其特征在于，利用所述上肢惯性数据确定所述第二矩阵信息包括：
利用所述上肢惯性数据确定用于描述所述目标对象的右手小臂相对于地磁坐标的姿态变化的矩阵
Figure FDA0004051653340000038
用于描述所述目标对象的右手大臂相对于地磁坐标的姿态变化的矩阵
Figure FDA0004051653340000039
用于描述所述目标对象的左手小臂相对于地磁坐标的姿态变化的矩阵
Figure FDA00040516533400000310
以及用于描述所述目标对象的左手大臂相对于地磁坐标的姿态变化的矩阵
Figure FDA00040516533400000311
其中，所述第二矩阵信息包括
Figure FDA00040516533400000312
以及
Figure FDA00040516533400000313
9.根据权利要求6所述的方法，其特征在于，通过对所述第一矩阵信息和所述第二矩阵信息进行融合确定所述目标对象的上半身的所述目标动作中的第二动作包括：
对所述第一矩阵信息和所述第二矩阵信息进行融合后得到用于描述所述目标对象的右臂姿态变化的矩阵
Figure FDA0004051653340000041
和用于描述所述目标对象的左臂姿态变化的矩阵
Figure FDA0004051653340000042
其中，所述第二动作通过
Figure FDA0004051653340000043
和
Figure FDA0004051653340000044
表示，
Figure FDA0004051653340000045
为所述目标对象的头部与所述图像采集器件之间的姿态转换矩阵，
Figure FDA0004051653340000046
为所述目标对象的肩膀中心与所述目标对象的头部之间的姿态转换矩阵，
Figure FDA0004051653340000047
为所述目标对象的右肩膀与所述目标对象的头部之间的姿态转换矩阵，
Figure FDA0004051653340000048
为所述目标对象的右手大臂与所述目标对象的右肩膀之间的姿态转换矩阵，
Figure FDA0004051653340000049
为所述目标对象的右手小臂与所述目标对象的右手大臂之间的姿态转换矩阵，
Figure FDA00040516533400000410
为所述目标对象的左肩膀与所述目标对象的头部之间的姿态转换矩阵，
Figure FDA00040516533400000411
为所述目标对象的左手大臂与所述目标对象的左肩膀之间的姿态转换矩阵，
Figure FDA00040516533400000412
为所述目标对象的左手小臂与所述目标对象的左手大臂之间的姿态转换矩阵。
10.一种图像的渲染装置，其特征在于，包括：
采集单元，用于通过图像采集器件采集目标对象的面部图像数据，并通过惯性传感器采集所述目标对象的上肢惯性数据，其中，所述面部图像数据包括用于描述所述目标对象的面部的特征点的位置变化信息以及用于描述所述目标对象的头部姿态变化的第一矩阵信息，所述上肢惯性数据包括用于描述所述目标对象的上肢姿态变化的第二矩阵信息；
确定单元，用于利用所述位置变化信息、所述第一矩阵信息以及所述第二矩阵信息确定所述目标对象的上半身在现实场景中的目标动作，其中，所述现实场景为所述目标对象实际所在的三维场景，所述目标动作包括第一动作和第二动作，所述第一动作用于指示所述目标对象的面部的表面形态所发生的变化，所述第二动作用于指示所述目标对象的上半身的骨骼带动所发生的变化；
渲染单元，用于通过图像渲染引擎在虚拟场景中渲染出虚拟对象的上半身执行所述第一动作和所述第二动作的画面，其中，所述虚拟场景为所述图像渲染引擎渲染出的三维场景。
11.根据权利要求10所述的装置，其特征在于，所述渲染单元包括：
第一渲染模块，用于通过所述图像渲染引擎在所述虚拟场景中渲染出所述虚拟对象的面部执行所述第一动作的画面；
第二渲染模块，用于通过所述图像渲染引擎在所述虚拟场景中渲染出所述虚拟对象的上半身执行所述第二动作的画面，其中，所述目标对象的上半身中执行所述第二动作的骨骼的结构与所述虚拟对象的上半身中执行所述第二动作的骨骼的结构相同。
12.根据权利要求10所述的装置，其特征在于，所述确定单元包括：
第一确定模块，用于利用所述面部图像数据确定所述位置变化信息，其中，所述位置变化信息用于表示所述目标对象的面部的表面形态变化；
第二确定模块，用于根据所述位置变化信息确定所述目标对象的面部的所述目标动作中的第一动作。
13.根据权利要求10所述的装置，其特征在于，所述确定单元包括：
第三确定模块，用于利用所述面部图像数据确定所述第一矩阵信息，并利用所述上肢惯性数据确定所述第二矩阵信息；
第四确定模块，用于通过对所述第一矩阵信息和所述第二矩阵信息进行融合确定所述目标对象的上半身的所述目标动作中的第二动作。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，
所述程序运行时执行上述权利要求1至9任一项中所述的方法。
15.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至9任一项中所述的方法。
CN201811393435.1A 2018-11-21 2018-11-21 图像的渲染方法和装置、存储介质、电子装置 Active CN109671141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811393435.1A CN109671141B (zh) 2018-11-21 2018-11-21 图像的渲染方法和装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811393435.1A CN109671141B (zh) 2018-11-21 2018-11-21 图像的渲染方法和装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN109671141A CN109671141A (zh) 2019-04-23
CN109671141B true CN109671141B (zh) 2023-04-18

Family

ID=66142133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811393435.1A Active CN109671141B (zh) 2018-11-21 2018-11-21 图像的渲染方法和装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN109671141B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110568923A (zh) * 2019-07-09 2019-12-13 深圳市瑞立视多媒体科技有限公司 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质
CN111105494B (zh) * 2019-12-31 2023-10-24 长城汽车股份有限公司 一种三维动态头像的生成方法及系统
CN111383313B (zh) * 2020-03-31 2023-05-12 歌尔股份有限公司 一种虚拟模型渲染方法、装置、设备及可读存储介质
CN111539300A (zh) * 2020-04-20 2020-08-14 上海曼恒数字技术股份有限公司 一种基于ik算法的人体运动捕捉方法、装置、介质及设备
CN111773688B (zh) * 2020-06-30 2021-11-16 完美世界(北京)软件科技发展有限公司 柔性对象的渲染方法和装置、存储介质、电子装置
CN111930231B (zh) * 2020-07-27 2022-02-25 歌尔光学科技有限公司 交互控制方法、终端设备及存储介质
CN113393561A (zh) * 2021-05-26 2021-09-14 完美世界(北京)软件科技发展有限公司 虚拟角色的肢体动作表情包生成方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915161B2 (en) * 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US10352962B2 (en) * 2016-12-29 2019-07-16 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis and feedback
WO2018187748A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
CN108176048B (zh) * 2017-11-30 2021-02-19 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质、电子装置
CN108564643B (zh) * 2018-03-16 2021-01-12 中国科学院自动化研究所 基于ue引擎的表演捕捉系统
CN108648257B (zh) * 2018-04-09 2020-12-29 腾讯科技（深圳）有限公司 全景画面的获取方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN109671141A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US20130101164A1 (en) Method of real-time cropping of a real entity recorded in a video sequence
CN106062821A (zh) 用于不受限制的slam的基于传感器的相机运动检测
US11836862B2 (en) External mesh with vertex attributes
US11663792B2 (en) Body fitted accessory with physics simulation
CN104881526B (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
CN113313818B (zh) 一种三维重建方法、装置及系统
WO2023109753A1 (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN113298858A (zh) 一种虚拟形象的动作生成方法、装置、终端以及存储介质
CN105739703A (zh) 面向无线头戴显示设备的虚拟现实体感交互系统及方法
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
US11662580B2 (en) Image display method, apparatus, and system to reduce display latency
JP2016105279A (ja) 視覚データを処理するための装置および方法、ならびに関連するコンピュータプログラム製品
KR20180098507A (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
WO2023226454A1 (zh) 商品信息处理方法、装置、终端设备及存储介质
CN114049468A (zh) 一种展示方法、装置、设备及存储介质
WO2017061890A1 (en) Wireless full body motion control sensor
CN104899917A (zh) 一种基于3d的物品虚拟穿戴的图片保存和分享方法
Schönauer et al. Wide area motion tracking using consumer hardware
Stricker et al. From interactive to adaptive augmented reality
CN109685911B (zh) 一种可实现虚拟试衣的ar眼镜及其实现方法
CN110349269A (zh) 一种目标穿戴物试戴方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant