CN108898061A - 一种用于实现ar的方法及系统 - Google Patents

Abstract

本发明公开了一种用于实现AR的方法及系统，该用于实现AR的方法，包括：从图像中获取人物图像的轮廓和轮廓包围的部分，轮廓与轮廓包围的部分对应，其中，人物图像四肢伸展；从轮廓包围的部分中提取人物图像的骨骼和关节，并将轮廓绑定到骨骼及关节上；将人物运动序列分别绑定到对应的关节上；根据人物运动序列驱动与人物运动序列对应的关节。

Description

一种用于实现AR的方法及系统

技术领域

本发明涉及AR技术领域，具体涉及一种用于实现增强现实(augmented reality，AR)的方法及系统。

背景技术

首先，艺术创造力培养会受到传统艺术门类不同形象塑造方法的制约。艺术形象是“艺术家根据社会生活加以艺术概括所创造出来的蕴含情感的、具有审美价值的生动图画。”但是此“图画”不是造型艺术中的“图画”，而是一种艺术形象“符号”，每一艺术门类的艺术形象“符号”千差万别，绘画、雕塑、戏曲、电影等即为直观的艺术形象，文学、音乐等即为非直观的艺术形象。每一艺术门类形象塑造方法非常不同。受此制约，传统艺术创造力培养很难逾越门类鸿沟，大多以单独门类进行培养，很难形成打破门类壁垒、具有普适意义的艺术创造力培养方法。

其次，艺术创造力培养会受艺术创作技巧、个人生理特点等多方面因素制约。以绘画创作而言，要经过多年的训练才能掌握造型的规律、熟悉颜料的调和、控制笔触的变换。漫长的学习过程有时不仅不能增强艺术创造力，甚至会磨灭艺术创造力。又如舞蹈艺术，是以人体的躯干和四肢作为创作工具，塑造艺术形象的舞蹈动作必须通过长期反复练习，才能构成具有节奏感的姿态和造型。此外对舞者的准入也有一定要求，比如身体的柔韧程度、年龄等，都可能成为不能参与此艺术门类创造的限制条件。由此可鉴，创作技巧、个人生理特点都有可能成为传统艺术门类创造力培养的制约因素。

再次，艺术创造力培养中无限艺术创造思想受到有限创作形式制约。早期，受技术手段制约，艺术作品多为静态。敦煌莫高窟“鹿王本生”壁画，尽管画师精心营造，分段描绘，情节严密生动，但观者永远只有一个静态的平面视角去解读故事。随着技术的发展，电影艺术通过表演、镜头、配乐等方式，使艺术家的艺术创造得到更大发挥，思想传递更为高效。但是电影艺术在艺术创造力展现上也有自身的局限，如作品的不可逆性、观众的被动接受性等。艺术创作形式会影响艺术的展现效果、传播方式甚至艺术的外延，因此选用对艺术创造思想展现更为自由的艺术创作形式，对艺术创造力培养十分关键。

发明内容

本发明的目的在于提供一种用于实现AR的方法及系统，用以解决现有技术中存在的问题。

为实现上述目的，本发明的技术方案为一种用于实现AR的方法，该用于实现AR的方法，包括：从图像中获取人物图像的轮廓和轮廓包围的部分，其中，人物图像四肢伸展；从轮廓包围的部分中提取人物图像的骨骼和关节，并将轮廓绑定到骨骼及关节上；将人物运动序列分别绑定到对应的关节上；根据人物运动序列驱动与人物运动序列对应的关节。

可选的，从图像中获取人物图像的轮廓和轮廓包围的部分，包括：采用梯度算子滤除人物图像中的第一频段部分，并保留边缘候选的第二频段部分；根据边缘候选第一阈值和边缘候选第二阈值，标记边缘候选的第二频段部分中的像素点；采用稀释和腐蚀迭代来平滑边缘候选的第二频段部分固化人物图形的轮廓包围的部分。

可选的，该用于实现AR的方法，还包括：通过轮廓包围的部分的面积降序排列轮廓，选择面积最大的轮廓包围的部分。

可选的，该用于实现AR的方法，还包括：根据轮廓包围的部分的面积与轮廓长度的比率过滤轮廓，其中，轮廓包围的部分的面积与轮廓长度的比率大于0.1*长度/(4*π)。

可选的，从轮廓包围的部分中提取人物图像的骨骼和关节，并将轮廓绑定到骨骼及关节上，包括：计算图像的泰森多边形Voronoi图，并将处于轮廓包围的部分中的骨骼边和骨骼连接点作为候选骨骼；采用定位四肢以及躯干的末端然后计算内部关节位置的方法，提取图像中的关节；计算轮廓上的每一像素点与候选骨骼的测地距离，将轮廓上的每一像素点绑定到最小测地距离的骨骼和关节上面。

可选的，该用于实现AR的方法，还包括：删除候选骨骼中测地距离小于第一阈值的骨骼部分。

可选的，将人物运动序列分别绑定到对应的关节上，包括：根据差值算法生成中间运动序列；将预设关节运动的起点、预设关节运动的终点和中间运动序列分别绑定到对应的关节上。

可选的，该用于实现AR的方法，还包括：合并中间动作序列。

可选的，该用于实现AR的方法，包括：将人物图像中的人物嵌入场景中，人物图像中的人物根据场景进行运动。

为实现上述目的，本发明的技术方案为一种用于实现AR的系统，该用于实现AR的系统，包括：获取模块、提取模块、第一绑定模块、第二绑定模块和驱动模块；其中，获取模块，用于从图像中获取人物图像的轮廓和轮廓包围的部分，其中，人物图像四肢伸展；提取模块，用于分别从轮廓包围的部分中提取人物图像的骨骼和关节；第一绑定模块，用于并将轮廓绑定到骨骼及关节上；第二绑定模块，用于将人物运动序列分别绑定到对应的关节上；驱动模块，用于根据人物运动序列驱动与人物运动序列对应的关节。

本发明具有如下优点：

可以将图像中的人物图像的轮廓、骨骼和关节自动提取出来并将人物骨骼与人物轮廓及其内部进行自动绑定，进而实现对图像中的人物图像的提取，然后根据将运动序列与提取出的人物图像进行绑定，最后由运动序列驱动人物图像，实现动画的效果。

附图说明

图1为本发明实施例提供的应用场景。

图2为本发明实施例提供了一种用于实现AR的方法的流程图。

图3(a)-图3(b)为阈值处理的示意图。

图4为虚拟动作生成示意图。

图5为本发明实施例提供了一种用于实现AR的系统的结构示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

图1为本发明实施例提供的应用场景图。如图1所示，终端上设置有一个用于实现AR的应用程序(application，APP)。具体的工作过程如下：第一步，在纯净背景，例如白纸背景上创建一个人物形象，然后通过APP捕捉该人物形象的完整轮廓；第二步，APP自动提取人物形象的骨骼并将人物轮廓绑定到该骨骼上；第三步，编辑人物的运动序列或者修改已有的骨骼运动文件，APP将自动完成人物运动序列与捕捉人物形象的绑定。第四步，使用设备上的后置摄像头，制作的具有运动序列的人物虚拟形象混合到真实的背景中，虚拟动画人物即可在真实的世界中表演设计的剧情。整个虚实结合的场景可以被记录并生成可展播的情景动画剧。

图2为本发明实施例提供了一种用于实现AR的方法的流程图。如图2，该用于实现AR的方法包括：

步骤S201：从图像中获取人物图像的轮廓和轮廓包围的部分，轮廓与轮廓包围的部分对应，其中，人物图像四肢伸展。

在步骤S201之前，可以先在图像中绘制一个人物图像，该图像可以是从智能手机或平板设备获取的一个背景纯净的彩色图像。这样绘制的前景图形的轮廓就可以被快速的分割出来。

本发明实施例为了获得良好的识别效果，可以绘制在背景上绘制一个较为伸展的四肢的人物。在绘制完人物图像之后，计算整个人物图形的轮廓。

在绘制完人物图像之后，步骤S102，具体包括：

第一步，采用梯度算子滤除人物图像中的低频部分(第一频段部分)，并保留用作边缘候选的高频部分(第二频段部分)。

第一步是考虑到人物图像中存在噪声，噪声包括图像背景的高斯白噪声、绘画过程中人为笔画抖动产生的不连续或者非人物笔触噪声、不同光源照射和不同摄像头采集可能产生的随机噪点以及镜头污染产生的噪声点。

在图3中，图3(a)是原始图像，右边是滤掉图像低频部分保留高频部分的结果，右图白色的线条是高频部分作为边缘候选。

第二步，对候选边缘进行阈值处理。

有两个阈值边界候选上限阈值和边界候选下限阈值。如图3(b)所示白色代表通过梯度算子后结果高于边界候选上线阈值的像素点，黑色代表低于边界候选下线阈值的像素点，处于二者之间的像素如果跟白色点相邻则记为白色点)，并使用稀释和腐蚀迭代来平滑边缘部分并固化图形的轮廓包围的部分。

在现有技术中在对候选边缘进行阈值处理的过程中，人物图像中噪点最多的部分将被自动删除。而本发明实施例提供的用于实现AR的方法则会在人物图像中找到足够长，例如长度排名前十的轮廓，并通过轮廓包围的部分面积降序排列轮廓，选择面积最大的轮廓包围的部分，因为可能有噪声导致的独立的错误轮廓，只选择面积最大对应的轮廓包围的部分。这种两阶段轮廓滤波策略可以滤除大型简单形状并保持复杂的轮廓。

只需要说明的是，步骤S101可以获取一个人物图像，也可以多个人物图像，由于获取一个人物和获取多个人物图像的方法相同，故在本发明实施例中以获取一个人物图像为一个示例进行说明。

虽然最大的轮廓通常代表整个图形，但在非常罕见的情况下，当图形边界的行程太厚且断开时，图形的内部会被排除在外。为了消除空心轮廓的错误，本文系统最终将轮廓包围的部分的面积与轮廓长度的比率应用于阈值过滤，该阈值为轮廓包围的部分的面积与轮廓长度的比大于0.1*长度/(4*π)，即过滤掉这个比率过小的轮廓。其中，轮廓长度用于定义轮廓的长度，单位为像素。

需要说明的是，伸展的四肢，是指四肢没有完全舒展开，没有蜷在一起。

步骤S202：从轮廓包围的部分中提取人物图像的骨骼和关节，并将轮廓绑定到骨骼及关节上。

轮廓一旦变化，由于轮廓包围部分由轮廓的三角剖分唯一确定，所以轮廓包围的部分也随着变化，在绑定了轮廓之后，轮廓包围的部分也被绑定上了。

第一步，计算图像的泰森多边形Voronoi图，并将处于轮廓包围的部分中的Voronoi图中的边作为候选骨骼，进而从图像中提取人物图像的骨骼。

当人物身体运动时，所画人物的骨骼在驱动整个虚拟人物中扮演着关键角色。在形状分析中，一个具体形状的骨骼(或拓扑骨骼)是与其边界等距的一个流型。骨骼通常具有形状的几何和拓扑的很多性质，如连通性，拓扑结构，长度，方向和宽度。连同它的点到形状边界的距离，骨骼也可以用作形状的基本表示，它们包含重建形状所需的基本信息。

本发明实施例中骨骼提取，包括：计算图形的Voronoi图(泰森多边形)，因为它具有到拓扑形状边界等距的特性。然而并非所有的Voronoi图中的边都属于虚拟人物的骨骼，故只保留处于轮廓包围的部分中的边作为候选骨骼。同时考虑到人物骨骼具有树形结构的特殊性，可对生成的候选骨骼进行如下过滤操作：删除候选骨骼中测地距离小于第一阈值的骨骼部分，也就是在骨骼树状结构中删除比父连接点距离轮廓近的叶节点。其中，第一阈值指采集到的图像高度的百分之一(以像素为单位)，比如采集到的图像是1920x1080像素则此处过于接近的意思是小于1080*0.01＝11个像素。

第二步，采用定位四肢以及躯干的末端然后计算内部关节位置的方法，提取图像中的关节，进而从图像中提取关节。

本发明实施例采用先定位四肢以及躯干的末端然后计算内部关节位置的方法从图像中提取关节。

由于本发明实施例中限定动画虚拟人物在绘画时四肢是张开的，所以四肢以及躯干末端必然会出现在整个人物的支撑凸多边形的顶点之上。当所绘人物图像是头部向上时，在整个画面的最上方头部可以最先被确定出来，然后按照人物的支撑凸多边形顺时针依次确定左手和左脚，逆时针顺序确定右手和右脚。在得到四肢以及躯干的端点之后内部的关节点如胸部以及髋部的节点，可以通过求联通骨骼交点的方式得到。如髋部节点是左脚到头部与左脚到右脚这两条连通骨骼的交点。胸部节点是左手到头部与左手到右手的联通关节的交点。其他内部关节点，可以四肢比例以及骨骼的转弯角度来确定。如肘部如果有明显的骨骼转角则由则由曲率最大的点来定义肘部节点，如果手臂比较平直则按照腕部到肩部关于肘部对称的原则来确定肘部节点。同理可以计算出髋关节节点、膝部节点以及脚踝节点。当人物头像朝下时，也是头最先被确定出来，然后按照人物的支撑凸多边形顺时针依次确定左手和左脚，逆时针顺序确定右手和右脚。

第三步，计算轮廓上的每一像素点与候选骨骼的测地距离，将轮廓上的每一像素点绑定到最小测地距离的骨骼关节上面。

具体地，计算轮廓上的每一像素点与候选骨骼的测地距离，是将每一像素点与候选骨骼中的每一骨骼的测地距离进行计算，例如位于头部轮廓的像素点与脸部骨骼以及腿部骨骼的测地距离是不一样的，相较于与腿部的测地距离，则会选择脸部骨骼，并将该头部轮廓的像素点绑定到脸部骨骼上。

本发明实施例中皮肤(即人物轮廓及其包围的区域)与骨骼的自动绑定，是绘制人物过程当中最重要的一环。本发明实施例通过计算轮廓上的每一个像素点到达骨骼的测地距离(即沿着Voronoi图的边计算距离)，然后将皮肤上的像素点绑定到最近测地距离的骨骼关节上面，而并非绑定到二维平面欧式空间上距离最近的骨骼以及关节节点。使用测地距离而非二维平面欧式距离的优势是，在邻近关节节点的部位，利用二维平面欧式距离会产生比较大的畸变，例如，在手掌稍稍弯曲的状态下，邻近肘关节的小臂部分的皮肤，如果使用欧氏距离度量会被绑定到大臂肱骨之上，但采用轮廓与骨骼的测地距离就不会产生这个问题。本发明实施例所提出的骨骼自动绑定方法非常正确的得到了轮廓与相应骨骼的一对一绑定结构。

本发明实施例中轮廓包括多个像素点，该轮廓也可以称为轮廓皮肤，该轮廓皮肤为二维的人形轮廓，皮肤的像素点就是这个轮廓上的像素点。

需要说明的是，骨骼提取和关节提取可以同时进行，也可以分开进行，在此不再详细描述。

步骤S203：将人物运动序列分别绑定到对应的关节上。

具体地，以挥手为例，也就是将手对应的运动序列与手部分的关节绑定到一起，在手部的关节被驱动之后，手部的关节带动手部的骨骼运动，进而完成挥手的动作。

本发明实施例基于Qavimatory移植而来的动作生成器。这个动作生成器支持虚拟人物所有关节在内的运动编辑。整个动作编辑器使用简单，可预先设定关节运动的起点和终点确定，中间的运动序列会由生成器自动的根据差值算法生成。在动作生成制作过程当中，可以实时回看，已经制作的动作以及各个段落性的动作，同时这套生成器可以把不同时间制作的动作段落拼接起来。动作段落拼接就是把两个动作序列连起来，例如第一个动作序列是抬腿，第二个动作序列是挥手，则可以把两个动作连成连贯的先后动作，当然也可以在不冲突的情况下合成成一个动作序列。

本发明实施例中的动作生成器同时支持动作序列的优化，即当两个动作序列中间的连接点过于密集是，可以将两个动作序列进行合并，并且减少中间的动作连接点使整体动作看起来更加平顺。

步骤S204：根据人物运动序列驱动与所述人物运动序列对应的关节。对应的运动序列驱动对应的关节。

由动作编辑器生成的动作样例如图3所示。在虚拟人物动作制作好后将其导出为BVH格式，下一步就可以用于驱动之前自动识别得到的虚拟人物了。本发明实施例提供的用于实现AR的方法可将现实世界所绘画的人物转移到了虚拟空间并平顺的驱动虚拟人物进行运动。

在步骤S204之后，本发明实施例提供的用于实现AR的方法，还包括：在设计完虚拟人物的动作流程并于虚拟人物绑定之后，通过平板设备或手机的背面摄像头将配有动作的虚拟人物平滑的嵌入现实场景中。例如，将虚拟人物与红军长征的故事的三维打印背景相结合，生动的展示了长征中红军突破千难万险最终抵达目的地延安的全过程。在整个虚拟人物创建过程中，既提升自身的艺术创造力，同时也接受到了爱国主义与中国传统文化的教育和熏陶。

实施例2

图5为本发明实施例提供了一种用于实现AR的系统的结构示意图。如图5所示，该用于实现AR的系统包括：获取模块51、提取模块52、第一绑定模块53、第二绑定模块54和驱动模块55。

获取模块51，用于从图像中获取人物图像的轮廓和轮廓包围的部分，轮廓与轮廓包围的部分对应，其中，人物图像四肢伸展；提取模块52，用于分别从轮廓包围的部分中提取人物图像的骨骼和关节；第一绑定模块53，用于并将轮廓绑定到骨骼及关节上；第二绑定模块54，用于将人物运动序列分别绑定到对应的关节上；驱动模块55，用于根据人物运动序列驱动与人物运动序列对应的关节。

可选的，获取模块51，具体用于：采用梯度算子滤除人物图像中的第一频段部分，并保留边缘候选的第二频段部分；根据边缘候选第一阈值和边缘候选第二阈值，标记边缘候选的第二频段部分中的像素点；采用稀释和腐蚀迭代来平滑边缘候选的第二频段部分固化人物图形的轮廓包围的部分。

可选的，获取模块51，还用于：通过轮廓包围的部分的面积降序排列轮廓，选择面积最大的轮廓包围的部分。

可选的，获取模块51，还用于：根根据轮廓包围的部分的面积与轮廓长度的比率过滤轮廓，其中，轮廓包围的部分的面积与轮廓长度的比率大于0.1*长度/(4*π)。

需要说明的是，获取模块51从图像中获取人物图像的轮廓的具体描述可以参照步骤S201中的描述，在此不再赘述。

提取模块52，具体用于：计算图像的泰森多边形Voronoi图，并将处于轮廓包围的部分中的骨骼边和骨骼连接点作为候选骨骼；采用定位四肢以及躯干的末端然后计算内部关节位置的方法，提取图像中的关节；计算轮廓上的每一像素点与候选骨骼的测地距离，将轮廓上的每一像素点绑定到最小测地距离的骨骼和关节上面。

提取模块52，还用于：删除候选骨骼中测地距离小于第一阈值的骨骼部分。

需要说明的是，提取模块52从图像中获取人物图像的轮廓的具体描述可以参照步骤S202中的描述，在此不再赘述。

第二绑定模块54，具体用于：根据差值算法生成中间运动序列；将预设关节运动的起点、预设关节运动的终点和中间运动序列分别绑定到对应的关节上。

第二绑定模块54，还用于：合并中间动作序列。

需要说明的是，第二绑定模块54从图像中获取人物图像的轮廓的具体描述可以参照步骤S203中的描述，在此不再赘述。

可选的，用于实现AR的系统，还包括：嵌入模块55；该嵌入模块55，用于：将人物图像中的人物嵌入场景中，人物图像中的人物根据场景进行运动。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种用于实现AR的方法，其特征在于，所述方法，包括：

从图像中获取人物图像的轮廓和轮廓包围的部分，所述轮廓包围的部分与所述轮廓对应，其中，所述人物图像四肢伸展；

从所述轮廓包围的部分中提取人物图像的骨骼和关节，并将轮廓绑定到所述骨骼及关节上；

将人物运动序列分别绑定到对应的关节上；

根据所述人物运动序列驱动与所述人物运动序列对应的关节。

2.根据权利要求1所述的方法，其特征在于，所述从图像中获取人物图像的轮廓，包括：

采用梯度算子滤除人物图像中的第一频段部分，并保留边缘候选的第二频段部分；

根据边缘候选第一阈值和边缘候选第二阈值，标记边缘候选的第二频段部分中的像素点；

采用稀释和腐蚀迭代来平滑边缘候选的第二频段部分固化人物图形的轮廓包围的部分。

3.根据权利要求2所述的方法，其特征在于，所述方法，还包括：

通过轮廓包围的部分的面积降序排列轮廓，选择面积最大的轮廓包围的部分。

4.根据权利要求2或3所述的方法，其特征在于，所述方法，还包括：

根据轮廓包围的部分的面积与轮廓长度的比率过滤轮廓，其中，轮廓包围的部分的面积与轮廓长度的比率大于0.1*长度/(4*π)。

5.根据权利要求1所述的方法，其特征在于，所述从所述轮廓包围的部分中提取人物图像的骨骼和关节，并将轮廓绑定到所述骨骼及关节上，包括：

计算图像的泰森多边形Voronoi图，并将处于轮廓包围的部分中的骨骼边和骨骼连接点作为候选骨骼；

采用定位四肢以及躯干的末端然后计算内部关节位置的方法，提取图像中的关节；

计算轮廓上的每一像素点与候选骨骼的测地距离，并将轮廓上的每一像素点绑定到最小测地距离的骨骼和关节上面。

6.根据权利要求5所述的方法，其特征在于，所述方法，还包括：

删除候选骨骼中测地距离小于第一阈值的骨骼部分。

7.根据权利要求1所述的方法，其特征在于，所述将人物运动序列分别绑定到对应的关节上，包括：

根据差值算法生成中间运动序列；

将预设关节运动的起点、预设关节运动的终点和中间运动序列分别绑定到对应的关节上。

8.根据权利要求7所述的方法，其特征在于，所述方法，还包括：

合并中间动作序列。

9.根据权利要求1所述的方法，其特征在于，所述方法，包括：

将人物图像中的人物嵌入场景中，所述人物图像中的人物根据所述场景进行运动。

10.一种用于实现AR的系统，其特征在于，所述系统，包括：获取模块、提取模块、第一绑定模块、第二绑定模块和驱动模块；其中，

所述获取模块，用于从图像中获取人物图像的轮廓和轮廓包围的部分，其中，所述人物图像四肢伸展；

所述提取模块，用于分别从所述轮廓包围的部分中提取人物图像的骨骼和关节；

所述第一绑定模块，用于并将轮廓绑定到所述骨骼及关节上；

所述第二绑定模块，用于将人物运动序列分别绑定到对应的关节上；

所述驱动模块，用于根据所述人物运动序列驱动与所述人物运动序列对应的关节。