CN113342167B - 一种基于多人视角定位空间交互ar实现方法和系统 - Google Patents

Abstract

本发明提出了一种基于多人视角定位空间交互AR实现方法和系统。所述方法包括：获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。所述系统包括与所述方法步骤对应的模块。

Description

一种基于多人视角定位空间交互AR实现方法和系统

技术领域

本发明提出了一种基于多人视角定位空间交互AR实现方法和系统，属于虚拟成像技术领域。

背景技术

由一种未来可穿戴式AR眼镜设备主动创建而被用户所感知的一个增强现实的三维虚拟空间环境，在这个生成的增强现实空间环境中，其用户所感知的部分或全部都是由AR眼镜设备渲染生成，并与现实物体相叠加相互交映，这些叠加的现实物体与虚拟物体都可以转换成数据对象进行描述及现实呈现，这些对象以用户感知其所接触的物理世界一部分进行交互，并可进行三维交互共享给其他不同用户，以让所有用户都能够感受共享的交互式三维虚拟环境，用户以基于AR眼镜方式承载操作，从而体验这些共享的虚拟对象，共享的三维虚拟对象数据可显示给所有AR眼镜用户，并可控制播放音频、文本等内容，提供触控可交互的界面，都能够让用户感受到真正的虚拟对象交互体验。

这种增强现实多人共享交互的三维空间系统可以应用于多种领域，包括个人娱乐、科学可视化、教育培训、工程设计和原型设计、及远程操作呈现，而AR增强显示三维空间共享交互包含一个或多个与物理世界的真实对象相关的虚拟对象，而虚拟对象与真实对象交互的体验极大增强了AR眼镜用户使用可交互式共享三维空间系统所带来的乐趣，也基于提供开放平台生态建设，为各种应用开发者提供系统环境支持，而合作的应用开发者能够带来丰富多态且满足不同应用场景需求的应用。

这种增强现实多人共享交互的三维空间系统是把用户周围的物理世界表现为网格状表示，其一个网格将由多个相互连接的多边形表示，而在物理世界与虚拟世界的映射中，每一个多边形在其表面上都有边和点，这样每个多边形就代表了表面的一部分，涉及表面部分的有关信息例如颜色、纹理或者其他属性，以组成形成物理世界与虚拟世界物体映射对象的描述，通过实时处理图像信息来检测点和表面，并共享在三维空间中生成的物体对象。

以AR增强显示正发展代表着未来智能计算平台信息处理的显示方式，其中AR增强显示不仅需要将虚拟空间和真实空间进行图像信息的叠加融合，还需要保障随着一人或多人视角改变或相对位置及行为动作变化，其虚拟空间和真实空间都能够保障实时融合同步与即时交互反馈。

目前AR实现技术主要分为两种，一种为基于深度识别技术对真实空间进行预先三维扫描和位置获取，并在此基础上进行虚拟物体的设计制作，并根据用户视点的位置采用三维虚拟渲染引擎转换计算对应三维虚拟物体的位置信息，从而获得虚拟空间和真实空间的叠加融合。另一种基于图像识别技术对真实三维物体进行预先识别扫描，以结合三维虚拟渲染引擎制作虚拟物体对象和真实物体叠加交互显示。而以上两种方式都存在不足点，如深度识别范围有限，其远场不易识别精准，并且计算渲染能力有限，缺乏多人视角定位交互计算支持，也无法捕捉用户的位置改变和行为方式，所以有必要设计一种基于多人视角定位空间交互AR实现方法及系统，实现根据对多人所处的真实空间的相互位置与对真实物体的相对位置，进行模拟复刻虚拟叠加以进行位置和交互行为计算，使其具有广泛的应用范围。

发明内容

本发明提供了一种基于多人视角定位空间交互AR实现方法和系统，用以解决远场识别精准度低，渲染能力有限，缺乏多人视角定位交互支持，也无法捕捉用户的位置改变和行为方式的问题，所采取的技术方案如下：

一种基于多人视角定位空间交互AR实现方法，多个用户佩戴AR设备，所述方法包括：

获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；

所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；

将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；

依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

进一步地，所述获取多用户位于真实空间中的视角、位置及行为动作，包括：

通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；

通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；

利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；

多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

进一步地，通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈，包括：

利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；其中，所述交互行为包括用户位置移动和用户移动物体等位置变化行为；

将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

进一步地，通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度，包括：

通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

进一步地，所述对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点，包括：

实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；

当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s，优选为34s；

如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；其中，所述第二时间段通过如下公式获取：

其中，T₁表示第一时间段；T₂表示第二时间段，INT[]表示向上取整函数；n表示检测到的用户嘴部出现第一个动作的次数；m表示用户出现嘴部第一个动作后未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数；T_i表示用户第i次出现未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时，当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度；max(T_i-INT[0.8×T₁])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度最大值，且，当max(T_i-INT[0.8×T₁])≥13s时，取max(T_i-INT[0.8×T₁])＝13s；

如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；

当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次，优选为6次：

提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，所述相同次数阈值为3-6次，优选为4次。

一种基于多人视角定位空间交互AR实现系统，多个用户佩戴AR设备，所述系统包括：

获取模块，用于获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；

渲染模块，用于所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；

共享模块，用于将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；

融合模块，用于依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

进一步地，所述获取模块包括：

位置获取模块，用于通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；

表情获取模块，用于通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；

虚拟绘制模块，用于利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；

交互模块，用于多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

进一步地，所述位置获取模块包括：

用户位置获取模块，用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

物体位置获取模块，用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

数据处理模块，用于利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；其中，所述交互行为包括用户位置移动和用户移动物体等位置变化行为；

位置渲染模块，用于将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

进一步地，所述表情获取模块包括：

采集模块，用于通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

追踪模块，用于利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

分析模块，用于对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

模拟模块，用于所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

进一步地，所述分析模块包括：

面部表情采集模块，用于实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；

嘴部动作判断模块，用于当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s，优选为34s；

设置模块，用于如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；其中，所述第二时间段通过如下公式获取：

其中，T₁表示第一时间段；T₂表示第二时间段，INT[]表示向上取整函数；n表示检测到的用户嘴部出现第一个动作的次数；m表示用户出现嘴部第一个动作后未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数；T_i表示用户第i次出现未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时，当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度；max(T_i-INT[0.8×T₁])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度最大值，且，当max(T_i-INT[0.8×T₁])≥13s时，取max(T_i-INT[0.8×T₁])＝13s；

识别模块，用于如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

统计模块，用于实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；

调取模块，用于当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次，优选为6次：

相似度确定模块，用于提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

习惯动作设置模块，用于统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，t表示自然整数；所述相同次数阈值为3-6次，优选为4次。

本发明有益效果：

本发明提出的一种基于多人视角定位空间交互AR实现方法和系统，通过获取真实空间中多人的视角、位置及行为动作，然后交付给三维虚拟渲染引擎换算，以渲染构建生成虚拟空间及虚拟物体，再基于AR眼镜光学视觉显示成像，使之和真实空间或真实物体叠加融合，并结合多人交互实时反馈响应，以形成基于多人视角定位空间交互AR实现系统，通过这种方式能够有效提高远场识别精准度，并提高虚拟成像渲染能力。同时，提供多人视角定位交互功能，有效提高用户体验感。同时，通过实时捕捉用户的位置改变和行为方式能够有效提高用户和真实物体发生变化时的虚拟成像渲染强度和精度，缩短虚拟成像与实际空间发生物体变化的时间间隔，进而提高虚拟成像的真实感官性和虚拟成像与现实的还原性。

附图说明

图1为本发明所述方法的流程图；

图2为本发明所述系统的系统框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的一个实施例提出了一种基于多人视角定位空间交互AR实现方法，如图1所示，多个用户佩戴AR设备，所述方法包括：

S1、获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；

S2、所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；

S3、将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；

S4、依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

上述技术方案的工作原理为：所述捕捉多人位于真实空间中的相对位置，并传递给三维虚拟渲染引擎计算，具体采用包括但不限于空间物体图像识别定位、光束定位、红外定位以及超声波定位其中至少一种定位方式获取多人在真实空间中的相对位置。所述获取多人位于真实空间中的行为动作，并传递给三维虚拟渲染引擎计算，具体采用包括但不限于人脸追踪面部识别、人体姿态动作图像识别、人体行为陀螺仪定位等多种方式结合以确定多人在真实空间中的行为动作。所述获取多人位于真实空间中的相对位置和行为动作，并传递给三维虚拟渲染引擎计算，建立多人共享虚拟渲染的增强现实空间，进行多人与虚拟物体和真实物体的实时互动与交互反馈。

通过设备记录生成的一个或多个真实环境的三维图像，并确定设备记录相对于真实环境的至少一个部分的位置组合，其生成的三维图像信息或空间信息，能够对三维图像中现实环境中未标记的至少一个区域进行分割，在提供相应分割数据的同时，也能够分别识出真实环境至少一个部分与真实环境其余部分之间的差异，并通过分割计算后得出的数据，其将虚拟对象与真实环境的三维图像合并，在此过程中由真实环境生成的图像会有相应部分会被替换。

上述技术方案的效果为：通过获取真实空间中多人的视角、位置及行为动作，然后交付给三维虚拟渲染引擎换算，以渲染构建生成虚拟空间及虚拟物体，再基于AR眼镜光学视觉显示成像，使之和真实空间或真实物体叠加融合，并结合多人交互实时反馈响应，以形成基于多人视角定位空间交互AR实现系统，通过这种方式能够有效提高远场识别精准度，并提高虚拟成像渲染能力。同时，提供多人视角定位交互功能，有效提高用户体验感。同时，通过实时捕捉用户的位置改变和行为方式能够有效提高用户和真实物体发生变化时的虚拟成像渲染强度和精度，缩短虚拟成像与实际空间发生物体变化的时间间隔，进而提高虚拟成像的真实感官性和虚拟成像与现实的还原性。

本发明的一个实施例，所述获取多用户位于真实空间中的视角、位置及行为动作，包括：

S101、通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；

S102、通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；

S103、利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；

S104、多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

上述技术方案的工作原理为：首先，通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；然后，通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；随后，利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；最后，多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

上述技术方案的效果为：能够有效提高位置获取准确性和渲染强度，进而提高虚拟成像的真实感官性和虚拟成像与现实的还原性。同时，提供多人视角定位交互功能，有效提高用户体验感。

本发明的一个实施例，通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈，包括：

S1011、利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

S1012、利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

S1013、利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；其中，所述交互行为包括用户位置移动和用户移动物体等位置变化行为；

S1014、将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

其中，通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度，包括：

S1021、通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

S1022、利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

S1023、对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

S1024、所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

上述技术方案的效果为：通过上述方式能够有效提高虚拟成像变化与外界真实空间变化之间的匹配程度，同时，通过上述方式还可以针对用户所在空间的其他人员的面部进行虚拟还原，进一步提高虚拟成像与现实真实世界的匹配度。另一方面，通过上述方式能够有效提高真实空间内各物体和人员之间的位置确定精度和准确性。并在渲染过程中利用数据反馈方式适时进行物体和人员位置的变化监控和调整，能够进一步缩短虚拟成像与现实空间物体变化之间的时间差，提高虚拟成像与现实空间变化的同步性。

本发明的一个实施例，所述对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点，包括：

步骤1、实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；

步骤2、当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s，优选为34s；

步骤3、如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；其中，所述第二时间段通过如下公式获取：

其中，T₁表示第一时间段；T₂表示第二时间段，INT[]表示向上取整函数；n表示检测到的用户嘴部出现第一个动作的次数；m表示用户出现嘴部第一个动作后未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数；T_i表示用户第i次出现未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时，当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度；max(T_i-INT[0.8×T₁])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度最大值，且，当max(T_i-INT[0.8×T₁])≥13s时，取max(T_i-INT[0.8×T₁])＝13s；

步骤4、如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

步骤5、实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；

步骤6、当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次，优选为6次：

步骤7、提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

步骤8、统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，所述相同次数阈值为3-6次，优选为4次。

上述技术方案的工作原理为：首先，实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s，优选为34s；如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

然后，实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次，优选为6次：

提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，所述相同次数阈值为3-6次，优选为4次。

上述技术方案的工作原理为:

上述技术方案的效果为：通过上述方式能够有效提高人脸面部细节，如嘴部动作的运动的识别和捕捉的准确性。进而提高虚拟渲染过程中，人脸面部渲染的精准性。同时，通过上述方式进行的嘴部动作识别，能够有效提高嘴部动作识别效率。通过设置第一时间段和第二时间段的方式提高非说话情况下的嘴部动作识别强度。进而有效过去虚拟成像中，人员说话嘴部开合的判断准确性。同时，通过第二时间段的设置，能够为嘴部判断提高有效的进阶判断时间，防止因用户空间内的其他人员因个人动作习惯而导致的嘴部说话开合动作判断失误的问题发生。另外，通过习惯动作统计方式能够针对用户所在空间内的常出现成员的习惯动作，进行嘴部说话习惯动作归类，有效提高嘴部动作判断效率，并防止针对相同相似的习惯动作进行频繁识别而造成的能量消耗。

同时，通过上述公式获取的第二时间段能够使第二时间段根据用户所处空间常出现人员的动作状态进行合理设置，提高第二时间段设置的合理性，防止统一一致的第二时间段因空间内人员的不同习惯动作而进行频繁嘴部第一动作检测，有效降低无效嘴部监控次数。

本发明实施例提出了一种基于多人视角定位空间交互AR实现系统，如图2所示，多个用户佩戴AR设备，所述系统包括：

获取模块，用于获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；

渲染模块，用于所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；

共享模块，用于将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；

融合模块，用于依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

上述技术方案的工作原理为：首先，利用获取模块获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；然后，通过渲染模块控制所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；随后，采用共享模块将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；最后，通过融合模块依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

上述技术方案的效果为：通过获取真实空间中多人的视角、位置及行为动作，然后交付给三维虚拟渲染引擎换算，以渲染构建生成虚拟空间及虚拟物体，再基于AR眼镜光学视觉显示成像，使之和真实空间或真实物体叠加融合，并结合多人交互实时反馈响应，以形成基于多人视角定位空间交互AR实现系统，通过这种方式能够有效提高远场识别精准度，并提高虚拟成像渲染能力。同时，提供多人视角定位交互功能，有效提高用户体验感。同时，通过实时捕捉用户的位置改变和行为方式能够有效提高用户和真实物体发生变化时的虚拟成像渲染强度和精度，缩短虚拟成像与实际空间发生物体变化的时间间隔，进而提高虚拟成像的真实感官性和虚拟成像与现实的还原性。

本发明的一个实施例，所述获取模块包括：

位置获取模块，用于通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；

表情获取模块，用于通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；

虚拟绘制模块，用于利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；

交互模块，用于多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

上述技术方案的工作原理为：首先，利用位置获取模块通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；然后，采用表情获取模块通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；随后，通过虚拟绘制模块利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；最后，采用交互模块针对多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

上述技术方案的效果为：能够有效提高位置获取准确性和渲染强度，进而提高虚拟成像的真实感官性和虚拟成像与现实的还原性。同时，提供多人视角定位交互功能，有效提高用户体验感。

本发明的一个实施例，所述位置获取模块包括：

用户位置获取模块，用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

物体位置获取模块，用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

数据处理模块，用于利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；其中，所述交互行为包括用户位置移动和用户移动物体等位置变化行为；

位置渲染模块，用于将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

其中，所述表情获取模块包括：

采集模块，用于通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

追踪模块，用于利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

分析模块，用于对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

模拟模块，用于所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

上述技术方案的工作原理为：所述位置获取模块的运行过程包括：

首先，通过用户位置获取模块利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

然后，通过物体位置获取模块利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

随后，采用数据处理模块利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；其中，所述交互行为包括用户位置移动和用户移动物体等位置变化行为；

最后，采用位置渲染模块将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

其中，所述表情获取模块的运行过程包括：

首先，利用采集模块通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

然后，通过追踪模块利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

随后，采用分析模块对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

最后，通过模拟模块控制所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

上述技术方案的效果为：通过上述方式能够有效提高虚拟成像变化与外界真实空间变化之间的匹配程度，同时，通过上述方式还可以针对用户所在空间的其他人员的面部进行虚拟还原，进一步提高虚拟成像与现实真实世界的匹配度。另一方面，通过上述方式能够有效提高真实空间内各物体和人员之间的位置确定精度和准确性。并在渲染过程中利用数据反馈方式适时进行物体和人员位置的变化监控和调整，能够进一步缩短虚拟成像与现实空间物体变化之间的时间差，提高虚拟成像与现实空间变化的同步性。

本发明的一个实施例，所述分析模块包括：

面部表情采集模块，用于实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；

嘴部动作判断模块，用于当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s，优选为34s；

设置模块，用于如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；其中，所述第二时间段通过如下公式获取：

其中，T₁表示第一时间段；T₂表示第二时间段，INT[]表示向上取整函数；n表示检测到的用户嘴部出现第一个动作的次数；m表示用户出现嘴部第一个动作后未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数；T_i表示用户第i次出现未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时，当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度；max(T_i-INT[0.8×T₁])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度最大值，且，当max(T_i-INT[0.8×T₁])≥13s时，取max(T_i-INT[0.8×T₁])＝13s；

识别模块，用于如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

统计模块，用于实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；

调取模块，用于当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次，优选为6次：

相似度确定模块，用于提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

习惯动作设置模块，用于统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，t表示自然整数；所述相同次数阈值为3-6次，优选为4次。

上述技术方案的工作原理为：首先，通过面部表情采集模块实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；利用嘴部动作判断模块判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s，优选为34s；通过设置模块在如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；

然后，采用识别模块在判断如果用户的连续嘴部运动为开合运动时，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；利用统计模块实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；通过调取模块在当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次，优选为6次：

最后，通过相似度确定模块提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；并利用习惯动作设置模块统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，t表示自然整数；所述相同次数阈值为3-6次，优选为4次。

上述技术方案的效果为：通过上述方式能够有效提高人脸面部细节，如嘴部动作的运动的识别和捕捉的准确性。进而提高虚拟渲染过程中，人脸面部渲染的精准性。同时，通过上述方式进行的嘴部动作识别，能够有效提高嘴部动作识别效率。通过设置第一时间段和第二时间段的方式提高非说话情况下的嘴部动作识别强度。进而有效过去虚拟成像中，人员说话嘴部开合的判断准确性。同时，通过第二时间段的设置，能够为嘴部判断提高有效的进阶判断时间，防止因用户空间内的其他人员因个人动作习惯而导致的嘴部说话开合动作判断失误的问题发生。另外，通过习惯动作统计方式能够针对用户所在空间内的常出现成员的习惯动作，进行嘴部说话习惯动作归类，有效提高嘴部动作判断效率，并防止针对相同相似的习惯动作进行频繁识别而造成的能量消耗。

同时，通过上述公式获取的第二时间段能够使第二时间段根据用户所处空间常出现人员的动作状态进行合理设置，提高第二时间段设置的合理性，防止统一一致的第二时间段因空间内人员的不同习惯动作而进行频繁嘴部第一动作检测，有效降低无效嘴部监控次数。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于多人视角定位空间交互AR实现方法，其特征在于，多个用户佩戴AR设备，所述方法包括：

获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；

所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；

将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；

依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合；

所述获取多用户位于真实空间中的视角、位置及行为动作，包括：

通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；

通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；

利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；

多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度；

通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度，包括：

通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度；

所述对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点，包括：

实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；

当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s；

如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；其中，所述第二时间段通过如下公式获取：

其中，T₁表示第一时间段；T₂表示第二时间段，INT[]表示向上取整函数；n表示检测到的用户嘴部出现第一个动作的次数；m表示用户出现嘴部第一个动作后未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数；T_i表示用户第i次出现未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时，当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度；max(T_i-INT[0.8×T₁])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度最大值，且，当max(T_i-INT[0.8×T₁])≥13s时，取max(T_i-INT[0.8×T₁])＝13s；

如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；

当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次：

提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，所述相同次数阈值为3-6次。

2.根据权利要求1所述方法，其特征在于，通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈，包括：

利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；

将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

3.一种基于多人视角定位空间交互AR实现系统，其特征在于，多个用户佩戴AR设备，所述系统包括：

获取模块，用于获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；

渲染模块，用于所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；

共享模块，用于将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；

融合模块，用于依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合；

所述获取模块包括：

表情获取模块，用于通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；

所述表情获取模块包括：

采集模块，用于通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；

追踪模块，用于利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；

分析模块，用于对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；

模拟模块，用于所述三维虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度；

所述分析模块包括：

面部表情采集模块，用于实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；

嘴部动作判断模块，用于当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s；

设置模块，用于如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则取消针对用户嘴部的连续监控，返回到原始面部跟踪操作；如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时，则判断连续嘴部运动是否为开合运动；其中，所述第二时间段通过如下公式获取：

其中，T₁表示第一时间段；T₂表示第二时间段，INT[]表示向上取整函数；n表示检测到的用户嘴部出现第一个动作的次数；m表示用户出现嘴部第一个动作后未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数；T_i表示用户第i次出现未在INT[0.8×T₁]时间段内进行连续嘴部开合动作，但在取消嘴部连续监控之后的1s-9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时，当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度；max(T_i-INT[0.8×T₁])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T₁]之间的相差时间长度最大值，且，当max(T_i-INT[0.8×T₁])≥13s时，取max(T_i-INT[0.8×T₁])＝13s；

识别模块，用于如果用户的连续嘴部运动为开合运动，则识别嘴部动开合状态，通过嘴部开合状态传输至三维虚拟渲染引擎中模拟语言沟通张嘴变化程度；

统计模块，用于实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像；

调取模块，用于当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时，调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像；其中，所述阈值次数5-8次：

相似度确定模块，用于提取嘴部动作图像中的动作特征，判断所述动作特征相似性，当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时，判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作，并进行相同动作标记；

习惯动作设置模块，用于统计相同动作标记次数，当相同动作标记次数超过相同次数阈值时，将此动作设置为用户第t号习惯嘴部动作，并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作，当用户出现习惯嘴部动作时，不进行嘴部连续监控；其中，t表示自然整数；所述相同次数阈值为3-6次。

4.根据权利要求3所述系统，其特征在于，所述获取模块还包括：

位置获取模块，用于通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；

虚拟绘制模块，用于利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；

交互模块，用于多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

5.根据权利要求4所述系统，其特征在于，所述位置获取模块包括：

用户位置获取模块，用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；

物体位置获取模块，用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；

数据处理模块，用于利用三维虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；

位置渲染模块，用于将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三维虚拟渲染引擎，所述三维虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

Images