CN109325970A - 一种基于目标位姿跟踪的增强现实系统 - Google Patents

Abstract

本发明公开了一种基于目标位姿跟踪的增强现实系统，包括AR眼镜、双摄像头、主机、服务器、客户端，所述双摄像头通过局域网与主机连接，所述AR眼镜通过局域网与主机连接，所述AR眼镜和双摄像头采集的数据传送给主机，所述主机将采集的数据通过服务器传入客户端实现位姿跟踪的目的，所述双摄像头包括头顶摄像头和水平摄像头。本发明通过双摄像头拍摄到的目标图像，然后传入主机中，通过主机进行图像处理即目标跟踪，通过计算出来的结果传入AR眼镜中，实现目标的实时跟踪功能。

Description

一种基于目标位姿跟踪的增强现实系统

技术领域

本发明涉及增强现实技术技术领域，更为具体地，涉及一种基于目标位姿跟踪的增强现实系统。

背景技术

增强现实技术(Augmented Reality)是指利用计算机生成的虚拟对象来补充现实世界，达到虚拟对象与现实世界共存的目的。一般AR系统需要具有以下特性：在真实环境中组合真实和虚拟对象；交互地、实时地运行；能将虚拟对象注册进真实空间并于虚拟对象对齐。但是某些AR应用在利用自然特征点进行三维注册时除了添加虚拟对象外，还需要从环境中感知真实的物体，例如对发动机进行辅助装配时目标的存在与否或者目标的位置姿态发生改变等，此时就会需要产生对虚拟对象的反应，即AR系统需要实时求解当前摄像头基于场景的位姿，来保证计算机生成的虚拟物体可以精确的定位在真实场景中不发生偏移和丢失。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于目标位姿跟踪的增强现实系统，该一种基于目标位姿跟踪的增强现实系统具有使用安装方便，结构简单等特点。

本发明解决上述技术问题的技术方案如下：一种基于目标位姿跟踪的增强现实系统，包括AR眼镜、双摄像头、主机、服务器、客户端，所述双摄像头通过局域网与主机连接，所述AR眼镜通过局域网与主机连接，所述AR眼镜和双摄像头采集的数据传送给主机，所述主机将采集的数据通过服务器传入客户端实现位姿跟踪的目的，所述双摄像头包括头顶摄像头和水平摄像头。

进一步的，所述AR眼镜的型号为HoloLens眼镜。

进一步的，所述双摄像头的位置为头顶上方与目标对象侧面。

进一步的，所述客户端可以为带有客户端操作界面的手机。

上本发明的有益效果是：一种基于目标位姿跟踪的增强现实系统，不需要借助人工标志和利用HoloLens眼镜额外的计算单元，利用双摄像头和局域网，将主机与摄像头与AR眼镜连接起来，再通过服务器将数据传入客户端中，实现位姿跟踪的目的。其中位姿跟踪算法，借助HoloLens的三维重建以及空间锚功能，首先通过双摄像头拍摄到的目标图像，然后传入主机中，通过主机进行图像处理即目标跟踪，通过计算出来的结果传入AR眼镜中，实现目标的实时跟踪功能。

附图说明

图1为本发明一种基于目标位姿跟踪的增强现实系统的结构示意图；

图2为本发明一种基于目标位姿跟踪的增强现实系统的流程示意图；

图3为本发明一种基于目标初始化三维注册的增强现实系统的客户端界面示意图；

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

如图1-3所示，本实施例的一种基于目标位姿跟踪的增强现实系统，包括AR眼镜、双摄像头、主机、服务器、客户端，双摄像头通过局域网与主机连接，AR眼镜通过局域网与主机连接，AR眼镜和双摄像头采集的数据传送给主机，主机将采集的数据通过服务器传入客户端实现位姿跟踪的目的，双摄像头包括头顶摄像头和水平摄像头。

本实施例一种基于目标位姿跟踪的增强现实系统中AR眼镜的型号为HoloLens眼镜。

本实施例一种基于目标位姿跟踪的增强现实系统中双摄像头的位置为头顶上方与目标对象侧面。

工作原理如下：如图1所示，首先利用一张标志图片放到目标表面作初始化的注册，同时也将HoloLens眼镜放在物体旁边，利用头顶摄像头拍摄到当前帧图像，通过主机进行计算当前标志相对于头顶摄像头位姿，然后将位姿的数据量传入HoloLens眼镜中，将虚拟物体注册进三维空间中，并保存锚点，然后可以拿开初始化标志，戴上HoloLens眼镜，即可看到虚拟物体大概与实际物体在同一位置，但由于误差以及标志摆放位置的影响，虚拟物体很难与真实物体完美重合，所以利用手机位姿调整app如图3所示，调整虚拟物体六个自由度的位姿，手动将虚拟物体与真实物体完美融合，然后保存新的锚点，至此初始化完毕。

初始化后，当真实目标位姿发生改变时，需要实时跟踪到目标的位姿改变量，位姿跟踪算法流程图如图2所示。本专利提出基于线特征求解目标三维位姿变化量的目标位姿跟踪方法，在单目摄像头环境下即可实现复杂表面目标的位姿监测与拟合。

针对现实生产场景经常出现的光照变换、障碍无遮挡等因素。本系统针对原始LSD算法经常出现的边缘不完整、直线割裂破碎等问题，提出利用RANSAC算法进行改进。在利用双摄像头检测目标状态后，首先将当前帧图像进行降采样，然后在HSV空间对进行图像预处理，并利用形态学梯度和改进的LSD直线算法提取边缘直线，算法如下：首先通过提取到目标的轮廓定位边缘直线的大致位置，然后进行阈值放缩，定位到轮廓边缘ROI区域，再求解该区域内被割裂的多条直线的平均欧式距离ML。基于板的边缘直线在ROI区域中占主导地位，对高于ML的直线进行分类，若该直线的欧式距离MD是ML的a倍，则按等距离在该直线上采样6a个点，具体如公式如下：

其中e1、e2为所采样的点占当前直线欧式长度的比例，Pt为按照等距原则在直线上采样的当前点坐标，Ps、Pe分别指直线两端点的坐标，其中a按四舍五入的原则取整。当所有直线上点采样完毕后，首先在点集内随机选取一组局内点集，假定该局内点集属于所要提取的轮廓边缘的直线上的点集，直线的表达式模型可以通过局内点集计算得到，然后用得到的直线表达式模型去测试其它点集，如果某个点适用于这个模型，则认为它也是局内点，如果局内点集的数量达到一定的规模，则认为该直线模型足够合理，然后用所有假设的局内点去重新估计直线模型，通过估计局内点与模型的错误率来评估模型，直到发现一种错误率足够小的模型，如下公式所示。

式中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率也表征了算法产生有用的结果的概率，n表示估计模型时选用的点个数，k表示迭代次数。由于这种方法只能估计出一个模型，所以需要用初始定位目标轮廓边缘直线的位置，对存在多个模型的图像需要先进行分割再利用多线程技术分别估计出相应直线模型。利用模板图直线和当前提取的关键帧直线利用P3L算法求解出目标的三维位姿的变化量；判断位姿变量是否属于一定阈值范围内，若不属于则返回，若属于则利用服务器传入AR眼镜端修正目标的位姿。

HoloLens空间锚提供了一种能够将物体保留在特定位置和旋转状态上的方法。这保证了全息对象的稳定性，同时提供了后续在真实世界中保持全息对象位置的能力。简单地说，你可以为全息物体来添加空间锚点，这样就能在后续步骤中将全息物体准确恢复到它原来的位置。场景保持是HoloLens全息体验的一个关键特性，当用户离开原场景中时，原场景中全息对象会保持在特定位置，当用户回到原场景时，能够准确还原原场景的全息内容。这保证了用户能够将任何全息对象贴到任何他们想要放置的位置。

本发明提供的系统将AR眼镜、双摄像头、主机、服务器、客户端相结合，利用改进的算法对目标进行跟踪，然后利用主机进行图像处理即识别，将识别后的结果利用服务器传入眼镜端也就是客户端，再将当前空间中的虚拟物体按接收过来的数据改变位姿，达到虚拟融合与目标实时跟踪的目的。

本系统主要应用于比如一些需要工艺指导书或者操作柔性打不适用于机器自动化场合，并且目标边缘明显的场合，可以通过人工的方式借助AR技术进行辅助引导布线、装配、维修等场合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于目标位姿跟踪的增强现实系统，其特征在于，包括AR眼镜、双摄像头、主机、服务器、客户端，所述双摄像头通过局域网与主机连接，所述AR眼镜通过局域网与主机连接，所述AR眼镜和双摄像头采集的数据传送给主机，所述主机将采集的数据通过服务器传入客户端实现位姿跟踪的目的，所述双摄像头包括头顶摄像头和水平摄像头。

2.根据权利要求1所述一种基于目标位姿跟踪的增强现实系统，其特征在于，所述AR眼镜的型号为HoloLens眼镜。

3.根据权利要求1所述一种基于目标位姿跟踪的增强现实系统，其特征在于，所述双摄像头的位置为头顶上方与目标对象侧面。

4.根据权利要求1所述一种基于目标位姿跟踪的增强现实系统，其特征在于，所述客户端可以为带有客户端操作界面的手机。