CN110825234A - 一种面向工业场景的投影式增强现实跟踪显示方法和系统 - Google Patents

Abstract

本发明公开了一种面向工业场景的投影式增强现实跟踪显示方法和系统，包括以下步骤，利用传感模块实时获取装配场景的深度数据；视点跟踪模块接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；所述视点跟踪模块根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；投影模块根据计算机模块传输的投影信息完成图显示。本发明的有益效果：采用投影式增强现实更符合工业现场操作需求，减少用户佩戴负担，提高工作效率。

Description

一种面向工业场景的投影式增强现实跟踪显示方法和系统

技术领域

本发明涉及增强现实的技术领域，尤其涉及一种面向工业场景的投影式增强现实跟踪显示方法及面向工业场景的投影式增强现实跟踪显示系统。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

现有的增强现实系统按照显示方式可分为穿戴式、手持式和空间投影式。穿戴式显示方式主要有眼镜式和头盔式，该类显示方式的缺点是显示设备较重，并且需要佩戴在操作者头部，长时间佩戴会引起操作者眩晕，疲劳等不适，且设备续航能力较差，不适用于产品装配生产线；手持式增强现实系统通常使用平板或笔记本电脑，该类显示方式无法为用户提供沉浸式体验，并且会束缚操作者的双手。且从显示成像角度，头戴式和手持式增强现实显示设备，由于受当前底层算发及硬件运算水平等限制，系统稳8定性弱于投影显示类，常会出现注册漂移等现象。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：提出基于投影式增强现实的用户视点追踪和增强现实中，基于模板匹配的无标识目标追踪方法。

为解决上述技术问题，本发明提供如下技术方案：一种面向工业场景的投影式增强现实跟踪显示方法，包括以下步骤，利用传感模块实时获取装配场景的深度数据；视点跟踪模块接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；所述视点跟踪模块根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；投影模块根据计算机模块传输的投影信息完成增强内容显示。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：包括以下步骤，所述传感模块采用Azure Kinect DK相机；所述视点跟踪模块以头部位置骨骼点代替双眼位置；利用相机的API接口函数捕获所述操作人员的头部骨骼点在所述Azure Kinect DK相机坐标系中的位置坐标；根据头部骨骼点在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：头部位置在相机坐标系和投影平面坐标系的转换关系如下式，

式中，(x_c,y_c,z_c)^T用户头部骨骼在相机坐标系中的坐标，(x_p,y_p,z_p)^T为头部在投影屏幕坐标系中的坐标，R为旋转矩阵，T为平移矩阵。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：所述虚拟相机朝向信息变换如下步骤，

计算二维投影的透视投影矩阵时；

将虚拟相机的位置定在头部位置点(x_p,y_p,z_p)^T；

虚拟相机的观察方向由人体头部视点位置(x_p,y_p,z_p)^T指向模型的中心点O；

根据三角形相似关系可得近截面体的四点坐标为：

式中d_n为虚拟相机到近截面的距离，d_f为虚拟相机到远截面的距离，

为远截面x轴方向边界坐标，

为远截面y轴方向边界坐标，为近截面x轴方向边界坐标；

为近截面y轴方向边界坐标。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：根据近截面体的四点坐标得出对应的透视投影矩阵如下，

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：所述视点跟踪模块对操作人员进行视点跟踪的同时，利用基于模板匹配的目标跟踪模块对装配场景下操作对象的实时跟踪，所述目标跟踪模块包括生成视觉模板库和线上匹配。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：所述视觉模板库包括以下生成步骤，利用一个虚拟的球面来生成二维图像；待跟踪目标对象的三维CAD模型放置于球心,位于球表面上的每一视角点代表一个模板相机；沿着球面进行视角点采样来生成目标对象的三维CAD模型图像；定义模型的世界坐标系是(x_w,y_w,z_w)，模板相机的坐标系是(x_c,y_c,z_c)；利用3个自由度确定模板相机在三维空间的位置；设定自由度参数的范围确定视角点位置以及采样点数量。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：包括，定义每个视角点对应的虚拟相机姿态表示为P(d,α,β,θ),经度α表示虚拟相机绕z_w旋转的角度,纬度β表示虚拟相机绕x_w旋转的角度,距离表d示虚拟相机与目标对象的距离,θ表示虚拟相机绕y_w旋转的角度；总的旋转矩阵R是3个矩阵R_x(β)，R_y(β)，R_z(α)的乘积，其中：

因此R＝R_x(α)R_y(β)R_z(φ)；

定义世界坐标系的原点坐标为V₁(0,0,0),平移向量t表示将一个坐标系原点移动到另一个坐标系原点,将以目标中心为原点的坐标系移动到以虚拟相机中心为原点的另一个坐标系,相应的平移向量为t＝V₁-V₂,即虚拟相机的姿态表示为p＝[R|t]，则模板生成集为：

其中S为模板集，Δα,Δβ,Δd为自由度间隔参数；

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：所述线上匹配包括以下步骤，采用LINE-2D方法计算场景梯度相应图并进行匹配，其公式为：

计算现场捕获的目标物体图像与模板图像之间的相似度，其中o(T_i,r)表示模板图像位置r的梯度方向的弧度；o(I_i,c+r)表示制造现场场景图像位置r移动了c个位置的弧度,P为模板图像所有特征的位置；

在图像匹配过程中遍历模板图像集I；

获得匹配相似度集{η_i},并求得最大相似度ξ＝max{η_i},给定阈值γ,若经过遍历无法从相似度集中找到数值大于γ,则不存在匹配；

当最大相似度大于或等于匹配阈值时,则场景匹配成功,获得最大相似度对应的模板图像序列,并根据匹配结果求得转换矩阵摄像机坐标系和世界坐标系之间的转换矩阵M，并通过坐标转换完成增强现实信息显示。

因此，本发明解决的一个技术问题是：提出面向工业场景的投影式增强现实跟踪显示系统，上述方法依托于本系统实现。

为解决上述技术问题，本发明提供如下技术方案：一种面向工业场景的投影式增强现实跟踪显示系统，包括传感模块设置于装配场景的工作区域上方，用于采集深度数据；计算机模块，所述计算机模块包括视点跟踪模块和目标跟踪模块，与所述传感模块连接，用于处理所述深度数据并输出投影信息；投影模块，所述投影模块与所述计算机模块连接，用于将所述投影信息进行增强现实显示。

本发明的有益效果：一是采用投影式增强现实更符合工业现场操作需求，减少用户佩戴负担，提高工作效率；二是通过外部传感器追踪用户头部视点位置，可生成不同角度的投影式增强现实指导信息，而非传统单一角度的固定内容，提高了场景拟真度；三是通过模板匹配的增强现实目标追踪技术，可实现无标识，高速率的目标追踪，为增强现实信息精确显示提供可靠基础。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一种实施例所述用户视角捕获及坐标转换关系示意图；

图2为本发明第一种实施例所述模板匹配流程框示意图；

图3为本发明第一种实施例所述图像模板生成示意图；

图4为本发明第二种实施例所述系统硬件框示意图；

图5为本发明第二种实施例所述左视角投影变换示意图；

图6为本发明第二种实施例所述右视角投影变换示意图

图7为本发明第二种实施例所述投影增强图；

图8为本发明第二种实施例所述安装提示图；

图9为本发明第二种实施例所述安装增强投影图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

本实施例相较于同类基于增强现实的装配技术，其一是采用了投影仪器显示增强现实指导信息。此种显示方式较现有增强现实显示设备在工业装配现场有诸多优势。第二点为本申请采用了基于模板匹配的无标识跟踪方式对目标物体进行实时跟踪。当前，基于标记的目标跟踪技术广泛应用于各类场景，这种方法计算量小，且在恶劣的光照条件下仍具有较好的鲁棒性，但基于人工标识的方法存在视觉污染及物体污染，且需要手动对标等操作缺陷，不适用于工业场景。相对的，无标识物的增强现实系统是通过在感兴趣物体上设置采集自身特征完成追踪，已成为增强现实技术的研究热点，但仍然存在一定缺陷。例如：基于特征点的方法会因物体表面缺少足够的纹理特征而出现追踪抖动或扰动；基于边缘轮廓的方法对杂乱背景和交互过程中的目标物体的部分遮挡较为敏感；基于点云的注册追踪方法对无纹理目标物体的鲁棒性较好，但庞大的点云数据量对计算机的运算能力和硬件配置提出了较高的要求；基于模型的方法已广泛用于增强现实无标识三维注册追踪系统，但实时处理由不同视角采集的大量参考图像，将会产生巨大的搜索空间和庞大的计算量，从而大幅降低系统的实时性和可用性。

进一步的，本实施例中为解决上述问题，提出一种面向工业场景的投影式增强现实跟踪显示方法，包括以下步骤，

S1：利用传感模块100实时获取装配场景的深度数据；

S2：视点跟踪模块200接收深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；

参照图1的示意，头部位置在相机坐标系和投影平面坐标系的转换关系如下式：

式中，(x_c,y_c,z_c)^T用户头部骨骼在相机坐标系中的坐标，(x_p,y_p,z_p)^T为头部在投影屏幕坐标系中的坐标，R为旋转矩阵，T为平移矩阵。

S3：视点跟踪模块200根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；

具体的，虚拟相机朝向信息变换如下步骤，

计算二维投影的透视投影矩阵时；

将虚拟相机的位置定在头部位置点(x_p,y_p,z_p)^T；

虚拟相机的观察方向由人体头部视点位置(x_p,y_p,z_p)^T指向模型的中心点O；

根据三角形相似关系可得近截面体的四点坐标为：

式中d_n为虚拟相机到近截面的距离，d_f为虚拟相机到远截面的距离，

为远截面x轴方向边界坐标，为远截面y轴方向边界坐标，

为近截面x轴方向边界坐标；

为近截面y轴方向边界坐标。

根据近截面体的四点坐标得出对应的透视投影矩阵如下，

S4：投影模块300根据计算机模块200传输的投影信息完成图显示。

本方法还包括以下步骤，

传感模块100采用Azure Kinect DK相机；

视点跟踪模块200以头部位置骨骼点代替双眼位置；

利用相机的API接口函数捕获操作人员的头部骨骼点在Azure Kinect DK相机坐标系中的位置坐标；

根据头部骨骼点在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像。

参照图2的示意，本实施例中还提出视点跟踪模块200对操作人员进行视点跟踪的同时，利用基于模板匹配的目标跟踪模块400对装配场景下操作对象的实时跟踪，目标跟踪模块400包括生成视觉模板库和线上匹配。

其中视觉模板库包括以下生成步骤，

利用一个虚拟的球面来生成二维图像；

待跟踪目标对象的三维CAD模型放置于球心,位于球表面上的每一视角点代表一个模板相机；

沿着球面进行视角点采样来生成目标对象的三维CAD模型图像；

定义模型的世界坐标系是(x_w,y_w,z_w)，模板相机的坐标系是(x_c,y_c,z_c)；

利用3个自由度确定模板相机在三维空间的位置；

设定自由度参数的范围确定视角点位置以及采样点数量。

定义每个视角点对应的虚拟相机姿态表示为P(d,α,β,θ),经度α表示虚拟相机绕z_w旋转的角度,纬度β表示虚拟相机绕x_w旋转的角度,距离表d示虚拟相机与目标对象的距离,θ表示虚拟相机绕y_w旋转的角度；

总的旋转矩阵R是3个矩阵R_x(β)，R_y(β)，R_z(α)的乘积，其中：

因此R＝R_x(α)R_y(β)R_z(φ)；

定义世界坐标系的原点坐标为V₁(0,0,0),平移向量t表示将一个坐标系原点移动到另一个坐标系原点,将以目标中心为原点的坐标系移动到以虚拟相机中心为原点的另一个坐标系,相应的平移向量为t＝V₁-V₂,即虚拟相机的姿态表示为p＝[R|t]，则模板生成集为：

其中S为模板集，Δα,Δβ,Δd为自由度间隔参数。实际的图像模板生成图可参照图3的示意。

进一步的，线上匹配包括以下步骤，

采用LINE-2D方法计算场景梯度相应图并进行匹配，其公式为：

计算现场捕获的目标物体图像与模板图像之间的相似度，其中o(T_i,r)表示模板图像位置r的梯度方向的弧度；o(I_i,c+r)表示制造现场场景图像位置r移动了c个位置的弧度,P为模板图像所有特征的位置；

在图像匹配过程中遍历模板图像集I；

获得匹配相似度集{η_i},并求得最大相似度ξ＝max{η_i},给定阈值γ,若经过遍历无法从相似度集中找到数值大于γ,则不存在匹配；

当最大相似度大于或等于匹配阈值时,则场景匹配成功,获得最大相似度对应的模板图像序列,并根据匹配结果求得转换矩阵摄像机坐标系和世界坐标系之间的转换矩阵M，并通过坐标转换完成增强现实信息显示。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

实施例2

参照图4～9的示意，本实施例提出一种面向工业场景的投影式增强现实跟踪显示系统，上述实施例的方法依托于系统实现。该系统包括，传感模块100设置于装配场景的工作区域上方，用于采集深度数据；计算机模块，计算机模块包括视点跟踪模块200和目标跟踪模块400，与传感模块100连接，用于处理深度数据并输出投影信息；投影模块300，投影模块300与计算机模块连接，用于将投影信息进行增强现实显示。

更加具体的，参照图1所示，本实施例所搭建的系统硬件包括Azure Kinect DK传感器、投影仪和计算机，Azure Kinect DK传感器安装在工作区域上方，拍摄操作人员和工作区域的颜色图像和深度图像；需要说明的是，传感模块100采用Azure Kinect DK传感器，投影模块300采用投影仪，而计算机包括视点跟踪模块200和目标跟踪模块400，其作为本实施例的硬件模块。

投影仪安装在工作平台的上方，垂直向下对准工作区域；Azure Kinect DK传感器和投影仪与计算机连；Azure Kinect DK传感器包括深度传感器和颜色传感器，深度传感器可采集装配场景的深度数据，计算机根据深度数据跟踪操作人员头部位置，并可根据操作人员视点位置变换3D诱导场景的虚拟视点，以保证投影信息不会因为用户的视点转变而出现视觉畸变，或投影信息超出用户当前视觉范围；最后利用投影仪将装配信息投影到工作平台或装配体上，引导装配操作人员进行操作。

本实施例的软件部分的创新为用户视点跟踪的成像技术和基于模板匹配的增强显示目标追踪技术。视点跟踪模块200跟踪操作者视点位置，变换3D诱导场景的虚拟视点的方位，投影出与操作者视点相关的图像。目标跟踪模块400分为线上线下模块，如图3所示，负责多视点特征记录，线上采用保持旋转和尺度不变性的线性并行多模态模板匹配方法快速识别目标物体、获取与当前视角接近的参考视图而完成相机位姿估计，从而完成目标物体的追踪并注册相应信息。

进一步的，本实施例中视觉跟踪方法根据操作者的视点(头部)方位变换投影图像。由于实际操作中人的双眼难以捕捉，本方法研究以头部位置骨骼点代替双眼位置，以虚拟环境中待显示模型的中心为目标点定义虚拟视点方位，根据当前虚拟视点的方位绘制相应的投影图像，该方法可根据操作人员的移动实时更新投影图像。包括利用Azure KinectDK相机及其API接口函数捕获操作人员的头部骨骼点在Azure Kinect DK相机坐标系中的位置；将头部骨骼点在Azure Kinect DK相机坐标系中的位置转换到投影屏幕坐标系中；根据头部骨骼点在投影屏幕坐标系中的位置，调整投影矩阵，绘制出相应视点的图像。

投影的图像与操作人员的头部所在的位置有关，在某时刻投影的图像是唯一的。为了排除其他人员的干扰，避免获取错误骨骼位置，本方法加入标记变量I标记所需要的骨骼信息，并检测每一帧图像，筛选出所要跟踪的骨骼，如果视野中丢失目标，则需要重新记录数据。

Azure Kinect DK坐标系、投影屏幕坐标系和用户头部位置在空间中各位置关系，投影视图的变换由头部位置与投影图像之间的相对位置决定，将头部在Azure Kinect DK坐标系中的坐标位置变换后，得到头部在投影平面坐标系中位置，转换关系如下式所示：

式中(x_c,y_c,z_c)^T用户头部骨骼在相机坐标系中的坐标；(x_p,y_p,z_p)^T为头部在投影屏幕坐标系中的坐标；R为旋转矩阵；T为平移矩阵，其作为相机内参可通过相机标定得到。计算二维投影的透视投影矩阵时，把虚拟相机的位置定在头部位置点(x_p,y_p,z_p)^T，虚拟相机的观察方向由人体头部视点位置(x_p,y_p,z_p)^T指向模型的中心点O。

根据三角形相似关系可得近截面体的四点坐标:拟相机的观察方向由人体头部视点位置(x_p,y_p,z_p)^T根据三角形相似关系可得近截面体的四点坐标，即:

式中:d_n为虚拟相机到近截面的距离；d_f为虚拟相机到远截面的距离；

为远截面x轴方向边界坐标；

为远截面y轴方向边界坐标；为近截面x轴方向边界坐标；

为近截面y轴方向边界坐标。根据近截面体的四点坐标可以得出对应的透视投影矩阵。得出投影矩阵为:

在Unity3D中设置虚拟相机的位置和观察方向，其中捕获的用户头部坐标的位置即为相机坐标系中相机的位置，相机的观察方向由虚拟相机的位置指向三维模型的中心。经过相机捕获视点位置，空间坐标系的转换以及确定投影矩阵，便可将模型投射到工作场景中，根据人体头部位置的移动，模型会发生相应的转变，使用户在不同视点看到投影模型的不同角度，实际效果如图5～6的示意。

本系统中包括基于模板匹配的增强显示目标追踪技术。

视觉模板库：基于模板匹配的追踪技术需对视角模型及视点特征建模，本申请中基于视角及特征匹配的模板图像库，通过将摄像机放在虚拟球体表面来降低二维模板图像生成的复杂度。

利用一个虚拟的球面来生成二维图像。其中目标对象的三维CAD模型放置于球心,球表面上的每一视角点代表一个虚拟相机,此时可沿着球面进行视角点采样来生成一定数量的目标对象三维CAD模型图像。假设模型的世界坐标系是(x_w,y_w,z_w),虚拟相机的坐标系是(x_c,y_c,z_c)在图像生成过程中,根据3个自由度(距离d,经度α和纬度β)来确定虚拟相机在三维空间的位置,通过经度和纬度可以确定虚拟相机的方向。但是在实际操作过程中,由于摄像机与目标对象总是在移动,导致它们之间的距离在不断地变化,需要引入另一个自由度,即虚拟相机到三维模型的距离d。因此在3个自由度下,虚拟相机在三维空间中的位置可被唯一确定。然后通过设定自由度参数的范围来确定视角点位置以及采样点数量,即虚拟相机在三维空间中的位置和模板图像的生成数量被确定。每个视角点对应的虚拟相机姿态可以表示为P(d,α,β,θ),经度α表示虚拟相机绕z_w旋转的角度,纬度β表示虚拟相机绕x_w旋转的角度,距离表d示虚拟相机与目标对象的距离,θ表示虚拟相机绕y_w旋转的角度。则总的旋转矩阵R是3个矩阵R_x(β)，R_y(β)，R_z(α)的乘积,其中

因此，R＝R_x(α)R_y(β)R_z(φ)。

当虚拟相机与模型之间的距离d确定之后,球面半径因此确定，此时球面上的每一个视角点在世界坐标系下的坐标V₂(x,y,z)是可以得到的,而其又可以表示为虚拟相机的坐标系的原点。假设世界坐标系的原点坐标为V₁(0,0,0),平移向量t用来表示将一个坐标系原点移动到另一个坐标系原点,将以目标中心为原点的坐标系移动到以虚拟相机中心为原点的另一个坐标系,相应的平移向量为t＝V₁-V₂,即虚拟相机的姿态可以表示为p＝[R|t]。则模板生成集为

其中，S为模板集，Δα,Δβ,Δd为自由度间隔参数。则线上匹配搜索算法为，按序遍历i,j,k,定义(α_min,β_min,d_min)为起始位置，则(α_min,β_min,d_min)对应于第一幅图像，则该幅图像对应的摄像机的姿态为

则(α_min+Δα,β_min,d_min)对应姿态p₂...,(α_max,β_min,d_min)对应姿态p_i，同理(α_min,β_min,d_min+Δd)对应姿态p_i+j+1，最后一个姿态对应图像(α_max,β_max,d_max)。

线上匹配：

通过Azure Kinect DK获取目标物，并进行姿态匹配以显示增强现信息。从模板图像集中获得与现场一致图像，并根据成功匹配的模板图像与之对应的虚拟相机旋转矩阵p,计算出摄像机在制造现场中的最终姿态，并将所需信息注册至实际场景,指导用户装配，质检等工作。

采用LINE-2D方法计算场景梯度相应图并进行匹配，其公式为

利用公式6计算现场捕获的目标物体图像与模板图像之间的相似度。其中,o(T_i,r)表示模板图像位置r的梯度方向的弧度；o(I_i,c+r)表示制造现场场景图像位置r移动了c个位置的弧度，P为模板图像所有特征的位置。

在图像匹配过程中遍历模板图像集I,利用式(6)来获得匹配相似度集{η_i},并求得最大相似度ξ＝max{η_i},给定阈值γ,若经过遍历无法从相似度集中找到数值大于γ,则不存在匹配,原因为目标物体离开了操作场景或摄像机离目标物体过远,此时需要重新获取制造现场场景图像，当最大相似度大于或等于匹配阈值时,则场景匹配成功,获得最大相似度对应的模板图像序列,并根据匹配结果求得转换矩阵摄像机坐标系和世界坐标系之间的转换矩阵M，并通过坐标转换完成增强现实信息显示。通过此项基于模板匹配的无标识物目标追踪技术，可通过Azure Kinect DK实现对目标物体的实时捕获，并利用投影仪实现对目标物体的实时追踪与增强现实信息显示。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种面向工业场景的投影式增强现实跟踪显示方法，其特征在于：包括以下步骤，

利用传感模块(100)实时获取装配场景的深度数据；

视点跟踪模块(200)接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；

所述视点跟踪模块(200)根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；

投影模块(300)根据计算机模块(200)传输的投影信息完成图显示。

2.如权利要求1所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：包括以下步骤，

所述传感模块(100)采用Azure Kinect DK相机；

所述视点跟踪模块(200)以头部位置骨骼点代替双眼位置；

利用相机的API接口函数捕获所述操作人员的头部骨骼点在所述Azure Kinect DK相机坐标系中的位置坐标；

根据头部骨骼点在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像。

3.如权利要求1或2所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：头部位置在相机坐标系和投影平面坐标系的转换关系如下式，

式中，(x_c,y_c,z_c)^T用户头部骨骼在相机坐标系中的坐标，(x_p,y_p,z_p)^T为头部在投影屏幕坐标系中的坐标，R为旋转矩阵，T为平移矩阵。

4.如权利要求3所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述虚拟相机朝向信息变换如下步骤，

计算二维投影的透视投影矩阵时；

将虚拟相机的位置定在头部位置点(x_p,y_p,z_p)^T；

虚拟相机的观察方向由人体头部视点位置(x_p,y_p,z_p)^T指向模型的中心点O；

根据三角形相似关系可得近截面体的四点坐标为：

式中d_n为虚拟相机到近截面的距离，d_f为虚拟相机到远截面的距离，

为远截面x轴方向边界坐标，为远截面y轴方向边界坐标，

为近截面x轴方向边界坐标；

为近截面y轴方向边界坐标。

5.如权利要求4所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：根据近截面体的四点坐标得出对应的透视投影矩阵如下，

6.如权利要求1～2或4～5任一所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述视点跟踪模块(200)对操作人员进行视点跟踪的同时，利用基于模板匹配的目标跟踪模块(400)对装配场景下操作对象的实时跟踪，所述目标跟踪模块(400)包括生成视觉模板库和线上匹配。

7.如权利要求6所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述视觉模板库包括以下生成步骤，

利用一个虚拟的球面来生成二维图像；

待跟踪目标对象的三维CAD模型放置于球心,位于球表面上的每一视角点代表一个模板相机；

沿着球面进行视角点采样来生成目标对象的三维CAD模型图像；

定义模型的世界坐标系是(x_w,y_w,z_w)，模板相机的坐标系是(x_c,y_c,z_c)；

利用3个自由度确定模板相机在三维空间的位置；

设定自由度参数的范围确定视角点位置以及采样点数量。

8.如权利要求7所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：包括，

定义每个视角点对应的虚拟相机姿态表示为P(d,α,β,θ),经度α表示虚拟相机绕z_w旋转的角度,纬度β表示虚拟相机绕x_w旋转的角度,距离表d示虚拟相机与目标对象的距离,θ表示虚拟相机绕y_w旋转的角度；

总的旋转矩阵R是3个矩阵R_x(β)，R_y(β)，R_z(α)的乘积，其中：

因此R＝R_x(α)R_y(β)R_z(φ)；

定义世界坐标系的原点坐标为V₁(0,0,0),平移向量t表示将一个坐标系原点移动到另一个坐标系原点,将以目标中心为原点的坐标系移动到以虚拟相机中心为原点的另一个坐标系,相应的平移向量为t＝V₁-V₂,即虚拟相机的姿态表示为p＝[R|t]，则模板生成集为：

其中S为模板集，Δα,Δβ,Δd为自由度间隔参数。

9.如权利要求7或8所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述线上匹配包括以下步骤，

采用LINE-2D方法计算场景梯度相应图并进行匹配，其公式为：

计算现场捕获的目标物体图像与模板图像之间的相似度，其中o(T_i,r)表示模板图像位置r的梯度方向的弧度；o(I_i,c+r)表示制造现场场景图像位置r移动了c个位置的弧度,P为模板图像所有特征的位置；

在图像匹配过程中遍历模板图像集I；

获得匹配相似度集{η_i},并求得最大相似度ξ＝max{η_i},给定阈值γ,若经过遍历无法从相似度集中找到数值大于γ,则不存在匹配；

当最大相似度大于或等于匹配阈值时,则场景匹配成功,获得最大相似度对应的模板图像序列,并根据匹配结果求得转换矩阵摄像机坐标系和世界坐标系之间的转换矩阵M，并通过坐标转换完成增强现实信息显示。

10.一种面向工业场景的投影式增强现实跟踪显示系统，其特征在于：包括，

传感模块(100)设置于装配场景的工作区域上方，用于采集深度数据；

计算机模块，所述计算机模块包括视点跟踪模块(200)和目标跟踪模块(400)，与所述传感模块(100)连接，用于处理所述深度数据并输出投影信息；

投影模块(300)，所述投影模块(300)与所述计算机模块连接，用于将所述投影信息进行增强现实显示。

Images