CN110569849A - 一种基于ar眼镜的多仪表同时识别及空间定位方法及系统 - Google Patents

Abstract

本发明公开了一种基于AR眼镜的多仪表同时识别及空间定位方法，包括如下步骤：步骤S1，仪表图像获取；步骤S2，仪表位置和类型的确定；步骤S3，仪表图像识别：服务器端执行图像识别算法。步骤S4，匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果；步骤S5，识别图图像优化；步骤S6，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；步骤S7，识别跟踪：完成特征点提取之后，开始启动识别跟踪，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；步骤S8，内容展示：生成仪表数据的虚拟图像并加载在终端设备显示画面中。本发明仪表识别率高，运行成本低，数据监测效率高。

Description

一种基于AR眼镜的多仪表同时识别及空间定位方法及系统

技术领域

本发明涉及增强现实技术领域，具体而言，本发明涉及一种基于AR眼镜的多仪表同时识别及空间定位方法及系统。

背景技术

在生产活动中，各类设备运行情况的检查是非常重要的一项工作。有些设备是24小时不间断工作的，比如输电线路上的设备，输水线路上的设备，保证供应动力的发电设备等。为了对这些大型设备或者大型车间或者工矿企业厂区进行检查，通常会在设备或者线路上设置各种类型的仪器和仪表，用于监视设备或者管线的运行状态，包括压力表、流量计、真空计、温度计、转速表、水位计、电压表、电流表等。在日常的巡检维护中，主要是依靠巡检员对这些仪器仪表的读数进行抄录，并根据操作规程上规定的合理数值范围来判断该指标是否出现异常。

这种人工检查的方式，最大的问题是效率比较低，人眼分辨仪表读数速度比较慢，有了读数之后再将其记录也比较费时，如果遇到不熟悉正常数据范围的工作人员，则将读取的数值与手册中正常数值进行对比浪费时间，效率进一步降低。

原有的解决方案中，更多仅仅是用图像识别算法，将仪表仪盘的数据采集并上传至后台服务器中，并通过传统的IT方式展现出来，例如电脑或者手机、pad等设备上查看，并后台做保存和统一的处理。如中国专利CN103927507A。其缺点是数据信息无法和真实环境中的仪表仪盘做结合，展现的不够直观，有很多场景下，巡检人员只能从仪表仪盘上看到当下的数据，并无法得知更多的有用信息，比如说，目前这个数值是否正常，如果已经属于异常数值的话，会有哪些风险情况，针对这类异常的情况，有哪些解决方法，等等。工作人员必须是经验丰富的工人，才能很快的判断下一步的操作及应对措施。如果想要得到除仪表仪盘数据以外的其他辅助信息，还需要借助其他电子工具进行操作和查阅，使用起来不是很便捷。这种问题在多个仪表仪盘的集中在一起的情况下会更为凸显(例如整面机柜上有大量的仪表仪盘，有些仪表外观还比较接近，容易混淆)，观察并分析仪表状况变得尤其困难。

为了解决上述问题，一些新技术被引入设备或厂区的巡检中。比如智能设备(比如IOT传感器)的出现，使得大型设备和厂区的巡检模式发生了一定改变，在智能化工厂中，每一个需要监测的节点，都设置了IOT传感器，通过这些传感器，可以将设备或者管线的工作情况，实时的传送到后台服务器，并且可以采集多种数据。

再比如增强现实(Augmented Reality，简称AR)技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

比如中国专利CN108413997A就公开了这样一种增强现实仪表系统，使用智能传感设备代替了传统的仪器仪表，采集数值后将其以虚拟图像方式显示在标签上。但是这个系统的有两个明显的问题：

一是与老设备、老厂区的契合度不够。如果是全新修建的工厂，从设计阶段就考虑到IOT传感器的接入问题，就会比较容易实现，如果是老设备或者老厂区，进行类似的改造的成本会相当惊人。此外，这类系统的建造成本非常高，本身的保养和维护费用也会比较高。同时，智能传感器相比于老式的仪器仪表，虽然精度和反应灵敏度提升了，但是本身的损坏率或者错误率也会比较高，受外界环境和设备内部环境的影响非常大。

第二个问题是，显示传感器数值的虚拟图像与实际设备的位置固定效果不是很好。现有AR应用场景中为实现虚实结合，即将现实画面和虚拟模型同时显示到移动设备中并且虚拟模型要始终保持在现实画面的固定位置，需要一套帮助移动设备进行实时空间定位的解决方案，常见的解决方案有两种：

1)SLAM(Simultaneous Localization and Mapping)，同步定位与建图，进行实时空间定位的原理：

定位：移动设备通过摄像头获取并分析实时画面，从画面中提取出特征点，通过特征点的变化计算设备在环境中的位置，

建图：移动设备在移动中不断提取特征点，通过特征点间的位置关系构建周围环境的特征地图，

场景跟踪：将实时画面的特征点与构建的特征地图进行匹配实现实时空间定位。

2)Image Target，图像识别

图像预处理：将要识别的图像提前进行特征点提取，并基于这些特征点建立虚拟空间坐标系，

图像识别跟踪：移动设备通过摄像头获取并分析实时画面，从画面中提取出特征点，并与预处理过的目标特征进行匹配，匹配成功后实时计算移动设备的虚拟空间位置。

然而，SLAM虽然本身是一套比较完善的空间定位及跟踪的方法，但是只要终端设备移动，就会不断采集数据，采集量大，对终端设备的计算能力要求比较高，在移动设备硬件及算力不足的情况下建图的速度和质量都有明显影响，从而导致定位不准和跟踪延迟；而Image Target因为提前准备识别图像，所以不需要设备进行实时建图，实时计算量和对设备算力的要求都会小很多，但提前准备识别图像耗时较长因此导致只能在固定场景中使用，并且对场景图像要求比较高，当场景在发生改变、污染、光线变化的情况下会影响使用。

从CN108413997A目前公开的内容来看，其基本上采用的是前面一种方法，即利用AR设备自身的空间识别能力，实现虚拟图像和实际图像的绑定。但是正如前面所说的，这种方法对AR终端的计算能力要求较高，在晃动比较大或者图像内容比较丰富导致设备算力不足时，就会出现虚拟图像不稳定、有延迟或者位置漂移的问题。

因此，找到一个仅需对现有设备或者厂区进行有限度升级就能得到一个相对较好的检测效果和监测效率的巡检方法变的十分有必要。

发明内容

本发明旨在解决上述的技术缺陷，提供一种基于AR眼镜的多仪表同时识别及空间定位方法，既可以实现仪表数据的自动识别，又可以实现仪表数据虚拟图像在固定位置的显示。

本发明提供了一种基于AR眼镜的多仪表同时识别及空间定位方法，包括如下步骤：

步骤S1，仪表图像获取：利用AR眼镜的摄像设备获得场景图像用于识别仪表读数，所述场景图像包括仪表位置识别图；

步骤S2，仪表位置和参数的确定：将步骤S1中获得的图像传输给后台服务器，根据所述仪表位置识别图确定所述场景图像中仪表的位置和参数；

步骤S3，仪表图像数值识别：服务器端执行图像识别算法，根据仪表盘刻度指示范围的起点和终点，以及指针图形的指向角度这三个因素，计算出这个指针指向刻度条的百分比作为结果返回给前端。

步骤S4，前端获得后端计算的结果后，再匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果；

步骤S5，定位识别图图像优化：对AR眼镜获得的场景定位识别图图像，读取其图像像素信息，并进行优化矫正保存；

步骤S6，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；

步骤S7，识别跟踪：完成特征点提取之后，开始启动识别跟踪，首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；

步骤S8，内容展示：生成仪表数据的虚拟图像并加载在终端设备显示画面中，所述虚拟图像始终都会绑定在实体设备的固定位置进行显示。

进一步的，步骤S3中，所述仪表盘为多个。

进一步的，步骤S8中，所述虚拟图像可以是下列项目中的一项或者几项，包括仪表读数、正常读数范围、环比上次检测结果、近期检测数据趋势图。

进一步的，步骤S6中，根据步骤S5优化后的图像像素信息，通过算法提取出图片纹理特征点，包括特征点群及位置关系等信息，构建x坐标范围在[l，r]、y坐标范围在[b，t]、z坐标范围在[n，f]的视域体，建立视域体投影矩阵：

建立若干特征点的二维坐标数组T＝{(p1，p2)，(p3，p4)，(p5，p6)....}，将二维特征点转换为齐次坐标T1＝{(p1，p2，N，1)，(p3，p4，N，1)，(p5，p6，N，1)....}，其中N为空间点距离终端设备屏幕的距离；之后绑定模型用的空间坐标P＝T1*Tj-1，即齐次坐标与投影矩阵的逆矩阵相乘所得；该步骤中可以采集若干个特征点群，设定出一个原点，确定每个特征点群和这个原点的位置和角度，构建特征点目标信息。

进一步的，在步骤S7的匹配过程中，移动设备摄像头的拍摄位置朝向步骤S1中捕捉的真实场景图像所在的区域，使真实场景与系统内保存的图像信息进行匹配，如果由于拍摄位置偏差没有匹配成功，可以移动设备的位置，当摄像头识别出特征点，系统会自动进行匹配，当稳定达到匹配阈值即成功匹配。

进一步的，在步骤S7中成功匹配后，根据特征点群位置中心建立空间虚拟坐标系，根据特征点群的位置变化，通过单应性变换实时计算与之匹配的矩阵投影角度并实时更新移动设备在空间坐标系中的位置。

进一步的，在步骤S8中，由于终端设备在虚拟坐标系内的移动，都会通过步骤S7不停的计算位置，实时更新移动设备在空间坐标系中的位置，例如距离和角度，通过所述位置，就可以计算出观察者应该从其所在角度观察到的虚拟图像，在此过程中虚拟图像始终都会在终端屏幕中间进行展示。

本发明还包括一种用于实施所述基于AR眼镜的多仪表同时识别及空间定位方法的增强现实系统，包括：

图像获取模块(100)，启动终端摄像头后用于捕捉场景图像；

图像优化模块(200)，其通过读取图像获取模块中的场景图像，读取其图像像素信息，并进行优化；

特征点提取模块(300)，其根据通过图像优化模块优化后图像的图像像素信息，提取出图片纹理特征点，包括特征点群及位置关系；

识别跟踪模块(400)，其通过获取到相机实时画面，进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群位置中心建立空间坐标系，计算移动设备在坐标系中的初始位置，并根据特征点群的位置变化，实时计算与之匹配的矩阵投影角度并更新移动设备在坐标系中的位置；

显示模块(500)，生成仪表数据的虚拟图像并加载在终端设备显示画面中，所述虚拟图像始终都会绑定在实体设备的固定位置进行展示。

进一步的，还包括服务器端的仪表位置和类型确定模块：用于将图像获取模块(100)中获得的图像传输给后台服务器，根据仪表位置识别图判断图像中仪表的位置和类型；

进一步的，还包括仪表图像识别模块，用于在服务器端执行图像识别算法，将仪表刻度盘的指示范围的起点和终点，以及指针图形的指向角度这三个因素，计算出这个指针指向刻度条的百分比作为结果返回给前端；前端数据匹配模块，用于获得后端计算的结果后，再匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果。

本发明的有益效果是：

本发明无需对现有设备及厂房做出大的改造，仅需增加部分AR系统设备即可，充分利用了老式仪表成本低廉、可以长时间恶劣环境运行的优点。全部采用无线连接方式，可以认为在厂房内部无需增加任何硬件设备，相比采用全IOT传感的技术方案，可行性更好，成本更低，尤其在对老厂房老线路进行技改升级中优势明显，达到了运维成本和监测效率的最佳平衡。

本发明通过上述基于AR眼镜的多仪表同时识别方法，可以通过头戴AR设备自身的硬件实现仪表数据的采集，在经过服务器的比对分析之后，实现对数据读取和记录的自动化，在有巡检人员参与的情况下，巡检人员可以将肉眼所见的仪表读数与服务器识别后的仪表读数进行对比，增加了数据的准确性，几乎可以做到100％正确。

本发明通过上述基于AR眼镜的多仪表虚拟图像空间定位方法，可以将读数以虚拟图像的方式回传给AR设备，并且实现仪表盘数据虚拟图像的AR固定位置展示。传统未经定位的AR展示，如果终端设备(比如AR眼镜)移动范围过大比如向下低头或向上抬头，展示的虚拟图像就会移动出手机屏幕，而本发明通过改进计算方法，可以将虚拟图像定位在AR眼镜第一视野画面的固定位置，通常我们将数值虚拟图像直接绑定在对应的仪表盘上，这样即使较大幅度移动头部，需要监测设备的仪表数值的虚拟图像都会始终固定显示在实际的仪表盘上，也就是在终端设备中的固定位置进行展示。用AR硬件设备底层的空间识别能力，加上自主研发的图片识别方式定位虚拟辅助信息内容，比原有的方案提高了虚拟内容的稳定性和位置准确度，并且当工作人员视野脱离开识别图片时，虚拟内容依然不会丢失，还会在最初绑定的地方显示。大大减少工作人员重复识别图片绑定虚拟内容的繁琐操作，提高工作效率。

而在设备辅助维修方面，通过本发明可以把识别到的仪表数值的虚拟图像定位在真实设备旁边，同时，在服务器里面还存储有该特定仪表的正常读数范围，服务器的计算单元会自动将读取到的数值与正常数值范围进行比较，如果在这个范围内，则会直接提示该读数正常，或者在虚拟图像中显示正常数值。此外，服务器还可以将该仪表最近一段时间的读数显示给巡检人员，以帮助其判断目前读数是否处于临界状态，是否有不正常的走势等情形，以便做出下一步判断和操作。此外，还可以完成巡检人员和服务器端的互动，随时调用服务器端存储的各种资料，即使是没有经验的人员，也可以在巡检过程中进行实际操作的学习。

利用AR硬件设备对多个仪进行表识别，再通过空间识别和绑定将辅助信息显示在对应仪表仪盘上，可以帮助一线的工作人员，更直观、生动、清晰、全面的了解仪表仪盘的运行状态、潜在风险、解决方案等，同时也降低了人力检测仪表时的误操作率，提高了多块仪表同时识别所需的时间。用户带着增强现实的眼镜(以Hololens为例)，站到一整面设有仪表仪盘的机柜面前，通过AR眼镜的识别算法，很快速的将面前多块仪表仪盘的数值、是否正常甚至该数据的用途意义、潜在风险、历史情况等等附加信息，都可以转化为直观的三维图形或者动态效果、文字或视频，并绑定在每个对应的仪表仪盘上，让工作人员可以一目了然看清楚想要了解的所有信息，相当于在每块表盘上都附带一个完整信息的电子手册，每个电子手册都可以根据对应的仪表定制化，工作人员想了解哪块仪表就去了解哪块就好。除此外，还可以通过AR眼镜跟仪表仪盘数据、图表、视频等直接交互，方便工作人员整理记录、更新信息，所有的信息都可直接跟后台服务器数据库传输。

本发明在图像识别的基础上加以优化形成一种普适性更强的效果更优的方案，利用平面图像获取使用场景的图形信息，使跟踪效果更接近于对2D图像的跟踪，达到更优的跟踪效果，移动设备配置高低都可以使用，不影响运行速度，可广泛应用于巡检、辅助维修、多仪表同时识别展示等领域。

附图说明

图1为一个实施例的基于AR眼镜的多仪表同时识别及空间定位方法的流程图；

图2为AR终端执行空间定位的方法流程图；

图3为多仪表同时识别并显示虚拟图像的示意图；

图4为空间定位中特征点提取步骤中记录特征点群及位置关系的示意图；

图5为根据特征点位置计算与之匹配的矩阵投影角度更新其在坐标系中的位置的方法图；

图6为根据特征点群的位置变化实时计算与之匹配的矩阵投影角度并更新移动设备在坐标系中的位置；

图7为基于AR眼镜的多仪表同时识别及空间定位的增强现实系统模块图。

具体实施方式

在本发明实施例中，如图1所示，本发明提供一种基于AR眼镜的多仪表同时识别及空间定位方法，包括如下步骤：

步骤S1，仪表图像获取：利用AR眼镜的摄像设备获得场景图像用于识别仪表读数，所述场景图像包括仪表位置识别图，以及该视野范围内的所有仪表仪盘；

步骤S2，仪表位置和参数的确定：将步骤S1中获得的图像传输给后台服务器，根据所述仪表位置识别图确定所述场景图像中仪表的位置和参数；仪表位置识别图实际上就是一张名片，上面可以载有二维码等标识性图案，服务器在检测到某个特定的图案或者二维码时，就会与一个载有图像内所有仪表基本信息的数据表建立一一对应的联系。比如拍摄图像内的二维码显示这张图片内的仪表是位置A的仪表群，那么服务器就会自动调取预先存储好的位置A仪表群的基本信息，包括位置A在厂房的空间位置坐标，该仪表群包括的仪表个数，每块仪表的空间坐标，类型，单位数值，刻度范围，指针形状长度，正常数值范围等相关信息。

步骤S3，仪表图像数值识别：服务器端执行图像识别算法，根据仪表盘刻度指示范围的起点和终点，以及指针图形的指向角度这三个因素，计算出这个指针指向刻度条的百分比作为结果返回给前端。这里主要是利用图像识别算法，将拍摄的图像经过降噪，提高对比度，去除背景，提取、分析和对比等操作，得到这三个核心要素并进行计算。这里进行的比对主要是与服务器中预先存储的仪表信息进行对比。

步骤S4，前端获得后端计算的结果后，再匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果。每个仪表的基本信息都已经在服务器中存储好，位置在哪里，刻度范围，单位等，直接调用即可。比如计算出一块仪表的指针图像中的指针指向刻度盘20％的位置，相对于识别图的坐标位置为(X，Y)，再匹配预先设定好的该位置仪表群基本信息，显示该位置在厂房的入口处，同一视线范围内共有10块仪表，包括表A、表B……等，其中，表A坐标位置为(X，Y)，是左边一排仪表的第二块，与采集图像中仪表的位置相吻合，对应信息为表A是压力测量表，量程为4Mpa(兆帕)，得出最终的仪表数据结果，当前表A读数为0.8Mpa(兆帕)；处于正常压力范围；上次测量值为0.8Mpa(兆帕)，无变化；近一个月平均读数0.8Mpa(兆帕)，处于稳定工作状态。

步骤S5，定位识别图图像优化：对AR眼镜获得的场景定位识别图图像，读取其图像像素信息，并进行优化矫正保存；

在实际获取图像的时会发现，拍照时的角度和实际想获取的平面往往存在角度偏差，比如想获取一张垂直图像，但移动终端设备未必是与待拍摄面垂直来拍摄截取图片的，这就造成获取到的图片有一定的形变，在获得场景图像后，同步读取图片像素信息，为了保证最终图像质量，根据变形的姿态对线框内的图片进行优化矫正，例如把窄边的像素点根据计算的结果重新拉伸调整，根据各个轴的角度对线框进行旋转并记录旋转后的线框四个角在屏幕上的位置，通过优化矫正将图像还原成正面观察时正常的平面状态图像形状，经过优化矫正消除形变后的图像，与移动终端设备与待拍摄水平面平行时拍摄的效果相同。

我们利用自主研发的二维图像识别及绑定的算法，将虚拟的辅助信息展示内容，绑定在识别图的位置上，例如我们在一整面仪表仪盘的机柜旁边贴上一张场景定位识别图，通过图像绑定算法，将虚拟图像内容绑在场景定位识别图上。

最后根据之前保存的线框位置对图片进行裁剪，获取新的图像信息并保存。

步骤S6，特征点提取：根据优化后图像的信息，提取出图片纹理特征点，包括特征点群及位置关系，构建特征点目标信息；

针对步骤S5优化后的图片，根据图像像素信息，通过算法提取出图片纹理特征点，包括特征点群及位置关系等信息，构建x坐标范围在[l，r]、y坐标范围在[b，t]、z坐标范围在[n，f]的视域体，建立视域体投影矩阵：

建立若干特征点的二维坐标数组T＝{(p1，p2)，(p3，p4)，(p5，p6)....}，将二维特征点转换为齐次坐标T1＝{(p1，p2，N，1)，(p3，p4，N，1)，(p5，p6，N，1)....}，其中N为空间点距离终端设备屏幕的距离；之后绑定模型用的空间坐标P＝T1*Tj-1，即齐次坐标与投影矩阵的逆矩阵相乘所得；该步骤中可以采集若干个特征点群，设定出一个原点，确定每个特征点群和这个原点的位置和角度，构建特征点目标信息。

步骤S7，识别跟踪：完成特征点提取步骤之后，开始启动识别跟踪算法，算法首先获取到相机实时画面，并进行实时画面特征点识别，将实时画面的特征点信息与步骤S6中所构建的目标信息进行匹配，匹配过程中，移动设备摄像头的拍摄位置朝向步骤S1中捕捉的真实场景图像所在的区域，使真实场景与系统内保存的图像信息进行匹配，如果由于拍摄位置偏差没有匹配成功，可以移动设备的位置，当摄像头识别出特征点，系统会自动进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群位置中心建立空间虚拟坐标系，具体算法实现上要引入单应性的概念，单应性是几何中的一个概念，是一个从实射影平面到射影平面的可逆变换，直线在该变换下仍映射为直线；在计算机视觉领域中，空间中同一平面的任意两幅图像可以通过单应性关联在一起，比如一个物体可以通过旋转相机镜头获取两张不同的照片，这两张照片的内容不一定要完全对应，部分对应即可，可以把单应性设为一个二维矩阵M，那么其中一张照片的特征点坐标乘以M就是另一张照片的特征点坐标。单应性有着广泛的实际应用，比如图像校正、图像对齐或两幅图像之间的相机运动计算(旋转和平移)等，通过旋转和平移即可确定相机和图像的相对位置关系。

在数学里齐次坐标，或投影坐标是指一个用于投影几何里的坐标系统，如同用于欧氏几何里的笛卡儿坐标一样。如果点Q到成像仪上的点q的映射使用齐次坐标，这种映射可以用矩阵相乘的方式表示，进行如下定义：则可以将单应性简单的表示为：参数s为根据实际工况定义的单应性尺度比例，可以为任意尺度的比例，H为用于定位观察的物体平面的物理变换和使用摄像机内参数矩阵的投影。物理变换部分是与观测到的图像平面相关的部分旋转R和部分平移t的影响之和，表示如下：这里R为3*3大小的矩阵，t表示一个3维的列矢量，摄像设备内参数矩阵用M表示，那么我们重写单应性如下：单应性是一个平面上到另外一个平面的映射，那么上述公式中的Q，就可以简化为平面坐标中的Q′，即我们使Z＝0。即物体平面上的点我们用x，y表示，拍摄显示设备平面上的点，也用二维点表示，当去掉了Z方向的坐标，那么相对于旋转矩阵R，R可以分解为R＝[r1 r2 r3]，参考如下的推导：

其中H为：H＝sM[r1 r2 t]，是一个3×3大小的矩阵，故最终的单应性矩阵可表示如下：

正如图6所示，根据特征点群的位置变化，通过单应性变换实时计算与之匹配的矩阵投影角度并实时更新移动设备在空间坐标系中的位置。

步骤S8，内容展示：生成仪表数据的虚拟图像并加载在终端设备显示画面中，所述虚拟图像始终都会绑定在实体设备的固定位置进行显示。

单纯的图像识别算法，需要每一帧都计算目标识别图在环境中的位置，并且每一帧都对应的位置上渲染虚拟的内容，所以当巡检人员的视野不停移动的时候，会有两个问题：一是底层算法在每一帧计算出来的位置数值可能会有一定的误差，而且误差会随着前面存在的误差而逐渐放大，在屏幕上可以观察到虚拟图像内容轻微抖动的现象。二是当巡检人员的视野脱离这个识别图范围的时候，虚拟图像内容就会丢失，需要用户先将摄像头对准这个识别图扫描一下，然后才能正常显示之前设定好的虚拟内容。

在这种情况下，本发明先用图像识别的方式把虚拟内容定位到指定的位置上，作为初始位置的定位。再切换调用Hololens底层的空间识别算法，这个算法通过每一帧获取到摄像头的画面，提取出某个特征点，再通过对比这个特征点的每一帧的位置变化，构建出一个有纵深感的虚拟空间坐标系，最后让虚拟物体绑定在这个坐标系中，从而达到Hololens识别整个工作空间并绑定虚拟内容的目的。

这样的话，当工作人员通过图片的识别，确定了虚拟内容的初始位置，再通过Hololens的空间识别及绑定能力，将虚拟内容时刻绑定在指定位置上，即使后续工作人员视野脱离了最初的识别图，虚拟内容依然稳定的在空间中的指定位置。空间定位的实现上，利用了Hololens底层的空间识别能力，加上我们自主研发的图像识别及绑定的能力，两者结合在一起，应用在实际工作的一线环境中，实现分别将多个仪表仪盘的辅助信息稳定、准确的绑定在对应的空间位置上。

步骤S5至S7中所做的工作就是为了在内容展示阶段可以将虚拟图像放在固定位置便于观察，由于AR影像一直定位在固定点，因此终端设备在虚拟坐标系内的移动，都会被不停的计算位置，实时更新移动设备在空间坐标系中的位置，例如距离和角度，通过所述位置，就可以计算出观察者应该从这个角度看到的虚拟画面图像，比如计算出来AR眼镜是在仪表上方的，用户就会看到从上往下看的仪表画面，虚拟图像始终都会绑定在实体设备的固定位置进行显示。

图7为一个实施例的基于AR眼镜的多仪表同时识别及空间定位方法的显示系统模块图。

一种基于AR眼镜的多仪表同时识别及空间定位方法的增强现实系统，包括：图像获取模块100、图像优化模块200、特征点提取模块300、识别跟踪模块400、显示模块500。

图像获取模块100，启动终端摄像头后用于捕捉场景图像；

图像优化模块200，其通过读取图像获取模块中的场景图像，读取其图像像素信息，并进行优化；

特征点提取模块300，其根据通过图像优化模块优化后图像的图像像素信息，提取出图片纹理特征点，包括特征点群及位置关系；

特征点提取模块300针对图像优化模块200优化后的图片，根据图像像素信息，通过前述方法中的步骤S6，即特征点提取步骤中的算法提取出图片纹理特征点，包括特征点群及位置关系等信息，建立投影矩阵，建立若干特征点的二维坐标数组，将二维特征点转换为齐次坐标，之后绑定模型用的空间坐标P＝T1*Tj-1，设定出一个原点位置，确定每个特征点群和这个原点的位置和角度，构建特征点目标信息。

识别跟踪模块400，其通过获取到相机实时画面，进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群位置中心建立空间坐标系，计算移动设备在坐标系中的初始位置，并根据特征点群的位置变化，实时计算与之匹配的矩阵投影角度并更新移动设备在坐标系中的位置；

识别跟踪模块400，其在特征点提取模块300完成特征点提取构建好特征点目标信息之后，通过获取到相机实时画面，进行实时画面特征点识别，开始启动识别跟踪算法，算法首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与特征点提取模块300所构建的目标信息进行匹配，匹配过程中，移动设备摄像头的拍摄位置朝向图像获取模块100捕捉真实场景图像时所在的区域，使真实场景实时画面与系统特征点提取模块300内保存的图像信息进行匹配，如果由于拍摄位置偏差没有匹配成功，可以移动设备的位置，当摄像头识别出特征点，识别跟踪模块400会自动进行匹配，当稳定达到匹配阈值即成功匹配，根据特征点群的位置变化，识别跟踪模块400采用前述步骤S7，即识别跟踪步骤中的方法实时更新移动设备在空间坐标系中的位置。

显示模块500，生成仪表数据的虚拟图像并加载在终端设备显示画面中，所述虚拟图像始终都会绑定在实体设备的固定位置进行展示。

显示模块500生成产品AR影像并加载在设备显示画面中，由于识别跟踪模块400实时更新移动设备在空间坐标系中的位置，使得内容展示阶段可以将虚拟图像放在固定位置便于观察和展示，由于AR影像一直定位在固定点，因此终端设备在虚拟坐标系内的移动，都会被识别跟踪模块400不停的计算位置，例如距离和角度，通过该位置，就可以计算出观察者应该从这个角度看到的虚拟画面，比如计算出来AR眼镜是在实际仪表上方的，显示模块500就会显示从上往下看的仪表数据虚拟图像画面，虚拟图像始终都会绑定在实体设备的固定位置进行显示。

此外，前述增强现实系统还包括服务器端的仪表位置和类型确定模块：用于将图像获取模块100中获得的图像传输给后台服务器，根据仪表位置识别图判断图像中仪表的位置和类型；以及仪表图像识别模块，用于在服务器端执行图像识别算法，将仪表刻度盘的指示范围的起点和终点，以及指针图形的指向角度这三个因素，计算出这个指针指向刻度条的百分比作为结果返回给前端；前端数据匹配模块，用于获得后端计算的结果后，再匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果。

应该理解的是，虽然图1的流程图中的各个步骤标注有箭头，但是各个步骤并不是必然按照箭头指示的顺序依次执行。除非本说明书中有明确说明，这些步骤的执行并没有明确的顺序限制，其可以以其他的顺序进行。而且，图1中的各个步骤可以包括多个子步骤，这些子步骤也不必然是按序依次执行，可以与其他步骤或者子步骤轮流或者交替进行。

以上仅是本发明的部分实施方式，对于本领域技术人员来说，在不脱离本发明原理的情况下，可以进行若干改进，这些改进也应当视为本发明的保护范围。

Claims (10)

1.一种基于AR眼镜的多仪表同时识别及空间定位方法，包括如下步骤：

步骤S1，仪表图像获取：利用AR眼镜的摄像设备获得场景图像用于识别仪表读数，所述场景图像包括仪表位置识别图；

步骤S2，仪表位置和参数的确定：将步骤S1中获得的图像传输给后台服务器，根据所述仪表位置识别图确定所述场景图像中仪表的位置和参数；

步骤S3，仪表图像数值识别：服务器端执行图像识别算法，根据仪表盘刻度指示范围的起点和终点，以及指针图形的指向角度这三个因素，计算出这个指针指向刻度条的百分比作为结果返回给前端。

步骤S4，前端获得后端计算的结果后，再匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果；

步骤S5，定位识别图图像优化：对AR眼镜获得的场景定位识别图图像，读取其图像像素信息，并进行优化矫正保存；

步骤S6，特征点提取：根据优化后图像的图像像素信息，提取出图片纹理特征点，构建特征点目标信息；

步骤S7，识别跟踪：完成特征点提取之后，开始启动识别跟踪，首先获取到相机实时画面，并进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群的位置变化，实时计算并更新移动终端设备在坐标系中的位置；

步骤S8，内容展示：生成仪表数据的虚拟图像并加载在终端设备显示画面中，所述虚拟图像始终都会绑定在实体设备的固定位置进行显示。

2.根据权利要求1所述的方法，其特征在于，步骤S3中，所述仪表盘为多个。

3.根据权利要求1所述的方法，其特征在于，步骤S8中，所述虚拟图像可以是下列项目中的一项或者几项，包括仪表读数、正常读数范围、环比上次检测结果、近期检测数据趋势图。

4.根据权利要求1所述的方法，其特征在于，步骤S6中，根据步骤S5优化后的图像像素信息，通过算法提取出图片纹理特征点，包括特征点群及位置关系等信息，构建x坐标范围在[l，r]、y坐标范围在[b，t]、z坐标范围在[n，f]的视域体，建立视域体投影矩阵：

建立若干特征点的二维坐标数组T＝{(p1，p2)，(p3，p4)，(p5，p6)....}，将二维特征点转换为齐次坐标T1＝{(p1，p2，N，1)，(p3，p4，N，1)，(p5，p6，N，1)....}，其中N为空间点距离终端设备屏幕的距离；之后绑定模型用的空间坐标P＝T1*Tj-1，即齐次坐标与投影矩阵的逆矩阵相乘所得；该步骤中可以采集若干个特征点群，设定出一个原点，确定每个特征点群和这个原点的位置和角度，构建特征点目标信息。

5.根据权利要求1所述的方法，其特征在于，在步骤S7的匹配过程中，移动设备摄像头的拍摄位置朝向步骤S1中捕捉的真实场景图像所在的区域，使真实场景与系统内保存的图像信息进行匹配，如果由于拍摄位置偏差没有匹配成功，可以移动设备的位置，当摄像头识别出特征点，系统会自动进行匹配，当稳定达到匹配阈值即成功匹配。

6.根据权利要求5所述的方法，其特征在于，在步骤S7中成功匹配后，根据特征点群位置中心建立空间虚拟坐标系，根据特征点群的位置变化，通过单应性变换实时计算与之匹配的矩阵投影角度并实时更新移动设备在空间坐标系中的位置。

7.根据权利要求1所述的方法，其特征在于，在步骤S8中，由于终端设备在虚拟坐标系内的移动，都会通过步骤S7不停的计算位置，实时更新移动设备在空间坐标系中的位置，例如距离和角度，通过所述位置，就可以计算出观察者应该从其所在角度观察到的虚拟图像，在此过程中虚拟图像始终都会在终端屏幕中间进行展示。

8.一种用于实施如权利要求1-7所述的基于AR眼镜的多仪表同时识别及空间定位方法的增强现实系统，包括：

图像获取模块(100)，启动终端摄像头后用于捕捉场景图像；

图像优化模块(200)，其通过读取图像获取模块中的场景图像，读取其图像像素信息，并进行优化；

特征点提取模块(300)，其根据通过图像优化模块优化后图像的图像像素信息，提取出图片纹理特征点，包括特征点群及位置关系；

识别跟踪模块(400)，其通过获取到相机实时画面，进行特征点识别，将实时画面的特征点信息与目标信息进行匹配，当稳定达到匹配阈值即成功匹配，并根据特征点群位置中心建立空间坐标系，计算移动设备在坐标系中的初始位置，并根据特征点群的位置变化，实时计算与之匹配的矩阵投影角度并更新移动设备在坐标系中的位置；

显示模块(500)，生成仪表数据的虚拟图像并加载在终端设备显示画面中，所述虚拟图像始终都会绑定在实体设备的固定位置进行展示。

9.根据权利要求8所述的增强现实系统，其特征在于，还包括服务器端的仪表位置和类型确定模块：用于将图像获取模块(100)中获得的图像传输给后台服务器，根据仪表位置识别图判断图像中仪表的位置和类型。

10.根据权利要求8所述的增强现实系统，其特征在于，还包括仪表图像识别模块，用于在服务器端执行图像识别算法，将仪表刻度盘的指示范围的起点和终点，以及指针图形的指向角度这三个因素，计算出这个指针指向刻度条的百分比作为结果返回给前端；前端数据匹配模块，用于获得后端计算的结果后，再匹配预先设定好的仪表基本对应数据，得出最终的仪表数据结果。