CN108168555B - 基于坐标定位的操作指引方法和系统 - Google Patents

Abstract

本申请涉及基于坐标定位的操作指引方法和系统。基于坐标定位的操作指引方法包括以下步骤：在待操作空间内选定固定位置的定位辅助图；对待操作空间进行图像定位扫描，提取操作空间内部的特征点，生成图像定位文件；在待操作空间的指定物体上放置包含提示信息的至少一个虚拟指引标记；操作人员进入后，系统载入生成的图像定位文件和虚拟指引标记，在待操作空间内根据看到的定位辅助图进行定位，获得操作人员的位置和观测角度；操作人员在系统的指引下寻找并播放虚拟指引标记。本申请具有的有益技术效果为：成本低、提示信息丰富、识别率高、误差小。

Description

基于坐标定位的操作指引方法和系统

技术领域

本申请涉及一种基于坐标定位的操作指引方法和系统，适用于工业维修或检查的技术领域。

背景技术

在工业领域，维修或检查人员在检查和操作复杂设备时，经常会出现不知道如何具体操作的情况，尤其是对于新入行的员工来说。通常，只能是一边翻看说明书，一边操作，但这样的操作体验非常差。为了节省时间和精力，经常出现操作者不看说明书，凭模糊记忆发生误操作的情况。根据现场操作人员反应，真正能帮助现场人员的主要手段就是在需要维修或检查的地方放置操作指引信息。这些信息可以给操作员最直观的指导，但现实中不可能将实体形式的操作指引信息到处放置。而且，即便放置一些实体形式的操作指引信息，维修或检查人员也可能无法发现，从而导致一些维修或检查项目的遗漏。

目前，有个别报道中采用图像识别技术在某个物体上放置对应的信息。但是采用图像识别技术存在以下几个方面的缺陷：

(1)对于三维物体来说，一般通过图像识别某物体需要上千张图片样本学习才能达到90％的识别率，而且对光线等环境条件要求苛刻；如果要挨个识别空间内的不同物体，其计算工作量非常巨大；

(2)在碰到两个外观相似甚至完全相同的零件时，靠图像就无法识别这两个零件；

(3)由于图片样本是二维形式，所以用其对三维物体进行识别时，其难度非常大，需要采集该三维物体的多个角度的二维图片样本作为学习基础；

(4)对于外部不可见的隐藏物体来说，图像识别技术无法应用；例如对于放在柜子中的物体，无法采用图像识别技术在其上放置提示信息。

因此，现有技术中需要一种能够高效、方便地向维修或检查人员提供操作指引的方法。

发明内容

本申请正是为了克服现有技术中存在的上述缺陷，提出了一种基于坐标定位的操作指引方法和系统，其操作方便、成本低，能够方便地为操作人员提供虚拟的操作信息指引。

本申请的第一方面，涉及一种基于坐标定位的操作指引方法，包括以下步骤：

(1)在待操作空间内选定固定位置的定位辅助图；

(2)对待操作空间进行图像定位扫描，提取操作空间内部的特征点，生成图像定位文件；

(3)在待操作空间的指定物体上放置包含提示信息的至少一个虚拟指引标记；

(4)操作人员进入后，系统载入生成的图像定位文件和虚拟指引标记，在待操作空间内根据看到的定位辅助图进行定位，获得操作人员的位置和观测角度；

(5)操作人员在系统的指引下寻找并播放虚拟指引标记。

优选地，当需要进行非现场的远程操作时，通过远程控制终端连接到服务器，并进入摄像头的视角，在某一坐标点上添加虚拟指引标记，或者对已有的虚拟指引标记进行编辑或修改，并将这些编辑或修改信息与该坐标点相关联。

本申请的第二方面，涉及一种利用智能设备进行的操作指引方法，包括以下步骤：

(1)智能设备根据摄像头拍到图像，提取特征点；

(2)智能设备使用特征点匹配算法，与所有定位辅助图进行匹配；

(3)识别出某一定位辅助图以后，智能设备根据最佳匹配位移和最佳匹配旋转角度，确定摄像头在空间的坐标和观测角度；

(4)智能设备根据摄像头的坐标和观测角度，以及物体与摄像头的相对位置关系，向操作人员提供寻找指定物体上的虚拟指引标记的方向提示；

(5)操作人员根据方向提示信息找到预先放置的虚拟指引标记，并播放虚拟指引标记中的提示信息。

优选地，利用智能设备在指定物体上放置虚拟指引标记，并对所有的虚拟指引标记进行管理。还可以使用智能设备进行图像定位扫描，统计并记录空间中适合做定位辅助图的物体图像。

优选地，还可以包括以下技术特征中的至少一个：

(1)当操作人员关注的虚拟指引标记不在当前视野中时，系统给出箭头类的提示，引导操作人员通过旋转和移动来寻找目标标记；

(2)实时显示操作人员和虚拟指引标记之间的位置关系，使得操作人员根据该位置关系提示找到目标标记；

(3)提示信息中包含虚拟指引标记所在位置的周边环境，利用所显示的周边物体和环境向操作人员提供人工校正定位误差和定位错误的手段；

(4)对显示的虚拟指引标记的提示信息的边缘进行分辨性处理以便于操作员观看提示信息；

(5)使用不可见光的颜料绘制定位辅助图，使用可感知不可见光的摄像头进行图像定位。。

本申请的第三方面，涉及一种利用基于坐标定位的操作指引方法进行设备巡检的方法，包括以下步骤：

(1)在待操作的空间内选定固定位置的定位辅助图；

(2)去除待操作的空间内的所有临时物体，只保留位置固定的物体；

(3)对待操作的空间进行图像定位扫描，提取空间内部的特征点，生成图像定位文件；

(4)在待操作的空间内使用智能设备放置巡检任务的虚拟指引标记；

(5)持有操作指引系统的操作人员进入待操作的空间，系统载入巡检空间的图像定位文件和虚拟指引标记；

(6)操作人员根据看到的定位辅助图进行初始定位，获得自己的位置和观测角度；

(7)系统使用运动传感器实时计算操作人员的位移和旋转角度，并将其看到的定位辅助图与图像定位文件中的定位辅助图进行匹配，进行位置和角度的校正；

(8)在获得操作人员的精准位置和观测角度以后，操作人员在系统的指引下寻找并播放虚拟指引标记中的提示信息。

本申请的第四方面，涉及一种基于坐标定位的操作指引系统，包括计算单元、摄像头、运动传感器、显示设备和通讯模块，其中摄像头、运动传感器、显示设备和通讯模块均与计算单元相连接，其特征在于，计算单元包括空间定位计算模块和虚拟指引标记数据库；

所述操作指引系统利用如上所述的操作指引方法进行基于坐标定位的操作指引。

优选地，所述操作指引系统集成在智能设备中，所述智能设备可以是智能眼镜、智能头盔、智能手机或平板电脑。

本申请具有的有益技术效果为：

(1)虚拟指引标记为虚拟的标记，拥有零成本增删的特点，而且可以根据需要，灵活地显示和隐藏。

(2)传统的实物操作指引一般仅限于文字，本申请的操作指引方法和系统所包含的虚拟指引标记的内容更加丰富，还可以是语音、图片、动画、视频、三维物体或三维动画等。

(3)相对于物体识别技术来说，本申请中基于坐标定位来放置虚拟指引标记，其识别成本低、识别率高。首先，本申请最少只需要识别一个定位辅助图就可以完成空间内所有物体的定位，而无需对物体进行挨个识别；其次，对于外观相同或近似的物体来说，本申请可根据坐标的不同，清楚地分辨这两个相同的零件，并分别给出正确的提示；再其次，本申请优选采取的是平面定位辅助图识别技术，相对于三维物体的识别来说，其难度大幅度降低；最后，本申请是基于坐标定位的操作指引方法和系统，其对于隐藏物体来说亦可以清楚地给出指引。

(4)相对于单独使用卫星定位或无线电基站等方法进行定位来说，本申请的定位方法成本低、误差小。另外，卫星定位或无线电基站定位不适用于室内复杂环境，并且只能获得位置信息，难以获得摄像头的观测角度信息。

附图说明

图1显示了根据本申请的基于坐标定位的操作指引方法的操作流程图。

图2显示了根据本申请的基于坐标定位的操作指引系统的组成示意图。

图3显示了本申请中的图像定位的原理图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本申请利用很多工业设备的主要部件相对位置恒定的特点，提供了一种使用图像定位的技术，操作者可使用本申请的操作指引方法和系统，在现实指定坐标上添加并播放提示信息。该方法适用于建筑物、汽车、火车、飞机、工业生产线、设备间等场景。在这些场景下，所有关键物体在空间中的相对位置是固定的。为了使本申请的原理更加清楚地说明，以下先对本申请中使用的专业术语进行解释和说明。

定位辅助图：纹理丰富的，可以提取出足够多个特征点的图片。平面的定位辅助图最为理想，因为平面的辅助图对于特征点匹配和图像定位的效果好于曲面图或者其他不规则形状的物体。需要理解的是，非平面的定位辅助图也可以使用。定位辅助图可以使用易于绘制或悬挂在墙上的鲜亮颜色的标语、风景画等。考虑到抵抗光线不同的干扰，昏暗光线下，鲜亮颜色的标语效果好于风景画。如果真实物体本身纹理丰富，也可直接使用真实物体做定位辅助图。定位辅助图可使图像定位获得精准的初始定位和精准的定位校正。理论上来说，定位辅助图上能够提取的特征点越多，利用其进行定位的准确性也就越大。

图像定位：通过摄像头观察所在空间的三维物体，在纹理足够多的情况下，可根据摄像头看到的定位辅助图，判断自己在空间中的位置和观测角度。具体地，如图3所示，系统从摄像头拍摄的图片中提取出足够多的特征点，当摄像头2拍到的照片中包含某一定位辅助图1时，图像定位模块通过特征点匹配，可识别出该定位辅助图，并算出当前摄像头2和该定位辅助图1的距离和观测角度，从而获知摄像头2在整个空间中的位置。获取摄像头2的位置以后，再通过摄像头2观察空间内的物体3，即可测得物体3相对于摄像头2的坐标，从而确定物体3的坐标，实现对其定位。一般来说，数十米距离范围，通过纹理丰富的定位辅助图可实现厘米级的定位。通过定位辅助图获得初始定位以后，图像定位系统再使用陀螺仪等运动传感器进行位置和角度的追踪。图像定位的弱点在于，面对纹理不足的物体，或是镜子等反射物体会导致定位错误或定位丢失。在定位错误或定位丢失发生后，操作人员可就近寻找其他定位辅助图，通过主动观察高质量的定位辅助图来重新获得准确的空间位置和摄像头观测角度，然后再使用运动传感器追踪定位，并回到原来丢失定位的位置。所使用的定位原理如下：定位辅助图在摄像机内的图片会因为摄像头的距离变化而变大或变小，定位辅助图的图片会因为摄像头角度的变化而发生旋转。本申请中的图像定位方法，根据上述原理计算摄像头和定位辅助图之间的距离和角度。更优选地，双目摄像头，深度摄像头可增强图像定位系统，减少计算量，获得更好的实时性并提高精度。图像定位系统在视野中没有定位辅助图时，借助于运动传感器的帮助也能持续定位。

图像定位文件：选择空间内特征点丰富、易于识别的一个定位辅助图的中心位置作为坐标原点。在制作图像定位文件时，可使用摄像机对整个空间进行持续拍照，图像定位系统根据所拍照片的大小和旋转角度自动判断所拍物体的坐标，并将其中一部分纹理丰富、易于提取特征点的物体照片也作为定位辅助图加以记录，并将所有特征点的坐标存储下来。需要说明的是，本申请中物体的坐标是指相对于坐标原点的坐标，可以选择物体的中心或者物体上某一特征点的坐标作为物体的坐标。优选地，采用平面的定位辅助图进行辅助定位。需要清楚地是，也可以采用曲面或者三维的定位辅助图进行辅助定位，只是计算的工作量会比平面的定位辅助图大。图像定位系统将记录下来的所有定位辅助图上物体的坐标值做成图像定位文件。当再次进入此空间时，载入相应的图像定位文件，系统获知本空间的所有定位辅助图中物体的坐标值，并根据这些定位辅助图上已知坐标的物体进行坐标定位。

虚拟指引标记：放置于待操作空间内的指定坐标上，包含提示信息。提示信息可以是文字、语音、图片、动画、视频、三维物体或三维动画等。例如，可以是待操作空间内某部件的操作方法，例如操作文字指南、操作语音指南、操作视频、操作动画等；也可以是待操作部件及其周围环境的图片、三维虚拟模型等。可以使用但不限于本申请中的图像定位技术，计算操作人员自身的空间位置和观测角度后，在摄像头拍下的真实图片上叠加虚拟指引标记，在指定的空间坐标上播放提示信息。在放置虚拟指引标记时，采用上述定位辅助图和图像定位技术，获得虚拟指引标记所在物体的空间坐标，记录并保存该坐标值。当再次利用本系统进入该空间寻找已经放置的虚拟指引标记时，可以根据操作人员所处的当前位置和保存的虚拟指引标记的坐标值向操作人员提供搜索指引，以帮助操作人员寻找并播放虚拟指引标记中包含的提示信息。

根据本申请的上述原理，下面结合图1详细说明本申请的基于坐标定位的操作指引方法，具体步骤包括：

(1)在待操作空间内选定固定位置的定位辅助图，选定的方法可以是例如在固定位置放置定位辅助图或者选择空间内的固定物体作为定位辅助图；

(2)对待操作空间进行图像定位扫描，提取操作空间内部的特征点，生成图像定位文件；

(3)在待操作空间的指定物体上放置包含提示信息的至少一个虚拟指引标记，并将该物体的坐标值保存在服务器上；

(4)操作人员进入后，系统载入生成的图像定位文件和虚拟指引标记，在待操作空间内根据看到的定位辅助图进行定位，获得操作人员的位置和观测角度；

(5)操作人员在系统的指引下寻找并播放虚拟指引标记。

优选地，在上述操作指引方法中还可以加上远程操控的步骤，具体为：当需要进行非现场的远程操作时，可以通过远程控制终端连接到服务器，并进入摄像头的视角，从而能够在某一坐标点上添加虚拟指引标记或者对已有的虚拟指引标记进行编辑或修改，并将这些编辑或修改信息与该坐标点相关联。

如图2所示，其中显示了根据本申请的基于坐标定位的操作指引系统的组成示意图。如图2所示，操作指引系统包括计算单元、摄像头、运动传感器、显示设备和通讯模块，其中摄像头、运动传感器、显示设备和通讯模块均与计算单元相连接，计算单元包括空间定位计算模块和虚拟指引标记数据库，计算单元可以设于服务器上。优选地，根据本申请的基于坐标定位的操作指引系统可以集成在智能设备中，例如可以是智能可穿戴设备、智能手机、平板电脑等，智能可穿戴设备又可以是智能眼镜、智能头盔等。智能设备与服务器相连并进行数据交换。

优选地，本申请的基于坐标定位的操作指引系统还可以包括远程操作终端。当需要进行非现场的远程操作时，可以通过远程控制终端进入摄像头的视角，从而能够在某一坐标点上添加虚拟指引标记或者对已有的虚拟指引标记进行编辑或修改，并将这些编辑或修改信息与该坐标点相关联。

下面以智能设备为例，说明使用本申请的操作指引系统的工作原理和流程为：

(1)智能设备根据摄像头拍到图像，提取特征点。

(2)智能设备使用特征点匹配算法，与所有定位辅助图进行匹配。

该匹配算法可抵抗特征点位置的微量变形，也可抵抗特征点的冗余和丢失。该匹配算法可计算出匹配度、最佳匹配位移和最佳匹配旋转角度。

(3)识别出某一定位辅助图以后，智能设备根据最佳匹配位移和最佳匹配旋转角度，确定摄像头在空间的坐标和观测角度。

(4)智能设备根据摄像头的坐标和观测角度，以及物体与摄像头的相对位置关系，向操作人员提供寻找指定物体上的虚拟指引标记的方向提示。

(5)操作人员根据方向提示信息找到预先放置的虚拟指引标记，并播放虚拟指引标记中的提示信息。

同理，操作人员也可以利用智能设备在指定物体上放置虚拟指引标记，并将放置虚拟指引标记的物体坐标保存到服务器。同时，还可以对所有的虚拟指引标记进行管理，包括增加、修改或者删除；也可以使用智能设备进行图像定位扫描，感知空间的三维结构和物体表面的纹理图案，统计并记录空间中适合做定位辅助图的物体图像。

优选地，本申请的基于坐标定位的操作指引方法还可以包括以下技术特征中的至少一个：

(1)当操作人员关注的虚拟指引标记不在当前视野中时，系统给出箭头类的提示，引导操作人员通过旋转和移动来寻找目标标记。

(2)实时显示操作人员和虚拟指引标记之间的位置关系，让操作人员可以根据该位置关系提示，找到目标标记所处的环境。上述位置关系可以是相对距离或者相对的角度方位等。例如，如果目标标记放在会议室的桌子上，操作人员会根据提示信息，知道需要先开门进入会议室才能找到该目标标记。

(3)提示信息中包含虚拟指引标记所在位置的周边环境，利用所显示的周边环境和周边物体向操作人员提供操作提示。例如，在某一电路板上放置虚拟指引标记，可以在提示信息中包含该电路板及其周围环境的图片信息，该图片信息可以来源于定位文件中存储的图片。让操作人员可以通过人工识别的方式，确认虚拟指引标记的准确位置，可以规避空间定位误差导致提示信息错误的问题。例如，当需要操作面板上三个按钮的中间按钮时，提示信息中显示相同操作面板，并向操作人员提供例如箭头之类的提示信息以引导操作人员操作中间的按钮。

(4)对显示的虚拟指引标记的提示信息的边缘进行分辨性处理以把提示信息和真实物体区分开。所述分辨性处理能够让操作人员能够清晰地把提示信息和真实物体区分开来，保证提示信息与真实物体不要混淆，同时还可以人工检查定位误差或错误。该分辨性处理的方式可以是例如在提示信息的边缘加上边框，或者给提示信息施加带有颜色的背景色，或者是将提示信息以特定的颜色显示等。

(5)除了可以在待操作空间内人工创建并编辑虚拟指引标记外，也可使用智能设备放置虚拟指引标记。智能设备通过基于定位辅助图的图像定位技术，计算操作人员看到物体的空间坐标，在物体上放置虚拟指引标记后将物体的坐标保存到服务器。相比于手工测量距离并在坐标系上添加虚拟指引标记，这种制作方法的效率更高。

(6)根据需要，为避免定位辅助图干扰操作人员视线，可使用不可见光的颜料绘制定位辅助图，使用可感知不可见光的摄像头进行图像定位。

实施例

下面以交通设施领域的设备巡检为例，说明本申请的基于坐标定位的操作指引方法和系统在该领域的具体应用。

对于交通设施来说，例如飞机或汽车，需要定期对其零部件或重要部位进行检查和维护。每次巡检时，检查人员会拿着维护清单并按照其上所列的部件项目挨个检查并确认是否工作正常。对于不能够正常工作的部件项目，检查人员会做上标记，并等待后续的操作人员维修。由于交通设施上的重要部件一般都处于固定位置，所以可以利用本申请的操作指引方法放置和播放提示信息。具体步骤可以为：

(1)在待操作空间内选定固定位置的定位辅助图。这些定位辅助图可以是一些纹理丰富、能够帮助系统识别的定位辅助图。这些辅助图在车间内的位置是固定的，例如可以是墙上的大红标语、或者是涂覆的纹理丰富的固定图案。

(2)去除待操作的空间内的所有临时物体，只保留位置固定的物体。

(3)对待操作的空间进行图像定位扫描，提取空间内部的特征点，生成图像定位文件。

(4)在待操作的空间内使用智能设备放置巡检任务的虚拟指引标记。这些标记将存入虚拟指引标记数据库进行管理，并有专业人员对数据库中的虚拟指引标记进行编辑，使得提示信息更加详实和生动。同时，这些标记的坐标也将同步保存到服务器上。

(5)持有操作指引系统的操作人员进入待操作的空间，系统载入巡检空间的图像定位文件和虚拟指引标记。

(6)操作人员根据看到的定位辅助图进行初始定位，获得自己的位置和观测角度。

(7)系统使用运动传感器例如陀螺仪等，实时计算操作人员的位移和旋转角度，并将其看到的定位辅助图与图像定位文件中的定位辅助图进行匹配，进行位置和角度的校正。如果系统或操作人员认为定位误差较大时，操作人员可以通过摄像头观察周围的高质量定位辅助图来获得更为精准的位置和角度。

(8)在获得操作人员的精准位置和观测角度以后，操作人员在系统的指引下寻找并播放虚拟指引标记中的提示信息。

采用本申请的基于坐标定位的操作指引方法和系统进行设备巡检，不仅避免了现有技术中的操作不便，而且降低了成本、方便了操作。更为重要的是，本申请中采用了基于坐标定位的指引放置技术，使得定位更加准确、识别更加准确，从而极大地方便了操作人员的维修操作。

虽然本申请所揭露的实施方式如上，但所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.利用智能设备进行的操作指引方法，其特征在于，包括以下步骤：

(1)智能设备根据摄像头拍到图像，提取特征点；

(2)智能设备使用特征点匹配算法，与所有定位辅助图进行匹配；

(3)识别出某一定位辅助图以后，智能设备根据最佳匹配位移和最佳匹配旋转角度，确定摄像头在空间的坐标和观测角度；

(4)智能设备根据摄像头的坐标和观测角度，以及物体与摄像头的相对位置关系，向操作人员提供寻找指定物体上的虚拟指引标记的方向提示；

(5)操作人员根据方向提示信息找到预先放置的虚拟指引标记，并播放虚拟指引标记中的提示信息；

其中，选择空间内易于识别的一个定位辅助图的中心位置作为坐标原点，使用摄像头对整个空间进行持续拍照，图像定位系统根据所拍照片的大小和旋转角度自动判断所拍物体的坐标，并将其中一部分易于提取特征点的物体照片也作为定位辅助图加以记录，并将所有特征点的坐标存储下来，以制作图像定位文件；当再次进入此空间时，载入相应的图像定位文件，系统获知本空间的所有定位辅助图中物体的坐标值，并根据这些定位辅助图上已知坐标的物体进行坐标定位；

在放置虚拟指引标记时，获得虚拟指引标记所在物体的空间坐标，记录并保存该坐标值；计算操作人员自身的空间位置和观测角度后，在摄像头拍下的真实图片上叠加虚拟指引标记，根据操作人员所处的当前位置和保存的虚拟指引标记的坐标值向操作人员提供搜索指引。

2.根据权利要求1所述的操作指引方法，其特征在于，利用智能设备在指定物体上放置虚拟指引标记，并对所有的虚拟指引标记进行管理。

3.根据权利要求1或2所述的操作指引方法，其特征在于，使用智能设备进行图像定位扫描，统计并记录空间中适合做定位辅助图的物体图像。

4.根据权利要求1或2所述的操作指引方法，其特征在于，还包括以下技术特征中的至少一个：

(1)当操作人员关注的虚拟指引标记不在当前视野中时，系统给出箭头类的提示，引导操作人员通过旋转和移动来寻找目标标记；

(2)实时显示操作人员和虚拟指引标记之间的位置关系，使得操作人员根据该位置关系提示找到目标标记；

(3)提示信息中包含虚拟指引标记所在位置的周边环境；

(4)对显示的虚拟指引标记的提示信息的边缘进行分辨性处理；

(5)使用不可见光的颜料绘制定位辅助图，使用可感知不可见光的摄像头进行图像定位。

5.基于坐标定位的操作指引系统，包括计算单元、摄像头、运动传感器、显示设备和通讯模块，其中摄像头、运动传感器、显示设备和通讯模块均与计算单元相连接，其特征在于，计算单元包括空间定位计算模块和虚拟指引标记数据库；

所述操作指引系统利用权利要求1-4中任一项的操作指引方法进行基于坐标定位的操作指引。

6.根据权利要求5所述的操作指引系统，其特征在于，所述操作指引系统集成在智能设备中。

7.根据权利要求6所述的操作指引系统，其特征在于，所述智能设备是智能眼镜、智能头盔、智能手机或平板电脑。

Images