CN106845502A - 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法 - Google Patents

Abstract

本发明提供了一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法，所述穿戴式辅助装置包括但不限于头戴式传感器支架、深度视觉传感器、佩戴式处理器、手持平板液晶显示器和后台服务器。所述可视化检修指导，能够为工人提供设备引导接近、设备状态识别、设备维修与装配可视化虚拟指导等关键辅助功能。本发明针对工人对待检修对象不熟练、装配操作步骤不熟悉的情况，能够协助工人，提高其工作效率和操作规范性和准确性。

Description

一种用于设备检修的穿戴式辅助装置及设备检修可视化指导 方法

技术领域

本发明涉及可穿戴式引导技术领域，具体地，涉及一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法。

背景技术

工业设备巡检及运维面临任务多、资料繁杂、操作规程复杂以及人员变动频繁等问题，按图索骥式的传统作业模式已不能适应发展要求。随着信息技术发展，以Google眼镜为代表的智能穿戴设备已在消费电子、工业、医疗等领域中取得多项创新应用。2013年后，DAQRI、Atheer等公司将可穿戴技术应用于钢厂、电力、石油化工等工业生产，提高了作业水平和效率。在工人对环境及操作任务不熟悉的情况下，引入可穿戴式辅助系统(WearableAssisted System,WAS)技术，让工人佩戴可穿戴式装置进行工业设备的运检及维修，或者让系统对工人进行装配虚拟指导，可以大幅提高现场作业的工作效率。

目前工业级可穿戴产品仍处于初级阶段。经专利检索查新，国内已申请的相关发明专利基本上都用于辅助盲人导航等服务应用领域，发明内容多以智能穿戴装置硬件为主。杨小康申请了中国发明专利(专利号201410736802.9)，名称为“针对全盲人群的可穿戴式引导设备”，提供了一种针对全盲人群的可穿戴式引导设备，实时全方位地采集现实场景，利用传感器全方位检测周边环境，将分析后的数据经过无线传输给远程监护设备，达到导盲、远程监护的功能。覃泳睿申请了中国发明专利(专利号201510058004.X)，名称为“一种新型可穿戴导盲设备及其工作方法”，所述导盲设备能在红绿灯交叉路口模式通过图像处理方式获取红绿灯信息，引导盲人安全通行。

由上可见，可穿戴式技术在工业领域的应用尚少见报道，存在诸多技术难点亟待解决。针对设备检修及装配需求，可穿戴式设备需要设备引导接近、设备状态识别、设备维修与装配可视化虚拟指导等核心功能，给可穿戴式设备的软硬件结构设计及方法都提出了挑战。

从软硬件结构设计角度来看，传统的单目视觉传感器无法提供场景深度信息，单目摄像头在非运动条件下难以估计实际物体的姿态，而深度视觉传感器则能同时提供彩色和深度信息(RGB-D)，便于估计实际物体的姿态从而以增强现实(VR)的方式叠加显示物体点云模型(见“S.Gupta,Aligning 3D Models to RGB-D Images of Cluttered Scenes,CVPR 2015”)；而由于穿戴式计算机自身存储和计算能力有限，传统的单机计算体系结构(见“G.Gerstweiler.HyMoTrack:A Mobile AR Navigation System for Complex IndoorEnvironments,Sensors 2016”)也不能适应复杂场景运算及后台作业任务管理监视，采用分布式计算、前后台网络化结构有助于提高系统计算效率、增强后台设备状态和作业任务数据的查询、管理、监视等功能。

从辅助指导方法来看，设备引导接近、设备状态识别、设备维修与装配可视化虚拟指导等核心功能的实现，依赖于基于机器学习的物体检测与识别方法框架，即系统能够在工程师的操作下灵活便捷地训练待操作设备对应的检测器，从而在后续他人实际任务作业使用中该系统能自动判别、锁定待操作设备对象。前后台网络化的计算架构，还允许将作业应用软件相关的先验知识(例如设备状态对应的指示灯与表计读数信息、设备检修/操作规范和装配步骤等信息)保存在后台数据库，甚至与实际工业控制系统中的业务软件相互接口，从而极大地提高可穿戴式辅助系统的扩展性和灵活性。这些都是现有面向工业应用的可穿戴式辅助技术所欠缺考虑、不够完善之处，亟待解决。

从实现增强现实的途径上来看，增强现实所依赖的注册跟踪技术目前较为成熟的软件产品大多依赖于特定对象模式，例如ARToolkit只能识别特定的正方形标记板并加以增强现实效果，faceu等一类手机自拍软件只能识别人脸并增加贴图头像。此类产品的实现，大多通过检测二维图像中特定的像素特征(标记板的角点、人眼等)来恢复其空间姿态，从而实现增强现实物与实际物体的对准。而本发明一方面采用机器学习的框架训练识别任意设备对象，另一方面在实现增强现实的途径上则是采用RGB-D传感器直接估计对象物体姿态，并以此为依据对先验的物体3D模型进行坐标和姿态变换，利用点云配准技术来实现增强效果。

发明内容

针对现有技术中的缺陷，本发明的目的是，针对工业应用中对特定设备对象及检修装配任务不熟悉的工人，提供一种可穿戴式的检修与装配可视化指导辅助装置及设备检修可视化指导方法，可实时采集工业现场场景深度视觉信息(RGB-D)，在本地进行实时计算和处理，支持室内现场环境下的设备引导接近、设备状态识别、设备维修与装配可视化虚拟指导等核心功能，从而实现对工人的作业指导。

技术方案：

一种用于设备检修可视化指导的穿戴式辅助装置，包括用于用户佩戴的头戴式传感器支架、深度视觉传感器、佩戴式处理器、手持平板液晶显示器以及后台服务器；

所述深度视觉传感器安装在所述头戴式传感器支架上，获取场景画面图像和场景深度点云，并与所述佩戴式处理器通过随身无线局域网络连接，将采集到的数据传输至所述佩戴式处理器；

在所述佩戴式处理器存储有与工人本次巡检或装配作业任务相关的知识库信息；所述佩戴式处理器接收所述深度视觉传感器传输的数据并进行处理；在室内现场环境下对工人进行设备引导接近、设备状态识别、设备维修以及装配可视化虚拟指导；

所述手持平板液晶显示器与所述佩戴式处理器通过随身无线局域网络连接；所述佩戴式处理器处理得到的巡检与装配指导内容显示在所述手持平板液晶显示器上；

所述后台服务器与所述佩戴式处理器通过室内无线网络连接；所述后台服务器对现场作业任务相关的其它信息进行存储、下达、分配以及管理，记录设备状态日志和工人作业日志。

所述存储在佩戴式处理器中的与工人本次巡检或装配作业任务相关的知识库信息具体包括现场设备状态信息、设备检修与装配任务流程信息。

所述设备检修与装配任务流程信息是采用装配树数据结构记录设备维修和操作的规范及步骤。

一种设备检修可视化指导方法，包括步骤：

步骤1：所述深度视觉传感器获取场景画面图像和场景深度点云，并通过随身无线局域网络传输至所述佩戴式处理器；

步骤2：所述佩戴式处理器对接收到的数据进行处理，并得到对工人进行设备引导接近、设备状态识别、设备维修以及装配可视化虚拟指导的内容，并将其显示在所述手持平板液晶显示器上；

步骤3：工人根据所述手持平板液晶显示器上显示的内容进行工作。

所述设备引导接近是利用所述深度视觉传感器对采集的彩色图像采用基于机器学习的物体检测方法，利用基于似物性估计方法快速获取候选对象区域，再进行特定对象的筛选和分类，继而从复杂背景图像中检测、锁定、框定待检测设备对象，提示引导工人接近设备并正向面对。

所述设备状态识别是在设备检测器获得的包围框区域内进行基于特征的设备状态识别，即针对不同型号不同类型的设备，根据其内在基元部件的颜色、轮廓、形状特征来识别设备状态，通过与后台数据库中的现场设备状态信息对比，判断其是否出现故障及维修方案。

所述设备维修与装配可视化虚拟指导是从设备模型库中将待检设备3D模型调出，根据深度视觉传感器获取的实际物体深度点云空间坐标及其特征，将3D模型点云通过配准算法进行位姿变换，利用Unity软件将设备模型层叠显示在画面中实际物体所在位置，并将维修及装配步骤动态显示在画面中。

所述设备维修与装配可视化虚拟指导具体包括RGB-D点云数据获取、预处理、特征提取、特征匹配、点云配准四个步骤；

(1)采用RGB-D传感器获取物体的当前的三维点云数据并进行适当的滤波处理；

(2)根据设备识别得到的设备类型号，从实现建好的物体3D模型库中调出对应的物体模型点云；

(3)对两幅点云进行特征描述提取和特征匹配，进行粗配准和精配准：

(31)对物体模型点云和由RGB-D传感器获取并经过了预处理的点云分别计算FPFH特征，以欧式距离作为特征匹配距离的度量，利用采样一致初始对准法算法，根据找到的两幅点云中的一组相似特征匹配对来计算出旋转平移矩阵，得到两个待配准点云之间的旋转平移关系；

(32)利用(31)得到的旋转平移关系作为初值进行ICP算法，将源点云与目标点云对准，使得源点云经过旋转平移变换后与目标点云之间的距离最小。

本发明相比现有技术，具有以下有益效果：

1.系统采用前后台网络化结构，扩展性强，可以将设备状态信息、设备检修与装配任务流程信息等保存在后台服务器，从而辅助对待检设备和维修任务不熟悉的工人顺利、高效率地完成作业任务。

2.检修与装配可视化指导中借鉴了虚拟现实技术，利用点云注册配准技术来实现增强效果，与传统基于单目的增强现实方法存在本质上不同：本发明采用RGB-D传感器直接估计对象物体姿态，并以此为依据对先验的物体3D模型进行坐标和姿态变换，将设备3D模型层叠显示在场景画面中实际物体所在位置，并将维修及装配步骤动态显示在画面中。该方式的优势在于，适用于无固定特征模式的一般对象，不再限于仅能对标记物或人脸这样的特定对象进行增强。

3、采用了基于机器学习的物体检测与识别方法框架，即系统能够在工程师的操作下灵活便捷地训练待操作设备对应的检测器，从而在后续他人实际任务作业使用中该系统能自动判别、锁定待操作设备对象，通用性强。

附图说明

图1为用于设备检修的穿戴式辅助装置原型样机；

其中，1为头戴式传感器支架，2为深度视觉传感器，3为佩戴式处理器，4为手持平板液晶显示器，5为后台服务器。

图2为设备引导接近、设备状态识别、设备维修与装配可视化指导这三个关键功能示意；

图3为一个电表箱设备自动检测与引导接近的示例；

图4为图3对应的视觉系统处理各步骤结果；

图5为电表箱设备指示灯状态识别结果；

图6为在本系统引导下锁定、靠近一个打印机目标设备的过程；

图7给出了打印机实例的点云配准结果；

图8为以3D演示和文字提示的方式给出了拆卸激光打印机硒鼓的四个步骤操作引导。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，为本发明一较优实施例的用于设备检修与装配可视化指导的穿戴式装置。图中：1为头戴式传感器支架，2为深度视觉传感器，3为佩戴式处理器，4为手持平板液晶显示器。其中：

所述的头戴式传感器支架1，用于支持深度视觉传感器2安装连接及用户佩戴；

所述的深度视觉传感器2，安装在头戴式传感器支架1上，用于获取场景画面图像和深度；

所述的佩戴式处理器3，用于装置中的人机交互及传感器采集、处理、分析、传输，以及存储与工人本次巡检或装配作业任务相关的知识库信息，包括现场设备状态信息、设备检修与装配任务流程信息等。佩戴式处理器3实现的核心功能为，室内现场环境下的设备引导接近、设备状态识别、设备维修与装配可视化虚拟指导。这三个步骤的示意如图2所示；

所述的手持平板液晶显示器4，用于巡检与装配指导内容显示，与佩戴式处理器3通过随身无线局域网络连接；

所述的后台服务器5，用于存储、下达、分配和管理与现场作业任务相关的其它信息，记录设备状态日志和工人作业日志，后台服务器5与佩戴式处理器3通过室内无线网络连接。

本实施实例中，所述的室内现场环境下的设备引导接近，是利用图1中的深度视觉传感器，对采集的彩色图像采用基于机器学习的物体检测方法，利用基于似物性估计(Objectness Estimation)方法快速获取候选对象区域，再进行特定对象的筛选和分类，继而从复杂背景图像中检测、锁定、框定待检测设备对象，提示引导工人接近设备并正向面对。

具体地，似物性的思想指出在梯度模空间，物体本身有很强的关联性。因此在固定的8×8尺度中计算其梯度模并作为64维的特征(NG feature)，为了加速计算过程，对这个64维特征进行二值化。为了得到可能包含物体的候选框，用不同的尺度和比率，定义了36个固定大小的窗口，并把图像调整到窗口大小，计算每一个窗口的梯度模。对于每一个固定的窗口，用8×8窗口获取线性模型w∈R⁶⁴以及根据8×8窗口在该固定窗口的不同位置获取的NG特征g_l来获得过滤器分数s_l。

s_l＝<w,g_l> (1)

其中，l＝(i,x,y)，i代表不同大小固定窗口的索引，(x,y)代表8×8窗口在固定窗口的位置。

用非极大值抑制(NMS)过滤很多候选框后,对于每个大小和每个位置的窗口，最后的似物性分数o_l可由(2)式获得。

o_l＝v_i·s_l+t_i (2)

其中v_i,t_i∈R是固定窗口索引i所学习的SVM参数。因此对于一个输入图片，通过训练好的BING模板，可以得到一系列按照似物性分数排序的候选框在图片中的位置坐标，记为B_box(bounding box)。

B_box＝(x_min,y_min,x_max,y_max) (3)

获取的候选框的大小是固定的36个尺度，对于一个物体来说，要获取更接近图片中物体大小的窗口，还需要对候选框进行进一步的筛选，考虑到每个物体的颜色、形状相对固定，因此在对具体的物体进行分类前，可以考虑先用颜色直方图匹配的方法减少一部分相对物体大小较大的候选框。由于光照、角度变化的影响，选用亮度(intensity)、色调(hue)两个通道来描述图像的颜色直方图。通过计算模板直方图与每个B_box对应直方图的Bhattacharyya距离(hist_dis)，设置阈值筛选掉部分较大的候选框。

其中H_k(i)表示k直方图的第i个bins的值，表示直方图的均值，N代表bins的数目。

在获得候选框的基础上，进一步采用LBP特征及支持向量机分类器，对每个候选框进行分类并最终锁定待检目标。对于每一个不同尺度的训练样本，将每一个样本图片分为9个区域，对每个区域计算其LBP特征，并统计每个区域的LBP直方图，最后整个样本的LBP特征向量可以用9*58维向量来表示。

图3给出了一个电表箱设备自动检测与引导接近的示例。系统按照上述方法从当前场景中快速检出待检设备，并给出提示，引导工人走近待检的对象设备。图4给出了视觉系统处理步骤对应结果，其中图4(a)为BING候选框224个；图4(b)为直方图匹配后剩余16个候选框；图4(c)为分类器分类后剩余14个候选框；图4(d)为相似度得分筛选后剩余5个。最终选取相似度得分最高的作为检测结果输出。

本实施实例中，所述的室内现场环境下的设备状态识别，是在设备检测器获得的包围框区域内进行基于特征的设备状态识别，即针对不同型号不同类型的设备，根据其内在基元部件的颜色、轮廓、形状等特征来识别设备状态，通过与后台数据库中的现场设备状态信息对比，判断其是否出现故障及维修方案。

具体地，以电表箱设备检修为例(见图5示例)，该辅助系统通过自动识别电表箱指示灯状态来判断当前设备运行状态是否正常。针对设备面板上的指示灯，采用图像颜色、轮廓等特征对其状态进行识别。首先需要将可供细检测的原始图像转换到HSV空间，在S通道中按钮的颜色纯度高，颜色较亮，可以利用此通道设置阈值将按钮和背景区分开，并结合RG通道得到绿色以及红色的按钮区域，在填充区域孔洞并平滑边界之后，计算区域的联通部分面积以及圆度并进行筛选得到按钮的圆心坐标并绘制在图像上。同样地，在V通道中指示灯的亮度较高，利用此特性可以将指示灯和其他区域区进行阈值分割，并结合RG通道的信息得到指示灯的区域并判断指示灯的亮灭。

此外，由于现场设备状态信息在佩戴式处理器中有所保存，可以从中读取指示灯表观信息与设备内在状态信息之间的关联，因此可根据检测结果与数据库中预存的知识相匹配，从而自动判别设备运行状态。

本实施实例中，所述的设备维修与装配可视化虚拟指导，是从设备模型库中将待检设备3D模型调出，根据深度视觉传感器获取的实际物体深度点云空间坐标及其特征，将3D模型点云通过配准算法进行位姿变换，利用Unity软件将设备模型层叠显示在画面中实际物体所在位置，并将维修及装配步骤动态显示在画面中。

具体地，包括RGB-D点云数据获取、预处理、特征提取、特征匹配、点云配准四个步骤。首先，采用RGB-D传感器获取物体的当前的三维点云数据并进行适当的滤波处理，去掉噪点以保证后续处理的准确性。然后，根据设备识别得到的设备类型号，从设备模型库中调出对应的物体模型点云。为了将模型点云对准到实际物体姿态上去，需要进行特征描述提取和特征匹配，进一步进行粗配准(计算初始变换)和精配准(计算最终变换)两步。本发明对两幅点云采用基于快速点直方图(FPFH)特征的匹配。即对物体模型点云和由RGB-D传感器获取并经过了预处理的点云分别计算FPFH特征，以欧式距离作为特征匹配距离的度量，利用采样一致初始对准法(Sample Consensus Initial Alignment，SAC-IA)算法，根据找到的两幅点云中的一组相似特征匹配对来计算出旋转平移矩阵，从而反映出两个待配准点云之间的旋转平移关系。利用这个旋转平移关系作为初值进行ICP算法，将源点云(物体3D模型点云)与目标点云(RGB-D传感器获取的实际物体局部点云)对准，使得源点云经过旋转平移变换后与目标点云之间的距离最小。

本实施实例中，所述的设备检修与装配任务流程信息，是采用装配树数据结构记录设备维修和操作的规范及步骤，便于在可视化界面中给出步骤演示和文字提示。

具体地，在本发明提供的系统中，根据具体设备作业操作步骤，将待维修或装配的零件按先后顺序组成装配树结构，即采用一个装配文件来描述一棵装配树，一棵树只存在一个装配根节点，它的子节点或为叶子节点，即代表各个部件零件；或为非叶子节点，即子装配体，子装配体代表一个子装配过程，它可以再有其叶子节点。在实际装配步骤可视化过程中，采用装配树遍历算法来获取装配序列，并将维修及装配步骤以3D模型演示和文字提示两种方式动态显示在画面中。

以拆卸激光打印机硒鼓为例，说明设备引导接近、设备状态识别、设备维修与装配可视化虚拟指导这三个功能的具体实现，实际应用中不限于该种特例对象。图6给出了在本系统引导下锁定、靠近目标设备。图7给出了经点云配准后将物体3D模型层叠显示在RGB-D传感器获得的实际点云上。图8给出了本系统以3D演示和文字提示的方式给出了如何拆卸激光打印机硒鼓的四个步骤操作引导。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种用于设备检修的穿戴式辅助装置，其特征在于：包括用于用户佩戴的头戴式传感器支架(1)、深度视觉传感器(2)、佩戴式处理器(3)、手持平板液晶显示器(4)以及后台服务器(5)；

所述深度视觉传感器(2)安装在所述头戴式传感器支架(1)上，获取场景画面图像和场景深度点云，并与所述佩戴式处理器(3)通过随身无线局域网络连接，将采集到的数据传输至所述佩戴式处理器(3)；

在所述佩戴式处理器(3)存储有与工人本次巡检或装配作业任务相关的知识库信息；所述佩戴式处理器(3)接收所述深度视觉传感器(2)传输的数据并进行处理；在室内现场环境下对工人进行设备引导接近、设备状态识别、设备维修以及装配可视化虚拟指导；

所述手持平板液晶显示器(4)与所述佩戴式处理器(3)通过随身无线局域网络连接；所述佩戴式处理器(3)处理得到的巡检与装配指导内容显示在所述手持平板液晶显示器(4)上；

所述后台服务器(5)与所述佩戴式处理器(3)通过室内无线网络连接；所述后台服务器对现场作业任务相关的其它信息进行存储、下达、分配以及管理，记录设备状态日志和工人作业日志。

2.根据权利要求1所述的穿戴式辅助装置，其特征在于：所述存储在佩戴式处理器中的与工人本次巡检或装配作业任务相关的知识库信息具体包括现场设备状态信息、设备检修与装配任务流程信息。

3.根据权利要求2所述的穿戴式辅助装置，其特征在于：所述设备检修与装配任务流程信息是采用装配树数据结构记录设备维修和操作的规范及步骤。

4.一种应用权利要求1所述的穿戴式辅助装置的设备检修可视化指导方法，其特征在于：包括步骤：

步骤1：所述深度视觉传感器(2)获取场景画面图像和场景深度点云，并通过随身无线局域网络传输至所述佩戴式处理器(3)；

步骤2：所述佩戴式处理器(3)对接收到的数据进行处理，并得到对工人进行设备引导接近、设备状态识别、设备维修以及装配可视化虚拟指导的内容，并将其显示在所述手持平板液晶显示器(4)上；

步骤3：工人根据所述手持平板液晶显示器(4)上显示的内容进行工作。

5.根据权利要求4所述的设备检修可视化指导方法，其特征在于：所述设备引导接近是利用所述深度视觉传感器(2)对采集的彩色图像采用基于机器学习的物体检测方法，利用基于似物性估计方法快速获取候选对象区域，再采用LBP特征及支持向量机分类器，对每个候选框进行分类并最终锁定待检目标，提示引导工人接近设备并正向面对。

6.根据权利要求4所述的设备检修可视化指导方法，其特征在于：所述设备状态识别是在设备检测器获得的包围框区域内进行基于特征的设备状态识别，即针对不同型号不同类型的设备，根据其内在基元部件的颜色、轮廓、形状特征来识别设备状态，通过与后台数据库中的现场设备状态信息对比，判断其是否出现故障及维修方案。

7.根据权利要求4所述的设备检修可视化指导方法，其特征在于：所述设备维修与装配可视化虚拟指导是从设备模型库中将待检设备3D模型调出，根据深度视觉传感器获取的实际物体深度点云空间坐标及其特征，将3D模型点云通过配准算法进行位姿变换，利用Unity软件将设备模型层叠显示在画面中实际物体所在位置，并将维修及装配步骤动态显示在画面中。

8.根据权利要求7所述的设备检修可视化指导方法，其特征在于：所述设备维修与装配可视化虚拟指导具体包括RGB-D点云数据获取、预处理、特征提取、特征匹配、点云配准四个步骤；

(1)采用RGB-D传感器获取物体的当前的三维点云数据并进行适当的滤波处理；

(2)根据设备识别得到的设备类型号，从实现建好的物体3D模型库中调出对应的物体模型点云；

(3)对两幅点云进行特征描述提取和特征匹配，进行粗配准和精配准：

(31)对物体模型点云和由RGB-D传感器获取并经过了预处理的点云分别计算FPFH特征，以欧式距离作为特征匹配距离的度量，利用采样一致初始对准法算法，根据找到的两幅点云中的一组相似特征匹配对来计算出旋转平移矩阵，得到两个待配准点云之间的旋转平移关系；

(32)利用(31)得到的旋转平移关系作为初值进行ICP算法，将源点云与目标点云对准，使得源点云经过旋转平移变换后与目标点云之间的距离最小。