CN114332674A - 一种用于智能运检的现场作业辅助装置 - Google Patents

Abstract

本发明涉及一种用于智能运检的现场作业辅助装置，它包括辅助终端、安全接入平台、可视化管理辅助平台和专业运维检修设备，辅助终端包括安全加密模块、无线自组网通讯模块、北斗/GPS定位模块、NFC扫描仪、UHF RFID识别模块、双光融合测温/成像模块、DMO脱网直通PTT模块、高清摄像模块、内置知识库、电源管理模块、储存器、电子罗盘九轴重力传感器、LCD触摸显示屏、语音播报器、模拟信号处理模块、处理器和上机位程序管理模块，专业运维检修设备包括局放检测仪、油色谱分析仪和站内机器人；本发明具有结构简单、实现远程支持、提高作业效率、避免误操作、提高运维部门应对复杂作业和突发事件的响应速度与处置能力的优点。

Description

一种用于智能运检的现场作业辅助装置

技术领域

本发明属于电力作业技术领域，具体涉及一种用于智能运检的现场作业辅助装置。

背景技术

电网设备运行管理水平的提高离不开电网巡检管理手段的强化，随着电网一次设备类型和数量的增长，设备运维工作量也快速增长，导致运维班组十几个人需要负责十几座变电站的运行巡视工作，运维工作量的快速增长和巡检人力资源相对不足之间的矛盾日益突出，现场运维检修人员由于经验不足以及信息不够及时和全面，难以准确判断设备缺陷原因及严重程度，需通过多层级才能传递到决策指挥机构，效率低，巡检过程中，现场人员无法直接了解部分设备信息，需返回档案室查询或问询其他人员，降低了工作效率；因此，提供一种结构简单、实现远程支持、提高作业效率、避免误操作、提高运维部门应对复杂作业和突发事件的响应速度与处置能力的一种用于智能运检的现场作业辅助装置是非常有必要的。

发明内容

本发明的目的是为了克服现有技术的不足，而提供一种结构简单、实现远程支持、提高作业效率、避免误操作、提高运维部门应对复杂作业和突发事件的响应速度与处置能力的一种用于智能运检的现场作业辅助装置。

本发明的目的是这样实现的：一种用于智能运检的现场作业辅助装置，它包括辅助终端、安全接入平台、可视化管理辅助平台和专业运维检修设备，所述的辅助终端包括安全加密模块、无线自组网通讯模块、北斗/GPS定位模块、NFC扫描仪、UHF RFID识别模块、双光融合测温/成像模块、DMO脱网直通PTT模块、高清摄像模块、内置知识库、电源管理模块、储存器、电子罗盘九轴重力传感器、LCD触摸显示屏、语音播报器、模拟信号处理模块、处理器和上机位程序管理模块，所述的安全加密模块包括安全芯片和安全TF卡，所述的无线自组网通讯模块包括近场wifi/蓝牙一体通讯模块和远端全网通通讯模块，所述的远端全网通通讯模块包括远端4/5G专网模块和公网4G/3G/GSM模块，所述的双光融合测温/成像模块包括红外光摄像模组、转换模组模块和可见光摄像模组，所述的转换模组模块包括AR成像模组，所述的DMO脱网直通PTT模块包括音频解码/编码模块，所述的内置知识库包括设备台账、技术典范、典型案例和缺陷分类，所述的电源管理模块包括低功耗管理模块，所述的模拟信号处理模块包括模拟传感器输入模块，所述的专业运维检修设备包括局放检测仪、油色谱分析仪和站内机器人。

所述的辅助终端还包括一键通话PTT按键、一键视频拍照按键、一键录音按键、一键呼叫求救按键、一键上传按键、一键协助邀请按键和一键网络切换按键。

所述的可见光摄像模组采用1300万像素自动对焦摄像模组。

所述的处理器采用基于MTK的MT6753型处理器。

所述的可视化管理辅助平台基于CentOS x64 Linux操作系统，采用Java编写，利用HTML5、Bootstrap、SpringMVC实现。

所述的AR成像模组采用基于FAST-SURF增强现实跟踪算法，实现原理为将终端摄像头采集的视频帧图像通过FAST算法计算出可能的特征角点，然后进行快速Hessian检测子特征提取，取得SURF特征点，并与离线取得的图像特征进行实时检测匹配，建立相机坐标系和世界坐标系之间的转换关系，将三维虚拟物体与真实视频图像进行合成显示，实现流程为首先选取合适的基准图像并离线采集该系统中图像特征，保存为KD-Tree结构，在实时检测时通过移动终端摄像头捕捉实时视频流的每帧并提取特征点，与待增强的目标图像特征进行查找配对，依靠匹配成功的特征点与投影方程，计算出虚实注册的相关关键矩阵(旋转矩阵、平移矩阵等)，然后将三维虚拟物体融合在终端屏幕的相应位置中，具体为：(a)FAST-SURF特征检测算法首先对检测图像进行FAST检测算法，对提取出的特征角点代入SURF算法进行计算，提取角点的特征尺度信息，算法流程为(a1)：FAST算法是一种简单快速的角点探测算法，通过定义角点响应函数CRF来检测一个候选像素点是否为角点，即：

其中P表示中心像素点，I(X)表示该圆周上任意一点像素点的灰度值，I(P)表示中心像素点P的图像灰度值，ε_d为给定的一个极小阈值，使用上述角点函数循环计算出圆周上满足公式(1)像素点的个数为N，通过预先设定的阈值并与N比较，如果N小于该阈值，则该探测候选点记作角点；(a2)：SURF算法的检测是基于尺度空间的，是通过Hessian矩阵来检测特征点，设图像I(X)的某一像素点X＝(x,y)，尺度为σ的Hessian矩阵H(X,σ)定义为：

其中L_xx(X,σ)是二阶高斯滤波与图像在X点的卷积，L_xy(X,σ)、L_yx(X,σ)、L_yy(X,σ)的计算类似，这样的特征点的值就通过计算每个像素点的Hessian矩阵行列式得到，通过盒滤波器来近似替换二阶高斯滤波器，使用积分图像来加速卷积过程，可以得到Hessian矩阵的行列式为det(H)＝(D_xxD_yy-0.9D_xy)² (3)，用尺度空间下特征点与本尺度的相邻位置以及相邻尺度的对应位置进行对比，获得的局部极值作为候选特征点，同时需要在尺度空间和图像空间中做插值计算，这样才能得到稳定的特征点位置及尺度，为了保证特征矢量具有旋转不变性，需要对检测特征赋予一个确定的方向，假设s是某一特征点所在的尺度，通过设定该特征点为圆心，在特征点周围半径为6s的圆域内，求出x和y两个方向的Harr小波响应，为了使越靠近特征点的响应贡献越大，给小波响应值预设高斯权重系数，然后以圆心60°内的x和y方向的Harr小波响应合成，获得该邻域内的特征向量，通过循环比对整个圆形区域内的特征向量，取出最长的向量方向，则选取该方向为该特征点主方向，要得到特征描述向量，首先构建一个以特征点为中心，长为20s(s为特征点尺度)的正方形邻域，同时将该窗口邻域分为4×4的子区域，每块区域内获得5×5个采样点的水平方向(记作dx)和垂直方向(记作dy)的Harr小波响应，并用高斯窗口函数对响应值赋予权重系数，这样，一个完整的特征点描述矢量就可以由4×4个子区域的矢量联合组成，即V＝(∑dx,∑|dx|,∑dy,∑|dy|)，它的描述符维数是4×4×4＝64，同时对这些特征向量做归一化以保持光照不变形，最终得到该区域特征描述符；(b)特征点匹配与跟踪，算法流程为：(b1)：基于KD-Tree的特征点匹配：KD-Tree是对数据点在K维点中的每一个点都储存在二叉树的每个节点上，将数据分为左右两个子空间，在每层中都用一个新的维度来分割剩下的点，在迭代生成过程中，重点在某个给定节点上，判断余下的点在用于分割的维度上是大于分割点还是小于分割点，当获取到特征点后，需要生成该图像特征点集合的KD-Tree，依次对特征点的各维度上的描述向量求方差，获得方差最大的轴(维)并将其作为split域，排序各个节点数据同时获取这一维上的中值，作为数据分割的数据点，然后将数据分为左右两个子空间，并将此分割点作为其父亲点，迭代上述过程直到数据划分完毕，KD-Tree构建完成后，需要寻找一个数据点在KD-Tree的最近邻点，采用基于KD-Tree索引的近似最近邻搜索，对于给定的目标特征点，利用优先队列搜索整棵树，首先找到n个最邻近的特征点，然后从这些特征点按照从根节点到叶子节点的顺序扫描，将不匹配的节点进入有序队列，再从队列中取出当前纬度最小的特征点，重复扫描遍历，找到最近点，然后从该点进行回溯，将其查询路径回溯到最初节点，就能获得最近距离的点；(b2)：基于KLT的目标跟踪：KLT算法是一种快速的特征点跟踪方法，是依据平移运动模型，在视频流的帧图像序列中的相邻两帧运动变化很小，假设t时刻图像上的某一点I(x,y)经过τ时间运动到I(x-ε,y-η)，令d＝(ε,η)称为平移运动参数向量，可以认为后一帧图像点J能够由前一阵图像点I通过平移d得到，且它们灰度值近似相等，即：J(X)＝I(X-d)+n(X)(4)，在上式中J(X)为点I经过τ时间的灰度值，n(X)为响应的噪声，则误差函数为：ξ＝∫_w[I(X-d)-J(X)]²wdX(5)，其中w为特征区域内不同像素点的加权方程，为了让特征点I(x,y)周围的某个特征窗口w内的二重积分得到的残差最小，需要选择最优的运动参数向量d，因此通过迭代计算出最优的运动参数向量d，从而进行特征窗口的跟踪，使用特征关键帧作为更新条件，这样平滑特征点的更新速度，使特征点更新时产生的误差出现几率下降，通过实时检测特征点的数量，如果出现低于一定阈值的情况，就对KLT的特征点进行更新；(c)：坐标转换与显示：当计算出特征匹配结果后，根据匹配数据计算当前图像中每个平面与参考图像之间的单应性关系，并以此恢复出每个平面所对应的投影矩阵，而针孔摄像机模型投影方程为：

其中，三维世界坐标(X,Y,Z)^T通过摄像机投影变换后获得该坐标在平面上的视图位置(U,V)^T，f_x、f_y、C_x、C_y是摄像机内参数并设置为固定值，R、T矩阵是目标场景下的世界坐标系映射到相机坐标系的转换参数，从公式(6)可以知道，如果能够检测足够多的特征点匹配对，虚实融合中最关键的三维注册所需的变换矩阵可以通过上述投影矩阵以及离线计算中的世界坐标系与平面坐标系之间的变换关系合成，进而计算出摄像头在该场景下的位姿参数，将OpenGL生成的虚拟物体在摄像机位姿系数的设定下经过反变换后定位到真实场景中，为了获取最佳的R、T变换参数，在计算过程中采用RANSAC算法剔除匹配相关性较差的特征点对。

本发明的有益效果：本发明为用于智能运检现场作业的辅助装置，本发明基于FAST-SURF增强现实跟踪算法，使管理人员和专家能够随时随地获取现场运维人员的第一视角实时图像，进行远程音视频沟通，管理人员和专家可通过可视化管理辅助平台下发运维指令和协助现场巡检的决策信息，辅助终端接收可视化管理辅助平台下发的运维相关指令，并采集巡检现场信息，上传至可视化管理辅助平台，巡检人员可利用辅助终端发起远程协助邀请，基于无线自组网通讯模块，实现与可视化管理辅助平台实时通话，实现远程协助以及安全监督，实现现场作业的可视化及专家的远程支持，从而指导检修人员执行标准和规范化的工作流程，提高作业效率，避免误操作，在使用中，本装置通过无线自组网通讯模块建立无线自组网，外联专业运维检修设备(包括局放检测仪、油色谱分析仪、站内机器人)和内联可视化管理辅助平台，实现运行数据的实时接入和运行状态预警，自动生成巡视和检修报告，有效降低站点运检人员工作量，大幅提升运检效率和故障检出率，全面支撑设备运行维护和状态检修，本装置内置安全芯片和安全TF卡，与安全接入平台进行数据加密与身份认证，实现与可视化管理辅助平台数据交互和管理控制；北斗/GPS定位模块实现双模精确定位授时校时功能，支持双频卫星数据接收，支持RTCM3.0以上格式的差分改正，区域精度可达亚米级，时间同步精度0.1s；可见光摄像模组采用1300万像素自动对焦摄像模组，可进行相机检校，获得相机的内方位元素在畸变矫正后的影像上支持影像分割、特征匹配、目标识别、位置测量等功能；NFC扫描仪实现近距离身份识别功能；UHF RFID识别模块实现超高频远距离RFID读取无源电子标签功能；实时接收内网可视化辅助管理平台下达的运检任务，并按照规范作业流程开展现场作业，当遇到问题时，可通过内置知识库查询缺陷分类、典型案例、设备台账和各类技术典范；本发明实现了现场数据规范化搜集、现场作业规范化指导、设备状态多维实时分析、一键数据上传功能，显著提高运维部门应对复杂作业和突发事件的响应速度与处置能力；本发明具有结构简单、实现远程支持、提高作业效率、避免误操作、提高运维部门应对复杂作业和突发事件的响应速度与处置能力的优点。

附图说明

图1为本发明一种用于智能运检的现场作业辅助装置的数据交互实现示意图。

图2为本发明一种用于智能运检的现场作业辅助装置的数据接入实现示意图。

图3为本发明一种用于智能运检的现场作业辅助装置的原理图。

图4为本发明一种用于智能运检的现场作业辅助装置的辅助终端的组成结构示意图图一。

图5为本发明一种用于智能运检的现场作业辅助装置的辅助终端的组成结构示意图图二。

图6为本发明一种用于智能运检的现场作业辅助装置的辅助终端的按键结构示意图。

图7为本发明一种用于智能运检的现场作业辅助装置的基于FAST-SURF增强现实跟踪算法流程图。

图中：1、辅助终端 2、安全加密模块 21、安全芯片 22、安全TF卡 3、安全接入平台4、可视化管理辅助平台 5、无线自组网通讯模块 51、近场wifi/蓝牙一体通讯模块 52、远端全网通通讯模块 521、远端4/5G专网模块 522、公网4G/3G/GSM模块 6、专业运维检修设备 61、局放检测仪 62、油色谱分析仪 63、站内机器人 7、北斗/GPS定位模块 8、NFC扫描仪9、UHF RFID识别模块 10、双光融合测温/成像模块 101、红外光摄像模组 102、转换模组模块 1021、AR成像模组 103、可见光摄像模组 11、DMO脱网直通PTT模块 111、音频解码/编码模块 12、高清摄像模块 13、内置知识库 131、设备台账 132、技术典范 133、典型案例134、缺陷分类 14、电源管理模块 141、低功耗管理模块 15、储存器 16、电子罗盘九轴重力传感器 17、LCD触摸显示屏 18、语音播报器 19、模拟信号处理模块 191、模拟传感器输入模块 20、处理器 23、上机位程序管理模块 24、一键通话PTT按键 25、一键视频拍照按键26、一键录音按键 27、一键呼叫求救按键 28、一键上传按键 29、一键协助邀请按键 30、一键网络切换按键。

具体实施方式

下面结合附图对本发明做进一步的说明。

实施例1

如图1-7所示，一种用于智能运检的现场作业辅助装置，它包括辅助终端1、安全接入平台3、可视化管理辅助平台4和专业运维检修设备6，所述的辅助终端1包括安全加密模块2、无线自组网通讯模块5、北斗/GPS定位模块7、NFC扫描仪8、UHF RFID识别模块9、双光融合测温/成像模块10、DMO脱网直通PTT模块11、高清摄像模块12、内置知识库13、电源管理模块14、储存器15、电子罗盘九轴重力传感器16、LCD触摸显示屏17、语音播报器18、模拟信号处理模块19、处理器20和上机位程序管理模块23，所述的安全加密模块2包括安全芯片21和安全TF卡22，所述的无线自组网通讯模块5包括近场wifi/蓝牙一体通讯模块51和远端全网通通讯模块52，所述的远端全网通通讯模块52包括远端4/5G专网模块521和公网4G/3G/GSM模块522，所述的双光融合测温/成像模块10包括红外光摄像模组101、转换模组模块102和可见光摄像模组103，所述的转换模组模块102包括AR成像模组1021，所述的DMO脱网直通PTT模块11包括音频解码/编码模块111，所述的内置知识库13包括设备台账131、技术典范132、典型案例133和缺陷分类134，所述的电源管理模块14包括低功耗管理模块141，所述的模拟信号处理模块19包括模拟传感器输入模块191，所述的专业运维检修设备6包括局放检测仪61、油色谱分析仪62和站内机器人63。

所述的辅助终端1还包括一键通话PTT按键24、一键视频拍照按键25、一键录音按键26、一键呼叫求救按键27、一键上传按键28、一键协助邀请按键29和一键网络切换按键30。

本发明为用于智能运检现场作业的辅助装置，本发明基于FAST-SURF增强现实跟踪算法，使管理人员和专家能够随时随地获取现场运维人员的第一视角实时图像，进行远程音视频沟通，管理人员和专家可通过可视化管理辅助平台4下发运维指令和协助现场巡检的决策信息，辅助终端1接收可视化管理辅助平台4下发的运维相关指令，并采集巡检现场信息，上传至可视化管理辅助平台4，巡检人员可利用辅助终端1发起远程协助邀请，基于无线自组网通讯模块5，实现与可视化管理辅助平台4实时通话，实现远程协助以及安全监督，实现现场作业的可视化及专家的远程支持，从而指导检修人员执行标准和规范化的工作流程，提高作业效率，避免误操作，在使用中，本装置通过无线自组网通讯模块5建立无线自组网，外联专业运维检修设备6(包括局放检测仪61、油色谱分析仪62、站内机器人63)和内联可视化管理辅助平台4，实现运行数据的实时接入和运行状态预警，自动生成巡视和检修报告，有效降低站点运检人员工作量，大幅提升运检效率和故障检出率，全面支撑设备运行维护和状态检修，本装置内置安全芯片21和安全TF卡22，与安全接入平台3进行数据加密与身份认证，实现与可视化管理辅助平台4数据交互和管理控制；北斗/GPS定位模块7实现双模精确定位授时校时功能，支持双频卫星数据接收，支持RTCM3.0以上格式的差分改正，区域精度可达亚米级，时间同步精度0.1s；可见光摄像模组103采用1300万像素自动对焦摄像模组，可进行相机检校，获得相机的内方位元素在畸变矫正后的影像上支持影像分割、特征匹配、目标识别、位置测量等功能；NFC扫描仪8实现近距离身份识别功能；UHF RFID识别模块9实现超高频远距离RFID读取无源电子标签功能；实时接收内网可视化辅助管理平台4下达的运检任务，并按照规范作业流程开展现场作业，当遇到问题时，可通过内置知识库13查询缺陷分类134、典型案例133、设备台账132和各类技术典范131；本发明实现了现场数据规范化搜集、现场作业规范化指导、设备状态多维实时分析、一键数据上传功能，显著提高运维部门应对复杂作业和突发事件的响应速度与处置能力；本发明具有结构简单、实现远程支持、提高作业效率、避免误操作、提高运维部门应对复杂作业和突发事件的响应速度与处置能力的优点。

实施例2

如图1-7所示，一种用于智能运检的现场作业辅助装置，它包括辅助终端1、安全接入平台3、可视化管理辅助平台4和专业运维检修设备6，所述的辅助终端1包括安全加密模块2、无线自组网通讯模块5、北斗/GPS定位模块7、NFC扫描仪8、UHF RFID识别模块9、双光融合测温/成像模块10、DMO脱网直通PTT模块11、高清摄像模块12、内置知识库13、电源管理模块14、储存器15、电子罗盘九轴重力传感器16、LCD触摸显示屏17、语音播报器18、模拟信号处理模块19、处理器20和上机位程序管理模块23，所述的安全加密模块2包括安全芯片21和安全TF卡22，所述的无线自组网通讯模块5包括近场wifi/蓝牙一体通讯模块51和远端全网通通讯模块52，所述的远端全网通通讯模块52包括远端4/5G专网模块521和公网4G/3G/GSM模块522，所述的双光融合测温/成像模块10包括红外光摄像模组101、转换模组模块102和可见光摄像模组103，所述的转换模组模块102包括AR成像模组1021，所述的DMO脱网直通PTT模块11包括音频解码/编码模块111，所述的内置知识库13包括设备台账131、技术典范132、典型案例133和缺陷分类134，所述的电源管理模块14包括低功耗管理模块141，所述的模拟信号处理模块19包括模拟传感器输入模块191，所述的专业运维检修设备6包括局放检测仪61、油色谱分析仪62和站内机器人63。

所述的辅助终端1还包括一键通话PTT按键24、一键视频拍照按键25、一键录音按键26、一键呼叫求救按键27、一键上传按键28、一键协助邀请按键29和一键网络切换按键30。

为了更好的效果，所述的可见光摄像模组103采用1300万像素自动对焦摄像模组。

为了更好的效果，所述的处理器20采用基于MTK的MT6753型处理器。

为了更好的效果，所述的可视化管理辅助平台4基于CentOS x64 Linux操作系统，采用Java编写，利用HTML5、Bootstrap、SpringMVC实现。

所述的AR成像模组1021采用基于FAST-SURF增强现实跟踪算法，实现原理为将终端摄像头采集的视频帧图像通过FAST算法计算出可能的特征角点，然后进行快速Hessian检测子特征提取，取得SURF特征点，并与离线取得的图像特征进行实时检测匹配，建立相机坐标系和世界坐标系之间的转换关系，将三维虚拟物体与真实视频图像进行合成显示，实现流程为首先选取合适的基准图像并离线采集该系统中图像特征，保存为KD-Tree结构，在实时检测时通过移动终端摄像头捕捉实时视频流的每帧并提取特征点，与待增强的目标图像特征进行查找配对，依靠匹配成功的特征点与投影方程，计算出虚实注册的相关关键矩阵(旋转矩阵、平移矩阵等)，然后将三维虚拟物体融合在终端屏幕的相应位置中，具体为：(a)FAST-SURF特征检测算法首先对检测图像进行FAST检测算法，对提取出的特征角点代入SURF算法进行计算，提取角点的特征尺度信息，算法流程为(a1)：FAST算法是一种简单快速的角点探测算法，通过定义角点响应函数CRF来检测一个候选像素点是否为角点，即：

其中P表示中心像素点，I(X)表示该圆周上任意一点像素点的灰度值，I(P)表示中心像素点P的图像灰度值，ε_d为给定的一个极小阈值，使用上述角点函数循环计算出圆周上满足公式(1)像素点的个数为N，通过预先设定的阈值并与N比较，如果N小于该阈值，则该探测候选点记作角点；(a2)：SURF算法的检测是基于尺度空间的，是通过Hessian矩阵来检测特征点，设图像I(X)的某一像素点X＝(x,y)，尺度为σ的Hessian矩阵H(X,σ)定义为：

其中L_xx(X,σ)是二阶高斯滤波与图像在X点的卷积，L_xy(X,σ)、L_yx(X,σ)、L_yy(X,σ)的计算类似，这样的特征点的值就通过计算每个像素点的Hessian矩阵行列式得到，通过盒滤波器来近似替换二阶高斯滤波器，使用积分图像来加速卷积过程，可以得到Hessian矩阵的行列式为det(H)＝(D_xxD_yy-0.9D_xy)² (3)，用尺度空间下特征点与本尺度的相邻位置以及相邻尺度的对应位置进行对比，获得的局部极值作为候选特征点，同时需要在尺度空间和图像空间中做插值计算，这样才能得到稳定的特征点位置及尺度，为了保证特征矢量具有旋转不变性，需要对检测特征赋予一个确定的方向，假设s是某一特征点所在的尺度，通过设定该特征点为圆心，在特征点周围半径为6s的圆域内，求出x和y两个方向的Harr小波响应，为了使越靠近特征点的响应贡献越大，给小波响应值预设高斯权重系数，然后以圆心60°内的x和y方向的Harr小波响应合成，获得该邻域内的特征向量，通过循环比对整个圆形区域内的特征向量，取出最长的向量方向，则选取该方向为该特征点主方向，要得到特征描述向量，首先构建一个以特征点为中心，长为20s(s为特征点尺度)的正方形邻域，同时将该窗口邻域分为4×4的子区域，每块区域内获得5×5个采样点的水平方向(记作dx)和垂直方向(记作dy)的Harr小波响应，并用高斯窗口函数对响应值赋予权重系数，这样，一个完整的特征点描述矢量就可以由4×4个子区域的矢量联合组成，即V＝(∑dx,∑|dx|,∑dy,∑|dy|)，它的描述符维数是4×4×4＝64，同时对这些特征向量做归一化以保持光照不变形，最终得到该区域特征描述符；(b)特征点匹配与跟踪，算法流程为：(b1)：基于KD-Tree的特征点匹配：KD-Tree是对数据点在K维点中的每一个点都储存在二叉树的每个节点上，将数据分为左右两个子空间，在每层中都用一个新的维度来分割剩下的点，在迭代生成过程中，重点在某个给定节点上，判断余下的点在用于分割的维度上是大于分割点还是小于分割点，当获取到特征点后，需要生成该图像特征点集合的KD-Tree，依次对特征点的各维度上的描述向量求方差，获得方差最大的轴(维)并将其作为split域，排序各个节点数据同时获取这一维上的中值，作为数据分割的数据点，然后将数据分为左右两个子空间，并将此分割点作为其父亲点，迭代上述过程直到数据划分完毕，KD-Tree构建完成后，需要寻找一个数据点在KD-Tree的最近邻点，采用基于KD-Tree索引的近似最近邻搜索，对于给定的目标特征点，利用优先队列搜索整棵树，首先找到n个最邻近的特征点，然后从这些特征点按照从根节点到叶子节点的顺序扫描，将不匹配的节点进入有序队列，再从队列中取出当前纬度最小的特征点，重复扫描遍历，找到最近点，然后从该点进行回溯，将其查询路径回溯到最初节点，就能获得最近距离的点；(b2)：基于KLT的目标跟踪：KLT算法是一种快速的特征点跟踪方法，是依据平移运动模型，在视频流的帧图像序列中的相邻两帧运动变化很小，假设t时刻图像上的某一点I(x,y)经过τ时间运动到I(x-ε,y-η)，令d＝(ε,η)称为平移运动参数向量，可以认为后一帧图像点J能够由前一阵图像点I通过平移d得到，且它们灰度值近似相等，即：J(X)＝I(X-d)+n(X) (4)，在上式中J(X)为点I经过τ时间的灰度值，n(X)为响应的噪声，则误差函数为：ξ＝∫_w[I(X-d)-J(X)]²wdX(5)，其中w为特征区域内不同像素点的加权方程，为了让特征点I(x,y)周围的某个特征窗口w内的二重积分得到的残差最小，需要选择最优的运动参数向量d，因此通过迭代计算出最优的运动参数向量d，从而进行特征窗口的跟踪，使用特征关键帧作为更新条件，这样平滑特征点的更新速度，使特征点更新时产生的误差出现几率下降，通过实时检测特征点的数量，如果出现低于一定阈值的情况，就对KLT的特征点进行更新；(c)：坐标转换与显示：当计算出特征匹配结果后，根据匹配数据计算当前图像中每个平面与参考图像之间的单应性关系，并以此恢复出每个平面所对应的投影矩阵，而针孔摄像机模型投影方程为：

其中，三维世界坐标(X,Y,Z)^T通过摄像机投影变换后获得该坐标在平面上的视图位置(U,V)^T，f_x、f_y、C_x、C_y是摄像机内参数并设置为固定值，R、T矩阵是目标场景下的世界坐标系映射到相机坐标系的转换参数，从公式(6)可以知道，如果能够检测足够多的特征点匹配对，虚实融合中最关键的三维注册所需的变换矩阵可以通过上述投影矩阵以及离线计算中的世界坐标系与平面坐标系之间的变换关系合成，进而计算出摄像头在该场景下的位姿参数，将OpenGL生成的虚拟物体在摄像机位姿系数的设定下经过反变换后定位到真实场景中，为了获取最佳的R、T变换参数，在计算过程中采用RANSAC算法剔除匹配相关性较差的特征点对。

本发明为用于智能运检现场作业的辅助装置，本发明基于FAST-SURF增强现实跟踪算法，使管理人员和专家能够随时随地获取现场运维人员的第一视角实时图像，进行远程音视频沟通，管理人员和专家可通过可视化管理辅助平台4下发运维指令和协助现场巡检的决策信息，辅助终端1接收可视化管理辅助平台4下发的运维相关指令，并采集巡检现场信息，上传至可视化管理辅助平台4，巡检人员可利用辅助终端1发起远程协助邀请，基于无线自组网通讯模块5，实现与可视化管理辅助平台4实时通话，实现远程协助以及安全监督，实现现场作业的可视化及专家的远程支持，从而指导检修人员执行标准和规范化的工作流程，提高作业效率，避免误操作，在使用中，本装置通过无线自组网通讯模块5建立无线自组网，外联专业运维检修设备6(包括局放检测仪61、油色谱分析仪62、站内机器人63)和内联可视化管理辅助平台4，实现运行数据的实时接入和运行状态预警，自动生成巡视和检修报告，有效降低站点运检人员工作量，大幅提升运检效率和故障检出率，全面支撑设备运行维护和状态检修，本装置内置安全芯片21和安全TF卡22，与安全接入平台3进行数据加密与身份认证，实现与可视化管理辅助平台4数据交互和管理控制；北斗/GPS定位模块7实现双模精确定位授时校时功能，支持双频卫星数据接收，支持RTCM3.0以上格式的差分改正，区域精度可达亚米级，时间同步精度0.1s；可见光摄像模组103采用1300万像素自动对焦摄像模组，可进行相机检校，获得相机的内方位元素在畸变矫正后的影像上支持影像分割、特征匹配、目标识别、位置测量等功能；NFC扫描仪8实现近距离身份识别功能；UHF RFID识别模块9实现超高频远距离RFID读取无源电子标签功能；实时接收内网可视化辅助管理平台4下达的运检任务，并按照规范作业流程开展现场作业，当遇到问题时，可通过内置知识库13查询缺陷分类134、典型案例133、设备台账132和各类技术典范131；本发明实现了现场数据规范化搜集、现场作业规范化指导、设备状态多维实时分析、一键数据上传功能，显著提高运维部门应对复杂作业和突发事件的响应速度与处置能力；本发明具有结构简单、实现远程支持、提高作业效率、避免误操作、提高运维部门应对复杂作业和突发事件的响应速度与处置能力的优点。

Claims (6)

1.一种用于智能运检的现场作业辅助装置，它包括辅助终端、安全接入平台、可视化管理辅助平台和专业运维检修设备，其特征在于：所述的辅助终端包括安全加密模块、无线自组网通讯模块、北斗/GPS定位模块、NFC扫描仪、UHF RFID识别模块、双光融合测温/成像模块、DMO脱网直通PTT模块、高清摄像模块、内置知识库、电源管理模块、储存器、电子罗盘九轴重力传感器、LCD触摸显示屏、语音播报器、模拟信号处理模块、处理器和上机位程序管理模块，所述的安全加密模块包括安全芯片和安全TF卡，所述的无线自组网通讯模块包括近场wifi/蓝牙一体通讯模块和远端全网通通讯模块，所述的远端全网通通讯模块包括远端4/5G专网模块和公网4G/3G/GSM模块，所述的双光融合测温/成像模块包括红外光摄像模组、转换模组模块和可见光摄像模组，所述的转换模组模块包括AR成像模组，所述的DMO脱网直通PTT模块包括音频解码/编码模块，所述的内置知识库包括设备台账、技术典范、典型案例和缺陷分类，所述的电源管理模块包括低功耗管理模块，所述的模拟信号处理模块包括模拟传感器输入模块，所述的专业运维检修设备包括局放检测仪、油色谱分析仪和站内机器人。

2.如权利要求1所述的一种用于智能运检的现场作业辅助装置，其特征在于：所述的辅助终端还包括一键通话PTT按键、一键视频拍照按键、一键录音按键、一键呼叫求救按键、一键上传按键、一键协助邀请按键和一键网络切换按键。

3.如权利要求1所述的一种用于智能运检的现场作业辅助装置，其特征在于：所述的可见光摄像模组采用1300万像素自动对焦摄像模组。

4.如权利要求1所述的一种用于智能运检的现场作业辅助装置，其特征在于：所述的处理器采用基于MTK的MT6753型处理器。

5.如权利要求1所述的一种用于智能运检的现场作业辅助装置，其特征在于：所述的可视化管理辅助平台基于CentOS x64 Linux操作系统，采用Java编写，利用HTML5、Bootstrap、SpringMVC实现。

6.如权利要求1所述的一种用于智能运检的现场作业辅助装置，其特征在于：所述的AR成像模组采用基于FAST-SURF增强现实跟踪算法，实现原理为将终端摄像头采集的视频帧图像通过FAST算法计算出可能的特征角点，然后进行快速Hessian检测子特征提取，取得SURF特征点，并与离线取得的图像特征进行实时检测匹配，建立相机坐标系和世界坐标系之间的转换关系，将三维虚拟物体与真实视频图像进行合成显示，实现流程为首先选取合适的基准图像并离线采集该系统中图像特征，保存为KD-Tree结构，在实时检测时通过移动终端摄像头捕捉实时视频流的每帧并提取特征点，与待增强的目标图像特征进行查找配对，依靠匹配成功的特征点与投影方程，计算出虚实注册的相关关键矩阵(旋转矩阵、平移矩阵等)，然后将三维虚拟物体融合在终端屏幕的相应位置中，具体为：(a)FAST-SURF特征检测算法首先对检测图像进行FAST检测算法，对提取出的特征角点代入SURF算法进行计算，提取角点的特征尺度信息，算法流程为(a1)：FAST算法是一种简单快速的角点探测算法，通过定义角点响应函数CRF来检测一个候选像素点是否为角点，即：

其中P表示中心像素点，I(X)表示该圆周上任意一点像素点的灰度值，I(P)表示中心像素点P的图像灰度值，ε_d为给定的一个极小阈值，使用上述角点函数循环计算出圆周上满足公式(1)像素点的个数为N，通过预先设定的阈值并与N比较，如果N小于该阈值，则该探测候选点记作角点；(a2)：SURF算法的检测是基于尺度空间的，是通过Hessian矩阵来检测特征点，设图像I(X)的某一像素点X＝(x,y)，尺度为σ的Hessian矩阵H(X,σ)定义为：

其中L_xx(X,σ)是二阶高斯滤波与图像在X点的卷积，L_xy(X,σ)、L_yx(X,σ)、L_yy(X,σ)的计算类似，这样的特征点的值就通过计算每个像素点的Hessian矩阵行列式得到，通过盒滤波器来近似替换二阶高斯滤波器，使用积分图像来加速卷积过程，可以得到Hessian矩阵的行列式为det(H)＝(D_xxD_yy-0.9D_xy)² (3)，用尺度空间下特征点与本尺度的相邻位置以及相邻尺度的对应位置进行对比，获得的局部极值作为候选特征点，同时需要在尺度空间和图像空间中做插值计算，这样才能得到稳定的特征点位置及尺度，为了保证特征矢量具有旋转不变性，需要对检测特征赋予一个确定的方向，假设s是某一特征点所在的尺度，通过设定该特征点为圆心，在特征点周围半径为6s的圆域内，求出x和y两个方向的Harr小波响应，为了使越靠近特征点的响应贡献越大，给小波响应值预设高斯权重系数，然后以圆心60°内的x和y方向的Harr小波响应合成，获得该邻域内的特征向量，通过循环比对整个圆形区域内的特征向量，取出最长的向量方向，则选取该方向为该特征点主方向，要得到特征描述向量，首先构建一个以特征点为中心，长为20s(s为特征点尺度)的正方形邻域，同时将该窗口邻域分为4×4的子区域，每块区域内获得5×5个采样点的水平方向(记作dx)和垂直方向(记作dy)的Harr小波响应，并用高斯窗口函数对响应值赋予权重系数，这样，一个完整的特征点描述矢量就可以由4×4个子区域的矢量联合组成，即V＝(∑dx,∑|dx|,∑dy,∑|dy|)，它的描述符维数是4×4×4＝64，同时对这些特征向量做归一化以保持光照不变形，最终得到该区域特征描述符；(b)特征点匹配与跟踪，算法流程为：(b1)：基于KD-Tree的特征点匹配：KD-Tree是对数据点在K维点中的每一个点都储存在二叉树的每个节点上，将数据分为左右两个子空间，在每层中都用一个新的维度来分割剩下的点，在迭代生成过程中，重点在某个给定节点上，判断余下的点在用于分割的维度上是大于分割点还是小于分割点，当获取到特征点后，需要生成该图像特征点集合的KD-Tree，依次对特征点的各维度上的描述向量求方差，获得方差最大的轴(维)并将其作为split域，排序各个节点数据同时获取这一维上的中值，作为数据分割的数据点，然后将数据分为左右两个子空间，并将此分割点作为其父亲点，迭代上述过程直到数据划分完毕，KD-Tree构建完成后，需要寻找一个数据点在KD-Tree的最近邻点，采用基于KD-Tree索引的近似最近邻搜索，对于给定的目标特征点，利用优先队列搜索整棵树，首先找到n个最邻近的特征点，然后从这些特征点按照从根节点到叶子节点的顺序扫描，将不匹配的节点进入有序队列，再从队列中取出当前纬度最小的特征点，重复扫描遍历，找到最近点，然后从该点进行回溯，将其查询路径回溯到最初节点，就能获得最近距离的点；(b2)：基于KLT的目标跟踪：KLT算法是一种快速的特征点跟踪方法，是依据平移运动模型，在视频流的帧图像序列中的相邻两帧运动变化很小，假设t时刻图像上的某一点I(x,y)经过τ时间运动到I(x-ε,y-η)，令d＝(ε,η)称为平移运动参数向量，可以认为后一帧图像点J能够由前一阵图像点I通过平移d得到，且它们灰度值近似相等，即：J(X)＝I(X-d)+n(X)(4)，在上式中J(X)为点I经过τ时间的灰度值，n(X)为响应的噪声，则误差函数为：ξ＝∫_w[I(X-d)-J(X)]²wdX(5)，其中w为特征区域内不同像素点的加权方程，为了让特征点I(x,y)周围的某个特征窗口w内的二重积分得到的残差最小，需要选择最优的运动参数向量d，因此通过迭代计算出最优的运动参数向量d，从而进行特征窗口的跟踪，使用特征关键帧作为更新条件，这样平滑特征点的更新速度，使特征点更新时产生的误差出现几率下降，通过实时检测特征点的数量，如果出现低于一定阈值的情况，就对KLT的特征点进行更新；(c)：坐标转换与显示：当计算出特征匹配结果后，根据匹配数据计算当前图像中每个平面与参考图像之间的单应性关系，并以此恢复出每个平面所对应的投影矩阵，而针孔摄像机模型投影方程为：

其中，三维世界坐标(X,Y,Z)^T通过摄像机投影变换后获得该坐标在平面上的视图位置(U,V)^T，f_x、f_y、C_x、C_y是摄像机内参数并设置为固定值，R、T矩阵是目标场景下的世界坐标系映射到相机坐标系的转换参数，从公式(6)可以知道，如果能够检测足够多的特征点匹配对，虚实融合中最关键的三维注册所需的变换矩阵可以通过上述投影矩阵以及离线计算中的世界坐标系与平面坐标系之间的变换关系合成，进而计算出摄像头在该场景下的位姿参数，将OpenGL生成的虚拟物体在摄像机位姿系数的设定下经过反变换后定位到真实场景中，为了获取最佳的R、T变换参数，在计算过程中采用RANSAC算法剔除匹配相关性较差的特征点对。

Images