CN113971753A

CN113971753A - 一种基于多个固定摄像头的虚拟机器人巡检方法

Info

Publication number: CN113971753A
Application number: CN202111230937.4A
Authority: CN
Inventors: 孙培; 周逸明; 卢山; 刘旭
Original assignee: Shenzhen Polytechnic
Current assignee: Shenzhen Polytechnic
Priority date: 2021-10-22
Filing date: 2021-10-22
Publication date: 2022-01-25

Abstract

一种基于多个固定摄像头的虚拟机器人巡检方法，包括如下步骤，步骤1：完成对同一场景下，不同角度画面之间的特征点匹配；步骤2：建立在已知两帧图像之间的位姿转换关系；步骤3：设立虚拟巡检机器人依据稀疏的特征点地图；步骤4：对相机重定位；步骤5：完成区域稠密的像素匹配；步骤6：重建像素三维空间坐标：步骤7：将稠密三维模型转化为视频流形式输出供监控人员查看。本发明能提供先验的稀疏特征点地图，设置虚拟机器人巡检大规模场景，并输出实时的三维稠密建模和方便监测人员观察的摄像头任意视角下视频流，实现了虚拟机器人巡检工作，并代替了人工等检，且能实现更好的巡检效果，提高了工作效率，减少了生产方人工成本。

Description

一种基于多个固定摄像头的虚拟机器人巡检方法

技术领域

本发明涉及检测设备技术领域，特别是一种基于多个固定摄像头的虚拟机器人巡检方法。

背景技术

实际生产等中，在不方便移动机器人和无人机等巡检工作、且具有一定安全隐患等的场所，传统方式一般采用人工对现场进行安全巡检，人工方式不但给巡检工作人员带来了不便、效率低下，并增加了生产方人工成本，且人为巡检危险区域还存在较大的人身伤害安全风险。现有技术中，为了减少人工成本及安全风险，较为有效的方法是在现场相应区域安装摄像机，进而将现场的视频数据传递到监控端，远端(比如监控室)相关人员对现场实时进行视频监控，在发生危险状况时能第一时间进行处置，减少了安全事故的发生机率。实际情况下，摄像机输出到监控端的视频流是基于摄像头的固定视角，监控端不能根据摄像头视角基础上对现场监测区域进行局部三维建模、更无法实现在摄像头任意视角下观察具体的现场场景视频流，因此相对的无法达到好的监控效果。

Slam系统是一种同步定位与地图(三维点云地图)构建系统，Slam系统对即时性要求较高，现有可移动摄像头视角的移动摄像机相关辅助应用软件、并不能保留完整的稀疏的三维点云地图，仅能用于即时定位，且Slam系统不具有再次启动时的快速重定位以及稠密建图的能力，因此更不存在设立虚拟机器人这一概念。实际情况下，现场相关监控区域有着大量的防爆摄像机，监控相机等固定设备，它们虽然不具备移动能力，但实际上其摄像头拥有较广的视角范围，这些已经广泛布置的摄像设备只要有合适的算法结合相关软件，便能生成方便监测人员观察的摄像头任意视角下视频流，但是要达成上述发明目的、需要对具体监测场景进行先验，也就是说需要基于这些固定摄像头进行稀疏三维重建地图，并需要解决在使用中单目相机(防爆摄像机，监控相机等)的重启定位问题。

发明内容

为了克服现有技术中，对于不方便移动机器人和无人机等巡检工作、且具有一定安全隐患等的场所，人为方式巡检和现有摄像机监控方式存在的如背景所述弊端，本发明提供了在相关应用软件作用下，经过多个步骤，能提供先验的稀疏特征点地图，能设置虚拟机器人巡检大规模场景，并输出实时的局部监测区域三维稠密建模和方便监测人员观察的摄像头任意视角下视频流，由此实现了代替了人工、移动机器人和无人机巡检，且能实现更好的巡检效果，提高了工作效率，减少了生产方人工成本，并防止了发生人身伤害事故发生的一种基于多个固定摄像头的虚拟机器人巡检方法。

本发明解决其技术问题所采用的技术方案是：

一种基于多个固定摄像头的虚拟机器人巡检方法，采用开源的slam架构作为基础，其特征在于包括如下步骤，步骤1：经摄像头拍摄的视频，经提取及匹配应用单元，通过特征点提取和匹配完成对同一场景下，不同角度画面之间的特征点匹配；步骤2：通过位姿转换应用单元，实现三角化重建恢复特征点的三维空间坐标，建立在已知两帧图像之间的位姿转换关系；步骤3：通过设置应用单元，设立虚拟巡检机器人依据稀疏的特征点地图；步骤4：通过定位应用单元，对相机重定位；步骤5：通过匹配应用单元，经稀疏点云地图快速确定了多帧图像之间的位姿转换关系后，再经极线投影和块匹配完成摄像头视角内的区域稠密的像素匹配；步骤6：通过重建像素应用单元，在完成像素匹配后经三角化稠密地重建像素的三维空间坐标：步骤7：通过输出应用单元，在完成局部实时三维模型重建之后，若是需要在中控台依靠人工辅助完成巡检，则将稠密三维模型转化为视频流形式输出供监控人员查看。

进一步地，所述步骤1中，包括特征点提取、特征点编码、特征点匹配三个流程。

进一步地，所述步骤2中，包括三角化，保留空间坐标及多角度的二维描述子、并标码两个流程。

进一步地，所述步骤3中，主要为步骤四对相机进行重定位起到基础作用。

进一步地，所述步骤4中，包括对新的一帧输入图像进行特征点提取并遍历叶节点确定该特征点在空间中的位置、通过PnP方法对相机的当前位姿进行定位两个流程；第二个流程包括获得特征点的齐次坐标及像素坐标、求解相机位姿。

进一步地，所述步骤5中，包括极线投影、极线匹配两个流程。

进一步地，所述步骤6完成后便能的到稠密的三维地图。

进一步地，所述步骤7分为两个流程完成。

本发明有益效果是：本发明基于开源的slam架构，在相关应用软件作用下，经过相关七个步骤，能为监测端提供先验的稀疏特征点地图，设置虚拟机器人巡检大规模场景，并输出实时的局部监测区域三维稠密建模和方便监测人员观察的摄像头任意视角下视频流，实现了虚拟机器人对相关区域的巡检工作，并代替了人工、移动机器人和无人机巡检，且能实现更好的巡检效果，提高了工作效率，减少了生产方人工成本，并防止了发生人身伤害事故的机率。基于上述，所以本发明具有好的应用前景。

附图说明

以下结合附图和实施例将本发明做进一步说明。

图1是本发明工作流程示意图。

图2是本发明应用的软件架构框图。

图3是本发明树形结构示意图。

具体实施方式

图1、2中所示，一种基于多个固定摄像头的虚拟机器人巡检方法，采用开源的slam架构作为基础，包括如下步骤，步骤1：经摄像头拍摄的视频，经提取及匹配应用单元，通过特征点提取和匹配完成对同一场景下，不同角度画面之间的特征点匹配；步骤2：通过位姿转换应用单元，实现三角化重建恢复特征点的三维空间坐标，建立在已知两帧图像之间的位姿转换关系；步骤3：通过设置应用单元，设立虚拟巡检机器人依据稀疏的特征点地图；步骤4：通过定位应用单元，对相机(摄像头)重定位；步骤5：通过匹配应用单元，经稀疏点云地图快速确定了多帧图像之间的位姿转换关系后，再经极线投影和块匹配完成摄像头视角内的区域稠密的像素匹配；步骤6：通过重建像素应用单元，在完成像素匹配后经三角化稠密地重建像素的三维空间坐标：步骤7：通过输出应用单元，在完成局部实时三维模型重建之后，若是需要在中控台依靠人工辅助完成巡检，则将稠密三维模型转化为视频流形式输出供监控人员查看。

图1、2中所示，步骤1中具体流程如下。(1)特征点提取，特征点(角点)提取使用FAST算法，以一个像素点为中心，半径为3个像素的像素块。首先定义阈值，若其边缘有连续N个点与中心像素的灰度差达到一定阈值则认为该像素点为特征点；若特征点p的领域内有多个特征点，则进行非极大值抑制。计算每个特征点的得分(像素块边缘点同中心点的灰度差绝对值总和)，保留领域内响应值最大的特征点。此步骤将会提取出两帧或者多帧图像之间的具有丰富纹理的点作为特征点，这些特征点可以用于寻找两帧 (或多帧)图像之间指向了三维空间中同一点的像素点对(群)。具体采用的计算公式如下：

A＝argmax_i∑_j|pixel value_i,j-p_i|

式中pixel value_i,j指代特征点p_i领域边缘上的像素点灰度；p_i为特征点像素灰度；argmax函数为取i值，令后式的值最大。

(2)特征点编码，通过一定模式(随机选取或高斯方法)选取像素点对，对选中的像素点对通过以下规则编码。采用的公式如下：

式中p为像素的灰度(由于选择了两个像素点，所以用下标区分)。通过编码能形成128 位或者256位的描述子；通过和邻域的像素点做灰度比较，描述子可以近似地、独特地表述一个像素点的部分三维空间中的特征，因此，在另一帧图像中，对三维空间中同一个点投影在该帧图像上的像素点的描述子和第一帧上的投影的描述子应当有较高的相似度，通过此步骤为接下来特征点的匹配提供了比较基础数据。(3)特征点匹配，对比两帧图像之中描述子之间的距离(汉明距离或欧氏距离)，认为距离最短的一对描述子所代表的特征点为同一特征点；这样可以获得两个不同视角的图片中指向同一个三维空间点的像素坐标位置，在已知同一三维空间中的点经两个不同角度的图像上投影的像素坐标后，边能够通过对极几何约束求解出两帧图像之间的位姿转换关系[R|T]。

图1、2中所示，步骤2中具体流程如下。(1)三角化，设第一帧图像上的某一特征点点的深度为s₁，第二帧上该特征点的深度为s₂，则得到s₂x₂＝s₁Rx₁+t，式中，其中x为两帧上像素坐标位置(以下标作区分)，R和t分别为旋转矩阵和位移向量，这些量均为已知量，因此依据上式约束关系可求得深度s。(2) 保留空间坐标，多角度的二维描述子并标码。图3中所示，形成以特征点的三维空间点为父节点，描述子为子节点的树形结构，图中，P为三维空间中的点，p为该点在不同图像中投影的描述子。

图1、2中所示，步骤3具体操作中，在地图中设立巡检机器人，机器人可以在稀疏的地图中依据人为命令或者设计轨迹行动。机器人具有视角，并且视角会覆盖已经编号的三维空间中的特征点，依据这些特征点来对相机进行重定位。

图1、2所示，步骤4具体操作中，考虑到节约算力，在未启用虚拟巡检机器人时不对每个相机进行自身姿态的定位，因此当巡检机器人启动的时候，相机需要依据已有的稀疏地图对自身的姿态位置进行一次重定位，在获得重定位的坐标和姿态之后，对后续的基于固定相机稠密重建提供关键的转移矩阵。具体流程如下，(1)当新的一帧图像输入时，对新的图像进行特征点提取并遍历叶节点确定该特征点在空间中的位置。(2)通过PnP方法对相机的当前位姿进行定位；具体分为两个分步骤，A:获得特征点的空间齐次坐标P(X,Y,Z,1)和该特征点在某一平面上的像素坐标p(u,v,1)。B:求解相机位姿R,t(R为3x3的旋转矩阵，t为3x1的位移向量)。定义一个增广矩阵T＝[R|t]，则sp^T＝TP^T,展开上式，有

(t为增广矩阵中的元素，没有物理意义)，消去s，得到约束

通过四个已知的3D-2D点对可求出增光矩阵T内元素(三个点对用于求解，一个用于验证)。

图1、2所示，步骤5能获得稠密重建的结果(一个区域实时的三维模型)可以作为其他检测算法的输入来检查装置(作为虚拟巡检机器人)是否出现故障。具体操作流程如下(1)极线投影，极线投影依靠本质矩阵E＝t^{^}R(由旋转和位移得到)，一帧上的某一像素的极线在另一帧上的投影的极线l为l＝Ep₁。 (2)极线匹配，在理想情况下，第一帧上该像素会落在第二帧上由上式得到的极线投影中，因此通过块匹配的方式选定像素点。对极线上的每一个像素点画出一个一定半径的领域，对第一帧上该像素点也划出同样半径的领域像素块。计算两个像素块的相似性，选取得分最高的一个作为匹配的像素

式中A和B分别为第一帧和第二帧上的像素块中的像素灰度。

图1、2所示，步骤6在完成像素匹配后经三角化稠密地重建像素的三维空间坐标，具体流程和步骤5 流程一致，在此步骤完成后便能的到稠密的三维地图。

图1、2所示，步骤7流程如下，(1)由于虚拟机器人的路线是在稀疏地图中确立，因此虚拟机器人的姿态R_r,t_r在系统中实时已知，依据三维向二维投影法则，有Zp^T＝KTP^T，式中，Z为二维图像的尺度因子，K为虚拟机器人的相机内参(人为设置，已知)，T为旋转和位移的增广矩阵，P为三维空间点的齐次坐标，p为二维点的齐次坐标；通过上式，将三维空间中的点云全部投影到虚拟机器人视角下的二维平面。 (2)由于三维空间是由点云构成，在投影到二维平面时存在像素之间的空隙，因此采用线性插值的方法补齐空隙像素。对于两个像素点p₁(x₁,y₁),p₂(x₂,y₂)，有：

经由步骤7便可以得到一个基于稠密三维重建结果，从任意视角巡检场景的视频流。

图1、2所示，通过上述所有步骤，本发明基于开源的slam架构，经过相关七个步骤，能为监测端提供先验的稀疏特征点地图，设置虚拟机器人巡检大规模场景，并输出实时的局部监测区域三维稠密建模和方便监测人员观察的摄像头任意视角下视频流，实现了虚拟机器人对相关区域的巡检工作，并代替了人工、移动机器人和无人机巡检，且能实现更好的巡检效果，提高了工作效率，减少了生产方人工成本，并防止了发生人身伤害事故的机率。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点，对于本领域技术人员而言，显然本发明限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于多个固定摄像头的虚拟机器人巡检方法，采用开源的slam架构作为基础，其特征在于包括如下步骤，步骤1：经摄像头拍摄的视频，经提取及匹配应用单元，通过特征点提取和匹配完成对同一场景下，不同角度画面之间的特征点匹配；步骤2：通过位姿转换应用单元，实现三角化重建恢复特征点的三维空间坐标，建立在已知两帧图像之间的位姿转换关系；步骤3：通过设置应用单元，设立虚拟巡检机器人依据稀疏的特征点地图；步骤4：通过定位应用单元，对相机重定位；步骤5：通过匹配应用单元，经稀疏点云地图快速确定了多帧图像之间的位姿转换关系后，再经极线投影和块匹配完成摄像头视角内的区域稠密的像素匹配；步骤6：通过重建像素应用单元，在完成像素匹配后经三角化稠密地重建像素的三维空间坐标：步骤7：通过输出应用单元，在完成局部实时三维模型重建之后，若是需要在中控台依靠人工辅助完成巡检，则将稠密三维模型转化为视频流形式输出供监控人员查看。

2.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤1中，包括特征点提取、特征点编码、特征点匹配三个流程。

3.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤2中，包括三角化，保留空间坐标及多角度的二维描述子、并标码两个流程。

4.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤3中，主要为步骤四对相机进行重定位起到基础作用。

5.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤4中，包括对新的一帧输入图像进行特征点提取并遍历叶节点确定该特征点在空间中的位置、通过PnP方法对相机的当前位姿进行定位两个流程；第二个流程包括获得特征点的齐次坐标及像素坐标、求解相机位姿。

6.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤5中，包括极线投影、极线匹配两个流程。

7.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤6完成后便能的到稠密的三维地图。

8.根据权利要求1所述的一种基于多个固定摄像头的虚拟机器人巡检方法，其特征在于，步骤7分为两个流程完成。