CN109740587A - 输电线路增强现实智能巡检系统及方法 - Google Patents

Abstract

本发明提出了一种本发明公开了一种输电线路增强现实智能巡检系统，包括摄像机、特征识别单元、特征跟踪单元、场景生成计算单元、图像合成计算单元和显示器单元，涉及输电线路智能巡检领域。该输电线路增强现实智能巡检算法及系统，实现了对输电线路杆塔增强现实技术中在特征图像运动及缩放的条件下，保持特征识别及特征跟踪的持续进行，提高了系统的稳定性和运行效率。

Description

输电线路增强现实智能巡检系统及方法

技术领域

本发明涉及输电线路智能巡检领域，尤其涉及一种输电线路增强现实智能巡检系统及方法。

背景技术

增强现实技术(Augmented Reality，简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间，两种信息相互补充、叠加，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术可以增强使用者对真实世界的感知能力并且提高与其的交互能力，虚拟物体可以为用户提供一些依靠其自身所无法感知的信息，这些由虚拟物体所提供的信息可以帮助使用者完成在现实世界的工作。

三维注册是指通过计算机图形学分析，获取三维空间中具体物体的准确的三维空间坐标，然后根据获取的三维坐标将由计算机生成的虚拟物体绑定拼接到真实的三维空间中去，以达到真实环境和虚拟物体的准确无缝融合。注册是增强现实技术中的最重要的技术环节，是目前阻碍增强现实技术发展的最重要的问题。许多增强现实系统都在设计时都假设视点或者物体是静止的，就算有些系统允许移动视点和物体，它们仍然要求移动处于一个严格限制的范围之中，比如在一个固定的场景范围内进行移动。并且只有在经过特殊处理的物体上才能进行注册(比如该物体上添加一些可以识别的标识或者对该物体的几何结构进行建模)，而场景中的其他没有处理过的物体都不能显示任何虚拟的效果，因为系统无法知道虚拟物体与那些没有任何可以识别的标识的物体之间是何种对应关系。由此可以看出，三维注册技术是把握增强现实技术研究深入进行的命脉，任何增强现实系统都需要在一个稳定、快速、有效的三维注册技术的支持下才能成功。

发明内容

有鉴于此，本发明提出了一种输电线路增强现实智能巡检系统及方法，可以在特征图形内部图案被遮挡的条件下或者在特征图形不可见的情况下使用不同算法进行三维注册，提高了系统的稳定性，并且可以根据特征图形的运动方式自动的调整搜索窗口的大小，在特征图形快速运动和大幅度缩放的条件下，可以持续的保持特征跟踪的正常进行，提高了系统的运行效率。

本发明的技术方案是这样实现的：

一方面，本发明提供了一种输电线路增强现实智能巡检系统，包括摄像机(1)、特征识别单元(2)、特征跟踪单元(3)、场景生成计算单元(4)、图像合成计算单元(5)和显示器单元(6)，所述摄像机(1)分别与特征识别单元(2)和图像合成计算单元(5)信号连接，所述特征识别单元(2)、特征跟踪单元(3)、图像合成计算单元(5)和显示器单元(6)依次信号连接，场景生成计算单元(4)与图像合成计算单元(5)信号连接，其中，

摄像机(1)，捕获包含输电线路杆塔的视频图像；

特征识别单元(2)，预定义包含输电线路杆塔的特征点和特征纹理的模板，并根据预定义模板中的特征点检测视频图像中出现的特征点；

特征跟踪单元(3)，提取特征点边角变化信息；

场景生成计算单元(4)，计算摄像机单元(1)与特征点的相对位置关系；

图像合成计算单元(5)，根据摄像机单元(1)与特征点的相对位置关系叠加虚拟信息，合成增强现实图像；

显示器单元(6)，显示合成的增强现实图像。

第二方面，本发明提供了一种输电线路增强现实智能巡检方法，包括以下步骤，

S1，预定义要进行匹配的模板，其中，预定义的模板包含输电线路杆塔的特征点和特征纹理；

S2，捕获包含输电线路杆塔的视频图像；

S3，根据预定义模板中的特征点检测视频图像中出现的特征点；

S4，若检测成功，则进入步骤S5；若检测失败，则返回执行步骤S3.继续检测特征点；

S5，提取特征点边角变化信息；

S6，若提取成功，则进入步骤S7；若跟踪失败，则返回步骤S3，重新检测特征点；

S7，计算摄像机与特征点的相对位置关系；

S8，根据摄像机与特征点的相对位置关系叠加虚拟信息，合成增强现实图像；

S9，显示合成的增强现实图像。

在以上技术方案的基础上，优选的，所述步骤S3中，特征图形未被遮挡或者被部分遮挡时，采用单应性矩阵的三维注册算法得到三维注册矩阵。

进一步优选的，采用单应性矩阵的三维注册算法得到三维注册矩阵的过程包括，利用特征图形上的点与摄像头拍摄的图片上的对应点之间的单应性矩阵以及特征图形上同一点在相邻两幅图像上的对应点之间的单应性矩阵恢复出三维变换矩阵，进而在特征图形的内部图案被部分遮挡的情况下完成三维注册工作。

在以上技术方案的基础上，优选的，所述步骤S3中，特征图形被遮挡时，采用基于模板纹理匹配方式完成三维注册，具体包括以下过程，首先获取场景实时图像，从图像中提取自然纹理特征点，然后针对每一个提取到的特征点与预定义模板进行正相关运算，从初始特征点集合中选择相关程度最大的特征点作为当前纹理特征点所对应的匹配特征点，得到候选特征点集合，进而计算得到三维注册矩阵。

进一步优选的，计算三维注册矩阵的过程包括，

S3-1，从候选特征点集合中随机选取4对非共线的特征点；

S3-2，计算三维变换矩阵作为候选的三维注册矩阵T_m；

S3-3，使用候选三维注册矩阵T_m和候选特征点集合(X_ci,X_mi)计算每一对匹配特征点对应的X_ci与λCT_mX_mi之间的距离，其中，λ为比例因子，C为摄像头内部参数矩阵；

S3-4，设定阈值与2个像素，选择小于等于该阈值的距离数最多的三维注册矩阵作为当前图像所对应的三维注册矩阵。

在以上技术方案的基础上，优选的，所述步骤S5包括以下过程，

S5-1，初始化搜索窗口的大小和位置信息；

S5-2，预测角点的位置；

S5-3，在预测的位置放置搜索窗口，进行角点搜索检测；

S5-4，根据当前角点信息，调整搜索窗口的参数；

S5-5，返回S5-2，继续循环执行S5-2～S5-4，直到程序退出或者角点检测失败。

本发明的输电线路增强现实智能巡检系统及方法相对于现有技术具有以下有益效果：

(1)本发明提出了使用单应性矩阵解决在特征图形内部图案被遮挡情况下的三维注册问题，在特征图形外围四个角点都可见的情况下，可以依靠前后两幅图像间的单应性矩阵解决内部图案被遮挡时的注册问题；

(2)为了增强系统的可用性，本文在特征点结合纹理进行三维注册的问题上进行了相应的研究工作，提出了采用构造自然纹理的特征模板的方式来完成三维注册；通过构造待注册区域自然纹理的多视点下的特征模板，可以在人工特征点不可见时依靠自然纹理与纹理特征模板的匹配得到三维注册矩阵，完成三维注册工作；

(3)针对传统的特征跟踪算法在特征点出现特殊移动方式的情况下稳定性差的问题，本发明提出了具有自适应性的特征跟踪方法，可以根据特征点的移动方式自动的调整跟踪窗口的尺寸，进而可以提高特征跟踪的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的输电线路增强现实智能巡检系统的结构原理框图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本发明的输电线路增强现实智能巡检系统，包括摄像机1、特征识别单元2、特征跟踪单元3、场景生成计算单元4、图像合成计算单元5和显示器单元6。

其中，所述摄像机1分别与特征识别单元2和图像合成计算单元5信号连接，所述特征识别单元2、特征跟踪单元3、图像合成计算单元5和显示器单元6依次信号连接，场景生成计算单元4与图像合成计算单元5信号连接。

具体的，摄像机1，捕获包含输电线路杆塔的视频图像；

特征识别单元2，预定义包含输电线路杆塔的特征点和特征纹理的模板，并根据预定义模板中的特征点检测视频图像中出现的特征点；

特征跟踪单元3，提取特征点边角变化信息；

场景生成计算单元4，计算摄像机单元1与特征点的相对位置关系；

图像合成计算单元5，根据摄像机单元1与特征点的相对位置关系叠加虚拟信息，合成增强现实图像；

显示器单元6，显示合成的增强现实图像。

以下介绍本发明的输电线路增强现实智能巡检方法，包括以下步骤，

S1，预定义要进行匹配的模板，其中，预定义的模板包含输电线路杆塔的特征点和特征纹理；

S2，系统启动，摄像机1捕获包含输电线路杆塔的视频图像；

S3，根据预定义模板中的特征点检测视频图像中出现的特征点。

具体的，特征图形未被遮挡或者被部分遮挡时，采用单应性矩阵的三维注册算法得到三维注册矩阵。具体的，采用单应性矩阵的三维注册算法得到三维注册矩阵的过程包括，利用特征图形上的点与摄像头拍摄的图片上的对应点之间的单应性矩阵以及特征图形上同一点在相邻两幅图像上的对应点之间的单应性矩阵恢复出三维变换矩阵，进而在特征图形的内部图案被部分遮挡的情况下完成三维注册工作。系统在启动后的初始运行阶段，特征图形的内部图案是完全可见的，系统可以完全匹配特征图形和特征模板。当系统在正常运行过程中特征图形的内部图案被部分遮挡，本方法所提供的辅助注册信息也可以让系统继续完成三维注册工作。

特征图形被遮挡时，采用基于模板纹理匹配方式完成三维注册。具体包括以下过程，首先获取场景实时图像，从图像中提取自然纹理特征点，然后针对每一个提取到的特征点与预定义模板进行正相关运算，从初始特征点集合中选择相关程度最大的特征点作为当前纹理特征点所对应的匹配特征点，得到候选特征点集合，进而计算得到三维注册矩阵。计算三维注册矩阵的过程包括，

S3-1，从候选特征点集合中随机选取4对非共线的特征点；

S3-2，计算三维变换矩阵作为候选的三维注册矩阵T_m；

S3-3，使用候选三维注册矩阵T_m和候选特征点集合(X_ci,X_mi)计算每一对匹配特征点对应的X_ci与λCT_mX_mi之间的距离，其中，λ为比例因子，C为摄像头内部参数矩阵；如此，将特征图形所在平面的点，与摄像机镜头所在平面对应点坐标形成变换关系。

S3-4，设定阈值与2个像素，选择小于等于该阈值的距离数最多的三维注册矩阵作为当前图像所对应的三维注册矩阵。

S4，若检测成功，则进入步骤S5；若检测失败，则返回执行步骤S3.继续检测特征点；

S5，提取特征点边角变化信息。采用基于角点的自适应特征跟踪算法，提取特征点边角变化信息。具体的，包括以下过程，

S5-1，初始化搜索窗口的大小和位置信息，其中，窗口的初始化位置信息由特征识别单元2提供；

S5-2，预测角点的位置；

S5-3，在预测的位置放置搜索窗口，进行角点搜索检测；

S5-4，根据当前角点信息，调整搜索窗口的参数；

S5-5，返回S5-2，继续循环执行S5-2～S5-4，直到程序退出或者角点检测失败。

S6，若提取成功，则进入步骤S7；若跟踪失败，则返回步骤S3，重新检测特征点；

S7，计算摄像机与特征点的相对位置关系；

S8，根据摄像机与特征点的相对位置关系叠加虚拟信息，合成增强现实图像；

S9，显示合成的增强现实图像。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种输电线路增强现实智能巡检系统，包括摄像机(1)、特征识别单元(2)、特征跟踪单元(3)、场景生成计算单元(4)、图像合成计算单元(5)和显示器单元(6)，其特征在于：所述摄像机(1)分别与特征识别单元(2)和图像合成计算单元(5)信号连接，所述特征识别单元(2)、特征跟踪单元(3)、图像合成计算单元(5)和显示器单元(6)依次信号连接，场景生成计算单元(4)与图像合成计算单元(5)信号连接，其中，

摄像机(1)，捕获包含输电线路杆塔的视频图像；

特征识别单元(2)，预定义包含输电线路杆塔的特征点和特征纹理的模板，并根据预定义模板中的特征点检测视频图像中出现的特征点；

特征跟踪单元(3)，提取特征点边角变化信息；

场景生成计算单元(4)，计算摄像机单元(1)与特征点的相对位置关系；

图像合成计算单元(5)，根据摄像机单元(1)与特征点的相对位置关系叠加虚拟信息，合成增强现实图像；

显示器单元(6)，显示合成的增强现实图像。

2.一种输电线路增强现实智能巡检方法，其特征在于：包括以下步骤，

S1，预定义要进行匹配的模板，其中，预定义的模板包含输电线路杆塔的特征点和特征纹理；

S2，捕获包含输电线路杆塔的视频图像；

S3，根据预定义模板中的特征点检测视频图像中出现的特征点；

S4，若检测成功，则进入步骤S5；若检测失败，则返回执行步骤S3.继续检测特征点；

S5，提取特征点边角变化信息；

S6，若提取成功，则进入步骤S7；若跟踪失败，则返回步骤S3，重新检测特征点；

S7，计算摄像机与特征点的相对位置关系；

S8，根据摄像机与特征点的相对位置关系叠加虚拟信息，合成增强现实图像；

S9，显示合成的增强现实图像。

3.如权利要求2所述的输电线路增强现实智能巡检方法，其特征在于：所述步骤S3中，特征图形未被遮挡或者被部分遮挡时，采用单应性矩阵的三维注册算法得到三维注册矩阵。

4.如权利要求3所述的输电线路增强现实智能巡检方法，其特征在于：采用单应性矩阵的三维注册算法得到三维注册矩阵的过程包括，利用特征图形上的点与摄像头拍摄的图片上的对应点之间的单应性矩阵以及特征图形上同一点在相邻两幅图像上的对应点之间的单应性矩阵恢复出三维变换矩阵，进而在特征图形的内部图案被部分遮挡的情况下完成三维注册工作。

5.如权利要求2所述的输电线路增强现实智能巡检方法，其特征在于：所述步骤S3中，特征图形被遮挡时，采用基于模板纹理匹配方式完成三维注册，具体包括以下过程，首先获取场景实时图像，从图像中提取自然纹理特征点，然后针对每一个提取到的特征点与预定义模板进行正相关运算，从初始特征点集合中选择相关程度最大的特征点作为当前纹理特征点所对应的匹配特征点，得到候选特征点集合，进而计算得到三维注册矩阵。

6.如权利要求5所述的输电线路增强现实智能巡检方法，其特征在于：计算三维注册矩阵的过程包括，

S3-1，从候选特征点集合中随机选取4对非共线的特征点；

S3-2，计算三维变换矩阵作为候选的三维注册矩阵T_m；

S3-3，使用候选三维注册矩阵T_m和候选特征点集合(X_ci,X_mi)计算每一对匹配特征点对应的X_ci与λCT_mX_mi之间的距离，其中，λ为比例因子，C为摄像头内部参数矩阵；

S3-4，设定阈值与2个像素，选择小于等于该阈值的距离数最多的三维注册矩阵作为当前图像所对应的三维注册矩阵。

7.如权利要求2所述的输电线路增强现实智能巡检方法，其特征在于：所述步骤S5包括以下过程，

S5-1，初始化搜索窗口的大小和位置信息；

S5-2，预测角点的位置；

S5-3，在预测的位置放置搜索窗口，进行角点搜索检测；

S5-4，根据当前角点信息，调整搜索窗口的参数；

S5-5，返回S5-2，继续循环执行S5-2～S5-4，直到程序退出或者角点检测失败。