CN109300161A - 一种基于双目视觉的定位方法及装置 - Google Patents

Abstract

本发明公开了一种基于双目视觉的定位方法及装置，应用于电力巡检机器人，方法包括以下步骤：分别采集场景的可见光图像和红外图像；分别对可见光图像和红外图像进行轮廓特征提取，获取第一轮廓特征和第二轮廓特征；分别对第一轮廓特征和第二轮廓特征进行SIFT特征提取，获取可见光图像SIFT特征点和红外图像SIFT特征点；将可见光图像SIFT特征点和红外图像SIFT特征点进行匹配，校准可见光图像SIFT特征点和红外图像SIFT特征点位置，将可见光图像和红外图像进行融合，得到融合后的融合图像；通过将所述融合图像进行模板匹配，完成定位；本发明通过同时采集可见光图像和红外图像，经过特征提取、图像融合和多次模板匹配，有效提高了对电力设备的监测效率。

Description

一种基于双目视觉的定位方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于双目视觉的定位方法及装置。

背景技术

随着智能电网系统的发展，变电站、电力线的覆盖范围越来越广泛，为了确保电力设备的安全平稳运行，及时发现设备的缺陷或隐患，长期以来，要求现场运行人员定期或不定期对现场设备进行巡视检查，对仪器仪表设备进行手工抄录，采用测温仪器对设备进行现场测量，工作量大，且受环境因素、人员素质等因素影响，容易造成巡视不到位，检测数据不准确，巡视效率及质量往往达不到预期的效果，针对人工巡检效率低、质量低的问题，利用电力设备巡检机器人在输电线路上进行自动化检查，可以代替人工，高可靠性，高效率的完成任务，但是目前的巡检机器人往往采用可见光相机进行定位，定位精确度低，目前，双目立体视觉已经成为计算机视觉处理的一个研究热点，是基于人眼双目视差模式，通过匹配寻找出双目图像中的同一场景，计算该空间场景在不同图像中的对应关系，然而，现有方法将很难做到精确定位，导致测量不准确，对于变电站环境下仪表读数和设备温度的检测而言，如何精确地检测出目标区域的位置以实现对仪表读数和设备温度的检测是现有技术中一亟待解决的问题。

发明内容

为了解决上述问题，本发明提出了一种基于双目视觉的定位方法及装置，通过可见光和红外相机获取可见光图像和红外图像，利用红外图像对温度的敏感性和可见光图像有效信息充足，经过特征提取，图像融合，实现对电力设备的精确定位：

具体的，一种基于双目视觉的定位方法，应用于电力巡检机器人，包括以下步骤：

S1.分别采集场景的可见光图像和红外图像；

S2.分别对可见光图像和红外图像进行轮廓特征提取，获取第一轮廓特征和第二轮廓特征，所述第一轮廓特征为所述可见光图像轮廓特征，所述第二轮廓特征为所述红外图像轮廓特征；

S3.分别对所述第一轮廓特征和所述第二轮廓特征进行SIFT特征提取，获取可见光图像SIFT特征点和红外图像SIFT特征点；

S4.将所述可见光图像SIFT特征点和红外图像S IFT特征点进行匹配，校准可见光图像SIFT特征点和红外图像SIFT特征点位置，将可见光图像和红外图像进行融合，得到融合后的融合图像；

S5.通过将所述融合图像进行模板匹配，完成定位。

进一步的，所述可见光图像轮廓特征提取步骤包括：

S211.对所述可见光图像进行图像预处理；

S212.将预处理后的可见光图像与第一预设模板进行匹配，获取所述可见光图像中心点位置并与所述第一预设模板匹配，判断可见光图像中心点是否与第一预设模板中心点重合，若重合，执行S224，否则执行S223；

S213.调整云台位置重新采集可见光图像并执行S211；

S214.获取第一目标图像；

S215.将所述第一目标图像与第二预设模板进行二次匹配，获取目标位置；

S216.提取所述第一轮廓特征。

进一步的，所述红外图像轮廓特征提取步骤包括：

S221.对所述红外图像进行中值滤波消除噪点；

S222.将所述红外图像进行阈值分割；

S223.提取所述红外图像的所述第二轮廓特征。

进一步的，所述图像预处理包括直方图均值化处理，用于去除光照对图像的影响。

进一步的，获取所述可见光图像中心点位置的具体步骤为：通过阈值分割和边缘检测的方法获取所述可见光图像的特征，遍历可见光图像的特征，与所述第一预设模板进行特征匹配，寻找相似度最高的特征并进行位置对准，获取可见光图像中心点位置。

进一步的，步骤S5中，完成定位的具体过程为：将所述融合图像进行图像锐化处理，并将处理后的融合图像与第三预设模板进行匹配，若融合图像中心点与所述第三预设模板中心点重合，则匹配成功，完成定位；若所述融合图像中心点与所述第三预设模板中心点有偏差，则调整云台，重新获取可见光图像及红外图像，以所述可见光图像SIFT特征点和红外图像SIFT特征点参数为预设参数，通过所述预设参数将重新获取的可见光图像及红外图像进行SIFT特征匹配、融合、锐化处理及与所述第三预设模板匹配，重复上述过程直至融合图像与第三预设模板中心点重合，完成定位。

具体的，一种基于双目视觉的定位装置，应用于电力巡检机器人，包括可见光图像采集模块、红外图像采集模块、云台调整模块、可见光图像处理模块、红外图像处理模块、SIFT特征提取模块及图像融合模块；

所述可见光图像采集模块用于采集目标的可见光图像；

所述红外图像采集模块用于采集目标的红外图像；

所述云台调整模块用于调整云台角度；

所述可见光图像处理模块用于对可见光图像进行预处理、模板匹配及可见光图像轮廓特征提取；

所述红外图像处理模块用于对红外图像进行预处理及红外图像轮廓特征提取；

所述SIFT特征提取模块用于根据可见光图像轮廓特征提取可见光图像SIFT特征及根据红外图像轮廓特征提取红外图像SIFT特征；

所述图像融合模块用于根据可见光图像SIFT特征及红外图像SIFT特征将可见光图像与红外图像进行融合并进行模板匹配，完成定位。

与现有技术相比，本发明的有益效果在于：

本发明提供的一种基于双目视觉的定位方法及装置通过同时采集可见光图像和红外图像，经过特征提取、图像融合和模板匹配，同时利用可见光图像数据量大，信息充足，目标物体特征丰富的特点，以及红外图像对温度数据采集准确，温度图像特征明显的优势，可以在变电站环境下可以有效的提高识别定位的准确性，并可以优化针对变电站环境下设备发热检测的定位效率，有效提高了对电力设备的监测效率。

附图说明

图1为本发明的一种基于双目视觉的定位方法流程图；

图2为本发明实施例的流程示意图；

图3为本发明的一种基于双目视觉的定位装置的结构示意图。

附图中：100-定位装置，101-可见光图像采集模块，102-红外图像采集模块，103-可见光图像处理模块，104-红外图像采集模块，105-SIFT特征提取模块，106-图像融合模块，107-云台调整模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1、图2所示，一种基于双目视觉的定位方法，应用于电力巡检机器人，首先对可见光相机和红外相机进行参数设定并校准，通过在目标设备附近设定人工信标，使可见光图像和红外图像中的信标位置对准可见光图像和红外图像的中心，使两图像大致重合。

巡检机器人到达目标点附近时，分别通过可见光相机和红外相机采集场景的可见光图像和红外图像，并分别对可见光图像和红外图像进行轮廓特征提取，获取第一轮廓特征和第二轮廓特征，第一轮廓特征为可见光图像轮廓特征，第二轮廓特征为红外图像轮廓特征。

其中，可见光图像轮廓特征提取步骤包括：

对可见光图像进行直方图均值化图像预处理，去除光照对图像的影响；

将预处理后的可见光图像与第一预设模板进行匹配，通过阈值分割和边缘检测的方法获取可见光图像的特征，遍历可见光图像的特征，与第一预设模板进行特征匹配，寻找相似度最高的特征并进行位置对准，获取可见光图像中心点位置并判断可见光图像中心点是否与第一预设模板中心点重合，若重合，调整可见光相机焦距，拉近距离，获取清晰、完整的第一目标图像，否则调整云台位置，重新获取可见光图像并执行图像预处理和与第一预设模板匹配，直至可见光图像中心点与第一预设模板中心点重合，其中，第一预设模板为预先存储的与首次获取可见光图像焦距一致的模板图像；

其中云台调整具体过程为：确定图像中设备位置的像素位置；云台水平和垂直角度偏移1度，重新确定图像中设备位置的像素位置；计算像素位置的偏移量，获取云台/像素比；对不同的待监测设备分别存储相应的云台/像素比，便于之后的自动调整；

将第一目标图像与第二预设模板进行二次匹配，通过图像中信标标识位与设备的相对距离确定设备在图像中的位置，其中，第二预设模板为与预先存储的与获取第一目标图像相同焦距的模板图像，二次匹配方法与第一次匹配采用相同方法；

提取第一轮廓特征。

红外图像轮廓特征提取步骤包括：

对红外图像进行中值滤波消除噪点；

将红外图像进行阈值分割，具体为将红外图像转换为红外灰度图像，预先设定阈值，将红外灰度图像中每个像素点的灰度值与设定阈值比较并将当前灰度值不小于阈值的像素点进行标记，获取由具有标记的像素点构成的局部图像；

提取该局部图像的轮廓特征为第二轮廓特征。

通过SIFT算法通过SIFT算法寻找轮廓的特征信息，分别对第一轮廓特征和第二轮廓特征进行SIFT特征提取，获取可见光图像SIFT特征点和红外图像SIFT特征点；因为待检测的设备具备温度信息，在可见光和红外图像中，其边缘轮廓形状接近，通过验证SIFT特征点在图像中像素的位置校准可见光图像SIFT特征点和红外图像SIFT特征点位置，将可见光图像SIFT特征点和红外图像SIFT特征点进行匹配，实现可见光图像和红外图像的融合，将可见光图像SIFT特征点和红外图像SIFT特征点参数保存为设定参数。

通过将融合图像进行模板匹配，完成定位，具体为：将融合图像进行图像锐化处理，并将处理后的融合图像与第三预设模板进行匹配，若融合图像中心点与所述第三预设模板中心点重合，则匹配成功，完成定位；若融合图像中心点与第三预设模板中心点有偏差，则调整云台，重新获取可见光图像及红外图像，以可见光图像SIFT特征点和红外图像SIFT特征点参数为预设参数，通过预设参数将重新获取的可见光图像及红外图像进行SIFT特征匹配、融合、锐化处理及与第三预设模板匹配，重复上述过程直至融合图像与第三预设模板中心点重合，其中第三预设模板为预先存储的可见光图像和红外图像的融合图像，通过将融合后的图像再次匹配，进一步提高了定位精度。

如图3所示，一种基于双目视觉的定位装置，应用于电力巡检机器人，定位装置100包括可见光图像采集模块101、红外图像采集模块102、可见光图像处理模块103、红外图像处理模块104、SIFT特征提取模块105、图像融合模块106及云台调整模块107；

可见光图像采集模块101用于采集目标的可见光图像；

红外图像采集模块102用于采集目标的红外图像；

可见光图像处理模块103用于对可见光图像进行预处理、模板匹配及可见光图像轮廓特征提取；

红外图像处理模块104用于对红外图像进行预处理及红外图像轮廓特征提取；

SIFT特征提取模块105用于根据可见光图像轮廓特征提取可见光图像SIFT特征及根据红外图像轮廓特征提取红外图像SIFT特征；

图像融合模块106用于根据可见光图像SIFT特征及红外图像SIFT特征将可见光图像与红外图像进行融合并进行模板匹配，完成定位；

云台调整模块107用于调整云台角度。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于双目视觉的定位方法，应用于电力巡检机器人，其特征在于，包括以下步骤：

S1.分别采集场景的可见光图像和红外图像；

S2.分别对可见光图像和红外图像进行轮廓特征提取，获取第一轮廓特征和第二轮廓特征，所述第一轮廓特征为所述可见光图像轮廓特征，所述第二轮廓特征为所述红外图像轮廓特征；

S3.分别对所述第一轮廓特征和所述第二轮廓特征进行SIFT特征提取，获取可见光图像SIFT特征点和红外图像SIFT特征点；

S4.将所述可见光图像SIFT特征点和红外图像SIFT特征点进行匹配，校准可见光图像SIFT特征点和红外图像SIFT特征点位置，将可见光图像和红外图像进行融合，得到融合后的融合图像；

S5.通过将所述融合图像进行模板匹配，完成定位。

2.根据权利要求1所述的一种基于双目视觉的定位方法，其特征在于，所述可见光图像轮廓特征提取步骤包括：

S211.对所述可见光图像进行图像预处理；

S212.将预处理后的可见光图像与第一预设模板进行匹配，获取所述可见光图像中心点位置并与所述第一预设模板匹配，判断可见光图像中心点是否与第一预设模板中心点重合，若重合，执行S224，否则执行S223；

S213.调整云台位置重新采集可见光图像并执行S211；

S214.获取第一目标图像；

S215.将所述第一目标图像与第二预设模板进行二次匹配，获取目标位置；

S216.提取所述第一轮廓特征。

3.根据权利要求1所述的一种基于双目视觉的定位方法，其特征在于，所述红外图像轮廓特征提取步骤包括：

S221.对所述红外图像进行中值滤波消除噪点；

S222.将所述红外图像进行阈值分割；

S223.提取所述红外图像的所述第二轮廓特征。

4.根据权利要求2所述的一种基于双目视觉的定位方法，其特征在于，所述图像预处理包括直方图均值化处理，用于去除光照对图像的影响。

5.根据权利要求2所述的一种基于双目视觉的定位方法，其特征在于，获取所述可见光图像中心点位置的具体步骤为：通过阈值分割和边缘检测的方法获取所述可见光图像的特征，遍历可见光图像的特征，与所述第一预设模板进行特征匹配，寻找相似度最高的特征并进行位置对准，获取可见光图像中心点位置。

6.根据权利要求1所述的一种基于双目视觉的定位方法，其特征在于，步骤S5中，完成定位的具体过程为：将所述融合图像进行图像锐化处理，并将处理后的融合图像与第三预设模板进行匹配，若融合图像中心点与所述第三预设模板中心点重合，则匹配成功，完成定位；若所述融合图像中心点与所述第三预设模板中心点有偏差，则调整云台，重新获取可见光图像及红外图像，以所述可见光图像SIFT特征点和红外图像SIFT特征点参数为预设参数，通过所述预设参数将重新获取的可见光图像及红外图像进行SIFT特征匹配、融合、锐化处理及与所述第三预设模板匹配，重复上述过程直至融合图像与第三预设模板中心点重合，完成定位。

7.一种基于双目视觉的定位装置，应用于电力巡检机器人，其特征在于，包括可见光图像采集模块、红外图像采集模块、云台调整模块、可见光图像处理模块、红外图像处理模块、SIFT特征提取模块及图像融合模块；

所述可见光图像采集模块用于采集目标的可见光图像；

所述红外图像采集模块用于采集目标的红外图像；

所述云台调整模块用于调整云台角度；

所述可见光图像处理模块用于对可见光图像进行预处理、模板匹配及可见光图像轮廓特征提取；

所述红外图像处理模块用于对红外图像进行预处理及红外图像轮廓特征提取；

所述SIFT特征提取模块用于根据可见光图像轮廓特征提取可见光图像SIFT特征及根据红外图像轮廓特征提取红外图像SIFT特征；

所述图像融合模块用于根据可见光图像SIFT特征及红外图像SIFT特征将可见光图像与红外图像进行融合并进行模板匹配，完成定位。