CN111680609B - 基于图像配准和目标检测的异物识别系统及其方法 - Google Patents

Abstract

本发明属于计算机技术领域，特别公开了一种基于图像配准和目标检测的异物识别系统及其方法。所述异物识别系统包括图像信号处理器和非异物目标检测器；所述图像信号处理器，用于对预设图像和实时图像进行对比分析，得到相同的摄像区域，并在相同摄像区域中找到不一致的画面区域；所述非异物目标检测器，用于对不一致画面区域进行检测并且对检测结果进行过滤。本发明大大提高了异物检测准确度。

Description

基于图像配准和目标检测的异物识别系统及其方法

技术领域

本发明属于计算机技术领域，特别涉及一种基于图像配准和目标检测的异物识别系统及其方法。

背景技术

变电站是远程输电架构中最至关重要的组成部分，它内部包含了数百种设备，而每一设备又包括了数十个部件，并且在传统变电站中这些设备、部件基本都是裸露在外，无套管保护的。另一方面，变电站一般是通过矮墙与外部环境进行阻隔，环境中的异物，如风筝、气球、薄膜等，难免会闯入到站内且容易与站内的设备纠缠在一起，如未及时发现，则很容易造成设备短路，继而损坏设备甚至是更加严重的级联灾害。

通过人工24小时值守是较原始、较不经济、效率较差的一种解决办法，目前通过异物检测系统对可能存在的异物直接使用目标检测算法是目前最常见的解决方法，通过目标检测系统对变电站事前预警和事后故障追溯都有巨大的意义。但是由于变电站内的异物是一个宽泛的概念，如塑料袋、鸟类、鸟巢和其他动物等，类别是不能穷举的。而且对于同一种异物，例如风筝、塑料袋等姿态、形状千变万化。目标检测算法要求要求事先已知目标的类别，并采集足够的样本才能使用，这明显与实际需求有着很大的差异，导致很多异物无法检测到，检测效果有待优化。

发明内容

针对上述问题，本发明公开了一种基于图像配准和目标检测的异物识别系统，所述异物识别系统包括图像信号处理器和非异物目标检测器；

所述图像信号处理器，用于对预设图像和实时图像进行对比分析，得到相同的摄像区域，并在相同摄像区域中找到不一致的画面区域；

所述非异物目标检测器，用于对不一致画面区域进行检测并且对检测结果进行过滤。

进一步的，所述异物处理系统还包括图像采集器和图像存储器；

所述图像采集器，用于采集实时图像；

所述图像存储器，用于预存一张或多张不同场景的预设图像。

进一步的，所述图像采集器包括多个摄像组件；

所述多个摄像组件，用于立体的拍摄不同角度的场景实时图像。

进一步的，所述非异物目标检测器还包括非异物训练模块；

所述非异物检测学习模块，用于对非异物目标检测器进行训练。

进一步的，所述异物识别系统还包括报警器；

所述报警器，用于识别到异物时，发送报警信号。

本发明还公开了一种基于图像配准和目标检测的异物识别方法，所述异物识别方法包括以下步骤：

S1：采用图像配准算法对预设图像和实时图像进行处理，找到图像中相同摄像区域，然后通过深度学习算法对相同摄像区域内的图像进行对比，找到不一致的画面区域；

S2：采用目标检测算法对不一样的区域进行检测；

S3：采用非异物目标检测器对检测结果进行过滤，确定不一样的画面区域是否存在异物。

进一步的，

所述步骤S1中配准算法采用S I FT或SURF进行特征点提取，同时采用RANSAC匹配算法。进一步的，所述步骤S1中深度学习算法采用VGG识别模型，在提取的每一块图像的特征向量上进行对比。

进一步的，所述异物识别方法还包括一下步骤：

S4：对于检测出的非异物，经过人为再判断，作为非异物目标检测模型样本补充。

进一步的，所述异物识别方法还包括一下步骤：

S4：当检测到异物时发出预警信息。

本发明的优点如下：

1)通过图像信号处理器，找到预设图像和实时图像相同摄像区域内的不一致画面区域，然后通过非异物目标检测器，对非异物进行检测，相比之前之间对异物进行检测，由于异物的类别和形状不能穷举，而本系统从反面对非异物进行检测，检出的几率更高。

2)通过多个摄像组件拍摄不同角度的场景实时图像，能够更加全面的进行异物识别，不会漏掉。

3)通过对非异物目标检测器的训练，不断提高检测精度。

4)通过设置报警器，到识别到异物时能够及时处理。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的异物识别系统结构拓扑图；

图2示出了根据本发明实施例的异物识别方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种基于图像配准和目标检测的异物识别系统。示例性的，所述异物识别系统应用于变电站异物识别。如图1所示，所述异物识别系统包括采集器、图像存储器、图像信号处理器和非异物目标检测器。

所述图像采集器与所述图像信号处理器连接，所述图像采集器用于采集变电站的实时图像，并传输给所述图像信号处理器。示例性的，所述图像采集器包括多个摄像组件，所述多个摄像组件设置在变电站不同位置，从多角度全方面的拍摄变电站的实时图像。

所述图像存储器，用于存储一张或多张不同场景的预设图像。具体的，所述图像存储器与所述图像信号处理器连接，所述图像存储器内的预存图像可供所述图像信号处理器调用。所述预存图像为变电站正常工作时，即没有异物时的变电站图像。所述异物指的是不属于变电站固有的物体，例如鸟巢、悬空悬浮物、遗留物、各类小动物和风筝等等。

所述图像信号处理器，用于对变电站预设图像和变电站实时图像进行处理。具体的，所述图像信号处理器将实时图像与多个预设图像进行对比分析，找到与所述实时图像拍摄内容和拍摄角度最接近的所述预设图像，将所述实时图像与最接近的所述预存图像使用图像配准算法进行处理，得到两幅图像的相同摄像区域，然后通过深度学习算法对相同摄像区域内的图像进行对比，找到相同摄像区域内不一致的画面区域，并将处理结果发送给非异物目标检测器。优选的，将预存图像和实时图像进行灰度处理，能够避免天气情况对所述图像信号处理器的影响，提高所述图像信号处理器的性能。

示例性的，所述配准算法采用SIFT或SURF特征点提取+RANSAC匹配算法，也可以采用其他类似的匹配算法。

示例性的，深度学习的算法采用VGG识别模型，在提取的每一块图像的特征向量上进行比对，找到不一致的区域。也可以采用resnet模型。

所述图像配准算法指的是同一相机在天气、拍摄位置和拍摄角度不同的情况下获取的两幅图像进行匹配的过程。

所述非异物目标检测器，用于对不一致画面区域进行检测。具体的，所述非异物目标检测器接收到图像信号处理器的处理结果后，对不一致画面进行检测。

所述非异物目标检测器包括非异物目标训练模块，所述非异物目标训练模块用于对非异物的目标检测模型进行训练。由于非异物种类不多，样本也多，训练的非异物目标检测模型效果较好。所述目标检测指的是输入一张图片，通过模型计算，输出图片中所有的物体的位置和物体所属的类别。

当在不一致画面区域内能够检测到非异物时，整个不一致画面区域判断为非异物区域；当在不一致画面内检测不到任何目标时，由于所述不一致画面区域内存在与预存图像不一样的画面，而非异物目标检测器只能检测到非异物，所以在不一致画面区域内必然存在异物，整个不一致画面区域判定为异物区域。

示例性的，检测过程使用YOLO-V3或Cascade-Rcnn算法。

进一步的，所述异物识别系统还包括报警器，当系统识别到异物区域时，若后台人工没有及时处理，所述报警器将发出警报。示例性的，所述警报为鸣笛、发送提醒信息给相关工作人员等。

本发明还公开了一种基于图像配准和目标检测的异物识别方法。

具体的，如图2所示，所述异物识别方法包括以下步骤：

S1：采用图像配准算法对预设图像和实时图像进行处理，找到图像中的相同摄像区域，然后通过深度学习算法对相同摄像区域内的图像进行对比，找到相同摄像区域不一致的画面区域。

具体的，深度学习算法是机器学习中一种基于对数据进行表征学习的算法。

S2：采用目标检测算法对不一样的画面区域进行检测。

示例性的，采用目标检测算法对不一样的画面区域进行画面提取，去除其他相同的画面区域，去除不一样画面区域的背景，并进行彩色复原，实行彩色复原和去取背景能够更加得到更加清晰具体的不一样画面区域内容，并且去除将提取到的画面传输给非异物目标检测器。

S3：采用非异物目标检测器对检测结果进行过滤，确定不一样的画面区域是否存在异物。

示例性的，接收到目标检测器的提取画面，通过非异物目标检测模型对提取的画面进行检测，对所述提取画面比对过滤，由于所述非异物目标检测器只能识别到非异物的物体形状及类型，所以当识别到提取画面中的非异物时，判定所述提取画面为非异物区域，当提取画面中没有识别到非异物时，则判定所述提取画面为异物区域。

具体的，所述步骤S1中配准算法采用S I FT或SURF特征点提取+RANSAC匹配算法。

所述步骤S1中深度学习算法的基本思想是通过多层的网络结构和非线性变换，组合底层特征，形成抽象的、易于区分的高层表示，以发现数据的分布式特征。采用VGG识别模型，VGG识别模型是通过100万幅图像的数据库训练得到，将一层层网络中卷积层和池化层每个节点的权重从一个训练好的网络迁移到一个全新的网络中，迁移之后的网络称为预训练模型，在提取的每一块图像的特征向量上进行对比。

所述S2中目标检测算法采用YOLO-V3或Cascade-Rcnn算法。

所述异物识别方法还包括一下步骤：

S4：当检测到异物时发出预警信息。

所述异物识别方法还包括一下步骤：

S4：对于检测出的非异物，经过人为再判断，作为非异物目标检测模型样本补充。用来训练非异物目标检测模型，过滤的非异物类别能够迅速补充样本，不断优化非异物目标检测模型，使得非异物目标检测模型不断学习，提高检测准度。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像配准和目标检测的异物识别系统，其特征在于，

所述异物识别系统包括图像信号处理器和非异物目标检测器；

所述图像信号处理器，用于对预设图像和实时图像进行对比分析，得

到相同的摄像区域，并在相同摄像区域中找到不一致的画面区域；

所述非异物目标检测器，用于对不一致画面区域进行检测并且对检测结果进行过滤；

所述的对不一致画面区域进行检测并且对检测结果进行过滤包括：

当在不一致画面区域内能够检测到非异物时，整个不一致画面区域判断为非异物区域；当在不一致画面内检测不到任何目标时，整个不一致画面区域判定为异物区域。

2.根据权利要求1所述的异物识别系统，其特征在于，

所述异物处理系统还包括图像采集器和图像存储器；

所述图像采集器，用于采集实时图像；所述图像存储器，用于预存一张或多张不同场景的预设图像。

3.根据权利要求2所述的异物识别系统，其特征在于，

所述图像采集器包括多个摄像组件；

所述多个摄像组件，用于立体的拍摄不同角度的场景实时图像。

4.根据权利要求1或2中任一项所述异物识别系统，其特征在于，所

述非异物目标检测器还包括非异物训练模块；

所述非异物检测学习模块，用于对非异物目标检测器进行训练。

5.根据权利要求1或2中任一项所述的异物识别系统，其特征在

于，

所述异物识别系统还包括报警器；

所述报警器，用于识别到异物时，发送报警信号。

6.一种基于图像配准和目标检测的异物识别方法，其特征在于，

所述异物识别方法包括以下步骤：

S1：采用图像配准算法对预设图像和实时图像进行处理，找到图像中

相同摄像区域，然后通过深度学习算法对相同摄像区域内的图像进行对比，找到不一致的画面区域；

S2：采用目标检测算法对不一样的区域进行检测；

S3：采用非异物目标检测器对检测结果进行过滤，确定不一样的画面区域是否存在异物；

所述的对不一致画面区域进行检测并且对检测结果进行过滤包括：

当在不一致画面区域内能够检测到非异物时，整个不一致画面区域判断为非异物区域；当在不一致画面内检测不到任何目标时，整个不一致画面区域判定为异物区域。

7.根据权利要求6所述的异物识别方法，其特征在于，

所述步骤S1中配准算法采用SIFT或SURF进行特征点提取，同时采用RANSAC匹配算法。

8.根据权利要求6所述的异物识别方法，其特征在于，

所述步骤S1中深度学习算法采用VGG识别模型，在提取的每一块图像的特征向量上进行对比。

9.根据权利要求6所述的异物识别方法，其特征在于，

所述异物识别方法还包括一下步骤：

S4：对于检测出的非异物，经过人为再判断，作为非异物目标检测模型样本补充。

10.根据权利要求6所述的异物识别方法，其特征在于，

所述异物识别方法还包括一下步骤：

S4：当检测到异物时发出预警信息。

Images