CN111523583B - 一种利用无人机对设备铭牌照片自动识别分类的方法 - Google Patents

Abstract

本发明涉及一种利用无人机对设备铭牌照片自动识别分类的方法，将边缘检测、Hough变换及特征检测相结合的设备铭牌照片识别；采用纯c/c++编译的darknet深度学习计算框架的照片快速分类。本发明的技术方案能够适应无人机拍摄的可见光高清设备铭牌照片处理，实现自动对设备铭牌照片进行识别和分类处理，有效减少了后期人工处理照片的时间成本，提高无人机巡检的效率及准确度。

Description

一种利用无人机对设备铭牌照片自动识别分类的方法

技术领域

本发明涉及无人机领域，特别是一种利用无人机对设备铭牌照片自动识别分类的方法。

背景技术

为了克服人工巡检过程中经常遇到恶劣的地理环境问题，目前输电线路的巡检过程中都有无人机的身影，的无人机巡线拍照存储技术已经广泛并熟练的应用于输电线路巡检工作中，但是目前的无人机巡线可见光拍照存储功能仅停留在对无人机巡检轨迹上的定格式拍照存储，虽然可以做到1080P高清图谱拍摄存储但是也存在着很多弊端，首先是无人机拍摄的照片数量巨大，需要耗费巨大人工成本对拍摄后的数据进行有效处理；其次是由于被拍摄的输电线路设备重复性极高工作人员拿回存储卡后再进行处理时已经无法有效区分设备的归属。

目前使在设备铭牌照片的提取时，最普遍的做法就是先处理图片，去除图片中的噪声，然后对设备铭牌照片进行边缘检测，依据结果对设备铭牌照片进行最后的提取。这些方法不能直接引入到无人机航拍设备铭牌照片的提取中，主要有以下三点原因：

1)对设备铭牌照片进行边缘性检测时，有着非常明显的不足之处，其不足主要是：由于长期的风吹日晒设备铭牌可能有较多的区域处于模糊状态

2)在背景极其复杂的图片中，使用传统的边缘性检测的算法不能有效地获取理想的结果，若只是单纯使用随机的Hough变换法时，对设备铭牌照片的提取误差较大，精度不高。

发明内容

为解决上述问题，本发明的目的在于提供一种利用无人机对设备铭牌照片自动识别分类的方法，不但节省了传统方法中需要人工后期图片处理的步骤，减少人力物力的损耗，而且提高了工作效率和检测准确度。

本发明解决其问题所采用的技术方案是：

一种利用无人机对设备铭牌照片自动识别分类的方法，将边缘检测、Hough变换及特征检测相结合的设备铭牌照片识别；

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类。

进一步的，设备铭牌照片识别具体包括以下步骤：

第一步，对拍摄的图片进行预处理；

第二步，使用Ratio边缘检测算法对图片进行边缘检测处理；

第三步，对第二步中所生成的图片进行检测，进行Hough变换，无人机所拍摄的图像经过上面的处理后，得到原始图的处理后图像；

第四步，利用特征检测算法对第三步Hough变换所得到的信息进行判断，提取出设备铭牌信息。

进一步的，第一步中图片的预处理包括灰度化和降噪处理。

进一步的，第二步中Ratio算法的核心是对相邻区域的灰度值进行判断；使用直方图可以对灰度集中分布在一段空间内且没有细节性的信息图像进修正，提高图像的灰度差，使得灰度值的分布更加均匀，提高图像的对比度；在增强了图像后，对改善后的图像进行边缘检测，其边缘的检测效果有提升。

进一步的，第三步中在得到的图像中，使用Hough变换来实现精准地识别设备铭牌，把所有的不连续的设备铭牌信息点、线连接起来，而且消除其中的噪声。

进一步的，Hough的核心是使用图像中的点和线在两个空间中的对偶性进行变换；在使用Hough变换时的最为关键的地方就是把对直线的检测转换成了对点的检测。

进一步的，设备铭牌有效特征信息提取流程包括以下步骤：载入图像；图像预处理；边缘检测；Hough直线检测；特征检测；检测结果。

进一步的，步骤四中特征算法包括以下步骤：

1)取出Hough变换所得到的累加值最大的参数(ρ，θ)并以其为种子参数，将该参数存入电线数组H*中。

2)从参数数组A(ρ，θ)除去第一个参数中提取后续的参数(ρi，θi)，将所取出的参数对应直线标记成Li，；

3)从H*中取一组参数(ρj，θj)，对应直线记为Lj分别计算直线Li和Lj对应参数的差值，既dif_θ＝|θi-θj|和dif_ρ＝|ρi-ρj|；

4)若dif_θ>θth1，判定Li不为设备铭牌信息，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

5)若dif_ρ≤ρth2且dif_θ≤θth2，判定Li不为设备铭牌信息，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

6)计算Li和Lj的交点(x,y),若其在图像区域内，判定Li为电力线，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

7)重复步骤3)～6)，直至参数(ρi，θi)与H*中每一组参数均进行了分析计算；若H*中参数计算完毕，则判定Li为设备铭牌的一部分信息，将其参数存入数组H*中；

8)返回步骤2)，进行下一组参数的分析；

9)算法结束，参数数组H*即为所要检测的设备铭牌信息。

进一步的，采用纯c/c++编译的darknet深度学习计算框架的照片快速分类方法进行设备铭牌照片分类处理。

进一步的，所述设备铭牌照片为无人机拍摄的设备铭牌照片。

本发明的有益效果：

本发明的技术方案能够适应无人机拍摄的可见光高清设备铭牌照片处理，实现自动对设备铭牌照片进行识别和分类处理，有效减少了后期人工处理照片的时间成本，提高无人机巡检的效率及准确度。

本发明对无人机拍摄的高清设备铭牌照片进行边缘检测、Hough变换及特征检测算法相结合的新型算法,该算法可以实现对设备铭牌照片的精准识别，提取铭牌上的有效信息。

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类方法进行设备铭牌照片分类处理，该方法能够使计算框架充分轻量化，算法高效化，以达到机载实时计算效果。

附图说明

下面结合附图和讲解对本发明作进一步说明。

图1是设备铭牌有效特征信息提取流程；

图2是水平方向Ratio算子模版图；

图3是Hough变换对偶理论分析图；

图4是特征检测算法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。

以下结合附图对本发明的技术方案、结构作进一步详细的说明。

实施例1

一种利用无人机对设备铭牌照片自动识别分类的方法，将边缘检测、Hough变换及特征检测相结合的设备铭牌照片识别；

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类。

实施例2

一种利用无人机对设备铭牌照片自动识别分类的方法，将边缘检测、Hough变换及特征检测相结合的设备铭牌照片识别；

设备铭牌照片识别具体包括以下步骤：

第一步，对拍摄的图片进行预处理；

第二步，使用Ratio边缘检测算法对图片进行边缘检测处理；

第三步，对第二步中所生成的图片进行检测，进行Hough变换，无人机所拍摄的图像经过上面的处理后，得到原始图的处理后图像；

第四步，利用特征检测算法对第三步Hough变换所得到的信息进行判断，提取出设备铭牌信息。

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类。

实施例3

一种利用无人机对设备铭牌照片自动识别分类的方法，将边缘检测、Hough变换及特征检测相结合的全新设备铭牌照片识别；

包括以下步骤：

第一步：对拍摄的图片进行预处理，其中包括灰度化和降噪处理。

第二步：使用Ratio边缘检测算法对图片进行边缘检测处理，Ratio算法是基于统计原理的一种边缘性的检测算法。对于无人机的航拍图来说，图中的设备铭牌中的文字类似很多细线，这样，Ratio算子中就可以使用文字的均值比例，由于Ratio的算法是基于统计模型的，算法的核心是对不同的相邻区域的灰度值进行判断。图像的背景在复杂的情况下，其灰度跃变较大，使用区域的平均灰度值可以减少跃变带来的干扰，使灰度值的差异上减小。无人机在拍摄时，由于可控性非常强，可以非常靠近设备铭牌，因此，在所拍摄的照片中，设备铭牌的宽度增加，设备铭牌的像素宽增大，此时图像的噪声会相对减少。若背景是一些天空、草地之类的简单背影时，图像灰度值的跃变就会很小，所以在测设备铭牌信息的边缘时，所得到了灰度值差异就会很小。特别是在所拍摄的设备铭牌宽度较大，近距离拍摄时，跃变值会进一步了减小，使得在简单的背景下，设备铭牌的边缘检测反而效果不佳。上述的问题，一般情况下，可以通过减小阈值、增加图像的对比度的形式来解决。但是不能通过减小阈值的方式进行。这是因为这样会提高噪声，即使能够提高设备铭牌的边缘检测的效果，也会将设备铭牌信息的边缘与噪声混在一起，增加了设备铭牌识别的难度。因此为了增强图像，使用直方图可以对灰度集中分布在一段空间内且没有细节性的信息图像进修正，提高图像的灰度差，或者使得灰度值的分布更加地均匀，借此提高图像的对比度。在增强了图像后，对改善后的图像进行边缘检测，其边缘的检测效果会有明显的提升。

第三步：对上一步中所生成的图片进行检测，进行Hough变换，无人机所拍摄的图像经过上面的处理后，可得到原始图的处理后图像。在得到的图像中，为了更加精准地识别设备铭牌，要把所有的不连续的设备铭牌信息点、线连接起来，而且要消除其中的噪声。为了达到这一目的，本文使用Hough变换来实现，该方法处理噪声的能力较强，并且在曲线间断上有着很好的处理能力。Hough的核心是使用图像中的点和线在两个空间中的对偶性进行变换。在使用Hough变换时的最为关键的地方就是把对直线的检测转换成了对点的检测，简化了检测的难度。对设备铭牌信息的检测此时只要在参数的空间里将所得到的值进行累加，对于累加值较大的，就代表对应的设备铭牌。

第四步：就是利用特征检测算法对上一步Hough变换所得到的信息进行判断，提取出设备铭牌信息。

对无人机拍摄的高清设备铭牌照片进行边缘检测、Hough变换及特征检测算法相结合的新型算法,该算法可以实现对设备铭牌照片的精准识别，提取铭牌上的有效信息。

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类。

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类方法进行设备铭牌照片分类处理，该方法能够使计算框架充分轻量化，算法高效化，以达到机载实时计算效果。

实施例4

一种利用无人机对设备铭牌照片自动识别分类的方法，将边缘检测、Hough变换及特征检测相结合的全新设备铭牌照片识别；

包括以下步骤：

第一步：对拍摄的图片进行预处理，其中包括灰度化和降噪处理。

第二步：使用Ratio边缘检测算法对图片进行边缘检测处理，Ratio算法是基于统计原理的一种边缘性的检测算法。对于无人机的航拍图来说，图中的设备铭牌中的文字类似很多细线，这样，Ratio算子中就可以使用文字的均值比例，由于Ratio的算法是基于统计模型的，算法的核心是对不同的相邻区域的灰度值进行判断。图像的背景在复杂的情况下，其灰度跃变较大，使用区域的平均灰度值可以减少跃变带来的干扰，使灰度值的差异上减小。无人机在拍摄时，由于可控性非常强，可以非常靠近设备铭牌，因此，在所拍摄的照片中，设备铭牌的宽度增加，设备铭牌的像素宽增大，此时图像的噪声会相对减少。若背景是一些天空、草地之类的简单背影时，图像灰度值的跃变就会很小，所以在测设备铭牌信息的边缘时，所得到了灰度值差异就会很小。特别是在所拍摄的设备铭牌宽度较大，近距离拍摄时，跃变值会进一步了减小，使得在简单的背景下，设备铭牌的边缘检测反而效果不佳。上述的问题，一般情况下，可以通过减小阈值、增加图像的对比度的形式来解决。但是不能通过减小阈值的方式进行。这是因为这样会提高噪声，即使能够提高设备铭牌的边缘检测的效果，也会将设备铭牌信息的边缘与噪声混在一起，增加了设备铭牌识别的难度。因此为了增强图像，使用直方图可以对灰度集中分布在一段空间内且没有细节性的信息图像进修正，提高图像的灰度差，或者使得灰度值的分布更加地均匀，借此提高图像的对比度。在增强了图像后，对改善后的图像进行边缘检测，其边缘的检测效果会有明显的提升。

第三步：对上一步中所生成的图片进行检测，进行Hough变换，无人机所拍摄的图像经过上面的处理后，可得到原始图的处理后图像。在得到的图像中，为了更加精准地识别设备铭牌，要把所有的不连续的设备铭牌信息点、线连接起来，而且要消除其中的噪声。为了达到这一目的，本文使用Hough变换来实现，该方法处理噪声的能力较强，并且在曲线间断上有着很好的处理能力。Hough的核心是使用图像中的点和线在两个空间中的对偶性进行变换。在使用Hough变换时的最为关键的地方就是把对直线的检测转换成了对点的检测，简化了检测的难度。对设备铭牌信息的检测此时只要在参数的空间里将所得到的值进行累加，对于累加值较大的，就代表对应的设备铭牌。

第四步：就是利用特征检测算法对上一步Hough变换所得到的信息进行判断，提取出设备铭牌信息。

特征检测算法的步骤如下所示：

1)取出Hough变换所得到的累加值最大的参数(ρ，θ)并以其为种子参数，将该参数存入电线数组H中。

2)从参数数组A(ρ，θ)(除去第一个参数)中提取后续的参数(ρi，θi)，将所取出的参数对应直线标记成Li，；

3)从H*中取一组参数(ρj，θj)，对应直线记为Lj分别计算直线Li和Lj对应参数的差值，既dif_θ＝|θi-θj|和dif_ρ＝|ρi-ρj|；

4)若dif_θ>θth1，判定Li不为设备铭牌信息，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

5)若dif_ρ≤ρth2且dif_θ≤θth2，判定Li不为设备铭牌信息，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

6)计算Li和Lj的交点(x,y),若其在图像区域内，判定Li为电力线，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

7)重复步骤3)～6)，直至参数(ρi，θi)与H*中每一组参数均进行了分析计算；若H*中参数计算完毕，则判定Li为设备铭牌的一部分信息，将其参数存入数组H*中；

8)返回步骤2)，进行下一组参数的分析；

9)算法结束，参数数组H*即为所要检测的设备铭牌信息。

对无人机拍摄的高清设备铭牌照片进行边缘检测、Hough变换及特征检测算法相结合的新型算法,该算法可以实现对设备铭牌照片的精准识别，提取铭牌上的有效信息。

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类。

采用纯c/c++编译的darknet深度学习计算框架的照片快速分类方法进行设备铭牌照片分类处理，该方法能够使计算框架充分轻量化，算法高效化，以达到机载实时计算效果。

Claims (1)

1.一种利用无人机对设备铭牌照片自动识别分类的方法，其特征在于，将边缘检测、Hough变换及特征检测相结合的设备铭牌照片识别；

采用纯c/c++编译的darknet深度学习计算框架的照片分类；

设备铭牌照片识别具体包括以下步骤：

第一步，对拍摄的图片进行预处理；

第二步，使用Ratio边缘检测算法对图片进行边缘检测处理；

第三步，对第二步中所生成的图片进行检测，进行Hough变换，无人机所拍摄的图像经过上面的处理后，得到原始图的处理后图像；

第四步，利用特征检测算法对第三步Hough变换所得到的信息进行判断，提取出设备铭牌信息；

第一步中图片的预处理包括灰度化和降噪处理；

第二步中Ratio算法的核心是对相邻区域的灰度值进行判断；使用直方图可以对灰度集中分布在空间内且没有细节性的信息图像进修正，提高图像的灰度差，使得灰度值的分布更加均匀，提高图像的对比度；在增强了图像后，对改善后的图像进行边缘检测，其边缘的检测效果有提升；

第三步中在得到的图像中，使用Hough变换来实现精准地识别设备铭牌，把所有的不连续的设备铭牌信息点、线连接起来，而且消除其中的噪声；

Hough的核心是使用图像中的点和线在两个空间中的对偶性进行变换；在使用Hough变换时把对直线的检测转换成了对点的检测；

设备铭牌有效特征信息提取流程包括以下步骤：载入图像；图像预处理；边缘检测；Hough直线检测；特征检测；检测结果；

步骤四中特征算法包括以下步骤：

1)取出Hough变换所得到的累加值最大的参数(ρ，θ)并以其为种子参数，将该参数存入电线数组H*中；

2)从参数数组A(ρ，θ)除去第一个参数中提取后续的参数(ρi，θi)，将所取出的参数对应直线标记成Li；

3)从H*中取一组参数(ρj，θj)，对应直线记为Lj分别计算直线Li和Lj对应参数的差值，既dif_θ＝|θi-θj|和dif_ρ＝|ρi-ρj|；

4)若dif_θ>θth1，判定Li不为设备铭牌信息，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

5)若dif_ρ≤ρth2且dif_θ≤θth2，判定Li不为设备铭牌信息，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

6)计算Li和Lj的交点(x,y),若其在图像区域内，判定Li为电力线，舍弃参数(ρi，θi)并返回步骤2)，否则继续；

7)重复步骤3)～6)，直至参数(ρi，θi)与H*中每一组参数均进行了分析计算；若H*中参数计算完毕，则判定Li为设备铭牌的一部分信息，将其参数存入数组H*中；

8)返回步骤2)，进行下一组参数的分析；

9)算法结束，参数数组H*即为所要检测的设备铭牌信息；

采用纯c/c++编译的darknet深度学习计算框架的照片分类方法进行设备铭牌照片分类处理；

所述设备铭牌照片为无人机拍摄的设备铭牌照片。

Images