CN108550139A - 基于多层次深度特征的铁轨异物检测方法与装置 - Google Patents

Abstract

本发明提供一种基于多层次深度特征的铁轨异物检测方法与装置，其中方法包括：获取待处理图片，待处理图片为无人机拍摄的铁轨图片；将待处理图片拆分为N张子图片；提取N张子图片的多层次深度特征；根据N张子图片的多层次深度特征判断待处理图片中铁轨是否存在异物。本发明提供的基于多层次深度特征的铁轨异物检测方法与装置，通过将待处理的铁轨图片进行拆分后获取每张子图片的多层次深度特征，通过子图像的多层次深度特征判断铁轨是否存在异物，提高了对铁轨异物的检测效率。

Description

基于多层次深度特征的铁轨异物检测方法与装置

技术领域

本发明涉及航空监视技术，尤其涉及一种基于多层次深度特征的铁轨异物检测方法与装置。

背景技术

轨道交通是国家的客运货运的主要途径，具有很重要的战略意义。其中，铁路运输发挥着尤其重要的作用。由于我国人口众多，大流量的铁路交通需要更加严谨的安保巡检来确保旅客出行安全。

现有技术中，随着低空无人机在巡查监视领域的广泛应用，越来越多的低空无人机被用于铁路沿线巡检以节省人力物力成本。铁轨维护人员通过低空无人机传回的铁轨视频或图片对铁路的状况进行监测，当发现铁轨上有异物时及时进行现场维护。

采用现有技术，为确保铁路安全运行，低空无人机巡检需要更加准确及时的反馈铁路沿线信息，而仅通过铁轨维护人员对低空无人机视频或图片进行观察的检测方式，造成了对铁轨异物的检测效率较低且需要耗费大量的人力物力。

发明内容

本发明提供一种基于多层次深度特征的铁轨异物检测方法与装置，提高了对铁轨异物的检测效率。

本发明提供一种基于多层次深度特征的铁轨异物检测方法，包括：

获取待处理图片，所述待处理图片为无人机拍摄的铁轨图片；

将所述待处理图片拆分为N张子图片，所述N为正整数；

提取所述N张子图片的多层次深度特征；

根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测方法，所述获取待处理图片，包括：

获取无人机拍摄的铁轨视频；

从所述视频中的预设位置提取一帧视频作为所述待处理图片。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测方法，所述将所述待处理图片拆分为N张子图片，包括：

随机裁剪所述待处理图片的不同区域得到所述N张子图片，其中，所述N张子图片的并集覆盖所述待处理图片。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测方法，所述提取所述N张子图片的多层次深度特征，包括：

通过全卷积网络获取所述子图片的特征图；

通过卷积神经网络获取所述特征图的不同层特征作为所述多层次深度特征。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测方法，所述根据所述多层次深度特征判断所述待处理图片中铁轨是否存在异物包括：

由卷积神经网络根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物，其中，若所述卷积神经网络通过所述N张子图片的多层次深度特征判断任一张所述子图片存在异物，则判断所述待处理图片中铁轨存在异物，并记录存在异物的所述子图片的位置。

本发明提供一种基于多层次深度特征的铁轨异物检测装置，包括：

获取模块，所述获取模块用于获取待处理图片，所述待处理图片为无人机拍摄的铁轨图片；

拆分模块，所述拆分模块用于将所述待处理图片拆分为N张子图片，所述N为正整数；

特征提取模块，所述特征提取模块用于提取所述N张子图片的多层次深度特征；

判断模块，所述判断模块用于根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测装置，所述获取模块具体用于，

获取无人机拍摄的铁轨视频；

从所述视频中的预设位置提取一帧视频作为所述待处理图片。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测装置，所述拆分模块具体用于，

随机裁剪所述待处理图片的不同区域得到所述N张子图片，其中，所述N张子图片的并集覆盖所述待处理图片。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测装置，所述特征提取模块具体用于，

通过全卷积网络获取所述子图片的特征图；

通过卷积神经网络获取所述特征图的不同层特征作为所述多层次深度特征。

在本发明一实施例中，如上所述的一种基于多层次深度特征的铁轨异物检测装置，所述判断模块具体用于，

由卷积神经网络根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物，其中，若所述卷积神经网络通过所述N张子图片的多层次深度特征判断任一张所述子图片存在异物，则判断所述待处理图片中铁轨存在异物，并记录存在异物的所述子图片的位置。

本发明提供一种基于多层次深度特征的铁轨异物检测方法与装置，其中方法包括：获取待处理图片，待处理图片为无人机拍摄的铁轨图片；将待处理图片拆分为N张子图片，所述N为正整数；提取N张子图片的多层次深度特征；根据多层次深度特征判断待处理图片中铁轨是否存在异物。本发明提供的基于多层次深度特征的铁轨异物检测方法与装置，通过将待处理的铁轨图片进行拆分后获取每张子图片的多层次深度特征，通过子图像的多层次深度特征判断铁轨是否存在异物，提高了对铁轨异物的检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多层次深度特征的铁轨异物检测方法实施例一的流程示意图；

图2为本发明基于多层次深度特征的铁轨异物检测装置实施例一的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。下面以具体地实施例对本发明的技术方案进行详细说明。下面的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明基于多层次深度特征的铁轨异物检测方法实施例一的流程示意图。如图1所示，本实施例基于多层次深度特征的铁轨异物检测方法包括：

S101：获取待处理图片。其中，待处理图片为无人机拍摄的铁轨图片。

具体地，本实施例执行主体可以是是无人机，或者为能够通过互联网及其他方式获取无人机拍摄的铁轨图片的终端设备(Terminal)、用户设备(User Equipment)以及服务器设备等等中的任意一种或者多种的组合。其中，终端设备可以是台式计算机(computer)，笔记本电脑(notebook)，平板电脑(PAD)等等。用户设备可以是智能手机(smart phone)，智能手表(smart watch)，智能眼镜等等。应理解，上述举例仅是为说明，不应构成具体限定。

在本步骤中，无人机在需要监测的铁轨段进行巡检时，对被监测的铁轨不断进行拍摄，得到铁轨的检测视频或者连续的铁轨图片。无人机拍摄到铁轨视频或图片之后，可以由无人机直接将视频或图片进行处理并作为待处理图片；或者，无人机将铁轨图片通过互联网上传服务器存储，再由终端、用户设备等图片处理设备获取服务器中存储并处理的铁轨图片作为待处理图片。需要说明的是，为了保证轨道交通安全，不对铁轨的正常运行造成影响，无人机工作进行视频拍摄时需要距离铁轨一定高度。

可选地，本步骤一种可能的实现方式为：获取无人机拍摄的铁轨视频；从视频中的预设位置提取一帧视频作为待处理图片。

其中，无人机拍摄实时的铁轨视频后，无人机将视频实时回传服务器，由于无人机拍摄的视频帧率过高，因此不需要对无人机的视频进行逐帧处理，而是从视频中的预设位置提取一帧视频作为关键帧，将提取的关键帧作为待处理的图片进行分析检测。例如：预设位置为视频中间隔N帧的关键帧，则当本申请提供的基于多层次深度特征的铁轨异物检测装置，从服务器获取无人机实时回传的视频后，将视频每隔N帧提取一帧作为待处理图片进行检测识别。可以一次从视频中间隔N帧提取多帧依次进行检测识别，或者，每次提取一帧后并进行检测识别后，再从视频中以上次提取的帧为起始，间隔N帧后提取一帧进行检测识别。

可选地，预设位置还可以是无人机拍摄的视频中的指定时刻或拍摄位置的关键，或者其他随机提取视频帧中任一帧的方式，均可作为实现本发明的实施例，在此不作限定。

S102：将待处理图片拆分为N张子图片。

具体地，由于为了保证轨道交通安全，不对铁轨的正常运行造成影响，无人机工作进行视频拍摄时需要距离铁轨一定高度，因此拍摄的视频中，可能存在的异物目标较小，在图片视野中所占比例很小，因此直接进行检测存在一定的困难。则在本步骤中，将无人机拍摄的待处理图片进行拆分，以解决无人机拍摄的图片中异物目标过小的难点，使得对图片进行分析处理时，异物在子图片中占比更大，使得异物在待处理图片或子图片中的特征能够体现的更为明显。

可选地，本步骤一种可能的实现方式为：随机裁剪待处理图片的不同区域得到N张子图片，其中，N张子图片的并集覆盖待处理图片。

其中，通过随机裁剪的方式将待处理图片拆分为N个不同的区域，可称之为裁剪框，不同的裁剪框中包括不同的内容，或者不同的裁剪框中也可以包括部分相同内容，最终N个裁剪框作为N张子图片拼接在一起后，能够完全覆盖并恢复出原始待处理图片。特别地，由于本实施例方法最终需要根据不同的子图片确定原始待处理图片中异物的目标及位置，依次需要在裁剪的过程中记录每一个裁剪框相对于原始待处理图片的位置与大小。

可选地，本步骤中对图片的拆分还可以是将图片按照预设的裁剪框进行裁剪，并设置N的数目，例如：将待处理图片按照对角线连接线进行裁剪为N为4张子图片，或者其他预设的裁剪方式，在此不做限定。

S103：提取N张子图片的多层次深度特征。

具体地，在本步骤中，依次求取S102中获取的N张子图片的多层次深度特征。其中，多层次特征提取结构是现有技术中多尺度目标检测方法的一个基本组成部分。把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息。这种结构是在卷积神经网络中完成的，卷积神经网络的前馈计算就是自下而上的路径，特征图经过卷积核计算，通常是越变越小的，也有一些特征层的输出和原来大小一样，称为相同网络阶段(Same network stage)。对于本装置的多层次特征提取结构，为每个组定义一个金字塔级别，然后选择每个组的最后一层的输出作为特征图的参考集。这种选择是很自然的，因为每个阶段的最深层应该具有最强的特征。

可选地，本步骤一种可能的实现方式为：通过全卷积网络获取子图片的特征图；通过卷积神经网络获取特征图的不同层特征作为多层次深度特征。例如：将第一子图片输入到特征提取网络中，特征提取网络作为基础网络，是一个全卷积网络，该网络没有涉及全连接层，因此网络输入可以是任意分辨率的图像，全卷积网络前段网络为基础网络，在基础网络之后添加了一些列的卷基层，经过这些卷基层得到的特征图大小逐渐减小，可以进行多尺度的预测，即多层次特征的提取结构。随后，对每一组新添加的层，可以使用一系列的卷积核进行预测。对于一个通道的特征层，使用3*3的卷积核进行预测，在某个位置上预测出一个值，该值可以是某一类别的得分，也可以是相对于预设框的偏移量，并且在图像的每个位置都将产生一个值。

本示例提供的多层次深度特征的计算方法仅为举例，未列出之处参照本领域的公知方法可知。需要说明的是，本步骤还可以通过其他本领域人员惯用的计算方式对图片的多层次深度特征进行计算，本实施例并不作具体限定。

S104：根据N张子图片的多层次深度特征判断待处理图片中铁轨是否存在异物。

具体地，在S103中获取了N张子图片的多层次深度特征之后，在本步骤中对该些多层次深度特征进行分类识别。

可选地，通过卷积神经网络对子图片的多层次深度特征进行分类。需要说明的是在进行铁轨异物检测之前，调研确定铁轨上可能出现的异物，由于卷积神经网络无法处理未定义目标，因此需要在调研确定可能出现的异物之后，对卷积神经网络进行训练，大样本下充分的训练有利于提升该装置对异物检测的精度。

例如：卷积神经网络的分类器的集合A中存储有N个正常的不存在异物的铁轨图片的多层次深度特征，集合A中的N个多层次深度特征为N张低空无人机拍摄的正常的铁轨图片根据上述实施例中的S101至S103计算所得的N个多层次深度特征，其中N为正整数。可以选取铁轨均不存在异物N张低空无人机拍摄的铁轨图片，并通过该些图片求出的多层次深度特征放入集合A中，集合A中的N个多层次深度特征由于均不含异物，则都处于同一个范围之内。同时，分类器的集合B中存储有M个存在异物的铁轨图片的多层次深度特征，例如计分类器的集合B中存储有M个存在异物的铁轨图片的多层次深度特征，集合B中的M个多层次深度特征为M张低空无人机拍摄的存在异物的铁轨图片根据上述实施例中S101至S103计算所得的M个多层次深度特征，其中M为正整数，M与N可以相同或不同。可以选取铁轨存在异物的M张低空无人机拍摄的铁轨图片，并通过该些图片求出的多层次深度特征放入集合B中，集合B中的M个多层次深度特征由于均存在异物，则处于与集合A中的多层次深度特征不同的范围，而若异物种类相同，则集合B中的多层次深度特征处于同一个范围之内。

在S104中，经过上述步骤获取到待处理的图片的子图片的多层次深度特征后，分类器将子图片的多层次深度特征根据机器学习算法与集合A和集合B中多层次深度特征进行比较，并判断子图片的多层次深度特征是属于集合A或集合B，若子图片的多层次深度特征在比较中与集合A中的多层次深度特征更类似，则判断子图片中的铁轨不存在异物；相应地，若子图片的多层次深度特征在比较中与集合B中的多层次深度特征更类似，则判断子图片中的铁轨存在异物。

可选地，本步骤还可以通过支持向量机(Support Vector Machine，简称：SVM)线性分类器等其他机器学习分类器实现，本实施例对此不做限定。

可选地，本步骤一种可能的实现方式为：由卷积神经网络根据N张子图片的多层次深度特征判断待处理图片中铁轨是否存在异物，其中，若卷积神经网络通过N张子图片的多层次深度特征判断任一张子图片存在异物，则判断待处理图片中铁轨存在异物，并记录存在异物的子图片的位置。

具体地，本实施例中可以在S103中求取待处理图片的全部N张子图片的N个多层次深度特征，并在S104中根据N个子图片的多层次深度特征判断子图片是否存在异物，一旦N张子图片中的任意一张判断结果为存在异物，则可不判断其他图片，即认为待处理图片中存在异物，并根据该张存在异物的子图片的位置，回溯原始待处理的图片中异物的位置。

同时，也可以在S103中只计算一张子图片的多层次深度特征后即在S104中进行分类识别，若一张子图片的多层次深度特征判断存在异物，则不对其他子图片进行计算，若判断该子图片的多层次深度特征不存在异物，则返回S103计算其他一张子图片的多层次深度特征后再进行分类识别。一旦任意一张判断结果为存在异物，即认为待处理图片中存在异物。从而在待处理图片存在异物时，一定程度上减少了计算量。上述两种方式均可实现本发明分类的目的，具体实现时也可进行组合使用。

综上，本实施例提供的基于多层次深度特征的铁轨异物检测方法，通过对无人机提取的铁轨视频进行预处理，提取其中的关键帧后，对关键帧进行拆分，提高了拆分后的子图片中异物的特征表现，并通过子图片的多层次深度特征判断子图片中是否存在异物，最后通过子图片的检测结果确定待处理的铁轨图片中的铁轨是否存在异物，从而提高了对铁轨异物的检测效率。

图2为本发明基于多层次深度特征的铁轨异物检测装置实施例一的结构示意图。如图2所示，本实施例提供的基于多层次深度特征的铁轨异物检测装置包括：

获取模块201，拆分模块202，特征提取模块203和判断模块204。其中，获取模块201用于获取待处理图片，待处理图片为无人机拍摄的铁轨图片；拆分模块202用于将待处理图片拆分为N张子图片；特征提取模块203用于提取N张子图片的多层次深度特征；判断模块204用于根据N张子图片的多层次深度特征判断待处理图片中铁轨是否存在异物。

本实施例提供的装置用于执行图1所示实施例中提供的方法，其实现方式与原理相同，不再赘述。

进一步地，在上述实施例中，获取模块201具体用于，获取无人机拍摄的铁轨视频；

从视频中的预设位置提取一帧视频作为待处理图片。

进一步地，在上述实施例中，拆分模块202具体用于，随机裁剪待处理图片的不同区域得到N张子图片，其中，N张子图片的并集覆盖待处理图片。

进一步地，在上述实施例中，特征提取模块203具体用于，通过全卷积网络获取子图片的特征图；

通过卷积神经网络获取特征图的不同层特征作为多层次深度特征。

进一步地，在上述实施例中，判断模块204具体用于，由卷积神经网络根据N张子图片的多层次深度特征判断待处理图片中铁轨是否存在异物，其中，若卷积神经网络通过N张子图片的多层次深度特征判断任一张子图片存在异物，则判断待处理图片中铁轨存在异物，并记录存在异物的子图片的位置。

本实施例提供的装置用于执行上述实施例所示提供的方法，其实现方式与原理相同，不再赘述。

本发明一实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时执行上述任一项实施例中的一种基于多层次深度特征的铁轨异物检测方法。其中，本实施例中的存储介质为计算机可读的存储介质。

本发明一实施例还提供一种电子设备，包括：处理器；以及，存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任一项实施例中的一种基于多层次深度特征的铁轨异物检测方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于多层次深度特征的铁轨异物检测方法，其特征在于，包括：

获取待处理图片，所述待处理图片为无人机拍摄的铁轨图片；

将所述待处理图片拆分为N张子图片，所述N为正整数；

提取所述N张子图片的多层次深度特征；

根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理图片，包括：

获取无人机拍摄的铁轨视频；

从所述视频中的预设位置提取一帧视频作为所述待处理图片。

3.根据权利要求1所述的方法，其特征在于，所述将所述待处理图片拆分为N张子图片，包括：

随机裁剪所述待处理图片的不同区域得到所述N张子图片，其中，所述N张子图片的并集覆盖所述待处理图片。

4.根据权利要求1所述的方法，其特征在于，所述提取所述N张子图片的多层次深度特征，包括：

通过全卷积网络获取所述子图片的特征图；

通过卷积神经网络获取所述特征图的不同层特征作为所述多层次深度特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述多层次深度特征判断所述待处理图片中铁轨是否存在异物包括：

由卷积神经网络根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物，其中，若所述卷积神经网络通过所述N张子图片的多层次深度特征判断任一张所述子图片存在异物，则判断所述待处理图片中铁轨存在异物，并记录存在异物的所述子图片的位置。

6.一种基于多层次深度特征的铁轨异物检测装置，其特征在于，包括：

获取模块，所述获取模块用于获取待处理图片，所述待处理图片为无人机拍摄的铁轨图片；

拆分模块，所述拆分模块用于将所述待处理图片拆分为N张子图片，所述N为正整数；

特征提取模块，所述特征提取模块用于提取所述N张子图片的多层次深度特征；

判断模块，所述判断模块用于根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物。

7.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于，

获取无人机拍摄的铁轨视频；

从所述视频中的预设位置提取一帧视频作为所述待处理图片。

8.根据权利要求6所述的装置，其特征在于，所述拆分模块具体用于，

随机裁剪所述待处理图片的不同区域得到所述N张子图片，其中，所述N张子图片的并集覆盖所述待处理图片。

9.根据权利要求6所述的装置，其特征在于，所述特征提取模块具体用于，

通过全卷积网络获取所述子图片的特征图；

通过卷积神经网络获取所述特征图的不同层特征作为所述多层次深度特征。

10.根据权利要求6所述的装置，其特征在于，所述判断模块具体用于，

由卷积神经网络根据所述N张子图片的多层次深度特征判断所述待处理图片中铁轨是否存在异物，其中，若所述卷积神经网络通过所述N张子图片的多层次深度特征判断任一张所述子图片存在异物，则判断所述待处理图片中铁轨存在异物，并记录存在异物的所述子图片的位置。