CN109389056B - 一种空基多视角协同的轨道周边环境检测方法 - Google Patents

Abstract

本发明公开了一种空基多视角协同的轨道周边环境检测方法，属于航空监视领域。首先每个无人机搭载的高清相机从不同角度对轨道周边进行拍摄，将所有视频按时间对齐逐帧提取图片；依次选取按时间对齐的各帧，选取视角好的显著性区域。然后通过卷积神经网络对各特征图分别进行学习，得到各自对应的提取了显著性区域的特征图。最后将各特征图进行融合，得到全局特征的总体宏观特征图。神经网络对融合后的总体宏观特征图进行总判决，得到最终的检测判定结果。选取按时间对齐的下一帧重复上述步骤，直至将所有图片中的物体进行检测。本发明有效扩大了无人机监视的覆盖范围，提高了空基监视的运行效率，提高了对于关键点的检测识别精度。

Description

一种空基多视角协同的轨道周边环境检测方法

技术领域

本发明属于航空监视领域，具体是一种空基多视角协同的轨道周边环境检测方法。

背景技术

中国拥有960万平方公里的广袤国土，也对我国的交通建设和运输能力提出了更高的要求。近几年，为了进一步为国民经济建设和人民生活服务，我国加大了交通领域的投入和建设。在众多的交通中，铁路运输占据着重要的地位；其经济、快捷，运载力强，是最适合我国当下国情的运输方式。截至2016年年底，中国铁路营业总里程达12.4万公里，规模居世界第二；其中高速铁路2.5万公里，位居世界第一。这些交织纵横的铁路网，既为人民提供了巨大便利，也成为国家经济建设的重要支柱。因此，如何确保铁路运营的安全，就成为一个重要的课题。

传统的铁路巡检方法，需要工人到铁路线上人工巡检。该方法费时费力，而且效率较低。随着中国铁路运输不断发展，铁路线越来越长，覆盖范围越来越广。如果都依赖人工巡检，效率难以满足实际需求。因此，有人提出，利用无人机平台，从空基视角对铁轨及周边环境进行拍摄，实现空基自主巡检。该方法可以代替人力检查，大大节省人力。同时无人机飞行巡检的速度也比人工巡检要快，大大提高了工作效率。但是，由于载荷和功耗限制，无人机飞行距离有限。而且，无人机对地面航拍时，拍摄视角也有限，很难实现对某特定目标的多角度拍摄。拍摄到的图片可能因视角问题而无法实现正常检测和分类。这为无人机空基巡检带来了极大的困难。

发明内容

本发明针对空基巡检视角受限的问题，提出了一种空基多视角协同的轨道周边环境检测方法；利用多无人机协同配合，从不同角度对轨道周边环境进行拍摄，对于地面不同位置的物体，可以确保其有良好视角的图片进行检测处理；大大提高拍摄图片的可靠性，有效解决单无人机巡检时视角受限的问题，提高铁路巡检的效率和准确性。

具体步骤如下：

步骤一、针对编队飞行的无人机集群，每个无人机分别搭载一个高清相机，从不同角度对轨道周边进行拍摄。

无人机集群一字排开，沿着轨道的方向同时飞行。

步骤二、将所有无人机拍摄的视频，按时间对齐逐帧提取图片；

步骤三、针对所有无人机，依次选取按时间对齐的各帧，将各帧对应的图片根据视角的良好性进行重要性分割，保留视角好的显著性区域；将视角不好的区域置零。

首先、将提取到的按时间对齐的n帧图片，尺寸统一到224*224*3，并依次输入到卷积神经网络进行学习，经过三组“卷积-池化”操作，每个卷积的卷积核大小为均3*3，最终输出各自对应的尺寸为32*32*256的n个特征图；

然后、判断每张特征图中每个像素点的响应值是否大于设定的阈值α，如果是，该像素点为视觉好的点进行保留，否则，将该像素点的响应值置为零。

步骤四、通过卷积神经网络对重要性分割后的各特征图分别进行学习，得到各自对应的提取了显著性区域的特征图。

将重要性分割之后的尺寸为32*32*256的n个特征图，依次送入卷积神经网络进行学习，经过两组“卷积-池化”操作，每个卷积的卷积核大小均为3*3；得到各自对应的尺寸为8*8*512的提取了显著性区域的特征图。

步骤五、将提取了显著性区域的各特征图进行融合，得到全局特征的总体宏观特征图。

具体的融合过程是：首先，生成一个n维数组，数组中元素随机排列，然后按照随机数组的顺序，将n个提取了显著性区域特征的特征图拼接，得到一个8*8n*512维的总体宏观特征图。

步骤六、神经网络对融合后的总体宏观特征图进行总判决，得到最终的检测判定结果。

将融合后的总体宏观特征图送入卷积神经网络进行学习，经过两组“卷积-池化”操作，每个卷积的卷积核大小为均3*3；总判决输入的是大小为8*8n*512的总体宏观特征图，输出是若干个形式为[n_i,(x₁,y₁),(x₂,y₂),m]的数组。每个数组表示在第n_i个图片里，在(x₁,y₁),(x₂,y₂)为对角线顶点确定的矩形内，检测出标记为m的物体。其中(x₁,y₁),(x₂,y₂)是完整包含每个标记物体的矩形的对角线顶点坐标。

步骤七、返回步骤三，选取按时间对齐的下一帧重复上述步骤，直至将所有图片中的物体进行检测。

本发明的优点在于：

1)、一种空基多视角协同的轨道周边环境检测方法，从不同方位、不同视角对地面进行拍摄，并将得到的结果进行融合，进而得到最终的检测识别结果。其利用多无人机间的信息互联，有效扩大了无人机监视的覆盖范围，也提高了空基监视的运行效率。

2)、一种空基多视角协同的轨道周边环境检测方法，由于其可实现多机间信息互联，因此对于某关键点位置，可以根据多机拍摄的不同角度的图片进行学习与融合，得到一个综合判定结果，其可有效提高对于关键点的检测识别精度。

附图说明

图1为本发明一种空基多视角协同的轨道周边环境检测方法实施流程图；

图2为本发明一种空基多视角协同的轨道周边环境检测方法中多区域融合流程示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

由于铁路线延伸距离较长，覆盖范围较大，传统的人工巡检方法效率较低。通过无人机从空中进行空基监视可以有效扩大监视范围，提高工作效率。但由于无人机载荷与功耗的问题，单次飞行时间较短。同时无人机航拍时，对于目标物体，单次飞行很难保证可以捕捉到有效视角的图片。因此，本发明提出利用多无人机，飞行不同航线，从不同视角对地面目标进行拍摄，从而获取目标物体不同视角的图片。在这些丰富图像资料的基础上，可以获得更好的巡检效果，提高工作效率。

本发明基于多个搭载了高清相机的无人机平台，通过多无人机间协同配合，利用多机拍摄的多视角图片，从不同视角对地面轨道周边环境进行协同检测判断，是空基监视技术的重要应用，是国家大交通战略的重要组成部分，对铁路安全有着重大意义；通过这种方式，可解决单个无人机巡检时视角受限的问题，可有效提高检测的准确性。整个发明的工作过程包括五个大部分：图像采集、重要性分割、多区域学习、多区域融合以及总分类输出。如图1所示，具体步骤如下：

步骤一、针对编队飞行的无人机集群，每个无人机分别搭载一个高清相机，从不同角度对轨道周边进行拍摄。

无人机集群一字排开，沿着轨道的方向同时飞行，不同飞机飞行不同的路线，从不同视角对地面进行拍摄，得到轨道周边目标不同角度的图片。

步骤二、将所有无人机拍摄的视频，按时间对齐逐帧提取图片；

步骤三、针对所有无人机，依次选取按时间对齐的各帧，将各帧对应的图片根据视角的良好性进行重要性分割，保留视角好的显著性区域；将视角不好的区域置零。

利用图像采集得到的图片，根据其视角的良好性，对不同区域进行重要性分割。视角好的区域一般认为是重要区域，模型会保留特征图中这一部分；对于视角不好的区域则直接置零。

首先、将提取到的按时间对齐的n帧图片，尺寸统一到224*224*3，并依次输入到卷积神经网络1进行学习，经过三组“卷积-池化”操作，每个卷积的卷积核大小为均3*3，最终输出各自对应的尺寸为32*32*256的n个特征图；

由于图片里不同区域视角的良好性不同，不同区域的重要性也不同。经过该段神经网络学习后，重要区域在特征图中会有比较高的响应值，不重要区域响应值会较低。

然后、判断每张特征图中每个像素点的响应值是否大于设定的阈值α，如果是，该像素点为视觉好的点进行保留，否则，将该像素点为不重要的点，即视角不好的点，将该点的响应值置为零。

步骤四、通过卷积神经网络对重要性分割后的各特征图分别进行学习，得到各自对应的提取了显著性区域的特征图。

进行多区域学习，将处理后的特征图送入一段神经网络2进行学习。不同视角的图片进过重要性分割处理后，由于视角不好的区域对应的值全部置零，因此保留的部分都是不同图片里视角较好的重要区域。通过一段新的神经网络，可以进一步充分提取这些重要区域的显著性特征，更有针对性的学习特征图中重要的部分，得到不同区域最佳视角下的特征。

具体为：将重要性分割之后的尺寸为32*32*256的n个特征图，依次送入卷积神经网络进行学习，经过两组“卷积-池化”操作，每个卷积的卷积核大小均为3*3；得到各自对应的尺寸为8*8*512的提取了显著性区域的特征图。

步骤五、将提取了显著性区域的各特征图进行融合，得到全局特征的总体宏观特征图。

通过重要性分割和多区域学习，可以将每个图片里面视角较好的区域的特征充分挖掘。但是，由于角度问题，重要性分割后，每个特征图里可能只保留了轨道周边的部分区域，一些视角不好的区域在置零后将不存在。所以，每个特征图都只是轨道周边环境的局部特征。在这里，通过多区域融合，将不同图片习得的特征图进行融合，进而可以得到拥有全局特征的总体宏观特征图。

如图2所示，具体的融合过程是：首先，生成一个n维数组，数组中元素从1到n随机排列，然后按照随机数组的顺序，将n个提取了显著性区域特征的特征图拼接，得到一个8*8n*512维的总体宏观特征图。

步骤六、神经网络对融合后的总体宏观特征图进行总判决输出，得到最终的检测判定结果。

多区域融合后的特征图会拥有更多的全局特征，对该特征图进行学习可以得到更多有用的信息；将融合后的总体宏观特征图送入卷积神经网络3进行学习，神经网络根据全局特征宏观的学习，输出最后检测判定结果：即在某图片什么地方存在某个东西。

具体为：经过两组“卷积-池化”操作，每个卷积的卷积核大小为均3*3；由于多区域融合后的总特征图包含了全局特征，因此在这里可以根据轨道周边环境的全局特征进行学习，进而实现对地面环境的准确检测。总判决输入的是大小为8*8n*512的总体宏观特征图，输出是若干个形式为[n_i,(x₁,y₁),(x₂,y₂),m]的数组。每个数组表示在第n_i个图片里，在(x₁,y₁),(x₂,y₂)为对角线顶点确定的矩形内，检测出标记为m的物体。其中(x₁,y₁),(x₂,y₂)是完整包含每个标记物体的矩形的对角线顶点坐标。

步骤七、返回步骤三，选取按时间对齐的下一帧重复上述步骤，直至将所有图片中的物体进行检测。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种空基多视角协同的轨道周边环境检测方法，其特征在于，具体步骤如下：

步骤一、针对编队飞行的无人机集群，每个无人机分别搭载一个高清相机，从不同角度对轨道周边进行拍摄；

无人机集群一字排开，沿着轨道的方向同时飞行，不同飞机飞行不同的路线，从不同视角对地面进行拍摄，得到轨道周边目标不同角度的图片；

步骤二、将所有无人机拍摄的视频，按时间对齐逐帧提取图片；

步骤三、针对所有无人机，依次选取按时间对齐的各帧，将各帧对应的图片根据视角的良好性进行重要性分割，保留视角好的显著性区域；将视角不好的区域置零；

步骤四、通过卷积神经网络对重要性分割后的各特征图分别进行学习，得到各自对应的提取了显著性区域的特征图；

步骤五、将提取了显著性区域的各特征图进行融合，得到全局特征的总体宏观特征图；

具体的融合过程是：首先，生成一个n维数组，数组中元素随机排列，然后按照随机数组的顺序，将n个提取了显著性区域特征的特征图拼接，得到一个8*8n*512维的总体宏观特征图；

步骤六、神经网络对融合后的总体宏观特征图进行总判决，得到最终的检测判定结果；

将融合后的总体宏观特征图送入卷积神经网络进行学习，经过两组“卷积-池化”操作，每个卷积的卷积核大小为均3*3；总判决输入的是大小为8*8n*512的总体宏观特征图，输出是若干个形式为[n_i,(x₁,y₁),(x₂,y₂),m]的数组；每个数组表示在第n_i个图片里，在(x₁,y₁),(x₂,y₂)为对角线顶点确定的矩形内，检测出标记为m的物体；其中(x₁,y₁),(x₂,y₂)是完整包含每个标记物体的矩形的对角线顶点坐标；

步骤七、返回步骤三，选取按时间对齐的下一帧重复上述步骤，直至将所有图片中的物体进行检测。

2.如权利要求1所述的一种空基多视角协同的轨道周边环境检测方法，其特征在于，所述的步骤三具体为：首先、将提取到的按时间对齐的n帧图片，尺寸统一到224*224*3，并依次输入到卷积神经网络进行学习，经过三组“卷积-池化”操作，每个卷积的卷积核大小为均3*3，最终输出各自对应的尺寸为32*32*256的n个特征图；

然后、判断每张特征图中每个像素点的响应值是否大于设定的阈值α，如果是，该像素点为视觉好的点进行保留，否则，将该像素点的响应值置为零。

3.如权利要求1所述的一种空基多视角协同的轨道周边环境检测方法，其特征在于，所述的步骤四具体为：将重要性分割之后的尺寸为32*32*256的n个特征图，依次送入卷积神经网络进行学习，经过两组“卷积-池化”操作，每个卷积的卷积核大小均为3*3；得到各自对应的尺寸为8*8*512的提取了显著性区域的特征图。

Images