CN108509826B - 一种遥感影像的道路识别方法及其系统 - Google Patents

Abstract

本发明公开了一种遥感影像的道路识别方法及其系统，该方法包括以下步骤：以滑动窗口的方式扫描遥感影像；使用第一深度学习网络判断滑动窗口中的图像块是否属于道路，其中所述滑动窗口中的图像块包含多个像素；对所述遥感影像中被所述第一深度学习网络判定为道路的图像块的边缘部分，使用第二深度学习网络逐像素地判断各像素是否属于道路。本发明的道路识别方法及其系统可以达到既快又准地提取航拍遥感数据。

Description

一种遥感影像的道路识别方法及其系统

技术领域

本发明涉及遥感信息处理技术领域，特别涉及一种遥感影像的道路识别技术。

背景技术

随着无人机技术的快速发展，无人机航拍遥感具有影像实时传输、高危地区探测、成本低、高分辨率、机动灵活等优点，兼具卫星影像的价格和航空影像的快速采集优势，可以通过不同航高可实现高空间、大面积监测，也可以实现低空间较小范围精确监测，因此在国内外已得到广泛应用。随着无人机航拍遥感数据的大量获取，当前的应用瓶颈在于如何高性能地自动处理所获取的影像，而如何从海量的无人机航拍高分辨率遥感数据中提取目标有效特征就成为其中的关键技术。

传统的道路提取方法是手工提取。尽管手工提取准确鲁棒，这种方法耗时且低效，而且不能满足越来越需要大量影像的实时处理需求。虽然完全自动化的方法已经研发了几十年，道路网络自动化提取仍然是一个开放和富有挑战性的问题。现有的道路检测识别方法常常通过人工设计特征表达，难以应用于海量数据，而且其过程强烈依赖于专业知识和数据本身的特征，很难从海量的数据中学习出一个有效的分类器以充分挖掘数据的内在本质，所以亟需一种能够自动从大量数据中学习特征的方法，获取数据中最有效的特征表征，实现信息的自动提取。近年来，自动提取目标特征往往采用深度学习(deep learning)技术框架。该框架通过建立相对复杂的网络结构，充分挖掘数据的内在本质，取得了良好的效果。

然而，解决光照变化、遮挡、阴影和运动模糊等传统难题依然是深度学习方法取得进一步成功的关键之一，也是高分辨率遥感影像智能解译技术的难点之一。高分辨率遥感影像虽然能够提供较多的细节信息，却同时放大了噪声，其分类和检测极易受外部环境的影响。例如，道路上的阴影混淆了道路的边界。更严重的是，道路的遮挡引入了道路提取的歧义性。例如，道路上汽车的遮挡而且从影像像素级别上看，被汽车遮挡的部分道路如果被分类为非道路是正确的；从影像语义信息(即从人感知的角度)看，被汽车遮挡的部分被分类为道路才是正确的。这种分类的歧义性也导致难以准确提取道路。

发明内容

本发明的目的在于提供一种遥感影像的道路识别方法及其系统，以解决目前无法准确提取航拍遥感数据的问题。

在本发明中，第一方面提供了一种遥感影像的道路识别方法，包括以下步骤：

以滑动窗口的方式扫描遥感影像；

使用第一深度学习网络判断滑动窗口中的图像块是否属于道路，其中所述滑动窗口中的图像块包含多个像素；

对所述遥感影像中被所述第一深度学习网络判定为道路的图像块的边缘部分，使用第二深度学习网络逐像素地判断各像素是否属于道路。

本发明第二方面提供了一种遥感影像的道路识别系统，包括：

滑动窗口模块，用于以滑动窗口的方式扫描遥感影像；

第一深度学习网络，用于判断所述滑动窗口模块中的图像块是否属于道路，其中所述图像块包含多个像素；

第二深度学习网络，用于对所述滑动窗口模块中被所述第一深度学习网络判定为道路的图像块的边缘部分，逐像素地判断各像素是否属于道路。

本发明实施方式与现有技术相比，主要区别及其效果在于：

使用不同训练方式的两个深度学习网络，先用一个深度学习网络以滑动窗口的方式进行图像块级别的识别，判断每一个图像块是否属于道路，再对遥感影像中属于道路的图像块的边缘部分使用另一个深度学习网络进行逐像素的识别，可以在确保道路识别准确度的前提下大大提高识别的效率，大大减少识别的计算量，加快识别的速度。大部分情况下，道路在整个遥感图像中所占的面积比例并不大，被第一深度学习网络判别为非道路的图像块的数目众多，这些图像块不再需要第二深度学习网络进行精细的识别，所以节约了大量的计算量。第一深度学习网络识别更为快速(但不够精细)，第二深度学习网络识别得更为准确和精细(运算量大，速度慢)，本申请通过这两种深度学习网络的有机结合，达到了既快又准的效果。

进一步地，以半个车道宽度为步长，以一个车道宽度为滑动窗口大小，可以一方面可以有较快的识别速度，另一方面不会漏检车道。

进一步地，采用多尺度输入的深度学习网络，能够大大提高道路识别的准确度。

进一步地，滑动窗口模块包括控制滑动子模块，可以以步长为半个车道宽度的滑动窗口方式扫描遥感影像。

进一步地，第二深度学习网络包括至少两个不同尺度的输入窗口模块，可以逐像素地判断各像素是否属于道路。

进一步地，输入窗口模块包括：第一输入窗口子模块，可以输入原始尺度图像；采样子模块，可以对所述原始尺度图像进行不同级别下的采样；其他输入窗口子模块，可以输入对所述原始尺度图像进行不同级别下采样后得到的图像，逐像素地判断各像素是否属于道路。

应理解，在本发明范围内中，本发明的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一赘述。

附图说明

图1是本发明第一实施方式中遥感影像的道路识别方法的流程示意图。

图2是本发明第一实施方式中基于深度学习的高分辨率无人机航拍遥感影像道路检测框架图。

图3是本发明第二实施方式中遥感影像的道路识别方法的流程示意图。

图4是本发明第二实施方式中第二深度学习网络的框架图。

图5是本发明第三实施方式中遥感影像的道路识别方法的流程示意图。

图6是本发明第三实施方式中航拍遥感影像的局部场景图。

图7是本发明第三实施方式中道路检测结果图。

图8是本发明第四实施方式中遥感影像的道路识别系统的结构示意图。

图9是本发明第五实施方式中遥感影像的道路识别系统的结构示意图。

图10是本发明第六实施方式中遥感影像的道路识别系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种遥感影像的道路识别方法，图1是该方法的流程示意图，图2是基于深度学习的高分辨率无人机航拍遥感影像道路检测框架图。

如图1所示，一种遥感影像的道路识别方法，包括以下步骤：

步骤101：以滑动窗口的方式扫描遥感影像。

转入步骤102：使用第一深度学习网络判断滑动窗口中的图像块是否属于道路，其中所述滑动窗口中的图像块包含多个像素，如果判定滑动窗口中的图像块属于道路，则执行步骤103，否则执行步骤101。

在步骤103中，对所述遥感影像中被所述第一深度学习网络判定为道路的图像块的边缘部分，使用第二深度学习网络逐像素地判断各像素是否属于道路。

如图2所示，使用本实施方式中的识别方法来识别道路，图中e为由无人机拍摄的周围环境，a、b、c、d为遥感影像上各个类别对象分别为：道路、林地、草地和汽车，通过f(第一深度学习网络)和g(第二深度学习网络)训练后得到h(识别结果)。

本实施方式中，使用不同训练方式的两个深度学习网络，先用一个深度学习网络以滑动窗口的方式进行图像块级别的识别，判断每一个图像块是否属于道路，再对遥感影像中属于道路的图像块的边缘部分使用另一个深度学习网络进行逐像素的识别，可以在确保道路识别准确度的前提下大大提高识别的效率，大大减少识别的计算量，加快识别的速度。大部情况下，道路在整个遥感图像中所占的面积比例并不大，被第一深度学习网络判别为非道路的图像块的数目众多，这些图像块不再需要第二深度学习网络进行精细的识别，所以节约了大量的计算量。第一深度学习网络识别更为快速(但不够精细)，第二深度学习网络识别得更为准确和精细(运算量大，速度慢)，本申请通过这两种深度学习网络的有机结合，达到了既快又准的效果。

另外，在训练时，第一深度学习网络使用遥感影像中的图像块(已知该图像块属于道路)来训练。

第一和第二深度学习网络的训练方式和它们各自的识别方式是对应的。第一深度学习网络以图像块为单位，使用已知图像块属于道路的遥感影像来训练，第二深度学习网络使用已知各像素属于道路的遥感影像来训练。

本实施方式中，遥感影像是由无人机拍摄的；在本发明的其他实施方式中，遥感影像也可以是由航拍飞机拍摄的或是由卫星拍摄的。

本发明第二实施方式涉及一种遥感影像的道路识别方法，图3是该方法的流程示意图，图4是第二深度学习网络的框架图。

如图3所示，一种遥感影像的道路识别方法，包括以下步骤：

步骤201：以步长为半个车道宽度的滑动窗口方式扫描遥感影像，其中所述滑动窗口的长和宽分别为一个车道宽度。

转入步骤202：使用第一深度学习网络判断滑动窗口中的图像块是否属于道路，其中所述滑动窗口中的图像块包含多个像素，如果判定滑动窗口中的图像块属于道路，则执行步骤203，否则执行步骤201，此步骤与步骤102相同。

在步骤203中，所述第二深度学习网络采用至少两个不同尺度的输入窗口来逐像素地判断各像素是否属于道路。

步骤201可以实现步骤101的功能，步骤203可以实现步骤103的功能。

本实施方式中，所述第一深度学习网络为卷积神经网络，该卷积神经网络的卷积层的特征映射为：

其中，

是第k个卷积核对应的特征映射，f是卷积层的特征图，i是目标的横坐标，j是目标的纵坐标，k是卷积核序号，

是第k个大小为nxn的卷积核，ω是卷积核，且

n是卷积核长宽，也是局部图像的长宽，D是第k-1个卷积层特征图的输出通道数量，R^n×n×D是卷积核对应的数据空间，a和b是卷积核和相应图像局部区域的局部坐标，c是图像通道索引，x是图像局部区域，x_{i+a，j+b，c}是x第i+a行、j+b列的第c个通道，σ是非线性激励函数，每个特征映射由第k个卷积核

与x的局部大小为n×n的区域点乘得到，x∈R^n×n×D。

随后的池化降采样层计算局部非重叠的特征映射上的最大值，第k个卷积核对应的池化层为：

其中，

是第k个卷积核对应的池化层，

是卷积层的特征图的局部区域，其大小为p*p，p是局部空间区域的大小，i’是该区域的局部索引，范围为1≤i’≤p，i是目标的横坐标，j是目标的纵坐标，c是图像通道索引。

如图4所示，I₁是原始图像以2为系数的下采样，第s+1个图像I_s+1是由第s个图像I_s先高斯平滑再下采样得到的，u是得到的损失函数，v是得到的识别标记。

所述第二深度学习网络的损失函数为：

其中，

是损失函数，θ是模型参数，

是待分析的像素集，P是概率，Y是标记变量，y∈{0,1}为Y标记变量的取值，q是对应的像素索引，y^(q)是第q个标记变量，x_s是第q个像素，x_s ^(q)是像素，s是类别索引，y^(q)|x_s ^(q)，θ，s是条件概率的变量，

是像素集大小，S是类别数量。

本实施方式中，以半个车道宽度为步长，以一个车道宽度为滑动窗口大小，一方面可以有较快的识别速度，另一方面不会漏检车道，当然在本申请的其它实施例中，滑动窗口的步长和大小也可以是其它的值。

本发明第三实施方式涉及一种遥感影像的道路识别方法，图5是该方法的流程示意图，图6是航拍遥感影像的局部场景图，图7是道路检测结果图。

如图5所示，一种遥感影像的道路识别方法，包括以下步骤：

步骤301：以步长为半个车道宽度的滑动窗口方式扫描遥感影像，其中所述滑动窗口的长和宽分别为一个车道宽度，此步骤与步骤201相同。

转入步骤302：使用第一深度学习网络判断滑动窗口中的图像块是否属于道路，其中所述滑动窗口中的图像块包含多个像素，如果判定滑动窗口中的图像块属于道路，则执行步骤303，否则执行步骤301，此步骤与步骤202相同。

步骤303：所述第二深度学习网络采用其中一个输入窗口输入原始尺度图像。

转入步骤304：对所述原始尺度图像进行不同级别下的采样。

转入步骤305：所述第二深度学习网络采用其他输入窗口输入对所述原始尺度图像进行不同级别下采样后得到的图像，逐像素地判断各像素是否属于道路。

步骤303、步骤304和步骤305可以实现步骤203的功能。

如图6所示，该图为云栖小镇航拍遥感影像的一块典型的局部场景图，图7为采用本实施方式的道路识别方法对图6进行识别得到的图，对比图6和图7，可以认为采用多尺度输入的深度学习网络，能够大大提高道路识别的准确度。

本发明第四实施方式涉及一种遥感影像的道路识别系统，图8是该系统的结构示意图。

如图所示，一种遥感影像的道路识别系统，包括：

滑动窗口模块801，用于以滑动窗口的方式扫描遥感影像；

第一深度学习网络802，用于判断所述滑动窗口模块801中的图像块是否属于道路，其中所述图像块包含多个像素；

第二深度学习网络803，用于对所述滑动窗口模块801中被所述第一深度学习网络802判定为道路的图像块的边缘部分，逐像素地判断各像素是否属于道路。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种遥感影像的道路识别系统，图9是该系统的结构示意图。

如图所示，第五实施方式在第四实施方式的基础上进行了改进，主要改进之处在于：

所述滑动窗口模块801包括控制滑动子模块804，可以以步长为半个车道宽度的滑动窗口方式扫描遥感影像；所述第二深度学习网络803包括至少两个不同尺度的输入窗口模块805，可以逐像素地判断各像素是否属于道路。

具体地说：

所述滑动窗口模块801包括控制滑动子模块804，用于以步长为半个车道宽度的滑动窗口方式扫描遥感影像，其中所述滑动窗口模块801的长和宽分别为一个车道宽度；

所述第二深度学习网络803包括至少两个不同尺度的输入窗口模块805，用于逐像素地判断各像素是否属于道路。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第六实施方式涉及一种遥感影像的道路识别系统，图10是该系统的结构示意图。

如图所示，第六实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：

所述输入窗口模块805包括：第一输入窗口子模块806，可以输入原始尺度图像；采样子模块807，可以对所述原始尺度图像进行不同级别下的采样；其他输入窗口子模块808，可以输入对所述原始尺度图像进行不同级别下采样后得到的图像，逐像素地判断各像素是否属于道路。

具体地说：

所述输入窗口模块805包括：

第一输入窗口子模块806，用于输入原始尺度图像；

采样子模块807，用于对所述原始尺度图像进行不同级别下的采样；

其他输入窗口子模块808，用于输入对所述原始尺度图像进行不同级别下采样后得到的图像，逐像素地判断各像素是否属于道路。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施方式并不存在其它的模块。

需要说明的是，在本专利的说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种遥感影像的道路识别方法，其特征在于，包括以下步骤：

以滑动窗口的方式扫描遥感影像；

使用第一深度学习网络判断滑动窗口中的图像块是否属于道路，其中所述滑动窗口中的图像块包含多个像素；

对所述遥感影像中被所述第一深度学习网络判定为道路的图像块的边缘部分，使用第二深度学习网络逐像素地判断各像素是否属于道路；

所述第一深度学习网络为卷积神经网络，该卷积神经网络至少包括卷积层和池化层，该卷积神经网络的卷积层的特征映射为：

其中，

是第k个卷积核对应的特征映射，f是卷积层的特征图，i是目标的横坐标，j是目标的纵坐标，k是卷积核序号，

是第k个大小为nxn的卷积核，ω是卷积核，且

n是卷积核长宽，也是局部图像的长宽，D是第k-1个卷积层特征图的输出通道数量，R^n×n×D是卷积核对应的数据空间，a和b是卷积核和相应图像局部区域的局部坐标，c是图像通道索引，x是图像局部区域，x_{i+a，j+b，c}是x第i+a行、j+b列的第c个通道，σ是非线性激励函数，每个特征映射由第k个卷积核

与x的局部大小为n×n的区域点乘得到x∈R^n×n×D；

所述卷积层之后的池化层用于计算局部非重叠的特征映射上的最大值，第k个卷积核对应的池化层为：

其中，

是第k个卷积核对应的池化层，

是卷积层的特征图的局部区域，其大小为p＊p，p是局部空间区域的大小，i’是该区域的局部索引，范围为1≤i’≤p，i是目标的横坐标，j是目标的纵坐标，c是图像通道索引。

2.根据权利要求1所述的遥感影像的道路识别方法，其特征在于，所述步骤″以滑动窗口的方式扫描遥感影像″包括以下子步骤：

以步长为半个车道宽度的滑动窗口方式扫描遥感影像，其中所述滑动窗口的长和宽分别为一个车道宽度。

3.根据权利要求1所述的遥感影像的道路识别方法，其特征在于，所述步骤″使用第二深度学习网络逐像素地判断各像素是否属于道路″包括以下子步骤：

所述第二深度学习网络采用至少两个不同尺度的输入窗口来逐像素地判断各像素是否属于道路。

4.根据权利要求3所述的遥感影像的道路识别方法，其特征在于，所述步骤″所述第二深度学习网络采用至少两个不同尺度的输入窗口来逐像素地判断各像素是否属于道路″包括以下子步骤：

所述第二深度学习网络采用其中一个输入窗口输入原始尺度图像；

对所述原始尺度图像进行不同级别下的采样；

所述第二深度学习网络采用其他输入窗口输入对所述原始尺度图像进行不同级别下采样后得到的图像，逐像素地判断各像素是否属于道路。

5.根据权利要求3所述的遥感影像的道路识别方法，其特征在于，所述第二深度学习网络的损失函数为：

其中，NLL(θ，D)是损失函数，θ是模型参数，D是待分析的像素集，P是概率，Y是标记变量，y∈{0，1}为Y标记变量的取值，q是对应的像素索引，y^(q)是第q个标记变量，x_s是第q个像素，x_s ^(q)是像素，s是类别索引，y^(q)|x_s ^(q)，θ，s是条件概率的变量，|D|是像素集大小，S是类别数量。

6.一种遥感影像的道路识别系统，其特征在于，包括：

滑动窗口模块，用于以滑动窗口的方式扫描遥感影像；

第一深度学习网络，用于判断所述滑动窗口模块中的图像块是否属于道路，其中所述图像块包含多个像素；

第二深度学习网络，用于对所述滑动窗口模块中被所述第一深度学习网络判定为道路的图像块的边缘部分，逐像素地判断各像素是否属于道路；

所述第一深度学习网络为卷积神经网络，该卷积神经网络至少包括卷积层和池化层，该卷积神经网络的卷积层的特征映射为：

其中，

是第k个卷积核对应的特征映射，f是卷积层的特征图，i是目标的横坐标，j是目标的纵坐标，k是卷积核序号，

是第k个大小为nxn的卷积核，ω是卷积核，且

n是卷积核长宽，也是局部图像的长宽，D是第k-1个卷积层特征图的输出通道数量，R^n×n×D是卷积核对应的数据空间，a和b是卷积核和相应图像局部区域的局部坐标，c是图像通道索引，x是图像局部区域，x_{i+a，j+b，c}是x第i+a行、j+b列的第c个通道，σ是非线性激励函数，每个特征映射由第k个卷积核

与x的局部大小为n×n的区域点乘得到x∈R^n×n×D；

所述卷积层之后的池化层用于计算局部非重叠的特征映射上的最大值，第k个卷积核对应的池化层为：

其中，

是第k个卷积核对应的池化层，

是卷积层的特征图的局部区域，其大小为p^＊p，p是局部空间区域的大小，i’是该区域的局部索引，范围为1≤i’≤p，i是目标的横坐标，j是目标的纵坐标，c是图像通道索引。

7.根据权利要求6所述的遥感影像的道路识别系统，其特征在于，所述滑动窗口模块包括控制滑动子模块，用于以步长为半个车道宽度的滑动窗口方式扫描遥感影像，其中所述滑动窗口模块的长和宽分别为一个车道宽度。

8.根据权利要求6所述的遥感影像的道路识别系统，其特征在于，所述第二深度学习网络包括：

至少两个不同尺度的输入窗口模块，用于逐像素地判断各像素是否属于道路。

9.根据权利要求8所述的遥感影像的道路识别系统，其特征在于，所述输入窗口模块包括：

第一输入窗口子模块，用于输入原始尺度图像；

采样子模块，用于对所述原始尺度图像进行不同级别下的采样；

其他输入窗口子模块，用于输入对所述原始尺度图像进行不同级别下采样后得到的图像，逐像素地判断各像素是否属于道路。

Images