CN109583345B - 道路识别方法、装置、计算机装置及计算机可读存储介质 - Google Patents
道路识别方法、装置、计算机装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109583345B CN109583345B CN201811393560.2A CN201811393560A CN109583345B CN 109583345 B CN109583345 B CN 109583345B CN 201811393560 A CN201811393560 A CN 201811393560A CN 109583345 B CN109583345 B CN 109583345B
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- layer
- roads
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
一种道路识别方法，包括：获取待识别的遥感图像；计算所述遥感图像在YUV颜色空间的图像金字塔；对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；将所述图像金字塔的每层图像的梯度特征作为改进U‑Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U‑Net模型的每层网络包含一个1x1的卷积作为预测模块；根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。本发明还提供一种道路识别装置、计算机装置及计算机可读存储介质。本发明可以有效提高道路识别的准确性。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种道路识别方法、装置、计算机装置和计算机可读存储介质。
背景技术
近年来，识别道路信息是比较热门的课题，其有很多应用，比如城市规划、交通管理、自然灾害分析、GPS导航和地图更新等等。随着城市的发展，道路变化很快，道路信息更新的频率需求也越来越高。虽然人工提取道路信息比较准确，但是人工方法耗时且昂贵。因此实现自动化提取道路信息变得尤为重要。基于遥感图像(如卫星图像)的道路识别可以极大地提高地图生成的效率，从而跟上城市规划的迫切需要，对需要即时地图的汽车导航系统等应急系统也是极大的帮助。
目前，解决道路识别的方法大多是监督学习，用干净的规模比较大的数据集训练。然而，道路识别在实际应用中遇到了很多挑战，例如遥感图像数据集有限、数据有噪音等。数据有噪音是常见的问题，比如遥感图像中的路面被树木遮挡，图像标签对路的标注不完整等等。现有道路识别方法对于有噪音且有限的数据集的预测结果仍然不佳。
发明内容
鉴于以上内容，有必要提出一种道路识别方法、装置、计算机装置和计算机可读存储介质，其可以提高道路识别的准确性。
本申请的第一方面提供一种道路识别方法，所述方法包括：
获取待识别的遥感图像；
计算所述遥感图像在YUV颜色空间的图像金字塔；
对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；
将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块；
根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
另一种可能的实现方式中，所述对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征包括：
对于图像金字塔中的每层图像，计算每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值，以所述每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值作为所述图像的梯度特征。
另一种可能的实现方式中，所述方法还包括：
检测所述所有道路中是否存在碎片化的道路，若所述所有道路中存在碎片化的道路，则在所述所有道路中将所述碎片化的道路变为连贯的道路。
另一种可能的实现方式中，所述方法还包括：
检测所述所有道路中是否存在与其他道路断开的目标道路，若所述所有道路中存在与其他道路断开的所述目标道路，去除所述目标道路；其中，所述其他道路为所述所有道路中去除所述目标道路以外的道路。
另一种可能的实现方式中，所述方法还包括：
对所述所有道路进行边缘平滑处理。
另一种可能的实现方式中，在所述将所述图像金字塔的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图之后，所述方法还包括：
利用预设图像分割模型对所述遥感图像进行识别，得到第二概率分布图；
根据所述第一概率分布图与所述第二概率分布图对每个像素的道路概率进行合并，得到目标概率分布图；
根据所述目标概率分布图中各个像素点的道路概率得到所述所有道路。
另一种可能的实现方式中，所述改进U-Net模型训练时使用交叉熵作为损失函数，将所述改进U-Net模型的每层网络的损失加权相加，分辨率越低的图像所在层的权重越低，分辨率越高的图像所在层的权重越高。
本申请的第二方面提供一种道路识别装置，所述装置包括：
获取单元，用于获取待识别的遥感图像；
第一计算单元，用于计算所述遥感图像在YUV颜色空间的图像金字塔；
第二计算单元，用于对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；
第一识别单元，用于将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块；
输出单元，用于根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
本申请的第三方面提供一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述道路识别方法。
本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述道路识别方法。
本发明获取待识别的遥感图像；计算所述遥感图像在YUV颜色空间的图像金字塔；对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块；根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。由于道路在多种尺度的图像里都是可以被识别的，本发明构建了统一的模型对不同尺度的图像进行道路识别，将原始遥感图像转换成不同尺度图像的梯度特征，将这些梯度特征按照不同的尺度输入进改进U-Net模型的不同层级。本发明解决了遥感图像数据集有限、数据有噪音的问题，对于有噪音且有限的数据集的识别准确率高，且对于有噪音的数据具有很强的适应性。
附图说明
图1是本发明实施例提供的道路识别方法的流程图。
图2是利用改进U-Net模型进行道路识别的示意图。
图3是本发明另一实施例提供的道路识别方法的流程图。
图4是本发明实施例提供的道路识别装置的结构图。
图5是本发明另一实施例提供的道路识别装置的结构图。
图6是本发明实施例提供的计算机装置的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明的道路识别方法应用在一个或者多个计算机装置中。所述计算机装置是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机装置可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本发明实施例一提供的道路识别方法的流程图。所述道路识别方法应用于计算机装置。所述道路识别方法对遥感图像中的道路进行识别。所述方法包括：
步骤101，获取待识别的遥感图像。
遥感图像是通过探测地物电磁辐射强度获得的反映地表地物的图像，包含从可见光到近红外的几百个窄波段内获取的图像。
遥感图像包括卫星图像和航空图像(即航拍图像)。卫星图像是借助于人造地球卫星对地表地物进行拍摄或扫描所获得的地物图像。航空图像是借助于飞机、直升机等对地表地物进行拍摄或扫描所获得的地物图像。
可以从预设图像数据库(例如卫星图像数据库)中获取遥感图像。或者，可以接收用户输入的遥感图像。或者，可以控制相机、多光谱扫描仪等设备对地表地物进行拍摄或扫描得到遥感图像。
所述遥感图像可以是灰度图像，也可以是彩色图像，例如RGB图像、YUV图像或HSV图像。
在遥感图像分析领域，单波段的遥感图像是灰度图像，层次不够丰富，不利于观察和分析。因此，为了拉大地物之间的色彩差异，更有效地反映地表信息，通常情况下采用彩色的遥感图像，例如RGB图像。
步骤102，计算所述遥感图像在YUV颜色空间的图像金字塔。
计算遥感图像在YUV颜色空间的图像金字塔即计算遥感图像对应的YUV图像的图像金字塔。
若所述遥感图像是YUV图像，则直接计算所述图像金字塔。
若所述遥感图像不是YUV图像，则将所述遥感图像转换为YUV图像，再根据所述YUV图像计算所述图像金字塔。
将遥感图像转换到YUV颜色空间，使亮度(Y)和色度(U,V)通道分离，是为了增强道路识别的稳健性。从YUV图像中亮度变化明显的地方可以检测边缘信息，同时，从色度通道可以推测出像素间的色度相似性。
举例来说，可以将遥感图像从RGB颜色空间转换到YUV颜色空间，得到YUV图像。由RGB图像转换为YUV图像的公式可以为：Y＝0.30R+0.59G+0.11B，U＝0.493(B－Y)，V＝0.877(R－Y)。
图像金字塔是图像多尺度表达的一种。一幅图像的图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。图像金字塔中的图像层级越高，则图像越小，分辨率越低。计算所述YUV图像的的图像金字塔，即得到多尺度的遥感图像。
计算遥感图像对应的YUV图像的图像金字塔是对所述YUV图像进行不同比例的缩放(可以放大也可以缩小)，得到不同大小(即不同分辨率)的缩放图像，所述YUV图像及其缩放图像组成所述图像金字塔。例如，对所述YUV图像缩放50％得到第一缩放图像，对所述YUV图像缩放25％得到第二缩放图像，对所述YUV图像缩放12.5％得到第三缩放图像，对所述YUV图像缩放6.25％得到第四缩放图像。所述YUV图像和第一缩放图像、第二缩放图像、第三缩放图像、第四缩放图像组成所述图像金字塔。
在一具体实例中，所述YUV图像的大小(即所述遥感图像的大小)为1024*1024，对所述1024*1024的YUV图像缩放50％得到512*512的第一缩放图像，对所述1024*1024的YUV图像缩放25％得到256*256的第二缩放图像，对所述1024*1024的YUV图像缩放12.5％得到128*128的第三缩放图像，对所述1024*1024的YUV图像缩放6.25％得到64*64的第四缩放图像，所述1024*1024的YUV图像、所述512*512的第一缩放图像、所述256*256的第二缩放图像、所述128*128的第三缩放图像、所述64*64的第四缩放图像组成所述图像金字塔。
在本实施例中，可以以遥感图像作为图像金字塔的最底层(即第一层)，图像金字塔的层数可以根据遥感图像的分辨率确定，遥感图像的分辨率越高，则层数越多。例如，分辨率为128*128的遥感图像对应的图像金字塔的层数为2，遥感图像的分辨率每增大一倍，则图像金字塔的层数增加1。例如，遥感图像的分辨率为512*512，则对应的图像金字塔的层数为3。
步骤103，对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征。
所述梯度特征可以包括梯度和梯度幅值。
所述梯度可以包括在x方向(即水平方向)和在y方向(即垂直方向)的梯度。梯度有多种计算方法，例如利用Sobel、Prewitt或Roberts算子计算各个像素点的梯度。根据各个像素点的梯度即可计算各个像素点的梯度幅值。计算像素点的梯度和梯度幅值为本领域的公知技术，此处不再赘述。
在本实施例中，对于图像金字塔中的每层图像，计算每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值，以每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值作为所述图像的梯度特征。因此，得到的梯度特征为九个通道的张量。
计算图像的梯度特征保留了图像的边缘信息和相邻像素之间的相似性，并且去除了图像的表面特征，例如和道路识别无关的像素亮度和颜色，从而提高道路识别的稳健性，解决了遥感图像数据有噪音的问题。
步骤104，将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图。
改进U-Net模型包括多层网络，将图像金字塔的每层图像的梯度特征输入到对应的一层网络。例如，参阅图2所示，所述图像金字塔包括1024*1024的YUV图像(图中示为1024*1024YUV)、512*512的第一缩放图像(图中示为512*512YUV)、256*256的第二缩放图像(图中示为256*256YUV)、128*128的第三缩放图像(图中示为128*128YUV)、64*64的第四缩放图像(图中示为64*64YUV)，将1024*1024的YUV图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第五层(即最高层)网络，将512*512的第一缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第四层网络，将256*256的第二缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第三层网络，将128*128的第三缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第二层网络，将64*64的第四缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第一层(即最低层)网络。
所述第一概率分布图表示所述遥感图像中的各个像素点为道路的概率(即道路概率)。
与U-Net模型相比，改进U-Net模型在每层网络添加了一个1x1的卷积作为预测模块，来检测不同分辨率的图像(即图像金字塔的各层图像)中的道路。
在对待识别的遥感图像进行识别之前，需要对改进U-Net模型进行训练。在对改进U-Net模型进行训练时，将训练样本的图像金字塔的每层图像的梯度特征输入到对应的一层网络，得到每层网络的输出(即每层图像对应的概率分布图)，根据训练样本的图像金字塔的每层图像的真实识别结果和每层网络的输出计算每层网络的损失。可以根据每层图像对应的概率分布图获得每层图像对应的蒙版(参阅图2)，根据训练样本的图像金字塔的每层图像的真实识别结果和每层图像对应的蒙版计算每层网络的损失。所述蒙版直接表达图像中的道路部分和非道路部分。
在训练改进U-Net模型时，可以使用交叉熵(cross entropy)作为损失函数，将改进U-Net模型的每层网络的损失加权相加。分辨率越低的图像所在层的权重越低，分辨率越高的图像所在层的权重越高。所述预测模块可以缩小在改进U-Net模型中的搜寻范围并且加速改进U-Net模型的学习进程。
在本实施例中，图像金字塔中分辨率最高的图像是遥感图像或遥感图像对应的YUV图像，采取分辨率最高的图像得出的预测结果作为最终预测结果。
改进U-Net模型不需要借助预训练的模型，没有过多的参数，可以有效地利用遥感图像的结构。
在一个实施例中，可以通过翻转(可以左右翻转、上下翻转)和/或旋转(可以顺时针旋转90度、180度、270度)图像来增加有限的训练样本数据集。例如，可以左右翻转(即水平翻转)图像和以旋转90度来枚举路的不同方向，从而增加有限的训练样本数据集。
U-Net模型适用于小数据集。改进U-Net模型基于U-Net模型，也同样适用于小数据集，从而解决了遥感图像数据集有限的问题。
步骤105，根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
可以查找第一概率分布图中道路概率大于或等于预设概率(例如80％)的像素点，将道路概率大于或等于预设概率的像素点识别为道路，将道路概率小于预设概率的像素点识别为非道路。
实施例一的道路识别方法获取待识别的遥感图像；计算所述遥感图像在YUV颜色空间的图像金字塔；对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块；根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。由于道路在多种尺度的图像里都是可以被识别的，本方法构建了统一的模型对不同尺度的图像进行道路识别，将原始遥感图像转换成不同尺度图像的梯度特征，将这些梯度特征按照不同的尺度输入进改进U-Net模型的不同层级。本方法解决了遥感图像数据集有限、数据有噪音的问题，对于有噪音且有限的数据集，本方法的准确率高，且对于有噪音的数据具有很强的适应性。
在另一实施例中，所述道路识别方法还可以包括：检测所述所有道路中是否存在碎片化的道路，若所述所有道路中存在碎片化的道路，则在所述所有道路中将所述碎片化的道路变为连贯的道路。在遥感图像中，道路是连续且跨过大面积图像的曲线，而不会是碎片化的线段。基于这个特性，可以利用边界线生成模型，例如GraphCut，生成道路的边界线，在所述所有道路中恢复没有被识别出来的短的道路片段，使碎片化的道路变得连贯。
在另一实施例中，所述道路识别方法还可以包括：检测所述所有道路中是否存在与其他道路断开的目标道路，若所述所有道路中存在与其他道路断开的所述目标道路，去除所述目标道路。所述其他道路为所述所有道路中去除所述目标道路以外的道路在遥感图像中，道路应该是连通的，如果检测到一段道路与其他道路均不连通，则可以认定该段道路为错误识别结果，去除该段道路。可以检测一段道路与其他道路的像素是否连通，若一段道路的像素与其他道路的像素均不连通，则该段道路与其他道路均不连通，去除该段道路。
在另一实施例中，所述道路识别方法还可以包括：对所述所有道路进行边缘平滑处理。对于所述所有道路中存在边缘不光滑的道路，可以利用高斯滤波器进行处理，使道路的边缘变得平滑。或者，可以通过边界清理对所述所有道路进行边缘平滑处理，边界清理使用扩展和收缩的方法在相对较大的范围上清理边界。或者，可以通过众数滤波对所述所有道路进行边缘平滑处理，众数滤波是根据像素邻域内的众数值来替换像素。
上述将碎片化的道路变为连贯的道路、去除与其他道路断开的目标道路、对所述所有道路进行边缘平滑处理都属于道路识别的后处理。改进U-Net模型可以识别出大部分的道路。但是，还是会存在一些识别错误的道路或者部分没有识别出来的道路。后处理的目标就是为了纠正这些错误，从而得到尽可能准确的道路识别结果。
实施例二
图3是本发明实施例二提供的道路识别方法的流程图。所述道路识别方法应用于计算机装置。所述道路识别方法对遥感图像中的道路进行识别。所述方法包括：
步骤301，获取待识别的遥感图像。
本实施例中步骤301与实施例一中步骤101一致，具体请参阅实施例一中步骤101的相关描述，此处不再赘述。
步骤302，计算所述遥感图像在YUV颜色空间的图像金字塔。
本实施例中步骤302与实施例一中步骤102一致，具体请参阅实施例一中步骤102的相关描述，此处不再赘述。
步骤303，对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征。
本实施例中步骤303与实施例一中步骤103一致，具体请参阅实施例一中步骤103的相关描述，此处不再赘述。
步骤304，将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块。
本实施例中步骤304与实施例一中步骤104一致，具体请参阅实施例一中步骤104的相关描述，此处不再赘述。
步骤305，利用预设图像分割模型对所述遥感图像进行识别，得到第二概率分布图。
所述预设图像分割模型不同于改进U-Net模型。所述预设图像分割模型可以是DeepLab模型、Mask R-CNN模型等。
在一具体实施例中，所述预设图像分割模型是DeepLab模型。选取DeepLab模型与改进U-Net模型组合进行道路识别，一方面是因为DeepLab模型在图像分割方面有着优秀的表现；另一方面是因为DeepLab模型是直接用遥感图像作为模型的输入，而改进U-Net模型是用图像金字塔的梯度特征作为模型的输入，这两个模型组合在一起可以取长补短，更完整地读取遥感图像的信息。
所述预设图像分割模型可以是任何有预训练的模型。
所述预设图像分割模型可以是语义分割模型。改进U-Net模型和语义分割模型捕捉到遥感图像的特征是不同的，改进U-Net模型比较擅长捕捉图像中的道路轮廓，而语义分割模型擅长捕捉图像的本地语义内容。结合改进U-Net模型和语义分割模型可以得到更准确的识别结果。
步骤306，根据所述第一概率分布图与所述第二概率分布图对每个像素的道路概率进行合并，得到目标概率分布图。
对于每一个像素，合并后的道路概率(即目标概率分布图中的道路概率)是两个概率分布图对应像素的道路概率的加权平均。每个像素都有各自的权重，所有像素的权重表现为一个权重分布图。所述权重分布图可以用监督学习来训练。可以标记出改进U-Net模型比预设图像分割模型表现出众的区域或者表现差的区域，然后将遥感图像和权重标签用来训练一个卷积神经网络，以此来预测出所述权重分布图。
权重分布图的一个简化版本就是权重分布图上的每一个权重都是相同的值，也就是说同一张图像里的每个像素的权重都是一样的。可以通过交叉验证来找到最佳的权重。
步骤307，根据所述目标概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
可以查找目标概率分布图中道路概率大于或等于预设概率(例如80％)的像素点，将道路概率大于或等于预设概率的像素点识别为道路，将道路概率小于预设概率的像素点识别为非道路。
在本实施例中，可以结合一个预设图像分割模型进行道路识别。在其他的实施例中，可以结合多个(例如2个)预设图像分割模型进行道路识别。
实施例二的道路识别方法获取待识别的遥感图像；计算所述遥感图像在YUV颜色空间的图像金字塔；对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块；利用预设图像分割模型对所述遥感图像进行识别，得到第二概率分布图；根据所述第一概率分布图与所述第二概率分布图对每个像素的道路概率进行合并，得到目标概率分布图；根据所述目标概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。由于道路在多种尺度的图像里都是可以被识别的，本方法构建了统一的模型对不同尺度的图像进行道路识别，将原始遥感图像转换成不同尺度图像的梯度特征，将这些梯度特征按照不同的尺度输入进改进U-Net模型的不同层级。本方法解决了遥感图像数据集有限、数据有噪音的问题，对于有噪音且有限的数据集，本方法的准确率高，且对于有噪音的数据具有很强的适应性。并且，本方法结合改进U-Net模型与预设图像分割模型进行道路识别，能够更完整地读取遥感图像的信息，提高了识别准确率。
实施例三
图4为本发明实施例三提供的道路识别装置的结构图。如图4所示，所述道路识别装置10可以包括：获取单元401、第一计算单元402、第二计算单元403、第一识别单元404、输出单元405。
获取单元401，用于获取待识别的遥感图像。
遥感图像是通过探测地物电磁辐射强度获得的反映地表地物的图像，包含从可见光到近红外的几百个窄波段内获取的图像。
遥感图像包括卫星图像和航空图像(即航拍图像)。卫星图像是借助于人造地球卫星对地表地物进行拍摄或扫描所获得的地物图像。航空图像是借助于飞机、直升机等对地表地物进行拍摄或扫描所获得的地物图像。
可以从预设图像数据库(例如卫星图像数据库)中获取遥感图像。或者，可以接收用户输入的遥感图像。或者，可以控制相机、多光谱扫描仪等设备对地表地物进行拍摄或扫描得到遥感图像。
所述遥感图像可以是灰度图像，也可以是彩色图像，例如RGB图像、YUV图像或HSV图像。
在遥感图像分析领域，单波段的遥感图像是灰度图像，层次不够丰富，不利于观察和分析。因此，为了拉大地物之间的色彩差异，更有效地反映地表信息，通常情况下采用彩色的遥感图像，例如RGB图像。
第一计算单元402，用于计算所述遥感图像在YUV颜色空间的图像金字塔。
计算遥感图像在YUV颜色空间的图像金字塔即计算遥感图像对应的YUV图像的图像金字塔。
若所述遥感图像是YUV图像，则直接计算所述图像金字塔。
若所述遥感图像不是YUV图像，则将所述遥感图像转换为YUV图像，再根据所述YUV图像计算所述图像金字塔。
将遥感图像转换到YUV颜色空间，使亮度(Y)和色度(U,V)通道分离，是为了增强道路识别的稳健性。从YUV图像中亮度变化明显的地方可以检测边缘信息，同时，从色度通道可以推测出像素间的色度相似性。
举例来说，可以将遥感图像从RGB颜色空间转换到YUV颜色空间，得到YUV图像。由RGB图像转换为YUV图像的公式可以为：Y＝0.30R+0.59G+0.11B，U＝0.493(B－Y)，V＝0.877(R－Y)。
图像金字塔是图像多尺度表达的一种。一幅图像的图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。图像金字塔中的图像层级越高，则图像越小，分辨率越低。计算所述YUV图像的的图像金字塔，即得到多尺度的遥感图像。
计算遥感图像对应的YUV图像的图像金字塔是对所述YUV图像进行不同比例的缩放(可以放大也可以缩小)，得到不同大小(即不同分辨率)的缩放图像，所述YUV图像及其缩放图像组成所述图像金字塔。例如，对所述YUV图像缩放50％得到第一缩放图像，对所述YUV图像缩放25％得到第二缩放图像，对所述YUV图像缩放12.5％得到第三缩放图像，对所述YUV图像缩放6.25％得到第四缩放图像。所述YUV图像和第一缩放图像、第二缩放图像、第三缩放图像、第四缩放图像组成所述图像金字塔。
在一具体实例中，所述YUV图像的大小(即所述遥感图像的大小)为1024*1024，对所述1024*1024的YUV图像缩放50％得到512*512的第一缩放图像，对所述1024*1024的YUV图像缩放25％得到256*256的第二缩放图像，对所述1024*1024的YUV图像缩放12.5％得到128*128的第三缩放图像，对所述1024*1024的YUV图像缩放6.25％得到64*64的第四缩放图像，所述1024*1024的YUV图像、所述512*512的第一缩放图像、所述256*256的第二缩放图像、所述128*128的第三缩放图像、所述64*64的第四缩放图像组成所述图像金字塔。
在本实施例中，可以以遥感图像作为图像金字塔的最底层(即第一层)，图像金字塔的层数可以根据遥感图像的分辨率确定，遥感图像的分辨率越高，则层数越多。例如，分辨率为128*128的遥感图像对应的图像金字塔的层数为2，遥感图像的分辨率每增大一倍，则图像金字塔的层数增加1。例如，遥感图像的分辨率为512*512，则对应的图像金字塔的层数为3。
第二计算单元403，用于对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征。
所述梯度特征可以包括梯度和梯度幅值。
所述梯度可以包括在x方向(即水平方向)和在y方向(即垂直方向)的梯度。梯度有多种计算方法，例如利用Sobel、Prewitt或Roberts算子计算各个像素点的梯度。根据各个像素点的梯度即可计算各个像素点的梯度幅值。计算像素点的梯度和梯度幅值为本领域的公知技术，此处不再赘述。
在本实施例中，对于图像金字塔中的每层图像，计算每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值，以每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值作为所述图像的梯度特征。因此，得到的梯度特征为九个通道的张量。
计算图像的梯度特征保留了图像的边缘信息和相邻像素之间的相似性，并且去除了图像的表面特征，例如和道路识别无关的像素亮度和颜色，从而提高道路识别的稳健性，解决了遥感图像数据有噪音的问题。
第一识别单元404，用于将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图。
改进U-Net模型包括多层网络，将图像金字塔的每层图像的梯度特征输入到对应的一层网络。例如，参阅图2所示，所述图像金字塔包括1024*1024的YUV图像(图中示为1024*1024YUV)、512*512的第一缩放图像(图中示为512*512YUV)、256*256的第二缩放图像(图中示为256*256YUV)、128*128的第三缩放图像(图中示为128*128YUV)、64*64的第四缩放图像(图中示为64*64YUV)，将1024*1024的YUV图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第五层(即最高层)网络，将512*512的第一缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第四层网络，将256*256的第二缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第三层网络，将128*128的第三缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第二层网络，将64*64的第四缩放图像每个颜色通道上各个像素点的梯度特征输入改进U-Net模型的第一层(即最低层)网络。
所述第一概率分布图表示所述遥感图像中的各个像素点为道路的概率(即道路概率)。
与U-Net模型相比，改进U-Net模型在每层网络添加了一个1x1的卷积作为预测模块，来检测不同分辨率的图像(即图像金字塔的各层图像)中的道路。
在对待识别的遥感图像进行识别之前，需要对改进U-Net模型进行训练。在对改进U-Net模型进行训练时，将训练样本的图像金字塔的每层图像的梯度特征输入到对应的一层网络，得到每层网络的输出(即每层图像对应的概率分布图)，根据训练样本的图像金字塔的每层图像的真实识别结果和每层网络的输出计算每层网络的损失。可以根据每层图像对应的概率分布图获得每层图像对应的蒙版(参阅图2)，根据训练样本的图像金字塔的每层图像的真实识别结果和每层图像对应的蒙版计算每层网络的损失。所述蒙版直接表达图像中的道路部分和非道路部分。
在训练改进U-Net模型时，可以使用交叉熵(cross entropy)作为损失函数，将改进U-Net模型的每层网络的损失加权相加。分辨率越低的图像所在层的权重越低，分辨率越高的图像所在层的权重越高。所述预测模块可以缩小在改进U-Net模型中的搜寻范围并且加速改进U-Net模型的学习进程。
在本实施例中，图像金字塔中分辨率最高的图像是遥感图像或遥感图像对应的YUV图像，采取分辨率最高的图像得出的预测结果作为最终预测结果。
改进U-Net模型不需要借助预训练的模型，没有过多的参数，可以有效地利用遥感图像的结构。
在一个实施例中，可以通过翻转(可以左右翻转、上下翻转)和/或旋转(可以顺时针旋转90度、180度、270度)图像来增加有限的训练样本数据集。例如，可以左右翻转(即水平翻转)图像和以旋转90度来枚举路的不同方向，从而增加有限的训练样本数据集。
U-Net模型适用于小数据集。改进U-Net模型基于U-Net模型，也同样适用于小数据集，从而解决了遥感图像数据集有限的问题。
输出单元405，用于根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
可以查找第一概率分布图中道路概率大于或等于预设概率(例如80％)的像素点，将道路概率大于或等于预设概率的像素点识别为道路，将道路概率小于预设概率的像素点识别为非道路。
实施例三的道路识别装置10获取待识别的遥感图像；计算所述遥感图像在YUV颜色空间的图像金字塔；对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块；根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。由于道路在多种尺度的图像里都是可以被识别的，实施例二的道路识别装置10构建了统一的模型对不同尺度的图像进行道路识别，将原始遥感图像转换成不同尺度图像的梯度特征，将这些梯度特征按照不同的尺度输入进改进U-Net模型的不同层级。实施例三解决了遥感图像数据集有限、数据有噪音的问题，对于有噪音且有限的数据集的识别准确率高，且对于有噪音的数据具有很强的适应性。
在另一实施例中，所述道路识别装置10还可以包括：第一后处理单元，用于检测所述所有道路中是否存在碎片化的道路，若所述所有道路中存在碎片化的道路，则在所述所有道路中将所述碎片化的道路变为连贯的道路。在遥感图像中，道路是连续且跨过大面积图像的曲线，而不会是碎片化的线段。基于这个特性，可以利用边界线生成模型，例如GraphCut，生成道路的边界线，在所述所有道路中恢复没有被识别出来的短的道路片段，使碎片化的道路变得连贯。
在另一实施例中，所述道路识别装置10还可以包括：第二后处理单元，用于检测所述所有道路中是否存在与其他道路断开的目标道路，若所述所有道路中存在与其他道路断开的所述目标道路，去除所述目标道路。所述其他道路为所述所有道路中去除所述目标道路以外的道路在遥感图像中，道路应该是连通的，如果检测到一段道路与其他道路均不连通，则可以认定该段道路为错误识别结果，去除该段道路。可以检测一段道路与其他道路的像素是否连通，若一段道路的像素与其他道路的像素均不连通，则该段道路与其他道路均不连通，去除该段道路。
在另一实施例中，所述道路识别装置10还可以包括：第三后处理单元，用于对所述所有道路进行边缘平滑处理。对于所述所有道路中存在边缘不光滑的道路，可以利用高斯滤波器进行处理，使道路的边缘变得平滑。或者，可以通过边界清理对所述所有道路进行边缘平滑处理，边界清理使用扩展和收缩的方法在相对较大的范围上清理边界。或者，可以通过众数滤波对所述所有道路进行边缘平滑处理，众数滤波是根据像素邻域内的众数值来替换像素。
上述将碎片化的道路变为连贯的道路、去除与其他道路断开的目标道路、对所述所有道路进行边缘平滑处理都属于道路识别的后处理。改进U-Net模型可以识别出大部分的道路。但是，还是会存在一些识别错误的道路或者部分没有识别出来的道路。后处理的目标就是为了纠正这些错误，从而得到尽可能准确的道路识别结果。
实施例四
图5为本发明实施例四提供的道路识别装置的结构图。如图5所示，所述道路识别装置50可以包括：获取单元501、第一计算单元502、第二计算单元503、第一识别单元504、第二识别单元505、合并单元506、输出单元507。
获取单元501，用于获取待识别的遥感图像。
本实施例中获取单元501与实施例三中获取单元401一致，具体请参阅实施例三中获取单元401的相关描述，此处不再赘述。
第一计算单元502，用于计算所述遥感图像在YUV颜色空间的图像金字塔。
本实施例中第一计算单元502实施例三中第一计算单元402一致，具体请参阅实施例三中第一计算单元402的相关描述，此处不再赘述。
第二计算单元503，用于对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征。
本实施例中第二计算单元503实施例三中第二计算单元403一致，具体请参阅实施例三中第二计算单元403的相关描述，此处不再赘述。
第一识别单元504，用于将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块。
本实施例中第一识别单元504实施例三中第一识别单元404一致，具体请参阅实施例三中第一识别单元404的相关描述，此处不再赘述。
第二识别单元505，用于利用预设图像分割模型对所述遥感图像进行识别，得到第二概率分布图。
所述预设图像分割模型不同于改进U-Net模型。所述预设图像分割模型可以是DeepLab模型、Mask R-CNN模型等。
在一具体实施例中，所述预设图像分割模型是DeepLab模型。选取DeepLab模型与改进U-Net模型组合进行道路识别，一方面是因为DeepLab模型在图像分割方面有着优秀的表现；另一方面是因为DeepLab模型是直接用遥感图像作为模型的输入，而改进U-Net模型是用图像金字塔的梯度特征作为模型的输入，这两个模型组合在一起可以取长补短，更完整地读取遥感图像的信息。
所述预设图像分割模型可以是任何有预训练的模型。
所述预设图像分割模型可以是语义分割模型。改进U-Net模型和语义分割模型捕捉到遥感图像的特征是不同的，改进U-Net模型比较擅长捕捉图像中的道路轮廓，而语义分割模型擅长捕捉图像的本地语义内容。结合改进U-Net模型和语义分割模型可以得到更准确的识别结果。
合并单元506，用于根据所述第一概率分布图与所述第二概率分布图对每个像素的道路概率进行合并，得到目标概率分布图。
对于每一个像素，合并后的道路概率(即目标概率分布图中的道路概率)是两个概率分布图对应像素的道路概率的加权平均。每个像素都有各自的权重，所有像素的权重表现为一个权重分布图。所述权重分布图可以用监督学习来训练。可以标记出改进U-Net模型比预设图像分割模型表现出众的区域或者表现差的区域，然后将遥感图像和权重标签用来训练一个卷积神经网络，以此来预测出所述权重分布图。
权重分布图的一个简化版本就是权重分布图上的每一个权重都是相同的值，也就是说同一张图像里的每个像素的权重都是一样的。可以通过交叉验证来找到最佳的权重。
输出单元507，用于根据所述目标概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
可以查找目标概率分布图中道路概率大于或等于预设概率(例如80％)的像素点，将道路概率大于或等于预设概率的像素点识别为道路，将道路概率小于预设概率的像素点识别为非道路。
实施例四的道路识别装置50获取待识别的遥感图像；计算所述遥感图像在YUV颜色空间的图像金字塔；对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包含一个1x1的卷积作为预测模块；利用预设图像分割模型对所述遥感图像进行识别，得到第二概率分布图；根据所述第一概率分布图与所述第二概率分布图对每个像素的道路概率进行合并，得到目标概率分布图；根据所述目标概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。由于道路在多种尺度的图像里都是可以被识别的，实施例四构建了统一的模型对不同尺度的图像进行道路识别，将原始遥感图像转换成不同尺度图像的梯度特征，将这些梯度特征按照不同的尺度输入进改进U-Net模型的不同层级。实施例四解决了遥感图像数据集有限、数据有噪音的问题，对于有噪音且有限的数据集，本方法的准确率高，且对于有噪音的数据具有很强的适应性。并且，实施例四结合改进U-Net模型与预设图像分割模型进行道路识别，能够更完整地读取遥感图像的信息，提高了识别准确率。
实施例五
本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述道路识别方法实施例中的步骤，例如图1所示的步骤101-105：
步骤101，获取待识别的遥感图像；
步骤102，计算所述遥感图像在YUV颜色空间的图像金字塔；
步骤103，对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；
步骤104，将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块；
步骤105，根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
或者，该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能，例如图4中的单元401-405：
获取单元401，用于获取单元，用于获取待识别的遥感图像；
第一计算单元402，用于计算所述遥感图像在YUV颜色空间的图像金字塔；
第二计算单元403，用于对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；
第一识别单元404，用于将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块；
输出单元405，用于根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
实施例六
图6为本发明实施例六提供的计算机装置的示意图。所述计算机装置1包括存储器20、处理器30以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40，例如道路识别程序。所述处理器30执行所述计算机程序40时实现上述道路识别方法实施例中的步骤，例如图1所示的步骤101-105：
步骤101，获取待识别的遥感图像；
步骤102，计算所述遥感图像在YUV颜色空间的图像金字塔；
步骤103，对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；
步骤104，将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块；
步骤105，根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
或者，所述处理器30执行所述计算机程序40时实现上述装置实施例中各模块/单元的功能，例如图4中的单元401-405：
获取单元401，用于获取单元，用于获取待识别的遥感图像；
第一计算单元402，用于计算所述遥感图像在YUV颜色空间的图像金字塔；
第二计算单元403，用于对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征；
第一识别单元404，用于将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块；
输出单元405，用于根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
示例性的，所述计算机程序40可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器30执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如，所述计算机程序40可以被分割成图4中的获取单元401、第一计算单元402、第二计算单元403、第一识别单元404、输出单元405，各单元具体功能参见实施例二。
所述计算机装置1可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图4仅仅是计算机装置1的示例，并不构成对计算机装置1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器30也可以是任何常规的处理器等，所述处理器30是所述计算机装置1的控制中心，利用各种接口和线路连接整个计算机装置1的各个部分。
所述存储器20可用于存储所述计算机程序40和/或模块/单元，所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元，以及调用存储在存储器20内的数据，实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应该理解到，所揭露的计算机装置和方法，可以通过其它的方式实现。例如，以上所描述的计算机装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (9)
1.一种道路识别方法，其特征在于，所述方法包括：
获取待识别的遥感图像；
计算所述遥感图像在YUV颜色空间的图像金字塔，包括：若所述遥感图像是YUV图像，则计算所述图像金字塔；若所述遥感图像不是YUV图像，则根据预设的公式将所述遥感图像转换为YUV图像，根据所述YUV图像计算所述图像金字塔；
对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征，包括：对于图像金字塔中的每层图像，计算每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值，以所述每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值作为所述图像的梯度特征；
将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块，其中，所述改进U-Net模型包括多层网络；
根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述所有道路中是否存在碎片化的道路，若所述所有道路中存在碎片化的道路，则在所述所有道路中将所述碎片化的道路变为连贯的道路。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述所有道路中是否存在与其他道路断开的目标道路，若所述所有道路中存在与其他道路断开的所述目标道路，从所述所有道路中去除所述目标道路；其中，所述其他道路为所述所有道路中去除所述目标道路以外的道路。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述所有道路进行边缘平滑处理。
5.如权利要求1所述的方法，其特征在于，在所述将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图之后，所述方法还包括：
利用预设图像分割模型对所述遥感图像进行识别，得到第二概率分布图；
根据所述第一概率分布图与所述第二概率分布图对每个像素的道路概率进行合并，得到目标概率分布图；
根据所述目标概率分布图中各个像素点的道路概率得到所述所有道路。
6.如权利要求1所述的方法，其特征在于，所述改进U-Net模型训练时使用交叉熵作为损失函数，将所述改进U-Net模型的每层网络的损失加权相加，分辨率越低的图像所在层的权重越低，分辨率越高的图像所在层的权重越高。
7.一种道路识别装置，其特征在于，所述装置包括：
获取单元，用于获取待识别的遥感图像；
第一计算单元，用于计算所述遥感图像在YUV颜色空间的图像金字塔，包括：若所述遥感图像是YUV图像，则计算所述图像金字塔；若所述遥感图像不是YUV图像，则根据预设的公式将所述遥感图像转换为YUV图像，根据所述YUV图像计算所述图像金字塔；
第二计算单元，用于对于所述图像金字塔的每层图像，计算每个颜色通道上各个像素点的梯度特征，得到所述图像金字塔的每层图像的梯度特征，包括：对于图像金字塔中的每层图像，计算每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值，以所述每个颜色通道上各个像素点在x方向的梯度、在y方向的梯度以及梯度幅值作为所述图像的梯度特征；
第一识别单元，用于将所述图像金字塔的每层图像的梯度特征作为改进U-Net模型每层网络的输入，得到所述遥感图像的第一概率分布图，其中所述改进U-Net模型的每层网络包括一个1x1的卷积作为预测模块，其中，所述改进U-Net模型包括多层网络；
输出单元，用于根据所述第一概率分布图中各个像素点的道路概率得到所述遥感图像中的所有道路。
8.一种计算机装置，其特征在于：所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1-6中任一项所述道路识别方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述道路识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811393560.2A CN109583345B (zh) | 2018-11-21 | 2018-11-21 | 道路识别方法、装置、计算机装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811393560.2A CN109583345B (zh) | 2018-11-21 | 2018-11-21 | 道路识别方法、装置、计算机装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109583345A CN109583345A (zh) | 2019-04-05 |
| CN109583345B true CN109583345B (zh) | 2023-09-26 |
Family
ID=65923665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811393560.2A Active CN109583345B (zh) | 2018-11-21 | 2018-11-21 | 道路识别方法、装置、计算机装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109583345B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414387B (zh) * | 2019-07-12 | 2021-10-15 | 武汉理工大学 | 一种基于道路分割的车道线多任务学习检测方法 |
| CN111076734B (zh) * | 2019-12-12 | 2021-07-23 | 湖南大学 | 一种封闭区域非结构化道路高精地图构建方法 |
| CN111161250B (zh) * | 2019-12-31 | 2023-05-26 | 南遥科技(广东)有限公司 | 一种多尺度遥感图像密集房屋检测方法及装置 |
| CN111783651B (zh) * | 2020-06-30 | 2024-01-12 | 北京百度网讯科技有限公司 | 路面元素识别方法、装置、电子设备和存储介质 |
| CN112633185B (zh) * | 2020-09-04 | 2023-04-18 | 支付宝(杭州)信息技术有限公司 | 图像处理的方法及装置 |
| CN112164066B (zh) * | 2020-10-10 | 2022-12-02 | 清华大学 | 一种遥感图像分层分割方法、装置、终端及存储介质 |
| KR20220080249A (ko) | 2020-12-07 | 2022-06-14 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| CN112883948B (zh) * | 2021-05-06 | 2021-09-03 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种语义分割与边缘检测模型建立及护栏异常监测方法 |
| CN114332650B (zh) * | 2022-03-09 | 2022-05-31 | 苏州大学 | 一种遥感图像道路识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092871A (zh) * | 2017-04-06 | 2017-08-25 | 重庆市地理信息中心 | 基于多尺度多特征融合的遥感影像建筑物检测方法 |
| CN107274421A (zh) * | 2017-05-02 | 2017-10-20 | 北京建筑大学 | 一种遥感影像尺度计算方法、可读存储介质和计算机设备 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
| CN108010034A (zh) * | 2016-11-02 | 2018-05-08 | 广州图普网络科技有限公司 | 商品图像分割方法及装置 |
-
2018
- 2018-11-21 CN CN201811393560.2A patent/CN109583345B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010034A (zh) * | 2016-11-02 | 2018-05-08 | 广州图普网络科技有限公司 | 商品图像分割方法及装置 |
| CN107092871A (zh) * | 2017-04-06 | 2017-08-25 | 重庆市地理信息中心 | 基于多尺度多特征融合的遥感影像建筑物检测方法 |
| CN107274421A (zh) * | 2017-05-02 | 2017-10-20 | 北京建筑大学 | 一种遥感影像尺度计算方法、可读存储介质和计算机设备 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
Non-Patent Citations (2)
| Title |
|---|
| Road Extraction by Deep Residual U-Net;Zhengxin Zhang et al.;《arXiv》;第1-5页 * |
| 高分辨率遥感影像城市道路提取方法研究;刘俊 等;海洋测绘(第06期);第79-82页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109583345A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
| CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
| CN110705583B (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Chen et al. | Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| WO2016054802A1 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
| CN110032964B (zh) | 图像处理方法、识别视角的方法、装置、设备和存储介质 | |
| Wójcikowski et al. | FPGA-based real-time implementation of detection algorithm for automatic traffic surveillance sensor network | |
| CN111886600A (zh) | 一种用于图像的实例级别分割的设备和方法 | |
| CN111860496A (zh) | 车牌识别方法、装置、设备及计算机可读存储介质 | |
| CN111507337A (zh) | 基于混合神经网络的车牌识别方法 | |
| CN113052170A (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN116189162A (zh) | 一种船牌检测与识别方法、装置、电子设备和储存介质 | |
| Wang | Robust segmentation of the colour image by fusing the SDD clustering results from different colour spaces | |
| CN114155375A (zh) | 机场道面病害检测的方法、装置、电子设备及存储介质 | |
| CN113963333A (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| CN113223614A (zh) | 一种染色体核型分析方法、系统、终端设备和存储介质 | |
| Moseva et al. | Development of a System for Fixing Road Markings in Real Time | |
| CN112686247A (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |