CN113343858A - 路网地理位置识别方法、装置、电子设备及存储介质 - Google Patents
路网地理位置识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113343858A CN113343858A CN202110649448.6A CN202110649448A CN113343858A CN 113343858 A CN113343858 A CN 113343858A CN 202110649448 A CN202110649448 A CN 202110649448A CN 113343858 A CN113343858 A CN 113343858A
- Authority
- CN
- China
- Prior art keywords
- road
- image
- pixel point
- geographic position
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims description 106
- 238000005070 sampling Methods 0.000 claims description 48
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种路网地理位置识别方法、装置、电子设备及存储介质。该方法，包括：对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域；对所述道路区域进行骨骼化处理，以得到所述道路区域的道路骨骼线；将所述道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到所述道路图像对应的路网地理位置坐标集合。上述的路网地理位置识别方法、装置、电子设备及存储介质，能够得到准确的路网地理位置坐标集合，提高了道路识别的准确性。
Description
技术领域
本申请涉及影像技术领域，具体涉及一种路网地理位置识别方法、装置、电子设备及存储介质。
背景技术
随着科学技术的快速发展，车辆行驶时的路径规划方式已趋于成熟。在传统的方式中，车辆的路径规划通常是利用地图应用获取需要行驶的区域的地图，并利用该地图进行道路识别，得到相应的道路位置信息，从而生成相应的行驶路径。目前的道路识别的方式存在道路识别存在不准确的问题。
发明内容
本申请实施例公开了一种路网地理位置识别方法、装置、电子设备及存储介质，能够得到准确的路网地理位置坐标集合，提高了道路识别的准确性。
本申请实施例公开了一种路网地理位置识别方法，包括：
对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域；
对所述道路区域进行骨骼化处理，以得到所述道路区域的道路骨骼线；
将所述道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到所述道路图像对应的路网地理位置坐标集合。
本申请实施例公开了一种路网地理位置识别装置，包括：
分割模块，用于对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域；
骨骼化模块，用于对所述道路区域进行骨骼化处理，以得到所述道路区域的道路骨骼线；
坐标转换模块，用于将所述道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到所述道路图像对应的路网地理位置坐标集合。
本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例公开的路网地理位置识别方法、装置、电子设备及存储介质，对待识别的道路图像进行语义分割，确定道路图像中的道路区域，并对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线，再将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合，通过对分割得到的道路区域进行骨骼化处理，能够得到更为准确的道路骨骼线，从而使得转换得到的路网地理位置坐标集合更为准确，提高了道路识别的准确性，且无需对所有的道路区域的像素点进行坐标转换，降低了计算量，提高道路识别的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中路网地理位置识别方法的应用场景图；
图2为一个实施例中路网地理位置识别方法的流程图；
图3A为一个实施例中对待识别的道路图像进行语义分割的示意图；
图3B为一个实施例中对道路区域进行骨骼化处理的示意图；
图4为另一个实施例中路网地理位置识别方法的流程图；
图5A为一个实施例中道路分割模型的模型架构图；
图5B为一个实施例中HDB单元(HDB模块)的网络架构图；
图6为一个实施例中训练道路分割模型的流程图；
图7为一个实施例中将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标的流程图；
图8为一个实施例中无人机在不同地貌下相对道路的高度取值的示意图；
图9A为一个实施例中在地图图像中绘制完整骨骼线的示意图；
图9B为一个实施例中对完整骨骼线进行骨骼化处理的示意图；
图10为一个实施例中路网地理位置识别装置的框图；
图11为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一特征图称为第二特征图，且类似地，可将第二特征图称为第一特征图。第一特征图和第二特征图两者都是特征图，但其不是同一个特征图。另外，需要说明的是，本申请实施例中所使用的术语“多个”指的是两个或两个以上。
图1为一个实施例中路网地理位置识别方法的应用场景图。如图1所示，可利用无人机10获取车辆20待行驶区域的道路图像，并基于无人机10获取的道路图像对车辆20的行驶路径进行规划。无人机10上可设置有一个或多个图像采集设备(如摄像头等)，无人机10可飞行在真实道路区域的上方，通过图像采集设备采集道路图像。
作为一种实施方式，无人机10在通过图像采集设备采集待识别的道路图像后，可对该待识别的道路图像进行语义分割，确定道路图像中的道路区域，并对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线，再将该道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合。无人机10可根据得到的路网地理位置坐标集合生成相应的导航路径发送给车辆20上的车载终端，实现对车辆20的行驶路径的规划。
作为另一种实施方式，无人机10在通过图像采集设备采集待识别的道路图像后，也可直接将该待识别的道路图像发送给车辆20的车载终端，车载终端在接收到该待识别的道路图像后，对该待识别的道路图像进行语义分割，确定道路图像中的道路区域，并对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线，再将该道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合。从而车载终端可基于该路网地理位置坐标集合生成导航路径。
在其它的实施例中，也可在无人机10与车辆20之间架设服务器，无人机10可将获取的待识别的道路图像发送至服务器，由服务器对该待识别的道路图像进行语义分割、骨骼化处理及坐标转换等，得到道路图像对应的路网地理位置坐标集合，再基于该路网地理位置坐标集合生成相应的导航路径，并将该导航路径下发给车辆20的车载终端，实现对车辆20的行驶路径的规划。
需要说明的是，无人机10通过图像采集设备采集道路图像可以是实时进行的，也即，在车辆行驶或准备行驶的过程中，可先利用无人机10在前方待行驶的领域进行图像采集，从而得到前方道路图像的路网地理位置坐标集合，可保证道路图像的实时性及准确性，提高了路径规划的准确性。
如图2所示，在一个实施例中，提供一种路网地理位置识别方法，该方法可应用于电子设备，该电子设备可以是上述的无人机，也可以是上述的车载终端，还可以是在无人机与车载终端之间用于进行图像处理的服务器或终端设备等，在此不作限定。该路网地理位置识别方法，可包括以下步骤：
步骤210，对待识别的道路图像进行语义分割，确定道路图像中的道路区域。
在本申请实施例中，待识别的道路图像可以是通过无人机上的摄像头采集得到的，即待识别的道路图像可以是无人机在飞行过程中所获取的俯视图像。电子设备可获取该待识别的道路图像，并对该待识别的道路图像进行语义分割，识别出道路图像中包含的道路区域，该道路区域可指的是可通行的路面区域。
电子设备可采用多种不同的分割算法对道路图像进行语义分割，该分割算法可以是非深度学习的分割算法，例如可采用像素级别“阈值法”对道路图像进行语义分割，也可采用基于像素聚类的分割方法等，利用道路图像中各像素点自身的视觉信息对道路图像进行分割。
该分割算法也可以是基于深度学习的分割算法，可预先利用道路样本图像训练得到道路分割模型，该道路样本图像中的各个像素点可携带有分类标签，该分类标签可用于标注像素点属于道路区域还是非道路区域。道路分割模型可包括但不限于CNN(Convolutional Neural Networks，卷积神经网络)、FCN(Fully ConvolutionalNetworks，全卷积神经网络)、CRF(Conditional random field，条件随机场)模型等。
步骤220，对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线。
电子设备在识别出道路图像中包含的道路区域后，可对道路区域进行骨骼化处理，该骨骼化处理可指的是对道路区域进行细化处理，简化道路区域中的像素点，以抽取出道路区域的“骨架”。
可选地，可预先设置简化的条件，将道路区域中满足预设条件的像素点剔除，从而简化道路区域中的像素点，得到道路区域的道路骨骼线。也可利用神经网络对道路区域进行骨骼化处理，可利用预先训练得到的骨骼模型对道路区域进行骨骼化处理，该骨骼模型可以是利用标注有道路骨骼线的样本道路区域图像进行训练得到的。
示例性地，现结合图3A及图3B对道路图像的分割及骨骼化处理进行说明，图3A为一个实施例中对待识别的道路图像进行语义分割的示意图，图3B为一个实施例中对道路区域进行骨骼化处理的示意图。如图3A所示，电子设备可对待识别的道路图像310进行语义分割，确定道路图像310中的道路区域，以得到分割后的图像320，图像320中的黑色区域322即为道路区域。如图3B所示，在对待识别的道路图像310进行语义分割后，可对分割后的图像320中确定的道路区域进行骨骼化处理，得到骨骼化处理后的图像330，图像330中可包含道路区域的道路骨骼线332。
步骤230，将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合。
图像坐标可用于表示像素点在图像中的位置，像素点的图像坐标可以用像素点位置坐标进行表示，即图像坐标为各个像素点在图像中的第几行、第几列像素，图像坐标也可以用像素点在图像横轴及纵轴上的物理尺寸进行表示，该横轴可为与图像长边平行的轴，纵轴可为与图像短边平行的轴。
在本申请实施例中，地理位置坐标可用经纬度坐标进行表示，电子设备可根据道路图像与地理坐标系之间的坐标转换关系，对道路骨骼线中各个像素点的图像坐标进行转换，确定道路骨骼线中各个像素点在地球上的真实地理位置，并输出道路图像对应的路网地理位置坐标集合，该路网地理位置坐标集合中可包括道路图像中道路骨骼线上的各个像素点对应的地理位置坐标。
在一些实施例中，电子设备可根据道路图像对应的路网地理位置坐标集合生成导航路径，由于路网地理位置坐标集合包含的是道路骨骼线的地理位置坐标，因此生成的导航路径可更加准确。进一步地，无人机可不断进行飞行，并实时采集飞行过程中的道路图像，电子设备可根据无人机在飞行过程获取的多张道路图像，得到多张道路图像分别对应的路网地理位置坐标集合，由于多张道路图像中可包含的不同的道路区域，因此可基于多张道路图像分别对应的路网地理位置坐标集合生成较为完整的导航路径。
在本申请实施例中，对待识别的道路图像进行语义分割，确定道路图像中的道路区域，并对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线，再将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合，通过对分割得到的道路区域进行骨骼化处理，能够得到更为准确的道路骨骼线，从而使得转换得到的路网地理位置坐标集合更为准确，提高了道路识别的准确性，且无需对所有的道路区域的像素点进行坐标转换，降低了计算量，提高道路识别的效率。
如图4所示，在另一个实施例中，提供一种路网地理位置识别方法，该方法可包括以下步骤：
步骤402，通过预先训练得到的道路分割模型对待识别的道路图像进行语义分割，确定道路图像中的道路区域。
在一些实施例中，道路分割模型可以是FC-DenseNet与HarDNet，其中，FC-DenseNet是一种U型结构的全卷积网络模型，可包括一条下采样路径及一条上采样路径，其具备较高的语义分割精度，HarDNet网络为一种低内存消耗网络，在维持较高的特征表征的前提下，可有效降低计算量。通过将FC-DenseNet与HarDNet结合构建道路分割模型，可使得道路分割模型具备较高的精度且降低了计算量。
道路分割模型可包括多个下采样处理模块、多个上采样处理模块及分类输出模块。其中，每个下采样处理模块可包括多个第一卷积层及下采样层，每个下采样处理模块中的多个第一卷积层可组成HDB单元(即上述的HarDNet网络单元)。每个上采样处理模块可包括多个第二卷积层及上采样层，每个上采样处理模块中的多个第二卷积层也可组成HDB单元，每个下采样处理模块及上采样处理模块中包含的HDB单元的卷积层数量可相同也可不同。进一步地，道路分割模型中的下采样处理模块与上采样处理模块的数量可相同。
在一些实施例中，下采样处理模块可用于通过多个第一卷积层提取道路图像的特征，并通过下采样层对第一卷积层提取的特征进行下采样处理，得到第一特征图，上采样模块可用于通过上采样层对第一特征图进行上采样处理，并通过多个第二卷积层对上采样处理后的第一特征图进行特征提取，得到第二特征图。
道路分割模型还可包括卷积模块，电子设备将待识别的道路图像输入道路分割模型后，可先通过该卷积模块提取道路图像的初始特征图，并将该初始特征图输入到多个下采样处理模块中。多个下采样处理模块可按照图像的输出尺寸从大到小依次进行排列，第1个下采样处理模块可通过HDB单元提取初始特征图的特征，并通过下采样层对提取的特征进行下采样，得到输入至下一下采样模块的特征图。第N+1个下采样处理模块可通过HDB单元提取上一下采样模块输出的特征图的特征，并通过下采样层对提取的特征进行下采样，得到第N+1个下采样处理模块的特征图，若第N+1个下采样处理模块不是最后一个下采样处理模块，则可将第N+1个下采样处理模块的特征图输入至下一下采样模块进行处理。若第N+1个下采样处理模块为最后一个下采样处理模块，则可将第N+1个下采样处理模块的特征图作为第一特征图输出。
多个上采样模块可按照图像的输出尺寸从小到大依次进行排列，第1个上采样模块可通过上采样层对第一特征图进行上采样处理，并通过HDB单元提取上采样处理后的第一特征图的特征，得到输入至下一上采样模块的特征图。第N+1个上采样处理模块可通过上采样层对上一上采样模块输出的特征图进行上采样处理，并通过HDB单元提取上采样处理后的第一特征图的特征，得到第N+1个上采样处理模块的特征图，若第N+1个上采样处理模块不是最后一个上采样处理模块，则可将第N+1个下采样处理模块的特征图输入至下一上采样模块进行处理。若第N+1个下采样处理模块为最后一个下采样处理模块，则可将第N+1个下采样处理模块的特征图作为第二特征图输入至分类输出模块。
进一步地，上采样处理模块可将自身得到的特征图与具有相同输出尺寸的下采样处理模块的特征图进行级联拼接，并将级联拼接后的特征图输入至下一上采样处理模块。上述的N可为小于M的正整数，该M为上采样处理模块的数量，该M也是下采样处理模块的数量。
分类输出模块可用于根据第二特征图确定道路图像中属于道路区域的像素点。分类输出模块可根据第二特征图确定道路图像中的各个像素点被分类到道路区域及非道路区域的概率分布，并根据各个像素点在道路区域及非道路区域的概率分布确定各个像素点对应的区域类别。进一步地，可将像素点概率最大的区域类别确定为像素点对应的区域类别，例如，像素点属于道路区域的概率大于非道路区域的概率，则可确定该像素点对应的区域类别为道路区域。
示例性地，请参考图5A，图5A为一个实施例中道路分割模型的模型架构图。道路分割模型可包括卷积模块510、4个下采样处理模块520、HDB模块530、4个上采样处理模块540。将待识别的道路图像输入道路分割模型后，卷积模块510可提取道路图像的特征，得到初始特征图，并通过4个下采样处理模块520依次进行下采样处理，得到第一特征图。HDB模块530可再对第一特征图进行卷积处理，并将卷积处理后的第一特征图输入上采样处理模块540，并通过4个上采样处理模块540依次进行上采样处理，得到第二特征图，再将第二特征图输入分类输出模块550。其中，每一上采样处理模块540与相同输出尺寸的下采样处理模块520级联。
图5B为一个实施例中HDB单元(HDB模块)的网络架构图。如图5B所示，HDB单元可包括多个BN-ReLU-Conv(BN,Batch Normalization)，k为第l层的初始增长率，该层的通道数为k×mn，n为满足l能被2n整除的最大正整数，m为低维压缩因子，例如1.6等值。在l能够被2n整除时，第l层可与l-2n层连接，n为非负整数且l-2n≥0。每一层都可由BatchNormalization-Relu-3×3卷积构成。
示例性地，道路分割模型的具体网络结构可如表1所示：
表1
其中，a为输出通道数，size为输出的特征图大小，TD为下采样层，TU为上采样层。示例性地，TD的网络结构可如表2所示，TU的网络结构可如表3所示：
表2
| Batch Normalization |
| ReLU |
| 1×1卷积 |
| Dropoutp＝0.2 |
| 2×2 Avg Pooling |
表3
以表1中的数据对道路分割模型的网络结构进行说明，该道路分割模型可包括66层，从输入到输出依次为3×3的卷积层、2个4层的HarDNet层+TD层、2个8层的HarDNet层+TD层(即4个下采样处理模块)、2个TU层(即上采样层)+8层的HarDNet层、2个TU层+4层的HarDNet层(即4个上采样处理模块)、1×1的卷积层，最后连接Softmax层进行像素分类。需要说明的是，上述的表1、表2、表3仅用于说明本申请实施例中道路分割模型的一种具体网络结构，并不用于对道路分割模型的具体网络结构进行限定。
上述分类输出模块可包括Softmax层，该Softmax层的分类函数可定义为公式(1)：
其中，Q表示区域类别的总数，本申请实施例中Q可为2(即道路区域与非道路区域)，aq(xiq)表示第i张道路图像中每一个像素x在对应的第q个区域类别的得分，Piq(x)为第i张道路图像中第q个区域类别对像素x的分类结果，使得其最有可能的结果最大化，同时抑制其它区域类别的概率。通过Softmax层可计算得到道路图像中的各个像素点在道路区域与非道路区域的概率分布，以确定各个像素点对应的区域类别。
在一个实施例中，如图6所示，上述的道路分割模型的训练过程可包括步骤602～606。
步骤602，将道路样本图像输入待训练的道路分割模型，并通过待训练的道路分割模型对所述样本路道图像进行语义分割，得到样本道路图像中各个像素点在道路区域及非道路区域的预测概率分布。
可将道路样本图像输入待训练的道路分割模型，进行前向运算，再根据设计的基于交叉熵的softmax损失函数，进行反向传播运算，不断重复得到符合要求的道路分割模型。
电子设备可利用样本图像数据集对道路分割模型进行训练，样本图像数据集中可包括大量的道路样本图像，该道路样本图像中的各个像素点可携带有类别标签，该类别标签用于标注像素点所属的真实区域类别。样本图像数据集可分别从不同的地区采集得到，例如可分别从中国的北方地区、中部地区、南方地区选择道路不同特点的典型城市(如包头、重庆、清远等)采集道路图像。可选地，样本图像数据集可包含有多种不同路面类型的道路样本图像，例如土地、砂石、水泥、柏油等多种类型的路面。可选地，样本图像数据集也可包含有在多个不同时间段、不同天气等采集的道路样本图像，例如早上、中午、晚上等多个时间段，晴天、雨天、阴天、雪天等多种不同天气。
进一步地，可对采集的样本图像数据集进行增强处理，以提高训练数据的多样性。可选地，该增强处理可包括但不限于对采集的道路样本图像进行旋转、平移、缩放、形变及灰度处理等进行数据增强，以得到更加丰富的样本图像数据集。可选地，在将道路样本图像输入到待训练的道路分割模型时，还可随机对道路样本图像使用缩放或填充等进行归一化处理，该填充可指的是在图像的左右或上方等位置进行0像素填充，以使得填充处理后的道路样本图像达到道路分割模型输入尺寸的要求，从而可保证道路分割模型在训练时同时存在通过缩放形变后的道路样本图像和通过填充维持原道路路面形状的道路样本图像，提升模型的判别能力和泛化能力。
在其它的实施例中，电子设备还可采集部分不包含道路区域的普通图像(例如建筑、树木、草坪等图片)，可从样本图像数据集中随机选取道路样本图像，并抠取道路样本图像中的道路区域，可对该抠取的道路区域进行拉、缩放等处理，再将处理后的道路区域与普通图像融合，得到新的道路样本图像，从而可提升道路样本图像的背景丰富性，提升模型的判别能力和泛化能力。
可将道路样本图像输入待训练的道路分割模型，并通过道路分割模型中下采样处理模块及上采样处理模块等网络对样本路道图像进行处理，提取道路样本图像中的特征，并通过Softmax层的分类函数(即上述的公式(1))计算得到道路样本图像中各个像素点在道路区域及非道路区域的预测概率分布。
具体地，对于上述的公式(1)，在道路分割模型的训练阶段，i可指的是输入的第i个道路样本图像。
步骤604，根据样本道路图像中各个像素点对应的预测概率分布以及对应的真实区域类别计算损失，并根据损失调整所述待训练的道路分割模型的参数。
在一些实施例中，可结合基于像素的交叉熵和Softmax损失函数进行卷积神经网络反向传播运算，对分割模型进行优化，直到满足精度要求。作为一种具体实施方式，可先根据样本道路图像中各个像素点对应的真实区域类别，确定道路样本图像中属于非道路区域中各像素点距离道路边界的最短距离，再根据该最短距离确定权重图，并基于样本道路图像中各个像素点对应的预测概率分布及所述权重图计算损失。
联合Softmax层的分类函数，定义道路分割模型的损失函数为公式(2)：
其中，I可指的是每个批次输入的道路样本图像的总数量，w为权重图，w(x)为像素点x在权重图中对应的权重值，该权重图可根据道路样本图像中属于非道路区域内各像素点距离道路边界的最短距离计算得到，该权重图可以有效地让道路分割模型区分道路区域的边界部分。
在一些实施例中，电子设备可确定道路样本图像中属于非道路区域的各个像素点与道路区域边界之间的最短距离，并根据该最短距离生成道路样本图像对应的权重图。可选地，权重图的计算方式可如公式(3)所示：
其中，wc指的是用于平衡某一区域类别的权重图，wc(x)指的是像素点x对应的平衡权重值，d(x)表示属于非道路区域的像素点x距离道路区域边界的最短距离，在属于非道路区域的像素点距离道路区域边界越远，则
的值越小，趋近于0，像素点的权重值w(x)与平衡权重值wc(x)几乎相等；相反地，道路路面区域边界上的像素点的权重值更大，从而可使得训练得到的道路分割模型更易于区分边界像素点。其中，w0可为设置系数，例如10等值，σ可表示像素数量，例如5个像素。wc(x)可使用高斯分布进行初始化，高斯分布标准差可为
M为神经元输入节点的数量。
可将计算得到的道路样本图像中各个像素点在道路区域及非道路区域的预测概率分布，以及道路样本图像以应的权重图带入上述的公式(3)，计算得到损失，若该损失大于损失阈值，则可根据该计算得到的损失进行神经网络反向传播运算，调整道路分割模型的参数，并继续利用下一道路样本图像进行训练，直至满足道路分割模型的收敛条件，则训练完成。可选地，该收敛条件可包括计算得到的损失小于或等于损失阈值，或调整道路分割模型的参数的次数大于次数阈值等。
在一些实施例中，道路分割模型在训练的过程中，可同时使用权值衰减和学习力衰减方法，防止模型发生过拟合和欠拟合现象，例如，训练过程中权值衰减系数设定为5e—4，学习率衰减采用指数衰减方法，初始学习率设定可为0.02，但不限于此。
步骤404，对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线。
电子设备通过道路分割模型对道路图像进行语义分割后，可得到道路图像中所有属于道路区域的像素点的图像坐标集合，需要将各像素点的图像坐标转换为地理位置坐标，才可用于后续的导航及建图等工作。但是，由于道路区域包含的像素点图像较大，若是全部进行坐标转换，则计算量太大，会消耗电子设备的资源，且实时性差。因此，在本申请实施例中，可对道路区域进行骨骼化处理，提取道路区域的道路骨骼线。
在一些实施例中，对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线，可包括：根绝道路路面区域语义分割结果确定道路区域中的各个像素点的相邻像素点所属的区域类别，并根据道路区域中的各个像素点的相邻像素点所属的区域类别，对道路区域进行细化处理，以得到道路区域的道路骨骼线。
相邻像素点可指的是分布在周围的各个像素点，通常，1个非图像边界的像素点可对应有8个相邻像素点。可确定道路区域中的各个像素点的相邻像素点属于道路区域还是非道路区域，并可根据各个像素点的相邻像素点所属的区域类别判断是否删除该像素点。
以道路区域中的第一像素点为例，该第一像素点可为道路区域中的任一像素点。若根据第一像素点的各个相邻像素点所属的区域类别判断第一像素点是否满足预设条件，若根据第一像素点的各个相邻像素点所属的区域类别确定第一像素点满足预设条件，则可将第一像素点标记为删除像素点。
示例性地，第一像素点的相邻像素点位置可如表4所示，第一像素点的各个相邻像素点对应的类别标签可如表5所示。
表4
| x<sub>9</sub> | x<sub>2</sub> | x<sub>3</sub> |
| x<sub>8</sub> | x<sub>1</sub> | x<sub>4</sub> |
| x<sub>7</sub> | x<sub>6</sub> | x<sub>5</sub> |
表5
| 0 | 0 | 1 |
| 1 | x<sub>1</sub> | 0 |
| 1 | 0 | 1 |
其中，x1表示第一像素点，x2～x9为第一像素点的相邻像素点，类别标签0表示像素点属于非道路区域，类别标签1表示像素点属于道路区域。
在一个具体实施例中，上述的预设条件可包括但不限于以下几种条件：
(1)第一像素点的相邻像素点中属于道路区域的像素点数量小于或等于第一数值，且大于或等于第二数值，例如，第一像素点的相邻像素点中属于道路区域的像素点数量小于或等于6个，且大于或等于1个等。以表4及表5为例，第一像素点的相邻像素点中属于道路区域的像素点数量为4。
(2)第一像素点的相邻像素点中，按照一定的像素排列顺序，从非道路区域变为道路区域的累计次数为第二数值，例如该第二数值为1、2等。以表4及表5为例，可按照顺时针的像素排列顺序，即x2～x9～x2的顺序，对应的类别标签从0～1的累计次数，表5中出现0～1的次数为3，则不符合该条件。
(3)排列在第一像素点上、下、左、右的四个相邻像素点中，存在至少一个属于非道路区域的相邻像素点。在一个实施例中，以表4及表5为例，第一步可先判断排列在第一像素点上、下、左、右的四个相邻像素点的类别标签是否满足x2*x4*x6＝0及x8*x4*x6＝0，如果满足，则确定满足该条件；如果不满足，则可在第二步中判断排列在第一像素点上、下、左、右的四个相邻像素点的类别标签是否满足x2*x4*x8＝0及x2*x6*x8，若满足，则确定满足该条件。
电子设备可遍历道路区域中的各个像素点，判断各个像素点的相邻像素点是否均满足上述的几个条件，若均满足，则可将该像素点标记为删除像素点，并剔除道路区域中被标记删除像素点的像素点，得到道路区域的道路骨骼线。通过对道路区域进行骨骼化处理，可减少后续进行坐标转换的计算量，且可提高后续导航及建图等的准确度。
需要说明的是，也可采用其它算法对道路图像中的道路区域进行骨骼化处理，并不仅限于上述描述的方式，本申请实施例对此不作限定。
步骤406，将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合。
如图7所示，在一个实施例中，步骤406可包括步骤702～708。
步骤702，获取无人机在采集道路图像时对应的飞行数据。
飞行数据可包括飞行高度及位姿信息，该飞行高度可指的是无人机飞行时与地面的相对高度。在一个实施例中，无人机飞行在具备不同地貌的区域上方时，该相对高度可不同，例如，在平整地面的区域上方飞行时，飞行高度可以是无人机到地面的高度，在大量具有高大树木的区域上方飞行时，飞行高度可以是无人机到树顶的高度，在山地的区域上方飞行时，飞行高度可以是无人机到不同路面的高度。
图8为一个实施例中无人机在不同地貌下相对道路的高度取值的示意图。如图8所示，图8中的(a)为无人机在平整地面的区域上方飞行的场景，飞行高度huav可以是无人机到地面的高度；图8中的(b)为无人机在大量具有高大树木的区域上方飞行的场景，飞行高度huav可以是无人机到树顶的高度；图8中的(c)为无人机在山地的区域上方飞行的场景，飞行高度可包括无人机到山上的高度huav.2及无人机到平整路面的高度huav.1。进一步地，为了提高飞行高度的准确性，可在无人机上设置有雷达等探测装置，通过探测装置检测现实空间中在无人机飞行下方的各个点距离无人机的真实高度。
位姿信息指的是无人机的位置及姿态信息，位姿信息可包括无人机的地理位置信息，该地理位置信息可用无人机所在的经纬度坐标进行表示，姿态信息则可用于描述无人机飞行时的旋转角度，如前倾斜角度、侧倾斜角度及相对地球正北方的夹角等。
步骤704，根据飞行数据确定无人机在道路图像中的图像投影点。
电子设备可根据无人机的飞行数据将无人机映射到道路图像中，确定无人机在道路图像中的图像投影点。在一些实施例中，可根据无人机上摄像头的视场角、无人机的飞行高度、位姿信息及道路图像的图像尺寸，确定道路图像与现实空间的转换关系。该道路图像与现实空间的转换关系可用于描述道路图像中的一个像素点对应现实空间的物理距离和位置。再基于该转换关系，对飞行高度及位姿信息进行转换计算，得到无人机在道路图像中的图像投影点。
作为一种具体实施方式，无人机的姿态信息可为(XEA，YEA，ZEA)，其中，XEA表示无人机飞行中的前倾斜角度，YEA表示侧倾斜角度，ZEA表示相对地球正北的夹角。可根据无人机的飞行高度、偏航角及摄像头的视场角计算得到无人机的摄像头所能采集到的现实空间中的物理总长度，并计算该物理总长度与道路图像的长度之间的比值，得到转换关系。具体地，可采用公式(4)计算道路图像与现实空间的转换关系：
其中，spixels表示道路图像与现实空间的转换关系，huav表示飞行高度，Vcam表示摄像头的横向视场角，道路图像的图像尺寸可表示为Wimg×Himg，Wimg表示道路图像在水平方向上的长度，Himg表示道路图像在垂直方向上的宽度，abs()表示取绝对值。
在计算得到道路图像与现实空间的转换关系后，可根据该转换关系及道路图像的长度对无人飞的偏航角及飞行高度进行转换，得到无人机在道路图像中的像素横坐标，可根据该转换关系及道路图像的宽度对无人飞的俯仰角及飞行高度进行转换，得到无人机在道路图像中的像素纵坐标，该像素横坐标及像素纵坐标即为无人机在道路图像上的图像投影点的图像坐标。
具体地，可采用公式(5)计算像素横坐标，采用公式(6)计算像素纵坐标：
其中，pwuav表示无人机的图像投影点的像素横坐标，phuav表示无人机的图像投影点的像素纵坐标。
步骤706，计算道路骨骼线中的各个像素点与图像投影点之间的第一相对方向及距离信息。
道路骨骼线中的各个像素点的图像坐标及图像投影点的图像坐标，计算道路骨骼线中的各个像素点与图像投影点之间的第一相对方向及距离信息，该第一相对方向及距离信息为道路骨骼线中的像素点与图像投影点在道路图像中的相对方向及距离信息。
具体地，道路骨骼线中的各个像素点与图像投影点在道路图像中的相对方向可采用公式(7)计算得到，道路骨骼线中的各个像素点与图像投影点在道路图像中的距离信息可采用公式(8)计算得到：
其中，(pxroad，Pyroad)表示像素点x的图像坐标，alphaimg，road表示像素点x与图像投影点在道路图像中的相对方向，表示像素点x与图像投影点在道路图像中的距离信息。
步骤708，根据各个像素点对应的第一相对方向及距离信息，将各个像素点的图像坐标转换为对应的地理位置坐标。
在一些实施例中，电子设备在计算得到道路骨骼线中的各个像素点与图像投影点之间的第一相对方向及距离信息，可基于上述的转换关系spixels，将道路骨骼线中的各个像素点对应的第一相对方向及距离信息转换为现实空间中的第二相对方向及距离信息，该第二相对方向及距离信息为道路骨骼线中的像素点与无人机在现实空间的相对方向及距离信息。
具体地，可采用公式(9)计算道路骨骼线中的像素点与无人机在现实空间的相对方向，采用公式(10)计算道路骨骼线中的像素点与无人机在现实空间的距离信息：
alphaEA，road＝alphaimg，road+ZEA 公式(9)；
SEA，road＝spixels×Simg，road 公式(10)；
其中，alphaEA，road表示像素点与无人机在现实空间的相对方向，SEA，road表示像素点与无人机在现实空间的距离信息。
电子设备可根据无人机的地理位置坐标确定无人机在现实空间中的水平面投影点，并根据道路骨骼线中的各个像素点对应的第二相对方向及距离信息，以及该水平面投影点，确定该道路骨骼线中的各个像素点在现实空间中对应的路面点坐标，再将各个路面点坐标转换为对应的地理位置坐标。
作为一种实施方式，可结合地理的地理信息，利用高斯正算将无人机的地理位置信息转换为在水平面坐标系中的投影坐标，该投影坐标即为无人机在现实空间中的水平面投影点。具体地，可采用公式(11)计算无人机在现实空间中的水平面投影点：
(rxuav，ryuav)＝GK(latuav，lnguav) 公式(11)；
其中，(rxuav，ryuav)表示无人机在水平面坐标系中的投影坐标，即水平投影点，(latuav，lnguav)表示无人机的地理位置信息，即无人机的经纬度坐标，GK()表示高斯克吕格投影。
在计算得到水平面投影点后，可再根据道路骨骼线中的各个像素点与无人机在现实空间的相对方向alphaEA，road及距离信息SEA，road计算得到该各个像素点在水平面坐标系中的水平面坐标，该水平面坐标即为像素点在现实空间中对应的路面点坐标。
具体地，可采用公式(12)计算像素点在现实空间中对应的路面点坐标(rxroad，ryroad)：
rxroad＝rxuav+SEA，road×cos(alphaEA，road)
ryroad＝ryuav+SEA，road×sin(alphaEA，road) 公式(12)。
在得到道路骨骼线对应的各个路面点坐标后，可利用高斯反算法，将路面点坐标转换为经纬度坐标，从而得到道路骨骼线中各个像素点对应的地理位置坐标。
在本申请实施例中，利用无人机的飞行数据将无人机投影到道路图像中，能够准确将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，提高了道路图像中道路的定位准确性，从而可提高后续导航或建图等工作的准确性和实时性。
步骤408，获取多帧道路图像分别对应的路网地理位置坐标集合，并将获取的路网地理位置坐标集合中包含的地理位置坐标映射在地图图像中。
步骤410，对地图图像进行骨骼化处理，得到目标坐标集合。
由于无人机在飞行的过程中会不断采集道路图像，因此，电子设备可按照上述各实施例中描述的方式计算得到多帧道路图像分别对应的路网地理位置坐标集合，多帧道路图像的路网地理位置坐标集合可组合得到更为完整的道路位置。在一些实施例中，由于无人机飞行是渐进的过程，在获取多帧道路图像分别对应的路网地理位置坐标集合后，多帧道路图像分别对应的路网地理位置坐标集合所组合得到的骨骼线可能是较粗的骨骼线，若是直接将多帧道路图像的路网地理位置坐标集合进行后续的导航和建图等处理，也会出现计算量过大的问题。因此，在本申请实施例中，电子设备可再对多帧道路图像的路网地理位置坐标集合做进一步的骨骼化处理，以细化最终得到的坐标结果。
电子设备可将获取的路网地理位置坐标集合中包含的地理位置坐标映射在地图图像，将各个地理位置坐标转换为图像坐标，在地图图像中绘制完整骨骼线，并对地图图像中的完整骨骼线进行骨骼化处理，得到细化后的完整骨骼线，再将细化后的完整骨骼线的各个像素点转化为地理位置坐标，从而得到目标坐标集合。
示例性地，现结合图9A、图9B进行说明，图9A为一个实施例中在地图图像中绘制完整骨骼线的示意图，图9B为一个实施例中对完整骨骼线进行骨骼化处理的示意图。如图9A所示，多帧道路图像的路网地理位置坐标集合映射在地图图像后，形成了较粗的完整骨骼线，通过对该完整骨骼线进行骨骼化处理，可得到如图9B所示的细化的完整骨骼线。
需要说明的是，对多帧道路图像的路网地理位置坐标集合映射在地图图像的骨骼线进行骨骼化处理的方式可与上述各实施例中描述的对道路区域进行的骨骼化处理的方式相似，在此不再一一进行赘述。通过对多帧道路图像的路网地理位置坐标集合进行二次的骨骼化处理，能够得到更为准确的目标坐标集合，在减少后续导航或建图等任务的计算量的同时，提高了准确性。
在本申请实施例中，利用道路分割模型对道路图像进行语义分割，通过对分割得到的道路区域进行骨骼化处理，能够得到更为准确的道路骨骼线，从而使得转换得到的路网地理位置坐标集合更为准确，提高了道路识别的准确性，且降低了计算量。
如图10所示，在一个实施例中，提供一种路网地理位置识别装置1000，可应用于上述的电子设备。该路网地理位置识别装置1000，可包括分割模块1010、骨骼化模块1020及坐标转换模块1030。
分割模块1010，用于对待识别的道路图像进行语义分割，确定道路图像中的道路区域。
骨骼化模块1020，用于对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线。
坐标转换模块1030，用于将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合。
在本申请实施例中，对待识别的道路图像进行语义分割，确定道路图像中的道路区域，并对道路区域进行骨骼化处理，以得到道路区域的道路骨骼线，再将道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到道路图像对应的路网地理位置坐标集合，通过对分割得到的道路区域进行骨骼化处理，能够得到更为准确的道路骨骼线，从而使得转换得到的路网地理位置坐标集合更为准确，提高了道路识别的准确性，且无需对所有的道路区域的像素点进行坐标转换，降低了计算量，提高道路识别的效率。
在一个实施例中，分割模块1010，还用于通过预先训练得到的道路分割模型对待识别的道路图像进行语义分割，确定道路图像中的道路区域。
其中，道路分割模型多个下采样处理模块、多个上采样处理模块及分类输出模块，每一下采样处理模块包括多个第一卷积层及下采样层，下采样处理模块用于通过多个第一卷积层提取所述道路图像的特征，并通过下采样层对所述第一卷积层提取的特征进行下采样处理，得到第一特征图；每一上采样处理模块包括多个第二卷积层及上采样层，上采样处理模块用于通过上采样层对第一特征图进行上采样处理，并通过多个第二卷积层对上采样处理后的第一特征图进行特征提取，得到第二特征图；分类输出模块用于根据第二特征图确定道路图像中属于道路区域的像素点。
在一个实施例中，上述的路网地理位置识别装置1000，除了包括分割模块1010、骨骼化模块1020及坐标转换模块1030，还包括训练模块。
训练模块，包括预测单元及调整单元。
预测单元，用于将道路样本图像输入待训练的道路分割模型，并通过待训练的道路分割模型对样本路道图像进行语义分割，得到道路样本图像中各个像素点在道路区域及非道路区域的预测概率分布。
调整单元，用于根据道路样本图像中各个像素点对应的预测概率分布以及对应的真实区域类别计算损失，并根据损失调整所述待训练的道路分割模型的参数。
在一个实施例中，调整单元，还用于根据所述样本道路图像中各个像素点对应的真实区域类别，确定所述道路样本图像中属于非道路区域中各像素点距离道路边界的最短距离；根据该最短距离确定权重图，并基于所述样本道路图像中各个像素点对应的预测概率分布及所述权重图计算损失。
在一个实施例中，骨骼化模块1020，包括类别确定单元及细化单元。
类别确定单元，用于确定所述道路区域中的各个像素点的相邻像素点所属的区域类别。
细化单元，用于根据道路区域中的各个像素点的相邻像素点所属的区域类别，对道路区域进行细化处理，以得到道路区域的道路骨骼线。
在一个实施例中，细化单元，还用于若根据第一像素点的各个相邻像素点所属的区域类别确定第一像素点满足预设条件，则将第一像素点标记为删除像素点，第一像素点为道路区域中的任一像素点；以及用于剔除道路区域中被标记删除像素点的像素点，得到道路区域的道路骨骼线。
在一个实施例中，坐标转换模块1030，包括数据获取单元、投影单元、相对关系计算单元及转换单元。
数据获取单元，用于获取无人机在采集道路图像时对应的飞行数据。
投影单元，用于根据飞行数据确定无人机在道路图像中的图像投影点。
相对关系计算单元，用于计算道路骨骼线中的各个像素点与图像投影点之间的第一相对方向及距离信息。
转换单元，用于根据各个像素点对应的第一相对方向及距离信息，将各个像素点的图像坐标转换为对应的地理位置坐标。
在一个实施例中，飞行数据包括飞行高度及位姿信息。投影单元，还用于根据摄像头的视场角、无人机的飞行高度、位姿信息以及道路图像的图像尺寸，确定道路图像与现实空间的转换关系；以及基于转换关系，对飞行高度及位姿信息进行转换计算，得到无人机在所述道路图像中的图像投影点。
在一个实施例中，位姿信息包括无人机的地理位置坐标。转换单元，还用于基于转换关系，将各个像素点对应的第一相对方向及距离信息转换为现实空间中的第二相对方向及距离信息；根据无人机的地理位置坐标确定无人机在现实空间中的水平面投影点；根据各个像素点对应的第二相对方向及距离信息及所述水平面投影点，确定各个像素点在所述现实空间中对应的路面点坐标；以及用于将各个路面点坐标转换为对应的地理位置坐标。
在一个实施例中，骨骼化模块1020，还用于获取多帧道路图像分别对应的路网地理位置坐标集合，并将获取的路网地理位置坐标集合中包含的地理位置坐标映射在地图图像中；对地图图像进行骨骼化处理，得到目标坐标集合。
在本申请实施例中，利用道路分割模型对道路图像进行语义分割，通过对分割得到的道路区域进行骨骼化处理，能够得到更为准确的道路骨骼线，从而使得转换得到的路网地理位置坐标集合更为准确，提高了道路识别的准确性，且降低了计算量。
图11为一个实施例中电子设图的结构框图。如图11所示，电子设备1100可以包括一个或多个如下部件：处理器1110、与处理器1110耦合的存储器1120，其中存储器1120可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器1110执行时实现如上述各实施例描述的方法。
处理器1110可以包括一个或者多个处理核。处理器1110利用各种接口和线路连接整个电子设备1100内的各个部分，通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集，以及调用存储在存储器1120内的数据，执行电子设备1100的各种功能和处理数据。可选地，处理器1110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1110可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1110中，单独通过一块通信芯片进行实现。
存储器1120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1100在使用中所创建的数据等。
可以理解地，电子设备1100可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、蓝牙模块、传感器等，还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述各实施例描述的方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，该存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的一种路网地理位置识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种路网地理位置识别方法，其特征在于，所述方法包括：
对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域；
对所述道路区域进行骨骼化处理，以得到所述道路区域的道路骨骼线；
将所述道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到所述道路图像对应的路网地理位置坐标集合。
2.根据权利要求1所述的方法，其特征在于，所述对所述道路区域进行骨骼化处理，以得到所述道路区域的道路骨骼线，包括：
确定所述道路区域中的各个像素点的相邻像素点所属的区域类别；
根据所述道路区域中的各个像素点的相邻像素点所属的区域类别，对所述道路区域进行细化处理，以得到所述道路区域的道路骨骼线。
3.根据权利要求2所述的方法，其特征在于，所述根据所述道路区域中的各个像素点的相邻像素点所属的区域类别，对所述道路区域进行细化处理，包括：
若根据第一像素点的各个相邻像素点所属的区域类别确定所述第一像素点满足预设条件，则将所述第一像素点标记为删除像素点，所述第一像素点为所述道路区域中的任一像素点；
剔除所述道路区域中被标记删除像素点的像素点，得到所述道路区域的道路骨骼线。
4.根据权利要求1所述的方法，其特征在于，所述道路图像是通过无人机上的摄像头采集得到的，所述将所述道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，包括：
获取所述无人机在采集所述道路图像时对应的飞行数据；
根据所述飞行数据确定所述无人机在所述道路图像中的图像投影点；
计算所述道路骨骼线中的各个像素点与所述图像投影点之间的第一相对方向及距离信息；
根据所述各个像素点对应的所述第一相对方向及距离信息，将所述各个像素点的图像坐标转换为对应的地理位置坐标。
5.根据权利要求4所述的方法，其特征在于，所述飞行数据包括飞行高度及位姿信息；所述根据所述飞行数据确定所述无人机在所述道路图像中的投影点，包括：
根据所述摄像头的视场角、所述无人机的飞行高度、位姿信息以及所述道路图像的图像尺寸，确定所述道路图像与现实空间的转换关系；
基于所述转换关系，对所述飞行高度及位姿信息进行转换计算，得到所述无人机在所述道路图像中的图像投影点。
6.根据权利要求5所述的方法，其特征在于，所述位姿信息包括所述无人机的地理位置坐标；所述根据所述各个像素点对应的所述第一相对方向及距离信息，将所述各个像素点的图像坐标转换为对应的地理位置坐标，包括：
基于所述转换关系，将所述各个像素点对应的第一相对方向及距离信息转换为所述现实空间中的第二相对方向及距离信息；
根据所述无人机的地理位置坐标确定所述无人机在所述现实空间中的水平面投影点；
根据所述各个像素点对应的第二相对方向及距离信息及所述水平面投影点，确定所述各个像素点在所述现实空间中对应的路面点坐标；
将各个路面点坐标转换为对应的地理位置坐标。
7.根据权利要求1所述的方法，其特征在于，所述对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域，包括：
通过预先训练得到的道路分割模型对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域；
其中，所述道路分割模型包含多个下采样处理模块、多个上采样处理模块及分类输出模块，每一所述下采样处理模块包括多个第一卷积层及下采样层，所述下采样处理模块用于通过所述多个第一卷积层提取所述道路图像的特征，并通过所述下采样层对所述第一卷积层提取的特征进行下采样处理，得到第一特征图；
每一所述上采样处理模块包括多个第二卷积层及上采样层，所述上采样处理模块用于通过所述上采样层对所述第一特征图进行上采样处理，并通过所述多个第二卷积层对上采样处理后的第一特征图进行特征提取，得到第二特征图；
所述分类输出模块用于根据所述第二特征图确定所述道路图像中属于道路区域的像素点。
8.根据权利要求7所述的方法，其特征在于，所述道路分割模型的训练过程包括：
将道路样本图像输入待训练的道路分割模型，并通过所述待训练的道路分割模型对所述样本路道图像进行语义分割，得到所述样本道路图像中各个像素点在道路区域及非道路区域的预测概率分布；
根据所述样本道路图像中各个像素点对应的预测概率分布以及对应的真实区域类别计算损失，并根据所述损失调整所述待训练的道路分割模型的参数。
9.根据权利要求8所述的方法，其特征在于，所述根据所述样本道路图像中各个像素点对应的预测概率分布以及对应的真实区域类别计算损失，包括：
根据所述样本道路图像中各个像素点对应的真实区域类别，确定所述道路样本图像中属于非道路区域中各像素点距离道路边界的最短距离；
根据所述最短距离确定权重图，并基于所述样本道路图像中各个像素点对应的预测概率分布及所述权重图计算损失。
10.根据权利要求1～9任一所述的方法，其特征在于，所述方法还包括：
获取多帧道路图像分别对应的路网地理位置坐标集合，并将获取的路网地理位置坐标集合中包含的地理位置坐标映射在地图图像中；
对所述地图图像进行骨骼化处理，得到目标位置集合。
11.一种路网地理位置识别装置，其特征在于，包括：
分割模块，用于对待识别的道路图像进行语义分割，确定所述道路图像中的道路区域；
骨骼化模块，用于对所述道路区域进行骨骼化处理，以得到所述道路区域的道路骨骼线；
坐标转换模块，用于将所述道路骨骼线中各个像素点的图像坐标转换为对应的地理位置坐标，以得到所述道路图像对应的路网地理位置坐标集合。
12.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至10任一所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110649448.6A CN113343858B (zh) | 2021-06-10 | 2021-06-10 | 路网地理位置识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110649448.6A CN113343858B (zh) | 2021-06-10 | 2021-06-10 | 路网地理位置识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113343858A true CN113343858A (zh) | 2021-09-03 |
| CN113343858B CN113343858B (zh) | 2024-03-12 |
Family
ID=77476569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110649448.6A Active CN113343858B (zh) | 2021-06-10 | 2021-06-10 | 路网地理位置识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343858B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11284274B2 (en) * | 2020-05-12 | 2022-03-22 | Verizon Patent And Licensing Inc. | Systems and methods for identifying a service qualification of a unit in a multi-unit building |
| CN114332370A (zh) * | 2021-12-28 | 2022-04-12 | 埃洛克航空科技（北京）有限公司 | 道路图像处理方法、装置、设备和存储介质 |
| CN115841558A (zh) * | 2023-03-01 | 2023-03-24 | 航天宏图信息技术股份有限公司 | 城市道路建模的方法、装置、电子设备和存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08305838A (ja) * | 1995-03-06 | 1996-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 道路自動認識方法及びその装置並びに地図情報処理方法及びその装置 |
| CN103411619A (zh) * | 2013-08-26 | 2013-11-27 | 上海安悦四维信息技术有限公司 | 一种三维道路生成系统及方法 |
| CN108470159A (zh) * | 2018-03-09 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN109670462A (zh) * | 2018-12-24 | 2019-04-23 | 北京天睿空间科技股份有限公司 | 基于定位信息的航空器跨全景持续跟踪方法 |
| CN109726615A (zh) * | 2017-10-30 | 2019-05-07 | 北京京东尚科信息技术有限公司 | 一种道路边界的识别方法和装置 |
| CN110163930A (zh) * | 2019-05-27 | 2019-08-23 | 北京百度网讯科技有限公司 | 车道线生成方法、装置、设备、系统及可读存储介质 |
| CN110176030A (zh) * | 2019-05-24 | 2019-08-27 | 中国水产科学研究院 | 一种无人机图像的自动配准方法、装置及电子设备 |
| CN110517334A (zh) * | 2018-05-21 | 2019-11-29 | 北京四维图新科技股份有限公司 | 一种矢量地图数据获取的方法及装置 |
| CN111275730A (zh) * | 2020-01-13 | 2020-06-12 | 平安国际智慧城市科技股份有限公司 | 地图区域的确定方法、装置、设备及存储介质 |
| US20200263998A1 (en) * | 2017-11-03 | 2020-08-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for new road determination |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
| KR20200142315A (ko) * | 2019-06-12 | 2020-12-22 | 주식회사 카카오 | 도로 네트워크를 갱신하는 방법 및 장치 |
| CN112686197A (zh) * | 2021-01-07 | 2021-04-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
| CN112733800A (zh) * | 2021-01-22 | 2021-04-30 | 中国科学院地理科学与资源研究所 | 基于卷积神经网络的遥感图像道路信息提取方法和装置 |
-
2021
- 2021-06-10 CN CN202110649448.6A patent/CN113343858B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08305838A (ja) * | 1995-03-06 | 1996-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 道路自動認識方法及びその装置並びに地図情報処理方法及びその装置 |
| CN103411619A (zh) * | 2013-08-26 | 2013-11-27 | 上海安悦四维信息技术有限公司 | 一种三维道路生成系统及方法 |
| CN109726615A (zh) * | 2017-10-30 | 2019-05-07 | 北京京东尚科信息技术有限公司 | 一种道路边界的识别方法和装置 |
| US20200263998A1 (en) * | 2017-11-03 | 2020-08-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for new road determination |
| CN108470159A (zh) * | 2018-03-09 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN110517334A (zh) * | 2018-05-21 | 2019-11-29 | 北京四维图新科技股份有限公司 | 一种矢量地图数据获取的方法及装置 |
| CN109670462A (zh) * | 2018-12-24 | 2019-04-23 | 北京天睿空间科技股份有限公司 | 基于定位信息的航空器跨全景持续跟踪方法 |
| CN110176030A (zh) * | 2019-05-24 | 2019-08-27 | 中国水产科学研究院 | 一种无人机图像的自动配准方法、装置及电子设备 |
| CN110163930A (zh) * | 2019-05-27 | 2019-08-23 | 北京百度网讯科技有限公司 | 车道线生成方法、装置、设备、系统及可读存储介质 |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
| KR20200142315A (ko) * | 2019-06-12 | 2020-12-22 | 주식회사 카카오 | 도로 네트워크를 갱신하는 방법 및 장치 |
| CN111275730A (zh) * | 2020-01-13 | 2020-06-12 | 平安国际智慧城市科技股份有限公司 | 地图区域的确定方法、装置、设备及存储介质 |
| CN112686197A (zh) * | 2021-01-07 | 2021-04-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
| CN112733800A (zh) * | 2021-01-22 | 2021-04-30 | 中国科学院地理科学与资源研究所 | 基于卷积神经网络的遥感图像道路信息提取方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11284274B2 (en) * | 2020-05-12 | 2022-03-22 | Verizon Patent And Licensing Inc. | Systems and methods for identifying a service qualification of a unit in a multi-unit building |
| US11736955B2 (en) | 2020-05-12 | 2023-08-22 | Verizon Patent And Licensing Inc. | Systems and methods for identifying a service qualification of a unit in a multi-unit building |
| CN114332370A (zh) * | 2021-12-28 | 2022-04-12 | 埃洛克航空科技（北京）有限公司 | 道路图像处理方法、装置、设备和存储介质 |
| CN115841558A (zh) * | 2023-03-01 | 2023-03-24 | 航天宏图信息技术股份有限公司 | 城市道路建模的方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113343858B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
| CN110796168A (zh) | 一种基于改进YOLOv3的车辆检测方法 | |
| CN113343858A (zh) | 路网地理位置识别方法、装置、电子设备及存储介质 | |
| CN109492580B (zh) | 一种基于全卷积网络的邻域显著性参照的多尺寸航拍图像定位方法 | |
| CN108763287A (zh) | 大规模可通行区域驾驶地图的构建方法及其无人驾驶应用方法 | |
| CN111126287B (zh) | 一种遥感影像密集目标深度学习检测方法 | |
| CN110263717A (zh) | 一种融入街景影像的土地利用类别确定方法 | |
| CN111028255A (zh) | 基于先验信息与深度学习的农田区域预筛选方法及装置 | |
| US11804025B2 (en) | Methods and systems for identifying topographic features | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN113569313A (zh) | 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法 | |
| CN114764856A (zh) | 图像语义分割方法和图像语义分割装置 | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN115019274A (zh) | 一种融合追踪与检索算法的路面病害识别方法 | |
| Liu et al. | A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image | |
| CN113989296A (zh) | 基于改进U-net网络的无人机麦田遥感图像分割方法 | |
| CN117953387A (zh) | 基于知识一致性约束的跨分辨率土地覆盖分类方法和系统 | |
| CN110348311B (zh) | 一种基于深度学习的道路交叉口识别系统及方法 | |
| CN113298042A (zh) | 遥感影像数据的处理方法及装置、存储介质、计算机设备 | |
| CN114419338B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 | |
| CN114037922B (zh) | 一种基于层级上下文网络的航拍图像分割方法 | |
| CN114821353A (zh) | 基于雷达特征匹配的作物种植区域快速提取方法及系统 | |
| CN114387501A (zh) | 冲洪积扇沉积遥感智能识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230802 Address after: No.88 Haiyun Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangdong 510000 Applicant after: Guangzhou Haige Communications Group Incorporated Company Applicant after: Guangzhou Haige Tiancheng Technology Co.,Ltd. Address before: No.88 Haiyun Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangdong 510000 Applicant before: Guangzhou Haige Communications Group Incorporated Company |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |