CN114187341B - 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统 - Google Patents

基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统 Download PDF

Info

Publication number
CN114187341B
CN114187341B CN202111355515.XA CN202111355515A CN114187341B CN 114187341 B CN114187341 B CN 114187341B CN 202111355515 A CN202111355515 A CN 202111355515A CN 114187341 B CN114187341 B CN 114187341B
Authority
CN
China
Prior art keywords
road
remote sensing
rectangular frame
node
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111355515.XA
Other languages
English (en)
Other versions
CN114187341A (zh
Inventor
刘俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terry Digital Technology Beijing Co ltd
Original Assignee
Terry Digital Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terry Digital Technology Beijing Co ltd filed Critical Terry Digital Technology Beijing Co ltd
Priority to CN202111355515.XA priority Critical patent/CN114187341B/zh
Publication of CN114187341A publication Critical patent/CN114187341A/zh
Application granted granted Critical
Publication of CN114187341B publication Critical patent/CN114187341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/49Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及基于移动跟随识别的人工神经网络道路纹理贴图方法,基于移动跟随识别的人工神经网络道路纹理贴图方法,包括确立所述多幅遥感影像图以及相应的红外遥感图之间统一的多个地理坐标系,并在所述多幅遥感影像图中的每一副遥感影像图上设定道路生成的起始点;进而设定移动点,从所述起始点开始基于移动点的移动和点分离而生成城市或乡镇或郊外道路网模型m,并在生成过程中跟随移动点和分离的点完成道路路线上的纹理贴图;最后根据所述统一的多个地理坐标系将完成道路路线上的纹理贴图的多幅遥感影像图与所述相应的红外遥感图进行配准。本发明的纹理贴图方法利用矩形框及其导引线的设置而跟随RNN道路生成模型中生成每一个道路路线节点的移动点而同步识别框内道路材质完成纹理贴图,提高了贴图效率和道路识别的视觉真实性,为围绕道路及其周边的地理地质学研究提供基础性地理数据。

Description

基于移动跟随识别的人工神经网络道路纹理贴图方法及其 系统
技术领域
本发明涉及一种道路纹理贴图方法及其系统,尤其涉及基于滑动跟随识别的人工神经网络道路纹理贴图方法及其系统,属于人工智能图像处理领域。
背景技术
城市或乡镇郊外道路的识别在地理定位、沿途地理地质学研究以及道路和周边地块开发方面有着广泛的运用。现有技术通过人工绘制或利用神经网络算法生成道路路线都仅仅展示了道路的脉络,仅从几何图形上给出了位置、走向及其分形结构,并不能反映道路的材质及其分布情况,从而无法获取道路使用状况(例如是否沥青修补、局部开挖等)。
如果通过涂色方式就会面临三个问题,第一需要路线绘制之后进行轮廓的提取,由于道路(尤其是城市中的道路)的分形结构复杂,轮廓的提取是困难的;第二对于城市或乡镇郊外道路材质不同需要分别考虑标注,缺乏真实材质视觉区分而直观地展示,因此需要通过大量的人工绘制和标注,工作效率很低;第三道路上车辆,尤其是车辆拥挤时的道路路面被其他物体大面积尤其是密集覆盖情况下的道路材质识别问题,纹理贴图是建筑以及室内装潢领域中常见的识别物体表面的方法。然而对于复杂道路的贴图仍然存在上述两个问题亟待解决。
然而道路材质一般属于统一的选材而铺设,因此在实际运用时不必要将涂色或纹理精确地填充满整个道路轮廓,研究和工程人员一般在材质方面仅关注所感兴趣的路段的材质和分布而非关注材质是否覆盖了整个路面。因为通常情况下,道路材质总是完全覆盖了路面。同时,道路的施工(如开挖或线缆铺设或抢修或地理测绘等)或修补也往往处理道路中心或接近道路中心的地方,而在靠近道路边缘的情况则属于道路延伸的路面情况,不在本发明的涉及的研究范围中。因此在道路中心周围得到识别需求也不必要要求精确的填充满整个道路轮廓就能识别出道路使用情况。
发明内容
为解决现有技术中对于道路的材质识别的效率不高、无法直观地展示路面材质和使用状况的问题,本发明从两个方面提供解决的方案,第一,考虑在道路路线生成过程中即同步开始路面材质的识别,因此道路路线生成完毕时也基本上是道路材质已经或即将识别完毕之时;第二,在路面材质识别过程中关注材质的分布,从而能够了解到路面的使用状况。
为此,本发明一方面提供了基于移动跟随识别的人工神经网络道路纹理贴图方法,其特征在于包括如下步骤:
S1.获取至少一个城市或乡镇或郊外的多幅遥感影像图以及相应的红外遥感图,确立所述多幅遥感影像图以及相应的红外遥感图之间统一的多个地理坐标系,并在所述多幅遥感影像图中的每一副遥感影像图上设定道路生成的起始点;
S2.设定移动点,从所述起始点开始基于移动点的移动和点分离而生成城市或乡镇或郊外道路网模型m,并在生成过程中跟随移动点和分离的点完成道路路线上的道路纹理贴图;
S3.根据所述统一的多个地理坐标系将完成道路路线上的纹理贴图的多幅遥感影像图与所述相应的红外遥感图进行配准。
关于S1
S1具体包括:
S1-1获取1-2000个城市或乡镇或郊外的多幅遥感影像图以及相应的红外遥感图,所述相应的红外遥感图是与所述多幅遥感影像图采集的同一时刻获取的,且对于同一个城市或乡镇或郊外的同一图像采集覆盖区域内的多幅遥感影像图之间为不同时刻获取的,并获取所述多幅遥感影像图中选定完整的预定标准建筑,优选地,所述多幅遥感影像图的幅数为540-3000000;
S1-2将所述多幅遥感影像图以及相应的多幅红外遥感图组成的每组两幅图的多个图组,根据预定标准建筑和地理正北向确定每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点(即1幅遥感影像图以及相应的1幅红外遥感图中的两个原点在各自图中位置一样)的统一的坐标系E(i),i=1,2,…,N(可以加Z轴形成立体坐标系),N为遥感影像图或相应的红外遥感图的幅数。
优选地,所述预定标准建筑具有矩形的屋顶边框,并且选择其中一个顶点在地面的垂直投影作为坐标原点O,以其中一边在地面的垂直投影作为X轴,另一边在地面的垂直投影作为Y轴,形成地面平面直角坐标系E(也可加Z轴形成立体坐标系E)。更优选地,所述X轴指向正东方,Y轴正北方。
所述根据预定标准建筑和地理正北向确定每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E(i),i=1,2,…,N,具体包括确定坐标系E的X轴与正北向之间的夹角γ,将坐标系E原点放置到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中在E下相同的预设点上,并调整X轴指向使其与正北向之间的夹角为γ,得到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中统一X轴指向的多个坐标系E(i),i=1,2,…,N。优选地,当E的所述X轴指向正东方,Y轴正北方时,调整X轴指向正东方或调整Y轴指向正北方。
可以理解的是,坐标系E(i),i=1,2,…,N中必然有唯一一个坐标系为E,对其所在的1幅遥感影像图以及相应的1幅红外遥感图的图组的统一的坐标系即为E自身,因此无需再做原点设定和X轴或Y轴的指向调整。
S1-3选取每一幅所述遥感影像图,以其中一预定建筑屋顶上任一点在其建立的坐标系的XOY面内的投影作为起始点。
关于S2
S2具体包括:
S2-1在选取的每一幅所述遥感影像图中设定初始移动点A与起始点重合,设定与选取的每一幅所述遥感影像图中建立的坐标系的XOY面共面的具有一定宽度w的矩形框F,在矩形框F几何中心上设置垂直于宽度方向且与矩形框F共面的导引线段LC,将所述矩形框F几何中心与初始移动点A重合,且设定初始步长d,将初始移动点A直线方向移动所述初始步长d,形成初始道路线段l,将导引线段LC与初始道路线段l重合。
应当理解的是,导引线段LC上的存在一点与所述矩形框的几何中心是重合的,改点可以是导引线段LC上的任一点。在一个实施例中该点为导引线段LC的端点。
其中w不小于按照所述多幅遥感影像图中对应的道路宽度中最小的宽度,优选地,w按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为3-5m。或者w为所述多幅遥感影像图中所有道路宽度平均值的0.5-1.5倍,更优先地,对于机动车道路、非机动车道路为1-1.5倍、人行道路为0.5-1倍。优选地,所述初始步长d不小于矩形框的长度(1-2m),优选为按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为1-5m。
可以理解的是,人行道路应当包括城市中的街道、非机动车道旁的步行道、小区或厂房企业等建筑群区域内部的可以供人或路面交通工具或作业任务工具(如轮式机械车、消防车、救护车、警车等)行走的路。
选择上述的宽度能够使得矩形框覆盖并超出掉机动车道路上车辆的宽度(不记反光镜一般在1.8-2m之间)至少1m的范围,从而在矩形宽中无论车流量多少或拥挤程度,总能找到在遥感影像图以及红外遥感图分辨率极限下属于路面的部分。而非机动车道路上一般会空出大量路面部分,因为人头顶或非机动车的在路面投影部分占有少数,从而上述矩形框也能够在非机动车道上,对于人潮拥挤的场景则发生几率小从而可以避开选择该场景下的图像的获取。即便当道路上修补有新的沥青或其他材质的场景下,而道路上移动物体完全覆盖修补处的概率也小,因此也能选择多幅图像中的修补处利于矩形框识别的图像。而这些图像的选择的可能是由对于同一个城市或乡镇或郊外的同一图像采集覆盖区域内的不同时刻获取的多幅遥感影像图所保证。
从上面分析情况理解,由于道路材质的均匀性,矩形框的设计能够不用考虑对道路上的车辆或行人的扣除而为能够完整识别道路材质提供了有效的工具。
S2-2从初始移动点A直线方向移动所述初始步长d后所处的点开始,利用RNN循环神经网络算法,通过包括编码器以及解码器的节点生成器生成道路连续节点,在生成过程中连接生成前后的两个节点并标注道路分叉节点Dj(j=1,2,…,Mk),其中Mk为第k幅遥感影像图中最终路网生成完毕时生成的道路分叉节点总数,并在分叉节点Dj上分离移动点为分岔路线数个分离的移动点,继续各自利用RNN循环神经网络算法进行分岔路线的节点生成。其中,将新的生成节点输入节点生成器不断产生新的节点,而继续连接产生的新节点,如此循环而连接成道路网形成路网模型m。
可选地,所述分叉节点Dj以在选取的每一幅所述遥感影像图中建立的坐标系下的坐标和一个附加码
Figure GDA0003715999520000031
进行标注。
可以理解的是,初始移动点A随着节点不断生成而看作一种移动点,其不断地向新生成的节点方向直线移动成为新生成的节点,并分身往下一个或多个新生成的节点直线移动。
其中,在生成第一个节点并连接所述所处的点和第一个节点之后开始跟随移动点移动所述矩形框F,移动过程中始终保持导引线段LC与生成前后的两个节点之间的连线重合,在移动过程中识别矩形框F内的道路材质并完成道路纹理贴图。
在一个实施例中,在所有的多幅遥感影像图中,任一矩形框的移动在当矩形框F几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度之前,都满足如下移动条件:每经历预设时间间隔T之后正好移动了一个矩形框F长度,并在此时分离该矩形框F为两个与矩形框F全等的矩形框,其中一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图而另一个仍然继续进行所述移动,从而在节点连线上生成了多个停留在原地的矩形框。
特别地,在第k幅遥感影像图中(k可取从自然数1到多幅遥感影像图的幅数的任一自然数),当矩形框F的几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度时,分离为一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图,以及一组分叉节点Dj上分岔路线数Nj个与矩形框F全等的分离的矩形框Fi k(i=1,2,…,Nj)而继续移动到各自几何中心都与分叉节点Dj重合且各自的引导线都与各自分岔路线上与分叉节点Dj最近的节点与分叉节点Dj的连线重合的位置,之后各自再跟随所述分岔路线数个分离的移动点继续移动,且所述继续移动的过程中同样使得各导引线段与各分岔路线中生成前后的两个节点之间的连线重合,并同样在所述继续移动过程中识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图。
应当理解的是,上述接近分叉节点时的移动方式没有直接识别矩形框F的几何中心到离分叉节点Dj的距离小于或等于矩形框F的长度之间那部分的道路材质,而是借助分离的多个全等的矩形框的导引线的转角调整而至少使得该部分的至少一部分被覆盖(参见后文实施例2的图2d-2f)。而且由于没有改变矩形框的长度,优势在于便于使用统一的算法进行道路材质识别,即无需因该部分的存在而调整算法。
一般地,当道路分叉节点或非分叉节点(尤其是道路结束的尽端,道路分叉节点或非分叉节点可以包含将初始移动点A直线方向移动所述初始步长d之后所处的节点)与其距离最接近的前一个用于识别其内部的道路材质并完成道路纹理贴图的停留在原地的矩形框的几何中心之间的连线长度小于或等于该停留在原地的矩形框的长度时,该停留在原地的矩形框分离为一个长度为该小于或等于停留在原地的矩形框的长度的矩形框而继续移动,使得其移动方向最前端的宽经过该道路分叉节点或非分叉节点时停留在原地形成长度改变的矩形框
Figure GDA0003715999520000051
或FP(不论矩形框长度改变与否,对于非分叉节点情况,停留在原地的矩形框都以FP表示)用于识别其内部的道路材质并完成道路纹理贴图,以及另一个长度不变的矩形框继续移动到其几何中心都与该道路分叉节点或非分叉节点重合,且对道路分叉节点情况,该另一个长度不变的矩形框进一步分离成分叉节点上分岔路线数个与该另一个长度不变的矩形框全等的分离的矩形框Fi k(i=1,2,…,Nj)使得各自的引导线分别与各自分岔路线上与分叉节点最近的节点连线重合,之后各自再跟随所述分岔路线数个分离的移动点继续在满足上述移动条件下移动。
应当理解的是,上述接近分叉节点时的移动方式完整地对主干路和分岔路进行矩形框覆盖识别,优势在于能够在将来完整地分别展示主干路和分岔路的纹理贴图。
优选地,当完成所述道路纹理贴图后即删除对应的停留在原地形成矩形框,这样各矩形框就跟随着移动点和道路分叉点上分离的移动点而完成跟随式的纹理贴图过程,提高了纹理贴图的可操作性和效率。
在一个实施例中,移动过程中识别矩形框内的材质并同时完成道路纹理贴图具体包括:
S2-2-1建立道路材质贴图模型;
S2-2-2将矩形框内的多个预设分区图像代入道路材质贴图模型中获得矩形框内路面的纹理图;
S2-2-3找到贴图库中多个预设分区所对应的纹理图案,并将纹理图案对应地填充到矩形框中的所述多个预设分区完成贴图。
其中步骤S2-2-1具体包括:
S2-2-1-1对所有多幅遥感影像图进行矩形框移动,获取到多个停留在原地的矩形框FP或FiP k(即地k幅遥感影像图中分岔路线上的)及其内部的图像pic1,并进行多个预设分区划分编号(在一个实施例中可以是九宫格形式进行从1-9的编号),每个编号下以及相应的红外遥感图中对应分区都有相应的分为训练集和验证集,获取每个分区图像内部属于路面(由于多幅不同时刻获取的遥感影像图存在,而保证了基本总有找到属于路面部分的可能)的像素点的平均RGB三值(即R、G、B各自的平均值),优选地,选择加权平均计算,越靠近矩形框FP或FiP k的处权值越小,具体包括在内部点到任选的以FP或FiP k矩形框边的距离等分为每份lp长,通过线性递减方式权值从该内部点处为50%一直到矩形框边变化;
S2-2-1-2建立多个图像pic1中每个分区对应道路材质的RGB聚类分布图,所述道路材质包括混凝土、新铺柏油、转色稳定的柏油、铺街石板、铺街地砖、矿渣、生活垃圾焚烧粉渣、土壤、植被中的至少三种;
S2-2-1-3将每个分区训练集中Uj幅同种道路材质的图像pic1(j)以及相应的道路材质的平均RGB三值输入到RoiAlign层将pic1(j)通过全连接层,以及softmax函数得到预测分类s,利用的预测分类s和输入平均RGB三值在所述聚类分布图中对应为分类q的置信度计算第j种道路材质误差损失
Figure GDA0003715999520000061
其中,
Figure GDA0003715999520000062
第j种道路材质的第k幅道路材质的图像
Figure GDA0003715999520000063
在所述聚类分布图中对应为分类q时的类别数,由于
Figure GDA0003715999520000064
中只有一种类别道路(没有车辆行人或其他物体),因此
Figure GDA0003715999520000065
则公式(1)化简为
Figure GDA0003715999520000066
其中,pj表示分区内第j种道路材质的训练集,
Figure GDA0003715999520000067
表示softmax函数得到的第k幅道路材质的图像
Figure GDA0003715999520000068
对于类别q的置信度,
Figure GDA0003715999520000069
为第k幅道路材质的图像
Figure GDA00037159995200000610
在全连接层得到在所述聚类分布图中对应为分类q时的Q*1维向量第q个向量值,Q为总的道路材质种数,Q≥3,
Figure GDA00037159995200000611
Figure GDA00037159995200000612
分别表示对总的道路材质种数Q以及对分区内第j种道路材质的训练集中所有道路材质的图像
Figure GDA00037159995200000613
幅数求和,log()表示以e为底的对数,利用误差损失反向传播来调整网络参数,进行分类回归对预测结果进行修正,使用分区内验证集验证当损失值变化率
Figure GDA00037159995200000614
趋于预设阈值thres范围(thres<2-5%)内时,认为已经获得第j种道路材质在所述聚类分布图中对应为分类q时预测分类的置信度
Figure GDA00037159995200000615
其中L(l+1)和L(l)分别为第l+1次训练和第l次训练的误差损失,
Figure GDA00037159995200000616
为此时分区内第k幅道路材质的图像
Figure GDA00037159995200000617
在全连接层得到在所述聚类分布图中对应为分类q时的Q*1维向量第q个向量值,以及第j种道路材质在所述聚类分布图中对应为分类q时的中间分类预测模型
Figure GDA00037159995200000618
S2-2-1-4赋予第j种道路材质为所述聚类分布图中其他分类重复步骤S2-2-1-3,以遍历所有道路材质种类获得Q种道路材质的分类的置信度
Figure GDA0003715999520000071
和对应的多个中间分类预测模型
Figure GDA0003715999520000072
选择置信度最大值
Figure GDA0003715999520000073
对应的中间分类预测模型作为第j种道路材质最终分类模型Sjf
S2-2-1-5选择另一种道路材质的Uj+1幅建道路材质图像pic1(j+1),重复步骤S2-2-1-3-S2-2-1-4,遍历所有Q种道路材质,得到最终的道路材质分类模型Sf={S1f,S2f,…,SQf};建立道路材质分类模型与道路纹理图Pstr之间的映射关系F:Sf→Pstr,获得矩形框内每个分区道路材质贴图模型S记作S=Pstr=F(Sf)={F1(S1f),F2(S2f),…,FQ(SQf)};
S2-2-1-6建立道路材质的RGB聚类分布图中不同道路材质种类的红外遥感图谱中特征波段归一化强度与道路材质种类之间的道路材质红外分类模型Srem,具体包括如下步骤:
对每个分区内训练集中对应的不同种材质道路进行主成分分析法聚类分析,得到的载荷图,并得到对于不同种材质道路敏感的特征波段,并用特征波段归一化强度作为神经网络的输入端建立基于人工神经网络的道路材质红外分类模型Srem,并用验证集验证;
优选地,所述pic2对应的红外遥感图中特征波段图谱,是指在所述pic2获取多个分区内部对应点的遥感红外光谱,并获得平均谱,基于所述平均谱获得特征波段图谱。平均谱是根据各波段的谱峰积分强度的算术平均或依照各波段的权重而对各波段的谱峰积分强度进行加权平均。
S2-2-2具体包括:获取矩形框每个分区内1幅分区图像pic3,将pic3代入相应分区的Sf中获得Q个置信度中最大值对应的模型Smaxf所对应的材质作为该输入pic3中道路路面对应的预测材质sf,再获取pic3对应的红外遥感图中特征波段归一化强度输入到道路材质红外分类模型Srem中得到道路材质分类sremf
S2-2-3具体包括:若sf=sremf,则利用对应的贴图模型Fmaxf(Smaxf)获得道路材质纹理图Pmaxstr,找到贴图库中相应的纹理图案,并将该纹理图纹理填充到每个分区内,形成贴图层PmaxstrL完成贴图,反之,
将道路材质分类sremf对应的道路材质分类模型Sremf获得道路材质纹理图Premf=Fremf(Sremf),找到贴图库中相应的纹理图案,并将该纹理图纹理填充到每个分区内,形成贴图层PremfL完成贴图。
关于S3
S3具体包括:将完成道路路线上的纹理贴图的多幅遥感影像图以及相应的红外遥感图进行配准,并将所述贴图层PmaxstrL或PremfL映射到相应的红外遥感图中,所述配准是指将具有贴图层PmaxstrL或PremfL的遥感影像图与相应的红外遥感图按各自的坐标系的原点和X轴或Y轴重合进行配准,或者将Z轴重合而使得X轴或Y轴相互平行。
本发明的第二个方面提供一种实现上述方法的基于移动跟随识别的人工神经网络道路纹理贴图系统,其特征在于,包括航空遥感系统,地面服务器,以及客户端,所述航空遥感系统与所述地面服务器之间,以及所述地面服务器和所述客户端之间能够数据通讯,其中,
所述航空遥感系统包括,卫星定位装置,卫星遥感影像拍摄装置,遥感红外拍摄装置,分别实现同步对地面可见光波段遥感影像的拍摄,获得遥感影像图,以及遥感红外图以及红外光谱的采集,
所述地面服务器基于移动跟随识别的人工神经网络道路纹理贴图方法,对遥感影像图以及遥感红外光谱进行处理而完成道路纹理贴图,并将道路纹理贴图结果根据用户的请求而发送给用户,
所述客户端能够对接收到的所述结果进行展示。
本发明第三个方面提供一种非暂时性存储介质,其中存储有可由地面服务器运行而实现上述基于移动跟随识别的人工神经网络道路纹理贴图方法的计算机可读程序。
有益效果
利用矩形框跟随道路生成移动点及其分离点而同步完成城市或乡镇或郊外道路网模型m以及道路纹理贴图,实现了高效率的贴图作业以及道路网同步生成,克服了现有技术依赖人工标绘的不足以及材质视觉具象差的缺点。
附图说明
图1遥感影像图以及相应的红外遥感图之间的统一坐标系建立过程示意图,
图2矩形框设定及其跟随移动方式的图解说明,其中a为矩形框F的参数指标示意图,b为初始步长设定的示意图,c为矩形框几何中心与初始移动点A重合的示意图,d-f为分叉道路情况下矩形框的跟随移动、分身示意图,
图3a对城市路网提取的RNN循环神经网络算法流程以及城市路网生成过程示意图,
图3b为示例性地给出了每隔20次节点生成循环下,总共100次节点生成循环的路网生成过程,
图4道路材质识分类模型以及矩形框内每个分区道路材质贴图模型S建立过程示意图,
图5a具有四分叉节点的城市遥感影像图中生成的城市道路网模型m的局部,
图5b为图5a中主干道路完成贴图时的展示图,其中G为待开发的空地的土壤部分,
图6遥感影像图以及相应的红外遥感图之间按统一坐标系E(1)配准和信息映射示意图,
其中附图标记1一幅遥感影像图中预定建筑屋顶,A初始移动点,B矩形框几何中心,d初始步长,F矩形框,FP停留在原地的矩形框,l初始道路线段,LC导引线段。
具体实施方式
实施例1
本实施例对步骤S1进行具体的实施方式描述,
S1-1在54000个晴天早间时刻里,每个时刻都同步获取城市的1幅遥感影像图,以及1幅相应的红外遥感图,共54000×2个图像数据。其中存在1幅完整的具有矩形的屋顶边框市政大楼的遥感影像图以及相应的1幅红外遥感图;
S1-2如图1所示,将所述多幅遥感影像图以及相应的多幅红外遥感图组成的每组两幅图的多个图组,根据市政大楼和地理正北向而确定的每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E(i),i=1,2,…,54000,加Z轴形成立体坐标系。
具体是,选择市政大楼屋顶的一个顶点在地面的垂直投影作为坐标原点O,以其中一边在地面的垂直投影作为X轴,另一边在地面的垂直投影作为Y轴,Z轴为立轴形成地面平面直角坐标系E。
确定坐标系E的X轴与正北向之间的夹角γ,将坐标系E原点放置到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中在E下相同的预设点上,并调整X轴指向使其与正北向之间的夹角为γ,得到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中统一X轴指向的多个坐标系E(i),i=1,2,…,54000。
S1-3选取每一幅所述遥感影像图,以其中一预定建筑屋顶上任一点在E中XOY面内的投影作为起始点A。如图2b所示为其中一幅遥感影像图中预定建筑屋顶1的屋顶边缘一点在E中XOY面内的投影作为起始点,起始点与实施例2中的设定初始移动点A重合。
实施例2
本实施例对步骤S2中矩形框跟随移动点移动的实施方式进行描述
S2-1如图2a-2b,一幅遥感影像图中设定初始移动点A与起始点重合,设定与E中XOY面共面的具有一定宽度w且长度1m的矩形框F,在矩形框F几何中心B作为端点设置垂直于宽度方向且与矩形框F共面的导引线段LC,参考图2a-2b将所述矩形框F几何中心B与初始移动点A重合,且设定初始步长d=3m,将初始移动点A直线方向移动所述初始步长d,形成初始道路线段l,将导引线段LC与初始道路线段l重合形成图2c的状态。其中w按该幅遥感影像图的图像比例尺换算到的实际尺寸为4m。
S2-2从初始移动点A直线方向移动所述初始步长d后所处的点开始,利用RNN循环神经网络算法,通过包括编码器以及解码器的节点生成器生成道路连续节点,并在生成过程中连接生成前后的两个节点,并标注道路分叉的节点Dj(j=1,2,…,Mk),其中Mk为第k幅遥感影像图中最终道路网生成完毕时生成的道路分叉的节点总数,并在节点Dj上分离移动点为分岔路数个分离的移动点,继续各自利用RNN循环神经网络算法进行分形道路的节点生成。其中,将新的生成节点输入节点生成器不断产生新的节点,而继续连接产生的新节点,如此循环而连接成道路网。
其中RNN循环神经网络算法具体如图3a定义步长l(根据道路总长而在1-5m中选择)以及矢量方向r作为属性矢量V,将每个起始节点以及K条入射路经方向
Figure GDA0003715999520000101
的点作为输入点(K个点与对应的起始点之间对应了K个初始属性矢量),将K+1个输入点以及属性矢量V输入编码器,由解码器生成新节点;具体是对于每一个起始点的每一个方向的输入点
Figure GDA0003715999520000102
对应了在E下的坐标
Figure GDA0003715999520000103
属性矢量V对应于坐标增量
Figure GDA0003715999520000104
其中t表示当前输入点的序号(对于起始点为0,对于第一个新的输入点为1),将该坐标和属性矢量V输入编码器,解码器将出射在E下生成的新节点
Figure GDA0003715999520000105
其中
Figure GDA0003715999520000106
图3b中示例性地给出了每隔20次节点生成循环下,总共100次节点生成循环的路网生成过程。
如图2d,为一个分岔路的实施例,矩形框几何中心B从道路节点At-1开始(之前生成的路线以粗的虚曲线示意)分身为一个停留在原地形成矩形框FP以及继续移动的虚线矩形框F,历经了两个预设时间T(每经历预设时间间隔T之时正好移动了一个矩形框F的长度1m)之后几何中心B距离分叉节点D1(Xt,Yt,α,β)(也就是RNN循环神经网络算法在第t步生成节点At,以下简略为D1)为1m。即图2d所示的节点At-1与分叉节点连线上最左端一个狭长的虚线矩形框的长度为0.5m。其中Xt,Yt分别为分叉节点的在该遥感影像图中统一的坐标系下的横坐标、纵坐标,α,β即为分叉点D1的附加码,分别为所述连线在矩形框移动方向上延长线与两个分岔路线上离分叉节点D1最近的生成的道路节点At+1,1(也就是生成延长线上半部分分岔路线时RNN循环神经网络算法在第t+1步生成节点)和At+1,2(也就是生成延长线下半部分分岔路线时RNN循环神经网络算法在第t+1步生成节点)与分叉节点D1连线的夹角角度。
此时,如图2d所示,可以分离为节点D1上分岔路数2个与矩形框F全等的分离的矩形框F1 k
Figure GDA0003715999520000111
而继续移动到各自几何中心都与节点D1重合位置(如图2e所示意),且使得各自的导引线绕B旋转分别与连线At+1,1D1和连线At+1,2D1重合(如图2f所示意),之后各自再跟随生成节点At+1,1和At+1,2继续满足如下移动条件而移动。
移动条件为每经历预设时间间隔T之时正好移动了一个矩形框长度,并在此时分别继续分离矩形框F1 k和F2 k为两个,其中一个停留在原地分别形成矩形框
Figure GDA0003715999520000112
Figure GDA0003715999520000113
(图2f未示),而另一个仍然分别定义为矩形框F1 k和F2 k而继续进行所述移动。
也可以将历经了两个预设时间T虚线矩形框分身为一个狭长的虚线矩形框(长度为0.5m),继续移动到如图2d中的位置,使得该狭长的虚线矩形框的移动方向最前端的宽经过分叉点D1而停留在原地形成
Figure GDA0003715999520000114
(图2d中未示),另一个仍然是矩形框F而移动到如图2e中使得其几何中心B与分叉点D1重合,并进一步分离为如图2f的两个矩形框F1 k和F2 k,使得各自的导引线旋转分别与连线At+1,1D1和连线At+1,2D1重合,继续跟随分岔路线上的生成节点At+1,1和At+1,2满足上述移动条件而移动。
如图5a为城市中根据本实施例形成的城市路网模型m的局部,其中包含了主干道路上Dj、Dj+1、Dj+2、Dj+3四个分叉点,以及每个分叉点上部分的分岔路。
实施例3
本实施例将对道路材质贴图模型的建立与纹理贴图进行进一步的实施例描述,具体包括:
S2-2-1-1对所有多幅遥感影像图进行如实施例2的方式的矩形框移动,获取到多个停留在原地的矩形框FP或FiP k及其内部的图像pic1,并进行多个预设分区划分,在图2a矩形框F上以九宫格形式进行从1-9的编号,每个编号下以及相应的红外遥感图中对应分区都有相应的分为训练集、验证集(两者比例为8-3:2-1),获取每个分区图像内部属于路面的像素点的平均的RGB三值;
S2-2-1-2建立多个图像pic1中每个分区对应道路材质的RGB聚类分布图,所述道路材质包括混凝土、转色稳定的柏油、铺街地砖、土壤4种;
S2-2-1-3如图4,将每个分区训练集中U1幅同种道路材质的图像pic1(j)以及相应的道路材质的平均RGB三值输入到RoiAlign层将pic1(j)通过全连接层,以及softmax函数得到预测分类s,利用的预测分类s和输入平均RGB三值在所述聚类分布图中对应为分类q的置信度计算第1种道路材质误差损失
Figure GDA0003715999520000121
其中,
Figure GDA0003715999520000122
第1种道路材质的第k幅道路材质的图像
Figure GDA00037159995200001214
在所述聚类分布图中对应为分类q时的类别数,由于
Figure GDA0003715999520000123
中只有一种类别道路(没有车辆行人或其他物体),因此
Figure GDA0003715999520000124
则公式(1)化简为
Figure GDA0003715999520000125
其中,pj表示分区内第1种道路材质的训练集,
Figure GDA0003715999520000126
表示softmax函数得到的第k幅道路材质的图像
Figure GDA0003715999520000127
对于类别q的置信度,
Figure GDA0003715999520000128
为第k幅道路材质的图像
Figure GDA0003715999520000129
在全连接层得到在所述聚类分布图中对应为分类q时的4*1维向量第q个向量值,
Figure GDA00037159995200001210
Figure GDA00037159995200001211
分别表示对总的道路材质种数Q以及对分区内第1种道路材质的训练集中所有道路材质的图像
Figure GDA00037159995200001212
幅数求和,log()表示以e为底的对数,
利用误差损失反向传播来调整网络参数,进行分类回归对预测结果进行修正,使用分区内验证集验证当损失值变化率
Figure GDA00037159995200001213
趋于预设阈值thres范围(thres<2-5%)内时,认为已经获得第1种道路材质在所述聚类分布图中对应为分类q时预测分类的置信度
Figure GDA0003715999520000131
其中L(l+1)和L(l)分别为第l+1次训练和第l次训练的误差损失,
Figure GDA0003715999520000132
为此时分区内第k幅道路材质的图像
Figure GDA0003715999520000133
在全连接层得到在所述聚类分布图中对应为分类q时的4*1维向量第q个向量值,以及第j种道路材质在所述聚类分布图中对应为分类q时的中间分类预测模型
Figure GDA0003715999520000134
S2-2-1-4赋予第1种道路材质为剩余其他分类重复步骤S2-2-1-3,以遍历所有4种道路材质种类获得4种道路材质的分类的置信度
Figure GDA0003715999520000135
和对应的多个中间分类预测模型
Figure GDA0003715999520000136
选择置信度最大值
Figure GDA0003715999520000137
对应的中间分类预测模型作为第1种道路材质最终分类模型S1f
S2-2-1-5选择另一种道路材质的U2幅建道路材质图像pic1(2),重复步骤S2-2-1-3-S2-2-1-4,遍历所有4种道路材质,得到最终的道路材质分类模型Sf={S1f,S2f,S3f,S4f};建立道路材质分类模型与道路纹理图Pstr之间的映射关系F:Sf→Pstr,获得矩形框内每个分区道路材质贴图模型S记作S=Pstr=F(Sf)={F1(S1f),F2(S2f),F3(S3f),F4(S4f)};
S2-2-1-6建立道路材质的RGB聚类分布图中不同道路材质种类的红外遥感图谱中特征波段归一化强度与道路材质种类之间的道路材质红外分类模型Srem,其中下标rem表示道路材质分类模型对应的分类是经由道路材质红外分类模型Srem得到的,具体包括如下步骤:
对每个分区内训练集中对应的不同种材质道路进行主成分分析法聚类分析,得到的载荷图,并得到对于不同种材质道路敏感的特征波段,并用特征波段归一化强度作为神经网络的输入端建立基于人工神经网络的道路材质红外分类模型Srem,并用验证集验证。
所述pic2对应的红外遥感图中特征波段图谱,是指在所述pic2获取多个分区内部对应点的遥感红外光谱,并获得平均谱,基于所述平均谱获得特征波段图谱。平均谱是根据各波段的谱峰积分强度的算术平均或依照各波段的权重而对各波段的谱峰积分强度进行加权平均。
S2-2-2具体包括:获取矩形框每个分区内1幅分区图像pic3,将pic3代入Sf中获得Q个置信度中最大值对应的模型Smaxf所对应的材质作为该输入pic3中道路路面对应的预测材质sf,再获取pic3对应的红外遥感图中特征波段归一化强度输入到道路材质红外分类模型Srem中得到道路材质分类sremf
S2-2-3具体包括:若sf=sremf,则利用对应的贴图模型Fmaxf(Smaxf)获得道路材质纹理图Pmaxstr,找到贴图库中相应的纹理图案,并将该纹理图纹理填充到每个分区内,形成贴图层PmaxstrL完成贴图,反之,
将道路材质分类sremf对应的道路材质分类模型Sremf获得道路材质纹理图Premf=Fremf(Sremf),找到贴图库中相应的纹理图案,并将该纹理图纹理填充到每个分区内,形成贴图层PremfL完成贴图。
图5b为本实施例完成的图5a上主干路的转色稳定的柏油纹理贴图效果图,其中箭头所指的G处存在待开发的空地为土壤类型。图5b中还以黑色线条描绘了实际道路大致轮廓,与纹理贴图比较而言整体范围更大。不完全覆盖的纹理贴图即能够真实描述出道路的材质,以及道路中出现空地边缘的使用情况。
实施例4
本实施例将描述遥感影像图和遥感红外图配准以及贴图纹理的映射方案。
S3具体包括:如图6所示,将测试集中完成道路路线上的纹理贴图的多幅遥感影像图以及相应的红外遥感图进行配准,并将所述贴图层PmaxstrL或PremfL映射到相应的红外遥感图中,所述配准是指将测试集中具有贴图层PmaxstrL或PremfL的遥感影像图与相应的红外遥感图按各自的坐标系E(1)的Z轴重合而使得X轴或Y轴相互平行。如此就能通过遥感影像图和遥感红外图的图像手段而研究道路材质以及使用情况,为道路周边的地理地质研究提供基础数据。

Claims (13)

1.基于移动跟随识别的人工神经网络道路纹理贴图方法,其特征在于,包括如下步骤:
S1.获取至少一个城市或乡镇或郊外的多幅遥感影像图以及相应的红外遥感图,确立所述多幅遥感影像图以及相应的红外遥感图之间统一的多个地理坐标系,并在所述多幅遥感影像图中的每一副遥感影像图上设定道路生成的起始点;
S2.设定移动点,从所述起始点开始基于移动点的移动和点分离而生成城市或乡镇或郊外道路网模型m,并在生成过程中跟随移动点和分离的点完成道路路线上的道路纹理贴图;
S3.根据所述统一的多个地理坐标系将完成道路路线上的纹理贴图的多幅遥感影像图与所述相应的红外遥感图进行配准;
S2具体包括:
S2-1在选取的每一幅所述遥感影像图中设定初始移动点A与起始点重合,设定与选取的每一幅所述遥感影像图中建立的坐标系的XOY面共面的具有一定宽度w的矩形框F,在矩形框F几何中心上设置垂直于宽度方向且与矩形框F共面的导引线段LC,将所述矩形框F几何中心与初始移动点A重合,且设定初始步长d,将初始移动点A直线方向移动所述初始步长d,形成初始道路线段l,将导引线段LC与初始道路线段l重合;
S2-2从初始移动点A直线方向移动所述初始步长d后所处的点开始,利用RNN循环神经网络算法,通过包括编码器以及解码器的节点生成器生成道路连续节点,在生成过程中连接生成前后的两个节点并标注道路分叉节点Dj,j=1,2,…,Mk,其中Mk为第k幅遥感影像图中最终路网生成完毕时生成的道路分叉节点总数,并在分叉节点Dj上分离移动点为分岔路线数个分离的移动点,继续各自利用RNN循环神经网络算法进行分岔路线的节点生成,其中,将新的生成节点输入节点生成器不断产生新的节点,而继续连接产生的新节点,如此循环而连接成道路网形成路网模型m,所述分叉节点Dj以在其选取的每一幅所述遥感影像图中建立的坐标系下的坐标和一个附加码
Figure FDA0003715999510000011
进行标注;
其中,在生成第一个节点并连接所述所处的点和第一个节点之后开始跟随移动点移动所述矩形框F,移动过程中始终保持导引线段LC与生成前后的两个节点之间的连线重合,在移动过程中识别矩形框F内的道路材质并完成道路纹理贴图。
2.根据权利要求1所述的方法,其特征在于,S1具体包括:
S1-1获取1-2000个城市或乡镇或郊外的多幅遥感影像图以及相应的红外遥感图,所述相应的红外遥感图是与所述多幅遥感影像图采集的同一时刻获取的,且对于同一个城市或乡镇或郊外的同一图像采集覆盖区域内的多幅遥感影像图之间为不同时刻获取的,并获取所述多幅遥感影像图中选定完整的预定标准建筑,所述多幅遥感影像图的幅数为540-3000000;
S1-2将所述多幅遥感影像图以及相应的多幅红外遥感图组成的每组两幅图的多个图组,根据预定标准建筑和地理正北向确定每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E(i),i=1,2,…,N,N为遥感影像图或相应的红外遥感图的幅数;
S1-3选取每一幅所述遥感影像图,以其中一预定建筑屋顶上任一点在其建立的坐标系的XOY面内的投影作为起始点。
3.根据权利要求2所述的方法,其特征在于,所述预定标准建筑具有矩形的屋顶边框,并且选择其中一个顶点在地面的垂直投影作为坐标原点O,以其中一边在地面的垂直投影作为X轴,另一边在地面的垂直投影作为Y轴,或者所述X轴指向正东方,Y轴正北方,并且加Z轴形成立体坐标系E,
所述根据预定标准建筑和地理正北向确定每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E(i),i=1,2,…,N,具体包括:确定坐标系E的X轴与正北向之间的夹角γ,将坐标系E原点放置到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中在E下相同的预设点上,并调整X轴指向使其与正北向之间的夹角为γ,或者当所述X轴指向正东方,Y轴正北方时,调整X轴指向正东方或调整Y轴指向正北方,得到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中统一X轴指向的多个坐标系E(i),i=1,2,…,N。
4.根据权利要求2所述的方法,其特征在于,S2-1中,w不小于按照所述多幅遥感影像图中对应的道路宽度中最小的宽度,或者,w按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为3-5m,或者w为所述多幅遥感影像图中所有道路宽度平均值的0.5-1.5倍,所述初始步长d不小于矩形框的长度即不小于1-2m。
5.根据权利要求4所述的方法,其特征在于,d为按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为1-5m,且在所有的多幅遥感影像图中,任一矩形框的移动在当矩形框F几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度之前,都满足如下移动条件:每经历预设时间间隔T之后正好移动了一个矩形框F长度,并在此时分离该矩形框F为两个与矩形框F全等的矩形框,其中一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图而另一个仍然继续进行所述移动,并且,
在第k幅遥感影像图中,当矩形框F的几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度时,分离为一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图,以及一组分叉节点Dj上分岔路线数Nj个与矩形框F全等的分离的矩形框Fi k,i=1,2,…,Nj而继续移动到各自几何中心都与分叉节点Dj重合且各自的引导线都与各自分岔路线上与分叉节点Dj最近的节点与分叉节点Dj的连线重合的位置,之后各自再跟随所述分岔路线数个分离的移动点继续在满足所述移动条件下移动,且所述继续移动的过程中同样使得各导引线段与各分岔路线中生成前后的两个节点之间的连线重合,并同样在所述继续移动过程中识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图。
6.根据权利要求4所述的方法,其特征在于,d为按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为1-5m,且在所有的多幅遥感影像图中,任一矩形框的移动在当矩形框F几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度之前都满足如下移动条件:每经历预设时间间隔T之后正好移动了一个矩形框F长度,并在此时分离该矩形框F为两个与矩形框F全等的矩形框,其中一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图而另一个仍然继续进行所述移动,从而在节点连线上生成了多个停留在原地的矩形框,并且,
在第k幅遥感影像图中,当道路分叉节点或非分叉节点与其距离最接近的前一个用于识别其内部的道路材质并完成道路纹理贴图的停留在原地的矩形框的几何中心之间的连线长度小于或等于该停留在原地的矩形框的长度时,该停留在原地的矩形框分离为一个长度为该小于或等于该停留在原地的矩形框的长度的矩形框而继续移动,使得其移动方向最前端的宽经过该道路分叉节点或非分叉节点时停留在原地形成长度改变的矩形框
Figure FDA0003715999510000031
或FP,以及另一个长度不变的矩形框继续移动到其几何中心与该道路分叉节点或非分叉节点重合的位置,且对道路分叉节点情况,该另一个长度不变的矩形框进一步分离成该道路分叉节点上分岔路线数个与该另一个长度不变的矩形框全等的分离的矩形框,使得各自的引导线分别与各自分岔路线上与该道路分叉节点最近的节点与该道路分叉节点的连线重合,之后各自再跟随所述分岔路线数个分离的移动点继续在满足所述移动条件下移动,且所述继续移动的过程中同样使得各导引线段与各分岔路线中生成前后的两个节点之间的连线重合,并同样在继续移动过程中识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图。
7.根据权利要求5或6所述的方法,其特征在于,附加码
Figure FDA0003715999510000032
为当道路分叉节点与其距离最接近的前一个停留在原地的矩形框的几何中心之间的连线长度小于或等于该停留在原地的矩形框的长度时,所述连线在移动方向上延长线与多个分岔路线上离分叉节点最近的生成的道路节点与该道路分叉节点连线之间的多个夹角角度,当完成所述道路纹理贴图后即删除对应的停留在原地形成矩形框。
8.根据权利要求7所述的方法,其特征在于,识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图具体包括:
S2-2-1建立道路材质贴图模型;
S2-2-2将矩形框内的多个预设分区图像代入道路材质贴图模型中获得矩形框内路面的纹理图;
S2-2-3找到贴图库中多个预设分区所对应的纹理图案,并将纹理图案对应地填充到矩形框中的所述多个预设分区完成贴图。
9.根据权利要求8所述的方法,其特征在于,其中步骤S2-2-1具体包括:
S2-2-1-1对所有多幅遥感影像图进行矩形框移动,获取到多个停留在原地的矩形框FP或FiP k及其内部的图像pic1,并进行多个预设分区划分编号,每个编号下以及相应的红外遥感图中对应分区都有相应的分为训练集和验证集,获取每个分区图像内部属于路面的像素点的平均RGB三值;
S2-2-1-2建立多个图像pic1中每个分区对应道路材质的RGB聚类分布图,所述道路材质包括混凝土、新铺柏油、转色稳定的柏油、铺街石板、铺街地砖、矿渣、生活垃圾焚烧粉渣、土壤、植被中的至少三种;
S2-2-1-3将每个分区训练集中Uj幅同种道路材质的图像pic1(j)以及相应的道路材质的平均RGB三值输入到RoiAlign层将pic1(j)通过全连接层,以及softmax函数得到预测分类s,利用的预测分类s和输入平均RGB三值在所述聚类分布图中对应为分类q的置信度计算第j种道路材质误差损失
Figure FDA0003715999510000033
其中,pj表示分区内第j种道路材质的训练集,
Figure FDA0003715999510000041
表示softmax函数得到的第k幅道路材质的图像
Figure FDA0003715999510000042
对于类别q的置信度,
Figure FDA0003715999510000043
为第k幅道路材质的图像
Figure FDA0003715999510000044
在全连接层得到在所述聚类分布图中对应为分类q时的Q*1维向量第q个向量值,Q为总的道路材质种数,Q≥3,
Figure FDA0003715999510000045
Figure FDA0003715999510000046
分别表示对总的道路材质种数Q以及对分区内第j种道路材质的训练集中所有道路材质的图像
Figure FDA0003715999510000047
幅数求和,log()表示以e为底的对数,
利用误差损失反向传播来调整网络参数,进行分类回归对预测结果进行修正,使用分区内验证集验证当损失值变化率
Figure FDA0003715999510000048
趋于预设阈值thres<2-5%内时,认为已经获得第j种道路材质在所述聚类分布图中对应为分类q时预测分类的置信度
Figure FDA0003715999510000049
其中L(l+1)和L(l)分别为第l+1次训练和第l次训练的误差损失,
Figure FDA00037159995100000410
为此时分区内第k幅道路材质的图像
Figure FDA00037159995100000411
在全连接层得到在所述聚类分布图中对应为分类q时的Q*1维向量第q个向量值,以及第j种道路材质在所述聚类分布图中对应为分类q时的中间分类预测模型
Figure FDA00037159995100000412
S2-2-1-4赋予第j种道路材质为所述聚类分布图中其他分类重复步骤S2-2-1-3,以遍历所有道路材质种类获得Q种道路材质的分类的置信度
Figure FDA00037159995100000413
和对应的多个中间分类预测模型
Figure FDA00037159995100000414
选择置信度最大值
Figure FDA00037159995100000415
对应的中间分类预测模型作为第j种道路材质最终分类模型Sjf
S2-2-1-5选择另一种道路材质的Uj+1幅建道路材质图像pic1(j+1),重复步骤S2-2-1-3-S2-2-1-4,遍历所有Q种道路材质,得到最终的道路材质分类模型Sf={S1f,S2f,…,SQf};建立道路材质分类模型与道路纹理图Pstr之间的映射关系F:Sf→Pstr,获得矩形框内每个分区道路材质贴图模型S记作S=Pstr=F(Sf)={F1(S1f),F2(S2f),…,FQ(SQf)};
S2-2-1-6建立道路材质的RGB聚类分布图中不同道路材质种类的红外遥感图谱中特征波段归一化强度与道路材质种类之间的道路材质红外分类模型Srem,具体包括如下步骤:
对每个分区内训练集中对应的不同种材质道路进行主成分分析法聚类分析,得到的载荷图,并得到对于不同种材质道路敏感的特征波段,并用特征波段归一化强度作为神经网络的输入端建立基于人工神经网络的道路材质红外分类模型Srem,并用验证集验证;
S2-2-2具体包括:获取每个分区内1幅分区图像pic3,将pic3代入相应分区的Sf中获得Q个置信度中最大值对应的模型Smaxf所对应的材质作为该输入pic3中道路路面对应的预测材质sf,再获取pic3对应的红外遥感图中特征波段归一化强度输入到道路材质红外分类模型Srem中得到道路材质分类sremf
S2-2-3具体包括:若sf=sremf,则利用对应的贴图模型Fmaxf(Smaxf)获得道路材质纹理图Pmaxstr,找到贴图库中相应的纹理图案,并将该纹理图纹理填充到每个分区内,形成贴图层PmaxstrL完成贴图,反之,
将道路材质分类sremf对应的道路材质分类模型Sremf获得道路材质纹理图Premf=Fremf(Sremf),找到贴图库中相应的纹理图案,并将该纹理图纹理填充到每个分区内,形成贴图层PremfL完成贴图。
10.根据权利要求9所述的方法,其特征在于,平均RGB三值选择加权平均计算,越靠近矩形框FP或FiP k的处权值越小,具体包括在内部点到任选的以FP或FiP k矩形框边的距离等分为每份lp长,通过线性递减方式权值从该内部点处为50%一直到矩形框边变化;所述pic2对应的红外遥感图中特征波段图谱,是指在所述pic2获取多个分区内部对应点的遥感红外光谱,并获得平均谱,基于所述平均谱获得特征波段图谱,平均谱是根据各波段的谱峰积分强度的算术平均或依照各波段的权重而对各波段的谱峰积分强度进行加权平均。
11.根据权利要求9或10所述的方法,其特征在于,S3具体包括:将完成道路路线上的纹理贴图的多幅遥感影像图以及相应的红外遥感图进行配准,并将所述贴图层PmaxstrL或PremfL映射到相应的红外遥感图中,所述配准是指将具有贴图层PmaxstrL或PremfL的遥感影像图与相应的红外遥感图按各自的坐标系的原点和X轴或Y轴重合进行配准,或者将Z轴重合而使得X轴或Y轴相互平行。
12.一种基于移动跟随识别的人工神经网络道路纹理贴图系统,其特征在于,包括航空遥感系统,地面服务器,以及客户端,所述航空遥感系统与所述地面服务器之间,以及所述地面服务器和所述客户端之间能够数据通讯,其中,
所述航空遥感系统包括,卫星定位装置,卫星遥感影像拍摄装置,遥感红外拍摄装置,分别实现同步对地面可见光波段遥感影像的拍摄,获得遥感影像图,以及遥感红外图以及红外光谱的采集,
所述地面服务器基于如权利要求1-11中任一项所述方法对遥感影像图以及遥感红外光谱进行处理而完成道路纹理贴图,并将道路纹理贴图结果根据用户的请求而发送给用户,
所述客户端能够对接收到的所述结果进行展示。
13.一种非暂时性存储介质,其中存储有可由地面服务器运行而实现如权利要求1-11中任一项所述方法的计算机可读程序。
CN202111355515.XA 2021-11-16 2021-11-16 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统 Active CN114187341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355515.XA CN114187341B (zh) 2021-11-16 2021-11-16 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111355515.XA CN114187341B (zh) 2021-11-16 2021-11-16 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统

Publications (2)

Publication Number Publication Date
CN114187341A CN114187341A (zh) 2022-03-15
CN114187341B true CN114187341B (zh) 2022-09-06

Family

ID=80540183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111355515.XA Active CN114187341B (zh) 2021-11-16 2021-11-16 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统

Country Status (1)

Country Link
CN (1) CN114187341B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905445B (zh) * 2022-12-16 2023-08-25 河南大学 一种基于Seq2Seq模型的道路要素化简方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850445A (zh) * 2015-08-03 2018-03-27 通腾全球信息公司 用于生成及使用定位参考数据的方法及系统
CN110569755A (zh) * 2019-08-26 2019-12-13 浙江工商大学 一种基于视频的智能积水检测方法
CN112802021A (zh) * 2021-04-09 2021-05-14 泰瑞数创科技(北京)有限公司 基于数字孪生技术的城市桥梁道路诊断方法及其系统
CN113256980A (zh) * 2021-05-28 2021-08-13 佳都科技集团股份有限公司 一种路网状态的确定方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001243301A1 (en) * 2000-03-10 2001-09-24 Motorola, Inc. Multiple tree hierarchical communication system and method
CN113591722B (zh) * 2021-08-02 2023-09-12 山东大学 一种移动机器人的目标人员跟随控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850445A (zh) * 2015-08-03 2018-03-27 通腾全球信息公司 用于生成及使用定位参考数据的方法及系统
CN110569755A (zh) * 2019-08-26 2019-12-13 浙江工商大学 一种基于视频的智能积水检测方法
CN112802021A (zh) * 2021-04-09 2021-05-14 泰瑞数创科技(北京)有限公司 基于数字孪生技术的城市桥梁道路诊断方法及其系统
CN113256980A (zh) * 2021-05-28 2021-08-13 佳都科技集团股份有限公司 一种路网状态的确定方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yizhou Yu et al..Extracting Objects from Range and Radiance Images.《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》.2001,第351-364页. *
刘 刚等.对偶图节点重要度的道路网自动选取方法.《测绘学报》.2014,第97-104页. *

Also Published As

Publication number Publication date
CN114187341A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
JP6813703B2 (ja) 装置の位置特定のための幾何学的指紋法
Rose et al. Characterizing the fabric of the urban environment: a case study of Greater Houston, Texas
JP6619023B2 (ja) マルチラテレーションを用いた装置の位置特定
Hinz et al. Automatic extraction of urban road networks from multi-view aerial imagery
JP6666358B2 (ja) 装置の位置特定のための特徴ジオメトリーの選択
CN113920266B (zh) 城市信息模型语义信息人工智能生成方法和系统
Jha et al. Using GIS, genetic algorithms, and visualization in highway development
CN113239442A (zh) 一种三维模型构建方法、装置、设备和计算机可读存储介质
CN116227834A (zh) 一种基于三维点云模型的智能景区数字化平台
CN114187341B (zh) 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
CN106705962A (zh) 一种获取导航数据的方法及系统
Obaidat et al. Integration of geographic information systems and computer vision systems for pavement distress classification
CN108388995A (zh) 一种道路资产管理系统的建立方法及建立系统
Heras et al. Urban heritage monitoring, using image processing techniques and data collection with terrestrial laser scanner (TLS), case study cuenca-Ecuador
Tang et al. Assessing the visibility of urban greenery using MLS LiDAR data
CN113032877A (zh) 基于bim技术施工场地临建方案的优化方法
Komadina et al. Automated 3D urban landscapes visualization using open data sources on the example of the city of Zagreb
CN111047694A (zh) 一种基于视觉与规则的三维道路建模方法及系统
Treccani et al. Automating the inventory of the navigable space for pedestrians on historical sites: towards accurate path planning
Bianchi et al. Integrated survey for architectural restoration: a methodological comparison of two case studies
Zachar et al. Cenagis-Als Benchmark-New Proposal for Dense ALS Benchmark Based on the Review of Datasets and Benchmarks for 3d Point Cloud Segmentation
Gu et al. Surveying and mapping of large-scale 3D digital topographic map based on oblique photography technology
Treccani et al. Accessible path finding for historic urban environments: feature extraction and vectorization from point clouds
Emery et al. Characterizing urban morphology for urban climate simulation based on a GIS approach
Kazemi Knowledge-based generalisation of road networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 22 / F, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100086

Applicant after: Terry digital technology (Beijing) Co.,Ltd.

Address before: 100089 22 / F, building 683, zone 2, 5 Zhongguancun South Street, Haidian District, Beijing

Applicant before: Terra-IT Technology (Beijing) Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant