CN117611642A - 一种地图图像配准方法、设备和介质 - Google Patents
一种地图图像配准方法、设备和介质 Download PDFInfo
- Publication number
- CN117611642A CN117611642A CN202311631172.4A CN202311631172A CN117611642A CN 117611642 A CN117611642 A CN 117611642A CN 202311631172 A CN202311631172 A CN 202311631172A CN 117611642 A CN117611642 A CN 117611642A
- Authority
- CN
- China
- Prior art keywords
- image
- map
- average value
- coordinate
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013507 mapping Methods 0.000 claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 49
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开一种地图图像配准方法、设备和介质。该方法包括：获取待配准地图图像，并基于预先训练的神经网络模型确定待配准地图图像所对应的图像特征点；获取电子地图图像，并接收用户按照图像特征点在电子地图图像中所标注的图像映射点；基于预设最小均方误差匹配确定图像特征点与图像映射点之间的图像变换参数；将电子地图进行地图瓦片的合成，得到合成后的基准配准地图；基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加。本发明实施例，通过上述技术方案，能够使得配准所需特征点数量大大降低的同时，配准时间也大大降低，提升图像配准的效率以及图像配准的精度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种地图图像配准方法、设备和介质。
背景技术
图像配准方法在过去几年的发展已相对完善，从开始的基于特征的传统方法，到现今的深度学习方法，再到使用基于强化学习和复杂变换的方法，图片配准的精度正在不断地提高，但现有图像配准算法在扫描图像与瓦片地图上的应用却非常少见，并且，使用常规图像配准的特征提取方法应用于高清扫描地图图像，有可能因为提取出来的特征数目过多而导致系统崩溃。且由于地图中存在标注信息，这些信息在特征提取过程中成为了噪声，影响配准精度。大数据量的特征点对的匹配，导致配准所需要的时间很长，远远超出用户的承受范围，且，当前数据集的图像配准工作大多由手动标注，所耗人力物力代价很高。
发明内容
有鉴于此，本发明提供一种地图图像配准方法、设备和介质，能够使用神经网络完成图像特征点的自动精准提取，使得配准所需特征点数量大大降低的同时，配准时间也大大降低，提升图像配准的效率以及图像配准的精度。
根据本发明的一方面，本发明实施例提供了一种地图图像配准方法，所述方法包括：
获取待配准地图图像，并基于预先训练的神经网络模型确定所述待配准地图图像所对应的图像特征点；其中，所述待配准地图图像为历史地图图像；
获取电子地图图像，并接收用户按照所述图像特征点在所述电子地图图像中所标注的图像映射点；
基于预设最小均方误差匹配确定所述图像特征点与所述图像映射点之间的图像变换参数；其中，所述图像变换参数包括：图像缩放比例、旋转角度、横向平移距离和纵向平移距离；
将所述电子地图进行地图瓦片的合成，得到合成后的基准配准地图；
基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加。
根据本发明的另一方面，本发明实施例还提供了一种地图图像配准装置，所述装置包括：
特征点确定模块，用于获取待配准地图图像，并基于预先训练的神经网络模型确定所述待配准地图图像所对应的图像特征点；其中，所述待配准地图图像为历史地图图像；
映射点确定模块，用于获取电子地图图像，并接收用户按照所述图像特征点在所述电子地图图像中所标注的图像映射点；
参数确定模块，用于确定所述图像特征点与所述图像映射点之间的图像变换参数；其中，所述图像变换参数包括：图像缩放比例、旋转角度、横向平移距离和纵向平移距离；
合成模块，用于将所述电子地图进行地图瓦片的合成，得到合成后的基准配准地图；
图像配准模块，用于基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加，并将叠加后的配准叠加图像进行保存。
根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的地图图像配准方法。
根据本发明的另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的地图图像配准方法。
本发明实施例的技术方案，通过预先训练的神经网络模型确定待配准地图图像所对应的图像特征点，接收用户按照图像特征点在电子地图图像中所标注的图像映射点，能够使用深度学习算法来实现图像特征点的自动提取，仅仅在瓦片地图上使用手动标注，大大提升效率；基于预设最小均方误差匹配确定图像特征点与图像映射点之间的图像变换参数，将电子地图进行地图瓦片的合成，得到合成后的基准配准地图，基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加，能够使得配准时间大大降低，配准所需特征点数量也同样大大降低，且，提升了图像配准的精度。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种地图图像配准方法的流程图；
图2为本发明一实施例提供的另一种地图图像配准方法的流程图；
图3为本发明一实施例提供的一种对待配准地图图像进行图像预处理的流程图；
图4为本发明一实施例提供的一种使用CNN模型确定待配准地图图像所对应的图像特征点的流程图；
图5为本发明一实施例提供的又一种地图图像配准的流程图；
图6为本发明一实施例提供的一种地图图像配准装置的结构框图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一实施例中，图1为本发明一实施例提供的一种地图图像配准方法的流程图，本实施例可适用于对地图图像进行叠加配准时的情况，该方法可以由地图图像配准装置来执行，该地图图像配准装置可以采用硬件和/或软件的形式实现，该地图图像配准装置可配置于电子设备中。
如图1所示，本实施例中地图图像配准方法，该方法具体步骤包括：
S110、获取待配准地图图像，并基于预先训练的神经网络模型确定待配准地图图像所对应的图像特征点。
其中，待配准地图图像指的是需要进行地图配准的图像，待配准地图图像为某一目标区域的历史地图图像；图像特征点为所提取出的历史地图图像中的特征点，这个特征点是历史地图图像中某一区域的位置信息特征点。
在本实施例中，每个图像特征点均对应有相应的位置信息，该位置信息表示为二维的坐标信息。在一些实施例中，图像特征点的数量为N个；各图像特征点表征所述待配准图像中目标区域的图像位置信息；各图像位置信息包括X轴坐标信息和Y轴坐标信息；第i个图像特征点对应的第一图像位置信息表示为(xi,yi)，其中，xi表示第i个图像特征点对应的第一X轴坐标信息，yi表示第i个图像特征点对应的第一Y轴坐标信息，其中，i＝1,2,3，…，N。示例性的，以N个特征点对为输入，第i个特征点对的坐标为(xi,yi)，用户按照图像特征点在电子地图图像中所标注的图像映射点的坐标可以表示为分别为(xi',yi')，其中，i＝1,2,3，…，N。
在本实施例中，预先训练的神经网络模型可以为CNN模型，也可以是CNN模型所包括的D2-Net模型，使用单个卷积神经网络同时进行特征检测并提取密集的特征描述符。本实施例中，可以使用预先训练的神经网络模型完成图像的特征点对提取。在一些实施例中，可以对待配准地图图像进行图像处理，得到图像处理后的初始图像，并对初始图像对应的图像参数进行保存，采用SOBEL边缘算子对初始图像进行边缘检测得到灰度图像，将灰度图像输入深度学习神经网络模型中进行图像特征提取得到图像特征点；在另一些实施例中，可以采用尺度不变特征变换的方式从图像纹理信息来提取，除此之外，还可以通过快速特征点提取和描述方法从图像区域灰度统计信息来提取，或者通过频谱变化、小波变换等变换后的特殊空间进行提取，本实施例在此不做限制。
S120、获取电子地图图像，并接收用户按照图像特征点在电子地图图像中所标注的图像映射点。
其中，电子地图图像可以理解为初始合成的电子地图，的显示使用的是leaflet，leaflet可以理解为开源的Javascript交互式地图框架，使用leaflet框架在web页面绘制地图。
在本实施例中，用户可以根据待配准地图图像所提取的图像特征点，手动标注在初始合成的电子地图上对应标注点，可以理解为，将待配准地图图像的图像特征点手动标注在电子地图上与该图像特征点相对应的标注点上，该标注点也可以成为图像映射点。本实施例中，可以利用web前端提供的组件，手工标注在电子地图上。在本实施例中，图像映射点对应的坐标可以通过web前端接口获取，第i个图像映射点对应的第二图像位置信息表示为(xi',yi')，其中，xi'表示第i个图像映射点对应的第二X轴坐标信息，yi'表示第i个图像映射点对应的第二Y轴坐标信息，其中，i＝1,2,3，…，N。
S130、基于预设最小均方误差匹配确定图像特征点与图像映射点之间的图像变换参数。
其中，预设最小均方误差匹配方法可以理解为通过求解矩阵X到矩阵Y的变换矩阵，均方误差最小的位置为最佳匹配位置。图像变换参数包括：图像缩放比例、旋转角度、横向平移距离和纵向平移距离。
在本实施例中，可以依据最小均方误差匹配，以确定图像特征点与图像映射点之间的图像变换参数，在一些实施例中，可以依据图像特征点的总数量、每个图像特征点之和的总坐标平均值、第i个图像特征点的坐标平均值以及第i个图像映射点的坐标平均值确定第一旋转角度，并依据预设反三角函数和第一旋转角度得到目标旋转角度，依据目标旋转角度、每个图像特征点之和的总坐标平均值、第i个图像特征点的坐标平均值以及第i个图像映射点的坐标平均值确定图像缩放比例，基于目标旋转角度、图像缩放比例、每个图像特征点之和的总坐标平均值、第i个图像映射点的坐标平均值确定横向平移距离以及纵向平移距离，将横向平移距离以及纵向平移距离、目标旋转角度、图像缩放比例作为图像变换参数；在另一些实施例中，也可以确定输出图像和原图像坐标的映射关系，通过映射关系确定图像变换参数，本实施例在此不做限制。
S140、将电子地图进行地图瓦片的合成，得到合成后的基准配准地图。
其中，地图瓦片是将一定范围内的地图按照一定的尺寸和格式，按缩放级别或者比例尺，切成若干行和列的正方形栅格图片，切片后的正方形栅格图片就如同屋顶错落有致的瓦片一样，故被形象的称为地图瓦片。基准配准地图即为与待配准图像进行配准的基准参考图像。
在本实施例中，可以依据图像变换参数确定所述待配准地图图像的偏移信息，得到偏移后的边界点坐标范围，依据边界点坐标范围确定叠加配准后待配准地图图像的覆盖面积，并依据覆盖面积与电子地图的面积得到所需的地图瓦片，获取地图瓦片的块号范围，并依据块号范围创建空白图层，并将地图瓦片的对应图像覆盖到空白图层的对应位置，完成地图瓦片的合成，得到合成后的基准配准地图；在一些实施例中，也可以通过其他的方式以进行地图瓦片的合成，得到合成后的基准配准地图，本实施例在此不做限制。
S150、基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加。
在本实施例中，使用图像最小误差值校准匹配算法利用特征点对和对应的标注点计算出图像变换参数，上述过程可称为计算待配准图像偏移。最后，将地图瓦片合成为电子地图，合成的电子地图与待配准的历史地图图像大小兼容，然后完成图像叠加，并将叠加后的图像进行分割保存。
在一些实施例中，可以依据图像缩放比例、旋转角度、横向平移距离和纵向平移距离将待配准地图图像移动到基准配准地图中，以完成待配准地图图像与基准配准地图的配置叠加；在另一些实施例中，也可以通过模版匹配算法和跟踪算法实现动态地图配准；在另一些实施例中，也可以以梯度角分割线性支持区域，用SIFT算法及几何异常匹配点对剔除算法，通过匹配的关键点实现图像配准；本实施例在此不做限制。
本发明实施例的技术方案，通过预先训练的神经网络模型确定待配准地图图像所对应的图像特征点，接收用户按照图像特征点在电子地图图像中所标注的图像映射点，能够使用深度学习算法来实现图像特征点的自动提取，仅仅在瓦片地图上使用手动标注，大大提升效率；基于预设最小均方误差匹配确定图像特征点与图像映射点之间的图像变换参数，将电子地图进行地图瓦片的合成，得到合成后的基准配准地图，基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加，能够使得配准时间大大降低，配准所需特征点数量也同样大大降低，且，提升了图像配准的精度。
在一实施例中，在基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加之后，还包括：
将叠加后的配准叠加图像进行分割保存。
其中，分割的方式，包括：将叠加后的配准叠加图像按照地图瓦片格式进行分割，并根据地图瓦片的左上角块号将分割后的地图瓦片进行保存。
在本实施例中，将叠加后的配准叠加图像进行分割保存，本实施例中，在进行分割时，可以将叠加后的配准叠加图像按照地图瓦片格式进行分割，并根据所述地图瓦片的左上角块号将分割后的地图瓦片进行保存。可以理解为，地图瓦片的分割算法需要2个步骤：一是将叠加后的图片按照地图瓦片格式进行分割，二是根据左上角块号将分割后的地图瓦片保存。
在一实施例中，图2为本发明一实施例提供的另一种地图图像配准方法的流程图，本实施例在上述各实施例的基础上，对基于预先训练的神经网络模型确定待配准地图图像所对应的图像特征点；基于预设最小均方误差匹配确定图像特征点与图像映射点之间的图像变换参数；将电子地图进行地图瓦片的合成，得到合成后的基准配准地图；以及基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加进行了进一步的细化。
如图2所示，本实施例中的地图图像配准方法，具体可以包含如下步骤：
S210、获取待配准地图图像，对待配准地图图像进行图像裁剪和图像缩放，得到缩放后达到预设像素的初始图像，并对初始图像对应的图像参数进行保存。
其中，图像参数至少包括：裁剪的形式、缩放比例、图像像素。
在本实施例中，获取待配准地图图像，对待配准地图图像进行图像裁剪得到裁剪后的第一图像，按照预设缩放比例对第一图像进行图像缩放得到缩放后达到预设像素的初始图像，当然，裁剪的形式、缩放比例以及图像像素需要保存。即在进行图像SOBEL处理前，需要对图像进行缩放，对图像的缩放比例，即相比与原图的缩放比例，后续恢复时，对特征点的横纵坐标进行缩放比例的相乘计算，来恢复为原特征点坐标。
S220、采用SOBEL边缘算子对初始图像进行边缘检测得到边缘特征达到预设特征阈值的灰度图像。
其中，预设特征阈值可以理解为具有明显边缘特征的灰度图像。
在本实施例中，SOBEL算子把图像中每个像素的上下左右四个区域的灰度值做加权差，在边缘处达到极值从而达到检测边缘的目的，本实施例中，可以采用SOBEL边缘算子对所述初始图像进行边缘检测得到边缘特征达到预设特征阈值的灰度图像，可以理解为，使用SOBEL算子进行图像处理，SOBEL用于对图像进行边缘检测，边缘意思是灰度或结构等信息的突变处，边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。本实施例中，Sobel算子是一阶导数的边缘检测算子，在算法实现过程中，通过3×3模板作为核函数对图像中的每个像素点做卷积和运算，然后选取合适的阈值以提取边缘，本实施例中，处理后的图像是具有明显边缘特征的灰度图像。
示例性的，为便于更好的理解对待配准地图图像进行图像预处理过程，图3为本发明一实施例提供的一种对待配准地图图像进行图像预处理的流程图，如图3所示，先将待配准地图图像进行裁剪为正方形形式，然后将裁剪后的图像缩放至800*800像素，最后对缩放后的图像执行SOBEL边缘算子对所述初始图像进行边缘检测得到边缘特征达到预设特征阈值的灰度图像。
S230、将灰度图像输入D2-Net模型进行图像特征提取，得到待配准地图图像所对应的初始图像特征点。
在本实施例中，在对待配准地图图像进行图像预处理之后，可以使用D2-Net模型进行特征提取，可以理解为，将所述灰度图像输入所述D2-Net模型进行图像特征提取，得到所述待配准地图图像所对应的初始图像特征点。在本实施例中，D2-Net模型是一种CNN模型，使用D2-Net模型完成图像的特征点对提取，由于本发明所需要的训练数据不足，并且训练D2-Net模型的数据为遥感图像，而地图图像经过数据预处理后与遥感图像十分相似，因此使用D2-Net模型作为迁移学习使用，D2-Net模型相关理论可以查找相关文献理解。
由于该D2-Net模型对输入限制严格要求，故采用SOBEL边缘算子来对图像进行预处理并保存图像的缩放比例等参数信息，将处理后的图像传入模型中获取特征点对，再将特征点对通过图像的缩放比例等参数信息恢复成原图对应的特征点，后续将使用该数据完成图像配准。
S240、依据RANSAC算法对初始图像特征点中的错误图像特征点进行清除，得到待配准地图图像所对应的图像特征点。
本实施例中，随机采样一致性算法，常用来进行排除错误的样本，本发明中可以用作剔除错误的配准点对。本实施例，可以依据RANSAC算法对所述初始图像特征点中的错误图像特征点进行清除，得到所述待配准地图图像所对应的图像特征点；RANSAC是一种参数估计方法，它通过随机选择数据中的一部分，然后根据这些数据拟合模型，统计模型与其他数据的偏差，最终筛选出符合一定阈值的数据，用于估计参数。
示例性，为便于更好的理解CNN模型的流程，图4为本发明一实施例提供的一种使用CNN模型确定待配准地图图像所对应的图像特征点的流程图，如图4所示，使用D2-Net模型进行图像特征提取，得到所述待配准地图图像所对应的初始图像特征点，依据RANSAC算法清除误匹配点，进行筛选得到待配准地图图像所对应的图像特征点。
S250、获取电子地图图像，并接收用户按照图像特征点在电子地图图像中所标注的图像映射点。
S260、依据各图像位置信息中的X轴坐标信息之和与图像特征点的总数量确定第一坐标平均值。
在本实施例中，依据各图像位置信息中的X轴坐标信息之和与图像特征点的总数量确定第一坐标平均值。其中，第一坐标平均值用公式表示为：其中，xi表示为第i个图像特征点对应的第一X轴坐标信息，N表示为图像特征点的总数量。
S270、依据各图像位置信息中的Y轴坐标信息之和与图像特征点的总数量确定第二坐标平均值。
在本实施例中，依据各图像位置信息中的Y轴坐标信息之和与图像特征点的总数量确定第二坐标平均值，其中，第二坐标平均值用公式表示为：其中，yi表示第i个图像特征点对应的第一Y轴坐标信息。
S280、依据第一坐标平均值和第一X轴坐标信息确定第i个图像特征点的第三坐标平均值，并依据第二坐标平均值和第一Y轴坐标信息确定第i个图像特征点的第四坐标平均值。
在本实施例中，依据第一坐标平均值和第一X轴坐标信息确定第i个图像特征点的第三坐标平均值，并依据第二坐标平均值和第一Y轴坐标信息确定所述第i个图像特征点的第四坐标平均值。其中，第三坐标平均值用公式表示为：其中，/>表示第一坐标平均值，xi表示为第i个图像特征点对应的第一X轴坐标信息；第四坐标平均值用公式表示为：其中，/>表示第二坐标平均值，yi表示第i个图像特征点对应的第一Y轴坐标信息。
S290、依据第一坐标平均值和第二X轴坐标信息确定第i个图像映射点的第五坐标平均值，并依据第二坐标平均值和第二Y轴坐标信息确定第i个图像映射点的第六坐标平均值。
在本实施例中，依据第一坐标平均值和第二X轴坐标信息确定第i个图像映射点的第五坐标平均值，并依据第二坐标平均值和第二Y轴坐标信息确定第i个图像映射点的第六坐标平均值。具体的，第五坐标平均值用公式表示为：其中，xi'表示第i个图像映射点对应的第二X轴坐标信息，/>表示第一坐标平均值；第六坐标平均值用公式表示为：其中，yi'表示第i个图像映射点对应的第二Y轴坐标信息，/>表示第二坐标平均值。
S2100、依据第三坐标平均值、第四坐标平均值、第五坐标平均值以及第六平均坐标确定第一旋转角度，并依据预设反三角函数和第一旋转角度得到目标旋转角度。
在本实施例中，依据第三坐标平均值、第四坐标平均值、第五坐标平均值以及第六平均坐标确定第一旋转角度，具体的，第一旋转角度为正切角，可以通过预设反三角函数和第一旋转角度得到目标旋转角度，本实施例中，预设反三角函数为现有技术中常见的数学公式。本实施例中，第一旋转角度即为正切角度，该第一旋转角度，用公式表示为：其中，/>表示第一坐标平均值，/>表示第二坐标平均值，xi'表示第i个图像映射点对应的第二X轴坐标信息，yi'表示第i个图像映射点对应的第二Y轴坐标信息。
S2110、依据第三坐标平均值、第四坐标平均值、第五坐标平均值、第六平均坐标以及目标旋转角度确定图像缩放比例。
在本实施例中，依据第三坐标平均值、第四坐标平均值、第五坐标平均值、第六平均坐标以及目标旋转角度确定图像缩放比例，具体的，图像缩放比例，用公式表示为：其中，/>表示第一坐标平均值，/>表示第二坐标平均值，xi'表示第i个图像映射点对应的第二X轴坐标信息，yi'表示第i个图像映射点对应的第二Y轴坐标信息。
S2120、依据第五坐标平均值、第二坐标平均值、第一坐标平均值、目标旋转角度和图像缩放比例确定横向平移距离。
在本实施例中，依据第五坐标平均值、第二坐标平均值、第一坐标平均值、目标旋转角度和图像缩放比例确定横向平移距离。横向平移距离，用公式表示为： 表示第一坐标平均值，/>表示第二坐标平均值，/>表示为第五坐标平均值，θ目标旋转角度。
S2130、依据第六坐标平均值、第二坐标平均值、第一坐标平均值、目标旋转角度和图像缩放比例确定纵向平移距离。
在本实施例中，依据第六坐标平均值、第二坐标平均值、第一坐标平均值、旋转角度和图像缩放比例确定纵向平移距离。其中，纵向平移距离用公式表示为：其中，/>表示第一坐标平均值，/>表示第二坐标平均值，/>表示为第六坐标平均值，θ目标旋转角度。
S2140、将图像缩放比例、目标旋转角度、横向平移距离和纵向平移距离作为图像特征点与图像映射点之间的图像变换参数。
在本实施例中，将图像缩放比例、目标旋转角度、横向平移距离和纵向平移距离作为图像特征点与图像映射点之间的图像变换参数。
S2150、将电子地图进行地图瓦片的合成，得到合成后的基准配准地图。
在本实施例中，可以将电子地图进行地图瓦片的合成，得到合成后的基准配准地图，具体的，首先依据图像变换参数确定待配准地图图像的偏移信息，得到偏移后的边界点坐标范围，依据边界点坐标范围确定叠加配准后待配准地图图像的覆盖面积，并依据覆盖面积与电子地图的面积得到所需的地图瓦片，通过将地图瓦片的对应图像覆盖到预先创建的空白图层的对应位置，完成地图瓦片的合成。
在一实施例中，将电子地图进行地图瓦片的合成，得到合成后的基准配准地图，包括：
依据图像变换参数确定待配准地图图像的偏移信息，得到偏移后的边界点坐标范围；其中，边界点坐标范围表征待配准地图图像与电子地图叠加配准所得到的待配准地图图像的边界点当前坐标；
依据边界点坐标范围确定叠加配准后待配准地图图像的覆盖面积，并依据覆盖面积与电子地图的面积得到所需的地图瓦片；
通过web前端获取地图瓦片的块号范围，并依据块号范围创建空白图层，并将地图瓦片的对应图像覆盖到空白图层的对应位置，完成地图瓦片的合成，得到合成后的基准配准地图。
其中，边界点坐标范围表征待配准地图图像与电子地图叠加配准所得到的待配准地图图像的边界点当前坐标；即为边界点坐标范围就是历史地图图片与电子地图叠加配准后，历史地图图片的边界点的现坐标。
需要说明的是，地图瓦片的合成与分割是历史地图图像与地图瓦片叠加中必要的一部分。地图瓦片是固定大小的，且一般情况下比待配准图像小得多，所以需要在图像叠加之前将多个小的地图瓦片进行合成，使用合成后的图像作为基准图像进行叠加，叠加后再根据原有的图像参数对其进行分割，并保存到新的文件夹。
在本实施例中，地图瓦片合成的第一步为计算待配准图像叠加偏移，可以依据所述图像变换参数确定待配准地图图像的偏移信息，得到偏移后的边界点坐标范围，可以理解为，需要通过图像的特征点对，使用叠加参数计算方法，计算图像变换参数，然后根据图像变换参数计算待基准图像的整体偏移，并计算偏移后的边界点坐标范围。其中，图像变换参数包括图像缩放比例、目标旋转角度、横向平移距离和纵向平移距离。
在本实施例中，可以依据边界点坐标范围确定叠加配准后待配准地图图像的覆盖面积，并依据覆盖面积与电子地图的面积得到所需的地图瓦片，可以理解为，地图瓦片合成的第二步为计算地图瓦片块号范围，地图瓦片可以看作将一个矩形地图分割为更小的矩形，即有小矩形构成的矩形矩阵，每个小矩形可以自上而下，自左至右分别赋予一个序号，即块号，所关注和显示的地图范围就是这个矩形矩阵的一部分，而这个矩形矩阵的一部分则对应一个块号范围，本实施例中，需要根据待基准图像的边界点偏移范围与特征点对进行偏移计算，根据计算出的结果来判断需要多少块地图瓦片能够完全包含待基准图像，可以理解为，可以通过边界点坐标范围计算出叠加配准后历史地图的覆盖面积，在根据此面积除以当前缩放比例下地图瓦片的面积，就可以得到需要多少块地图瓦片。
在本实施例中，可以通过web前端获取地图瓦片的块号范围，并依据块号范围创建空白图层，并将地图瓦片的对应图像覆盖到空白图层的对应位置，完成地图瓦片的合成，得到合成后的基准配准地图，可以理解为，地图瓦片合成的第三步是地图瓦片合成，需要根据计算出的块号范围创建空白图层，根据块号范围将对应图像覆盖到空白图层的对应位置，完成地图瓦片的合成。
S2150、依据图像缩放比例、旋转角度、横向平移距离和纵向平移距离将待配准地图图像移动到基准配准地图中，以完成待配准地图图像与基准配准地图的配置叠加。
在本实施例中，依据图像缩放比例、旋转角度、横向平移距离和纵向平移距离将待配准地图图像移动到基准配准地图中，以完成待配准地图图像与基准配准地图的配置叠加。可以理解为，依据计算出的缩放比例、旋转角度、横向平移与纵向平移距离这些参数，可以将一个图片从之前的位置移动到另一个位置，将之前的大小转换成新的大小，实际图片的转换也是通过将这些参数设置到前端调用框架的接口参数中，来完成对图片的显示。
本发明实施例的上述技术方案，通过SOBEL边缘算子对初始图像进行边缘检测得到边缘特征达到预设特征阈值的灰度图像，将灰度图像输入所述D2-Net模型进行图像特征提取，得到待配准地图图像所对应的初始图像特征点，依据RANSAC算法对初始图像特征点中的错误图像特征点进行清除，得到待配准地图图像所对应的图像特征点，进一步能够使用深度学习算法来实现图像特征点的自动提取，大大提升效率，高效的图像配准算法，使得配准时间大大降低，配准所需特征点数量也同样大大降低；通过第i个图像特征点对应的第一图像位置信息，以及第i个图像映射点对应的第二图像位置信息确定出旋转角度，在此基础上确定出图像缩放比例以及横、纵向平移距离，将电子地图进行地图瓦片的合成，得到合成后的基准配准地图，并依据图像缩放比例、旋转角度、横向平移距离和纵向平移距离将待配准地图图像移动到基准配准地图中，以完成待配准地图图像与基准配准地图的配置叠加，在提升配准效率的同时，能够进一步提升图像配准的精度。
在一实施例中，为便于更好地理解地图图像配准的方法，图5为本发明一实施例提供的又一种地图图像配准的流程图。如图5所示，使用CNN模型得出待配准图像(历史地图图像)的特征点对，用户根据历史图像的特征点对，手动标注在初始合成的电子地图上对应标注点，初始合成地图规模较大，不能直接与历史地图进行配准叠加。之后使用图像最小误差值校准匹配算法利用特征点对和对应的标注点计算出图像变换参数，上述过程可称为计算待配准图像偏移。最后，将地图瓦片合成为电子地图，这里合成的电子地图与待配准的历史地图图像大小兼容，然后完成图像叠加，并将叠加后的图像进行分割保存，实现高清扫描历史地图图像与当前电子地图配准与叠加。
本发明实施例，使用CNN模型实现历史地图图像特征点的自动提取，而在电子地图上则由用户提供标注点，之后利用标注点完成图像的配准叠加。本发明使用瓦片地图进行图像叠加，瓦片是当前地图网站常用的图像加载方法之一，它利用将原始图像分割为固定格式大小的图像的方式，对图像进行分级及标号，地图瓦片的合成与分割是普通图像与地图瓦片叠加中必要的一部分。本发明可应用于将不同时期的两个地图进行匹配，可以将特定年份特定城市特定区县的某个目标区域标注在地图上，在不同时期地图匹配后，显示目标区域位置的变化，将此地图信息公开后，有助于直观看到目标区域的数量增减、城市内布局的变化、搬迁情况，这些都可作为有用信息存档。
在一实施例中，图6为本发明一实施例提供的一种地图图像配准装置的结构框图，该装置适用于对地图图像进行叠加配准时的情况，该装置可以由硬件/软件实现。可配置于电子设备中来实现本发明实施例中的一种地图图像配准方法。
如图6所示，该装置包括：特征点确定模块610、映射点确定模块620、参数确定模块630、合成模块640和图像配准模块650。
其中，特征点确定模块610，用于获取待配准地图图像，并基于预先训练的神经网络模型确定所述待配准地图图像所对应的图像特征点；其中，所述待配准地图图像为历史地图图像；
映射点确定模块620，用于获取电子地图图像，并接收用户按照所述图像特征点在所述电子地图图像中所标注的图像映射点；
参数确定模块630，用于基于预设最小均方误差匹配确定所述图像特征点与所述图像映射点之间的图像变换参数；其中，所述图像变换参数包括：图像缩放比例、旋转角度、横向平移距离和纵向平移距离；
合成模块640，用于将所述电子地图进行地图瓦片的合成，得到合成后的基准配准地图；
图像配准模块650，用于基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加，并将叠加后的配准叠加图像进行保存。
本发明实施例，特征点确定模块，通过预先训练的神经网络模型确定待配准地图图像所对应的图像特征点，接收用户按照图像特征点在电子地图图像中所标注的图像映射点，能够使用深度学习算法来实现图像特征点的自动提取，仅仅在瓦片地图上使用手动标注，大大提升效率；参数确定模块，基于预设最小均方误差匹配确定图像特征点与图像映射点之间的图像变换参数，合成模块，将电子地图进行地图瓦片的合成，得到合成后的基准配准地图，图像配准模块，基于图像变换参数将待配准地图图像与基准配准地图进行配准叠加，能够使得配准时间大大降低，配准所需特征点数量也同样大大降低，且，提升了图像配准的精度。
在一实施例中，所述装置，还包括：
分割模块，用于在所述基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加之后，将叠加后的配准叠加图像进行分割保存；其中，所述分割的方式，包括：将叠加后的配准叠加图像按照地图瓦片格式进行分割，并根据所述地图瓦片的左上角块号将分割后的地图瓦片进行保存。
在一实施例中，所述预先训练的神经网络模型为D2-Net模型；特征点确定模块610，包括：
缩放单元，用于对所述待配准地图图像进行图像裁剪和图像缩放，得到缩放后达到预设像素的初始图像，并对所述初始图像对应的图像参数进行保存；其中，所述图像参数至少包括：缩放比例和图像像素；
边缘检测单元，用于采用SOBEL边缘算子对所述初始图像进行边缘检测得到边缘特征达到预设特征阈值的灰度图像；
提取单元，用于将所述灰度图像输入所述D2-Net模型进行图像特征提取，得到所述待配准地图图像所对应的初始图像特征点；
清除单元，用于依据RANSAC算法对所述初始图像特征点中的错误图像特征点进行清除，得到所述待配准地图图像所对应的图像特征点。
在一实施例中，所述图像特征点的数量为N个；各所述图像特征点表征所述待配准图像中目标区域的图像位置信息；各所述图像位置信息包括X轴坐标信息和Y轴坐标信息；第i个图像特征点对应的第一图像位置信息表示为(xi,yi)，其中，xi表示第i个图像特征点对应的第一X轴坐标信息，yi表示第i个图像特征点对应的第一Y轴坐标信息，相应的，所述第i个图像映射点对应的第二图像位置信息表示为(xi',yi')，其中，xi'表示第i个图像映射点对应的第二X轴坐标信息，yi'表示第i个图像映射点对应的第二Y轴坐标信息，其中，i＝1,2,3，…，N。
在一实施例中，参数确定模块630，包括：
第一确定单元，用于依据各所述图像位置信息中的X轴坐标信息之和与所述图像特征点的总数量确定第一坐标平均值；
第二确定单元，用于依据各所述图像位置信息中的Y轴坐标信息之和与所述图像特征点的总数量确定第二坐标平均值；
第三确定单元，用于依据所述第一坐标平均值和所述第一X轴坐标信息确定所述第i个图像特征点的第三坐标平均值，并依据所述第二坐标平均值和所述第一Y轴坐标信息确定所述第i个图像特征点的第四坐标平均值；
第四确定单元，用于依据所述第一坐标平均值和所述第二X轴坐标信息确定所述第i个图像映射点的第五坐标平均值，并依据所述第二坐标平均值和所述第二Y轴坐标信息确定所述第i个图像映射点的第六坐标平均值；
第五确定单元，用于依据所述第三坐标平均值、所述第四坐标平均值、所述第五坐标平均值以及第六平均坐标确定旋转角度；
第六确定单元，用于依据所述第三坐标平均值、所述第四坐标平均值、所述第五坐标平均值、第六平均坐标以及所述旋转角度确定图像缩放比例；
第七确定单元，用于依据所述第六坐标平均值、所述第二坐标平均值、所述第一坐标平均值、所述旋转角度和所述图像缩放比例确定横向平移距离；
第八确定单元，用于依据所述第五坐标平均值、所述第二坐标平均值、所述第一坐标平均值、所述旋转角度和所述图像缩放比例确定纵向平移距离；
组成单元，用于将所述图像缩放比例、所述旋转角度、所述横向平移距离和所述纵向平移距离作为所述图像特征点与所述图像映射点之间的图像变换参数。
在一实施例中，所述第一坐标平均值用公式表示为：其中，xi表示为第i个图像特征点对应的第一X轴坐标信息，N表示为所述图像特征点的总数量；所述第二坐标平均值用公式表示为：/>其中，yi表示第i个图像特征点对应的第一Y轴坐标信息；所述第三坐标平均值用公式表示为：/>其中，/>表示所述第一坐标平均值；所述第四坐标平均值用公式表示为：/>其中，/>表示所述第二坐标平均值；所述第五坐标平均值用公式表示为：/>其中，xi'表示第i个图像映射点对应的第二X轴坐标信息；所述第六坐标平均值用公式表示为：/>其中，yi'表示第i个图像映射点对应的第二Y轴坐标信息；所述第一旋转角度，用公式表示为：/>所述图像缩放比例，用公式表示为：/>所述横向平移距离，用公式表示为：/>所述纵向平移距离用公式表示为：
在一实施例中，合成模块640，包括：
范围确定单元，用于依据所述图像变换参数确定所述待配准地图图像的偏移信息，得到偏移后的边界点坐标范围；其中，所述边界点坐标范围表征待配准地图图像与电子地图叠加配准所得到的待配准地图图像的边界点当前坐标；
瓦片数量确定单元，用于依据所述边界点坐标范围确定叠加配准后所述待配准地图图像的覆盖面积，并依据所述覆盖面积与所述电子地图的面积得到所需的地图瓦片；
合成单元，用于通过web前端获取所述地图瓦片的块号范围，并依据所述块号范围创建空白图层，并将所述地图瓦片的对应图像覆盖到所述空白图层的对应位置，完成地图瓦片的合成，得到合成后的基准配准地图。
在一实施例中，图像配准模块650，包括：
配准单元，用于依据所述图像缩放比例、所述旋转角度、所述横向平移距离和所述纵向平移距离将所述待配准地图图像移动到所述基准配准地图中，以完成所述待配准地图图像与所述基准配准地图的配置叠加。
本发明实施例所提供的地图图像配准装置可执行本发明任意实施例所提供的地图图像配准处理方法，具备执行方法相应的功能模块和有益效果。
在一实施例中，图7为本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如地图图像配准方法。
在一些实施例中，地图图像配准处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的地图图像配准方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行地图图像配准方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程地图图像配准装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种地图图像配准方法，其特征在于，包括：
获取待配准地图图像，并基于预先训练的神经网络模型确定所述待配准地图图像所对应的图像特征点；其中，所述待配准地图图像为历史地图图像；
获取电子地图图像，并接收用户按照所述图像特征点在所述电子地图图像中所标注的图像映射点；
基于预设最小均方误差匹配确定所述图像特征点与所述图像映射点之间的图像变换参数；其中，所述图像变换参数包括：图像缩放比例、目标旋转角度、横向平移距离和纵向平移距离；
将所述电子地图进行地图瓦片的合成，得到合成后的基准配准地图；
基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加之后，还包括：
将叠加后的配准叠加图像进行分割保存；其中，所述分割的方式，包括：将叠加后的配准叠加图像按照地图瓦片格式进行分割，并根据所述地图瓦片的左上角块号将分割后的地图瓦片进行保存。
3.根据权利要求1所述的方法，其特征在于，所述预先训练的神经网络模型为D2-Net模型；所述基于预先训练的神经网络模型确定所述待配准地图图像所对应的图像特征点，包括：
对所述待配准地图图像进行图像裁剪和图像缩放，得到缩放后达到预设像素的初始图像，并对所述初始图像对应的图像参数进行保存；其中，所述图像参数至少包括：缩放比例和图像像素；
采用SOBEL边缘算子对所述初始图像进行边缘检测得到边缘特征达到预设特征阈值的灰度图像；
将所述灰度图像输入所述D2-Net模型进行图像特征提取，得到所述待配准地图图像所对应的初始图像特征点；
依据RANSAC算法对所述初始图像特征点中的错误图像特征点进行清除，得到所述待配准地图图像所对应的图像特征点。
4.根据权利要求1所述的方法，其特征在于，所述图像特征点的数量为N个；各所述图像特征点表征所述待配准图像中目标区域的图像位置信息；各所述图像位置信息包括X轴坐标信息和Y轴坐标信息；第i个图像特征点对应的第一图像位置信息表示为(xi,yi)，其中，xi表示第i个图像特征点对应的第一X轴坐标信息，yi表示第i个图像特征点对应的第一Y轴坐标信息，相应的，所述第i个图像映射点对应的第二图像位置信息表示为(xi',yi')，其中，xi'表示第i个图像映射点对应的第二X轴坐标信息，yi'表示第i个图像映射点对应的第二Y轴坐标信息，其中，i＝1,2,3，…，N。
5.根据权利要求4所述的方法，其特征在于，所述确定所述图像特征点与所述图像映射点之间的图像变换参数，包括：
依据各所述图像位置信息中的X轴坐标信息之和与所述图像特征点的总数量确定第一坐标平均值；
依据各所述图像位置信息中的Y轴坐标信息之和与所述图像特征点的总数量确定第二坐标平均值；
依据所述第一坐标平均值和所述第一X轴坐标信息确定所述第i个图像特征点的第三坐标平均值，并依据所述第二坐标平均值和所述第一Y轴坐标信息确定所述第i个图像特征点的第四坐标平均值；
依据所述第一坐标平均值和所述第二X轴坐标信息确定所述第i个图像映射点的第五坐标平均值，并依据所述第二坐标平均值和所述第二Y轴坐标信息确定所述第i个图像映射点的第六坐标平均值；
依据所述第三坐标平均值、所述第四坐标平均值、所述第五坐标平均值以及第六平均坐标确定第一旋转角度，并依据预设反三角函数和所述第一旋转角度得到目标旋转角度；
依据所述第三坐标平均值、所述第四坐标平均值、所述第五坐标平均值、第六平均坐标以及所述目标旋转角度确定图像缩放比例；
依据所述第五坐标平均值、所述第二坐标平均值、所述第一坐标平均值、所述目标旋转角度和所述图像缩放比例确定横向平移距离；
依据所述第六坐标平均值、所述第二坐标平均值、所述第一坐标平均值、所述目标旋转角度和所述图像缩放比例确定纵向平移距离；
将所述图像缩放比例、所述目标旋转角度、所述横向平移距离和所述纵向平移距离作为所述图像特征点与所述图像映射点之间的图像变换参数。
6.根据权利要求5所述的方法，其特征在于，所述第一坐标平均值用公式表示为：其中，xi表示为第i个图像特征点对应的第一X轴坐标信息，N表示为所述图像特征点的总数量；所述第二坐标平均值用公式表示为：/>其中，yi表示第i个图像特征点对应的第一Y轴坐标信息；所述第三坐标平均值用公式表示为：/>其中，/>表示所述第一坐标平均值；所述第四坐标平均值用公式表示为：/>其中，/>表示所述第二坐标平均值；所述第五坐标平均值用公式表示为：/>其中，xi'表示第i个图像映射点对应的第二X轴坐标信息；所述第六坐标平均值用公式表示为：/>其中，yi'表示第i个图像映射点对应的第二Y轴坐标信息；所述第一旋转角度，用公式表示为：所述图像缩放比例，用公式表示为：所述横向平移距离，用公式表示为：所述纵向平移距离用公式表示为：/>
7.根据权利要求1所述的方法，其特征在于，所述将所述电子地图进行地图瓦片的合成，得到合成后的基准配准地图，包括：
依据所述图像变换参数确定所述待配准地图图像的偏移信息，得到偏移后的边界点坐标范围；其中，所述边界点坐标范围表征待配准地图图像与电子地图叠加配准所得到的待配准地图图像的边界点当前坐标；
依据所述边界点坐标范围确定叠加配准后所述待配准地图图像的覆盖面积，并依据所述覆盖面积与所述电子地图的面积得到所需的地图瓦片；
通过web前端获取所述地图瓦片的块号范围，并依据所述块号范围创建空白图层，并将所述地图瓦片的对应图像覆盖到所述空白图层的对应位置，完成地图瓦片的合成，得到合成后的基准配准地图。
8.根据权利要求1所述的方法，其特征在于，所述基于所述图像变换参数将所述待配准地图图像与所述基准配准地图进行配准叠加，包括：
依据所述图像缩放比例、所述旋转角度、所述横向平移距离和所述纵向平移距离将所述待配准地图图像移动到所述基准配准地图中，以完成所述待配准地图图像与所述基准配准地图的配置叠加。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的地图图像配准方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的地图图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311631172.4A CN117611642A (zh) | 2023-11-30 | 2023-11-30 | 一种地图图像配准方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311631172.4A CN117611642A (zh) | 2023-11-30 | 2023-11-30 | 一种地图图像配准方法、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117611642A true CN117611642A (zh) | 2024-02-27 |
Family
ID=89954536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311631172.4A Pending CN117611642A (zh) | 2023-11-30 | 2023-11-30 | 一种地图图像配准方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117611642A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911474A (zh) * | 2024-03-20 | 2024-04-19 | 中南大学 | 一种在线瓦片地图渐进式动态配准方法、系统及装置 |
| CN118397058A (zh) * | 2024-06-28 | 2024-07-26 | 北京数慧时空信息技术有限公司 | 一种基于深度学习的影像配准方法 |
-
2023
- 2023-11-30 CN CN202311631172.4A patent/CN117611642A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911474A (zh) * | 2024-03-20 | 2024-04-19 | 中南大学 | 一种在线瓦片地图渐进式动态配准方法、系统及装置 |
| CN118397058A (zh) * | 2024-06-28 | 2024-07-26 | 北京数慧时空信息技术有限公司 | 一种基于深度学习的影像配准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN117611642A (zh) | 一种地图图像配准方法、设备和介质 | |
| CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| WO2018233055A1 (zh) | 保单信息录入的方法、装置、计算机设备及存储介质 | |
| CN111259878A (zh) | 一种检测文本的方法和设备 | |
| CN109871829B (zh) | 一种基于深度学习的检测模型训练方法和装置 | |
| CN111797821A (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN113674220A (zh) | 一种图像差异检测方法、检测装置和存储介质 | |
| CN116071272A (zh) | 一种图像校正方法、装置、电子设备及其存储介质 | |
| CN110222704B (zh) | 一种弱监督目标检测方法及装置 | |
| CN110163910B (zh) | 物体对象定位方法、装置、计算机设备和存储介质 | |
| CN111209908A (zh) | 更新标注框的方法、装置、存储介质和计算机设备 | |
| CN116486126B (zh) | 一种模版确定方法、装置、设备及存储介质 | |
| CN107452003A (zh) | 一种含有深度信息的图像分割的方法及装置 | |
| CN112215827A (zh) | 电迁移区域检测方法、装置、计算机设备和存储介质 | |
| CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
| US9098746B2 (en) | Building texture extracting apparatus and method thereof | |
| CN115330803B (zh) | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 | |
| CN111340040A (zh) | 一种纸张字符识别方法、装置、电子设备及存储介质 | |
| CN116030472A (zh) | 文字坐标确定方法及装置 | |
| CN114092696A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN103198452B (zh) | 基于定位图形顶点的快速响应矩阵码第四顶点的定位方法 | |
| CN115984316B (zh) | 一种复杂环境的工业图像边缘提取方法及装置 | |
| CN108399412A (zh) | 一种x型角点亚像素提取方法 | |
| CN117152287B (zh) | 图像编辑方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |