CN113535996B - 一种基于航拍图像的道路图像数据集制备方法及装置 - Google Patents

一种基于航拍图像的道路图像数据集制备方法及装置 Download PDF

Info

Publication number
CN113535996B
CN113535996B CN202110584183.6A CN202110584183A CN113535996B CN 113535996 B CN113535996 B CN 113535996B CN 202110584183 A CN202110584183 A CN 202110584183A CN 113535996 B CN113535996 B CN 113535996B
Authority
CN
China
Prior art keywords
image
aerial
frame
data
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110584183.6A
Other languages
English (en)
Other versions
CN113535996A (zh
Inventor
杨东方
孟德宇
赵家玮
肖鹏
杨晶岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Rocket Force University of Engineering of PLA
Original Assignee
Xian Jiaotong University
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University, Rocket Force University of Engineering of PLA filed Critical Xian Jiaotong University
Priority to CN202110584183.6A priority Critical patent/CN113535996B/zh
Publication of CN113535996A publication Critical patent/CN113535996A/zh
Application granted granted Critical
Publication of CN113535996B publication Critical patent/CN113535996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于航拍图像的道路图像数据集制备方法，所述方法包括：获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像；对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像；将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集。本发明能够提高道路图像数据集制备的精度和效率。

Description

一种基于航拍图像的道路图像数据集制备方法及装置
技术领域
本发明属于图像处理领域，具体涉及一种基于航拍图像的道路图像数据集制备方法及装置。
背景技术
道路作为一种重要的基础设施，在城市规划，智慧出行，图像注册，自动导航和地理信息系统建设等领域都扮演着重要的角色。因此道路信息的提取具有非常重要的现实意义。
现有技术中通常使用深度学习的方法实现道路数据集的制备。
所述深度学习的方法存在一些问题：1、通常需要借助标注工具对原始图像做人工标注来获取标签数据，人工标注工作量很大，使用标注工具对原始图像需要进行点、线、面等操作，过程复杂，以10平方公里范围的道路分割数据集标注为例，一个人完成标注过程大概需要一个半月的时间，并且需要对原始图像的道路信息进行仔细的核对，是一个费时又费力的过程，效率很低；2、当原始图像数据不足时，深度学习方法通过数据增广的方式，进行原始图像数据的增广，可能会导致原始图像道路发生断裂，影响原始图像数据的质量，从而影响制备的道路图像数据集的精度；3、通常是采用卫星遥感设备获取卫星图像数据，卫星图像分辨率低、色彩逼真度低、易受环境影响且图像不稳定。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于航拍图像的道路图像数据集制备方法及装置。本发明要解决的技术问题通过以下技术方案实现：
一种基于航拍图像的道路图像数据集制备方法，所述方法包括：获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像；对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像；将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集。
在本发明的一个实施例中，所述获取预设道路区域内的航拍图像集合和原始卫星图像，包括：获取预设道路区域内的航拍视频数据；将所述航拍视频数据转换成航拍图像集合，其中，所述航拍图像集合中包括多帧航拍图像，每帧航拍图像对应有GPS数据；根据所述GPS数据，获取所述航拍视频数据对应的航拍轨迹数据；根据所述航拍轨迹数据，确定原始卫星图像。
在本发明的一个实施例中，对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像，包括：按照预设选点规则，在所述每帧航拍图像中确定第一标注点，以及在所述原始卫星图像中确定第二标注点，其中，所述第一标注点和所述第二标注点具有场景的一一对应关系；获取所述第一标注点对应的第一像素坐标数据，以及所述第二标注点对应的第二像素坐标数据，以得到像素坐标数据对；按照预设坐标处理规则，对所述像素坐标数据对进行计算，以得到第一矩阵；根据所述第一矩阵，对所述每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像。
本发明的有益效果：
本发明基于航拍图像制备道路图像数据集，能够提高数据集中道路图像的分辨率、色彩逼真和稳定性，另外，本发明能够通过第一投影操作和第二投影操作，高效率地得到高精度的目标道路图像数据，从而得到高精度的目标道路图像数据集。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于航拍图像的道路图像数据集制备方法流程示意图；
图2是本发明实施例提供的一种航拍图像集合示意图；
图3是本发明实施例提供的一种通过预设脚本提取GPS数据示意图；
图4是本发明实施例提供的一种航拍轨迹示意图；
图5是本发明实施例提供的一种原始卫星图像示意图；
图6是本发明实施例提供的一种原始路网栅格图像示意图；
图7是本发明实施例提供的一种在航拍图像中确定第一标注点示意图；
图8是本发明实施例提供的一种在待标注卫星图像中确定第二标注点示意图；
图9是本发明实施例提供的一种目标道路图像数据集示意图；
图10是本发明实施例提供的一种基于航拍图像的道路图像数据集制备装置结构示意图；
图11是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于航拍图像的道路图像数据集制备方法流程示意图，所述方法包括：
步骤101，获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像。
所述航拍图像具有分辨率高、色彩逼真度高和稳定性强等特点，基于所述航拍图像制备的道路图像数据集，具有高精度、高分辨率、高色彩逼真度、强稳定性的优点。
所述路网栅格图像是一种反应卫星图像地理特征和拓扑关系的位图，又称点阵图，基于所述路网栅格图像制备的道路图像数据集，具有高效和精准的优点。
可选的，所述步骤101包括：
步骤1011，获取预设道路区域内的航拍视频数据。
本发明可以通过航拍电子设备获取预设道路区域内的航拍视频数据。示例如，通过航拍器按照预定地图路线拍摄A城区，获得A城区区域内的航拍视频数据，并获取所述航拍视频数据对应的SRT文件。
步骤1012，将所述航拍视频数据转换成航拍图像集合，其中，所述航拍图像集合中包括多帧航拍图像，每帧航拍图像对应有GPS数据。
可选的，所述航拍图像集合中的航拍图像的分辨率与所述航拍视频数据的分辨率相同。
通过视频图像处理软件，如，PotPlayer等，将所述航拍视频数据转换成航拍图像集合。
所述航拍视频数据由多帧航拍图像组成，当航拍电子设备进行拍摄时，所述航拍电子设备能够记录其拍摄每帧航拍图像时刻对应的GPS(Global Positioning System，全球定位系统)数据。
参见图2是本发明实施例提供的一种航拍图像集合示意图，所述航拍图像集合中包括多帧航拍图像。
参见图3，是本发明实施例提供的一种通过预设脚本提取GPS数据示意图。具体的，通过Python脚本从所述航拍视频数据对应的SRT文件中，提取得到每帧航拍图像对应的GPS数据。
步骤1013，根据所述GPS数据，获取所述航拍视频数据对应的航拍轨迹数据。
参见图4是本发明实施例提供的一种航拍轨迹示意图。
步骤1014，根据所述航拍轨迹数据，确定原始卫星图像。
示例如，在QGIS(Quantum GIS)地理信息软件中处理所述航拍轨迹数据，以确定原始卫星图像。参见图5是本发明实施例提供的一种原始卫星图像示意图。
所述原始卫星图像对应有原始路网栅格图像。参见图6是本发明实施例提供的一种原始路网栅格图像示意图。
步骤102，对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像。
本发明能够基于航拍图像集合中的每帧航拍图像，依次对原始卫星图像进行投影操作，所述第一投影操作又可称为粗配准操作。
可选的，所述步骤102包括：
步骤1021，按照预设选点规则，在所述每帧航拍图像中确定第一标注点，以及在所述原始卫星图像中确定第二标注点，其中，所述第一标注点和所述第二标注点具有场景的一一对应关系。
所述预设选点规则由本领域技术人员根据业务需要进行设置，本发明不做限制，示例如，所述预设选点规则为：在每帧航拍图像中选择四个标注点，以及在所述航拍图像对应的原始卫星图像中选择四个标注点。
参见图7，是本发明实施例提供的一种在航拍图像中确定第一标注点示意图。具体的，本领域技术人员在图2所示航拍图像集合中的第一帧航拍图像中选择了四个标注点作为所述第一标注点。通常选择具有特征的点作为标注点。
可选的，所述步骤1021之前，所述方法还包括：在所述原始卫星图像中确定所述每帧航拍图像对应的待标注卫星图像。
所述待标注卫星图像与所述每帧航拍图像中的道路场景区域具有对应关系，示例如，原始卫星图像中的道路场景包括A城区的1号大道、2号大道、3号大道和4号大道，第三帧航拍图像中的道路场景为2号大道与3号大道的交叉路口段，则根据所述第三帧航拍图像在原始卫星图像中确定待标注卫星图像，所述待标注卫星图像中包括2号大道与3号大道的交叉路口段。
参见图8，是本发明实施例提供的一种在待标注卫星图像中确定第二标注点示意图。
所述第一标注点和所述第二标注点具有场景的一一对应关系，具体的，参见图7第一标注点中的第一个点与图8第二标注点中的第一个点是同一个建筑物；图7第一标注点中的第二个点与图8第二标注点中的第二个点是同一个交叉路口段，同理，第三个点和第四个点均具有场景的一一对应关系。
可选的，所述步骤1021，包括：按照预设选点规则，在所述每帧航拍图像中确定第一标注点，以及在所述待标注卫星图像中确定第二标注点。
步骤1022，获取所述第一标注点对应的第一像素坐标数据，以及所述第二标注点对应的第二像素坐标数据，以得到像素坐标数据对。
图像都是由像素组成的，像素坐标是像素在图像中的位置。示例如：第一标注点对应有四个标注点，每个标注点分别对应的像素坐标为(21，52)、(23，55)、(27，67)、(12，34)，所述四个像素坐标为第一像素坐标数据。
示例如：由第一帧航拍图像确定的第一标注点，得到A组第一像素坐标数据，第一帧航拍图像对应的待标注卫星图像中确定第二标注点，得到a组第二像素坐标数据，A组与a组为一个像素坐标数据对；第二帧航拍图像中确定的第一标注点，得到B组第一像素坐标数据，第二帧航拍图像对应的待标注卫星图像中确定第二标注点，得到b组第二像素坐标数据，B组与b组为一个像素坐标数据对。
步骤1023，按照预设坐标处理规则，对所述像素坐标数据对进行计算，以得到第一矩阵。
所述预设坐标处理规则由本领域技术人员根据业务需要进行设置，本发明不做限制。所述第一矩阵用于将原始卫星图像与航拍图像进行投影。
示例如，所述预设坐标处理规则为预设计算公式，根据所述预设计算公式对所述像素坐标数据对进行计算，即可得到第一矩阵。
又一示例如，所述预设坐标处理规则为预设计算公式，所述预设选点规则为：在每帧航拍图像中选择四个标注点，以及在所述航拍图像对应的原始卫星图像中选择四个标注点。所述预设计算公式参见公式(1)至公式(13)：
其中，(xai,yai)为第一像素坐标数据，(xsi,ysi)为第二像素坐标数据，k表示尺度信息，h1～h9表示第一矩阵H，i为四个标注点的序号(i＝1、2、3、4)。
将公式(1)展开，得到：
xai＝k(h1xsi+h2ysi+h3)
yai＝k(h4xsi+h5ysi+h6) (2)
1＝k(h7xsi+h8ysi+h9)
将公式(2)化简，得到：
将公式(3)以Aih＝0形式表示：
为公式(4)加上约束条件||h||＝1，H矩阵则变成了8个自由度，因此,在航拍图像中选择四个标注点，以及在所述航拍图像对应的原始卫星图像中选择四个标注点，就可以算出H矩阵。
进一步地，能够根据第一标注点对应的第一像素坐标数据，以及第二标注点对应的第二像素坐标数据，以得到四个像素坐标数据对，代入Aih＝0，得到：
进一步地，利用SVD(Singular Value Decomposition，奇异值分解)分解求出最小二乘解。其中，对于方程组Ah＝0，可以构建一个有约束的优化问题，表示为：
对公式(7)进行SDV分解，A的大小是2i×9，得到：
A＝U∑VT (8)
其中，U是一个2i×2i的方阵，U里面的正交向量被称为左奇异向量；∑是一个2i×9的矩阵，∑除了对角线元素其它元素都为0，对角线上的元素称为奇异值，按从大到小的顺序排列；VT是V的转置矩阵，是一个9×9的矩阵，它里面的正交向量被称为右奇异值向量。
由正交矩阵的保范性，得到：
J＝min||Ah||＝min||U∑VTh||＝min||∑VTh|| (9)
||VTh||＝||h|| (10)
可以令：
y＝VTh (11)
则形成了新的有约束的优化问题：
其中，当y＝(0,0,L,1)T时，不但满足||y||＝1，而且还可以使得||∑y||最小。
进一步，得到：
h＝Vy (13)
综上，h的值是∑矩阵中最小的奇异值对应的V矩阵中的特征向量，也就是V矩阵的最后一列。根据上述公式(1)至公式(13)即可求得第一矩阵。
所述矩阵H是一种单应性矩阵，所述单应性矩阵能够表示航拍图像与原始卫星图像之间的单应变换关系，即，一个图像平面到另一个图像平面的映射关系。
步骤1024，根据所述第一矩阵，对所述每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像。
参见图7和图8，由于第一帧航拍图像和所述第一帧航拍图像对应的待标注卫星图像的拍摄角度不同，导致两个图中道路场景存在较大角度差异，通过第一投影操作能够将原始卫星图像角度与第一帧航拍图像角度调整一致，以得到第一卫星图像。
可选的，所述步骤102之后，所述方法还包括：
步骤S11，将所述每帧航拍图像转换为第一灰度图。
步骤S12，将所述每帧航拍图像对应的所述第一卫星图像转换为第二灰度图。
可选的，所述步骤S12之后，所述方法还包括：对所述第一灰度图和所述第二灰度图进行平滑操作。
获取所述第一灰度图和第二灰度图的目的是为了根据所述第一灰度图获取航拍图像对应的边缘特征，以及根据所述第二灰度图获取第一卫星图像对应的边缘特征，从而根据所述边缘特征进行更精准的配准操作。
可选的，所述步骤S12之后，所述方法还包括：
步骤S21，按照预设图像处理规则，获取所述第一灰度图对应的第一边缘图像以及所述第二灰度图对应的第二边缘图像。
所述预设图像处理规则由本领域技术人员根据业务需要进行设置，本发明不做限制，示例如，所述预设图像处理规则为使用边缘检测算子处理所述灰度图，以提取所述灰度图中的边缘特征，并根据所述边缘特征得到边缘图像。
步骤S22，在所述第一边缘图像中提取第一点集数据，以及在所述第二边缘图像中提取第二点集数据。
步骤S23，按照预设点集处理规则，对所述第一点集数据和所述第二点集数据进行计算，以得到第二矩阵。
所述预设点集处理规则由本领域技术人员根据业务需要进行设置，本发明不做限制，示例如，所述预设点集处理规则为ICP算法(Iterative Closest Point，最近点迭代算法)，本发明能够通过ICP算法进行第一点集数据和第二点集数据的匹配操作，以得到第二矩阵。
示例如，将所述第一点集数据记为A，将所述第二点集数据记为B，所述第一点集数据表示为：所述第二点集数据表示为：{bi|bi∈R2,i＝1,2LNB}。对所述第一点集数据和所述第二点集数据进行迭代计算，在第k次迭代计算中，计算得到与第一点集数据A中的坐标相对应的第二点集数据Bk中的坐标为进一步地，计算A与Bk之间的单应性变换矩阵并对原变换进行更新，直到数据间的平均距离小于给定的阈值δ，则得到第二矩阵，具体表示如下：
在第一点集数据A中提取点集其中，/>
进一步地，采用kd-tree(K-dimensional tree)的方法,对A建立索引，实现快速的最近点的搜索，计算B中的对应点集其中，/>使得/>获取每个点最近的匹配点；
进一步地，计算第k次迭代中的单应性矩阵Hk，所述Hk满足目标函数
进一步地，根据所述Hk，得到新的点集Bk+1，其中，
进一步地，计算新的B和A之间的平均距离dk+1，所述平均距离表示为：
进一步地，如果dk+1不小于给定的阈值δ，则利用A和新的Bk+1重新采用kd-tree及其后续的方法，再次运算，直到dk+1＜δ或迭代次数k大于预设的最大迭代次数为止，则得到的Hk就是第二矩阵H。
步骤103，对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像。
可选的，所述步骤103包括：
步骤1031，按照预设矩阵计算规则，对所述第一矩阵和所述第二矩阵进行计算，以得到目标矩阵；
所述预设矩阵计算规则由本领域技术人员根据业务需要进行设置，本发明不做限制，示例如，所述预设矩阵计算规则表示为：H’＝H0×H1，其中H0表示第一矩阵，H1表示第二矩阵，H’表示目标矩阵。所述目标矩阵为最优矩阵，基于所述目标矩阵能够提高目标道路图像数据集的精准度。
步骤1032，根据所述目标矩阵，对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到目标路网栅格图像。
所述矩阵是一种单应性矩阵，所述单应性矩阵能够表示航拍图像与原始卫星图像之间的单应变换关系，即，一个图像平面到另一个图像平面的映射关系。
通过第一投影操作得到的第一卫星图像与航拍图像能够保持相同的道路场景角度，但道路场景细节信息可能依旧存在差异。本发明进一步根据航拍图像和第一卫星图像的边缘特征得到第二矩阵，基于所述第一卫星图像对应的第一矩阵，以及所述第二矩阵，确定目标矩阵，并根据所述目标矩阵对原始路网栅格图像进行第二投影操作，能够得到与航拍图像具有相同道路场景角度，以及相同道路场景细节信息的目标路网栅格图像，从而提高道路图像数据集制备的精度，并实现基于航拍图像和卫星图像的跨模态道路图像数据集制备。所述道路场景细节信息包括但不局限于角度信息，图像边缘信息等。
所述目标路网栅格图像是一种道路标签数据，所述标签数据能够精准地体现道路中的各个道路场景信息，相对于现有技术需要对原始卫星图像进行人工标注标签的方式，本发明能够在获取到航拍图像时，通过获取目标路网栅格图像，自动为航拍图像添加标签数据，即，将航拍图像与其对应的道路标签数据进行匹配，提高了获取道路图像数据集的效率。
需要说明的是，所述步骤102可以称为粗配准操作，所述步骤103可以称为精配准操作。
步骤104，将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集。
示例如，由第一帧航拍图像得到第一个目标路网栅格图像，由第二帧航拍图像得到第二个目标路网栅格图像，由第三帧航拍图像得到第三个目标路网栅格图像，将每个航拍图像及其对应的目标路网栅格图像确定为一组目标道路图像数据，从而获得航拍图像集合对应的目标道路图像数据集。
参见图9，是本发明实施例提供的一种目标道路图像数据集示意图，其中，所述目标道路图像数据集中包括两组目标道路图像数据，其中，第一行是航拍图像，第二行是所述航拍图像对应的目标路网栅格图像。
本发明能够基于所述航拍图像和原始卫星图像，获取第一矩阵，通过所述第一矩阵对所述航拍图像和所述原始卫星图像进行第一投影操作，以得到第一卫星图像，所述第一投影操作又称为粗配准操作；进一步地，基于所述第一卫星图像与所述航拍图像的边缘特征信息，获取第二矩阵，并基于所述第一矩阵和所述第二矩阵，确定目标矩阵，通过所述目标矩阵对所述航拍图像和原始路网栅格图像进行第二投影操作，以得到目标路网栅格数据，所述第二投影操作又称为精配准操作；根据所述航拍图像和所述目标路网栅格数据，得到目标道路图像数据集。
综上，本发明基于航拍图像制备道路图像数据集，能够提高数据集中道路图像的辨率、色彩逼真和稳定性，本发明还能够通过第一投影操作和第二投影操作，高效率地得到目标道路图像数据，从而得到高精度的目标道路图像数据集，另外，本发明制备的道路图像数据集的质量，不会受到航拍图像与原始卫星图像质量的影响。
实施例二
请参见图10，图10是本发明实施例提供的一种基于航拍图像的道路图像数据集制备装置结构示意图，所述装置包括：
获取模块1001，用于获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像。
第一投影模块1002，用于对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像。
第二投影模块1003，用于对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像。
确定数据集模块1004，用于将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集。
可选的，所述获取模块1001包括：
第一获取子模块，用于获取预设道路区域内的航拍视频数据。
转换子模块，用于将所述航拍视频数据转换成航拍图像集合，其中，所述航拍图像集合中包括多帧航拍图像，每帧航拍图像对应有GPS数据。
第二获取子模块，用于根据所述GPS数据，获取所述航拍视频数据对应的航拍轨迹数据。
确定子模块，用于根据所述航拍轨迹数据，确定原始卫星图像。
可选的，所述第一投影模块1002，包括：
确定第一标注点子模块，用于按照预设选点规则，在所述每帧航拍图像中确定第一标注点，以及在所述原始卫星图像中确定第二标注点，其中，所述第一标注点和所述第二标注点具有场景的一一对应关系。
获取第一像素坐标数据子模块，用于获取所述第一标注点对应的第一像素坐标数据，以及所述第二标注点对应的第二像素坐标数据，以得到像素坐标数据对。
获取第一矩阵子模块，用于按照预设坐标处理规则，对所述像素坐标数据对进行计算，以得到第一矩阵。
确定第一卫星图像子模块，用于根据所述第一矩阵，对所述每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像。
可选的，所述装置还包括：
第一转换灰度图模块，用于将所述每帧航拍图像转换为第一灰度图。
第二转换灰度图模块，用于将所述每帧航拍图像对应的所述第一卫星图像转换为第二灰度图。
可选的，所述装置还包括：
获取边缘图像模块，用于按照预设图像处理规则，获取所述第一灰度图对应的第一边缘图像以及所述第二灰度图对应的第二边缘图像。
提取点集模块，用于在所述第一边缘图像中提取第一点集数据，以及在所述第二边缘图像中提取第二点集数据。
获取第二矩阵模块，用于按照预设点集处理规则，对所述第一点集数据和所述第二点集数据进行计算，以得到第二矩阵。
可选的，所述第二投影模块1003，包括：
计算子模块，用于按照预设矩阵计算规则，对所述第一矩阵和所述第二矩阵进行计算，以得到目标矩阵；
确定第二卫星图像模块，用于根据所述目标矩阵，对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像。
实施例三
本发明实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：
获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像；
对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；
对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像；
将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述一种基于航拍图像的道路图像数据集制备方法的装置、电子设备及存储介质，则上述一种基于航拍图像的道路图像数据集制备方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。
该终端设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于航拍图像的道路图像数据集制备方法，其特征在于，所述方法包括：
获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像；
对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；
对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像；
将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集；
对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像，包括：
按照预设选点规则，在所述每帧航拍图像中确定第一标注点，以及在所述原始卫星图像中确定第二标注点，其中，所述第一标注点和所述第二标注点具有场景的一一对应关系；获取所述第一标注点对应的第一像素坐标数据，以及所述第二标注点对应的第二像素坐标数据，以得到像素坐标数据对；按照预设坐标处理规则，对所述像素坐标数据对进行计算，以得到第一矩阵；根据所述第一矩阵，对所述每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；
所述得到第一卫星图像之后，所述方法还包括：
将所述每帧航拍图像转换为第一灰度图；将所述每帧航拍图像对应的所述第一卫星图像转换为第二灰度图；
所述将所述每帧航拍图像对应的所述第一卫星图像转换为第二灰度图之后，所述方法还包括：
按照预设图像处理规则，获取所述第一灰度图对应的第一边缘图像以及所述第二灰度图对应的第二边缘图像；在所述第一边缘图像中提取第一点集数据，以及在所述第二边缘图像中提取第二点集数据；按照预设点集处理规则，对所述第一点集数据和所述第二点集数据进行计算，以得到第二矩阵；
所述对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像，包括：
按照预设矩阵计算规则，对所述第一矩阵和所述第二矩阵进行计算，以得到目标矩阵；根据所述目标矩阵，对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像。
2.根据权利要求1所述的方法，其特征在于，所述获取预设道路区域内的航拍图像集合和原始卫星图像，包括：
获取预设道路区域内的航拍视频数据；
将所述航拍视频数据转换成航拍图像集合，其中，所述航拍图像集合中包括多帧航拍图像，每帧航拍图像对应有GPS数据；
根据所述GPS数据，获取所述航拍视频数据对应的航拍轨迹数据；
根据所述航拍轨迹数据，确定原始卫星图像。
3.一种基于航拍图像的道路图像数据集制备装置，其特征在于，所述装置包括：
获取模块，用于获取预设道路区域内的航拍图像集合和原始卫星图像，其中，所述航拍图像集合中包括多帧航拍图像，所述原始卫星图像对应有原始路网栅格图像；
第一投影模块，用于对每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；
第二投影模块，用于对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像；
确定数据集模块，用于将每帧航拍图像，以及所述每帧航拍图像对应的目标路网栅格图像，确定为一组目标道路图像数据，以得到目标道路图像数据集；
第一投影模块，具体用于按照预设选点规则，在所述每帧航拍图像中确定第一标注点，以及在所述原始卫星图像中确定第二标注点，其中，所述第一标注点和所述第二标注点具有场景的一一对应关系；获取所述第一标注点对应的第一像素坐标数据，以及所述第二标注点对应的第二像素坐标数据，以得到像素坐标数据对；按照预设坐标处理规则，对所述像素坐标数据对进行计算，以得到第一矩阵；根据所述第一矩阵，对所述每帧航拍图像与所述原始卫星图像进行第一投影操作，以得到第一卫星图像；
其中，得到第一卫星图像之后，还用于将所述每帧航拍图像转换为第一灰度图；将所述每帧航拍图像对应的所述第一卫星图像转换为第二灰度图；
将所述每帧航拍图像对应的所述第一卫星图像转换为第二灰度图之后，还用于按照预设图像处理规则，获取所述第一灰度图对应的第一边缘图像以及所述第二灰度图对应的第二边缘图像；在所述第一边缘图像中提取第一点集数据，以及在所述第二边缘图像中提取第二点集数据；按照预设点集处理规则，对所述第一点集数据和所述第二点集数据进行计算，以得到第二矩阵；
所述第二投影模块，具体用于按照预设矩阵计算规则，对所述第一矩阵和所述第二矩阵进行计算，以得到目标矩阵；根据所述目标矩阵，对每帧航拍图像与所述原始路网栅格图像进行第二投影操作，以得到每帧航拍图像对应的目标路网栅格图像。
4.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-2任一所述的方法步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-2任一所述的方法步骤。
CN202110584183.6A 2021-05-27 2021-05-27 一种基于航拍图像的道路图像数据集制备方法及装置 Active CN113535996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584183.6A CN113535996B (zh) 2021-05-27 2021-05-27 一种基于航拍图像的道路图像数据集制备方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584183.6A CN113535996B (zh) 2021-05-27 2021-05-27 一种基于航拍图像的道路图像数据集制备方法及装置

Publications (2)

Publication Number Publication Date
CN113535996A CN113535996A (zh) 2021-10-22
CN113535996B true CN113535996B (zh) 2023-08-04

Family

ID=78094767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584183.6A Active CN113535996B (zh) 2021-05-27 2021-05-27 一种基于航拍图像的道路图像数据集制备方法及装置

Country Status (1)

Country Link
CN (1) CN113535996B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007187934A (ja) * 2006-01-13 2007-07-26 Zenrin Co Ltd 電子地図線形状データ作成方法
JP2008186145A (ja) * 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
CN101510311A (zh) * 2009-03-05 2009-08-19 浙江大学 基于gps信息对大量建筑物侧立面图像快速分类的方法
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN109035142A (zh) * 2018-07-16 2018-12-18 西安交通大学 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN110675347A (zh) * 2019-09-30 2020-01-10 北京工业大学 一种基于组稀疏表示的图像盲复原方法
CN111024072A (zh) * 2019-12-27 2020-04-17 浙江大学 一种基于深度学习的卫星地图辅助导航定位方法
CN111047603A (zh) * 2019-11-27 2020-04-21 南京师范大学 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法
CN111666959A (zh) * 2019-03-06 2020-09-15 西安邮电大学 矢量图像匹配方法及装置
CN112132874A (zh) * 2020-09-23 2020-12-25 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030457B2 (en) * 2018-12-17 2021-06-08 Here Global B.V. Lane feature detection in aerial images based on road geometry

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007187934A (ja) * 2006-01-13 2007-07-26 Zenrin Co Ltd 電子地図線形状データ作成方法
JP2008186145A (ja) * 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
CN101510311A (zh) * 2009-03-05 2009-08-19 浙江大学 基于gps信息对大量建筑物侧立面图像快速分类的方法
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN109035142A (zh) * 2018-07-16 2018-12-18 西安交通大学 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN111666959A (zh) * 2019-03-06 2020-09-15 西安邮电大学 矢量图像匹配方法及装置
CN110675347A (zh) * 2019-09-30 2020-01-10 北京工业大学 一种基于组稀疏表示的图像盲复原方法
CN111047603A (zh) * 2019-11-27 2020-04-21 南京师范大学 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法
CN111024072A (zh) * 2019-12-27 2020-04-17 浙江大学 一种基于深度学习的卫星地图辅助导航定位方法
CN112132874A (zh) * 2020-09-23 2020-12-25 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Google Earth的道路选线设计;侯生辉;;地矿测绘(第04期);全文 *

Also Published As

Publication number Publication date
CN113535996A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US9646406B2 (en) Position searching method and apparatus based on electronic map
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
US20170293822A1 (en) Storing Information For Access Using a Captured Image
CN109960742B (zh) 局部信息的搜索方法及装置
CN107131883B (zh) 基于视觉的全自动移动终端室内定位系统
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
CN110838133B (zh) 多目标跟踪方法及相关设备
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
US20200410688A1 (en) Image Segmentation Method, Image Segmentation Apparatus, Image Segmentation Device
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN111323024B (zh) 定位方法及装置、设备、存储介质
US11341183B2 (en) Apparatus and method for searching for building based on image and method of constructing building search database for image-based building search
CN112270748B (zh) 基于图像的三维重建方法及装置
CN113535996B (zh) 一种基于航拍图像的道路图像数据集制备方法及装置
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN115205715A (zh) 一种跨视图地理定位方法、装置、电子设备及存储介质
CN115457202A (zh) 一种三维模型更新的方法、装置及存储介质
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN113554754A (zh) 一种基于计算机视觉的室内定位方法
CN113392859A (zh) 一种确定城市功能区域的类型的方法及装置
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN117170501B (zh) 基于点线融合特征的视觉跟踪方法
CN115376119B (zh) 一种车牌识别方法、装置、车牌识别设备及存储介质
WO2024042669A1 (en) Training apparatus, training method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant