CN114419265A - 一种基于地图图像识别的交互式地图展示方法 - Google Patents
一种基于地图图像识别的交互式地图展示方法 Download PDFInfo
- Publication number
- CN114419265A CN114419265A CN202111675493.5A CN202111675493A CN114419265A CN 114419265 A CN114419265 A CN 114419265A CN 202111675493 A CN202111675493 A CN 202111675493A CN 114419265 A CN114419265 A CN 114419265A
- Authority
- CN
- China
- Prior art keywords
- map
- points
- image
- point
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 14
- 230000002146 bilateral effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000003190 augmentative effect Effects 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 3
- 238000000859 sublimation Methods 0.000 abstract description 2
- 230000008022 sublimation Effects 0.000 abstract description 2
- 239000013589 supplement Substances 0.000 abstract description 2
- 230000009469 supplementation Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 12
- 238000011160 research Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001584785 Anavitrinella pampinaria Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
一种基于地图图像识别的交互式地图展示方法,涉及地图展示技术领域,针对现有技术中纸质地图存在表达内容有限的问题,本申请将增强现实技术与传统纸质地图相融合,在一定程度上弥补了两者的缺陷,如纸质地图一经出版内容即已固定,并且受到幅面、制图比例尺、分辨率等因素的影响,地图内容局限性较大,通过增强现实技术对纸质地图进行增强表达,可以从移动端上对地图内容和其他地理信息进行扩展,如叠加增强型符号、地形地貌、三维模型、文字、图片、动画、视频等数据,让虚拟信息成为真实可感地图的补充与升华,提升地图表达内容的丰富感和全面性。
Description
技术领域
本发明涉及地图展示技术领域,具体为一种基于地图图像识别的交互式地图展示方法。
背景技术
地图服务是保障空间权益、联络现实民生的重要抓手,以往的地图服务主要指纸质地图。传统的纸质地图作为表达、传输和研究地理信息的重要载体,由于其方便阅读、信息表达鲜明、收藏价值高等优点,曾经被人们在旅游、测绘、生态等各领域广泛使用,但纸质地图也存在个性化不足、表达内容有限、表现形式单调、传播方式单向、更新周期较长等缺陷。
发明内容
本发明的目的是:针对现有技术中纸质地图存在表达内容有限的问题,提出一种基于地图图像识别的交互式地图展示方法。
本发明为了解决上述技术问题采取的技术方案是:
一种基于地图图像识别的交互式地图展示方法,包括以下步骤:
步骤一:获取电子底图以及待识别的纸质地图图像;
步骤二:对电子底图以及待识别的纸质地图图像分别进行预处理,所述预处理具体为:
步骤二一:对图像进行滤波处理;
步骤二二:对滤波处理后的图像进行直方图均衡化;
步骤二三:对直方图均衡化后的图像进行边缘增强;
步骤三:针对边缘增强后的电子底图以及待识别的纸质地图图像,利用SIFT算法将纸质地图图像与电子底图进行匹配,所述电子底图与展示数据关联,所述展示数据包括专题矢量数据、图像数据、多媒体信息、统计分析图表数据和三维模型数据;
步骤四:将纸质地图图像对应的展示数据进行展示。
进一步的,所述滤波处理通过双边滤波器进行,所述双边滤波器使用二维高斯函数生成距离模板,使用一维高斯函数生成值域模板,距离模板系数的生成公式如下:
其中,(k,l)为模板窗口的中心坐标,(i,j)为模板窗口的其他系数的坐标,σd为高斯函数的标准差;
值域模板系数的生成公式如下:
其中,函数f(x,y)表示要处理的图像,f(x,y)表示图像在点(x,y)处的像素值;(k,l)为模板窗口的中心坐标;(i,j)为模板窗口的其他系数的坐标;σr为高斯函数的标准差。
双边滤波器的模板表示为:
进一步的,所述直方图均衡化表示为:
其中,cdfmin为累积分布函数最小值,M和N分别代表了图像的长宽像素个数,L为灰度级数,v为原始图像中的像素值。
进一步的,所述边缘增强为:基于Laplacian算子的图像边缘增强。
进一步的,所述SIFT算法为改进的SIFT算法,所述改进的SIFT算法具体执行如下步骤:
步骤1:分别对纸质地图图像与电子底图分别进行特征点提取,所述特征点提取具体步骤为:
步骤11:利用OpenCV类库对图像进行Canny算子边缘检测;
步骤12:根据边缘检测后的图像构建尺度空间;
步骤13:在尺度空间内进行极值点检测,得到局部极值点;
步骤14:对局部极值点进行筛选,删除对比度不稳定和错误的极值点,然后将保留下来的极值点在原始图像中进行定位,得到关键点;
步骤15:首先对关键点进行二次函数的拟合,然后对拟合后的函数求极值,导数为零则为真实极值点,即真实关键点,真实关键点表示为:
其中,X是相对于关键点的距离,D是关键点取值,Q是根据关键点与地图界线的位置关系设置的权重;
步骤16:提取真实关键点的特征点,最后确定特征点的方向;
所述步骤16的具体步骤为:
首先计算以真实关键点为中心的领域内所有像素点的梯度方向,然后将梯度方向归一化到8个方向内,每个方向代表45度范围,之后分别计算落在每个方向域内的真实关键点及邻域点个数,并根据计算结果生成梯度方向直方图,梯度方向直方图中,方向域内的真实关键点及邻域点数量最多的方向即为当前真实关键点的主方向;
步骤17:根据真实关键点以及真实关键点的方向,生成特征点描述子,进而得到特征点;
步骤2:将纸质地图图像与电子底图的特征点进行匹配。
进一步的,所述构建尺度空间通过DOG金字塔进行。
进一步的,所述步骤13中极值点检测的具体步骤为:
在二维图像空间,将每个像素点作为中心点,将中心点与中心点3*3邻域内的8个像素点做比较,选取范围内的极大值和极小值;
在同一组内的尺度空间上,将每个像素点作为中心点,将中心点和中心点上下相邻的两层图像的2*9个像素点作比较,选取范围内的极大值和极小值。
进一步的,所述像素点的梯度方向表示为:
其中,x,y为像素点的位置。
进一步的,所述步骤2的具体步骤为:
以特征点为中心,首先建立一个16*16像素大小的区域窗口,然后分别计算每个像素点的梯度幅值和方向,之后将区域窗口分为4*4共16个子区域,每个子区域有4*4个像素点,在每个子区域统计8个梯度方向的直方图信息,最后获得4*4*8共128维的特征向量,然后针对计算两幅图像中关键点特征向量的欧氏距离来判断相似性,
计算两幅图像中关键点特征向量的欧氏距离来判断相似性的具体步骤为:
取出纸质地图图像中的某个特征点,然后在电子底图中找到与该特征点欧氏距离最近的两个特征点,在这两个特征点中,若最近的距离除以次近的距离小于阈值,则接受这一对匹配点,阈值设置为0.7,若最近的距离除以次近的距离不小于阈值,则不接受这一对匹配点。
本发明的有益效果是:
本申请将增强现实技术与传统纸质地图相融合,在一定程度上弥补了两者的缺陷,如纸质地图一经出版内容即已固定,并且受到幅面、制图比例尺、分辨率等因素的影响,地图内容局限性较大,通过增强现实技术对纸质地图进行增强表达,可以从移动端上对地图内容和其他地理信息进行扩展,如叠加增强型符号、地形地貌、三维模型、文字、图片、动画、视频等数据,让虚拟信息成为真实可感地图的补充与升华,提升地图表达内容的丰富感和全面性;另外纸质地图缺少用户交互功能,利用增强现实技术,可以为用户提供交互平台,如点击、手势等交互操作,提升用户体验。
本申请不仅可以扩展纸质地图表达的信息,还可以丰富地图的表现形式,纸质地图表达内容的局限性可以通过增强现实技术得到完善,同时在互联网快速发展的数字化时代,可以帮助传统纸质地图文化得到更加深远的推广和普及。本申请技术方案中,地图交互与体验形式兼具地图的实用性和增强现实技术的便捷性,为不同的用户提供不同的交互式视觉体验,有利于拓展地图服务的广度与深度,更好地发挥新时期测绘工作“两支撑、一提升”基本作用。
附图说明
图1为原始图片提取特征点示意图;
图2为直方图均衡化后图片提取特征点示意图;
图3为边缘增强后图片提取特征点示意图;
图4为特征提取与匹配流程图;
图5为特征点描述子示例图一;
图6为特征点描述子示例图二;
图7为特征点匹配阈值示意图。
具体实施方式
需要特别说明的是,在不冲突的情况下,本申请公开的各个实施方式之间可以相互组合。
具体实施方式一:参照图1具体说明本实施方式,本实施方式所述的一种基于地图图像识别的交互式地图展示方法,包括以下步骤:
步骤一:获取电子底图以及待识别的纸质地图图像;
步骤二:对电子底图以及待识别的纸质地图图像分别进行预处理,所述预处理具体为:
步骤二一:对图像进行滤波处理;
步骤二二:对滤波处理后的图像进行直方图均衡化;
步骤二三:对直方图均衡化后的图像进行边缘增强;
步骤三:针对边缘增强后的电子底图以及待识别的纸质地图图像,利用SIFT算法将纸质地图图像与电子底图进行匹配,所述电子底图与展示数据关联,所述展示数据包括专题矢量数据、图像数据、多媒体信息、统计分析图表数据和三维模型数据;
步骤四:将纸质地图图像对应的展示数据进行展示。
以往各项基于增强现实技术的研究,使用的识别原型一般是图像,这些图像一般具有颜色对比鲜明、内容丰富、清晰度高、质量优等特点,作为样本在训练中能够提取到数量多、分布均匀的特征点序列,从而达到比较理想的图像识别目标。但是地图数据相对于一般图像,线条密集且不够尖锐、清晰度低、颜色对比不够鲜明,本申请发现使用同一般图像相同的特征点提取方法时,提取的特征点较少且分布不均匀,导致地图图像识别效果较差,识别率较低、出错率较高。针对这种情况,本申请在地图底图样本训练之前,对地图数据进行一系列图像处理方法,突出主要内容、弱化次要信息,以提高地图数据特征点提取和匹配能力,达到较好的地图识别效果。由于地图数据的保密性,本研究会依次展示各地图数据经过后续特征提取处理后的特征点分布情况,图1为原始图片提取的特征点,可以看到,未经处理的地图数据提取的特征点比较少且分布十分不均匀。
图像滤波
图像滤波,即在尽量保留地图细节特征的情况下对地图数据中存在的噪声进行抑制,这种噪声不同于一般图像中的椒盐噪声(黑白强度值)、脉冲噪声(单纯白强度值或者黑强度值)、高斯噪声(随机分布的任意幅值噪声),本申请针对的噪声是指地图数据中影响特征点提取的信息,如等级低、范围小、线条琐碎的复杂界线数据,如社区、学校、医院界线,重复度较高的地名地址数据等,地图数据缩放到普通图像大小时,这些噪声数据清晰度低但内容冗杂,会导致地图图像对比度低、特征不明显。
这种噪声属于服从高斯分布的噪声,即每一点都存在噪声,且噪声的幅值随机分布,这种噪声适合采用高速滤波器对地图数据进行滤波,高斯滤波器是一种线性滤波器,能够有效的抑制噪声,但会在一定程度上平滑图像,这与我们提高对比度的目标有些出入,所以我们使用了双边滤波器,双边滤波是一种非线性滤波器,可以达到保持边缘、降噪平滑的效果。
双边滤波器使用二维高斯函数生成距离模板,使用一维高斯函数生成值域模板。距离模板系数的生成公式如下:
其中,(k,l)为模板窗口的中心坐标;(i,j)为模板窗口的其他系数的坐标;σd为高斯函数的标准差。使用该公式生成的滤波器模板和高斯滤波器使用的模板是没有区别的。
值域模板系数的生成公式如下:
其中,函数f(x,y)表示要处理的图像,f(x,y)表示图像在点(x,y)处的像素值;(k,l) 为模板窗口的中心坐标;(i,j)为模板窗口的其他系数的坐标;σr为高斯函数的标准差。
将上述两个模板相乘就得到了双边滤波器的模板:
本申请使用OpenCV类库中的函数bilateralFilter实现相应的双边滤波器,即:
public static void bilateralFilter(Mat src,Mat dst,int d,doublesigmaColor, double sigmaSpace),其中src和dst分别是输入图像和输出图像,d表示在过滤过程中每个像素邻域的直径范围,sigmaColor表示颜色空间过滤器的sigma值,这个参数的值越大,表明该像素邻域越宽广的颜色会被平滑处理到同一值域,sigmaSpace表示坐标空间中滤波器的sigma值,如果该值较大,则表明较大的区域内相似颜色的像素将被影响。
直方图均衡化
本申请地图图像处理的最终目的是增强图像对比度,数字图像处理中增强对比度的方法有两类,分别是直接增强和间接增强。直方图均衡化是比较常见的间接增强对比度的方法,是利用对图像直方图的调整达到调整图像对比度的方法,直方图均衡化就是对图像进行非线性拉伸,重新分配图像像素值,使一定灰度范围内的像素数量大致相同。
直方图均衡化能够减少图像的灰度级别,从而淡化某些细节,另外对于某些有高峰的直方图,经处理后能够得到较大程度增强的效果,尤其对于地图图像内部线条颜色相近、对比度较接近,通过直方图均衡化能够使灰度值可以更好地在直方图上分布,能够增强局部的对比度而不影响整体的对比度。直方图均衡化在X光图像中得到广泛应用,经此处理能更好的得到骨骼结构显示,本申请的地图数据与X光图像异曲同工。
直方图均衡化计算公式如下所示,cdfmin为累积分布函数最小值,M和N分别代表了图像的长宽像素个数,而L则是灰度级数(如图像为8位深度,则灰度级别共有2^8=256级数,这也是最常见的灰度级数),v为原始图像中为v的像素值:
本申请使用OpenCV类库中的函数equalizeHist实现相应的直方图均衡化,即:
public void equalizeHist(InputArraysrc,OutputArraydst),其中src和dst分别是输入图像和输出图像。原始图像经直方图均衡化处理后如图2所示:
边缘增强
本申请对于地图数据的识别很大程度上是对于地图界线数据的识别,如省界、县界等,这些界线在地图中往往位于图像边缘部分,这些边缘在图像中处于图像信息突变点处,但这些界线数据一般是边缘圆滑的弧形几何,所以为了提高边缘检测的准确性,本申请需要对图像边缘进行增强处理和锐化处理。
图像边缘增强是按特定的要求将一幅图像中的某些信息突出,同时消弱某些信息的处理方法,将图像(或影像)相邻像元(或区域)的亮度值(或色调)相差较大的边缘(即影像色调突变或地物类型的边界线)处加以突出强调的技术方法。经边缘增强后的图像能更清晰地显示出不同的物类型或现象的边界,或线形影像的行迹,以便于不同的物类型的识别及其分布范围的圈定。
本申请使用OpenCV类库实现了基于Laplacian算子的图像边缘增强,效果如图3所示。
地图局部处理
地图作为地理信息数据的载体,具有丰富的信息表达形式,地图所呈现的点、线、面以及其衍生出来的符号、形状、颜色等均蕴含了丰富的信息,本研究对其统称为地图信息。地图信息在地图中的表现是多样的,城市建成区内政府机关、企事业单位、公共交通线路等数据信息,以及森立、草原、耕地、湖泊等区域内植被种类分布、耕地轮作休耕、河流时令性走势等信息均属于地图信息的范畴。
地图信息的分布并不均匀,在人类活动较为密集的城市地区,地图信息的分布较为集中并丰富,而对于远离人类活动区域的自然地域,地图信息表现的较为稀疏并分散。因此针对地图信息分布不均匀的特点,如何深度挖掘并合体提取地图信息是本研究的一项重点与难点。
对于地图数据所涵盖信息的丰富程度,本研究对这些信息进行了提取与分析,即设定一定的地图信息阈值,舍弃地图中大于或小于该阈值的地图信息,最终获取到数据量分布均匀的地图信息。
例如某常规地级市行政区信息图,由于其范围涵盖了地级市辖区内的全部地形数据,因此其地图数据所涵盖的信息分布并不均匀,
具体表现为城市、乡镇等建成区所在地点地图信息相对丰富且密集,山林、耕地、河流等区域地图信息相对简单并稀疏。本研究对于该地图数据的特点,舍弃了一些地貌信息简单的山地林地,保留了线条相对尖锐,信息较丰富的地区地图数据。
特征提取与匹配方法
本申请使用基于SIFT算法改进的特征点提取与匹配方法,尺度不变特征转换算法(Scale Invariant Feature Transform,SIFT)是由哥伦比亚大学的David G Lowe教授于1999年在基于不变量技术的特征检测方法基础上提出来,SIFT(尺度不变特征变换)是一种基于尺度空间的,对图像缩放、旋转、甚至仿射变换保持不变性的图像局部特征描述算子,Lowe教授在2004年对SIFT算法做了更为系统的完善。
SIFT算法提取图像局部特征的方法主要是在不同的尺度空间中寻找极值点,并提取出这些极值点的大小、位置、方向、尺度等信息,并利用这些信息对特征点进行描述,SIFT算子对旋转、尺度缩放、亮度变化保持不变性,对视角变化、噪声等也存在一定程度的稳定性,SIFT算法所查找的特征点主要是一些突出的色素点,不会因光照,仿射变化和噪声等因素而变换的稳定特征点,如角点、边缘点、暗区的亮点以及亮区的暗点等。对于地图数据中的海量特征数据的快速、准确提取与匹配能够得到非常好的效果,另外对于地图数据相对于一般图像的色彩单一性、特征不明显的特点,SIFT算子能够表现它的多量性,即少数的物体重产生大量的SIFT特征向量。
本申请针对地图数据特点对SIFT算法进行了部分改进,本申请所指的交互式地图系统主要是针对地图数据中的县界数据进行识别与匹配,如识别到鹤岗市几大县界后对应显示鹤岗市专题数据,对于地图内地名地址等数据可忽略,即不同地图拥有同样县界数据即认为同属鹤岗市地图,即可同样被识别。所以在本研究的特征点提取中,我们首先进行改进的边缘检测的方法提取外层县界,然后根据SIFT算法查找的关键点与县界的位置关系设置相应权重,根据权重结合算子计算每个关键点总价值,价值较高的关键点继续进行特征点提取,价值较低的关键点可忽略。具体算法流程如图4所示。
基于Canny算子进行边缘检测
本申请中边缘检测的目标是在保留原有地图属性的情况下,更多表现地图中的外围界线数据,显著减少地图的数据规模和表达内容,Canny边缘检测算子是一个多级边缘检测算法,是在一阶微分的基础上,增加了非最大值抑制和双阈值检测,其目标就是找到最优的边缘检测算法,即尽可能多地标识出图像中的实际边缘,检测到的边缘点应该与实际边缘点一一对应。该算法的步骤主要包括:高斯滤波器平滑处理、计算图像的梯度强度和角度方向、应用非最大抑制方法消除误检测、利用双阈值方法挑选潜在边界。
本申请同样使用OpenCV类库进行Canny算子边缘检测:
publicvoid Canny(InputArray image,OutputArray edges,doublethreshold1,double threshold2,intapertureSize=3,bool L2gradient=false);
其中image和edges分别是输入图像和输出图像,threshold1表示第一个滞后性阈值,threshold2表示第二个滞后性阈值,apertureSize表示应用Sobel算子的孔径大小,L2gradient表示一个计算图像梯度幅值的标识。
SIFT算法尺度空间构建
图像的尺度空间解决的问题是如何对图像在所有尺度下描述的问题,尺度空间构建就是对原始底图图像进行尺度变换,获得多尺度空间中的图像表示序列,提取尺度空间中主轮廓,并以此作为特征向量,实现关键点提取。尺度空间构建的基础是DOG金字塔(差分金字塔),图像金字塔是一种以多分辨率来解释图像的结构,高斯金字塔是原始图像经过高斯低通滤波器进行滤波后,在特定尺寸条件下,经不同高斯核模糊的图像的集合,而DOG 金字塔是在高斯金字塔基础上构建的。经过实验可得到各尺度原始图像不同模糊度效果图像,能够模拟人眼在距离目标由近到远时目标图像在视网膜上的形成过程。
尺度空间内极值点检测
尺度空间构建完成后,即可在该空间内进行极值点检测,我们对每个像素点与周围所有的相邻点进行比较,选取范围内的极大值和极小值。在二维图像空间,中心点与它3*3 邻域内的8个点做比较,在同一组内的尺度空间上,中心点和上下相邻的两层图像的2*9个点作比较,保证检测到的关键点在尺度空间和二维图像空间上都是局部极值点。
定位关键点
由于DOG值对于噪声和边缘比较敏感,所以在上述的尺度空间中能够检测到较多的极值点,我们需要对其进行筛选,放弃对比度不稳定和错误检测出的极值点,另外对于这些检测到的局部极值点,我们需要对应在原始图像中的确切位置,即定位。
根据边缘权重筛选关键点
对于上一步获取的大量局部极值点需要经过进一步的筛选,去除不稳定和错误极值点,我们对关键点进行二次函数的拟合,然后对函数求极值,将每个关键点的函数D(x,y)进行泰勒二次展开:
上述方法得到的关键点是离散空间的极值点,不是真正的极值点,需要通过两次转换得到连续空间下真实的极值点,首先对关键点进行二次函数的拟合,就是将每个关键点的函数D(x,y)进行泰勒二次展开。这个展开就是在关键点周围模拟的二次曲线,然后对拟合后的函数求极值,导数为零即为极值,得到极值:
其中,X是相对于关键点的距离,D是关键点取值。Q即为根据关键点与地图界线的位置关系设置的权重,权重越大,关键点极值越大,当公式中极值我们认为该关键点极值不符合要求,属于错误极值点,可能是不稳定关键点或者噪声点,会被剔除,由此过程得到筛选后的关键点及关键点准确位置,为偏导数的符号,为极值点的偏移量。
定位图像特征子并确定特征方向
经过上述步骤我们得到了较稳定的极值点,接下来需要获取关键点的方向信息,这个关键点方向信息需要对图像角度和旋转具有不变形,以保证特征点匹配的准确性和效率。方向信息是通过计算每个特征点的梯度来实现的,任一特征点的梯度幅值如下所示:
梯度方向为:
其中L所用的尺度为每个特征点所在的尺度。
确定特征点方向不单纯按照关键点的梯度方向,而是按照直方图公式得到,首先计算以关键点为中心的领域内所有点位的梯度方向,然后将这些梯度方向归一化到36个方向内,每个方向代表10度范围,然后分别计算落在每个方向域内的关键点个数,由此生成梯度方向直方图,梯度方向直方图中y值最大的方向作为当前关键点的主方向。
生成特征点描述子
提取特征点并确定方向后,我们对关键点进行描述,即为以一种数学方式的形式定义关键点,特征点描述子包含关键点及其邻域点。比如我们以关键点为中心取8*8的64个小窗格,每个小格代表关键点和邻域点所在尺度空间的一个像素,根据上述公式求得每个小格的梯度幅值和方向,箭头方向即为梯度方向,箭头长度即为梯度幅值,然后使用高斯加权计算。然后将8*8的格子分成4个4*4的子区域,每个子区域计算8个方向的梯度方向直方图,形成一个种子点,这个试验区共有4个种子点,每个种子点有8个方向向量信息。这个2*2*8纬度的向量,即为中心特征点的描述子,具体如图5和图6所示。
匹配特征点
Lowed教授的实验结果表明,对每个关键点,采用4*4*8共128维向量的描述子进行特征点描述,综合效果最佳。即以特征点为中心,首先建立一个16*16像素大小的区域窗口,分别计算每个像素块的梯度幅值和方向,然后将其分为4*4共16个子区域,每个子区域有4*4个像素点,在每个子区域统计8个梯度方向的直方图信息,最后获得4*4*8共128维的特征向量。
特征点匹配的前提是获取原始图像与匹配图像的特征点描述子,然后针对计算两幅图像中关键点特征向量的欧氏距离来判断相似性,如取出图像1中的某个特征点,然后在图像2中找到与其欧氏距离最近的两个特征点,在这两个关键点中,如果最近的距离除以次近的距离少于阈值,则接受这一对匹配点。Lowe教授推荐的阈值是0.8,本研究对大量图片进行匹配,结果如下图所示,阈值设置为0.5-0.7效果最佳,阈值较低时,匹配率较低,阈值较高时,匹配率虽然很高,但是准确率较低,容易识别错误,所以本申请采用的阈值为0.7。特征点匹配阈值如图7所示。
消除误匹配
特征点匹配过程中,由于光照、遮挡等原因,可能出现误匹配的情况,我们在优化特征向量欧氏距离阈值的方法的同时,还使用了RANSAC(随机抽样一致性方法)进行误匹配点剔除。RANSAC算法是从一组包含误匹配点的数据中通过迭代训练的方法得到最优的参数模型,不符合最优参数模型的即为误匹配点。本研究使用OpenCV类库实现RANSAC算法,首先根据特征向量匹配特征点,然后使用findFundamentalMat方法求出各向量基础矩阵RansacStatus,RansacStatus描述的是在三维场景中像素点之间的对应关系,根据基础矩阵的结果删除误匹配点,即RansacStatus[0]=0的点。
需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本发明的保护范围内。
Claims (9)
1.一种基于地图图像识别的交互式地图展示方法,其特征在于包括以下步骤:
步骤一:获取电子底图以及待识别的纸质地图图像;
步骤二:对电子底图以及待识别的纸质地图图像分别进行预处理,所述预处理具体为:
步骤二一:对图像进行滤波处理;
步骤二二:对滤波处理后的图像进行直方图均衡化;
步骤二三:对直方图均衡化后的图像进行边缘增强;
步骤三:针对边缘增强后的电子底图以及待识别的纸质地图图像,利用SIFT算法将纸质地图图像与电子底图进行匹配,所述电子底图与展示数据关联,所述展示数据包括专题矢量数据、图像数据、多媒体信息、统计分析图表数据和三维模型数据;
步骤四:将纸质地图图像对应的展示数据进行展示。
4.根据权利要求3所述的一种基于地图图像识别的交互式地图展示方法,其特征在于所述边缘增强为:基于Laplacian算子的图像边缘增强。
5.根据权利要求4所述的一种基于地图图像识别的交互式地图展示方法,其特征在于所述SIFT算法为改进的SIFT算法,所述改进的SIFT算法具体执行如下步骤:
步骤1:分别对纸质地图图像与电子底图分别进行特征点提取,所述特征点提取具体步骤为:
步骤11:利用OpenCV类库对图像进行Canny算子边缘检测;
步骤12:根据边缘检测后的图像构建尺度空间;
步骤13:在尺度空间内进行极值点检测,得到局部极值点;
步骤14:对局部极值点进行筛选,删除对比度不稳定和错误的极值点,然后将保留下来的极值点在原始图像中进行定位,得到关键点;
步骤15:首先对关键点进行二次函数的拟合,然后对拟合后的函数求极值,导数为零则为真实极值点,即真实关键点,真实关键点表示为:
其中,X是相对于关键点的距离,D是关键点取值,Q是根据关键点与地图界线的位置关系设置的权重;
步骤16:提取真实关键点的特征点,最后确定特征点的方向;
所述步骤16的具体步骤为:
首先计算以真实关键点为中心的领域内所有像素点的梯度方向,然后将梯度方向归一化到8个方向内,每个方向代表45度范围,之后分别计算落在每个方向域内的真实关键点及邻域点个数,并根据计算结果生成梯度方向直方图,梯度方向直方图中,方向域内的真实关键点及邻域点数量最多的方向即为当前真实关键点的主方向;
步骤17:根据真实关键点以及真实关键点的方向,生成特征点描述子,进而得到特征点;
步骤2:将纸质地图图像与电子底图的特征点进行匹配。
6.根据权利要求5所述的一种基于地图图像识别的交互式地图展示方法,其特征在于所述构建尺度空间通过DOG金字塔进行。
7.根据权利要求6所述的一种基于地图图像识别的交互式地图展示方法,其特征在于所述步骤13中极值点检测的具体步骤为:
在二维图像空间,将每个像素点作为中心点,将中心点与中心点3*3邻域内的8个像素点做比较,选取范围内的极大值和极小值;
在同一组内的尺度空间上,将每个像素点作为中心点,将中心点和中心点上下相邻的两层图像的2*9个像素点作比较,选取范围内的极大值和极小值。
9.根据权利要求8所述的一种基于地图图像识别的交互式地图展示方法,其特征在于所述步骤2的具体步骤为:
以特征点为中心,首先建立一个16*16像素大小的区域窗口,然后分别计算每个像素点的梯度幅值和方向,之后将区域窗口分为4*4共16个子区域,每个子区域有4*4个像素点,在每个子区域统计8个梯度方向的直方图信息,最后获得4*4*8共128维的特征向量,然后针对计算两幅图像中关键点特征向量的欧氏距离来判断相似性,
计算两幅图像中关键点特征向量的欧氏距离来判断相似性的具体步骤为:
取出纸质地图图像中的某个特征点,然后在电子底图中找到与该特征点欧氏距离最近的两个特征点,在这两个特征点中,若最近的距离除以次近的距离小于阈值,则接受这一对匹配点,阈值设置为0.7,若最近的距离除以次近的距离不小于阈值,则不接受这一对匹配点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675493.5A CN114419265A (zh) | 2021-12-31 | 2021-12-31 | 一种基于地图图像识别的交互式地图展示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675493.5A CN114419265A (zh) | 2021-12-31 | 2021-12-31 | 一种基于地图图像识别的交互式地图展示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419265A true CN114419265A (zh) | 2022-04-29 |
Family
ID=81270828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111675493.5A Pending CN114419265A (zh) | 2021-12-31 | 2021-12-31 | 一种基于地图图像识别的交互式地图展示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419265A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115497010A (zh) * | 2022-09-30 | 2022-12-20 | 北京恒歌科技有限公司 | 一种基于深度学习的地理信息的识别方法及系统 |
CN115861555A (zh) * | 2022-11-23 | 2023-03-28 | 东北农业大学 | 基于自然特征的增强现实地图空间匹配方法及移动设备 |
-
2021
- 2021-12-31 CN CN202111675493.5A patent/CN114419265A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115497010A (zh) * | 2022-09-30 | 2022-12-20 | 北京恒歌科技有限公司 | 一种基于深度学习的地理信息的识别方法及系统 |
CN115497010B (zh) * | 2022-09-30 | 2023-07-04 | 北京恒歌科技有限公司 | 一种基于深度学习的地理信息的识别方法及系统 |
CN115861555A (zh) * | 2022-11-23 | 2023-03-28 | 东北农业大学 | 基于自然特征的增强现实地图空间匹配方法及移动设备 |
CN115861555B (zh) * | 2022-11-23 | 2024-04-02 | 东北农业大学 | 基于自然特征的增强现实地图空间匹配方法及移动设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Fourier-based rotation-invariant feature boosting: An efficient framework for geospatial object detection | |
Lv et al. | Deep learning and superpixel feature extraction based on contractive autoencoder for change detection in SAR images | |
Wang et al. | Land cover change detection at subpixel resolution with a Hopfield neural network | |
Zhang et al. | Cloud detection of RGB color aerial photographs by progressive refinement scheme | |
Kim et al. | Document image binarization based on topographic analysis using a water flow model | |
CN107967482A (zh) | 图标识别方法及装置 | |
CN110334762A (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
Li et al. | Multispectral image segmentation by a multichannel watershed‐based approach | |
CN111062885B (zh) | 基于多阶段迁移学习的标志检测模型训练及标志检测方法 | |
CN104809731B (zh) | 一种基于梯度二值化的旋转尺度不变场景匹配方法 | |
CN106980896B (zh) | 遥感分类卷积神经网络的关键卷积层超参数确定方法 | |
Zang et al. | Joint enhancing filtering for road network extraction | |
CN110232387B (zh) | 一种基于kaze-hog算法的异源图像匹配方法 | |
Zhang et al. | Region-of-interest extraction based on saliency analysis of co-occurrence histogram in high spatial resolution remote sensing images | |
CN114419265A (zh) | 一种基于地图图像识别的交互式地图展示方法 | |
CN113392856B (zh) | 图像伪造检测装置和方法 | |
Ma et al. | A multi-scale progressive collaborative attention network for remote sensing fusion classification | |
Wang et al. | Threshold selection by clustering gray levels of boundary | |
CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
Zhang et al. | Detection of regions of interest in a high-spatial-resolution remote sensing image based on an adaptive spatial subsampling visual attention model | |
Liu et al. | Object-oriented detection of building shadow in TripleSat-2 remote sensing imagery | |
CN112101283A (zh) | 一种交通标志智能识别方法及系统 | |
Bin et al. | Parcel-based change detection in land-use maps by adopting the holistic feature | |
Yu et al. | An integrated method for DEM simplification with terrain structural features and smooth morphology preserved | |
Yu et al. | Mean shift based clustering of neutrosophic domain for unsupervised constructions detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |