CN110910497A - 实现增强现实地图的方法和系统 - Google Patents
实现增强现实地图的方法和系统 Download PDFInfo
- Publication number
- CN110910497A CN110910497A CN201911118371.9A CN201911118371A CN110910497A CN 110910497 A CN110910497 A CN 110910497A CN 201911118371 A CN201911118371 A CN 201911118371A CN 110910497 A CN110910497 A CN 110910497A
- Authority
- CN
- China
- Prior art keywords
- image
- feature points
- map
- points
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 72
- 230000011218 segmentation Effects 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 8
- 210000001525 retina Anatomy 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 24
- 238000012549 training Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000011176 pooling Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Remote Sensing (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种实现增强现实地图的方法和系统。所述方法可包括：对平面地图进行分割以生成包括道路区域和非道路区域的分割图像；获取与平面地图对应的拍摄图像；提取所述分割图像的特征点和所述拍摄图像的特征点；对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点；基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图；输出增强现实地图。
Description
技术领域
本发明涉及增强现实(Augmented Reality，简称AR)领域，具体涉及一种实现增强现实地图的方法和系统。
背景技术
随着电子地图的迅速发展以及增强现实技术的出现，市场对传统纸质地图的需求日渐下降。
增强现实是一种实时地将摄像机角度、位置及相应图像、视频、三维模型叠加计算的新兴技术，能够改善用户与现实世界交互的感官体验。三维跟踪注册技术作为一种重要的增强现实技术，可以解决图像在不同尺寸、旋转、光照等条件下的注册问题。
但是，现有技术中实现增强现实地图的方法仍有诸多不足，例如，图像处理速度欠佳，由于图像纹理与光照等因素的影响导致三维注册精度低等。
发明内容
本发明在于提供一种实现增强现实地图的方法和系统，可以在多种场景应用下提高运行速度，而又不影响特征点的匹配效果，同时还可以保持整个系统的稳定性及效率。
根据本发明的示例性实施例，提供一种实现增强现实地图的方法，所述方法可包括：对平面地图进行分割以生成包括道路区域和非道路区域的分割图像；获取与平面地图对应的拍摄图像；提取所述分割图像的特征点和所述拍摄图像的特征点；对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点；基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图；输出增强现实地图。
对平面地图进行划分的步骤包括：对平面地图进行中值滤波；使用模糊C均值聚类算法对滤波后的平面地图进行区域粗划分；使用卷积神经网络算法确定滤波后的平面地图中的道路区域和非道路区域，以生成所述分割图像。
提取所述分割图像的特征点和所述拍摄图像的特征点的步骤包括：使用加速稳健特征算法检测所述分割图像的特征点和所述拍摄图像的特征点；使用快速视网膜关键点算法获取所述分割图像的特征点的描述信息和所述拍摄图像的特征点的描述信息。
对所述分割图像的特征点和所述拍摄图像的特征点进行匹配的步骤包括：基于所述描述信息，计算所述分割图像的特征点与所述拍摄图像的特征点之间的汉明距离；基于所述汉明距离对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点。
对所述分割图像的特征点和所述拍摄图像的特征点进行匹配的步骤还包括：使用随机抽样一致性算法从匹配的特征点之中筛选匹配度高的特征点作为匹配的特征点。
根据本发明的实施例，提供一种实现增强现实地图的系统，所述系统包括：地图分割单元，被配置为对平面地图进行分割以生成包括道路区域和非道路区域的分割图像；相机单元，被配置为获取与平面地图对应的拍摄图像；处理器，被配置为：提取所述分割图像的特征点和所述拍摄图像的特征点；对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点；基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图；输出单元，被配置为输出增强现实地图。
地图分割单元被配置为：对平面地图进行中值滤波；使用模糊C均值聚类算法对滤波后的平面地图进行区域粗划分；使用卷积神经网络算法确定滤波后的平面地图中的道路区域和非道路区域，以生成所述分割图像。
处理器被配置为：使用加速稳健特征算法检测所述分割图像的特征点和所述拍摄图像的特征点；使用快速视网膜关键点算法获取所述分割图像的特征点的描述信息和所述拍摄图像的特征点的描述信息。
处理器被配置为：基于所述描述信息，计算所述分割图像的特征点与所述拍摄图像的特征点之间的汉明距离；基于所述汉明距离对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点。
处理器还被配置为：使用随机抽样一致性算法从匹配的特征点之中筛选匹配度高的特征点作为匹配的特征点。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1是根据本发明的示例性实施例的实现增强现实地图的方法的流程图。
图2是根据本发明的示例性实施例的分割图像的生成过程的流程图。
图3是根据本发明的示例性实施例的分割图像的生成过程的示意图。
图4是根据本发明的示例性实施例的特征点匹配过程的流程图。
图5是根据本发明的示例性实施例的用于三维注册的三维坐标系的示意图。
图6是根据本发明的示例性实施例的实现增强现实地图的系统的框图。
在下文中，将结合附图详细描述本发明，贯穿附图，相同或相似的元件将用相同或相似的标号来指示。
具体实施方式
提供以下参照附图进行的描述，以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构造的描述。
图1是根据本发明的示例性实施例的实现增强现实地图的方法的流程图。
如图1所示，在步骤S101，对平面地图进行分割以划分平面地图中的道路区域和非道路区域，从而生成包括道路区域和非道路区域的分割图像。
本发明考虑到平面地图特有的颜色属性，首先对平面地图进行预处理，再运用模糊C均值(fuzzy c-means，FCM)算法完成颜色聚类粗划分，接着通过自动标记获得带有标签的数据集，训练一个分割道路区域的卷积神经网络(Convolutional Neural Networks，CNN)模型，最后利用目标函数中的多类预测Softmax函数替换为对数逻辑函数的CNN分类器确定粗划分区域的所属类别(例如但不限于，道路区域和非道路区域)，保证图像分割的准确性。下文将参照图2和图3具体描述分割图像的生成过程。
在步骤S102，获取与平面地图对应的拍摄图像。例如，通过相机、摄像头等拍摄设备获取与平面地图对应的拍摄图像。
在步骤S103，提取所述分割图像的特征点和所述拍摄图像的特征点。在本发明的实施例中，可以使用加速稳健特征(Speeded Up Robust Features，SURF)算法检测所述分割图像的特征点和所述拍摄图像的特征点，然后，使用快速视网膜关键点(Fast RetinaKeypoint，FREAK)算法获取分割图像的特征点的描述信息和拍摄图像的特征点的描述信息。
在步骤S104，对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，生成匹配的特征点。下文将参照图4具体描述特征点的匹配过程。
在步骤S105，基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图。下文将参照图5具体描述三维注册的过程。
在步骤S106，输出增强现实地图。
在增强现实系统中，三维注册是核心，而特征点的检测与匹配又是整个系统的重点，所以寻找同时满足尺度、旋转不变性，又兼具鲁棒性强、实时性强，稳定性好的特征检测算法就显得尤为重要。本发明的技术方案用于在多种场景应用下提高运行速度，而又不影响特征点的匹配效果，同时还可以保持整个系统的稳定性及效率。
图2是根据本发明的示例性实施例的分割图像的生成过程的流程图。图3是根据本发明的示例性实施例的分割图像的生成过程的示意图。如图3所示，图像A为平面地图的原始图像，图像B为滤波后的图像，图像C为区域粗划分的图像，图像D和E分别为道路区域概率图(白色区域为道路区域)和道路区域概率图(白色区域为非道路区域)。
根据本发明的实施例，基于FCM聚类算法和CNN算法的图像分割方法。首先使用FCM聚类算法完成区域颜色聚类粗划分，接着通过自动标记道路类与非道路类获得带有标签的数据集，训练一个可以区分道路及非道路的CNN模型，然后将目标函数中的多类预测Softmax函数替换为对数逻辑函数，将平面地图道路分割问题转化为二分类问题，最终使用CNN分类器确定分割图像中的多个区域的所属类别(例如但不限于，道路区域和非道路区域)，并通过调整参数优化CNN算法的收敛速度及精度。
在步骤S201，对平面地图进行中值滤波，以生成滤波后的平面地图。由于平面地图包含大量细节特征，而中值滤波在保持平面地图的图像细节完整的基础上可以有效去除噪声，防止边缘模糊。因此使用中值滤波完成平面地图的图像预处理操作。平面地图的原始图像与中值滤波后的图像之间的关系为
g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)
式中：g(x,y)为中值滤波后的图像；f(x,y)为原始图像；W为二维模板；k,l分别为滑动图像横纵坐标的滑动距离。
此外，还可以利用高斯滤波器或框状滤波器进行滤波。利用尺度图像积分取代高斯二阶微分函数的近似结果，可以简化计算过程并且提高计算效率。
在步骤S202，使用FCM聚类算法对滤波后的平面地图进行区域粗划分。使用FCM聚类算法可将平面地图图像的像素分成不同类别，得到所需道路聚类的轮廓信息。
具体来讲，FCM聚类算法是一种基于目标函数的模糊聚类算法，依据像素隶属度判定某一变量的所属集合。使得划分到同一簇的变量相似度最大，而不同簇之间的相似度最小。
对于有限个对象x1,x2,…xn，模糊集合表示为A＝{(μA(xi),xi)|xi∈A}。
聚类中心ci为
价值函数为
欧几里德距离是向量的非相似性指标，第j个数据点与第i个聚类中心的欧几里德距离为
dij＝||ci-xj|| (4)
为求得公式价值函数达到最小值的必要条件需要构造新的目标函数：
式中：U为隶属矩阵；dij为欧几里德距离；m为加权指数。当得到的值小于某个阈值时，迭代停止。接下来将粗分割的平面地图图像作为输入放入卷积神经网络(CNN)框架中完成道路分割任务。
在步骤S203，使用CNN算法确定滤波后的平面地图中的道路区域和非道路区域。
以CNN为基础的平面地图道路分割模型需要利用大量样本训练网络，达到对新输入图像道路分割的目的。为了获得大量被正确标记的训练样本，依据文献提出的标记方法标记平面地图图像，即道路部分的像素点用1标记，其余区域的像素点以0为标记，选取样本中央像素点分别为1和0的样本标签组成正负训练样本集，构建平面地图道路分割模型。
卷积神经网络是由输入层、激励层、池化层、卷积层和全连接层等组成的可训练体系结构。CNN的局部连接性和权值共享性，使得训练出的网络模型对平移、旋转、缩放有很强的适应性。CNN在空间域上的池化操作能更好地挖掘图像的深层特征信息，模型计算效率及训练速度提升的同时，将信息的特征提取和分类放到同一个网络框架中同步训练，实现了算法自适应性。本文使用像素大小为35×35平面地图模型设计卷积神经网络模型。输入图像经过一个4×4的卷积层和一个2×2的池化层，完成第一次卷积与采样操作，再通过一个3×3的卷积层和一个2×2的池化层完成第二次卷积与采样操作，接着再分别经过一个3×3和2×2的卷积层，并将得到的特征图放入2个全连接层的逻辑函数分类器，得到卷积神经网络模型结构。
CNN框架中特征的提取过程由卷积层和池化层组成。卷积层的每个神经元与前一层网络对应位置的局部感受域相连，并提取前一层网络不同位置的统一特征，这种权值共享的连接方式极大的减少了网络参数。卷积层的计算式为
式中：l为卷积层；
为卷积层l中第j个神经元对应感受域的特征；k为卷积核参数；b为偏置参数；Mj为当前神经元的感受域。
f(·)为激活函数，本文选取可以克服梯度消失并加快训练速度的神经元激活函数ReLU，其数学表达式为
f(x)＝max(0,x) (7)
池化层为特征映射层，通过特征聚合统计达到描述特征的目的。这种聚合操作被称为池化，池化层不再产生新的训练数据，使得输入的特征更易于使用下采样，进一步降低了网络规模。通过对前层网络局部感受区的下采样，网络对于输入图像的畸变处理更具鲁棒性。池化层的计算公式为
式中：downsample(·)为池化层的下采样函数；β为权重系数；b为偏置系数。
道路分割可视为典型的二分类任务，对像素图像分别标记1和0，可分割出前景像素和背景像素的二值化图像，实现道路轮廓分割的目的。对于Softmax一种需要强监督信息(对象类别标签)作为目标函数的网络模型，为了防止过拟合现象的发生，随着类别数量增加通常需要大规模训练数据集以推动网络学习过程。
因此本文用对数逻辑函数：
作为分割目标函数替代多类别预测函数Softmax达到减轻CNN参数复杂度的目的。
式中：X∈RH×W×K为获取到卷积层的预测分数；Y∈RH×W×K∈{-1,1}为像素数据集合，其中-1和1分别为背景像素与前景像素；H为像素高度；W为像素宽度；K为样本数量。
为优化分割目标函数使其最小化，本文使用随机梯度下降算法调整目标函数，在增加正样本预测分数的同时，减少负样本预测分数。
通过实验分析，例如通过绘制CNN模型的Loss曲线可以得出，本发明的CNN模型有较快的收敛速度，可信度较高，迭代到400次之后Loss曲线不再下降，可以得到较为真实的模型训练结果。并且，通过绘制模型精度曲线可以得出，随着模型训练次数的不断叠加，训练精度逐渐增加直至趋于平稳，模型训练精度可以达到94.49％。
步骤S202至S203的操作如下：根据公式(1)至(5)推导对平面地图图像数据集Ω中的每幅图像实现基于颜色聚类的粗分割，得到新的图像数据集Ω1。选取Ω1数据集的部分图像完成粗标记，得到含有0和1像素标签的图像训练集Ω2，按照卷积神经网络模型训练卷积神经网络。将数据集Ω1中的任意一幅图像输入到训练后的CNN网络中，得到属于道路区域和背景区域的概率值。然后，将所得到的概率图转换为二值化图像，由于sigmoid给出的概率值为
式中：F(x,y)为分割后的道路区域图；pf(x,y)为像素点属于道路区域的概率；pb(x,y)为像素属于非道路区域的概率。
在步骤S204，根据像素属于道路区域和非道路区域的概率生成分割图像，例如，图3中的图像D或图像E。
FCM算法是一种基于目标函数的模糊聚类算法，依据像素隶属度判定某一变量的所属集合。例如但不限于，本发明还可以使用分水岭(Watershed)分割算法和Otsu阈值分割算法来进行图像分割。分水岭(Watershed)分割算法是将空间位置相近且灰度值相近的像素点连接起来构成一个封闭轮廓的数学形态分割法。Otsu阈值分割算法是基于图像的灰度特征来计算一个或多个灰度阈值达到分割图像的目的。
由于图像分割方法众多，为评判某种算法的分割效果，需要严格评估其性能。通过定量计算分割图像的性能指标，可以较为客观地评价某种分割算法。图像分割常用的评价标准有精度(Accuracy)、召回率(Recall)、准确率(Precision)、综合评价指标(F1-measure)，计算公式为
式中：NTP为正类样本即道路像素类被正确分类的数目；NTN为负类样本即背景像素类被正确分类的数目；NFN为正类样本被分负类样本的数目；NFP为负类样本被分为正样本的数目；Precision为预测正类样本中正类样本真实数量的占比；Recall为预测正类样本被被正确分类的比例；F1-measure为基于Recall和Precision衡量整体性能的指标。
CNN算法是与本技术使用相同的训练模型及数据集得到的分割结果。通过对比上述算法的Accuracy、Precision及F1-measure三个约束指标，CNN算法在众多分割算法中得到的精度最高。
此外，为了解决增强现实系统的实时性、鲁棒性及遮挡敏感性的问题，本发明还使用具备旋转不变性和尺度不变性的加速稳健特征SURF算法进行特征点检测，然后用运行效率高的FREAK二进制描述符描述特征点，接着对检测到的特征点信息进行Hamming距离匹配，最后RANSAC算法被用来筛选匹配效果良好的特征点。据此，提出SURF和FREAK算法结合使用的SURF-FREAK算法，除了具备良好的稳定性、鲁棒性及抗干扰性外，同时提高了运行速度，使得实时性得到了有效保障。
因此，根据本发明的实施例的方法可以在生成了分割图像之后，执行图1中的操作S103和S104。具体来讲，本发明利用具有旋转不变性与尺度不变性的SURF算法的特征检测算子检测分割图像的特征点和拍摄图像的特征点，利用运行速率高的FREAK算法来获取特征点的描述信息，即利用FREAK算法的二进制描述符描述特征点。基于所述描述信息，计算所述分割图像的特征点与所述拍摄图像的特征点之间的汉明(Hamming)距离，然后基于汉明距离对分割图像的特征点和拍摄图像的特征点进行匹配，确定匹配的特征点。可选地，还可以利用随机抽样一致性(Random Sample Consensus，RANSAC)算法对匹配的特征点进行筛选或过滤，以选择最佳匹配的特征点，从而提升匹配精度，进而改善三维注册的精度。
SURF算法具备高鲁棒性，该算法采用近似Hessian矩阵的局部最大值来寻找兴趣点的方位。当检测到Hessian行列式的局部值取到最大时，即为感兴趣点。
为了达到简化计算的目的，SURF算法提出利用尺度图像积分来获取高斯二阶微分函数的近似结果，这样可以降低计算量，达到简化计算、提高速度的目的。
将加权的9×9框状滤波器模板Dxx、Dxy、Dyy代替原来的二阶微分算子Lxx、Lxy、Lyy模板。简化Hessian矩阵后，方法如下：
Hessian矩阵的行列式为：
det(H)＝DxxDyy-(wDxy)2 (13)
Hessian矩阵的迹为：
Tr(H)＝Dxx+Dyy (14)
其中，w为权值，用来权衡因引入近似造成的误差，一般取为0.9。精确定位特征点可以采用非极大值抑制，即由于D的主曲率与H的特征值成正比，因此求D与H的比值ratio，这样可以避免计算H的特征值而简化计算。假设最大特征值记为α，最小特征值记为β，且α与β存在如下关系：
α＝rβ (15)
那么，其比值可表示为：
一般取r＝10，若
则将该特征点保留，否则将其舍去。
通过上文介绍即可检测到具有尺度不变性和旋转不变性的SURF特征点。下面就要对该特征点进行描述，从而完成整个特征点的提取过程。
FREAK算法是根据人眼识别物体的原理提出的，其描述子的采样点与视网膜的结构类似，采样点均匀的分布在小圆的圆心上，而特征点位于大圆的圆心上。每个圆圈代表一块感受野，每一个黑点都代表一个采样点，在对图像进行采样时，相应的感受野位置都要进行高斯平滑处理，以降低噪声对其的干扰，每个圆圈的半径表示了高斯模糊的标准差。FREAK算法具有重叠的感受野，通过重叠感受野可以获取更多的信息，使得最终的描述符更具有更好的性能。
二值描述符是由多组二值测试组成的，而两点像素的强度比较可以形成一位二值测试，因此，通过对比采样点附近一组点对的强度可以形成采样点的二值描述符，即方法如下：
其中，F表示二进制描述子，α是二值描述符的二进制左移移位值，Pα是采样点对，N表示感受野对的数目，即描述符长度，
分别表示采样点对Pα中前后采样点的像素值。
为了保证算法具有方向不变形性，则需要为每个特征点增加方向信息，FREAK算法一般以梯度作为特征点的主方向。其计算方法如下：
其中，O表示局部梯度信息，M是采样点对数，G是采样点对比点对的集合数，PO表示采样点对的位置，
和
分别是采样点PO的前一个和后一个像素点的区域的平均灰度均值。
本发明的基于SURF-FREAK算法的实现增强现实地图的方法在图片尺度缩放、旋转角度改变和特征点遮挡的情况下均能较好地实现场景的虚实注册。另外，除了抗干扰性能的提升，实时性也得到了有效改善，匹配率得到有效提高。
图4是根据本发明的示例性实施例的特征点匹配过程的流程图。
在步骤S401，基于利用SURF-FREAK算法得到的描述信息，计算分割图像的特征点与拍摄图像的特征点之间的汉明距离。
由于FREAK特征描述子的都是由0、1组成的二进制描述符，因此，使用Hamming距离可以保证匹配的效率和稳定性。Hamming距离是在等长的字符串上比较字符不同的个数，即特征描述子间的相似程度。计算二进制的Hamming距离可以按照按位异或后求和的方法求解。
若P1、P2为FREAK特征描述子，则方法如下：P1＝x0x1...x511,P2＝x0x1...x511
一般选取FREAK的维度是512维，H(P1,P2)表示特征点之间的汉明(Hamming)距离，xi,yi表示任意点对，由此公式可以得出图像间的相似程度，若H(P1,P2)计算结果越小则相似程度越高。
在步骤S402，基于所述汉明距离对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点。
可选地，在步骤S403，还可以使用随机抽样一致性算法从匹配的特征点之中筛选匹配度高的特征点作为匹配的特征点。
图5是根据本发明的示例性实施例的用于三维注册的三维坐标系的示意图。
在增强现实系统框架中，图像跟踪是在实景中实时定位摄像机的位置和方向，即完成实景坐标系与相机坐标系的转换。而图像注册涉及多个坐标系彼此转换以确定实景中虚拟对象叠加位置的过程。
我们通过相机模型来建立二维图像点与相机视觉中的三维空间点的关联。相机成像模型一般可以分为线性模型和非线性模型两大类，但是考虑到相机失真等问题，本文将以一个近似线性理想的模型做仿真，即针孔模型。
世界坐标系(Xw Yw Zw)可以从现实世界中获得，相机坐标系(Xc Yc Zc)以相机光心为原点，图像坐标系(OI X Y)以图像平面的中心为原点。像素元素是电信号转换成数字图像后存储得到的，并将图像平面的左上角顶点作为像素坐标系的原点。
用齐次坐标系表示相机坐标系与世界坐标系的转换后，方法如下：
其中M表示相机相对于世界坐标系的摄像机姿态，即相机机投影矩阵，该矩阵实现了二维坐标与三维坐标间的转换。T表示平移变换矩、R表示正交旋转矩阵。其中R包含三个独立变量RX，RY，RZ，T也包含三个变量TX，TY，TZ，这六个参数决定了摄像机光轴在世界坐标系中的坐标，称为摄像机的外部参数。
用齐次坐标系表示相机坐标系中一点在图像坐标系中的位置后，方法如下：
用齐次坐标系表示将公式2-1代入世界坐标系与图像坐标系间的转换关系后，方法如下：
其中fx，fy，u0，v0表示为摄像机的内部参数，在内部参数已经确定的情况下，外部参数M可以通过已知的物点和像点坐标求解，即可求解相机相对于世界坐标系的姿态。因此，可以在二维平面中找到三维场景的投影坐标点，进而计算出虚拟信息在屏幕上的投影位置，实现虚实注册。
图6是根据本发明的示例性实施例的实现增强现实地图的系统10的框图。如图6所示，实现增强现实地图的系统10包括地图分割单元101、相机单元102、处理器103、输出单元104。
地图分割单元101可以对平面地图进行分割以生成包括道路区域和非道路区域的分割图像。可选地，地图分割单元101可以对平面地图进行中值滤波；使用模糊C均值聚类算法对滤波后的平面地图进行区域粗划分；使用卷积神经网络算法确定滤波后的平面地图中的道路区域和非道路区域，以生成所述分割图像。上文已经参照图1至图3描述了地图分割单元101的操作，因此，这里不再赘述，相关细节可参照以上关于图1至图3的相应描述。
相机单元102可以获取与平面地图对应的拍摄图像。例如大不限于，相机单元102可以是道路摄像头、车载摄像头等设备，通过相机单元102可以获取与平面地图对应的拍摄图像。
处理器103可以提取所述分割图像的特征点和所述拍摄图像的特征点；对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点；基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图。
例如但不限于，处理器103可以使用加速稳健特征算法检测所述分割图像的特征点和所述拍摄图像的特征点；使用快速视网膜关键点算法获取所述分割图像的特征点的描述信息和所述拍摄图像的特征点的描述信息。处理器103还可以基于所述描述信息，计算所述分割图像的特征点与所述拍摄图像的特征点之间的汉明距离；基于所述汉明距离对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点。可选地，处理器103可以使用随机抽样一致性算法从匹配的特征点之中筛选匹配度高的特征点作为匹配的特征点。
上文已经参照图1至图5描述了处理器103的操作，因此，这里不再赘述，相关细节可参照以上关于图1至图5的相应描述。
输出单元104可以输出增强现实地图。例如，输出单元104可以是提供给系统用户的显示器，以向用户呈现增强现实地图。上文已经参照图1描述了输出单元104的操作，因此，这里不再赘述，相关细节可参照以上关于图1的相应描述。
根据本发明的实现增强现实地图的方法和系统可以在多种场景应用下提高运行速度，而又不影响特征点的匹配效果，同时还可以保持整个系统的稳定性及效率。
此外，应该理解，根据本发明示例性实施例的实现增强现实地图的系统中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。
根据本发明的示例性实施例的计算机可读存储介质，存储有当被处理器执行时使得处理器执行上述示例性实施例的实现增强现实地图的方法的计算机程序。该计算机可读存储介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。
虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。
Claims (10)
1.一种实现增强现实地图的方法，包括：
对平面地图进行分割以生成包括道路区域和非道路区域的分割图像；
获取与平面地图对应的拍摄图像；
提取所述分割图像的特征点和所述拍摄图像的特征点；
对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点；
基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图；
输出增强现实地图。
2.根据权利要求1所述的方法，其中，对平面地图进行划分的步骤包括：
对平面地图进行中值滤波；
使用模糊C均值聚类算法对滤波后的平面地图进行区域粗划分；
使用卷积神经网络算法确定滤波后的平面地图中的道路区域和非道路区域，以生成所述分割图像。
3.根据权利要求1所述的方法，其中，提取所述分割图像的特征点和所述拍摄图像的特征点的步骤包括：
使用加速稳健特征算法检测所述分割图像的特征点和所述拍摄图像的特征点；
使用快速视网膜关键点算法获取所述分割图像的特征点的描述信息和所述拍摄图像的特征点的描述信息。
4.根据权利要求3所述的方法，其中，对所述分割图像的特征点和所述拍摄图像的特征点进行匹配的步骤包括：
基于所述描述信息，计算所述分割图像的特征点与所述拍摄图像的特征点之间的汉明距离；
基于所述汉明距离对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点。
5.根据权利要求4所述的方法，其中，对所述分割图像的特征点和所述拍摄图像的特征点进行匹配的步骤还包括：使用随机抽样一致性算法从匹配的特征点之中筛选匹配度高的特征点作为匹配的特征点。
6.一种实现增强现实地图的系统，包括：
地图分割单元，被配置为对平面地图进行分割以生成包括道路区域和非道路区域的分割图像；
相机单元，被配置为获取与平面地图对应的拍摄图像；
处理器，被配置为：提取所述分割图像的特征点和所述拍摄图像的特征点；对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点；基于匹配的特征点，将所述分割图像三维注册到所述拍摄图像，生成增强现实地图；
输出单元，被配置为输出增强现实地图。
7.根据权利要求6所述的系统，其中，地图分割单元被配置为：
对平面地图进行中值滤波；
使用模糊C均值聚类算法对滤波后的平面地图进行区域粗划分；
使用卷积神经网络算法确定滤波后的平面地图中的道路区域和非道路区域，以生成所述分割图像。
8.根据权利要求6所述的系统，其中，处理器被配置为：使用加速稳健特征算法检测所述分割图像的特征点和所述拍摄图像的特征点；
使用快速视网膜关键点算法获取所述分割图像的特征点的描述信息和所述拍摄图像的特征点的描述信息。
9.根据权利要求8所述的系统，其中，处理器被配置为：
基于所述描述信息，计算所述分割图像的特征点与所述拍摄图像的特征点之间的汉明距离；
基于所述汉明距离对所述分割图像的特征点和所述拍摄图像的特征点进行匹配，确定匹配的特征点。
10.根据权利要求9所述的系统，其中，处理器还被配置为：使用随机抽样一致性算法从匹配的特征点之中筛选匹配度高的特征点作为匹配的特征点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911118371.9A CN110910497B (zh) | 2019-11-15 | 2019-11-15 | 实现增强现实地图的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911118371.9A CN110910497B (zh) | 2019-11-15 | 2019-11-15 | 实现增强现实地图的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110910497A true CN110910497A (zh) | 2020-03-24 |
| CN110910497B CN110910497B (zh) | 2024-04-19 |
Family
ID=69816488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911118371.9A Active CN110910497B (zh) | 2019-11-15 | 2019-11-15 | 实现增强现实地图的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910497B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702522A (zh) * | 2020-12-25 | 2021-04-23 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
| CN116342826A (zh) * | 2023-05-25 | 2023-06-27 | 上海维智卓新信息科技有限公司 | 一种ar地图的构建方法及装置 |
| TWI846177B (zh) * | 2022-11-30 | 2024-06-21 | 鴻海精密工業股份有限公司 | 道路分割方法、電腦設備及儲存介質 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839269A (zh) * | 2014-03-21 | 2014-06-04 | 南京大学 | 基于四元数和模糊c均值聚类的图像分割方法 |
| CN103984946A (zh) * | 2014-05-23 | 2014-08-13 | 北京联合大学 | 一种基于K-means的高分辨率遥感地图道路提取方法 |
| CN105096386A (zh) * | 2015-07-21 | 2015-11-25 | 中国民航大学 | 大范围复杂城市环境几何地图自动生成方法 |
| CN107833280A (zh) * | 2017-11-09 | 2018-03-23 | 交通运输部天津水运工程科学研究所 | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 |
| CN108230437A (zh) * | 2017-12-15 | 2018-06-29 | 深圳市商汤科技有限公司 | 场景重建方法和装置、电子设备、程序和介质 |
| WO2018169110A1 (ko) * | 2017-03-17 | 2018-09-20 | 주식회사 언리얼파크 | 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 |
| CN109520500A (zh) * | 2018-10-19 | 2019-03-26 | 南京航空航天大学 | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 |
| CN109840951A (zh) * | 2018-12-28 | 2019-06-04 | 北京信息科技大学 | 针对平面地图进行增强现实的方法及装置 |
-
2019
- 2019-11-15 CN CN201911118371.9A patent/CN110910497B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839269A (zh) * | 2014-03-21 | 2014-06-04 | 南京大学 | 基于四元数和模糊c均值聚类的图像分割方法 |
| CN103984946A (zh) * | 2014-05-23 | 2014-08-13 | 北京联合大学 | 一种基于K-means的高分辨率遥感地图道路提取方法 |
| CN105096386A (zh) * | 2015-07-21 | 2015-11-25 | 中国民航大学 | 大范围复杂城市环境几何地图自动生成方法 |
| WO2018169110A1 (ko) * | 2017-03-17 | 2018-09-20 | 주식회사 언리얼파크 | 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 |
| CN107833280A (zh) * | 2017-11-09 | 2018-03-23 | 交通运输部天津水运工程科学研究所 | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 |
| CN108230437A (zh) * | 2017-12-15 | 2018-06-29 | 深圳市商汤科技有限公司 | 场景重建方法和装置、电子设备、程序和介质 |
| CN109520500A (zh) * | 2018-10-19 | 2019-03-26 | 南京航空航天大学 | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 |
| CN109840951A (zh) * | 2018-12-28 | 2019-06-04 | 北京信息科技大学 | 针对平面地图进行增强现实的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张乃千 等: "一种无标识图像的FLANN-LM 配准算法", vol. 34, no. 2, pages 63 - 68 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702522A (zh) * | 2020-12-25 | 2021-04-23 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
| CN112702522B (zh) * | 2020-12-25 | 2022-07-12 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
| TWI846177B (zh) * | 2022-11-30 | 2024-06-21 | 鴻海精密工業股份有限公司 | 道路分割方法、電腦設備及儲存介質 |
| CN116342826A (zh) * | 2023-05-25 | 2023-06-27 | 上海维智卓新信息科技有限公司 | 一种ar地图的构建方法及装置 |
| CN116342826B (zh) * | 2023-05-25 | 2023-10-10 | 上海维智卓新信息科技有限公司 | 一种ar地图的构建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110910497B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN103325112B (zh) | 动态场景中运动目标快速检测方法 | |
| CN103390164B (zh) | 基于深度图像的对象检测方法及其实现装置 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| CN108734200B (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| Zhang et al. | Salient object detection in hyperspectral imagery using multi-scale spectral-spatial gradient | |
| CN106023151A (zh) | 一种开放环境下中医舌象目标检测方法 | |
| CN107622280B (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
| CN108846416A (zh) | 显著图像的提取处理方法及系统 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN117372898A (zh) | 一种基于改进yolov8的无人机航拍图像目标检测方法 | |
| CN115147644A (zh) | 图像描述模型的训练和描述方法、系统、设备及存储介质 | |
| Han et al. | Segmenting images with complex textures by using hybrid algorithm | |
| Khoshboresh-Masouleh et al. | Robust building footprint extraction from big multi-sensor data using deep competition network | |
| CN117994573A (zh) | 一种基于超像素和可形变卷积的红外弱小目标检测方法 | |
| CN113159158A (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| CN116311387B (zh) | 一种基于特征交集的跨模态行人重识别方法 | |
| CN111582057A (zh) | 一种基于局部感受野的人脸验证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |