CN106778649A - 一种判断景点标识物的图像识别算法 - Google Patents

一种判断景点标识物的图像识别算法 Download PDF

Info

Publication number
CN106778649A
CN106778649A CN201611218108.3A CN201611218108A CN106778649A CN 106778649 A CN106778649 A CN 106778649A CN 201611218108 A CN201611218108 A CN 201611218108A CN 106778649 A CN106778649 A CN 106778649A
Authority
CN
China
Prior art keywords
image
sight spot
mobile phone
information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611218108.3A
Other languages
English (en)
Inventor
曲东阳
高轩
高一轩
褚长森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201611218108.3A priority Critical patent/CN106778649A/zh
Publication of CN106778649A publication Critical patent/CN106778649A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Abstract

本发明公开了一种判断景点标识物的图像识别算法，该算法通过抓取景点图像，通过图像中出现的标识性物体并结合地图以及定位信息判断出该景点位置，上述抓取景点图像的主要步骤有(1)用手机拍照读取SIFT特征作为传统的图像识别特征；(2)手机获取该位置卫星定位信息；(3)将手机获取的图像特征以及定位信息与手机所储存的地图信息进行核对，确定该景点信息。

Description

一种判断景点标识物的图像识别算法
技术领域
本发明属于旅游管理技术设备领域，尤其是涉及一种景点识别方法及其系统。
背景技术
随着社会的发展，科技的进步，智能手机的应用越来越广。而随着人们生活水平的提高，旅游成为了一种越来越重要的休闲娱乐方式。人们在不熟悉的地方旅游的过程中，希望获取到标志物建筑的相关信息。目前图像内容识别还没有完备解决方案。传统的全自动图像识别方法无法很好的适应不同的场景，必须根据场景的需求分别给出解决方案。基于用户交互的图像识别方法增加了用户的交互负担，而且对于非专业用户，给出的交互不一定可以解决识别问题。
发明内容
为了弥补上景点GPS功能的不足，本发明提出一种景点识别方法及其系统。
其技术方案为，一种判断景点标识物的图像识别算法，其特征在于，该算法通过抓取景点图像，通过图像中出现的标识性物体并结合地图以及定位信息判断出该景点位置，上述抓取景点图像的主要步骤有(1)用手机拍照读取SIFT特征作为传统的图像识别特征；(2)手机获取该位置卫星定位信息；(3)将手机获取的图像特征以及定位信息与手机所储存的地图信息进行核对，确定该景点信息。
在手机拍照过程中同时调取手机的重力传感器数据，判断手机拍照角度和高度。
手机确定景点信息后，调用重力传感器信息确定手机移动位移，进而匹配景点信息。
上述步骤(1)中提取了拍摄图像的128维图像特征，方向特征选取了加速度传感器X、Y、Z三个轴旋转的加速度，共3维方向特征，位置特征选取了GPS信息中的经度、纬度和高度，共三维位置特征。
为了方便用户在旅游过程中获取旅游景点的信息，本系统利用图像识别手段，让用户快速获得景点的详细介绍内容，同时该系统并不会过多的增加手机流量与电量消耗。该系统在服务器上传图片后，可依靠图像特征提取算法，自动生成图像特征文件。通过给客户端只下发图像特征文件的方式，有效降低用户手机流量。
附图说明
图1为本发明的一种实施方式的流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步说明。
如附图1，本发明的一种实施方式。一种判断景点标识物的图像识别算法，其特征在于，该算法通过抓取景点图像，通过图像中出现的标识性物体并结合地图以及定位信息判断出该景点位置，上述抓取景点图像的主要步骤有(1)用手机拍照读取SIFT特征作为传统的图像识别特征；(2)手机获取该位置卫星定位信息；(3)将手机获取的图像特征以及定位信息与手机所储存的地图信息进行核对，确定该景点信息。
结合图1，在游客手持用户端进入景区后，用户端拍摄到景点照片后随即提取该照片特征信息，然后对图像数据包进行匹配，根据拍摄的图片定位游客的具体景点位置和景点内容。在定位到具体景点后，用户端显示该景点的讲解信息，根据选择播放解说音频，同时根据用户端拍摄景点的角度及判断其在景点的具体位置，并在景点的数据地图上显示出来。
本发明中各个模块可以采用PLC来实现，同时本发明采用的特征提出算法可以是常用的图像特征中的颜色特征、纹理特征、形状特征、空间关系特征。
一颜色特征
(一)特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。
(二)常用的特征提取与匹配方法
颜色直方图
其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。
最常用的颜色空间：RGB颜色空间、HSV颜色空间。
颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。
二纹理特征
(一)特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。
(二)常用的特征提取与匹配方法
纹理特征描述方法分类
(1)统计方法统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法Gotlieb和Kreyszig等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。统计方法中另一种典型方法，则是从图像的自相关函数(即图像的能量谱函数)提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数
(2)几何法
所谓几何法，是建立在纹理基元(基本的纹理元素)理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中，比较有影响的算法有两种：Voronio棋盘格特征法和结构法。
(3)模型法
模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫(Markov)随机场(MRF)模型法和Gibbs随机场模型法
(4)信号处理法
纹理特征的提取与匹配主要有：灰度共生矩阵、Tamura纹理特征、自回归纹理模型、小波变换等。
灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura纹理特征基于人类对纹理的视觉感知心理学研究，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型(simultaneous auto-regressive,SAR)是马尔可夫随机场(MRF)模型的一种应用实例。
三形状特征
(一)特点：各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，
(二)常用的特征提取与匹配方法
通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。
几种典型的形状特征描述方法：
(1)边界特征法该方法通过对边界特征的描述来获取图像的形状参数。其中Hough变换检测平行直线方法和边界方向直方图方法是经典方法。Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。
(2)傅里叶形状描述符法
傅里叶形状描述符(Fourier shape descriptors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。
由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。
(3)几何参数法
形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度(如矩、面积、周长等)的形状参数法(shape factor)。在QBIC系统中，便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数，进行基于形状特征的图像检索。
(二)常用的特征提取与匹配方法
提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引，根据每个图像子块来提取和匹配。
在手机拍照过程中同时调取手机的重力传感器数据，判断手机拍照角度和高度。
手机确定景点信息后，调用重力传感器信息确定手机移动位移，进而匹配景点信息。
上述步骤(1)中提取了拍摄图像的128维图像特征，方向特征选取了加速度传感器X、Y、Z三个轴旋转的加速度，共3维方向特征，位置特征选取了GPS信息中的经度、纬度和高度，共三维位置特征
为了方便用户在旅游这种场景下获取景点标志物的信息，本算法结合了智能手机具备的独特特点和传统的图像内容识别算法，提高了用户在旅游时识别标志物的准确性。该算法在特定的使用场景下，最大限度地减少了用户的交互并且很大程度上提高了算法的识别准确率。
本算法基于证据理论融合了传统的图像特征、GPS位置特征和智能手机独有的加速度传感器方向信息，达到准确、方便、快捷地识别图像的目的。
该算法选取了SIFT特征作为传统的图像识别特征，这种特征是一种局部图像特征，具有与影像大小和旋转无关的特征，对于光线、噪声、微视角改变的容忍度也相当高，适合用户拍摄景区景物这种使用场景。
图像内容识别需要提前选取训练样本进行模型训练，而训练样本毕竟有限，而且当用户拍摄景物图像时，不同用户选取的视角可能差异非常大，这是SIFT特征所不能容忍的。
本算法利用智能手机独有的优势，加入了加速度传感器信息作为算法的方向特征。加速度传感器又叫重力传感器，通过其数据可以计算出手机的拍摄角度。算法中利用智能手机API中的Sensor对象，获取拍摄图片时的加速度传感器信息，将该信息作为景点标志物识别时的方向。
为了进一步提高算法的识别率，并且加快算法的识别速度，该算法还加入了拍摄图像时的位置特征。利用GPS传感器，获取到拍摄图片时手机的经纬度和高度，作为景点建筑物识别时的位置特征。
本算法提取了拍摄图像的128维图像特征，方向特征选取了加速度传感器X、Y、Z三个轴旋转的加速度，共3维方向特征，位置特征选取了GPS信息中的经度、纬度和高度，共三维位置特征。
本发明中，用户通过实现在手机上下载某个景区的数据包。数据包中包括景区中各个景点标志物的图像特征、语音与文本介绍信息。当用户到达景区某地点并打开该应用对标志物拍照后，手机通过拍摄目标提取的特征与待选标志物特征进行相似度匹配，将相似度最高且达到一定阈值的待选标志物作为用户的兴趣点，从而判断出用户所拍摄的景点并为用户播放手机本地的该景点语音介绍，显示景点的介绍文字。可依靠图像特征提取算法，自动生成图像特征文件。通过给客户端只下发图像特征文件的方式，有效降低用户手机流量。本发明所有的识别操作均有用户端离线实现，只要下载好景点数据包后其他都不用再连接网络，大大节省了流量。同时本发明可以随时拍照，随时解说，方便游客独立使用，所有运算均在用户端，减少延迟，方便使用。为了方便用户在旅游过程中获取旅游景点的信息，本系统利用图像识别手段，让用户快速获得景点的详细介绍内容，同时该系统并不会过多的增加手机流量与电量消耗。该系统在服务器上传图片后，可依靠图像特征提取算法，自动生成图像特征文件。通过给客户端只下发图像特征文件的方式，有效降低用户手机流量。
综上所述，并非本发明的全部内涵：此后，凡有在被发明主体精神之内所作的任何修改、替换直至完善升级等项目，均包括在本发明的保护范围之内。

Claims (4)

1.一种判断景点标识物的图像识别算法，其特征在于，该算法通过抓取景点图像，通过图像中出现的标识性物体并结合地图以及定位信息判断出该景点位置；
上述抓取景点图像的主要步骤有(1)用手机拍照读取SIFT特征作为传统的图像识别特征；(2)手机获取该位置卫星定位信息；(3)将手机获取的图像特征以及定位信息与手机所储存的地图信息进行核对，确定该景点信息。
2.根据权利要求1所述的景点识别方法，其特征在于，在手机拍照过程中同时调取手机的重力传感器数据，判断手机拍照角度和高度。
3.根据权利要求1所述的景点识别方法，其特征在于，手机确定景点信息后，调用重力传感器信息确定手机移动位移，进而匹配景点信息。
4.根据权利要求1所述的景点识别方法，其特征在于，上述步骤(1)中提取了拍摄图像的128维图像特征，方向特征选取加速度传感器X、Y、Z三个轴加速度的向特征，位置特征选取了GPS信息中经度、纬度和高度的位置特征。
CN201611218108.3A 2016-12-26 2016-12-26 一种判断景点标识物的图像识别算法 Pending CN106778649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611218108.3A CN106778649A (zh) 2016-12-26 2016-12-26 一种判断景点标识物的图像识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611218108.3A CN106778649A (zh) 2016-12-26 2016-12-26 一种判断景点标识物的图像识别算法

Publications (1)

Publication Number Publication Date
CN106778649A true CN106778649A (zh) 2017-05-31

Family

ID=58926672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611218108.3A Pending CN106778649A (zh) 2016-12-26 2016-12-26 一种判断景点标识物的图像识别算法

Country Status (1)

Country Link
CN (1) CN106778649A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614558A (zh) * 2018-12-10 2019-04-12 湘潭大学 一种多定位旅游日志自动生成方法及系统
CN110514181A (zh) * 2018-05-22 2019-11-29 杭州萤石软件有限公司 一种电子设备定位方法和装置
CN110650266A (zh) * 2019-09-25 2020-01-03 福州全摄汇网络科技有限公司 一种景点用美图拍摄及美图摄影点位导航的人机交互设备
CN110866079A (zh) * 2019-11-11 2020-03-06 桂林理工大学 一种智慧景区实景语义地图的生成与辅助定位方法
CN112967641A (zh) * 2020-10-22 2021-06-15 太极计算机股份有限公司 一种基于ar技术的景区的自动识别讲解及增强展示方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190798A1 (en) * 2008-01-25 2009-07-30 Sungkyunkwan University Foundation For Corporate Collaboration System and method for real-time object recognition and pose estimation using in-situ monitoring
CN101769747A (zh) * 2009-12-21 2010-07-07 戴文娟 景点智能导游系统及方法
CN102192743A (zh) * 2010-03-09 2011-09-21 陈新伟 一种景区导航装置及导航系统
CN103424113A (zh) * 2013-08-01 2013-12-04 毛蔚青 移动终端基于图像识别技术的室内定位与导航方法
CN103440318A (zh) * 2013-08-29 2013-12-11 王靖洲 移动终端的景观识别系统
CN103632626A (zh) * 2013-12-03 2014-03-12 四川省计算机研究院 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN203786302U (zh) * 2013-12-06 2014-08-20 曲东阳 一种综合定位器及采用该定位器的定位系统
CN104409031A (zh) * 2014-10-20 2015-03-11 东北大学 一种面向移动终端的智能旅游服务系统及方法
CN105095359A (zh) * 2015-06-24 2015-11-25 深圳市美贝壳科技有限公司 快速获取餐饮信息的查询方法及其系统
CN106153047A (zh) * 2016-08-15 2016-11-23 广东欧珀移动通信有限公司 一种室内定位方法、装置及终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190798A1 (en) * 2008-01-25 2009-07-30 Sungkyunkwan University Foundation For Corporate Collaboration System and method for real-time object recognition and pose estimation using in-situ monitoring
CN101769747A (zh) * 2009-12-21 2010-07-07 戴文娟 景点智能导游系统及方法
CN102192743A (zh) * 2010-03-09 2011-09-21 陈新伟 一种景区导航装置及导航系统
CN103424113A (zh) * 2013-08-01 2013-12-04 毛蔚青 移动终端基于图像识别技术的室内定位与导航方法
CN103440318A (zh) * 2013-08-29 2013-12-11 王靖洲 移动终端的景观识别系统
CN103632626A (zh) * 2013-12-03 2014-03-12 四川省计算机研究院 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN203786302U (zh) * 2013-12-06 2014-08-20 曲东阳 一种综合定位器及采用该定位器的定位系统
CN104409031A (zh) * 2014-10-20 2015-03-11 东北大学 一种面向移动终端的智能旅游服务系统及方法
CN105095359A (zh) * 2015-06-24 2015-11-25 深圳市美贝壳科技有限公司 快速获取餐饮信息的查询方法及其系统
CN106153047A (zh) * 2016-08-15 2016-11-23 广东欧珀移动通信有限公司 一种室内定位方法、装置及终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110514181A (zh) * 2018-05-22 2019-11-29 杭州萤石软件有限公司 一种电子设备定位方法和装置
CN109614558A (zh) * 2018-12-10 2019-04-12 湘潭大学 一种多定位旅游日志自动生成方法及系统
CN110650266A (zh) * 2019-09-25 2020-01-03 福州全摄汇网络科技有限公司 一种景点用美图拍摄及美图摄影点位导航的人机交互设备
CN110866079A (zh) * 2019-11-11 2020-03-06 桂林理工大学 一种智慧景区实景语义地图的生成与辅助定位方法
CN110866079B (zh) * 2019-11-11 2023-05-05 桂林理工大学 一种智慧景区实景语义地图的生成与辅助定位方法
CN112967641A (zh) * 2020-10-22 2021-06-15 太极计算机股份有限公司 一种基于ar技术的景区的自动识别讲解及增强展示方法
CN112967641B (zh) * 2020-10-22 2023-02-17 太极计算机股份有限公司 一种基于ar技术的景区的自动识别讲解及增强展示方法

Similar Documents

Publication Publication Date Title
Taira et al. InLoc: Indoor visual localization with dense matching and view synthesis
Wang et al. Torontocity: Seeing the world with a million eyes
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
CN106778649A (zh) 一种判断景点标识物的图像识别算法
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN107133325B (zh) 一种基于街景地图的互联网照片地理空间定位方法
Sirmacek et al. A probabilistic framework to detect buildings in aerial and satellite images
CN105143907B (zh) 定位系统和方法
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
CN106649747A (zh) 一种景点识别方法及其系统
Kaminsky et al. Alignment of 3D point clouds to overhead images
CN110866079A (zh) 一种智慧景区实景语义地图的生成与辅助定位方法
US20160267326A1 (en) Image abstraction system
CN105358937A (zh) 用于测绘仪器的定位方法和所述测绘仪器
Lu et al. Digital preservation for heritages: Technologies and applications
CN109446929A (zh) 一种基于增强现实技术的简笔画识别系统
Sun et al. A multi-level convolution pyramid semantic fusion framework for high-resolution remote sensing image scene classification and annotation
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
Xiu et al. 3D semantic segmentation for high-resolution aerial survey derived point clouds using deep learning
Yang et al. Detecting small objects in urban settings using SlimNet model
Khan et al. A review of benchmark datasets and training loss functions in neural depth estimation
Giachetti et al. SHREC15 Track: Retrieval of non-rigid (textured) shapes using low quality 3D models
Amato et al. Technologies for visual localization and augmented reality in smart cities
CN114416764A (zh) 地图更新方法、装置、设备及存储介质
Jiao et al. Individual building rooftop and tree crown segmentation from high-resolution urban aerial optical images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531