CN105243142A - 一种基于增强现实与可视计算的智能信息推送方法 - Google Patents

Abstract

一种基于增强现实与可视计算的智能信息推送方法，涉及智能信息导览技术领域，包括以下步骤，定位：通过智能手机携带的GPS模块和陀螺仪传感器获知当前用户所处的位置和朝向；确定用户所处位置附近景点的稀疏度，服务端将对数据库进行筛选整理，提取出需要的数据，并将这些数据存储到一个临时数据库内；图像识别：定位结束之后，客户端便请求打开摄像头，从而获取用户周围的实时场景，客户端会将从摄像头读取的图像通过网络传输到服务器，服务端再对其进行分析；信息展示：通过客户端不仅仅只是能看到摄像头获取的画面，同样能看到每个物体的名称，通过点击名称可选择查看相应的详细信息、语音介绍、故事背景和3D模型。<!-- 2 -->

Description

一种基于增强现实与可视计算的智能信息推送方法

技术领域：

本发明涉及智能信息导览技术领域，技术领域，具体是一种基于增强现实与可视计算的智能信息推送方法。

背景技术：

现有技术中，游客在旅游的过程中，特别是在陌生的地方，需要一个向导，否则难以旅游的景点、文物、故事背景等具有较全面的了解。在观看一些具有历史文化的物体时，由于历史的积淀，有些物体已经残破，不能让人们了解到它原本的样貌。在对于具有时间性的景点，游客在出游的时候可能并不是适合去观看此景，无法在游览是领略到最佳时间的美景，会给旅客带来诸多的遗憾。

发明内容：

本发明所要解决的技术问题在于提供一种便于游客游览，具有定位、信息展示、物体还原、环境构建效果的基于增强现实与可视计算的智能信息推送方法。

本发明所要解决的技术问题采用以下技术方案来实现：

定位：

通过智能手机携带的GPS模块和陀螺仪传感器获知当前用户所处的位置和朝向；

将用户所处状态通过网络上传到服务器中，由服务端对这些数据进行处理，以经纬度作为起点O，通过遍历算法依次从数据库中由近到远查询该点附近的M个景点，计算最远点Y与起点O的距离L，将M与L的比值作为衡量该位置附近景点的稀疏度S，稀疏度的大小将决定服务端从数据库筛选的数据范围的大小；

在确定用户所处位置附近景点的稀疏度之后，接下来服务端将对数据库进行筛选整理，提取出我们所需要的数据，并将这些数据存储到一个临时数据库内；

图像识别：定位结束之后，客户端便请求打开摄像头，从而获取用户周围的实时场景，客户端会将从摄像头读取的图像通过网络传输到服务器，服务端再对其进行分析；

信息展示：在完成对用户的定位之后，软件会打开用户的摄像头，并对摄像头捕捉的画面进行分析，通过网络与系统服务器进行链接，在系统图像数据库内进行图片的识别匹配，根据匹配的结果在信息数据库内筛选出对应的信息反馈到客户端上，用户通过客户端不仅仅只是能看到摄像头获取的画面，同样能看到每个物体的名称，通过点击名称可选择查看相应的详细信息、语音介绍、故事背景和3D模型。

本发明的有益效果是：

1)用户定位功能

对用户所处的位置进行定位，从而筛选出用户可能搜索到的一些信息，提高系统的搜索效率，提高信息获取的准确性。

2)信息展示功能

用户通过客户端不仅仅只是能看到摄像头获取的画面，同样能看到每个物体的名称，通过点击名称可选择查看相应的详细信息、语音介绍、故事背景、3D模型等等。

3)物体还原功能

对于存在着历史痕迹，不能观看完整时风采等物体，用户在使用点击名称之后，会多出一个物体还原的选项，选择该功能之后系统会根据需求在数据库中查找原本已经搭建好的3D立体模型并通过客户端呈现给用户。

4)环境构建功能

在对于具有时间性的景点，游客在出游的时候可能并不是适合去观看此景，这时就会给旅客带来诸多的遗憾。可以根据用户手持装置摄像头捕捉的画面对用户所处景点进行分析，之后软件会通过网络查询相应景点的热门场景，通过增强现实技术，将虚构的场景与现实的场景结合起来，并在客户端显示给用户，让用户能亲身体验“六月飞雪”等场景。

具体实施方式：

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实例，进一步阐述本发明。

本方法采用的系统包括了用户使用的客户端和管理后台的服务端组成，系统的各个功能都是由客户端和服务端协同完成的。

1)定位

当用户启动客户端软件时，软件首先会通过智能手机携带的GPS模块和陀螺仪传感器获知当前用户所处状态(位置和朝向)。位置由GPS模块与卫星的交互反馈的经纬度确定，我们采用N代表纬度，E代表经度，北纬正南纬负，东经正西经负；朝向由陀螺仪传感器所记录的朝向为终边，以从西到东的纬线作为起始边，去两者之间的夹角作为最后记录的朝向，朝向为360°制，用T表示。

在实现对用户的定位之后，会实时将用户所处状态通过网络上传到服务器中，由服务端对这些数据进行处理。首先以经纬度作为起点O，通过遍历算法依次从数据库中由近到远查询该点附近的M个景点(M值越大，识别误差率就低)，计算最远点Y与起点O的距离L，将M与L的比值作为衡量该位置附近景点的稀疏度S，稀疏度的大小将决定服务端从数据库筛选的数据范围的大小。

在确定用户所处位置附近景点的稀疏度之后，接下来服务端将对数据库进行筛选整理，提取出我们所需要的数据，并将这些数据存储到一个临时数据库内。

2)图像识别

定位结束之后，客户端便请求打开摄像头，从而获取用户周围的实时场景。客户端会将从摄像头读取的图像通过网络传输到服务器，服务端再对其进行分析。我们采用的当前发育相对成熟的opencv技术来对图像进行提取、分析和比对。

首先，设置客户端每3s获取一帧图像传输到服务器，接下来在服务端进行对图像的分析处理。在系统进行最后图像匹配之前，系统、会对目标图像进行一次特征点的提取。在特征点的提取方面，我们借鉴的是尺度不变特征变换算法，这是因为通过算法提取的特征点具有不受图像位置、大小和方向的影响，识别率较高。但是，算法也有它的缺点，那就是识别过程比较慢，故系统会提前完成以下操作以提高系统效率。

1.读取图像。当服务端接收到图像时，会优先判断是否为第一次接收该用户发送过来的图像。如果是，则提取该图像各个点的像素值存放到二维矩阵数组CvMat中，并将这些值存入临时图像库中，进行下述操作；如若不是，则将当前图像与临时图像库内的图像进行比较，直接令两组数据对应做减法，如若变化在百数以内，则说明当期用户并未有明显移动，可直接显示之前获取的信息。

2.平滑处理。在拍照过程中，拍摄出来的图像往往都会受到光线等因素的干扰，故需要平滑处理操作去除这些影响。系统采用的是最有效的高斯滤波算法，高斯滤波是指用高斯卷积扫描图像中的每一个像素，用卷积确定的邻域内像素的加权平均灰度值去代替卷积中心像素点的值。

3.二值化。设定阈值thred，遍历所有像素点，将像素值大于等于阈值的点都设置像素值为255，低于的都设置为0，从而形成一张只有黑白两色的二值化图像。

4.轮廓提取。通过轮廓提取可以把我们感兴趣的目标提取出来，从而减少图像特征点数目，提高系统执行效率。采用opencv中的轮廓提取，将二值化转化为一群连通区域的轮廓点的集合：vector<vector<Point>>。外层vector的size代表了图像中轮廓的个数，里面vector的size代表了轮廓上点的个数。

5.提取目标图片。遍历数据vector<vector<Point>>中的每个外轮廓进行筛选，排除轮廓点低于稀疏度S的外轮廓，保存剩下的外轮廓数据。通过cvMinAreaRect2对每个外轮廓构建一个最小外接矩形，并返回CvBox2D结构体数据。

由于opencv无法截取与水平轴存在倾斜的矩形，故还需在该外接矩形外构建一个平行于水平轴的最小外接正方形。以矩形对角线长度D作为正方形的边长，故正方形四个顶点的坐标分别为：P0，P1，P2，P3。以该正方形构造一个二维矩阵将所需要的内容通过cvSetImageROI函数截取下来，并保存到临时目标图像文件夹内。

6.开运算。提取目标图像，进行开运算操作。在形态学中用B代表结构元素，对工作空间E中的每一点，先腐蚀后膨胀的过程称为开运算。它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用，在此是为了消除不必要的特征点。

7.图像匹配。最后，调整目标图像的尺寸为64*64，通过算法获取该图片所有的特征点F，并将这些特征点数据依次与预先筛选出的景点特征点数据进行对比，当融合度达到标准融合度A时，可以确定图像图片匹配成功。

3)信息展示

在服务端完成对图像识别之后，服务端便通过网络将对应景点信息发送到客户端进行显示。在选择查看3D模型操作时，客户端会根据用户当前所处朝向以及事先存放于数据库的景点正面朝向进行对比，判断用户跟该景点的相对位置，从而对展现出的模型进行旋转，刚好呈现给用户的是从用户那个角度看到的画面。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种基于增强现实与可视计算的智能信息推送方法，其特征在于：包括以下步骤，

定位：

通过智能手机携带的GPS模块和陀螺仪传感器获知当前用户所处的位置和朝向；

将用户所处状态通过网络上传到服务器中，由服务端对这些数据进行处理，以经纬度作为起点O，通过遍历算法依次从数据库中由近到远查询该点附近的M个景点，计算最远点Y与起点O的距离L，将M与L的比值作为衡量该位置附近景点的稀疏度S，稀疏度的大小将决定服务端从数据库筛选的数据范围的大小；

在确定用户所处位置附近景点的稀疏度之后，接下来服务端将对数据库进行筛选整理，提取出我们所需要的数据，并将这些数据存储到一个临时数据库内；

图像识别：定位结束之后，客户端便请求打开摄像头，从而获取用户周围的实时场景，客户端会将从摄像头读取的图像通过网络传输到服务器，服务端再对其进行分析；

信息展示：在完成对用户的定位之后，软件会打开用户的摄像头，并对摄像头捕捉的画面进行分析，通过网络与系统服务器进行链接，在系统图像数据库内进行图片的识别匹配，根据匹配的结果在信息数据库内筛选出对应的信息反馈到客户端上，用户通过客户端不仅仅只是能看到摄像头获取的画面，同样能看到每个物体的名称，通过点击名称可选择查看相应的详细信息、语音介绍、故事背景和3D模型。

2.根据权利要求1所述的一种基于增强现实与可视计算的智能信息推送方法，其特征在于：在选择查看3D模型操作时，客户端会根据用户当前所处朝向以及事先存放于数据库的景点正面朝向进行对比，判断用户跟该景点的相对位置，从而对展现出的模型进行旋转，刚好呈现给用户的是从用户那个角度看到的画面。