CN113313841A - 一种基于云存储服务的ar方法、装置、电子设备及存储介质 - Google Patents

一种基于云存储服务的ar方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113313841A
CN113313841A CN202110714449.4A CN202110714449A CN113313841A CN 113313841 A CN113313841 A CN 113313841A CN 202110714449 A CN202110714449 A CN 202110714449A CN 113313841 A CN113313841 A CN 113313841A
Authority
CN
China
Prior art keywords
data
registration
cultural relic
cloud storage
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110714449.4A
Other languages
English (en)
Inventor
崔晓云
闫兴亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202110714449.4A priority Critical patent/CN113313841A/zh
Publication of CN113313841A publication Critical patent/CN113313841A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种基于云存储服务的AR方法、装置、电子设备及存储介质。该方法包括：利用摄像头拍摄采集场景视频帧，其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；基于FAST‑SURF算法，对特征点检测；利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；基于云存储和访问技术实现数据的管理和访问；根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。该方法能够有效管理博物馆资源，且检测速度快、定位精度较高、匹配性好，特别是在实时性和稳定性方面有明显的优势。

Description

一种基于云存储服务的AR方法、装置、电子设备及存储介质
技术领域
本申请涉及显示技术、虚拟交互技术、计算机图形和多媒体技术，特别是涉及一种基于云存储服务的AR方法、装置、电子设备及存储介质、电子设备及存储介质。
背景技术
AR(Augmented Reality，增强现实)博物馆是借助显示技术、虚实交互技术[1]、传感器技术、计算机图形图像技术[2]和多媒体技术将计算机生成的虚拟历史文物资源(3D模型、图像、音频和视频)叠加到文物载体之上，从而实现对现实环境的“增强”。AR博物馆不但保存着人类丰富的历史信息，见证着整个人类文化的发展和传承，还具有实物收藏、科学研究、社会教育的重大意义。
传统AR博物馆的研究案例中较为典型：Bruns等公开了一种基于计算机视觉的博物馆导览装置“PhoneGuide”[3]，该装置的原理是采用轻量级的两层神经网络算法进行文物识别，具有离线导览的特征，识别算法在移动端运行，该特征使得该装置具有只涉及离线版，未对在线版进行研究，且不需要通过网络进行数据传输的缺点和不足；北京理工大学郭俊伟等人公开了一种基于便携式PC的移动博物馆导览装置[4]，该装置具有离线处理和在线处理两个阶段的特征，在离线阶段，建立展品的关键帧数据库，利用仿射变换生成大量图像样本，用随机树方法对样本进行有监督学习，建立特征库和随机树分类器；在线阶段，采用基于随机树的模式识别分类算法建立关键帧的特征匹配集合，选取具有最多内点数的候选关键帧，利用RANSAC方法计算单应矩阵完成跟踪注册。该特征使得这种装置种类繁多、展示动态性、存储异构性和格式多样性的藏品无法有效管理和共享的缺点和不足。
随着云计算[5]和SaaS(软件即服务)[6]的诞生，云存储成为信息存储领域的一个研究热点，其强大的硬件设备(存储设备、网络设备、服务器、应用软件、公用访问接口、以及接入网)和海量存储空间为AR[7]朝着网络化发展提供了技术支持，使得AR博物馆研究也逐渐进入数字、网络化。拥有视频摄像头、导航、触摸屏等功能的移动设备(PDA、智能手机)的普及(根据eMarketer的新数据，2016年全球智能手机用户将增长12.6％达到21.6亿)[8]使得AR博物馆变为“在线上”。同时随着4G/LTE高速无线宽带通信网络的发展，AR和无线定位相结合可以更好地实现信息交互、三维动态显示和资源共享，达到友好的人机交互效果。
然而，本申请的发明人发现现有技术无法对分散、异构的AR博物馆资源有效利用、共享和管理，而且通过AR技术实现虚拟资源与历史文物融合显示时终端内耗大、app运行发热。因而实时融合效果差、卡顿、影响用户体验。
[1]李腾飞.增强现实虚实交互技术的研究与实现[D].沈阳工业大学,2019.
[2]张婧.计算机技术在图形图像处理中的应用与关键技术[J].电子技术与软件工程,2021(09):122-123.
[3]Zhou S,Hu P,Li K，et al.A new target tracking scheme based onimproved mean shift and adaptive Kalman filter[J].International Journal ofAdvancements in Computing Technology,2012,4(2):291-301.
[4]陈浩.基于SURF特征匹配算法的全景图像拼接[D].西安：西安电子科技大学，2010.
[5]Hayes B.Cloud computing[J].Communications oftheACM，2008，51(7):9-11.
[6]Laplante P,Zhang J,Voas J.What’s in a Name.Distinguishing betweenSaaS and SOA[J].It Professional,2008,10(3):46-50.
[7]Tan Y J,Cui-Xia L I.The Application and development ofvirtualreality[J].Computer Knowledge&Technology,2008.
[8]Zhang Fang.Global smartphone users will reach1.91billionin2015[EB/OL].(2014-12-23)[2015-04-24].http://www.cctime.com/html/2014-12-23/201412231536456269.html.
发明内容
本申请实施例的目的在于提供一种基于云存储服务的AR方法、装置、电子设备及存储介质、电子设备及存储介质，以提高用户体验时手机端数据处理能力，实时显示增强的虚拟资源信息，解决卡顿和时延问题。
第一方面，本申请实施例提供了一种基于云存储服务的AR方法，该方法包括：
利用摄像头拍摄采集场景视频帧，其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
基于FAST-SURF算法，对特征点检测；
利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
基于云存储和访问技术实现数据的管理和访问；
根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
可选的，该方法还包括：
S(Server，服务端)，完成采集、检测、配准、存储、融合与显示等方法的所有计算任务，并存储文物载体和虚拟历史文物数据信息；
C(Client，客户端)，实现视频图片帧的输入和虚实融合显示。
可选的，基于无线的跟踪配准方法确定终端位置，包括：
基于预定规则对环境参数和指纹网格进行设置，其中，环境参数为35.2mx 30.1m，指纹网格为2.0m x 2.0m，最小偏差为：0.025m，最大偏差为：2.2m；平均偏差为：1.225m；
部署无线跟踪配准AP点为11个，且保证每三个AP之间构成正三角形关系；
部署无线跟踪配准指纹网格为6个，利用三角形关系实现定位配准。
可选的，基于云存储和访问技术实现数据的管理和访问，包括：
存储单元，对叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问；
所有数据资源存储于SQLServer关系数据库中。
第二方面，本申请实施例提供了一种基于云存储服务的AR装置，该装置包括：采集模块，用于视频输入、图片获取；其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
检测模块，基于FAST-SURF算法，对特征点检测；
配准模块，利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
存储模块，基于云存储和访问技术实现数据的管理和访问；
融合模块，根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
可选的，该装置还包括：
所述装置，采用C/S架构；
S(Server，服务端)，完成采集模块、检测模块、配准模块、存储模块和融合模块等装置的所有计算任务，并存储文物载体和虚拟历史文物数据信息；
C(Client，客户端)，实现视频图片帧的输入和虚实融合显示。
可选的，该配准模块，包括：
基于预定规则对环境参数和指纹网格进行设置，其中，环境参数为35.2mx 30.1m，指纹网格为2.0m x 2.0m，最小偏差为：0.025m，最大偏差为：2.2m；平均偏差为：1.225m；
部署无线跟踪配准AP点为11个，且保证每三个AP之间构成正三角形关系；
部署无线跟踪配准指纹网格为6个，利用三角形关系实现定位配准。
可选的，该存储模块，包括：
存储单元，对叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问；
所有数据资源存储于SQLServer关系数据库中。
第三方面，本发明实施例还提供一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现描述的一种基于云存储服务的AR方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行实现本申请实施例描述的一种基于云存储服务的AR方法。
本申请实施例提供的一种基于云存储服务的AR方法通过摄像头捕获博物馆中的文物视频帧，完成视频输入、图片获取；通过图像彩色空间变化提取图像特征点，利用高斯金字塔建立多分辨率模型，保证尺度不变性；在小型复杂的博物馆环境中，采用基于视觉的跟踪配准方法，对摄像头采集到的一组视频帧进行实时匹配，确定及目标坐标系、像平面坐标系和标志物坐标系之间转化关系，获取视频关键帧在真实环境中的位置和姿态，同时结合无线网络相结合的跟踪配准方式，通过终端(笔记本电脑、智能手机、PAD)获取周围各AP(Access Point)发送的RSSI和MAC地址信息来确定终端位置信息，跟踪配准精度高、速度快、目标不易丢失；通过对虚拟历史资源信息(图片、音频、视频、动画、文本的二维图形和图表、三维虚拟模型等)异构资源进行封装，并去除其异构性，虚拟历史资源信息得到有效管理和分享；借助云存储技术对AR博物馆中的历史文物资源与叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问，装置运行发热、卡顿现象明显缓解、版本更新可控。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于云存储服务的AR方法的第一种示意图；
图2为本申请实施例的一种基于云存储服务的AR装置的第一种示意图；
图3为相关技术中的C/S架构示意图；
图4为相关技术中跟踪配准的实现过程的一种示意图；
图5为相关技术中的异构数据集成流程示意图；
图6为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中采用的基于基于云存储服务的增强现实方法，对AR博物馆中繁杂资源进行管理和分享，并通过4G/LTE无线网络将虚拟内容下载到终端本地，同时应用视觉和无线的跟踪配准方法将虚拟内容与博物馆实景相结合，达到虚实融合的效果。主要是对已给的文物模板库图像和待检测图像数据集的色彩空间I分量作为特征划分提取特征图像，利用建立高斯金字塔建立多分辨率分析模型，获取特征描述算子，通过追踪定位获取虚拟历史资源信息与文物实景载体之间的位置关系，使得他们可以进行空间匹配。但是虚拟历史资源与载体之间的位置关系函数未确定，且单纯的视觉视觉跟踪配准无法绝对准确的投影至观察者的视域范围内，为了解决这个问题，本申请实例采用通过视觉跟踪配准中的单映射关系及无线跟踪配准中获取的终端位置信息进行追踪定位。
可以理解的，有两个点集mc和mk分别代表虚拟历史资源信息与文物实景载体，根据点集的匹配特征，可以得到两两者之间的单映射关系，在实际注册过程中则涉及目标坐标系、像平面坐标系和标志物坐标系之间的转化，通过三者的关系坐标函数可获取视频关键帧在真实环境中的位置和姿态，将虚拟资源实时叠加到真实场景中，达到虚实匹配的效果；然后通过适用于小型复杂的环境、受非视距(NLOS)影响小的WiFi定位算法中指纹定位算法，根据定位精度的要求，合理划分环境网格，并确定各AP的合适部署位置，建立特定室内环境的位置指纹识别数据库，采用最近邻法(K-NN)将待测点上检测到的各AP的RSSI值与数据库中已存储的记录进行比较和匹配，再计算出位置估计值，最终确定终端位置信息。
在AR博物馆中的应用需提高检测的速度、定位的精度、匹配速度及融合显示的效果。但是按照上述增强现实方法，AR博物馆中文物载体种类繁多且具有展示动态性、存储异构性和格式多样性等特点，博物馆资源的管理和分享问题却没有给出详细地解决方案，离线版appL版本地资源包大、渲染出现卡顿、运行发热，且app版本更新不可控，从而影响用户体验。
考虑到AR博物馆属于小型复杂的空间环境，资源难管理，特借助云存储技术对AR博物馆中的历史文物资源与叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问。在历史文物资源和虚拟资源的管理过程中，对图片、音频、视频、动画、文本的二维图形和图表、三维虚拟模型等每个异构资源进行封装以去除其异构性之后，将资源存储于SQLServer关系数据库系统中，来实现虚拟历史资源信息与文物实景载体的实时管理和访问。
因此，基于以上的问题，在保证检测的速度、定位的精度、匹配速度的同时能够有效对AR博物馆博物馆资源进行管理和分享是亟待解决的问题。
下面将参考附图并结合实施例来详细说明本申请：
请参见图1，其示出了本申请实施例提供的一种基于云存储服务的AR方法的第一种示意图。该方法包括：
步S11，利用摄像头拍摄采集场景视频帧，其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
增强现实系统图像的采集应该满足实时性、精确性的要求。目前性能较高的CCD(Charge-Coupled Device，电荷藕合组件)，也成为"数字摄影头"或"数字摄影机"，可直接将光学信号转换为模拟电流信号，电流信号经过放大和模数转换,实现图像的获取、存储、传输、处理和复现。其显著特点是：1)体积小重量轻；2)功耗小，工作电压低，抗冲击与震动，性能稳定，寿命长；3)灵敏度高，噪声低，动态范围大；4)响应速度快，有自扫描功能，图像畸变小，无残像；5)应用超大规模集成电路工艺技术生产，像素集成度高，尺寸精确，商品化生产成本低。能够满足图像的精度及获取速度的要求。
利用CCD摄像头从功能上可分为线阵CCD和面阵CCD两大类。线阵CCD通常将CCD内部电极分成数组，每组称为一相，并施加同样的时钟脉冲。所需相数由CCD芯片内部结构决定，结构相异的CCD可满足不同场合的使用要求。线阵CCD有单沟道和双沟道之分，其光敏区是MOS电容或光敏二极管结构，生产工艺相对较简单。它由光敏区阵列与移位寄存器扫描电路组成，特点是处理信息速度快，外围电路简单，易实现实时控制，但获取信息量小，不能处理复杂的图像。从原理上，CCD表面被覆的硅半导体光敏元件捕获光子后产生光生电子，这些电子先被积蓄在CCD下方的绝缘层中，然后由控制电路以串行的方式导出到模数电路中，再经过DSP等成像电路形成图像。fast scan和slow scan最大的区别就在于光生电子导出的速度和电路系统上不同。fast scan导出电子的频率非常快，以便能达到视频级的刷新率，但这将导致电子丢失、噪声增多、光生电子清空不彻底；而slow scan则相反，它的电路设计重在对光生电子积蓄的保护上，导出的频率不高，但保证传出过程中电子丢失和损耗降到极小，它的模数转换器动态范围和灵敏度极高，保证了信号转换过程不失真，同时为了减低热效应产生的噪声。
增强现实系统图像的采集中须由多种设备组成一个完成的图像采集系统。在本申请实施例中利用该系统中的摄像机获取拍摄前采集的博物馆场馆环境数据、文物数据和摄像机镜头数据和摄像头本身的数据信息，在经过上述数据传输之后，便可送到服务器中，待后续相关技术算法处理。
S12，对所述采集到的图像数据进行特征点检测，优选的检测方法为基于FAST-SURF算法；
FAST(Features from accelerated segment test，一种用于角点检测的算法)，该算法的原理是取图像中检测点，以该点为圆心的周围的16个像素点判断检测点是否为角点。Fast算法对特征点的提取并不具备尺度不变性，因此需要利用SURF算法的尺度空间理论，通过高斯金字塔引入尺度不变性的优点。所述FAST-SURF算法能够满足要求。
在对识别目标进行特征点检测时，充分考虑光照不变性、放射不变性和投影不变性的基础上，利用FAST-SURF算法进行采样。具体操作步骤如下：
步骤1：进行HIS变化。将文物模板库图像和待检测的文物图像从RGB彩色空间转换为HIS彩色空间，并将这两幅图像的I分量作为特征点提取图像。在HIS模型中，I分量不会影响到图像的彩色信息，所以，两幅图像是不同时相的图像，但是为了避免由于色调的差异而导致的不匹配现象，也可对I分量进行处理；
步骤2：建立高斯金字塔。考虑到文物模板库中的参考图像和待检测的文物图像可能具有不同的空间分辨率，而FAST特征点检测算法没有尺度不变性的特征。因此，利用高斯金字塔来建立多分辨分析模型，引入尺度不变性的优点；
步骤3：进行FAST特征点检测。在该过程中，需合理地设置特征点响应函数的参数，如FAST特征点阈值、极大值抑制等。通过设置阈值(t＝12)，对极大值进行抑制；
步骤4：进行SURF特征点描述。该步骤主要是根据文物模板库中的参考图像和待检测的文物图像中检测到的FAST特征点计算SURF特征描述算子；
步骤5：特征匹配中错误匹配点的剔除。通常采用的方法是变换模型和重采样；
S13，对所述图像数据进行跟踪配准。优选的采用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法。
跟踪配准的准确度直接影响虚拟历史资源信息与文物实景载体之间的“对齐”效果，同时影响用户的体验。而其核心是要先确定虚拟历史资源信息与文物实景载体之间的位置关系，然后正确地投影至观察者的视域范围内。所述基于视觉和基于无线网络相结合的跟踪配准方式满足要求。
对采集摄像头采集到的一组视频帧进实时匹配，确定虚拟历史资源信息与文物实景载体之间的匹配特征点集，获取两者之间的单映射关系。实际注册过程中则涉及目标坐标系、像平面坐标系和标志物坐标系之间的转化，具体转化关系为：
Figure BDA0003134323610000071
基于无线的跟踪配实质是通过终端(笔记本电脑、智能手机、PAD)获取周围各AP(Access Point)发送的RSSI和MAC地址信息来实现定位功能，根据WiFi定位算法中指纹定位算法适用于小型复杂的环境、受非视距(NLOS)影响小的特点，采取指纹定位算法确定终端位置信息。基于无线网络相结合的跟踪配准方式分为训练阶段和定位阶段，在定位阶段，建立一个特定室内环境的位置指纹识别数据库；在定位阶段，用于估计用户位置。具体操作步骤如下：
步骤1：根据定位精度的要求，合理划分环境网格，并确定各AP的合适部署位置，尽量确保每个AP信号能够辐射到所有网格点；
步骤2：分别测量各参考点上来自不同AP的RSSI值，并将每一个参考点位置所对应的AP-MAC地址和位置信息按[RSSI1,RSSI2,…,RSSI6,Position]格式存储到数据库中。为避免受复杂室内环境的的影响，应在每个网格点上多次测量求平均值，以确保无线信号的稳定性；
步骤3：建立室内环境指纹数据库后，采用K-NN(最近邻法)将待测点上检测到的各AP的RSSI值与数据库中已存储的记录进行比较和匹配，再计算出位置估计值；
步骤4：设定待测点所接收的各AP的RSSI值为rssi＝[rssi1,rssi2,…,rssin]，指纹数据库中的已存储的记录为RSSIi＝[RSSI1,RSSI2,…,RSSINi]，通过NN算法计算满足公式的点，从而确定最终位置；
L＝arg mini∈[1,Nr]||rssi-RSSIi||
S14，基于云存储和访问技术实现数据的管理和访问，对在历史文物资源和虚拟资源进行管理；利用云存储技术对AR博物馆中的历史文物资源与叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问之前，需对图片、音频、视频、动画、文本的二维图形和图表、三维虚拟模型等每个异构资源进行封装以去除其异构性，对数据资源进行集成，参见图5为相关技术中的异构数据集成流程示意图；最终数据存储于SQLServer关系数据库系统中，并实时地访问这些虚拟历史资源信息与文物实景载体。当有新的资源加入时，可通过提供的调用接口封装服务化为数据服务，保证系统的可扩展性。
S15，根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合；
通过云存储技术将虚拟文物资源下载到终端并借助OpenGL ES将其渲染到手机屏幕时，需要注意的一点是，OpenGL中的摄像机坐标系与真实世界中的坐标系是不相同的。其中真实世界中的摄像机坐标系的视线方向是Z轴正方向，Y轴正方向朝下；而OpenGL坐标系统中摄像机的视线方向则是Z轴负方向，而且Y轴正方向朝上。因此，为实现两个坐标系之间的转换，我们需要对获得的摄像机姿态M做一些处理，左乘s矩阵为：
Figure BDA0003134323610000091
此外，需要注意的另一点是，通常三维建模软件制作的3D模型中的四边形面无法用Android的OpenGL渲染出来。所以，一般采用去掉四边形、多变性等复杂图元的方法修改这些模型，即将一个四边形面片转换成两个三角形面来快速去掉模型中的四边形。
可以理解的，一种基于云存储服务的AR方法在对两个点集mc和mk进行实时匹配时，首先对待配准的点集进行特征点检测，然后确定虚拟历史资源信息与文物实景载体之间的位置单映射关系
Figure BDA0003134323610000092
通过所接收的各AP的rssi值及指纹数据库中的已存储的记录RSSIi获取欧式距离||rssi-RSSIi||，最后正确地投影至观察者的视域范围内，对获得的摄像机姿态M左乘s矩阵完成融合与显示效果。
本申请实施例，当终端启动该应用后，会自动打开摄像头捕获博物馆中的文物视频帧，同时开启定位线程和识别线程，实时导航并对文物进行识别，根据结果将虚拟资源和导航信息通过无线网络下载并渲染到终端上，最终在终端屏幕中显示出来，参见图4为相关技术中跟踪配准的实现过程的一种示意图。具体实现步骤如下：
识别线程具体步骤：
步骤1：打开终端摄像头拍摄采集场景视频帧；
步骤2：通过网络，终端将所拍摄文物图片上传给服务器，开启识别线程；
步骤3：服务器端运行文物识别程序，进行文物识别；
步骤4：若文物识别成功，则从文物信息数据库中下载该文物对应的虚拟信息至终端；
步骤5：终端将虚拟文物信息渲染到屏幕中；
定位线程具体步骤：
步骤1：终端获取所接收到的各AP的信号强度RSSI；
步骤2：终端通过传感器计算摄像头方位信息；
步骤3：通过网络，终端将信号强度RSSI和方位信息发送给服务器；
步骤4：服务器端通过定位算法，计算出移动终端所在的位置以及方位；
步骤5：通过网络，服务器将定位结果发送到终端本地。
本申请实施例提供的一种基于云存储服务的AR方法，通过了FAST-SURF相结合的优化特征点检测算法，能够将文物图像从RGB彩色空间转换为HIS彩色空间后的的I分量作为特征点提取图像，了避免由于色调的差异而导致的不匹配现象；使用基于视觉的跟踪配准方法求取资源信息与文物实景载体单映射关系，同时获取欧式距离||rssi-RSSIi||，最后正确地投影至观察者的视域范围，提高了配准的进度。利用数据的云存储和访问技术，对数据进行异构封装，去除了异构性，保证了新的资源加入时的可扩展性；采用去四边形、多变性等复杂图元的方法修改3D模型中的四边形面，对虚拟资源进行优化，减少服务器的压力。
可选的，该方法还包括：
所述方法，采用C/S架构，参见图3；S(Server，服务端)，完成采集模块、检测模块、配准模块、存储模块和融合模块等装置的所有计算任务，并存储文物载体和虚拟历史文物数据信息；C(Client，客户端)，实现视频图片帧的输入和虚实融合显示。
可以理解的，S(Server)端不但包含需要强大计算能力的特征点检测、跟踪匹配和虚实融合模块，同时还承担文物载体和虚拟历史文物信息存储的功能；而C(Client)只负责视频图片帧的输入和虚实融合显示。C/S架构能够有效地解决当用户体验时由于手机端处理能力不足，无法实时显示增强的虚拟资源信息而产生的卡顿和时延问题。
可选的，基于无线的跟踪配准方法确定终端位置，包括：
基于预定规则对环境参数和指纹网格进行设置，其中，环境参数为35.2mx 30.1m，指纹网格为2.0m x 2.0m，最小偏差为：0.025m，最大偏差为：2.2m；平均偏差为：1.225m；部署无线跟踪配准AP点为11个，且保证每三个AP之间构成正三角形关系；部署无线跟踪配准指纹网格为6个，利用三角形关系实现定位配准。
可选的，基于云存储和访问技术实现数据的管理和访问，包括：
对叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问；所有数据资源存储于SQLServer关系数据库中；
SQLServer关系数据库是高度结构化的，具有冗余度最低、程式和数据独立性较高、易于扩充、易于编制应用程式的特点；通常应用数学方法来处理数据，基于数学概念建立数据模型，在关系模型中，数据在用户观点下的逻辑结构就是一张二维表。
第二方面，本申请实施例提一种基于云存储服务的AR装置，如图2所示，为本申请实施例的一种基于云存储服务的AR装置的第一种示意图，装置包括：
采集模块110，用于视频输入、图片获取；其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
检测模块120，基于FAST-SURF算法，对特征点检测；
配准模块130，利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
存储模块140，基于云存储和访问技术实现数据的管理和访问；
融合模块150，根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
可选的，该装置还包括：
所述装置，采用C/S架构；
S(Server，服务端)，完成采集模块、检测模块、配准模块、存储模块和融合模块等装置的所有计算任务，并存储文物载体和虚拟历史文物数据信息；
C(Client，客户端)，实现视频图片帧的输入和虚实融合显示。
可选的，配准模块130，包括：
基于预定规则对环境参数和指纹网格进行设置，其中，环境参数为35.2mx 30.1m，指纹网格为2.0m x 2.0m，最小偏差为：0.025m，最大偏差为：2.2m；平均偏差为：1.225m；
部署无线跟踪配准AP点为11个，且保证每三个AP之间构成正三角形关系；
部署无线跟踪配准指纹网格为6个，利用三角形关系实现定位配准。
可选的，存储模块140，包括：
存储单元，对叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问；
所有数据资源存储于SQLServer关系数据库中。
本申请实施例还提供了一种电子设备，参见图6，为本申请实施例的电子设备的一种示意图，包括：处理器401及存储器402；
上述存储器，用于存放计算机程序。
上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
可选的，处理器用于执行存储器上所存放的程序时，还能够实现上述基于云存储服务的增强现实方法。
参见图6，本申请实施例的电子设备还包括通信接口402和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
利用摄像头拍摄采集场景视频帧，其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
基于FAST-SURF算法，对特征点检测；
利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
基于云存储和访问技术实现数据的管理和访问；
根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述一种基于云存储服务的AR方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：
利用摄像头拍摄采集场景视频帧，其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
基于FAST-SURF算法，对特征点检测；
利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
基于云存储和访问技术实现数据的管理和访问；
根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
可选的，上述计算机程序被处理器执行时，还能够实现上述一种基于云存储服务的AR方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种基于云存储服务的AR方法，其特征在于，所述方法包括：
利用摄像头拍摄采集场景视频帧，其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
基于FAST-SURF算法，对特征点检测；
利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
基于云存储和访问技术实现数据的管理和访问；
根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
2.根据权利要求1所述的方法，其特征在于，所属方法还包括：
S(Server，服务端)，完成采集、检测、配准、存储、融合与显示等方法的所有计算任务，并存储文物载体和虚拟历史文物数据信息；
C(Client，客户端)，实现视频图片帧的输入和虚实融合显示。
3.根据权利要求1所述的方法，其特征在于，所述基于无线的跟踪配准方法确定终端位置，包括：
基于预定规则对环境参数和指纹网格进行设置，其中，环境参数为35.2mx30.1m，指纹网格为2.0mx2.0m，最小偏差为：0.025m，最大偏差为：2.2m；平均偏差为：1.225m；
部署无线跟踪配准AP点为11个，且保证每三个AP之间构成正三角形关系；
部署无线跟踪配准指纹网格为6个，利用三角形关系实现定位配准。
4.根据权利要求1所述的方法，其特征在于，所述基于云存储和访问技术实现数据的管理和访问，包括：
存储单元，对叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问；
所有数据资源存储于SQLServer关系数据库中。
5.一种基于云存储服务的AR装置，其特征在于，所述装置包括：
采集模块，用于视频输入、图片获取；其中，视频、图片数据主要包括博物馆场馆环境数据、文物数据和摄像机镜头数据；
检测模块，基于FAST-SURF算法，对特征点检测；
配准模块，利用基于视觉的跟踪配准方法与无线的跟踪配准方法相结合的配准方法；
存储模块，基于云存储和访问技术实现数据的管理和访问；
融合模块，根据OpenGL中的摄像机坐标与真实世界中的坐标关系实现融合。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
S(Server，服务端)，完成采集模块、检测模块、配准模块、存储模块和融合模块等装置的所有计算任务，并存储文物载体和虚拟历史文物数据信息；
C(Client，客户端)，实现视频图片帧的输入和虚实融合显示。
7.根据权利要求5所述的装置，其特征在于，所述配准模块，包括：
基于预定规则对环境参数和指纹网格进行设置，其中，环境参数为35.2mx30.1m，指纹网格为2.0mx2.0m，最小偏差为：0.025m，最大偏差为：2.2m；平均偏差为：1.225m；
部署无线跟踪配准AP点为11个，且保证每三个AP之间构成正三角形关系；
部署无线跟踪配准指纹网格为6个，利用三角形关系实现定位配准。
8.根据权利要求5所述的装置，其特征在于，所述存储模块，包括：
存储单元，对叠加到文物载体上的虚拟资源等信息通过数据库、中间件和基于上下文的服务技术实现数据的管理和访问；
所有数据资源存储于SQLServer关系数据库中。
9.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的一种基于云存储服务的AR方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使得所述计算机执行如权利要求1-4任一项所述的一种基于云存储服务的AR方法。
CN202110714449.4A 2021-06-25 2021-06-25 一种基于云存储服务的ar方法、装置、电子设备及存储介质 Pending CN113313841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110714449.4A CN113313841A (zh) 2021-06-25 2021-06-25 一种基于云存储服务的ar方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110714449.4A CN113313841A (zh) 2021-06-25 2021-06-25 一种基于云存储服务的ar方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113313841A true CN113313841A (zh) 2021-08-27

Family

ID=77380468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110714449.4A Pending CN113313841A (zh) 2021-06-25 2021-06-25 一种基于云存储服务的ar方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113313841A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920281A (zh) * 2021-10-11 2022-01-11 郭小川 一种虚拟现实环境中空间规划方法、系统及应用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120310762A1 (en) * 2011-06-03 2012-12-06 Robbin Jeffrey L Remote Storage of Acquired Data at Network-Based Data Repository
US20150193970A1 (en) * 2012-08-01 2015-07-09 Chengdu Idealsee Technology Co., Ltd. Video playing method and system based on augmented reality technology and mobile terminal
CN106530401A (zh) * 2016-10-31 2017-03-22 黑龙江省科学院自动化研究所 一种数字博物馆3d图像获取与呈现方法
US20190026922A1 (en) * 2017-07-24 2019-01-24 Visom Technology, Inc. Markerless augmented reality (ar) system
CN112954292A (zh) * 2021-01-26 2021-06-11 北京航天创智科技有限公司 一种基于增强现实的数字博物馆导览系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120310762A1 (en) * 2011-06-03 2012-12-06 Robbin Jeffrey L Remote Storage of Acquired Data at Network-Based Data Repository
US20150193970A1 (en) * 2012-08-01 2015-07-09 Chengdu Idealsee Technology Co., Ltd. Video playing method and system based on augmented reality technology and mobile terminal
CN106530401A (zh) * 2016-10-31 2017-03-22 黑龙江省科学院自动化研究所 一种数字博物馆3d图像获取与呈现方法
US20190026922A1 (en) * 2017-07-24 2019-01-24 Visom Technology, Inc. Markerless augmented reality (ar) system
CN112954292A (zh) * 2021-01-26 2021-06-11 北京航天创智科技有限公司 一种基于增强现实的数字博物馆导览系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DIMITRIS MOURTZIS等: "An Augmented Reality Collaborative Product Design Cloud-Based Platform in the Context of Learning Factory", PROCEDIA MANUFACTURING, vol. 45, pages 546 - 551 *
闫兴亚等: "基于云存储服务的AR博物馆系统研究", 计算机工程与应用, vol. 53, no. 16, pages 104 - 109 *
陈智翔;吴黎明;高世平;: "基于FAST-SURF算法的移动增强现实跟踪技术", 计算机与现代化, no. 09, pages 109 - 112 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920281A (zh) * 2021-10-11 2022-01-11 郭小川 一种虚拟现实环境中空间规划方法、系统及应用方法

Similar Documents

Publication Publication Date Title
US11605214B2 (en) Method, device and storage medium for determining camera posture information
CN111476780B (zh) 一种图像检测方法、装置、电子设备以及存储介质
US20180276841A1 (en) Method and system of determining object positions for image processing using wireless network angle of transmission
CN110059685B (zh) 文字区域检测方法、装置及存储介质
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
JP2022511427A (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN109788189A (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
WO2021136386A1 (zh) 数据处理方法、终端和服务器
US10122912B2 (en) Device and method for detecting regions in an image
CN105578023A (zh) 一种快速拍摄图像方法及装置
CN111629146B (zh) 拍摄参数的调整方法、调整装置、调整设备及存储介质
CN111598777A (zh) 天空云图的处理方法、计算机设备和可读存储介质
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN111815672A (zh) 动态跟踪控制方法、装置及控制设备
CN111199169A (zh) 图像处理方法和装置
CN113313841A (zh) 一种基于云存储服务的ar方法、装置、电子设备及存储介质
CN115147288A (zh) 图像处理方法及电子设备
US20230222736A1 (en) Methods and systems for interacting with 3d ar objects from a scene
CN108174091B (zh) 图像处理方法、装置、存储介质及电子设备
US11205064B1 (en) Measuring quality of depth images in real time
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
CN115516494A (zh) 用于生成图像的方法及其电子装置
CN113362357B (zh) 特征点确定方法、装置、设备及存储介质
CN113168706A (zh) 视频流的帧中的对象位置确定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210827