CN111504308A - 一种基于ar技术的智能化展馆配套系统 - Google Patents

一种基于ar技术的智能化展馆配套系统 Download PDF

Info

Publication number
CN111504308A
CN111504308A CN202010316633.9A CN202010316633A CN111504308A CN 111504308 A CN111504308 A CN 111504308A CN 202010316633 A CN202010316633 A CN 202010316633A CN 111504308 A CN111504308 A CN 111504308A
Authority
CN
China
Prior art keywords
exhibition hall
technology
helmet
intelligent
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010316633.9A
Other languages
English (en)
Inventor
和伟
周晓慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Bite Interdynamic Originality Technology Co ltd
Original Assignee
Nanjing Bite Interdynamic Originality Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Bite Interdynamic Originality Technology Co ltd filed Critical Nanjing Bite Interdynamic Originality Technology Co ltd
Priority to CN202010316633.9A priority Critical patent/CN111504308A/zh
Publication of CN111504308A publication Critical patent/CN111504308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于AR技术的智能化展馆配套系统，本发明公开了基于AR技术的智能化展馆系统。AR头盔主要包括摄像头传感器、显示器、陀螺仪传感器、语音播放模块、录音模块、按键模块等。首先，使用AR头盔对用户的姿态、视野和语音采集；使用AR头盔指令进行识别，并通过无线模块把采集发送到服务器，服务器分别对接收的信号识别；最后，确定目标信息，并把数据库中搜寻的目标信息与计算姿态完成空间位置注册在AR头盔进行虚拟信息显示。采用计算机视觉跟踪注册方法，根据真实场景中的人工标志物信息进行跟踪注册，增加了展品的互动性，使用户不需到展览馆就能参观展览馆，解决参观人数过多对展览品和人身安全造成威胁等问题。

Description

一种基于AR技术的智能化展馆配套系统
技术领域
本发明涉及智能展馆领域，特别设计基于AR技术的智能化展馆配套系统。
背景技术
随着经济飞速的发展，我国博物馆在数量得到了蓬勃的发展，但是就质量而言还有待于提高，而且相比于世界上的发达国家还有一定的差距。随着云计算和软件即服务(SaaS)的诞生，云存储技术受到越来越多的人的关注，并逐渐成为信息存储领域的一个研究热点，其强大的硬件设备(存储设备、网络设备、服务器、应用软件、公用访问接口、以及接入网)和海量存储空间为增强现实(AR)朝着网络化发展提供了技术支持，使得AR博物馆研究也逐渐进入数字、网络化。
随着近两年增强现实技术的发展，中国博物馆纷纷开始引入增强现实技术，对传统的体验方式进行革新，扩展博物馆的体验维度，突破时间空间的限制。现阶段国内外博物馆都在深入挖掘博物馆馆藏文化资源，开发独具特色的文创产品。针对传统展览馆展示方式大多采用橱窗陈列物品，表达信息方式单一，互动性差，且参观人数过多对展览品和人身安全造成威胁等问题。
发明内容
为了解决上述存在问题。本发明提出一种基于AR技术的智能化展馆配套系统，增加展馆的表达形式，打破传统展览馆时间和空间的限制。为达此目的：
本发明提出基于AR技术的智能化展馆配套系统，具体步骤如下：
步骤1：录制展馆内各个角度视野视频信息，存入云数据库；
步骤2：用户启动AR头盔系统，并选择是否开启语音播报模式；
步骤3：录音模块对客户声音采集，使用语音识别模块对语音信号进行识别，并根据用户不同的指令对客户端电脑的视野进行调整；
步骤4：陀螺仪采集头盔加速度和角度信息并发送到服务器使用卡尔曼滤波算法对姿态进行滤波，最后使用滤波数据计算用户姿态，并根据用户不同姿态对客户端电脑的视野进行调整；
步骤5：摄像头采集用户视野信息并发送到服务器，使用CNN对图像目标识别，把数据库中搜寻目标信息与计算姿态完成空间位置注册在AR头盔进行虚拟信息显示；
步骤6：如果步骤1中选择语音播报模式，对目标信息进行语音播报，否则，跳过此步。
作为本发明进一步改进，所述步骤2中所述AR头盔，主要包括摄像头传感器、显示器、陀螺仪传感作为本发明进一步改进，器、语音播放模块、录音模块、按键模块等。
作为本发明进一步改进，所述步骤4中卡尔曼滤波算法公式如式1-5所示：
Figure BDA0002459820800000021
Figure BDA0002459820800000022
Hk＝Pk'Ck T(CkPk'Ck T+Rk)-1 (3)
Pk'＝AkPk-1Ak T+Qk-1 (4)
Pk＝(I-HkCk)Pk' (5)
其中，使用卡尔曼滤波器能够准确得加速度的预测值，测量出电梯的真实状态，
Figure BDA0002459820800000023
为系统状态量估计值，Ak为系统增益矩阵，
Figure BDA0002459820800000024
预测的加速度值，Hk为卡尔曼增益矩阵，yk为系统测量值，Ck为测量矩阵，Rk为观测噪声方差，Pk'为校正前均方误差，Pk为校正后均方误差，Qk为系统输入噪声。
作为本发明进一步改进，所述步骤5中CNN算法全连接层第l层输出公式为：
xl＝f(ul) (6)
ul＝Wlxl-1+bl (7)
其中，f(·)是激活函数，Wl是第l层权重参数，bl是第l层偏置项，xl是第l层输入项。
作为本发明进一步改进，所述步骤5中CNN算法全卷积层输出公式为：
Figure BDA0002459820800000031
其中，Mj表示输入特征图的集合，
Figure BDA0002459820800000032
表示输出特征图对应的偏置，f(·)是激活函数，
Figure BDA0002459820800000033
是第l层权重参数。
作为本发明进一步改进，步骤5中所述CNN算法卷积核的权值梯度在MATLAB工具的计算公式为：
Figure BDA0002459820800000034
其中，
Figure BDA0002459820800000035
表示灵敏度。
作为本发明进一步改进，步骤5中所述CNN算法采用softmax函数作为激活函数，计算公式为：
Figure BDA0002459820800000036
其中，ai表示全连接层的输出向量。
本发明基于AR技术的智能化展馆配套系统，有益效果在于：
1.本发明利用AR技术，突破传统展览馆时间和空间限制。
2.本发明利用语音模块、矩阵键盘模块使得人机交互更加智能。
3.本发明提供语音播报功能，能够满足不同客户需求。
4.本发明算法市场实现简单，硬件成本低。
附图说明
图1是系统整体框图；
图2是系统架构图；
图3是系统工作流程图；
图4是AR头盔整体框图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出一种基于AR技术的智能化展馆配套系统，增加展馆的表达形式，打破传统展览馆时间和空间的限制，如图1、图2分别是系统整体框架与系统架构图。
本发明工作流程图如图3所示。
首先，录制展馆内各个角度视野视频信息，存入云数据库。
用户启动AR头盔系统，并选择是否开启语音播报模式，如图4所示，AR头盔，主要包括摄像头传感器、显示器、陀螺仪传感作为本发明进一步改进，器、语音播放模块、录音模块、按键模块等。
录音模块对客户声音采集，使用语音识别模块对语音信号进行识别，并根据用户不同的指令对客户端电脑的视野进行调整，陀螺仪采集头盔加速度和角度信息并发送到服务器使用卡尔曼滤波算法对姿态进行滤波，最后使用滤波数据计算用户姿态，并根据用户不同姿态对客户端电脑的视野进行调整。
卡尔曼滤波算法公式如式1-5所示：
Figure BDA0002459820800000041
Figure BDA0002459820800000042
Hk＝Pk'Ck T(CkPk'Ck T+Rk)-1 (3)
Pk'＝AkPk-1Ak T+Qk-1 (4)
Pk＝(I-HkCk)Pk' (5)
其中，使用卡尔曼滤波器能够准确得加速度的预测值，测量出电梯的真实状态，
Figure BDA0002459820800000043
为系统状态量估计值，Ak为系统增益矩阵，
Figure BDA0002459820800000044
预测的加速度值，Hk为卡尔曼增益矩阵，yk为系统测量值，Ck为测量矩阵，Rk为观测噪声方差，Pk'为校正前均方误差，Pk为校正后均方误差，Qk为系统输入噪声。
摄像头采集用户视野信息并发送到服务器，使用CNN对图像目标识别，把数据库中搜寻目标信息与计算姿态完成空间位置注册在AR头盔进行虚拟信息显示。
CNN训练过程如下：
1)选定预先拍摄的展览馆照片集，从样本集中分别随机地寻求N个样本作为训练组；
2)初始化各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数和学习率；
3)从训练组中取一个输入模式加到网络，并给出它的目标输出向量；
4)计算出中间层输出向量，并计算出网络的实际输出向量；
5)将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；对于中间层的隐单元也需要计算出误差；
6)依次计算出各权值的调整量和阈值的调整量；
7)调整权值和阈值；
8)当经历多次训练后，判断指标是否满足精度要求，如果不满足，则返回3)，继续迭代；如果满足就进入下一步；
9)训练结束，将权值和阈值保存在数据块中；这时可以认为各个权值已经达到稳定，分类器已经形成；再一次进行训练，直接从数据库导出权值和阈值进行训练，不需要进行初始化。
CNN算法全连接层第l层输出公式为：
xl＝f(ul) (6)
ul＝Wlxl-1+bl (7)
其中，f(·)是激活函数，Wl是第l层权重参数，bl是第l层偏置项，xl是第l层输入项。
CNN算法全卷积层输出公式为：
Figure BDA0002459820800000051
其中，Mj表示输入特征图的集合，
Figure BDA0002459820800000052
表示输出特征图对应的偏置，f(·)是激活函数，
Figure BDA0002459820800000053
是第l层权重参数。
CNN算法卷积核的权值梯度在MATLAB工具的计算公式为：
Figure BDA0002459820800000054
其中，
Figure BDA0002459820800000055
表示灵敏度。
CNN算法采用softmax函数作为激活函数，计算公式为：
Figure BDA0002459820800000061
其中，ai表示全连接层的输出向量
如果选择语音播报模式，对目标信息进行语音播报，以便以更加多元的方式展现给用户，否则，跳过此步。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.基于AR技术的智能化展馆配套系统，具体步骤如下，其特征在于,
步骤1：录制展馆内各个角度视野视频信息，存入云数据库；
步骤2：用户启动AR头盔系统，并选择是否开启语音播报模式；
步骤3：录音模块对客户声音采集，使用语音识别模块对语音信号进行识别，并根据用户不同的指令对客户端电脑的视野进行调整；
步骤4：陀螺仪采集头盔加速度和角度信息并发送到服务器使用卡尔曼滤波算法对姿态进行滤波，最后使用滤波数据计算用户姿态，并根据用户不同姿态对客户端电脑的视野进行调整；
步骤5：摄像头采集用户视野信息并发送到服务器，使用CNN对图像目标识别，把数据库中搜寻目标信息与计算姿态完成空间位置注册在AR头盔进行虚拟信息显示；
步骤6：如果步骤1中选择语音播报模式，对目标信息进行语音播报，否则，跳过此步。
2.根据权利要求1所述的基于AR技术的智能化展馆配套系统，其特征在于；
所述步骤2中AR头盔，主要包括摄像头传感器、显示器、陀螺仪传感器、语音播放模块、录音模块和按键模块。
3.根据权利要求1所述的基于AR技术的智能化展馆配套系统，其特征在于；
所述步骤4中卡尔曼滤波算法公式如式1-5所示：
Figure FDA0002459820790000011
Figure FDA0002459820790000012
Hk＝Pk'Ck T(CkPk'Ck T+Rk)-1 (3)
Pk'＝AkPk-1Ak T+Qk-1 (4)
Pk＝(I-HkCk)Pk′ (5)
其中，使用卡尔曼滤波器能够准确得加速度的预测值，测量出电梯的真实状态，
Figure FDA0002459820790000013
为系统状态量估计值，Ak为系统增益矩阵，
Figure FDA0002459820790000014
预测的加速度值，Hk为卡尔曼增益矩阵，yk为系统测量值，Ck为测量矩阵，Rk为观测噪声方差，Pk'为校正前均方误差，Pk为校正后均方误差，Qk为系统输入噪声。
4.根据权利要求1所述的基于AR技术的智能化展馆配套系统，其特征在于；
所述步骤5中CNN算法全连接层第l层输出公式为：
xl＝f(ul) (6)
ul＝Wlxl-1+bl (7)
其中，f(·)是激活函数，Wl是第l层权重参数，bl是第l层偏置项，xl是第l层输入项。
5.根据权利要求1所述的基于AR技术的智能化展馆配套系统，其特征在于；
所述步骤5中CNN算法全卷积层输出公式为：
Figure FDA0002459820790000021
其中，Mj表示输入特征图的集合，
Figure FDA0002459820790000022
表示输出特征图对应的偏置，f(·)是激活函数，
Figure FDA0002459820790000023
是第l层权重参数。
6.根据权利要求1所述的基于AR技术的智能化展馆配套系统，其特征在于；
所述步骤5中CNN算法卷积核的权值梯度在MATLAB工具的计算公式为：
Figure FDA0002459820790000024
其中，
Figure FDA0002459820790000025
表示灵敏度。
CN202010316633.9A 2020-04-21 2020-04-21 一种基于ar技术的智能化展馆配套系统 Pending CN111504308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316633.9A CN111504308A (zh) 2020-04-21 2020-04-21 一种基于ar技术的智能化展馆配套系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316633.9A CN111504308A (zh) 2020-04-21 2020-04-21 一种基于ar技术的智能化展馆配套系统

Publications (1)

Publication Number Publication Date
CN111504308A true CN111504308A (zh) 2020-08-07

Family

ID=71871151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316633.9A Pending CN111504308A (zh) 2020-04-21 2020-04-21 一种基于ar技术的智能化展馆配套系统

Country Status (1)

Country Link
CN (1) CN111504308A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174291A (zh) * 2022-05-24 2022-10-11 珠海格力电器股份有限公司 一种基于微波雷达的语音设备控制方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540542A (zh) * 2018-03-26 2018-09-14 湖北大学 一种移动增强现实系统及显示的方法
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法
CN109917918A (zh) * 2019-03-07 2019-06-21 联想(北京)有限公司 一种基于增强现实技术的信息处理方法及电子设备
CN110440799A (zh) * 2019-09-19 2019-11-12 哈尔滨工程大学 一种基于陀螺仪和加速度计的姿态角度测量融合系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540542A (zh) * 2018-03-26 2018-09-14 湖北大学 一种移动增强现实系统及显示的方法
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法
CN109917918A (zh) * 2019-03-07 2019-06-21 联想(北京)有限公司 一种基于增强现实技术的信息处理方法及电子设备
CN110440799A (zh) * 2019-09-19 2019-11-12 哈尔滨工程大学 一种基于陀螺仪和加速度计的姿态角度测量融合系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
欧先锋等: "基于CNN的车牌数字字符识别算法", 《成都工业学院学报》 *
王嘉鑫等: "基于卷积神经网络的人脸识别", 《电脑知识与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174291A (zh) * 2022-05-24 2022-10-11 珠海格力电器股份有限公司 一种基于微波雷达的语音设备控制方法、系统及存储介质
CN115174291B (zh) * 2022-05-24 2024-04-16 珠海格力电器股份有限公司 一种基于微波雷达的语音设备控制方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US11294953B2 (en) Similar face retrieval method, device and storage medium
CN110276316B (zh) 一种基于深度学习的人体关键点检测方法
CN105190233B (zh) 位置确定处理装置、位置确定处理方法、位置确定处理程序、移动信息处理装置、移动信息处理方法、移动信息处理程序和存储介质
WO2022022152A1 (zh) 视频片段定位方法、装置、计算机设备及存储介质
US10163267B2 (en) Sharing links in an augmented reality environment
CN109643158A (zh) 使用多模态信号分析进行命令处理
US9436886B2 (en) System and method of determining building numbers
US20230351794A1 (en) Pedestrian tracking method and device, and computer-readable storage medium
CN111798260A (zh) 用户行为预测模型构建方法、装置、存储介质及电子设备
CN108629170A (zh) 身份识别方法以及相应的装置、移动终端
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN104838420A (zh) 基于图像内容进行图像旋转以修正图像取向
CN103106236A (zh) 信息登记装置、方法、系统及信息呈现装置、方法和系统
CN109902681A (zh) 用户群体关系确定方法、装置、设备及存储介质
Elhamshary et al. JustWalk: A crowdsourcing approach for the automatic construction of indoor floorplans
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
JP2021033430A (ja) コンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システム
CN111797854A (zh) 场景模型建立方法、装置、存储介质及电子设备
CN111504308A (zh) 一种基于ar技术的智能化展馆配套系统
Yan et al. Light detection and ranging/inertial measurement unit-integrated navigation positioning for indoor mobile robots
CN113920392A (zh) 图书馆流动人员目标检测及其多目标跟踪方法和管理系统
JP5971387B2 (ja) 端末装置、物体識別方法、及び情報処理装置
Jonker et al. Philosophies and technologies for ambient aware devices in wearable computing grids
De Silva et al. Sketch-based spatial queries for retrieving human locomotion patterns from continuously archived gps data
JP6172353B2 (ja) 端末装置、物体識別方法、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication