CN106875478A - 体验手机3d效果的ar装置 - Google Patents

体验手机3d效果的ar装置 Download PDF

Info

Publication number
CN106875478A
CN106875478A CN201710231592.1A CN201710231592A CN106875478A CN 106875478 A CN106875478 A CN 106875478A CN 201710231592 A CN201710231592 A CN 201710231592A CN 106875478 A CN106875478 A CN 106875478A
Authority
CN
China
Prior art keywords
information
mobile phone
devices
effect
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710231592.1A
Other languages
English (en)
Inventor
张云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou I-Museum Digital Technology Co Ltd
Original Assignee
Suzhou I-Museum Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou I-Museum Digital Technology Co Ltd filed Critical Suzhou I-Museum Digital Technology Co Ltd
Priority to CN201710231592.1A priority Critical patent/CN106875478A/zh
Publication of CN106875478A publication Critical patent/CN106875478A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明公开了体验手机3D效果的AR装置，移动终端与信息采集器调用控制连接，信息采集器与图像检测设备通讯连接，图像检测设备与GPU处理器通讯连接，GPU处理器与算法处理器通讯连接，算法处理器与云端服务器通讯连接，云端服务器与中央处理器通讯连接；移动终端调用信息采集器扫描展品，扫描信息传输给图像检测设备，图像检测设备获取展品的轮廓图，获取的轮廓图经GPU处理器进行抠图、去底、褪色、压缩处理，再由算法处理器提取图像的信息特征点，将图像的信息特征点传送至云端服务器，云端服务器和中央处理器对数据进行筛选与匹配，匹配成功后反馈至移动终端，显示对应的展品信息。结合移动终端的使用，呈现虚拟的三维场景。

Description

体验手机3D效果的AR装置
技术领域
本发明涉及一种体验手机3D效果的AR装置。
背景技术
体验手机3D效果的AR装置是基于计算机机器视觉技术，结合云计算、物联网和大数据应用；突破了传统博物馆藏品展陈的时空限制，通过多模态感知“大数据”，使受与展品等元素之间的联系真正达到智慧化融合；建立更加全面、深入和泛在的互联互通；以“人为中心”的信息传递模式，实现“物、人、数据”三者之间的双向多元信息交互通道，移动“互联网+”时代下，改变博物馆观览方式的革命性产品。
增强现实(Augmented Reality，简称AR)是一种实时计算摄影机影像位置及角度并加上相应图像、视频、3D模型的技术，其目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
App是Accelerated Parallel Processing的缩写。中文译作AMD加速并处理技术，是AMD针对图形处理器(GPU)推出的并行技术，利用这种技术可以充分发挥ADM、GPU的并行运算能力，提高对大数据的处理速度。
发明内容
本发明的目的是克服现有技术存在的不足，提供一种体验手机3D效果的AR装置。
本发明的目的通过以下技术方案来实现：
体验手机3D效果的AR装置，特点是：包含信息采集器、图像检测设备、GPU处理器、算法处理器以及云端服务器，移动终端与信息采集器调用控制连接，信息采集器与图像检测设备通讯连接，图像检测设备与GPU处理器通讯连接，GPU处理器与算法处理器通讯连接，算法处理器与云端服务器通讯连接，云端服务器与中央处理器通讯连接；所述移动终端调用信息采集器扫描展品，扫描信息传输给图像检测设备，图像检测设备获取展品的轮廓图，获取的轮廓图经GPU处理器进行抠图、去底、褪色、压缩处理，处理后的图片传输给算法处理器，由算法处理器提取图像的信息特征点，然后将图像的信息特征点传送至云端服务器，云端服务器和中央处理器对数据进行筛选与匹配，匹配成功后反馈至移动终端，显示对应的展品信息。
进一步地，上述的体验手机3D效果的AR装置，其中，所述信息采集器为单目摄像机。
进一步地，上述的体验手机3D效果的AR装置，其中，所述移动终端为手机或ipad/pad设备。
进一步地，上述的体验手机3D效果的AR装置，其中，还包含有与云端服务器通讯连接的用于数据填充和数据分析处理的PC终端。
进一步地，上述的体验手机3D效果的AR装置，其中，所述数据填充是由PC终端制作展品信息文件，并将展品信息文件传送至云端服务器。
进一步地，上述的体验手机3D效果的AR装置，其中，所述数据处理是由PC终端对体验评价及反馈的意见进行分类处理，形成数据文件传送至云端服务器。
进一步地，上述的体验手机3D效果的AR装置，其中，所述数据分析是由PC终端调取数据文件并分析优缺点。
进一步地，上述的体验手机3D效果的AR装置，其中，所述算法处理器对获取的图像进行算法处理，获取多帧连续图像序列的特征点。
进一步地，上述的体验手机3D效果的AR装置，其中，所述云端服务器根据图像多帧特征点信息评估信息采集器的位置变换，重建运动轨迹并同时创建3D空间环境地图。
进一步地，上述的体验手机3D效果的AR装置，其中，所述筛选与匹配是将接收到的展品信息经处理后与存储的展品信息逐个核对，如果信息匹配度达到80％以上，则将展品的信息推送出去。
本发明与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：
结合移动终端(手机或ipad/pad设备)的使用，呈现虚拟的三维场景。公众通过自己手机，可自主观览，打破了传统依赖讲解员和导览设备进行参观的局限性。结合云计算、物联网，让数字信息在现场环境中实现同步呈现。可与公共语言导览系统、公共广播系统、微信平台系统共享优质内容资源，实现资源的最大化应用和最优化升级。
附图说明
图1：本发明的结构原理框图；
图2：本发明的工作原理示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明具体实施方案。
如图1所示，体验手机3D效果的AR装置，包含信息采集器2、图像检测设备3、GPU处理器4、算法处理器5以及云端服务器7，移动终端1与信息采集器2调用控制连接，信息采集器为单目摄像机，信息采集器2与图像检测设备3通讯连接，图像检测设备3与GPU处理器4通讯连接，GPU处理器4与算法处理器5通讯连接，算法处理器5与云端服务器7通讯连接，云端服务器7与中央处理器8通讯连接。
如图2所示，移动终端1调用信息采集器2扫描展品，扫描信息传输给图像检测设备3，图像检测设备3获取展品的轮廓图，获取的轮廓图经GPU处理器4进行抠图、去底、褪色、压缩处理，处理后的图片传输给算法处理器5，由算法处理器5提取图像的信息特征点，然后将图像的信息特征点传送至云端服务器7，云端服务器和中央处理器对数据进行筛选与匹配，将接收到的展品信息经处理后与数据库存储的展品信息逐个核对，如果信息匹配度达到80％以上，则将展品的信息推送出去，匹配成功后反馈至移动终端1，移动终端1为手机或ipad/pad设备，显示对应的展品信息。
另外，还包含有与云端服务器7通讯连接的用于数据填充和数据分析处理的PC终端6。数据填充是由PC终端6制作展品信息文件，并将展品信息文件传送至云端服务器。数据处理是由PC终端6对体验评价及反馈的意见进行分类处理，形成数据文件传送至云端服务器。数据分析是由PC终端6调取数据文件并分析优缺点。
信息获取是通过单目摄像机作为采集端传感器，获取当前的图像信息，并传送出去。可由游客手持手机或ipad/pad设备，通过摄像头扫描展品，获取展品所对应的特征信息。
信息处理是对获取的图像进行算法处理，从中获取多帧连续图像序列的特征点。
根据图像多帧特征点信息来评估摄像机的位置变换，从而重建运动轨迹并同时创建环境地图。
数字信息处理与匹配是把接收到的展品信息经过处理，然后与存储的展品信息逐个核对，如果信息匹配度达到80％，则把展品的信息推送出去。
数字信息在3D空间显示是将从云端接收到的展品信息反馈给手机或ipad/pad，并在上边生成三维空间的立体视图。
三维空间环境点云构建，即场景数据获取、数据处理和三维立体空间图构建。场景数据获取主要是通过摄像机作为信息采集端传感器获取图像对应的特征点来调整手机位置；数据处理是指把获取的场景数据提取采集的多帧连续图像序列中的特征点并进行描述匹配，获取每张图片对应的特征点信息，评估相机的位置变换；三维立体空间图构建是指根据特征点及位置来创建运行的轨迹，从而形成三维立体空间结构图。
数字化识别，即信息获取、数据传输、数据处理与匹配和显示，信息获取是通过手机摄像头扫描展品，根据展品的轮廓以及展品的色彩状况提取展品的特征点；数据传输是把提取的特征点信息制作成一个资源包，然后把这个资源包传送到云端服务器；数据处理与匹配是把接收到的特征点信息经过处理，去光、滤色和压缩，生成一个资源文件，然后把这个资源文件和存储数据进行匹配；显示是指匹配成功后开始反馈，把反馈的数据在手机上显示出来，呈现三维立体画面效果。
数据信息管理，PC端数据内容填充、客户端数据获取和客户分析，内容填充主要是通过PC端把所有的展品文字标签、视频、语音等信息填充到后台服务器；客户端获取信息主要是用户通过手机扫描展品，然后把扫描的展品信息发送到云端服务器，云端服务器进行数据匹配，匹配成功后将云端服务器会把展品的信息直接返回到手机端，手机端就会显示展品的数据信息；客户分析主要是通过后台还查看客户的反馈信息，然后分析出客户的隐性需求，完善功能。
结合移动终端(手机或ipad/pad设备)的使用，呈现虚拟的三维场景。公众通过自己手机，可自主观览，打破了传统依赖讲解员和导览设备进行参观的局限性。结合云计算、物联网，让数字信息在现场环境中实现同步呈现。可与公共语言导览系统、公共广播系统、微信平台系统共享优质内容资源，实现资源的最大化应用和最优化升级。
需要说明的是：以上所述仅为本发明的优选实施方式，并非用以限定本发明的权利范围；同时以上的描述，对于相关技术领域的专门人士应可明了及实施，因此其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在申请专利范围中。

Claims (10)

1.体验手机3D效果的AR装置，其特征在于：包含信息采集器、图像检测设备、GPU处理器、算法处理器以及云端服务器，移动终端与信息采集器调用控制连接，信息采集器与图像检测设备通讯连接，图像检测设备与GPU处理器通讯连接，GPU处理器与算法处理器通讯连接，算法处理器与云端服务器通讯连接，云端服务器与中央处理器通讯连接；所述移动终端调用信息采集器扫描展品，扫描信息传输给图像检测设备，图像检测设备获取展品的轮廓图，获取的轮廓图经GPU处理器进行抠图、去底、褪色、压缩处理，处理后的图片传输给算法处理器，由算法处理器提取图像的信息特征点，然后将图像的信息特征点传送至云端服务器，云端服务器和中央处理器对数据进行筛选与匹配，匹配成功后反馈至移动终端，显示对应的展品信息。
2.根据权利要求1所述的体验手机3D效果的AR装置，其特征在于：所述信息采集器为单目摄像机。
3.根据权利要求1所述的体验手机3D效果的AR装置，其特征在于：所述移动终端为手机或ipad/pad设备。
4.根据权利要求1所述的体验手机3D效果的AR装置，其特征在于：还包含有与云端服务器通讯连接的用于数据填充和数据分析处理的PC终端。
5.根据权利要求4所述的体验手机3D效果的AR装置，其特征在于：所述数据填充是由PC终端制作展品信息文件，并将展品信息文件传送至云端服务器。
6.根据权利要求4所述的体验手机3D效果的AR装置，其特征在于：所述数据处理是由PC终端对体验评价及反馈的意见进行分类处理，形成数据文件传送至云端服务器。
7.根据权利要求4所述的体验手机3D效果的AR装置，其特征在于：所述数据分析是由PC终端调取数据文件并分析优缺点。
8.根据权利要求1所述的体验手机3D效果的AR装置，其特征在于：所述算法处理器对获取的图像进行算法处理，获取多帧连续图像序列的特征点。
9.根据权利要求1所述的体验手机3D效果的AR装置，其特征在于：所述云端服务器根据图像多帧特征点信息评估信息采集器的位置变换，重建运动轨迹并同时创建3D空间环境地图。
10.根据权利要求1所述的体验手机3D效果的AR装置，其特征在于：所述筛选与匹配是将接收到的展品信息经处理后与存储的展品信息逐个核对，如果信息匹配度达到80％以上，则将展品的信息推送出去。
CN201710231592.1A 2017-04-11 2017-04-11 体验手机3d效果的ar装置 Withdrawn CN106875478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710231592.1A CN106875478A (zh) 2017-04-11 2017-04-11 体验手机3d效果的ar装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710231592.1A CN106875478A (zh) 2017-04-11 2017-04-11 体验手机3d效果的ar装置

Publications (1)

Publication Number Publication Date
CN106875478A true CN106875478A (zh) 2017-06-20

Family

ID=59163170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710231592.1A Withdrawn CN106875478A (zh) 2017-04-11 2017-04-11 体验手机3d效果的ar装置

Country Status (1)

Country Link
CN (1) CN106875478A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248335A (zh) * 2017-07-26 2017-10-13 苏州和云观博数字科技有限公司 博物馆ar文创装置及其实现方法
CN109670399A (zh) * 2018-11-12 2019-04-23 万瞳(南京)科技有限公司 基于计算机视觉的博物馆展品图像识别方法及系统
US10810430B2 (en) 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
US11196842B2 (en) 2019-09-26 2021-12-07 At&T Intellectual Property I, L.P. Collaborative and edge-enhanced augmented reality systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN105488226A (zh) * 2015-12-31 2016-04-13 苏州和云观博数字科技有限公司 数字博物馆观览系统
CN106530408A (zh) * 2016-12-27 2017-03-22 苏州和云观博数字科技有限公司 博物馆临时展览规划设计的系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN105488226A (zh) * 2015-12-31 2016-04-13 苏州和云观博数字科技有限公司 数字博物馆观览系统
CN106530408A (zh) * 2016-12-27 2017-03-22 苏州和云观博数字科技有限公司 博物馆临时展览规划设计的系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248335A (zh) * 2017-07-26 2017-10-13 苏州和云观博数字科技有限公司 博物馆ar文创装置及其实现方法
CN109670399A (zh) * 2018-11-12 2019-04-23 万瞳(南京)科技有限公司 基于计算机视觉的博物馆展品图像识别方法及系统
US10810430B2 (en) 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
US11196842B2 (en) 2019-09-26 2021-12-07 At&T Intellectual Property I, L.P. Collaborative and edge-enhanced augmented reality systems

Similar Documents

Publication Publication Date Title
US11024092B2 (en) System and method for augmented reality content delivery in pre-captured environments
WO2017026839A1 (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN105704479B (zh) 3d显示系统用的测量人眼瞳距的方法及系统和显示设备
CN106875478A (zh) 体验手机3d效果的ar装置
CN112837406B (zh) 一种三维重建方法、装置及系统
CN111311756B (zh) 增强现实ar显示方法及相关装置
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN110728191A (zh) 手语翻译方法、基于mr的手语-语音交互方法及系统
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN114821675B (zh) 对象的处理方法、系统和处理器
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
CN108134945A (zh) Ar业务处理方法、装置及终端
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
KR102417959B1 (ko) 3차원 입체 콘텐츠 제공 장치 및 그 방법
WO2021245326A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN112288876A (zh) 远距离ar识别服务器及系统
CN109426336A (zh) 一种虚拟现实辅助选型设备
WO2020119518A1 (zh) 一种基于人工视网膜空间感知的控制方法及装置
CN116863069A (zh) 三维光场人脸内容生成方法、电子设备及存储介质
CN116630508A (zh) 3d模型处理方法、装置及电子设备
CN106503174B (zh) 一种基于网络三维建模的场景可视化方法及系统
CN114793276A (zh) 一种拟真现实元宇宙平台3d全景拍摄方法
CN111738087B (zh) 一种游戏角色面部模型的生成方法和装置
CN114170379A (zh) 一种三维模型重建方法、装置及设备
CN111814652A (zh) 虚拟人像渲染方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170620