CN111915737B - 一种基于增强现实的人与物交互系统 - Google Patents
一种基于增强现实的人与物交互系统 Download PDFInfo
- Publication number
- CN111915737B CN111915737B CN202010802649.0A CN202010802649A CN111915737B CN 111915737 B CN111915737 B CN 111915737B CN 202010802649 A CN202010802649 A CN 202010802649A CN 111915737 B CN111915737 B CN 111915737B
- Authority
- CN
- China
- Prior art keywords
- module
- augmented reality
- scene
- interaction
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 38
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 31
- 230000000694 effects Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000008447 perception Effects 0.000 claims abstract description 12
- 241001465754 Metazoa Species 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Abstract
本发明公开了一种基于增强现实的人与物交互系统，包括目标识别模块、场景感知模块、后台云处理模块、显示模块和交互模块，该系统通过移动设备的摄像头拍摄目标物品的图像，发送到后台云处理模块进行虚拟图像和现实场景的对齐和叠加，从而在移动设备终端上显示出具有增强现实效果的目标物品虚拟图像；此外，还可以通过交互模块进行人与目标物品的互动，如录制语音、视频、展示特效等，从而增强目标物品的趣味性，实现人与物品的直接互动。
Description
技术领域
本发明涉及智能化商品推荐技术领域，特别涉及一种基于增强现实的人与物交互系统。
背景技术
增强现实(AR)技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，在屏幕上把虚拟世界套在现实世界上以实现增强现实的效果，这种将虚拟场景和现实场景巧妙结合的技术给人们带来了超越现实的超感官体验。目前AR技术已经广泛运用于数据模型的可视化、虚拟训练、娱乐与艺术等领域。
许多大型商场为了吸引顾客，会引入一些AR设备，通过扫描二维码或条形码对商品或项目进行识别，然后实现基于AR技术的现实与虚拟互动。但现有的商场引入的AR设备多数作为娱乐使用，部分用于商品的推荐，且仅限于针对顾客的需求做个性化推荐或商品路线指引，停留在人与信息互动的层面上，而不是与商品的直接互动。
发明内容
为解决上述问题，本发明提供了一种基于增强现实的人与物交互系统，从而实现人与商品的直接互动。
本发明采用以下技术方案：
一种基于增强现实的人与物交互系统，包括目标识别模块、场景感知模块、后台云处理模块、显示模块和交互模块；
所述目标识别模块通过摄像头采集真实场景中目标物品的图像并对目标物品的图像进行识别、通过移动设备上的GPS数据获取用户的信息；
所述场景感知模块通过摄像头获取目标物品周围的真实场景；
所述目标识别模块和场景感知模块通过以太网连接所述后台云处理模块；
所述后台云处理模块根据所述目标识别模块和场景感知模块的信息，进行分析和重构；所述分析和重构具体为：根据目标物品的图像确定定位锚点，再对目标物品进行姿态评估并围绕定位锚点形成与目标物品相对应的虚拟形象，然后确定所述虚拟形象的中心原点，根据中心原点分析虚拟场景和真实场景的相对位置，最后将虚拟场景和真实场景进行坐标对齐、渲染、融合，从而形成虚实结合的场景即增强现实的场景；；
所述显示模块通过移动设备的屏幕显示增强现实的场景；
所述交互模块包括指令输入单元、变声录制单元、视频录制单元、特效单元和存储单元，所述交互模块通过移动设备采集用户的指令、录制增强现实的语音或视频并保存。
进一步地，所述用户的信息包括用户移动设备的ID、当前的位置和拍摄的角度。
进一步地，所述坐标对齐是根据所述中心原点建立模板坐标系，将模板坐标系旋转平移到摄像机坐标系，然后在变换为屏幕坐标系。
进一步地，所述指令输入单元用于接收用户指令，所述变声录制单元用于录制带有变声效果的语音，所述视频录制单元用于录制带有增强现实的交互视频，所述特效单元用于制作带有特效的视频，所述存储单元用于存储录制的语音和视频以供用户查看。
进一步地，所述用户的指令包括文字、图像、语音或手势。
进一步地，所述带有变声效果的语音包括动物的声音、人的声音、自然气象的声音或动漫人物的声音。
进一步地，所述特效包括动作变化、颜色变化或激光变化。
进一步地，所述移动设备包括手机、平板电脑或笔记本电脑。
进一步地，所述目标物品包括魔方、荧光棒或拼图。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
本发明的基于增强现实的人与物交互系统，通过移动设备的摄像头拍摄目标物品的图像，直接通过目标物品的外观进行识别，省去了现有技术借助二维码、条形码等识别目标物品的中间环节；然后发送到后台云处理模块进行虚拟图像和现实场景的对齐和叠加，从而在移动设备终端上显示出具有增强现实效果的目标物品虚拟图像；此外，还可以通过交互模块进行人与目标物品的互动，例如录制语音、视频、展示特效等，从而增强目标物品的趣味性，实现人与物品的直接互动。
附图说明
图1为本发明的系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
一种基于增强现实的人与物交互系统，包括目标识别模块、场景感知模块、后台云处理模块、显示模块和交互模块；
所述目标识别模块通过摄像头采集真实场景中目标物品的图像并对目标物品的图像进行识别、通过移动设备上的GPS数据获取用户的信息，如：用户移动设备的ID、当前的位置和拍摄的角度，本实施例的选择具有独角兽形状的荧光棒作为目标物品，在实际使用中，目标物品还可以是魔方、拼图等。
所述场景感知模块通过摄像头获取目标物品即独角兽荧光棒周围的真实场景；所述目标识别模块和场景感知模块通过以太网向后台云处理模块传送相应的数据，后台云处理模块即获得了独角兽荧光棒的图像、用户的ID和位置信息以及独角兽荧光棒周围的真实场景，此时，后台云处理模块对这些信息进行分析和重构，首先是根据目标物品独角兽荧光棒确定定位锚点，对目标物品进行姿态评估，并围绕定位锚点形成虚拟图像即独角兽的虚拟形象，接着，确定独角兽的虚拟形象的中心原点，以该中心原点建立模板坐标系，根据中心原点分析虚拟场景和真实场景的相对位置，然后将虚拟场景和真实场景进行坐标对齐、渲染、融合，最终形成增强现实的场景，即独角兽的虚拟形象与真实场景的结合，融合后的虚实结合的场景会实时地显示在屏幕中，展示在用户的视野中；这里的坐标对齐是根据所述中心原点建立模板坐标系，将模板坐标系旋转平移到摄像机坐标系，然后在变换为屏幕坐标系。
所述显示模块通过移动设备的屏幕显示增强现实的场景，即用户可以通过移动设备如手机的屏幕上看到独角兽荧光棒的虚拟形象。
交互模块包括指令输入单元、变声录制单元、视频录制单元、特效单元和存储单元，所述交互模块通过移动设备采集用户的指令、录制增强现实的语音或视频并保存。所述指令输入单元用于接收用户指令，所述变声录制单元用于录制带有变声效果的语音，所述视频录制单元用于录制带有增强现实的交互视频，所述特效单元用于制作带有特效的视频，所述存储单元用于存储录制的语音和视频以供用户查看。所述用户的指令包括文字、图像、语音或手势。所述带有变声效果的语音包括动物的声音、人的声音、自然气象的声音或动漫人物的声音。所述特效包括动作变化、颜色变化或激光变化。
通过交互模块，用户就可以与屏幕中的独角兽虚拟形象进行互动，如当用户说出“Unicorn(独角兽)”，屏幕中的独角兽就会出现展翅的特效；当用户点击“Talking(说话)”的时候，就可以录制带有变声功能的音频；当用户喊出“Firendship(友谊)”时，就会出现独角兽的独角发出激光特效；当用户点击视频录制就可以录制带有独角兽的视频等，且录制的视频可以保存起来方便以后随时查看和分享。此外，点击“Handbook(手册)”可以查看独角兽的特效，如独角兽说话、独角兽展翅、独角兽发射激光等。
本实施例中所述的移动设备为手机，也可以是平板电脑或笔记本电脑。
本实施例的技术方案通过拍摄目标物品的外观就能直接对目标物品进行识别，省去了现有技术借助二维码、条形码等识别目标物品的中间环节，从而实现人与物品的直接互动，增强商品的趣味性和互动性，使购物的过程更加生动有趣。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种基于增强现实的人与物交互系统，其特征在于：包括目标识别模块、场景感知模块、后台云处理模块、显示模块和交互模块；
所述目标识别模块通过摄像头采集真实场景中目标物品的图像并对目标物品的图像进行识别、通过移动设备上的GPS数据获取用户的信息；
所述场景感知模块通过摄像头获取目标物品周围的真实场景；
所述目标识别模块和场景感知模块通过以太网连接所述后台云处理模块；
所述后台云处理模块根据所述目标识别模块和场景感知模块的信息，进行分析和重构；所述分析和重构具体为：根据目标物品的图像确定定位锚点，再对目标物品进行姿态评估并围绕定位锚点形成与目标物品相对应的虚拟形象，然后确定所述虚拟形象的中心原点，根据中心原点分析虚拟场景和真实场景的相对位置，最后将虚拟场景和真实场景进行坐标对齐、渲染、融合，从而形成虚实结合的场景即增强现实的场景，所述坐标对齐是根据所述中心原点建立模板坐标系，将模板坐标系旋转平移到摄像机坐标系，然后再变换为屏幕坐标系；
所述显示模块通过移动设备的屏幕显示增强现实的场景；
所述交互模块包括指令输入单元、变声录制单元、视频录制单元、特效单元和存储单元，所述交互模块通过移动设备采集用户的指令、录制增强现实的语音或视频并保存，所述目标物品为具有独角兽形状的荧光棒，所述虚拟形象为独角兽，通过所述交互模块，用户与屏幕中的独角兽虚拟形象进行互动；
所述指令输入单元用于接收用户的指令，所述变声录制单元用于录制带有变声效果的语音，所述视频录制单元用于录制带有增强现实的交互视频，所述特效单元用于制作带有特效的视频，所述存储单元用于存储录制的语音和视频以供用户查看。
2.如权利要求1所述的一种基于增强现实的人与物交互系统，其特征在于：所述用户的信息包括用户移动设备的ID、当前的位置和拍摄的角度。
3.如权利要求1所述的一种基于增强现实的人与物交互系统，其特征在于：所述用户的指令包括文字、图像、语音或手势。
4.如权利要求1所述的一种基于增强现实的人与物交互系统，其特征在于：所述带有变声效果的语音包括动物的声音、人的声音、自然气象的声音或动漫人物的声音。
5.如权利要求1所述的一种基于增强现实的人与物交互系统，其特征在于：所述特效包括动作变化、颜色变化或激光变化。
6.如权利要求1所述的一种基于增强现实的人与物交互系统，其特征在于：所述移动设备包括手机、平板电脑或笔记本电脑。
7.如权利要求1所述的一种基于增强现实的人与物交互系统，其特征在于：所述目标物品包括魔方、荧光棒或拼图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010802649.0A CN111915737B (zh) | 2020-08-11 | 2020-08-11 | 一种基于增强现实的人与物交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010802649.0A CN111915737B (zh) | 2020-08-11 | 2020-08-11 | 一种基于增强现实的人与物交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111915737A CN111915737A (zh) | 2020-11-10 |
| CN111915737B true CN111915737B (zh) | 2024-03-01 |
Family
ID=73283929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010802649.0A Active CN111915737B (zh) | 2020-08-11 | 2020-08-11 | 一种基于增强现实的人与物交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915737B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模系统和方法 |
| CN109636918A (zh) * | 2018-11-20 | 2019-04-16 | 上海玄彩美科网络科技有限公司 | 一种ar显示的方法和设备 |
| CN111161422A (zh) * | 2019-12-13 | 2020-05-15 | 广东电网有限责任公司 | 一种用于增强虚拟场景实现的模型展示方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130297460A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
| TWI630505B (zh) * | 2012-08-28 | 2018-07-21 | 仁寶電腦工業股份有限公司 | 互動式擴增實境系統及其可攜式通訊裝置與互動方法 |
| US20180197345A1 (en) * | 2016-09-13 | 2018-07-12 | Youngzone Culture (Shanghai) Co., Ltd. | Augmented reality technology-based handheld viewing device and method thereof |
-
2020
- 2020-08-11 CN CN202010802649.0A patent/CN111915737B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模系统和方法 |
| CN109636918A (zh) * | 2018-11-20 | 2019-04-16 | 上海玄彩美科网络科技有限公司 | 一种ar显示的方法和设备 |
| CN111161422A (zh) * | 2019-12-13 | 2020-05-15 | 广东电网有限责任公司 | 一种用于增强虚拟场景实现的模型展示方法 |
Non-Patent Citations (3)
| Title |
|---|
| Guven,S等.Social Mobile Augmented Reality for Retail.《2009 IEEE international conference on pervasive computing and communications》.2009,1-3. * |
| 基于增强现实的人机物理交互仿真系统研究;沈克;蒋建国;彭太乐;;计算机仿真(第04期);201-212+217 * |
| 增强现实技术在互联网购物体验上的应用;张华瑾等;《计算机时代》;33-35+39 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111915737A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | An overview of augmented reality technology | |
| US20190030441A1 (en) | Using a Portable Device to Interface with a Scene Rendered on a Main Display | |
| KR101788248B1 (ko) | 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 | |
| CN103916621A (zh) | 视频通信方法及装置 | |
| CN107798932A (zh) | 一种基于ar技术的早教训练系统 | |
| KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
| WO2013120851A1 (en) | Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform | |
| CN112330819B (zh) | 基于虚拟物品的交互方法、装置及存储介质 | |
| KR20170002100A (ko) | 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치 | |
| CN106130886A (zh) | 扩展信息的展示方法及装置 | |
| US20180239514A1 (en) | Interactive 3d map with vibrant street view | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| KR20180014910A (ko) | 가상현실 속 증강현실을 이용한 관광 콘텐츠 및 그 제공시스템 | |
| CN111639613B (zh) | 一种增强现实ar特效生成方法、装置及电子设备 | |
| CN112954292A (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
| CN114463470A (zh) | 虚拟空间浏览方法、装置、电子设备和可读存储介质 | |
| CN110716641B (zh) | 交互方法、装置、设备以及存储介质 | |
| US11961190B2 (en) | Content distribution system, content distribution method, and content distribution program | |
| CN112947756A (zh) | 内容导览方法、装置、系统、计算机设备及存储介质 | |
| CN111915737B (zh) | 一种基于增强现实的人与物交互系统 | |
| CN112288877A (zh) | 视频播放方法、装置、电子设备及存储介质 | |
| CN111538920A (zh) | 内容的呈现方法及装置、系统、存储介质、电子装置 | |
| CN116152416A (zh) | 基于扩展现实的画面渲染方法、装置及存储介质 | |
| JP2020162084A (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
| Lee et al. | Research on application of virtual reality technology to create metaverse podcasts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |