CN114359524B - 一种基于反转增强现实的智能家具体验官系统 - Google Patents
一种基于反转增强现实的智能家具体验官系统 Download PDFInfo
- Publication number
- CN114359524B CN114359524B CN202210015101.0A CN202210015101A CN114359524B CN 114359524 B CN114359524 B CN 114359524B CN 202210015101 A CN202210015101 A CN 202210015101A CN 114359524 B CN114359524 B CN 114359524B
- Authority
- CN
- China
- Prior art keywords
- module
- furniture
- experience
- data
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 14
- 230000000704 physical effect Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012876 topography Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于反转增强现实的智能家具体验官系统，包括：调用传感器来获取系统环境数据的传感器模块；对设备载β体所在的周围环境进行重建的三维重建模块；实现设备追踪和虚拟家具摆放的AR模块；用于存储资源的资源模块；基于世界坐标系为模型实现物理属性的物理引擎模块；接受用户命令完成功能的体验模块和生成语言模块。本发明能解决现有AR局限于视觉增强，与虚拟家具交互性不足的问题，在虚拟代理(虚拟世界的人或者物体)为中心的框架下，给虚拟代理赋予智能，使虚拟代理成为可以“看到”、“感受到”真实世界和虚拟世界的智能家具体验官，从而能在用户的指令下，代替用户体验虚拟家具，提升用户体验。
Description
技术领域
本发明涉及增强现实(Augmented Reality,AR)技术领域，具体涉及一种基于反转增强现实框架(Inverse Augmented Reality,IAR)的智能家具体验官系统。
背景技术
增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术，现有增强现实技术多以用户为中心，而反转增强现实技术则是以虚拟代理(虚拟世界的人或者物体)为中心的框架，在该框架下，通过AI技术赋予其智能，使虚拟代理可以“看到”、“感受到”真实世界和虚拟世界，并完成一些传统AR无法完成的工作。
现在市场上的AR家具体验方法和系统，其功能局限于视觉信息的增强，即实现家具摆在家中的视觉效果，从而使得家具产品本身的体验感受、平时的使用场景只能由用户自己想象(比如躺在虚拟床上，坐在虚拟沙发上是无法实现的)，容易发生实际购买的产品与顾客预期不符的情况，影响用户购买体验。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于反转增强现实的智能家具体验官实现系统，以期能在虚拟代理(虚拟世界的人或者物体)为中心的框架下，通过三维重建技术、物理引擎技术、AI技术给虚拟代理赋予智能，使虚拟代理成为可以“看到”、“感受到”真实世界和虚拟世界的智能家具体验官，从而能在用户的指令下，代替用户体验虚拟家具，提升用户体验。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于反转增强现实的智能家具体验官系统的特点包括：传感器模块、AR模块、三维重建模块、资源模块、物理引擎模块、体验模块和用户接口模块；
所述传感器模块是通过调用单目摄像头、深度摄像头、陀螺仪、加速度传感器来获取系统环境数据，并分别发送给所述三维重建模块和AR模块；所述系统环境数据包括：设备运动数据和环境数据；所述设备运动数据为系统所在的设备载体在三维空间中的角速度和加速度数据；所述环境数据为单目摄像头获取的视频帧数据和深度摄像头获取的深度图像数据；
所述AR模块根据所接收的设备运动数据和视频帧数据，以第一张稳定图像中单目摄像头的光心为原点O，以水平方向为X轴，以竖直方向为Y轴，单目摄像头所观察的方向为Z轴，建立世界坐标系，用于追踪设备载体运动时的坐标和单目摄像头视角数据，并发送给所述物理引擎模块；
所述三维重建模块根据所接收的深度图像数据对设备载体所在的周围环境进行三维重建，得到真实环境三维模型及其在世界坐标系中的坐标和体积数据，并发送给所述物理引擎模块；
所述资源模块用于存储虚拟家具模型、家具体验官的3D模型及其各种行为动作的动画文件，用于提供给所述物理引擎模块；
所述物理引擎模块以所述世界坐标系为基础，为所接收的真实环境三维模型、虚拟家具模型以及3D模型添加实例化的物理对象，使其具有物理属性；其中，为真实环境三维模型中的固定地形添添加刚体对象和静态碰撞体对象；为虚拟家具模型添加对应形态的刚体对象和运动碰撞对象；为3D模型添加关节对象用于模拟人的行动；同时添加角色控制器用于控制家具体验官的移动速度和方向；
所述体验模块用于获取用户命令数据并进行判断，若为选择家具命令，则获取设备载体上用户点击的位置数据A，以A点为基准，方向为单目摄像头视角方向发射射线，用于检测射线与场景坐标系中的虚拟家具模型是否发生碰撞，若发生，则得到碰撞对象的ID数据作为所选择体验的虚拟家具模型；若为体验家具命令，则根据碰撞对象的ID数据获取其位置坐标C以及家具体验官的坐标B，从而得到方向向量BC，并控制家具体验官按照方向向量BC朝碰撞对象的位置坐标C移动；当到达碰撞对象的位置坐标C的周围区域时，触发碰撞的物理属性约束，并播放预设的动画文件，使得家具体验官与所体验虚拟家具模型发生行为交互；
所述用户接口模块根据所体验的虚拟家具模型的相关产品信息，用自然语言模版生成体验感受并进行显示。
与现有技术相比，本发明的有益效果在于：
本发明通过采用三维重建技术对真实环境进行建模，再用物理引擎技术为真实环境三维模型、虚拟家具模型以及虚拟体验官的3D模型添加实例化的物理对象，使其具有物理属性约束，从而使基于IAR框架的虚拟体验官可以与虚拟家具进行交互，代替用户体验虚拟家具，同时还可基于家具信息，用自然语言模版生成家具体验的感受，大大提升了用户与虚拟家具的交互性，使得虚拟家具的体验更直观。
附图说明
图1为本发明的系统示意图；
图2为本发明的效果示意图。
具体实施方式
本实施例中，参照图1所示，一种基于反转增强现实的智能家具体验官系统，包括：传感器模块、AR模块、三维重建模块、资源模块、物理引擎模块、体验模块和用户接口模块；
传感器模块是通过调用单目摄像头、深度摄像头、陀螺仪、加速度传感器来获取系统环境数据，并分别发送给三维重建模块和AR模块；系统环境数据包括：设备运动数据和环境数据；设备运动数据为系统所在的设备载体在三维空间中的角速度和加速度数据；环境数据为单目摄像头获取的视频帧数据和深度摄像头获取的深度图像数据；
在具体实施中，用户手持设备载体，保持较稳定的速度，对系统环境进行扫描，以获取稳定的环境数据，并将其传送至AR模块和三维重建模块；
AR模块根据所接收的设备运动数据和视频帧数据，以第一张稳定图像中单目摄像头的光心为原点O，以水平方向为X轴，以竖直方向为Y轴，单目摄像头所观察的方向为Z轴，建立世界坐标系，用于追踪设备载体运动时的坐标和单目摄像头视角数据，并发送给物理引擎模块；
其中，单目摄像头视角数据为，世界坐标系中单目摄像头拍摄主方向的向量，以及视野范围，以保证之后在不同的视角显示虚拟家具模型对应角度的画面；
三维重建模块根据所接收的深度图像数据对设备载体所在的周围环境进行三维重建，得到真实环境三维模型及其在世界坐标系中的坐标和体积数据，并发送给物理引擎模块；
其中，真实环境三维模型文件需要转换成物理引擎所能直接使用的格式；
资源模块用于存储虚拟家具模型、家具体验官的3D模型及其各种行为动作的动画文件，并在需要时发送给物理引擎模块；
其中，虚拟家具模型为事先设计好的相应家具产品的三维模型文件；
其中，家具体验官的3D模型为虚拟代理的形象模型，本实施例中，设为人形，可选的，在用户可根据自身偏好选择指定身高、性别、身型、容貌的虚拟体验官；
物理引擎模块以AR模块建立的世界坐标系为基础，为所接收的真实环境三维模型、虚拟家具模型以及3D模型添加实例化的物理对象，使其具有物理属性；其中，物理引擎为unity公司的PhysX物理引擎，因为本实施例中，所要完成的物理效果并不复杂，不需要过分消耗计算资源，因而采用最简单的刚体物理原理，所以其他以刚体物理为框架的物理引擎也可；为真实环境三维模型中的固定地形添添加刚体对象和静态碰撞体对象；例如，为真实世界的三维模型中的墙壁、地板等固定地形添加刚体(Rigidbody)对象和静态碰撞体对象(Static Collider)，使其可以进行碰撞检测，但是不会随着碰撞发生位移或者形变；为虚拟(真实)家具模型添加对应形态的刚体对象(Rigidbody)和运动碰撞(KinematicRigidbody Collider)对象，使其可以受到重力和碰撞的影响，并添加对应的材质；为虚拟代理的3D模型添加关节对象(Joints)用于模拟人的行动；同时添加角色控制器(CharacterControllers)，用于控制家具体验官的移动速度和方向；
体验模块用于获取用户命令数据并进行判断，若为选择家具命令，则获取设备载体上用户点击的位置数据A，以A点为基准，方向为单目摄像头视角方向发射射线，用于检测射线与场景坐标系中的虚拟家具模型是否发生碰撞，若发生，则得到碰撞对象的ID数据作为所选择体验的虚拟家具模型；若为体验家具命令，则根据碰撞对象的ID数据获取其位置坐标C以及家具体验官的坐标B，从而得到方向向量BC，并控制家具体验官按照方向向量BC朝碰撞对象的位置坐标C移动；当到达碰撞对象的位置坐标C的周围区域时，触发碰撞的物理属性约束，并播放预设的动画文件，使得家具体验官与所体验虚拟家具模型发生行为交互；
在具体实施中，设备扫描并加载完场景后，用户首先点击设备屏幕，选择想要体验的家具，再点击体验功能，控制家具体验官对选中的家具进行体验，例如，可以躺在虚拟床上，或坐在虚拟沙发上，体验效果如图2所示；
用户接口模块根据所体验的虚拟家具模型的相关产品信息，用自然语言模版生成体验感受并进行显示。
其中，虚拟家具的相关产品信息，包括：产品价格、产品材质、产品品牌、产品风格、产品历史评分；
其中，自然语言模板为NLP(自然语言处理)技术中的对话生成模版，将产品信息嵌入模板中，生成简单的自然语言，即为体验感受；
本实施例中，用户接口模块还可以添加声学传感器，使系统接收用户的语言指令，用语言识别接口将其转化为文本数据，然后用NLP接口理解指令，使得家具体验官可以“听”懂用户的话；另外，用户接口模块还添加推荐引擎，使得系统在接收用户指令、用户信息、用户行为(点击、购买记录)之后进行智能推荐。
Claims (1)
1.一种基于反转增强现实的智能家具体验官系统，其特征包括：传感器模块、AR模块、三维重建模块、资源模块、物理引擎模块、体验模块和用户接口模块；
所述传感器模块是通过调用单目摄像头、深度摄像头、陀螺仪、加速度传感器来获取系统环境数据，并分别发送给所述三维重建模块和AR模块；所述系统环境数据包括：设备运动数据和环境数据；所述设备运动数据为系统所在的设备载体在三维空间中的角速度和加速度数据；所述环境数据为单目摄像头获取的视频帧数据和深度摄像头获取的深度图像数据；
所述AR模块根据所接收的设备运动数据和视频帧数据，以第一张稳定图像中单目摄像头的光心为原点O，以水平方向为X轴，以竖直方向为Y轴，单目摄像头所观察的方向为Z轴，建立世界坐标系，用于追踪设备载体运动时的坐标和单目摄像头视角数据，并发送给所述物理引擎模块；
所述三维重建模块根据所接收的深度图像数据对设备载体所在的周围环境进行三维重建，得到真实环境三维模型及其在世界坐标系中的坐标和体积数据，并发送给所述物理引擎模块；
所述资源模块用于存储虚拟家具模型、家具体验官的3D模型及其各种行为动作的动画文件，用于提供给所述物理引擎模块；
所述物理引擎模块以所述世界坐标系为基础，为所接收的真实环境三维模型、虚拟家具模型以及3D模型添加实例化的物理对象，使其具有物理属性；其中，为真实环境三维模型中的固定地形添添加刚体对象和静态碰撞体对象；为虚拟家具模型添加对应形态的刚体对象和运动碰撞对象；为3D模型添加关节对象用于模拟人的行动；同时添加角色控制器用于控制家具体验官的移动速度和方向；
所述体验模块用于获取用户命令数据并进行判断，若为选择家具命令，则获取设备载体上用户点击的位置数据A，以A点为基准，方向为单目摄像头视角方向发射射线，用于检测射线与场景坐标系中的虚拟家具模型是否发生碰撞，若发生，则得到碰撞对象的ID数据作为所选择体验的虚拟家具模型；若为体验家具命令，则根据碰撞对象的ID数据获取其位置坐标C以及家具体验官的坐标B，从而得到方向向量BC，并控制家具体验官按照方向向量BC朝碰撞对象的位置坐标C移动；当到达碰撞对象的位置坐标C的周围区域时，触发碰撞的物理属性约束，并播放预设的动画文件，使得家具体验官与所体验虚拟家具模型发生行为交互；
所述用户接口模块根据所体验的虚拟家具模型的相关产品信息，用自然语言模版生成体验感受并进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210015101.0A CN114359524B (zh) | 2022-01-07 | 2022-01-07 | 一种基于反转增强现实的智能家具体验官系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210015101.0A CN114359524B (zh) | 2022-01-07 | 2022-01-07 | 一种基于反转增强现实的智能家具体验官系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359524A CN114359524A (zh) | 2022-04-15 |
| CN114359524B true CN114359524B (zh) | 2024-03-01 |
Family
ID=81106724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210015101.0A Active CN114359524B (zh) | 2022-01-07 | 2022-01-07 | 一种基于反转增强现实的智能家具体验官系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359524B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106249607A (zh) * | 2016-07-28 | 2016-12-21 | 桂林电子科技大学 | 虚拟智能家居仿真系统及方法 |
| CN106910249A (zh) * | 2015-12-23 | 2017-06-30 | 财团法人工业技术研究院 | 增强现实方法及系统 |
| CN107168532A (zh) * | 2017-05-05 | 2017-09-15 | 武汉秀宝软件有限公司 | 一种基于增强现实的虚拟同步显示方法及系统 |
| CN112817449A (zh) * | 2021-01-28 | 2021-05-18 | 北京市商汤科技开发有限公司 | 增强现实场景的交互方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200379625A1 (en) * | 2019-05-30 | 2020-12-03 | Qingshan Wang | Augmented system and method for manipulating furniture |
| US20210201581A1 (en) * | 2019-12-30 | 2021-07-01 | Intuit Inc. | Methods and systems to create a controller in an augmented reality (ar) environment using any physical object |
-
2022
- 2022-01-07 CN CN202210015101.0A patent/CN114359524B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910249A (zh) * | 2015-12-23 | 2017-06-30 | 财团法人工业技术研究院 | 增强现实方法及系统 |
| CN106249607A (zh) * | 2016-07-28 | 2016-12-21 | 桂林电子科技大学 | 虚拟智能家居仿真系统及方法 |
| CN107168532A (zh) * | 2017-05-05 | 2017-09-15 | 武汉秀宝软件有限公司 | 一种基于增强现实的虚拟同步显示方法及系统 |
| CN112817449A (zh) * | 2021-01-28 | 2021-05-18 | 北京市商汤科技开发有限公司 | 增强现实场景的交互方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 增强现实技术研究现状及发展趋势;王宇希;张凤军;刘越;;科技导报;20180528(10);全文 * |
| 混合现实中的虚实融合与人机智能交融;陈宝权;秦学英;;中国科学:信息科学;20161220(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359524A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148118B (zh) | 生成物理环境中的人的姿势信息 | |
| CN111641844B (zh) | 直播互动方法、装置、直播系统及电子设备 | |
| AU718608B2 (en) | Programmable computer graphic objects | |
| Biocca | Virtual reality technology: A tutorial | |
| CN104011788B (zh) | 用于增强和虚拟现实的系统和方法 | |
| Manetta et al. | Glossary of virtual reality terminology | |
| CN114766038A (zh) | 共享空间中的个体视图 | |
| Capin et al. | Realistic avatars and autonomous virtual humans in: VLNET networked virtual environments | |
| WO2019020608A1 (en) | METHOD AND SYSTEM FOR PROVIDING A VIRTUAL REALITY EXPERIENCE BASED ON ULTRASONIC DATA | |
| KR20210028198A (ko) | 아바타 애니메이션 | |
| IL299465A (en) | An object recognition neural network for predicting a missing visual information center | |
| CN110691010B (zh) | 跨平台跨终端vr/ar产品信息展示系统 | |
| Mazuryk et al. | History, applications, technology and future | |
| CN114359524B (zh) | 一种基于反转增强现实的智能家具体验官系统 | |
| CN108205823A (zh) | Mr全息真空体验店和体验方法 | |
| JP2739444B2 (ja) | ３次元モデルによる動き生成装置 | |
| JP2023095862A (ja) | プログラム及び情報処理方法 | |
| Avramova et al. | A virtual poster presenter using mixed reality | |
| Thalmann et al. | Participant, user-guided and autonomous actors in the virtual life network VLNET | |
| Pandzic et al. | Virtual life network: A body-centered networked virtual environment | |
| Beimler et al. | Smurvebox: A smart multi-user real-time virtual environment for generating character animations | |
| Pandzic et al. | Motor functions in the VLNET Body-Centered Networked Virtual Environment | |
| Shen | Augmented reality for e-commerce | |
| Steed | A survey of virtual reality literature | |
| CN214751793U (zh) | 虚拟现实远程服装感知系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |