CN106898049A - 一种用于混合现实设备的空间匹配方法及系统 - Google Patents

一种用于混合现实设备的空间匹配方法及系统 Download PDF

Info

Publication number
CN106898049A
CN106898049A CN201710037716.2A CN201710037716A CN106898049A CN 106898049 A CN106898049 A CN 106898049A CN 201710037716 A CN201710037716 A CN 201710037716A CN 106898049 A CN106898049 A CN 106898049A
Authority
CN
China
Prior art keywords
coordinate
mixed reality
realistic space
image
spatial match
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710037716.2A
Other languages
English (en)
Inventor
李劼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inquiry Technology Co Ltd
Original Assignee
Beijing Inquiry Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inquiry Technology Co Ltd filed Critical Beijing Inquiry Technology Co Ltd
Priority to CN201710037716.2A priority Critical patent/CN106898049A/zh
Publication of CN106898049A publication Critical patent/CN106898049A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于混合现实设备的空间匹配方法及系统，其中，该方法包括：获取现实空间中真实对象的图像；对所述图像进行处理，获取所述真实对象的现实空间坐标；将所述现实空间坐标转换为图像坐标；将所述图像坐标转换为第一像素坐标；将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。本发明能够减少虚拟对象和真实场景的空间匹配误差，从而使得混合现实场景更加逼真，改善用户的体验效果。

Description

一种用于混合现实设备的空间匹配方法及系统
技术领域
本发明涉及混合现实技术领域，具体涉及一种用于混合现实设备的空间匹配方法及系统。
背景技术
近年来，随着计算机图形学的迅速发展，微软公司研发的混合现实设备hololens引导了目前混合现实技术的发展方向，并随之出现了基于该设备的应用，这种技术存在的问题是，虚拟对象和真实场景的空间匹配误差，由于人眼对于这种误差非常敏感，即使微小的误差都会使用户感到虚实场景的不匹配，造成用户的体验较差。
发明内容
本发明所要解决的技术问题是针对现有技术存在的上述问题，提供一种用于混合现实设备的空间匹配方法及系统。
本发明解决上述技术问题的技术方案如下：一种用于混合现实设备的空间匹配方法，包括：
步骤1、获取现实空间中真实对象的图像；
步骤2、对所述图像进行处理，获取所述真实对象的现实空间坐标；
步骤3、将所述现实空间坐标转换为图像坐标；
步骤4、将所述图像坐标转换为第一像素坐标；
步骤5、将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。
本发明的有益效果是：减少虚拟对象和真实场景的空间匹配误差，从而使得混合现实场景更加逼真，改善用户的体验效果。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤3具体包括：
步骤3.1、获取所述真实对象在两个不同的观察坐标系的像坐标；
步骤3.2、根据所述观察坐标系与所述现实空间坐标系的位置关系将所述像坐标转换为现实空间坐标。
进一步，还包括接收操作信息，并根据所述操作信息对所述混合场景进行更新的步骤。
为实现上述发明目的，本发明还提供一种用于混合现实设备的空间匹配系统，包括：图像采集模块、图像处理模块、第一转换模块、第二转换模块和第三转换模块；
所述图像采集模块用于获取现实空间中真实对象的图像；
所述图像处理模块用于对所述图像进行处理，获取所述真实对象的现实空间坐标；
所述第一转换模块用于将所述现实空间坐标转换为图像坐标；
所述第二转换模块用于将所述图像坐标转换为第一像素坐标；
所述第三转换模块用于将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。
本发明的有益效果是：减少虚拟对象和真实场景的空间匹配误差，从而使得混合现实场景更加逼真，改善用户的体验效果。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述第一转换模块包括获取单元和转换单元：
所述获取单元用于获取所述真实对象在两个不同的观察坐标系的像坐标；
所述转换单元用于根据所述观察坐标系与所述现实空间坐标系的位置关系将所述像坐标转换为现实空间坐标。
进一步，还包括更新模块，用于接收操作信息，并根据所述操作信息对所述混合场景进行更新。
进一步，所述图像采集模块为深度相机。
附图说明
图1为本发明实施例1提供的一种用于混合显示设备的空间匹配方法的流程图；
图2为本发明实施例2提供的一种用于混合显示设备的空间匹配方法的步骤3的流程图；
图3为本发明实施例3提供的一种用于混合显示设备的空间匹配系统的结构示意图；
图4为本发明实施例4提供的第一转换模块的结构示意图。
图5为本发明实施例5提供的一种用于混合显示设备的空间匹配系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例提供的一种用于混合现实设备的空间匹配方法，包括：
101、获取现实空间中真实对象的图像；
102、对所述图像进行处理，获取所述真实对象的现实空间坐标；
103、将所述现实空间坐标转换为图像坐标；
104、将所述图像坐标转换为第一像素坐标；
105、将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。
应理解，现实空间坐标是三维立体空间坐标系中的坐标，图像坐标是对象在图像的图像平面坐标系中的坐标，第一像素坐标和第二像素坐标是基于对象在像素坐标系中的坐标。
混合现实(MR)(包括增强现实和虚拟现实)指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。混合现实设备可选用微软公司开发的Hololens，这是一款混合现实头戴式显示器。
具体的，Hololens上安装有各种传感器来扫描现实场景，并通过内置的处理器来完成空间匹配。虚拟对象可以基于3D引擎开发，例如Unity3D。
可选地，在该实施例中，如图2所示，所述步骤3具体包括：
201、获取所述真实对象在两个不同的观察坐标系的像坐标；
202、根据所述观察坐标系与所述现实空间坐标系的位置关系将所述像坐标转换为现实空间坐标。
可选地，作为本发明的一个实施例中，还包括接收操作信息，并根据所述操作信息对所述混合场景进行更新的步骤。
图3为本发明实施例提供的一种用于混合现实设备的空间匹配系统的结构示意图，如图3所示，该系统包括：图像采集模块、图像处理模块、第一转换模块、第二转换模块和第三转换模块；
所述图像采集模块用于获取现实空间中真实对象的图像；
所述图像处理模块用于对所述图像进行处理，获取所述真实对象的现实空间坐标；
所述第一转换模块用于将所述现实空间坐标转换为图像坐标；
所述第二转换模块用于将所述图像坐标转换为第一像素坐标；
所述第三转换模块用于将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。
可选地，在该实施例中，如图4所示，所述第一转换模块包括获取单元和转换单元：
所述获取单元用于获取所述真实对象在两个不同的观察坐标系的像坐标；
所述转换单元用于根据所述观察坐标系与所述现实空间坐标系的位置关系将所述像坐标转换为现实空间坐标。
可选地，作为本发明的一个实施例中，如图5所示，该系统还包括更新模块，用于接收操作信息，并根据所述操作信息对所述混合场景进行更新。
具体的，Hololens具有手势检测功能，能够识别用户的手势，从而对混合现实场景进行操作，用户可以在Hololens的显示器上观察到操作产生的效果。
可选地，在该实施例中，所述图像采集模块为深度相机。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于混合现实设备的空间匹配方法，其特征在于，包括：
步骤1、获取现实空间中真实对象的图像；
步骤2、对所述图像进行处理，获取所述真实对象的现实空间坐标；
步骤3、将所述现实空间坐标转换为图像坐标；
步骤4、将所述图像坐标转换为第一像素坐标；
步骤5、将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。
2.根据权利要求1所述的用于混合现实设备的空间匹配方法，其特征在于，所述步骤3具体包括：
步骤3.1、获取所述真实对象在两个不同的观察坐标系的像坐标；
步骤3.2、根据所述观察坐标系与所述现实空间坐标系的位置关系将所述像坐标转换为现实空间坐标。
3.根据权利要求1所述的用于混合现实设备的空间匹配方法，其特征在于，还包括接收操作信息，并根据所述操作信息对所述混合场景进行更新的步骤。
4.一种用于混合现实设备的空间匹配系统，其特征在于，包括：图像采集模块、图像处理模块、第一转换模块、第二转换模块和第三转换模块；
所述图像采集模块用于获取现实空间中真实对象的图像；
所述图像处理模块用于对所述图像进行处理，获取所述真实对象的现实空间坐标；
所述第一转换模块用于将所述现实空间坐标转换为图像坐标；
所述第二转换模块用于将所述图像坐标转换为第一像素坐标；
所述第三转换模块用于将虚拟对象的虚拟坐标转换为与所述第一像素坐标属于同一像素坐标系的第二像素坐标，形成混合现实场景。
5.根据权利要求4所述的用于混合现实设备的空间匹配系统，其特征在于，所述第一转换模块包括获取单元和转换单元：
所述获取单元用于获取所述真实对象在两个不同的观察坐标系的像坐标；
所述转换单元用于根据所述观察坐标系与所述现实空间坐标系的位置关系将所述像坐标转换为现实空间坐标。
6.根据权利要求4所述的用于混合现实设备的空间匹配系统，其特征在于，还包括更新模块，用于接收操作信息，并根据所述操作信息对所述混合场景进行更新。
7.根据权利要求4所述的用于混合现实设备的空间匹配系统，其特征在于，所述图像采集模块为深度相机。
CN201710037716.2A 2017-01-18 2017-01-18 一种用于混合现实设备的空间匹配方法及系统 Pending CN106898049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710037716.2A CN106898049A (zh) 2017-01-18 2017-01-18 一种用于混合现实设备的空间匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710037716.2A CN106898049A (zh) 2017-01-18 2017-01-18 一种用于混合现实设备的空间匹配方法及系统

Publications (1)

Publication Number Publication Date
CN106898049A true CN106898049A (zh) 2017-06-27

Family

ID=59198124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710037716.2A Pending CN106898049A (zh) 2017-01-18 2017-01-18 一种用于混合现实设备的空间匹配方法及系统

Country Status (1)

Country Link
CN (1) CN106898049A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977716A (zh) * 2017-11-21 2018-05-01 北京恒华伟业科技股份有限公司 一种隐患点显示的方法及系统
CN108014490A (zh) * 2017-12-29 2018-05-11 安徽创视纪科技有限公司 一种基于mr混合现实技术的实景密室
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109427095A (zh) * 2017-08-28 2019-03-05 福建天晴数码有限公司 一种显示混合现实场景的方法及系统
CN109427093A (zh) * 2017-08-28 2019-03-05 福建天晴数码有限公司 一种混合现实系统
CN109883743A (zh) * 2019-02-21 2019-06-14 珠海格力电器股份有限公司 基于混合现实的电器测试方法和装置
CN111260793A (zh) * 2020-01-10 2020-06-09 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN111899590A (zh) * 2020-08-25 2020-11-06 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN114742906A (zh) * 2022-06-13 2022-07-12 国网湖北省电力有限公司武汉供电公司 Mr虚拟空间图像采集方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162372A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for converging reality and virtuality in a mobile environment
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN105005970A (zh) * 2015-06-26 2015-10-28 广东欧珀移动通信有限公司 一种增强现实的实现方法及装置
CN105023215A (zh) * 2015-07-21 2015-11-04 中国矿业大学(北京) 一种基于头戴式混合现实设备的危险行业安全培训系统
CN105513112A (zh) * 2014-10-16 2016-04-20 北京畅游天下网络技术有限公司 图像处理方法和装置
CN106055113A (zh) * 2016-07-06 2016-10-26 北京华如科技股份有限公司 一种混合现实的头盔显示系统及控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162372A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for converging reality and virtuality in a mobile environment
CN105513112A (zh) * 2014-10-16 2016-04-20 北京畅游天下网络技术有限公司 图像处理方法和装置
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN105005970A (zh) * 2015-06-26 2015-10-28 广东欧珀移动通信有限公司 一种增强现实的实现方法及装置
CN105023215A (zh) * 2015-07-21 2015-11-04 中国矿业大学(北京) 一种基于头戴式混合现实设备的危险行业安全培训系统
CN106055113A (zh) * 2016-07-06 2016-10-26 北京华如科技股份有限公司 一种混合现实的头盔显示系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尚倩: "基于双目立体视觉的目标识别与定位", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427093B (zh) * 2017-08-28 2022-10-21 福建天晴数码有限公司 一种混合现实系统
CN109427095A (zh) * 2017-08-28 2019-03-05 福建天晴数码有限公司 一种显示混合现实场景的方法及系统
CN109427093A (zh) * 2017-08-28 2019-03-05 福建天晴数码有限公司 一种混合现实系统
CN109427095B (zh) * 2017-08-28 2022-10-21 福建天晴数码有限公司 一种显示混合现实场景的方法及系统
CN107977716A (zh) * 2017-11-21 2018-05-01 北京恒华伟业科技股份有限公司 一种隐患点显示的方法及系统
CN108014490A (zh) * 2017-12-29 2018-05-11 安徽创视纪科技有限公司 一种基于mr混合现实技术的实景密室
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109883743B (zh) * 2019-02-21 2020-06-02 珠海格力电器股份有限公司 基于混合现实的电器测试方法和装置
CN109883743A (zh) * 2019-02-21 2019-06-14 珠海格力电器股份有限公司 基于混合现实的电器测试方法和装置
CN111260793B (zh) * 2020-01-10 2020-11-24 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN111260793A (zh) * 2020-01-10 2020-06-09 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN111899590A (zh) * 2020-08-25 2020-11-06 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
CN111899590B (zh) * 2020-08-25 2022-03-11 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
CN114742906A (zh) * 2022-06-13 2022-07-12 国网湖北省电力有限公司武汉供电公司 Mr虚拟空间图像采集方法

Similar Documents

Publication Publication Date Title
CN106898049A (zh) 一种用于混合现实设备的空间匹配方法及系统
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
EP2700040B1 (en) Color channels and optical markers
JP2009205556A (ja) ユーザインタフェース装置
EP2343685B1 (en) Information processing device, information processing method, program, and information storage medium
CN105051792A (zh) 用于使用深度映射和光源合成增强3d图像的设备
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
TW202025719A (zh) 圖像處理方法及裝置、電子設備及儲存介質
CN110290285B (zh) 图像处理方法、图像处理装置、图像处理系统及介质
JPWO2021076757A5 (zh)
CN106774870A (zh) 一种增强现实交互方法及系统
KR20230035382A (ko) 신장 측정 방법 및 장치, 및 단말기
WO2022071743A1 (en) Body shape and pose estimation via volumetric regressor for raw three dimensional scan models
WO2017061890A1 (en) Wireless full body motion control sensor
JPS61199178A (ja) 情報入力装置
CN116935008A (zh) 一种基于混合现实的展示交互方法和装置
CN108648281B (zh) 混合现实方法和系统
JP2014199527A (ja) 情報処理装置、情報処理方法及びプログラム
KR20150116032A (ko) 증강현실 제공방법
CN115359213A (zh) 一种多人在线协同式装备虚拟设计实现方法及系统
JP2015184986A (ja) 複合現実感共有装置
CN113407033A (zh) 一种基于vr的人体关键点数据扩充的方法
KR100231712B1 (ko) 무인정찰기 시스템의 운용 방법
CN102289328A (zh) 一种基于手持摄像头的人机交互方法及装置
CN111524240A (zh) 场景切换方法、装置及增强现实设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170627