CN110060354A - 真实图像在虚拟空间中的定位和交互方法 - Google Patents

真实图像在虚拟空间中的定位和交互方法 Download PDF

Info

Publication number
CN110060354A
CN110060354A CN201910321173.6A CN201910321173A CN110060354A CN 110060354 A CN110060354 A CN 110060354A CN 201910321173 A CN201910321173 A CN 201910321173A CN 110060354 A CN110060354 A CN 110060354A
Authority
CN
China
Prior art keywords
virtual space
true picture
space
real
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910321173.6A
Other languages
English (en)
Other versions
CN110060354B (zh
Inventor
周志颖
董鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Original Assignee
SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD filed Critical SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Priority to CN201910321173.6A priority Critical patent/CN110060354B/zh
Publication of CN110060354A publication Critical patent/CN110060354A/zh
Application granted granted Critical
Publication of CN110060354B publication Critical patent/CN110060354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种真实图像在虚拟空间中的定位和交互方法，该方法包括：通过载有摄像设备的移动终端识别真实空间场景，以移动终端为参照物，构建相应的虚拟空间；识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成相应的虚拟物体；实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；根据位置关系触发与虚拟物体的深度交互。采用本发明技术方案，可实现通过实时跟踪真实图像的位置信息，构建与虚拟空间比例适配的虚拟物体，从而产生真实物体与虚拟空间的深度交互。

Description

真实图像在虚拟空间中的定位和交互方法
技术领域
本发明涉及一种真实图像在虚拟空间中的定位和交互方法，属于虚拟现实和增强现实技术领域。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着近年来AR技术的快速发展，如今只需借助集成的AR开发工具包(AR SDK)，例如苹果公司发布的ARKit、谷歌公司发布的ARCore等，就能够帮助我们以最简单快捷的方式实现AR场景构建、虚拟场景交互等AR技术功能。
然而，当前AR技术中其与虚拟空间或虚拟物体的交互能力仍旧具有一定局限性，即使以当前较为主流的AR开发工具包ARKit(基于iOS系统)和ARCore(基于Android系统)为例，其原有的空间定位能力仅支持通过手机与虚拟物体产生交互，无法获得进一步的浸入式交互体验，并且容易出现虚拟物体与构建的虚拟空间标尺不一的问题，导致AR观感下降。
发明内容
针对现有技术的不足，本发明的目的在于提供一种真实图像在虚拟空间中的定位和交互方法，实现真实物体在虚拟空间中的位置匹配和深度交互。
为实现前述发明目的，本发明公开的真实图像在虚拟空间中的定位和交互方法至少包括以下步骤：
S1，通过载有摄像设备的移动终端识别真实空间场景，以所述移动终端为参照物，构建与所述真实空间场景相应的虚拟空间；
S2，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；
S3，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成与所述真实图像相应的虚拟物体；
S4，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；
S5，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。
优选地，当真实图像数据丢失后，相应的虚拟物体保持在所述虚拟空间中的最后一次定位位置，并通过角度变换控制虚拟物体的方向。
优选地，当再次跟踪到真实图像时，执行步骤S2至步骤S5，更新相应的虚拟物体在所述虚拟空间中的位置和方向。
优选地，所述步骤S5包括：设置指定位置关系为交互操作的触发条件，通过位置关系计算，可触发与虚拟物体的交互操作。
优选地，步骤S2中所述识别摄像设备传输的真实图像数据包括：通过图像数据地址传输，将真实图像传输至知识库中与识别图片进行比对，获取识别图像。
优选地，步骤S2中通过图像矩阵变换获得所述真实图像在虚拟空间中的位置包括：通过多次密集透视变换，将真实图像与识别图像对比并逐渐拉近，将位移差作为真实图像的相对位移，并基于参照物坐标将真实图像的位置转换为在虚拟空间中的位置。
优选地，步骤S3中所述通过空间变换在所述虚拟空间中生成相应的虚拟物体包括：调整虚拟物体的位移尺度及大小，适配与虚拟空间的正确比例。
优选地，通过空间定位识别技术识别真实空间场景。
优选地，所述空间定位识别技术包括基于AR SDK进行空间定位识别。
优选地，所述AR SDK包括ARKit或ARCore。
与现有技术相比，本发明的优点包括：通过图片识别追踪控制虚拟物体，并与原有的空间识别技术相结合，实现通过实时跟踪真实图像的位置信息，构建与虚拟空间比例适配的虚拟物体，从而产生真实物体与虚拟空间的深度交互。
附图说明
图1是本发明一典型实施例提出的一种真实图像在虚拟空间中的定位和交互方法的流程图。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
本发明提出了一种真实图像在虚拟空间中的定位和交互方法，其技术方案作如下具体阐述：
所述方法至少包括以下步骤：
步骤11，通过载有摄像设备的移动终端识别真实空间场景，以移动终端为参照物，基于三维建模引擎构建相应的虚拟空间；
步骤12，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；
步骤13，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成相应的虚拟物体；
步骤14，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；
步骤15，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。
进一步地，当真实图像数据丢失后，相应的虚拟物体保持在所述虚拟空间中的最后一次定位位置，并通过角度变换控制虚拟物体的方向。当再次跟踪到真实图像时，执行上述步骤12至步骤15所述操作，更新相应的虚拟物体在所述虚拟空间中的位置和方向。
在步骤12中，可通过图像数据地址传输，将真实图像传输至知识库中与识别图片进行比对，获取识别图像。通过多次密集透视变换，将真实图像与识别图像对比并逐渐拉近，将位移差作为真实图像的相对位移，并基于参照物坐标将真实图像的位置转换为在虚拟空间中的位置。
在步骤13中，通过空间变换在所述虚拟空间中生成相应的虚拟物体可通过调整虚拟物体的位移尺度及大小，适配与虚拟空间的正确比例，从而保证虚拟物体的空间大小与虚拟空间保持正确的比例。
在步骤15中进一步包括，设置指定位置关系为交互操作的触发条件，根据对真实图像在虚拟空间中的位置关系进行计算，在指定位置触发与虚拟物体的交互操作，该交互操作包括播放数字媒体内容，如音频、动画、视频、特效等。
作为一种较佳的实施方式，通过空间定位识别技术识别真实空间场景，所述空间定位识别技术包括基于ARKit或ARCore进行空间定位识别。
为使本发明技术方案更加清楚，以下将结合实施例及附图，对本发明的核心思想进行进一步阐述。请参阅图1，图1是本发明一典型实施例提出的一种基于图像识别的真实图像在虚拟空间的定位方法的流程图，以当前主流的ARKit或ARCore作为AR开发平台，智能手机作为移动终端(携带摄像头且支持ARKit或ARCore)，具体可包括以下步骤：
步骤101，启动ARKit或ARCore。
步骤102，识别周边环境；
步骤103，以手机为参照物构建虚拟空间。
启动ARKit或ARCore，识别熟悉周围环境，以手机为参照物，选取相对位置及朝向，在Unity中构建虚拟空间，建立坐标体系。
步骤104，识别图像数据；
通过获取摄像头拍摄的真实图像数据，从Unity传输图像地址至知识库(dll库)，并调用计算机视觉库中图像比对算法，进行图像比对，获取识别图像。
步骤105，追踪图像并做矩阵变换，转换为虚拟空间中坐标；
对识别图像数据进行矩阵变换，具体包括进行多次(较佳地，采用5次)密集透视变换，将摄像头获取的真实图像与识别图像对比并逐渐拉近，将位移差作为图像的相对位移，通过图像位置定位虚拟物体位置，将真实图像转换为相对手机的位置，并将其位置返回给Unity端(Unity端为物理引擎，拥有空间坐标体系)；再次进行空间变换，针对ARKit和ARCore不同的计量单位，修改并调整虚拟物体的位移尺度及大小，保证虚拟物体的空间大小与原来构建的虚拟空间保持正确比例。
作为一种较佳的实施方式，当图像数据丢失时，以虚拟物体在虚拟空间的最后一次位置暂作为其位置进行保持，通过角度变换控制物体的朝向；当再次追踪到真实物体的图像时，再次执行上述图像识别和追踪算法，并更新虚拟物体在虚拟空间的位置和方向。
步骤106，通过位置信息产生交互。
通过真实图像的移动信息与其虚拟空间中对应的虚拟物体产生的位置关系，可对虚拟物进行深度交互。设置指定位置关系为交互操作的触发条件，通过位置关系计算，可触发与虚拟物体的交互操作，该交互操作包括播放数字媒体内容，如音频、视频、动画、特效等。
在上述实施例中，基于ARKit或ARCore环境深度开发的图像识别追踪方法，弥补了ARKit或ARCore原有空间定位能力中仅支持手机与虚拟物体进行交互的不足，实现了手机除识别定位外，还可使用真实的图像数据与虚拟空间的交互，并解决了双方空间构建标尺不一的问题。
采用本发明技术方案，可以通过图片识别追踪控制虚拟物体，与现有的虚拟空间定位技术相结合，通过追踪真实图像的位置与虚拟空间中的虚拟物体产生交互。通过空间定位识别技术(ARKit或ARCore)识别出物理空间，并构建以真实空间为参照物的虚拟空间；通过图像识别追踪，生成虚拟物体，并通过矩阵变换适配上述虚拟空间的位置及大小关系，实现了虚拟定位的空间与真实图像物体的位置匹配和交互。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种真实图像在虚拟空间中的定位和交互方法，其特征在于，包括以下步骤：
S1，通过载有摄像设备的移动终端识别真实空间场景，以所述移动终端为参照物，构建与所述真实空间场景相应的虚拟空间；
S2，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；
S3，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成与所述真实图像相应的虚拟物体；
S4，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；
S5，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。
2.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：当真实图像数据丢失后，相应的虚拟物体保持在所述虚拟空间中的最后一次定位位置，并通过角度变换控制虚拟物体的方向。
3.根据权利要求2所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：当再次跟踪到真实图像时，执行步骤S2至步骤S5，更新相应的虚拟物体在所述虚拟空间中的位置和方向。
4.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于，所述步骤S5包括：设置指定位置关系为交互操作的触发条件，通过位置关系计算，触发与虚拟物体的交互操作。
5.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于，步骤S2中所述识别摄像设备传输的真实图像数据包括：通过图像数据地址传输，将真实图像传输至知识库中与识别图片进行比对，获取识别图像。
6.根据权利要求5所述的真实图像在虚拟空间中的定位和交互方法，其特征在于，步骤S2中通过图像矩阵变换获得所述真实图像在虚拟空间中的位置包括：通过多次密集透视变换，将真实图像与识别图像对比并逐渐拉近，将位移差作为真实图像的相对位移，并基于参照物坐标将真实图像的位置转换为在虚拟空间中的位置。
7.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于，步骤S3中所述通过空间变换在所述虚拟空间中生成与所述真实图像相应的虚拟物体包括：调整虚拟物体的位移尺度及大小，适配与虚拟空间的正确比例。
8.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：通过空间定位识别技术识别真实空间场景。
9.根据权利要求8所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：所述空间定位识别技术包括基于AR SDK进行空间定位识别。
10.根据权利要求9所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：所述AR SDK包括ARKit或ARCore。
CN201910321173.6A 2019-04-19 2019-04-19 真实图像在虚拟空间中的定位和交互方法 Active CN110060354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910321173.6A CN110060354B (zh) 2019-04-19 2019-04-19 真实图像在虚拟空间中的定位和交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910321173.6A CN110060354B (zh) 2019-04-19 2019-04-19 真实图像在虚拟空间中的定位和交互方法

Publications (2)

Publication Number Publication Date
CN110060354A true CN110060354A (zh) 2019-07-26
CN110060354B CN110060354B (zh) 2023-08-04

Family

ID=67319947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910321173.6A Active CN110060354B (zh) 2019-04-19 2019-04-19 真实图像在虚拟空间中的定位和交互方法

Country Status (1)

Country Link
CN (1) CN110060354B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347373A (zh) * 2021-06-16 2021-09-03 潍坊幻视软件科技有限公司 通过ar空间定位实时制作特效视频的图像处理方法
CN116896608A (zh) * 2023-09-11 2023-10-17 山东省地震局 一种基于移动设备传播的虚拟地震场景演播系统
WO2024078384A1 (zh) * 2022-10-10 2024-04-18 索尼集团公司 信息处理设备和方法、计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045869A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Entertainment Device, System, and Method
US20110216060A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Maintaining Multiple Views on a Shared Stable Virtual Space
CN103853913A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 操作增强现实内容的方法及支持该方法的装置和系统
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
CN105279795A (zh) * 2014-07-09 2016-01-27 先科媒体有限公司 基于3d标记的增强现实系统
CN105959595A (zh) * 2016-05-27 2016-09-21 西安宏源视讯设备有限责任公司 一种虚拟现实实时交互中虚拟对现实自主响应方法
JP2016218534A (ja) * 2015-05-15 2016-12-22 国立大学法人九州大学 画像表示システムおよび画像表示方法
CN106598217A (zh) * 2016-11-08 2017-04-26 北京小米移动软件有限公司 显示方法、显示装置和电子设备
CN108198044A (zh) * 2018-01-30 2018-06-22 北京京东金融科技控股有限公司 商品信息的展示方法、装置、介质及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045869A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Entertainment Device, System, and Method
US20110216060A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Maintaining Multiple Views on a Shared Stable Virtual Space
CN103853913A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 操作增强现实内容的方法及支持该方法的装置和系统
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
CN105279795A (zh) * 2014-07-09 2016-01-27 先科媒体有限公司 基于3d标记的增强现实系统
JP2016218534A (ja) * 2015-05-15 2016-12-22 国立大学法人九州大学 画像表示システムおよび画像表示方法
CN105959595A (zh) * 2016-05-27 2016-09-21 西安宏源视讯设备有限责任公司 一种虚拟现实实时交互中虚拟对现实自主响应方法
CN106598217A (zh) * 2016-11-08 2017-04-26 北京小米移动软件有限公司 显示方法、显示装置和电子设备
CN108198044A (zh) * 2018-01-30 2018-06-22 北京京东金融科技控股有限公司 商品信息的展示方法、装置、介质及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347373A (zh) * 2021-06-16 2021-09-03 潍坊幻视软件科技有限公司 通过ar空间定位实时制作特效视频的图像处理方法
CN113347373B (zh) * 2021-06-16 2022-06-03 潍坊幻视软件科技有限公司 通过ar空间定位实时制作特效视频的图像处理方法
WO2024078384A1 (zh) * 2022-10-10 2024-04-18 索尼集团公司 信息处理设备和方法、计算机可读存储介质
CN116896608A (zh) * 2023-09-11 2023-10-17 山东省地震局 一种基于移动设备传播的虚拟地震场景演播系统
CN116896608B (zh) * 2023-09-11 2023-12-12 山东省地震局 一种虚拟地震场景演播系统

Also Published As

Publication number Publication date
CN110060354B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
US9396588B1 (en) Virtual reality virtual theater system
EP3889739B1 (en) Frame projection for augmented reality environments
US10984583B2 (en) Reconstructing views of real world 3D scenes
US9940897B2 (en) Systems and methods for a shared mixed reality experience
US8797353B2 (en) Augmented media message
US10659685B2 (en) Control of viewing angles for 360-degree video playback
US9299184B2 (en) Simulating performance of virtual camera
CN110869980B (zh) 将内容分发和呈现为球形视频和3d资产组合
CN112312111A (zh) 虚拟图像的显示方法、装置、电子设备及存储介质
CN110060354A (zh) 真实图像在虚拟空间中的定位和交互方法
CN110140099A (zh) 用于跟踪控制器的系统和方法
CN112262583A (zh) 360度多视口系统
CN110033423B (zh) 用于处理图像的方法和装置
US20220386061A1 (en) Audio processing method and apparatus, readable medium, and electronic device
EP3503101A1 (en) Object based user interface
CN113382275B (zh) 直播数据的生成方法、装置、存储介质及电子设备
US20150325040A1 (en) Method, apparatus and computer program product for image rendering
CN112907652A (zh) 相机姿态获取方法、视频处理方法、显示设备和存储介质
JP7110378B2 (ja) 深度データを用いた拡張現実画像提供方法及びプログラム
JP2004326179A (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体
TW201834465A (zh) 虛擬實境影像播放方法及使用其之程式
US20240062456A1 (en) Variable update adaptation and simulation delay in multiuser virtual reality application
KR102561903B1 (ko) 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant