CN107248138B - 虚拟现实环境中的人类视觉显著性预测方法 - Google Patents

虚拟现实环境中的人类视觉显著性预测方法 Download PDF

Info

Publication number
CN107248138B
CN107248138B CN201710461330.4A CN201710461330A CN107248138B CN 107248138 B CN107248138 B CN 107248138B CN 201710461330 A CN201710461330 A CN 201710461330A CN 107248138 B CN107248138 B CN 107248138B
Authority
CN
China
Prior art keywords
rotation
images
image
detection result
rotation processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710461330.4A
Other languages
English (en)
Other versions
CN107248138A (zh
Inventor
陈志波
陈阵
史丽坤
吴仕林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201710461330.4A priority Critical patent/CN107248138B/zh
Publication of CN107248138A publication Critical patent/CN107248138A/zh
Application granted granted Critical
Publication of CN107248138B publication Critical patent/CN107248138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/067—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T5/80—

Abstract

本发明公开了一种虚拟现实环境中的人类视觉显著性预测方法，包括：将输入的经纬图投影成三维空间中的球面；将该球面围绕三维空间坐标系的X轴、Y轴和Z轴分别进行不同角度的旋转，再将张旋转处理后的图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到相应的检测结果图；将旋转处理图像对应的检测结果图进行反旋转处理，并与经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。该方法对待检测的全景图经纬图按旋转‑检测‑反旋转的流程进行预测，可以消除全景图经纬图中的畸变问题，能较好地对虚拟现实环境下显著性进行检测。

Description

虚拟现实环境中的人类视觉显著性预测方法
技术领域
本发明涉及虚拟现实技术领域和人类视觉特性领域，尤其涉及一种虚拟现实环境中的人类视觉显著性预测方法。
背景技术
随着虚拟现实技术的发展，虚拟现实成为了人们生活娱乐的一部分。与传统的二维平面图像或视频相比，虚拟现实可以给用户提供更多的信息以及身临其境的浸入感，但这也意味着更大的数据量，这对压缩技术提出了更高要求。同时，如何合理地设计虚拟现实内容，以保证用户可以获得更好的视觉体验，也是目前研究的热点问题。目前全景图作为虚拟现实重要内容，其主要处理及存储形式是经纬图。
充分利用人类视觉特性，为上述两个问题提供了解决的途径。显著性描述了图像中某些区域相比于周围区域对观看者更具吸引力，现有的人类视觉显著性模型针对的是传统二维平面图像，并不能很好的说明用户在虚拟现实环境下的关注热点。
发明内容
本发明的目的是提供一种虚拟现实环境中的人类视觉显著性预测方法，考虑了虚拟现实环境的显示特性，能较好地对虚拟现实环境下显著性进行检测。
本发明的目的是通过以下技术方案实现的：
一种虚拟现实环境中的人类视觉显著性预测方法，包括：
将输入的经纬图投影成三维空间中的球面；
将该球面围绕三维空间坐标系的X轴、Y轴和Z轴分别进行不同角度的旋转，假设总共进行了N种不同的旋转，则得到N张旋转处理后的图像，每一张旋转处理后的图像均利用一独立支路进行后续处理；
将N张旋转处理后的图像分别映射到二维图像平面空间中，再将映射后的N张图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到1张输入经纬图的检测结果图，以及N张旋转处理图像的检测结果图；
对于N张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到N张旋转处理后的显著性预测图；
将N张旋转处理后的显著性预测图与1张输入经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。
所述对于N张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到N张旋转处理后的显著性预测图包括：
将N张旋转处理图像的检测结果图中任一图像，均投影到三维空间中的球面，再按照旋转处理时的坐标轴进行方向相反、角度大小相同的旋转，之后分别从三维空间中的球面映射到二维图像平面空间，得到N张旋转处理后的显著性预测图。
由上述本发明提供的技术方案可以看出，对待检测的全景图经纬图按旋转-检测-反旋转的流程进行预测，可以消除全景图经纬图中的畸变问题，能较好地对虚拟现实环境下显著性进行检测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种虚拟现实环境中的人类视觉显著性预测方法的示意图；
图2为本发明实施例提供的全景图经纬图投影成空间坐标系XYZ下球面的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
图1为本发明实施例提供的一种虚拟现实环境中的人类视觉显著性预测方法的示意图。如图1所示，其主要过程如下：
步骤1、将输入的经纬图投影成三维空间中的球面。
如图2所示，为全景图经纬图投影成空间坐标系XYZ下球面的示意图。
步骤2、将该球面围绕三维空间坐标系的X轴、Y轴和Z轴分别进行不同角度的旋转，假设总共进行了N种不同的旋转，则得到N张旋转处理后的图像，每一张旋转处理后的图像均利用一独立支路进行后续处理。
如图1所示，对于每一张旋转处理后的图像，在执行后续的步骤3中检测过程以及步骤4中反旋转过程都利用一独立支路进行处理。
示例性的，如果将球面围绕三维空间坐标系的X轴、Y轴和Z轴分别进行45度、90度和135度旋转，则总共进行了9种不同的旋转，将得到9张旋转处理后的图像。
步骤3、将N张旋转处理后的图像分别映射到二维图像平面空间中，再将映射后的N张图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到1张输入经纬图的检测结果图，以及N张旋转处理图像的检测结果图。
步骤4、对于N张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到N张旋转处理后的显著性预测图。
本步骤与步骤1及步骤2类似，区别在于旋转的方向与步骤2相反。
本步骤具体过程如下：将N张旋转处理图像的检测结果图中任一图像，均投影到三维空间中的球面，再按照旋转处理时(也即步骤2所进行的旋转处理)的坐标轴进行方向相反、角度大小相同的旋转，之后分别从三维空间中的球面映射到二维图像平面空间，得到N张旋转处理后的显著性预测图。
步骤5、将N张旋转处理后的显著性预测图与1张输入经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。
本发明实施例上述方案，对待检测的全景图经纬图按旋转-检测-反旋转的流程进行预测，可以消除全景图经纬图中的畸变问题，能较好地对虚拟现实环境下显著性进行检测。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种虚拟现实环境中的人类视觉显著性预测方法，其特征在于，包括：
将输入的经纬图投影成三维空间中的球面；
将该球面围绕三维空间坐标系的X轴、Y轴和Z轴分别进行不同角度的旋转，总共进行了N种不同的旋转，则得到N张旋转处理后的图像，每一张旋转处理后的图像均利用一独立支路进行后续处理；
将N张旋转处理后的图像分别映射到二维图像平面空间中，再将映射后的N张图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到1张输入经纬图的检测结果图，以及N张旋转处理图像的检测结果图；
对于N张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到N张旋转处理后的显著性预测图；
将N张旋转处理后的显著性预测图与1张输入经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。
2.根据权利要求1所述的一种虚拟现实环境中的人类视觉显著性预测方法，其特征在于，所述对于N张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到N张旋转处理后的显著性预测图包括：
将N张旋转处理图像的检测结果图中任一图像，均投影到三维空间中的球面，再按照旋转处理时的坐标轴进行方向相反、角度大小相同的旋转，之后分别从三维空间中的球面映射到二维图像平面空间，得到N张旋转处理后的显著性预测图。
CN201710461330.4A 2017-06-16 2017-06-16 虚拟现实环境中的人类视觉显著性预测方法 Active CN107248138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710461330.4A CN107248138B (zh) 2017-06-16 2017-06-16 虚拟现实环境中的人类视觉显著性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710461330.4A CN107248138B (zh) 2017-06-16 2017-06-16 虚拟现实环境中的人类视觉显著性预测方法

Publications (2)

Publication Number Publication Date
CN107248138A CN107248138A (zh) 2017-10-13
CN107248138B true CN107248138B (zh) 2020-01-03

Family

ID=60018124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710461330.4A Active CN107248138B (zh) 2017-06-16 2017-06-16 虚拟现实环境中的人类视觉显著性预测方法

Country Status (1)

Country Link
CN (1) CN107248138B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455705B2 (en) * 2018-09-27 2022-09-27 Qualcomm Incorporated Asynchronous space warp for remotely rendered VR
CN111340686B (zh) * 2020-02-19 2023-05-23 华南理工大学 一种具有人群偏向的虚拟现实场景评估方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038155A (zh) * 2007-04-06 2007-09-19 西安工业大学 非球面面形检测装置和方法
CN103679699A (zh) * 2013-10-16 2014-03-26 南京理工大学 一种基于显著图平移和联合测度的立体匹配方法
CN104331412A (zh) * 2014-09-23 2015-02-04 北京工业大学 一种在规格化三维人脸库中进行人脸检索的方法
CN105069781A (zh) * 2015-07-17 2015-11-18 安徽大学 一种显著目标的空间三维定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038155A (zh) * 2007-04-06 2007-09-19 西安工业大学 非球面面形检测装置和方法
CN103679699A (zh) * 2013-10-16 2014-03-26 南京理工大学 一种基于显著图平移和联合测度的立体匹配方法
CN104331412A (zh) * 2014-09-23 2015-02-04 北京工业大学 一种在规格化三维人脸库中进行人脸检索的方法
CN105069781A (zh) * 2015-07-17 2015-11-18 安徽大学 一种显著目标的空间三维定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《融合双目多维感知特征的立体视频显著性检测》;周洋等;《中国图象图形学报》;20170331;第22卷(第03期);全文 *
《视觉显著性检测研究》;王炳人;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第03期);正文第4-37页 *

Also Published As

Publication number Publication date
CN107248138A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN110495166B (zh) 一种计算机实现的方法、计算装置以及可读存储介质
CN107852573B (zh) 混合现实社交交互
WO2021008166A1 (zh) 用于虚拟试衣的方法和装置
US20180276882A1 (en) Systems and methods for augmented reality art creation
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
Wu et al. Efficient VR and AR navigation through multiperspective occlusion management
US9743040B1 (en) Systems and methods for facilitating eye contact during video conferences
US20130335532A1 (en) Image processing apparatus, image processing method, and program
WO2020248900A1 (zh) 全景视频的处理方法、装置及存储介质
CN115428034A (zh) 消息传送系统中的包括3d数据的增强现实内容生成器
US20110043522A1 (en) Image-based lighting simulation for objects
CN109754464B (zh) 用于生成信息的方法和装置
Du et al. Video fields: fusing multiple surveillance videos into a dynamic virtual environment
CN112766215A (zh) 人脸融合方法、装置、电子设备及存储介质
CN117157677A (zh) 增强现实内容中头部转向的面部合成
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
US20220335684A1 (en) Finite aperture omni-directional stereo light transport
CN107248138B (zh) 虚拟现实环境中的人类视觉显著性预测方法
US20220005281A1 (en) Augmented reality (ar) imprinting methods and systems
Cui et al. Fusing surveillance videos and three‐dimensional scene: A mixed reality system
CN111862349A (zh) 虚拟画笔实现方法、装置和计算机可读存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN111652831B (zh) 对象融合方法、装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant