CN107844190A - 基于虚拟现实vr设备的图像展示方法及装置 - Google Patents

基于虚拟现实vr设备的图像展示方法及装置 Download PDF

Info

Publication number
CN107844190A
CN107844190A CN201610836608.7A CN201610836608A CN107844190A CN 107844190 A CN107844190 A CN 107844190A CN 201610836608 A CN201610836608 A CN 201610836608A CN 107844190 A CN107844190 A CN 107844190A
Authority
CN
China
Prior art keywords
scene
visual angle
image
equipment
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610836608.7A
Other languages
English (en)
Other versions
CN107844190B (zh
Inventor
余志雄
王曜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610836608.7A priority Critical patent/CN107844190B/zh
Priority to PCT/CN2017/101908 priority patent/WO2018054267A1/zh
Priority to EP17852335.3A priority patent/EP3462283B1/en
Publication of CN107844190A publication Critical patent/CN107844190A/zh
Priority to US16/206,146 priority patent/US10754420B2/en
Application granted granted Critical
Publication of CN107844190B publication Critical patent/CN107844190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control

Abstract

本发明实施例公开了一种基于虚拟现实VR设备的图像展示方法，包括：获取拍摄素材图片，获取所述拍摄素材图片的拍摄视角；根据所述拍摄视角设置所述VR设备的虚拟场景的场景视角；根据所述拍摄素材图片以及所述场景视角生成场景图像，所述场景视角确定所述场景图像的大小；通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。采用本发明，可提高VR设备成像的真实性。

Description

基于虚拟现实VR设备的图像展示方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于虚拟现实VR设备的图像展示方法及装置。
背景技术
在传统的虚拟现实(英文：Virtual Reality，简称：VR)技术中，头戴式显示器是一个重要硬件设备，它实时的获取用户头部朝向，并在显示屏上将该方向上的景物呈现在用户眼前。在这个过程中，景物呈现的尺寸和位置极大的影响观看者的沉浸感受：对于尺寸，需要观看者在虚拟场景中看到的景物和真实场景中的尺寸是等大的；对于位置，需要观看者在转动头部的过程中，虚拟场景中的景物的位置不发生改变。
通常的处理方式为将画面任意渲染到某个球形内表面，然后将视角置于球心用任意视角FOV(Field of View)观看，这样会导致观看者看到的虚拟场景中的画面和真实感受不一致，例如会觉得自己是用巨人的视角或者蚂蚁的视角来观看，同时当观看者转动头部时，会出现视线中的景物也随着自己的头部转动而发生偏移。因此，传统的VR技术中的图像展示方法导致的视觉效果的真实性较差。
发明内容
基于此，为解决传统的VR技术中的图像展示方法导致的视觉效果的真实性较差的技术问题，特提出了一种基于虚拟现实VR设备的图像展示方法。
一种基于虚拟现实VR设备的图像展示方法，包括：
获取拍摄素材图片，获取所述拍摄素材图片的拍摄视角；
根据所述拍摄视角设置所述VR设备的虚拟场景的场景视角；
根据所述拍摄素材图片以及所述场景视角生成场景图像，所述场景视角确定所述场景图像的大小；
通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。
在其中一个实施例中，所述根据所述拍摄素材图片以及所述场景视角生成场景图像的步骤还包括：
将所述拍摄素材图片渲染到所述VR设备的虚拟场景的弧形内表面生成场景图像，且所述弧形内表面的弧度为所述场景视角对应的弧度。
在其中一个实施例中，所述根据所述拍摄素材图片以及所述场景视角生成场景图像还包括：
获取预设的所述VR设备的显示屏渲染全景图像的尺寸大小；
计算所述场景视角的度数与360度的比值，根据所述比值和所述显示屏渲染全景图像的尺寸大小确定所述场景图像的大小。
在其中一个实施例中，所述呈现所述场景图像之后还包括：
通过陀螺仪传感器检测所述VR设备的转动角度；
计算所述转动角度与所述场景视角的比例，根据所述场景图像的大小和所述比例移动所述场景图像上的展示区域。
在其中一个实施例中，所述通过陀螺仪传感器确定所述场景图像的展示区域之前还包括：
获取所述VR设备的镜片视角；
根据所述VR设备的镜片视角设置所述VR设备的显示屏的可观察视角；
根据所述可观察视角和所述场景视角以及所述场景图像的尺寸大确定所述展示区域的大小。
此外，为解决传统的VR技术中的图像展示方法导致的视觉效果的真实性较差的技术问题，特提出了一种基于虚拟现实VR设备的图像展示装置。
一种基于虚拟现实VR设备的图像展示装置，包括：
素材图片获取模块，用于获取拍摄素材图片，获取所述拍摄素材图片的拍摄视角；
场景视角设置模块，用于根据所述拍摄视角设置所述VR设备的虚拟场景的场景视角；
场景图像生成模块，用于根据所述拍摄素材图片以及所述场景视角生成场景图像，所述场景视角确定所述场景图像的大小；
场景图像生成模块，用于通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。
在其中一个实施例中，所述场景图像生成模块用于将所述拍摄素材图片渲染到所述VR设备的虚拟场景的弧形内表面生成场景图像，且所述弧形内表面的弧度为所述场景视角对应的弧度。
在其中一个实施例中，所述场景图像生成模块还用于获取预设的所述VR设备的显示屏渲染全景图像的尺寸大小；计算所述场景视角的度数与360度的比值，根据所述比值和所述显示屏渲染全景图像的尺寸大小确定所述场景图像的大小。
在其中一个实施例中，所述装置还包括转动成像模块，用于通过陀螺仪传感器检测所述VR设备的转动角度；计算所述转动角度与所述场景视角的比例，根据所述场景图像的大小和所述比例移动所述场景图像上的展示区域。
在其中一个实施例中，所述装置还包括展示区域尺寸确定模块，用于获取所述VR设备的镜片视角；根据所述VR设备的镜片视角设置所述VR设备的显示屏的可观察视角；根据所述可观察视角和所述场景视角以及所述场景图像的尺寸大确定所述展示区域的大小。
实施本发明实施例，将具有如下有益效果：
采用了上述基于虚拟现实VR设备的图像展示方法和装置之后，场景图像的场景视角和拍摄素材图片的拍摄视角被设置为相同，使得用户在旋转VR设备的显示屏时，场景图像上的图像深度不会随着用户的旋转而发生变化，从而使得VR设备的显示效果更加真实，提升了VR设备成像的真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中一种VR设备的组成示意图；
图2为一个实施例中另一种VR设备的组成示意图；
图3为一个实施例中一种基于虚拟现实VR设备的图像展示方法的流程图；
图4为一个实施例中VR设备成像的场景视角的示意图；
图5为一个实施例中未经过弧度渲染的场景图像在用户旋转时的深度变化示意图；
图6为另一个实施例中经过弧度渲染的场景图像在用户旋转时的深度变化示意图；
图7为一个实施例中未根据拍摄视角设置场景视角时造成图像失真的原理图；
图8为一个实施例中VR设备显示屏经过透镜成像过程的光路图；
图9为另一个实施例中VR设备显示屏经过透镜成像过程的光路图；
图10为一个实施例中未根据镜片视角设置显示屏的可观察视角时造成图像失真的原理图；
图11为一个实施例中一种基于虚拟现实VR设备的图像展示装置的示意图；
图12为一个实施例中运行前述基于虚拟现实VR设备的图像展示方法的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决传统的VR技术中的图像展示方法导致的视觉效果的真实性较差的技术问题，特提出了一种基于虚拟现实VR设备的图像展示方法。该方法的实现可依赖于计算机程序，该计算机程序可运行于基于冯诺依曼体系的计算机系统之上，该计算机程序可运行于VR设备的头戴式可视设备(HMD，Head Mount Display)上或者与头戴式可视设备连接的计算机主机之上。
如图1所示，在图1中，HMD设备上连接有可运行计算机程序的计算机主机设备A，该计算机主机基于冯诺依曼体系的计算机系统，HMD设备B1作为该计算机设备的显示设备，上述基于头戴式可视设备的亮度调节方法可运行于该计算机主机上。在其他实施例中，如图2所示，运行上述基于头戴式可视设备的亮度调节方法的计算机主机也可集成到HMD设备中，上述基于头戴式可视设备的亮度调节方法可运行于该HMD设备上。
具体的，如图3所示，该基于虚拟现实VR设备的图像展示方法包括：
步骤S102：获取拍摄素材图片，获取该拍摄素材图片的拍摄视角。
在虚拟现实VR技术中，用户需要佩戴HMD设备，该设备通常为头盔、眼镜或眼罩。其内设置有显示屏，用户在佩戴后，该HMD设备的显示屏则位于用户的双眼正前方。VR技术则是将现实场景中的拍摄素材图像经过处理后呈现在HMD设备的显示屏上，使得用户的视野完全被显示屏展示的图像覆盖，从而形成使用户置身于虚拟的场景中。
例如，在一个博物馆场景的VR应用中，需要为VR用户构建一个虚拟的博物馆内部场景，因此需要博物馆内部的拍摄图像作为素材。可在前期使用全景相机在标的博物馆内进行拍摄，得到全景的拍摄图像或宽幅的拍摄图像作为素材。或者也可以使用普通相机进行延时的全景拍摄得到全景的拍摄图像或宽幅的拍摄图像作为素材。而在保存素材文件时，不仅仅保存拍摄图像，同时还需要记录全景相机的拍摄视角。例如，可根据全景相机的镜头视角。或同时参考全景相机在拍摄时的旋转角度得到拍摄图像的拍摄视角。得到的拍摄图像可以是拍摄视角为360度的全景图像，也可以是拍摄视角小于360度的宽幅图像。
步骤S104：根据拍摄视角设置VR设备的虚拟场景的场景视角。
VR设备的虚拟场景的场景视角即为VR设备展示给用户的虚拟场景的可视角度。例如，请参考图4所示，场景视角为VR设备根据场景图像构建的虚拟场景的视角，显示屏可仅展示其中的一部分图像区域，用户肉眼的视野角度即为显示屏的可视角度，而场景视角则可以更广。当用户扭头旋转VR设备的头盔进而调整VR设备的显示屏的位置时，则移动显示屏在场景图像上的取景位置，呈现新位置的展示区域。也就是说场景视角为用户通过扭头或抬头能够观测到的所有图像构建的虚拟场景的可观察角度。
例如，在前例中，位于博物馆内部的全景相机设置于展厅入口处，用于拍摄展厅入口处的图像从而用于构建“用户身处于展厅入口处”的虚拟场景。则全景相机的拍摄视角可以设置为180度(由于只需要给用户一种站在展厅入口往展厅内部看的虚拟场景，因此展厅外部的景物不用拍摄)，而用户的肉眼的视野可能仅为120度，因此，用户需要扭头左顾右盼方可完全感受展厅入口处的虚拟场景。
步骤S106：根据拍摄素材图片以及场景视角生成场景图像，场景视角确定场景图像的大小。
VR设备在生成场景图像时，不能直接使用拍摄素材图片，而需要对拍摄素材图片进行处理，将其设置为与VR设备适配的场景图像，从而使得VR场景更加真实。在适配过程中，需要进行两个方面的适配。
一方面，需要将拍摄素材图片渲染的具有真实的距离感，具体为：将所述拍摄素材图片渲染到VR设备的虚拟场景的弧形内表面生成场景图像，且VR设备的虚拟场景的弧形内表面的弧度为场景视角对应的弧度。
请同时参考图5和图6，若拍摄素材图片不经过渲染而直接展示，如图5所示，则在用户旋转头盔时，图片在同一方向上的像素点有靠近或远离用户的视觉感受，从而使得用户会感觉到随着头盔的旋转，图像的远近在变化，从而产生不真实感。
而若将拍摄素材图片按照场景视角对应的弧度进行渲染，则如图6所示，不管用户如何旋转头盔，同一方向上的像素点的视觉深度是不变的，从而不会出现图像远近变化的情况，从而使得VR呈现的场景更加真实，提升了VR设备成像的真实性。
而另一方面，则要确定的是场景图像的尺寸大小。在本实施例中，根据拍摄素材图片以及场景视角生成场景图像，场景视角确定场景图像的大小还包括：获取预设的所述VR设备的显示屏渲染全景图像的尺寸大小；计算所述场景视角的度数与360度的比值，根据所述比值和所述显示屏渲染全景图像的尺寸大小确定所述场景图像的大小。
例如，若VR设备在展示全景图像时预设的全景的场景图像的尺寸大小为4096×2160像素，即VR设备需要将全景的(即拍摄视角为360度)拍摄图片素材的尺寸调整到4096×2160像素的大小。而若拍摄图片素材的场景视角为180度(此处只考虑水平方向的视角，垂直方向以此类推)，则可将拍摄素材图片对应的场景图像的尺寸大小设置为2048×2160像素(假设垂直方向仍为全景视角)。经过此调整后得到的场景图像的尺寸大小即与VR设备适配。
参考图7所示，若场景视角FOV与拍摄视角FOV不相等，假设拍摄FOV大于场景视角(反之同理)，则会将拍摄视角包含的场景压缩至场景视角中，即将弧AB压缩至ab显示，此时会造成画面缩小，即相当于将弧AB移动到A1B1处；并且由于实际的头部转动角度是根据场景视角决定的，所以当用户的头部指向从A1点指向到B1点时，看到场景中的内容却为从A点到B点，从而造成转动过程中，视野中心的景物与边缘景物深度发生改变现象，即C与A1，B1不在同一段圆弧上。
而根据拍摄视角设定场景视角，并根据场景视角以及预设的全景场景图像对应的尺寸大小设置了场景图像的尺寸大小之后，AB弧与ab弧的弧度相等，所以A1点与A点在同一方向，B1点与B点在同一方向，从而使得转动过程中，视野中心的景物与边缘景物深度不会发生改变现象，即C与A1，B1仍然处于同一段圆弧上。这就使得用户及时转动头盔，VR虚拟场景中的图像深度也不会随之改变，从而使得VR场景更加真实，提升了VR设备成像的真实性。
步骤S108：通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。
VR设备上的陀螺仪传感器可检测VR设备的旋转角度，通常陀螺仪传感器为三轴陀螺仪，因此可以检测水平和垂直方向的转动角度。参考图4所示，陀螺仪传感器能够检测到用户面向方向与预设参考方向(开机或应用启动时初始设置的参考方向)的角度，然后根据该角度与场景视角比例在场景图像上选定展示区域，并最终呈现在VR设备的显示屏上。
在本实施例中，VR设备呈现所述场景图像之后还可通过陀螺仪传感器检测所述VR设备的转动角度；计算所述转动角度与所述场景视角的比例，根据所述场景图像的大小和所述比例移动所述场景图像上的展示区域。
例如，若转动角度为30度，场景视角为120度，初始的展示区域的坐标值为234像素位置，场景图像在转动方向上的长度为2096，则30度转动将移动524像素位置，因此新的展示区域的坐标值为758像素位置。
同理，若转动角速度为10度每秒，而场景视角为160度，场景图像在转动方向上的长度为2096，则展示区域的坐标值的移动速度为2096×10÷160＝131像素每秒。
在本实施例中，为了更进一步地提高VR设备成像的真实性，还需要对展示区域的大小进行设置，具体为：获取所述VR设备的镜片视角，根据所述VR设备的镜片视角设置所述VR设备的显示屏的可观察视角；根据所述可观察视角和所述场景视角以及所述场景图像的尺寸大确定所述展示区域的大小。
请参考图4所示，VR设备的显示屏的可观察视角即为图4中的人眼观察显示屏的视角。而在VR设备中，为了有更好的视觉体验，通常会在人眼和显示屏之间设置透镜，从而使人眼能够看到放大的虚像，在这种情况下，就不需要设置较大的显示屏来覆盖人眼的视野，设置较小的显示屏，再通过透镜的光学放大作用即可使得人眼视野得到完全地覆盖。
请参考图8和图9所示，图8和图9展示了人眼、镜片和显示屏之间成像的光路图。根据透镜成像公式：
(其中，f为焦距，u为物距，v为像距)可知，不能简单的通过计算人眼到显示屏的距离以及显示屏的尺寸来确定显示屏的可视角度，从而确定展示区域的尺寸大小，还需要根据头奖成像公式进行换算，根据换算得到的镜片视角，即虚像大小和人眼到虚像的距离得到镜片视角，然后再以该镜片视角作为显示屏的可观察角度，从而确定展示区域的大小。如图8和图9中，添加了镜片的VR设备在显示屏上呈现的场景图像的展示区域应该比未添加镜片时的展示区域较小。
而若不根据镜片视角FOV设置显示屏的可观察视角FOV，而根据显示屏的大小和人眼到显示屏的距离设置显示屏的可观察视角FOV，则参考图10所示，假设镜片视角小于视角FOV(反之同理)，则会使得用户通过镜片看到的角度小于显示的内容的角度，即通过de夹角看到了DE夹角间的内容，即虚拟场景中D方向的内容D’会显示在d方向，由于用户的头部转动和虚拟场景中的视角转动是对应的，所以当用户想要看到在d方向显示的D’时，会感觉需要转动角度1即可，可实际上，需要头部指向转动角度2才能看到D’，所以当从C1看向D’转动时，位于D’会发生偏移，从d转动至D。这样就会让用户有一种“转动了一定的角度而虚拟场景中的物体跟随着只转动了不同的角度”的不真实感受，从而使得真实性降低。
但根据镜片视角FOV设置显示屏的可观察视角FOV之后，D和D’处于同一位置，用户转动多少角度，虚拟场景中的物体同样跟随用户转动相同的角度，从而使得VR设备成像的真实性又得到了提高。
另外，需要说明的是，在一些VR设备中，镜片与显示屏之间的位置可以调节，镜片与人眼之间的距离也可调节，人眼与显示屏之间的距离也可调节。在此应用场景中，可在VR设备上设置相应的传感器设备检测用户调节的距离，然后根据用户调节后的人眼、镜片和显示器之间的距离以及镜片的焦距重新设定镜片视角，从而使得即使用户在进行距离调节后，仍然能够保证VR设备成像的真实性。
此外，为解决传统的VR技术中的图像展示方法导致的视觉效果的真实性较差的技术问题，在一个实施例中，如图11所示，特提出了一种基于虚拟现实VR设备的图像展示装置，该包括：素材图片获取模块102、场景视角设置模块104、场景图像生成模块106以及成像显示模块108，其中：
素材图片获取模块102，用于获取拍摄素材图片，获取所述拍摄素材图片的拍摄视角。
场景视角设置模块104，用于根据所述拍摄视角设置所述VR设备的虚拟场景的场景视角。
场景图像生成模块106，用于根据所述拍摄素材图片以及所述场景视角生成场景图像，所述场景视角确定所述场景图像的大小。
成像显示模块108，用于通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。
在本实施例中，成像显示模块108用于将所述拍摄素材图片渲染到VR设备的虚拟场景的弧形内表面生成场景图像，且所述VR设备的虚拟场景的弧形内表面的弧度为所述场景视角对应的弧度。
在本实施例中，成像显示模块108还用于获取预设的所述VR设备的显示屏渲染全景图像的尺寸大小；计算所述场景视角的度数与360度的比值，根据所述比值和所述显示屏渲染全景图像的尺寸大小确定所述场景图像的大小。
在本实施例中，如图11所示，该装置还包括转动成像模块110，用于通过陀螺仪传感器检测所述VR设备的转动角度；计算所述转动角度与所述场景视角的比例，根据所述场景图像的大小和所述比例移动所述场景图像上的展示区域。
在本实施例中，如图11所示，该装置还包括展示区域尺寸确定模块112，用于获取所述VR设备的镜片视角；根据所述VR设备的镜片视角设置所述VR设备的显示屏的可观察视角；根据所述可观察视角和所述场景视角以及所述场景图像的尺寸大确定所述展示区域的大小。
实施本发明实施例，将具有如下有益效果：
采用了上述基于虚拟现实VR设备的图像展示方法和装置之后，场景图像的场景视角和拍摄素材图片的拍摄视角被设置为相同，使得用户在旋转VR设备的显示屏时，场景图像上的图像深度不会随着用户的旋转而发生变化，从而使得VR设备的显示效果更加真实，提升了VR设备成像的真实性。
在一个实施例中，如图12所示，图12展示了一种运行上述基于虚拟现实VR设备的图像展示方法的基于冯诺依曼体系的计算机系统的VR设备10。该计算机系统可以是VR设备的主机设备或是集成了主机功能的VR头戴式显示设备。具体的，可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中，外部输入接口1001可选的可至少包括网络接口10012和陀螺仪传感器10014。存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034。输出接口1004可至少包括显示屏10042等设备。
在本实施例中，本方法的运行基于计算机程序，该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统10的外存储器10032中，在运行时被加载到内存储器10034中，然后被编译为机器码之后传递至处理器1002中执行，从而使得基于冯诺依曼体系的计算机系统10中形成逻辑上的素材图片获取模块102、场景视角设置模块104、场景图像生成模块106以及成像显示模块108。且在上述基于虚拟现实VR设备的图像展示方法执行过程中，输入的参数均通过外部输入接口1001接收，并传递至存储器1003中缓存，然后输入到处理器1002中进行处理，处理的结果数据或缓存于存储器1003中进行后续地处理，或被传递至输出接口1004进行输出。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于虚拟现实VR设备的图像展示方法，其特征在于，包括：
获取拍摄素材图片，获取所述拍摄素材图片的拍摄视角；
根据所述拍摄视角设置所述VR设备的虚拟场景的场景视角；
根据所述拍摄素材图片以及所述场景视角生成场景图像，所述场景视角确定所述场景图像的大小；
通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。
2.根据权利要求1所述的基于虚拟现实VR设备的图像展示方法，其特征在于，所述根据所述拍摄素材图片以及所述场景视角生成场景图像，包括：
将所述拍摄素材图片渲染到所述VR设备的虚拟场景的弧形内表面生成场景图像，且所述弧形内表面的弧度为所述场景视角对应的弧度。
3.根据权利要求1或2所述的基于虚拟现实VR设备的图像展示方法，其特征在于，所述根据所述拍摄素材图片以及所述场景视角生成场景图像，包括：
获取预设的所述VR设备的显示屏渲染全景图像的尺寸大小；
计算所述场景视角的度数与360度的比值，根据所述比值和所述显示屏渲染全景图像的尺寸大小确定所述场景图像的大小。
4.根据权利要求1所述的基于虚拟现实VR设备的图像展示方法，其特征在于，所述呈现所述场景图像之后还包括：
通过陀螺仪传感器检测所述VR设备的转动角度；
计算所述转动角度与所述场景视角的比例，根据所述场景图像的大小和所述比例移动所述场景图像上的展示区域。
5.根据权利要求1所述的基于虚拟现实VR设备的图像展示方法，其特征在于，所述通过陀螺仪传感器确定所述场景图像的展示区域之前还包括：
获取所述VR设备的镜片视角；
根据所述VR设备的镜片视角设置所述VR设备的显示屏的可观察视角；
根据所述可观察视角和所述场景视角以及所述场景图像的尺寸确定所述展示区域的大小。
6.一种基于虚拟现实VR设备的图像展示装置，其特征在于，包括：
素材图片获取模块，用于获取拍摄素材图片，获取所述拍摄素材图片的拍摄视角；
场景视角设置模块，用于根据所述拍摄视角设置所述VR设备的虚拟场景的场景视角；
场景图像生成模块，用于根据所述拍摄素材图片以及所述场景视角生成场景图像，所述场景视角确定所述场景图像的大小；
场景图像生成模块，用于通过陀螺仪传感器确定所述场景图像的展示区域，在所述VR设备的显示屏上呈现所述展示区域。
7.根据权利要求6所述的基于虚拟现实VR设备的图像展示装置，其特征在于，所述场景图像生成模块用于将所述拍摄素材图片渲染到所述VR设备的虚拟场景的弧形内表面生成场景图像，且所述弧形内表面的弧度为所述场景视角对应的弧度。
8.根据权利要求6或7所述的基于虚拟现实VR设备的图像展示装置，其特征在于，所述场景图像生成模块还用于获取预设的所述VR设备的显示屏渲染全景图像的尺寸大小；计算所述场景视角的度数与360度的比值，根据所述比值和所述显示屏渲染全景图像的尺寸大小确定所述场景图像的大小。
9.根据权利要求6所述的基于虚拟现实VR设备的图像展示装置，其特征在于，所述装置还包括转动成像模块，用于通过陀螺仪传感器检测所述VR设备的转动角度；计算所述转动角度与所述场景视角的比例，根据所述场景图像的大小和所述比例移动所述场景图像上的展示区域。
10.根据权利要求6所述的基于虚拟现实VR设备的图像展示装置，其特征在于，所述装置还包括展示区域尺寸确定模块，用于获取所述VR设备的镜片视角；根据所述VR设备的镜片视角设置所述VR设备的显示屏的可观察视角；根据所述可观察视角和所述场景视角以及所述场景图像的尺寸大确定所述展示区域的大小。
CN201610836608.7A 2016-09-20 2016-09-20 基于虚拟现实vr设备的图像展示方法及装置 Active CN107844190B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610836608.7A CN107844190B (zh) 2016-09-20 2016-09-20 基于虚拟现实vr设备的图像展示方法及装置
PCT/CN2017/101908 WO2018054267A1 (zh) 2016-09-20 2017-09-15 基于虚拟现实vr设备的图像展示方法及装置
EP17852335.3A EP3462283B1 (en) 2016-09-20 2017-09-15 Image display method and device utilized in virtual reality-based apparatus
US16/206,146 US10754420B2 (en) 2016-09-20 2018-11-30 Method and device for displaying image based on virtual reality (VR) apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610836608.7A CN107844190B (zh) 2016-09-20 2016-09-20 基于虚拟现实vr设备的图像展示方法及装置

Publications (2)

Publication Number Publication Date
CN107844190A true CN107844190A (zh) 2018-03-27
CN107844190B CN107844190B (zh) 2020-11-06

Family

ID=61657567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610836608.7A Active CN107844190B (zh) 2016-09-20 2016-09-20 基于虚拟现实vr设备的图像展示方法及装置

Country Status (4)

Country Link
US (1) US10754420B2 (zh)
EP (1) EP3462283B1 (zh)
CN (1) CN107844190B (zh)
WO (1) WO2018054267A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277485A (zh) * 2017-07-18 2017-10-20 歌尔科技有限公司 基于虚拟现实的图像显示方法和装置
CN109086755A (zh) * 2018-11-07 2018-12-25 上海电气集团股份有限公司 基于图像分割的康复机器人的虚拟现实显示方法及系统
CN109189215A (zh) * 2018-08-16 2019-01-11 腾讯科技（深圳）有限公司 一种虚拟内容显示方法、装置、vr设备及介质
CN111726594A (zh) * 2019-03-21 2020-09-29 上海飞猿信息科技有限公司 一种高效优化渲染及与位姿反畸变融合的实现方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11314326B2 (en) * 2018-01-04 2022-04-26 Sony Corporation Information processing device, information processing method, and program for determining a user gaze
CN108579083B (zh) * 2018-04-27 2020-04-21 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、电子装置及存储介质
CN108830943B (zh) * 2018-06-29 2022-05-31 歌尔光学科技有限公司 一种图像处理方法及虚拟现实设备
CN112862979B (zh) * 2019-11-18 2024-01-26 深圳市新方舟文化科技有限公司 一种基于vr技术的可视化展品展示方法
CN113709415A (zh) * 2021-08-20 2021-11-26 翰和文化教育(深圳)有限公司 Vr720°全景场景数据交互系统及其使用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009503A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and Methods for Tracking User Postures to Control Display of Panoramas
CN103533266A (zh) * 2013-10-01 2014-01-22 中国人民解放军国防科学技术大学 垂直方向宽视域的360度拼接式全景摄像机
CN104021585A (zh) * 2014-06-09 2014-09-03 苏州明日吉辰软件研发有限公司 基于真实场景的三维展示方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置
CN105912102A (zh) * 2016-03-31 2016-08-31 联想(北京)有限公司 一种信息处理方法和电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286720B2 (en) * 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
WO2012166593A2 (en) * 2011-05-27 2012-12-06 Thomas Seidl System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
US10827230B2 (en) * 2014-07-03 2020-11-03 Sony Corporation Information processing apparatus and information processing method
CN104168315B (zh) * 2014-08-08 2018-07-06 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和系统
CN104506841A (zh) * 2014-12-31 2015-04-08 宇龙计算机通信科技(深圳)有限公司 一种多摄像头终端的3d文件制作、播放方法及装置
KR102533555B1 (ko) * 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US20170064289A1 (en) * 2015-08-26 2017-03-02 Holumino Limited System and method for capturing and displaying images
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
US10735659B2 (en) * 2016-03-17 2020-08-04 Flir Systems, Inc. Rotation-adaptive video analytics camera and method
CN105869110B (zh) * 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
CN105913379A (zh) * 2016-04-29 2016-08-31 乐视控股（北京）有限公司 虚拟现实终端及其图片的显示方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009503A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and Methods for Tracking User Postures to Control Display of Panoramas
CN103533266A (zh) * 2013-10-01 2014-01-22 中国人民解放军国防科学技术大学 垂直方向宽视域的360度拼接式全景摄像机
CN104021585A (zh) * 2014-06-09 2014-09-03 苏州明日吉辰软件研发有限公司 基于真实场景的三维展示方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置
CN105912102A (zh) * 2016-03-31 2016-08-31 联想(北京)有限公司 一种信息处理方法和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277485A (zh) * 2017-07-18 2017-10-20 歌尔科技有限公司 基于虚拟现实的图像显示方法和装置
CN107277485B (zh) * 2017-07-18 2019-06-18 歌尔科技有限公司 基于虚拟现实的图像显示方法和装置
CN109189215A (zh) * 2018-08-16 2019-01-11 腾讯科技（深圳）有限公司 一种虚拟内容显示方法、装置、vr设备及介质
CN109189215B (zh) * 2018-08-16 2021-08-20 腾讯科技（深圳）有限公司 一种虚拟内容显示方法、装置、vr设备及介质
CN109086755A (zh) * 2018-11-07 2018-12-25 上海电气集团股份有限公司 基于图像分割的康复机器人的虚拟现实显示方法及系统
CN111726594A (zh) * 2019-03-21 2020-09-29 上海飞猿信息科技有限公司 一种高效优化渲染及与位姿反畸变融合的实现方法

Also Published As

Publication number Publication date
EP3462283B1 (en) 2021-09-01
US20190094956A1 (en) 2019-03-28
WO2018054267A1 (zh) 2018-03-29
EP3462283A4 (en) 2019-08-14
US10754420B2 (en) 2020-08-25
CN107844190B (zh) 2020-11-06
EP3462283A1 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
CN107844190A (zh) 基于虚拟现实vr设备的图像展示方法及装置
JP6518582B2 (ja) 情報処理装置および操作受付方法
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
CN107431796B (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
JP2020061137A (ja) 両眼視野／単眼視野間の移行
WO2015068656A1 (ja) 画像生成装置および画像生成方法
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
JP6620063B2 (ja) 画像処理装置および画像処理方法
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
CN207369210U (zh) 用于立体视觉图像捕获的多层相机装置
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2016002657A1 (ja) 画像生成装置および画像生成方法
CN107908278A (zh) 一种虚拟现实vr界面生成的方法和装置
US20210088790A1 (en) Head-mountable apparatus and methods
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
CN107065164B (zh) 图像展示方法及装置
CN109799899A (zh) 交互控制方法、装置、存储介质和计算机设备
US11212502B2 (en) Method of modifying an image on a computational device
CN207216145U (zh) 一种穿戴式设备
JP6164780B2 (ja) 動画像処理装置、動画像処理方法、動画像処理プログラム及び動画像処理表示システム。
WO2022086580A1 (en) Dynamic resolution of depth conflicts in telepresence
JP2013105466A (ja) 表示装置、表示方法、ならびに、プログラム
KR20160128735A (ko) 디스플레이 장치 및 그의 제어 방법
JP2021124520A (ja) 画像表示装置、画像表示用プログラム及び画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant