CN115079826A - 一种虚拟现实的实现方法、电子设备及存储介质 - Google Patents
一种虚拟现实的实现方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115079826A CN115079826A CN202210733673.2A CN202210733673A CN115079826A CN 115079826 A CN115079826 A CN 115079826A CN 202210733673 A CN202210733673 A CN 202210733673A CN 115079826 A CN115079826 A CN 115079826A
- Authority
- CN
- China
- Prior art keywords
- eye
- image
- panoramic image
- panoramic
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 239000011521 glass Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 210000003128 head Anatomy 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000007654 immersion Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 1
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟现实的实现方法、电子设备及存储介质，其中，该方法包括：获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像；将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上；分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像。通过上述方式，本申请能够有效减小畸变，且简化左眼图像和右眼图像生成方式。
Description
技术领域
本申请涉及虚拟现实技术领域，特别是涉及一种虚拟现实的实现方法、电子设备及存储介质。
背景技术
虚拟现实(Virtual Reality，VR)是指利用计算机生成一种可对参与者直接施加视觉、听觉和触觉感受，并允许其交互地观察和操作的虚拟世界的技术。随着虚拟现实技术的发展，虚拟现实设备的出现提升了人们的生活质量，也受到越来越多人喜爱和关注。
虚拟现实设备的显示模型一般为“人眼-透镜-显示屏”，其中由于透镜的存在，我们才能实现更大的沉浸感，但是也不可避免地带来了一些副作用，畸变就是其中之一。目前，为了对抗透镜带来的枕形畸变(即反畸变)，需要对原图片添加一个反向的畸变，以使原图片变为桶形畸变，从而才能在使用者眼中最终形成正常图像的样子，但是，目前的反畸变算法较为复杂。
发明内容
本申请主要解决的技术问题是提供一种虚拟现实的实现方法、电子设备及存储介质，能够有效减小畸变，且简化左眼图像和右眼图像生成方式。
为解决上述技术问题，本申请第一方面提供了一种虚拟现实的实现方法，方法包括：获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像；将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上；分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像。
为解决上述技术问题，本申请第二方面提供了一种电子设备，该电子设备包括相互耦接的存储器和处理器，存储器用于存储程序数据，处理器用于执行程序数据以实现前述的方法。
为解决上述技术问题，本申请第三方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现前述的方法。
本申请的有益效果是：区别于现有技术的情况，本申请通过获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像，然后将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上，最后分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像，其中，通过将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上，可以使得左眼全景图像和右眼全景图像发生桶形畸变，从两个圆球的内球面上提取到的左眼图像和右眼图像也具有桶形畸变，进而再将左眼图像和右眼图像同步显示于虚拟现实设备时，可以有效减小透镜带来的畸变，另外，无需使用复杂的反畸变算法对左眼全景图像和右眼全景图像进行形变处理，简化了左眼图像和右眼图像生成方式。
附图说明
为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请虚拟现实的实现方法一实施例的流程示意图；
图2是双目全景摄像设备一实施例的结构示意图；
图3是双目全景摄像设备拍摄形成的全景图像的一示意图；
图4是图1中步骤S13一实施方式的流程示意图；
图5是左眼图像和右眼图像的一示意图；
图6为本申请虚拟现实的实现方法一实施例的场景示意图；
图7是本申请虚拟现实的实现方法另一实施例的流程示意图；
图8是人脸图像和左眼全景图像和右眼全景图像在人脸修复前后的对比示意图；
图9是图7中步骤S25一实施方式的流程示意图；
图10是使用者的头部向左偏转时对应的左眼图像和右眼图像；
图11是使用者的头部向右偏转时对应的左眼图像和右眼图像；
图12是本申请电子设备一实施例的结构示意框图；
图13是本申请电子设备另一实施例的结构示意框图；
图14是本申请计算机可读存储介质一实施例的结构示意框图。
具体实施方式
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1至图3，图1是本申请虚拟现实的实现方法一实施例的流程示意图，图2是双目全景摄像设备一实施例的结构示意图，图3是双目全景摄像设备拍摄形成的全景图像的一示意图。其中，本申请的执行主体可以为虚拟现实设备，例如头戴式立体显示器、三维虚拟现实眼镜等三维视觉显示设备，或者执行主体还可以为其他电子设备。其中，三维虚拟现实眼镜可以包括但不限于：分体式虚拟现实眼镜，一体式虚拟现实眼镜以及采用移动终端(例如手机)显示的虚拟现实眼镜。
本实施例中，该方法可以包括以下步骤：
步骤S11：获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像。
具体地，双目全景摄像设备可以将目标场景进行拍摄所形成的左眼全景图像和右眼全景图像发送给虚拟现实设备进行显示。
如图2所示，其中，双目全景摄像设备10包括光轴方向彼此并排且间隔设置的两组全景摄像模组(记为第一全景摄像模组101和第二全景摄像模组102)，每组全景摄像模组包括沿各自的光轴方向彼此相背设置的两个全景摄像头。第一全景摄像模组101和第二全景摄像模组102之间的间隔距离与人两眼的距离相同，这里的人为使用同步显示有下面左眼图像和右眼图像的虚拟现实设备的人，以下简称使用者。
具体地，第一全景摄像模组101包括沿各自的光轴方向彼此相背设置的第一全景摄像头1011和第二全景摄像头1012，第二全景摄像模组102包括沿各自的光轴方向彼此相背设置的第三全景摄像头1021和第四全景摄像头1022。其中，第一全景摄像头1011和第三全景摄像头1021的光轴平行，且第一全景摄像头1011和第三全景摄像头1021之间的距离与使用者两眼距离相同。第二全景摄像头1012和第四全景摄像头1022的光轴平行，且第二全景摄像头1012和第四全景摄像头1022之间的距离与使用者两眼距离相同。
其中，每个全景摄像头的视角均大于180度，第一全景摄像头1011和第二全景摄像头1012拍摄的景象进行拼接称为一个360度的全景图像，模仿使用者的左眼；第三全景摄像头1021和第四全景摄像头1022拍摄的景象进行拼接称为一个360度的全景图像，模仿使用者的右眼。由于第一全景摄像模组101和第二全景摄像模组102位置的细微差距，使得两组全景摄像模组拼接的全景图像够成3D图像。
其中，目标场景可以是任意场景，此处不做限定。例如，目标场景可以为视频会谈场景，视频会议场景中使用者(例如小张)佩戴三维虚拟现实眼镜，双目全景摄像设备对目标场景中的目标人物进行拍摄，并将拍摄形成的全景图像进过处理后显示于三维虚拟现实眼镜中，以使使用者(小张)仿佛置身于会谈对象所处的场景中与会谈对象面对面交流，沉浸感强，且体验好。而对比目标场景中的目标人物(例如小李)也可以佩戴三维虚拟现实眼镜，通过小张所在场景中的双目全景摄像设备对小张所在的场景进行拍摄，将拍摄形成的全景图像进过处理后显示于小李佩戴的三维虚拟现实眼镜中，从而会谈双方均可以借助虚拟现实，在三维虚拟空间中实现会谈，沉浸感强，且体验好。
双目全景摄像设备可以位于固定位置进行拍摄，也可以在移动过程中进行拍摄。例如，可以手持双目全景摄像设备或将双目全景摄像设备佩戴在使用者身上(例如双目全景摄像设备设置于三维虚拟现实眼镜上，或用户佩戴三维虚拟现实眼镜)，或者双目全景摄像设备可以设置于移动设备上，通过移动设备的位置移动，带动双目全景摄像设备进行移动，移动设备例如无人机。
在一具体实施方式中，双目全景摄像设备设置于无人机上，无人机飞到空中，使得双目全景摄像设备可以获得空中拍摄视角，拍摄范围更大，可以用于记录自然风景等，然后另一端的三维虚拟现实眼镜可以获取双目全景摄像设备拍摄得到的全景图像，并经过处理后可以将其显示于双目全景摄像设备，从而使用者可以在家不出门就能实时观看另一场景的景色。以上仅为示例，目标场景还可以是其他能够通过虚拟现实技术显示的场景，此处不作限定。
步骤S12：将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上。
虚拟现实大多以图形学引擎为基础，再封装构建上层应用系统。图形学引擎中比较出色的有OGRE、OpenGVS、Vtree、OSG等。具体地，可以基于图形学引擎，创建两个圆球空间，并将双目全景图像(左眼全景图像和右眼全景图像)作为纹理，分别渲染到两个圆球的内表面上。
步骤S13：分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像。
具体地，可以分别截取两个圆球的内球面在预设方向上的图像区域作为左眼图像和右眼图像。预设方向可以根据实际情况进行设置和修改。预设方向例如为正前方。
上述方案，通过获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像，然后将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上，最后分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像，其中，通过将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上，可以使得左眼全景图像和右眼全景图像发生桶形畸变，从两个圆球的内球面上提取到的左眼图像和右眼图像也具有桶形畸变，进而再将左眼图像和右眼图像同步显示于虚拟现实设备时，可以有效减小透镜带来的畸变，另外，无需使用复杂的反畸变算法对左眼全景图像和右眼全景图像进行形变处理，简化了左眼图像和右眼图像生成方式。
请进一步参阅图4和图5，图4是图1中步骤S13一实施方式的流程示意图，图5是左眼图像和右眼图像的一示意图。
在一些实施方式中，步骤S13包括子步骤S131～S132：
步骤S131：分别在两个圆球内设置顶点位于各自球心且具有预定锥角的圆锥体。
其中，圆锥体的预定锥角可以为100度-120度，例如110度。
步骤S132：将两个圆锥体与各自对应的圆球的内球面的相交区域内的内球面内容作为左眼图像和右眼图像。
如图5所示，左边显示的图像为左眼图像，右边显示的图像为右眼视图。
请参阅图6，图6为本申请虚拟现实的实现方法一实施例的场景示意图。
如图6所示，第一虚拟现实设备21为显示左眼图像和右眼图像的设备。第一虚拟现实设备21和双目全景摄像设备(11或12)通信连接，用于从双目全景摄像设备获取左眼全景图像和右眼全景图像，并将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上，然后分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供第一虚拟现实设备同步显示左眼图像和右眼图像。其中，通信连接可以是有线连接，例如通过数据线连接；或者也可以是无线连接，例如通过蓝牙，或WiFi、互联网等网络连接。双目全景摄像设备可以固定或可拆卸地设置于第一虚拟现实设备上，或者双目全景摄像设备与第一虚拟现实设备可以是两个独立的设备。
在一实施方式中，双目全景摄像设备设置于第一虚拟现实设备上，即第一虚拟现实设备21和双目全景摄像设备11均位于同一场景(记为A场景)下，此时，第一虚拟现实设备21的使用者可以在第一虚拟现实设备观看到A场景。
在另一实施方式中，双目全景摄像设备未设置于第一虚拟现实设备上，双目全景摄像设备和第一虚拟现实设备位于不同的场景中(如图6所示，第二双目全景摄像设备12处于场景B，第一虚拟现实设备21处于场景A)，第二双目全景摄像设备12拍摄形成的左眼全景图像和右眼全景图像回传到第一虚拟现实设备21，以使处于A场景下的使用者可以通过第一虚拟现实设备21观看到B场景。在本实施方式中，双目全景摄像设备还包括第一双目全景摄像设备11，第一双目全景摄像设备11设置于第一虚拟现实设备21所处的环境中，第二虚拟现实设备22也可以获取第一双目全景摄像设备11拍摄形成的左眼全景图像和右眼全景图像，实现虚拟现实显示。
如图6所示，在一场景(场景A)中，包括第一虚拟现实设备21和第一双目全景摄像设备11，在另一场景(场景B)中，包括第二虚拟现实设备22和第二双目全景摄像设备12，第一虚拟现实设备21与第二双目全景摄像设备12通过网络连接，第二虚拟现实设备22和第一双目全景摄像设备11通过网络连接。
其中，第一虚拟现实设备21可以获取第二双目全景摄像设备12对场景B拍摄形成的左眼全景图像和右眼全景图像，场景B中包括第二目标人物(记为小李)，场景A中包括第一目标人物(记为小张)，由此，第一虚拟现实设备21的使用者小张可以实时通过第一虚拟现实设备21与小李进行视频会谈，同时，第二虚拟现实设备22也可以获取第一双目全景摄像设备21对场景A拍摄形成的左眼全景图像和右眼全景图像。
其中，第二双目全景摄像设备12的两组全景摄像模组之间的间隔距离与第一虚拟现实设备21的使用者的瞳距相等，第一双目全景摄像设备11的两组全景摄像模组之间的间隔距离与第二虚拟现实设备22的使用者的瞳距相等。
请参阅图7至图9，图7是本申请虚拟现实的实现方法另一实施例的流程示意图，图8是人脸图像和左眼全景图像和右眼全景图像在人脸修复前后的对比示意图，图9是图7中步骤S25一实施方式的流程示意图。
本实施例中，该方法可以包括以下步骤：
步骤S21：获取虚拟现实设备的使用者的瞳距。
由于不同使用者的瞳距可能不同，所以在两组全景摄像模组拍摄图像之前，还可以基于虚拟现实设备的使用者的瞳距对两组全景摄像模组之间的间隔距离进行调节。
在一实施例中，虚拟现实设备也可以在启动时获取虚拟现实设备的使用者的瞳距。在另一些实施方式，虚拟现实设备可以在启动后以预设时间间隔获取使用者的瞳距。预设时间间隔可以根据实际需要进行设置或修改，例如0.1秒、1分钟、1小时等。
具体地，虚拟现实设备可以在启动时或启动后以预设时间间隔获取使用者的眼部区域图像，然后通过图像分析得到虚拟现实设备的使用者的瞳距。具体地，基于图像分析得到瞳距的方法不作限定。其中，可以在使用者佩戴虚拟现实设备之前，通过该使用者所在场景中的双目全景摄像设备拍摄使用者的人脸图像，并基于人脸图像截取使用者的眼部区域图像进行分析。或者，当虚拟现实设备具有拍摄功能时，也可以直接通过虚拟现实设备进行拍摄。
步骤S22：基于瞳距对两组全景摄像模组之间的间隔距离进行调节。
其中，两组全景摄像模组之间的间隔距离可以调节。在一些实施方式中，两组全景摄像模组可以通过滑轨连接，全景摄像模组可以在滑轨上滑动，从而调节两组全景摄像模组之间的间隔距离。滑轨的调节范围为40mm到80mm，完全覆盖人眼的瞳距变化范围。在其他实施方式中，两组全景摄像模组也可以采用其他滑动方式连接，只要能够调节两组全景摄像模组之间的间隔距离即可。
步骤S23：分别将两组全景摄像模组中的位于同一全景摄像模组的两个全景摄像头所拍摄的图像进行拼接，以获得左眼全景图像和右眼全景图像。
如图2所示，具体地，将第一全景摄像模组101中的第一全景摄像头1011和第二全景摄像头1012所拍摄的图像进行拼接，以获得左眼全景图像；以及将第二全景摄像模组102中的第三全景摄像头1021和第四全景摄像头1022所拍摄的图像进行拼接，以获得右眼全景图像。
步骤S24：获取目标场景内的目标人物的人脸图像。
如图8中的左图所示，人脸图像可以为目标人物未佩戴虚拟现实设备时的图像。可选地，人脸图像可以是在目标人物佩戴虚拟现实设备之前，由目标场景内的双目全景摄像设备对目标场景内的目标人物进行图像采集得到，并发送给虚拟现实设备。
步骤S25：响应于目标人物的人脸被遮挡，基于人脸图像对左眼全景图像和右眼全景图像上的目标人物进行人脸修复，以移除遮挡物。
遮挡物可以是虚拟现实设备，或其他物体。虚拟现实设备对左眼全景图像和右眼全景图像上的目标人物进行遮挡物检测，若检测到遮挡物，则确定目标人物的人脸被遮挡。
对于视频会谈中，会谈双方或多方都需要佩戴虚拟现实设备的场景，例如亲友间三维实景视频交流，此场景中，目标人物的眼睛区域或整个头部区域被遮挡，虽然对方可以通过VR看到自己以及所处的环境，但是由于至少部分面部区域被遮挡，导致对方难以查看到自己完整的人脸，不利于交流。由此，可以通过换脸算法将佩戴有虚拟现实设备的人脸图像替换为未佩戴虚拟现实设备的人脸图像。
换脸算法可以是基于深度学习的算法，其中可以包括基于3D模型的换脸算法(例如On Face Segmentation,Face Swapping and Face Perception)、基于风格迁移模型的换脸算法(例如Fast Face-swap)、基于生成模型的换脸算法(例如Deepfake)，以及基于3D模型和GAN模型的融合的换脸算法(例如FSNet)等。
如图8所示，中间图为目标人物佩戴三维虚拟现实眼镜的示意图，及全景图像在人脸修复前的示意图，右边图为全景图像在人脸修复后的示意图，其中，中间图中目标人物的人脸部分区域被三维虚拟现实眼镜遮挡，经过人脸修复后去除了遮挡物，使得全景图像中的目标人物的人脸完整。
在一些实施方式中，步骤S25还包括子步骤S251～S252：
步骤S251：从人脸图像中提取目标人物的未遮挡的动作和/或表情。
动作可以包括但不限于：眨眼、抬头、转头、低头等等。表情可以包括但不限于：开心、难过、平静等等。
步骤S252：基于未遮挡的动作和/或表情调整左眼全景图像和右眼全景图像中的遮挡物的移除区域的动作和/或表情。
调整后左眼全景图像和右眼全景图像中目标人物的动作和/或表情未被遮挡，以使得对端的使用者可以查看到本端的使用者的动作和/或表情，以使得交流更加生动。
如图5所示，图5为在远程VR银行类单向全景场景中，双目全景摄像设备放置于银行，客户戴上三维虚拟现实眼镜(又称为VR眼镜)即可呼叫并进入远程银行元宇宙中与银行员工交流。由于银行员工不需要佩戴VR眼镜，因此不需要对人脸图像进行修复。
步骤S26：随着双目全景摄像设备的拍摄过程，同步采集目标场景内的音频数据。
步骤S27：将音频数据、左眼全景图像和右眼全景图像进行编码压缩后以视频流的形式从本端传送至对端。
在一些实施方式中，双目全景摄像设备还包括音频采集模组(例如麦克风)，用于采集目标场景内的音频数据，双目全景摄像设备在采集到的左眼全景图像、右眼全景图像和音频数据之后，将音频数据、左眼全景图像和右眼全景图像进行编码压缩后以视频流的形式从本端传送至对端。
在其他实施方式中，目标场景中还包括音频采集设备，音频采集设备与双目全景摄像设备为独立的设备，在双目全景摄像设备采集到左眼全景图像和右眼全景图像，以及音频采集设备采集到音频数据之后，可以通过目标场景中的虚拟现实设备或其他设备进行编码压缩，然后以视频流的形式从本端传送至对端。以上，对端例如虚拟现实设备。
步骤S28：将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上。
步骤S29：分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像。
关于步骤S28和S29的描述，请参见上述实施例中的相关位置，此处不再赘述。
如图10至图11所示，图10是使用者的头部向左偏转时对应的左眼图像和右眼图像，图11是使用者的头部向右偏转时对应的左眼图像和右眼图像。其中，图10、图11中的左图为左眼图像，右图为右眼图像。
在一些实施方式中，方法可以进一步包括：获取佩戴有虚拟现实设备的使用者的头部转角，然后基于头部转角以圆锥体的顶点为转动中心控制圆球和圆锥体进行相对转动，以得到基于头部转角的左眼图像和右眼图像，从而使得虚拟现实设备相应的播放对应角度拍摄的图像。
虚拟现实设备可以包括陀螺仪，陀螺仪用于测量虚拟现实设备的旋转角度，即使用者的头部转角。在虚拟现实设备进行上、下、左、右、前、后三维空间运动时，陀螺仪会计算运动前后的旋转夹角，然后基于头部转角以圆锥体的顶点为转动中心控制圆球和圆锥体进行相对转动，使得虚拟现实设备相应的播放对应角度拍摄的图像。可以理解的，除了陀螺仪，还可以使用其他可能的传感器获取佩戴有虚拟现实设备的使用者的头部转角，此处不作限定。
通常实现远程视频会谈主要采用以下两种方式，一种是采用摄像头和麦克风采集数据，通过网络传输，在对方终端，例如笔记本、手机等设备中播放图像与语音信息，实现远程视频会谈；另一种是基于三维人体模型/场景模型，结合人体动作捕捉，表情捕捉技术，在三维图形构成的元宇宙空间中实现虚拟现实的会谈交流。但是，第一种方式基于摄像头的远程视频会议系统，能获得的仅仅是终端上的二维图像与音频。会谈缺乏身临其境的沉浸感，导致用户体验受到影响，并最终会影响远程视频会谈的效果。而第二种方式基于三维人体模型/场景模型，结合人体动作捕捉，表情捕捉技术在三维图形构成的元宇宙空间中进行会谈交流则存在着所需硬件成本过于高昂，动作表情刻画受到硬件性能制约不够生动的问题，影响交谈的最终效果的问题。
为解决之前两种远程会谈方案中存在的问题，提升用户体验，提升远程会谈交流的效果，本申请提供了一种虚拟现实的实现方法，拥有全景三维实景虚拟现实会谈能力，用户在使用本方案的时候仿佛置身于会谈对象所处的空间中与会谈对象面对面交流，沉浸感强，体验好。
与现有的基于三维建模，采用动作表情捕捉在虚拟的三维空间中进行会谈方案，本方案不仅同样拥有三维沉浸感，而且基于摄像头捕捉的画面比动捕设备更加真实，所需要的配套硬件设备成本远远低于三维建模方案，简单易用，用户容易获得相关服务。
请参阅图12，图12是本申请电子设备一实施例的结构示意框图。
本实施例中，电子设备100包括获取模块110、渲染模块120和显示模块130。其中，获取模块110用于获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像；渲染模块120用于将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上；显示模块130用于分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像。
在一些实施方式中，双目全景摄像设备包括光轴方向彼此并排且间隔设置的两组全景摄像模组，每组全景摄像模组包括沿各自的光轴方向彼此相背设置的两个全景摄像头，获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像的步骤包括：分别将两组全景摄像模组中的位于同一全景摄像模组的两个全景摄像头所拍摄的图像进行拼接，以获得左眼全景图像和右眼全景图像。
在一些实施方式中，获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像的步骤之前，进一步包括：获取虚拟现实设备的使用者的瞳距；基于瞳距对两组全景摄像模组之间的间隔距离进行调节。
在一些实施方式中，将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上的步骤之前，进一步包括：获取目标场景内的目标人物的人脸图像；响应于目标人物的人脸被遮挡，基于人脸图像对左眼全景图像和右眼全景图像上的目标人物进行人脸修复，以移除遮挡物。
在一些实施方式中，响应于目标人物的人脸被遮挡，基于人脸图像对左眼全景图像和右眼全景图像上的目标人物进行人脸修复的步骤包括：从人脸图像中提取目标人物的未遮挡的动作和/或表情；基于未遮挡的动作和/或表情调整左眼全景图像和右眼全景图像中的遮挡物的移除区域的动作和/或表情。
在一些实施方式中，将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上的步骤之前，进一步包括：随着双目全景摄像设备的拍摄过程，同步采集目标场景内的音频数据；将音频数据、左眼全景图像和右眼全景图像进行编码压缩后以视频流的形式从本端传送至对端。
在一些实施方式中，分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像的步骤包括：分别在两个圆球内设置顶点位于各自球心且具有预定锥角的圆锥体；将两个圆锥体与各自对应的圆球的内球面的相交区域内的内球面内容作为左眼图像和右眼图像。
在一些实施方式中，圆锥体的预定锥角为100度-120度。
在一些实施方式中，方法进一步包括：获取佩戴有虚拟现实设备的使用者的头部转角；基于头部转角以圆锥体的顶点为转动中心控制圆球和圆锥体进行相对转动。
请参阅图13，图13是本申请电子设备另一实施例的结构示意框图。
电子设备200包括相互耦接的存储器210和处理器220，存储器210用于存储程序数据，处理器220用于执行程序数据以实现上述任一方法实施例中的步骤。
电子设备200可以包括但不限于：个人电脑(例如，台式机、笔记本电脑、平板电脑、掌上电脑等)、手机、服务器、可穿戴设备，以及增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)设备、电视机等，在此不做限定。
在一些实施方式中，电子设备200为虚拟现实设备，例如头戴式立体显示器、三维虚拟现实眼镜等三维视觉显示设备。其中，三维虚拟现实眼镜可以包括但不限于：分体式虚拟现实眼镜，一体式虚拟现实眼镜以及采用移动终端(例如手机)显示的虚拟现实眼镜。
具体而言，处理器220用于控制其自身以及存储器210以实现上述任一方法实施例中的步骤。处理器220还可以称为中央处理单元(Central Processing Unit,CPU)。处理器220可能是一种集成电路芯片，具有信号的处理能力。处理器220还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器220可以由多个集成电路芯片共同实现。
除此之外，本申请还提供了一种虚拟现实系统，该虚拟现实系统(图未示)包括至少一个双目全景摄像设备和至少一个虚拟现实设备，双目全景摄像设备用于对目标场景进行拍摄并所形成的左眼全景图像和右眼全景图像，虚拟现实设备用于获取该双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像，然后将左眼全景图像和右眼全景图像作为纹理分别渲染到两个圆球的内球面上，然后分别从经渲染后的两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示左眼图像和右眼图像。
请参阅图14，图14是本申请计算机可读存储介质一实施例的结构示意框图。
计算机可读存储介质300存储有程序数据310，程序数据310被处理器执行时，用以实现上述任一方法实施例中的步骤。
计算机可读存储介质300可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等可以存储计算机程序的介质，也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种虚拟现实的实现方法，其特征在于，所述方法包括：
获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像；
将所述左眼全景图像和所述右眼全景图像作为纹理分别渲染到两个圆球的内球面上；
分别从经渲染后的所述两个圆球的内球面上提取左眼图像和右眼图像，以供虚拟现实设备同步显示所述左眼图像和所述右眼图像。
2.根据权利要求1所述的方法，其特征在于，所述双目全景摄像设备包括光轴方向彼此并排且间隔设置的两组全景摄像模组，每组所述全景摄像模组包括沿各自的光轴方向彼此相背设置的两个全景摄像头，所述获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像的步骤包括：
分别将所述两组全景摄像模组中的位于同一所述全景摄像模组的两个全景摄像头所拍摄的图像进行拼接，以获得所述左眼全景图像和所述右眼全景图像。
3.根据权利要求2所述的方法，其特征在于，所述获取双目全景摄像设备对目标场景进行拍摄所形成的左眼全景图像和右眼全景图像的步骤之前，进一步包括：
获取所述虚拟现实设备的使用者的瞳距；
基于所述瞳距对所述两组全景摄像模组之间的间隔距离进行调节。
4.根据权利要求1所述的方法，其特征在于，所述将所述左眼全景图像和所述右眼全景图像作为纹理分别渲染到两个圆球的内球面上的步骤之前，进一步包括：
获取所述目标场景内的目标人物的人脸图像；
响应于所述目标人物的人脸被遮挡，基于所述人脸图像对所述左眼全景图像和所述右眼全景图像上的所述目标人物进行人脸修复，以移除遮挡物。
5.根据权利要求4所述的方法，其特征在于，所述响应于所述目标人物的人脸被遮挡，基于所述人脸图像对所述左眼全景图像和所述右眼全景图像上的所述目标人物进行人脸修复的步骤包括：
从所述人脸图像中提取所述目标人物的未遮挡的动作和/或表情；
基于所述未遮挡的动作和/或表情调整所述左眼全景图像和所述右眼全景图像中的所述遮挡物的移除区域的动作和/或表情。
6.根据权利要求1所述的方法，其特征在于，所述将所述左眼全景图像和所述右眼全景图像作为纹理分别渲染到两个圆球的内球面上的步骤之前，进一步包括：
随着所述双目全景摄像设备的拍摄过程，同步采集所述目标场景内的音频数据；
将所述音频数据、所述左眼全景图像和所述右眼全景图像进行编码压缩后以视频流的形式从本端传送至对端。
7.根据权利要求1所述的方法，其特征在于，所述分别从经渲染后的所述两个圆球的内球面上提取左眼图像和右眼图像的步骤包括：
分别在所述两个圆球内设置顶点位于各自球心且具有预定锥角的圆锥体；
将两个所述圆锥体与各自对应的所述圆球的内球面的相交区域内的内球面内容作为所述左眼图像和所述右眼图像。
8.根据权利要求7所述的方法，其特征在于，所述圆锥体的预定锥角为100度-120度。
9.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：
获取佩戴有所述虚拟现实设备的使用者的头部转角；
基于所述头部转角以所述圆锥体的顶点为转动中心控制所述圆球和所述圆锥体进行相对转动。
10.一种电子设备，其特征在于，所述电子设备包括相互耦接的存储器和处理器，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-9任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210733673.2A CN115079826A (zh) | 2022-06-24 | 2022-06-24 | 一种虚拟现实的实现方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210733673.2A CN115079826A (zh) | 2022-06-24 | 2022-06-24 | 一种虚拟现实的实现方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115079826A true CN115079826A (zh) | 2022-09-20 |
Family
ID=83255807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210733673.2A Pending CN115079826A (zh) | 2022-06-24 | 2022-06-24 | 一种虚拟现实的实现方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115079826A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107087155A (zh) * | 2017-05-12 | 2017-08-22 | 北京都是科技有限公司 | 一种全景3d摄像机 |
| CN107302694A (zh) * | 2017-05-22 | 2017-10-27 | 歌尔科技有限公司 | 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备 |
| CN108174178A (zh) * | 2018-01-09 | 2018-06-15 | 重庆爱奇艺智能科技有限公司 | 一种图像显示方法、装置及虚拟现实设备 |
| CN108282648A (zh) * | 2018-02-05 | 2018-07-13 | 北京搜狐新媒体信息技术有限公司 | 一种vr渲染方法、装置、穿戴式设备及可读存储介质 |
| US20190349576A1 (en) * | 2018-05-14 | 2019-11-14 | Dell Products L.P. | Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays |
| CN116610213A (zh) * | 2023-05-10 | 2023-08-18 | 如你所视(北京)科技有限公司 | 虚拟现实中的交互显示方法、装置、电子设备、存储介质 |
-
2022
- 2022-06-24 CN CN202210733673.2A patent/CN115079826A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107087155A (zh) * | 2017-05-12 | 2017-08-22 | 北京都是科技有限公司 | 一种全景3d摄像机 |
| CN107302694A (zh) * | 2017-05-22 | 2017-10-27 | 歌尔科技有限公司 | 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备 |
| CN108174178A (zh) * | 2018-01-09 | 2018-06-15 | 重庆爱奇艺智能科技有限公司 | 一种图像显示方法、装置及虚拟现实设备 |
| CN108282648A (zh) * | 2018-02-05 | 2018-07-13 | 北京搜狐新媒体信息技术有限公司 | 一种vr渲染方法、装置、穿戴式设备及可读存储介质 |
| US20190349576A1 (en) * | 2018-05-14 | 2019-11-14 | Dell Products L.P. | Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays |
| CN116610213A (zh) * | 2023-05-10 | 2023-08-18 | 如你所视(北京)科技有限公司 | 虚拟现实中的交互显示方法、装置、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102574874B1 (ko) | 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템 | |
| CN110536726B (zh) | Vr环境的第二屏幕虚拟窗口 | |
| US9030486B2 (en) | System and method for low bandwidth image transmission | |
| US11455032B2 (en) | Immersive displays | |
| US8072479B2 (en) | Method system and apparatus for telepresence communications utilizing video avatars | |
| EP3206397B1 (en) | Stereo viewing | |
| EP3954111A1 (en) | Multiuser asymmetric immersive teleconferencing | |
| US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
| US20150358539A1 (en) | Mobile Virtual Reality Camera, Method, And System | |
| JP2022177053A (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
| US12032735B2 (en) | Method and apparatus for real-time data communication in full-presence immersive platforms | |
| TW202141120A (zh) | 具可調整影像感測模組的頭戴式裝置及其系統 | |
| US20210058611A1 (en) | Multiviewing virtual reality user interface | |
| US20230386147A1 (en) | Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements | |
| WO2022209129A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN115079826A (zh) | 一种虚拟现实的实现方法、电子设备及存储介质 | |
| Yan et al. | Research summary on light field display technology based on projection | |
| WO2022004233A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Kongsilp et al. | Communication portals: Immersive communication for everyday life | |
| CN117919689A (zh) | 游戏画面的处理方法、装置、头显设备及存储介质 | |
| WO2023128760A1 (en) | Scaling of three-dimensional content for display on an autostereoscopic display device | |
| JP2024107935A (ja) | プログラム | |
| CN118118717A (zh) | 屏幕共享方法、装置、设备和介质 | |
| CN118590605A (zh) | 用于主持元宇宙虚拟会议的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |