CN109002248A - Vr场景截图方法、设备及存储介质 - Google Patents
Vr场景截图方法、设备及存储介质 Download PDFInfo
- Publication number
- CN109002248A CN109002248A CN201811013485.2A CN201811013485A CN109002248A CN 109002248 A CN109002248 A CN 109002248A CN 201811013485 A CN201811013485 A CN 201811013485A CN 109002248 A CN109002248 A CN 109002248A
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- user
- virtual scene
- visual field
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 claims abstract description 92
- 238000009877 rendering Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000006854 communication Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007650 screen-printing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种VR场景截图方法、设备及存储介质。本实施例中，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加；接着，获取至少两个参考视场各自对应的虚拟场景片段，并对至少两个参考视场各自对应的虚拟场景片段进行图像拼接，进而，生成的VR场景截图与VR设备实际展示的三维虚拟场景匹配，有效捕捉了VR设备的真实展示内容。
Description
技术领域
本发明涉及VR(Virtual Reality，虚拟现实)技术领域，尤其涉及一种VR场景截图方法、设备及存储介质。
背景技术
截图是截取显示内容的一种途径，用户可通过截图操作将屏幕上展示的内容以图像文件的形式保存下来，例如，智能手机可通过截图操作保存屏幕上展示的内容。
目前，二维图像显示设备执行截图操作时，通常直接截取屏幕上当前显示的内容作为目标截图。但是，三维图像显示设备，例如VR设备执行截图操作时，由于VR设备的屏幕显示的图像是畸变处理后的图像，进而直接截取VR设备的屏幕上当前显示的内容得到的截图，与VR设备实际展示的虚拟场景存在较大差异，因此，一种新的VR场景截图方法亟待提出。
发明内容
本发明提供一种VR场景截图方法、设备及存储介质，用以在VR设备展示VR场景的过程中，根据截图指令，截取到VR设备实际展示的三维虚拟场景。
本发明提供一种VR场景截图方法，包括：响应于截图指令，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加；获取所述至少两个参考视场各自对应的虚拟场景片段；对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图。
进一步可选地，在VR设备展示的三维虚拟场景内选择至少两个参考视场，包括：在所述三维虚拟场景内均匀选取至少两个不同用户视点；对所述至少两个不同用户视点的视场FOV进行设置，以得到至少两个参考视场，其中，至少一个视场角满足FOV＞360°/N,N为所述至少两个用户视点包含的用户视点数量。
进一步可选地，在所述三维虚拟场景内均匀选取至少两个不同用户视点，包括：获取用户当前的头部位姿数据；根据所述头部位姿数据，在所述三维虚拟场景内分别确定所述用户的左眼和/或右眼视点；根据所述用户的左眼和/或右眼视点，确定基础用户视点；在所述三维虚拟场景内选择与所述基础用户视点均匀分布的至少一个视点作为辅助用户视点。
进一步可选的，所述辅助用户视点的数量为两个。
进一步可选地，获取所述至少两个参考视场各自对应的虚拟场景片段，包括：依次在所述至少两个不同用户视点中的每个用户视点处进行场景渲染，以渲染得到所述至少两个参考视场对应的虚拟场景片段。
进一步可选地，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图，包括：对所述至少两个参考视场各自对应的虚拟场景片段进行边缘相似度检测；根据所述边缘相似点检测的检测结果，将所述至少两个参考视场对应的虚拟场景片段中，边缘相似度大于设定阈值的虚拟场景片段进行拼接。
进一步可选地，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图，包括：从所述至少两个参考视场对应的虚拟场景片段中，确定所述基础用户视点对应的虚拟场景片段为拼接中心；根据所述辅助用户视点与所述基础用户视点之间的位置关系，确定所述辅助用户视点对应的虚拟场景片段与所述拼接中心的相对位置；根据所述拼接中心以及所述相对位置，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成所述VR场景截图。进一步可选地，还包括：将所述VR场景截图存储至所述VR设备的指定路径下，并通知用户已完成截屏操作和/或展示所述VR场景截图的所述指定路径。
本发明还提供一种VR设备，包括：存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令；所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令以用于执行本发明提供的VR场景截图方法。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被执行时能够实现本发明提供的VR场景截图方法。
本发明中提供的VR场景截图方法中，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加；接着，获取至少两个参考视场各自对应的虚拟场景片段，并对至少两个参考视场各自对应的虚拟场景片段进行图像拼接，进而，生成的VR场景截图与VR设备实际展示的三维虚拟场景匹配，有效捕捉了VR设备的真实展示内容。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为二维显示设备的截图过程的一示意图；
图1b是VR设备的三维显示原理的一示意图；
图1c是VR设备的屏幕展示内容的一示意图；
图1d是本发明一实施例提供的VR场景截图方法的流程示意图；
图2a是本发明一实施例提供的VR场景截图方法的流程示意图；
图2b是本发明一实施例提供的不同用户视点与VR摄像头视点的对应示意图；
图2c是发明一实施例提供的虚拟场景片段拼接示意图；
图3是本发明一实施例提供的VR设备的结构示意图；
图4是本发明一实施例提供的VR设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下将结合附图进行详细说明。
二维图像显示设备(以手机为例)的截图操作可如图1a所示，二维图像显示设备的屏幕上所显示的内容是二维图像显示设备在某一时刻的真实展示内容。当二维图像显示设备接收到截图指令时，可直接截取当前屏幕上所显示的真实内容并以图片(例如jpg文件)保存下来。但是针对VR设备而言，如图1b所示，佩戴VR设备的用户在任何时刻，都是处在一个三维虚拟空间中，用户在三维空间内能够看到的图像应该是整个三维虚拟空间内的图像。不同于二维图像显示设备，VR设备的屏幕上所显示的内容只是VR设备在某一时刻所能展示三维空间的一部分，且是经过畸变处理的，如图1c所示。因此，VR设备在接收到截图指令时，单纯地截取屏幕正在显示的内容达不到实际截图需求。针对上述技术问题，本发明提供了一种解决方案，以下将详细说明。
图1d是本发明一实施例提供的VR场景截图方法的流程示意图，如图1d所示，该方法包括：
步骤101、响应于截图指令，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加。
步骤102、获取所述至少两个参考视场各自对应的虚拟场景片段。
步骤103、对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图。
在本实施例中，截图指令，可以是用户发起的，也可以是VR设备发起的。当截图指令由用户发起时，用户可通过VR设备上的特定物理按键发送截图指令，或者通过设定的手部动作或者头部动作发送截图指令，或者通过语音唤醒的方式发送截图指令，本实施例对此不做限制。当截图指令由VR设备发起时，该截图指令可由VR设备当前正在运行的应用发送，也可以由VR设备按照设定截图周期发送，视应用场景而定。
基于上述，为截取VR设备的真实展示内容，本实施例中，响应于截图指令，在VR设备可展示的三维虚拟场景内选择至少两个参考视场。其中，参考视场，用于模拟用户在三维虚拟场景内的视野范围。考虑到人眼视场的极限值(不超过180°)以及三维虚拟场景的真实感和沉浸感需求，本实施例中，选择至少两个参考视场。该至少两个参考视场，能够模拟用户在三维虚拟场景内的至少两个视场范围。其中，该至少两个参考视场中，相邻两个参考视场的视场边缘叠加，进而该至少两个参考视场的视场范围能够对三维虚拟场景的全景进行覆盖。
接着，在获取至少两个参考视场之后，确定该至少两个参考视场各自对应的虚拟场景片段，并对至少两个参考视场各自对应的虚拟场景片段进行图像拼接，拼接得到的VR场景截图展示了接收到截图指令时VR设备正在展示的三维场景。
本实施例中，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加；接着，获取至少两个参考视场各自对应的虚拟场景片段，并对至少两个参考视场各自对应的虚拟场景片段进行图像拼接，进而，生成的VR场景截图与VR设备实际展示的三维虚拟场景匹配，有效捕捉了VR设备的真实展示内容。
图2a是本发明另一实施例提供的VR场景截图方法的流程示意图，如图2所示，该方法包括：
步骤201、响应于截图指令，在VR设备可展示的三维虚拟场景内均匀选取至少两个不同用户视点。
步骤202、对所述至少两个不同用户视点的视场角FOV进行设置，以得到至少两个参考视场，其中，至少一个视场角满足FOV＞360°/N，N为所述至少两个用户视点包含的用户视点数量。
步骤203、依次在所述至少两个不同用户视点中的每个用户视点处进行场景渲染，以渲染得到所述至少两个参考视场对应的虚拟场景片段。
步骤204、对所述至少两个参考视场各自对应的虚拟场景片段进行边缘相似度检测。
步骤205、根据所述边缘相似点检测的检测结果，将所述至少两个参考视场对应的虚拟场景片段中，边缘相似度大于设定阈值的虚拟场景片段进行拼接。
步骤206、将所述VR场景截图存储至所述VR设备的指定路径下，并通知用户已完成截屏操作和/或展示所述VR场景截图的所述指定路径。
在步骤201中，用户视点，指的是用户观看三维虚拟场景时，在三维虚拟场景内的视觉基点，该视觉基点通常包含观看位置信息和观看方向信息，如图2b所示的视点A、视点B以及视点C。在VR技术领域中，随着用户视点发生变化，VR设备可展示与用户视点匹配的虚拟场景。在一些示例性实施例中，VR场景由Unity 3D等开发工具开发，这些开发工具可创建三维的虚拟空间，在该三维的虚拟空间内设计三维虚拟场景，并设计一个VR虚拟摄像头来模拟用户的眼睛，该VR虚拟摄像头的视点，即为用户视点，如图2b所示，用户的视点A、视点B以及视点C可分别用VR虚拟摄像头的视点A’、B’以及C’模拟。
本实施例中，在三维虚拟场景中选择不同用户视点，可模拟用户的不同观看位置和观看方向，进而基于不同的观看位置和观看方向获取接收到截图指令时VR设备正在展示的三维场景。可选的，均匀选择不同用户视点，有利于快速计算每个视点对应的视场大小。
在一示例性实施方式中，在三维虚拟场景内均匀选取至少两个不同用户视点的一种方式，包括：
获取用户当前的头部位姿数据；其中，用户的头部位姿数据可根据VR设备上安装的惯性检测单元、多轴加速度传感器、陀螺仪等设备获取，此处不赘述。接着，根据该头部位姿数据，在三维虚拟场景内分别确定用户的左眼和/或右眼视点，并根据所述用户的左眼和/或右眼视点，确定基础用户视点。
可选的，本实施例中，可将用户的左眼视点作为基础用户视点，也可将用户的右眼视点作为基础用户视点，还可以选择用户的左眼视点和右眼视点的中间视点作为基础用户视点，本实施例不做限制。接着，在三维虚拟场景内选择与基础用户视点均匀分布的至少一个视点作为辅助用户视点。可选地，辅助用户视点的数量可以为两个，且这两个辅助用户视点可分别分布在基础用户视点的两侧。进而，一个基础用户视点以及两个辅助用户视点能够在确保后续得到的虚拟场景片段完全覆盖三维虚拟场景的前提下，提供最高的图像渲染效率和图像拼接效率。
一些实施例中，辅助用户视点数量为两个时，至少一个用户视点对应的视场角满足FOV＞360°/N，N为用户视点数量；或者每个用户视点对应的视场角均满足FOV＞360°/N，N为用户视点数量。
除此之外，在这种实施方式中，选取得到的至少两个不同用户视点与用户当前的头部位姿数据关联，有利于在后续过程中确定用户当前正在观看的虚拟场景片段，并得到更符合真实观看进度的VR场景截图。
基于上述步骤选取出的至少两个用户视点，可确定与之对应的至少两个参考视场。为确保确定出的至少两个参考视场能够对三维虚拟场景的全景进行覆盖，可执行步骤202。在步骤202中，当所述至少两个用户视点包含的视点数量为N个时，每个用户视点的视场大于N＞360°/N。例如，当N＝3时，可设置每个用户视点的视场为130°或者150°，进而，相邻两个视场的视场边缘出现叠加，有利于后续进行图像拼接。
实际中，除了步骤201以及步骤202记载的实施方式之外，选择用户视点时，还可任意进行选择，不需考虑视点之间的均匀性，例如可在VR设备可展示的三维虚拟场景内随机选择多个用户视点。在这种方式中，每个用户视点对应的视场角的大小可根据该用户视点距其他用户视点的位置关系计算得到，且多个用户视点对应的视场角之和大于360°。例如，随机选择到的3个用户视点中，用户视点A和用户视点B之间的位置偏差较小，用户视点A以及用户视点B均和用户视点C具有较大的位置偏差，则可设置用户视点A和B具有较小的视场角，用户视点C具有较大的视场角，例如设置视点A对应的视场角为90°、设置视点B对应的视场角为120°，设置视点C对应的视场角为160°，不赘述。在步骤203中，在确定至少两个不同用户视点的视场之后，可依次在该至少两个不同用户视点中的每个用户视点处进行场景渲染，以渲染得到所述至少两个参考视场对应的虚拟场景片段。
可选的，以Unity 3D为例，当采用VR虚拟摄像头来模拟用户的眼睛时，可将用户视点作为VR虚拟摄像头的视点，将VR虚拟摄像头依次调整至每个不同用户视点处，并在每个不同用户视点处运行三维虚拟场景渲染程序，以渲染得到该用户视点的视场对应的虚拟场景片段。
在步骤204中，可选的，获取至少两个参考视场各自对应的虚拟场景片段后，对上述虚拟场景片段进行边缘相似度检测。
可选的，本步骤中，可采用图片相关系数法寻找边缘相似的虚拟场景片段。例如，可分别对每个虚拟场景片段的边缘进行识别，并基于识别的结果计算相邻两个虚拟场景片段的边缘相关系数，基于相关系数确定边缘相似的虚拟场景片段。当然，本实施例中，还可以采用其他的一些图片边缘相似度算法识别边缘相似的虚拟场景片段，例如欧式距离法、感知哈希法、基于滑动窗口的模板匹配法等，本实施例包含但不仅限于此。
在步骤205中，可选的，本步骤中，可将所述至少两个参考视场对应的虚拟场景片段中，边缘相似度大于设定阈值的虚拟场景片段进行拼接。如图2c所示，可将用户视点A、B、C对应的参考视场内的虚拟场景片段进行拼接，其中，同虚拟场景片段的叠加区域为其边缘相似区域。应当理解的是，图2c中示意了水平拼接的方式，实际中，还可包括垂直方向拼接或者其他度的拼接方式，不再一一进行图示。
可选的，在本实施例中，在图像拼接时，可以基础用户视点对应的虚拟场景片段为中心进行拼接，使得拼接得到的VR场景截图以用户当前正在观看的虚拟场景片段为中心，更符合用户的实际观看效果。可选的，在这种实施方式中，可首先从至少两个参考视场对应的虚拟场景片段中，确定基础用户视点对应的虚拟场景片段为拼接中心；接着，根据辅助用户视点与基础用户视点之间的位置关系，确定辅助用户视点对应的虚拟场景片段与拼接中心的相对位置；接着，根据拼接中心以及相对位置，对至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图。例如，当基础用户视点为视点B时，辅助用户视点为视点B左右两侧的视点A以及视点C时，可将视点B对应的视场内的虚拟场景片段作为VR截图的正中心，在视点B对应的视场内的虚拟场景片段两侧分别拼接视点A以及视点C对应的视场内的虚拟场景片段。
在步骤206中，完成图像拼接后，可将拼接得到的VR场景截图存储至所述VR设备的指定路径下，并通知用户已完成截屏操作和/或展示所述VR场景截图的所述指定路径。其中，通知用户已完成截屏操作的方式可以是语音方式或者文字方式，本实施例不做限制。
本实施例中，在VR设备可展示的三维虚拟场景内选择均匀的至少两个参考视场，且相邻两个参考视场的视场边缘叠加；接着，获取至少两个参考视场各自对应的虚拟场景片段，并根据虚拟场景片段的边缘相似度对至少两个参考视场各自对应的虚拟场景片段进行图像拼接，进而，生成的VR场景截图与VR设备实际展示的三维虚拟场景匹配，有效捕捉了VR设备的真实展示内容。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤201至步骤204的执行主体可以为设备A；又比如，步骤201和202的执行主体可以为设备A，步骤203的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
以上实施例记载了本发明提供的VR场景截图方法的可选实施方式，该方法可由图3所示的VR设备实现，可选的，该VR设备包括：存储器301、处理器302、输入装置303以及输出装置304。
存储器301、处理器302、输入装置303以及输出装置304可以通过总线或其他方式连接，图中以总线连接为例。在其他未进行图示的连接方式中，存储器301可直接与处理器302耦合连接，输入装置303以及输出装置304可通过数据线和数据接口与处理器302直接或者间接连接。当然，上述连接方式仅用于示例性说明，对本发明实施例的保护范围不构成任何限制。
存储器301用于存储一条或多条计算机指令，并可被配置为存储其它各种数据以支持在VR设备上的操作。这些数据的示例包括用于在VR设备上操作的任何应用程序或方法的指令。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一些实施例中，存储器301可选包括相对于处理器302远程设置的存储器，这些远程存储器可以通过网络连接至AR显示设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器302，与存储器301耦合，用于执行所述一条或多条计算机指令以用于：响应于截图指令，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加；获取所述至少两个参考视场各自对应的虚拟场景片段；对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图。
进一步可选地，在VR设备展示的三维虚拟场景内选择至少两个参考视场时，处理器302具体用于：在所述三维虚拟场景内均匀选取至少两个不同用户视点；对所述至少两个不同用户视点的视场角FOV进行设置，以得到至少两个参考视场，其中，至少一个视场角满足FOV＞360°/N，N为所述至少两个用户视点包含的用户视点数量。
进一步可选地，在所述三维虚拟场景内均匀选取至少两个不同用户视点时，处理器302具体用于：获取用户当前的头部位姿数据；根据所述头部位姿数据，在所述三维虚拟场景内分别确定所述用户的左眼和/或右眼视点；根据所述用户的左眼和/或右眼视点，确定基础用户视点；在所述三维虚拟场景内选择与所述基础用户视点均匀分布的至少一个视点作为辅助用户视点。
进一步可选地，所述辅助用户视点的数量为两个。
进一步可选地，获取所述至少两个参考视场各自对应的虚拟场景片段时，处理器302具体用于：依次在所述至少两个不同用户视点中的每个用户视点处进行场景渲染，以渲染得到所述至少两个参考视场对应的虚拟场景片段。
进一步可选地，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图时，处理器302具体用于：对所述至少两个参考视场各自对应的虚拟场景片段进行边缘相似度检测；根据所述边缘相似点检测的检测结果，将所述至少两个参考视场对应的虚拟场景片段中，边缘相似度大于设定阈值的虚拟场景片段进行拼接。
进一步可选地，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图时，处理器302具体用于：从所述至少两个参考视场对应的虚拟场景片段中，确定所述基础用户视点对应的虚拟场景片段为拼接中心；根据所述辅助用户视点与所述基础用户视点之间的位置关系，确定所述辅助用户视点对应的虚拟场景片段与所述拼接中心的相对位置；根据所述拼接中心以及所述相对位置，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成所述VR场景截图。
进一步可选地，处理器302还用于：将所述VR场景截图存储至所述VR设备的指定路径下，并通知用户已完成截屏操作和/或展示所述VR场景截图的所述指定路径。
其中，输入装置303可接收输入的数字或字符信息，以及产生与VR设备的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。
进一步，如图3所示，该VR设备还包括：电源组件305。电源组件305，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述VR设备可执行本申请实施例所提供的VR场景截图方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法，不再赘述。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被执行时能够实现上述VR设备能够执行的方法中的步骤。
本发明一些实施例提供的VR设备可以为外接式头戴显示设备或者一体式头戴显示设备，其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。图4示出了一些实施例中VR设备400的内部配置结构示意图。
显示单元401可以包括显示面板，显示面板设置在VR设备400上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元402以放大方式拍摄显示单元401所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元401上的显示图像，可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机410拍摄的现实场景的图像。一些实施例中，虚拟图像光学单元402可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元403包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制单元407输出指令。
状态信息获取单元404用于获取穿戴VR设备400的用户的状态信息。状态信息获取单元404可以包括各种类型的传感器，用于自身检测状态信息，并可以通过通信单元405从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元404可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元404可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外，状态信息获取单元404获取穿戴VR设备400的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴VR设备400)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，甚至生理状态。
通信单元405执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外，控制单元407可以从通信单元405向外部装置发送传输数据。通信方式可以是有线或者无线形式，例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信，以及IEEE802.11s标准的网状网络等。另外，通信单元405可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中，VR设备400还可以包括存储单元，存储单元406是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中，存储单元406可以存储应用程序或各种类型的数据。例如，用户使用VR设备400观看的内容可以存储在存储单元406中。
一些实施例中，VR设备400还可以包括控制单元和存储单元(例如图示的ROM407A以及RAM407B)，控制单元407可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中，控制单元407可以用于执行存储单元406存储的应用程序，或者控制单元407还可以用于执行本发明一些实施例公开的方法、功能和操作的电路。
图像处理单元408用于执行信号处理，比如与从控制单元407输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元401的屏幕的分辨率。然后，显示驱动单元409依次选择显示单元401的每行像素，并逐行依次扫描显示单元401的每行像素，因而提供基于经信号处理的图像信号的像素信号。
一些实施例中，VR设备400还可以包括外部相机。外部相机410可以设置在VR设备400主体前表面，外部相机410可以为一个或者多个。外部相机410可以获取三维信息，并且也可以用作距离传感器。另外，探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机410一起使用。外部相机410和距离传感器可以用于检测穿戴VR设备400的用户的身体位置、姿态和形状。另外，一定条件下用户可以通过外部相机410直接观看或者预览现实场景。
一些实施例中，VR设备400还可以包括声音处理单元，声音处理单元411可以执行从控制单元407输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理等。然后，声音输入/输出单元412在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是，图4中虚线框示出的结构或部件可以独立于VR设备400之外，例如可以设置在外部处理系统(例如计算机系统)中与VR设备400配合使用；或者，虚线框示出的结构或部件可以设置在VR设备400内部或者表面上。
以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种VR场景截图方法，其特征在于，包括：
响应于截图指令，在VR设备可展示的三维虚拟场景内选择至少两个参考视场，且相邻两个参考视场的视场边缘叠加；
获取所述至少两个参考视场各自对应的虚拟场景片段；
对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图。
2.根据权利要求1所述的方法，其特征在于，在VR设备展示的三维虚拟场景内选择至少两个参考视场，包括：
在所述三维虚拟场景内均匀选取至少两个不同用户视点；
对所述至少两个不同用户视点的视场角FOV进行设置，以得到至少两个参考视场，其中，至少一个视场角满足FOV＞360°/N，N为所述至少两个用户视点包含的用户视点数量。
3.根据权利要求2所述的方法，其特征在于，在所述三维虚拟场景内均匀选取至少两个不同用户视点，包括：
获取用户当前的头部位姿数据；
根据所述头部位姿数据，在所述三维虚拟场景内分别确定所述用户的左眼和/或右眼视点；
根据所述用户的左眼和/或右眼视点，确定基础用户视点；
在所述三维虚拟场景内选择与所述基础用户视点均匀分布的至少一个视点作为辅助用户视点。
4.根据权利要求3所述的方法，其特征在于，所述辅助用户视点的数量为两个。
5.根据权利要求2-4任一项所述的方法，其特征在于，获取所述至少两个参考视场各自对应的虚拟场景片段，包括：
依次在所述至少两个不同用户视点中的每个用户视点处进行场景渲染，以渲染得到所述至少两个参考视场对应的虚拟场景片段。
6.根据权利要求1-4任一项所述的方法，其特征在于，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图，包括：
对所述至少两个参考视场各自对应的虚拟场景片段进行边缘相似度检测；
根据所述边缘相似点检测的检测结果，将所述至少两个参考视场对应的虚拟场景片段中，边缘相似度大于设定阈值的虚拟场景片段进行拼接。
7.根据权利要求3或4所述的方法，其特征在于，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成VR场景截图，包括：
从所述至少两个参考视场对应的虚拟场景片段中，确定所述基础用户视点对应的虚拟场景片段为拼接中心；
根据所述辅助用户视点与所述基础用户视点之间的位置关系，确定所述辅助用户视点对应的虚拟场景片段与所述拼接中心的相对位置；
根据所述拼接中心以及所述相对位置，对所述至少两个参考视场各自对应的虚拟场景片段进行图像拼接，生成所述VR场景截图。
8.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
将所述VR场景截图存储至所述VR设备的指定路径下，并通知用户已完成截屏操作和/或展示所述VR场景截图的所述指定路径。
9.一种VR设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储一条或多条计算机指令；
所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令以用于执行权利要求1-8任一项所述的VR场景截图方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被执行时能够实现权利要求1-8任一项所述方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811013485.2A CN109002248B (zh) | 2018-08-31 | 2018-08-31 | Vr场景截图方法、设备及存储介质 |
| PCT/CN2018/123764 WO2020042494A1 (zh) | 2018-08-31 | 2018-12-26 | Vr场景截图方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811013485.2A CN109002248B (zh) | 2018-08-31 | 2018-08-31 | Vr场景截图方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109002248A true CN109002248A (zh) | 2018-12-14 |
| CN109002248B CN109002248B (zh) | 2021-07-20 |
Family
ID=64591425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811013485.2A Active CN109002248B (zh) | 2018-08-31 | 2018-08-31 | Vr场景截图方法、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109002248B (zh) |
| WO (1) | WO2020042494A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020042494A1 (zh) * | 2018-08-31 | 2020-03-05 | 歌尔股份有限公司 | Vr场景截图方法、设备及存储介质 |
| CN112732088A (zh) * | 2021-01-18 | 2021-04-30 | 海信视像科技股份有限公司 | 一种虚拟现实设备及单目截屏方法 |
| CN113126942A (zh) * | 2021-03-19 | 2021-07-16 | 北京城市网邻信息技术有限公司 | 一种封面图片的显示方法、装置、电子设备及存储介质 |
| CN114286142A (zh) * | 2021-01-18 | 2022-04-05 | 海信视像科技股份有限公司 | 一种虚拟现实设备及vr场景截屏方法 |
| CN114697302A (zh) * | 2020-12-31 | 2022-07-01 | 伊姆西Ip控股有限责任公司 | 用于分发虚拟视觉内容的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138245A (zh) * | 2015-09-30 | 2015-12-09 | 北京奇虎科技有限公司 | 一种智能终端截屏图片的去重处理方法和装置 |
| CN105847672A (zh) * | 2016-03-07 | 2016-08-10 | 乐视致新电子科技（天津）有限公司 | 虚拟现实头盔抓拍方法及系统 |
| CN105959666A (zh) * | 2016-06-30 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种虚拟现实系统中分享3d影像的方法和装置 |
| US20180068574A1 (en) * | 2016-09-08 | 2018-03-08 | Jim LaCrosse | Method of and system for facilitating structured block play in a virtual reality environment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9877016B2 (en) * | 2015-05-27 | 2018-01-23 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
| CN104835118A (zh) * | 2015-06-04 | 2015-08-12 | 浙江得图网络有限公司 | 通过两路鱼眼摄像头采集全景图像的方法 |
| CN109002248B (zh) * | 2018-08-31 | 2021-07-20 | 歌尔光学科技有限公司 | Vr场景截图方法、设备及存储介质 |
-
2018
- 2018-08-31 CN CN201811013485.2A patent/CN109002248B/zh active Active
- 2018-12-26 WO PCT/CN2018/123764 patent/WO2020042494A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138245A (zh) * | 2015-09-30 | 2015-12-09 | 北京奇虎科技有限公司 | 一种智能终端截屏图片的去重处理方法和装置 |
| CN105847672A (zh) * | 2016-03-07 | 2016-08-10 | 乐视致新电子科技（天津）有限公司 | 虚拟现实头盔抓拍方法及系统 |
| CN105959666A (zh) * | 2016-06-30 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种虚拟现实系统中分享3d影像的方法和装置 |
| US20180068574A1 (en) * | 2016-09-08 | 2018-03-08 | Jim LaCrosse | Method of and system for facilitating structured block play in a virtual reality environment |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020042494A1 (zh) * | 2018-08-31 | 2020-03-05 | 歌尔股份有限公司 | Vr场景截图方法、设备及存储介质 |
| CN114697302A (zh) * | 2020-12-31 | 2022-07-01 | 伊姆西Ip控股有限责任公司 | 用于分发虚拟视觉内容的方法 |
| CN112732088A (zh) * | 2021-01-18 | 2021-04-30 | 海信视像科技股份有限公司 | 一种虚拟现实设备及单目截屏方法 |
| CN114286142A (zh) * | 2021-01-18 | 2022-04-05 | 海信视像科技股份有限公司 | 一种虚拟现实设备及vr场景截屏方法 |
| CN113126942A (zh) * | 2021-03-19 | 2021-07-16 | 北京城市网邻信息技术有限公司 | 一种封面图片的显示方法、装置、电子设备及存储介质 |
| CN113126942B (zh) * | 2021-03-19 | 2024-04-30 | 北京城市网邻信息技术有限公司 | 一种封面图片的显示方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109002248B (zh) | 2021-07-20 |
| WO2020042494A1 (zh) | 2020-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11678734B2 (en) | Method for processing images and electronic device | |
| CN109002248A (zh) | Vr场景截图方法、设备及存储介质 | |
| KR102544062B1 (ko) | 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치 | |
| CN109814719B (zh) | 一种基于穿戴眼镜的显示信息的方法与设备 | |
| EP3367664B1 (en) | Photographing method using external electronic device and electronic device supporting the same | |
| CN107807732A (zh) | 用于显示图像的方法、存储介质和电子装置 | |
| US20210343041A1 (en) | Method and apparatus for obtaining position of target, computer device, and storage medium | |
| CN110036647A (zh) | 用于管理三维内容的缩略图的方法和设备 | |
| US11277597B1 (en) | Marker-based guided AR experience | |
| KR102649197B1 (ko) | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| US20180082479A1 (en) | Virtual fitting method, virtual fitting glasses and virtual fitting system | |
| US20210373650A1 (en) | Interactive augmented reality experiences using positional tracking | |
| KR102317820B1 (ko) | 이미지 처리 방법 및 이를 지원하는 전자장치 | |
| KR102636243B1 (ko) | 이미지를 처리하기 위한 방법 및 그 전자 장치 | |
| CN109565548B (zh) | 控制多视场图像的方法和支持该方法的电子设备 | |
| EP3759576B1 (en) | A high-speed staggered binocular eye tracking systems | |
| CN109002164A (zh) | 头戴显示设备的显示方法、装置及头戴显示设备 | |
| KR102508663B1 (ko) | 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치 | |
| CN107678539A (zh) | 用于头戴显示设备的显示方法及头戴显示设备 | |
| US11320667B2 (en) | Automated video capture and composition system | |
| CN107678546A (zh) | 虚拟场景切换方法及头戴显示设备 | |
| CN108293108A (zh) | 用于显示并生成全景图像的电子装置和方法 | |
| CN108495028B (zh) | 一种摄像调焦方法、装置及移动终端 | |
| US20180197273A1 (en) | System and Method for Displaying Graphical Effects Based on Determined Facial Positions | |
| CN108965859A (zh) | 投影方式识别方法、视频播放方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201030 Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building) Applicant after: GoerTek Optical Technology Co.,Ltd. Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong Applicant before: GOERTEK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building) Applicant after: GoerTek Optical Technology Co.,Ltd. Address before: 261061 east of Dongming Road, north of Yuqing East Street, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building) Applicant before: GoerTek Optical Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221123 Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong Patentee after: GOERTEK TECHNOLOGY Co.,Ltd. Address before: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building) Patentee before: GoerTek Optical Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |