CN110574369B - 提供内容的方法及其装置 - Google Patents

提供内容的方法及其装置 Download PDF

Info

Publication number
CN110574369B
CN110574369B CN201880027466.7A CN201880027466A CN110574369B CN 110574369 B CN110574369 B CN 110574369B CN 201880027466 A CN201880027466 A CN 201880027466A CN 110574369 B CN110574369 B CN 110574369B
Authority
CN
China
Prior art keywords
user
location
content
coordinates
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027466.7A
Other languages
English (en)
Other versions
CN110574369A (zh
Inventor
禹志焕
崔秉斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170157376A external-priority patent/KR102402046B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/004966 external-priority patent/WO2018199701A1/en
Publication of CN110574369A publication Critical patent/CN110574369A/zh
Application granted granted Critical
Publication of CN110574369B publication Critical patent/CN110574369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

一种用于通过内容提供设备处理虚拟现实(VR)内容的方法包括：标识VR内容上的第一位置的笛卡尔坐标；估计内容提供设备的用户的移动；通过将表示用户的估计的移动的矩阵应用于第一位置的笛卡尔坐标来标识第二位置的笛卡尔坐标；将第二位置的笛卡尔坐标转换为第二位置的球坐标；以及向用户提供与第二位置的球坐标相对应的区域。

Description

提供内容的方法及其装置
技术领域
本公开一般地涉及用于提供内容的方法及其装置，并且具体地，涉及能够提供虚拟现实(VR)内容的方法和装置。
背景技术
VR指代使用计算机人工地创建的类似于自然环境的特定环境或上下文，或者用于其的技术。通过VR内容提供给用户的环境或上下文可能刺激用户的五种感官，以允许用户感受到类似于现实的空间或时间体验。用户可能专注于VR内容，并且还能够操纵或命令真实设备与VR内容中实施的对象进行交互。VR内容可以与单边地(uni-laterally)实施的模拟不同，因为VR内容可以与用户交互并且为用户创建体验。
可以经由VR设备——诸如被放置在用户的头部上的头戴式显示器(HMD)——向用户提供VR内容，该VR设备具有被定位在用户眼睛之前的并且显示VR内容的显示器。
用户可以在使用VR设备的同时在各个方向上移动他/她的头部，从而改变她正在观看的方向。为了提供逼真的VR内容，VR设备应当能够提供反映用户观看的方向上的改变的VR内容。
发明内容
技术方案
本公开提供了一种用于提供VR内容的方法及其设备，该VR内容可以反映用户改变她正在观看的方向(例如，转动或移动她的头部)。
本发明的有利效果
根据本公开的方面，VR设备可以提供VR内容，该VR内容反映用户改变她正在观看的方向(例如，通过转动或移动她的头部)，从而允许对于用户更加逼真的VR体验。
此外，VR设备可以识别用户正在观看的并且从其发送VR内容的区域，以提高VR内容的传输效率。
附图说明
根据结合附图的以下详细描述，本公开的上述和其他方面、特征和优点将变得更加明显，在附图中：
图1示出了根据本公开的实施例的应用于VR设备的投影结构；
图2示出了根据本公开的实施例的VR设备中的用户的观看视角(perspective)；
图3在坐标轴上示出了根据本公开的实施例的用于表示VR设备中的用户的观看视角的旋转的方法；
图4示出了根据本公开实施例的VR设备的观看视角；
图5是示出根据本公开的实施例的用于操作VR设备的方法的流程图；
图6示出了根据本公开实施例的VR设备中的球坐标与笛卡尔坐标之间的关系；
图7示出了根据本公开实施例的坐标轴；
图8示意性地示出了根据本公开的实施例的，当用户的第二位置的笛卡尔坐标对应于极点值时，使用环境采样来获得所标识的用户的第二位置的球坐标的方法；
图9是示出根据本公开的实施例的用于操作VR设备的方法的流程图；
图10A至图10D示意性地示出了根据本公开的实施例的用于产生VR内容的方法；
图11A至图11C示出了根据本公开的实施例的用于捕获图像以产生VR内容中包含的视觉内容的设备；
图12A至图12C示出了根据本公开的实施例的2D投影方法和2D投影图像的示例；
图13示意性地示出了根据本公开的实施例的VR设备的配置；以及
图14示意性地示出了根据本公开的实施例的服务器的配置。
具体实施方式
根据本公开的实施例，一种用于通过内容提供设备处理VR内容的方法包括：标识VR内容上的第一位置的笛卡尔坐标；估计内容提供设备的用户的移动；通过将表示估计的用户的移动的矩阵应用于第一位置的笛卡尔坐标来标识第二位置的笛卡尔坐标；将第二位置的笛卡尔坐标转换为第二位置的球坐标；以及向用户提供与第二位置的球坐标相对应的区域。
根据本公开的另一实施例，一种用于处理VR内容的内容提供设备包括：位置传感器，被配置为估计该内容提供设备的用户的移动；以及处理器，被配置为控制内容提供设备以：标识VR内容上的第一位置的笛卡尔坐标；通过将表示估计的用户的移动的矩阵应用于第一位置的笛卡尔坐标来标识第二位置的笛卡尔坐标；将第二位置的笛卡尔坐标转换为第二位置的球坐标；以及向用户提供与第二位置的球坐标相对应的区域。
本申请根据35 U.S.C.§119(a)要求于2017年4月28日向韩国知识产权局提交的第10-2017-0055773号韩国专利申请、于2017年11月23日向韩国知识产权局提交的第10-2017-0157376号韩国专利申请以及于2017年7月7日向美国专利商标局提交的第62/529，851号美国临时专利申请，上述专利申请的全部公开内容通过引用合并于此。
参考附图详细地描述本公开的实施例。尽管相同或相似的组件在不同的附图中示出，但是其可以通过相同或相似的附图标记来指示。可以省略对本领域中已知的构造或过程的详细描述，以避免模糊本公开的主题。
尽管术语“第一”和“第二”用于描述各种组件，但是这些组件不受术语的限制。提供这些术语仅是为了将一个组件与另一组件相区分。因此，在本公开的技术精神内，本文描述的第一组件可以被称为第二组件，反之亦然。
参考图1至图3描述根据本公开的实施例的VR内容、投影结构、用户的观看视角以及VR设备的坐标系。
图1示出了根据本公开实施例的应用于VR设备的投影结构。图2示出了根据本公开的实施例的VR设备中的用户的观看视角。图3在坐标轴上示出了根据本公开的实施例的用于表示VR设备中的用户的观看方向的旋转的方法。
假定VR内容是被映射到围绕使用VR设备的用户的360度方向的全向内容。然而，VR内容不需要必须地包括与整个360度区域相对应的所有内容，而是可以仅包括与区域的一部分相对应的内容。VR内容可以包括诸如音频内容、视频内容、图像内容、字幕、气味或风的内容元素，其可以被分类为虚拟内容、听觉内容、嗅觉内容或触觉内容。当被产生时，VR内容元素中的至少一些可以被分类在360度方向的相对应的方向上。
参考图1描述投影结构。
可以在360度方向上产生视觉内容，以实现虚拟球形空间101。可以假定佩戴VR设备102的用户103定位在虚拟球形空间101的中心处以观察虚拟球形空间101的内表面。换言之，可以将产生的VR内容投影到虚拟球形空间101，其被称为投影结构。在本文中，假定投影结构是半径(r)为1的单位球形。
通过VR设备向用户提供VR内容。在本公开中，假定VR设备是被放置在用户的头部上的HMD，其具有被定位在用户的眼睛之前并且显示VR内容的显示器。
下面参考图1和图2来描述VR设备和用户的观看视角。
佩戴VR设备102的用户103可以在使用VR设备102的同时在各个方向上移动其头部，并且用户103正在观看的方向可以相应地改变。此时，将用户103正在观看方向定义为观看视角104。VR设备的观看视角104可以意味着作为当前被提供给用户103的VR内容的区域的视口(viewport)的中心点的视点。
具体地，假定VR设备102的观看视角104是下述方向：在该方向上，穿过VR设备中包括的显示屏的表面的中心并且垂直于显示区域的表面的直线被定向为朝向佩戴VR设备102的用户103的外部。
例如，假定佩戴VR设备102的用户103定位在虚拟球形空间101的中心，则可以将下述方向假定为VR设备102的观看视角104：在该方向上，用户103从虚拟球形101的中心通过球形的内表面向外部观看。此外，在虚拟球形空间101具有预定r的假定下，下述点可以被定义为VR设备102的观看视角104：在该点处，当从虚拟球形101的中心向外部观看时，垂直于显示区域并且穿过在VR设备102中所包括的显示屏的表面的中心的直线与虚拟球形101的内表面相交。这里，虚拟球形空间101可以对应于实现VR内容的虚拟空间。
VR设备102的观看视角104可以与佩戴VR设备102的用户103的观看视角105相同。此时，假定用户103凝视VR设备102的显示屏。用户的观看视角105可以被定义为穿过连接用户双眼的直线的中心的直线指向用户外部的方向。
尽管如上定义了VR设备102的观看视角104和用户的观看视角105，但是根据本公开的实施例，可以以其他各种方式来定义VR设备的观看视角和用户的观看视角。
此外，在VR设备中配备有跟踪用户的瞳孔的移动的传感器的情况下，可以将用户的瞳孔移动的方向定义为用户的观看视角，在这种情况下，用户的观看视角可能与VR设备的观看视角不同。
下面参考图3描述在本公开中应用的坐标系。
假定VR设备的观看视角、用户的观看视角、用户的动作和VR内容在相同的坐标轴上移动。VR设备的观看视角、用户的观看视角、用户的动作和VR内容可以被表示为在相同坐标轴上的球坐标或笛卡尔坐标。
如图3所示，假定VR设备102的中心点或用户103的头部的中心定位在坐标轴的中心。可以假定VR内容实现的VR空间的中心定位在坐标轴的中心，或者可以假定将获得视觉VR内容的位置定位在坐标轴的中心。
用户的观看视角的移动可以采用偏航角、俯仰角和翻滚角来表示。偏航角α可以意味着用户的观看视角围绕y轴旋转的角度。偏航角α可以被定义在从-180度至180度的范围内，并且被定义为从y轴上方到坐标轴中心的逆时针旋转。俯仰角β可以意味着用户的观看视角围绕x轴旋转的角度。俯仰角β可以被定义在从-90度至90度的范围内，并且可以被定义为从x轴上方到坐标轴中心的逆时针旋转。翻滚角γ可以意味着用户的观看视角围绕z轴旋转的角度。翻滚角γ可以被限定在从-180度至180度的范围内，并且被定义为从z轴上方到坐标轴中心的逆时针方向旋转。
另一方面，根据本公开的实施例，偏航角α可以意味着用户的观看视角围绕z轴旋转的角度，俯仰角β可以意味着用户的观看视角围绕y轴旋转的角度，以及翻滚角γ可以意味着用户的观看视角围绕x轴旋转的角度。
替选地，偏航角α可以意味着用户的观看视角围绕x轴旋转的角度，俯仰角β可以意味着用户的观看视角围绕z轴旋转的角度，以及翻滚角γ可以意味着用户的观看视角围绕y轴旋转的角度。
换句话说，偏航角、俯仰角和翻滚角可以基于不同的旋转轴来定义，只要在一个VR设备的内部系统中使用相同的参考即可。
VR设备102包括位置传感器。当位置传感器检测到在VR设备102的观看视角方面的变化时，位置传感器获得关于VR设备102的观看视角的移动的信息，并且将该信息提供给VR设备102。针对VR设备102的观看视角的移动，位置传感器可以提供偏航角α、俯仰角β和翻滚角γ。此时，可以先前地定义针对VR设备102的观看视角的移动来测量或获得偏航、俯仰和翻滚分量的顺序。换句话说，可以在位置传感器或VR设备中先前地设置测量或获得VR设备102的观看视角的移动的顺序。例如，针对VR设备102的观看视角的移动，位置传感器可以按照偏航角α、俯仰角β和翻滚角γ的顺序来测量或获得偏航角α、俯仰角β和翻滚角γ。
位置传感器可以包括至少一个或多个各种传感器，诸如，用于测量加速度的加速度计，用于测量角速度的陀螺仪或作为地磁传感器的磁力计。作为测量VR设备的观看视角的移动的示例，可以通过加速度计或陀螺仪来测量翻滚角或俯仰角，并且可以通过陀螺仪或磁力计来测量偏航角。然而，这仅是用于获得关于VR设备的观看视角的移动的信息的方法的示例。本公开的实施例不限于此，并且可以采用任何其他各种类型的位置传感器或测量方法，只要其能够测量VR设备的移动即可。
下面参考图1和图3至图6来描述根据本公开的实施例的用于操作VR设备的方法。
图4示出根据本公开的实施例的VR设备的观看方向。图5是示出根据本公开的实施例的用于操作VR设备的方法的流程图。图6示出了根据本公开的实施例的VR设备中的球坐标与笛卡尔坐标之间的关系。
参考图1和图2，假定用户的第一观看视角105作为虚拟球形空间101中的参考。用户的第一观看视角105可以表示为球坐标(r1，Φ1，θ1)。这里，由于假定虚拟球形空间101的r为1，所以以下假定：r1＝1。用户的第一观看视角105可以意味着第一视点，该第一视点是作为当前被提供给用户103的VR内容的区域的第一视口的中心点。
佩戴VR设备102的用户103可以在使用VR设备102的同时在各个方向上移动其头部，并且根据该移动，用户的观看视角可以从用户的第一观看视角105改变为用户的第二观看视角105'。VR设备102可以提供反映用户的观看视角的改变的VR内容。此时，用户的观看视角的移动应当反映在提供给用户103的VR内容中。用户的第二观看视角105'可以意味着第二视点，该第二视点是作为在用户已经移动之后被提供给用户103的VR内容的区域的第二视口的中心点。
参考图1至图3以及图5，在步骤501中，标识用户的第一位置。这里，用户的第一位置意味着用户的第一观看视角105。用户的第一位置可以是VR内容的参考点和起始点，以及用户的第一位置可以被先前地定义并且存储在VR设备中，或者用户的第一位置可以通过位置传感器来测量和获得。替选地，可以通过将由位置传感器在先前位置中测量的用户的移动反映到第一位置来获得用户的第一位置。在本公开中，假定用户的第一位置被标识为球坐标(1，Φ1，θ1)。然而，用户的第一位置也可以标识为笛卡尔坐标(x1，x2，x3)。在这种情况下，可以跳过以下步骤503。
接下来，在步骤502中，测量用户的移动。这里，测量用户的移动可以意味着测量从用户的第一位置到用户的第二位置的用户的移动。换句话说，测量用户的运动可以意味着测量从用户的第一观看视角105到用户的第二观看视角105'的用户观看视角的移动。用户观看视角的移动可以通过VR设备中包括的位置传感器来测量。上面已经描述了位置传感器测量用户的观看视角的方法，并且以下不呈现其详细描述。从用户的第一位置到用户的第二位置的移动可以由位置传感器提供为偏航角α、俯仰角β和翻滚角γ。
为了将偏航角α、俯仰角β和翻滚角γ应用到用户的第一位置，在步骤503中，可以将表示为球坐标的用户的第一位置转换为笛卡尔坐标。
参考图6，可以使用如下等式(1)至(3)来获得从用户的第一位置(r1，Φ1，θ1)转换的笛卡尔坐标(x1，y1，z1)：
Figure BDA0002247368280000071
y1＝r sinθ -等式(2)
Figure BDA0002247368280000072
在此，可以假定r＝1。
步骤501至503不需要必须遵循图5所示或如上所述的顺序，并且可以以不同的顺序执行，或者某些步骤可以同时地执行。
再次参考图1至图3以及图5，在步骤504中，旋转并且转换用户的第一位置笛卡尔坐标X1＝(x1，y1，z1)以标识用户的第二位置。这里，用户的第二位置意味着用户的第二观看视角105'。可以经由使用旋转矩阵来实现从用户的第一位置到用户的第二位置的转换。作为偏航角α旋转矩阵(Ryaw)，可以使用等式(4)，并且可以如等式(5)中表示地将其乘以用户的第一位置笛卡尔坐标(X1)，以获得偏航角旋转位置(Xyaw)。
Figure BDA0002247368280000081
Figure BDA0002247368280000082
作为俯仰角β旋转矩阵(Rpitch)，可以使用等式(6)，并且可以如等式(7)表示地将其乘以用户的偏航角旋转位置(Xyaw)，以获得俯仰角旋转位置(Xpitch)。
Figure BDA0002247368280000083
Figure BDA0002247368280000084
如图3所示，翻滚角γ可以是0，并且可以仅采用偏航角α和俯仰角β来表示用户的移动。在这种情况下，可以如下获得用户的第二位置笛卡尔坐标：X2＝(x 2，y 2，z 2)＝Xpitch。
在某些情况下，必须转换翻滚角γ，在该情况下，可以适当地将偏航角α旋转矩阵(Ryaw)和俯仰角β旋转矩阵(Rpitch)相乘，以获得翻滚角γ旋转矩阵(Rroll)。
翻滚角γ旋转矩阵(Rroll)如等式(8)所表示，并且可以如等式(9)表示地将其乘以用户的俯仰角旋转位置(Xpitch)，以获得翻滚角旋转位置(Xroll)。
Figure BDA0002247368280000091
Xroll＝RrollXpitch -等式(9)
在这种情况下，可以如下获得用户的第二位置笛卡尔坐标：X2＝Xroll。
乘以旋转矩阵的顺序不限于以上所示，只要定义了乘以偏航角旋转矩阵、俯仰角旋转矩阵的顺序中的至少一个即可；或者针对一个VR设备的内部系统中使用的偏航角、俯仰角或翻滚角旋转轴参考，定义了翻滚角旋转矩阵。
如上所述，在下述情况下中本公开的实施例也是可能的：其中，偏航角意味着用户的观看视角围绕z轴旋转的角度，俯仰角意味着用户的观看视角围绕y轴旋转的角度，以及翻滚角意味着用户的观看视角围绕x轴旋转的角度。
在这种情况下，针对围绕z轴旋转p，可以使用等式(10)作为偏航角旋转矩阵(Ryaw)。
Figure BDA0002247368280000092
针对围绕y轴旋转q，可以使用等式(11)作为俯仰角旋转矩阵(Rpitch)。
Figure BDA0002247368280000093
针对围绕x轴旋转v，可以使用等式(12)作为翻滚角旋转矩阵(Rroll)。
Figure BDA0002247368280000094
在这种情况下，可以如等式(13)所示获得用户的第二位置笛卡尔坐标X2＝(x 2，y2，z 2)。
Figure BDA0002247368280000101
尽管在本公开的以上实施例中，用户的第一位置笛卡尔坐标X1＝(x1，y1，z1)按照偏航角旋转矩阵(Ryaw(p))、俯仰角旋转矩阵(Rpitch(q))和翻滚角旋转矩阵(Rroll(v))的顺序来乘以偏航角旋转矩阵(Ryaw(p))、俯仰角旋转矩阵(Rpitch(q))和翻滚角旋转矩阵(Rroll(v))以获得用户的第二笛卡尔坐标X2＝(x2，y2，z2)，但是乘以旋转矩阵的顺序为不限于此，只要针对在一个VR设备的内部系统中使用的翻滚角、俯仰角和翻滚角旋转轴参考来定义乘以翻滚角旋转矩阵、俯仰角旋转矩阵和翻滚角旋转矩阵的顺序即可。
在VR设备的内部系统中，当偏航角围绕z轴旋转、俯仰角围绕y轴旋转以及翻滚角绕x轴旋转角度时，位置传感器被设置为按照偏航角(p)、俯仰角(q)和翻滚角(v)的顺序来测量或获取用户的移动，以使用户的第一笛卡尔坐标(X1)可以按照偏航角旋转矩阵(Ryaw(p))、俯仰角旋转矩阵(Rpitch(q))和翻滚角旋转矩阵(Rroll(v))的顺序来乘以偏航角旋转矩阵(Ryaw(p))、俯仰角旋转矩阵(Rpitch(q))和翻滚角旋转矩阵(Rroll(v))以获得用户的第二位置笛卡尔坐标X2＝(x2，y2，z2)。
接下来，在步骤505中，将用户的标识的第二位置笛卡尔坐标(X2)转换为球坐标(r2，Φ2，θ2)。
可以使用等式(14)至(16)将用户的第二位置笛卡尔坐标X2＝(x2，y2，z2)转换为用户的第二位置球坐标(r2，Φ2，θ2)。这里，假定r2＝1。
Figure BDA0002247368280000102
Figure BDA0002247368280000103
Figure BDA0002247368280000104
这里，将等式(15)和式(16)乘以180°/π的原因是使弧度值与角度值匹配。
在等式(15)中z2为0的情况下，任何值可以用作z2。
在无法进行计算的情况下，诸如，当z2如等式(17)和(18)中那样表示时，或者如果在给定发散形式的tan-1的曲线图的情况下未明确指定结果值时，该规则可以被定义为使用特定值。
Figure BDA0002247368280000111
Figure BDA0002247368280000112
下面参考图7描述按照坐标轴的等式(16)至(18)当中的转换。
图7示出了根据本公开的实施例的坐标轴。
对于图7所示的坐标轴，等式(16)至(18)可以表示为等式(19)至(21)。
Figure BDA0002247368280000113
Figure BDA0002247368280000114
Figure BDA0002247368280000115
当获得用户的第二位置球坐标(r2，Φ2，θ2)时，VR设备可以向用户提供与VR内容的用户的第二位置球坐标(r2，Φ2，θ2)相对应的区域。
与用户的第二位置球坐标(r2，Φ2，θ2)的相对应区域可以是下述区域：在VR内容的投影结构上指定的、与VR设备的相对于对应于用户的第二位置球坐标(r2，Φ2，θ2)的点的视场(FOV)相对应的区域。或者，与用户的第二位置球坐标(r2，Φ2，θ2)相对应的区域可以是投影结构上的、与VR设备相对于对应于用户的第二位置的点的视口区域相对应的区域。替选地，与用户的第二位置球坐标(r2，Φ2，θ2)相对应的区域可以是投影结构上的、相对于对应于用户的第二位置的点在上下左右范围中预定的区域。另一方面，与用户的第二位置球坐标(r2，Φ2，θ2)相对应的区域可以是通过向用户的观看视角应用围绕用户的观看视角的旋转矩阵而获得的N个采样的第二位置所指定的区域，如应用N个采样点的方法中那样。
可以指定VR内容的与用户的第二位置球坐标(r2，Φ2，θ2)相对应的区域，只要提供VR内容使得VR内容的与用户的第二位置球坐标(r2，Φ2，θ2)相对应的点被定位在凝视用户的第二观看视角的用户的FOV的中心处或附近即可。
VR内容可以被存储在VR设备的存储器中，并且可以将VR内容的与用户的第二位置球坐标相对应的区域提供给用户。VR内容可以存储在服务器中，并且当VR设备向服务器发送用户的第一位置球坐标信息和用户的移动信息时，服务器计算第二位置笛卡尔坐标并且向VR设备提供与第二位置笛卡尔坐标相对应的区域的VR内容。当VR设备将第二位置笛卡尔坐标信息发送到服务器时，服务器可以将与其相对应的区域的VR内容发送到VR设备。
根据本公开的实施例，下面参考图8和图9描述当用户的标识的第二位置笛卡尔坐标对应于极点值时用于获得用户的第二位置球坐标的方法。
图8示意性地示出了当用户的第二位置的笛卡尔坐标对应于极点值时，使用环境采样来获得所标识的用户的第二位置的球坐标的方法。图9是示出根据本公开的实施例的用于操作VR设备的方法的流程图。
极点值指代用户头部的向上方向并且可以是y轴上的值，其从佩戴VR设备102的用户103的头部向上指向，如图8所示。换句话说，当用户的第二位置笛卡尔坐标是y轴上的(0，0，y2)时，可以说用户被定位在极点值处。然而，极点值不限于y轴上的任何值，并且极点值可以依赖于用户被定位在的坐标轴或平面而被确定为不同的值。例如，当用户被定位在xy平面上并且z轴是用户头部的向上指向时，z轴上的值可以成为极点值。
将描述当用户的第二位置笛卡尔坐标是y轴上的(0，0，y2)时获得用户的第二位置球坐标(r2，Φ2，θ2)。r2可以假定为1。
可以如以上参考前述实施例所描述地执行：标识用户的第一位置的步骤901，测量用户的移动的步骤902，将表示为球坐标的用户的第一位置转换为笛卡尔坐标的步骤903，以及旋转并且转换用户的第一位置笛卡尔坐标以标识用户的第二位置的步骤904。
接下来，在步骤905中，确定标识的用户的第二位置是否为极点值。除非用户的第二笛卡尔坐标是极点值，否则在905中将标识的用户的第二位置笛卡尔坐标简单地转换为球坐标。
然而，在用户的第二位置笛卡尔坐标为P'＝(0，0，y2)的情况下，在步骤907中，标识围绕用户的第一位置笛卡尔坐标P的N个点的第一位置。在图8中，围绕用户的第一位置笛卡尔坐标P选择四个点s1、s2、s3和s4。
接下来，在步骤908中，将上述旋转矩阵应用于围绕用户的第一位置笛卡尔坐标P的四个点s1、s2、s3和s4中的每个，从而标识四个点的第二位置s1′、s2′、s3′和s4′。
然后，在步骤909中，将四个点的第二位置s1'、s2'、s3'和s4'转换为球坐标。通过如上所述的将笛卡尔坐标转换为球坐标的方法，可以将四个点的第二位置s1'、s2'、s3'和s4'转换为球坐标。
可以从四个点的第二位置的球坐标获得四个第二位置Φ值(Φs1'，Φs2'，Φs3'，Φs4')。在步骤910中，针对四个第二位置Φ值计算平均值。可以使用等式(22)至(25)来获得四个第二位置Φ值的平均值。
di＝||P-si|| -等式(22)
Figure BDA0002247368280000131
Figure BDA0002247368280000132
Figure BDA0002247368280000133
Wi表示权重，并且Wi可以设置为与距用户的第一位置笛卡尔坐标P的距离成反比例。
通过假定
Figure BDA0002247368280000134
与用户的第二位置P'的球坐标(1，Φ2，θ2)中的Φ2相对应并且使用等式(16)获得θ2，可以获得用户的第二位置P'的球坐标(1，Φ2，θ2)。
根据本公开的实施例，下面参考图10至图12描述用于产生VR内容的方法。
图10A至图10D示意性地示出了根据本公开的实施例的用于产生VR内容的方法。图11A至图11C示出了根据本公开的实施例的用于捕获图像以产生VR内容中包含的视觉内容的设备。图12A至图12C示出了2D投影方法和2D投影图像的示例。
首先，可以将捕获的图像拼接(stitched)到虚拟球形投影结构上，如图10A所示。拼接可能意味着排列捕获的图像以覆盖投影结构的表面。可以在各个方向上捕获图像以投影到球形投影结构，如图10A所示。
参考图11，图像可以由在每个表面上具有相机的四面体相机捕获，如图11A所示。图像可以由在每个表面上具有相机的立方体相机捕获，如图11B所示。图像可以由在每个表面上具有相机的十二面体相机捕获，如图11C所示。然而，也可以采用其他各种设备和方法，只要它们可以在各个方向上捕获图像即可。
返回参考图10B，当如图10A所示将多个捕获的多方向图像拼接到虚拟球形投影结构的表面上时，可以旋转虚拟球形投影结构的坐标轴，如图10B所示。当用户的视点移动时，可以执行球形投影结构的坐标轴的旋转。可以应用结合图1至图7、根据实施例描述的方法以旋转虚拟球形投影结构的坐标轴。
在旋转图像拼接的虚拟球形投影结构之后，拼接在虚拟球形投影结构上的图像被转换为二维(2D)投影图像(或图片)，如图10C所示。
参考图12A来描述用于转换2D投影图像的方法。拼接在虚拟球形投影结构上的图像可以在四面体2D平面上附接在一起，从而生成2D投影图像1201。拼接在虚拟球形投影结构上的图像可以由四面体相机捕获。
拼接在虚拟球形投影结构上的图像可以在2D平面上附接在一起，从而生成立方体2D投影图像1202。此时，拼接在虚拟球形投影结构上的图像可以由立方体相机捕获。图12B示出了立方体2D投影图像1202的示例。
拼接在虚拟球形投影结构上的图像可以在2D平面上附接在一起，从而生成八面体2D投影图像1203。拼接在虚拟球形投影结构上的图像可以由八面体相机捕获。
拼接在虚拟球形投影结构上的图像可以在2D平面上附接在一起，从而生成十二面体2D投影图像1204。拼接在虚拟球形投影结构上的图像可以由十二面体相机捕获。
拼接在虚拟球形投影结构上的图像可以在2D平面上附接在一起，从而生成二十面体2D投影图像1205，如图12C所示。拼接在虚拟球形投影结构上的图像可以由二十面体相机捕获。
也可以采用用于产生2D投影图像的任何其他方法，其可以捕获各个方向上的图像并且将图像投影到2D平面上。
用于将拼接在球形位置上的图像转换为2D投影图像的系统的示例可以是表1所标识的系统。
[表1]
5.1.1针对一个采样位置的等距矩形投影
针对该语句的输入为：
-pictureWidth和pictureHeigh，分别地是亮度采样中的单眼投影亮度图片的宽度和高度，以及
-分别地沿着水平轴和垂直轴的采样位置(i，j)的中心点。
该语句的输出是：
-相对于在5.1中指定的坐标轴针对采样位置的以度数为单位的球坐标(
Figure BDA0002247368280000152
θ)
以度数为单位的用于亮度采样位置的球坐标(
Figure BDA0002247368280000151
θ)通过以下等式给出：
φ＝(0.5-i+pictureWidth)*360
θ＝(0.5-j+pictureHeight)*180
返回参考图10D，可以将2D投影图像打包，从而产生打包的图像(或图片)。打包是将2D投影图像划分为区域并且对其进行重新映射的方法。打包可以包括转换、调整大小和重新定位。可以执行打包以通过运动图像专家组(MPEG)媒体传输(MMT)方法或MPEG的基于超文本传输协议(HTTP)的动态自适应流传输(DASH)方法来发送VR内容。
在打包2D投影图像时，可以分配每位置的权重，如图10D所示，该权重可以与通过采用分配给第二区域而不是第一区域和第三区域的权重来进行打包而获得的图像有关。用户的视点可以定位在第二区域中。恢复图像时，2D投影图像或打包图像的中心可能遭受比边缘更小的损失。
可以采用各种打包方法。例如，可以打包整个2D投影图像，或者可以打包从移位的用户的视点到视口或FOV的区域。此外，可以将诸如听觉内容的其他内容信息一起打包。
打包的数据可以是VR内容，并且可以以MMT方法或DASH方法从服务器发送到VR设备。
在接收到打包数据时，VR设备可以以相反的顺序执行产生打包数据的操作以渲染VR内容。
VR设备对打包的数据进行解包(unpack)。用于对打包的数据进行解包的系统的示例可以是如表2、表3和表4所示的系统。
[表2]
5.4针对基于矩形区域打包的采样位置的转换
针对该语句的输入为：
-整数采样单位中的被打包区域内的采样位置(x，y)；
-采样单位中的被投影图片中的区域的宽度和高度(projRegWidth，projRegHeight)；
-采样单位中的被打包图片中的区域的宽度和高度(packedRegWidth，packedRegHeight)；
-转换类型(transformType)；以及
-针对采样位置的偏移值(offsetX，offsetY)。
该语句的输出为：
-采样单位中的投影区域内的采样位置(i，j)的中心点。
输出通过下述导出：
Figure BDA0002247368280000171
[表3]
7.2.1.2将解码图片内的亮度采样位置相对于全局坐标轴映射到角坐标
单眼投影的亮度图片的宽度和高度(分别地为pictureWidth和pictureHeight)通过下述导出：
-变量HorDiv和VerDiv通过下述导出：
○如果缺少StereoVideoBox，则HorDiv和VerDiv被设置为等于1。
○否则，如果存在StereoVideoBox并且指示并排帧打包，则HorDive被设置为等于2，而VerDiv被设置为等于1。
○否则，(存在StereoVideoBox并且指示上下帧打包)，则HorDive被设置为等于1，而VerDiv被设置为等于2。
-如果缺少RegionWisePackingBox，则pictureWidth和pictureHeight被设置为分别地等于width/HorDiv和height/VerDiv，其中，width和height是VisualSampleEntry的语义元素。
-否则，pictureWidth和pictureHeight被设置为分别地等于proj_picture_width和proj_picture_height。
[表4]
如果存在RegionWisePackingBox，则针对0至num_regions的范围中的每个区域n适用下述：
-对于属于具有packing_type[n]＝0(即，具有基于矩形区域的打包)的第n区域的每个采样位置(xPackPicture，yPackPicture)，适用下述：
○投影图片的相对应的采样位置(xProjPicture，yProjPicutre)通过下述导出
■x被设置为等于xPackedPicture-packed_reg_left[n]
■x被设置为等于xPackedPicture-packed_reg_top[n]
■offsetX被设置为等于0.5
■offsetY被设置为等于0.5
■调用语句5.4，其中，x，y，packed_reg_width[n]，packed_reg_height[n]，proj_reg_width[n]，proj_reg_heigh[n]，transform_type[n]，offsetX和offsetY作为输入，并且输出被分配给采样位置(i，j)。
■xProjPicture被设置为等于proj_reg_left[n]+i
■当xProjPicture大于或等于proj_picture_width时，xProjPicture被设置为等于xProjPicture-proj_picture_width
■yProjPicture被设置为等于proj_reg_top[n]+j
○调用语句7.2.2.4，其中，xProjPicture，yProjpicture和pictureHeight作为输入，并且输出指示对于属于解码的图片中的第n区域的亮度采样位置(xPackedPicture，yPackedPicture)的角坐标和构成帧索引(对于帧打包的立体视频)。
否则，针对解码的图片内的每个采样位置(x，y)，下述适用：
-xProjPicture被设置为x+0.5
-yProjPicute被设置为y+0.5
-调用语句7.2.2.4，其中，xProjPicture，yProjPicture，pictureWidth和pictureHeight作为输入，并且输出指示对于属于解码的图片内的采样位置(x，y)的角坐标和构成帧索引(对于帧打包的立体视频)。
VR设备可以从服务器接收用于对打包的数据进行解包的信息。用于进行解包的信息的示例可以如表5中所示。
[表5]
7.2.4基于区域的打包框(box)
7.2.4.1定义
Box类型‘rwpk’
容器方案信息框(‘schi’)
强制否
量零或一
RegionWisePackingBox指示投影图片被基于区域打包，并且需要在渲染之前解包
7.2.4.2语法
Figure BDA0002247368280000191
表5中所示的语义可能与表6、表7或表8中所示的语义相同。
[表6]
7.2.4.3语义
num_regions指定打包区域的数量。值0被保留
proj_picutre_width和proj_picture_height分别地指定投影的图片的宽度和高度。proj_picture_width和proj_picture_heigth应当大于0
guard_band_flag[i]等于0指定第i区域不具有保护带，guard_band_flag[i]等于1指定第i区域具有保护带。
packing_type[i]指定基于区域打包的类型。packing_type[i]等于0指示基于矩形区域的打包。其他值被保留。
left_gb_width[i]指定以两个亮度采样为单位在第i区域左侧的保护带的宽度
right_gb_width[i]指定以两个亮度采样为单位在第i区域右侧的保护带的宽度
top_gb_width[i]指定以两个亮度采样为单位在第i区域上方的保护带的高度
bottom_gb_width[i]指定以两个亮度采样为单位在第i区域下方的保护带的高度
当guard_band_flg[i]等于1时，left_gb_width[i]，right_gb_width[i]，top_gb_width[i]或bottom_gb_width[i]应当大于0.
包括保护带(如果存在)的第i区域不应当与(包括其保护带的)任何其他区域重叠
gb_not_used_for_pred_flg[i]等于0指定保护带可以或可以不被用于帧间预测(inter prediction)处理。gb_not_used_for_pred_flg[i]等于1指定保护带的采样值不在帧间预测处理中。
注释1：当gb_not_used_for_pred_flag[i]等于1时，解码图片的保护带中的采样值可以重写，即使解码的图片被用作要被解码的随后的图片的帧间预测的参考时也如此。例如，通过解码的和重新投影的另一区域的采样，区域的内容可以无缝地扩展到其保护带。
[表7]
gb_type[i]如下指定用于第i区域的保护带的类型：
-gb_type[i]等于0指定相对于区域的内容的保护带的内容未指定。当gb_not_used_for_pred_flag等于0时，gb_type不应当等于0。
-gb_type[i]等于1指定保护带的内容对于区域内的以及区域边界之外小于一个像素的子像素值的差值是足够的。
注释2：当区域的边界采样被水平地或垂直地复制到保护带时，可以使用gb_type等于1。
-gb_type[i]等于2指定保护带的内容表示以从区域的图片质量逐渐地改变到周围邻近区域的图片质量的质量的实际图像内容
-gb_type[i]等于3指定保护带的内容表示以区域的图片质量的实际图像内容
-gb_type[i]值大于3被保留。
proj_reg_width[i]，proj_reg_height[i]，proj_reg_top[i]和proj_reg_left[i]在具有宽度和高度分别地等于proj_picture_width和proj_picture_height的投影图片中被以像素为单位来指示。
proj_reg_width[i]指定投影图片的第i区域的宽度。proj_reg_width[i]应当大于0。
proj_reg_height[i]指定投影图片的第i区域的高度。proj_reg_height[i]应当大于0。
proj_reg_top[i]和proj_reg_left[i]指定投影图片的顶部采样行和最左采样列。值应当在从指示投影图片的左上角的0(包括0)分别地到proje_picture_height和proj_picutre_width(不包括proje_picture_height和proj_picutre_width)的范围中。
proj_reg_width[i]和proj_reg_left[i]应当被约束为使得proj_reg_width[i]+proj_reg_left[i]小于proj_picture_width。
proj_reg_height[i]和proj_reg_top[i]应当被约束为使得proj_reg_height[i]+proj_reg_top[i]小于proj_picture_height。
当投影图片是立体的时，proj_reg_width[i]，proj_reg_height[i]，proj_reg_top[i]和proj_reg_left[i]应当使得由这些字段在投影图片上标识的区域在投影图片的单个构成图片内。
[表8]
transform_type[1]指定应用到投影图片的第i区域的旋转和镜像以在编码前对其映射从而打包。当transfomr_type[i]指定旋转和镜像两者时，在镜像之后应用旋转。指定下述值并且保留其他值：
0：不进行变换
1：水平地镜像
2：旋转180度(逆时针)
3：在水平地镜像之后旋转180度(逆时针)
4：在水平地镜像之后旋转90度(逆时针)
5：旋转90度(逆时针)
6：在水平地镜像之后旋转270度(逆时针)
7：旋转270度(逆时针)
packed_reg_width[i]，packed_reg_height[i]，packed_reg_top[i]和packed_reg_left[i]分别地指定打包的图片中的区域的宽度、高度、顶部采样行和最左采样列。对于0至num_regions-1(包括num_regions-1)的范围中的i的每个值，packed_reg_width[i]，packed_reg_height[i]，packed_reg_top[i]和packed_reg_left[i]指定的矩形应当不与packed_reg_width[j]，packed_reg_height[j]，packed_reg_top[j]和packed_reg_left[j]指定的矩形重叠，对于在0至i-1(包括i-1)的范围中的j的任何值。
VR设备可以将解包的2D投影图像映射到虚拟球形投影结构。用于将2D投影图像映射到虚拟球形投影结构的系统的示例可以是表9中所示的系统。
[表9]
7.2.1.3从投影图片的采样位置到相对于全局坐标轴的角坐标的转换
针对该语句的输入
-投影图片内的采样位置的中心点(xProjPicutre，yProjPicture)。
-图片宽度pictureWidth，以及
-图片高度pictureHeight。
注释：对于立体视频，该投影图片是上下或并排帧打包的。
该语句的输出为
-角坐标(yawGlobal，ptichGlobal)，单位为相对于全局坐标轴的度数，和
-当StereoVideoBox存在时，构成图片(constituentPicture)的索引等于0或1。
通过下述顺序步骤导出输出：
-如果xProjPicture大于或等于pictureWidth或者yProjPicture大于pictureHeight，则适用下述：
○constituentPicture被设置为1
○如果xProjPicture大于或等于pictureWidth，则xProjPicture被设置为xProjPicture-pictureWidth
○如果yProjPicture大于pictureHeight，则yProjPicture被设置为yProjPictur-pictureHeight。
-否则，constituentPicture被设置为等于0。
-调用语句5.2.1，其中，pictureWidth，pictureHeight，xProjPicture和yProjPicture作为输入，并且输出被分配给yawLocal，pitchLocal。
-如果存在ProjectionOrientationBox，则调用语句5.3，其中yawLocal，pitchLocal，orientation_yaw÷216，orientation_pitch÷216和orientation_roll÷216作为输入，并且输出被分配给yawGlobal和pitchGlobal。
-否则，yawGlobal被设置为等于yawLocal并且pitchGlobal被设置为等于pitchLocal。
VR设备可以从服务器接收用于将2D投影图像映射到投影结构的信息。关于2D投影图像的信息的示例可以与表10至表12所示的信息相同。
[表10]
7.2.2投影全向视频框
7.2.2.1定义
Box类型：‘povd’
容器：方案信息框(‘schi’)
强制：是，当scheme_type等于‘podv’时
量：零或一
通过下述指示投影图片的属性：
●投影图片的投影格式(C用于跟踪中包含的单眼视频，CL和CR用于立体视频的左视图和右视图)；
●投影结构相对于全局坐标轴的定向；以及
●投影的全向视频的球形覆盖(即，由投影图片表示的球形表面上的区域)
7.2.2.2语法
Figure BDA0002247368280000241
7.2.2.3语义
projection_type指示矩形解码器图片输出采样到语句5.1中所指定的球形坐标系的特定映射，其中，φ是方位角(经度)或YawAngle和θ是高程(elevation)(纬度)或PitchAngle。projection_type等于0指示如语句1中所指定的等距矩形投影。projection_type的其他值被保留。
[表11]
7.2.5投影定向框
7.2.5.1定义
Box类型：‘pror’
容器：投影全向视频框(‘povd’)
强制：否
量：零或一
当投影格式为等距矩形投影时，此框中的字段分别提供当投影到球面时投影图片的中心点的偏航角、俯仰角和翻滚角。在立体全向视频的情况下，这些字段分别应用于每个视图。当不存在ProjectionOrientationBox时，字段orientation_yaw,orientation_pitch和orientation_roll都被认为等于0。
7.2.5.2语法
Figure BDA0002247368280000242
7.2.5.3语义
orientation_yaw，orientation_pitch和orientation_roll分别地指定当投影到球形表面时，投影图片的中心相对于全局坐标轴的以2-16为单位的偏航角、俯仰角和翻滚角。orientation_yaw应当在-180*216至180*216-1(包含)的范围中。orientation_pitch应当在-90*216至90*216-1(包含)的范围中。orientation_roll应当在-180*216至180*216-1(包含)的范围中。
[表12]
7.2.6覆盖信息框
7.2.6.1定义
Box类型：‘covi’
容器：投影全向视频框(‘povd’)
强制：否
量：零或一
该框提供关于与跟踪相关联的球形表面上的区域的信息，并且通过与容器ProjectedOmnidirectionalVideoBox相关联的投影图片来表示。缺少该框指示投影的图片是全球形表示。
注释：当CoverageInformationBox被包括在图块(tile)基本跟踪中时，如在ISO/IEC 14496-15中所指定的，其提供了与图块基本跟踪相关联的、关于由图块跟踪所表示的球形表面上的区域的信息，如在ISO/IEC14496-15中所指定的。
当存在时，该框中的字段在ProjectionOrientationBox的应用之后被应用。
当投影格式是等距矩形经投影时，由投影的图片表示的球形区域是通过两个偏航圆形和两个俯仰圆形指示的区域，如图5-4所示。
7.2.6.2语法
Figure BDA0002247368280000251
7.2.6.3语义
当RegionOnSphereStruct(1)被包括在CoverageInformationBox中时，适用下述：
center_yaw，center_pitch和center_roll指定由投影图片表示的、相对于通过ProjectionOrientationBox指定的坐标系的以2-16度为单位的球形区域的中心点。center_yaw应当在-180*216至180*216-1(包含)的范围中。center_pitch应当在-90*216至90*216-1(包含)的范围中。center_roll应当在-180*216至180*216-1(包含)的范围中。
hor_range和ver_range分别地指定由投影图片表示的区域中的、以2-16度为单位的水平范围和垂直范围。hor_range和ver_range指定通过区域的中心点的范围。hor_range应当在1至720*216(包含)的范围中，ver_range应当在1至180*216(包含)的范围中。
插值应当等于0。
可以通过将2D投影图像映射到虚拟球形投影结构来获得VR设备。
VR内容不需要必须地从服务器接收，并且可以存储在VR设备的存储器中。另外，可以跳过2D投影、打包和发送VR内容的操作。
根据上述实施例，将捕获的图像拼接到球形投影结构上，然后旋转坐标，以及产生、打包和发送2D投影图像。然而，可以与捕获的图像一起产生2D投影图像，可以在2D投影图像上指定第一视点和其已被移位到的第二视点的位置，以及可以打包和发送2D投影图像。
下面参考图13描述VR设备的配置。
图13示意性地示出了根据本公开的实施例的VR设备的配置。
VR设备1300可以包括：位置传感器1301，测量VR设备1300的移动；存储器1302，存储VR内容；处理器1303，控制VR设备1300的所有操作；显示器1304，包括显示提供给用户的VR内容的显示屏；以及收发器1305，向服务器发送信号和从服务器接收信号。
由本文中阐述的VR设备1300执行的所有方案或方法可以被理解为是在处理器1303的控制下执行的。
本文中阐述的VR内容的全部或部分可以永久地或临时地存储在存储器1302中。用于由VR设备1300执行的所有方案或方法的算法的全部或部分可以临时地或永久地存储在存储器1302中。
位置传感器1301、存储器1302、处理器1303、显示器1304和收发器1305不需要必须地实施为单独的设备，而是可以以单个芯片的形式在单个配置单元中实施。此外，位置传感器1301、存储器1302、处理器1303、显示器1304和收发器1305中的每个不需要必须地被包括并且一些可以被省略。
图14示意性地示出了根据本公开的实施例的服务器的配置。
服务器1400可以包括：收发器1401，向VR设备发送信号和从VR设备接收信号；存储器1402，存储VR内容；以及处理器1403，控制服务器1400的所有操作。由本文中阐述的服务器1400执行的所有方案或方法可以被理解为是在处理器1403的控制下执行的。
本文中阐述的VR内容的全部或部分可以永久地或临时地存储在存储器1402中。由本文中阐述的服务器执行的所有方案或方法的算法的全部或部分算法可以临时地或永久地存储在存储器1402中。
然而，处理器1402、存储器1402和收发器1401不必须地分别地实施为单独的设备，而是可以以单个芯片的形式在单个配置单元中实施。
图1至图14中示出的所有配置或操作可以被解释为或可以不被解释为实践本公开的必要组件，并且可以仅采用组件中的一些来实施本公开。
可以通过在服务器或VR设备的任何组件中配备有保持相对应的程序代码的存储设备来实现上述操作。即，服务器或VR设备中的处理器可以通过由处理器或中央处理单元(CPU)读取并且运行存储在存储设备中的程序代码来执行上述操作。
可以使用硬件电路、基于互补金属氧化物半导体的逻辑电路、固件、软件和/或诸如硬件、固件和/或嵌入在机器可读介质中的软件的组合的硬件电路来操作服务器或VR设备中的各种组件或模块。可以使用诸如晶体管、逻辑门或专用集成电路(ASIC)的电子电路来执行各种电子结构和方法。
根据本公开的方面，VR设备可以提供VR内容，该VR内容反映用户改变她正在观看的方向(例如，通过转动或移动她的头部)，从而允许对于用户更加逼真的VR体验。
此外，VR设备可以标识用户正在观看并且从其发送VR内容的区域，从而提高VR内容的传输效率。
尽管已经参考某些实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离本公开的精神和范围的情况下，可以在形式上和细节上进行各种改变，本公开的精神和范围不由详细描述和实施例而是由所附权利要求书及其等同物限定。

Claims (12)

1.一种用于处理虚拟现实VR内容的电子设备，包括：
显示器；以及
处理器，耦接到显示器，并且被配置为控制电子设备以：
利用第一笛卡尔坐标标识VR内容上的第一位置的第一球坐标；
标识包括偏航旋转分量、俯仰旋转分量和翻滚旋转分量的旋转信息，所述偏航旋转分量指示围绕z轴的旋转，所述俯仰旋转分量指示围绕y轴的旋转，所述翻滚旋转分量指示围绕x轴的旋转，
基于第一笛卡尔坐标和旋转信息来标识第二位置的第二笛卡尔坐标；
将第二位置的第二笛卡尔坐标转换为第二位置的第二球坐标；以及
基于第二位置的第二球坐标来渲染VR内容的区域，
其中，第二位置的第二笛卡尔坐标是通过将第一笛卡尔坐标与如下定义的矩阵相乘来标识的：
Figure FDA0003070314280000011
其中，p是对应于翻滚旋转分量的角度，q是对应于俯仰旋转分量的角度，以及v是对应于偏航旋转分量的角度。
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为将第一位置的第一球坐标转换为第一位置的第一笛卡尔坐标。
3.根据权利要求1所述的电子设备，其中，所述第一位置和第二位置是与VR内容有关的视点。
4.根据权利要求1所述的电子设备，其中，所述旋转信息由处理器标识还被配置为估计电子设备的用户到第一位置的相对运动。
5.根据权利要求1所述的电子设备，还包括，所述显示器被配置为向用户提供所述区域。
6.根据权利要求1所述的电子设备，还包括收发器，被配置为向服务器发送关于第二位置的第二球坐标的信息，并且从服务器接收关于与VR内容中的第二位置的第二球坐标相对应的区域的信息。
7.一种用于通过电子设备处理虚拟现实VR内容的方法，所述方法包括：
利用第一笛卡尔坐标标识VR内容上的第一位置的第一球坐标；
标识包括偏航旋转分量、俯仰旋转分量和翻滚旋转分量的旋转信息，所述偏航旋转分量指示围绕z轴的旋转，所述俯仰旋转分量指示围绕y轴的旋转，所述翻滚旋转分量指示围绕x轴的旋转，
基于第一笛卡尔坐标和旋转信息来标识第二位置的第二笛卡尔坐标；
将第二位置的第二笛卡尔坐标转换为第二位置的第二球坐标；以及
基于第二位置的第二球坐标来渲染VR内容的区域，
其中，第二位置的第二笛卡尔坐标是通过将第一笛卡尔坐标与如下定义的矩阵相乘来标识的：
Figure FDA0003070314280000021
其中，p是对应于翻滚旋转分量的角度，q是对应于俯仰旋转分量的角度，以及v是对应于偏航旋转分量的角度。
8.根据权利要求7所述的方法，其中，利用第一笛卡尔坐标标识VR内容上的第一位置的第一球坐标包括将第一位置的第一球坐标转换为第一位置的第一笛卡尔坐标。
9.根据权利要求7所述的方法，其中，所述第一位置和第二位置是与VR内容有关的视点。
10.根据权利要求7所述的方法，其中，标识旋转信息还包括估计电子设备的用户到第一位置的相对运动。
11.根据权利要求7所述的方法，还包括向用户提供所述区域。
12.根据权利要求7所述的方法，还包括向服务器发送关于第二位置的第二球坐标的信息，并且从服务器接收关于与VR内容中的第二位置的第二球坐标相对应的区域的信息。
CN201880027466.7A 2017-04-28 2018-04-27 提供内容的方法及其装置 Active CN110574369B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20170055773 2017-04-28
KR10-2017-0055773 2017-04-28
US201762529851P 2017-07-07 2017-07-07
US62/529,851 2017-07-07
KR10-2017-0157376 2017-11-23
KR1020170157376A KR102402046B1 (ko) 2017-04-28 2017-11-23 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치
PCT/KR2018/004966 WO2018199701A1 (en) 2017-04-28 2018-04-27 Method for providing content and apparatus therefor

Publications (2)

Publication Number Publication Date
CN110574369A CN110574369A (zh) 2019-12-13
CN110574369B true CN110574369B (zh) 2021-08-03

Family

ID=68772059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027466.7A Active CN110574369B (zh) 2017-04-28 2018-04-27 提供内容的方法及其装置

Country Status (2)

Country Link
EP (1) EP3616400A4 (zh)
CN (1) CN110574369B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430806A (en) * 1993-09-07 1995-07-04 Loral Vought Systems Corporation System for changing perspective of 3-D images obtained from reflected energy signals
CN104106262A (zh) * 2012-02-08 2014-10-15 微软公司 使用深度相机的头部姿态跟踪
CN104932698A (zh) * 2015-06-30 2015-09-23 广景视睿科技（深圳）有限公司 一种手持交互设备装置及其投影交互方法
CN106165415A (zh) * 2014-04-07 2016-11-23 诺基亚技术有限公司 立体观看
CN106249918A (zh) * 2016-08-18 2016-12-21 南京几墨网络科技有限公司 虚拟现实图像显示方法、装置及应用其的终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430806A (en) * 1993-09-07 1995-07-04 Loral Vought Systems Corporation System for changing perspective of 3-D images obtained from reflected energy signals
CN104106262A (zh) * 2012-02-08 2014-10-15 微软公司 使用深度相机的头部姿态跟踪
CN106165415A (zh) * 2014-04-07 2016-11-23 诺基亚技术有限公司 立体观看
CN104932698A (zh) * 2015-06-30 2015-09-23 广景视睿科技（深圳）有限公司 一种手持交互设备装置及其投影交互方法
CN106249918A (zh) * 2016-08-18 2016-12-21 南京几墨网络科技有限公司 虚拟现实图像显示方法、装置及应用其的终端设备

Also Published As

Publication number Publication date
EP3616400A1 (en) 2020-03-04
EP3616400A4 (en) 2020-05-13
CN110574369A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
US10545570B2 (en) Method for providing content and apparatus therefor
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
CA2888943C (en) Augmented reality system and method for positioning and mapping
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
CN107646126B (zh) 用于移动设备的相机姿态估计
CN107636534B (zh) 用于图像处理的方法和系统
CN109891465B (zh) 用于处理虚拟现实图像的方法和装置
US8937592B2 (en) Rendition of 3D content on a handheld device
US20170280133A1 (en) Stereo image recording and playback
US10755472B2 (en) Method and apparatus for displaying image based on user motion information
WO2019006650A1 (zh) 虚拟现实内容的显示方法和装置
JPH0879622A (ja) 広角画像における歪み解除の方法および装置
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
JP6310898B2 (ja) 画像処理装置、情報処理装置、および画像処理方法
EP3520077A1 (en) Method and apparatus for rectified motion compensation for omnidirectional videos
WO2018093483A1 (en) Oriented image stitching for spherical image content
US20180310025A1 (en) Method and technical equipment for encoding media content
US10115227B2 (en) Digital video rendering
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
GB2566006A (en) Three-dimensional video processing
CN110574369B (zh) 提供内容的方法及其装置
Da Silveira et al. Visual computing in 360: Foundations, challenges, and applications
CN108171802B (zh) 一种云端与终端结合实现的全景增强现实实现方法
KR102402046B1 (ko) 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant