CN111226264A - 回放装置和方法以及生成装置和方法 - Google Patents

回放装置和方法以及生成装置和方法 Download PDF

Info

Publication number
CN111226264A
CN111226264A CN201880066741.6A CN201880066741A CN111226264A CN 111226264 A CN111226264 A CN 111226264A CN 201880066741 A CN201880066741 A CN 201880066741A CN 111226264 A CN111226264 A CN 111226264A
Authority
CN
China
Prior art keywords
model
image
wide
enlargement
angle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880066741.6A
Other languages
English (en)
Inventor
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111226264A publication Critical patent/CN111226264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/332—Force measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Anesthesiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hematology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开内容涉及回放装置和方法以及生成装置和方法，其被配置成使得能够以使恶心的发生率最小化来放大或缩小显示的图像。回放装置包括顶点数据变换单元，在选择放大或缩小完整球面图像时，顶点数据变换单元生成用于放大和缩小的3D模型。本公开内容适用于例如下述回放装置等，该回放装置根据观看者观看完整球面图像的方向来生成透视投影的图像作为显示图像。

Description

回放装置和方法以及生成装置和方法
技术领域
本公开内容涉及回放装置和方法以及生成装置和方法。具体地，本公开内容涉及能够在防止发生晕动症的同时执行图像的放大/缩小显示的回放装置和方法以及生成装置和方法。
背景技术
通过将入射在一个点上的所有方向上的光线记录为诸如RGB的像素值，获得允许环视任何方向的整个天球图像或全向图像。该像素值通常被记录为诸如等量矩形(equirectangular)投影的平面矩形图像。在回放时，该平面矩形图像被粘贴到虚拟单位球面，并且执行从球体的中心环视的呈现，这使得能够再现原始光线方向和RGB值。
由于上述全向图像是通过记录入射在一个点上的光线而获得的，因此无法再现来自不同视点的图像，并且只能再现以球体的中心为基准的旋转运动。作为自由度，由于在总共六个自由度(包括与旋转对应的三个自由度偏航、俯仰和滚转以及与运动对应的三个自由度x、y和z)中，只能实现旋转分量的三个自由度，因此在某些情况下它称为三自由度(3DoF)全向图像。
显示此3DoF全向图像的方式的示例包括：将3DoF全向图像显示在诸如电视机的固定显示器上并且观看/收听同时使用控制器来改变显示方向的方式；将3DoF全向图像显示在手持的移动终端的屏幕上同时基于从终端的内置陀螺仪传感器获得的姿态信息来改变显示方向的方式；或者将3DoF全向图像显示在安装在头部上的头戴式显示器(在下文中也称为HMD)上同时在头部的运动中反映显示方向的方式。
由于3DoF全向图像不具有来自图像中的一个点的运动的自由度，因此无法执行使图像看起来更近的操作。然而，需要允许像望远镜那样通过放大图像来进行观看，以便能够识别细节。
在电视机、移动终端等的平面显示器中，可以通过改变显示视角(或视野(FOV))来执行放大操作。由于在通过普通的平面显示器进行的图像观看/收听中，通常拍摄视角和显示视角可能不一定彼此一致，因此即使在改变显示视角的情况下也减少感到不适。
另一方面，由于HMD被佩戴在头部上，因此在观看/收听期间的显示视角基本上是固定的。另外，通常的HMD配备有用于检测观看者/收听者的头部运动的传感器，并且HMD执行通过反映观看者/收听者的视线或位置而获得的图像显示。在3DoF全向图像中，只有旋转运动是可再现的，但是通过将该旋转运动与头部的旋转运动精确匹配，可以体验到仿佛进入了虚拟世界一样的沉浸感。
在该描述中，在通过以与平板显示器相同的方式简单地改变视角并且放大通过HMD观看的图像来对该图像执行放大/缩小操作(缩放操作)的情况下，头部的旋转角度与图像的旋转角度不匹配。在一个示例中，图像在放大时看起来比头部的旋转移动得快了图像放大尺寸。在许多情况下，这引起不适，这导致称为VR晕动症等的令人不快的感觉。
在一个示例中，专利文献1和2公开了改变HMD中的显示图像的视角的示例。
引用列表
专利文献
专利文献1：日本专利申请公开第2015-125502号
专利文献2：日本专利申请公开第2016-24751号
发明内容
本发明要解决的问题
然而，由于专利文献1和2没有教导针对头部的旋转角度与图像的旋转角度不匹配的现象的任何对策，因此无法从根本上解决晕动症的问题。
鉴于这样的情况而作出本公开内容，并且本公开内容旨在能够执行防止发生晕动症的图像的放大/缩小显示。
问题解决方案
根据本公开内容的第一方面的回放装置包括3D模型生成单元，该3D模型生成单元被配置成在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型。
根据本公开内容的第一方面的回放方法包括：在选择放大/缩小广角图像的情况下，由回放装置生成用于放大/缩小的3D模型。
根据本公开内容的第一方面，在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型。
根据本公开内容的第二方面的生成装置包括：广角图像生成单元，其被配置成生成映射到预定3D模型的广角图像以用于回放装置中，该回放装置包括3D模型生成单元，该3D模型生成单元被配置成在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型。
根据本公开内容的第二方面的生成方法包括：由生成装置生成映射到预定3D模型的广角图像以在回放装置中使用，该回放装置包括3D模型生成单元，该3D模型生成单元被配置成在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型。
根据本公开内容的第二方面，在选择放大/缩小广角图像的情况下生成广角图像，该广角图像被映射到预定3D模型以在回放装置中使用，该回放装置包括被配置成生成用于放大/缩小的3D模型的3D模型生成单元。
此外，可以通过使计算机执行程序来实现本公开内容的根据第一方面的回放装置和根据第二方面的生成装置。
此外，由计算机执行以实现本公开内容的根据第一方面的回放装置和根据第二方面的生成装置的程序可以通过经由传输介质传输或者通过记录在记录介质上来提供。
回放装置和生成装置可以是独立的装置，或者可以是构成单个设备的内部模块。
本发明的效果
根据本公开内容的第一方面，可以执行防止发生晕动症的图像的放大/缩小显示。
根据本公开内容的第二方面，可以生成下述图像，该图像用于执行防止发生晕动症的图像的放大/缩小显示。
注意，这里描述的有利效果不一定是限制性的，并且可以获得本公开内容中描述的任何有利效果。
附图说明
图1是示出应用了本公开内容的第一实施方式的递送系统的示例性配置的框图。
图2是在将球面用作用于映射全向图像的3D模型的情况下的呈现方法的概念图。
图3是示出图1中的生成装置的示例性配置的框图。
图4是示出图1中的递送服务器和回放装置的示例性配置的框图。
图5是示出等量矩形映射纹理的极坐标与纹理坐标之间的关系的图。
图6是示出在立方体的3D模型上附着纹理时的纹理坐标的示例的图。
图7是示出3D网格模型的顶点数组数据的图。
图8是被示出用于描述通过顶点数据变换处理的顶点数组数据的变换的图。
图9是示出图4中的顶点数据变换器的具体示例性配置的框图。
图10是示出三维空间中的正交坐标系与圆柱坐标系之间的关系的图。
图11是在不执行缩放处理的情况下的3D模型图像和透视投影图像的概念图。
图12是在执行缩放处理的情况下的3D模型图像和透视投影图像的概念图。
图13是第一放大处理的概念图。
图14是第二放大处理的概念图。
图15是被示出用于描述第二放大处理的图。
图16是被示出用于描述根据第一实施方式的生成处理的流程图。
图17是被示出用于描述根据第一实施方式的回放处理的流程图。
图18是示出回放装置的修改例的框图。
图19是通过重新缩放u轴而获得的纹理数据的概念图。
图20是被示出用于描述根据第二实施方式的递送系统中的高分辨率方向的图。
图21是示出根据第二实施方式的生成装置的示例性配置的框图。
图22是不同高分辨率方向上的五个全向图像的概念图。
图23是示出由表格生成单元生成的作为辅助信息的表格的示例的图。
图24是示出根据第二实施方式的递送服务器和回放装置的示例性配置的框图。
图25是被示出用于描述根据第二实施方式的生成处理的流程图。
图26是被示出用于描述根据第二实施方式的回放处理的流程图。
图27是被示出用于描述其中编码流是用于3D图像的全向图像的修改例的图。
图28是示出应用了本公开内容的技术的计算机的实施方式的示例性配置的框图。
具体实施方式
现在描述用于实施本公开内容的技术的模式(在下文中称为实施方式)。同时，将按以下顺序给出描述。
1.第一实施方式(仅使用具有一致分辨率的全向图像的示例性配置)
2.第二实施方式(其中切换并使用具有高分辨率方向的全向图像的示例性配置)
3.其他修改例
4.计算机配置示例
<1.第一实施方式>
(根据第一实施方式的递送系统的示例性配置)
图1是示出根据应用了本公开内容的技术的第一实施方式的递送系统的示例性配置的框图。
图1中的递送系统10包括成像装置11、生成装置12、递送服务器13、网络14、回放装置15和头戴式显示器16。递送系统10根据由成像装置11拍摄的捕获图像生成全向图像，并且使用该全向图像来显示观看者/收听者的视野的显示图像。
具体地，递送系统10的成像装置11具有六个摄像装置11A-1至11A-6。另外，在下文中，除非需要特别加以区别，否则将摄像装置11A-1至11A-6称为摄像装置11A。
各个摄像装置11A捕获运动图像。成像装置11将由各个摄像装置11A捕获的六个方向上的运动图像作为捕获图像提供给生成装置12。此外，设置在成像装置11中的摄像装置的数目不限于六个，只要该数目是多个即可。
生成装置12通过使用等量矩形投影的技术，根据从成像装置11提供的捕获图像生成水平方向上全方位360度且在竖直方向上180度的全向图像。生成装置12执行图像数据的压缩编码，该图像数据是通过预定编码方案(例如高级视频编码(AVC)或高效视频编码(HEVC)/H.265)，通过使用等量矩形投影将能够在上、下、左和右所有方向上360°环视的全向图像映射到预定3D模型而获得的。生成装置12将通过对全向图像的图像数据执行压缩编码而获得的编码流上传到递送服务器13。
递送服务器13经由网络14与回放装置15连接。递送服务器13存储从生成装置12上传的全向图像的编码流。递送服务器13响应于来自回放装置15的请求，经由网络14将所存储的全向图像的编码流发送到回放装置15。
回放装置15从递送服务器13请求并接收全向图像的编码流。回放装置15通过对接收到的全向图像的编码流进行解码并且将得到的全向图像映射到预定3D模型来生成3D模型图像。
然后，回放装置15通过将3D模型图像透视投影到以观看/收听位置为焦点的观看者/收听者的视野上，来在观看者/收听者的视野中生成图像作为显示图像。回放装置15将所生成的显示图像提供给头戴式显示器16。
图2是在将球面用作用于映射全向图像的3D模型的情况下的呈现方法的概念图。
将球面用作3D模型，将通过等量矩形投影得到的全向图像的纹理附着到与地球的纬度和经度对应的球面上的坐标上，将球体的中心设定为观看/收听位置，并且将球面上的全向图像(3D模型图像)透视投影到观看者/收听者的视野中。
此外，使用3D模型的呈现方法是示例，并且还存在下述呈现技术：不是实际创建3D模型，而是通过在投影表面上跟踪光线来直接计算纹理的二维坐标。即使在直接计算和呈现纹理的二维坐标的情况下，也类似地执行要实现的处理，并且通过设定虚拟3D模型可以实现直观的感知。
基于通过捕获附接到头戴式显示器16的标记物16A的图像而获得的结果以及由头戴式显示器16的陀螺仪传感器16B检测到的结果来确定观看者/收听者的视野。
换言之，回放装置15具有内置摄像装置15A，该摄像装置15A捕获附接到头戴式显示器16的标记物16A的图像。然后，回放装置15基于通过捕获标记物16A的图像而获得的图像在3D模型的坐标系(在下文中称为3D模型坐标系)中检测观看者/收听者的观看/收听位置。此外，回放装置15从头戴式显示器16接收由头戴式显示器16的陀螺仪传感器16B检测到的结果。回放装置15基于陀螺仪传感器16B的检测结果来确定3D模型坐标系中的观看者/收听者的视线方向。回放装置15基于观看/收听位置和视线方向来确定位于3D模型内部的观看者/收听者的视野。
此外，观看者/收听者能够指示附接至头戴式显示器16的控制器16C，以便通过操作控制器16C来放大或缩小显示在头戴式显示器16上的显示图像。
回放装置15从头戴式显示器16接收与观看者/收听者执行的放大/缩小操作相关联的缩放操作信息，并且响应于观看者/收听者执行的缩放操作，放大或缩小要在头戴式显示器16上显示的显示图像。
头戴式显示器16被安装在观看者/收听者的头部上，并且显示从回放装置15提供的显示图像。头戴式显示器16设置有要由摄像装置15A成像的标记物16A。因此，当头戴式显示器16被安装在头部上时，观看者/收听者能够通过运动来指定观看/收听位置。另外，头戴式显示器16具有用于检测角速度的内置陀螺仪传感器16B，并且将陀螺仪传感器16B的检测结果发送到回放装置15。因此，观看者/收听者能够通过转动其上安装有头戴式显示器16的头部来指定视线方向。
此外，头戴式显示器16通过操作控制器16C来检测观看者/收听者执行的缩放操作，并且将缩放操作信息提供给回放装置15。
递送系统10可以采用任何技术作为从递送服务器13到回放装置15的递送技术。在一个示例中，在递送技术是通过HTTP的运动图像专家组相位动态自适应流(MPEG-DASH)技术的情况下，递送服务器13对应于超文本传输协议(HTTP)服务器，并且回放装置15对应于MPEG-DASH客户端。
(生成装置的配置示例)
图3是示出图1中的生成装置12的示例性配置的框图。
在图3中，生成装置12包括拼接单元21、映射变换器22、编码器23和发送器24。
拼接单元21使从图1中的摄像装置11A提供的六个方向上的捕获图像的颜色或亮度对于每一帧都是相同的，去除交叠以进行连接，并且将其变换成具有足够分辨率的一个捕获图像。在一个示例中，拼接单元21执行到等量矩形图像的变换，以作为单个捕获图像。拼接单元21将等量矩形图像(其是以帧为单位的捕获图像)提供给映射变换器22。
映射变换器22(广角图像生成单元)执行映射变换处理，该映射变换处理将从拼接单元21提供的以帧为单位的捕获图像(例如，等量矩形图像)变换成用于映射到预定3D模型的映射格式。作为预定3D模型，在一个示例中，可以采用立方体模型、球面模型等。
在一个示例中，在采用立方体模型作为3D模型并且递送了全向图像的情况下，映射变换器22将来自拼接单元21的等量矩形全向图像变换成用于立方体模型的映射格式(在稍后描述的图6中说明的格式)。在从拼接单元21提供的全向图像的映射格式与在被提供给递送服务器13时的映射格式相同的情况下，不需要映射变换处理。
在本实施方式中，在回放装置15中使用的3D模型是球面模型，并且与3D模型对应的映射格式是等量矩形映射，因此不需要映射变换处理。
编码器23(编码单元)使用诸如MPEG-2或AVC标准的预定编码方案对从映射变换器22提供的全向图像进行编码以生成编码流。编码器23将所生成的一个编码流提供给发送器24。此外，全向图像的编码流可以与音频信号一起以MP4文件等的系统层格式被复用。
发送器24将从编码器23提供的全向图像流上传(发送)到图1中的递送服务器13。
(递送服务器和回放装置的示例性配置)
图4是示出图1中的递送服务器13和回放装置15的示例性配置的框图。
递送服务器13包括接收器101、存储装置102和收发器103。
接收器101接收从图1中的生成装置12上传的全向图像的编码流，并且将该编码流提供给存储装置102。
存储装置102存储从接收器101提供的全向图像的编码流。
收发器103读取存储在存储装置102中的全向图像的编码流，并且响应于来自回放装置15的请求，经由网络14将该编码流发送到回放装置15。
回放装置15包括摄像装置15A、收发器121、解码器122、映射单元123、获取单元124、视线检测器125、3D模型生成单元126、顶点数据变换器127和呈现单元128。
回放装置15的收发器121(获取单元)经由网络14从递送服务器13请求全向图像，并且获取响应于该请求而从递送服务器13的收发器103发送的全向图像的编码流。收发器121将获得的全向图像的编码流提供给解码器122。
解码器122(解码单元)对从收发器121提供的编码流进行解码以生成全向图像。解码器122将生成的全向图像提供给映射单元123。
映射单元123通过使用从解码器122提供的全向图像来生成与预定3D模型的纹理坐标(u，v)对应的纹理数据(R，G，B)。在本说明书中，在回放装置15中使用的3D模型对应于在生成装置12中使用的3D模型，并且在本实施方式中，假设球面模型用作如上所述的3D模型，但是3D模型不限于该示例，并且在一个示例中，3D模型可以是立方体模型。
图5示出了在将纹理附着到球面3D模型时等量矩形映射纹理的极坐标与纹理坐标之间的关系。
纹理坐标(u，v)的u轴被限定为与极坐标的方位角(旋转角)θ平行，并且纹理坐标(u，v)的v轴被限定为与极坐标的仰角
Figure BDA0002448396450000091
平行。纹理坐标(u，v)的值是0至1的范围中的值。
图6示出了在立方体的3D模型上附着纹理时的纹理坐标(u，v)的示例。
通过将映射单元123生成的纹理数据存储在呈现单元128可访问的纹理缓存器中，来将该纹理数据提供给呈现单元128。
获取单元124从头戴式显示器16获取图1中的陀螺仪传感器16B的检测结果，并且将该结果提供给视线检测器125。
此外，获取单元124从头戴式显示器16获取与由操作控制器16C的观看者/收听者执行的缩放操作相关联的缩放操作信息，并且将该信息提供给顶点数据变换器127。
视线检测器125基于从获取单元124提供的陀螺仪传感器16B的检测结果来确定3D模型坐标系中的观看者/收听者的视线方向。另外，视线检测器125从摄像装置15A获取标记物16A的捕获图像，并且基于该捕获图像来检测3D模型的坐标系中的观看/收听位置。然后，视线检测器125基于3D模型坐标系中的观看/收听位置和视线方向来确定3D模型坐标系中的观看者/收听者的视野。视线检测器125将观看者/收听者的视野和观看/收听位置提供给呈现单元128。
3D模型生成单元126生成虚拟3D空间中的3D网格模型(3D模型)的数据，并且将该数据提供给顶点数据变换器127。该3D网格模型的数据包括如图7所示的3D模型的每个顶点的坐标(x，y，z)及其对应的纹理坐标(u，v)的五元素数组数据(在下文中称为“顶点数组数据”)。在本实施方式中，采用与在生成装置12中使用的3D模型相同的球面模型作为3D模型。
顶点数据变换器127基于从获取单元124提供的缩放操作信息，对从3D模型生成单元126提供的球面模型的顶点数组数据进行变换。具体地，如图8所示，将3D网格模型的顶点的坐标(x，y，z)变换成坐标(x'，y'，z')，并且将由经变换的每个顶点的坐标(x'，y'，z')及其对应的纹理坐标(u，v)这五个元素构成的顶点数组数据提供给呈现单元128。换言之，顶点数据变换器127是基于来自由3D模型生成单元126生成的3D网格模型数据的缩放操作信息来生成用于放大/缩小的3D网格模型数据的放大/缩小3D模型生成单元。稍后将参照图9和后续附图来描述由顶点数据变换器127执行的顶点数据变换处理的细节。
呈现单元128被提供有来自映射单元123的与纹理坐标(u，v)对应的纹理数据(R，G，B)，并且被提供有来自顶点数据变换器127的由球面模型的每个顶点的坐标(x'，y'，z')及其对应的纹理坐标(u，v)这五个元素构成的顶点数组数据。此外，呈现单元128还被提供有来自视线检测器125的观看者/收听者的视野和观看/收听位置。
呈现单元128使用五元素顶点数组数据、纹理数据以及观看者/收听者的视野和观看/收听位置在映射全向图像的球面模型中显示观看者/收听者的视野的图像作为显示图像。
在图8中，每一行是与一个顶点对应的顶点数据，并且一个三角形补块(patch)由三个顶点数据元素构成。针对三角形补块的顶点，保留3D空间中的坐标(x，y，z)与纹理坐标(u，v)之间的关联，因此通过单映射(homography)变换将纹理上的三角形附着到球面模型上的三角形，并且结果被呈现为从球面模型的内部环视，这使得可以显示天球的环视图像。
(顶点数据变换器的配置示例)
图9是示出顶点数据变换器127的具体示例性配置的框图。
顶点数据变换器127包括圆柱坐标变换单元141、缩放单元142和正交坐标变换单元143。
顶点数据变换器127将以xyz正交坐标系表示的顶点数组数据变换成圆柱坐标系，并且基于关于圆柱坐标系的缩放操作信息来执行缩放(放大或缩小)。然后，顶点数据变换器127再次将经缩放的数据返回到正交坐标系并且将其输出。
圆柱坐标变换单元141将以正交坐标系表示的顶点数组数据变换成圆柱坐标系。顶点数组数据由球面模型的每个顶点的坐标(x，y，z)及其对应的纹理坐标(u，v)这五元素数据构成。
正交坐标系与圆柱坐标系之间的对应关系由下面的公式(1)表示。
[数学式1]
Figure BDA0002448396450000111
图10示出了三维空间中的正交坐标系(x，y，z)与圆柱坐标系(t，θ，z)之间的关系。在这种情况下，根据三角函数的定义来建立公式(2)。
[数学式2]
Figure BDA0002448396450000112
重力方向对于在头戴式显示器16上观看/收听是非常重要的，因此顶点数据变换器127将正交坐标系(z，y，z)的z轴设定为竖直方向。在这种情况下，z＝0处的平面是例如地面的水平面，并且圆柱坐标系中的θ表示方位角。
从头戴式显示器16提供的缩放操作信息由缩放单元142获取。
缩放单元142通过执行映射变换fk，基于缩放操作信息来执行缩放(放大或缩小)，该映射变换fk将在圆柱坐标系上变换的球面模型的每个顶点的坐标(x，y，z)乘以k。
假设通过映射变换fk将正交坐标系上的坐标(x，y，z)变换成坐标(x'，y'，z')，则坐标(x，y，z)与坐标(x'，y'，z')之间的关系表示如下。
(x',y',z')＝fk(x,y,z)....(3)
此外，假设通过映射变换fk将圆柱坐标系上的坐标(t，θ，z)变换成坐标(t'，θ'，z')，则坐标(t，θ，z)与坐标(t'，θ'，z')之间的关系表示如下。
(t',θ',z')＝fk(t,θ,z)....(4)
映射变换fk的具体处理由以下的公式(5)至(7)表示。
t'＝t....(5)
θ'＝kθ....(6)
z'＝kz....(7)
换言之，映射变换fk是通过独立地缩放圆柱坐标系的轴而获得的，并且是将方位角θ乘以k并且将竖直方向z乘以k的处理。
正交坐标系上的变换后的坐标(x'，y'，z')由公式(8)表示。即使在正交坐标系的情况下，也首先在极坐标系(t，θ，
Figure BDA0002448396450000122
)上表示坐标，然后可以通过将其布置在其中方位角θ是k倍并且z轴方向是k倍的新点(x'，y'，z')上进行计算。
[数学式3]
Figure BDA0002448396450000121
在公式(8)中，在放大率k大于1的情况下，图像被放大，而在放大率k小于1的情况下，图像被缩小。在放大率k为1的情况下，没有放大/缩小变换并且公式(8)与公式(1)的右侧匹配。
正交坐标变换单元143将缩放后的圆柱坐标系上的坐标(t'cosθ'，t'sinθ'，z')＝(tcoskθ，tsinkθ，kz)变换成正交坐标系。正交坐标变换单元143将球面模型的每个顶点的坐标(x'，y'，z')及其对应的纹理坐标(u，v)这五元素数据(其为变换后的顶点数组数据)提供给呈现单元128。
如上所述，在基于观看者/收听者执行的缩放操作来放大或缩小显示图像的情况下，顶点数据变换器127将坐标(x，y，z)和纹理坐标(u，v)这五个元素的顶点数组数据变换成与放大率k对应的坐标(x'，y'，z')和纹理坐标(u，v)的五元素顶点数组数据，并且将其提供给呈现单元128。
换言之，呈现单元128仅足以执行使用五元素顶点数组数据来生成观看者/收听者的视野的透视投影图像的通常处理，而不管显示图像是否经过了放大/缩小，并且不一定根据显示图像是否经过了放大/缩小来改变呈现处理。
如图8所示，通过缩放处理仅变换了坐标(x，y，z)，但是未改变纹理坐标(u，v)。因此，映射单元123也可以不必根据显示图像是否经过了放大/缩小来改变处理。
图11和图12是如从球体的中心观看的通过将等量矩形映射的纹理图像附着到球面3D模型而获得的3D模型图像的透视投影图像的概念图。
图11是在不执行缩放处理的情况下的3D模型图像和透视投影图像的示例。
另一方面，图12是示出通过相对于方位角θ、竖直方向z以及上述两者对图11所示的3D模型图像和透视投影图像执行放大处理(k＞1)而获得的处理结果的概念图。
如图12的右上所示，在如公式(6)那样将方位角θ乘以k的处理中，单位球体的半径保持原样，而纹理图像被附着到球面同时被水平伸展。
如图12的左下所示，在如公式(7)那样将竖直方向z乘以k的处理中，球面模型整体上被竖直拉伸，并且透视投影图像也被竖直拉伸。
如图12的右下所示，在将方位角θ和竖直方向z二者乘以k的处理中，纹理图像在水平和竖直上都被拉伸，最后，获得宽高比为1:1的放大图像。
然而，在视线方向被定向在水平方向及其附近的情况下，1:1的宽高比为透视投影图像。在视线方向被定向在朝上或朝下方向的情况下，必须注意，透视投影图像会以3D模型的球面在z轴方向上延伸并且比原始距离远的程度缩小，因此可以看到由于方位角θ的缩放而引起的变形。该缩放处理是用于主要在水平方向上放大或缩小透视投影图像的处理。
在通过映射变换fk将方位角θ和竖直方向z二者都乘以k的放大图像中，除竖直方向以外是自然的放大图像，如图12右下的透视投影图像所示。另外，即使在执行映射变换fk之后，也仅呈现将执行缩放处理之前的坐标(x，y，z)移动到新获得的坐标(x'，y'，z')的静态3D模型，这防止了发生由于环视而导致观看/收听方向的变化而引起的图像意外变形或移动。这使得不太可能发生由于视野的简单改变而由放大等引起的VR晕动症。
此外，当地平线偏斜或者当最初沿竖直方向延伸的对象看起来倾斜时，也会发生VR晕动症。在公式(8)中，圆柱坐标系的θ分量对应于正交坐标系的xy分量，但是z分量不依赖于xy分量，因此映射变换fk不会导致地平线偏斜或者垂直对象倾斜的情况。这些特征也是本技术中使VR晕动症难以发生的因素。
(缩放图像的呈现方法)
该技术通过缩放圆柱坐标系的方位角θ和竖直方向z来执行呈现图像(3D模型图像)的缩放。在缩放之前，方位角θ的值范围是-π<＝θ<＝π，然后成为-kπ<＝θ<＝kπ，其在放大的情况下超过了可以呈现的360度，并且在缩小的情况下小于360度。因此，有必要应对由于缩放而使得呈现图像超过360度的情况以及小于360度的情况。
因此，在将全向图像放大k倍的情况下，缩放单元142执行裁剪超过360度的图像的第一放大处理或者用于呈现的第二放大处理，从而可以在观看者/收听者水平旋转k圈的情况下看到一圈原始图像(风景)。
在裁剪超过360度的图像的第一放大处理中，缩放单元142执行下述处理：从通过应用放大率k而获得的纹理坐标(u，v)和坐标(x'，y'，z')的顶点数组数据中删除满足θ'<-π的数据和满足π<θ'的数据。
图13是示出在第一放大处理中呈现的区域的示意图。
在第一放大处理中，将在缩放之前的(-π/k)<＝θ<＝(π/k)的范围内的图像分配给-π<＝θ<＝π的范围。从顶点数组数据中删除放大图像中的满足θ'<-π的区域的数据和放大图像中的满足π<θ'的区域的数据。
图14是在k＝2的情况下的第二放大处理的概念图。
在k＝2的情况下的第二放大处理中，在观看者/收听者旋转两圈期间会看到一圈原始风景。在观看者/收听者在观看正在放大的呈现图像的同时将视线方向向左或向右移动的情况下，可以通过添加所呈现的图像必须在左右方向上连续显示的约束来确定要显示交叠数据的哪一部分。
为了添加所呈现的图像必须在左右方向上连续显示的约束，限定了连续变化的视线方向的水平角ξ。水平角的通常范围是从-π到π，并且如果超出正后方的范围，则水平角在-π与π之间不连续地变化，但是水平角ξ是被限定为使得顺时针旋转为单调增大并且逆时针旋转为单调减小从而在正常情况下连续变化的水平角。水平角ξ的范围是-∞<＝ξ<＝∞。
图15是示出在观看者/收听者朝着满足水平角ξ＝ξ0的方向观看k倍放大图像的情况下的呈现区域的示意图。
在放大时执行映射变换fk的情况下，在3D空间中发生交叠部分，因此缩放单元142基于放大之前的方位角θ执行确定。
(ξ0-π)/k<θ<(ξ0+π)/k的范围是呈现区域，因此缩放单元142删除其他范围内的顶点数组数据，然后在放大时执行映射变换fk以创建顶点数据。这样，变换后的顶点数组数据的范围正好是从-π到π，以覆盖整个天体范围。
另一方面，在全向图像被缩小到1/k的情况下，缩放单元142重复执行缩小后的图像的呈现，使得呈现后的图像不被中断。在这种情况下，在观看者/收听者水平旋转一圈的情况下，可以看到k圈原始图像(风景)。
此外，在缩小处理时，不是使用缩小到1/k的全向图像，而是可以嵌入黑色图像作为小于360度的一部分的图像。
(生成装置中的处理)
图16是示出用于描述由图1中的生成装置12执行的生成处理的流程图。在一个示例中，当提供由成像装置11的六个摄像装置11A-1至11A-6捕获的六个方向的运动图像时，开始该处理。
在作为第一步骤的步骤S11中，拼接单元21使从各个摄像装置11A提供的六个方向上的捕获图像的颜色或亮度对于每一帧都相同，去除交叠以进行连接，然后将其变换成单个捕获图像。在一个示例中，拼接单元21生成等量矩形图像作为一个捕获图像，并且将以帧为单位的等量矩形图像提供给映射变换器22。
在步骤S12中，映射变换器22对从拼接单元21提供的以帧为单位的捕获图像(例如，等量矩形图像)执行映射变换处理，以成为用于映射到预定3D模型的映射格式。
在一个示例中，在递送服务器13使用立方体模型作为3D模型来递送全向图像的情况下，映射变换器22将从拼接单元21提供的等量矩形映射的全向图像变换成立方体映射的全向图像。在从拼接单元21提供的全向图像的映射格式与提供给递送服务器13的映射格式相同的情况下，不需要映射变换处理，并且将从拼接单元21提供的全向图像不进行变换地提供给编码器23。
在步骤S13中，编码器23使用诸如MPEG-2或AVC标准的预定编码方案对从映射变换器22提供的全向图像进行编码以生成编码流。编码器23将生成的全向图像的编码流提供给发送器24。
在步骤S14中，发送器24将从编码器23提供的全向图像流上传到递送服务器13，然后处理结束。
(回放装置中的处理的描述)
图17是示出用于描述由图1中的回放装置15执行的回放处理的流程图。在一个示例中，当回放装置15检测到通电或处理开始操作时，开始该回放处理。
在步骤S31中，作为第一步骤，收发器121经由网络14从递送服务器13请求全向图像，并且获取响应于该请求而从递送服务器13的收发器103发送的全向图像的编码流。收发器121将获得的全向图像的编码流提供给解码器122。
在步骤S32中，解码器122对从收发器121提供的编码流进行解码以生成全向图像。解码器122将生成的全向图像提供给映射单元123。
在步骤S33中，映射单元123使用从解码器122提供的全向图像生成与预定3D模型的纹理坐标(u，v)对应的纹理数据(R，G，B)。映射单元123通过将生成的纹理数据存储在呈现单元128可访问的纹理缓存器中，来将生成的纹理数据提供给呈现单元128。
在步骤S34中，获取单元124从头戴式显示器16获取图1中的陀螺仪传感器16B的检测结果，并且将该结果提供给视线检测器125。
在步骤S35中，视线检测器125基于从获取单元124提供的陀螺仪传感器16B的检测结果来确定3D模型的坐标系中的观看者/收听者的视线方向。
在步骤S36中，视线检测器125确定3D模型的坐标系中的观看者/收听者的观看/收听位置和视野，并且将观看/收听位置和视野提供给呈现单元128。更具体地，视线检测器125从摄像装置15A获取标记物16A的捕获图像，并且基于捕获图像来检测3D模型的坐标系中的观看/收听位置。然后，视线检测器125基于检测到的观看/收听位置和视线方向来确定3D模型坐标系中的观看者/收听者的视野，并且将该视野提供给呈现单元128。
在步骤S37中，3D模型生成单元126在虚拟3D空间中生成3D网格模型的数据，并且将该数据提供给顶点数据变换器127。该3D网格模型的数据包括如图7所示的由3D模型的每个顶点的坐标(x，y，z)和对应的纹理坐标(u，v)这五个元素构成的顶点数组数据。
在步骤S38中，顶点数据变换器127基于从获取单元124提供的缩放操作信息来确定观看者/收听者是否执行缩放操作。在一个示例中，在观看者/收听者在控制器16C上执行缩放操作的情况下，与缩放操作相关联的缩放操作信息被提供给获取单元124，然后从获取单元124被提供给顶点数据变换器127。
如果在步骤S38中确定未执行缩放操作，则处理进行到步骤S39，在步骤S39中，顶点数据变换器127将从3D模型生成单元126提供的顶点数组数据不进行变换地提供给呈现单元128。换言之，通过将从3D模型生成单元126提供的顶点数组数据经过放大率k为1的公式(8)的映射变换fk而获得的顶点数组数据被提供给呈现单元128。
另一方面，如果在步骤S38中确定执行了缩放操作，则处理进行到步骤S40，在步骤S40中，顶点数据变换器127执行包括步骤S40至S42的顶点数据变换处理。
在步骤S40中，作为顶点数据变换处理的第一步骤，圆柱坐标变换单元141基于公式(1)表示的对应关系将以正交坐标系表示的顶点数组数据的坐标(x，y，z)变换成圆柱坐标系上的坐标(t，θ，z)。
在步骤S41中，缩放单元142通过执行将在圆柱坐标系上变换的坐标(t，θ，z)乘以k的映射变换fk来执行基于缩放操作信息的缩放。具体地，缩放单元142执行由公式(5)至(7)表示的映射变换fk。
在步骤S42中，正交坐标变换单元143将缩放后的圆柱坐标系上的坐标(t'cosθ'，t'sinθ'，z')变换成正交坐标系。然后，由变换成正交坐标系的3D网格模型的每个顶点的坐标(x'，y'，z')以及对应的纹理坐标(u，v)这五个元素构成的顶点数组数据被提供给呈现单元128。
在步骤S43中，呈现单元128基于从顶点数据变换器127(其正交坐标变换单元143)提供的顶点数组数据、从映射单元123提供的纹理数据(R，G，B)以及从视线检测器125提供的观看者/收听者的视野，通过将3D模型图像透视投影到观看者/收听者的视野上来生成显示图像。
在步骤S44中，呈现单元128将显示图像发送到头戴式显示器16，头戴式显示器16使该显示图像被显示。
在步骤S45中，回放装置15确定是否终止回放。在一个示例中，在观看者/收听者执行终止回放的操作的情况下，回放装置15确定终止回放。
如果在步骤S45中确定不终止回放，则处理返回至步骤S34，并且重复上述步骤S34至S45的处理。另一方面，如果在步骤S45中确定要终止回放，则回放处理结束。
(回放装置的修改例)
图18是示出回放装置15的修改例的框图。
图18是与图4对应的框图，并且图18还示出了递送服务器13的配置，但是在图18中，仅回放装置15的配置不同。
图18所示的回放装置15的示例性配置是在全向图像的映射格式是等量矩形映射的情况下可以采用的示例性配置。
将图18与图4进行比较，图18所示的回放装置15包括呈现单元151，而图4所示的回放装置15包括呈现单元128。另外，在图18中，不包括顶点数据变换器127，因此，从3D模型生成单元126输出的顶点数组数据被直接提供给呈现单元151。此外，缩放操作信息从获取单元124被提供给呈现单元151。呈现单元151与图4中的呈现单元128的不同之处在于，执行基于缩放操作信息的预定处理。图18的回放装置15中的其他部件类似于图4的回放装置15中的部件。
在图18的回放装置15中，不包括顶点数据变换器127，因此不执行映射变换fk，即，通常的顶点数组数据被提供给呈现单元151，而不管观看者/收听者是否执行缩放操作。
呈现单元151基于从获取单元124提供的缩放操作信息来改变三维正交空间坐标(x，y，z)和纹理坐标(u，v)的比例。在通常的3D呈现软件中，提供了API来改变三维正交空间坐标(x，y，z)和纹理坐标(u，v)中的每一个的比例，并且无需重写顶点数据或纹理数据即可执行简单的放大/缩小。在一个示例中，在OpenGL中，可以使用“glScale”函数来改变x，y，z和u，v二者的比例。
如图5所示，等量矩形投影纹理的水平轴平行于圆柱坐标的方位角θ。因此，仅通过缩放u轴就能够处理公式(5)中的θ'＝kθ的映射。
图19示出了通过重新缩放u轴而获得的纹理数据的概念图。
图5的纹理数据与图19的纹理数据之间的差异在于，u轴上的(0，1)位置被改变。因此，通过改变u轴的比例，即使两个纹理数据具有相同的(u，v)，也可以相对于图5的纹理数据来访问提供将θ乘以k而获得的位置。
类似地，三维正交空间坐标(x，y，z)的z轴的缩放使得可以执行公式(7)中的z'＝kz的映射。
换言之，呈现单元151基于缩放操作信息，通过将三维正交空间坐标(x，y，z)的z轴的比例变化与纹理坐标(u，v)的u轴的比例变化进行组合来执行映射变换fk。
如图8所示，将顶点数组数据的所有坐标(x，y，z)替换成经过映射变换的坐标(x'，y'，z')的处理需要对大量数据进行处理和重写。
然而，在全向图像的映射格式是等量矩形映射的情况下，如在不使用如上所述的顶点数据变换器127的正常情况下那样，通过将未经过放大/缩小的顶点数组数据提供给呈现单元151，并且改变呈现单元151的比例，可以响应于观看者/收听者的缩放操作来实现放大/缩小显示。这使得可以更容易地响应于缩放操作来实现放大/缩小显示，这通常使得能够以少量的代码进行高速操作。
<2.第二实施方式>
(根据第二实施方式的递送系统的示例性配置)
接下来，给出了应用了本公开内容的技术的第二实施方式的递送系统的描述。
根据第二实施方式的递送系统10的总体配置与图1的配置相似，因此省略其说明。
在执行上述全向图像放大处理的情况下，在被观看的方向上的分辨率是必要的，并且头戴式显示器16的视野内的范围变窄，因此与被观看的方向相反的方向难以被包括在视野中。
因此，可以使用在特定方向上使用具有增大的分辨率的映射的依赖于视口的投影映射方案。依赖于视口的投影映射是这样一种方案，该方案使用具有偏置的像素密度的投影映射来增大特定方向上的分辨率，并且执行回放同时根据观看/收听方向切换具有不同高分辨率方向的投影映射的数据。在2016年6月的MPEG会议的日内瓦会议上发布的“WD onISO/IEC23000-20Omnidirectional Media Application Format”的工作草案的“A.3.2.5Truncated pyramid”一章中公开了依赖于视口的投影映射。在该方案中，分配给前方区域的像素数目大并且分辨率高。准备具有各种前方方向的多个比特流，并且根据观看者/收听者面对的方向在切换的同时再现比特流。
在下文中所述的递送系统的第二实施方式中，采用如下配置，在该配置中，与依赖于视口的投影映射中那样，针对在观看者/收听者环视的水平方向上的360度的范围设定用于增大分辨率的多个方向，并且执行回放同时根据观看者/收听者面对的方向切换多个所准备的比特流。
具体地，如图20所示，当从上方观察作为3D模型的球面时，从球体的中心水平地设定四个方向dir1至dir4作为用于增大分辨率的方向，并且给出对下述的情况的描述：执行回放，同时在具有与四个方向dir1至dir4对应的四个编码流以及在没有放大操作的情况下使用的在所有方向上具有均匀分辨率的一个编码流的五个编码流之间进行切换。
图21是示出根据第二实施方式的递送系统10的生成装置12的示例性配置的框图。
图21中的生成装置12包括拼接单元21、映射变换器22-1至22-5、编码器23-1至23-5、发送器24、旋转处理单元211-1至211-5、设定单元212和表格生成单元213。
在图21中，与图3中的生成装置12对应的部分被赋予相同的附图标记，因此将适当地省略对这些部分的描述。
在图21的生成装置12中，在图3的生成装置12中的拼接单元21与映射变换器22之间还包括旋转处理单元211，并且设置有一组五个旋转处理单元211、一组五个映射变换器22和一组五个编码器23。每组旋转处理单元211、映射变换器22和编码器23的数目(五个)对应于五个编码流，这五个编码流包括其中图20中的四个方向dir1至dir4具有高分辨率方向的四个编码流以及一致分辨率的一个编码流。
拼接单元21将所生成的一个捕获图像提供给旋转处理单元211-1至211-5。
旋转处理单元211-1至211-5围绕图像中心旋转(移动)从拼接单元21提供的以帧为单位的捕获图像(例如，等量矩形图像)，使得图像中心处于高分辨率方向。设定单元212指示哪个方向是高分辨率方向。旋转处理单元211-1至211-5仅在设定单元212指定的方向上不同。
映射变换器22-1至22-5使用从设定单元212提供的放大率k，执行将从旋转处理单元211-1至211-5提供的捕获图像分别映射成预定映射格式，并且因此生成其中通过放大率k将图像中心处的像素变换成高分辨率的全向图像。在生成的全向图像中，与图像中心相反的方向(正后方)的分辨率较低。
图22是由映射变换器22-1至22-5生成的五个全向图像的概念图。
全向图像231-1是经过由映射变换器22-1执行的处理的图像，并且是在围绕水平方向上360度的所有方向上具有一致分辨率的等量矩形图像。全向图像231-1的中心与图20中的dir1方向一致。
全向图像231-2是经过由映射变换器22-2执行的处理的图像，并且是以下等量矩形图像，其被变换成使得：在水平方向上的360度内，图20中的方向dir1具有高分辨率。
全向图像231-3是经过由映射变换器22-3执行的处理的图像，并且是以下等量矩形图像，其被变换成使得：在水平方向上的360度内，图20中的方向dir2具有高分辨率。
全向图像231-4是经过由映射变换器22-4执行的处理的图像，并且是以下等量矩形图像，其被变换成使得：在水平方向上的360度内，图20中的方向dir3具有高分辨率。
全向图像231-5是经过由映射变换器22-5执行的处理的图像，并且是以下等量矩形图像，其被变换成使得：在水平方向上的360度内，图20中的方向dir4具有高分辨率。
在一个示例中，在全向图像231-2中，与具有一致分辨率的全向图像231-1相比，图像的中心在保持相同方向的同时被放大，放大率随着与中心的距离的增大而减小，并且后部缩小。在将操作了其放大率的全向图像231-2作为纹理附着到球面模型而使得可以将其视为未变形的原始的天球的情况下，在像素中出现密度差，因此，在方向dir1上具有高分辨率的全向图像被回放。
编码器23-1至23-5使用诸如MPEG-2或AVC标准的预定编码方案分别对从对应的映射变换器22-1至22-5提供的全向图像进行编码，并且生成编码流。
发送器24将从编码器23-1至23-5提供的全向图像的编码流上传(发送)到图1中的递送服务器13。在这种情况下，由编码器23-1至23-5生成的五个编码流被动态地切换和回放，因此在一个示例中，使得同步点(例如，图片组(GOP)的IDR图片或头部图片)在由编码器23-1至23-5生成的五个编码流之间相同。
设定单元212通过相对于绕水平方向的360度并行设置的旋转处理单元211、映射变换器22和编码器23中的每一个的5个组来确定要被视为前方向的高分辨率方向。具体地，设定单元212确定图20中的方向dir1至dir4的四个高分辨率方向，并且将其提供给旋转处理单元211-1至211-5。在一个示例中，设定单元212将方向dir1提供给旋转处理单元211-1和211-2，将方向dir2提供给旋转处理单元211-3，将方向dir3提供给旋转处理单元211-4，并且将方向dir4提供给旋转处理单元211-4。
另外，设定单元212通过将其与分辨率在绕水平方向的360度的所有方向上一致的情况进行比较来确定指示高分辨率方向上的分辨率有多高的放大率k，并且将放大率k提供给映射变换器22-1至22-5。在一个示例中，设定单元212将放大率k＝1.0提供给映射变换器22-1，并且将放大率k＝2.0提供给映射变换器22-2至22-5。
此外，设定单元212将提供给旋转处理单元211-1至211-5的五个高分辨率方向以及提供给映射变换器22-1至22-5的放大率k提供给表格生成单元213。
表格生成单元213生成表格，在表格中，针对每个流将从设定单元212提供的指定五个高分辨率方向的信息和指定放大率k的信息进行分组，并且将所生成的表格提供给发送器24作为辅助信息(元信息)。
图23示出了由表格生成单元213生成的作为辅助信息的表格的示例。
用于指定高分辨率方向的信息由方位角θ、仰角
Figure BDA0002448396450000231
和旋转角ψ限定，并且指示放大率的信息由放大率k限定。通过方位角θ、仰角
Figure BDA0002448396450000232
和旋转角ψ的三个轴的旋转的组合来表示高分辨率方向使得能够描述任何旋转。放大率k对应于分辨率最高的点处的放大率，并且放大率随着距该点的距离的增大而减小。取决于依赖于视口的投影映射方案，放大率的分布可以采用各种分布。
在图23中，ID1至ID5是用于分别识别发送至递送服务器13的五个编码流的识别信息，并且ID1至ID5分别对应于图22所示的全向图像231-1至231-5。
ID1的编码流对应于图22中所示的全向图像231-1，并且指示在将图20的方向dir1设定为图像中心时，在图像中心处的放大率k＝1.0，即指示图像是在所有方向上具有一致分辨率的等量矩形图像。
ID2的编码流对应于图22中所示的全向图像231-2，并且指示将图20的方向dir1设定为图像的中心，并且该图像是以放大率k＝2.0放大了方向dir1上的像素的等量矩形图像。
ID3的编码流对应于图22中所示的全向图像231-3，并且指示将图20的方向dir2设定为图像的中心，并且该图像是以放大率k＝2.0放大了方向dir2上的像素的等量矩形图像。
ID4的编码流对应于图22中所示的全向图像231-4，并且指示将图20的方向dir3设定为图像的中心，并且该图像是以放大率k＝2.0放大了方向dir3上的像素的等量矩形图像。
ID5的编码流对应于图22中所示的全向图像231-5，并且指示将图20的方向dir4设定为图像的中心，并且该图像是以放大率k＝2.0放大了方向dir4上的像素的等量矩形图像。
发送器24将从表格生成单元213提供的辅助信息与从编码器23-1至23-5提供的五个编码流一起上传(发送)到图1中的递送服务器13。
此外，图21中的生成装置12的示例采用这样的配置：将设定的高分辨率方向的数目预先确定为四个，并且在生成装置12中将每组旋转处理单元211、映射变换器22和编码器23设置为五组(包括用于高分辨率图像的四组和用于一致分辨率图像的一组)。然而，旋转处理单元211、映射变换器22和编码器23中的每一个的数目可以与设定单元212可选地确定的高分辨率方向的数目对应地变化。
在图21中，省略了用于从设定单元212向旋转处理单元211-1至211-5和映射变换器22-1至22-5提供预定数据(高分辨率方向或放大率)的供应线。
(递送服务器和回放装置的示例性配置)
图24是示出根据第二实施方式的递送系统10的递送服务器13和回放装置15的示例性配置的框图。
在图24中，相同的附图标记被赋予与图4对应的部分，因此将适当地省略对这些部分的描述。
递送服务器13包括接收器101、存储装置251和收发器252。
接收器101接收从图1中的生成装置12上传的五个编码流和辅助信息，并且将五个编码流和辅助信息提供给存储装置251。
存储装置251存储从接收器101提供的五个编码流和辅助信息。
收发器252响应于来自回放装置15的请求，读取存储在存储装置251中的辅助信息，并且经由网络14将辅助信息发送到回放装置15。
另外，收发器252响应于来自回放装置15的请求，读取存储在存储装置251中的五个编码流中的预定编码流，并且经由网络14将预定编码流发送到回放装置15。根据来自回放装置15的请求，适当地改变从收发器252发送到回放装置15的那个编码流。
此外，在同步点处执行要发送的编码流的改变。因此，要发送的编码流以几帧为单位被改变为以几十帧为单位。另外，如上所述，在五个编码流之间，同步点是相同的。因此，收发器252能够通过切换要在同步点处发送的编码流来容易地切换要在回放装置15中回放的捕获图像。
回放装置15包括摄像装置15A、收发器121、解码器122、获取单元124、视线检测器125、顶点数据变换器127、呈现单元128、流确定单元271、3D模型生成单元272和映射单元273。
因此，与根据第一实施方式的回放装置15相比，根据第二实施方式的回放装置15分别包括3D模型生成单元272和映射单元273，而不是3D模型生成单元126和映射单元123，并且还设置有流确定单元271。
从收发器121向流确定单元271提供辅助信息。此外，从获取单元124向流确定单元271提供缩放操作信息，并且从视线检测器125向流确定单元271提供观看者/收听者的视线方向。
流确定单元271(选择单元)基于观看者/收听者的视线方向、缩放操作信息和辅助信息来确定(选择)可以从递送服务器13获得的五个编码流中的预定编码流。
更具体地，流确定单元271在不执行缩放操作的情况下，将图23中的ID1的流确定为请求流，并且在执行缩放操作的情况下，将与观看者/收听者的视线方向对应的ID2至ID5的任何流确定为请求流。
流确定单元271将指示所选择的编码流的流选择信息提供给收发器121。收发器121经由网络14将流选择信息从流确定单元271发送到递送服务器13。
在根据流选择信息改变从递送服务器13发送的编码流的情况下，收发器121将指示编码流的改变的流信息提供给3D模型生成单元272和映射单元273。
3D模型生成单元272生成与从递送服务器13发送的编码流对应的3D网格模型的数据，并且将该数据提供给顶点数据变换器127。更具体地，3D模型生成单元272生成下述顶点数组数据，在该顶点数组数据中，基于指示高分辨率方向的方向dir1至dir4对包括3D模型的每个顶点的坐标(x，y，z)和对应的纹理坐标(u，v)的顶点数组数据中的每个顶点的坐标(x，y，z)进行旋转校正，并且3D模型生成单元272将该顶点数组数据提供给顶点数据变换器127。
映射单元273基于经校正的UV映射模型来生成与纹理坐标(u，v)对应的纹理数据(R，G，B)，使得从解码器122提供的全向图像的中心在放大率k处具有高分辨率。
此外，基于发送的编码流的元数据中包括的内容，可以从流确定单元271提供发送的编码流的高分辨率方向和放大率k，或者可以提供发送的编码流的高分辨率方向和放大率k作为来自收发器121的流信息的一部分。
图24中的递送服务器13和回放装置15的其他部件与图4中的递送服务器13和回放装置15的其他部件相似。
(生成装置中的处理)
图25是示出用于描述由图21中的生成装置12执行的生成处理的流程图。在一个示例中，当提供在由成像装置11的六个摄像装置11A-1至11A-6捕获的六个方向上的运动图像时，开始该处理。
在作为第一步骤的步骤S61中，拼接单元21使从各个摄像装置11A提供的六个方向上的捕获图像的颜色或亮度对于每一帧都相同，去除交叠以进行连接，然后将其变换成单个捕获图像。在一个示例中，拼接单元21生成等量矩形图像作为一个捕获图像，并且将以帧为单位的等量矩形图像提供给旋转处理单元211。
在步骤S62中，设定单元212确定五个高分辨率方向和放大率。设定单元212将所确定的五个高分辨率方向一个接一个地提供给旋转处理单元211-1至22-5，并且将所确定的放大率提供给映射单元22-1至22-5。具体地，图20中的方向dir1被提供给旋转处理单元211-1和211-2，图20中的方向dir2被提供给旋转处理单元211-3，图20中的方向dir3被提供给旋转处理单元211-4，并且图20中的方向dir4被提供给旋转处理单元211-4。对于放大率，将放大率k＝1.0提供给映射变换器22-1，并且将放大率k＝2.0提供给映射变换器22-2至22-5。另外，设定单元212还将所确定的五个高分辨率方向和放大率提供给表格生成单元213。
在步骤S63中，旋转处理单元211旋转从拼接单元21提供的以帧为单位的捕获图像(例如，等量矩形图像)，使得由设定单元212指定的高分辨率方向是图像的中心。
在步骤S64中，映射单元22执行将由旋转处理单元211旋转的捕获图像变换成用于映射到预定3D模型的映射格式的映射变换处理。在映射变换处理中，执行映射，使得捕获图像的中心具有取决于放大率k的最高分辨率。
在步骤S65中，编码器23使用诸如MPEG-2或AVC标准的预定编码方案对从映射单元22提供的全向图像进行编码以生成一个编码流。编码器23将所生成的一个编码流提供给发送器24。
在旋转处理单元211、映射单元22和编码器23中的每一个的五组中并行执行步骤S63至S65的处理，并且总共五个编码流被提供给发送器24。
在步骤S66中，表格生成单元213生成参数表作为辅助信息，在该参数表中，针对每个流将用于指定五个高分辨率方向的信息和指示放大率的信息进行分组，并且表格生成单元213将该参数表提供给发送器24。
在步骤S67中，发送器24将从五个编码器23提供的总共五个编码流以及从表格生成单元213提供的辅助信息上传到递送服务器13。
(回放装置中的处理的描述)
图26是示出用于描述由图24中的回放装置15执行的回放处理的流程图。在一个示例中，当回放装置15检测到通电或处理开始操作时，开始该回放处理。
在作为第一步骤的步骤S101中，收发器121从递送服务器13请求辅助信息，并且接收响应于该请求而从递送服务器13的收发器252发送的辅助信息。收发器121将获得的辅助信息提供给流确定单元271。
在步骤S102中，获取单元124从头戴式显示器16获取图1中的陀螺仪传感器16B的检测结果，并且将该结果提供给视线检测器125。
在步骤S103中，视线检测器125基于要从获取单元124提供的陀螺仪传感器16B的检测结果，确定3D模型的坐标系中的观看者/收听者的视线方向，并且将该方向提供给流确定单元271。
在步骤S104中，视线检测器125确定3D模型的坐标系中的观看者/收听者的观看/收听位置和视野，并且将观看/收听位置和视野提供给呈现单元128。更具体地，视线检测器125从摄像装置15A获取标记物16A的捕获图像，并且基于捕获图像来检测3D模型的坐标系中的观看/收听位置。然后，视线检测器125基于检测到的观看位置和视线方向，确定3D模型坐标系中的观看者/收听者的视野。
在步骤S105中，获取单元124从头戴式显示器16获取缩放操作信息，并且将该信息提供给顶点数据变换器127和流确定单元271。
在步骤S106中，流确定单元271基于观看者/收听者的视线方向、是否存在缩放操作以及辅助信息来确定(选择)可以从递送服务器13获得的五个编码流中的一个编码流。然后，流确定单元271向收发器121提供指示所选择的编码流的流选择信息。
在步骤S107中，收发器121经由网络14从递送服务器13请求与从流确定单元271提供的流选择信息对应的一个编码流，并且获取响应于该该请求而从递送服务器13的收发器252发送的一个编码流。收发器121将获得的一个编码流提供给解码器122。此外，收发器121将指示流被改变的流信息提供给3D模型生成单元272和映射单元273。
在步骤S108中，解码器122对从收发器121提供的编码流进行解码以生成全向图像。解码器122将生成的全向图像提供给映射单元273。
在步骤S109中，映射单元273使用从解码器122提供的全向图像生成与预定3D模型的纹理坐标(u，v)对应的纹理数据(R，G，B)。在这种情况下，映射单元273基于从收发器121提供的流信息，生成基于经校正的UV映射模型的纹理数据(R，G，B)，使得全向图像的中心在放大率k处具有高分辨率。此外，在放大率k为1.0的情况下，纹理数据(R，G，B)是没有被放大/缩小(即具有一致分辨率)的纹理数据。映射单元273通过将所生成的纹理数据存储在呈现单元128可访问的纹理缓存器中来将纹理数据提供给呈现单元128。
在步骤S110中，3D模型生成单元272生成虚拟3D空间中的3D网格模型的数据，并且将该数据提供给顶点数据变换器127。该3D网格模型的数据是以下顶点数组数据，如图7所示，其中基于指示高分辨率方向的方向dir1至dir4对包括3D模型的每个顶点的坐标(x，y，z)和对应的纹理坐标(u，v)的顶点数组数据的每个顶点的坐标(x，y，z)进行了旋转校正。
在步骤S111中，顶点数据变换器127基于从获取单元124提供的缩放操作信息来执行顶点数据变换处理。该顶点数据变换处理与在图17的步骤S38至S42中执行的处理相似。具体地，在不执行缩放操作的情况下，顶点数据变换器127将从3D模型生成单元272提供的顶点数组数据不变换地提供给呈现单元128。另一方面，在执行缩放操作的情况下，顶点数据变换器127将从3D模型生成单元272提供的正交坐标系的顶点数组数据变换成圆柱坐标系，并且执行与缩放操作对应的映射变换fk。然后，顶点数据变换器127再次将圆柱坐标系中的顶点数组数据返回到正交坐标系，并且将其提供给呈现单元128。
在步骤S112中，呈现单元128基于从顶点数据变换器127(其正交坐标变换单元143)提供的顶点数组数据、从映射单元273提供的纹理数据(R，G，B)以及从视线检测器125提供的观看者/收听者的视野，通过将3D模型图像透视投影到观看者/收听者的视野上来生成显示图像。
在步骤S113中，呈现单元128将显示图像发送到头戴式显示器16，使得头戴式显示器16显示该显示图像。
在步骤S114中，回放装置15确定是否终止回放。在一个示例中，在观看者/收听者执行终止回放的操作的情况下，回放装置15确定终止回放。
如果在步骤S114中确定不终止回放，则处理返回到步骤S102，并且重复上述步骤S102至S114的处理。另一方面，如果在步骤S114中确定要终止回放，则回放处理结束。
上述的回放处理允许回放装置15的流确定单元271选择与具有一致分辨率的全向图像231-1对应的流，并且在观看者/收听者不执行缩放操作(放大操作)的情况下，向递送服务器13请求该流。然后，通过将球面模型(具有一致分辨率的全向图像231-1被附着到该球面模型)透视投影到观看者/收听者的视野上而获得的图像作为显示图像被显示在头戴式显示器16上。
另一方面，在观看者/收听者执行缩放操作(放大操作)的情况下，回放装置15的流确定单元271选择最接近观看者/收听者的视线方向的方向dir1至dir4，选择与具有所选择的方向(方向dir1至dir4之一)作为高分辨率方向的全向图像(全向图像231-2至231-5之一)对应的流，并且向递送服务器13请求该流。然后，使通过将球面模型(在图像的中心处具有高分辨率的所获得的全向图像(全向图像231-2至231-5之一)被附着到该球面模型)透视投影到观看者/收听者的视野上而获得的图像作为显示图像被显示在头戴式显示器16上。
在观看者/收听者执行缩小操作的情况下，类似于第一实施方式，由顶点数据变换器127执行的顶点数据变换处理允许通过使用其中具有均匀分辨率的全向图像231-1被缩小并被附着的球面模型来生成显示图像。
在执行缩放操作的情况下，根据上述第一实施方式和第二实施方式的递送系统仅允许顶点数据变换器127执行其中坐标(x，y，z)和纹理坐标(u，v)的五元素顶点数组数据被变换成与放大率k对应并重新排列的坐标(x'，y'，z')和纹理坐标(u，v)的五元素顶点数组数据的顶点数据变换处理。由呈现单元128生成观看者/收听者的视野的透视投影图像以从3D模型内部进行环视的处理与未执行缩放操作的情况没有什么不同。
顶点数据变换器127设定竖直方向(竖直方向z)以及使用竖直方向作为旋转轴的水平旋转方向(方位角θ)，并且针对每个方向独立地执行坐标变换处理，以对全向图像执行放大/缩小。换言之，顶点数据变换器127执行将水平旋转方向(方位角θ)乘以k并且将竖直方向(竖直方向z)乘以k的映射变换fk。
通过将正交坐标系(x，y，z)的z轴(即竖直方向)设定为重力方向，z＝0处的平面是如同地面的水平面，并且在坐标变换处理之前和之后都保留了重力方向和水平方向，因此可以防止由于风景的倾斜而发生晕动症。换言之，在头部的旋转角度与图像的旋转角度之间不存在不匹配，因此可以在防止发生晕动症的同时实现图像的放大/缩小显示。
映射变换fk中的放大率k是连续可变的，并且即使在运动图像的回放期间也可以改变。即使在改变放大率时，也保持竖直方向，因此不太可能发生晕动症。在观看者/收听者执行放大操作的情况下，水平图像为360度或更大，但是在执行呈现使得水平图像在正常情况下连续的配置中，通过放大倍率，通过额外旋转可以观看所记录的所有方向。另一方面，在执行缩小操作的情况下，水平图像为360度或更小，因此可以以较少的颈部旋转来观看整个圆周上的图像。
<3.其他修改例>
(编码流的其他示例)
在上述实施方式中的每一个中，要作为编码流发送的全向图像是在观看者/收听者的右眼和左眼上显示为相同图像的2D图像的全向图像，但是该全向图像可以是通过将用于左眼的全向图像和用于右眼的全向图像进行组合(打包)而获得的3D图像的全向图像。
更具体地，如图27的A部分所示，在一个示例中，全向图像可以是通过在横向方向(水平方向)上将左眼全向图像421和右眼全向图像422进行打包而获得的打包图像420。
此外，如图27的B部分所示，在一个示例中，全向图像可以是通过将左眼全向图像421和右眼全向图像422沿纵向方向(竖直方向)打包而获得的打包图像440。
左眼全向图像421是通过以球体的中心为焦点将映射到球体的左眼视点的全向图像透视投影到左眼的视野上而获得的图像。另外，右眼全向图像422是通过以球体的中心为焦点将映射到球体的右眼视点的全向图像透视投影到右眼的视野上而得到的图像。
在全向图像是打包图像的情况下，图4中的映射单元123将作为由解码器122进行解码的结果而获得的打包图像分离成左眼全向图像和右眼全向图像。然后，映射单元123针对左眼视点和右眼视点中的每一个生成纹理数据(R，G，B)，并且呈现单元128针对左眼视点和右眼视点中的每一个使用3D模型图像生成显示图像。
这使得在允许3D显示的情况下，头戴式显示器16可以分别将左眼视点和右眼视点的显示图像显示为左眼图像和右眼图像，从而导致将图像显示为3D。
(实时流传输的示例)
在上述实施方式中的每一个中，由生成装置12生成的一个或更多个编码流和辅助信息被一次存储在递送服务器13的存储装置102或251中，然后递送服务器13响应于来自回放装置15的请求将编码流和辅助信息发送到回放装置15。
然而，由生成装置12生成的一个或更多个编码流和辅助信息可以被实时地递送(实时流传输)，而不被存储在递送服务器13的存储装置102或251中。在这种情况下，通过递送服务器13的接收器101接收的数据立即从收发器103或252被发送到回放装置15。
(其他)
此外，在上述实施方式中，捕获图像是运动图像，但是捕获图像可以是静止图像。另外，在上述实施方式中，描述了使用在360度(所有方向)上捕获的全向图像的示例，但是根据本公开内容的技术不限于覆盖所有方向的图像，而是适用于窄于360度的范围中的任何广角图像(称为全景图像)。广角图像的示例包括360度(所有方向)全向图像、全向图像、所有方向图像、360度全景图像等。
递送系统10可以包括固定式显示器而不是头戴式显示器16。在这种情况下，回放装置15不具有摄像装置15A，因此基于关于观看者/收听者对控制器16C的操作的信息来检测观看/收听位置和视线方向。
此外，递送系统10可以包括移动终端而不是回放装置15和头戴式显示器16。在这种情况下，移动终端执行除了摄像装置15A之外的回放装置15的处理，并且使显示图像显示在移动终端的显示器上。观看者/收听者通过改变移动终端的姿态来输入观看/收听位置和视线方向，并且移动终端通过使内置陀螺仪传感器检测移动终端的姿态来获取输入的观看/收听位置和视线方向。
<4.计算机配置的示例>
上述一系列处理可以通过硬件执行，也可以以软件执行。在通过软件执行一系列处理的情况下，形成该软件的程序被安装在计算机上。在本文中，术语计算机包括内置于专用硬件中的计算机、能够通过在其上安装各种程序来执行各种功能的计算机，例如通用个人计算机等。
图28是示出根据程序执行上述一系列处理的计算机的示例性硬件配置的框图。
在计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904互连。
另外，输入/输出接口905连接到总线904。输入单元906、输出单元907、存储单元908、通信单元909和驱动器910连接到输入/输出接口905。
输入单元906包括例如键盘、鼠标、麦克风等。输出单元907包括例如显示器、扬声器等。存储单元908包括例如硬盘、非易失性存储器等。通信单元909例如包括网络接口。驱动器910驱动可移动介质911，例如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机900中，例如，通过使CPU 901经由输入/输出接口905和总线904将存储在存储单元908中的程序加载到RAM 903中来执行上述一系列处理，并且执行该程序。
由计算机900(CPU 901)执行的程序可以被记录在例如用作封装介质等的可移动介质911上以进行提供。另外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机900中，通过将可移动介质911安装在驱动器910上，可以经由输入/输出接口905将程序安装到存储单元908。此外，可以由通信单元909经由有线或无线传输介质接收程序，并且可以将程序安装在存储单元908中。此外，可以将程序预先安装在ROM 902或存储单元908中。
注意，由计算机900执行的程序可以是按照本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行地或者在诸如调用时间的必要定时处处理的程序。
注意，在本公开内容中，系统具有一组多个配置的元素(例如装置或模块(部件))的含义，并且不考虑是否所有配置的元素都在同一壳体中。因此，系统可以是存储在单独的壳体中并且通过网络连接的多个装置，或者可以是在单个壳体内包括多个模块的单个设备。
此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的范围的情况下进行各种改变和修改。
例如，可以采用上述多个实施方式的全部或一部分。
例如，本公开内容可以采用云计算的配置，该云计算的配置通过由多个装置通过网络分配和连接一个功能来进行处理。
此外，可以由一个装置或者通过分配多个装置来执行由上述流程图描述的每个步骤。
另外，在一个步骤中包括多个处理的情况下，可以通过一个装置或者通过共享多个装置来执行在该一个步骤中包括的多个处理。
注意，本说明书中描述的有益效果仅为示例而不是限制性的，并且可以实现除本说明书中描述的效果之外的其他有益效果。
此外，本公开内容可以包括以下配置。
(1)
一种回放装置，包括：
3D模型生成单元，其被配置成在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型。
(2)
根据(1)所述的回放装置，
其中，所述3D模型生成单元通过设定竖直方向以及使用所述竖直方向作为轴的水平旋转方向并且针对每个方向独立地执行坐标变换处理，来生成所述用于放大/缩小的3D模型。
(3)
根据(2)所述的回放装置，
其中，所述3D模型生成单元以相同的放大率对所述竖直方向和所述水平旋转方向执行所述坐标变换处理。
(4)
根据(1)至(3)中任一项所述的回放装置，
其中，所述3D模型生成单元通过执行将正交坐标系变换成圆柱坐标系并且将所述圆柱坐标系返回至所述正交坐标系的坐标变换处理来生成所述用于放大/缩小的3D模型。
(5)
根据(1)至(4)中任一项所述的回放装置，
其中，所述3D模型生成单元在经过k倍的放大时生成所述用于放大/缩小的3D模型，使得在观看者/收听者沿水平旋转方向旋转k圈的情况下，能够观看一圈的原始广角图像。
(6)
根据(1)至(5)中任一项所述的回放装置，
其中，所述3D模型生成单元在经过1/k倍的缩小时生成所述用于放大/缩小的3D模型，使得在观看者/收听者沿水平旋转方向旋转一圈的情况下，能够观看k圈的原始广角图像。
(7)
根据(1)至(4)中任一项所述的回放装置，
其中，所述3D模型生成单元在经过k倍的放大时生成所述用于放大/缩小的3D模型，使得裁剪超过360度的图像。
(8)
根据(1)至(7)中任一项所述的回放装置，
其中，所述用于放大/缩小的3D模型是球面模型。
(9)
根据(1)至(7)中任一项所述的回放装置，
其中，所述用于放大/缩小的3D模型是立方体模型。
(10)
根据(1)至(9)中任一项所述的回放装置，还包括：
选择单元，其被配置成响应于观看者/收听者的广角图像放大/缩小操作，选择在所有方向上具有一致分辨率的第一广角图像或者在预定方向上具有高分辨率的第二广角图像，
其中，所述3D模型生成单元使用所选择的第一广角图像或第二广角图像生成所述用于放大/缩小的3D模型。
(11)
根据(10)所述的回放装置，
其中，在执行放大所述广角图像的操作的情况下，所述3D模型生成单元使用所述第二广角图像生成所述用于放大/缩小的3D模型。
(12)
一种回放方法，包括：
在选择放大/缩小广角图像的情况下，由回放装置生成用于放大/缩小的3D模型。
(13)
一种生成装置，包括：
广角图像生成单元，其被配置成生成映射到预定3D模型的广角图像以用于回放装置中，所述回放装置包括3D模型生成单元，所述3D模型生成单元被配置成在选择放大/缩小所述广角图像的情况下生成用于放大/缩小的3D模型。
(14)
根据(13)所述的生成装置，
其中，所述广角图像生成单元生成在所有方向上具有一致分辨率的第一广角图像作为所述广角图像。
(15)
根据(14)所述的生成装置，
其中，所述广角图像生成单元还生成在预定方向上具有高分辨率的第二广角图像作为所述广角图像。
(16)
根据(15)所述的生成装置，还包括：
辅助信息生成单元，其被配置成生成用于指定所述第二广角图像的高分辨率方向的信息以及用于指定指示高分辨率比率的放大率的信息作为辅助信息；以及
发送单元，其被配置成将所述第一广角图像、所述第二广角图像和所述辅助信息发送到所述回放装置。
(17)
根据(13)至(16)中任一项所述的生成装置，
其中，所述预定3D模型是球面模型。
(18)
根据(13)至(16)中任一项所述的生成装置，
其中，所述预定3D模型是立方体模型。
(19)
一种生成方法，包括：
由生成装置生成映射到预定3D模型的广角图像以用于回放装置中，所述回放装置包括3D模型生成单元，所述3D模型生成单元被配置成在选择放大/缩小所述广角图像的情况下生成用于放大/缩小的3D模型。
附图标记列表
10 递送系统
12 生成装置
13 递送服务器
15 回放装置
16 头戴式显示器
22 映射变换器
23 编码器
24 发送器
121 收发器
122 解码器
123 映射单元
124 获取单元
125 视线检测器
126 3D模型生成单元
127 顶点数据变换器
128 呈现单元
141 圆柱坐标变换单元
142 缩放单元
143 正交坐标变换单元
151 呈现单元
211 旋转处理单元
212 设定单元
213 表格生成单元
271 流确定单元
272 3D模型生成单元
273 映射单元
900 计算机
901 CPU
902 ROM
903 RAM
906 输入单元
907 输出单元
908 存储单元
909 通信单元
910 驱动器
权利要求书(按照条约第19条的修改)
1.一种回放装置，包括：
3D模型生成单元，其被配置成在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型，
其中，所述3D模型生成单元通过下述方法来生成所述用于放大/缩小的3D模型：设定竖直方向以及使用所述竖直方向作为轴的水平旋转方向，基于所述竖直方向上的距离对所述竖直方向执行坐标变换处理，并且基于方位角对所述水平旋转方向执行坐标变换处理，使得所述用于放大/缩小的3D模型能够在所述竖直方向与所述水平旋转方向之间不具有依赖性。
2.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元以相同的放大率对所述竖直方向和所述水平旋转方向执行所述坐标变换处理。
3.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元通过执行将正交坐标系变换成圆柱坐标系并且将所述圆柱坐标系返回至所述正交坐标系的坐标变换处理来生成所述用于放大/缩小的3D模型。
4.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元在经过k倍的放大时生成所述用于放大/缩小的3D模型，使得在观看者/收听者沿水平旋转方向旋转k圈的情况下，能够观看一圈的原始广角图像。
5.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元在经过1/k倍的缩小时生成所述用于放大/缩小的3D模型，使得在观看者/收听者沿水平旋转方向旋转一圈的情况下，能够观看k圈的原始广角图像。
6.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元在经过k倍的放大时生成所述用于放大/缩小的3D模型，使得裁剪超过360度的图像。
7.根据权利要求1所述的回放装置，还包括：
选择单元，其被配置成响应于观看者/收听者的广角图像放大/缩小操作，选择在所有方向上具有一致分辨率的第一广角图像或者在预定方向上具有高分辨率的第二广角图像，
其中，所述3D模型生成单元使用所选择的第一广角图像或第二广角图像生成所述用于放大/缩小的3D模型。
8.根据权利要求7所述的回放装置，其中，
在执行放大所述广角图像的操作的情况下，所述3D模型生成单元使用所述第二广角图像生成所述用于放大/缩小的3D模型。
9.一种生成装置，包括：
广角图像生成单元，其被配置成生成映射到预定3D模型的广角图像以用于回放装置中，所述回放装置包括3D模型生成单元，所述3D模型生成单元被配置成在选择放大/缩小所述广角图像的情况下生成用于放大/缩小的3D模型，
其中，所述广角图像生成单元生成在所有方向上具有一致分辨率的第一广角图像作为所述广角图像。
10.根据权利要求9所述的生成装置，其中，
所述广角图像生成单元还生成在预定方向上具有高分辨率的第二广角图像作为所述广角图像。
11.根据权利要求10所述的生成装置，还包括：
辅助信息生成单元，其被配置成生成用于指定所述第二广角图像的高分辨率方向的信息以及用于指定指示高分辨率比率的放大率的信息作为辅助信息；以及
发送单元，其被配置成将所述第一广角图像、所述第二广角图像和所述辅助信息发送到所述回放装置。
12.一种回放方法，包括：
由回放装置在选择放大/缩小广角图像的情况下通过下述方法生成用于放大/缩小的3D模型：设定竖直方向以及使用所述竖直方向作为轴的水平旋转方向，基于所述竖直方向上的距离对所述竖直方向执行坐标变换处理，并且基于方位角对所述水平旋转方向执行坐标变换处理，使得在生成所述用于放大/缩小的3D模型时，所述用于放大/缩小的3D模型能够在所述竖直方向与所述水平旋转方向之间不具有依赖性。

Claims (19)

1.一种回放装置，包括：
3D模型生成单元，其被配置成在选择放大/缩小广角图像的情况下生成用于放大/缩小的3D模型。
2.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元通过设定竖直方向以及使用所述竖直方向作为轴的水平旋转方向并且针对每个方向独立地执行坐标变换处理，来生成所述用于放大/缩小的3D模型。
3.根据权利要求2所述的回放装置，其中，
所述3D模型生成单元以相同的放大率对所述竖直方向和所述水平旋转方向执行所述坐标变换处理。
4.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元通过执行将正交坐标系变换成圆柱坐标系并且将所述圆柱坐标系返回至所述正交坐标系的坐标变换处理来生成所述用于放大/缩小的3D模型。
5.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元在经过k倍的放大时生成所述用于放大/缩小的3D模型，使得在观看者/收听者沿水平旋转方向旋转k圈的情况下，能够观看一圈的原始广角图像。
6.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元在经过1/k倍的缩小时生成所述用于放大/缩小的3D模型，使得在观看者/收听者沿水平旋转方向旋转一圈的情况下，能够观看k圈的原始广角图像。
7.根据权利要求1所述的回放装置，其中，
所述3D模型生成单元在经过k倍的放大时生成所述用于放大/缩小的3D模型，使得裁剪超过360度的图像。
8.根据权利要求1所述的回放装置，其中，
所述用于放大/缩小的3D模型是球面模型。
9.根据权利要求1所述的回放装置，其中，
所述用于放大/缩小的3D模型是立方体模型。
10.根据权利要求1所述的回放装置，还包括：
选择单元，其被配置成响应于观看者/收听者的广角图像放大/缩小操作，选择在所有方向上具有一致分辨率的第一广角图像或者在预定方向上具有高分辨率的第二广角图像，
其中，所述3D模型生成单元使用所选择的第一广角图像或第二广角图像生成所述用于放大/缩小的3D模型。
11.根据权利要求10所述的回放装置，其中，
在执行放大所述广角图像的操作的情况下，所述3D模型生成单元使用所述第二广角图像生成所述用于放大/缩小的3D模型。
12.一种回放方法，包括：
在选择放大/缩小广角图像的情况下，由回放装置生成用于放大/缩小的3D模型。
13.一种生成装置，包括：
广角图像生成单元，其被配置成生成映射到预定3D模型的广角图像以用于回放装置中，所述回放装置包括3D模型生成单元，所述3D模型生成单元被配置成在选择放大/缩小所述广角图像的情况下生成用于放大/缩小的3D模型。
14.根据权利要求13所述的生成装置，其中，
所述广角图像生成单元生成在所有方向上具有一致分辨率的第一广角图像作为所述广角图像。
15.根据权利要求14所述的生成装置，其中，
所述广角图像生成单元还生成在预定方向上具有高分辨率的第二广角图像作为所述广角图像。
16.根据权利要求15所述的生成装置，还包括：
辅助信息生成单元，其被配置成生成用于指定所述第二广角图像的高分辨率方向的信息以及用于指定指示高分辨率比率的放大率的信息作为辅助信息；以及
发送单元，其被配置成将所述第一广角图像、所述第二广角图像和所述辅助信息发送到所述回放装置。
17.根据权利要求13所述的生成装置，其中，
所述预定3D模型是球面模型。
18.根据权利要求13所述的生成装置，其中，
所述预定3D模型是立方体模型。
19.一种生成方法，包括：
由生成装置生成映射到预定3D模型的广角图像以用于回放装置中，所述回放装置包括3D模型生成单元，所述3D模型生成单元被配置成在选择放大/缩小所述广角图像的情况下生成用于放大/缩小的3D模型。
CN201880066741.6A 2017-10-20 2018-10-05 回放装置和方法以及生成装置和方法 Pending CN111226264A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017203234 2017-10-20
JP2017-203234 2017-10-20
PCT/JP2018/037328 WO2019078033A1 (ja) 2017-10-20 2018-10-05 再生装置および方法、並びに、生成装置および方法

Publications (1)

Publication Number Publication Date
CN111226264A true CN111226264A (zh) 2020-06-02

Family

ID=66173885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880066741.6A Pending CN111226264A (zh) 2017-10-20 2018-10-05 回放装置和方法以及生成装置和方法

Country Status (6)

Country Link
US (1) US11270413B2 (zh)
JP (1) JP7243631B2 (zh)
KR (1) KR20200064998A (zh)
CN (1) CN111226264A (zh)
DE (1) DE112018004592T5 (zh)
WO (1) WO2019078033A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049356A1 (ja) * 2019-09-13 2021-03-18 ソニー株式会社 再生装置、再生方法、及び記録媒体
US11417004B2 (en) * 2020-08-24 2022-08-16 Vmware, Inc. Variable transforms for three-dimensional engines
WO2022123636A1 (ja) 2020-12-07 2022-06-16 三菱電機株式会社 学習用データ生成装置及び学習用データ生成方法
WO2023003803A1 (en) * 2021-07-19 2023-01-26 Lifecast Incorporated Virtual reality systems and methods
JP2023061262A (ja) * 2021-10-19 2023-05-01 キヤノン株式会社 画像表示システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732690A (zh) * 2002-12-31 2006-02-08 英国电讯有限公司 视频流传输
US20140125761A1 (en) * 2011-06-29 2014-05-08 Panasonic Corporation Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
CN106416239A (zh) * 2014-05-29 2017-02-15 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3641747B2 (ja) * 2001-10-23 2005-04-27 ヴイストン株式会社 画像表示方法及び画像表示装置
US20030095131A1 (en) * 2001-11-08 2003-05-22 Michael Rondinelli Method and apparatus for processing photographic images
JP2004013326A (ja) 2002-06-04 2004-01-15 Canon Inc 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4109076B2 (ja) * 2002-06-06 2008-06-25 Ｓｒｉスポーツ株式会社 曲面体の回転量と回転軸方向の測定方法、及び、曲面体の回転量と回転軸方向の測定装置
JP2015125502A (ja) 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
US10269184B2 (en) 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
JP6339887B2 (ja) 2014-07-24 2018-06-06 シャープ株式会社 画像表示装置
US10412413B2 (en) * 2015-03-05 2019-09-10 Sony Corporation Image processing device and image processing method
KR102191875B1 (ko) * 2017-03-20 2020-12-16 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US20190373245A1 (en) * 2017-03-29 2019-12-05 Lg Electronics Inc. 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
WO2018217057A1 (ko) * 2017-05-26 2018-11-29 엘지전자 주식회사 360 비디오 처리 방법 및 그 장치
WO2018225804A1 (ja) * 2017-06-08 2018-12-13 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732690A (zh) * 2002-12-31 2006-02-08 英国电讯有限公司 视频流传输
US20140125761A1 (en) * 2011-06-29 2014-05-08 Panasonic Corporation Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
CN106416239A (zh) * 2014-05-29 2017-02-15 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置

Also Published As

Publication number Publication date
JPWO2019078033A1 (ja) 2020-11-05
US11270413B2 (en) 2022-03-08
WO2019078033A1 (ja) 2019-04-25
KR20200064998A (ko) 2020-06-08
DE112018004592T5 (de) 2020-08-27
JP7243631B2 (ja) 2023-03-22
US20200334788A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US11700352B2 (en) Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
US10440361B2 (en) Variable image data reduction system and method
CN111164969B (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
US10977764B2 (en) Viewport independent image coding and rendering
US10419737B2 (en) Data structures and delivery methods for expediting virtual reality playback
CN107439010B (zh) 流传输球形视频
US10958834B2 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
JP7243631B2 (ja) 再生装置および方法、並びに、生成装置および方法
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
CN112702523B (zh) 解码器、视频处理方法、系统和装置
US20200329266A1 (en) Information processing apparatus, method for processing information, and storage medium
CN110115041B (zh) 生成装置、识别信息生成方法、再现装置和图像生成方法
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2017118662A1 (en) Spherical virtual reality camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231229

AD01 Patent right deemed abandoned