CN110770795A - 生成装置和生成方法以及回放装置和回放方法 - Google Patents

生成装置和生成方法以及回放装置和回放方法 Download PDF

Info

Publication number
CN110770795A
CN110770795A CN201880041139.7A CN201880041139A CN110770795A CN 110770795 A CN110770795 A CN 110770795A CN 201880041139 A CN201880041139 A CN 201880041139A CN 110770795 A CN110770795 A CN 110770795A
Authority
CN
China
Prior art keywords
unit
image
vector
mapping
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880041139.7A
Other languages
English (en)
Inventor
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110770795A publication Critical patent/CN110770795A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Abstract

本公开内容涉及适用于任何映射技术并且使得可以提供将观看方向设置为高分辨率的映射的生成装置和生成方法；以及回放装置和回放方法。生成装置设置有归一化单元，该归一化单元用于将把360°图像映射到指定的3D模型的第一矢量转换成单位球的3D模型的第二矢量。例如，本公开内容可以应用于根据沿六个方向拍摄的图像生成360°图像并且生成其中将360°图像中的指定方向设置为高分辨率的编码流的生成装置等。

Description

生成装置和生成方法以及回放装置和回放方法
技术领域
本公开内容涉及生成装置和生成方法以及再现装置和再现方法，具体地涉及能够提供下述映射的生成装置和生成方法以及再现装置和再现方法：该映射适用于任意映射方法，并且在该映射中在观看方向上设置高分辨率。
背景技术
可以在上、下、左和右的所有方向上环视360度的全向图像的再现方法的示例包括：在通用显示器上通过使用控制器来改变显示方向的观看方法；通过基于从内置于终端中的陀螺仪传感器获得的姿势信息来改变方向，从而在手持的移动终端屏幕上进行显示的方法；由安装在头上的反映头部的运动的头戴式显示器显示图像的方法；等等。
通过这些再现方法来再现全向图像的用于一个人的再现装置的特征在于，尽管为全向图像准备了输入图像数据，但是由于不必在观看者没有观看的方向上显示数据，所以实际显示的图像限于全向图像的一部分。如果可以减少未显示部分的发送和解码处理，则可以提高线带宽效率。
然而，在使用诸如运动图像专家组阶段2(MPEG2)或高级视频编码(AVC)之类的标准编解码器进行压缩的一般方法中，空间方向和时间轴方向二者都使用冗余进行压缩，并且难以切割并解码任意区域以及从任意时间开始再现。
此外，在经由网络从服务器发送数据以进行分发等的情况下，服务器响应延迟也存在问题。因此，通过使用视频编解码器来瞬间切换数据非常困难，并且即使全向数据被划分成多个数据，当观看者突然改变观看方向时，也会出现其中没有要显示的数据的数据丢失的状态，直到实际发生切换。由于当这种数据丢失状态发生时再现质量极度下降，因此在实际的全向分发系统的构造中，必须保持其中存在所有方向的最小数据的状态，以为突然转动做准备。
因此，设计了在观看者观看的方向上产生图像高分辨率和高质量的同时在有限的线带宽内确保全向图像的最小数据各种方法。
例如，专利文献1设计了所谓的分层分发系统，在该系统中，将等角投影的低分辨率全向图像和高分辨率局部切割图像进行组合并观看。在分层分发系统中，观看方向上的高分辨率局部图像被分发，同时根据观看者的方向进行切换。在绘制未覆盖视野周围的高分辨率局部图像的区域的情况下，或者在由于突然转动而无法及时切换流的情况下，使用低分辨率全向图像来防止出现没有要显示的图像的状态。
这种分层方法的问题在于，通过在高分辨率和低分辨率彼此交叠的部分中使用具有良好图像质量的高分辨率来绘制图像，使得交叠部分的低分辨率侧被浪费。高分辨率和低分辨率的双重传输导致线带宽的损耗。
还设计了用于消除该交叠部分的双重传输的浪费的方法。
例如，存在使用下述映射的方法，该映射被设计成使得用于全向图像的方向被包括在一个图像中，并且面积(换言之，分配的像素数)根据方向而变化，并且一个特定方向具有高分辨率。
例如，在MPEG会议于2016年6月的日内瓦会议上发表的“WD on ISO/IEC 23000-20Omnidirectional Media Application Format”工作草案的“A.3.2.5Truncatedpyramid”of Working Draft”章节中描述了此方法(参见非专利文献1)。此外，在非专利文献2中也描述了类似的方法。脸书(Facebook)公司在网络上发布了称为“金字塔编码(Pyramid Coding)”的基于类似想法的另一种映射(参见非专利文献3)。
根据该方法，在正面区域中分配的像素数大，并且分辨率高。准备具有不同的正面方向的多个比特流，并且在根据观看者观看的方向切换比特流的同时执行发送。即使分辨率存在差异，但是包括所有方向的数据，因此观看方向的突然变化不会使数据丢失。
在MPEG会议中将在观看方向的前方设置高分辨率而在其他方向上设置低分辨率的映射称为“视口相关投影映射(viewport dependent projection mapping)”。
引用列表
专利文献
专利文献1：日本专利申请特许公开第2016-15705号
非专利文献
非专利文献1：
http://mpeg.chiariglione.org/standards/mpeg-a/omnidirectional-media-application-format/wd-isoiec-23000-20-omnidirectional-media
非专利文献2：
https://www.itu.int/en/ITU-T/studygroups/2017-2020/16/Documents/ws/201701ILE/S2P2-1701-01-19-MPEG_Immersive_Media_Thomas_Stockhamm er.pdf
非专利文献3：
https://code.facebook.com/posts/1126354007399553/next-generation-vide o-encoding-techniques-for-360-video-and-vr/
发明内容
本发明要解决的问题
上述使用其中在观看方向的前方设置高分辨率并且在其他方向上设置低分辨率的映射的方法是使用专用映射的方法，在该方法中，新定义了导致分辨率差异的映射。使用专用映射的方法变得与常规映射方法(换言之，即在所有方向上显示具有均匀像素密度(分辨率)的全向图像的映射)不兼容。因此，需要下述映射，该映射可以照原样使用针对通用全向图像设计的映射，并且可以在特定方向上生成高分辨率的图像。
鉴于这种情况作出了本公开内容，并且本公开内容能够提供下述映射，该映射适用于任意映射方法，并且在观看方向上设置高分辨率。
问题的解决方案
本公开内容的第一方面的生成装置包括归一化单元，该归一化单元将第一矢量转换成单位球的3D模型的第二矢量，第一矢量将把360度图像映射到预定3D模型上。
本公开内容的第一方面的生成方法包括：将360度图像被映射到其上的预定3D模型的第一矢量转换成单位球的3D模型的第二矢量。
在本公开内容的第一方面中，360度图像被映射到其上的预定3D模型的第一矢量被转换成单位球的3D模型的第二矢量。
本公开内容的第二方面的再现装置包括：接收单元，其接收由另一装置生成的360度图像；以及归一化单元，其将把360度图像映射到预定3D模型上的第一矢量转换成单位球的3D模型的第二矢量。
本公开内容的第二方面的再现方法包括：接收由另一装置生成的360度图像，以及将把360度图像映射到预定3D模型上的第一矢量转换成单位球的3D模型的第二矢量。
在本公开内容的第二方面中，接收由另一装置生成的360度图像，并且将360度图像映射到预定3D模型上的第一矢量被转换成单位球的3D模型的第二矢量。
注意，可以通过使计算机执行程序来实现本公开内容的第一方面的生成装置和第二方面的再现装置。
此外，为了实现本公开内容的第一方面的生成装置和第二方面的再现装置，可以通过经由传输介质传输或者记录在记录介质上来提供要由计算机执行的程序。
生成装置和再现装置均可以是独立装置或者被包括在一个装置中的内部块。
本发明的效果
根据本公开内容的第一方面和第二方面，能够提供适用于任意映射方法并且在观看方向上设置高分辨率的映射。
注意，此处描述的效果不必受限制，并且可以是本公开内容中描述的任何效果。
附图说明
图1是示出应用了本公开内容的分发系统的第一实施方式的配置示例的框图。
图2是示出图1的生成装置的配置示例的框图。
图3是示出高分辨率方向的设置的图。
图4是示出映射处理单元的详细配置的框图。
图5是示出映射处理单元的映射的图。
图6是示出正八面体映射中的纹理图像与3D模型之间的关系的图。
图7是示出根据第一实施方式的映射处理单元的处理的图。
图8是示出从偏移位置观察单位球的球面上的每个像素的情况的图。
图9是示出通过映射f的映射处理的二维纹理图像与3D模型之间的对应关系的图。
图10是示出通过映射f’的映射处理的二维纹理图像与3D模型之间的对应关系的图。
图11是示出通过映射f”的映射处理的二维纹理图像与3D模型之间的对应关系的图。
图12是示出由表格生成单元生成的辅助信息的配置示例的图。
图13是示出方位角θ、仰角和旋转角ψ的图。
图14是示出具有不同高分辨率方向的六个全向图像的示例的图。
图15是示出生成处理的流程图。
图16是示出图1的分发服务器和再现装置的配置示例的框图。
图17是示出绘图单元的处理的图。
图18是示出再现处理的流程图。
图19是示出第一实施方式的修改例的图。
图20是示出第一实施方式的修改例的图。
图21是示出第一实施方式的修改例的图。
图22是示出生成装置和再现装置的映射处理单元的映射方向的图。
图23是示出生成装置和再现装置的映射处理单元的映射方向的图。
图24是示出根据第二实施方式的映射处理单元的配置示例的框图。
图25是示出根据第二实施方式的映射处理单元的映射的图。
图26是示出根据第二实施方式的映射处理单元的处理的图。
图27是示出通过映射g的映射处理的二维纹理图像与3D模型之间的对应关系的图。
图28是示出第一实施方式中的偏心率k与分辨率提高率之间的关系的图。
图29是示出第二实施方式中的偏心率k与分辨率提高率之间的关系的图。
图30是示出在第一实施方式中当改变偏心率k时的二维纹理图像的示例的图。
图31是示出在第二实施方式中当改变偏心率k时的二维纹理图像的示例的图。
图32是第一实施方式中的映射处理的概念图。
图33是第二实施方式中的映射处理的概念图。
图34是示出第一实施方式的映射处理与第二实施方式的映射处理之间的差异的图。
图35是采用立方体模型作为3D模型的情况的用于比较说明的图。
图36是示出根据第三实施方式的映射处理单元的处理的图。
图37是第三实施方式中的映射处理的概念图。
图38是示出作为辅助信息的参数表的另一示例的图。
图39是示出其中编码流是用于3D图像的全向图像的修改例的图。
图40是示出应用了本公开内容的计算机的配置示例的框图。
图41是示出车辆控制系统的示意性配置的示例的框图。
图42是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
以下是对用于执行根据本公开内容的技术的模式(该模式在下文中被称为实施方式)的描述。注意，将按以下顺序进行描述。
1.第一实施方式
2.生成装置和再现装置的映射处理单元的映射方向
3.第二实施方式
4.偏心率k与分辨率提高率之间的关系
5.第一实施方式与第二实施方式之间的区别
6.第一实施方式与第二实施方式的组合
7.结论
8.修改例
9.计算机配置示例
10.应用示例
<1.第一实施方式>
(分发系统的第一实施方式的配置示例)
图1是示出应用本公开内容的分发系统的第一实施方式的配置示例的框图。
图1的分发系统10包括成像装置11、生成装置12、分发服务器13、网络14、再现装置15和头戴式显示器16。分发系统10根据由成像装置11捕获的捕获图像来生成全向图像并且通过使用全向图像来显示观看者的视野范围的显示图像。
具体地，分发系统10的成像装置11包括六个摄像装置11A-1至11A-6。注意，在下文中，在不需要特别区分摄像装置11A-1至11A-6的情况下，它们被称为摄像装置11A。
每个摄像装置11A捕获运动图像。成像装置11将由各个摄像装置11A捕获的六个方向上的运动图像作为捕获图像提供给生成装置12。注意，设置在成像装置11中的摄像装置的数量不限于六个，只要摄像装置的数量是复数即可。
生成装置12通过使用等量矩形投影的方法根据从成像装置11提供的捕获图像来生成围绕水平方向360度以及围绕垂直方向180度的全向图像。生成装置12通过诸如高级视频编码(AVC)或高效视频编码(HEVC)/H.265的预定编码方法对图像数据进行压缩和编码，在该图像数据中，将可以通过等量矩形投影在上、下、左、右的所有方向上环视360度的全向图像映射到预定3D模型上。
当将全向图像映射到预定3D模型上时，生成装置12设置与观看者的注视方向对应的多个方向，并且针对每个方向，转换该映射，使得针对所设置的方向上的分辨率设置高分辨率并且在与所设置的方向相反的方向上设置低分辨率。然后，生成装置12生成编码流，在该编码流中，通过使用经转换的映射生成的全向图像的图像数据被压缩和编码。
例如，假设以立方体的中心作为观看位置，将从中心起的与立方体的各个面垂直的方向上的六个方向设置为多个方向，则生成装置12生成其中全向图像的图像数据被压缩和编码的六个编码流，使得编码流对应于六个方向。所生成的六个编码流成为具有设置了高分辨率的不同方向(下文中，也称为高分辨率方向)的全向图像的图像数据。
生成装置12将分别具有不同高分辨率方向的多个编码流上载到分发服务器13。此外，生成装置12生成用于识别多个编码流的辅助信息并且将辅助信息上载到分发服务器13。辅助信息是限定高分辨率方向是哪个方向等的信息。
分发服务器13经由网络14连接至再现装置15。分发服务器13存储从生成装置12上载的多个编码流和辅助信息。响应于来自再现装置15的请求，分发服务器13经由网络14将所存储的辅助信息和多个编码流中的至少一个发送至再现装置15。
再现装置15经由网络14请求分发服务器13发送用于识别在分发服务器13中存储的多个编码流的辅助信息并且接收响应于该请求而发送的辅助信息。
此外，再现装置15包括摄像装置15A并且对附于头戴式显示器16上的标记16A进行成像。然后，再现装置15基于标记16A的捕获图像来检测观看者在3D模型的坐标系(下文中被称为3D模型坐标系)中的观看位置。此外，再现装置15从头戴式显示器16接收头戴式显示器16的陀螺仪传感器16B的检测结果。再现装置15基于陀螺仪传感器16B的检测结果来确定观看者在3D模型坐标系中的注视方向。再现装置15基于观看位置和注视方向来确定位于3D模型内部的观看者的视野范围。
然后，基于辅助信息和观看者的视野范围，再现装置15经由网络14向分发服务器13请求多个编码流中的一个，并且接收响应于该请求而从分发服务器13发送的一个编码流。
换句话说，再现装置15将在分发服务器13中存储的多个编码流之中的最接近观看者的注视方向的高分辨率方向上的编码流确定为要获取的编码流并且请求分发服务器13发送该编码流。
再现装置15对接收到的一个编码流进行解码。再现装置15通过将作为解码结果获得的全向图像映射到预定3D模型上来生成3D模型图像。
然后，再现装置15通过以观看位置为焦点将3D模型图像透视地投影到观看者的视野范围内来生成观看者的视野范围的图像作为显示图像。再现装置15将显示图像提供给头戴式显示器16。
头戴式显示器16安装在观看者的头部上并且显示从再现装置15提供的显示图像。在头戴式显示器16上，附有由摄像装置15A成像的标记16A。因此，观看者可以通过在将头戴式显示器16安装在头部上的同时进行移动来指定观看位置。此外，头戴式显示器16包括陀螺仪传感器16B，并且由陀螺仪传感器16B进行的角速度的检测结果被发送至再现装置15。因此，观看者可以通过旋转安装有头戴式显示器16的头部来指定注视方向。
再现装置15在根据观看者观看的方向切换在分发服务器13中存储的多个编码流的同时在观看者的视野范围内生成图像，并且使头戴式显示器16显示图像。换句话说，动态地切换在分发服务器13中存储的多个编码流，使得在观看者观看的方向上提高分辨率。
在分发系统10中，可以使用任何方法作为从分发服务器13到再现装置15的分发方法。在分发方法例如是使用基于HTTP的运动图像专家组相位动态自适应流(MPEG-DASH)的方法的情况下，分发服务器13是超文本传输协议(HTTP)服务器，并且再现装置15是MPEG-DASH客户端。
(生成装置的配置示例)
图2是示出图1的生成装置12的配置示例的框图。
图2的生成装置12包括：拼接处理单元21、旋转处理单元22-1至22-6、映射处理单元23-1至23-6、编码器24-1至24-6、设置单元25、表生成单元26和发送单元27。
在生成装置12中，设置与高分辨率方向的数量相同的数量的旋转处理单元22、映射处理单元23和编码器24。在本实施方式中，在生成装置12中，以立方体的中心作为观看位置，如图3中的箭头dir1至dir6所示，将从中心起的与立方体的各个面垂直的方向上的六个方向设置为高分辨率方向，使得旋转处理单元22、映射处理单元23和编码器24各自设置有六个。假设将12个方向设置为高分辨率方向的情况，则在生成装置12中将映射处理单元23和编码器24均设置12个。
在下文中，在不需要特别区分旋转处理单元22-1至22-6的情况下，将旋转处理单元22-1至22-6简称为旋转处理单元22。类似地，在不需要特别区分映射处理单元23-1至23-6和编码器24-1至24-6的情况下，将映射处理单元23-1至23-6和编码器24-1至24-6称为映射处理单元23和编码器24。
拼接处理单元21使从图1的摄像装置11A提供的六个方向上的捕获图像的颜色和亮度对于每一帧都相同，并且去除交叠并且将捕获图像连接在一起，以将捕获图像转换成具有足够的分辨率的一个捕获图像。例如，拼接处理单元21执行到作为所述一个捕获图像的等量矩形图像的转换。拼接处理单元21将作为捕获图像的等量矩形图像以帧为单位提供给旋转处理单元22。
旋转处理单元22以帧为单位旋转(移动)从拼接处理单元21提供的捕获图像(例如，等量矩形图像)的图像中心，使得高分辨率方向处于图像的中心。设置单元25指示将哪个方向设置为高分辨率方向。旋转处理单元22-1至22-6仅在从设置单元25指示的方向上不同。
映射处理单元23通过将经转换使得图像中心的附近具有高分辨率的捕获图像映射到预定3D模型上，来生成在从设置单元25指示的方向上设置高分辨率的全向图像。在所生成的全向图像中，与从设置单元25指示的方向相反(正后方)的方向上的分辨率为低分辨率。
编码器24(编码单元)通过诸如MPEG2方法或AVC方法的预定编码方法对从映射处理单元23提供的全向图像进行编码，以生成编码流。编码器24将生成的一个编码流提供给发送单元27。
此时，由于动态地切换和再现由编码器24-1至24-6生成的六个编码流，因此例如使诸如图片组(GOP)的第一图片和IDR图片的同步点在由编码器24-1至24-6生成的六个编码流之间彼此相同。编码器24-1至24-6各自将生成的一个编码流提供给发送单元27。
映射处理单元23和编码器24以从旋转处理单元22提供的图像的与由设置单元25设置的高分辨率方向对应的图像中心方向作为正面方向来执行相同的处理。从旋转处理单元22提供的高分辨率方向处于图像中心的图像被称为正面方向图像。
设置单元25通过相对于围绕水平方向360度和围绕垂直方向180度平行设置的六个旋转处理单元22、映射处理单元23和编码器24的组来确定被视为正面方向的高分辨率方向。设置单元25向旋转处理单元22-1至22-6提供用于指定所确定的六个高分辨率方向之一的信息。分别提供给旋转处理单元22-1至22-6的高分辨率方向彼此不同。
此外，与围绕水平方向360度和围绕垂直方向180度的所有方向上设置均匀分辨率的情况相比，设置单元25确定指示要在高分辨率方向上设置多高的分辨率的分辨率提高率，并且将分辨率提高率提供给映射处理单元23-1至23-6。提供给映射处理单元23-1至23-6的分辨率提高率可以在映射处理单元23-1至23-6中是不同的值，但是在本实施方式中，分辨率提高率是共用的值。
在本实施方式中，将设置的高分辨率方向的数量预先确定为六个，并且采用在生成装置12中将旋转处理单元22、映射处理单元23和编码器24各自设置六个的配置；然而，也可以采用与由设置单元25确定的高分辨率方向的任意数量对应的旋转处理单元22、映射处理单元23以及编码器24中的每一个的数量可变的配置。
此外，设置单元25将指定提供给旋转处理单元22-1至22-6的六个高分辨率方向的信息以及指示提供给映射处理单元23-1至23-6的分辨率提高率的信息提供给表生成单元26。
注意，在图2中，省略了从设置单元25向旋转处理单元22-1至22-6和映射处理单元23-1至23-6提供预定数据(高分辨率方向、分辨率提高率)的提供线的图示。
表生成单元26生成针对每个高分辨率方向收集从设置单元25提供的六个高分辨率方向和分辨率提高率的表，并且将所生成的表作为辅助信息提供给发送单元27。
发送单元27将分别从编码器24-1至24-6提供的总共六个编码流和从表生成单元26提供的辅助信息上载(发送)到图1的分发服务器13。
(映射转换单元的配置示例)
图4是示出映射处理单元23的详细配置的框图。
映射处理单元23包括全向映射坐标生成单元41、矢量归一化单元42和映射校正单元43。
针对每一帧，将图像从旋转处理单元22提供给映射处理单元23，其中该图像是具有足够的分辨率的一个图像(例如，等量矩形图像)，并且由设置单元25设置的高分辨率方向在图像中心处。
在生成围绕水平方向360度和围绕垂直方向180度的所有方向上设置均匀分辨率的全向图像的情况下，映射处理单元23仅包括全向映射坐标生成单元41。如本实施方式中的那样，为了生成预定方向被设置为高分辨率方向的全向图像，将矢量归一化单元42和映射校正单元43添加到映射处理单元23。
映射处理单元23执行将从旋转处理单元22提供的一个图像(例如，等量矩形图像)映射到预定3D模型的处理，并且实际上，通过一次的映射处理共同地执行全向映射坐标生成单元41、矢量归一化单元42和映射校正单元43的三种类型的处理。
因此，将逐步描述由映射处理单元23进行的映射处理：如图5中所示，将仅由全向映射坐标生成单元41执行的映射限定为映射f，将由全向映射坐标生成单元41和矢量归一化单元42的组合执行的映射限定为映射f'，并且将由全向映射坐标生成单元41、矢量归一化单元42和映射校正单元43的组合执行的映射限定为映射f”。
全向映射坐标生成单元41通过将从旋转处理单元22提供的正面方向图像映射到预定3D模型上来生成在高分辨率方向上设置了高分辨率的全向图像。
例如，假设采用用于映射到正八面体的正八面体映射作为预定3D模型，则全向映射坐标生成单元41通过将从旋转处理单元22提供的正面方向图像映射到正八面体来生成在高分辨率方向上设置了高分辨率的全向图像。
包括正八面体映射的多面体映射是以下映射方法，其能够通过将纹理图像粘贴到包括多个三角形补丁的3D多面体实体模型并且执行透视投影使得从3D模型的中心向四周观看多面体的面，来相对容易地由GPU进行绘制。
图6是示出正八面体映射中的纹理图像与3D模型之间的关系的图。
图6的A示出了作为3D模型的正八面体，并且在X轴、Y轴和Z轴的3D模型坐标系中限定了作为3D模型的正八面体。
图6的B是要粘贴到作为3D模型的正八面体的纹理图像，并且该纹理图像由U轴和V轴的平面坐标系限定。
平面坐标(u，v)的纹理图像(像素)与正八面体上的三维坐标位置(x，y，z)之间的对应关系由映射f限定为(x，y，z)＝f(u，v)。
图7的A是Z＝0的截面中的正八面体模型的示意图。
如图7的A所示，以正八面体的原点为观看位置，当从原点到正八面体上的预定三维坐标位置(x，y，z)的矢量为矢量d时，由全向映射坐标生成单元41进行的映射f与矢量d对应，并且全向映射坐标生成单元41生成式(1)的矢量d。
[表达式1]
Figure BDA0002326188910000131
接下来，通过以下式(2)对矢量d进行归一化，从而计算矢量p。
[表达式2]
Figure BDA0002326188910000132
如图7的B所示，矢量p表示到半径为1的球(下文中被称为单位球)的球面上的三维坐标位置(x，y，z)的矢量。
由全向映射坐标生成单元41和矢量归一化单元42的组合执行的映射f'是通过使用矢量p映射到单位球(球面)的3D模型上的处理。
因此，矢量归一化单元42将由全向映射坐标生成单元41采用的预定3D模型(在本实施方式中为正八面体模型)转换为单位球(球面)的3D模型。
映射校正单元43将预定偏移位置矢量添加到由矢量归一化单元42归一化的矢量p。当要被添加到矢量p的偏移位置矢量是矢量s1并且由映射校正单元43校正的矢量是矢量q1时，映射校正单元43通过以下式(3)来计算矢量q1。
[表达式3]
Figure BDA0002326188910000133
如图7的C所示，通过将预定偏移位置矢量s1(负偏移位置矢量s1)与矢量p相加来获得矢量q1。
由全向映射坐标生成单元41、矢量归一化单元42和映射校正单元43的组合执行的映射f”是通过使用矢量q1映射到单位球(球面)的3D模型上的处理。
所计算的矢量q1等效于从偏离中心(原点)达偏移位置矢量s1的位置观看作为3D模型布置在单位球的球面上的纹理图像。
如图8中所示，在从偏离中心(原点)达偏移位置矢量s1的位置观看单位球的球面上的每个像素的情况下，出现像素密度为高分辨率的方向以及像素密度为低分辨率的方向。
图7的C中的偏移位置矢量s1的长度(大小)对应于距球的中心的偏移距离。当偏移位置矢量s1的长度为0时，观看位置保留在单位球的中心处，这意味着没有转换就不会改变分辨率。
当将偏移位置矢量s1的长度称为偏心率k时，该偏心率k可以取从原点到单位球面的值，因此，该偏心率k的可能值为0≤k<1。偏心率k(偏移位置矢量s1的长度)越大，图8所示的像素之间的密度差越大，并且偏心率k表示在所有方向上均匀设置的分辨率作为参考的情况下分辨率在正面方向上提高的程度。
如上所述，映射处理单元23执行与等式(3)的矢量q1对应的映射f”的映射处理，从而根据从旋转处理单元22提供的正面方向图像生成其中特定方向被设定为高分辨率方向的全向图像。
在上述示例中，已经将其中采用正八面体的3D模型的示例描述为通过全向映射坐标生成单元41进行的全向图像处理的示例。
然而，由全向映射坐标生成单元41采用的3D模型可以是任何3D模型。例如，可以使用立方体映射，或者可以使用等距圆柱体。然而，由于等距圆柱体通常由球模型定义，因此即使在随后阶段中由矢量归一化单元42执行归一化处理，3D模型的形状也不会改变。
换句话说，由于在全向映射坐标生成单元41的随后阶段中提供了将任意3D模型转换为单位球模型的矢量归一化单元42，因此可以在全向映射坐标生成单元41中采用任意3D模型。
图9是示出通过由全向映射坐标生成单元41单独进行的映射f的映射处理的二维纹理图像与正八面体的3D模型之间的对应关系的图。
图10是示出通过映射f’的映射处理的二维纹理图像与单位球的3D模型之间的对应关系的图，在该映射f’中通过全向映射坐标生成单元41进行的全向图像处理和通过矢量归一化单元42进行的归一化处理被集成在一起。
图11是示出通过映射f”的映射处理的二维纹理图像与单位球的3D模型之间的对应关系的图，在该映射f”中通过全向映射坐标生成单元41进行的全向图像处理、通过矢量归一化单元42进行的归一化处理和通过映射校正单元43进行的映射校正处理被集成在一起。
在图9至图11中，为了说明起见，相对于在水平面(XZ平面)上与预定参考轴成角度的方位角和在竖直方向上成角度的仰角以相等的间隔绘制辅助线。
尽管由于图的分辨率的限制而不能在图上充分表达，但是通过图11的映射f”的映射处理的二维纹理图像与通过图10的映射f’的映射处理的二维纹理图像不同。尽管图10和图11的3D模型看起来彼此相同，但是实际上，图10和图11的像素密度分布不同。
(辅助信息的配置示例)
图12是示出由图2的表生成单元26生成的辅助信息的配置示例的图。
表生成单元26将其中针对每个高分辨率方向收集指定高分辨率方向和分辨率提高率的信息的参数表生成为辅助信息。
在图12的示例中，针对与图3所示的箭头dir1至dir6对应的六个方向中的每一个定义了指定高分辨率方向和分辨率提高率的信息。指定高分辨率方向的信息是方位角θ、仰角和旋转角ψ，并且分辨率提高率是上述的偏心率k。箭头dir1至dir6对应于例如图12中的ID1至ID 6。
图13是示出方位角θ、仰角
Figure BDA0002326188910000152
和旋转角ψ的图。
方位角θ是与作为3D模型坐标系的水平面的XZ平面上的预定参考轴成的角，并且可以取从-180°至+180°的值(-180°≤θ≤180°)。在图13的示例中，顺时针方向是正方向。
仰角
Figure BDA0002326188910000153
是以3D模型坐标系的XZ平面为参考平面在竖直方向上的角，并且可以取从-90°至+90°的值
Figure BDA0002326188910000155
在图13的示例中，向上方向是正方向。
旋转角ψ是当轴线是连接作为视点的原点和球表面上的点的线时围绕轴线o的角并且在图13的示例中，逆时针方向是正方向。
注意，正号或负号取决于采用正交坐标系的右手系或左手系中的哪个以及使用哪个方向或旋转方向作为方位角θ、仰角
Figure BDA0002326188910000154
和旋转角ψ中的正方向而变化；然而，以任何方式定义它都没有问题。
图14示出了由六个旋转处理单元22、映射处理单元23和编码器24生成的六个全向图像的示例。
图14中所示的六个全向图像611至616是具有分别对应于图12中的ID 1至ID 6的高分辨率方向的全向图像。在没有特别区分六个全向图像611至616的情况下，将全向图像简称为全向图像61。
在图14所示的六个全向图像611至616中，绘制对应于作为单位球的球体的纬度和经度的辅助线。
六个全向图像611至616由旋转处理单元22旋转，使得由图12中的参数表指定的分辨率方向位于图像中心。可以看出，在全向图像61中，辅助线之间的距离随着线距图像中心越靠近而变宽，使得随着图像距图像中心越靠近而被放大。
(生成装置的处理的描述)
图15是示出由图2的生成装置12进行的生成处理的流程图。例如，当提供由成像装置11的六个摄像装置11A-1至11A-6捕获的六个方向上的运动图像时，开始该处理。
首先，在步骤S11中，拼接处理单元21针对每个帧使从各个摄像装置11A提供的六个方向上的捕获图像的颜色和亮度相同，并且去除重叠并将捕获图像连接在一起以将捕获图像转换成一个捕获图像。拼接处理单元21例如将等角矩形图像生成为一个捕获图像，并且将等角矩形图像以帧为单位提供给旋转处理单元22。
在步骤S12中，设置单元25确定六个高分辨率方向和分辨率提高率。设置单元25将确定的六个高分辨率方向一个接一个地提供给旋转处理单元22-1至22-6，并且将所确定的分辨率提高率提供给映射处理单元23-1至23-6。此外，设置单元25还将所确定的六个高分辨率方向和分辨率提高率提供给表生成单元26。
在步骤S13中，旋转处理单元22旋转从拼接处理单元21提供的以帧为单位的捕获图像(例如，等边矩形图像)使得通过设置单元25所指示的高分辨率方向位于图像的中心。
在步骤S14中，映射处理单元23通过将旋转以使得图像中心附近具有高分辨率的捕获图像映射到预定的3D模型上来生成其中在从设置单元25指示的方向上设定高分辨率的全向图像。
具体地，映射处理单元23计算等式(3)的矢量q1，并且执行通过使用作为计算结果而获得的矢量q1来将从旋转处理单元22提供的正面方向图像映射到单位球上的处理，从而执行映射f”的映射处理，该映射f”中将通过全向映射坐标生成单元41进行的3D模型映射处理、通过矢量归一化单元42进行的归一化处理和通过映射校正单元43进行的映射校正处理集成在一起。
在步骤S15中，编码器24使用诸如MPEG2方法或AVC方法的预定编码方法对从映射处理单元23提供的全向图像进行编码以生成一个编码流。编码器24将所生成的一个编码流提供给传送单元27。
在步骤S13至S15中，所提供的六个旋转处理单元22、映射处理单元23和编码器24之一对具有不同高分辨率方向(正面方向)的捕获图像并行执行处理。
在步骤S16中，生成表生成单元26将其中针对每个高分辨率方向收集指定六个高分辨率方向的信息和指示分辨率提高率的信息的参数表生成为辅助信息，并且将该辅助信息提供给传送单元27。
在步骤S17中，传送单元27将从六个编码器24提供的总共六个编码流和从表生成单元26提供的辅助信息上载到分发服务器13。
(分发服务器和再现装置的配置示例)
图16是示出图1的分发服务器13和再现装置15的配置示例的框图。
分发服务器13包括接收单元101、存储装置102和发送/接收单元103。
接收单元101接收从图1的生成装置12上载的六个编码流和辅助信息，并且将该流和信息提供给存储装置102。
存储装置102存储从接收单元101提供的六个编码流和辅助信息。
响应于来自再现装置15的请求，发送/接收单元103读取存储在存储装置102中的辅助信息，并且经由网络14将辅助信息发送至再现装置15。
此外，响应于来自再现装置15的请求，发送/接收单元103读取存储在存储装置102中的六个编码流中的一个预定编码流，并且经由网络14将预定编码流发送至再现装置15。响应于来自再现装置15的请求，适当地改变由发送/接收单元103发送至再现装置15的一个编码流。
注意，在同步点处执行要发送的编码流的改变。因此，以几帧至几十帧为单位执行要发送的编码流的改变。此外，如上所述，在六个编码流中，同步点彼此相同。因此，发送/接收单元103可以容易地在同步点处通过切换要发送的编码流来切换要在再现装置15中再现的捕获图像。
再现装置15包括摄像装置15A、发送/接收单元121、解码器122、映射处理单元123、旋转计算单元124、接收单元125、注视检测单元126、流确定单元127和绘图单元128。
再现装置15的发送/接收单元121(接收单元)经由网络14请求分发服务器13发送辅助信息，并且响应于请求接收从分发服务器13的发送/接收单元103发送的辅助信息。发送/接收单元121将获取的辅助信息提供给流确定单元127。
此外，将流选择信息从流确定单元127提供至发送/接收单元121，该流选择信息指示要从可以从分发服务器13获取的六个编码流中获取一个编码流。
发送/接收单元121经由网络14请求分发服务器13发送基于流选择信息确定的一个编码流，并且响应于请求接收从分发服务器13的发送/接收单元103发送的一个编码流。发送/接收单元121将获取的一个编码流提供给解码器122。
解码器122(解码单元)对从发送/接收单元121提供的编码流进行解码，以生成在预定方向上设定高分辨率的全向图像。生成的全向图像是在可以从分发服务器13获取的相应六个编码流的高分辨率方向中的最接近观看者的当前注视方向的方向上具有高分辨率方向的全向图像。解码器122将所生成的全向图像提供给映射处理单元123。
映射处理单元123通过将从解码器122提供的全向图像作为纹理映射到作为3D模型的单位球的球表面上来生成3D模型图像，并且将3D模型图像提供给绘图单元128。
更具体地，类似于生成装置12的映射处理单元23，映射处理单元123使用等式(3)的矢量q1执行通过映射f”来映射从解码器122提供的全向图像的映射处理。通过映射获得的3D模型图像是其中将接近观看者的当前注视方向的预定方向设定为高分辨率方向的图像。
旋转计算单元124从流确定单元127获取指定由发送/接收单元121接收的一个编码流的高分辨率方向的信息，生成与高分辨率方向对应的旋转信息，并且将旋转信息提供给绘图单元128。
换句话说，从分发服务器13获取的六个编码流经受由生成装置12的旋转处理单元22进行的旋转处理，使得3D模型坐标系中的相同(公共)方向为高分辨率方向，并且然后经受映射处理。因此，旋转计算单元124基于从流确定单元127提供的指定高分辨率方向的信息来生成用于返回到3D模型坐标系的原始方向的旋转信息，并且将旋转信息提供给绘图单元128。
接收单元125从头戴式显示器16接收图1中的陀螺仪传感器16B的检测结果，并且将该检测结果提供给注视检测单元126。
注视检测单元126基于从接收单元125提供的陀螺仪传感器16B的检测结果来确定3D模型坐标系中的观看者的注视方向，并且将所确定的方向提供给流确定单元127。此外，注视检测单元126从摄像装置15A获取标记16A的捕获图像，并且基于捕获图像检测3D模型的坐标系中的观看位置。
此外，注视检测单元126基于3D模型坐标系中的观看位置和注视方向来确定3D模型坐标系中的观看者的视野范围。注视检测单元126将观看者的视野范围和观看位置提供给绘图单元128。
从发送/接收单元121向流确定单元127提供辅助信息，并且从注视检测单元126向流确定单元127提供观看者的注视方向。
流确定单元127(选择单元)基于观看者的注视方向和辅助信息来确定(选择)在可以从分发服务器13获取的六个编码流中的具有最接近观看者的注视方向的高分辨率方向的编码流。换句话说，流确定单元127确定透视投影到观看者的视野范围上的图像的正向的一个编码流具有高分辨率。
流确定单元127将指示选择的编码流的流选择信息提供给发送/接收单元121。
此外，流确定单元127将指定所选择的编码流的高分辨率方向的信息提供给旋转计算单元124。具体地，流确定单元127将与所选择的编码流对应的辅助信息的方位角θ、仰角
Figure BDA0002326188910000191
和旋转角ψ提供给旋转计算单元124。旋转计算单元124基于从流确定单元127提供的指定高分辨率方向的信息来生成旋转信息。
注意，流确定单元127还可以将流选择信息提供给旋转计算单元124，并且旋转计算单元124可以通过根据获取的流选择信息参考由流确定单元127存储的图12的参数表来生成旋转信息。
绘图单元128以从注视检测单元126提供的观看位置为焦点、通过将从映射处理单元123提供的3D模型图像透视地投影到观看者的视野范围上而将观看者的视野范围的图像生成为显示图像。
将参照图17描述绘图单元128的处理。
图17的A是从映射处理单元123提供的3D模型图像的概念图，并且图17的B是穿过图17的A的单位球的原点的水平截面图。
如图17所示，在从映射处理单元123提供的3D模型图像中，用于映射f”的映射处理的二维纹理图像以中心点141粘贴在单位球的球表面142上。单位球的中心点141对应于观看者的观看位置(视点)。
在从映射处理单元123提供的3D模型图像中，单位球的球表面142的预定方向，例如由箭头143所示的方向是高分辨率方向。箭头143的方向是二维纹理图像的图像中心的方向，并且是与六个编码流对应的六个3D模型图像共有的方向，但是是与观看者的注视方向无关的方向。
绘图单元128根据从旋转计算单元124提供的旋转信息来旋转3D模型图像。在图17的示例中，沿由箭头143所示的方向的二维纹理图像沿由箭头144所示的方向旋转(移动)，并且二维纹理图像的高分辨率部分位于接近观看者的注视方向145的方向。
换句话说，绘图单元128旋转从映射处理单元123提供的3D模型图像的高分辨率部分使得该部分在图3的箭头dir1至dir6的原始方向上。由流确定单元127选择的一个编码流的高分辨率方向(由箭头144指示的方向)是在与六个编码流的分辨率的方向对应的箭头dir1至dir6之中最接近观看者的注视方向145的方向。
接下来，绘图单元128基于从注视检测单元126提供的观看者的视野范围和观看位置将旋转的3D模型图像透视地投影到观看者的视野范围146上。因此，将下述图像生成为显示图像，所述图像被映射到单位球上并且通过观看者的视野范围146从作为观看位置的中心点141来观看。将所生成的显示图像提供给头戴式显示器16。
(再现装置的处理的描述)
图18是示出图16的再现装置15进行的再现处理的流程图。例如，当在再现装置15中检测到通电或处理开始操作时，开始再现处理。
首先，在步骤S31中，发送/接收单元121请求分发服务器13发送辅助信息，并且响应于该请求，接收从分发服务器13的发送/接收单元103发送的辅助信息。发送/接收单元121将获取的辅助信息提供给流确定单元127。
在步骤S32中，接收单元125从头戴式显示器16中接收图1中的陀螺仪传感器16B的检测结果并且将该检测结果提供给注视检测单元126。
在步骤S33中，注视检测单元126基于从接收单元125提供的陀螺仪传感器16B的检测结果，确定3D模型的坐标系中观看者的注视方向，并且将该注视方向提供给流确定单元127。
在步骤S34中，注视检测单元126确定3D模型的坐标系中观看者的观看位置和视野范围，并且将观看位置和视野范围提供给绘图单元128。更具体地，注视检测单元126从摄像装置15A获取标记16A的捕获图像，并且基于该捕获图像来检测3D模型的坐标系中的观看位置。然后，注视检测单元126基于检测到的观看位置和注视方向来确定3D模型坐标系中的观看者的视野范围。
在步骤S35中，流确定单元127基于观看者的注视方向和辅助信息从可以从分发服务器13获取的六个编码流中确定(选择)一个编码流。换句话说，流确定单元127从六个编码流中确定(选择)具有最接近观看者的注视方向的高分辨率方向的编码流。然后，流确定单元127将指定所选择的编码流的流选择信息提供给发送/接收单元121。
在步骤S36中，流确定单元127将指定所选择的编码流的高分辨率方向的信息提供给旋转计算单元124。
在步骤S37中，旋转计算单元124基于从流确定单元127提供的指定高分辨率方向的信息来生成旋转信息，并且将该旋转信息提供给绘图单元128。
在步骤S38中，发送/接收单元121经由网络14请求分发服务器13发送与从流确定单元127提供的流选择信息相对应的一个编码流，并且响应于该请求，接收从分发服务器13的发送/接收单元103发送的一个编码流。发送/接收单元121将获取的一个编码流提供给解码器122。
在步骤S39中，解码器122对从发送/接收单元121提供的编码流进行解码，生成在预定方向上设置了高分辨率的全向图像，并且将全向图像提供给映射处理单元123。
步骤S36和步骤S37的处理以及步骤S38和步骤39的处理的顺序可以颠倒。此外，步骤S36和步骤S37的处理以及步骤S38和步骤39的处理可以并行执行。
在步骤S40中，映射处理单元123通过将从解码器122提供的全向图像作为纹理映射到作为3D模型的单位球上，来生成将二维纹理图像粘贴到单位球的球面上的3D模型图像，并且将3D模型图像提供给绘图单元128。
具体地，映射处理单元123使用式(3)的矢量q1执行映射f”的映射处理，并且将从解码器122提供的全向图像映射到单位球上。
在步骤S41中，绘图单元128根据从旋转计算单元124提供的旋转信息对从映射处理单元123提供的3D模型图像进行旋转。
在步骤S42中，绘图单元128基于从注视检测单元126提供的观看者的视野范围和观看位置，通过将旋转的3D模型图像透视地投影到观看者的视野范围上来生成显示图像。
在步骤S43中，绘图单元128将显示图像发送至头戴式显示器16以显示图像。
在步骤S44中，再现装置15确定再现是否要结束。例如，当观看者执行了结束再现的操作时，再现装置15确定结束再现。
在步骤S44中确定再现不结束的情况下，处理返回至步骤S32，并且重复上述步骤S32至步骤S44的处理。另一方面，在步骤S44中确定再现要结束的情况下，结束再现处理。
(第一实施方式的修改例)
将参照图19至图21描述上述第一实施方式的修改例。
在上述第一实施方式中，再现装置15通过获取在其上从分发服务器13执行了映射f”的映射处理的全向图像来生成当观看者以球的中心位置作为观看位置观看注视方向时的显示图像，并且将全向图像作为纹理映射到作为3D模型的单位球上。
用于获得与映射f”的映射处理相对应的式(3)的矢量q1的式是简单的矢量加法，其中将矢量s1(负矢量s1)与矢量p相加。矢量s1的相加等同于在再现侧移动矢量p的单位球的3D模型的观看位置的操作。
换句话说，上述再现处理是如下处理：其中再现装置15通过映射f”的映射处理将用于映射f”的映射处理的全向图像(二维纹理图像)61粘贴到作为3D模型的单位球的球面142上以生成观看者从单位球的中心点141观看的图像作为显示图像，如图19的A中所示。
另一方面，即使当再现装置15通过映射f'的映射处理将用于映射f'的映射处理的全向图像(二维纹理图像)61粘贴到作为3D模型的单位球的球面142上以生成观看者从与单位球的中心点141偏移预定量的位置141'(下文中称为偏移观看位置141')观看的图像作为显示图像时，也可以生成相同的显示图像，如图19的B所示。
图20示出了在图19的B所示的再现处理(下文中称为通过视点移动进行的再现处理)中的3D模型和与图17相对应的再现时的视点之间的关系。
此外，从单位球的中心点141到偏移观看位置141'的偏移量对应于式(3)的矢量s1，并且还对应于图12的参数表的偏心率k。
在再现装置15通过参照图19的B描述的视点移动执行再现处理的情况下，旋转计算单元124除了基于从流确定单元127获取的指定高分辨率方向的信息的旋转信息之外，还基于参数表的偏心率k来计算偏移量，并且将旋转信息和偏移量作为移动信息提供给绘图单元128。
映射处理单元123使用式(2)的矢量p对从解码器122提供的全向图像执行映射f'的映射处理，并且将根据执行结果而获得的3D模型图像提供给绘图单元128。映射的3D模型图像是其中将接近观看者的当前注视方向的预定方向设置为高分辨率方向的图像。
绘图单元128根据从旋转计算单元124提供的旋转信息来旋转从映射处理单元123提供的3D模型图像，并且根据移动信息使观看位置偏移单位球的中心。
然后，绘图单元128通过在偏移移动之后将旋转的3D模型图像从观看位置透视地投影到观看者的视野范围上，来生成观看者的视野范围的图像作为显示图像。
图21中的A是示出在通过上述视点移动进行的再现处理进行绘制的情况下，针对与图12的ID 1至ID 6相对应的六个编码流，单位球的中心点141、偏移观看位置141'和作为3D模型的单位球的球面142之间的位置关系的图。
在图21的A中，ID 1至ID 6的六个编码流的中心点141、偏移观看位置141'和单位球的球面142分别由中心点1411到1416、偏移观看位置1411′到1416′以及单位球的球面1421到1426表示。
注意，偏移观看位置1415′和1416′在垂直于页面表面的方向上，并且未被示出。
图21的B是示出在将偏移观看位置1411′至1416′作为观看者的观看位置的参考的情况下单位球的球面1421至1426的图。
在将偏移观看位置1411′至1416′作为观看者的观看位置的参考的情况下，执行平行移动处理，使得单位球的球面1421至1426全部位于偏离的位置。
与作为第一实施方式的基本形式的图19的A的再现处理相比，图19的B中所示的通过视点移动进行的再现处理的优点在于，对于六个编码流中的每一个，都不必执行将二维纹理图像粘贴到作为3D模型的单位球上的处理。
换句话说，从单位球的中心点141到偏移观看位置141'的偏移量对应于式(3)的矢量s1的长度和图12的参数表的偏心率k，并且根据作为矢量p的计算式的式(2)可知，映射f'的映射处理不依赖于矢量s1和偏心率k。
因此，仅通过执行将通过执行映射f'的映射处理而获得的3D模型图像移动对应于偏心率k的偏移量的处理，才有可能切换六个编码流。因此，当需要切换六个编码流时，可以仅通过再现装置15来切换编码流，而无需请求分发服务器13发送新的编码流。
<2.生成装置和再现装置的映射处理单元的映射的描述>
顺便提及，输入到生成装置12的映射处理单元23的图像是诸如图22所示的等量矩形图像的捕获图像，并且在将观看位置作为参考的情况下捕获图像上的位置由包括方位角θ和仰角
Figure BDA0002326188910000241
的注视方向决定。
生成装置12的映射处理单元23输出的图像是要从单位球的中心偏离了偏移位置矢量s1的位置观看到的、被映射到作为3D模型的单位球的球面上的二维纹理图像(偏心球形映射图像)，并且二维纹理图像上的位置由U轴和V轴的平面坐标系定义。
另一方面，如图23中所示，输入到再现装置15的映射处理单元123的图像是要从单位球的中心偏离了偏移位置矢量s1的位置观看到的、被映射到作为3D模型的单位球的球面上的二维纹理图像(偏心球形映射图像)，并且二维纹理图像上的位置由U轴和V轴的平面坐标系定义。
然后，从再现装置15的绘图单元128输出的图像是透视地投影到观看者的视野范围上的3D模型图像的图像，并且在将观看位置作为参考的情况下由包括方位角θ和仰角的注视方向确定。
因此，在生成装置12的映射处理单元23与再现装置15的映射处理单元123之间，输入/输出的坐标系被反转，并且尽管基本上在相反的方向上执行处理，但是生成装置12的映射处理单元23和再现装置15的映射处理单元123都执行映射f”的映射处理。将描述为什么在不使用逆映射f'-1的情况下生成装置12的映射处理单元23和再现装置15的映射处理单元123可以执行处理的原因。
生成装置12的映射处理单元23执行使要输出的二维纹理图像的(u,v)坐标循环的后向映射，并且计算输入的捕获图像的哪个位置对应于二维纹理图像的每个像素。在二维图像处理中，逐个计算输出像素值的处理是正常处理。
另一方面，再现装置15的映射处理单元123执行使输入的二维纹理图像的(u,v)坐标循环的前向映射，并且针对二维纹理图像的每个像素，根据(u,v)坐标的信息和3D模型的三维坐标位置(x,y,z)的信息布置3D模型的顶点。在三维CG处理中，经常执行将模型的顶点布置在三维空间上的处理，并且可以通过正向处理来计算。
因此，生成装置12侧通过后向映射处理前向处理，并且再现装置15侧通过前向映射处理后向处理，使得所使用的映射彼此匹配。因此，仅使用映射f'就可以实现。
<3.第二实施方式>
(第二实施方式的配置示例)
接下来，将描述应用了本公开内容的分发系统的第二实施方式。
注意，在第二实施方式中，仅针对与上述第一实施方式不同的部分进行描述。
根据第二实施方式的分发系统10的生成装置12在映射处理单元23的部分上与上述第一实施方式的映射处理单元不同。因此，将仅针对生成装置12描述映射处理单元23。
图24是示出根据第二实施方式的映射处理单元23的配置示例的框图。
图24中的映射处理单元23包括全向映射坐标生成单元41、矢量归一化单元42和映射校正单元161。因此，与根据图4所示的第一实施方式的映射处理单元23相比，仅映射校正单元161是不同的，并且全向映射坐标生成单元41和矢量归一化单元42与第一实施方式的全向映射生成单元和矢量归一化单元相似。
换句话说，如图25所示，当将由全向映射坐标生成单元41、矢量归一化单元42和映射校正单元161的组合执行的映射定义为映射g时，仅由全向映射坐标生成单元41执行的映射f以及由全向映射坐标生成单元41和矢量归一化单元42的组合执行的映射f'与第一实施方式中的f和f'相似，并且包括校正单元161的映射g与第一实施方式中的映射f”不同。
图26的A示出了与仅由全向映射坐标生成单元41执行的映射f相对应的矢量d。
图26的B示出了与由全向映射坐标生成单元41和矢量归一化单元42的组合执行的映射f'相对应的矢量p。
图26的C示出了与由全向映射坐标生成单元41、矢量归一化单元42和映射校正单元161的组合所执行的映射g相对应的矢量q2。
当第二实施方式中的偏移位置矢量是矢量s2时，与映射g相对应的矢量q2由下面的式(4)表示。
[表达式4]
Figure BDA0002326188910000261
矢量q2是从单位球的中心指向直线与单位球面的交点的矢量，该直线从偏移位置矢量s2在矢量p的方向上延伸。
此处，由于矢量q2是单位球的球面上的点，因此，满足式(5)的条件。
[表达式5]
Figure BDA0002326188910000262
此外，由于交点是在与矢量p的方向相同的方向上延伸的直线与单位球面相交的点，因此参数t满足以下。
t＞0........(6)
因此，通过将偏移位置矢量s2与乘以正常数的矢量p相加而获得式(4)的矢量q2。
通过将式(4)分配给式(5)，可以获得式(7)，
[表达式6]
Figure BDA0002326188910000271
并且获得t的二次方程式的式(8)。
[表达式7]
Figure BDA0002326188910000272
在作为t的二次方程式的式(8)中，其中，将系数t2、系数t和常数项定义为[表达式8]
Figure BDA0002326188910000273
Figure BDA0002326188910000274
Figure BDA0002326188910000275
根据二次方程式的解的公式，可以按照以下获得t。
[表达式9]
Figure BDA0002326188910000276
如果获得t，则可以通过式(4)获得矢量q2，从而可以使用矢量q2对映射g执行映射处理。
图27是示出通过映射g的映射处理的二维纹理图像与单位球的3D模型之间的对应关系的图，在映射g的映射处理中，全向映射坐标生成单元41进行的全向图像处理、矢量归一化单元42进行的归一化处理和映射校正单元161进行的映射校正处理被整合在一起。
图27是与第一实施方式的图11相对应的图；然而，由于式(3)的矢量q1与式(4)的矢量q2之间的差异，二维纹理图像的失真度与图11中的二维纹理图像的失真度略有不同。
(生成装置的处理的描述)
由于第二实施方式中的生成装置12的生成处理与参照第一实施方式中的图15中的流程图描述的处理相似，因此将省略其描述。
然而，在第二实施方式的生成处理中，不是在步骤S14中使用式(3)的矢量q1执行映射f”的映射处理，而是使用式(4)的矢量q2对映射g执行映射处理。
(再现装置的描述)
将描述根据第二实施方式的分发系统10的再现装置15。
根据第二实施方式的分发系统10的再现装置15同样在映射处理单元123的部分与上述第一实施方式的映射处理单元不同。
类似于第一实施方式中的映射处理单元123具有与第一实施方式中的生成装置12的映射处理单元23类似的配置，根据第二实施方式的映射处理单元123具有与第二实施方式中的生成装置12的映射处理单元23类似的配置。
换句话说，根据第二实施方式的映射处理单元123具有与图24所示的映射处理单元23相同的配置，并且使用式(4)的矢量q2执行映射g的映射处理。
(再现装置的处理的描述)
由于第二实施方式中的再现装置15的再现处理与第一实施方式中参照图18的流程图描述的处理相似，因此将省去其描述。
然而，在第二实施方式的再现处理中，代替在步骤S40中使用式(3)的矢量q1执行映射f”的映射处理，使用式(4)的矢量q2执行映射g的映射处理。
注意，由于在第二实施方式中采用的式(4)的矢量q2不是固定矢量的简单加法，因此不可能通过在第一实施方式中被描述为修改例的视点移动来应用再现处理。
<4.偏心率k与分辨率提高率之间的关系>
将描述第一实施方式和第二实施方式中的每一个实施方式的偏心率k与分辨率提高率之间的关系。
图28是示出第一实施方式中的偏心率k与分辨率提高率之间的关系的图。
在第一实施方式中，具有最高分辨率的点是在与矢量s1相反的方向上距球面最远的点，并且距离是(1+k)，使得当分辨率提高率是μ时，分辨率提高率μ根据三角形的相似关系变为μ＝(1+k)。由于偏心率k的可能值是0≤k＜1，因此分辨率提高率μ的可能值是1≤k＜2。
图29是示出第二实施方式中的偏心率k与分辨率提高率之间的关系的图。
在第二实施方式中，具有最高分辨率的点是在与矢量s2相同的方向上最接近球面的点，并且距离是(1－k)，使得当分辨率提高率是μ时，分辨率提高率μ由式(10)表示。由于偏心率k的可能值是0≤k＜1，因此分辨率提高率μ可以取自1到无穷大。
[表达式10]
图30示出了在第一实施方式中当偏心率k为k＝0.5、0.75和0.9时的二维纹理图像的示例。
根据偏心率k从k＝0.5到0.9的变化，分辨率提高但不超过两倍。
图31示出了在第二实施方式中当偏心率k为k＝0.5、0.75和0.9时的二维纹理图像的示例。
根据偏心率k从k＝0.5到0.9的变化，分辨率变得非常大。
<5.第一实施方式与第二实施方式之间的区别>
将参照图32至图34描述第一实施方式的映射处理与第二实施方式的映射处理之间的区别。
图32是第一实施方式中的映射处理的概念图。
映射处理单元23在使由全向映射坐标生成单元41生成的矢量归一化以使得矢量被布置在单位球的球面上之后，执行添加偏移位置矢量s1的映射校正。通过从偏移了偏移位置矢量s1的视点观看粘贴有二维纹理图像的单位球的3D模型的操作，再现是可能的。密度在作为正面的右方方向上变得最高，并且密度在左方方向上最低。
图33是第二实施方式中的映射处理的概念图。
映射处理单元23通过从与单位球的中心偏移了偏移位置矢量s2的位置，将由全向映射坐标生成单元41生成的矢量的延长直线与球面相交的位置设置为新的映射坐标的计算来执行映射校正。通过从单位球的中心观看粘贴有二维纹理图像的单位球的3D模型的操作，再现是可能的。密度在作为正面的右方方向上变得最高，并且密度在左方方向上最低。
在第一实施方式中的映射处理中，如图34的A所示，在有或没有映射校正的情况下，球面上的像素位置(映射位置)不变，而观看位置改变。球面上的像素位置是等间隔的。密度在作为正面的右方方向上变得最高，并且密度在左方方向上最低。
另一方面，在第二实施方式的映射处理中，如图34的B所示，在有或没有映射校正的情况下，观看位置不变，而球面上的像素位置(映射位置)改变。球面上的像素位置是不等间隔的。密度在作为正面的右方方向上变得最高，并且密度在左方方向上最低。
图35示出了采用立方体模型而不是单位球作为3D模型的示例，并且与本技术相似，通过从偏移了偏移位置矢量s1的视点观看粘贴有二维纹理图像的立方体的3D模型的操作，分辨率依赖于方向而改变。
在采用立方体模型作为3D模型的情况下，如图35所示，由于立方体模型本身的变形，正面方向不会变为像素密度最高的方向。另一方面，根据分发系统10，通过映射到单位球的3D模型上，正面方向可以总是为像素密度最高的方向。
<6.第一实施方式与第二实施方式的组合>
可以如上所述独立地执行第一实施方式的映射处理以及第二实施方式的映射处理，或者可以组合并执行两种类型的映射处理。执行第一实施方式的映射处理以及第二实施方式的映射处理两者的配置将被称为第三实施方式。
图36的A示出了与第一实施方式中的映射f”对应的矢量q1，类似于图7的C。
图36的B示出了与第二实施方式中的映射g对应的矢量q2，类似于图26的C。
图36的C示出了与第三实施方式中的映射h对应的矢量q3。
矢量q3由式(11)表示，其中，用第二实施方式中的式(4)的矢量q2代替第一实施方式中的式(3)的矢量p。
[表达式11]
Figure BDA0002326188910000311
由于式(4)的矢量q2是如式(5)所指示的那样归一化的，因此不必执行与式(2)对应的归一化处理。
当通过使用式(4)对式(11)的矢量q2进行扩展时，获得式(12)。
[表达式12]
Figure BDA0002326188910000312
在式(12)中，t是与式(4)中的t相同的值，并且从式(9)的二次方程式获得。如果确定了t，则通过式(12)获得矢量q3，使得可以使用矢量q3执行映射h的映射处理。
图37是第三实施方式中的映射处理的概念图。
类似于第二实施方式，映射处理单元23通过从单位球的中心偏移了偏移位置矢量s2的位置，将由全向映射坐标生成单元41生成的矢量的延长直线与球面相交的位置设置为新的映射坐标的计算来执行映射校正。然后，类似于第一实施方式，通过从偏移了偏移位置矢量s1的视点观看粘贴有二维纹理图像的单位球的3D模型的操作，再现是可能的。
<7.结论>
根据本公开内容的分发系统10，由生成装置12生成并且从分发服务器13发送的一个编码流的图像是与在上下左右的所有方向上看约360度对应的全向图像，以及高分辨率被设置在与观看者的注视方向对应的方向(正面方向)上的图像。因此，可以在确保能够在视野的周边处或者突然转动时绘制的图像的同时，向观看者呈现在正面方向上的图像质量提高的图像。与分发在所有方向上分辨率(像素密度)均匀的全向图像的分发系统相比，可以向观看者呈现在相同带上的观看方向侧上具有高图像质量的图像。
在生成在与正面方向对应的预定方向上设置了高分辨率的全向图像的生成装置12中，除了对分辨率在所有方向上均匀的全向图像进行分发的全向映射坐标生成单元41以外，新提供了矢量归一化单元42和映射校正单元43。
矢量归一化单元42将与由全向映射坐标生成单元41采用的预定3D模型(在本实施方式中为正八面体模型)对应的矢量d转换(归一化)成单位球的3D模型的矢量p。
映射校正单元43通过将预定偏移位置矢量s加到由矢量归一化单元42归一化的矢量p的计算来执行单位球的3D模型的校正。
一些通用的全向映射由距中心的距离不像立方体映射那样恒定的3D模型定义，并且很难在不依赖于3D模型的形状的情况下执行恒定的分辨率校正。
在生成装置12中，由全向映射坐标生成单元41采用的预定3D模型由矢量归一化单元42临时转换成单位球的3D模型，使得可以将任意3D模型用于全向映射。换言之，对于任何类型的全向映射，可以生成高分辨率被设置在特定方向上的全向图像。此外，由于总是在相同单位球上执行处理，因此通过映射校正单元43的校正的效果变得恒定。
因此，根据分发系统10，使得能够提供适用于任意映射方法并且高分辨率的映射被设置在观看方向上。
利用与由映射校正单元43添加的偏移位置矢量s的长度对应的偏心率k，可以无级地设置正面方向上的分辨率提高率，并且可以根据再现侧装置、成像条件等自由地进行设置。
此外，当偏心率k被设置为预定值(0)时，系统处于未执行校正处理的状态，换言之，系统与对分辨率在所有方向上均匀的全向图像进行分发的系统相同，并且可以与对分辨率在所有方向上均匀的全向图像进行分发的分发系统兼容。
此外，在再现装置15中包括具有与生成装置12的映射处理单元23相似的配置的映射处理单元123，使得与上述相似的效果可以被获得。
在第一实施方式中，根据用于获得映射校正后的矢量q1的式的特征由简单矢量加到矢量p来表示，当发生与正面方向对应的编码流的切换时，也可以处理仅通过执行与偏心率k对应的偏移量的移动的处理的再现装置15中的处理。
在第二实施方式中，可以将高分辨率方向上的分辨率提高率μ设置为无穷大。
<8.修改例>
将描述可以共同应用于上述第一实施方式至第三实施方式的修改例。
(编码流的另一第一个示例)
在上述第一实施方式至第三实施方式中，已经描述了在分发服务器13中存储的编码流的数目是六个；然而，编码流的数目不限于六个。可以将与高分辨率方向对应的六个以上(例如12或24)的编码流上载到分发服务器13，并且可以在观看者的注视方向上更精细地切换编码流。
相反，也可以采用这样的配置，其中，与高分辨率方向对应的少于六个的编码流被上载到分发服务器13。
例如，在全向图像是从对音乐会成像的捕获的图像生成的全向图像的情况下，可以进行这样配置，在分发服务器13中准备三个编码流，编码流仅在舞台方向以及假定对观看者重要的舞台附近具有高分辨率，并且在另一方向(例如，与舞台方向相反的方向)是观看者的注视方向的情况下，在所有方向上具有均匀像素密度的一个编码流被选择。
在该情况下，表生成单元26生成图38中示出的参数表作为辅助信息。
与ID 1至ID 3对应的三个编码流是预定方向被设置为高分辨率方向的编码流，并且与ID4对应的一个编码流是在所有方向上具有均匀像素密度的全向图像的编码流，该一个编码流在观看者的注视方向是除了与ID 1至ID 3的编码流对应的方向以外的方向时被选择。
(编码流的另一第二示例)
在上述第一实施方式至第三实施方式中，已经描述了在分发服务器13中存储编码流的偏心率k为0.5的仅一种类型的示例；然而，可以为多种类型的偏心率k中的每一个存储多个编码流。例如，可以为三种类型的k＝0.2、0.5和0.7的偏心率k生成并存储上述六个编码流。在该情况下，例如，再现装置15可以根据头戴式显示器16的视角来选择具有适当偏心率k的编码流，并且请求分发服务器13发送编码流。
(编码流的另一第三示例)
在上述实施方式中，作为编码流发送的全向图像是针对观看者的右眼和左眼显示相同图像的用于2D图像的全向图像；然而，全向图像可以是结合(打包)用于左眼的全向图像与用于右眼的全向图像的用于3D图像的全向图像。
具体地，如图39的A所示，全向图像可以是例如用于左眼的全向图像421与用于右眼的全向图像422在横向方向(水平方向)上被打包的打包图像420。
此外，如图39的B所示，全向图像可以是例如用于左眼的全向图像421与用于右眼的全向图像422在纵向方向(竖直方向)上被打包的打包图像440。
用于左眼的全向图像421是通过以球的中心为焦点将被映射到球上的用于左眼的视点的全向图像透视地投影到左眼的视野范围上而获得的图像。此外，用于右眼的全向图像422是通过以球的中心为焦点将被映射到球上的用于右眼的视点的全向图像透视地投影到右眼的视野范围上而获得的图像。
在全向图像是打包图像的情况下，图16的映射处理单元123将作为由解码器122解码的结果而获得的打包图像分开成用于左眼的全向图像以及用于右眼的全向图像。然后，映射处理单元123针对用于左眼的视点和用于右眼的视点中的每一个生成3D模型图像，并且绘图单元128通过针对用于左眼的视点和用于右眼的视点中的每一个使用3D模型图像来生成显示图像。
因此，在3D显示是可能的情况下，头戴式显示器16可以通过将用于左眼的视点以及用于右眼的视点的显示图像分别显示为用于左眼的图像以及用于有眼的图像来执行显示图像的3D显示。
(实时分发的示例)
在上述实施方式中的每个实施方式中，由生成装置12生成的多个编码流和辅助信息被一次存储在分发服务器13的存储装置102中，并且响应于来自再现装置15的请求，分发服务器13将编码流和辅助信息发送到再现装置15。
然而，由生成装置12生成的一个或多个编码流和辅助信息可以被实时分发(实时分发)而不被存储在分发服务器13的存储装置102中。在该情况下，由分发服务器13的接收单元101接收的数据被立即从发送/接收单元103发送到再现装置15。
(其他)
此外，在上述实施方式中，捕获的图像是运动图像，但是捕获的图像可以是静止图像。此外，在上述实施方式中，描述了使用全向图像的示例。然而，根据本公开内容的技术可以应用于除了全向图像以外的其中360度(所有方向)被成像的所有360度图像，包括全天空图像、全方位角图像、360度全景图像等。
分配系统10可以包括固定显示器而不是头戴式显示器16。在该情况下，再现装置15不包括摄像装置15A，并且由操作连接到再现装置15或固定显示器的控制器的观看者输入观看位置和注视方向。
此外，分发系统10可以包括移动终端而不是再现装置15和头戴式显示器16。在该情况下，移动终端执行除了摄像装置15A以外的再现装置15的处理，并在移动终端的显示器上显示显示图像。观看者通过改变移动终端的姿势来输入观看位置和注视方向，并且移动终端通过使内置陀螺仪传感器检测移动终端的姿势来获取输入的观看位置和注视方向。
<9.计算机配置示例>
上述一系列处理步骤可以由硬件执行，或者可以由软件执行。在由软件执行一系列处理步骤的情况下，构成软件的程序被安装在计算机中。这里，计算机包括被结合在专用硬件中的计算机，以及能够通过安装各种程序来执行各种功能的计算机，例如，通用个人计算机等。
图40是示出通过程序执行上述一系列处理步骤的计算机的硬件的配置示例的框图。
在计算机900中、中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此连接。
此外，输入/输出接口905连接到总线904。输入/输出接口905连接到输入单元906、输出单元907、存储单元908、通信单元909和驱动器910。
输入单元906包括键盘、鼠标、麦克风等。输出单元907包括显示器、扬声器等。存储单元908包括硬盘、非易失性存储器等。通信单元909包括网络接口等。驱动器910驱动可移除介质911，例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机900中，例如，CPU 901经由输入/输出接口905和总线904将在存储单元908中存储的程序加载到RAM 903，以执行上述一系列处理步骤。
例如，可以通过将由计算机900(CPU 901)执行的程序记录在作为打包介质等的可移除介质911中来提供程序。此外，可以经由诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机900中，可以通过将可移除介质911安装到驱动器910经由输入/输出接口905来将程序安装到存储单元908。此外，可以通过经由有线或无线传输介质接收通信单元909来将程序安装到存储单元908。此外，可以将程序预先安装到ROM 902和存储单元908。
注意，由计算机900执行的程序可以是通过其在沿本文中描述的时间序列执行处理的程序，并且可以通过其并行地或在必要时间，例如当执行通话时执行处理的程序。
<10.应用示例>
根据本公开内容的技术可以应用于各种产品。根据本公开内容的技术可以被实现为安装在任何类型的移动体上的装置，例如，汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动性，飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等。
图41是示出车辆控制系统7000的示意性配置的示例的框图，该车辆控制系统7000是可以应用根据本公开内容的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图41所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)。
各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储单元，存储由微型计算机执行的程序、用于各种计算的参数等；以及驱动电路，以驱动要控制的装置。各个控制单元包括：网络I/F，用于经由通信网络7010与其他控制单元进行通信；以及通信I/F，用于通过有线通信或无线通信与车辆内部和外部的装置、传感器等的通信。作为集成控制单元7600的功能配置，图41示出了微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内装置I/F 7660、音频图像输出单元7670、车载网络I/F 7680以及存储单元7690。类似地，其他控制单元均包括微型计算机、通信I/F、存储单元等。
驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元7100用作用于产生诸如内燃机或驱动马达之类的车辆的驱动力的驱动力产生装置的控制装置、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等。驱动系统控制单元7100可以包括诸如防抱死制动系统(ABS)或电子稳定控制(ESC)等的控制装置的功能。
驱动系统控制单元7100连接至车辆状态检测单元7110。车辆状态检测单元7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器；检测车辆的加速度的加速度传感器；以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号执行运算处理，并且控制内燃机、驱动电机、电动助力转向装置、制动装置等。
车身系统控制单元7200根据各种程序对车身所装配的各种装置的工作进行控制。例如，车身系统控制单元7200用作控制装置来控制：无钥匙进入系统、智能钥匙系统、电动车窗装置、或者前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，从便携式装置发送的、替代钥匙的无线电波或者各种开关的信号可以输入到车身系统控制单元7200。车身系统控制单元7200接收这些无线电波或信号的输入，并控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元7300根据各种程序对作为驱动电机的电源的二次电池7310进行控制。例如，将来自包括二次电池7310的电池装置的有关于电池温度、电池输出电压、电池的剩余电量等信息输入到电池控制单元7300。电池控制单元7300使用这些信号执行运算处理，并且执行二次电池7310的温度调节控制，或者对电池装置的冷却装置进行控制等。
车辆外部信息检测单元7400检测关于其上安装有车辆控制系统7000的车辆的外部的信息。例如，成像单元7410或车辆外部信息检测单元7420中的至少一个连接到车辆外部信息检测单元7400。成像单元7410包括下述中的至少一个：飞行时间(ToF)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置或其他摄像装置。例如，车辆外部信息检测单元7420包括下述中的至少一个：用于检测当前气候或天气的环境传感器；或者用于检测其上安装有车辆控制系统7000的车辆周围的另一车辆、障碍物、行人等的周边信息检测传感器。
例如，环境传感器可以是下述中的至少一个：用于检测阴雨天气的雨滴传感器；用于检测雾的雾传感器；用于检测日照程度的日照传感器；或者用于检测降雪的雪传感器。周边信息检测传感器可以是下述中的至少一个：超声波传感器、雷达装置、或者光检测和测距(LIDAR)装置(激光成像检测和测距(LIDAR)装置)。成像单元7410和车辆外部信息检测单元7420可以被分别设置为独立的传感器或装置，或者可以被设置为其中多个传感器或装置集成在一起的装置。
此处，图42示出了成像单元7410和车辆外部信息检测单元7420的安装位置的示例。例如，成像单元7910、7912、7914、7916和7918被设置在车辆7900的下述中的至少一个位置处：前鼻、侧视镜、后保险杠、后门、车辆内的挡风玻璃的上部。设置在前鼻处的成像单元7910和设置在车辆内的挡风玻璃的上部的成像单元7918主要获取车辆7900前方的图像。设置在侧视镜处的成像单元7912和7914主要获取车辆7900侧面的图像。设置在后保险杠或后门处的成像单元7916主要获取车辆7900后方的图像。设置在车辆内的挡风玻璃的上部的成像单元7918主要用于检测前方的车辆、行人、障碍物、交通信号、交通标志、车道等。
注意，图42示出了成像单元7910、7912、7914和7916的成像范围的示例。成像范围a指示设置在前鼻处的成像单元7910的成像范围，成像范围b和c分别指示设置在侧视镜处的成像单元7912和7914的成像范围，成像范围d指示设置在后保险杠或后门处的成像单元7916的成像范围。例如，由成像单元7910、7912、7914和7916拍摄的图像数据彼此叠加，从而获得从上方观察的车辆7900的俯视图像。
例如，设置在车辆7900的前部、后部、侧部、转角、车辆内部的挡风玻璃的上部的车辆外部信息检测单元7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达装置。例如，设置在车辆7900的前鼻、后保险杠、后门和车辆内部的挡风玻璃的上部的车辆外部信息检测单元7920、7926和7930可以是LIDAR装置。这些车辆外部信息检测单元7920至7930主要用于检测前方的车辆、行人、障碍物等。
回到图41，继续进行描述。车辆外部信息检测单元7400使成像单元7410拍摄车辆外部的图像并接收所拍摄的图像数据。此外，车辆外部信息检测单元7400从所连接的车辆外部信息检测单元7420接收检测到的信息。在车辆外部信息检测单元7420是超声波传感器、雷达装置或LIDAR装置的情况下，车辆外部信息检测单元7400发送超声波、电磁波等，并且接收关于接收到的反射波的信息。车辆外部信息检测单元7400可以基于接收到的信息执行对路面上的人、汽车、障碍物、标志、字符等的对象检测处理或距离检测处理。车辆外部信息检测单元7400可以基于接收到的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元7400可以基于接收到的信息来计算到车辆外部的对象的距离。
此外，车辆外部信息检测单元7400可以基于接收到的图像数据来执行用于识别路面上的人、汽车、障碍物、标志、字符等的距离检测处理或图像识别处理。车辆外部信息检测单元7400可以对接收的图像数据执行诸如失真校正或对准的处理，并且将由不同的成像单元7410拍摄的图像数据进行合成以生成俯视图像或全景图像。车辆外部信息检测单元7400可以使用由不同成像单元7410拍摄的图像数据来执行视点转换处理。
车辆内部信息检测单元7500检测关于车辆内部的信息。例如，车辆内部信息检测单元7500连接到用于检测驾驶员状态的驾驶员状态检测单元7510。驾驶员状态检测单元7510可以包括用于拍摄驾驶员的图像的摄像装置、用于检测驾驶员的生物信息的生物识别传感器、用于收集车辆内部的声音的麦克风等。例如，生物识别传感器被设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘客或者握住方向盘的驾驶员的生物信息。车辆内部信息检测单元7500可以根据从驾驶员状态检测单元7510输入的检测到的信息来计算驾驶员的疲劳程度或注意力集中程度，并且可以确定驾驶员是否在打瞌睡。车辆内部信息检测单元7500可以对收集到的声音信号执行噪声消除处理等。
集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入单元7800连接。例如，输入单元7800由触摸面板、按钮、麦克风、开关、控制杆等可以执行乘客的输入操作的装置实现。可以将通过对麦克风输入的声音执行语音识别而获得的数据输入到集成控制单元7600。例如，输入单元7800可以是使用红外线或其他无线电波的遥控装置，或者可适用于车辆控制系统7000的操作的外部连接装置，如移动电话或个人数字助理(PDA)。例如，输入单元7800可以是摄像装置，并且在这种情况下，乘客可以通过姿势输入信息。替选地，可以通过检测乘客穿戴的可穿戴装置的移动来获得输入数据。此外，例如，输入单元7800可以包括输入控制电路等，该输入控制电路等基于乘客等使用输入单元7800输入的信息来生成输入信号，并且将输入信号输出到集成控制单元7600。通过操作输入单元7800，乘客等将各种数据输入到车辆控制系统7000或者给出执行处理操作的指令。
存储单元7690可以包括存储由微计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以通过诸如硬盘驱动器(HDD)等的磁性存储装置、半导体存储装置、光学存储装置、磁光存储装置等来实现。
通用通信I/F 7620是协调与外部环境7750中存在的各种装置的通信的通用通信I/F。通用通信I/F 7620可实现蜂窝通信协议，诸如全球移动通信系统(GSM)(注册商标)、WiMAX(注册商标)、长期演进(LTE)(注册商标)、LTE高级(LTE-A)，或者其他无线通信协议，诸如无线LAN(也被称为Wi-Fi(注册商标))以及蓝牙(注册商标)。例如，通用通信I/F 7620可以经由基站或接入点连接至外部网络(例如，因特网、云网络或公司特定网络)上存在的装置(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 7620可以通过使用对等(P2P)技术连接至车辆附近存在的终端(例如，驾驶员、行人或商店的终端或者机器型通信(MTC)终端)。
专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。例如，专用通信I/F 7630可以实现例如下述标准协议：作为下层的IEEE802.11p和上层的IEEE 1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)或者蜂窝通信协议。专用通信I/F7630通常执行V2X通信，V2X通信是包括下述中的一个或更多个的概念：车辆对车辆通信、车辆对基础设施通信、车辆对家庭通信以及车辆对行人通信。
例如，定位单元7640从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)以执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。注意，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如移动电话、PHS或具有定位功能的智能电话的终端获取位置信息。
例如，信标接收单元7650接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取诸如当前位置、拥堵、道路封闭或所需时间的信息。注意，信标接收单元7650的功能可以被包括在上述专用通信I/F7630中。
车辆内部装置I/F 7660是协调微计算机7610与车辆中存在的各种车辆内部装置7760之间的连接的通信接口。车辆内部装置I/F 7660可以使用诸如无线LAN、Bluetooth(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车内装置I/F7660可经由图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等建立有线连接。例如，车辆内部装置7760可以包括下述中的至少一个：乘客拥有的移动装置或可穿戴装置，或者装载在车辆中或附接至车辆的信息装置。此外，车辆内部装置7760可以包括用于执行到任意目的地的路线搜索的导航装置。车辆内部装置I/F 7660与这些车辆内部装置7760交换控制信号或数据信号。
车载网络I/F 7680是协调微计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。
集成控制单元7600的微计算机7610基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部装置I/F7660或车载网络I/F 7680中的至少一个获取的信息，根据各种程序控制车辆控制系统7000。例如，微计算机7610可以基于车辆内部和外部获取的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的碰撞回避或撞击缓冲、基于车辆间距离的跟随行驶、车辆速度保持行驶、车辆碰撞警告、车道偏离警告等。此外，微计算机7610可以通过基于所获取的车辆周围的信息来控制驱动力生成装置、转向机构、制动装置，执行旨在不依赖于驾驶员的操作而自动行驶的自动驾驶等的协同控制。
微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部装置I/F 7660或车载网络I/F 7680中的至少一个获取的信息，生成车辆与诸如周围结构或人的对象之间的三维距离信息，并且创建包括车辆的当前位置的周边信息的局部地图信息。此外，基于所获取的信息，微计算机7610可以预测诸如车辆碰撞、行人等接近或进入封闭道路的危险，并且生成警告信号。例如，警告信号可以是用于生成警告声音或用于打开警告灯的信号。
音频图像输出单元7670将音频或图像中的至少一个的输出信号发送到输出装置，该输出装置能够以视觉或听觉方式将信息通知给车辆中的乘客或车辆外部。在图41的示例中，作为输出装置，示出了音频扬声器7710、显示单元7720和仪表盘7730。显示单元7720可包括车载显示器和平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以是除这些装置之外的另外的装置，例如灯、投影仪、或者由乘客穿戴的诸如耳机和眼镜型显示器的可穿戴装置。在输出装置是显示装置的情况下，显示装置以视觉方式显示各种格式(例如文本、图像、表格或图表)的通过由微计算机7610执行的处理或者从其他控制单元接收的信息获得的结果。此外，在输出装置是音频输出装置的情况下，音频输出装置将包括再现的音频数据、声学数据等的音频信号转换为模拟信号，以通过听觉方式输出该模拟信号。
注意，在图41所示的示例中，经由通信网络7010连接在一起的至少两个控制单元可以被集成为一个控制单元。替选地，每个控制单元可以由多个控制单元配置。而且，车辆控制系统7000可以包括未示出的另外的控制单元。此外，在以上描述中，由任意控制单元执行的一些或所有功能可以由另外的控制单元执行。也就是说，只要经由通信网络7010发送和接收信息，就可以由任意控制单元执行预定的算术处理。类似地，连接至任意控制单元的传感器或装置可以连接到另外的控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测到的信息。
注意，用于实现上述分发系统10的每个功能的计算机程序可以在任意控制单元等中实现。此外，还可以提供其中存储有这样的计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘、闪存等。此外，例如，上述计算机程序可以在不使用记录介质的情况下经由网络来分发。
例如，在将上述分发系统10应用于上述车辆控制系统7000的情况下，分发系统10的成像装置11对应于成像单元7410的至少一部分。此外，生成装置12、分发服务器13和再现装置15被集成在一起，并且对应于微计算机7610和存储单元7690。头戴式显示器16对应于显示单元7720。注意，在将分发系统10应用于集成控制单元7600的情况下，不设置网络14、摄像装置15A、标记16A和陀螺仪传感器16B，观看者的注视方向和观看位置由作为观看者的乘客通过输入单元7800的操作进行输入。如上所述，通过将分发系统10应用于图41所示的应用示例的集成控制单元7600，可以使使用全方向图像生成的注视方向上的显示图像的图像质量为高图像质量(高分辨率)。
此外，分发系统10的组件的至少一部分可以在图41所示的集成控制单元7600的模块(例如，包括一个管芯的集成电路模块)中实现。替选地，分发系统10可以由图41所示的车辆控制系统7000的多个控制单元实现。
此外，在本文中，系统是指多个组成部分(设备，模块(组件)等)的集合，并且所有组成部分是否都在同一机柜中并不重要。因此，容纳在单独的机柜中并且经由网络彼此连接的多个设备和在一个机柜中容纳多个模块的一个设备都是系统。
注意，本说明书中描述的有益效果仅是示例，并且本技术的有益效果不限于这些并且可以包括其他效果。
此外，本公开内容的实施方式不限于上面描述的实施方式，并且在不脱离本公开内容的主旨的情况下可以进行各种修改。
例如，本公开内容可以采用经由网络在多个设备中共享一个功能的云计算的配置以进行协同处理。
此外，上述流程图中描述的每个步骤除了由一个设备执行之外，可以通过在多个设备中共享来执行。
此外，在一个步骤中包括多个处理的情况下，除了由一个设备执行之外，可以通过在多个设备中共享来执行在一个步骤中包括的多个处理。
注意，本公开内容还可以采用以下配置。
(1)
一种生成装置，包括：
归一化单元，其将第一矢量转换成单位球的3D模型的第二矢量，所述第一矢量将360度图像映射到预定3D模型上。
(2)
根据(1)所述的生成装置，还包括：
校正单元，其将预定偏移位置矢量加到所转换的单位球的3D模型的第二矢量上。
(3)
根据(2)所述的生成装置，其中，
所述校正单元将负的所述偏移位置矢量加到所述第二矢量上。
(4)
根据(2)所述的生成装置，其中，
所述校正单元将所述偏移位置矢量加到乘以正常数的所述第二矢量上。
(5)
根据(1)至(4)中任一项所述的生成装置，还包括：
生成单元，其生成所述第一矢量。
(6)
根据(1)至(5)中任一项所述的生成装置，还包括：
旋转处理单元，其将要被转换成所述360度图像的捕获图像进行旋转，使得预定方向成为图像中心处。
(7)
根据(1)至(6)中任一项所述的生成装置，其中，
存在多个高分辨率方向，每个高分辨率方向都是针对所述360度图像设置高分辨率的方向，并且
与所述高分辨率方向的数目对应地设置所述归一化单元的数目。
(8)
根据(1)至(7)中任一项所述的生成装置，还包括：
设置单元，其确定高分辨率方向上的高分辨率提高率，所述高分辨率方向是在针对所述360度图像设置高分辨率的方向。
(9)
根据(1)至(8)中任一项所述的生成装置，还包括：
设置单元，其生成指定高分辨率方向的信息，所述高分辨率方向是针对所述360度图像设置高分辨率的方向。
(10)
一种生成方法，包括：
将预定3D模型的第一矢量转换成单位球的3D模型的第二矢量，其中，360度图像被映射到所述预定3D模型上。
(11)
一种再现装置，包括：
接收单元，其接收由另一装置生成的360度图像；以及
归一化单元，其将第一矢量转换成单位球的3D模型的第二矢量，所述第一矢量将所述360度图像映射到预定3D模型上。
(12)
根据(11)所述的再现装置，还包括：
校正单元，其将预定偏移位置矢量加到所转换的单位球的3D模型的第二矢量上。
(13)
根据(12)的再现装置，其中，
所述校正单元将负的所述偏移位置矢量加到所述第二矢量上。
(14)
根据(12)的再现装置，其中，
所述校正单元将所述偏移位置矢量加到乘以正数的所述第二矢量上。
(15)
根据(11)至(14)中任一项的再现装置，还包括：
生成单元，其生成所述第一矢量。
(16)
根据(11)至(15)中任一项的再现装置，还包括：
选择单元，其根据观看者的注视方向从具有不同高分辨率方向的多个360度图像中选择一个360度图像，其中，
所述接收单元从所述另一装置接收由所述选择单元选择的所述360度图像。
(17)
根据(11)至(16)中任一项的再现装置，还包括：
旋转计算单元，其基于指定所述360度图像的高分辨率方向的信息来生成关于所述360度图像的旋转信息。
(18)
根据(17)所述的再现装置，还包括：
绘图单元，其通过基于所述旋转信息旋转根据所述单位球的3D模型的第二矢量将所述360度图像映射在上面的3D模型图像并且将所述3D模型图像透视地投影到观看者的视野范围上来生成显示图像。
(19)
根据(18)所述的再现装置，其中，
所述旋转计算单元计算距所述单位球的中心的偏移量作为移动信息，并且
所述绘图单元通过基于所述旋转信息旋转所述3D模型图像，根据所述移动信息对观看位置进行偏移，并且将所述3D模型图像从偏移移动之后的观看位置透视地投影到所述观看者的视野范围上来生成所述显示图像。
(20)
一种再现方法，包括：
接收由另一装置生成的360度图像，以及
将第一矢量转换成单位球的3D模型的第二矢量，所述第一矢量将所述360度图像映射到预定3D模型上。
附图标记列表
10 分发系统
11 成像装置
12 生成装置
13 分发服务器
15 再现装置
16 头戴式显示器
22-1至22-6 旋转处理单元
23-1至23-6 映射处理单元
24-1至24-6 编码器
25 设置单元
26 表格生成单元
41 全向映射坐标生成单元
42 矢量归一化单元
43 映射校正单元
122 解码器
123 映射处理单元
124 旋转计算单元
125 接收单元
126 注视检测单元
127 流确定单元
128 绘图单元
900 计算机
901 CPU
902 ROM
903 RAM
906 输入单元
907 输出单元
908 存储单元
909 通信单元
910 驱动器

Claims (20)

1.一种生成装置，包括：
归一化单元，其将第一矢量转换成单位球的3D模型的第二矢量，所述第一矢量将360度图像映射到预定3D模型上。
2.根据权利要求1所述的生成装置，还包括：
校正单元，其将预定偏移位置矢量加到所转换的单位球的3D模型的第二矢量上。
3.根据权利要求2所述的生成装置，其中，
所述校正单元将负的所述偏移位置矢量加到所述第二矢量上。
4.根据权利要求2所述的生成装置，其中，
所述校正单元将所述偏移位置矢量加到乘以正常数的所述第二矢量上。
5.根据权利要求1所述的生成装置，还包括：
生成单元，其生成所述第一矢量。
6.根据权利要求1所述的生成装置，还包括：
旋转处理单元，其将要被转换成所述360度图像的捕获图像进行旋转，使得预定方向成为图像中心处。
7.根据权利要求1所述的生成装置，其中，
存在多个高分辨率方向，每个高分辨率方向都是针对所述360度图像设置高分辨率的方向，并且
与所述高分辨率方向的数目对应地设置所述归一化单元的数目。
8.根据权利要求1所述的生成装置，还包括：
设置单元，其确定在高分辨率方向上的高分辨率提高率，所述高分辨率方向是针对所述360度图像设置高分辨率的方向。
9.根据权利要求1所述的生成装置，还包括：
设置单元，其生成指定高分辨率方向的信息，所述高分辨率方向是针对所述360度图像设置高分辨率的方向。
10.一种生成方法，包括：
将预定3D模型的第一矢量转换成单位球的3D模型的第二矢量，其中，360度图像被映射到所述预定3D模型上。
11.一种再现装置，包括：
接收单元，其接收由另一装置生成的360度图像；以及
归一化单元，其将第一矢量转换成单位球的3D模型的第二矢量，所述第一矢量将所述360度图像映射到预定3D模型上。
12.根据权利要求11所述的再现装置，还包括：
校正单元，其将预定偏移位置矢量加到所转换的单位球的3D模型的第二矢量上。
13.根据权利要求12所述的再现装置，其中，
所述校正单元将负的所述偏移位置矢量加到所述第二矢量上。
14.根据权利要求12所述的再现装置，其中，
所述校正单元将所述偏移位置矢量加到乘以正数的所述第二矢量上。
15.根据权利要求11所述的再现装置，还包括：
生成单元，其生成所述第一矢量。
16.根据权利要求11所述的再现装置，还包括：
选择单元，其根据观看者的注视方向从具有不同高分辨率方向的多个360度图像中选择一个360度图像，其中，
所述接收单元从所述另一装置接收由所述选择单元选择的所述360度图像。
17.根据权利要求11所述的再现装置，还包括：
旋转计算单元，其基于指定所述360度图像的高分辨率方向的信息来生成关于所述360度图像的旋转信息。
18.根据权利要求17所述的再现装置，还包括：
绘图单元，其通过基于所述旋转信息旋转根据所述单位球的3D模型的第二矢量将所述360度图像映射在上面的3D模型图像并且将所述3D模型图像透视地投影到观看者的视野范围上来生成显示图像。
19.根据权利要求18所述的再现装置，其中，
所述旋转计算单元计算距所述单位球的中心的偏移量作为移动信息，并且
所述绘图单元通过基于所述旋转信息旋转所述3D模型图像，根据所述移动信息对观看位置进行偏移，并且将所述3D模型图像从偏移移动之后的观看位置透视地投影到所述观看者的视野范围上来生成所述显示图像。
20.一种再现方法，包括：
接收由另一装置生成的360度图像，以及
将第一矢量转换成单位球的3D模型的第二矢量，所述第一矢量将所述360度图像映射到预定3D模型上。
CN201880041139.7A 2017-06-26 2018-06-12 生成装置和生成方法以及回放装置和回放方法 Withdrawn CN110770795A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017123934 2017-06-26
JP2017-123934 2017-06-26
PCT/JP2018/022303 WO2019003889A1 (ja) 2017-06-26 2018-06-12 生成装置および生成方法、並びに、再生装置および再生方法

Publications (1)

Publication Number Publication Date
CN110770795A true CN110770795A (zh) 2020-02-07

Family

ID=64741470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880041139.7A Withdrawn CN110770795A (zh) 2017-06-26 2018-06-12 生成装置和生成方法以及回放装置和回放方法

Country Status (6)

Country Link
US (1) US20200137417A1 (zh)
EP (1) EP3648064A4 (zh)
JP (1) JP7095697B2 (zh)
KR (1) KR20200019876A (zh)
CN (1) CN110770795A (zh)
WO (1) WO2019003889A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
JP2020109926A (ja) * 2019-01-07 2020-07-16 株式会社オリィ研究所 ロボット制御装置、ロボット制御方法、ロボット制御プログラム及びロボット制御システム
JP2020135162A (ja) * 2019-02-15 2020-08-31 日本電気株式会社 マッピング装置、マッピング方法およびコンピュータプログラム
WO2022149189A1 (ja) * 2021-01-05 2022-07-14 日本電信電話株式会社 配信制御装置、配信制御システム、配信制御方法、及びプログラム
WO2023079623A1 (ja) * 2021-11-04 2023-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像送信装置、表示制御装置、および画像表示方法
US11928830B2 (en) 2021-12-22 2024-03-12 Honeywell International Inc. Systems and methods for generating three-dimensional reconstructions of environments

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4547960B2 (ja) * 2004-03-29 2010-09-22 株式会社日立製作所 映像表示システム及び映像生成方法
JP6075889B2 (ja) 2014-06-10 2017-02-08 日本電信電話株式会社 映像配信装置及び映像再生装置
WO2016140083A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
EP3648064A1 (en) 2020-05-06
WO2019003889A1 (ja) 2019-01-03
JP7095697B2 (ja) 2022-07-05
US20200137417A1 (en) 2020-04-30
JPWO2019003889A1 (ja) 2020-04-23
EP3648064A4 (en) 2020-06-03
KR20200019876A (ko) 2020-02-25

Similar Documents

Publication Publication Date Title
JP6977720B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
US10887571B2 (en) Image processing apparatus and image processing method
US11184602B2 (en) Image processing apparatus and image processing method
JP7095697B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
WO2018021069A1 (ja) 画像処理装置および画像処理方法
JP6944138B2 (ja) 画像処理装置および画像処理方法
CN109478348B (zh) 图像处理装置和图像处理方法
JP7028168B2 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
JPWO2018021068A1 (ja) 画像処理装置および画像処理方法
US10943373B2 (en) Image processing apparatus and image processing method
WO2018030169A1 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200207