CN111656409A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN111656409A
CN111656409A CN201880086930.XA CN201880086930A CN111656409A CN 111656409 A CN111656409 A CN 111656409A CN 201880086930 A CN201880086930 A CN 201880086930A CN 111656409 A CN111656409 A CN 111656409A
Authority
CN
China
Prior art keywords
data
eye
dimensional shape
information processing
texture data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880086930.XA
Other languages
English (en)
Inventor
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111656409A publication Critical patent/CN111656409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

[问题]为了提供信息处理设备和信息处理方法。[解决方案]该信息处理设备设置有：接收单元，其接收包括关于负荷的负荷信息的请求；以及传送单元，其响应于该请求发送具有根据负荷信息的顶点数的三维形状数据以及与三维形状数据对应的左眼纹理数据和右眼纹理数据的数据集。

Description

信息处理装置和信息处理方法
技术领域
本公开内容涉及信息处理装置和信息处理方法。
背景技术
3D电影、3D电视等均使用具有左眼和右眼观看不同图像的机制，并且使用图像之间的双眼视差来向用户提供立体效果。此外，一些技术使用被安装在用户头部上的HMD(头戴式显示器)等来再现运动视差。
由于需要根据用户的头部位置等移动视点，因此需要从不同视点观看的图像来再现运动视差。其示例包括如下面的专利文献1中那样，用于通过检测/记录关于对象的三维形状的信息并且使用基于该信息重新配置的三维模型来渲染(生成)从每个视点观看的图像的技术。
引用列表
专利文献
专利文献1：美国未审查专利申请公开第2015/310662号的说明书
发明内容
本发明要解决的问题
然而，在如上所述的技术中，用于渲染的三维形状数据对从每个视点观看的图像(显示图像)的主观图像质量具有很大影响。因此，取决于三维形状数据的精度等，显示图像的主观图像质量可能降低。
因此，本公开内容提出了一种使得可以抑制基于三维形状数据生成的显示图像的主观图像质量的降低的机制。
解决问题的手段
根据本公开内容，提供了一种信息处理装置，包括：接收单元，其接收包括关于负荷的负荷信息的请求；以及发送单元，其根据该请求发送数据集。该数据集包括三维形状数据以及左眼纹理数据和右眼纹理数据。三维形状数据具有与负荷信息对应的顶点数。左眼纹理数据和右眼纹理数据对应于三维形状数据。
此外，根据本公开内容，提供了一种信息处理装置，包括：发送单元，其发送包括关于负荷的负荷信息的请求；接收单元，其接收包括三维形状数据以及左眼纹理数据和右眼纹理数据的数据集；以及渲染单元，其基于该数据集生成左眼显示图像和右眼显示图像。三维形状数据具有与负荷信息对应的顶点数。左眼纹理数据和右眼纹理数据对应于三维形状数据。
此外，根据本公开内容，提供了一种信息处理方法，包括：接收包括关于负荷的负荷信息的请求；以及由处理器根据该请求来使数据集被发送。数据集包括三维形状数据以及左眼纹理数据和右眼纹理数据。三维形状数据具有与负荷信息对应的顶点数。左眼纹理数据和右眼纹理数据对应于三维形状数据。
本发明的效果
如上所述根据本公开内容，可以抑制基于三维形状数据生成的显示图像的主观图像质量的降低。
注意，上面描述的效果不一定是限制性的。除了上述效果之外，或者代替上述效果，可以施加本说明书中指示的任何效果或者可以从本说明书中理解的其他效果。
附图说明
图1是示意性地示出根据本公开内容的实施方式的传送系统的配置的说明图。
图2是示意性地示出根据实施方式的生成数据集的处理的流程的示意图。
图3是示意性地示出根据实施方式的数据传送处理的流程的示意图。
图4是用于描述三维模型的顶点与单个纹理数据之间的关联的说明图。
图5是示出三维形状数据的数据结构的示例的图。
图6是用于描述在实施方式中三维模型的顶点与纹理数据之间的关联的说明图。
图7是用于描述在实施方式中使用立体纹理数据的渲染的示意图。
图8是用于说明三维模型中的误差的说明图。
图9是示意性地示出由立体摄像装置进行成像的示意图。
图10是示意性地示出生成纹理数据的处理的流程的示意图。
图11是示出包括误差的三维模型与立体摄像装置之间的关系的示意图。
图12是示出摄像装置位置和用户眼睛的位置彼此匹配的观看和收听情况的示意图。
图13是示出其中摄像装置位置和用户眼睛的位置彼此不同的观看和收听情况的示意图。
图14是用于描述比较示例的说明图。
图15是用于描述比较示例的说明图。
图16是示出根据实施方式的分发服务器1的配置的示例的框图。
图17是示出数据集生成单元11的配置的示例的框图。
图18是示出由顶点减少部111进行顶点减少处理的说明图。
图19是示出顶点逐渐减少的示意图。
图20是示意性地示出在控制器10包括多个数据集生成单元11的情况下并行生成数据集的示意图。
图21是示出分发服务器1的用于生成数据集的操作示例的流程图。
图22是示出分发服务器1的用于发送数据集的操作示例的流程图。
图23是示出根据本实施方式的显示控制装置2的配置示例的框图。
图24是示出显示控制装置2的操作示例的流程图。
图25是用于描述修改示例1的说明图。
图26是示出硬件配置示例的框图。
具体实施方式
以下参照附图详细描述本公开内容的优选实施方式。要注意的是，在本说明书和附图中，具有基本上相同功能配置的部件由相同的附图标记指示，并且因此省略其冗余的描述。
要注意的是，以以下顺序给出描述。
<<1.系统概述>>
<1-1.配置>
<1-2.处理流程>
<<2.根据本技术的原理>>
<<3.分发服务器>>
<3-1.配置>
<3-2.操作>
<<4.显示控制装置>>
<4-1.配置>
<4-2.操作>
<<5.修改示例>>
<5-1.修改示例1>
<5-2.修改示例2>
<5-3.修改示例3>
<5-4.修改示例4>
<<6.硬件配置示例>>
<<7.结论>>
<<1.系统概述>>
<1-1.配置>
首先，参照图1描述根据本公开内容的实施方式的信息处理系统的概述。图1是示意性地示出根据本公开内容的实施方式的传送系统的配置的说明图。
如图1所示，根据本实施方式的传送系统1000是包括分发服务器1、显示控制装置2、HMD 3和通信网络5的信息处理系统。根据本实施方式的传送系统1000对佩戴HMD 3并且观看HMD 3上显示的图像的用户U提供由双眼视差和运动视差带来的立体效果。
分发服务器1和显示控制装置2经由通信网络5耦接。可以在分发服务器1与显示控制装置2之间发送和接收信息。此外，显示控制装置2和HMD 3也以有线或无线的方式耦接，并且可以在显示控制装置2与HMD 3之间发送和接收信息。
通信网络5是用于要从耦接至通信网络5的装置发送的信息的有线或无线传送路径。例如，通信网络5可以包括诸如因特网、电话网络或卫星通信网络的公共网络，以及包括以太网(注册商标)、WAN(广域网)等的各种LAN(局域网)。此外，通信网络5可以包括专用网络，例如IP-VPN(因特网协议-虚拟专用网络)。
分发服务器1存储三维形状数据和与三维形状数据对应的纹理数据，并且根据来自显示控制装置2的发送数据的请求(以下也简称为请求)将数据集发送(传送)到显示控制装置2。数据集包括三维形状数据和纹理数据。
显示控制装置2基于从分发服务器1接收到的数据集和从HMD 3接收到的与用户U的视点有关的视点信息生成(渲染)视点处的显示图像，并且将显示图像发送给HMD 3。在本实施方式中，由显示控制装置2生成的显示图像包括左眼显示图像和右眼显示图像。左眼显示图像由以下描述的HMD 3显示在用户U的左眼的前方。右眼显示图像被显示在用户U的右眼的前方。此外，以下还将左眼显示图像和右眼显示图像共同地称为立体显示图像，或者在一些情况下也简称为显示图像。
HMD 3是显示从显示控制装置2接收到的立体显示图像的显示装置(显示单元)。注意，HMD 3包括下述传感器，所述传感器获取关于佩戴HMD 3的用户U的视点的视点信息，并且将该视点信息发送到显示控制装置2。由HMD 3发送的视点信息例如可以包括指示用户U的视点的位置和用户U的姿势的信息。
注意，在图1示出了作为不同的装置的显示控制装置2和HMD 3，但是显示控制装置2和HMD 3也可以一体化。即，一个信息处理装置也可以具有显示控制装置2的功能，以及用作显示单元的HMD 3的功能，该显示单元被佩戴在用户的头部上并且显示左眼显示图像和右眼显示图像。
上述配置允许传送系统1000向用户U提供由双眼视差和运动视差带来的立体效果。
此处，例如，可以通过公知的三维捕获技术来获取上述三维形状数据和与三维形状数据对应的纹理数据，该公知的三维捕获技术使用例如其中使用诸如ToF(飞行时间)传感器的距离测量设备或使用诸如立体匹配的技术的方法。下描将由该三维捕获技术获取的三维形状数据和纹理数据分别称为原始三维形状数据和原始纹理数据，并且在一些情况下还将这两者统称为原始数据。
在一些情况下，该原始数据具有极大的数据量。因此，传送负荷和处理负荷也很重，并且在一些条件下难以在请求的时间内执行处理。例如，取决于分发服务器1与显示控制装置2之间的传送路径的频带(通信网络5的频带)，可能难以原样传送原始数据。此外，取决于显示控制装置2的处理性能(例如，处理器的处理速度和存储器的大小)，可能难以从原始数据生成显示图像。
因此，考虑根据这样的负荷来改变要从分发服务器1发送至显示控制装置2的数据量。以下描述了这样的机制。
显示控制装置2向分发服务器1发送包括关于负荷的负荷信息的请求。负荷信息可以包括例如关于分发服务器1与显示控制装置2之间的传送路径的频带的传送路径频带信息或者关于显示控制装置2的处理性能的处理性能信息中的至少一个。
分发服务器1将包括三维形状数据和与三维形状数据对应的纹理数据的数据集发送至显示控制装置2。该数据集具有与从显示控制装置2接收到的请求中包括的负荷信息对应的数据量。此处，在要发送的数据集中包括的三维形状数据和纹理数据中的每一个可以是具有比原始三维形状数据和原始纹理数据的数据量减少更多的数据量的数据。减少数据量的处理可以包括，例如减少三维形状数据中包括的顶点的顶点减少处理。
如上所述，根据负荷信息改变要从分发服务器1发送至显示控制装置2的数据量可以使显示图像的传送和生成平滑。然而，显示图像的主观图像质量可能随着数据量的减少而降低。例如，减少三维形状数据中包括的顶点可能降低与三维形状数据对应的三维模型的形状精度，并且显示图像的主观图像质量可能降低。例如，与三维形状数据对应的三维模型失去了不平坦性等，并且可能导致用户不能获得立体效果。
因此，着眼于上述情况，已经创建了本实施方式。根据本实施方式的分发服务器1还使用左摄像装置图像和右摄像装置图像来生成左眼纹理数据和右眼纹理数据。左摄像装置图像和右摄像装置图像用于生成(捕获)三维形状数据。即，要从根据本实施方式的分发服务器1发送至显示控制装置2的数据集不包括单个纹理数据，而是包括多个纹理数据：左眼纹理数据和右眼纹理数据。显示控制装置2然后基于经过顶点减少处理的三维形状数据以及左眼纹理数据和右眼纹理数据来生成左眼显示图像和右眼显示图像。从分发服务器1接收到的数据集中包括三维形状数据、左眼纹理数据和右眼纹理数据。即使在将经过顶点减少处理的三维形状数据用于显示的情况下，该配置也抑制了显示图像的主观图像质量的降低。例如，可以再现与三维形状数据对应的三维模型中不存在的不均匀性。
<1-2.处理流程>
上文已经描述了根据本实施方式的传送系统1000的示意性配置。接下来，描述根据本实施方式的传送系统1000的处理的示意性流程。
如上所述，根据本实施方式的分发服务器1向显示控制装置2发送均具有减少的数据量的三维形状数据和纹理数据。这里，期望预先执行用于减少数据量的处理。例如，可以基于原始数据预先生成并且存储具有不同数据量的多个数据集。分发服务器1然后从多个存储的数据集中选择具有与负荷信息对应的数据量的数据集，并且将所选择的数据集发送给显示控制装置2。这允许分发服务器1快速响应显示控制装置2的请求。
相应地，以下参照图3描述了用于生成数据集的处理流程，并且然后，参照图3描述了用于传送数据的处理的流程。
(生成数据集的处理)
图2是示意性地示出根据本实施方式的生成数据集的处理的流程的示意图。以下描述了由图1所示的分发服务器1执行图2所示的生成数据集的处理的示例。然而，本技术不限于该示例。图2所示的处理可以由另一装置执行。由其他装置预先生成的数据集可以被存储在分发服务器1中。
分发服务器1执行减少在数据集DS10中包括的数据的处理，并且生成多个数据集DS11至DS13。所生成的数据集DS11至DS13被存储在分发服务器1中。
图2所示的数据集DS10包括原始三维形状数据F10、原始纹理数据T10、左摄像装置图像G10L和右摄像装置图像G10R。原始三维形状数据F10包括多个顶点数据V101至V107。此外，左摄像装置图像G10L和右摄像装置图像G10R可以是用于生成原始三维形状数据F10的图像。例如，左摄像装置图像G10L是通过左摄像装置执行成像而获取的图像，并且右摄像装置图像G10R是通过右摄像装置执行成像而获取的图像。左摄像装置从左侧对对象成像。右摄像装置从右侧对对象成像。
如图2所示，所生成的数据集DS11至DS13分别包括三维形状数据F11至F13，以及左眼纹理数据T11L至T13L和右眼纹理数据T11R至T13R。左眼纹理数据T11L至T13L和右眼纹理数据T11R至T13R对应于三维形状数据F11至F13。如图2所示，所生成的数据集DS11至DS13具有不同的数据量。
在图2所示的示例中，数据集DS11具有数据集DS11至DS13中的最大的数据量。在图2所示的示例中，数据集DS11中包括的三维形状数据F11尚未经过顶点减少处理。三维形状数据F11中包括的顶点数据V111至V117的数目与原始三维形状数据F10中包括的顶点数据的数目相同。然而，本实施方式不限于该示例。分发服务器1可以对可以发送的所有数据集中包括的三维形状数据执行顶点减少处理。
相比之下，在数据集DS12和数据集DS13中包括的三维形状数据F12和三维形状数据F13是通过对原始三维形状数据F10执行顶点减少处理而生成的。在图2所示的示例中，三维形状数据F12中包括的顶点数据V121至V124小于原始三维形状数据F10中包括的顶点数据V101至107，并且大于三维形状数据F13中包括的顶点数据V131至V132。要注意的是，在每个三维形状数据中包括的顶点的数目(顶点数)不限于图2所示的顶点数据的数目。
此外，可以将在数据集DS11至DS12中包括的左眼纹理数据T11L至T13L和右眼纹理数据T11R至T13R生成为具有与各个三维形状数据F11至F13的顶点数对应的像素数。如图2所示，由于对应的三维形状数据具有较高的顶点数，因此左眼纹理数据和右眼纹理数据可以各自具有较高的像素数。这是因为，在三维形状数据具有较少顶点数的情况下，即使左眼纹理数据和右眼纹理数据中的每一个的像素数的增加也对改善图像质量没有很大的贡献。该配置使得可以有效地减少数据量。
注意，图2示出了其中生成三个数据集DS11至DS13的示例，但是要生成的数据集的数目不限于图2中示出的示例。随着生成大量数据集，根据传送路径的带宽传送的数据量和处理性能可更精细地调节。然而，取决于要生成的数据集的数目，需要用于生成数据集的处理成本和数据集的保留成本。因此，期望通过考虑处理成本和保持成本来确定要生成的数据集的数目。
(传送数据的处理)
图3是示意性地示出根据本实施方式的数据传送处理的流程的示意图。分发服务器1从如上参照图2所述的预先生成的多个数据集DS11至DS13中选择要发送至显示控制装置2的数据集(S11)。在步骤S11中，例如，分发服务器1可以基于在从显示控制装置2接收到的请求中包括的负荷信息来选择包括具有与负荷信息对应的顶点数的三维形状数据的数据集。这样的选择使得可以调整从分发服务器1至显示控制装置2的数据集的传送以及由显示控制装置2执行的渲染处理的负荷。
随后，在步骤S11中选择的数据集从分发服务器1传送(发送)至显示控制装置2(S12)。然后，显示控制装置2基于从分发服务器1接收到的数据集生成(渲染)显示图像(S13)。在步骤S13中生成的显示图像包括左眼显示图像D10L和右眼显示图像D10R。左眼显示图像D10L被显示在用户的左眼的前方。右眼显示图像D10R被显示在用户的右眼的前方。此外，在步骤S13中，使用三维形状数据和左眼纹理数据来生成左眼显示图像D10L，并且使用三维形状数据和右眼纹理数据来生成右眼显示图像D10R。
由显示控制装置2生成的左眼显示图像D10L和右眼显示图像D10R由HMD 3显示(S14)。
<<2.根据本技术的原理>>
以上已经描述了本实施方式的概述。如上所述，在本实施方式中，不是传送单个纹理数据，而是传送左眼纹理数据和右眼纹理数据。经传送的左眼纹理数据和右眼纹理数据然后用于渲染显示图像。这使得可以在减少数据量的同时抑制显示图像的图像质量的降低。此处，描述了在本实施方式中通过使用左眼纹理数据和右眼纹理数据执行渲染来抑制显示图像的图像质量降低的技术原理。注意，以下描述了在一些情况下将左眼纹理数据和右眼纹理数据统称为立体纹理数据。
首先，参照图4和图5，在通过使用单个纹理数据执行渲染的情况下描述了三维形状数据与纹理数据之间的关联。图4是用于描述三维模型的顶点与单个纹理数据之间的关联的说明图。此外，图5是示出三维形状数据的数据结构的示例的图。
图4示出了作为立方体的三维模型M21以及与三维模型M21对应的单个纹理数据T21。指示图4所示的三维模型M21中的顶点的三维空间坐标(x0，y0，z0)对应于纹理数据T21上的纹理坐标(u0，v0)。
如图5所示，在计算器中保留的三维形状数据F21中，作为这些对应坐标的组合的(x0，y0，z0，u0，v0)可以被视为一个顶点数据。然后，在图5所示的示例中，这样的顶点数据的N个阵列被包括在三维形状数据F21中。即，三维形状数据F21包括用于将三维模型中的顶点的坐标与纹理数据中的对应坐标相关联的信息。
此处，当将来自图5所示的三维形状数据F21的每个头部中的三个视为三角形补丁时，可以在图4所示的xyz的三维空间坐标系中形成三维模型M21。三维模型M21具有包括三角形补丁组的立体形状。此外，三维空间坐标(x，y，z)与纹理坐标(u，v)之间的关联使得可以获取纹理数据T21中与每个三角形补丁对应的三角形区域。在使用仿射变换来变换三角形区域的同时将三角形区域映射(粘贴)到三维模型M21中的三角形补丁因此使得可以使用纹理数据来渲染三维模型。
以上描述了在通过使用单个纹理数据执行渲染的情况下的三维形状数据与纹理数据之间的关联。随后，描述了在本实施方式中通过使用立体纹理数据执行渲染的三维形状数据与纹理数据之间的关联。
图6是用于描述在本实施方式中的三维模型的顶点与纹理数据之间的关联的说明图。图6示出了三维模型M22、以及左眼纹理数据T22L和右眼纹理数据T22R。三维模型M22是立方体。左眼纹理数据T22L和右眼纹理数据T22R对应于三维模型M22。
指示图6所示的三维模型M22中的顶点的三维空间坐标(x0，y0，z0)对应于左眼纹理数据T22L上的纹理坐标(u0，v0)。此外，图6所示的三维模型M22中指示顶点的三维空间坐标(x0、y0、z0)类似地对应于右眼纹理数据T22R上的纹理坐标(u0、v0)。
如图6所示，可以将左眼纹理数据T22L中的纹理坐标和右眼纹理数据T22R中的纹理坐标表示为相同的坐标。左眼纹理数据T22L中的纹理坐标和右眼纹理数据T22R中的纹理坐标对应于三维模型M22中的同一顶点。因此，根据本实施方式的三维形状数据的数据结构可以类似于参照图5描述的示例的数据结构。
图7是用于描述在本实施方式中使用立体纹理数据的渲染的示意图。如图7所示，将左眼纹理数据T22L映射到三维模型M22并且在与用户的左眼对应的视点处执行渲染使得可以生成(渲染)左眼显示图像D22L。此外，如图7所示，将右眼纹理数据T22R映射到三维模型M22并且在与用户的右眼对应的视点处执行渲染使得可以生成(渲染)右眼显示图像D22R。
图7所示的用于执行渲染的处理可以由图1所示的显示控制装置2执行。注意，如参照图5所述将三维模型的顶点位置与纹理数据之间的关联的信息表示为三维形状数据。因此，使用从分发服务器1接收到的数据集允许显示控制装置2执行如图7所示的渲染。数据集包括三维形状数据和与三维形状数据对应的立体纹理数据。
如上所述，使用用于渲染共用三维模型的纹理的立体纹理数据允许经渲染的立体显示图像在与三维模型的表面不同的位置处融合。这与尽管例如在允许在平坦屏幕上显示的图像提供双眼视差的立体显示器中的显示表面是平面的但是可以提供立体效果的原理相同。本技术通过利用通过使用这样的立体纹理执行渲染允许识别与三维模型的形状的不均匀性不同的不均匀性的效果来抑制在用户视点处渲染的显示图像的主观图像质量的降低。
如上所述，通过诸如使用距离测量设备的方法或使用诸如立体匹配的技术的方法的三维捕获技术来获取原始三维形状数据。以各种方法获取原始三维形状数据，但是任何方法都可能具有误差。
此外，即使可以以高精度获取形状，但是复杂的形状需要三维形状数据的极大的数据量或极大的顶点数来以高精度再现形状。如参照图1至图3所述，在本实施方式中，根据关于传送路径的频带、处理性能等的负荷信息传送包括经过顶点减少处理的三维形状数据的数据集并且将其用于渲染。因此，取决于负荷信息，可以使用具有不足以高精度地再现形状的顶点数的三维形状数据或包括误差的三维形状数据来进行渲染。
当以该方式通过使用包括由获取(测量)、传送或处理中的任何一个引起的误差的三维形状数据以及单个纹理执行渲染时，再现包括误差的形状并且观看立体显示图像的用户也识别包括误差的形状。相比之下，即使在使用包括这样的误差的三维形状数据的情况下，在本实施方式中也使用三维形状数据和立体纹理来执行渲染。这使得形状的误差看起来更小，使得可以抑制主观图像质量的降低。以下描述了在本实施方式中这样的形状误差看起来较小的原理。
图8是用于描述三维模型中的误差的说明图。图8示出了具有突起(喙)的三维对象OBJ31的真实形状和三维模型M32的形状。三维模型M32通过三维捕获技术来对三维对象OBJ31进行三维建模。三维对象OBJ31最初包括如图8所示的突起B。相比之下，由于由测量等引起的误差而引起三维模型M32没有突出。注意，图8示出在三维模型M32存在的三维空间中与三维对象OBJ31的突起B的尖端对应的尖端位置作为点P。
这里，在使用与图8所示的三维模型M32对应的三维形状数据和单个纹理数据来执行渲染的情况下，观看生成的立体显示图像的用户难以识别该突起。相比之下，使用立体纹理可以使得即使使用与包括误差的三维模型，如三维模型M32对应的三维形状数据来执行渲染，在本实施方式中也使突起看上去存在。
为了提供由立体纹理带来的立体效果，使用基于由立体摄像装置获取的摄像装置图像而生成的纹理数据，该立体摄像装置被布置为具有接近人的两眼间距的水平距离。以下描述了基于由本实施方式中的立体摄像装置获取的摄像装置图像的纹理数据生成的原理。
图9是示意性地示出由立体摄像装置的进行成像的示意图。在图9中，左摄像装置C31L和右摄像装置C31R被布置为立体摄像装置，其间隔与人的两眼间距基本相同以允许三维对象OBJ31被成像。注意，图9用单点划线示出了左摄像装置C31L和右摄像装置C31R的成像范围。
立体摄像装置与三维对象之间的位置关系对应于立体摄像装置与三维模型在三维空间中的位置关系。立体摄像装置与三维模型在三维空间中的已知位置关系使得可以根据由立体摄像装置获取的摄像装置图像如下生成与三维模型对应的纹理数据。
图10是示意性地示出生成纹理数据的处理的流程的示意图。可以通过将从各个摄像装置位置观看的三维模型的形状透视投影到透视投影表面上来根据立体摄像装置与三维模型之间的位置关系生成透视投影图像。在图10所示的示例中，投影从图9所示的左摄像装置C32L的位置观看的三维模型M32，并且生成左透视投影图像P31L。类似地，投影从图9所示的右摄像装置C32R的位置观看的三维模型M32，并且生成右透视投影图像P31R。
每个透视投影图像的组成与通过每个摄像装置执行成像而获取的摄像装置图像的组成相同。这使得可以针对与三维模型中包括三个顶点的三角形补丁对应的每个三角形区域建立透视投影图像与摄像装置图像之间的关联。在图10所示的示例中，将与左透视投影图像P31L中的三维模型M32的三角形补丁A30对应的三角形区域A31L和左摄像装置图像G32L的三角形区域A32L相关联。类似地，将与右透视投影图像P31R中的三角形补丁A30对应的三角形区域A31R和右摄像装置图像G32R的三角形区域A32R相关联。
可以在变换三角形区域的同时通过基于如上所述获取的每个三角形区域的关联映射(粘贴)每个摄像装置图像中的每个三角形区域来生成纹理数据。在图10所示的示例中，左摄像装置图像G32L的三角形区域A32L被映射到左眼纹理数据T33L的三角形区域A33L，并且右摄像装置图像G32R的三角形区域A32R被映射到右眼纹理数据T33R的三角形区域A33L。
注意，根据来自一个摄像装置位置的透视投影生成的透视投影图像具有不具有三维模型的表面，并且因此纹理数据可以具有其纹理不是从摄像装置图像获得的区域。在该情况下，对于不是从摄像装置图像获得纹理的区域，例如，可以从图2所示的原始纹理数据获取纹理。
如图10所示，考虑通过使用包括误差的三维模型M32生成立体纹理的情况。图11是示出包括误差的三维模型M32与立体摄像装置(左摄像装置C31L和右摄像装置C31R)之间的关系的示意图。
在图11中，从左摄像装置C31L和右摄像装置C31R中的每一个延伸至点P的箭头表示在每个摄像装置中出现的图像中点P的光线。点P是在真实形状中存在的突起的尖端位置。由于误差而引起三维模型M32没有突起。因此，从左摄像装置C31L和右摄像装置C31R延伸至点P的各个箭头不在点P处相交，而是在三维模型M32的表面上的点PR和点PL处相交。这些点PR与点PL之间的距离d被原样映射为左眼纹理数据与右眼纹理数据之间的位置差，并且被原样记录为左右视差。
图10所示的左眼纹理数据T33L和右眼纹理数据T33R由于该左右视差而具有设计差异。对应于三维形状数据的三维模型M32没有突起。这使得突起的图案被记录为在纹理上具有左右视差。
在如上所述生成的立体纹理数据被从摄像装置位置映射到三维模型M32并且被观看和收听的情况下，即使三维模型M32的形状包括误差，也可以获得与真实形状的立体效果类似的立体效果。图12是示出摄像装置位置和用户眼睛的位置彼此匹配的观看和收听情况的示意图。在图12中，用箭头表示的光线从点PL延伸至位于左摄像装置C31L的位置处的用户的左眼E32L，并且用箭头表示的光线从点PR延伸至位于右摄像装置C31R的位置处的用户的右眼E32R。这里，用户看起来点PL处的纹理和点PR处的纹理在上述两条光线相交的点P的位置处融合，并且三维模型M32的表面存在于点P的位置。
注意，图12仅用于点P，但是除了点P之外，还再现出现在左右摄像装置中的所有光线。由此，即使三维模型M32的形状与真实形状不同，也能够获得原始的立体效果。此外，在使用与用户的眼睛位置匹配的摄像装置位置进行观看和收听的情况下，再现摄像装置进行成像时的光线，并且即使三维模型M32为任意形状，，也再现用户的真实形状。
然而，在与摄像装置位置不同的位置处进行观看和收听的情况下，如果三维模型M32的形状包含误差，则不能再现实际的光线。图13是示出其中摄像装置位置和用户眼睛的位置彼此不同的观看和收听情况的示意图。在图13所示的情况下，出现在用户的左眼E32L中的点PL处的纹理和出现在用户的右眼E32R中的点PL处的纹理在点P'处融合，并且三维模型M32的表面看起来在点P'的位置处存在。这里，图13所示的点P'是与作为突起的真正尖端位置的点P不同的位置。这是因为三维模型M32包括误差。然而，与看起来不存在突起的情况相比，点P'看起来存在于突出位置。即使在与摄像装置位置不同的位置进行观看和收听的情况下，这也抑制由误差引起的主观图像质量的降低。
这里，作为比较示例描述了针对本实施方式使用通过使用单个纹理数据代替立体纹理数据来执行渲染的技术(下面称为现有技术)的情况的示例。图14和图15是各自用于描述根据本实施方式的比较示例的说明图。图14和图15是将单个纹理数据映射到三维模型M32并且分别以与图12和图13的位置关系相同的位置关系进行观看和收听的情况的图。
现有技术不允许融合左眼和右眼在三维模型M32表面上的不同位置处点，如图12和图13中的点PL和PR。因此，在该比较示例中，例如，如图14和图15所示，用户使用左眼和右眼观看位于三维模型M32表面上的共用点PC。即，现有技术不允许用户在三维模型M32包括误差但是没有突起的情况下识别位于突起上的点。换言之，现有技术不可能渲染看起来存在于如图12和图13所示的三维模型M32的形状之外的位置的点。
如上所述，根据本实施方式，与现有技术相比，可以使用户看到更接近真实形状的形状。换言之，通过使用立体纹理执行渲染使得即使在使用与包括误差的三维形状模型对应的三维形状数据用于渲染的情况下，在本实施方式中也可以抑制每个视点处的显示图像的主观图像质量的降低。
以上已经描述了根据本实施方式的技术原理。随后，为了实现上述功能和处理，逐一描述分发服务器1和显示控制装置2的配置示例和操作示例。
<<3.分发服务器>>
<3-1.配置>
图16是示出根据图1所示的本实施方式的分发服务器1的配置的示例的框图。如图16所示，分发服务器1是包括控制器10、通信单元17和存储单元19的信息处理装置。
控制器10控制分发服务器1的每个部件。此外，控制器10还用作如图16所示的数据集生成单元11、通信控制单元13和选择单元15。
如参照图2所述，数据集生成单元11基于原始三维形状数据、原始纹理数据、左摄像装置图像和右摄像装置图像来生成具有不同数据量的多个数据集。
图17是示出数据集生成单元11的配置的示例的框图。如图17所示，数据集生成单元11包括顶点减少部111、透视投影部112和纹理生成部115。
顶点减少部111对原始三维形状数据执行顶点减少处理。从顶点缩少部111输出并且经过顶点减少处理的三维形状数据被提供给透视投影部112，并且与以下描述的立体纹理数据相关联。然后，将三维形状数据作为数据集存储在存储单元19中。即，通过顶点减少部111执行顶点减少处理来生成数据集中包括的三维形状数据。
图18是示出由顶点减少部111进行顶点减少处理的说明图。如图18所示，与尚未经过顶点减少处理的三维形状数据对应的三维模型M41的六个顶点和七个多边形分别被减少到与已经经过顶点减少处理的三维形状数据对应的三维模型M42的四个顶点和三个多边形。以该方式执行顶点减少处理使得形状更粗糙，但是允许数据被显著减少。这使得可以显著地减少用于传送和处理数据的负荷。注意，顶点减少部111的用于顶点减少处理的技术不受特别限制，但是，例如，可以使用诸如QEM(二次误差度量)的公知顶点减少技术。
图19是示出顶点逐渐减少的示意图。图19所示的示例表明，随着顶点数按照三维模型M51、M52和M53的顺序变小，形状变得不同，并且与各个形状对应的三维形状数据F51、F52和F53中包括的各个顶点数据具有较小的数据量。
注意，在生成不需要减少三维形状数据的顶点的数据集例如如图2所示的数据集DS11的情况下，顶点减少部111不必执行顶点减少处理，而是可以原样输出原始三维形状数据。
再次参照图17，并且继续描述数据集生成单元11。如参照图10所述，透视投影部112通过使用三维形状数据来从与左眼纹理数据和右眼纹理数据对应的左右摄像装置位置进行透视投影，并且生成透视投影图像。
如图17所示，透视投影部112包括左透视投影仪113L和右透视投影仪113R。左透视投影仪113L将三维模型的形状从与左眼纹理数据对应的左摄像装置的位置到透视投影透视投影表面，并且生成左透视投影图像。三维模型对应于从顶点减少部111提供的三维形状数据。类似地，右透视投影仪113R将三维模型的形状从与右眼纹理数据对应的右摄像装置的位置透视投影到透视投影表面，并且生成右透视投影图像。三维模型对应于从顶点减少部111提供的三维形状数据。
如参照图10所述，纹理生成部115建立由透视投影部12生成的透视投影图像与摄像装置图像之间的关联，并且映射摄像装置图像以生成左眼纹理数据和右眼纹理数据。注意，如参照图10所述，纹理生成部115可以基于三维形状数据中包括的顶点，针对每个区域(例如，与三角形补丁对应的每个三角形区域)建立透视投影图像与摄像装置图像之间的关联。
如图17所示，纹理生成部115包括左生成处理器116L、右生成处理器116R、左分辨率改变器117L和右分辨率改变器117R。
左生成处理器116L针对每个三角形区域建立左透视投影图像与左摄像装置图像之间的关联。左生成处理器116L然后将左摄像装置图像的三角形区域映射到左眼纹理数据中的对应三角形区域以生成左眼纹理数据。类似地，右生成处理器116R针对每个三角形区域建立右透视投影图像与右摄像装置图像之间的关联。右生成处理器116L然后将左摄像装置图像的三角形区域映射到右眼纹理数据中的对应三角形区域以生成右眼纹理数据。注意，左生成处理器116L和右生成处理器116R可以各自针对其纹理不是从摄像装置图像中获得的区域从原始纹理数据中获取纹理，并且如上所述生成纹理数据。
左分辨率改变器117L对由左生成处理器116L生成的左眼纹理数据执行分辨率改变处理，并且输出左眼纹理数据。类似地，右分辨率改变器117R对由右眼生成处理器116R生成的右眼纹理数据执行分辨率改变处理，并且输出右眼纹理数据。从左分辨率改变器117L输出的左眼纹理数据和从右分辨率改变器117R输出的右眼纹理数据与从顶点减少部111输出的三维形状数据相关联，并且将其作为数据集存储在存储单元19中。
左分辨率改变器117L和右分辨率改变器117R可以执行分辨率改变处理以使在每个数据集中包括的左眼纹理数据和右眼纹理数据各自具有与在数据集中包括的三维形状数据的顶点数对应的像素数。在三维形状数据具有低顶点数的情况下，减少左眼纹理数据和右眼纹理数据中的每一个的像素数不会导致图像质量的显著降低。因此，该配置使得可以有效地减少数据量。
以上参照图17描述了数据集生成单元11的配置示例。注意，数据集生成单元11生成如上所述的数据量不同的多个数据集。这允许数据集生成单元11在适当地改变参数的同时重复生成与期望数据集的数目相同次数的数据集，例如，以逐渐地改变在数据集中包括的三维形状数据的顶点数和每个纹理数据的像素数。
替选地，控制器10可以包括多个数据集生成单元11，并且并行地生成数据集。图20是示意性地示出在控制器10包括多个数据集生成单元11的情况下并行生成数据集的示意图。
图20所示的N个数据集生成单元11-1至11-N可以分别具有与图17所示的数据集生成单元11的配置类似的配置。数据集生成单元11-1至11-N基于原始三维形状数据、原始纹理数据、左摄像装置图像和右摄像装置图像来生成数据集DS-1至DS-N。各个数据集DS-1至DS-N包括具有不同顶点数的三维形状数据，以及与三维形状数据对应的左眼纹理数据和右眼纹理数据。
如图20所示，并行处理使得可以更有效地生成具有逐渐不同的数据量的多个数据集。
再次参照图16，并且连续描述了分发服务器1的控制器10。通信控制单元13控制与由通信单元17建立的另一装置的通信。例如，通信控制单元13控制通信单元17以使通信单元17从显示控制装置2接收包括负荷信息的请求。此外，通信控制单元13控制通信单元17以使通信单元17根据从显示控制装置2接收到的请求将由以下描述的选择单元15选择的数据集发送至显示控制装置2。
选择单元15基于由通信单元17接收到的请求中包括的负荷信息从由数据集生成单元11生成并且被存储在存储单元19中的多个数据集中选择要由通信单元17发送的数据集。如上所述，选择单元15可以选择包括具有与负荷信息对应的顶点数的三维形状数据，以及与三维形状数据对应的左眼纹理数据和右眼纹理数据的数据集。
负荷信息可以包括如上所述的关于分发服务器1与显示控制装置2之间的传送路径的频带的传送路径频带信息。例如，在分发服务器1与显示控制装置2之间的传送路径的带宽不足以传送包括原始三维形状数据的数据集的数据量的情况下，选择单元15选择包括顶点数比原始三维形状数据的顶点数更低的三维形状数据的数据集。
例如，当允许用户在某个范围内自由走动时，HMD 3找到方便的用途。因此，期望HMD 3建立无线通信。然后，在集成显示控制装置2和HMD 3以向HMD 3提供显示控制装置2的功能的情况下，分发服务器1与显示控制装置2(与HMD 3集成的)之间的传送路径应当具有窄频带。相反，在显示控制装置2和HMD 3是不同的装置并且显示控制装置2以有线方式耦接到通信网络5的情况下，分发服务器1与显示控制装置2之间的传送路径应当具有宽频带。在任何这样的情况下，选择单元15能够基于传送路径的频带来适当地选择数据集。
此外，负荷信息可以包括如上所述的关于显示控制装置2的处理性能的处理性能信息。显示控制装置2可以具有各种处理性能。显示控制装置2和HMD 3可以是不同的装置，并且显示控制装置2可以是具有高处理性能的高规格PC。替选地，在显示控制装置2和HMD 3被集成并且HMD 3具有显示控制装置2的功能的情况下，显示控制装置2在一些情况下具有比高规格PC的处理性能更低的处理性能。此外，将智能电话并入HMD中还允许智能电话用作显示控制装置2和HMD 3。在该情况下，显示控制装置2应当具有较低的处理性能。在任何这样的情况下，选择单元15能够基于处理性能适当地选择数据集。
通信单元17在上述通信控制单元13的控制下执行与另一装置的信息通信。例如，通信单元17用作接收单元，并且从显示控制装置2接收包括关于负荷的负荷信息的请求。此外，通信单元17用作发送单元，并且根据接收到的请求发送数据集。数据集包括具有与负荷信息对应的顶点数的三维形状数据，以及与三维形状数据对应的左眼纹理数据和右眼纹理数据。
存储单元19存储用于使分发服务器1的每个部件起作用的程序和参数。例如，存储单元19预先存储上述原始三维形状数据、原始纹理数据、左摄像装置图像和右摄像装置图像，并且将其提供给数据集生成单元11。此外，存储单元19存储由数据集生成单元11生成的多个数据集。
<3-2.操作>
以上描述了根据本实施方式对分发服务器1的配置示例。接下来，将描述根据本实施方式的分发服务器1的操作示例。注意，根据本实施方式的分发服务器1预先生成多个数据集，并且根据来自如上所述的显示控制装置2的请求将从多个数据集中选择的数据集发送至显示控制装置2。因此，以下参照图21描述了用于生成数据集的分发服务器1的操作示例，并且然后参照图22描述了用于传送数据集的分发服务器1的操作示例。
图21是示出用于生成数据集的分发服务器1的操作示例的流程图。如图21所示，数据集生成单元11的顶点减少部111首先对原始三维形状数据执行顶点减少处理(S101)。
接下来，数据集生成单元11的透视投影部112使用在步骤S101中经过顶点减少处理的三维形状数据以从左右摄像装置位置进行透视投影，并且生成透视投影图像(S103)。
随后，数据集生成单元11的纹理生成部115建立透视投影图像与左右摄像装置图像之间的关联，并且生成左眼纹理数据和右眼纹理数据(S105)。
此外，纹理生成部115对在步骤S105中生成的左眼纹理数据和右眼纹理数据执行分辨率改变处理，以提供具有与在步骤S101中经过顶点减少处理的三维形状数据的顶点数对应的像素数的左眼纹理数据和右眼纹理数据(S107)。
数据集生成单元11然后将在步骤S101中经过顶点减少处理的三维形状数据与在步骤S107中分别经过分辨率改变处理的左眼纹理数据和右眼纹理数据相关联，并且使存储单元19将三维形状数据以及左眼纹理数据和右眼纹理数据存储为数据集(S109)。
以上已经参照图2描述了用于生成数据集的分发服务器1的操作示例。注意，例如，在适当地改变参数的同时可以逐渐地将图21所示的一系列处理重复与期望的数据集数目相同的次数，以逐渐改变据集中包括的三维形状数据的顶点数和每个纹理数据的像素数。替选地，如图20所示，可以由多个数据集生成单元11并行地执行图21所示的一系列处理。
接下来，参照图22描述了用于传送数据集的分发服务器1的操作示例。图22是示出用于传送数据集的分发服务器1的操作示例的流程图。如图22所示，通信单元17首先在通信控制单元13的控制下从显示控制装置2接收包括与负荷有关的负荷信息的请求(S151)。
接下来，选择单元15基于在步骤S151中接收到的请求中包括的负荷信息从存储在存储单元19中的多个数据集中选择要由通信单元17发送的数据集(S153)。如上所述，在步骤S153中选择的数据集包括具有与负荷信息对应的顶点数的三维形状数据，以及与三维形状数据对应的左眼纹理数据和右眼纹理数据。
随后，在通信控制单元13的控制下，通信单元17根据请求将在步骤S153中选择的数据集发送到显示控制装置2(S155)。在步骤S151中，从显示控制装置2接收该请求。
<<4.显示控制装置>>
<4-1.配置>
以上描述了根据本实施方式的分发服务器1的配置示例和操作示例。接下来，描述了显示控制装置2的配置示例。图23是示出根据本实施方式的显示控制装置2的配置示例的框图。如图23所示，显示控制装置2是包括控制器20、通信单元27和存储单元29的信息处理装置。
控制器20对显示控制装置2的每个部件进行控制。此外，如图23所示，控制器20还用作渲染单元21和通信控制单元23。
如上参照图3、图7等所示，渲染单元21基于由下文描述的通信单元27从分发服务器1接收的数据集生成(渲染)左眼显示图像和右眼显示图像。此外，基于关于用户的视点的视点信息，渲染单元21还可以在该视点处生成左眼显示图像和右眼显示图像。通信单元27从HMD 3接收视点信息。
通信控制单元23控制与由通信单元27建立的另一装置的通信。例如，通信控制单元23控制通信单元27以使通信单元27向分发服务器1发送包括关于负荷的负荷信息的请求。注意，通信控制单元23可以从存储单元29获取负荷信息，或者可以经由通信单元27从外部获取负荷信息。此外，通信控制单元23控制通信单元27以使通信单元27从分发服务器1接收数据集。此外，通信控制单元23控制通信单元27使通信单元27从HMD 3接收与用户的视点有关的视点信息。此外，通信控制单元23控制通信单元27使通信单元27向HMD 3发送左眼显示图像和右眼显示图像，并且使HMD 3显示左眼显示图像和右眼显示图像。左眼显示图像和右眼显示图像由渲染单元21生成。
通信单元27在上述通信控制单元23的控制下执行与另一装置的信息通信。例如，通信单元27用作发送单元，并且将包括关于负荷的负荷信息的请求发送至分发服务器1。此外，通信单元27用作接收单元，并且从分发服务器1接收数据集。数据集包括具有与负荷信息对应的顶点数的三维形状数据，以及与三维形状数据对应的左眼纹理数据和右眼纹理数据。此外，通信单元27从HMD 3接收与用户的视点有关的视点信息，并且向HMD 3发送由渲染单元21生成的左眼显示图像和右眼显示图像。
存储单元29存储用于使显示控制装置2的每个部件起作用的程序和参数。例如，存储单元29可以存储上述负荷信息。
<4-2.操作>
以上描述了根据本实施方式的显示控制装置2的配置示例。接下来，描述了根据本实施方式的显示控制装置2的操作示例。图24是示出显示控制装置2的操作示例的流程图。
如图24所示，通信单元27首先在通信控制单元23的控制下向分发服务器1发送包括关于负荷的负荷信息的请求(S201)。接下来，通信单元27在通信控制单元23的控制下从分发服务器1接收数据集(S203)。如上所述，在步骤S203中接收到的数据集包括具有与负荷信息对应的顶点数的三维形状数据，以及与三维形状数据对应的左眼纹理数据和右眼纹理数据。
接下来，渲染单元21基于在步骤S203中接收到的数据集生成左眼显示图像和右眼显示图像。随后，通信控制单元23控制通信单元27以使通信单元27将左眼显示图像和右眼显示图像发送到HMD 3，从而使HMD 3显示左眼显示图像和右眼显示图像。在步骤S205中生成左眼显示图像和右眼显示图像。
<<5.修改示例>>
以上已经描述了本公开内容的实施方式。下文描述了本公开内容的实施方式的一些修改示例。注意，以下描述的修改示例可以单独应用于本公开内容的实施方式，或者可以组合应用于本公开内容的实施方式。此外，可以替代本公开内容的实施方式中描述的配置来应用每个修改示例，或者可以将每个修改示例附加地应用于本公开内容的实施方式中描述的配置。
<5-1.修改示例1>
在上述实施方式中，已经描述了选择单元15基于负荷信息选择要由通信单元17发送的数据集的示例，但是本技术不限于该示例。例如，选择单元15还可以基于要由通信单元17发送的数据集中包括的对象的数目选择要由通信单元17发送的数据集。该示例被描述为修改示例1。
图25是用于描述修改示例1的说明图。在本修改示例中，可以为每个对象生成数据集。然后，在本修改示例中，选择单元15可以选择用于每个对象的数据集。此外，由于要由通信单元17发送的数据集包括更多对象，因此选择单元15可以选择具有较小数据量的数据集。例如，选择单元15可以基于对象的数目来选择数据集以使得要发送的数据集具有恒定的总数据量。例如，在对象数目加倍的情况下，可以选择数据集以使每个对象具有一半的数据量。
注意，可以例如基于存储在存储单元19中的原始数据来识别要由通信单元17发送的数据集中包括的对象的数目。此外，在从显示控制装置2获得关于用户的视点的视点信息的情况下，可以根据基于视点信息识别的用户的视野来识别要由通信单元17发送的数据集中包括的对象的数目。图25作为示例示出用户的视野W11至W13。
用户的视野W11包括一个对象OBJ111，并且因此，要由通信单元17发送的数据集也包括一个对象。在该情况下，如图25所示，选择单元15可以选择包括具有大顶点数的三维形状数据F21以及分别具有高像素数的左眼纹理数据T21L和右眼纹理数据T21R的数据集DS21。因此，如图25所示，要发送的数据集DS31包括三维形状数据F31、以及左眼纹理数据T31L和右眼纹理数据T31R。
用户的视野W12包括两个对象OBJ121和OBJ122，并且因此，要由通信单元17发送的数据集也包括两个对象。在该情况下，如图25所示，选择单元15可以为每个对象选择包括与三维形状数据F21相比其顶点数目减少的三维形状数据F22的数据集DS22。此外，如图25所示，数据集DS22中包括的左眼纹理数据T22L和右眼纹理数据T22R具有比左眼纹理数据T21L和右眼纹理数据T21R的像素数更低的像素数。因此，如图25所示，要发送的数据集DS32包括三维形状数据F32-1和F32-2，以及左眼纹理数据T32-1L和T32-2L和右眼纹理数据T32-1R和T32-2R。
用户的视野W13包括三个对象OBJ131、OBJ132和OBJ133，并且因此，要由通信单元17发送的数据集也包括三个对象。在该情况下，如图25所示，选择单元15可以为每个对象选择包括与三维形状数据F22相比其顶点数进一步减少的三维形状数据F23的数据集DS23。此外，如图25所示，数据集DS23中包括的左眼纹理数据T23L和右眼纹理数据T23R具有比左眼纹理数据T22L和右眼纹理数据T22R的像素数更低的像素数。因此，如图25所示，要发送的数据集DS33包括三维形状数据F33-1至F33-3、以及左眼纹理数据T33-1L至T33-3L和右眼纹理数据T33-1R至T33-3R。
如上所述，根据本修改示例，还基于数据集中包括的对象的数目选择要发送的数据集使得可以发送适当的数据集。
<5-2.修改示例2>
在上述实施方式中，已经描述了其中分发服务器1生成数据集的示例，但是本技术不限于该示例。例如，上述数据集生成单元11的功能可以被安装在另一信息处理装置中。其他信息处理装置可以预先生成多个数据集，并且将其提供给分发服务器1。
<5-3.修改示例3>
此外，在上述实施方式中，已经描述了基于左摄像装置图像和右摄像装置图像的两个摄像装置图像生成两个纹理数据的示例，但是本技术不限于该示例。例如，可以基于三个或更多个摄像装置图像来生成三个或更多个纹理数据。在该情况下，三个或更多个摄像装置图像中的两个图像可以被视为左摄像装置图像和右摄像装置图像，并且三个或更多个生成的纹理数据中的两个纹理数据可以被视为左眼纹理数据和右眼纹理数据。
注意，在生成三个或更多个纹理数据的情况下，分发服务器1可以从显示控制装置2接收视点信息，并且基于该视点信息从三个或更多个纹理数据中选择要发送的数据集中包括的左眼纹理和右眼纹理数据。
<5-4.修改示例4>
在上述实施方式中，已经描述了其中基于三维捕获技术获取的三维形状数据是原始三维形状数据的示例，但是本技术不限于该示例。例如，不是基于真实空间中的感测而是在计算机上生成的三维形状数据是原始的三维形状数据，并且本技术是适用的。在该情况下，例如，可以通过使用虚拟立体摄像装置、与原始三维形状数据对应的三维模型进行成像(渲染)来生成左摄像装置图像和右摄像装置图像，并且可以应用本技术。
<<6.硬件配置示例>>
以上已经描述了本公开内容的实施方式。最终，参照图26描述了根据本公开内容的实施方式的信息处理装置的硬件配置。图26是示出根据本公开内容的实施方式的信息处理装置的硬件配置的示例的框图。要注意的是，图26所示的信息处理装置900可实现例如图1、图16和图23所示的分发服务器1、显示控制装置2和HMD 3。根据本实施方式的通过分发服务器1、显示控制装置2和HMD 3进行的信息处理是通过以下所述的软件与硬件之间的协作来实现的。
如图26所示，信息处理装置900包括CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903和主机总线904a。此外，信息处理装置900包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、耦接端口911、通信设备913和传感器915。替代CPU 901或除了CPU 901之外，信息处理装置900可以包括诸如DSP或ASIC的处理电路。
CPU 901起到算术处理设备和控制设备的作用，并且根据各种程序来控制信息处理装置900的整体操作。此外，CPU 901可以是微处理器。ROM 902存储要由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当地改变的参数等。CPU901可以被包括在例如控制器10和控制器20中。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主总线904a来相互耦接。主机总线904a经由桥904连接至例如PCI(外围部件互联/接口)总线的外部总线904b。注意，不需必须分别包括主机总线904a、桥接器904和外部总线904b，并且主机总线904a、桥接器904和外部总线904b的功能可以在单条总线中被实现。
例如，输入设备906由用户通过其输入信息的设备(例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆)来实现。此外，输入设备906可以是例如使用红外线或其他电波的遥控设备或者诸如支持信息处理装置900的操作的移动电话或PDA的外部耦接设备。此外，输入设备906可以包括输入控制电路等，其基于由用户使用上述输入装置输入的信息来生成输入信号，并且例如将生成的输入信号输出至CPU 901。信息处理装置900的用户可以向信息处理装置900输入各种数据或者通过操作输入设备906指示信息处理装置900来执行处理操作。
输出设备907包括能够在视觉上或听觉上向用户通知所获取的信息的设备。这样的设备的示例包括显示设备，例如CRT显示设备、液晶显示设备、等离子显示设备、EL显示设备和灯、音频输出设备例如扬声器和耳机、打印机等。输出设备907输出通过由例如信息处理装置900执行的各种处理所获取的结果。具体地，显示设备以各种形式(例如文本、图像、表格和图形)在视觉上显示通过由信息处理装置900执行的各种处理所获取的结果。同时，音频输出设备将包括再现的音频数据、声学数据等的音频信号转换为模拟信号，并且在听觉上输出模拟信号。
存储设备908是作为信息处理装置900的存储单元的示例形成的用于数据存储的设备。例如，存储设备908由诸如HDD的磁存储单元设备、半导体存储设备、光存储设备、磁光存储设备等来实现。存储设备908可以包括存储介质、在存储介质中记录数据的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。该存储设备908存储要由CPU 901执行的程序、各种类型的数据、从外部获取的各种类型的数据等。上述存储设备908可以被包括在例如存储单元19和存储单元29中。
驱动器909是存储介质的读取器/写入器，并且被并入信息处理装置900中或者从外部附接至信息处理装置900。驱动器909读出记录在安装在其上的诸如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质中的信息，并且将该信息输出至RAM 903。此外，驱动器909还能够将信息写入可移除存储介质中。
耦接端口911是耦接至外部装置的接口，并且是去往能够通过例如USB(通用串行总线)等传送数据的外部装置的耦接端口。
通信设备913是通信接口，该通信接口包括例如用于耦接至网络920的通信设备等。通信设备913例如是用于有线或无线LAN(局域网)、LTE(长期演进)、蓝牙(注册商标)或WUSB(无线USB)的通信卡等。此外，通信设备913可以是用于光学通信的路由器、用于ADSL(非对称数字用户线)的路由器、用于各种类型的通信的调制解调器等。例如，该通信设备913可以根据预定的协议(例如TCP/IP)向因特网和其他通信设备发送信号等并且从因特网和其他通信设备接收信号等。通信设备913可以包括在例如通信单元17和通信单元27中。
例如，传感器915可以是诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、测距传感器和力传感器的各种传感器。传感器915获取关于信息处理装置900的状态的信息，例如信息处理装置900的姿势和移动速度，以及关于信息处理装置900的周围环境的信息，例如信息处理装置900周围的亮度或噪声。此外，传感器915可以包括GPS传感器，其接收GPS信号并且测量装置的纬度、经度和海拔。
注意，网络920是用于要从耦接至网络920的装置发送的信息的有线或无线传送路径。例如，网络920可以包括诸如因特网的公共网络、电话网络或卫星通信网络，以及包括以太网(注册商标)、WAN(广域网)和LAN的各种LAN(局域网)等。此外，网络920可以包括诸如IP-VPN(因特网协议-虚拟专用网络)的专用网络。
以上已经描述了使得可以实现根据本公开内容的实施方式的信息处理装置900的功能的硬件配置的示例。上述各个部件可以通过使用通用构件来实现，或者可以通过专用于各个部件的功能的硬件来实现。因此，可以在执行本公开内容的实施方式时根据技术水平适当地改变要使用的硬件配置。
注意，可以创建用于实现根据如上所述的本公开内容的实施方式的信息处理装置900的每个功能的计算机程序，并且将该计算机程序安装在PC等中。此外，还可以提供其中存储有这样的计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘、闪存等。此外，可以在不使用记录介质的情况下经由例如网络来分发上述计算机程序。
<<7.结论>>
根据如上所述的本公开内容的实施方式，可以抑制基于三维形状数据生成的显示图像的主观图像质量的降低。
以上已经参照附图详细描述了本公开内容的(一个或更多个)优选实施方式，但是本公开内容的技术范围不限于这样的(一个或更多个)实施方式。本领域技术人员可以在所附权利要求书的范围内发现各种替选和修改，并且应当理解，这些替选和修改将自然地归入本公开内容的技术范围内。
此外，上述实施方式中的步骤不需要总是根据如流程描述的顺序按时间顺序处理。例如，根据上述实施方式的处理中的各个步骤可以以与作为流程图描述的顺序不同的顺序被处理，或者可以被并行地处理。
此外，本文中描述的效果仅是说明性和示例性的，而不是限制性的。即，除了上述效果之外，或者代替上述效果，根据本公开的技术还可以发挥根据本文中的说明书对本领域技术人员而言明显的其他效果。
注意，以下配置也落入本公开内容的技术范围内。
(1)
一种信息处理装置，包括：
接收单元，其接收包括关于负荷的负荷信息的请求；以及
发送单元，其根据所述请求发送数据集，所述数据集包括三维形状数据以及左眼纹理数据和右眼纹理数据，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据。
(2)
根据(1)所述的信息处理装置，还包括选择单元，所述选择单元基于所述负荷信息从多个数据集中对要由所述发送单元发送的所述数据集进行选择，所述多个数据集各自包括所述三维形状数据以及所述左眼纹理数据和所述右眼纹理数据，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据。
(3)
根据(2)所述的信息处理装置，其中，所述选择单元还基于要由所述发送单元发送的所述数据集中包括的对象的数目进行选择。
(4)
根据(2)或(3)所述的信息处理装置，还包括数据集生成单元，所述数据集生成单元生成所述多个数据集。
(5)
根据(4)所述的信息处理装置，其中，所述数据集生成单元包括顶点减少部，所述顶点减少部通过顶点减少处理来生成所述三维形状数据，所述三维形状数据被包括在所述数据集中。
(6)
根据(4)或(5)所述的信息处理装置，其中，所述数据集生成单元还包括透视投影部，所述透视投影部通过使用所述三维形状数据从与所述左眼纹理数据和所述右眼纹理数据对应的各个摄像装置位置进行透视投影，并且生成透视投影图像。
(7)
根据(6)所述的信息处理装置，其中，所述数据集生成单元还包括纹理生成部，所述纹理生成部建立所述透视投影图像与摄像装置图像之间的关联，并且生成所述左眼纹理数据和所述右眼纹理数据，所述摄像装置图像是通过从所述摄像装置位置执行成像来获取。
(8)
根据(7)所述的信息处理装置，其中，所述纹理生成部针对基于所述三维形状数据中包括的顶点的每个区域建立所述透视投影图像与所述摄像装置图像之间的关联。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，所述左眼纹理数据和所述右眼纹理数据各自具有与所述三维形状数据的顶点数对应的像素数，所述左眼纹理数据和所述右眼纹理数据被包括在每个数据集中，所述三维形状数据被包括在所述数据集中。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，所述负荷信息包括关于发送装置与所述信息处理装置之间的传送路径的频带的传送路径频带信息，或者关于所述发送装置的处理性能的处理性能信息，所述发送装置发送所述请求。
(11)
一种信息处理装置，包括：
发送单元，其发送包括关于负荷的负荷信息的请求；
接收单元，其接收包括三维形状数据以及左眼纹理数据和右眼纹理数据的数据集，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据；以及
渲染单元，其基于所述数据集生成左眼显示图像和右眼显示图像。
(12)
根据(11)所述的信息处理装置，其中，所述负荷信息包括关于接收装置与所述信息处理装置之间的传送路径的频带的传送路径频带信息，或者关于所述信息处理装置的处理性能的处理性能信息，所述接收装置接收所述请求。
(13)
根据(11)或(12)所述的信息处理装置，其中，所述渲染单元还基于关于用户的视点的信息来生成所述左眼显示图像和所述右眼显示图像。
(14)
根据(13)所述的信息处理装置，还包括显示单元，其被佩戴在用户的头部上，并且显示所述左眼显示图像和所述右眼显示图像。
(15)
一种信息处理方法，包括：
接收包括关于负荷的负荷信息的请求；以及
由处理器根据所述请求使数据集被发送，所述数据集包括三维形状数据以及左眼纹理数据和右眼纹理数据，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据。
(16)
一种信息处理方法，包括：
发送包括关于负荷的负荷信息的请求；
接收包括三维形状数据以及左眼纹理数据和右眼纹理数据的数据集，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据；以及
由处理器基于所述数据集生成左眼显示图像和右眼显示图像。
附图标记列表
1 分发服务器
2 显示控制装置
3 HMD
5 通信网络
10 控制器
11 数据集生成单元
13 通信控制单元
15 选择单元
17 通信单元
19 存储单元
20 控制器
21 渲染单元
23 通信控制单元
27 通信单元
29 存储单元
111 顶点减少部
112 透视投影部
115 纹理生成部

Claims (15)

1.一种信息处理装置，包括：
接收单元，其接收包括关于负荷的负荷信息的请求；以及
发送单元，其根据所述请求发送数据集，所述数据集包括三维形状数据以及左眼纹理数据和右眼纹理数据，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据。
2.根据权利要求1所述的信息处理装置，还包括选择单元，所述选择单元基于所述负荷信息从多个数据集中选择要由所述发送单元发送的所述数据集，所述多个数据集各自包括所述三维形状数据以及所述左眼纹理数据和所述右眼纹理数据，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据。
3.根据权利要求2所述的信息处理装置，其中，所述选择单元还基于要由所述发送单元发送的所述数据集中包括的对象的数目来进行选择。
4.根据权利要求2所述的信息处理装置，其中，还包括数据集生成单元，所述数据集生成单元生成所述多个数据集。
5.根据权利要求4所述的信息处理装置，其中，所述数据集生成单元包括顶点减少部，所述顶点减少部通过顶点减少处理生成所述三维形状数据，所述三维形状数据被包括在所述数据集中。
6.根据权利要求4所述的信息处理装置，其中，所述数据集生成单元还包括透视投影部，所述透视投影部通过使用所述三维形状数据从与所述左眼纹理数据和所述右眼纹理数据对应的各个摄像装置位置进行透视投影，并且生成透视投影图像。
7.根据权利要求6所述的信息处理装置，其中，所述数据集生成单元还包括纹理生成部，所述纹理生成部建立所述透视投影图像与摄像装置图像之间的关联，并且生成所述左眼纹理数据和所述右眼纹理数据，所述摄像装置图像是通过从所述摄像装置位置执行成像来获取的。
8.根据权利要求7所述的信息处理装置，其中，所述纹理生成部针对基于所述三维形状数据中包括的顶点的每个区域建立所述透视投影图像与所述摄像装置图像之间的关联。
9.根据权利要求1所述的信息处理装置，其中，所述左眼纹理数据和所述右眼纹理数据各自具有与所述三维形状数据的顶点数对应的像素数，所述左眼纹理数据和所述右眼纹理数据被包括在每个数据集中，所述三维形状数据被包括在该数据集中。
10.根据权利要求1所述的信息处理装置，其中，所述负荷信息包括关于发送装置与所述信息处理装置之间的传送路径的频带的传送路径频带信息，或者关于所述发送装置的处理性能的处理性能信息，所述发送装置发送所述请求。
11.一种信息处理装置，包括：
发送单元，其发送包括关于负荷的负荷信息的请求；
接收单元，其接收包括三维形状数据以及左眼纹理数据和右眼纹理数据的数据集，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据；以及
渲染单元，其基于所述数据集生成左眼显示图像和右眼显示图像。
12.根据权利要求11所述的信息处理装置，其中，所述负荷信息包括关于接收装置与所述信息处理装置之间的传送路径的频带的传送路径频带信息，或者关于所述信息处理装置的处理性能的处理性能信息，所述接收装置接收所述请求。
13.根据权利要求11所述的信息处理装置，其中，所述渲染单元还基于关于用户的视点的信息来生成所述左眼显示图像和所述右眼显示图像。
14.根据权利要求13所述的信息处理装置，还包括显示单元，所述显示单元被佩戴在所述用户的头部上，并且显示所述左眼显示图像和所述右眼显示图像。
15.一种信息处理方法，包括：
接收包括关于负荷的负荷信息的请求；以及
由处理器根据所述请求使数据集被发送，所述数据集包括三维形状数据以及左眼纹理数据和右眼纹理数据，所述三维形状数据具有与所述负荷信息对应的顶点数，所述左眼纹理数据和所述右眼纹理数据对应于所述三维形状数据。
CN201880086930.XA 2018-01-25 2018-10-25 信息处理装置和信息处理方法 Pending CN111656409A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-010471 2018-01-25
JP2018010471 2018-01-25
PCT/JP2018/039717 WO2019146194A1 (ja) 2018-01-25 2018-10-25 情報処理装置、及び情報処理方法

Publications (1)

Publication Number Publication Date
CN111656409A true CN111656409A (zh) 2020-09-11

Family

ID=67394578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880086930.XA Pending CN111656409A (zh) 2018-01-25 2018-10-25 信息处理装置和信息处理方法

Country Status (4)

Country Link
US (1) US11317082B2 (zh)
CN (1) CN111656409A (zh)
DE (1) DE112018006939T5 (zh)
WO (1) WO2019146194A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414483B2 (ja) * 2019-11-18 2024-01-16 日本放送協会 ３次元モデルデータ変換装置及びプログラム
CN116648720A (zh) 2020-12-07 2023-08-25 三菱电机株式会社 学习用数据生成装置及学习用数据生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143103A (ja) * 1999-11-12 2001-05-25 Fujitsu Ltd ３次元形状データ提供方式
JP2002197016A (ja) * 2000-12-25 2002-07-12 Mitsubishi Electric Corp ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ表示方法、３次元空間表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信及び表示方法、及び３次元空間データ送信及び表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20050117215A1 (en) * 2003-09-30 2005-06-02 Lange Eric B. Stereoscopic imaging
JP2006227744A (ja) * 2005-02-15 2006-08-31 Mitsubishi Electric Corp 情報生成装置、検索装置、配信装置、並びに情報配信システム
JP2007507945A (ja) * 2003-09-30 2007-03-29 エリック ベルク ラング 立体映像化
US20110285715A1 (en) * 2010-05-21 2011-11-24 International Business Machines Corporation Method and System for Providing Scene Data of Virtual World
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
US20130100132A1 (en) * 2011-03-31 2013-04-25 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
CN107562185A (zh) * 2017-07-14 2018-01-09 西安电子科技大学 一种基于头戴vr设备的光场显示系统及实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737721B2 (en) 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143103A (ja) * 1999-11-12 2001-05-25 Fujitsu Ltd ３次元形状データ提供方式
JP2002197016A (ja) * 2000-12-25 2002-07-12 Mitsubishi Electric Corp ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ表示方法、３次元空間表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信及び表示方法、及び３次元空間データ送信及び表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20050117215A1 (en) * 2003-09-30 2005-06-02 Lange Eric B. Stereoscopic imaging
JP2007507945A (ja) * 2003-09-30 2007-03-29 エリック ベルク ラング 立体映像化
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
JP2006227744A (ja) * 2005-02-15 2006-08-31 Mitsubishi Electric Corp 情報生成装置、検索装置、配信装置、並びに情報配信システム
US20110285715A1 (en) * 2010-05-21 2011-11-24 International Business Machines Corporation Method and System for Providing Scene Data of Virtual World
JP2013533529A (ja) * 2010-05-21 2013-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想世界のシーン・データを提供するための方法、システム、およびコンピュータ・プログラム
US20130100132A1 (en) * 2011-03-31 2013-04-25 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
CN107562185A (zh) * 2017-07-14 2018-01-09 西安电子科技大学 一种基于头戴vr设备的光场显示系统及实现方法

Also Published As

Publication number Publication date
WO2019146194A1 (ja) 2019-08-01
DE112018006939T5 (de) 2020-10-08
US11317082B2 (en) 2022-04-26
US20200359007A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
US11868675B2 (en) Methods and systems of automatic calibration for dynamic display configurations
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
WO2018086295A1 (zh) 一种应用界面显示方法及装置
US20110306413A1 (en) Entertainment device and entertainment methods
JP2019511016A (ja) フレームのパノラマフレームへのステッチング
US20120105611A1 (en) Stereoscopic image processing method and apparatus
WO2019159617A1 (ja) 画像処理装置、画像処理方法およびプログラム
US11417060B2 (en) Stereoscopic rendering of virtual 3D objects
WO2017086244A1 (ja) 画像処理装置、情報処理装置、および画像処理方法
WO2020184174A1 (ja) 画像処理装置および画像処理方法
CN111656409A (zh) 信息处理装置和信息处理方法
WO2023288231A1 (en) Image based sampling metric for quality assessment
WO2019030427A1 (en) THREE-DIMENSIONAL VIDEO PROCESSING
JPWO2018135052A1 (ja) 画像生成装置、及び画像表示制御装置
TWI817335B (zh) 立體影像播放裝置及其立體影像產生方法
TWM630947U (zh) 立體影像播放裝置
JP7278720B2 (ja) 生成装置、生成方法及びプログラム
JP6200316B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
KR20220077014A (ko) 가상현실(vr) 기술 기반의 360도 돔 영상관 상영 방법
JP6378794B1 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
WO2018186168A1 (ja) 映像生成装置、映像生成方法および映像生成プログラム
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
CN116708737A (zh) 立体影像播放装置及其立体影像产生方法
WO2022225711A1 (en) Estimation of optimal rasterization distortion function from image distortion property
TW201308978A (zh) 二維轉三維轉換裝置及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination