CN111033575A - 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质 - Google Patents

Abstract

在图像处理装置(2、11、21、31)中，获取部(4)获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据，生成部(6)按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

Description

图像处理装置、显示装置、图像发送装置、图像处理方法、控制 程序以及记录介质

技术领域

本发明的一个方案主要涉及一种对来自再现视点的表示显示对象的图像进行合成的图像处理装置。

背景技术

通常，作为用于实现能够选择再现视点(影像再现时的视点)影像服务的系统的示例，可以举出利用了图像和深度的系统。例如，作为该系统的具体例，可以举出基于深度图像渲染(Depth Image-based Rendering：DIBR)。

以下，对DIBR进行说明。首先，接收来自特定视点的表示显示对象的图像数据以及从该视点到该显示对象的深度。接着，根据再现视点对接收到的深度的视点进行转换，合成再现视点深度。接着，基于再现视点、合成的再现视点深度以及接收到的图像数据合成再现视点图像。

作为表示具有上述那样的构成的DIBR的示例的文献，举出专利文献1。

现有技术文献

专利文献

专利文献1：日本公开专利公报“日本特开2015-87851号公报(2015年5月7日公开)”

发明内容

发明要解决的问题

在所述的DIBR中，基于接收数据(影像+深度)来合成并提示指定的再现视点的再现图像。但是，由于频带的限制，在各时刻能够接收的显示对象的深度等3D模型数据(表示显示对象的三维形状的信息)在采样数量方面或者噪声或空穴(hole)等的精度方面受到限制，因此存在合成后的图像的质量低的问题。

本发明是鉴于上述的问题点而完成的，其目的在于，提供一种在基于图像数据和3D模型数据来合成再现视点图像的图像处理装置中，能防止因3D模型数据的采样数量或精度引起的再现视点图像的质量降低，并且能合成高质量的再现视点图像的技术。

技术方案

为了解决上述的问题，本发明的一个方案的图像处理装置具备：获取部，获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；生成部，参考所述多个部分3D模型数据，生成参考模型；以及合成部，参考所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，所述生成部按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

为了解决上述的问题，本发明的一个方案的图像处理装置具备：获取部，获取显示对象的图像数据和部分地表示该显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；生成部，参考所述多个部分3D模型数据，生成参考模型；合成部，参考所述图像数据和所示多个部分3D模型数据，合成来自再现视点的表示所述显示对象的再现视点图像；以及校正部，参考所述参考模型，对所述再现视点图像进行图像补充或滤波处理，其中，所述生成部按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

为了解决上述的问题，本发明的一个方案的图像处理装置具备：获取部，获取显示对象的图像数据；推定部，参考所述图像数据，推定部分地表示所述显示对象的三维形状的多个部分3D模型数据；生成部，参考所述多个部分3D模型数据，生成参考模型；以及合成部，参考所述图像数据和所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，每当所述推定部推定所述部分3D模型数据时，所述生成部参考该部分3D模型数据来更新所述参考模型。

为了解决上述的问题，本发明的一个方案的图像发送装置具备发送部，所述发送部发送部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据。

为了解决上述的问题，本发明的一个方案的图像处理方法包括：获取工序，获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；生成工序，参考所述多个部分3D模型数据，生成参考模型；以及合成工序，参考所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，在所述生成工序中，按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

有益效果

根据本发明的一个方案，在基于图像数据和3D模型数据来合成再现视点图像的图像处理装置中，能防止因3D模型数据的采样数量或精度引起的再现视点图像的质量降低，能合成高质量的再现视点图像。

附图说明

图1是表示本发明的各实施方式中所使用的部分3D模型数据的一个示例的图。

图2是表示具备本发明的实施方式1的图像处理装置的显示装置的构成的框图。

图3是对通过本发明的实施方式1的图像处理装置进行的图像处理方法的一个示例进行说明的流程图。

图4是表示具备本发明的实施方式2的图像处理装置的显示装置的构成的框图。

图5是对通过本发明的实施方式2的图像处理装置进行的图像处理方法的一个示例进行说明的流程图。

图6是用于对本发明的各实施方式中所使用的扭曲场(warp field)进行说明的图。

图7是对本发明的各实施方式中所使用的视点信息的一个示例进行说明的图。

图8的(a)～(d)是分别表示本发明的各实施方式中所使用的深度和视点信息的数据构成的示例的图。

图9是用于对本发明的实施方式2的图像处理装置在多个深度中优先获取特定的深度的构成的第一例进行说明的图。

图10是用于对本发明的实施方式2的图像处理装置在多个深度中优先获取特定的深度的构成的第二例进行说明的图。

图11是用于对本发明的实施方式2的图像处理装置在多个深度中优先获取特定的深度的构成的第三例进行说明的图。

图12是对通过本发明的实施方式3的图像处理装置进行的图像处理方法的概要进行说明的流程图。

图13是对本发明的实施方式3的图像处理装置所执行的模型初始化进行具体说明的流程图。

图14是表示具备本发明的实施方式4的图像处理装置的显示装置的构成的框图。

图15是表示具备本发明的实施方式5的图像处理装置的显示装置的构成的框图。

图16是表示包括本发明的各实施方式的显示装置和图像发送装置的图像收发系统的构成的框图。

具体实施方式

以下，对本发明的实施方式进行详细说明。但是，本实施方式所记载的构成只要没有特别特定的记载，就不意味着将本发明的范围仅限定于此，只不过是说明例。

首先，以下，对本发明的各实施方式中所使用的术语的定义进行说明。本申请说明书中的术语“图像数据”是指来自特定视点的表示显示对象的图像(各像素的颜色信息等)。需要说明的是，本申请说明书中的图像包括静止图像和运动图像。

此外，本申请说明书中的术语“部分3D模型数据”是指部分地表示显示对象的三维形状的数据。作为“部分3D模型数据”的示例，可以举出：距离特定视点的深度、点云(点群的部分集合)以及网格(表示顶点、连接以及表面等的网格数据的部分集合)等。此外，能够变换为深度数据、点云或网格的数据也包括在部分3D模型数据中。例如，能通过立体匹配从在不同位置拍摄同一对象而得到的图像数据的集合中提取深度数据，因此该图像数据的集合也包括在部分3D模型数据中。此外，例如，也能从在同一位置以不同焦距拍摄对象而得到的图像数据的集合中提取深度数据，因此该图像数据的集合也包括在部分3D模型数据中。

图1是表示部分3D模型数据的示例的图。在图1所示的3D模型数据(网格)中，由粗框B包围的显示对象的部分是部分3D模型数据的一个示例，由粗框A包围的图是该部分3D模型数据的放大图。

此外，本申请说明书中的术语“参考模型”是指将部分3D模型数据整合而作成的、表现显示对象的部分或整体的3D模型。

此外，本申请说明书中的术语“再现深度”是指从再现视点到显示对象的各部分的深度(纵深)。

〔实施方式1〕

(图像处理装置2)

参照图2，对本实施方式的图像处理装置2进行详细说明。图2是表示本实施方式的显示装置1的构成的框图。如图2所示，显示装置1具备图像处理装置2和显示部3。图像处理装置2具备：获取部4、接受部5、更新部6(相当于权利要求中的生成部)、视点深度合成部7以及再现视点图像合成部8。

获取部4获取显示对象的图像数据以及部分地表示该显示对象的三维形状的多个部分3D模型数据。关于多个部分3D模型数据的获取，更详细的而言，获取部4获取与规定顺序中的次序建立关联的多个部分3D模型数据。关于该构成，例如，获取部4按照对应于不同时刻的次序，获取分别与该不同时刻建立关联的多个部分3D模型数据。需要说明的是，关于此处的“时刻”将在后文加以记述。

接受部5从图像处理装置2的外部接受再现视点(与再现视点有关的信息)。

更新部6参考获取部4获取到的部分3D模型数据，更新参考模型。更详细而言，更新部6按照与获取部4获取到的部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新参考模型。

视点深度合成部7参考接受部5接受的再现视点和更新部6更新后的参考模型，合成作为从再现视点到显示对象的各部分的深度的再现深度。

再现视点图像合成部8参考接受部5接受的再现视点、获取部4获取到的图像数据以及视点深度合成部7合成的再现深度，合成来自再现视点的表示显示对象的再现视点图像。

显示部3显示再现视点图像合成部8合成的再现视点图像。作为显示部3的示例，可以举出头戴式显示器等。

(图像处理方法)

参照图3，对通过本实施方式的图像处理装置2进行的图像处理方法进行说明。图3是对通过本实施方式的图像处理装置2进行的图像处理方法的一个示例进行说明的流程图。

首先，如图3所示，接受部5从图像处理装置2的外部接受再现视点(与再现视点有关的信息)(步骤S0)。接受部5将所接受的再现视点发送至获取部4、视点深度合成部7以及再现视点图像合成部8。需要说明的是，接受部5所接受的再现视点可以是显示装置1的使用者设定的再现视点，也可以是显示装置1指定的再现视点。

接着，获取部4获取显示对象的图像数据和部分地表示该显示对象的三维形状的部分3D模型数据(步骤S1)。获取部4所获取的多个部分3D模型数据(单个或少数部分3D模型数据)分别与时刻建立关联。需要说明的是，优选的是，此处的多个部分3D模型数据是分别表示显示对象的不同部分的数据。此外，例如，与部分3D模型数据建立关联的时刻是应该显示深度数据所示的图像的显示时刻。此外，不一定限定于时刻，也可以与规定顺序(例如显示顺序)中的次序建立关联。

接着，获取部4根据接受部5所接受的再现视点，在获取到的图像数据中选择要解码的图像数据(步骤S2)。需要说明的是，代替步骤S2，在步骤S1中，获取部4也可以选择并获取与接受部5接受到的再现视点相应的图像数据。

接着，获取部4对所选择的图像数据和所获取的部分3D模型数据进行解码(步骤S3)。然后，获取部4将解码后的图像数据发送至再现视点图像合成部8，将解码后的部分3D模型数据发送至更新部6。

接着，更新部6根据与从获取部4接收到的部分3D模型数据建立关联的时刻(规定顺序中的次序)，参考该部分3D模型数据来更新参考模型(步骤S4)。此外，优选的是，在步骤S4中，对于更新部6而言，每当从获取部4接收部分3D模型数据时(就是说，每当获取部4获取部分3D模型数据时)，参考该部分3D模型数据来更新参考模型。然后，更新部6将更新后的参考模型发送至视点深度合成部7。需要说明的是，在进行步骤S4的工序时还未生成参考模型的情况下，更新部6也可以将从获取部4接收到的部分3D模型数据作为参考模型发送至视点深度合成部7。

接着，视点深度合成部7参考从接受部5接收到的再现视点和更新部6更新后的参考模型，合成作为从再现视点到显示对象的各部分的深度的再现深度(步骤S5)。然后，视点深度合成部7将合成后的再现深度发送至再现视点图像合成部8。

接着，再现视点图像合成部8参考从接受部5接收到的再现视点、从获取部4接收到的图像数据以及从视点深度合成部7接收到的再现深度，合成来自再现视点的表示显示对象的再现视点图像(步骤S6)。然后，再现视点图像合成部8将合成后的再现视点图像发送至显示部3。显示部3显示从再现视点图像合成部接收到的再现视点图像。

需要说明的是，通过从所述的步骤S0到步骤S6的工序，合成再现视点图像的每一帧。然后，重复执行从步骤S0到步骤S6的工序，直到通过显示装置1进行的影像的再现结束为止。

(优先获取的部分3D模型数据)

以下，对在步骤S1中获取部4在多个部分3D模型数据中优先获取的数据进行说明。

例如，在获取部4以任意的次序获取到部分3D模型数据的情况下，根据应用的再现视点，存在发生再现视点影像的合成所需的信息(以及参考模型的合成所需的信息)不一致的状况的问题。因此，优选的是，获取部4按照以下例示的顺序或它们的组合来获取部分3D模型数据。需要说明的是，该项目中说明的构成可以通过获取部4向后述的图像发送装置41请求需要的部分3D模型数据来实现，也可以通过图像发送装置41依次发送需要的部分3D模型数据来实现。

(1)优先与再现视点关联的部分

例1：在步骤S1中，获取部4优先获取表示与在步骤S0中接受部5接受的再现视点相对的显示对象的部分的部分3D模型数据。

例2：在步骤S1中，获取部4优先获取表示与在步骤S0中接受部5接受的再现视点的初始视点(再现视点图像的再现开始时的视点)相对的显示对象的部分的部分3D模型数据。

例3：在步骤S1中，获取部4优先获取表示与在步骤S0中规定的视点相对的所述显示对象的部分的部分3D模型数据。需要说明的是，此处的规定的视点(所谓的既定的标准视点或推荐的视点(推荐视点))可以由显示装置1的使用者设定，也可以由显示装置1设定。

需要说明的是，在上述示例中，与特定视点相对的部分3D模型数据是指包括能够从特定视点观察的3D模型的部分的部分3D模型数据。此外，优先获取与特定视点相对的部分3D模型数据意味着，例如，与不与特定视点相对的部分3D模型数据相比，先获取与特定视点相对的部分3D模型数据。此外，优先获取与特定视点相对的部分3D模型数据意味着，例如，在规定的时间区间内，与不与特定视点相对的部分3D模型数据相比，接收更多与特定视点相对的部分3D模型数据。

通过采用该例1～3的构成中的至少1个以上的构成，能适当地准备再现视点影像的合成所需的部分3D模型数据。

(2)优先粗的部分3D模型数据

例1：获取部4优先获取与显示对象的更宽的部分对应并且包括以规定间隔剔除后的顶点信息的部分3D模型数据。

通过采用该例1的构成，在由于频带的限制而导致能够获取的部分3D模型数据的信息量被限定的状况下，即使在再现视点的移动频繁发生的情况下，也不存在与再现视点图像合成所需的显示对象的部分对应的部分3D模型数据，能抑制再现视点图像的画质显著劣化。

(参考模型更新处理的具体例)

以下，对在步骤S4中更新部6更新参考模型的方法的具体例进行说明。首先，对在步骤S4中更新部6在更新参考模型时参考的部分3D模型数据的具体例进行说明。

例如，部分3D模型数据包括表示参考模型与部分3D模型数据的位置关系(相对位置)的信息。该信息由下述的算式(1)表示。

O₁＝{x_o1，y_o1，z_o1}，O₂＝{x_o2，y_o2，z_o2}……算式(1)

O₁和O₂分别表示包括参考模型的空间中的两点，由该两点确定的长方体的范围表示部分3D模型数据相对于参考模型的配置。

此外，例如，部分3D模型数据包括与更新参考模型的方法有关的信息。该信息表示更新方法的类别，作为该类别的示例，可以举出：向参考模型追加部分3D模型数据的更新方法、或者用部分3D模型数据置换参考模型的一部分的更新方法等。

此外，例如，部分3D模型数据包括表示由下述的算式(2)～(4)表示的部分3D模型的三维形状的信息。

V_s＝{V_s1，V_s2，……}……算式(2)

E_s＝{E_s1，E_s2，……}……算式(3)

E_sn＝{I_n1，I_n2，I_n3}……算式(4)

V_s表示部分3D模型的顶点信息(顶点的集合)。E_s表示连接部分3D模型的邻接的各顶点的顶点连接信息(三角形的集合)。E_sn表示指定这些三角形的各顶点的索引。

接着，对在步骤S4中更新部6更新参考模型的具体例进行说明。例如，参考模型包括表示参考模型的三维形状的信息。作为该信息的示例，举出顶点信息V_r和顶点连接信息E_r等。

接着，对使用了所述的部分3D模型数据和参考模型的步骤S4的具体例进行说明。例如，在步骤S4中，更新部6依次执行下述的(1)～(4)。(1)更新部6将与所述的表示参考模型和部分3D模型数据的相对位置的信息O₁和O₂所示的范围对应的参考模型的范围设定为处理对象范围。

(2)在表示所述的更新方法的类别的信息为“置换”的情况下，更新部6删除在(1)中设定的处理对象范围的顶点信息和顶点连接信息。

(3)更新部6向参考模型追加部分3D模型数据所包括的顶点信息V_s和顶点连接信息E_s。由此，参考模型的顶点信息V_r和顶点连接信息E_r由下述的算式(5)和(6)的并集来表示。

V_r＝V_r U V_s’……算式(5)

E_r＝E_r U E_s’……算式(6)

需要说明的是，所述算式(5)中的V_s’是在V_s的各顶点加上变异O₁后的点的集合。所述算式(6)中的E_s’的顶点索引是将E_s的顶点索引更新为更新后的V_r中的顶点索引。

(4)更新部6在(3)的处理后的参考模型中，扫描处理对象范围的边界附近的顶点，连接相互邻接且未连接的顶点，将该连接信息追加至E_r。

需要说明的是，所述的参考模型的更新方法是一个示例，也可以使用基于部分3D模型数据来修正参考模型数据的内容的其他方法。

(实施方式1的总结)

如上所述，本实施方式的图像处理装置2获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据，按照与部分3D模型数据建立关联的次序，参考该部分3D模型数据来更新参考模型。然后，图像处理装置2参考图像数据和更新后的参考模型，合成来自再现视点的表示显示对象的再现视点图像。

在所述背景技术中说明的DIBR中利用的深度仅包括来自特定视点的表示显示对象的3D信息，不适合实现环绕显示对象而所述观看的服务。但是，在本实施方式的图像处理装置2中，参考由部分地表示显示对象的三维形状的多个部分3D模型数据生成的参考模型，合成再现视点图像，因此能够适当地合成来自各种视点的再现视点图像。

此外，本实施方式的图像处理装置2获取部分地表示显示对象的三维形状的多个部分3D模型数据。因此，与在各个时间点接收表示显示对象的三维形状的整体的3D模型数据的情况相比，能削减获取的3D模型数据的数据量。

此外，本实施方式的图像处理装置2按照与部分3D模型数据建立关联的次序，参考该部分3D模型数据来更新参考模型。根据该构成，能防止在像以往技术那样使用单个3D模型数据合成再现视点图像的构成中产生的、因3D模型数据的采样数量或精度引起的再现视点图像的质量降低，能合成高质量的再现视点图像。

〔实施方式2〕

如实施方式1所述，在采用了根据再现视点优先获取特定的部分3D模型数据的构成的情况下，更新后的参考模型的状态依赖于过去的再现视点的选择结果。因此，在过去的再现视点的历史记录不同的情况下，存在相同时刻和相同视点中的影像的再现结果的振幅变大，难以保证再现结果的问题。因此，本实施方式的图像处理装置11获取多个部分3D模型数据，而不依赖于再现视点。

基于附图对所述的本发明的实施方式2进行说明，如下所述。需要说明的是，对在实施方式1中说明过的图像处理装置2所具备的构件具有相同功能的构件标注相同的附图标记，并省略其说明。

(图像处理装置11)

参照图4，对本实施方式的图像处理装置11进行说明。图4是表示本实施方式的显示装置10的构成的框图。如图4所示，除了图像处理装置11还具备推定部9(相当于权利要求中的生成部)以外，显示装置10具有与实施方式1的显示装置1相同的构成。需要说明的是，在本实施方式中，图4所示的数据A和数据B是部分地表示显示对象的三维形状的深度(深度数据)和与该深度的视点有关的视点信息。

推定部9参考获取部4获取到的深度和视点信息和更新部6紧前更新的参考模型，推定表示该参考模型与对应于该深度的时间点的3D模型(现场模型)的位置关系的扭曲场。需要说明的是，关于此处的扭曲场将在后文加以记述。

(图像处理方法)

参照图5，对通过本实施方式的图像处理装置11进行的图像处理方法进行详细说明。图5是对通过本实施方式的图像处理装置11进行的图像处理方法的一个示例进行说明的流程图。需要说明的是，对于与实施方式1的图像处理方法相同的工序，省略详细说明。

首先，如图5所示，接受部5从图像处理装置11的外部接受再现视点(与再现视点有关的信息)(步骤S10)。接受部5将所接受的再现视点发送至获取部4、视点深度合成部7以及再现视点图像合成部8。

接着，获取部4获取显示对象的图像数据、部分地表示该显示对象的三维形状的深度(与规定顺序中的次序建立关联的深度)以及与该深度的视点有关的信息(视点信息)(步骤S11)。关于深度和视点信息的获取，更详细而言，获取部4获取深度(部分3D模型数据)和视点信息，而不依赖于在步骤S10中接受部5所接受的再现视点。

接着，获取部4根据接受部5所接受的再现视点在获取到的图像数据中选择要解码的图像数据(步骤S12)。

接着，获取部4对所选择的图像数据以及所获取的深度和视点信息进行解码(步骤S13)。然后，获取部4将解码后的图像数据发送至再现视点图像合成部8，将解码后的深度和视点信息发送至推定部9。

接着，推定部9按照与从获取部4接收的深度建立关联的次序，参考该深度和视点信息以及更新部6紧前更新的参考模型，推定表示该参考模型与对应于该深度的时间点的3D模型(现场模型)的位置关系的扭曲场(步骤S14)。需要说明的是，关于此处的扭曲场将在后文加以记述。

接着，更新部6参考推定部9所推定出的扭曲场，更新参考模型(步骤S15)。更详细而言，更新部6通过基于扭曲场对深度进行变换来更新参考模型。参考模型更新为，变换后的深度成为参考模型的表面的一部分。

接着，视点深度合成部7参考从接受部5接收到的再现视点和更新部6生成的现场模型，合成作为从再现视点到显示对象的各部分的深度的再现视点深度(步骤S16)。然后，视点深度合成部7将合成后的再现视点深度发送至再现视点图像合成部8。

接着，再现视点图像合成部8参考从接受部5接收到的再现视点、从获取部4接收到的图像数据以及从视点深度合成部7接收到的再现视点深度，合成来自再现视点的表示显示对象的再现视点图像(步骤S17)。然后，再现视点图像合成部8将合成后的再现视点图像发送至显示部3。显示部3显示从再现视点图像合成部接收到的再现视点图像。

(扭曲场)

以下，对所述步骤S14和步骤S15中所使用的扭曲场进行详细说明。在CG(ComputerGraphics；计算机图形)的领域中，研究了通过整合深度来构建3D模型的所谓的DynamicFusion(动态融合)的方法。DynamicFusion的目的主要在于构建从摄影深度实时去除噪声的3D模型。在DynamicFusion中，在补偿了3D形状的变形的基础上，将从传感器获取的深度整合到共同的参考模型中。由此，能够根据低分辨率和高噪声的深度生成精密的3D模型。

更详细而言，在DynamicFusion中进行以下的(1)～(3)的工序。

(1)基于输入深度(current depth)和基准3D模型(canonical model)推定摄像机位置和动作流程，构建3D模型(current model)。

(2)渲染3D模型以匹配视点，并将更新后的深度作为再现深度输出。

(3)在补偿了3D模型的摄像机位置和3D模型的变形的基础上，将(1)中构建的3D模型整合为基准3D模型。

对于所述的(1)，在本实施方式的图像处理方法中，在步骤S14中，推定部9参考从获取部4接收到的深度(输入深度)和视点信息以及更新部6紧前更新的参考模型，推定表示该参考模型与对应于该深度的3D模型(现场模型)的位置关系的扭曲场。此处的扭曲场可以是在空间的各点进行规定的变换(例如，旋转和平移)的集合。

对于步骤S14，更详细而言，推定部9在参考模型上的各点，导出使变换后的点接近输入深度的变换(扭曲场)。例如，该导出处理能够通过求解将参考模型中的变换后的点与对应的深度的距离作为评价值的平方误差的最小化来实现。

然后，在步骤S15中，更新部6按照在步骤S14中推定部9导出的扭曲场来变换参考模型，由此生成现场模型(当前时刻的3D模型)。此外，更新部6参考深度和扭曲场来更新参考模型。例如，此处的参考模型表现为空间中的各个体素中的模型表面的存在建立(基于截断符号距离函数(TSDF：Truncated Signed Distance Function)的表现)。

图6是将步骤S15图形化后得到的图。对于步骤S15，更详细而言，更新部6通过扭曲场对体素进行变换，判定变换后的体素中是否存在由输入深度表现的点，根据该判定结果，更新体素中的表面的存在概率。

(深度和视点信息的具体例)

以下，对所述步骤S11中获取部4所获取的深度和视点信息的具体例进行详细说明。

在步骤S11中获取部4所获取的深度(深度数据)是记录来自与视点信息建立关联的视点位置的场景(显示对象)的深度的图像。视点信息是确定该深度的视点(深度视点)的位置和方向的信息。本实施方式的图像处理装置11通过使用该视点信息，能够省略深度视点的推定处理，因此能降低再现时的负荷。

对视点信息进行更详细地说明。在一个方案中，视点信息由深度视点的坐标或位移表现。例如，视点信息将各时刻的深度视点的位置包括在数据中。或者，视点信息将各个时刻的深度视点的从规定视点位置开始的位移包括在数据中。例如，能使用紧前的时刻的视点位置或既定的视点位置作为规定视点位置。

此外，在另一方案中，视点信息由参数或函数表现。例如，视点信息将确定表示时刻与深度视点的位置的关系的转换式的信息包括在数据中。作为该信息的示例，可以举出在各时刻的确定显示对象的中心位置和深度视点的环绕轨道的信息。图7是将该信息的示例图形化后得到的图。在图7中，以位置C表示显示对象的中心位置(球的中心位置)，在以位置C为中心的半径r的球上的位置示出了各时刻(t)的深度视点。

此外，作为确定表示时刻与深度视点的位置的关系的转换式的信息的另一例，可以举出指定深度视点的轨道和速度的信息。例如，该信息可以是摄像机位置的轨道的算式、对象视点的轨道的算式、摄像机移动速度或视点移动速度等。

此外，确定表示时刻与深度视点的位置的关系的转换式的信息可以是各时刻的选择既定的位置图案的信息。

接着，参照图8，对在步骤S11中获取部4所获取的深度和视点信息的数据构成进行说明。图8的(a)～(d)是分别表示在步骤S11中获取部4所获取的深度和视点信息的数据构成的示例的图。

例如，如图8的(a)所示，各时刻(t)的视点信息P_t与各时刻的深度数据D_t交织(交替配置)。此外，在另一示例中，如图8的(b)所示，从时刻0到时刻t的视点信息P存储于报头。

图8的(a)和(b)中的视点信息P_t包括时刻t的摄像机的外部参数。例如，该外部参数可以是表示空间内的视点位置的信息(例：xyz空间内的点的位置p＝{px，py，pz})。此外，例如，该外部参数可以是表示视线方向的信息(例：xyz空间的向量v＝{vx，vy，vz})。此外，图8的(a)和(b)中的视点信息Pt也可以是表示时刻t的摄像机的外部参数的其他表现的数据。例如，作为该数据的示例，也可以是表示相对于既定摄像机位置的旋转或平移的数据。此外，除了摄像机的外部参数以外，视点信息P_t还可以包括摄像机的内部参数(例如，摄像机的焦距)。

此外，在另一示例中，如图8的(c)所示，时刻t＝0的视点信息P₀、从该视点信息P₀开始的各位移dP_t，t-1与各时刻的深度数据Dt交织。此外，在另一示例中，如图8的(d)所示，从视点信息P₀开始的各位移dP_t，t-1存储于报头。

图8的(c)以及(d)中的视点信息包括特定的时刻的视点位置和时刻间的视点的位移(视点位移dP_t，u)。视点位移dP_t，u表示时刻u至时刻t的摄像机位置和方向的变化(视点位置位移和视线方向位移)。此处的视点位置位移是指表示空间内的视点位置的变化的信息(例：xyz空间的向量dp＝{dpx，dpy，dpz})。此外，此处的视线方向位移是指表示视线方向的变化的信息(例：xyz空间的旋转矩阵R)。

使用所述的视点位移dP_t，u和时刻t＝0的视点信息P₀，通过下述算式(7)求出各时刻的视线位置P_t。

p_t＝p₀+Σ{dp_k，k-1}……算式(7)

此外，使用表示时刻间的旋转的旋转矩阵R_t，t-1，通过下述算式(8)求出各时刻的视线方向V_t。

v_t＝R_t，t-1v_t-1……算式(8)

本实施方式的图像处理装置11使用如上所述的视点位置位移和视线方向位移作为视点信息。由此，在显示对象发生变化的情况等的坐标系发生变化的情况下，仅变更初始的视点位置即可，能够利用与坐标系发生变化之前的视点位置位移相同的视点位置位移作为视点位置位移，因此，起到可以减少视点信息的变更的效果。

(优先获取的深度)

以下，对在步骤S11中获取部4在多个深度中优先获取的深度进行说明。

例如，获取部4将与视点信息所示的深度的视点相应的顺序作为在多个深度中获取的深度的顺序，按照该顺序获取深度。更详细而言，获取部4从配置于某条线段上的视点位置(视点信息所示的视点位置)中首先获取初始位置的视点的深度，随后优先获取离初始位置的视点远的视点位置的深度。图9是将该构成图形化后得到的图。在图9中示出了对象O和配置于线段上并且与该对象O相对的各时刻(t＝1～5)的视点位置。

例如，在获取部4获取t＝1的视点的深度作为初始位置的距离视点的深度的情况下，获取离初始位置远的位置的视点的深度(t＝2或3的视点的深度)。接着，获取部4获取中间位置的视点的深度(t＝4或5的视点的深度)。

如上所述，获取部4将与视点信息所示的深度的视点相应的顺序作为在多个深度中获取的深度的顺序，按照该顺序获取深度，由此，起到能在短时间内构建显示对象的模型形状的概要的效果。

此外，例如，在图9所示的构成中，获取部4也可以按照所述顺序重复获取t＝1～5的各视点的深度。在该情况下，获取部4进一步获取从获取t＝1的深度到获取t＝5的深度(或t＝4的深度)的周期Tp，并且在该周期内重复获取t＝1～5的各视点的深度。根据该过程，起到即使在中途接收深度时也能在短时间内构建模型形状的概要的效果。

此外，例如，在如图9所示的构成中，在获取t＝4或5的视点的深度之后，接着获取的深度的视点与已经获取到的t＝1～5的深度中的任一个的视点的间隔为规定的间隔(最小视点间隔)以下的情况下，获取部4也可以重复获取t＝1～5的各视点的深度。在该情况下，获取部4也可以进一步获取所述最小视点间隔作为数据。

需要说明的是，在如图9所示的构成中，获取部4所获取的、配置于线段上的视点位置的深度也可以是配置于部分曲线上的视点位置的深度、配置于部分平面上的视点位置的深度、配置于部分曲面上的视点位置的深度或者配置于部分空间上的视点位置的深度。在该情况下，获取部4在配置于部分曲线上、部分平面上、部分曲面上或部分空间上的视点位置(视点信息所示的视点位置)中优选获取离初始位置的视点远的视点位置的深度。此外，获取部4也可以优先获取离已经获取到的深度的视点群远的视点的深度。此外，在获取部4获取了指定个数的深度的视点群或者距离已经获取到的深度的各视点的距离为规定以下的视点位置的深度的情况下，获取部4可以从初始位置的视点的深度开始再次重复获取已经获取到的深度。

此外，在另一方案中，在步骤S11中获取部4所获取的深度的视点朝向共同的对象点(表示显示对象的位置的点)的方向作为视线。在该情况下，获取部4获取该对象点的信息，参考该信息，决定获取的深度的顺序。需要说明的是，优选的是，此处的获取部4获取深度的顺序是能够相对于该对象点获取各种视线方向的深度的顺序。图10是将该构成图形化后得到的图。在图10中，视点P_t1～P_t8分别朝向对象点P_c的方向作为视线。

在图10所示的构成中，首先，获取部4获取对象点的位置P_c。接着，获取部4获取P_t1的视点位置(时刻t＝1的视点位置)的深度。接着，获取部4获取朝向与已经获取到的深度(P_t1的深度)的视线方向的朝向最不同的朝向的视线方向的P_t2的深度。然后，获取部4重复执行获取朝向与已经获取到的深度的视线方向的朝向最不同的朝向的视线方向的视点的深度。获取部4也可以重复执行该工序，直到获取到的深度的视线与规定数量的深度的视线或已经获取到的深度的视线的差分变为规定值以下。

此外，在步骤S11中，获取部4也可以进一步获取深度视点可设定范围的信息，并且可以在落入该信息所示的范围内的这样的约束的基础上获取深度和视点信息。

此外，在步骤S11中，获取部4也可以获取对象点的信息(对象点的位置等)，并且获取表示显示对象的形状的信息。作为该信息的示例，可以举出：表示以对象点为中心的球或矩形的形状的信息、表示以对象点为基准位置的3D模型的信息等。在获取部4获取表示显示对象的形状的信息的情况下，可以按照显示对象的表面被更少的视点数覆盖的顺序来获取各视点的深度。

此外，在步骤S11中，获取部4也可以优选获取离显示对象更远的距离的视点的深度。在该情况下，在步骤S11中，获取部4获取比前一次获取到的深度的视点更接近显示对象的视点的深度。图11是将该构成图形化后得到的图。在图11中，时刻t＝1～6的各视点朝向显示对象O的方向作为视线方向。在步骤S11中，首先，获取部4优先获取距离显示对象最远的位置的视点的深度(t＝1～3的视点的深度)。接着，获取部4获取比已经获取到的深度的视点更接近显示对象的视点的深度(t＝4～6的视点的深度)。通过采用如上所述的构成，在离显示对象远的位置的视点的深度包括较宽的空间范围的深度，因此，通过先获取该深度，能够以更少的深度的数量构建参考模型的概略形状。此外，之后通过获取空间分辨率高的深度(更接近显示对象的深度)，能够更精密地更新参考模型的形状。

(变形例)

以下，对本实施方式的变形例进行说明。在本变形例中也使用图4所示的图像处理装置11，但图4中的数据A和数据B仅为深度，不包括与该深度的视点有关的信息(视点信息)。并且，在该构成中，在所述步骤S14中，推定部9除了推定扭曲场之外，还参考从获取部4接收到的深度来推定该深度的视点信息。由此，步骤S14以后的各步骤也能够按照如上所述的方法来执行。

通过采用如上所述的构成，虽然扭曲场推定的处理量增加，但不需要获取视点信息，因此能削减数据量。

(实施方式2的总结)

如上所述，本实施方式的图像处理装置11获取所述多个部分3D模型数据，而不依赖于再现视点。由此，即使过去的再现视点的历史记录不同，也根据不依赖于再现视点的部分3D模型数据来合成参考模型，因此，在获取到相同的部分3D模型数据的情况下，起到相同时刻和相同视点的影像的再现结果为相同的效果。

此外，本实施方式的图像处理装置11按照与深度建立关联的次序，参考该深度和参考模型，推定表示该参考模型与对应于该深度的参考模型的位置关系的扭曲场，参考该扭曲场来更新参考模型。由此，在使用深度作为部分3D模型数据的构成中，能构建从深度实时去除噪声的参考模型，因此，能合成高质量的再现视点图像。

此外，本实施方式的图像处理装置11获取深度，并且获取与该深度的视点有关的视点信息。由此，能根据视点信息所示的深度的视点来选择并获取深度，因此，能优先获取与再现视点相应的参考模型的构建所需的深度。因此，能合成高质量的再现视点图像。

〔实施方式3〕

在所述的实施方式1或实施方式2中，获取部4在各不相同的时间点获取多个部分3D模型数据(深度等)，因此，在部分3D模型数据的接收开始之后，没有备齐所需的部分3D模型数据直到经过固定的时间为止，因此合成的参考模型不完整，存在最终的合成的再现视点图像的画质降低的问题。因此，在本实施方式中，在处理开始时获取初始参考模型构建用的多个部分3D模型数据，参考该初始参考模型构建用的多个部分3D模型数据，生成初始参考模型。例如，在显示再现视点图像之前，获取多个部分3D模型数据的一部分作为初始参考模型构建需要的数据，参考该多个部分3D模型数据，生成初始参考模型。

基于附图对本发明的实施方式3进行说明，如下所述。需要说明的是，在本实施方式中，也能使用所述的实施方式1的图像处理装置2或实施方式2的图像处理装置11。因此，在以下的说明中，使用图4所示的具备图像处理装置11的显示装置10进行说明，省略对于显示装置10所具备的各构件的说明。

以下，参照图12和图13，对通过本实施方式的图像处理装置11进行的图像处理方法进行说明。图12是对通过本实施方式的图像处理装置11进行的图像处理方法的概要进行说明的流程图。图12中的步骤S21的帧合成与所述步骤S10～步骤S17的工序相同。如图12所示，重复执行步骤S21的帧合成。此外，图13是对图12所示的步骤S20的模型初始化进行更具体地说明的流程图。就是说，在本实施方式中，在执行所述步骤S10～S17的工序之前，执行以下说明的步骤S30～S35的工序。

首先，接受部5从图像处理装置11的外部接受再现视点(与再现视点有关的信息)(步骤S30)。需要说明的是，该再现视点是再现开始时的视点，因此，以下也称为开始再现视点。接受部5将所接受的再现视点发送至获取部4、视点深度合成部7以及再现视点图像合成部8。

接着，获取部4获取部分地表示显示对象的三维形状的深度(与规定顺序中的次序建立关联的部分3D模型数据)以及与该深度的视点有关的信息(视点信息)(步骤S31)。更详细而言，获取部4根据接受部5所接受的再现视点，选择并获取初始参考模型构建用的深度和视点信息。需要说明的是，在步骤S31中，与所述步骤S1或步骤S11不同，获取部4也可以一次性地获取表示显示对象的三维形状的部分的多个部分3D模型数据。此外，在步骤S31中，除了深度和视点信息以外，获取部4可以进一步获取显示对象的图像数据。

接着，获取部4对获取到的深度和与该深度对应的视点信息进行解码(步骤S32)。然后，获取部4将解码后的深度和视点信息发送至推定部9。

接着，推定部9按照与从获取部4接收到的深度建立关联的所述次序，参考该深度和视点信息以及更新部6紧前更新的参考模型，推定表示该参考模型与对应于该深度的时间点的3D模型(现场模型)的位置关系的扭曲场(步骤S33)。需要说明的是，在一次也没有执行步骤S33、还不存在紧前更新的参考模型的情况下，也可以省略步骤S33和下述步骤S34，获取部4将获取到的深度本身作为参考模型来进行步骤S35以后的工序。

接着，更新部6参考推定部9所推定的扭曲场，更新参考模型(步骤S34)。

接着，更新部6根据在步骤S34中更新后的参考模型，判定参考模型的初始化是否完成(步骤S35)，在判定为初始化完成的情况下(步骤S35中的“是”)，进入所述步骤S10的工序，在判定为初始化未完成的情况下(步骤S35中的“否”)，返回至步骤S30的工序。重复执行步骤S30～步骤S35的工序，直到更新部6判定为初始化完成。然后，更新部6将初始化完成的时间点的参考模型设定为初始参考模型。

(优先获取的深度)

以下，对在所述步骤S31中获取部4根据开始再现视点获取的、用于生成初始参考模型的深度和视点信息的具体例进行说明。

例如，在步骤S31中，获取部4从在发送源的服务器中可利用的图像群{V_sm}和深度群{V_sn}中选择并获取最接近开始再现视点p_c的位置的视点的图像数据和深度。

在另一示例中，在步骤S31中，获取部4优先选择并获取有利于构建参考模型的深度。更详细而言，获取部4优先选择位于从接受部5接收到的开始再现视点的附近的视点的深度中的、最近未被选择的视点位置的深度。由此，通过获取并整合各不相同的视点位置的深度，能提高初始参考模型的准确度。

此外，在另一示例中，在步骤S31中，获取部4在选择并获取两个以上的深度的情况下，一种是优先地选择并获取开始再现视点附近的视点位置的深度，另一种是优先地选择并获取频率低的视点位置的深度。

(实施方式3的具体例)

以下，对实施方式3的具体例进行详细说明。例如，基于在所述步骤S30中接受部5所接受的再现视点的开始位置(开始再现视点位置)，将所述步骤S31～S34重复执行规定的时间。在该构成中，获取部4获取规定的帧量的深度，更新部6基于该深度更新参考模型，由此完成参考模型的初始化。由此，起到初始参考模型相对于显示对象变得准确、提高画质的效果。

此外，在步骤S31中，获取部4也可以选择并获取开始再现视点位置附近的视点位置的深度(中间视点位置的深度)。作为此处的开始再现视点位置附近的视点位置的示例，可以举出：从开始再现视点位置起规定的距离内的视点位置、从开始再现视点位置起按照从近到远的顺序的N个视点位置或以开始再现视点位置为中心存在于上下左右的视点位置中的各一个视点位置等。此外，在所述构成中，获取部4也可以依次获取以开始再现视点位置为中心的规定的轨道上存在的视点的深度。通过采用以上的构成，能够基于在再现开始后再现视点移动的可能性高的区域中存在的视点的深度来构建参考模型，起到再现开始后的画质稳定的效果。

此外，在步骤S31中，获取部4也可以从发送源的服务器获取与开始再现视点位置(接受部5在步骤S30中接受的再生视点位置)相应的深度数据的列表来作为视点信息。由此，能够在服务器侧事先选择对于参考模型构建有效的视点位置的深度，因此，起到能削减构建参考模型所需的深度数据的数量，能缩短参考模型的初始化所需的时间的效果。

此外，在步骤S31中，获取部4也可以获取与接受部5在步骤S30中接受的作为再现视点的时刻的再现开始时刻不同的时刻的深度。由此，起到能将在特定时刻的显示对象的遮挡部分也模型化的效果。

(实施方式3的总结)

如上所述，具备本实施方式的图像处理装置11的显示装置10在处理开始时获取初始参考模型构建用的多个部分3D模型数据，参考该初始参考模型构建用的多个部分3D模型数据，生成作为再现开始(显示开始)时间点的参考模型的初始参考模型。由此，在再现开始时间点能构建高质量的参考模型，因此，保证了再现视点图像的再现开始时的画质。此外，即使在由于急剧的再现视点的变化而导致无法接收与新的再现视点相应的深度的情况下，也能通过向已经构建的参考模型的后退来避免再现视点图像的质量的极端降低。

〔实施方式4〕

基于附图对本发明的实施方式4进行说明，如下所述。需要说明的是，对与在实施方式1～3中说明过的图像处理装置2或图像处理装置11所具备的构件具有相同功能的构件标注相同的附图标记，并省略其说明。

(图像处理装置21)

参照图14，对本实施方式的图像处理装置21进行说明。图14是表示本实施方式的显示装置20的构成的框图。如图14所示，显示装置20与图4所示的显示装置10相比，图像处理装置21不具备视点深度合成部7。因此，关于其他构件，显示装置20具备与图4所示的显示装置10所具备的构件相同的构件。因此，对这些构件标注相同的附图标记，并省略其说明。

以下，对通过本实施方式的图像处理装置21进行的图像处理方法进行说明。在本实施方式中的图像处理方法中，除步骤S14～步骤S17以外的工序都与实施方式2中说明过的图像处理方法相同。因此，省略对步骤S14～步骤S17以外的工序的说明。

首先，在本实施方式的图像处理方法中，代替步骤S14，推定部9按照与从获取部4接收到的深度(也可以包括视点信息)建立关联的次序，参考该深度和图像数据以及更新部6紧前更新的参考模型，推定表示该参考模型与对应于该深度和该图像数据的时间点的3D模型(现场模型)的位置关系的扭曲场。

接着，与步骤S15同样地，更新部6参考推定部9推定出的扭曲场，更新参考模型。更详细而言，更新部6通过基于扭曲场对深度进行转换来更新参考模型。并且，在该工序中生成的现场模型和更新后的参考模型都包括图像数据所示的各像素的颜色信息。

接着，进入至相当于步骤S17的工序，而不进行步骤S16的工序。在该工序中，再现视点图像合成部8参考从接受部5接收到的再现视点以及从更新部6接收到的现场模型，合成来自再现视点的表示显示对象的再现视点图像。

(实施方式4的总结)

如上所述，本实施方式的图像处理装置21进一步参考图像数据来更新参考模型。由此，能构建包括图像数据的信息的参考模型。因此，即使在切换图像数据时花费时间的情况下，也能参考包括图像数据的信息的参考模型，因此，能合成没有缺陷的再现视点图像。

〔实施方式5〕

基于附图对本发明的实施方式5进行说明，如下所述。需要说明的是，对具有与在实施方式1～4中说明过的图像处理装置2、图像处理装置11或图像处理装置21所具备的构件相同功能的构件标注相同的附图标记，省略其说明。

(图像处理装置31)

参照图15，对本实施方式的图像处理装置31进行说明。图15是表示本实施方式的显示装置30的构成的框图。如图15所示，显示装置30与图4所示的显示装置10相比，图像处理装置31具备校正部32来代替视点深度合成部7。因此，关于其他构件，显示装置30具有与图4所示的显示装置10所具备的构件相同的构件。因此，对这些构件标注相同的附图标记，并省略其说明。

本实施方式的图像处理装置31所具备的校正部32参考接受部5所接受的再现视点和更新部6生成的现场模型，对再现视点图像合成部8合成后的再现视点图像进行图像补充或滤波处理。

(图像处理方法)

以下，对通过本实施方式的图像处理装置31进行的图像处理方法进行说明。在本实施方式中的从图像处理方法中，除步骤S16和步骤S17以外的工序都与在实施方式2中说明过的图像处理方法相同。因此，省略对步骤S16～步骤S17以外的工序的说明。

首先，在本实施方式的图像处理方法中，代替步骤S16，再现视点图像合成部8参考从获取部4接收到的图像数据和深度(也可以包括视点信息)，合成来自再现视点的表示显示对象的再现视点图像。

接着，代替步骤S17，校正部32参考接受部5所接受的再现视点和更新部6生成的现场模型，对再现视点图像合成部8合成后的再现视点图像进行图像补充或滤波处理。更详细而言，校正部32根据再现视点对现场模型进行转换，参考转换后的现场模型，进行填补再现视点图像的空穴区域的插值处理。此外，校正部32对将现场模型投影至再现视点而得到的图像和再现视点图像进行比较，对特性不同的再现视点图像上的区域应用平滑滤波器。

(实施方式5的总结)

如上所述，本实施方式的图像处理装置31参考图像数据和多个部分3D模型数据，合成来自再现视点的表示显示对象的再现视点图像，参考参考模型，对再现视点图像进行图像补充或滤波处理。由此，参考图像数据和多个部分3D模型数据来合成再现视点图像的构成与现有的基于DIBR的再现图像合成系统相同，因此，能以较少的变更来扩展现有的基于DIBR的再现图像合成系统。并且，在扩展后的系统中，通过参考参考模型，对再现视点图像进行图像补充或滤波处理，能合成高质量的再现视点图像。

〔实施方式6〕

基于附图对本发明的实施方式6进行说明，如下所述。需要说明的是，在本实施方式中，也能够使用所述实施方式2的图像处理装置11。因此，在以下的说明中，使用图4所示的具备图像处理装置11的显示装置10进行说明，省略对于显示装置10所具备的各构件的说明。需要说明的是，关于图4中的数据A，在本实施方式中，获取部4不获取深度等数据A。此外，关于图4中的数据B，推定部9从获取部4接收的数据仅是图像数据。

以下，对本实施方式中的图像处理方法进行说明。在本实施方式中的图像处理方法中，除步骤S11～步骤S14以外的工序都与在实施方式2中说明过的图像处理方法相同。因此，省略对步骤S11～步骤S14以外的工序的说明。

首先，代替步骤S11，获取部4获取显示对象的图像数据。

接着，与步骤S12同样地，获取部4根据接受部5接受的再现视点，选择在获取到的图像数据中要解码的图像数据。

接着，代替步骤S13，获取部4对所选择的图像数据进行解码。

接着，在进行步骤S14之前，推定部9参考从获取部接收到的图像数据，推定该图像数据所示的显示对象的深度(也可以包括视点信息)。更详细而言，推定部9将图像数据和再现视点的配对记录在内部，参考最近的图像数据和过去的图像数据，导出再现视点的深度。该导出可以通过例如应用立体匹配等技术来进行。

接着，推定部9参考所推定的深度(也可以包括视点信息)以及更新部6紧前更新的参考模型，推定表示该参考模型与对应于该深度的时间点的3D模型(现场模型)的位置关系的扭曲场。

(实施方式6的总结)

如上所述，本实施方式的图像处理装置11参考图像数据，推定部分地表示显示对象的三维形状的多个部分3D模型数据。由此，起到不需要在发送侧准备深度的效果。

〔附记事项〕

以下，对在实施方式1～6中说明过的各构成共同的附记事项进行说明。在所述的各构成中，更新部6持续更新参考模型，直到影像的再现结束，但是根据需要，也可以重置参考模型，再次从头开始重新构建参考模型。作为该构成的示例，例如，指定能够进行随机接入的时刻，在获取部4通过随机接入开始获取部分3D模型数据的时刻，更新部6重置之前更新的参考模型。

此外，更新部6所更新的参考模型不一定是直接表现场景内的物体的模型。例如，相当于场景内的前景或背景的平面或曲面的位置和形状也包括在参考模型中。

〔图像发送装置〕

以下，参照图16对在实施方式1～6中说明过的各构成中发送获取部4所获取的部分3D模型数据的图像发送装置进行说明。图16是表示包括所述的显示装置1、10、20或30以及图像发送装置41(兼作权利要求中的发送部)的图像收发系统40的构成的框图。

在图16所示的图像收发系统40中，图像发送装置41发送显示对象的图像数据和部分地表示该显示对象的三维形状的多个部分3D模型数据。更详细而言，图像发送装置41发送部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据。

需要说明的是，在所述的实施方式1～3中，对获取部4优先获取特定的部分3D模型数据的构成进行了说明。与这些构成相同的构成也能应用于图像发送装置41。更详细而言，在多个部分3D模型数据中，图像发送装置41可以优先发送表示与再现视点相对的显示对象的部分的部分3D模型数据、表示与再现视点的初始视点相对的显示对象的部分的部分3D模型数据以及表示与规定的视点(例如，推荐视点)相对的显示对象的部分的部分3D模型数据中的至少一种以上数据。

此外，例如，图像发送装置41与发送部分地表示显示对象的三维形状的深度一起，发送与该深度的视点有关的视点信息。在该构成中，图像发送装置41可以将与视点信息所示深度的视点相应的顺序作为在多个深度中发送的深度的顺序，按照该顺序来发送深度。

〔基于软件的实现例〕

图像处理装置2、11、21以及31的控制块(特别是获取部4和更新部6)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。

在后者的情况下，图像处理装置2、11、21以及31具备执行作为实现各功能的软件的程序的命令的计算机。例如，该计算机例如具备至少一个处理器(控制装置)，并且具备至少一个存储有所述程序的计算机可读取的记录介质。并且，在所述计算机中，所述处理器从所述记录介质读取并执行程序，由此实现本发明的目的。作为所述处理器，能够使用例如CPU(Central Processing Unit；中央处理器)。作为所述记录介质，除了使用“非暂时性的有形介质”，例如ROM(Read Only Memory；只读存储器)等之外，还可以使用磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，还可以具备将所述程序展开的RAM(RandomAccess Memory；随机存取存储器)等。此外，所述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给所述计算机。需要说明的是，本发明的一个方案以所述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。

〔总结〕

本发明的方案1的图像处理装置(2、11、21、31)具备：获取部(4)，获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；生成部(更新部6)，参考所述多个部分3D模型数据，生成参考模型；以及合成部(再现视点图像合成部8)，参考所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，所述生成部按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

根据所述构成，获取部分地表示显示对象的三维形状的多个部分3D模型数据，因此，与在各个时间点接收表示显示对象的三维形状的整体的3D模型数据的情况相比，能削减获取的3D模型数据的数据量。此外，根据所述构成，按照与部分3D模型数据建立关联的次序，参考该部分3D模型数据来更新参考模型，因此，能防止因3D模型数据的采样数量或精度引起的再现视点图像的质量降低，能合成高质量的再现视点图像。

本发明的方案2的图像处理装置(2、11、21、31)也可以是，在所述方案1中，所述部分3D模型数据是部分地表示所述显示对象的三维形状的深度、点云以及网格中的至少一种以上的数据。

根据所述构成，能适当地构建参考模型，能合成高质量的再现视点图像。

本发明的方案3的图像处理装置(2、11、21、31)也可以是，在所述方案1或2中，所述获取部在所述多个部分3D模型数据中，优先获取表示与初始视点相对的所述显示对象的部分的部分3D模型数据以及表示与推荐视点相对的所述显示对象的部分的部分3D模型数据中的至少一种以上的数据。

根据所述构成，能适当地准备再现视点影像的合成所需的部分3D模型数据。

本发明的方案4的图像处理装置(2、11、21、31)也可以是，在所述方案1或2中，获取所述多个部分3D模型数据，而不依赖于所述再现视点。

根据所述构成，即使过去的再现视点的历史记录不同，根据不依赖于再现视点的部分3D模型数据来合成参考模型，因此，在获取了相同的部分3D模型数据的情况下，起到相同时刻和相同视点的影像的再现结果相同的效果。

本发明的方案5的图像处理装置(2、11、21、31)也可以是，在所述方案1～4中，所述获取部获取初始参考模型构建用的多个部分3D模型数据，所述生成部参考该初始参考模型构建用的多个部分3D模型数据，生成初始参考模型。

根据所述构成，在再现视点图像的再现开始之前构建初始参考模型，因此，保证了再现视点图像的再现开始时的画质。此外，即使在由于急剧的再现视点的变化而导致无法接收与新的再现视点相应的深度的情况下，也能通过向构建完成的初始参考模型的后退来避免再现视点图像的质量的极端降低。

本发明的方案6的图像处理装置(11、21、31)也可以是，在所述方案4中，所述多个部分3D模型数据是部分地表示所述显示对象的三维形状的多个深度，所述生成部(推定部9)按照与所述深度建立关联的所述次序，参考该深度和所述参考模型，推定表示该参考模型与对应于该深度的参考模型的位置关系的扭曲场，参考该扭曲场来更新所述参考模型。

根据所述构成，能构建从深度实时去除噪声的参考模型，因此，能合成高质量的再现视点图像。

本发明的方案7的图像处理装置(11、21、31)也可以是，在所述方案6中，获取所述深度，并且获取与该深度的视点有关的视点信息。

根据所述构成，能根据视点信息所示的深度的视点来选择并获取深度，因此，能优先获取在构建与再现视点相应的参考模型中所需的深度。因此，能合成高质量的再现视点图像。

本发明的方案8的图像处理装置(11、21、31)也可以是，在所述方案7中，对于所述获取部而言，与所述多个深度建立关联的次序是与所述视点信息所示的所述深度的视点相应的顺序中的次序，所述顺序是将离先行的次序的深度的视点远的视点的深度优先作为下一次序的深度的顺序。

根据所述构成，能在短时间内构建显示对象的模型形状的概要。

本发明的方案9的图像处理装置(2、11、21以及31)也可以是，在所述方案1～8中，所述获取部进一步获取所述显示对象的图像数据，所述生成部进一步参考所述图像数据来更新所述参考模型。

根据所述构成，能构建包括图像数据的信息的参考模型。因此，即使在切换图像数据时花费时间的情况下，也能参考包括图像数据的信息的参考模型，因此，能合成没有缺陷的再现视点图像。

本发明的方案10的图像处理装置(31)具备：获取部，获取显示对象的图像数据和部分地表示该显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；生成部，参考所述多个部分3D模型数据，生成参考模型；合成部，参考所述图像数据和所述多个部分3D模型数据，合成来自再现视点的表示所述显示对象的再现视点图像；以及校正部，参考所述参考模型，对所述再现视点图像进行图像补充或滤波处理，其中，所述生成部按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

根据所述构成，参考图像数据和多个部分3D模型数据来合成再现视点图像的构成与现有的基于DIBR的再现图像合成系统相同，因此，能以较少的变更来扩展现有的基于DIBR的再现图像合成系统。并且，在扩展后的系统中，通过参考参考模型，对再现视点图像进行图像补充或滤波处理，能合成高质量的再现视点图像。

本发明的方案11的图像处理装置(11)具备：获取部，获取显示对象的图像数据；推定部，参考所述图像数据，推定部分地表示所述显示对象的三维形状的多个部分3D模型数据；生成部，参考所述多个部分3D模型数据，生成参考模型；以及合成部，参考所述图像数据和所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，每当所述推定部推定所述部分3D模型数据时，所述生成部参考该部分3D模型数据来更新所述参考模型。

根据所述构成，能构建包括图像数据所示的各像素的颜色信息的参考模型。因此，即使在切换图像数据时花费时间的情况下，也能参考包括图像数据的信息的参考模型，因此，能合成没有缺陷的再现视点图像。

本发明的方案12的显示装置(1、10、20、30)具备所述方案1～10中的任一个图像处理装置和显示所述再现视点图像的显示部(3)。

根据所述构成，能显示通过所述方案1～10中的任一个图像处理装置合成的高质量的再现视点图像。

本发明的方案13的图像发送装置(41)具备发送部，该发送部发送部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据。

根据所述构成，与一次性发送表示显示对象的三维形状的整体的3D模型数据的情况相比，能削减在各时间点发送的3D模型数据的数据量。

本发明的方案14的图像处理方法包括：获取工序，获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；生成工序，参考所述多个部分3D模型数据，生成参考模型；以及合成工序，参考所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，在所述生成工序中，按照与所述部分3D模型数据建立关联的所述次序，参考该部分3D模型数据来更新所述参考模型。

根据所述构成，起到与所述方案1相同的效果。

本发明的各方案的图像处理装置还可以通过计算机来实现，在该情况下，通过使计算机作为所述图像处理装置所具备的各部(软件要素)进行动作，由此使所述图像处理装置由计算机实现的图像处理装置的控制程序以及记录此图像处理程序的计算机可读取记录介质也落入本发明的范畴。

本发明并不限定于所述的各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包括在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。

(关联申请的相互参考)

本申请基于2017年8月9日提出申请的日本专利申请2017-154551主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。

附图标记说明

1、10、20、30 显示装置

2、11、21、31 图像处理装置

3 显示部

4 获取部

5 接受部

6 更新部

7 视点深度合成部

8 再现视点图像合成部

9 推定部

32 校正部

40 图像收发系统

41 图像发送装置

Claims (16)

1.一种图像处理装置，其特征在于，具备：

获取部，获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；

生成部，参考所述多个部分3D模型数据，生成参考模型；以及

合成部，参考所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，

所述生成部按照与所述部分3D模型数据建立关联的所述次序，参考所述部分3D模型数据来更新所述参考模型。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述部分3D模型数据是部分地表示所述显示对象的三维形状的深度、点云以及网格中的至少一种以上的数据。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述获取部在所述多个部分3D模型数据中，优先取得表示与初始视点相对的所述显示对象的部分的部分3D模型数据以及表示与推荐视点相对的所述显示对象的部分的部分3D模型数据中的至少一种以上的数据。

4.根据权利要求1或2所述的图像处理装置，其特征在于，

所述获取部获取所述多个部分3D模型数据，而不依赖于所述再现视点。

5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，

所述获取部获取初始参考模型构建用的多个部分3D模型数据，

所述生成部参考所述初始参考模型构建用的多个部分3D模型数据，生成初始参考模型。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述多个部分3D模型数据是部分地表示所述显示对象的三维形状的多个深度，

所述生成部按照与所述深度建立关联的所述次序，参考所述深度和所述参考模型，推定表示所述参考模型与对应于所述深度的参考模型的位置关系的扭曲场，参考所述扭曲场更新所述参考模型。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述获取部获取所述深度，并且获取与所述深度的视点有关的视点信息。

8.根据权利要求7所述的图像处理装置，其特征在于，

对于所述获取部而言，与所述多个深度建立关联的次序是与所述视点信息所示的所述深度的视点相应的顺序中的次序，

所述顺序是将离先行的次序的深度的视点远的视点的深度优先作为下一次序的深度的顺序。

9.根据权利要求1～8中任一项所述的图像处理装置，其特征在于，

所述获取部进一步获取所述显示对象的图像数据，

所述生成部进一步参考所述图像数据来更新所述参考模型。

10.一种图像处理装置，其特征在于，具备：

获取部，获取显示对象的图像数据和部分地表示所述显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；

生成部，参考所述多个部分3D模型数据，生成参考模型；

合成部，参考所述图像数据和所述多个部分3D模型数据，合成来自再现视点的表示所述显示对象的再现视点图像；以及

校正部，参考所述参考模型，对所述再现视点图像进行图像补充或滤波处理，其中，

所述生成部按照与所述部分3D模型数据建立关联的所述次序，参考所述部分3D模型数据来更新所述参考模型。

11.一种图像处理装置，其特征在于，具备：

获取部，获取显示对象的图像数据；

推定部，参考所述图像数据，推定部分地表示所述显示对象的三维形状的多个部分3D模型数据；

生成部，参考所述多个部分3D模型数据，生成参考模型；以及

合成部，参考所述图像数据和所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，

每当所述推定部推定所述部分3D模型数据时，所述生成部参考所述部分3D模型数据来更新所述参考模型。

12.一种显示装置，其特征在于，具备：

权利要求1～10中任一项所述的图像处理装置；以及

显示部，表示所述再现视点图像。

13.一种图像发送装置，其特征在于，

具备发送部，所述发送部发送部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据。

14.一种图像处理方法，其特征在于，包括：

获取工序，获取部分地表示显示对象的三维形状的、与规定顺序中的次序建立关联的多个部分3D模型数据；

生成工序，参考所述多个部分3D模型数据，生成参考模型；以及

合成工序，参考所述参考模型，合成来自再现视点的表示所述显示对象的再现视点图像，其中，

在所述生成工序中，按照与所述部分3D模型数据建立关联的所述次序，参考所述部分3D模型数据来更新所述参考模型。

15.一种控制程序，其用于使计算机作为权利要求1所述的图像处理装置发挥功能，其中，

所述控制程序用于使计算机作为所述获取部、所述生成部以及所述合成部发挥功能。

16.一种计算机可读取记录介质，其记录有权利要求15所述的控制程序。

Images