CN111316650A - 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法 - Google Patents

Abstract

三维模型编码装置(300)，具备：投影部(301)，将三维模型投影到至少一个以上的二维平面，从而生成二维图像；校正部(302)，利用二维图像，对二维图像中包括的构成没有投影三维模型的无效区域的一个以上的像素进行校正，从而生成校正图像；以及编码部(304)，对校正图像进行二维编码，从而生成编码数据。

Description

三维模型编码装置、三维模型解码装置、三维模型编码方法、 以及三维模型解码方法

技术领域

本公开涉及，三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法。

背景技术

专利文献1公开，传输三维形状数据的方法。在专利文献1中，三维形状的数据，例如，按多边形或体素等的每个要素，被发送到网络。而且，在接收侧，获得该三维形状的数据，按接受的每个要素，展开为图像来显示。

(现有技术文献)

(专利文献)

专利文献1：日本特开平9-237354号公报

然而，所述专利文献涉及的技术，需要进一步的改善。

发明内容

为了实现所述目的，本公开的一个形态涉及的三维模型编码装置，具备：投影部，将三维模型投影到至少一个以上的二维平面，从而生成二维图像；校正部，利用所述二维图像，对所述二维图像中包括的构成无效区域的一个以上的像素进行校正，从而生成校正图像，所述无效区域是没有投影所述三维模型的区域；以及编码部，对所述校正图像进行二维编码，从而生成编码数据。

并且，本公开的一个形态涉及的三维模型解码装置，具备解码部，所述解码部，获得编码数据，输出对获得的所述编码数据进行解码而得到的三维模型，所述编码数据是对校正图像进行编码而得到的数据，所述校正图像是三维模型投影到至少一个二维平面而生成的二维图像被校正的图像，并且是所述二维图像中包括的没有投影所述三维模型的无效区域中的一个以上的像素被校正而得到的图像。

而且，它们的总括或具体形态，也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意组合实现。

本公开能够提供，能够削减分发的数据量的三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法。

附图说明

图1是示出实施方式1涉及的自由视点影像生成系统的概要的图。

图2是示出实施方式1涉及的三维空间识别系统的结构的框图。

图3是示出实施方式1涉及的三维空间识别系统的工作的概要的图。

图4是示出实施方式1涉及的自由视点影像生成系统的结构的框图。

图5是示出实施方式1涉及的自由视点影像生成系统的工作的概要的图。

图6是示出实施方式1涉及的自由视点影像生成系统的工作的流程图。

图7是示出实施方式1涉及的前景模型的生成方法的图。

图8是示出实施方式2涉及的下一代监视系统的结构的框图。

图9是示出实施方式2涉及的下一代监视系统的工作的概要的图。

图10是示出实施方式2涉及的下一代监视系统的工作的流程图。

图11是示出实施方式3涉及的自由视点影像生成系统的结构的框图。

图12是示出实施方式3涉及的自由视点影像生成系统的工作的流程图。

图13是示出实施方式3涉及的前景模型和背景模型的分发例的图。

图14是示出实施方式3涉及的前景模型和背景模型的分发例的图。

图15是示出实施方式4涉及的下一代监视系统的结构的框图。

图16是示出实施方式4涉及的下一代监视系统的工作的流程图。

图17是示出实施方式5涉及的自由视点影像生成系统的结构的框图。

图18是示出实施方式5涉及的下一代监视系统的结构的框图。

图19是示出实施方式6涉及的自由视点影像生成系统的结构的框图。

图20是示出实施方式6涉及的自由视点影像生成系统的工作的流程图。

图21是用于说明实施方式6涉及的三维模型的生成以及恢复处理的图。

图22是示出实施方式6涉及的深度图像的一个例子的图。

图23A是示出实施方式6涉及的深度图像的图像值的分配例的图。

图23B是示出实施方式6涉及的深度图像的图像值的分配例的图。

图23C是示出实施方式6涉及的深度图像的图像值的分配例的图。

图24是示出对三维数据进行编码的三维数据编码方法的概略的图。

图25A是示出包括孔区域的二维图像的一个例子的图。

图25B是示出校正孔区域后的校正图像的一个例子的图。

图26A是示出基于线性插值的孔区域的校正的例子的图。

图26B是示出基于线性插值的孔区域的校正的例子的图。

图27A是示出基于非线性插值的孔区域的校正的例子的图。

图27B是示出基于非线性插值的孔区域的校正的例子的图。

图28A是示出其他的校正的例子的图。

图28B是示出其他的校正的例子的图。

图28C是示出以二维图像表现图28B的校正的例子的图。

图28D是示出其他的校正的例子的图。

图28E是示出其他的校正的例子的图。

图28F是示出其他的校正的例子的图。

图29是示出实施方式涉及的三维模型编码装置的功能结构的一个例子的框图。

图30是示出实施方式涉及的三维模型解码装置的功能结构的一个例子的框图。

图31是示出实施方式涉及的三维模型编码装置的三维模型编码方法的一个例子的流程图。

图32是示出实施方式涉及的三维模型解码装置的三维模型解码方法的一个例子的流程图。

具体实施方式

对于编码三维数据的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法，需要削减分发的数据量。因此，对于编码三维数据的三维编码装置以及三维编码方法，需要提高三维数据的压缩效率。

本公开的目的在于提供，编码三维数据的三维编码装置以及三维编码方法中，能够提高三维数据的压缩效率的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法。

本公开的一个形态涉及的三维模型编码装置，具备：投影部，将三维模型投影到至少一个以上的二维平面，从而生成二维图像；校正部，利用所述二维图像，对所述二维图像中包括的构成无效区域的一个以上的像素进行校正，从而生成校正图像，所述无效区域是没有投影所述三维模型的区域；以及编码部，对所述校正图像进行二维编码，从而生成编码数据。

据此，对校正无效区域而生成的校正图像进行二维编码，因此，能够提高编码效率。

并且，也可以是，所述校正部，利用与所述无效区域邻接的第一有效区域中的第一像素的第一像素值，对所述无效区域进行校正，所述第一有效区域是投影了所述三维模型的有效区域。

据此，能够减少第一有效区域与无效区域之间的像素值的差，因此，能够有效地提高编码效率。

并且，也可以是，所述校正部，将构成所述无效区域的所述一个以上的像素的所有的像素值设为所述第一像素值，从而对所述无效区域进行校正。

据此，能够容易减少第一有效区域与无效区域之间的像素值的差。

并且，也可以是，所述校正部，在所述二维图像上，还利用第二有效区域中的第二像素的第二像素值，对所述无效区域进行校正，所述第二有效区域是夹着所述无效区域与所述第一有效区域相反一侧的有效区域。

据此，能够减少第一有效区域以及第二有效区域与无效区域之间的像素值的差，因此，能够有效地提高编码效率。

并且，也可以是，所述校正部，利用所述第一像素值以及所述第二像素值，将从所述第一像素跨所述无效区域到所述第二像素之间的多个像素各自的像素值变更为，在所述多个像素各自的位置以及像素值的关系上，满足从所述第一像素值线性地变化为所述第二像素值的关系的像素值，从而对所述无效区域进行校正。

据此，对无效区域进行线性插值，因此，能够减轻用于插值的像素值的决定涉及的处理负荷。

并且，也可以是，所述二维编码是，以多个块单位对所述校正图像进行编码的处理，所述校正部，在所述二维编码的所述多个块的边界位于所述无效区域上的情况下，将从所述第一像素到所述边界之间的多个第一无效像素变更为所述第一像素值，并且，将从所述第二像素到所述边界之间的多个第二无效像素变更为所述第二像素值，从而对所述无效区域进行校正。

据此，考虑二维编码的多个块的边界来校正无效区域，因此，能够有效地减轻处理负荷，能够有效地提高编码效率。

并且，也可以是，所述校正部，利用所述第一像素的第一像素值以及所述第二像素的第二像素值，将从所述第一像素跨所述无效区域到所述第二像素之间的多个像素各自的像素值变更为，在所述多个像素各自的位置以及像素值的关系上，满足以平滑的曲线从所述第一像素值变化为所述第二像素值的关系的像素值，从而对所述无效区域进行校正。

据此，能够有效地减少第一有效区域以及第二有效区域与无效区域之间的像素值的差，因此，能够提高编码效率。

并且，也可以是，所述第一像素是所述第一有效区域中与所述无效区域邻接的像素，所述第二像素是所述第二有效区域中与所述无效区域邻接的像素。

并且，也可以是，还具备生成部，所述生成部，生成二维二值地图，所述二维二值地图示出构成与所述二维图像对应的二维区域的多个区域分别是所述无效区域还是所述有效区域，所述编码部，对所述校正图像以及所述二维二值地图进行编码，从而生成所述编码数据。

因此，在解码时，能够利用二维二值地图，仅对有效区域以及无效区域之中的有效区域进行解码，因此，能够减少解码时的处理量。

本公开的一个形态涉及的三维模型解码装置，具备解码部，所述解码部，获得编码数据，输出对获得的所述编码数据进行解码而得到的三维模型，所述编码数据是对校正图像进行编码而得到的数据，所述校正图像是三维模型投影到至少一个二维平面而生成的二维图像被校正的图像，并且是所述二维图像中包括的没有投影所述三维模型的无效区域中的一个以上的像素被校正而得到的图像。

因此，三维模型解码装置310，获得数据量少的编码数据，从而能够重新构成三维模型。

本公开的一个形态涉及的三维模型分发方法，以第一分发方式分发第一模型，所述第一模型是对象时间段的对象空间的三维模型，以与所述第一分发方式不同的第二分发方式分发第二模型，所述第二模型是所述对象时间段的所述对象空间的三维模型，并且是每单位时间的变化比所述第一模型小的模型。

据此，该三维模型分发方法能够，将每单位时间的变化不同的第一模型和第二模型，以对各自适合的分发方式分发。据此，该三维模型分发方法，能够实现与请求对应的适当的分发。

例如，也可以是，所述第一分发方式的分发周期，比所述第二分发方式的分发周期短。

据此，该三维模型分发方法能够，将每单位时间的变化不同的第一模型和第二模型，以对各自适合的分发方式分发。

例如，也可以是，在所述第一分发方式中，利用第一编码方式，在所述第二分发方式中，利用处理延迟比所述第一编码方式大的第二编码方法。

据此，该三维模型分发方法能够，减少第一模型的处理延迟。

例如，也可以是，在所述第一分发方式中，利用第一编码方式，在所述第二分发方式中，利用编码效率与所述第一编码方式不同的第二编码方法。

据此，该三维模型分发方法能够，将每单位时间的变化不同的第一模型和第二模型，以对各自适合的分发方式分发。

例如，也可以是，所述第一分发方式，与所述第二分发方式相比低延迟。

据此，该三维模型分发方法能够，减少第一模型的延迟。

例如，也可以是，所述三维模型分发方法，进一步，以第一生成方法生成所述第一模型，以精度与所述第一生成方法不同的第二生成方法生成所述第二模型。

据此，该三维模型分发方法能够，将每单位时间的变化不同的第一模型和第二模型，以对各自适合的分发方式分发。

例如，也可以是，在所述第一模型的生成中，根据第三模型和所述第二模型生成所述第一模型，所述第三模型是所述对象时间段的所述对象空间中包括的多个对象物的三维模型，所述第二模型是所述对象时间段的所述对象空间中包括的所述多个对象物之中的一部分的对象物的三维模型，所述第一模型是所述第三模型与所述第二模型的差分。

据此，该三维模型分发方法能够容易生成第一模型。

例如，也可以是，在所述第一模型的生成中，生成第三多视点图像，所述第三多视点图像是所述对象时间段的所述对象空间中包括的多个对象物被拍摄的第一多视点图像、与所述多个对象物之中的一部分的对象物被拍摄的所述第二多视点图像的差分，利用所述第三多视点图像生成所述第一模型。

例如，也可以是，所述第一模型以及所述第二模型的分发目的地的终端，利用所述第一模型以及所述第二模型，生成自由视点影像，该自由视点影像是从选择视点看的影像，所述三维模型分发方法，优先分发所述第一模型之中的所述自由视点影像的生成所需要的模型。

据此，该三维模型分发方法能够，高效率地分发自由视点影像的生成所需要的信息。

本公开的一个形态涉及的三维模型分发方法，根据第一模型和第二模型生成第三模型，所述第一模型是对象时间段的对象空间中包括的多个对象物的三维模型，所述第二模型是所述对象时间段的所述对象空间中包括的所述多个对象物之中的一部分的对象物的三维模型，所述第三模型是所述第一模型与所述第二模型的差分，以第一分发方式分发所述第二模型，以与所述第一分发方式不同的第二分发方式分发所述第三模型。

据此，该三维模型分发方法能够，将第一模型和第二模型，以对各自适合的分发方式分发。据此，该三维模型分发方法，能够实现与请求对应的适当的分发。

本公开的一个形态涉及的三维模型送信装置，具备：第一分发部，以第一分发方式分发第一模型，所述第一模型是对象时间段的对象空间的三维模型；以及第二分发部，以与所述第一分发方式不同的第二分发方式分发第二模型，所述第二模型是所述对象时间段的所述对象空间的三维模型，并且是每单位时间的变化比所述第一模型小的模型。

据此，该三维模型分发装置能够，将每单位时间的变化不同的第一模型和第二模型，以对各自适合的分发方式分发。据此，该三维模型分发装置，能够实现与请求对应的适当的分发。

本公开的一个形态涉及的三维模型分发装置，具备：三维模型生成部，根据第一模型和第二模型生成第三模型，所述第一模型是对象时间段的对象空间中包括的多个对象物的三维模型，所述第二模型是所述对象时间段的所述对象空间中包括的所述多个对象物之中的一部分的对象物的三维模型，所述第三模型是所述第一模型与所述第二模型的差分；以及分发部，以第一分发方式分发所述第二模型，以与所述第一分发方式不同的第二分发方式分发所述第三模型。

据此，该三维模型分发装置能够，将第一模型和第三模型，以对各自适合的分发方式分发。据此，该三维模型分发装置，能够实现与请求对应的适当的分发。

本公开的一个形态涉及的三维模型分发方法，根据三维模型，生成深度图像，分发所述深度图像以及信息，该信息用于根据所述深度图像恢复所述三维模型。

据此，不是原样地分发三维模型，而是分发根据三维模型生成的深度图像。因此，能够抑制分发的数据量。

例如，也可以是，所述三维模型分发方法，进一步，利用二维图像压缩方式，对所述深度图像进行压缩，在所述分发中，分发压缩后的所述深度图像。

据此，在三维模型的分发中，能够利用二维图像压缩方式压缩数据。因此，不需要重新构筑三维模型用的压缩方式，因此，能够容易削减数据量。

例如，也可以是，在所述深度图像的生成中，根据所述三维模型，生成不同视点的多个深度图像，在所述压缩中，利用所述多个深度图像间的关系，对所述多个深度图像进行压缩。

据此，能够更削减多个深度图像的数据量。

例如，也可以是，所述三维模型分发方法，进一步，利用多个摄像装置所拍摄的多个图像，生成所述三维模型，分发所述多个图像，所述深度图像的视点是，所述多个图像之中的任意图像的视点。

据此，深度图像的视点与拍摄图像的视点一致，因此，例如，在将拍摄图像由多视点编码压缩的情况下，能够利用深度图像计算拍摄图像间的视差信息，利用视差信息生成视点间的预测图像。据此，能够削减拍摄图像的代码量。

例如，也可以是，在所述深度图像的生成中，将所述三维模型投影到规定的视点的拍摄面，从而生成所述深度图像，所述信息包括，用于将所述三维模型投影到所述规定的视点的拍摄面的参数。

例如，也可以是，所述三维模型分发方法，进一步，决定所述深度图像中包括的各个像素的位长，分发示出所述位长的信息。

据此，能够按照被摄体或使用目的等切换位长，因此，能够适当地削减数据量。

例如，也可以是，在所述位长的决定中，按照与被摄体的距离决定所述位长。

例如，也可以是，所述三维模型分发方法，进一步，决定所述深度图像所示的像素值与距离的关系，分发示出决定后的所述关系的信息。

据此，能够按照被摄体或使用目的等切换像素值与距离的关系，因此，能够提高恢复的三维模型的精度。

例如，也可以是，所述三维模型包括第一模型以及第二模型，该第二模型的每单位时间的变化比所述第一模型小，所述深度图像包括第一深度图像以及第二深度图像，在所述深度图像的生成中，根据所述第一模型生成所述第一深度图像，根据所述第二模型生成所述第二深度图像，在所述关系的决定中，决定所述第一深度图像所示的像素值与距离的第一关系、以及所述第二深度图像所示的像素值与距离的第二关系，在所述第一关系中，第一距离范围的距离分辨率，比第二距离范围的距离分辨率高，所述第二距离范围比所述第一距离范围远，在所述第二关系中，所述第一距离范围的距离分辨率，比所述第二距离范围的距离分辨率低。

例如，也可以是，在所述三维模型中附加有颜色信息，所述三维模型分发方法，进一步，根据所述三维模型，生成纹理图像，利用二维图像压缩方式，对所述纹理图像进行压缩，在所述分发中，进一步，分发压缩后的所述纹理图像。

本公开的一个形态涉及的三维模型接收方法，接收根据三维模型生成的深度图像、以及用于根据所述深度图像恢复所述三维模型的信息，利用所述信息，根据所述深度图像恢复所述三维模型。

据此，不是原样地分发三维模型，而是分发根据三维模型生成的深度图像。因此，能够抑制分发的数据量。

例如，也可以是，所述深度图像利用二维图像压缩方式而被压缩，所述三维模型接收方法，进一步，对压缩后的所述深度图像进行解码。

据此，在三维模型的分发中，能够利用二维图像压缩方式压缩数据。因此，不需要重新构筑三维模型用的压缩方式，因此，能够容易削减数据量。

例如，也可以是，在所述接收中，接收多个深度图像，在所述解码中，利用所述多个深度图像间的关系，对所述多个深度图像进行解码。

据此，能够更削减多个深度图像的数据量。

例如，也可以是，所述三维模型接收方法，进一步，利用所述三维模型以及多个图像，生成绘制图像，所述深度图像的视点是，所述多个图像之中的任意图像的视点。

据此，深度图像的视点与拍摄图像的视点一致，因此，例如，在将拍摄图像由多视点编码压缩的情况下，能够利用深度图像计算拍摄图像间的视差信息，利用视差信息生成视点间的预测图像。据此，能够削减拍摄图像的代码量。

例如，也可以是，所述信息包括，用于将所述三维模型投影到所述深度图像的拍摄面的参数，在所述恢复中，利用所述参数，根据所述深度图像恢复所述三维模型。

例如，也可以是，所述三维模型接收方法，进一步，接收示出所述深度图像中包括的各个像素的位长的信息。

据此，能够按照被摄体或使用目的等切换位长，因此，能够适当地削减数据量。

例如，也可以是，所述三维模型接收方法，进一步，接收示出所述深度图像所示的像素值与距离的关系的信息。

据此，能够按照被摄体或使用目的等切换像素值与距离的关系，因此，能够提高恢复的三维模型的精度。

例如，也可以是，所述三维模型接收方法，进一步，接收利用二维图像压缩方式而压缩后的纹理图像，对所述压缩后的纹理图像进行解码，在所述恢复中，利用解码后的所述深度图像以及解码后的所述纹理图像，恢复附加有颜色信息的所述三维模型。

本公开的一个形态涉及的三维模型分发装置，具备：深度图像生成部，根据三维模型，生成深度图像；以及分发部，分发所述深度图像以及信息，该信息用于根据所述深度图像恢复所述三维模型。

据此，不是原样地分发三维模型，而是分发根据三维模型生成的深度图像。因此，能够抑制分发的数据量。

本公开的一个形态涉及的三维模型接收装置，具备：接收部，接收根据三维模型生成的深度图像、以及用于根据所述深度图像恢复所述三维模型的信息；以及恢复部，利用所述信息，根据所述深度图像恢复所述三维模型。

据此，不是原样地分发三维模型，而是分发根据三维模型生成的深度图像。因此，能够抑制分发的数据量。

而且，它们的总括或具体形态，也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意组合实现。

以下，对于实施方式，参照附图进行具体说明。而且，以下说明的实施方式，都示出本公开的一个具体例子。以下的实施方式示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一个例子，不是限定本公开的宗旨。并且，对于以下实施方式的构成要素中的示出最上位概念的实施方案中没有记载的构成要素，作为任意的构成要素而被说明。

(实施方式1)

首先，说明本实施方式的概要。在本实施方式中，说明下一代广域监视系统或自由视点影像生成系统等的三维空间识别系统的三维模型生成以及分发方法。

图1是示出自由视点影像生成系统的概要的图。例如，利用已经校正的照相机(例如固定照相机)从多视点拍摄同一空间，从而能够对拍摄的空间三维进行重构(三维空间重构)。利用该三维重构后的数据，进行追踪、场景分析、以及影像绘制，从而能够生成从任意的视点(自由视点照相机)看的影像。据此，能够实现下一代广域监视系统、以及自由视点影像生成系统。

在这样的系统中可以考虑，将由三维重构生成的三维模型经由网络等分发，在接收终端侧进行追踪、场景分析以及影像绘制等。然而，存在的问题是，三维模型的数据量庞大，因此，网络宽带不足，接收要花费时间。

对此，在本实施方式中，将构成三维模型的前景模型和背景模型分别以不同的分发方式分发。例如，抑制更新频度少的背景模型的分发次数，从而能够抑制分发时的网络宽带。据此，能够缩短终端侧的接收时间。

接着，说明本实施方式涉及的三维空间识别系统100的结构。图2是示出三维空间识别系统100的结构的框图。三维空间识别系统100包括，多视点影像摄像装置111、控制装置112、事件检测装置113、校正指示装置114、三维空间重构装置115、以及三维空间识别装置116。

图3是示出三维空间识别系统100的工作的概要的图。

多视点影像摄像装置111，拍摄同一空间来生成多视点影像(S101)。

并且，通过手动或自动检测拍摄环境中的点和影像上的点的对应以及影像间的点的对应，从而进行估计各个照相机的姿势(照相机参数)的照相机校正(S102)。

三维空间重构装置115，利用多视点影像和照相机参数，进行将摄影空间三维重构的三维空间重构，从而生成三维模型(S103)。例如，生成作为三维模型的前景模型和背景模型。

最后，三维空间识别装置116，利用三维模型进行三维空间识别(S104)。具体而言，三维空间识别装置116，利用三维模型，进行追踪、场景分析以及影像绘制。

接着，说明包括三维空间识别系统100的自由视点影像生成系统101。图4是示出本实施方式涉及的自由视点影像生成系统101的结构的框图。自由视点影像生成系统101，除了三维空间识别系统100的结构以外，包括作为用户终端的多个影像显示终端117。并且，三维空间重构装置115具备，前景模型生成部131、以及背景模型生成部132。三维空间识别装置116具备，视点决定部141、绘制部142、以及数据传输部143。

图5是示出自由视点影像生成系统101的工作的概要的图。图6是示出自由视点影像生成系统101的工作的流程图。

首先，多视点影像摄像装置111，进行多视点拍摄，从而生成多视点影像(S101)。多视点影像摄像装置111包括，多个摄像装置121。各个摄像装置121包括，照相机122、云台123、存储器124、以及传感器125。

多视点影像摄像装置111，接受由控制装置112的拍摄开始或停止信号，按照该信号，进行在摄像装置121之间同步的拍摄的开始或停止。

各个摄像装置121在由照相机122拍摄影像的同时，记录拍摄影像时的时间戳。并且，摄像装置121，在拍摄的同时利用传感器125(振动传感器，加速度传感器，地磁传感器或麦克风)感测拍摄环境，将影像、时间戳以及感测数据输出给事件检测装置113。

并且，多视点影像摄像装置111若从校正指示装置114接受校正指示信息，则根据校正指示信息调整摄像装置121，校正照相机122，将通过校正获得的照相机参数输出给事件检测装置113。

各个摄像装置121内的存储器124，暂时保存影像、时间戳、感测数据、以及照相机参数，或者，存储拍摄设定(帧率以及分辨率等)。

并且，在任意的定时进行照相机校正(S102)。具体而言，事件检测装置113，根据从多视点影像摄像装置111获得的影像、时间戳、感测信息、从三维空间重构装置115获得的三维模型、从绘制部142获得的自由视点影像、从影像显示终端117获得的终端信息、以及从控制装置112获得的控制信息之中的至少一个，检测校正事件，将包括校正事件的校正事件信息输出给校正指示装置114。校正事件信息包括，示出校正事件、校正事件的重要度、以及校对的摄像装置121的信息。

校正事件是，校正摄像装置121的契机。例如，在检测照相机122的偏离时、成为预先决定的时间时、照相机校正的精度提高时、模型或自由视点影像的精度降低时、不需要自由视点影像时、不能将某摄像装置121的影像用于自由视点影像的生成时、或者有来自系统管理员或用户的指示时，事件检测装置113，输出校正事件信息。

具体而言，事件检测装置113，在感测信息超过阈值时、影像中的背景区域变化为阈值以上时、或者响起了欢呼声时，检测为照相机122偏离。预先决定的时间是，中场或第5局结束等的比赛中断时、从上次的校正经过一定时间时、或者系统启动时等。照相机校正的精度提高时是指，从影像提取的特征点为一定数量以上时等。并且，事件检测装置113，根据模型或自由视点影像内的墙壁或地面的歪斜等判断，模型或自由视点影像的精度的恶化。

不需要自由视点影像时是指，没有使用任何影像显示终端117时，或者，根据声音或影像进行场景识别，识别为不是重要的场景时。不能将某摄像装置121的影像用于自由视点影像的生成时是指，因不能获得充分的通信带而影像的分辨率或帧率降低时，发生同步偏离时，或者，摄像装置121拍摄的区域由于不存在选手等的理由没有被关注时等。

校正事件的重要度是，根据校正事件或检测校正事件时观测的数据计算的。例如，照相机的偏离事件的重要度比其他的事件高。并且，例如，照相机的偏离越大就越设定高重要度。

并且，事件检测装置113也可以，将校正事件信息发送给影像显示终端117，向用户通知校正中的摄像装置121。

校正指示装置114，若从事件检测装置113接受校正事件信息，则根据校正事件信息生成校正指示信息，将生成的校正指示信息输出给多视点影像摄像装置111。

校正指示信息包括，校正的照相机122、校正的照相机122的顺序、云台123的控制信息、照相机122的变焦倍率变更信息、以及校正方法等。云台123的控制信息示出，例如，用于将因振动等而偏离的照相机的姿势恢复为原来的姿势的云台123的旋转量。照相机的变焦倍率变更信息示出，例如，为了覆盖因振动等而偏离的照相机122的拍摄区域所需要的镜头拉远量。

校正方法有，将特定的点、线或面的三维坐标与影像上的二维坐标建立对应的方法，以及将特定的点，线或面的影像上的二维坐标在两个以上的影像间建立对应的方法。这些建立对应由手动或自动或者它们的双方进行。并且，也可以利用距离为周知的两个以上的点、线或面、或者一个以上的立体照相机机，提高照相机校正的精度。

接着，三维空间重构装置115，利用多视点影像进行三维空间重构(S103)。具体而言，事件检测装置113，根据从多视点影像摄像装置111获得的影像、时间戳以及感测信息、从影像显示终端117获得的终端信息、以及从控制装置获得的控制信息之中的至少一个检测模型生成事件，将包括模型生成事件的模型生成信息输出给三维空间重构装置115。

模型生成信息包括，模型生成事件以及摄像装置信息。摄像装置信息包括，影像、背景图像、照相机参数、照相机参数的可靠度、以及照相机的校正状况。模型生成事件是，生成拍摄环境的三维模型的契机。具体而言，事件检测装置113，在一定数量以上的照相机被校正时、成为预先决定的时间时、或者需要自由视点影像时等，输出模型生成信息。

预先决定的时间是指，进行比赛时、或从上次的模型生成经过一定时间时等。需要自由视点影像时是指，使用影像显示终端117时，根据声音或影像进行场景识别，识别为是重要的场景时、或者存在来自系统管理员的指示或来自用户的视听请求时等。照相机参数的可靠度是，根据照相机校正时的结果、进行照相机校正的时间、影像、或感测信息决定的。例如，照相机校正时的重新投影误差越低就越设定高可靠度。并且，越紧前进行了照相机校正的照相机就越设定高可靠度。并且，越利用多特征点进行照相机校正的照相机就越设定高可靠度。

三维空间重构装置115，利用从事件检测装置113获得的模型生成信息，生成拍摄环境的三维模型，存储生成的三维模型。三维空间重构装置115，在生成模型时，根据照相机的校正状况以及照相机参数的可靠度，优先利用由已经校正且可靠度高的照相机拍摄的影像。并且，三维空间重构装置115，在拍摄环境的三维模型的生成完成时，将模型生成完成信息输出给事件检测装置113。

三维空间重构装置115，将作为自由视点影像生成装置的三维空间识别装置116生成自由视点影像时，将拍摄环境的三维模型输出给绘制部142。

前景模型生成部131，生成作为人物或球等的按每时间有运动的变化(变化大)的前景的模型的前景模型。背景模型生成部132，生成作为会场或球门等的按每时间没有运动的变化(变化少)的背景的模型的背景模型。以后，三维模型表示，包括前景模型和背景模型的模型。

前景模型生成部131，按照摄像装置121记录的帧率生成前景模型。例如，在记录帧率为30帧/秒的情况下，前景模型生成部131，按每1/30秒生成前景模型。

背景模型生成部132，利用没有包括人物或球等的按每时间有运动的变化的前景的背景图像生成背景模型。背景模型生成部132也可以，将一次生成的背景模型在某一定期间内反复使用。并且，背景模型生成部132也可以，若经过某一定期间则生成新的背景模型，更新背景模型。据此，能够削减生成运动少的背景模型的处理量，因此，能够削减CPU使用率以及存储量。

以下，说明背景模型以及前景模型的生成方法。图7是用于说明该处理的图。

首先，背景模型生成部132，生成背景模型(S111)。例如，多视点影像摄像装置111包括的多个摄像装置121，拍摄背景来生成背景图像，记录该背景图像。背景模型生成部132，利用该背景图像生成背景模型。对于背景模型生成方法，例如，能够利用如多视点立体方式那样的、根据多个立体照相机对计算背景图像中包括的对象的各个像素的深度，从而确定背景中包括的对象的三维位置的方法。或者，背景模型生成部132也可以，利用提取背景图像的特征量，根据照相机间的特征量的匹配结果，通过三角测量的原理，确定背景图像的特征量的三维位置的方法。除此以外，只要是计算背景中包括的对象的三维模型的方法，就也可以利用任何方式。

并且，背景模型的一部分、或全部也可以由手动制作。例如，对于球门等的根据比赛已经决定形状的模型，可以考虑事先利用CG等生成三维模型。也就是说，背景模型生成部132也可以获得，预先决定并生成的背景模型。

并且，背景模型生成部132也可以，利用包括前景以及背景的多张拍摄图像生成背景图像。例如，背景模型生成部132也可以，利用多个拍摄图像的平均值图像计算背景图像。据此，即使在事先不能拍摄没有包括前景的背景图像的状况下，也能够生成背景图像，能够生成背景模型。

接着，多视点影像摄像装置111包括的多个摄像装置121，拍摄人物(前景)和背景来生成拍摄图像，记录该拍摄图像(S112)。

接着，前景模型生成部131，生成前景模型(S113)。具体而言，前景模型生成部131，从同一摄像装置121拍摄的同一视点的拍摄图像中减去背景图像，从而生成背景差分图像。前景模型生成部131，利用多个视点的背景差分图像，生成前景模型。对于前景模型的生成方法，例如，能够利用视体积交叉法方式那样的、利用多个背景差分图像，确定存在于空间的前景对象的三维模型的方法。或者，前景模型生成部131也可以，利用提取前景图像(背景差分图像)的特征量，根据照相机间的特征量的匹配结果，通过三角测量的原理，确定前景图像的特征量的三维位置的方法。除此以外，只要是计算前景中包括的对象的三维模型的方法，就也可以利用任何方式。

据此，生成前景模型和背景模型。

接着，进行利用三维模型的三维空间识别(S104A)。首先，视点决定部141，决定虚拟视点(S105)。

具体而言，事件检测装置113，根据从三维空间重构装置115获得的模型生成完成信息、从影像显示终端117获得的终端信息、以及从控制装置112获得的控制信息检测自由视点生成事件，将包括自由视点生成事件的自由视点信息输出给视点决定部141。

自由视点生成信息包括，自由视点生成事件、请求视点、以及摄像装置信息。请求视点是，从影像显示终端117获得的用户所希望的视点、或从控制装置获得的系统管理员指定的视点等。视点，也可以是三维空间上的一点，也可以是线段。自由视点生成事件是，生成拍摄环境的自由视点影像的契机。具体而言，事件检测装置113，在生成拍摄环境的三维模型时，或者，在有想要视听或分发已经生成的三维模型存在的时刻的自由视点影像的用户的请求或系统管理员的指示时等，输出自由视点信息。

视点决定部141，根据从事件检测装置113获得的自由视点信息，决定生成自由视点影像时的视点，作为视点信息与自由视点信息一起输出给绘制部142。视点决定部141，根据请求视点执行视点的决定。视点决定部141，在没有请求视点的情况下，也可以根据影像自动地检测从正面能够看到选手的视点等，也可以根据照相机参数的可靠度、或照相机的校正状况自动地检测在附近有已经校正且可靠度高的摄像装置121的视点。

若设定虚拟视点，则根据三维模型(包括前景模型以及背景模型)，决定从虚拟视点看到的拍摄环境的结构以及距离信息。绘制部142，利用三维模型进行绘制，从而生成作为从虚拟视点看的影像的自由视点影像(S106)。

具体而言，绘制部142，利用从视点决定部141获得的视点信息以及自由视点信息、以及从三维空间重构装置115获得的拍摄环境的三维模型，生成基于视点信息的视点的影像，将生成的影像作为自由视点影像，输出给数据传输部143。

也就是说，绘制部142，将三维模型投影在视点信息示出的虚拟视点位置，从而生成自由视点影像。此时，绘制部142，例如，从与虚拟视点位置的距离近的摄像装置121获得的影像优先获得例如影像上的颜色以及纹理信息。但是，在距离近的摄像装置121正在校正中、或照相机参数的可靠度低的情况下，绘制部142也可以，从与距离近的摄像装置121不同的摄像装置121的影像优先获得颜色信息。并且，绘制部142，在与虚拟视点位置的距离近的摄像装置121正在校正中、或照相机参数的可靠度低的情况下，也可以使影像模糊、或提高再生速度，从而使用户难以意识到画质的降低。如此，绘制部142，并不一定需要从距离近的摄像装置121的影像优先获得，也可以利用任何方法获得影像上的颜色以及纹理。并且，也可以事先在三维模型本身附加颜色信息。

接着，数据传输部143，将从绘制部142获得的自由视点影像，分发给影像显示终端117(S107)。数据传输部143，也可以根据各个用户请求的视点，按每个影像显示终端117分发不同自由视点影像，也可以将根据系统管理员指定的视点或视点决定部141自动决定的视点生成的相同的自由视点影像分发给多个影像显示终端117。并且，数据传输部143也可以，压缩自由视点影像，分发压缩后的自由视点影像。

接着，各个影像显示终端117，显示分发后的自由视点影像(S108)。在此，影像显示终端117具备，显示器、无线通信设备、以及用户输入接口。用户利用影像显示终端117，将想要以任意视点看拍摄环境的任意时刻的任意区域的视听请求发送给事件检测装置113。影像显示终端117，将基于视听请求的自由视点影像从数据传输部143接收，显示给用户。

并且，影像显示终端117接收从事件检测装置113获得的校正事件信息，在显示器上强调显示校正中的照相机。据此，能够向用户通知，不能生成基于该摄像装置附近的视点的自由视点影像，或者，画质降低。

并且，系统管理员从控制装置112将拍摄开始或停止信号发送给多视点影像摄像装置111，使多视点影像摄像装置111开始或停止同步拍摄。

并且，在系统管理员判断为需要照相机的校正的情况下，能够从控制装置112将控制信息发送给事件检测装置113，校正任意的照相机。

并且，在系统管理员判断为需要拍摄环境的三维模型的情况下，能够从控制装置112将控制信息发送给事件检测装置113，利用任意的摄像装置121生成任意的时刻的拍摄环境的三维模型。

并且，在系统管理员判断为需要自由视点影像的情况下，能够从控制装置112将控制信息发送给事件检测装置113，生成任意时刻的自由视点影像，分发给影像显示终端117。

(实施方式2)

也可以将所述的自由视点影像生成的功能用于监视系统。在此情况下，能够将从现实的照相机没有捉住的视点看的可疑者的估计外观提示给警卫员来担任警戒。

图8是示出本实施方式涉及的下一代监视系统102的结构的框图。图8示出的下一代监视系统102，相对于图4示出的自由视点影像生成系统101，三维空间识别装置116A的结构，与三维空间识别装置116不同。并且，下一代监视系统102，代替影像显示终端117，而包括监视员118A、警卫员118B以及影像摄像装置118C。

三维空间识别装置116A具备，追踪部144、场景分析部145、以及数据传输部146。

图9是示出下一代监视系统102的工作的概要的图。图10是示出下一代监视系统102的工作的流程图。而且，多视点拍摄(S101)、照相机校正(S102)以及三维空间重构(S103)，与图5以及图6同样。

接着，三维空间识别装置116A，进行利用三维模型的三维空间识别(S104B)。具体而言，追踪部144，在三维空间上追踪人物(S105B)。并且，追踪部144，自动提取人物存在的影像。

并且，场景分析部145，进行场景分析(S106B)。具体而言，场景分析部145，根据三维空间或多视点影像进行人物或场景的状况识别以及异常检测。

接着，数据传输部146，将三维空间识别的结果，传输给监视员118A或警卫员118B具有的终端等、或者影像摄像装置118C(S107B)。而且，将三维空间识别的结果，显示在监视员118A或警卫员118B具有的终端等、或者影像摄像装置118C具有的显示部等(S108B)。

以下，详细说明所述工作。场景分析部145以及追踪部144，与自由视点影像的生成相同，根据三维空间重构装置115生成的三维模型，计算从拍摄区域内的各个被摄体的虚拟视点看的结构、以及与虚拟视点的距离。并且，场景分析部145以及追踪部144也能够，从位于与虚拟视点近的距离的摄像装置121的影像优先获得各个被摄体的颜色以及纹理，利用获得的信息。

由软件、或人看画面分析，示出拍摄区域内的各个被摄体、例如示出人或物体的某瞬间的情况的影像，从而执行利用二维影像的场景分析。场景分析部145，根据三维模型数据进行该场景分析，从而能够观察拍摄区域内的人的三维姿势或物体的三维形状，因此，能够进行比利用二维影像时更高精度的状况识别以及预测。

在利用二维影像的追踪中，例如，首先，通过摄像装置121拍摄的影像的场景分析确定拍摄区域内的被摄体。并且，在不同瞬间由摄像装置121拍摄的影像上确定的同一被摄体，由软件或人工建立对应。而且，按照时间轴进行这样的被摄体的确定以及建立对应，从而执行追踪。但是，例如，在摄像装置121的二维影像中，会有关注的被摄体由其他的被摄体暂时遮蔽，从而不能继续进行其被摄体的确定的情况。即使在这样的情况下，也利用三维模型，从而能够利用被摄体各自的三维位置信息或三维形状信息继续进行被摄体的确定。

将这样的利用三维模型的场景分析以及追踪的功能，用于下一代监视系统102。据此，能够实现可疑的现场的早期发现以及发现的精度提高。并且，即使在能够设置的照相机的台数有限制的地点，也与利用二维影像的情况相比能够试图安全性的强化。

场景分析部145，分析三维模型的数据，进行例如被摄体的确定。分析的结果，也可以提供到追踪部144，也可以与自由视点影像一起显示在终端等的显示器。并且，也可以在终端等具备的存储装置或外部的存储装置保存自由视点影像的分析结果的数据。并且，也可以按照分析的结果，从场景分析部145经由终端向用户请求，其他的时刻或其他的位置的虚拟视点的决定。

追踪部144，根据三维模型的数据追踪特定的被摄体。也可以将追踪的结果，与自由视点影像一起显示在终端等的显示器。并且，例如，在不能追踪特定的被摄体的情况下，也可以从追踪部144经由终端经由向用户请求，其他的时刻或其他的位置的虚拟视点的决定。

(实施方式3)

在本实施方式中，说明实施方式1涉及的自由视点影像生成系统101的变形例。图11是示出本实施方式涉及的自由视点影像生成系统103的结构的框图。图11示出的自由视点影像生成系统103，相对于图4示出的自由视点影像生成系统101不同之处是，视点决定部151以及绘制部152被设置在影像显示终端117A内。

数据传输装置119，将三维空间重构装置115生成的三维模型(前景模型和背景模型)分发给影像显示终端117A。而且，数据传输装置119也可以，还将多视点影像摄像装置111获得的拍摄影像和照相机参数发送给影像显示终端117A。并且，三维空间重构装置115也可以，在生成三维模型时，利用摄像影像等在三维模型附加颜色信息，数据传输装置119，向影像显示终端117A分发附加了颜色信息的三维模型。并且，在此情况下，数据传输装置119也可以，不将拍摄影像分发给影像显示终端117A。

影像显示终端117A具备，显示器、无线通信设备、以及用户输入接口。用户，利用影像显示终端117A，将想要看拍摄环境的任意时刻的任意区域的视听请求，发送给事件检测装置113，从数据传输装置119接收基于视听请求的三维模型、拍摄影像、以及照相机参数。而且，影像显示终端117A，利用用户指定为想要看的视点信息和接收的三维模型，生成基于视点信息的视点的影像，将生成的影像作为自由视点影像输出给显示器。

图12是示出自由视点影像生成系统103的工作的流程图。而且，步骤S101以及S103，与图6示出的实施方式1的处理同样。

接着，数据传输装置119，将三维空间重构装置115生成的三维模型(前景模型和背景模型)分发给影像显示终端117A(S107C)。此时，数据传输装置119，将前景模型和背景模型以不同的分发方式分发。

例如，数据传输装置119，在将三维模型分发给影像显示终端117A时，将前景模型和背景模型分别分发。此时，数据传输装置119，例如，将用于区别各个模型是前景模型还是背景模型的标志或标识符附加到分发数据中包括的头信息等。

例如，前景模型和背景模型的分发周期也可以不同。并且，前景模型的分发周期也可以小于背景模型的分发周期。例如，在摄像装置121的记录帧率为30帧/秒的情况下，数据传输装置119，按照摄像装置121的记录帧率，将前景模型以30模型/秒分发。并且，数据传输装置119，例如，作为背景模型分发一个模型。

并且，数据传输装置119也可以，在分发前景模型时，生成作为当前时刻的前景模型和前时刻的前景模型的差分的差分模型，分发生成的差分模型。并且，数据传输装置119也可以，预测前景模型的运动，根据前时刻的前景模型生成预测模型，生成作为当前时刻的前景模型和预测模型的差分的差分模型，分发生成的差分模型、和示出运动的预测结果的运动信息。据此，能够削减前景模型的信息量，因此，能够抑制网络的频带。进而，数据传输装置119也可以，对差分模型和运动信息进行可变长编码或算术编码，从而压缩发送数据的信息量。

并且，数据传输装置119也可以，在分发背景模型时，在用户的视听开始时分发一个背景模型。或者，数据传输装置119也可以，按预先决定的每一定间隔发送背景模型。此时，数据传输装置119也可以，生成作为当前的背景模型和上次分发的背景模型的差分的差分模型，发送生成的差分模型。据此，能够削减分发的背景模型的信息量，因此，能够抑制网络宽带。

并且，数据传输装置119也可以，在随机访问点，发送前景模型和背景模型的双方。据此，影像显示终端117A，在切换用户想要视听的时刻时总是能够利用适当的前景模型和背景模型生成自由视点影像。

图13是示出用户的视听开始时分发一个背景模型时的前景模型和背景模型的分发例的图。如图13示出，数据传输装置119在用户的视听开始时分发一个背景模型。影像显示终端117A利用其背景模型、和按每个时刻接收的前景模型，生成自由视点影像。

图14是示出按每一定间隔分发背景模型时的前景模型和背景模型的分发例的图。如图14示出，数据传输装置119，以预先决定的一定间隔分发背景模型。在此，该一定间隔，比前景模型的分发间隔长。影像显示终端117A，利用紧前接收的背景模型、以及按每时刻接收的前景模型，生成自由视点影像。

并且，数据传输装置119也可以，在将前景模型和背景模型编码并分发的情况下，按每模型切换编码方法。也就是说，数据传输装置119也可以，对前景模型和背景模型利用不同编码方法。例如，数据传输装置119，针对前景模型，适用以影像显示终端117A侧的即时再生为目的，且低延迟为优先的编码方法。并且，数据传输装置119，针对背景模型，适用为了尽量削减信息量而高效率为优先的编码方式。据此，选择基于各个模型的使用用途的适当的编码方法，从而能够削减数据量，并且，能够提高系统的功能性。

而且，数据传输装置119也可以，针对前景模型利用高效率的编码方式，针对背景模型利用与前景模型相比低效率的编码方式。例如，背景模型，由于分发频度少，因此，即使利用低效率的编码方式来增加数据量，网络负荷也难以增加。另一方面，通过利用处理轻的低效率的编码方式，从而能够抑制服务器或终端的针对背景模型的处理负荷。并且，前景模型的更新频度多。因此，即使服务器或终端的处理负荷高，通过尽量高效率地编码前景模型，从而也能够削减网络负荷。而且，数据传输装置119也可以，代替进行低效率的编码方式，而不进行编码，原样地发送模型。

并且，数据传输装置119也可以，将前景模型和背景模型利用具有不同特性的网络或协议分发。例如，数据传输装置119，针对前景模型，以影像显示终端117A侧的即时再生为目的，利用数据包损失少、可靠度高的高速网络，并且，利用UDP(User Datagram Protocol)等的低延迟的分发协议。并且，数据传输装置119，针对背景模型，为了一边确保前景模型的发送频带，一边确实分发背景模型，而利用低速度的网络，并且，利用TCP(TransmissionControl Protocol)等的容错性高的协议。并且，针对背景模型适用利用了HTTP(HypertextTransfer Protocol)等的下载分发，针对前景模型适用利用了RTP(Real－time TransportProtocol)等的流分发，从而也可以实现前景模型的低延迟化。

并且，数据传输装置119也可以，从影像显示终端117A获得用户正在视听的视点位置信息，利用该信息切换要分发的三维模型。例如，数据传输装置119也可以，优先分发从用户正在视听的视点看的影像的生成所需要的前景模型和背景模型。并且，数据传输装置119也可以，高精度(高密度)地分发从用户正在视听的视点看的影像的生成所需要的前景模型，对于其他的模型，通过进行稀疏处理等，从而降低模型的精度(密度)来分发。据此，能够削减分发数据量。而且，关于背景模型，也可以不进行这样的切换。

并且，数据传输装置119也可以，按照能够利用的网络宽带改变要分发的三维模型的密度或分发周期。例如，数据传输装置119也可以，网络宽带越窄，就越使三维模型的密度变稀，或者，使分发周期变长。并且，按照数据传输装置119分发的三维模型的密度，影像显示终端117A也可以，切换绘制的分辨率。例如，在网络宽带窄的情况下，数据传输装置119，通过稀疏处理等使三维模型的密度变稀来分发。并且，影像显示终端117A，降低绘制分辨率来显示影像。

并且，对于三维模型的密度的削减方法，能够利用均匀进行稀疏处理的方法、或者按照对象物体切换稀疏的有无或方法的方法等。例如，数据传输装置119，以稠密的三维模型分发重要的被摄体，以稀疏的三维模型分发其他的被摄体。据此，能够一边维持重要的被摄体的画质，一边削减分发数据量。并且，数据传输装置119也可以，在网络宽带变窄的情况下，使前景模型的分发周期变长等，降低要分发的三维模型的时间上的分辨率。

再次，参照图12。接着，影像显示终端117A，进行利用被分发的三维模型的三维空间识别。首先，视点决定部151，决定虚拟视点(S105C)。接着，绘制部152，利用三维模型进行绘制，从而生成作为从虚拟视点看的影像的自由视点影像(S106C)。而且，这些处理，与实施方式1的步骤S105以及S106的处理同样。接着，影像显示部153，显示生成的自由视点影像(S108C)。

影像显示终端117A也可以，在从数据传输装置119接收三维模型时，分为前景模型和背景模型接收。此时，影像显示终端117A也可以，分析头信息等，获得用于区别各个模型是前景模型还是背景模型的标志或标识符。

前景模型和背景模型接收周期也可以不同。并且，前景模型的接收周期也可以小于背景模型的接收周期。例如，对于前景模型，在摄像装置121的记录帧率为30帧/秒的情况下，影像显示终端117A，按照摄像装置121的记录帧率，以30模型/秒接收前景模型。并且，影像显示终端117A，作为背景模型接收一个模型。

影像显示终端117A也可以，在接收前景模型时，接收作为当前时刻的前景模型与前时刻的前景模型的差分的差分模型，将前时刻的前景模型与差分模型相加，从而生成当前时刻的前景模型。并且，影像显示终端117A也可以，接收差分模型、以及示出运动预测的结果的运动信息，根据接收的运动信息和前时刻的前景模型生成预测模型，将差分模型与预测模型相加，从而生成当前时刻的前景模型。据此，能够削减接收的前景模型的信息量，因此，能够抑制网络的频带。进而，在差分模型和运动信息由可变长编码或算术编码压缩的情况下，影像显示终端117A也可以，对接收的数据进行可变长解码或算术解码，从而对差分模型以及运动信息进行解码。

并且，影像显示终端117A也可以，在接收背景模型时，在用户的视听开始时接收一个背景模型，在所有的时刻反复使用一个背景模型。或者，影像显示终端117A也可以，按预先决定的每一定间隔接收背景模型。此时，影像显示终端117也可以，接收作为上次接收的背景模型与当前的背景模型的差分的差分模型，将上次的背景模型与差分模型相加，从而生成当前的背景模型。据此，能够削减接收的背景模型的信息量，因此，能够抑制网络宽带。

并且，影像显示终端117A也可以，在随机访问点，接收前景模型以及背景模型的双方。据此，影像显示终端117A，在切换用户想要视听的时刻时总是能够利用适当的前景模型和背景模型生成自由视点影像。

并且，影像显示终端117A也可以，在因网络错误等而不能接收三维模型的情况下，利用已经接收的三维模型进行绘制处理。例如，影像显示终端117A也可以，在不能接收前景模型的情况下，根据已经接收的前景模型通过运动预测生成预测模型，将生成的预测模型作为当前时刻的前景模型利用。并且，影像显示终端117A，在不能接收背景模型的情况下，也可以利用已经接收的背景模型，也可以利用CG模型。并且，影像显示终端117A也可以，在不能接收背景模型或前景模型的情况下，利用CG图像等、事先准备的模型或绘制图像。据此，即使在不能接收三维模型的情况下，影像显示终端117A也能够将绘制图像提供给用户。

并且，数据传输装置119也可以，将照相机参数、多视点影像摄像装置111获得的拍摄影像、背景图像、背景差分图像、各个拍摄影像或三维模型生成时的时刻信息、绘制开始时的视点位置信息、以及绘制用的时刻信息之中的至少一个，分发给影像显示终端117A。

并且，数据传输装置119也可以，在摄像装置121为固定的照相机的情况下，仅在视听开始时将照相机参数分发给影像显示终端117A。并且，数据传输装置119也可以，在校正指示装置114进行校正的定时将照相机参数分发给影像显示终端117A。并且，在摄像装置121为非固定的情况下，数据传输装置119也可以，每当更新照相机参数时将该照相机参数分发给影像显示终端117A。

并且，数据传输装置119也可以，将多视点影像摄像装置111获得的拍摄影像、背景图像、或背景差分图像编码后分发。据此，能够削减发送数据的数据量。例如，数据传输装置119也可以，采用利用了多视点图像间的相关的H.264或H.265的多视点编码(MVC)。并且，数据传输装置119也可以，将各个摄像装置121的影像分别独立地由H.264或H.265编码后分发。据此，能够削减向影像显示终端117A分发的数据的数据量。

绘制开始时的视点位置信息也可以是，在用户开始时经由影像显示终端117A指定的。并且，视点决定部151也可以，按照影像显示终端117A的视听的样式、或影像显示终端117A的种类，切换视点位置。例如，在电视机的视听的情况下，视点决定部151，决定系统侧指定的推荐视点、从与球近的摄像装置121的视点、从拍摄球场的中心的摄像装置121的视点、或视听率高的视点等，以作为开始视点。并且，在用户的平板电脑或智能手机等的个人终端的视听的情况下，视点决定部151，决定用户喜爱的选手存在的视点等，以作为开始视点。并且，在头戴式显示器的视听的情况下，视点决定部151，决定VR(Virtual Reality)用的推荐视点、例如球场上的选手视点、或从球员席的视点等，以作为开始视点。

(实施方式4)

在本实施方式中，说明实施方式2涉及的下一代监视系统102的变形例。图15是示出本实施方式涉及的下一代监视系统104的结构的框图。图15示出的下一代监视系统104，相对于图8示出的下一代监视系统102不同之处是，追踪部154以及场景分析部155被设置在影像显示终端117B内。

图16是示出下一代监视系统104的工作的流程图。而且，步骤S101、S103以及S107C，与图12示出的实施方式3的处理同样。

接着，影像显示终端117B，进行利用三维模型的三维空间识别。具体而言，追踪部154，在三维空间上追踪人物(S105D)。场景分析部155，进行场景分析(S106D)。而且，影像显示终端117B，显示三维空间识别的结果(S108D)。而且，这些处理，与实施方式2的步骤S105B、S106B以及S108B的处理同样。

(实施方式5)

在所述实施方式中，说明了三维模型包括前景模型和背景模型的例子，但是，三维模型包括的模型，不仅限于前景模型和背景模型的两个模型。

图17是示出本实施方式涉及的自由视点影像生成系统105的结构的框图。图17示出的自由视点影像生成系统105，相对于图11示出的自由视点影像生成系统103不同之处是，三维空间重构装置115A的结构。该三维空间重构装置115A具备，生成第一模型的第一模型生成部133、生成第二模型的第二模型生成部134、以及生成第三模型的第三模型生成部135。

三维空间重构装置115A，生成包括第一模型、第二模型以及第三模型的三维模型。数据传输装置119将第一至第三模型分别以不同的分发方式分发给影像显示终端117A。三维空间重构装置115A，以不同频度更新各个模型。数据传输装置119，以不同周期将各个模型分发给影像显示终端117A。例如，第一模型是前景模型，第二模型是背景模型的一部分，第三模型是第二模型以外的背景模型。在此情况下，在摄像装置121的记录帧率为30帧/秒的情况下，数据传输装置119，按照摄像装置121的记录帧率，将第一模型以30模型/秒分发。并且，数据传输装置119，将第二模型以1模型/秒分发，作为第三模型在视听开始时分发一个模型。据此，能够将背景模型之中的更新频度不同的区域作为其他模型以其他周期分发，因此，能够抑制网络宽带。

并且，数据传输装置119也可以，在三维模型，附加用于识别两个以上的模型的标识符。据此，影像显示终端117A分析标识符，从而能够判断接收的三维模型符合哪个模型。

而且，在此，说明了利用三个模型的例子，但是，也可以利用四个以上的模型。

并且，在利用两个模型的情况下，该两个模型也可以是，前景模型以及背景模型以外。例如，三维数据也可以包括，更新频度多且数据量多的第一模型、以及更新频度少且数据量少的第二模型。并且，数据传输装置119也可以，将各个模型分别以不同的分发方式分发给影像显示终端117A。此时，按每个模型更新频度不同，因此，数据传输装置119，将各个模型以不同周期分发给影像显示终端117A。例如，在摄像装置121的记录帧率为30帧/秒的情况下，数据传输装置119，按照摄像装置121的记录帧率，将第一模型以30模型/秒分发。并且，数据传输装置119，作为第二模型在视听开始时分发一个模型。据此，能够将数据量不同的三维模型以不同周期分发，因此，能够抑制网络宽带。

并且，第一模型以及第二模型也可以是重要度不同的模型。并且，数据传输装置119也可以，将各个模型分别以不同的分发方式分发给影像显示终端117A。此时，按每个模型重要度不同，因此，数据传输装置119，将各个模型以不同周期分发给影像显示终端117A。例如，将第一模型设为重要度高的模型，将第二模型设为重要度低的模型。在此情况下，在摄像装置121的记录帧率为30帧/秒的情况下，数据传输装置119，按照摄像装置121的记录帧率，将第一模型以30模型/秒分发，将第二模型以15模型/秒分发。据此，能够优先分发重要度高的三维模型，因此，能够抑制网络宽带，并且，能够向利用影像显示终端117A的用户提供适当的绘制影像。

并且，数据传输装置119也可以，按照重要度切换分发周期以外。例如，数据传输装置119也可以，按照优先级切换模型的密度。例如，数据传输装置119，在分发足球比赛的三维模型的情况下，判断在一方的球门前争斗的选手的三维模型为重要度高，判断位于另一方的球门附近的守门员的三维模型为重要度低。而且，数据传输装置119，将守门员的三维模型的密度设为比重要度高的三维模型低来分发。而且，数据传输装置119也可以，不分发重要度低的三维模型。并且，数据传输装置119，例如，根据判断对象的模型，是否与球等的特定的特征点或对象物近，或者，是否与视听者多次看的视点位置近等，进行重要度的高低的判断。例如，将与特定的特征点或对象物近的模型的重要度设定为高，将与视听者多次看的视点位置近的模型的重要度设定为高。

而且，各个模型，例如，也可以是由对象识别等判别的一个以上的对象(例如，人，球，车辆等)的集合，也可以是背景以及前景等的根据运动判别的区域或对象的集合。

并且，对于实施方式4中说明的下一代监视系统104，也能够适用同样的变形例。图18是示出本实施方式涉及的下一代监视系统106的结构的框图。图18示出的下一代监视系统106，相对于图15示出的下一代监视系统104不同之处是，三维空间重构装置115A的结构。而且，三维空间重构装置115A的功能等，与图17同样。

以上，如实施方式1至4中说明，三维模型分发装置(例如数据传输装置119)，将作为对象时间段的对象空间的三维模型的第一模型(例如前景模型)以第一分发方式分发，将作为对象时间段的对象空间的三维模型的、每单位时间的变化比第一模型小的第二模型(例如背景模型)，以与第一分发方式不同的第二分发方式分发。也就是说，三维模型分发装置，将前景模型和背景模型分别发送。

例如，第一模型和第二模型的发送周期不同。例如，第一分发方式的分发周期，比第二分发方式的分发周期短。并且，三维模型分发装置，将第一模型以按预先决定的每一定间隔发送。此时，三维模型分发装置也可以，发送作为当前时刻的第一模型与前时刻的第一模型的差分的差分模型。并且，三维模型分发装置也可以，发送当前时刻的第一模型的、从前时刻的第一模型的运动信息。

例如，三维模型分发装置，在视听开始时发送第二模型。或者，三维模型分发装置，以按预先决定的每一定间隔发送第二模型。并且，三维模型分发装置也可以，发送作为当前的第二模型、与上次发送的第二模型的差分的差分模型。并且，三维模型分发装置也可以，按每随机访问点发送第二模型。

并且，三维模型分发装置也可以，发送用于区别各个模型是第一模型还是第二模型的标志等的信息。

并且，三维模型分发装置也可以，在随机访问点，发送第一模型以及第二模型的双方。

并且，三维模型分发装置也可以，以不同方法生成第一模型和第二模型。具体而言，三维模型分发装置，以第一生成方法生成第一模型，以精度与第一生成方法不同的第二生成方法生成第二模型。例如，三维模型分发装置，以第一生成方法生成第一模型，以精度比第一生成方法高的第二生成方法生成第二模型。或者，三维模型分发装置，以第一生成方法生成第一模型，以精度比第一生成方法低的第二生成方法生成第二模型。例如，三维模型分发装置，在需要将运动员或犯人等的第一模型(前景模型)尽量绘制为高画质的情况下，即使数据量增加，也高精度地生成第一模型。另一方面，三维模型分发装置，对于观众或背景图像等的、比前景不重要的区域的第二模型，降低精度来抑制数据量。

例如，三维模型分发装置，根据作为对象时间段的对象空间中包括的多个对象物的三维模型的第三模型、以及作为对象时间段的对象空间中包括的多个对象物之中的一部分的对象物的三维模型的第二模型(背景模型)，生成作为第三模型与第二模型的差分的第一模型(前景模型)。

例如，三维模型分发装置，生成作为对象时间段的对象空间中包括的多个对象物被拍摄的第一多视点图像(拍摄图像)、与该多个对象物之中的一部分的对象物被拍摄的第二多视点图像(背景图像)的差分的第三多视点图像(背景差分图像)，利用第三多视点图像(背景差分图像)，生成第一模型(前景模型)。

并且，三维模型分发装置也可以，通过利用第二多视点图像(拍摄图像)或第三多视点图像(背景差分图像)的视体积交叉法方式生成第一模型，利用照相机间的特征点的匹配结果生成第二模型。据此，能够减少第一模型的生成的处理量，并且，能够提高第二模型的精度。而且，三维模型分发装置也可以，由手动制作第二模型。

三维模型分发装置也可以，分发三维模型以外的数据。例如，三维模型以外的数据包括，照相机参数、多视点图像、背景差分图像、时刻信息、以及开始时的视点位置的至少一个。

并且，三维模型分发装置也可以，将固定照相机的照相机参数在视听开始时分发，将非固定照相机的照相机参数每当该照相机参数发生变化时分发。

并且，对于视听开始时的视点位置，用户也可以在视听开始时指定。或者，也可以将视听开始时的视点位置，按照视听样式或终端的种类切换。例如，在电视机的视听的情况下，选择推荐视点、固定照相机的某个(例如，与球近，或球场的中心)、或者视听率高的视点。并且，在个人的平板终端或智能手机的视听的情况下，选择喜爱的选手存在的视点。并且，在头戴显示装置的视听的情况下，选择VR用的推荐视点(例如球场上的视点)。

并且，第一模型以及第二模型，不仅限于前景模型和背景模型的两个模型。并且，也可以生成两个以上的多个模型，分别以不同的分发方式分发。在此情况下，按每模型更新频度不同(即使背景也按照区域更新频度不同)，因此，三维模型分发装置，以不同的周期分发各个模型。并且，三维模型分发装置，附加用于识别两个以上的模型的标识符。

并且，三维模型分发装置，按每模型切换编码方法。

例如，在用于第一模型的第一分发方式中，利用第一编码方式。在用于第二模型的第二分发方式中，利用第二编码方式。第一编码方式和第二编码方式，处理延迟以及编码效率的至少一方不同。例如，第二编码方式，与第一编码方式相比处理延迟大。或者，第二编码方式，与第一编码方式相比编码效率高。或者，第二编码方式，与第一编码方式相比编码效率低。

并且，第一分发方式也可以，与第二分发方式相比低延迟。例如，三维模型分发装置，利用可靠度高的线路以低延迟分发第一模型(例如利用UDP)。并且，三维模型分发装置，以低速度线路分发第二模型(例如利用TCP)。或者，三维模型分发装置也可以，以下载分发(例如HTTP)第二模型，以流分发(例如RTP)第一模型。

并且，三维模型接收装置(例如影像显示终端117A)也可以，在因网络错误等而不能接收三维模型的情况下，利用已经接收的三维模型。例如，三维模型接收装置，在不能接收第一模型的情况下，根据已经接收的第一模型进行运动预测来生成预测模型，将生成的预测模型作为当前时刻的第一模型利用。

并且，三维模型接收装置，在不能接收第二模型的情况下，利用已经接收的第二模型。或者，三维模型接收装置，利用CG模型或CG图像等的、事先准备的模型或绘制图像。也就是说，三维模型接收装置也可以，对第一模型和第二模型进行不同的错误消除处理。

并且，三维模型分发装置也可以，优先分发用户看的视点的影像的生成所需要的第一模型和第二模型。例如，三维模型分发装置也可以，高精度地分发用户看的视点的影像的的生成所需要的第一模型，稀疏其他的第一模型。也就是说，第一模型以及第二模型的分发目的地的终端(例如影像显示终端117A)，利用第一模型以及第二模型，生成作为从选择视点看的影像的自由视点影像。三维模型分发装置，优先分发第一模型之中的、自由视点影像的生成所需要的模型。

并且，三维模型分发装置也可以，按照能够利用的网络宽带改变分发的三维模型的质量。例如，三维模型分发装置，按照网络宽带切换三维模型的密度或绘制分辨率。三维模型分发装置，在频带严格的情况下使三维模型的密度变稀，使绘制分辨率变小。并且，对于三维模型的密度切换，能够利用均匀稀疏、或按照对象物体切换等的方法。并且，三维模型分发装置，在频带严格的情况下进行使第一模型的分发周期变长等的、降低分发的三维模型的时间上的分辨率的处理。

并且，在所述说明中，说明了利用多视点影像摄像装置111获得的多视点影像生成三维模型的例子，但是，三维模型(前景模型以及背景模型)的生成方法不仅限于所述。例如，三维模型也可以是，利用由照相机以外的手段、例如LIDAR(Light Detection andRanging)或TOF(Time of Flight)等获得的信息来生成的。并且，也可以利用这些信息，生成用于三维模型的生成的多视点影像。

并且，对于三维模型，只要是表示对象物体的三维位置的信息，就可以任何形态。例如，三维模型也可以是，点云、体素、网格、多边形、或深度信息等的形态。

(实施方式6)

在本实施方式中，三维空间重构装置115C，根据三维模型生成一个以上的深度图像，将生成的深度图像压缩并分发到影像显示终端117C。影像显示终端117C，根据接收的深度图像恢复三维模型。如此，有效地将深度图像压缩并分发，从而能够抑制分发时的网络宽带。

图19是示出本实施方式涉及的自由视点影像生成系统107的结构的框图。图19示出的自由视点影像生成系统107，相对于图17示出的自由视点影像生成系统105不同之处是，三维空间重构装置115C、数据传输装置119C以及影像显示终端117C的结构。三维空间重构装置115C，除了具备三维空间重构装置115A的结构以外，还具备第一深度图像生成部136、第二深度图像生成部137、以及第三深度图像生成部138。影像显示终端117C，除了具备影像显示终端117A的结构以外，还具备模型恢复部156。

三维空间重构装置115C，代替分发三维模型，而根据制作的三维模型生成一个以上的深度图像(距离图像)。数据传输装置119C，将生成的一个以上的深度图像分发到影像显示终端117C。在此情况下，影像显示终端117C，接收一个以上的深度图像，恢复(生成)三维模型，利用恢复后的三维模型、以及接收的拍摄图像生成绘制图像。

图20是示出自由视点影像生成系统107的工作的流程图。图20示出的处理，相对于图12示出的处理，代替步骤S107C而包括步骤S121至S123。

步骤S101以及S103，与实施方式5同样，由第一模型生成部133、第二模型生成部134以及第三模型生成部135生成第一模型、第二模型以及第三模型。

接着，第一深度图像生成部136根据第一模型生成一个以上的第一深度图像，第二深度图像生成部137根据第二模型生成一个以上的第二深度图像，第三深度图像生成部138根据第三模型生成一个以上的第三深度图像(S121)。

接着，数据传输装置119C，对生成的第一深度图像、第二深度图像以及第三深度图像，进行二维的图像压缩处理等，从而削减这些深度图像的数据量。而且，数据传输装置119C，将压缩后的第一深度图像、第二深度图像以及第三深度图像分发到影像显示终端117C(S122)。

接着，影像显示终端117C的模型恢复部156，对接收的第一深度图像、第二深度图像以及第三深度图像进行解码，利用第一深度图像恢复(生成)第一模型，利用第二深度图像恢复(生成)第二模型，利用第三深度图像恢复(生成)第三模型(S123)。

而且，与实施方式5同样，视点决定部151，决定用户想要看的视点(S105C)。绘制部152，利用恢复后的第一至第三模型、以及接收的拍摄图像，生成作为从决定的视点看的图像的绘制图像(S106C)。影像显示部153，显示绘制图像(S108C)。

如此，数据传输装置119C，代替分发三维模型，而分发作为二维图像的深度图像。据此，数据传输装置119C，能够利用H.264或H.265那样的标准的图像压缩方式将深度图像压缩后发送，因此，能够抑制数据传输量。

而且，第一至第三模型，也可以由点群(点云)、网格、或多边形构成。

并且，在此，与实施方式5同样，以生成第一至第三模型的情况为例子进行了说明，但是，与实施例1至4同样，在生成前景模型以及背景模型的情况下也能够适用同样的方法。并且，在生成一个三维模型的情况下，也能够适用同样的方法。

并且，在此，以自由视点影像生成系统为例子进行了说明，但是，针对下一代监视系统也能够适用同样的方法。

并且，三维空间重构装置115C也可以，除了深度图像以外，还分发与深度图像对应的照相机参数。例如，该照相机参数是深度图像的视点的照相机参数。照相机参数包括，示出照相机的焦点距离、以及图像中心等的内部参数、和示出照相机的姿势(三维位置以及朝向)等的外部参数。三维空间重构装置115C，利用该照相机参数，根据三维模型生成深度图像。

而且，对于发送的信息，不仅限于照相机参数，而是根据三维模型生成深度图像时使用的参数即可。也就是说，该参数是，将三维模型投影到规定的视点(深度图像的视点)拍摄面的参数即可。例如，该参数也可以是，利用照相机参数计算出的投影矩阵。

并且，影像显示终端117C，将一个以上的深度图像的各个像素，利用接收的照相机参数投影到三维空间，从而生成三维模型。

并且，三维空间重构装置115C也可以，生成将三维模型投影到与各个摄像装置121的拍摄面同一平面的多个深度图像。据此，拍摄图像与深度图像的视点位置相同。因此，例如，在数据传输装置119C，将多视点影像摄像装置111的多个视点的拍摄图像利用作为H.264或H.265的补充标准的多视点编码来压缩的情况下，能够利用深度图像计算拍摄图像间的视差信息，利用视差信息生成视点间的预测图像。据此，能够削减拍摄图像的代码量。

并且，三维空间重构装置115C也可以，将三维模型投影到与不同于摄像装置121的视点的某视点的摄像面同一平面，从而生成深度图像。也就是说，深度图像的视点也可以，与拍摄图像的视点不同。例如，三维空间重构装置115C，将三维模型投影到影像显示终端117C能够容易恢复三维模型的视点位置，从而生成深度图像。据此，影像显示终端117C能够生成错误少的三维模型。并且，影像显示终端117C能够容易恢复三维模型的视点是，例如，更多的对象物映出的视点。

并且，数据传输装置119C，也可以将深度图像压缩并发送。例如，数据传输装置119C也可以，利用H.264、或H.265等的二维图像压缩方式压缩(编码)深度图像。并且，数据传输装置119C也可以，像多视点编码方式那样，利用不同视点的深度图像间的依赖关系进行压缩。例如，数据传输装置119C也可以，利用根据照相机参数计算出的视差信息生成视点间的预测图像。

并且，三维空间重构装置115C也可以，决定表现深度图像的各个像素值的位长，以使三维空间重构装置115C生成的三维模型、与影像显示终端117C恢复的三维模型的误差成为某一定值以下。例如，三维空间重构装置115C也可以，将深度图像的位长，在与被摄体的距离近的情况下设定为第一位长(例如8位)，在与被摄体的距离远的情况下设定为比第一位长长的第二位长(例如16位)。或者，三维空间重构装置115C也可以，按照与被摄体的距离适应性地切换位长。例如，三维空间重构装置115C也可以，与被摄体的距离越远，就越使位长短。

如此，三维空间重构装置115C，按照影像显示终端117C恢复的三维模型的误差，对分发的深度图像的位长进行控制。据此，能够将影像显示终端117C恢复的三维模型的误差抑制在容许范围，并且，能够削减分发的深度图像的信息量来削减网络负荷。例如，若将深度图像的位长设为8位，则与将位长设为16位的情况相比，影像显示终端117C恢复的三维模型的误差增加，另一方面，能够削减分发的网络负荷。

并且，在构成三维模型的各个点群附加有颜色信息的情况下，三维空间重构装置115C也可以，将各个点群和颜色信息投影到与一个以上的视点的拍摄面同一平面，从而生成包括深度图像和颜色信息的纹理图像。在此情况下，数据传输装置119C也可以，将深度图像和纹理图像压缩并分发。并且，影像显示终端117C，对压缩后的深度图像和纹理图像进行解码，利用获得的一个以上的深度图像和纹理图像，生成三维模型、以及三维模型中包括的点群的颜色信息。而且，影像显示终端117C，利用生成的三维模型和颜色信息，生成绘制图像。

而且，对于深度图像和纹理图像的压缩，也可以由数据传输装置119C进行，也可以由三维空间重构装置115C进行。

三维空间重构装置115C或数据传输装置119C也可以，分发从拍摄图像中减去背景图像而生成的所述背景差分图像。在此情况下，影像显示终端117C也可以，利用背景差分图像生成三维模型，利用生成的三维模型生成绘制图像。

三维空间重构装置115C或数据传输装置119C也可以，分发示出各个模型位于三维空间上的哪个位置的位置信息。据此，影像显示终端117C能够，生成各个模型后，利用接收的位置信息简单地合并各个模型。例如，三维空间重构装置115C，在生成模型时，在三维空间上检测点群等，从而计算各个模型的位置信息。并且，三维空间重构装置115C也可以，在二维的拍摄图像上预先检测选手等的特定的被摄体，利用多个拍摄图像和被摄体检测信息确定被摄体(模型)的三维位置。

深度图像是，表示某视点至被摄体的距离的二维图像信息，在深度图像的各个像素，存放有表示投影到各个像素的三维模型的点群为止的距离信息的值。而且，表示深度的信息并不一定需要是图像，若表示构成三维模型的各个点群为止的距离信息，则可以是任何信息。

并且，在所述说明中示出了，三维空间重构装置115C，根据背景差分图像等一旦生成三维模型，将该三维模型投影到各个视点来生成深度图像的例子，但是，不仅限于此。例如，三维空间重构装置115C也可以，利用LIDAR等根据图像以外生成三维模型，根据该三维模型生成深度图像。并且，三维空间重构装置115C也可以，例如，从外部获得预先生成的三维模型，根据获得的三维模型生成深度图像。

并且，三维空间重构装置115C也可以，按每个模型，将深度图像的位长设定为不同的值。例如，三维空间重构装置115C也可以，将第一深度图像和第二深度图像的位长分别设定为不同的值。并且，数据传输装置119C也可以，将示出第一深度图像和第二深度图像各自的位长的信息，分发到影像显示终端117C。例如，在第一模型为前景模型，第二模型为背景模型的情况下，三维空间重构装置115C，将需要更高精细的模型精度的前景模型的第一深度图像的位长设定为16位，将即使粗糙的模型精度也没有问题的背景模型的第二深度图像的位长设定为8位。据此，能够抑制分发的深度图像的信息量，并且，能够向前景模型等的需要影像显示终端117C的高精度的模型的恢复的部分的深度图像优先分配位长。

并且，数据传输装置119C也可以，将需要高精度的模型的深度图像分发到影像显示终端117C，不将不需要高精度的模型的深度图像分发到影像显示终端117C。例如，数据传输装置119C，将前景模型的第一深度图像分发到像影显示终端117C，不将背景模型的第二深度图像分发到像影显示终端117C。在此情况下，影像显示终端117C，利用预先准备的背景模型。据此，能够削减分发的深度图像的信息量，能够抑制网络负荷。

并且，也可以判断影像显示终端117C，使用根据分发的深度图像恢复的三维模型，还是，使用预先准备的三维模型。例如，在影像显示终端117C是具有高性能的处理能力的终端的情况下，影像显示终端117C，根据分发的前景模型的深度图像和背景模型的深度图像恢复各自的三维模型，在绘制中使用获得的三维模型，从而能够生成前景和背景均为高质量的绘制图像。另一方面，在影像显示终端117C是智能手机那样的终端处理能力低且需要抑制消耗电力等的终端的情况下，影像显示终端117C，根据分发的深度图像恢复前景模型，不使用作为背景模型分发的深度图像，而使用预先准备的背景模型。据此，能够抑制处理量，并且，能够生成前景为高质量的绘制图像。如此，按照影像显示终端117C的处理能力切换使用的三维模型，从而能够保持绘制图像的质量和基于处理量减少的消耗电力的平衡。

以下，说明三维模型的生成以及恢复方法的具体例。图21是用于说明作为三维模型生成以及恢复背景模型的图。

首先，三维空间重构装置115C，根据背景图像生成背景模型(S101，S103)。而且，该处理的详情，例如，与图7示出的步骤S111同样。

接着，三维空间重构装置115C，根据背景模型的点群生成视点A的深度图像(S121)。具体而言，三维空间重构装置115C，利用视点A的照相机参数计算投影矩阵A。接着，三维空间重构装置115C，利用投影矩阵A将背景模型的点群投影到视点A的投影面，从而制作深度图像(距离图像)。

此时，会有多个点群投影到深度图像的同一像素的情况。在此情况下，例如，三维空间重构装置115C，将与视点A的投影面的距离最近的值作为深度图像的像素值利用。据此，能够防止混入因成为被摄体的阴影而从视点A看不到的被摄体的深度值，因此，能够准确地生成深度图像。

并且，数据传输装置119C，分发生成的深度图像(S122)。此时，数据传输装置119C，将H.264或H.265等的标准的二维图像压缩适用于深度图像从而削减数据量。或者，数据传输装置119C也可以，采用利用了视点间的视差的多视点编码方式压缩深度图像。

并且，数据传输装置119C，将根据三维模型生成深度图像时使用的照相机参数与深度图像一起分发。而且，数据传输装置119C也可以，代替照相机参数，或者，除了照相机参数以外，而分发利用照相机参数计算出的所述投影矩阵A。

接着，影像显示终端117C，将多个视点的深度图像投影到三维空间，从而恢复背景模型的点群(S123)。此时，影像显示终端117C也可以，确认恢复的各个点群和各个视点在几何学术的位置关系上是否有问题，根据需要重新调整点群的位置。例如，影像显示终端117C，利用视点间的图像进行特征点的匹配，以与匹配的各个特征点对应的各个点群在三维空间上一致的方式调整各个点群的位置。据此，影像显示终端117C能够，高精度地恢复三维模型。

而且，在此，说明了生成以及恢复背景模型的例子，但是，对前景模型等的其他的模型也能够适用同样的方法。

接着，说明深度图像的例子。图22是示出深度图像的一个例子的图。深度图像的各个像素，表示与被摄体的距离信息。例如，深度图像，被表现为8位长的单色图像。在此情况下，与视点A的距离越近就越分配明亮的值(与255近的值)，与视点A的距离越远就越分配黑暗的值(与0近的值)。在图22示出的例子的情况下，被摄体A因与视点A近而分配明亮的值，被摄体B因与视点A远而分配更暗的值。背景比被摄体B更远，因此，分配比被摄体B暗的值。

而且，在深度图像中也可以，与视点A的距离越远就越分配明亮的值(与255近的值)，与视点A的距离越近就越分配黑暗的值(与0近的值)。并且，在图22示出的例子中以深度图像表现与被摄体的距离信息，但是，发送的信息，不仅限于此，若能够表现与被摄体的距离，则也可以是任何形式。例如，与被摄体A以及B的距离信息也可以，不是以图像表现，而是以文本信息等表现。并且，在此，深度图像的位长为8位，但是，位长，不仅限于此，也可以利用比8位大的值或小的值。在利用比8位大的值、例如16位的情况下，能够更仔细地再现与被摄体的距离信息，因此，能够提高影像显示终端117C的三维模型的恢复精度。因此，在影像显示终端117C中，能够恢复与三维空间重构装置115C生成的三维模型近的三维模型。另一方面，分发的深度图像的信息量增加，因此，网络负荷增加。

反而，在利用比8位小的值、例如4位的情况下，与被摄体的距离信息粗糙，因此，影像显示终端117C的三维模型的恢复精度降低。据此，恢复后的三维模型、与三维空间重构装置115C生成的三维模型的误差增加。另一方面，能够削减分发的深度图像的信息量，因此，能够抑制网络负荷。

三维空间重构装置115C也可以，根据在作为对象的应用程序中在影像显示终端117C是否需要高精度的三维模型，决定这样的深度图像的位长。例如，三维空间重构装置115C，若作为对象的应用程序不与绘制后的影像的质量无关，则使深度图像的位长变小，优先分发的网络负荷抑制。并且，三维空间重构装置115C，若作为对象的应用程序与影像的质量有关，则使深度图像的位长变大，即使分发的网络的负荷增大，也优先绘制后的图像的高画质化。

并且，三维空间重构装置115C也可以，按照分发的网络的负荷适应性地切换深度图像的位长。例如，在网络负荷高的情况下，三维空间重构装置115C，将位长设定为小，从而一边降低三维模型的精度一边抑制网络负荷。并且，三维空间重构装置115C，在网络负荷低的情况下，将位长设定为大，从而能够由影像显示终端117C生成详细的三维模型。而且，此时，三维空间重构装置115C也可以，将与深度图像的位长有关的信息存放到头信息等，与深度图像一起分发到影像显示终端117C。据此，能够向影像显示终端117C通知深度图像的位长。并且，三维空间重构装置115C，将深度图像的位长的信息，也可以按每个深度图像附加，也可以在位长变化的情况下附加，也可以按每个某周期，例如按每个随机访问点附加，也可以仅对最初的深度图像附加，也可以在其他的定时分发。

接着，说明深度图像的像素值的分配的例子。图23A、图23B以及图23C是示出深度图像的图像值的分配的第一至第三例子的图。

在图23A示出的第一分配方法中，在位长为8位的深度图像的像素值(深度像素值)中，按照距离线性地分配值。

在图23B示出的第二分配方法中，在位长为8位的深度图像的像素值中，向距离近的被摄体优先分配值。据此，能够提高距离近的被摄体的距离分辨率。因此，对前景模型的深度图像利用第二分配方法，从而能够提高前景模型的精度。三维空间重构装置115C也可以，将该第二分配方法的信息(即，示出哪个像素值与哪个距离对应的信息)包括在头信息等中来分发。或者，也可以根据标准等预先决定该信息，在发送侧以及接收侧利用相同的信息。

在图23C示出的第三分配方法中，在位长为8位的深度图像的像素值中，向距离远的被摄体优先分配值。据此，能够提高距离远的被摄体的距离分辨率。因此，对背景模型的深度图像利用第三分配方法，从而能够提高背景模型的精度。三维空间重构装置115C也可以，将该第三分配方法的信息(即，示出哪个像素值与哪个距离对应的信息)包括在头信息等中来分发。或者，也可以根据标准等预先决定该信息，在发送侧以及接收侧利用相同的信息。

并且，三维空间重构装置115C也可以，按每个模型切换所述分配方法。例如，三维空间重构装置115C也可以，对前景模型适用第二分配方法，对背景模型适用第三分配方法。

此时，三维空间重构装置115C也可以，将利用第一至第三分配方法之中的哪个分配方法，附加在分发的每个模型的头信息等。或者，也可以根据标准等预先决定对哪个模型适用哪个分配方法。

并且，三维空间重构装置115C也可以，将示出利用预先标准所决定的多个分配方法之中的哪个方法的信息附加在头信息等。

如上所述，三维空间重构装置115C或数据传输装置119C，根据三维模型生成深度图像，将深度图像、以及用于根据深度图像恢复三维模型的信息分发到影像显示终端117C。

并且，影像显示终端117C，接收根据三维模型生成的深度图像、以及用于根据深度图像恢复三维模型的信息，利用该信息根据深度图像恢复三维模型。

如此，不是原样地分发三维模型，而是分发根据三维模型生成的深度图像，从而能够抑制分发的数据量。

并且，三维空间重构装置115C，在所述深度图像的生成中，将三维模型投影到规定的视点的拍摄面来生成深度图像。例如，用于根据深度图像恢复三维模型的信息，包括将三维模型投影到规定的视点的拍摄面的参数。

例如，用于根据深度图像恢复三维模型的信息是，照相机参数。也就是说，三维空间重构装置115C，在深度图像的生成中，利用规定的视点的照相机参数，将三维模型投影到该视点的拍摄面，从而生成深度图像，所述信息包括所述照相机参数。

并且，所述信息包括，将三维模型投影到深度图像的拍摄面的参数，影像显示终端117C，在所述恢复中，利用参数根据深度图像恢复三维模型。

例如，所述信息包括，深度图像的视点的照相机参数，影像显示终端117C，在所述恢复中，利用照相机参数根据深度图像恢复三维模型。

或者，用于根据深度图像恢复三维模型的信息也可以是投影矩阵。也就是说，三维空间重构装置115C，在深度图像的生成中，利用规定的视点的照相机参数计算投影矩阵，利用该投影矩阵将三维模型投影到该视点的拍摄面，从而生成深度图像，所述信息包括，所述投影矩阵。

并且，所述信息包括，投影矩阵，影像显示终端117C，在所述恢复中，利用投影矩阵根据深度图像恢复三维模型。

例如，三维空间重构装置115C，进而，利用二维图像压缩方式压缩深度图像，在所述分发中，分发压缩后的深度图像。

并且，深度图像利用二维图像压缩方式而被压缩，影像显示终端117C，进而，对压缩后的深度图像进行解码。

据此，在三维模型的分发中，能够利用二维图像压缩方式压缩数据。因此，不需要重新构筑三维模型用的压缩方式，因此，能够容易削减数据量。

例如，三维空间重构装置115C，在所述深度图像的生成中，根据三维模型，生成不同视点的多个深度图像，在所述压缩中，利用多个深度图像间的关系，压缩多个深度图像。

并且，影像显示终端117C，在所述接收中，接收多个深度图像，在所述解码中，利用多个深度图像间的关系，对多个深度图像进行解码。

据此，例如，能够利用二维图像压缩方式的多视点编码方式等，更削减多个深度图像的数据量。

例如，三维空间重构装置115C，进而，利用多个摄像装置121拍摄的多个图像，生成三维模型，将多个图像分发到影像显示终端117C，深度图像的视点是，所述多个图像之中的任意图像的视点。

并且，影像显示终端117C，进而，接收多个图像，利用三维模型、以及多个图像生成绘制图像，深度图像的视点是，多个图像之中的任意图像的视点。

如此，深度图像的视点与拍摄图像的视点一致，因此，三维空间重构装置115C，例如，在将拍摄图像由多视点编码压缩的情况下，能够利用深度图像计算拍摄图像间的视差信息，利用视差信息生成视点间的预测图像。据此，能够削减拍摄图像的代码量。

例如，三维空间重构装置115C，进而，决定深度图像中包括的各个像素的位长，分发示出位长的信息。

并且，影像显示终端117C，进而，接收示出深度图像中包括的各个像素的位长的信息。

据此，能够按照被摄体或使用目的等切换位长，因此，能够适当地削减数据量。

例如，三维空间重构装置115C，在所述位长的决定中，按照与被摄体的距离决定位长。

例如，三维空间重构装置115C，进而，决定深度图像所示的像素值与距离的关系，将示出决定的关系的信息分发到影像显示终端117C。

并且，影像显示终端117C，进而，接收示出深度图像所示的像素值与距离的关系的信息。

据此，能够按照被摄体或使用目的等切换像素值与距离的关系，因此，能够提高恢复的三维模型的精度。

例如，三维模型包括，第一模型(例如前景模型)、以及每单位时间的变化比第一模型小的第二模型(例如背景模型)。深度图像包括，第一深度图像以及第二深度图像。三维空间重构装置115C，在所述深度图像的生成中，根据第一模型生成第一深度图像，根据第二模型生成第二深度图像，在所述关系的决定中，决定第一深度图像所示的像素值与距离的第一关系、以及第二深度图像所示的像素值与距离的第二关系。在第一关系中，第一距离范围(距离近的区域)的距离分辨率，比与所述第一距离范围相比远的第二距离范围(距离远的区域)的距离分辨率高(图23B)。在第二关系中，第一距离范围(距离近的区域)的距离分辨率，比第二距离范围(距离远的区域)的距离分辨率低(图23C)。

例如，三维模型中附加有颜色信息。三维空间重构装置115C，进而，根据三维模型生成纹理图像，利用二维图像压缩方式压缩纹理图像，在分发中，进而，分发压缩后的纹理图像。

并且，影像显示终端117C，进而，接收利用二维图像压缩方式压缩后的纹理图像，对压缩后的纹理图像进行解码，在所述恢复中，利用解码后的深度图像以及解码后的纹理图像，恢复附加有颜色信息的三维模型。

(实施方式7)

在本实施方式中，说明对三维数据进行编码的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法。

图24是示出对三维数据进行编码的三维数据编码方法的概略的图。

在对三维点群(三维点云或三维模型)等的三维数据200进行编码的三维编码方法中，对将三维数据200投影到二维平面而得到的二维图像201，适用图像编码或运动图像编码那样的二维压缩。由投影得到的二维图像201中包括，示出纹理或颜色的纹理信息202、以及示出投影方向的三维点群为止的距离的深度信息(距离信息)203。

在这样的由投影得到的二维图像中，会有因遮挡区域，而包括没有纹理信息或深度信息的孔区域(hole area)的可能性。孔区域示出，构成将三维数据投影到二维平面而得到的二维图像的多个像素之中的、没有投影三维数据的像素、或没有投影三维数据的像素的集合。这样的孔区域，使由投影得到的二维图像产生不连续、尖锐的边缘等。包括这样的不连续、尖锐的边缘等的二维图像，高空间频率成分大，因此，为了编码而成为高比特率。于是，为了提高编码效率，而需要将孔区域的周围的尖锐的边缘抑制到最小限度。

例如，为了不使孔区域的周围发生尖锐的边缘，而可以考虑进行变更孔区域的像素值的校正。接着，说明变更孔区域的像素值的校正。

图25A是示出包括孔区域的二维图像的一个例子的图。图25B是示出校正孔区域后的校正图像的一个例子的图。

图25A示出的二维图像210是，将三维数据投影到规定的二维平面而得到的二维图像。二维图像210中包括，没有投影三维数据的无效区域即孔区域214、215。并且，二维图像210中包括，投影了三维数据的有效区域即纹理区域211、212、213。

为了提高这样的二维图像210的编码效率，如上所述，需要利用其他的像素值适当地填充孔区域214、215。为了提高编码效率，例如，需要将孔区域214、215、与纹理区域211、212、213之间的纹理(或深度)的不连续抑制到最小限度。在本公开的一个形态涉及的三维模型编码方法中，利用纹理区域211至213的像素的像素值对孔区域214、215进行插值，从而使孔区域214、215与纹理区域211、212、213的差变小，进行这些多个区域211至215间的尖锐的边缘变得最小的校正。对于孔区域214、215的校正，例如，能够利用线性插值以及非线性插值的至少一方。

对于这样的校正，作为线性插值、非线性插值，也可以利用一维滤波，也可以利用二维滤波。

在校正中也可以，例如，将二维图像210中的纹理区域211至213的任意一个的与孔区域214、215的边界上的像素值(第一像素值)，分配到(变更为)该孔区域214、215的像素的像素值，从而对孔区域214、215进行插值。如此，在校正中，校正构成无效区域的一个以上的像素。在校正中也可以，利用与无效区域邻接的、作为有效区域之一的第一有效区域中的第一像素的第一像素值，校正无效区域。并且，在校正中也可以，在二维图像上，还利用作为夹着无效区域与第一有效区域相反一侧的有效区域的第二有效区域中的第二像素的第二像素值，校正无效区域。例如，第一像素也可以是，第一有效区域中与无效区域邻接的像素。同样，第二像素也可以是，第二有效区域中与无效区域邻接的像素。

据此，如图25B示出，生成具有像素值变更为纹理区域211至213中的像素(例如，像素226)的像素值的孔区域224、225的二维图像220。二维图像220是，校正图像的一个例子。

也可以将用于向孔区域214、215分配的像素值决定为，多个纹理区域211至213之中的、具有的与该孔区域214、215邻接的边界上的像素最多的纹理区域中的该边界上的像素的像素值。例如，在孔区域是由多个纹理区域包围的区域的情况下，也可以由与多个纹理区域分别对应的多个边界线之中的、最长的边界线对应的纹理区域中的像素的像素值，置换构成该孔区域的多个像素的像素值。而且，为了对孔区域进行插值，针对孔区域，不仅限于照原样适用与该孔区域邻接的纹理区域中的像素的像素值，而可以适用该纹理中的与孔区域的边界上的多个像素的像素值的平均值或中间值。

并且，若能够将孔区域的值设定为与纹理区域近的值，则不仅限于所述方法，也可以利用任何方法。例如，也可以将构成纹理区域的多个像素全部的像素值的平均值或中间值决定为，构成孔区域的多个像素的像素值。

图26A以及图26B是示出，基于线性插值的孔区域的校正的例子的图。在图26A以及图26B中，纵轴示出像素值，横轴示出像素的位置。图26A以及图26B示出，一维的例子，但是，也可以适用于二维。像素值是，例如，亮度值、色差值、RGB值、深度值等。

线性插值是，利用与孔区域邻接的两个纹理区域A、B各自的第一像素以及第二像素，校正无效区域的校正方法之一。在此，孔区域是，无效区域的一个例子，纹理区域A是，第一有效区域的一个例子，纹理区域B是，第二有效区域的一个例子。

在基于线性插值的校正中，利用纹理区域A中的第一像素P1的第一像素值V1、以及纹理区域B中的第二像素P2的第二像素值V2，将第一像素P1与第二像素P2之间的孔区域的多个像素各自的像素值变更为，在该多个像素各自的位置以及像素值的关系上，满足从第一像素值V1线性地变化为第二像素值V2的关系的像素值，从而校正孔区域。也就是说，在基于线性插值的校正中，将与构成纹理区域A以及纹理区域B之间的孔区域的多个像素分别对应的多个像素值变更为，在各个像素位置以及像素值的关系上，由直线连结以第一像素P1位置以及第一像素值V1示出的第一点、与以第二像素P2位置以及第二像素值V2示出的第二点的情况下，以与该多个像素各自的位置对应的所述直线上的点确定的像素值。

而且，在基于线性插值的校正中，如图26B示出，第一像素P11的第一像素值V11与第二像素P12的第二像素值V12的差ΔV2比规定值大的情况那样，即使以第一像素值V11以及第二像素值V12置换孔区域，纹理区域A、B与孔区域之间也留存不连续，在孔区域的周围包含高空间频率成分，因此，会有编码效率并不提高的情况。因此，例如，也可以进行图27A以及图27B所示的基于非线性插值的校正。据此，能够减少纹理区域A、B与孔区域之间的不连续。

图27A以及图27B是示出基于非线性插值的孔区域的校正的例子的图。在图27A以及图27B中，纵轴示出像素值，横轴示出像素的位置。图27A以及图27B示出，一维的例子，但是，也可以适用于二维。

在基于非线性插值的校正中，利用纹理区域A中的第一像素P1的第一像素值V1、以及纹理区域B中的第二像素P2的第二像素值V2，将第一像素P1与第二像素P2之间的孔区域的多个像素各自的像素值变更为，在该多个像素各自的位置以及像素值的关系上，满足以平滑的曲线从第一像素值V1变化为第二像素值V2的关系的像素值，从而校正孔区域。在此，平滑的曲线是，与纹理区域A的位置的像素值为第一像素值V1的第一直线在第一像素P1的位置平滑地连接、且与纹理区域B的位置的像素值为第二像素值V2的第二直线在第二像素P2的位置平滑地连接的曲线。例如，平滑的曲线是，具有两个拐点，像素值按照像素的位置从第一像素值V1向第二像素值V2单调变化的曲线。例如，如图27A示出，在第一像素值V1为比第二像素值V2大的值的情况下，平滑的曲线是，像素值按照位置从第一像素值V1向第二像素值V2单调减少的曲线。

在基于非线性插值的校正中，即使在与图26B对应的纹理区域A、B以及孔区域的情况下，如图27B示出，即使在第一像素P11的第一像素值V11与第二像素P12的第二像素值V12的差ΔV2比规定值大的情况下，构成孔区域的多个像素的像素值置换为与平滑的曲线对应的像素值，因此，能够有效地减少纹理区域A、B与孔区域之间的不连续。因此，能够提高编码效率。

并且，不仅限于图26A至图27B说明的所述校正方法，也可以利用其他的校正方法进行校正。

图28A至图28F是示出，其他的校正的例子的图。

如图28A示出的校正，也可以由将与构成纹理区域A以及纹理区域B之间的孔区域的多个像素分别对应的多个像素值，从纹理区域A的第一像素P21的第一像素值V21到纹理区域B的第二像素P22的第二像素值V22阶段性地变化的像素值，校正孔区域。

如图28B示出的校正，也可以将与构成纹理区域A以及纹理区域B之间的孔区域的多个像素分别对应的多个像素值设为，纹理区域A或纹理区域B的与孔区域的边界上的像素值，校正孔区域。据此，构成孔区域的多个像素的像素值的全部，统一成为纹理区域A或纹理区域B中的像素的像素值。在该校正中，例如，将构成孔区域的多个像素的所有的像素值设为，纹理区域A的与孔区域的边界上的第一像素P31的第一像素值V31，从而校正孔区域。

在此，图28C是示出以二维图像表现图28B的校正的例子的图。如图28C的(a)示出，在纹理区域A的与孔区域的边界上的第一像素P31a至P31e分别具有像素值A至E的情况下，孔区域的各个像素，如图28C的(b)示出，被分配垂直方向上位于与该像素相同的位置的第一像素的第一像素值，从而被校正。也就是说，在校正中，第一像素P31a的像素值A，分配到位于第一像素P31a的水平方向侧的孔区域的像素。同样，在校正中，第一像素P31b至P31e的像素值B至E，分别分配到位于第一像素P31b至P31e各自的水平方向侧的孔区域的像素。

而且，在图28C中，也可以将垂直方向替换为水平方向，将水平方向替换为垂直方向。也就是说，孔区域的各个像素，如图28C的(b)示出，被分配第一方向上位于相同的位置的第一像素的第一像素值，从而被校正。换句话说，在校正中，第一像素的像素值，分配到位于第一像素的与第一方向正交的第二方向侧的孔区域的像素。

并且，在图28B以外的图26A至图27B、图28A、图28D至图28F的方法中，也被分配以垂直方向上位于相同的位置的第一像素的第一像素值为基准的各个方法中计算出的像素值，从而被校正。

如图28D示出的校正，在二维编码的多个编码块的边界位于孔区域上的情况下，对孔区域中的比编码块的边界靠近纹理区域A侧的区域，以纹理区域A的与孔区域的边界上的像素值进行校正。也就是说，在该校正中，将从第一像素P41到边界为止之间的多个第一无效像素变更为第一像素值V41。并且，对孔区域中的比编码块的边界靠近纹理区域B侧的区域，以纹理区域B的与孔区域的边界上的像素值进行校正。也就是说，在该校正中，将从第二像素P42到边界为止之间的多个第二无效像素变更为第二像素值V42。据此，也可以校正孔区域。在此，编码块是，例如，在编码方式为H.264的情况下，宏块，在编码方式为H.265的情况下，CTU(Coding Tree Unit)或CU(Coding Unit)等。

如图28E的(a)示出，在纹理区域A以及纹理区域B之间没有孔区域、且纹理区域A以及纹理区域B间的像素值的差比规定值大的情况下，也可以设想为纹理区域A以及纹理区域B的边界上存在虚拟的孔区域，对虚拟的孔区域，利用图26A至图28D的方法进行校正。例如，图28E的(b)是，适用图27A以及图27B中说明的基于非线性插值的校正的例子。据此，即使在没有孔区域的情况下，也在纹理区域A以及纹理区域B之间存在陡峭的边缘的情况下，进行所述校正，从而能够减少纹理区域A、B间的陡峭的边缘，能够有效地减少代码量。

图28F是，在与图28E的(a)同样的情况下，以不同的方法校正边缘时的例子。

图28F的(a)是，与图28E的(a)同样的图。如此，在纹理区域A以及纹理区域B之间没有孔区域、且纹理区域A以及纹理区域B间的像素值的差比规定值大的情况下，如图28F的(b)示出，也可以使纹理区域B向远离纹理区域A的方向移动，从而生成虚拟的孔区域，对生成的虚拟的孔区域，利用图26A至图28D的方法，进行校正。例如，图28F的(b)是，适用图27A以及图27B中说明的基于非线性插值的校正的例子。据此，与图28E的情况同样，即使在没有孔区域的情况下，也在纹理区域A以及纹理区域B之间存在陡峭的边缘的情况下，进行所述校正，从而能够减少纹理区域A、B间的陡峭的边缘，能够有效地减少代码量。

而且，在校正中也可以，对由三维模型的投影得到的二维图像，与纹理区域或孔区域无关，而适用高斯滤波等的平滑滤波、或中值滤波等，再次将纹理区域分配到适用后的图像，将孔区域的值与纹理区域的值接近。据此，不需要识别滤波适用区域，能够以低处理量校正孔区域的值。

并且，在图28F的校正的纹理区域的移动处理中也可以，在制作由投影得到的二维图像后，对于多个纹理区域的每一个，二维图像内使像素向左右上下方向移动来生成孔区域。并且，也可以在将三维点群投影到二维平面来生成二维图像的过程中在多个纹理区域之间发生孔区域。

图29是示出实施方式涉及的三维模型编码装置的功能结构的一个例子的框图。图30是示出实施方式涉及的三维模型解码装置的功能结构的一个例子的框图。图31是示出实施方式涉及的三维模型编码装置的三维模型编码方法的一个例子的流程图。图32是示出实施方式涉及的三维模型解码装置的三维模型解码方法的一个例子的流程图。

利用图29以及图31，说明三维模型编码装置300以及三维模型编码方法。

三维模型编码装置300具备，投影部301、校正部302、以及编码部304。三维模型编码装置300也可以还具备，生成部303。

首先，投影部301，将三维模型投影到至少一个以上的二维平面，从而生成二维图像(S11)。生成的二维图像包括，纹理信息以及深度信息。

校正部302，利用二维图像，校正二维图像中包括的、构成没有投影三维模型的无效区域(即，孔区域)的一个以上的像素，从而生成校正图像(S12)。校正部302，作为校正，进行所述图25A至图28F中说明的任意校正。

另一方面，生成部303，生成示出构成与二维图像对应的二维区域的多个区域分别是无效区域还是有效区域的二维二值地图(S13)。根据二维二值地图，接收编码数据的三维模型解码装置310能够，容易辨别二维图像中的无效区域以及有效区域。

编码部304，对校正图像进行二维编码，从而生成作为编码数据的编码流(S14)。编码部304也可以，与校正图像一起还对二维二值地图进行编码，从而生成编码数据。在此，编码部304也可以，还对与生成二维图像时的投影有关的投影信息以及参数进行编码，生成编码数据。

而且，投影部301、校正部302、生成部303以及编码部304的每一个，也可以由处理器以及存储器实现，也可以由专用电路实现。也就是说，这些处理部，也可以由软件实现，也可以由硬件实现。

接着，图30以及图32，说明三维模型解码装置310以及三维模型解码方法。

三维模型解码装置310具备，解码部311、地图重构部312、以及三维重构部313。

首先，解码部311，获得编码数据，对获得的编码数据进行解码，从而获得校正图像以及二维二值地图(S21)。编码数据是，由三维模型编码装置300输出的编码数据。也就是说，编码数据是，将三维模型投影到至少一个二维平面而生成的二维图像被校正的校正图像，即作为所述二维图像中包括的、没有投影所述三维模型的无效区域中的一个以上的像素被校正的图像的校正图像被编码的数据。

地图重构部312，重新构成解码后的二维二值地图，从而获得示出有效像素以及无效像素的原来的地图(S22)。

三维重构部313，利用投影信息以及重新构成的二维二值地图，从校正图像重新构成三维数据(S23)。而且，三维重构部313，对于二维二值地图中示出的有效区域的有效像素，利用解码后的深度信息向三维空间重新投影来获得三维点，从解码后的纹理信息获得三维点的颜色。因此，三维重构部313，不将二维二值地图中示出的无效区域的无效像素重新投影。深度信息是，与二维图像的各个像素对应的示出距离的距离图像。并且，纹理信息，与二维图像的各个像素对应的示出纹理或颜色的二维彩色图像。如此，三维重构部313，从校正图像的有效区域重新构成三维点，因此，在解码中，校正图像中的有效区域的像素，不受到校正图像中的无效区域的像素的影响。

而且，在三维模型解码方法中，并不一定需要进行地图重构部312的步骤S22的处理。也就是说，三维模型解码装置310也可以不具备，地图重构部312。

而且，解码部311、地图重构部312、以及三维重构部313的每一个，也可以由处理器以及存储器实现，也可以由专用电路实现。也就是说，这些处理部，也可以由软件实现，也可以由硬件实现。

本实施方式涉及的三维模型编码装置300，对校正部302校正无效区域而生成的校正图像进行二维编码，因此，能够提高编码效率。

并且，校正部302，利用与无效区域邻接的、投影了三维模型的有效区域即第一有效区域中的第一像素的第一像素值，校正无效区域。因此，能够减少第一有效区域与无效区域之间的像素值的差，能够有效地提高编码效率。

并且，校正部302，在二维图像上，还利用作为夹着无效区域与第一有效区域相反一侧的有效区域的第二有效区域中的第二像素的第二像素值，校正无效区域。因此，能够减少第一有效区域以及第二有效区域与无效区域之间的像素值的差，能够有效地提高编码效率。

并且，校正部302，对无效区域进行线性插值，因此，能够减轻用于插值的像素值的决定涉及的处理负荷。

并且，校正部302，考虑二维编码的多个块的边界来校正无效区域，因此，能够有效地减轻处理负荷，能够有效地提高编码效率。

并且，校正部302，进行基于非线性插值的校正，因此，能够有效地减少第一有效区域以及第二有效区域与无效区域之间的像素值的差，能够提高编码效率。

并且，三维模型编码装置300，生成二维二值地图，与校正图像一起将编码二维二值地图而得到的编码数据输出。因此，在三维模型解码装置310的解码时，能够利用二维二值地图，仅对有效区域以及无效区域之中的有效区域进行解码，因此，能够减少解码时的处理量。

本实施方式涉及的三维模型解码装置310，获得数据量少的编码数据，从而能够重新构成三维模型。

三维模型编码装置300也可以，将适用于三维模型投影到二维平面而生成的二维图像(Projected 2D image)的滤波信息(包括滤波适用的有效/无效信息、滤波种类、滤波系数等)附加到编码数据。据此，三维模型解码装置310，能够知道适用于解码后的二维图像的滤波信息。这些滤波信息是，在三维模型解码装置310解码三维模型后，由本实施方式所记载的方法对三维模型再次进行编码时，能够再利用的。

在本实施方式中，为了区别解码后的二维图像的有效区域与无效区域，由三维模型编码装置300将二维二值地图附加到编码数据来发送到三维模型解码装置310，但是，并不一定需要将二维二值地图附加到编码数据。三维模型编码装置300也可以，例如，代替二维二值地图的生成，而向孔区域分配纹理区域中不使用的值A。据此，三维模型解码装置310，若解码后的二维图像的各个像素值为值A，则能够判断为该像素是孔区域中包括的像素，也可以将该像素设为无效区域中的无效像素，决定为不向三维空间再投影。对于值A，在RGB颜色空间的情况下，也可以使用(0,0,0)以及(255,255,255)等的值。据此，不需要将二维二值地图附加到编码数据，能够削减代码量。

以上，说明了本公开的实施方式涉及的对三维数据进行编码的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法，但是，本公开，不仅限于该实施方式。

并且，所述实施方式涉及的对三维数据进行编码的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法中包括的各个处理部，由典型的集成电路的LSI实现。它们，也可以个别地单片化，也可以以包含一部分或全部的方式单片化。

并且，集成电路，不仅限于LSI，也可以作为专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable GateArray)、或能够重构LSI内部的电路单元的连接以及设定的可重构处理器。

并且，在所述各个实施例中，各个构成要素，也可以由专用的硬件构成，或者，也可以通过执行适于各个构成要素的软件程序来实现。各个构成要素也可以，CPU或处理器等的程序执行部，读出并执行由硬盘或半导体存储器等的记录介质记录的软件程序来实现。

并且，本公开，作为由对三维数据进行编码的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法执行的各种方法实现。

并且，框图中的功能框的分割是一个例子，也可以将多个功能框作为一个功能框实现、将一个功能框分割为多个、或将一部分的功能转移到其他的功能框。并且，也可以具有类似的功能的多个功能框的功能由单一的硬件或软件并行处理或时分处理。

并且，流程图中的各个步骤的执行顺序是，用于具体说明本公开的例子，也可以是所述以外的顺序。并且，所述步骤的一部分也可以，与其他的步骤同时(并行)执行。

以上，对于一个或多个形态涉及的对三维数据进行编码的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法，根据实施方式进行了说明，但是，本公开，不仅限于该实施方式。只要不脱离本公开的宗旨，对本实施例实施本领域技术人员想到的各种变形而得到的形态，以及组合不同实施例的构成要素来构筑的形态，也可以包含在一个或多个形态的范围内。

本公开，能够适用于对三维数据进行编码的三维编码装置以及三维编码方法、以及将编码后的编码数据解码为三维数据的三维解码装置以及三维解码方法等。

符号说明

100 三维空间识别系统

101、103、105、107 自由视点影像生成系统

102、104、106 下一代监视系统

111 多视点影像摄像装置

112 控制装置

113 事件检测装置

114 校正指示装置

115、115A、115C 三维空间重构装置

116、116A 三维空间识别装置

117、117A、117B、117C 影像显示终端

118A 监视员

118B 警卫员

118C 影像摄像装置

119、119C 数据传输装置

121 摄像装置

122 照相机

123 云台

124 存储器

125 传感器

131 前景模型生成部

132 背景模型生成部

133 第一模型生成部

134 第二模型生成部

135 第三模型生成部

136 第一深度图像生成部

137 第二深度图像生成部

138 第三深度图像生成部

141、151 视点决定部

142、152 绘制部

143、146 数据传输部

144、154 追踪部

145、155 场景分析部

153 影像显示部

156 模型恢复部

200 三维数据

201、210、220 二维图像

202 纹理信息

203 深度信息

211至213 纹理区域

214、215、224、225 孔区域

300 三维模型编码装置

301 投影部

302 校正部

303 生成部

304 编码部

310 三维模型解码装置

311 解码部

312 地图重构部

313 三维重构部

Claims (12)

1.一种三维模型编码装置，具备：

投影部，将三维模型投影到至少一个以上的二维平面，从而生成二维图像；

校正部，利用所述二维图像，对所述二维图像中包括的构成无效区域的一个以上的像素进行校正，从而生成校正图像，所述无效区域是没有投影所述三维模型的区域；以及

编码部，对所述校正图像进行二维编码，从而生成编码数据。

2.如权利要求1所述的三维模型编码装置，

所述校正部，利用与所述无效区域邻接的第一有效区域中的第一像素的第一像素值，对所述无效区域进行校正，所述第一有效区域是投影了所述三维模型的有效区域。

3.如权利要求2所述的三维模型编码装置，

所述校正部，将构成所述无效区域的所述一个以上的像素的所有的像素值设为所述第一像素值，从而对所述无效区域进行校正。

4.如权利要求2所述的三维模型编码装置，

所述校正部，在所述二维图像上，还利用第二有效区域中的第二像素的第二像素值，对所述无效区域进行校正，所述第二有效区域是夹着所述无效区域与所述第一有效区域相反一侧的有效区域。

5.如权利要求4所述的三维模型编码装置，

所述校正部，利用所述第一像素值以及所述第二像素值，将从所述第一像素跨所述无效区域到所述第二像素之间的多个像素各自的像素值变更为，在所述多个像素各自的位置以及像素值的关系上，满足从所述第一像素值线性地变化为所述第二像素值的关系的像素值，从而对所述无效区域进行校正。

6.如权利要求4所述的三维模型编码装置，

所述二维编码是，以多个块单位对所述校正图像进行编码的处理，

所述校正部，在所述二维编码的所述多个块的边界位于所述无效区域上的情况下，将从所述第一像素到所述边界之间的多个第一无效像素变更为所述第一像素值，并且，将从所述第二像素到所述边界之间的多个第二无效像素变更为所述第二像素值，从而对所述无效区域进行校正。

7.如权利要求4所述的三维模型编码装置，

所述校正部，利用所述第一像素的第一像素值以及所述第二像素的第二像素值，将从所述第一像素跨所述无效区域到所述第二像素之间的多个像素各自的像素值变更为，在所述多个像素各自的位置以及像素值的关系上，满足以平滑的曲线从所述第一像素值变化为所述第二像素值的关系的像素值，从而对所述无效区域进行校正。

8.如权利要求4至7的任一项所述的三维模型编码装置，

所述第一像素是所述第一有效区域中与所述无效区域邻接的像素，

所述第二像素是所述第二有效区域中与所述无效区域邻接的像素。

9.如权利要求3至8的任一项所述的三维模型编码装置，

还具备生成部，

所述生成部，生成二维二值地图，所述二维二值地图示出构成与所述二维图像对应的二维区域的多个区域分别是所述无效区域还是所述有效区域，

所述编码部，对所述校正图像以及所述二维二值地图进行编码，从而生成所述编码数据。

10.一种三维模型解码装置，

具备解码部，所述解码部，获得编码数据，输出对获得的所述编码数据进行解码而得到的三维模型，所述编码数据是对校正图像进行编码而得到的数据，所述校正图像是三维模型投影到至少一个二维平面而生成的二维图像被校正的图像，并且是所述二维图像中包括的没有投影所述三维模型的无效区域中的一个以上的像素被校正而得到的图像。

11.一种三维模型编码方法，

将三维模型投影到至少一个以上的二维平面，从而生成二维图像，

利用所述二维图像，对所述二维图像中包括的构成无效区域的一个以上的像素进行校正，从而生成校正图像，所述无效区域是没有投影所述三维模型的区域，

对所述校正图像进行二维编码，从而生成编码数据。

12.一种三维模型解码方法，

获得编码数据，所述编码数据是对校正图像进行编码而得到的数据，所述校正图像是三维模型投影到至少一个二维平面而生成的二维图像被校正的图像，并且是所述二维图像中包括的没有投影所述三维模型的无效区域中的一个以上的像素被校正而得到的图像，

输出对获得的所述编码数据进行解码而得到的三维模型。

Images