CN110291788A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN110291788A
CN110291788A CN201880011704.5A CN201880011704A CN110291788A CN 110291788 A CN110291788 A CN 110291788A CN 201880011704 A CN201880011704 A CN 201880011704A CN 110291788 A CN110291788 A CN 110291788A
Authority
CN
China
Prior art keywords
image
packaging
processing equipment
image processing
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880011704.5A
Other languages
English (en)
Other versions
CN110291788B (zh
Inventor
濑下裕介
小林刚也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110291788A publication Critical patent/CN110291788A/zh
Application granted granted Critical
Publication of CN110291788B publication Critical patent/CN110291788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技术涉及可以减少数据传输量的图像处理设备和图像处理方法。图像处理设备设置有剪切单元，该剪切单元用于通过将来自多个视点的对象的多个视点图像中的每一个缩小到包括对象的区域来生成多个剪切图像。本技术可以应用于例如用于基于从多个视点拍摄的多个视点图像或者包括来自多个视点的CG图像的多个视点图像来生成并且显示鸟瞰图像的系统中的编码装置或解码装置。

Description

图像处理设备和图像处理方法
技术领域
本技术涉及图像处理设备和图像处理方法，并且具体涉及适用于基于来自多个视点的对象的多个视点图像来生成来自虚拟视点的对象的虚拟图像的情况的图像处理设备和图像处理方法。
背景技术
存在用于从由多个成像相机拍摄的纹理图像和深度图像生成成像对象的3D模型的技术(例如，参见非专利文献1)。
[引用列表]
[非专利文献]
[非专利文献1]
加州大学圣地亚哥分校的Saied Moezzi、Li-Cheng Tai、Philippe Gerard的“Virtual View Generation for 3D Digital Video”。
发明内容
[技术问题]
然而，在非专利文献1中，在要基于来自多个视点的对象的多个视点图像来生成来自虚拟视点的对象的虚拟图像的情况下，没有考虑减少要提供视点图像的一侧与要生成虚拟图像的一侧之间的数据传输量。
本技术鉴于上述这种情况而作出，并且本技术使得可以减少数据的传输量。
[问题的解决方案]
本技术的第一方面的图像处理设备包括切出部，该切出部被配置成针对来自多个视点的对象的多个视点图像生成多个切出图像，多个切出图像中的每一个被缩小到包括对象的区域。
切出图像可以用于生成虚拟图像，该虚拟图像为来自虚拟视点的对象的图像。
图像处理设备还可以包括选择部，该选择部被配置成从多个切出图像中选择要用于生成虚拟图像的多个再现用图像。
图像处理设备还可以包括包装部，该包装部被配置成通过将多个再现用图像合成为一个图像来生成包装图像。
图像处理设备可以被配置成使得包装部将每一个再现用图像映射到多个包装区域并且根据包装区域的尺寸缩放每一个再现用图像，通过对与包装图像相同的矩形区域进行分割而得多个包装区域。
图像处理设备可以被配置成使得包装部基于每一个再现用图像的重要度来选择每一个再现用图像要被映射到的包装区域。
图像处理设备可以被配置成使得包装部生成指示每一个再现用图像被映射到的位置的元数据。
图像处理设备还可以包括编码部，该编码部被配置成对包装图像进行编码。
图像处理设备可以被配置成使得选择部基于多个视点中的每一个与虚拟视点之间的位置和方向中的至少一个的相对关系来执行再现用图像的选择。
图像处理设备可以被配置成使得选择部还基于切出图像的内容来执行再现用图像的选择。
图像处理设备可以被配置成使得其还包括选择部，该选择部被配置成从多个视点图像中选择要用于生成虚拟图像的多个视点图像，并且，切出部根据选择的每一个视点图像分别生成切出图像。
图像处理设备还可以包括包装部，该包装部被配置成生成将多个切出图像合成为一个图像而得到的包装图像。
图像处理设备可被配置为使得切出部生成指示用于每一个视点图像中的每一个切出图像的区域的位置的元数据。
图像处理设备可以被配置成使得切出部基于将根据多个视点图像生成的3D模型或3D模型中的包括对象的三维空间投影到每一个视点图像的坐标系而得到的区域来设置要用于切出图像的区域。
图像处理设备可以被配置成使得切出部针对多个视点中的每一个将多个帧中的包括对象的公共区域设置为要用于切出图像的区域。
图像处理设备可以被配置成使得每一个视点图像都包括纹理图像和深度图像；并且每一个切出图像都包括根据纹理图像生成的图像以及根据深度图像生成的图像。
图像处理设备可以被配置成使得每一个视点图像是由多个成像装置从多个视点拍摄到的图像。
本技术的第一方面的图像处理方法包括针对来自多个视点的对象的多个视点图像生成多个切出图像的切出步骤，多个切出图像中的每一个被缩小到包括对象的区域。
本技术的第二方面的图像处理设备包括绘图部，该绘图部被配置成针对来自多个视点的对象的多个视点图像基于多个切出图像来生成虚拟图像，该虚拟图像为来自虚拟视点的对象的图像，多个切出图像中的每一个被缩小到包括对象的区域。
本技术的第二方面的图像处理方法包括绘图步骤，其针对来自多个视点的对象的多个视点图像基于多个切出图像生成虚拟图像，该虚拟图像为来自虚拟视点的对象的图像，多个切出图像中的每一个被缩小到包括对象的区域。
在本技术的第一方面中，针对来自多个视点的对象的多个视点图像生成多个切出图像，所述多个切出图像中的每一个被缩小到包括对象的区域。
在本技术的第二方面中，基于多个切出图像，针对来自多个视点的对象的多个视点图像生成作为来自虚拟视点的对象的图像的虚拟图像，多个切出图像中的每一个被缩小到包括对象的区域。
应注意，可以通过使计算机执行程序来实现第一方面和第二方面的图像处理设备。
此外，为了实现第一方面和第二方面的图像处理设备而由计算机执行的程序可以通过传输介质的传输而被提供，或者将该程序提供为记录有程序的记录介质。
[本发明的有益效果]
利用本技术的第一方面或第二方面，可以减少数据的传输量。
应注意，本发明中描述的有益效果不一定是限制性的，并且可以是本公开内容中描述的任何有益效果。
附图说明
[图1]
图1是示出了应用本技术的图像处理系统的实施方式的配置示例的框图。
[图2]
图2是示出了成像部的配置示例的视图。
[图3]
图3是示出了纹理图像和深度图像的示例的视图。
[图4]
图4是示出了编码装置的配置示例的视图。
[图5]
图5是示出了解码装置的配置示例的视图。
[图6]
图6是示出编码处理的流程图。
[图7]
图7是示出切出处理的细节的流程图。
[图8]
图8是示出前景3D模型或前景空间的提取方法的第一示例的视图。
[图9]
图9是示出前景3D模型或前景空间的提取方法的第二示例的视图。
[图10]
图10是示出前景3D模型或前景空间的提取方法的第二示例的视图。
[图11]
图11是示出前景3D模型或前景空间的提取方法的第二示例的视图。
[图12]
图12是示出前景3D模型或前景空间的提取方法的第三示例的视图。
[图13]
图13是示出前景区域的检测方法的视图。
[图14]
图14是示出切出信息元数据的参数的计算方法的视图。
[图15]
图15是描绘切出信息元数据的具体示例的视图。
[图16]
图16是示出再现用数据选择处理的细节的流程图。
[图17]
图17是示出成像相机的重要度的设置方法的第一示例的视图。
[图18]
图18是示出成像相机的重要度的设置方法的第二示例的视图。
[图19]
图19是示出成像相机的重要度的设置方法的第三示例的视图。
[图20]
图20是示出包装处理的细节的流程图。
[图21]
图21是示出包装布局的示例的视图。
[图22]
图22是示出包装信息元数据的参数的计算方法的视图。
[图23]
图23是示出包装区域元数据的具体示例的视图。
[图24]
图24是示出包装信息元数据的另一具体示例的视图。
[图25]
图25是示出再现用图像的映射的示例的视图。
[图26]
图26是示出在再现用图像的映射时的缩放处理的视图。
[图27]
图27是示出编码处理的流程图。
[图28]
图28是示出显示图像的示例的视图。
[图29]
图29是示出计算机的硬件的配置示例的框图。
[图30]
图30是示出车辆控制系统的示意性配置的示例的框图。
[图31]
图31是协助说明车外信息检测部和成像部的安装位置的示例的图。
具体实施方式
在下文中，描述了用于执行本技术的模式(在下文中称为实施方式)。应注意，按以下列顺序给出描述。
1.实施方式
2.修改
3.应用示例
<<1.实施方式>>
<图像处理系统的配置示例>
图1是示出应用本技术的图像处理系统的实施方式的配置示例的框图。
图1的图像处理系统10是这样的系统，在该系统中，基于围绕对象的至少一部分的多个真实视点拍摄的视点图像来生成并且显示来自任意虚拟视点的对象的虚拟图像。具体地，图像处理系统10执行俯瞰视图的生成、显示等。
图像处理系统10包括数据提供部11、再现部12和输入装置13。数据提供部11包括成像部21、存储部22和编码装置23。再现部12包括解码装置41和显示装置42。
成像部21包括多个成像相机31-1至31-N。应注意，在不需要将成像相机31-1至31-N单独区分的情况下，成像相机31-1至31-N均简称为成像相机31。
成像相机31被布置成围绕由再现部12作为显示目标的对象的至少一部分，并且从彼此不同的多个真实视点拍摄对象的纹理图像的运动图像。此外，成像相机31分别包括距离测量仪器(未示出)，并且从与纹理图像的视点相同的视点生成深度图像的运动图像。成像相机31将纹理图像和深度图像存储到存储部22中。
编码装置23生成通过对存储在存储部22中的纹理图像和深度图像进行编码而获得的编码流，并将编码的流提供给再现部12的解码装置41。此外，如下文所述，编码装置23从纹理图像和深度图像切出必要区域内的图像，并基于从虚拟相机输入的虚拟相机(虚拟视点)的相机参数选择要提供给再现部12的纹理图像和深度图像。输入装置13使得减少了数据提供部11和再现部12之间的数据传输量。
解码装置41对编码流进行解码，并且基于从输入装置13输入的虚拟相机(虚拟视点)的相机参数来生成作为来自虚拟视点的对象的图像的显示图像(虚拟图像)，然后将解码流和显示图像提供给显示装置42。
显示设备42包括例如二维头戴式显示器(HMD)或二维监视器。显示装置42二维地显示从解码装置41提供的显示图像。
输入装置13用于输入关于要在显示装置42上显示的对象的虚拟视点。输入装置13将表示输入的虚拟视点的虚拟相机的相机参数提供给编码装置23和解码装置41。
<成像部的配置示例>
图2示意性地示出了成像部21的配置示例。在该示例中，成像部21包括布置在房间51中的九个成像相机31-1至31-9。应注意，在图2中，每个成像相机31的位置由带有斜线的图案的圆形标记表示。此外，在该示例中，包括人和两个球的对象52存在于房间的大致中心位置。
成像相机31-1至31-8被布置成围绕房间51中的周边。具体地，成像相机31-1、成像相机31-3、成像相机31-5和成像相机31-7被布置成从房间51的各个墙壁的大致中心位置大致指向房间51的中心。成像相机31-1与成像相机31-5以及成像相机31-3与成像相机31-7彼此相对。成像相机31-2、成像相机31-4、成像相机31-6和成像相机31-8被布置成从房间的各个角大致指向房间51的中心。成像相机31-2与成像相机31-6以及成像相机31-4与成像相机31-8彼此相对。成像相机31-9被布置成使得从房间51的天花板的大致中心部分向下大致看到房间51的中心。因此，通过成像相机31-1至31-9，可以以从不同视点(真实视点)围绕的方式对房间51中的对象(例如，对象52)进行成像。
图3示出了通过由成像相机31-1至31-9对对象52进行成像而获得的视点图像(纹理图像和深度图像)的示例。纹理图像TI1至TI9分别示出了由成像相机31-1至31-9拍摄的纹理图像的示例。深度图像DI1至DI9示出了由成像相机31-1至31-9拍摄的深度图像的示例。以这种方式，在基本相同的时间处获得从彼此不同的视点观察的对象52的纹理图像和深度图像。
<编码装置的配置示例>
图4是示出编码装置23的配置示例的框图。
编码装置23包括重构部101、切出部102、选择部103、包装部104、编码部105、存储部106和发送部107。
重构部101使用成像相机31的相机参数以及存储在存储部22中的成像相机31的纹理图像和深度图像生成包括前景和背景的成像对象的3D模型。此外，重构部101生成表示所生成的3D模型的3D数据。重构部101将3D数据以及成像相机31的纹理图像和深度图像以及用于生成3D数据的成像相机31的相机参数提供给切出部102。
应注意，在以下描述中，用于纹理图像和深度图像的成像的成像相机31的相机参数有时被简称为纹理图像和深度图像的相机参数。
切出部102从成像相机31的纹理图像和深度图像切出包括作为再现部12中的显示目标的对象的切出区域的图像，以生成切出纹理图像和切出深度图像。这里，图像的切出表示切出图像的一部分，例如，切出图像的必要部分，并且图像的切出也称为剪切(cropping)。切出部102包括前景区域检测部111和切出图像生成部112。
前景区域检测部111基于由3D数据表示的3D模型，在纹理图像和深度图像中的每一个中检测包括作为再现部12中的显示目标的对象的前景区域。
切出图像生成部112基于检测到的前景区域在纹理图像和深度图像中的每一个中设置切出区域。然后，切出图像生成部112从纹理图像和深度图像中的每一个中切取切出区域的图像，以分别生成切出纹理图像和切出深度图像。此外，切出图像生成部112生成指示纹理图像和深度图像的切出区域的位置的切出信息元数据。切出图像生成部112将切出纹理图像、切出深度图像、切出信息元数据和成像相机31的相机参数提供给选择部103。
应注意，在以下描述中，在不需要将切出纹理图像和切出深度图像彼此区分的情况下，切出纹理图像和切出深度图像中的每一个被简称为切出图像。
选择部103选择要提供给再现部12并且用于基于成像相机31的相机参数和从输入装置13提供的虚拟相机的相机参数来生成显示图像的再现用数据。选择部103包括重要度设置部121和再现用数据选择部122。
重要度设置部121基于成像相机31的相机参数和虚拟相机的相机参数来设置成像相机31中的每个成像相机的重要度。
再现用数据选择部122基于成像相机31的重要度来选择要提供给再现部12的切出纹理图像(在下文中称为再现用纹理图像)和切出深度图像(在下文中称为再现用深度图像)。此外，再现用数据选择部122将用于拍摄图像的成像相机31的重要度设置为再现用纹理图像和再现用深度图像的重要度。再现用数据选择部122将所选择的再现用纹理图像和再现用深度图像、图像的重要度以及与这些图像对应的切出信息元数据和相机参数提供给包装部104。
应注意，在以下描述中，在不需要将再现用纹理图像和再现用深度图像彼此区分的情况下，将再现用纹理图像和再现用深度图像中的每一个简称为再现用图像。
包装部104将再现用纹理图像包装(结合)成一个图像以生成包装纹理图像。此外，包装部104将再现用深度图像包装(结合)成一个图像以生成包装深度图像。包装部104包括包装图像生成部131和元数据生成部132。
包装图像生成部131根据需要使用再现用纹理图像的重要度的同时设置包装布局(包装布局是用于包装再现用纹理图像的布局)。然后，包装图像生成部131通过根据需要使用再现用纹理图像的重要度的同时将再现用纹理图像映射到包装布局中的包装区域来生成包装纹理图像。此外，包装图像生成部131生成包装深度图像，通过类似方法在包装深度图像中包装再现用深度图像。包装图像生成部131将包装纹理图像和包装深度图像以及与这些图像对应的切出信息元数据、包装信息元数据(在下文中描述)以及相机参数提供给编码部105。
应注意，在以下描述中，在不需要将包装纹理图像和包装深度图像彼此区分的情况下，将包装纹理图像和包装深度图像中的每一个简称为包装图像。
元数据生成部132生成指示再现用纹理图像和再现用深度图像被映射到的位置的包装信息元数据。
编码部105对包装纹理图像和包装深度图像进行编码。此外，编码部105生成包括经编码的包装纹理图像和包装深度图像的编码流以及与这些图像对应的切出信息元数据、包装信息元数据和相机参数，并将编码流存储到存储部106中。
发送部107将存储在存储部22中的编码流发送到再现部12的解码装置41。
<解码装置的配置示例>
图5是示出解码装置41的配置示例的框图。
解码装置41包括接收部151、存储部152、解码部153、重构部154和绘图部155。
接收部151接收从编码装置23的发送部107发送的编码流，并将编码流存储到存储部152中。
解码部153通过与编码装置23的编码部105的编码方法对应的方法对存储在存储部152中的编码流进行解码。解码部153基于包装信息元数据来分离在经解码的包装纹理图像中包装的再现用纹理图像。此外，解码部153根据需要将每个再现用纹理图像的尺寸恢复为原始尺寸。类似地，解码部153基于包装信息元数据来分离在经解码的包装深度图像中包装的再现用深度图像。此外，解码部153根据需要将每个再现用深度图像的尺寸恢复到原始尺寸。解码部153将得到的再现用纹理图像和再现用深度图像以及与这些图像对应的切出信息元数据和相机参数提供给重构部154。
重构部154通过与编码装置23的重构部101的方法类似的方法基于再现用纹理图像和再现用深度图像以及与这些图像对应的切出信息元数据和相机参数来生成3D模型。重构部154将所生成的3D模型提供给绘图部155。
绘图部155基于从重构部154提供的3D模型以及从输入装置13提供的虚拟相机的相机参数生成在从虚拟相机执行成像时获得的虚拟纹理图像作为显示图像。绘图部155将显示图像提供给显示装置42。
<图像处理系统的处理的描述>
现在，参照图6至图28描述图像处理系统10的处理。
应注意，在以下描述中，成像相机31-i(i＝1至N)的ID是i，并且成像相机31-i被适当地称为成像相机i。
(编码处理)
首先，参照图6的流程图描述由编码装置23执行的编码处理。
在步骤S1中，重构部101重构3D模型。具体地，重构部101从存储部22中读出存储在存储部22中的成像相机31的纹理图像和深度图像中的成为编码目标的帧的纹理图像和深度图像。
此外，重构部101从存储部22中读出成像相机31的相机参数。相机参数包括例如世界坐标系(3D坐标系)中的外部参数和内部参数，并且至少包括每个成像相机31在世界坐标系中的位置和光轴的方向。应注意，在每个成像相机31的位置固定的情况下，每个成像相机31的相机参数不必每次都通过步骤S1中的处理读出，而是可以在开始时仅被读出一次。
重构部101使用读出的纹理图像和深度图像以及与这些图像对应的相机参数来计算视觉外壳(Visual Hull)等，以生成包括前景和背景的成像对象的3D模型。
然后，重构部101生成表示3D模型的3D数据。例如，重构部101生成构成3D模型的多边形网格的(多个)顶点的三维位置以及指示顶点之间的连接的形状信息(几何)以及多边形网格的颜色信息，以作为成像对象的3D数据。
应注意，不具体限定3D数据的生成方法，例如，可以使用点云、体积数据等，或者可以采用上文提到的非专利文献1中描述的方法等。此外，例如，3D数据可以由每个成像相机31的视点的形状信息和纹理图像构成。
重构部101将生成的3D数据、用于生成3D数据的纹理图像和深度图像以及与这些图像对应的相机参数提供给切出部102。
在步骤S2中，切出部102执行切出处理。在本文中，参照图7的流程图描述切出处理的细节。
在步骤S51中，前景区域检测部111提取前景3D模型或前景空间。这里，前景空间是包括存在于3D模型中的背景前面的对象的三维空间。应注意，前景空间不一定包括存在于背景前面的所有对象，并且前景空间至少包括要在再现部12上显示的对象就足够了。
例如，在前景的信息和背景的信息在3D数据中彼此分离的情况下，前景区域检测部111基于该信息来提取前景3D模型或前景空间。例如，如图8所示，在3D数据201被分离成背景3D信息202和前景3D信息203的情况下，前景区域检测部111基于背景3D信息202来提取前景3D模型或前景空间。
另一方面，在前景的信息和背景的信息在3D数据中未被分离的情况下，前景区域检测部111基于其他信息来提取前景3D模型或前景空间。例如，如图9所示，前景区域检测部111生成凸壳(Convex Hull)221，该凸壳221是成像相机31的视场(成像范围)中的空间的乘积。应注意，在图9中，为了便于理解，仅示出了成像相机31-1和成像相机31-3。
在这种情况下，前景区域检测部111可以基于已知的区域信息来限制要生成的凸壳的范围。例如，如图10所示，前景区域检测部111可以生成将其范围限制到房间51的天花板和地板的范围的凸壳221。
然后，前景区域检测部111提取凸壳中的3D模型作为前景3D模型。例如，如图11所示，凸壳221中的3D模型222被提取作为前景空间。
应注意，在不能利用3D数据的情况下，前景区域检测部111可以使用例如由凸壳限定的空间作为前景空间。
作为替选，例如，前景区域检测部111可以基于成像相机31的深度图像来提取前景3D模型或前景空间。例如，如图12所示，前景区域检测部111基于由成像相机31的前景深度图像243指示的深度值来生成前景的点云。然后，前景区域检测部111基于所生成的前景的点云将空间设置为前景空间。
在这种情况下，例如，在如图12所示的指示背景的深度值的深度图像241和背景深度图像242可用的情况下，前景区域检测部111可以根据深度图像241与背景深度图像242之间的差异生成前景深度图像243。
返回来参照图7，在步骤S52中，前景区域检测部111将变量i设置为1。
在步骤S53中，前景区域检测部111检测成像相机i的图像中的前景区域。具体地，前景区域检测部111使用成像相机i的相机参数计算前景3D模型或前景空间被投影到成像相机i的图像的坐标系的所在的区域。然后，前景区域检测部111将通过计算而获得的区域确定为成像相机i的图像中的前景区域。
例如，通过计算如图13的上部图所示的将前景空间261投影到成像相机31-1的图像的坐标系所在的区域，检测到如中图所示的成像相机i的图像262中的前景区域263。
在步骤S54中，切出图像生成部112设置成像相机i的图像的切出区域。具体地，切出图像生成部112确定在步骤S53中检测到的前景区域的矩形边界框。然后，切出图像生成部112将所确定的边界框设置为切出区域。
例如，如图13中的下部图所示，将围绕图13中的中间图的前景区域263的边界框264设置为切出区域。
在步骤S55中，切出图像生成部112生成成像相机i的切出图像。具体地，切出图像生成部112从成像相机i的纹理图像中对切出区域中的图像进行切出，以生成切出纹理图像。因此，切出纹理图像成为通过从纹理图像中对切出区域进行剪切而变窄的包括对象的区域中的图像。此外，切出图像生成部112通过从成像相机i的深度图像中对切出区域中的图像进行切出来生成切出深度图像。因此，切出深度图像是通过从深度图像中对切出区域进行剪切而变窄的包括对象的区域中的图像。
在步骤S56中，切出图像生成部112生成成像相机i的切出信息元数据。这里，参照图14描述切出信息元数据的示例。
图14示出了在纹理图像281中设置切出区域282并且切出切出图像283的情况的示例。例如，切出图像生成部112通过以下等式(1)至(4)计算切出信息元数据中包括的参数。
occupancyX＝rangeX/width'...(1)
occupancyY＝rangeY/height'...(2)
normOffsetX＝offsetX/width'...(3)
normOffsetY＝offsetY/height'...(4)
这里，width'是纹理图像281的宽度，height'是纹理图像281的高度。rangeX是切出区域282的宽度，并且rangeY是切出区域282的高度。offsetX是纹理图像281的左上角与切出区域282的左上角之间在X方向(宽度方向)上的距离，并且offsetY是纹理图像281的左上角与切出区域282的左上角之间在Y方向(高度方向)上的距离。
因此，occupancyX表示在X方向上切出区域282在纹理图像281中的占有率，occupancyY表示在Y方向上切出区域282在纹理图像281中的占有率。normOffsetX是通过使offsetX归一化而获得的参数，并且normOffsetY是通过使offsetY归一化而获得的参数。通过这些参数，指示了切出区域282在纹理图像281中的位置。
应注意，纹理图像281的坐标系上的图14中的点P的坐标(u'，v')与切出图像283的坐标系上的坐标(u，v)之间的关系由以下等式(5)和(6)表示。
u＝(u'-normOffsetX)/occupancyX...(5)
v＝(v'-normOffsetY)/occupancyY...(6)
图15示出了切出信息元数据的具体示例。在该示例中，normOffsetX、occupancyX、normOffsetY和occupancyY分别被设置为0.05、0.5、0.01和0.5。
切出图像生成部112将切出纹理图像、切出深度图像、切出信息元数据和成像相机i的相机参数提供给选择部103。
返回来参照图7，在步骤S57中，切出图像生成部112将变量i递增1。
在步骤S58中，切出图像生成部112判定变量i是否等于或小于N。应注意，N是成像相机31的数目。在判定变量i等于或小于N的情况下，处理返回到步骤S53。
此后，重复执行步骤S53至S58中的处理，直到在步骤S58中确定变量i大于N。通过这种方式，生成成像相机i至成像相机N的切出图像和切出信息元数据。
另一方面，在步骤S58中判定变量i大于N的情况下，结束切出处理。
返回来参照图6，在步骤S3中，选择部103执行再现用数据选择处理。这里，参照图16的流程图描述再现用数据选择处理的细节。
在步骤S101中，重要度设置部121从输入装置13获取虚拟相机的相机参数。虚拟相机的相机参数包括与成像相机31的相机参数相同类型的参数。
在步骤S102中，重要度设置部121将变量i设置为1。
在步骤S103中，重要度设置部121计算成像相机i的重要度P(i)(i＝1至N)。
例如，基于每个成像相机31(实际视点)与虚拟相机302(虚拟视点)之间的位置和方向中的至少一个的相对关系来计算重要度P(i)。这里，参照图17至图19描述重要度P(i)的计算的示例。
图17示出了基于来自每个成像相机31(实际视点)的作为显示目标的对象301的方向与来自虚拟相机302(虚拟视点)的对象301的方向之间的关系来计算每个成像相机31的重要度P(i)的示例。在这种情况下，通过以下等式(7)计算重要度P(i)。
P(i)＝Ci·Cv...(7)
这里，Ci表示从成像相机31-i至对象301的矢量。Cv表示从虚拟相机302至对象301的矢量。Ci·Cv表示矢量Ci与矢量Cv的内积。
因此，重要度P(i)与由矢量Ci和矢量Cv限定的角度成反比地变化，并且随着矢量Ci和矢量Cv限定的角度的减小而增大。换言之，到对象301的方向更接近虚拟相机302的到对象301的方向的成像相机31具有更高的重要度P(i)。
应注意，参照对象301的代表点R设置矢量Ci和矢量Cv。可以通过任意方法设置代表点R。例如，将距成像相机31和虚拟相机302的距离的总和最小的对象301上的点设置为代表点R。作为替选，例如，将对象301的顶点在世界坐标系的X方向、Y方向和Z方向上的最大值与最小值之间的中间位置的坐标的值设置为代表点R。作为另一替选，例如，将对象301中的最显著的位置设置为代表点R。例如，在对象301是人的情况下，将人的面部的中心等设置为代表点R。
图18示出了基于每个成像相机31的光轴(真实视点的方向)与虚拟相机302的光轴(虚拟视点的方向)之间的关系来计算重要度P(i)的示例。在这种情况下，通过以下等式(8)计算重要度P(i)。
P(i)＝Zi·Zv......(8)
这里，Zi表示成像相机31-i的光轴矢量。Zv表示虚拟相机302的光轴矢量。Zi·Zv表示光轴矢量Zi与光轴矢量Zv的内积。
因此，重要度P(i)与由光轴矢量Zi和光轴矢量Zv限定的角度成反比地变化，并且随着由光轴矢量Zi和光轴矢量Zv限定的角度的减小而增大。换言之，光轴方向更靠近虚拟相机302的成像相机31具有更高的重要度P(i)。
图19示出了基于每个成像相机31(实际视点)与虚拟相机302(虚拟视点)之间的距离来计算重要度P(i)的示例。在这种情况下，通过以下等式(9)计算重要度P(i)。
P(i)＝1-D1/ΣDi...(9)
这里，Di表示成像相机31-i与虚拟相机302之间的距离。
因此，更靠近虚拟相机302的成像相机31具有更高的重要度P(i)。
应注意，图18的重要度P(i)和图19的重要度P(i)与对象301的位置和移动无关。因此，如果每个成像相机31和虚拟相机302的位置和方向是固定的，则重要度P(i)可以是固定的。
应注意，重要度设置部121可以通过组合上述三个重要度P(i)中的两个或更多个来设置重要度。
此外，重要度设置部121可以基于由成像相机31拍摄的图像的内容来设置重要度。例如，更接近作为显示目标的对象的正面的成像相机31的重要度可能是更高的重要度。作为替选，在作为显示目标的对象是人的情况下，用于拍摄其中对面部进行成像的纹理图像的成像相机31的重要度可以是更高的重要度。
返回来参照图16，在步骤S104中，重要度设置部121将变量i递增1。
在步骤S105中，重要度设定部121判定变量i是否等于或小于N。应注意，N是成像相机31的数目。在判定变量i等于或小于N的情况下，处理返回到步骤S103。
此后，重复执行步骤S103至S105中的处理，直到在步骤S105中判定变量i等于或大于N。由此计算所有成像相机31-i的重要度P(i)。
另一方面，在步骤S105中判定变量i大于N的情况下，处理进行到步骤S106。
在步骤S106中，再现用数据选择部122基于重要度P(i)来选择再现用数据。例如，再现用数据选择部122按重要度P(i)的降序来选择预定数目的成像相机31。作为替选，例如，再现用数据选择部122选择其重要度P(i)等于或高于预定阈值的成像相机31。然后，再现用数据选择部122分别选择所选择的成像相机31的切出纹理图像和切出深度图像作为再现用纹理图像和再现用深度图像。
此外，再现用数据选择部122将用于成像的每个成像相机31的重要度P(i)设置为再现用图像的重要度。再现用数据选择部122将再现用图像(再现用纹理图像和再现用深度图像)、再现用图像的重要度以及与再现用图像对应的切出信息元数据和相机参数提供给包装部104。
此后，再现用数据选择处理结束。
返回来参照图6，在步骤S4中，包装部104执行包装处理。这里，参照图20的流程图描述包装处理的细节。
在步骤S151中，包装图像生成部131设置包装布局。这里，在包装布局中，在与包装图像的矩形区域相同的矩形区域中指示用于映射再现用纹理图像或再现用深度图像的包装区域的布局。
例如，基于要选择的再现用图像的数目(在下文中称为选择数目)或者每个再现用图像的重要度来设置包装布局。
例如，在再现用图像的选择数目可变的情况下，基于选择数目来设置包装布局。例如，设置如下包装布局，在该包装布局中，尺寸与包装图像的尺寸相同的矩形区域被分成与选择数目相等数目的包装区域。此时，包装区域可以在形状和尺寸上彼此相同或者可以彼此不同。在后一种情况下，具有较高重要度的再现用图像被映射到的包装区域具有更大的尺寸。
图21示出了包装布局的示例，在该包装布局中，相同形状和尺寸的包装区域以格子状阵列排列。在包装布局321中，相同形状和尺寸的矩形包装区域排列成1行×3列的矩阵。在另一个包装布局322中，相同形状和尺寸的包装区域排列成2行×2列的矩阵。在另一个包装布局323中，相同形状和尺寸的包装区域排列成3行×3列的矩阵。
另一方面，在选择的再现用图像的数目是固定的情况下，包装布局可以是固定的，或者可以根据需要而改变。在包装区域的形状或尺寸彼此不同的情况下，例如，具有较高重要度的再现用图像被映射到具有更大的尺寸的包装区域。另一方面，在包装布局可变的情况下，例如，的尺寸根据每个再现用图像的重要度来设定每个包装区域。例如，具有较高重要度的再现用图像被映射到具有更大的尺寸的包装区域。
在步骤S152中，包装图像生成部131将变量i设定为1。
在步骤S153中，包装图像生成部131判定包装布局是否是格子状的包装布局。在相同形状和尺寸的包装区域没有以格子状图案排列在设定的包装布局中的情况下，包装图像生成部131确定判定包装布局不是格子状的包装布局并且将处理进行到步骤S154。
在步骤S154中，元数据生成部132生成包装区域i的元数据。具体地，在包装布局不具有格子状图案的情况下，包装信息元数据包括与各个包装区域对应的多个包装区域元数据。然后，元数据生成部132生成与包装区域i对应的包装区域元数据。
图22示出了不是格子状包装布局的包装布局341的示例。在包装布局341中，以在中心的大的包装区域上方和下方的1行×3列的矩阵布置相同形状和尺寸的包装区域。
例如，通过以下等式(10)至等式(13)计算由包装布局341中的斜线指示的包装区域342的包装区域元数据的参数。
occupancyX＝rangeX/width'...(10)
occupancyY＝rangeY/height'...(11)
normOffsetX＝offsetX/width'...(12)
normOffsetY＝offsetY/height'...(13)
这里，width'是包装布局341(包装图像)的宽度，并且height'是包装布局341的高度。rangeX是包装区域342的宽度，并且rangeY是包装区域342的高度。offsetX是包装布局341的左上角与包装区域342的左上角之间在X方向(宽度方向)上的距离，并且offsetY是包装布局341的左上角与包装区域342的左上角之间在Y方向(高度方向)上的距离。
因此，occupancyX表示在X方向上包装区域342在包装布局341(包装图像)中的占有率，并且occupancyY表示在Y方向上包装区域342在包装布局341中的占有率。normOffsetX是通过使offsetX归一化而获得的参数，并且normOffsetY是通过使offsetY归一化而获得的参数。
在步骤S155中，包装部104选择要映射到包装区域i的再现用图像。具体地，包装图像生成部131从再现用纹理图像和再现用深度图像中选择要映射到包装区域i的图像。此时，包装图像生成部131选择再现用图像，使得具有较高重要度的再现用图像被设置为更大的包装区域。替选地，例如，包装图像生成部131选择其形状接近包装区域i的形状的再现用图像。
此外，元数据生成部132将与所选择的图像对应的成像相机31的ID添加到包装区域元数据。
图23示出了包装区域元数据的具体示例。在该示例中，normOffsetX、occupancyX、normOffsetY和occupancyY分别被设置为0.33、0.33、0.8和0.2。此外，camera_id被设置为1。camera_id是指示与要映射到包装区域的再现用图像对应的成像相机31的ID的参数。
此后，处理进行到步骤S157。
另一方面，在步骤S153中判定包装布局是格子状的包装布局的情况下，处理进行到步骤S156。
在步骤S156中，与步骤S155中的处理类似，包装图像生成部131选择要映射到包装区域i的再现用图像。此外，元数据生成部132将与所选择的再现用图像对应的成像相机31的ID添加到包装信息元数据。
图24示出了与格子状包装布局对应的包装元数据的示例。
在图24的左侧，示出了包装布局的示例。在该包装布局中，相同形状和尺寸的包装区域以4行×3列的矩阵排列在格子状图案中。
在图24的右侧，示出了关于左侧的包装布局生成的包装信息元数据的示例。在该示例中，表示包装布局的行数的参数raw被设置为4，并且表示列数的参数column被设置为3。此外，设置指示与要映射到每个包装区域的再现用图像对应的成像相机31的ID的参数camera_id。例如，第一列第一行中的包装区域的camera_id被设置为2；第二列第一行中的包装区域的camera_id被设置为1；并且第一列第二行中的包装区域的camera_id被设置为3。
例如，元数据生成部132在循环中的第一步骤S156中的处理中设置参数raw和column的值。此外，在每个循环中的步骤S156的处理中，元数据生成部132将与再现用图像将被映射到的包装区域对应的参数camera_id设置为与再现用图像对应的成像相机31的ID。
此后，处理进行到步骤S157。
在步骤S157中，元数据生成部132判定变量i是否等于或小于M。应当注意，M表示包装布局中的包装区域的数目。在判定变量i等于或小于M的情况下，处理返回到步骤S153。
此后，处理返回到步骤S153，并且重复执行步骤S153至S157中的处理，直到在步骤S157中判定变量i大于M。因此，选择了要映射到包装布局中的包装区域的再现用图像，并且生成了包装信息元数据。
另一方面，在步骤S157中判定变量i大于M的情况下，处理进行到步骤S158。
在步骤S158中，包装图像生成部131生成包装图像。具体地，包装图像生成部131将再现用纹理图像映射到包装布局的各个包装区域。因此，生成了将多个再现用纹理图像合而为一的包装纹理图像。
例如，如图25所示，从竖直1080像素×水平1920像素的九个纹理图像中切出的再现纹理图像被映射到其中竖直540像素×水平960像素的包装区域以3行×3列的矩阵排列的包装布局。因此，九个再现用纹理图像被组合为单个包装纹理图像。
此时，包装图像生成部131执行再现用纹理图像的缩放，以将每个再现用纹理图像的尺寸调整为要映射到的包装区域的尺寸。例如，在如图26所示将再现用纹理图像361映射到包装区域371的情况下，再现用纹理图像361在竖直方向和水平方向上缩小。此外，在将再现用纹理图像362映射到包装区域372的情况下，再现用纹理图像362在竖直方向上缩小并在水平方向上被放大。
类似地，包装图像生成部131将每个再现用深度图像映射到包装布局的包装区域。因此，生成将再现用深度图像合而为一的包装深度图像。
包装图像生成部131将包装图像(包装纹理图像和包装深度图像)以及与包装图像对应的切出信息元数据、包装信息元数据和相机参数提供给编码部105。
此后，包装处理结束。
返回来参照图6，在步骤S5中，编码部105对包装图像进行编码。具体地，编码部105通过预定编码方法对包装纹理图像和包装深度图像进行编码。例如，可以采用AVC(高级视频编码)方法、HEVC(高效视频编码)方法等作为编码方法。编码部105在编码后将经编码的包装纹理图像和经编码的包装深度图像以及与这些图像对应的切出信息元数据、包装信息元数据和相机参数作为编码流的一部分存储到存储部106中。
在步骤S6中，编码部105判定是否完成所有帧的编码。在判定尚未完成所有帧的编码的情况下，处理返回到步骤S1。
此后，重复执行步骤S1至S6中的处理，直到在步骤S6中判定完成了所有帧的编码。
因此，针对所有帧生成了包装纹理图像和包装深度图像，并且所生成的包装纹理图像和包装深度图像被编码并被添加到编码流。
另一方面，在步骤S6中判定完成了所有帧的编码的情况下，处理进行到步骤S7。
在步骤S7中，发送部107发送编码流。具体地，发送部107将存储在存储部22中的编码流发送到解码装置41。
要注意的是，编码流的每个帧包括经编码的包装纹理图像、经编码的包装深度图像和包装信息元数据以及与包装在经编码的包装纹理图像和经编码的包装深度图像中的再现用纹理图像和再现用深度图像对应的切出信息元数据和相机参数。
要注意的是，例如，在包装布局和再现用图像的映射是固定的情况下，在每个帧中可以不必包括包装信息元数据。此外，在每个纹理图像和深度图像的切出区域是固定的情况下，在编码流的每个帧中可以不必包括切出信息元数据。此外，在每个成像相机31的位置和方向是固定的情况下，在编码流的每个帧中可以不必包括相机参数。
此外，可以将切出信息元数据、包装信息元数据和相机参数与编码流分开传输。
此后，编码处理结束。
(解码处理)
现在，参照图27的流程图描述用于使用解码装置41对由编码装置23生成的编码流进行解码的解码处理。
在步骤S201中，解码装置41的接收部151开始接收从编码装置23的发送部107发送的编码流。接收部151将所接收的编码流顺序地存储到存储部152中。
在步骤S202中，解码部153对编码流进行解码。具体地，解码部153从存储在存储部152中的编码流中读出成为解码目标的帧的数据。解码部153通过与编码装置23的编码部105进行的编码方法对应的方法对读出的数据中包括的经编码的包装纹理图像和经编码的包装深度图像进行解码。
此外，解码部153基于包装信息元数据来分离包装在经解码的包装纹理图像中的再现用纹理图像。此时，根据需要，解码部153基于与每个再现用纹理图像对应的切出信息元数据，将分离的再现用纹理数据的尺寸恢复到包装之前的尺寸。类似地，解码部153分离包装在经解码的包装深度图像中的再现用深度图像。此外，根据需要，解码部153将每个再现用深度图像的尺寸恢复到其包装前的尺寸。
解码部153将所获得的再现用纹理图像和再现用深度图像以及与这些图像对应的切出信息元数据和相机参数提供给重构部154。
在步骤S203中，重构部154重构3D模型。具体地，重构部154通过与编码装置23的重构部101所进行的方法类似的方法，基于再现用纹理图像和再现用深度图像以及与这些图像对应的切出信息元数据和相机参数来生成3D模型。应注意，该3D模型是在大致移除背景的情况下成像时大致包括成像对象的前景的模型。重构部154将所生成的3D模型提供给绘图部155。
在步骤S204中，绘图部155从输入装置13获取虚拟相机的相机参数。应注意，从输入装置13将对于编码流的相同帧具有相同值的虚拟相机的相机参数提供给编码装置23的选择部103和解码装置41的绘图部155。
在步骤S205中，绘图部155生成显示图像。具体地，绘图部155基于由重构部154生成的3D模型和虚拟相机的相机参数，生成当由编码装置23根据虚拟相机的位置切出前景时获得的虚拟纹理图像作为显示图像。绘图部155将显示图像提供给显示装置42。
因此，例如，图28中示出的纹理图像(即包括被切出为显示目标的对象的二维图像)被显示在显示装置42上。
在步骤S206中，解码部153判定是否完成所有帧的解码。在判定没有完成所有帧的解码的情况下，处理返回到步骤S202。
此后，重复执行步骤S202至S206中的处理，直到在步骤S206中判定完成所有帧的解码。因此，编码流的帧被解码，并且基于来自虚拟相机的视点的显示图像被生成并提供给显示装置42。
另一方面，在步骤S206中判定完成所有帧的解码的情况下，解码处理结束。
再现部12可以以如上所述的方式显示从任意虚拟视点观察由数据提供部11成像的对象的图像。
此外，通过执行图7的切出处理或者图16的再现用数据选择处理，减少了要从数据提供部11发送到再现部12的数据的传输量。因此，例如，抑制了由于再现部12的处理能力、数据提供部11与再现部12之间的传输线的带宽限制等而恶化通过再现部12再现的视频。作为替选，可以减少数据提供部11与再现部12之间的传输线中的传输数据的比特率。
此外，通过执行切出处理或再现用数据选择处理，可以减小成为编码和解码目标的图像的尺寸或者减少图像的数目。因此，可以减少编码部105的编码处理或者解码部153的解码处理的负荷。
此外，通过在执行切出处理之后执行图20的包装处理，减小了包装时每个再现用图像的缩小率(图像在缩小之前与缩小之后之间的比率接近1)。结果，可以抑制再现用图像的缩小而导致的图像质量的劣化。
此外，由于基于重要度来选择要提供给再现部12的再现用纹理图像和再现用深度图像，该重要度至少基于虚拟相机的位置和方向之一，因此抑制了由于要传输的纹理图像和深度图像的缩小而导致的图像质量的劣化。
此外，通过执行包装处理，可以减少要由解码部153解码的图像的数目，并且减少解码部153的负荷。
此外，通过执行包装处理，即使执行切出处理，也可以固定要从数据提供部11发送到再现部12的图像的尺寸。
<<2.修改>>
在下文中，描述了上述本技术的实施方式的修改。
例如，图6的步骤S2中的切出处理与步骤S3中的再现用数据选择处理可以互换。具体地，在执行用于再现的纹理图像和深度图像的选择之后，可以对所选择的图像执行切出处理。
而且，例如，可以省略切出处理和再现用数据选择处理之一。例如，在省略再现用数据选择处理的情况下，所有经切出的图像被包装成包装图像并且从数据提供部11发送到再现部12。例如，而且，例如，可以省略包装处理。即使以这种方式省略了处理，也可以实现减少通过数据提供部11与再现部12之间的传输线的数据传输量的有利效果。
此外，可以并行地执行成像部21的成像处理和编码装置23的编码处理。换言之，还可以在执行成像的同时执行编码流的生成。
此外，在编码装置23中，当编码部105生成编码流时，发送部107可以并行地顺序发送编码流。换言之，还可以在生成编码流的同时顺序地发送所生成的编码流。
此外，编码装置23和解码装置41可以被设置在同一设备中，或者可以设置在不同的设备中。在后一种情况下，编码装置23和解码装置41可以彼此直接连接，或者可以通过网络等连接。
此外，虽然前面的描述表示输入装置13将虚拟相机的相机参数提供给编码装置23和解码装置41二者的示例，但是也可以仅将相机参数提供给编码装置23和解码装置41中的任何一个。在这种情况下，例如，虚拟相机的相机参数从编码装置23和解码装置41中的一个提供给另一个。此外，在将虚拟相机的相机参数从编码装置23提供到解码装置41的情况下，虚拟相机的相机参数可以被包括在编码流中。
还可以在数据提供部11(或编码装置23)中或者在再现部12(或解码装置41)中设置例如输入装置13。
此外，本技术不仅可以应用于纹理图像和深度图像二者都从数据提供部11发送到再现部12的情况，而且还可以应用于发送纹理图像和深度图像中的任何一个的情况。
此外，虽然前面的描述表示其中切出区域对于每个帧是可变的示例，但是也可以针对每个成像相机31(实际视点)固定切出区域。例如，可以针对每个成像相机31检测成为传输目标的所有帧的纹理图像的前景区域，使得将包括检测到的前景区域的逻辑或(OR)运算结果的区域的边界框设置为共同的切出区域。要注意的是，例如，并非所有帧而是这些帧中的一部分可以用于使切出区域通用，或者可以针对每个预定的复数个帧改变公共切出区域。
此外，虽然上述描述针对的是从纹理图像和深度图像中的每一个生成一个切出图像的示例，但是可以生成两个或更多个切出图像。例如，在存在成为显示目标的多个对象的情况下，可以针对每个对象从纹理图像和深度图像中的每一个生成切出图像。
此外，虽然前面的描述涉及成像相机31从各个不同的视点围绕对象进行成像的示例，但是例如，单个成像相机31可以包括多个图像传感器，使得多个图像传感器从多个不同的视点对对象进行成像。作为替选，例如，成像相机31可以移动，使得从多个不同的视点对对象进行成像。
此外，如果用于对对象成像的真实视点被布置为至少围绕对象的成为显示目标的那部分就足够了。例如，在仅当对象的正面成为显示目标的情况下，真实视点可以被设置为仅围绕对象的正面附近的一部分。
此外，本技术不仅应用于将从多个真实视点拍摄的图像用作视点图像的情况，而且还应用于例如将从多个视点生成的图像(例如，计算机图形(CG)图像)用作视点图像的情况。例如，本技术还可以应用于生成来自CG空间中指定的多个视点的多个CG图像并且基于多个所生成的CG图像来生成来自虚拟视点的虚拟图像的情况。
此外，显示装置42可以由三维头戴式显示器、三维监视器等构成。在这种情况下，解码装置41的绘图部155基于虚拟相机生成来自虚拟视点的纹理图像和深度图像，并且将纹理图像和深度图像提供给显示装置42。显示装置42基于所获取的纹理图像和深度图像对显示图像进行三维地显示。
<<3.应用示例>>
<计算机的配置示例>
虽然上述一系列处理可以由硬件执行，但是也可以由软件执行。在由软件执行一系列处理的情况下，将构建软件的程序安装到计算机中。这里的计算机包括结合在专用硬件中的计算机以及例如通过将各种程序安装到个人计算机等中来执行各种功能的通用的个人计算机。
图29是示出根据程序执行上文中描述的一系列处理的计算机的硬件配置的示例的框图。
在计算机中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。
此外，输入/输出接口505连接到总线504。输入部506、输出部507、记录部508、通信部509和驱动器510连接到输入/输出接口505。
输入部506包括输入开关、按钮、麦克风、成像元件等。输出部507包括显示器、扬声器等。记录部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动例如磁盘、光盘、磁光盘、半导体存储器等可移除记录介质511。
在以如上所述的方式配置的计算机中，CPU 501通过输入/输出接口505和总线504将例如记录在记录部508中的程序加载到RAM 503中，并且执行程序以执行上述一系列处理。
由计算机(CPU 501)执行的程序可以被记录在例如作为封装介质等的可移除记录介质511上并作为可移除记录介质511来提供该程序，。否则，可以通过诸如局域网、因特网或数字广播的有线或无线传输介质来提供程序。
计算机可以通过将可移除记录介质511加载到驱动器510中，通过输入/输出接口505将程序安装到记录部508中。此外，可以由通信部509通过有线或无线传输介质接收程序，并且程序可以被安装到记录部508中。另外，可以将程序预先安装在ROM 502或记录部508中。
要注意的是，由计算机执行的程序可以是按照本说明书中描述的顺序按时间序列执行处理的类型，或者可以是在必要的定时(例如在调用该处理时)处并行执行或单独执行的处理的类型。
<车辆控制系统的应用示例>
此外，例如，根据本公开内容的技术可以实现为结合在任何类型的移动体(例如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动体、飞机、无人驾驶飞机、船舶、机器人、建筑机械、农业机械(拖拉机)等)中的设备。
图30是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图30所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。
各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图30所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。
驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。
驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。
车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。
车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。
环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。
图31示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图31示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。
布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。
回到图30，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。
此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。
车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。
集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。
存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。
专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。
定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。
信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。
车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可以包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。
车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。
声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图30的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。
顺便提及，在图30所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。
在上述车辆控制系统7000中，可以将根据在上文中参照图1描述的本实施方式的成像部21应用于例如图30所示的应用示例的成像部7410。图1的编码装置23可以至少应用于图30的车外信息检测单元7400和微型计算机7610的一部分。图1的解码装置41可以至少应用于例如图30的车外信息检测单元7400、微型计算机7610和声音/图像输出部7670的一部分。这使得例如可以显示车辆周围的任意视点的图像并且减少与车辆控制系统7000中的数据处理和数据传输量相关的负荷。
在本说明书中，术语系统用于表示多个组成元件(装置、模块(部件)等)的集合，并且是否所有组成元件都被容纳在同一壳体中是无关紧要的。因此，容纳在单独的壳体中并且通过网络彼此连接的多个设备构成系统，并且包括容纳在单个壳体中的多个模块的一个设备也构成系统。
应注意，本说明书中描述的有利效果是示例性的，并且可以阐述其他有利效果。
此外，本技术的实施方式不限于上文中描述的实施方式，并且可以在不脱离本技术的主题的情况下以各种方式进行改变。
例如，本技术可以采用云计算的配置，在该配置中，由多个设备通过网络共享和协作执行一个功能。
此外，在上文中参照流程图描述的步骤不仅可以由单个设备执行，而且可以由多个设备共享和执行。
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理不仅可以由单个设备执行，而且可以由多个设备共享和执行。
应注意，本技术可以采用以下这种配置。
(1)
一种图像处理设备，包括：
切出部，其被配置成针对来自多个视点的对象的多个视点图像生成多个切出图像，所述多个切出图像中的每一个被缩小到包括对象的区域。
(2)
根据以上(1)所述的图像处理设备，其中，
所述切出图像用于生成虚拟图像，该虚拟图像为来自虚拟视点的所述对象的图像。
(3)
根据上述(2)所述的图像处理设备，还包括：
选择部，其被配置成从多个切出图像中选择要用于生成虚拟图像的多个再现用图像。
(4)
根据以上(3)所述的图像处理设备，还包括：
包装部，其被配置成通过将多个再现用图像合成为一个图像来生成包装图像。
(5)
根据以上(4)所述的图像处理设备，其中，
所述包装部将每一个再现用图像映射到多个包装区域并且根据包装区域的尺寸缩放每一个再现用图像，通过对与包装图像相同的矩形区域进行分割而得多个包装区域。
(6)
根据以上(5)所述的图像处理设备，其中，
所述包装部基于每一个所述再现用图像的重要度来选择每一个再现用图像要被映射到的包装区域。
(7)
根据以上(5)或(6)所述的图像处理设备，其中，
包装部生成指示每一个所述再现用图像被映射到的位置的元数据。
(8)
根据以上(4)至(7)中任一项所述的图像处理设备，还包括：
编码部，其被配置成对包装图像进行编码。
(9)
根据以上(3)至(8)中任一项所述的图像处理设备，其中，
选择部基于多个视点中的每一个与虚拟视点之间的位置和方向中的至少一个的相对关系来执行对再现用图像的选择。
(10)
根据以上(9)所述的图像处理设备，其中，
选择部还基于切出图像的内容来执行对再现用图像的选择。
(11)
根据以上(2)所述的图像处理设备，还包括：
选择部，其被配置成从多个视点图像中选择要用于生成虚拟图像的多个视点图像，其中，
切出部根据选择的每一个视点图像分别生成切出图像。
(12)
根据以上(1)所述的图像处理设备，还包括：
包装部，其被配置成生成将多个切出图像合成为一个图像而得到的包装图像。
(13)
根据以上(1)至(12)中任一项所述的图像处理设备，其中，
所述切出部生成指示用于每一个视点图像中的每一个切出图像的区域的位置的元数据。
(14)
根据以上(1)至(13)中任一项所述的图像处理设备，其中，
所述切出部基于将根据多个视点图像生成的3D模型或3D模型中的包括对象的三维空间投影到每一个视点图像的坐标系而得到的区域来设置要用于切出图像的区域。
(15)
根据以上(1)至(14)中任一项所述的图像处理设备，其中，
所述切出部针对多个视点中的每一个将多个帧中包括对象的公共区域设置为要用于切出图像的区域。
(16)
根据以上(1)至(15)中任一项所述的图像处理设备，其中，
每一个所述视点图像都包括纹理图像和深度图像；并且
每一个所述切出图像都包括根据所述纹理图像生成的图像以及根据所述深度图像生成的图像。
(17)
根据以上(1)至(16)中任一项所述的图像处理设备，其中，
每一个所述视点图像是由多个成像装置从多个视点拍摄的图像。
(18)
一种图像处理方法，包括：
切出步骤，其针对来自多个视点的对象的多个视点图像生成多个切出图像，多个所述切出图像中的每一个被缩小到包括对象的区域。
(19)
一种图像处理设备，包括：
绘图部，其被配置成针对来自多个视点的对象的多个视点图像基于多个切出图像来生成虚拟图像，该虚拟图像为来自虚拟视点的对象的图像，多个切出图像中的每一个被缩小到包括对象的区域。
(20)
一种图像处理方法，包括：
绘图步骤，其针对来自多个视点的对象的多个视点图像基于多个切出图像生成虚拟图像，该虚拟图像为来自虚拟视点的所述对象的图像，多个所述切出图像中的每一个被缩小到包括对象的区域。
[附图标记列表]
10图像处理系统、11数据提供部、12再现部、13输入装置、21成像部、23编码装置、41解码装置、42显示装置、31-1至31-N成像相机、101重构部、102切出部、103选择部、104包装部、105编码部、107传输部、111前景区域检测部、112切出图像生成部、121重要度设置部、122再现用数据选择部、131包装图像生成部、132元数据生成部、151接收部、153解码部、154重构部、155绘图部。
权利要求书(按照条约第19条的修改)
1.(修改)一种图像处理设备，包括：
切出部，其被配置成针对来自多个视点的对象的多个视点图像生成多个切出图像，多个切出图像中的每一个被缩小到包括所述对象的区域，其中
所述切出部基于将根据多个所述视点图像生成的3D模型或3D模型中的包括所述对象的三维空间投影到每一个所述视点图像的坐标系而得到的区域来设置要用于所述切出图像的区域。
2.根据权利要求1所述的图像处理设备，其中，
所述切出图像用于生成虚拟图像，所述虚拟图像为来自虚拟视点的所述对象的图像。
3.根据权利要求2所述的图像处理设备，还包括：
选择部，其被配置成从多个所述切出图像中选择要用于生成所述虚拟图像的多个再现用图像。
4.根据权利要求3所述的图像处理设备，还包括：
包装部，其被配置成通过将多个所述再现用图像合成为一个图像来生成包装图像。
5.根据权利要求4所述的图像处理设备，其中，
所述包装部将每一个所述再现用图像映射到多个包装区域，通过对与所述包装图像相同的矩形区域进行分割而得多个所述包装区域，并且根据所述包装区域的尺寸缩放每一个所述再现用图像。
6.根据权利要求5所述的图像处理设备，其中，
所述包装部基于每一个所述再现用图像的重要度来选择每一个所述再现用图像要被映射到的包装区域。
7.根据权利要求5所述的图像处理设备，其中，
所述包装部生成指示每一个所述再现用图像被映射到的位置的元数据。
8.根据权利要求4所述的图像处理设备，还包括：
编码部，其被配置成对所述包装图像进行编码。
9.根据权利要求3所述的图像处理设备，其中，
所述选择部基于所述多个视点中的每一个与所述虚拟视点之间的位置和方向中的至少一个的相对关系来执行所述再现用图像的选择。
10.根据权利要求9所述的图像处理设备，其中，
所述选择部还基于所述切出图像的内容来执行所述再现用图像的选择。
11.根据权利要求2所述的图像处理设备，还包括：
选择部，其被配置成从多个所述视点图像中选择要用于生成所述虚拟图像的多个所述视点图像，其中，
所述切出部根据选择的每一个所述视点图像分别生成所述切出图像。
12.根据权利要求1所述的图像处理设备，还包括：
包装部，其被配置成生成将多个所述切出图像合成为一个图像而得到的包装图像。
13.根据权利要求1所述的图像处理设备，其中，
所述切出部生成指示用于每一个所述视点图像中的每一个所述切出图像的区域的位置的元数据。
14.(删除)
15.根据权利要求1所述的图像处理设备，其中，
所述切出部针对所述多个视点中的每一个将多个帧中的包括所述对象的公共区域设置为要用于所述切出图像的区域。
16.根据权利要求1所述的图像处理设备，其中，
每一个所述视点图像都包括纹理图像和深度图像；并且
每一个所述切出图像都包括根据所述纹理图像生成的图像以及根据所述深度图像生成的图像。
17.根据权利要求1所述的图像处理设备，其中，
每一个所述视点图像是由多个成像装置从所述多个视点拍摄到的图像。
18.(修改)一种图像处理方法，包括：
切出步骤，其针对来自多个视点的对象的多个视点图像生成多个切出图像，多个所述切出图像中的每一个被缩小到包括所述对象的区域，其中，
所述切出步骤针对所述多个视点中的每一个将多个帧中的包括所述对象的公共区域设置为要用于所述切出图像的区域。
19.(修改)一种图像处理设备，包括：
绘图部，其被配置成基于对象的3D模型，针对来自多个视点的所述对象的多个视点图像基于多个切出图像来生成虚拟图像，所述虚拟图像为来自虚拟视点的所述对象的图像，多个所述切出图像中的每一个被缩小到包括所述对象的区域。
20.(修改)一种图像处理方法，包括：
绘图步骤，其基于对象的3D模型，针对来自多个视点的所述对象的多个视点图像基于多个切出图像生成虚拟图像，所述虚拟图像为来自虚拟视点的所述对象的图像，多个所述切出图像中的每一个被缩小到包括所述对象的区域。
说明或声明(按照条约第19条的修改)
根据专利合作条约第19条规定，对本专利申请的权利要求书进行修改，其中：
权利要求1修改为原始提交的权利要求14；
权利要求18中限定与原始提交的权利要求15类似的技术特征；
权利要求19和20阐明了基于对象的3D模型生成切出图像。

Claims (20)

1.一种图像处理设备，包括：
切出部，其被配置成针对来自多个视点的对象的多个视点图像生成多个切出图像，多个切出图像中的每一个被缩小到包括所述对象的区域。
2.根据权利要求1所述的图像处理设备，其中，
所述切出图像用于生成虚拟图像，所述虚拟图像为来自虚拟视点的所述对象的图像。
3.根据权利要求2所述的图像处理设备，还包括：
选择部，其被配置成从多个所述切出图像中选择要用于生成所述虚拟图像的多个再现用图像。
4.根据权利要求3所述的图像处理设备，还包括：
包装部，其被配置成通过将多个所述再现用图像合成为一个图像来生成包装图像。
5.根据权利要求4所述的图像处理设备，其中，
所述包装部将每一个所述再现用图像映射到多个包装区域并且根据包装区域的尺寸缩放每一个所述再现用图像，通过对与所述包装图像相同的矩形区域进行分割而得多个所述包装区域。
6.根据权利要求5所述的图像处理设备，其中，
所述包装部基于每一个所述再现用图像的重要度来选择每一个所述再现用图像要被映射到的包装区域。
7.根据权利要求5所述的图像处理设备，其中，
所述包装部生成指示每一个所述再现用图像被映射到的位置的元数据。
8.根据权利要求4所述的图像处理设备，还包括：
编码部，其被配置成对所述包装图像进行编码。
9.根据权利要求3所述的图像处理设备，其中，
所述选择部基于所述多个视点中的每一个与所述虚拟视点之间的位置和方向中的至少一个的相对关系来执行所述再现用图像的选择。
10.根据权利要求9所述的图像处理设备，其中，
所述选择部还基于所述切出图像的内容来执行所述再现用图像的选择。
11.根据权利要求2所述的图像处理设备，还包括：
选择部，其被配置成从多个所述视点图像中选择要用于生成所述虚拟图像的多个所述视点图像，其中，
所述切出部根据选择的每一个所述视点图像分别生成所述切出图像。
12.根据权利要求1所述的图像处理设备，还包括：
包装部，其被配置成生成将多个所述切出图像合成为一个图像而得到的包装图像。
13.根据权利要求1所述的图像处理设备，其中，
所述切出部生成指示用于每一个所述视点图像中的每一个所述切出图像的区域的位置的元数据。
14.根据权利要求1所述的图像处理设备，其中，
所述切出部基于将根据多个所述视点图像生成的3D模型或3D模型中的包括所述对象的三维空间投影到每一个所述视点图像的坐标系而得到的区域来设置要用于所述切出图像的区域。
15.根据权利要求1所述的图像处理设备，其中，
所述切出部针对所述多个视点中的每一个将多个帧中的包括所述对象的公共区域设置为要用于所述切出图像的区域。
16.根据权利要求1所述的图像处理设备，其中，
每一个所述视点图像都包括纹理图像和深度图像；并且
每一个所述切出图像都包括根据所述纹理图像生成的图像以及根据所述深度图像生成的图像。
17.根据权利要求1所述的图像处理设备，其中，
每一个所述视点图像是由多个成像装置从所述多个视点拍摄到的图像。
18.一种图像处理方法，包括：
切出步骤，其针对来自多个视点的对象的多个视点图像生成多个切出图像，多个所述切出图像中的每一个被缩小到包括所述对象的区域。
19.一种图像处理设备，包括：
绘图部，其被配置成针对来自多个视点的对象的多个视点图像基于多个切出图像来生成虚拟图像，所述虚拟图像为来自虚拟视点的所述对象的图像，多个所述切出图像中的每一个被缩小到包括所述对象的区域。
20.一种图像处理方法，包括：
绘图步骤，其针对来自多个视点的对象的多个视点图像基于多个切出图像生成虚拟图像，所述虚拟图像为来自虚拟视点的所述对象的图像，多个所述切出图像中的每一个被缩小到包括所述对象的区域。
CN201880011704.5A 2017-02-20 2018-02-06 图像处理设备和图像处理方法 Active CN110291788B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-028723 2017-02-20
JP2017028723 2017-02-20
PCT/JP2018/003895 WO2018150933A1 (ja) 2017-02-20 2018-02-06 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN110291788A true CN110291788A (zh) 2019-09-27
CN110291788B CN110291788B (zh) 2022-03-08

Family

ID=63170257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011704.5A Active CN110291788B (zh) 2017-02-20 2018-02-06 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US11200675B2 (zh)
JP (1) JP7200678B2 (zh)
CN (1) CN110291788B (zh)
WO (1) WO2018150933A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017115816A1 (de) * 2017-07-13 2019-01-17 Witte Automotive Gmbh System mit Tür, Türschloss und Funkschlüssel
EP3515068A1 (en) * 2018-01-19 2019-07-24 Thomson Licensing A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
JP2021182650A (ja) * 2018-07-20 2021-11-25 ソニーグループ株式会社 画像処理装置および方法
WO2020067441A1 (ja) * 2018-09-28 2020-04-02 シャープ株式会社 ３ｄデータ生成装置、３ｄデータ再生装置、制御プログラム及び記録媒体
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
US10841356B2 (en) * 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US10937185B2 (en) * 2018-12-03 2021-03-02 Everseen Limited System and method to detect articulate body pose
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
JP7195135B2 (ja) * 2018-12-21 2022-12-23 キヤノン株式会社 画像処理装置、画像処理装置が行う制御方法およびプログラム
JPWO2020179473A1 (zh) 2019-03-05 2020-09-10
JP2020150516A (ja) * 2019-03-15 2020-09-17 シャープ株式会社 画像復号装置及び画像符号化装置
EP3712843A1 (en) 2019-03-19 2020-09-23 Koninklijke Philips N.V. Image signal representing a scene
CN114502246A (zh) 2019-10-10 2022-05-13 索尼集团公司 图像处理装置、图像处理方法和程序
DE112020006061T5 (de) 2019-12-09 2022-10-27 Sony Group Corporation Informationsverarbeitungsvorrichtung und -verfahren, programm und informationsverarbeitungssystem
CN115804100A (zh) 2020-07-17 2023-03-14 索尼集团公司 图像捕获处理系统和3d模型生成方法
WO2022236837A1 (zh) * 2021-05-14 2022-11-17 Oppo广东移动通信有限公司 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质
CN117813629A (zh) 2021-07-02 2024-04-02 索尼集团公司 信息处理装置、信息处理方法和程序
CN114648615B (zh) 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291519A (zh) * 2010-06-21 2011-12-21 夏普株式会社 图像处理装置和方法、图像读取装置、图像形成装置
CN102834849A (zh) * 2011-03-31 2012-12-19 松下电器产业株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US20130147798A1 (en) * 2011-12-08 2013-06-13 The Board Of Trustees Of The University Of Illinois Inserting objects into content
CN103428421A (zh) * 2012-05-16 2013-12-04 索尼公司 运动图像捕获装置以及用于运动图像的电子缩放方法
US20160364878A1 (en) * 2014-02-24 2016-12-15 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US20170004649A1 (en) * 2015-06-30 2017-01-05 Alvaro Collet Romea Mixed three dimensional scene reconstruction from plural surface models

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US20100315414A1 (en) * 2008-05-09 2010-12-16 Mbda Uk Limited Display of 3-dimensional objects
US20110273451A1 (en) * 2010-05-10 2011-11-10 Salemann Leo J Computer simulation of visual images using 2d spherical images extracted from 3d data
GB2490872B (en) * 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291519A (zh) * 2010-06-21 2011-12-21 夏普株式会社 图像处理装置和方法、图像读取装置、图像形成装置
CN102834849A (zh) * 2011-03-31 2012-12-19 松下电器产业株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US20130147798A1 (en) * 2011-12-08 2013-06-13 The Board Of Trustees Of The University Of Illinois Inserting objects into content
CN103428421A (zh) * 2012-05-16 2013-12-04 索尼公司 运动图像捕获装置以及用于运动图像的电子缩放方法
US20160364878A1 (en) * 2014-02-24 2016-12-15 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US20170004649A1 (en) * 2015-06-30 2017-01-05 Alvaro Collet Romea Mixed three dimensional scene reconstruction from plural surface models

Also Published As

Publication number Publication date
US20200013168A1 (en) 2020-01-09
JP7200678B2 (ja) 2023-01-10
CN110291788B (zh) 2022-03-08
US11200675B2 (en) 2021-12-14
WO2018150933A1 (ja) 2018-08-23
JPWO2018150933A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN110291788A (zh) 图像处理设备和图像处理方法
EP3493164B1 (en) Image processing device and image processing method
US11055909B2 (en) Image processing device and image processing method
CN109074628A (zh) 生成装置和生成方法以及再现装置和再现方法
US20190304160A1 (en) Image processing apparatus and image processing method
US10872456B2 (en) Image processing device and image processing method
CN110268450A (zh) 图像处理装置和图像处理方法
US11134235B2 (en) Image processing apparatus and image processing method
US11282265B2 (en) Image processing apparatus and image processing method for transmitting data of a 3D model
CN109844813A (zh) 图像处理装置和图像处理方法
CN109564696B (zh) 图像处理设备和图像处理方法
CN109891463A (zh) 图像处理设备和图像处理方法
US10943373B2 (en) Image processing apparatus and image processing method
US20190230280A1 (en) Image processing apparatus and image processing method
CN109791706A (zh) 图像处理装置和图像处理方法
US10950029B2 (en) Image processing apparatus and image processing method
US10898804B2 (en) Image processing device and image processing method
CN110832553B (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant