CN104284193A - 编码装置和编码方法、以及解码装置和解码方法 - Google Patents

编码装置和编码方法、以及解码装置和解码方法 Download PDF

Info

Publication number
CN104284193A
CN104284193A CN201410317368.0A CN201410317368A CN104284193A CN 104284193 A CN104284193 A CN 104284193A CN 201410317368 A CN201410317368 A CN 201410317368A CN 104284193 A CN104284193 A CN 104284193A
Authority
CN
China
Prior art keywords
decoding
image
viewpoint
scheme
encoding scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410317368.0A
Other languages
English (en)
Inventor
森浩典
井藤功久
早坂健吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104284193A publication Critical patent/CN104284193A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了编码装置、编码方法、解码装置以及解码方法，该编码装置包括：非遮挡区域编码单元，配置为根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码；以及遮挡区域编码单元，配置为根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。

Description

编码装置和编码方法、以及解码装置和解码方法
相关申请的交叉引用
本申请要求2013年7月12日提交的日本优先权专利申请JP2013-146806的权益，其全部内容在此通过引用并入本文。
技术领域
本公开涉及编码装置和编码方法，以及解码装置和解码方法，更具体地，涉及能够执行高效编码而同时维持相邻视点的图像的图像质量的编码装置和编码方法，以及解码装置和解码方法。
背景技术
作为编码多视点图像(它是多个视点的图像)的方案，例如，存在一种多视图视频编码(MVC)方案，其通过在帧中甚至在视点之间应用运动补偿预测来执行编码(例如，参见“H.264-Advanced video coding forgeneric audiovisual services,”ITU-T,2009.3)。还有一种编码深度图并且在解码时使用该深度图和多视点图像生成必要视点的图像的3D视频/自由视点电视(3DV/FTV)方案，所述深度图是从少于必要数目的视点的多视点图像生成的，并指示被摄体在沿多视点图像的深度方向的位置。
在MVC方案中，通过块匹配执行时间方向的运动补偿和空间方向的视差补偿。在3DV/FTV方案中，编码深度图像和多视点图像的方案被统称为多视图深度(MVD)方案。在MVD方案中，使用相关领域的高级视频编码(AVC)方案、MVC方案等。
每个视点的图像或深度图可以通过从作为用作遮挡区域(这将在下文中详细描述)之外的标准的单一视点的标准视点的图像或深度图进行投影来生成。因此，作为编码多视点图像的方案，还存在编码标准视点的深度图和图像、以及相邻视点(这是不同于标准视点的视点)的遮挡区域的深度图和图像来实现高效编码的分层深度视频(LDV)。
遮挡区域是指在相邻视点的图像中存在但不在标准视点的图像中存在的被摄体的区域。
发明内容
编码多视点图像的所有上述方案都是有损编码方案，因为这些方案的目的是执行高效编码。因此，不能维持图像质量。
理想的是提供一种用于执行高效编码，同时维持相邻视点的图像的图像质量的技术。
根据本公开第一实施例的编码装置是包括如下的编码装置：非遮挡区域编码单元，配置为根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码；以及遮挡区域编码单元，配置为根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。
根据本公开第一实施例的编码方法对应于根据本公开第一实施例的编码装置。
根据本公开的第一实施例，根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码。根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。
根据本公开第二实施例的解码装置是包括如下的解码装置：非遮挡区域解码单元，配置为根据对应于第一编码方案的第一解码方案解码通过根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码而获得的编码数据；以及遮挡区域解码单元，配置为根据对应于第二编码方案的第二解码方案解码通过根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码而获得的编码数据。
根据本公开第二实施例的解码方法对应于根据本公开第二实施例的解码装置。
根据本公开的第二实施例，根据对应于第一编码方案的第一解码方案解码通过根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码而获得的编码数据。根据对应于第二编码方案的第二解码方案解码通过根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码而获得的编码数据。
根据第一实施例的编码装置和根据第二实施例的解码装置可以通过使计算机执行程序来实现。
为了实现根据第一实施例的编码装置和根据第二实施例的解码装置，引起由计算机执行的程序可以经由传输介质进行传输或者可被记录在要被提供的记录介质上。
根据本公开的第一实施例，能够执行高效编码而同时维持相邻视点的图像的图像质量。
根据本公开的第二实施例，能够解码高效地编码并同时维持相邻视点的图像的图像质量的编码数据。
附图说明
图1是示出对其应用本公开的第一实施例的图像处理系统的配置示例的框图；
图2是用于描述图1的图像处理系统的处理流程的示图；
图3是示出图1中的编码装置的配置示例的框图；
图4是用于描述预测图像的生成的示图；
图5是用于描述图3中的编码装置的编码处理的流程图；
图6是示出图1中的解码装置的配置示例的框图；
图7是用于描述图6中的解码装置的解码处理的流程图；
图8是示出对其应用本公开的第二实施例的图像处理系统的编码装置的配置示例的示图；
图9是用于描述非遮挡区域的差的分离的示图；
图10是用于描述图8中编码装置的编码处理的流程图；
图11是示出对其应用本公开的第二实施例的图像处理系统的解码装置的配置示例的框图；
图12是用于描述图11中的解码装置的解码处理的流程图；
图13是示出用途和编码方案之间的关系的第一示例的示图；
图14是示出用途和编码方案之间的关系的第二示例的示图；
图15是示出计算机的硬件配置示例的框图；
图16是用于描述视差和深度的示图。
具体实施方式
下面，参照附图详细描述本公开的优选实施例。需要注意的是，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
<第一实施例>
(第一实施例的图像处理系统的配置示例)
图1是示出对其应用本公开的第一实施例的图像处理系统的配置示例的框图；
图1中的图像处理系统10被配置为包括：N(其中N是2或更大的整数)个相机11-1至11-N、生成装置12、编码装置13和解码装置14。图像处理系统10编码N个视点的捕获图像和标准视点的深度图，并解码该编码后的捕获图像。
具体地，图像处理系统10的相机11-1至11-N中的每一个在N个相互不同的视点对被摄体成像。相机11-1至11-N捕获的N个视点的图像被提供给生成装置12。下文中，当不特别必要彼此区分相机11-1至11-N时，相机11-1至11-N被统称为相机11。
生成装置12根据从相机11-1至11-N提供的N个视点的图像通过立体匹配等生成标准视点的深度图。生成装置12将N个视点的图像之中的标准视点的图像、剩下的相邻视点的图像以及该深度图提供给编码装置13。
编码装置13通过基于深度图移动从生成装置12提供的标准视点的图像的每个像素来生成相邻视点的预测图像。以这种方式生成的相邻视点的预测图像的遮挡区域中没有像素值。
对于非遮挡区域，编码装置13获得相邻视点的预测图像和从生成装置12提供的相邻视点的图像之间的差。编码装置13通过对差进行无损编码，如比有损编码具有更高质量的熵编码，来生成编码数据。另一方面，对于遮挡区域，编码装置13通过对于从生成装置12提供的相邻视点的图像进行有损编码来生成编码数据。
编码装置13通过对标准视点的深度图和图像进行无损编码来生成编码数据。编码装置13通过多路复用遮挡区域的相邻视点的图像、非遮挡区域的差、标准视点的图像和深度图的编码数据来生成编码流。编码装置13将该编码流传输到解码装置14。
解码装置14将从编码装置13传输的编码流分离成遮挡区域的相邻视点的图像、非遮挡区域的差、标准视点的图像和深度图的编码数据。
解码装置14根据与编码装置13的编码方案相对应的解码方案来解码遮挡区域的相邻视点的图像、非遮挡区域的差、标准视点的图像和深度图的编码数据。
具体地，解码装置14对非遮挡区域的差、标准视点的图像和深度图的编码数据执行比有损解码具有更高均衡性的无损解码，并对遮挡区域的相邻视点的图像的编码数据执行有损解码。解码装置14通过组合遮挡区域的相邻视点的图像和作为解码结果获得的非遮挡区域的差来生成残差图像。
如同在编码装置13中一样，解码装置14通过基于深度图移动作为解码结果获得的标准视点的图像的每个像素来生成相邻视点的预测图像。然后，解码装置14通过将相邻视点的预测图像添加到残差图像来生成相邻视点的图像。此时，由于在该遮挡区域中相邻视点的预测图像没有像素值，因此残差图像的像素值不加改变地变为相邻视点的图像的像素值。解码装置14输出作为解码结果获得的相邻视点的图像、标准视点的图像和深度图。
在图像处理系统10中，如上所述，非遮挡区域的差经历无损编码。因此，当非遮挡区域的差经历有损编码时，作为解码结果获得的非遮挡区域的差的图像质量更多地得到改善。因此，使用该差而生成的非遮挡区域的相邻视点的图像的图像质量也得到改善。
(图像处理系统的处理流程的说明)
图2是用于描述图1的图像处理系统10的处理流程的示图。
如图2所示，在图像处理系统10中，标准视点的图像31经历编码装置13的无损编码，并且经历无损解码由解码装置14对其重建。
同样的，生成装置12生成的标准视点的深度图32经历编码装置13的无损编码，并且经历无损解码由解码装置14对其重建。
另一方面，对于相邻视点的图像33的非遮挡区域，图像33和通过基于深度图32移动图像31生成的预测图像之间的差34经历编码装置13的无损编码，并且经历解码装置14的无损解码。
对于相邻视点的图像33的遮挡区域，图像33经历由编码装置13不加改变地有损编码为图像35，并且经历无损解码由解码装置14对其重建。
然后，差34和图像35由解码装置14组合以生成残差图像36。残差图像36被添加到由解码装置14通过基于深度图32移动图像31的每个像素生成的预测图像。以这种方式，重建图像33。
(编码装置的配置示例)
图3是示出图1中的编码装置13的配置示例的框图。
图3中的编码装置13包括深度图获取单元51、深度图编码单元52、标准图像获取单元53、标准图像编码单元54、相邻图像获取单元55、残差图像生成单元56和分离单元57。编码装置13还包括遮挡区域编码单元58、非遮挡区域编码单元59以及多路复用单元60。
编码装置13的深度图获取单元51获取从生成装置12提供的深度图，并将该深度图提供给深度图编码单元52和残差图像生成单元56。深度图编码单元52对从深度图获取单元51提供的深度图执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
标准图像获取单元53获获取从生成装置12提供的标准视点的图像，并将该标准视点的图像提供给标准图像编码单元54和残差图像生成单元56。标准图像编码单元54对从标准图像获取单元53提供的标准视点的图像执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
相邻图像获取单元55获取从生成装置12提供的相邻视点的图像，并将该相邻视点的图像提供给残差图像生成单元56。
残差图像生成单元56通过基于从深度图获取单元51提供的深度图来移动从标准图像获取单元53提供的标准视点的图像的每个像素来生成相邻视点的预测图像。
对于相邻视点的图像的非遮挡区域，残差图像生成单元56生成从相邻图像获取单元55提供的相邻视点的图像和相邻视点的预测图像之间的差，并将该差提供给分离单元57。残差图像生成单元56将遮挡区域的相邻视点的图像不加改变地提供给分离单元57。
分离单元57将从残差图像生成单元56提供的遮挡区域的相邻视点的图像提供给遮挡区域编码单元58。分离单元57将从残差图像生成单元56提供的非遮挡区域的差提供给非遮挡区域编码单元59。
遮挡区域编码单元58对从分离单元57提供的遮挡区域的相邻视点的图像执行有损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
非遮挡区域编码单元59对从分离单元57提供的非遮挡区域的差执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
多路复用单元60通过多路复用深度图、标准视点的图像、遮挡区域的相邻视点的图像、以及非遮挡区域的差的编码数据来生成编码流。多路复用单元60充当传输单元并将所述编码流传输到解码装置14。
(预测图像的生成的说明)
图4是用于描述通过残差图像生成单元56生成预测图像的示图。
在图4中，相同的附图标记被给予与图2中相同的那些构成要素。重复的描述将被适当地省略。
标准视点的深度图32的值是对应于该标准视点的图像31和相邻视点的图像33之间的视差量的一个值。基于深度图32的位置(x,y)的值d(x,y)在如下等式(1)中表示水平方向上位置(x,y)的视差量Δx(x,y)和垂直方向上位置(x,y)的视差量Δy(x,y)。
Δ×(x,y)＝C1*d(x,y),Δy(x,y)＝C2*d(x,y)···(1)
在等式(1)中，C1和C2是用于将通过对齐相机11(基线长度、方向等)和深度图的值的定义而获得的深度图的值转换为视差量的系数。
当相邻视点的图像33的位置(x,y)处的像素是非遮挡区域的像素时，对应于该像素的标准视点的图像31的像素的位置可以使用视差量Δx和Δy表示为位置(x+Δx(x,y),y+Δy(x,y))。因此，标准视点的图像31的位置(x+Δx(x,y),y+Δy(x,y))处的像素被移动并且被认为是相邻视点的预测图像的位置(x,y)处的像素。
图像31的位置(x+Δx(x,y),y+Δy(x,y))处的像素的像素值a(x+Δx(x,y),y+Δy(x,y))(它是以这种方式生成的相邻视点的预测图像的位置(x,y)处的像素值)和图像33的位置(x，y)处的像素的像素值b(x,y)之间的差r(x,y)由下面的等式(2)表示：
r(x,y)＝b(x,y)-a(x+Δx(x,y),y+Δy(x,y))···(2)
对于非遮挡区域，差r(x,y)经历无损编码。
另一方面，当相邻视点的图像33的位置(x,y)处的像素是遮挡区域的像素时，对应于该像素的标准视点的图像31的像素不存在。因此，不生成相邻视点的预测图像的遮挡区域的像素值。因此，标准视点的图像33的位置(x,y)处的像素经历有损编码。
(编码装置的处理的说明)
图5是用于描述图3中的编码装置13的编码处理的流程图。当从图1的生成装置12提供标准图像的图像、深度图和相邻视点的图像时编码处理开始。
在图5的步骤S11中，编码装置13的标准图像获取单元53获取从生成装置12提供的标准视点的图像并将该标准视点的图像提供给标准图像编码单元54和残差图像生成单元56。深度图获取单元51获取从生成装置12提供的深度图，并将该深度图提供给深度图编码单元52和残差图像生成单元56。相邻图像获取单元55获取从生成装置12提供的相邻视点的图像并将该相邻视点的图像提供给残差图像生成单元56。
在步骤S12中，残差图像生成单元56通过基于从从深度图获取单元51提供的深度图来移动从标准图像获取单元53提供的标准视点的图像的每个像素而生成相邻视点的预测图像。
在步骤S13中，残差图像生成单元56对于非遮挡区域生成从相邻图像获取单元55提供的相邻视点的图像和相邻视点的预测图像之间的差，并将该差提供给分离单元57。分离单元57将从残差图像生成单元56提供的该非遮挡区域的差提供给非遮挡区域编码单元59。
在步骤S14中，残差图像生成单元56将遮挡区域的相邻的视点的图像不加改变地经由分离单元57输出到遮挡区域的编码单元58。
在步骤S15中，遮挡区域编码单元58对从分离单元57提供的遮挡区域的相邻视点的图像执行有损编码并将作为结果而获得的编码数据提供给多路复用单元60。
在步骤S16，非遮挡区域编码单元59对从分离单元57提供的非遮挡区域的差执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
在步骤S17中，深度图编码单元52对从深度图获取单元51提供的深度图执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
在步骤S18中，标准图像编码单元54对从标准图像获取单元53提供的标准视点的图像执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元60。
在步骤S19中，多路复用单元60通过多路复用深度图、标准视点的图像、遮挡区域的相邻视点的图像、以及非遮挡区域的差的编码数据来生成编码流。多路复用单元60将该编码流传输到解码装置14，然后该处理结束。
(解码装置的配置示例)
图6是示出图1中的解码装置14的配置示例的框图。
图6的解码装置14包括获取单元101、分离单元102、深度图解码单元103、标准图像解码单元104、遮挡区域解码单元105和非遮挡区域解码单元106。解码装置14还包括残差图像生成单元107和解码图像生成单元108。
解码装置14的获取单元101充当接收单元，获取从编码装置13传输的编码流，并将该编码流提供给分离单元102。
分离单元102将从获取单元101提供的编码流分离为遮挡区域的相邻视点的图像、非遮挡区域的差、标准视点的图像和深度图的编码数据。分离单元102将深度图的编码数据提供给深度图解码单元103，并将标准视点的图像的编码数据提供给标准图像解码单元104。
分离单元102将遮挡区域的相邻视点的图像的编码数据提供给遮挡区域解码单元105。分离单元102将非遮挡区域的差的编码数据提供给非遮挡区域解码单元106。
深度图解码单元103对从分离单元102提供的深度图的编码数据执行无损解码。深度图解码单元103将作为无损解码结果而获得的深度图提供给解码图像生成单元108。
标准图像解码单元104对从分离单元102提供的标准视点的图像的编码数据执行无损解码。标准图像解码单元104将作为无损解码结果而获得的标准视点的图像提供给解码图像生成单元108。
遮挡区域解码单元105对从分离单元102提供的遮挡区域的相邻视点的图像的编码数据执行有损解码。遮挡区域解码单元105将作为有损解码结果而获得的遮挡区域的相邻视点的图像提供给残差图像生成单元107。
非遮挡区域解码单元106对从分离单元102提供的非遮挡区域的差的编码数据执行比有损解码具有更高质量的无损解码。非遮挡区域解码单元106将作为无损解码结果而获得的非遮挡区域的差提供给残差图像生成单元107。
残差图像生成单元107通过组合从遮挡区域解码单元105提供的遮挡区域的相邻视点的图像和从非遮挡区域解码单元106提供的非遮挡区域的差来生成残差图像。残差图像生成单元107将该残差图像提供给解码图像生成单元108。
解码图像生成单元108输出从深度图解码单元103提供的深度图。解码图像生成单元108输出从标准图像解码单元104提供的标准视点的图像。如同在图3中的残差图像生成单元56中那样，解码图像生成单元108通过基于深度图像来移动标准视点的图像的每个像素而生成预测图像。解码图像生成单元108通过添加预测图像到残差图像来生成相邻视点的图像。解码图像生成单元108输出相邻视点的图像。
(解码装置的处理的说明)
图7是用于描述图6中的解码装置14的解码处理的流程图。例如，当从编码装置13传输编码流时，解码处理开始。
在图7的步骤S31中，解码装置14的获取单元101获取从编码装置13传输的编码流并且将编码流提供给分离单元102。
在步骤S32中，分离单元102将从获取单元101提供的编码流分离为遮挡区域的相邻视点的图像、非遮挡区域的差、标准视点的图像和深度图的编码数据。
分离单元102提供深度图的编码数据给深度图解码单元103，并将标准视点的图像的编码数据提供给标准图像解码单元104。分离单元102将遮挡区域的相邻视点的图像的编码数据提供给遮挡区域解码单元105。分离单元102将非遮挡区域的差的编码数据提供给非遮挡区域解码单元106。
在步骤S33中，遮挡区域解码单元105对从分离单元102提供的遮挡区域的相邻视点的图像的编码数据执行有损解码。遮挡区域解码单元105将作为有损解码结果获得的遮挡区域的相邻视点的图像提供给残差图像生成单元107。
在步骤S34中，非遮挡区域解码单元106对从分离单元102提供的非遮挡区域的差的编码数据执行无损解码。非遮挡区域解码单元106将作为无损解码结果获得的非遮挡区域的差提供给残差图像生成单元107。
在步骤S35中，残差图像生成单元107通过组合从遮挡区域解码单元105提供的遮挡区域的相邻视点的图像和从非遮挡区域解码单元提供的非遮挡区域的差来生成残差图像。残差图像生成单元107将残差图像提供给解码图像生成单元108。
在步骤S36中，深度图解码单元103对从分离单元102提供的深度图的编码数据执行无损解码。深度图解码单元103将作为无损解码结果获得的深度图提供给解码图像生成单元108。
在步骤S37中，标准图像解码单元104对从分离单元102提供的标准视点的图像的编码数据执行无损解码。标准图像解码单元104将作为无损解码结果获得的标准视点的图像提供给解码图像生成单元108。
在步骤S38中，解码图像生成单元108通过基于深度图来移动标准视点的图像的每个像素而生成预测图像，如同在图3的残差图像生成单元56中一样。在步骤S39中，解码图像生成单元108通过将预测图像添加到残差图像来生成相邻视点的图像。
在步骤S40中，解码图像生成单元108输出深度图像、标准视点的图像、以及相邻视点的图像。然后，该处理结束。
在图像处理系统10中，如上所述，编码装置13对相邻视点的图像的非遮挡区域的差执行无损编码并且对遮挡区域执行有损编码。因此，有可能进行高效编码，同时维持相邻视点的图像的图像质量。
解码装置14对相邻视点的非遮挡区域的差执行无损解码，并对遮挡区域执行有损解码。因此，有可能解码经历高效编码的编码流而同时该编码装置13维持相邻视点的图像的图像质量。
<第二实施例>
(第二实施例的图像处理系统的配置示例)
应用本公开的第二实施例的图像处理系统的配置与图1中图像处理系统10的配置是相同的，但编码装置120和解码装置160除外。因此，只在下面描述编码装置120和解码装置160。
(编码装置的配置的示例)
图8是示出对其应用本公开的第二实施例的图像处理系统的编码装置的配置示例的示图。
图8示出的构成要素中相同的附图标记被给予与图3的配置中的那些元件相同的构成要素。适当地省略重复的描述。
图8中编码装置120的配置与图3中的编码装置13的配置的不同在于，提供了分离单元121、遮挡区域编码单元122、非遮挡区域编码单元123、以及多路复用单元124，而不是分离单元57、遮挡区域编码单元58、非遮挡区域编码单元59、以及多路复用单元60。编码装置120对非遮挡区域以及遮挡区域的差之中相对大的差执行有损编码。
具体地，编码装置120的分离单元121将从残差图像生成单元56提供的遮挡区域的相邻视点的图像提供给遮挡区域编码单元122。分离单元121将从残差图像生成单元56提供的非遮挡区域的差中等于或大于阈值的差作为大的差提供给遮挡区域编码单元122。分离单元121将非遮挡区域的差中小于阈值的差作为小的差提供给非遮挡区域编码单元123。
遮挡区域编码单元122对遮挡区域的相邻视点的图像和从分离单元121提供的大的差执行有损编码。遮挡区域编码单元122将作为结果而获得的遮挡区域的相邻视点的图像和大的差的编码数据提供给多路复用单元124。
非遮挡区域编码单元123对从分离单元121提供的小的差执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元124。
多路复用单元124多路复用由有损编码的结果获得遮挡区域的相邻视点的图像和大的差的编码数据、以及作为无损编码的结果获得的深度图、标准视点的图像和小的差的编码数据。多路复用单元124充当传输单元，并将作为多路复用结果获得的编码流传输到下面将要描述的解码处理160。
(非遮挡区域的差的分离的说明)
图9是用于描述由图8的分离单元121进行的非遮挡区域的差的分离的示图。
在图9中，相同的附图标记被给予与图4中的那些构成要素相同的构成要素。适当地省略重复的描述。
在图9的示例中，因为由相机11捕获的图像中的噪声、生成装置12的深度图的生成误差等等的原因，标准视点的深度图140的背景和作为前景的一个人之间的右侧边界区域140A具有不是指示深度方向的背景位置的值。
因此，如同参照图4描述的，基于深度图140生成的相邻视点的预测图像与边界区域140A中相邻视点的图像33显著地不同。因此，对应于边界区域140A的区域142的差增加了非遮挡区域的差141。因此，在这种情况下，例如，差141中区域142的差被认为是大的差，并且差141中除区域142之外的区域的差被认为是小的差。
(编码装置的处理的说明)
图10是用于描述图8中编码装置120的编码处理的流程图。当从生成装置12提供标准视点的图像、深度图、以及相邻视点的图像时编码处理开始。
由于图10的步骤S51至步骤S53的处理与图5的步骤S11至步骤S13的处理相同，因此将省略对它们的描述。
在步骤S54中，编码装置120的分离单元121将从残差图像生成单元56提供的非遮挡区域的差中等于或大于阈值的差作为大的差分离，并且将小于阈值的差作为小的差分离。分离单元121将大的差提供给遮挡区域编码单元122，并将小的差提供给非遮挡区域编码单元123。
在步骤S55中，遮挡区域编码单元122对从分离单元121提供的遮挡区域的相邻视点的图像和大的差执行有损编码。遮挡区域编码单元122将作为结果而获得的编码数据提供给多路复用单元124。
在步骤S56中，非遮挡区域编码单元123对从分离单元121提供的小的差执行无损编码，并将作为结果而获得的编码数据提供给多路复用单元124。
由于图10的步骤S57和步骤S58的处理与步骤S17和步骤S18的处理相同，因此将省略对它们的描述。
在步骤S59中，多路复用单元124多路复用作为有损编码结果而获得的遮挡区域的相邻视点的图像和大的差的编码数据以及作为无损编码结果而获得的深度图、标准视点的图像和小的差的编码数据。多路复用单元124将作为多路复用结果而获得的编码流传输到下面将要描述的解码装置160，然后该处理结束。
(解码装置的配置示例)
图11是示出对其应用本公开的第二实施例的图像处理系统的解码装置的配置示例的框图。
相同的附图标记被给予与图6配置中的那些构成要素相同的构成要素。适当地省略重复的描述。
图11中解码装置160的配置与图6中解码装置14的配置的不同在于，提供分离单元161、遮挡区域解码单元162、非遮挡区域解码单元163、和残差图像生成单元164，而不是分离单元102、遮挡区域解码单元105、非遮挡区域解码单元106、残差图像生成单元107。
解码装置160的分离单元161将从获取单元101提供的编码流分离为遮挡区域的相邻视点的图像、大的差、小的差以及标准视点和深度图的图像的编码数据。分离单元161将深度图的编码数据提供给深度图解码单元103，并将标准视点的图像的编码数据提供给标准图像解码单元104。
分离单元161将遮挡区域的相邻视点的图像和大的差的编码数据提供给遮挡区域解码单元162。分离单元161将小的差的编码数据提供给非遮挡区域解码单元163。
遮挡区域解码单元162对从分离单元161提供的遮挡区域的相邻视点的图像和大的差的编码数据的执行有损解码。遮挡区域解码单元162将作为有损解码结果而获得的遮挡区域的相邻视点的图像和大的差提供给残差图像生成单元164。
非遮挡区域解码单元163对从分离单元161提供的小的差的编码数据执行无损解码。非遮挡区域解码单元163将作为无损解码结果而获得的小的差提供给残差图像生成单元164。
残差图像生成单元164通过组合从遮挡区域解码单元162提供的遮挡区域的相邻视点的图像和大的差以及从非遮挡区域解码单元163提供的小的差来生成残差图像。残差图像生成单元164将该残差图像提供给解码图像生成单元108。
(解码装置的处理的说明)
图12是用于描述图11中的解码装置160的解码处理的流程图。例如，当从编码装置120传输编码流时，解码处理开始。
在图12的步骤S71中，解码装置160的获取单元101获取从编码装置120传输的编码流并且将该编码流提供给分离单元161。
在步骤S72中，分离单元161将从获取单元101提供的编码流分离为遮挡区域的相邻视点的图像、大的差、小的差、标准视点的图像和深度图的编码数据。分离单元161将深度图的编码数据提供给深度图解码单元103，并将标准视点的图像的编码数据提供给标准图像解码单元104。
分离单元161将遮挡区域的相邻视点的图像和大的差的编码数据提供给遮挡区域解码单元162。分离单元161将小的差的编码数据提供给非遮挡区域解码单元163。
在步骤S73中，遮挡区域解码单元162对从分离单元161提供的遮挡区域的相邻视点的图像和大的差的编码数据的执行有损解码。遮挡区域解码单元162将作为有损解码结果而获得的遮挡区域的相邻视点的图像和大的差提供给残差图像生成单元164。
在步骤S74中，非遮挡区域解码单元163对从分离单元161提供的小的差的编码数据执行无损解码。非遮挡区域解码单元163将作为无损解码结果而获得的小的差提供给残差图像生成单元164。
在步骤S75中，残差图像生成单元164通过组合从遮挡区域解码单元162提供的遮挡区域的相邻视点的图像和大的差以及从非遮挡区域解码单元163提供的非遮挡区域的小的差来生成残差图像。残差图像生成单元164将该残差图像提供给解码图像生成单元108。
由于步骤S76至步骤S80的处理与图7的步骤S36至步骤S40的处理相同，因此将省略对它们的描述。
如上所述，编码装置120对小的差执行无损编码并对遮挡区域和大的差执行有损编码。由此，有可能在维持相邻视点的图像的图像质量的同时进行高效编码。此外，因为在非遮挡区域的差中的大的差别经历有损编码，所以编码效率比在编码装置13中更加提升。
解码装置160对小的差执行无损解码并对遮挡区域和大的差执行有损解码。因此，有可能在编码装置120维持相邻视点的图像的图像质量的同时解码经历了高效编码的编码流。
<编码方案的示例>
(编码方案的第一个示例)
在上面的描述中，遮挡区域已经历了有损编码并且非遮挡区域已经历了无损编码，但编码方案不限于此。
图13是示出深度图和从解码装置14(160)输出的N个视点的图像的用途与遮挡区域以及非遮挡区域的编码方案之间的关系的第一示例的示图。
如图13所示，当用途是通过使用N个视点的图像改变相机11的焦距的生成图像的重新聚焦处理时，使用作为N个视点的图像获得的有关光束空间(光场)的所有信息重建图像。因此，遮挡区域和非遮挡区域两者都是重要的。
因此，在这种情况下，视觉无损方案被用作遮挡区域的编码方案。视觉无损方案是一种高质量的编码方案，其中尽管进行有损编码方案，图像质量的恶化也可能不会被感知。此外，无损方案被用作非遮挡区域的编码方案。
也就是说，对于非遮挡区域，可以通过移动标准视点的图像来生成相同的图像。因此，在相关技术的编码装置中，不传输非遮挡区域的视点之间的小的差以便提高编码效率。
然而，当用途是重新聚焦处理时，非遮挡区域的视点之间的差是重要的，因为该差是指示每个视点的诸如纹理、光泽度等的特性的信息。因此，在本公开的一个实施例中，根据无损方案编码非遮挡区域的视点之间的差。因此，由于视点之间在视觉上的细微的差别不会恶化并被保留在解码图像中，所以重新聚焦处理可以以高精度进行。
当用途是通过使用深度图在子像素单元中匹配每个视点的图像的像素值来执行的超分辨率处理时，在标准视点的视图角度重建超分辨率图像。因此，非遮挡区域是重要的，但遮挡区域不是必要的。
因此，在这种情况下，有损方案被用作遮挡区域的编码方案或者不编码(丢弃)遮挡区域。有损方案是比视觉无损方案具有更低的图像质量的有损编码方案，并且是其中可以感知到图像质量的恶化的一种编码方案。作为有损方案，存在联合图像专家组(JPEG)方案等。无损方案被用作非遮挡区域的编码方案。
当用途是从N个视点的图像生成被摄体的3D模型图像的3D建模处理时，从也包括遮挡区域的所有区域识别被摄体的立体形状。因此，遮挡区域和非遮挡区域两者都是重要的。因此，视觉无损失方案被用作遮挡区域和非遮挡区域的编码方案。
当用途是通过执行视点内插来移动输出图像视点的视点移动处理时，必要时，相邻视点的图像是必要的。因此，在这种情况下，有损方案被用作遮挡区域的编码方案，并且视觉无损方案被用作非遮挡区域的编码方案。
当用途是使用深度图检测在深度方向上从相机11到被摄体的距离的定位处理时，深度图的精度是重要的并且每个视点的图像并不重要。因此，在这种情况下，有损方案被用作遮挡区域和非遮挡区域两者的编码方案。
(编码方案的第二示例)
图14是示出深度图和从解码装置14(160)输出的N个视点的图像的用途与遮挡区域以及非遮挡区域的编码方案之间的关系的第二示例的示图。
如图14所示，当用途是用于新开发的应用的多用途使用时，有必要不限制用途。因此，有必要使得图像质量在遮挡区域和非遮挡区域两者中都不会恶化。因此，在这种情况下，无损方案被用作遮挡区域和非遮挡区域两者的编码方案。
当用途是真正的重新聚焦处理或校正模糊的超分辨率处理时，有必要改善重建的图像的图像质量。因此，在重新聚焦处理和用于模糊校正的超分辨率处理中重要的非遮挡区域和遮挡区域两者的图像质量是相对重要的。因此，无损方案被用作非遮挡区域的编码方案，并且高质量的视觉无损方案被用作遮挡区域的编码方案。
当用途是视点移动处理时，遮挡区域和非遮挡区域两者是重要的，因为相邻视点的图像在视点移动时是重要的。当N个视点的图像是静止图像时，相较于移动图像的情况，相邻视点的图像的数据量是小的。因此，当用途是视点移动处理并且N个视点的图像是静止图像时，高质量的视觉无损方案被用作非遮挡区域和遮挡区域两者的编码方案。
当用途是简单的重新聚集处理时，非遮挡区域和遮挡区域两者是重要的并且有必要维持最低图像质量和具有模糊感的纹理。因此，高质量的视觉无损方案被用作非遮挡区域的编码方案，并且高质量的有损方案被用作遮挡区域的编码方案。
当用途是生成泛焦(pan-focus)图像的超分辨处理时，遮挡区域不是必要的，因为超分辨率图像是在标准视点的视图角度处重建的。因此，高质量的视觉无损方案被用作非遮挡区域的编码方案，但是低质量的有损方案被用作遮挡区域的编码方案或者不编码(丢弃)遮挡区域。
当用途是3D建模处理或识别被摄体的姿势的姿势识别处理时，从也包括遮挡区域的所有区域识别被摄体的立体形状。因此，有必要维持遮挡区域以及非遮挡区域的图像质量。因此，高质量的有损方案被用作非遮挡区域和遮挡区域的编码方案。
当用途是视点移动处理时，如上所述，遮挡区域和非遮挡区域两者都是重要的，因为相邻视点的图像在视点移动时是必要的。另一方面，当N个视点的图像是移动图像时，相邻视点的图像的数据量大于静止图像的情况下的数据量。因此，当用途是视点移动处理并且N个视点的图像是移动图像时，高质量的有损方案被用作非遮挡区域的编码方案并且低质量的有损方案被用作遮挡区域的编码方案。
当用途是定位处理时，深度图的精度是重要的，而每个视点的图像并不重要。因此，在这种情况下，低质量的有损方案被用作遮挡区域和非遮挡区域两者的编码方案。
遮挡区域和非遮挡区域的编码方案可以由用户根据用途来设置。可替换地，编码装置13(120)可确定用途，使得用途可自动设定。
指示遮挡区域和非遮挡区域的编码方案的标志(信息)可以从编码装置13(120)传输到解码装置14(160)。在这种情况下，多路复用单元60(124)在例如序列参数集(SPS)、系统层、文件格式的报头等等中设置标志以传输该标志。然后，获取单元101接收该标志，并根据与该标志指示的编码方案相对应的解码方案解码遮挡区域和非遮挡区域之间的差的编码数据。
<第三实施例>
(对其应用本技术的计算机的配置示例)
上述一系列处理可以通过硬件执行，但也可以通过软件执行。当该一系列处理由软件执行时，构建这样的软件的程序被安装到计算机中。这里，表述“计算机”包括在其中集成了专用硬件的计算机和安装各种程序时能够执行各种功能的通用个人计算机等。
图15是示出根据程序执行早先描述的一系列处理的计算机的硬件配置示例的框图。
在该计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。
输入/输出接口205也连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出接口205。
输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动可移除介质211，如磁盘、光盘、磁光盘、半导体存储器等等。
在如上所述配置的计算机中，CPU201将例如存储在存储单元208中的程序经由输入/输出接口205和总线204加载到RAM203，并执行该程序。因此，上述一系列处理被执行。
提供被记录在作为封装介质等的可移动介质211中的要被计算机(CPU201)执行的程序。此外，可以经由如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在该计算机中，通过将可移除介质211加载到驱动器210中，该程序可以经由输入/输出接口205被安装到存储单元208中。也可能使用通信单元209从有线或无线传输介质接收程序并将该程序安装到存储单元208中。作为另一种选择，该程序可以预先安装到ROM202或存储单元208中。
应注意，由计算机执行的程序可以是按照根据在本说明书中描述的序列的时间序列进行处理的程序或是在平行处理或在必要的时机(如调用时)进行处理的程序。
<本说明书中的深度图的说明>
图16是用于描述视差和深度的示图。
如图16所示，当被摄体M的彩色图像由布置在位置C1处的相机c1和布置在位置C2处的相机c2进行拍摄时，被摄体M的深度z(这是在深度方向上该被摄体到相机c1(相机c2)的距离)由下面的等式(a)来定义。
Z＝(L/d)×f···(a)
L是水平方向上位置C1和C2之间的距离(以下称为相机间的距离)。此外，d是通过从在水平方向由相机C1拍摄的彩色图像上被摄体M的位置到彩色图像的中心的距离u1减去在水平方向由相机C2拍摄的彩色图像上被摄体M的位置到彩色图像的中心的距离u2得到的值，即，视差。此外，f是相机C1的焦距，并且在等式(a)中假设相机c1的焦距与相机c2的焦距相同。
如等式(a)中所表示的，视差d与深度z可以唯一地进行转换。因此，上述深度图可以代替指示由相机C1和C2拍摄的2-视点彩色图像之间的视差d的图像。在下文中，指示视差d和深度图的图像通常被称为深度图像。
深度图像可以是指示视差d或深度Z的图像，并且不是视差d或深度z本身，而由归一化视差d得到的值、由归一化深度Z的倒数1/Z得到的值等等可被用作深度图像的像素值。
通过8位(0至255)归一化视差得到的值I可以通过下面的等式(b)得到。用于视差d的归一化的位数并不限于8位，也可以使用其它位数，例如10位或12位。
I = 255 &times; ( d - D min ) D max - D min &CenterDot; &CenterDot; &CenterDot; ( b )
在等式(b)中，Dmax是视差d的最大值并且Dmin是视差d的最小值。最大值Dmax和最小值Dmin可以在一个屏幕中的一个单元中设置，或者可以在多个屏幕的多个单元中设置。
通过8位(0至255)归一化深度Z的倒数1/Z得到的值y可以通过下面的等式(c)得到。用于深度Z的倒数1/Z的归一化的位数并不限于8位，也可以使用其它位数，例如10位或12位。
y = 255 &times; 1 Z - 1 Z far 1 Z near - 1 Z far &CenterDot; &CenterDot; &CenterDot; ( c )
在等式(c)中，Zfar是深度Z的最大值并且Znear是深度Z的最小值。最大值Zfar和最小值Znear可以在一个屏幕中的一个单元中设置，或者可以在多个屏幕的多个单元中设置。
作为深度图像的颜色格式，YUV420、YUV400等均可使用。当然，也可以使用其它的颜色格式。
此外，在本公开中，系统具有多个配置元件(如设备或模块(部件))的集合的含义，并没有考虑所有的配置元件是否是在同一外壳中。因此，该系统可以是存储在单独的外壳中并通过网络连接的多个设备、或者是在单一外壳内的多个模块。
本公开的实施例不限于上述实施例，并且可以在不脱离本公开的范围的情况下作出各种改变和修改。
例如，在第一实施例中，残差图像生成单元56可以通过组合非遮挡区域的差和遮挡区域的相邻视点的图像来生成残差图像。在这种情况下，残差图像生成单元56生成非遮挡区域或遮挡区域的掩码(mask)。然后，分离单元57使用该掩码将残差图像分离成非遮挡区域的差和遮挡区域的相邻视点的图像。
即使在第二实施例中，残差图像生成单元56也可以通过组合非遮挡区域的差和遮挡区域的相邻视点的图像来生成残差图像。在这种情况下，残差图像生成单元56生成通过将小的差的区域或大的差的区域与遮挡区域进行组合而得到的区域的掩码。然后，分离单元121使用该掩码将残差图像分离成小的差和大的差以及遮挡区域的相邻视点的图像。
此外，在第二实施例中，可以不通过确定阈值而是基于预定的评估函数来分离小的差和大的差。
例如，本公开可以采用通过由多个设备通过网络分配和连接一个函数来进行处理的云计算的配置。
此外，由上述流程图描述的每个步骤可以由一个设备或通过分配多个设备来执行。
此外，在一个步骤中包括多个过程处理的情况下，包含在该一个步骤中的所述多个处理可以通过一个设备或通过分配多个设备来执行。
此外，本技术也可如下配置。
(1)
一种编码装置，包括：
非遮挡区域编码单元，配置为根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码；以及
遮挡区域编码单元，配置为根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。
(2)
根据(1)所述的编码装置，其中第一编码方案是具有比第二编码方案更高的质量的编码方案。
(3)
根据(2)所述的编码装置，其中第一编码方案是无损编码，并且第二编码方案是有损编码。
(4)
根据(2)所述的编码装置，其中第一编码方案是第一质量的有损编码，并且第二编码方案是具有比第一质量更低的第二质量的有损编码。
(5)
根据(1)至(4)任一项所述的编码装置，
其中非遮挡区域编码单元根据第一编码方案编码所述差中小于阈值的差，并且
其中遮挡区域编码单元根据第二编码方案编码遮挡区域和所述差中等于或大于阈值的差。
(6)
根据(1)至(5)任一项所述的编码装置，进一步包括：
标准图像编码单元，配置为编码标准视点的图像；以及
深度图编码单元，配置为编码深度图，该深度图使用标准视点的图像和相邻视点的图像生成并指示深度方向上被摄体的位置。
(7)
根据(1)至(6)任一项所述的编码装置，其中根据相邻视点的图像的用途设置第一编码方案和第二编码方案。
(8)
根据(1)至(7)任一项所述的编码装置，进一步包括：
传输单元，配置为传输指示第一编码方案和第二编码方案的信息。
(9)一种编码方法，包括：
通过编码装置，根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码；以及
通过编码装置，根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。
(10)一种解码装置，包括：
非遮挡区域解码单元，配置为根据对应于第一编码方案的第一解码方案，解码通过根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码而获得的编码数据；以及
遮挡区域解码单元，配置为根据对应于第二编码方案的第二解码方案，解码通过根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码而获得的编码数据。
(11)
根据(10)所述的解码装置，其中第一解码方案是具有比第二解码方案更高的质量的解码方案。
(12)
根据(11)所述的解码装置，其中第一解码方案是无损解码，并且第二解码方案是有损解码。
(13)
根据(11)所述的解码装置，其中第一解码方案是第一质量的有损解码，并且第二解码方案是具有比第一质量更低的第二质量的有损解码。
(14)
根据(10)至(13)任一项所述的解码装置，
其中非遮挡区域解码单元根据第一解码方案解码通过编码所述差中小于阈值的差而得到的编码数据，并且
其中遮挡区域解码单元根据第二解码方案解码通过编码遮挡区域和所述差中等于或大于阈值的差而得到的编码数据。
(15)
根据(10)至(14)任一项所述的解码装置，进一步包括：
标准图像解码单元，配置为解码标准视点的图像的编码数据；以及
深度图解码单元，配置为解码深度图的编码数据，该深度图使用标准视点的图像和相邻视点的图像生成并指示深度方向上被摄体的位置。
(16)
根据(10)至(15)任一项所述的解码装置，其中根据相邻视点的图像的用途设置第一编码方案和第二编码方案。
(17)
根据(10)至(16)任一项所述的解码装置，进一步包括：
接收单元，配置为接收指示第一编码方案和第二编码方案的信息，
其中非遮挡区域解码单元根据与由接收单元接收的信息所指示的第一编码方案相对应的第一解码方案执行解码，并且
其中遮挡区域解码单元根据与由接收单元接收的信息所指示的第二编码方案相对应的第二解码方案执行解码。
(18)
一种解码方法，包括：
通过解码装置，根据对应于第一编码方案的第一解码方案，解码通过根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码而获得的编码数据；以及
通过解码装置，根据对应于第二编码方案的第二解码方案，解码通过根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码而获得的编码数据。

Claims (18)

1.一种编码装置，包括：
非遮挡区域编码单元，配置为根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码；以及
遮挡区域编码单元，配置为根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。
2.根据权利要求1所述的编码装置，其中第一编码方案是具有比第二编码方案更高的质量的编码方案。
3.根据权利要求2所述的编码装置，其中第一编码方案是无损编码，并且第二编码方案是有损编码。
4.根据权利要求2所述的编码装置，其中第一编码方案是第一质量的有损编码，并且第二编码方案是具有比第一质量更低的第二质量的有损编码。
5.根据权利要求1所述的编码装置，
其中非遮挡区域编码单元根据第一编码方案编码所述差中小于阈值的差，并且
其中遮挡区域编码单元根据第二编码方案编码遮挡区域和所述差中等于或大于阈值的差。
6.根据权利要求1所述的编码装置，进一步包括：
标准图像编码单元，配置为编码标准视点的图像；以及
深度图编码单元，配置为编码深度图，该深度图使用标准视点的图像和相邻视点的图像生成并指示深度方向上被摄体的位置。
7.根据权利要求1所述的编码装置，其中根据相邻视点的图像的用途设置第一编码方案和第二编码方案。
8.根据权利要求1所述的编码装置，进一步包括：
传输单元，配置为传输指示第一编码方案和第二编码方案的信息。
9.一种编码方法，包括：
通过编码装置，根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码；以及
通过编码装置，根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码。
10.一种解码装置，包括：
非遮挡区域解码单元，配置为根据对应于第一编码方案的第一解码方案，解码通过根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码而获得的编码数据；以及
遮挡区域解码单元，配置为根据对应于第二编码方案的第二解码方案，解码通过根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码而获得的编码数据。
11.根据权利要求10所述的解码装置，其中第一解码方案是具有比第二解码方案更高的质量的解码方案。
12.根据权利要求11所述的解码装置，其中第一解码方案是无损解码，并且第二解码方案是有损解码。
13.根据权利要求11所述的解码装置，其中第一解码方案是第一质量的有损解码，并且第二解码方案是具有比第一质量更低的第二质量的有损解码。
14.根据权利要求10所述的解码装置，
其中非遮挡区域解码单元根据第一解码方案解码通过编码所述差中小于阈值的差而得到的编码数据，并且
其中遮挡区域解码单元根据第二解码方案解码通过编码遮挡区域和所述差中等于或大于阈值的差而得到的编码数据。
15.根据权利要求10所述的解码装置，进一步包括：
标准图像解码单元，配置为解码标准视点的图像的编码数据；以及
深度图解码单元，配置为解码深度图的编码数据，该深度图使用标准视点的图像和相邻视点的图像生成并指示深度方向上被摄体的位置。
16.根据权利要求10所述的解码装置，其中根据相邻视点的图像的用途设置第一编码方案和第二编码方案。
17.根据权利要求10所述的解码装置，进一步包括：
接收单元，配置为接收指示第一编码方案和第二编码方案的信息，
其中非遮挡区域解码单元根据与由接收单元接收的信息所指示的第一编码方案相对应的第一解码方案执行解码，并且
其中遮挡区域解码单元根据与由接收单元接收的信息所指示的第二编码方案相对应的第二解码方案执行解码。
18.一种解码方法，包括：
通过解码装置，根据对应于第一编码方案的第一解码方案，解码通过根据第一编码方案对作为不同于标准视点的视点的相邻视点的图像和相邻视点的图像的非遮挡区域的相邻视点的预测图像之间的差进行编码而获得的编码数据；以及
通过解码装置，根据对应于第二编码方案的第二解码方案，解码通过根据不同于第一编码方案的第二编码方案对相邻视点的图像的遮挡区域进行编码而获得的编码数据。
CN201410317368.0A 2013-07-12 2014-07-04 编码装置和编码方法、以及解码装置和解码方法 Pending CN104284193A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-146806 2013-07-12
JP2013146806A JP2015019326A (ja) 2013-07-12 2013-07-12 符号化装置および符号化方法、並びに、復号装置および復号方法

Publications (1)

Publication Number Publication Date
CN104284193A true CN104284193A (zh) 2015-01-14

Family

ID=52258602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410317368.0A Pending CN104284193A (zh) 2013-07-12 2014-07-04 编码装置和编码方法、以及解码装置和解码方法

Country Status (3)

Country Link
US (1) US20150016517A1 (zh)
JP (1) JP2015019326A (zh)
CN (1) CN104284193A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210722A (zh) * 2016-07-08 2016-12-07 上海大学 基于hevc的分层深度视频残差层数据的编码方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US9813721B2 (en) * 2014-11-20 2017-11-07 Getgo, Inc. Layer-based video encoding
CN106941402B (zh) * 2017-04-01 2020-07-10 中国人民武装警察部队工程大学 一种同态密文域可逆隐藏方法
JPWO2022244131A1 (zh) * 2021-05-19 2022-11-24

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050091A1 (en) * 2004-09-03 2006-03-09 Idelix Software Inc. Occlusion reduction and magnification for multidimensional data presentations
US20110149037A1 (en) * 2008-08-26 2011-06-23 Koninklijke Philips Electronics N.V. Method and system for encoding a 3D video signal, encoder for encoding a 3-D video signal, encoded 3D video signal, method and system for decoding a 3D video signal, decoder for decoding a 3D video signal.
CN102143368A (zh) * 2009-10-02 2011-08-03 索尼公司 图像信号处理设备和方法、图像显示设备、方法和系统
US20120039528A1 (en) * 2010-08-16 2012-02-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20130057646A1 (en) * 2011-07-22 2013-03-07 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007432A1 (en) * 2008-07-14 2010-01-14 Jaroslaw Uher Orthomode junction assembly with associated filters for use in an antenna feed system
US20100074321A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation Adaptive image compression using predefined models
US20120003952A1 (en) * 2010-06-30 2012-01-05 Lifestream Corporation System and method for emergency notification from a mobile communication device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050091A1 (en) * 2004-09-03 2006-03-09 Idelix Software Inc. Occlusion reduction and magnification for multidimensional data presentations
US20110149037A1 (en) * 2008-08-26 2011-06-23 Koninklijke Philips Electronics N.V. Method and system for encoding a 3D video signal, encoder for encoding a 3-D video signal, encoded 3D video signal, method and system for decoding a 3D video signal, decoder for decoding a 3D video signal.
CN102143368A (zh) * 2009-10-02 2011-08-03 索尼公司 图像信号处理设备和方法、图像显示设备、方法和系统
US20120039528A1 (en) * 2010-08-16 2012-02-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20130057646A1 (en) * 2011-07-22 2013-03-07 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210722A (zh) * 2016-07-08 2016-12-07 上海大学 基于hevc的分层深度视频残差层数据的编码方法

Also Published As

Publication number Publication date
JP2015019326A (ja) 2015-01-29
US20150016517A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
JP5763184B2 (ja) ３次元画像に対する視差の算出
Li et al. Scalable coding of plenoptic images by using a sparse set and disparities
JP4414379B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
RU2421933C2 (ru) Система и способ формирования и воспроизведения трехмерного видеоизображения
US9525858B2 (en) Depth or disparity map upscaling
CN101651841B (zh) 一种立体视频通讯的实现方法、系统和设备
US20110298898A1 (en) Three dimensional image generating system and method accomodating multi-view imaging
EP2234406A1 (en) A three dimensional video communication terminal, system and method
CN108886598A (zh) 全景立体视频系统的压缩方法和装置
CN107318027B (zh) 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
Po et al. Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation
CN104838648B (zh) 用于创建和重建视频流的装置和方法
WO2017042133A1 (en) Method and device for encoding and decoding a light field based image, and corresponding computer program product
CN104284193A (zh) 编码装置和编码方法、以及解码装置和解码方法
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US11889115B2 (en) Method and device for multi-view video decoding and method and device for image processing
WO2015141613A1 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
Petrazzuoli et al. Depth-based multiview distributed video coding
RU2625526C2 (ru) Способ и устройство для обработки видеосигнала
WO2012002033A1 (ja) 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体
Chung et al. Bit allocation algorithm with novel view synthesis distortion model for multiview video plus depth coding
MX2013000939A (es) Aparato de procesamiento de imagenes.
JP2020120322A (ja) 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム
JP2020005201A (ja) 送信装置及び受信装置
JP5751616B2 (ja) 立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150114

WD01 Invention patent application deemed withdrawn after publication