CN104067615A - 编码装置和编码方法以及解码装置和解码方法 - Google Patents

编码装置和编码方法以及解码装置和解码方法 Download PDF

Info

Publication number
CN104067615A
CN104067615A CN201380006563.5A CN201380006563A CN104067615A CN 104067615 A CN104067615 A CN 104067615A CN 201380006563 A CN201380006563 A CN 201380006563A CN 104067615 A CN104067615 A CN 104067615A
Authority
CN
China
Prior art keywords
unit
depth image
parameter set
decoding
dps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380006563.5A
Other languages
English (en)
Other versions
CN104067615B (zh
Inventor
服部忍
樱井裕音
高桥良知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201510050838.6A priority Critical patent/CN104683813B/zh
Publication of CN104067615A publication Critical patent/CN104067615A/zh
Application granted granted Critical
Publication of CN104067615B publication Critical patent/CN104067615B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种编码装置和编码方法以及解码装置和解码方法，其中可以减小在关于深度图像的信息被包括在编码流中的情况下的编码流的编码量。DPS编码器将作为关于深度图像的信息的深度图像信息设置为与序列参数集和图片参数集不同的DPS。切片编码单元对深度图像进行编码，从而生成编码数据。切片编码单元传送包含DPS和编码数据的编码流。本发明可适用于例如用于多视点图像的编码装置。

Description

编码装置和编码方法以及解码装置和解码方法
技术领域
本技术涉及一种编码装置和编码方法以及解码装置和解码方法，具体地，涉及一种被配置成在关于深度图像的信息被包括在编码流中的情况下减小编码流的编码量的编码装置和编码方法以及解码装置和解码方法。
背景技术
近年来，3D图像已引起关注。作为观看3D图像的方案，如下方案(下文中称为眼镜类型方案)是普遍的：戴上在显示两视点图像之间的一个图像时打开左眼快门而在显示另一图像时打开右眼快门的眼镜，并且观看交替显示的两视点图像。
然而，在这样的眼镜类型方案中，观看者需要与3D显示装置分开购买眼镜，从而降低了观看者进行购买的购买意愿。由于观看者需要在观看时戴上眼镜，因此观看者可能感觉麻烦。因此，对在不需要戴上眼镜的情况下来观看3D图像的观看方案(下文中称为非眼镜类型方案)的需求增加。
在这样的非眼镜类型方案中，三个或更多个视点的视点图像被显示为使得可观看角度对于每个视点不同，因此观看者可以在仅分别利用左眼和右眼观看任意两视点图像时观看3D图像而无需戴上眼镜。
作为在非眼镜类型方案中显示3D图像的方法，设计了如下方法：获取预定视点彩色图像和深度图像，基于彩色图像和深度图像生成包括除预定视点之外的视点的多视点彩色图像，并显示该多视点彩色图像。这里，多视点指的是是三个或更多个视点。
作为对多视点彩色图像和深度图像进行编码的方法，提出了分开对彩色图像和深度图像进行编码的方法(例如，参见专利文献1)。
引用列表
非专利文献
NPL1："Draft Call for Proposals on3D Video Coding Technology",INTERNATIONAL ORGANISATION FOR STANDARDISATIONORGANISATION INTERNATIONALE DE NORMALISATION ISO/IECJTC1/SC29/WG11CODING OF MOVING PICTURES AND AUDIO,MPEG2010/N11679广州,中国,2010年10月
发明内容
技术问题
然而，在关于深度图像的信息被包括在编码流中的情况下，没有考虑编码流的编码量的减小。
本技术是鉴于这样的情形而完成的，并且是用于在关于深度图像的信息被包括在编码流中的情况下减小编码流的编码量的技术。
问题的解决方案
根据本技术的第一方面，提供了一种编码装置，其包括：设置单元，将作为关于深度图像的信息的深度图像信息设置为不同于序列参数集和图片参数集的参数集；编码单元，对深度图像进行编码以生成编码数据；以及传送单元，传送包括由设置单元设置的参数集和由编码单元生成的编码数据的编码流。
根据本技术的第一方面的编码方法对应于根据本技术的第一方面的编码装置。
根据本技术的第一方面，将作为关于深度图像的信息的深度图像信息设置为不同于序列参数集和图片参数集的参数集；对深度图像进行编码以生成编码数据；并且传送包括参数集和编码数据的编码流。
根据本技术的第二方面，提供了一种解码装置，其包括：获取单元，从包括参数集和深度图像的编码数据的编码流中获取参数集和编码数据，该参数集中设置有作为关于深度图像的信息的深度图像信息，并且该参数集不同于序列参数集和图片参数集；解析处理单元，从获取单元获取的参数集中解析深度图像信息；以及解码单元，对获取单元获取的编码数据进行解码。
根据本技术的第二方面的解码方法对应于根据本技术的第二方面的解码装置。
根据本技术的第二方面，从包括参数集和深度图像的编码数据的编码流中获取参数集和编码数据，该参数集中设置有作为关于深度图像的信息的深度图像信息，并且该参数集不同于序列参数集和图片参数集；从参数集中解析深度图像信息；并且对编码数据进行解码。
根据第一方面的编码装置和根据第二方面的解码装置可以通过允许计算机执行程序来实现。
为了实现根据第一方面的编码装置和根据第二方面的解码装置，允许由计算机执行的程序可以经由传送介质来传送或者可以记录在记录介质上以被提供。
本发明的有利效果
根据本技术的第一方面，可以在关于深度图像的信息被包括在编码流中的情况下减小编码流的编码量。
根据本技术的第二方面，可以对在关于深度图像的信息被包括在编码流中的情况下减小了编码流的编码量的编码流进行解码。
附图说明
图1是示出视差和深度的图。
图2是示出应用本技术的实施例的编码装置的配置示例的框图。
图3是示出图2中的多视点图像编码单元的配置示例的框图。
图4是示出编码流的结构示例的图。
图5是示出DPS的语法示例的图。
图6是示出切片报头的语法示例的图。
图7是示出图2中的编码装置的编码处理的流程图。
图8是示出图7中的多视点编码处理的细节的流程图。
图9是示出图8的DPS生成处理的细节的流程图。
图10是示出应用本技术的实施例的解码装置的配置示例的框图。
图11是示出图10中的多视点图像解码单元的配置示例的框图。
图12是示出图10中的解码装置的解码处理的流程图。
图13是示出图12中的多视点解码处理的细节的流程图。
图14是示出图13中的生成处理的细节的流程图。
图15是示出扩展SPS的语法示例的图。
图16是示出扩展SPS的另一语法示例的图。
图17是示出扩展slice_layer的定义的图。
图18是示出扩展slice_layer的语法示例的图。
图19是示出扩展切片报头的语法示例的图。
图20是示出扩展切片报头的另一语法示例的图。
图21是示出NAL单位的语法示例的图。
图22是示出slice_layer的语法示例的图。
图23是示出编码流的另一结构示例的图。
图24是示出实施例的计算机的配置示例的图。
图25是示出应用本技术的电视机设备的总体配置示例的图。
图26是示出应用本技术的便携式电话的总体配置示例的图。
图27是示出应用本技术的记录再现设备的总体配置示例的图。
图28是示出应用本技术的成像设备的总体配置示例的图。
具体实施方式
<本说明书中的深度图像(视差相关图像)的描述>
图1是示出视差和深度的图。
如图1所示，当主体M的彩色图像是由布置在位置C1处的摄像装置c1和布置在位置C2处的摄像装置c2拍摄的时，作为在深度方向上摄像装置c1(摄像装置c2)与主体的距离的主体M的深度Z由以下等式(a)来定义。
[数学式1]
Z＝(L/d)×f ...(a)
L是在水平方向上位置C1与位置C2之间的距离(下文中称为摄像装置间距离)。另外，d是通过从摄像装置c1所拍摄的彩色图像上的主体M的位置在水平方向上距该彩色图像的中心的距离u1减去摄像装置c2所拍摄的彩色图像上的主体M的位置在水平方向上距该彩色图像的中心的距离u2而获得的值，即，视差。此外，f是摄像装置c1的焦距，并且在等式(a)中假设摄像装置c1的焦距与摄像装置c2的焦距相同。
如等式(a)所表示的，视差d和深度Z可以唯一地进行转换。因此，在本说明书中，指示摄像装置c1和c2所拍摄的两视点彩色图像之间的视差d的图像以及指示深度Z的图像一般地称为深度图像。
深度图像可以是指示视差d或深度Z的图像，并且可以将通过对视差d归一化而获得的值、通过对深度Z的倒数1/Z归一化而获得的值等而非视差d或深度Z本身用作深度图像的像素值。
通过以8位(0到255)对视差d归一化而获得的值I可以由以下等式(b)来获得。用于视差d的归一化的位数不限于8位，而是可以使用其他位数，诸如10位或12位。
[数学式2]
I = 255 &times; ( d - D min ) D max - D min . . . ( b )
在等式(b)中，Dmax是视差d的最大值，并且Dmin是视差d的最小值。最大值Dmax和最小值Dmin可以以一个屏幕为单位来设置，或者可以以多个屏幕为单位来设置。
通过以8位(0到255)对深度Z的倒数1/Z归一化而获得的值y可以由以下等式(c)来获得。用于深度Z的倒数1/Z的归一化的位数不限于8位，而是可以使用其他位数，诸如10位或12位。
[数学式3]
y = 255 &times; 1 Z - 1 Z far 1 Z near - 1 Z far . . . ( c )
在等式(c)中，Zfar是深度Z的最大值，并且Znear是深度Z的最小值。最大值Zfar和最小值Znear可以以一个屏幕为单位来设置，或者可以以多个屏幕为单位来设置。
因此，在本说明书中，考虑到视差d和深度Z可以唯一地进行转换的事实，将通过对视差d归一化而获得的值I设置为像素值的图像以及将通过对深度Z的倒数1/Z归一化而获得的值y设置为像素值的图像被一般地称为深度图像。这里，深度图像的颜色格式假设为YUV420或YUV400，但是可以使用其它颜色格式。
当关注的是关于值I或值y本身的信息而不是关于深度图像的像素值的信息时，值I或值y被设置为深度信息(视差相关值)。此外，通过对值I和值y进行映射而获得的结果称为深度图。
<实施例>
<实施例的编码装置的配置示例>
图2是示出应用本技术的实施例的编码装置的配置示例的框图。
图2中的编码装置50被配置成包括多视点彩色图像捕获单元51、多视点彩色图像校正单元52、多视点深度图像生成单元53、深度图像信息生成单元54和多视点图像编码单元55。编码装置50传送作为关于深度图像的信息的深度图像信息(编码参数)。
具体地，编码装置50的多视点彩色图像捕获单元51捕获具有多个视点的彩色图像，并且将该彩色图像作为多视点彩色图像提供到多视点彩色图像校正单元52。多视点彩色图像捕获单元51生成每个视点的外部参数、深度最大值(视差相关最大值)和深度最小值(视差相关最小值)(以下将描述其细节)。多视点彩色图像捕获单元51将外部参数、深度最大值和深度最小值提供到深度图像信息生成单元54，并将深度最大值和深度最小值提供到多视点深度图像生成单元53。
外部参数是定义水平方向上的多视点彩色图像捕获单元11的位置的参数。深度最大值在多视点深度图像生成单元53生成的深度图像是指示深度Z的图像时是深度Z的最大值Zfar，并且在深度图像是指示视差d的图像时是视差d的最大值Dmax。深度最小值在多视点深度图像生成单元53生成的深度图像是指示深度Z的图像时是深度Z的最小值Znear，并且在深度图像是指示视差d的图像时是视差d的最小值Dmin。
多视点彩色图像校正单元52对从多视点彩色图像捕获单元51提供的多视点彩色图像执行颜色校正、亮度校正、失真校正等。因此，在校正后的多视点彩色图像中的水平方向(X方向)上的多视点彩色图像捕获单元51的焦距对所有视点是共同的。多视点彩色图像校正单元52将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点深度图像生成单元53和多视点图像编码单元55。
多视点深度图像生成单元53基于从多视点彩色图像捕获单元51提供的深度最大值和深度最小值，根据从多视点彩色图像校正单元52提供的多视点校正彩色图像生成多个视点的深度图像。具体地，多视点深度图像生成单元53针对多个视点中的每个视点而从多视点校正彩色图像获得每个像素的视差相关值，并且基于深度最大值和深度最小值对视差相关值进行归一化。然后，多视点深度图像生成单元53生成如下深度图像：其中，针对多个视点中的每个视点被归一化的每个像素的视差相关值被设置为深度图像的每个像素的像素值。
多视点深度图像生成单元53将所生成的多个视点的深度图像作为多视点深度图像提供到多视点图像编码单元55。
深度图像信息生成单元54生成每个视点的深度图像信息。具体地，深度图像信息生成单元54基于从多视点彩色图像捕获单元51提供的每个视点的外部参数而获得每个视点的摄像装置间距离。摄像装置间距离是在捕获与多视点深度图像对应的每个视点的彩色图像时多视点彩色图像捕获单元51在水平方向上的位置与捕获具有与彩色图像和深度图像对应的视差的彩色图像时多视点彩色图像捕获单元51在水平方向上的位置之间的距离。
深度图像信息生成单元54将来自多视点彩色图像捕获单元51的每个视点的深度最大值和深度最小值以及每个视点的摄像装置间距离设置为每个视点的深度图像信息。深度图像信息生成单元54将每个视点的深度图像信息提供到多视点图像编码单元55。
多视点图像编码单元55根据符合HEVC(高效视频编码)方案的方案而对来自多视点彩色图像校正单元52的多视点校正彩色图像和来自多视点深度图像生成单元53的多视点深度图像进行编码。2011年5月20日已经发布了HEVC方案，如2011年8月由Thomas Wiegand、Woo-jinHan、Benjamin Bross、Jens-Rainer Ohm和Gary J.Sullivian发布了作为“WD3:Working Draf t3of High-Efficiency Video Coding”,JCTVC-E603_d5(版本5)中的草案的HEVC方案。
多视点图像编码单元55针对每个视点对从深度图像信息生成单元54提供的每个视点的深度图像信息执行差分编码，并且生成作为包括差分编码结果的NAL(网络抽象层)单位的DPS(深度参数集)(DRPS)等。然后，多视点图像编码单元55传送由编码后的多视点校正彩色图像和多视点深度图像、DPS等构成的位流作为编码流(编码位流)。
因此，由于多视点图像编码单元55对深度图像信息执行差分编码并且传送编码后的深度图像信息，因此多视点图像编码单元55可以减小深度图像信息的编码量。为了提供舒适的3D图像，存在深度图像信息在图片之间不会显著改变的高概率。因此，执行差分编码的事实对于编码量的减小是有效的。
由于多视点图像编码单元55传送包括在DPS中的深度图像信息，因此可以防止如在深度图像信息包括在切片报头中以进行传送的情况下那样冗余地传送相同的深度图像信息。结果，可以进一步减小深度图像信息的编码量。
<多视点图像编码单元的配置示例>
图3是示出图2中的多视点图像编码单元55的配置示例的框图。
图3中的多视点图像编码单元55被配置成包括SPS编码单元61、PPS编码单元62、DPS编码单元63、切片报头编码单元64和切片编码单元65。
多视点图像编码单元55的SPS编码单元61以序列单位生成SPS，并且将SPS提供到PPS编码单元62。PPS编码单元62以图片单位生成PPS，将PPS添加到从SPS编码单元61提供的SPS，并且将所添加的PPS提供到切片报头编码单元64。
DPS编码单元63基于从图2中的深度图像信息生成单元54提供的每个视点的深度图像信息而针对每个视点的深度图像的每个切片对深度图像信息执行差分编码。具体地，当处理目标切片的类型是帧内类型时，DPS编码单元63将该切片的深度图像信息设置为差分编码结果而不进行改变。相反，当处理目标切片的类型是帧间类型时，DPS编码单元63将该切片的深度图像信息与该切片的紧挨在前的切片的深度图像信息之间的差设置为差分编码结果。
当尚未生成包括深度图像信息的该差分编码结果的DPS时，DPS编码单元63用作设置单元，并在DPS中设置该差分编码结果。DPS编码单元63将作为唯一地标识DPS的ID(标识号)的DPS_id(索引标识符)分配给DPS，并且在DPS中设置DPS_id。然后，DPS编码单元63将设置有深度图像信息的差分编码结果和DPS_id的DPS提供到切片报头编码单元64。
相反，当已生成包括深度图像信息的该差分编码结果的DPS时，DPS编码单元63将该DPS的DPS_id提供到切片报头编码单元64。
切片报头编码单元64用作设置单元，并且在相应视点的深度图像的切片的切片报头中设置从DPS编码单元63提供的DPS的DPS_id或者设置一DPS_id。切片报头编码单元64生成多视点彩色图像的切片报头。切片报头编码单元64还将从DPS编码单元63提供的DPS以及多视点深度图像和多视点彩色图像的切片报头添加到添加了从PPS编码单元62提供的SPS的PPS，并且将PPS提供到切片编码单元65。
切片编码单元65用作编码单元，并且以切片单位根据符合HEVC方案的方案对来自多视点彩色图像校正单元52的多视点校正彩色图像和来自多视点深度图像生成单元53的多视点深度图像进行编码。此时，切片编码单元65使用下述DPS_id的DPS中所包含的深度图像信息：该DPS_id被包括在从切片报头编码单元64提供的切片报头中。
切片编码单元65通过将作为编码结果获得的切片单位的编码数据添加到添加了从切片报头编码单元64提供的SPS、PPS和DPS的切片报头来生成编码流。切片编码单元65用作传送单元，并且传送编码流。
<编码流的结构示例>
图4是示出编码流的结构示例的图。
在图4中，为了有利于描述，仅描述了多视点图像的切片的编码数据。然而，实际上，多视点彩色图像的切片的编码数据也布置在编码流中。
如图4所示，添加了序列单位的SPS、图片单位的PPS、切片单位的DPS以及切片报头的切片单位的编码数据被顺序地布置在编码流中。
在图4的示例中，与作为第0个PPS的PPS#0对应的图片的切片当中的帧内类型切片的深度最小值、深度最大值和摄像装置间距离分别是10、50和100。因此，深度最小值“10”、深度最大值“50”和摄像装置间距离“100”本身被生成作为该切片的深度图像信息的差分编码结果。然后，由于尚未生成包括差分编码结果的DPS，因此在编码流中设置包括差分编码结果的DPS，并且例如，0被分配作为DPS_id。然后，0被包括在切片报头中作为DPS_id。
在图4的示例中，与PPS#0对应的图片的切片当中的第1帧间类型切片的深度最小值、深度最大值和摄像装置间距离分别是9、48和105。因此，通过从该切片的深度最小值“9”减去编码序列中的紧挨在前的帧内类型切片的深度最小值“10”而获得的差“-1”被生成作为该切片的深度图像信息的差分编码结果。类似地，深度最大值之间的差“-2”和摄像装置间距离之间的差“5”被生成作为深度图像信息的差分编码结果。
由于尚未生成包括该差分编码结果的DPS，因此将包括该差分编码结果的DPS设置为编码流，并且例如，1被分配作为DPS_id。然后，1被包括在切片报头中作为DPS_id。
在图4的示例中，与PPS#0对应的图片的切片当中的第2帧间类型切片的深度最小值、深度最大值和摄像装置间距离分别是7、47和110。因此，通过从该切片的深度最小值“7”减去编码序列中的紧挨在前的第1帧间类型切片的深度最小值“9”而获得的差“-2”被生成作为该切片的深度图像信息的差分编码结果。类似地，深度最大值之间的差“-1”和摄像装置间距离之间的差“5”被生成作为深度图像信息的差分编码结果。
由于尚未生成包括该差分编码结果的DPS，因此将包括该差分编码结果的DPS设置为编码流，并且例如，2被分配作为DPS_id。然后，2被包括在切片报头中作为DPS_id。
在图4的示例中，与作为第1个PPS的PPS#1对应的图片的三个帧间类型切片的深度图像信息的差分编码结果和与PPS#0对应的图片的切片当中的第2帧间类型切片的深度图像信息的差分编码结果相同。因此，没有针对这三个帧间类型切片设置DPS，并且2被包括在切片的切片报头中作为DPS_id。
<DPS的语法示例>
图5是示出DPS的语法示例的图。
如图5的第2行中所示，分配给DPS的DPS_id(depth_parameter_set_id)包括在DPS中。如第14行中所示，深度最大值和深度最小值(depth_ranges)包括在DPS中。如第17行中所示，摄像装置间距离(vsp_param)包括在DPS中。
<切片报头的语法示例>
图6是示出切片报头的语法示例的图。
如图6的第3行至第7行中所示，添加了切片报头的切片单位的编码数据的NAL单位的类型nal_unit_type是21，其指示根据3DVC(三维视频编码)方案执行编码，即，切片报头是深度图像的切片报头，并且当切片的类型slice_type是帧间类型时，切片报头包括指示是否对深度图像执行加权预测的标志。
具体地，当切片的类型slice_type是P(slice_type＝＝P)时，切片报头包括指示是否执行前向或后向上的加权预测的标志depth_weighted_pred_flag。另一方面，当切片的类型slice_type是B(slice_type＝＝B)时，切片报头包括指示是否执行前向和后向上的加权预测的标志depth_weighted_bipred_flag。
如第8行至第10行中所示，当执行加权预测时，切片报头包括DPS_id(depth_parameter_set_id)。具体地，当切片的类型slice_type是P并且标志depth_weighted_pred_flag是1时，或者当切片的类型slice_type是B并且标志depth_weighted_bipred_flag是1时，包括DPS_id(depth_parameter_set_id)。
尽管未示出，但是，当切片的编码数据的NAL单位的类型nal_unit_type是值21时，包括DPS_id而与切片的类型slice_type是I的事实无关。
除了第3行至第10行中的NAL单位的类型nal_unit_type是21的情况的描述之外，图6的语法与现有切片报头的语法相同。即，深度图像的切片报头中的除了标志depth_weighted_pred_flag或标志depth_weighted_bipred_flag以及DPS_id之外的信息与彩色图像中的切片报头中的信息相同。因此，可以完全维持与现有编码流的兼容性。
由于切片报头包括标志depth_weighted_pred_flag和标志depth_weighted_bipred_flag，因此可以以切片单位来设置标志depth_weighted_pred_flag或标志depth_weighted_bipred_flag。
<编码装置的处理的描述>
图7是示出图2中的编码装置50的编码处理的流程图。
在图7的步骤S10中，编码装置50的多视点彩色图像捕获单元51捕获多个视点的彩色图像，并且将多个视点的彩色图像作为多视点彩色图像提供到多视点彩色图像校正单元52。
在步骤S11中，多视点彩色图像捕获单元51生成每个视点的外部参数、深度最大值和深度最小值。多视点彩色图像捕获单元51将外部参数、深度最大值和深度最小值提供到深度图像信息生成单元54，并且将深度最大值和深度最小值提供到多视点深度图像生成单元53。
在步骤S12中，多视点彩色图像校正单元52对从多视点彩色图像捕获单元51提供的多视点彩色图像执行颜色校正、亮度校正和失真校正等。多视点彩色图像校正单元52将校正之后的多视点彩色图像作为多视点校正彩色图像提供到多视点深度图像生成单元53和多视点图像编码单元55。
在步骤S13中，多视点深度图像生成单元53基于从多视点彩色图像捕获单元51提供的深度最大值和深度最小值，根据从多视点彩色图像校正单元52提供的多视点校正彩色图像生成多个视点的深度图像。然后，多视点深度图像生成单元53将所生成的多个视点的深度图像作为多视点深度图像提供到多视点图像编码单元55。
在步骤S14中，深度图像信息生成单元54生成每个视点的深度图像信息，并且将每个视点的深度图像信息提供到多视点图像编码单元55。
在步骤S15中，多视点图像编码单元55根据符合HEVC方案的方案，执行对多视点校正彩色图像和多视点深度图像进行编码的多视点编码处理。将参照以下要描述的图8而描述多视点编码处理的细节。
在步骤S16中，多视点图像编码单元55传送作为步骤S15的结果而生成的编码流，并且结束该处理。
图8是示出图7的步骤S15的多视点编码处理的细节的流程图。
在图8的步骤S31中，多视点图像编码单元55的SPS编码单元61(图3)生成序列单位的SPS，并且将SPS提供到PPS编码单元62。
在步骤S32中，PPS编码单元62生成图片单位的PPS，将PPS添加到从SPS编码单元61提供的SPS，并且将SPS提供到切片报头编码单元64。以每个视点的切片单位执行步骤S33至步骤S37的随后处理。
在步骤S33中，DPS编码单元63执行用于生成处理目标视点的切片(下文中称为目标视点切片)的DPS的DPS生成处理。将参照以下要描述的图9来描述DPS生成处理的细节。
在步骤S34中，切片报头编码单元64生成包括一DPS_id或者从DPS编码单元63提供的DPS的DPS_id的目标视点切片的深度图像的切片报头。
在步骤S35中，切片报头编码单元64生成目标视点切片的校正彩色图像的切片报头。然后，切片报头编码单元64还将DPS、多视点深度图像和多视点彩色图像的切片报头添加到添加了从PPS编码单元62提供的SPS的PPS，并且将该PPS提供到切片编码单元65。
在步骤S36中，切片编码单元65根据符合HEVC方案的3DVC方案，基于从切片报头编码单元64提供的目标视点切片的深度图像的切片报头中包括的DPS_id的DPS中所包括的深度图像信息，对从多视点深度图像生成单元53提供的目标视点切片的深度图像进行编码。
在步骤S37中，切片编码单元65根据符合HEVC方案的方案而对从多视点深度图像生成单元53提供的目标视点切片的校正彩色图像进行编码。切片编码单元65通过将作为步骤S36和步骤S37的编码结果而获得的切片单位的编码数据添加到添加了SPS、PPS和DPS的且从切片报头编码单元64提供的切片报头来生成编码流。然后，处理返回到图7的步骤S15，并且进行到步骤S16。
图9是示出图8的步骤S33的DPS生成处理的细节的流程图。
在图9的步骤S51中，DPS编码单元63确定目标视点切片的类型是否是帧内类型。当在步骤S51中确定目标视点切片的类型是帧内类型时，处理进行到步骤S52。
在步骤S52中，DPS编码单元63确定是否已生成包括从图2中的深度图像信息生成单元54提供的目标视点切片的深度图像信息的DPS。
当在步骤S52中确定尚未该生成DPS时，DPS编码单元63在步骤S53中生成包括目标视点切片的深度图像信息的DPS作为差分编码结果，并且处理进行到步骤S57。
相反，当在步骤S51中确定目标视点切片的类型不是帧内类型时，即，当目标视点切片的类型是帧间类型时，处理进行到步骤S54。
在步骤S54中，DPS编码单元63通过获得目标视点切片的深度图像信息与目标视点切片的编码序列中的紧挨在前的同一视点的切片的深度图像信息之间的差作为差分编码结果，来执行差分编码。
在步骤S55中，DPS编码单元63确定是否已生成包括步骤S54中所获得的差分编码结果的DPS。当在步骤S55中确定尚未生成该DPS时，DPS编码单元63在步骤S56中生成包括步骤S54中所获得的差分编码结果的DPS，并且处理进行到步骤S57。
在步骤S57中，DPS编码单元63将DPS_id分配给在步骤S53或步骤S56中生成的DPS，并且允许DPS_id被包括在DPS中。DPS编码单元63保持包括DPS_id的DPS。在进行步骤S52和步骤S55的确定时使用所保持的DPS。
在步骤S58中，DPS编码单元63将包括DPS_id的DPS输出到切片报头编码单元64。然后，处理返回到图8的步骤S33，并且进行到步骤S34。
相反，当在步骤S52中确定已生成DPS时，DPS编码单元63从步骤S57中所保持的DPS中检测DPS的DPS_id，并且在步骤S59中将DPS_id输出到切片报头编码单元64。然后，处理返回到图8的步骤S33，并且进行到步骤S34。
相反，当在步骤S55中确定已生成DPS时，DPS编码单元63从步骤S57中所保持的DPS中检测DPS的DPS_id，并且在步骤S60中将DPS_id输出到切片报头编码单元64。然后，处理返回到图8的步骤S33，并且进行到步骤S34。
如上所述，由于编码装置50在DPS中设置深度图像信息，允许深度图像信息被包括在编码流中，并且传送编码流，因此可以在切片之间共享深度图像信息。结果，与当深度图像信息包括在切片报头等中以进行传送时相比，可以更多地降低深度图像信息的冗余性，因此可以减小编码量。
由于DPS中的深度图像信息被设置为不同于现有参数集、SPS和PPS并且该深度图像信息生成编码流，因此编码装置50可以生成与现有编码流兼容的编码流。
此外，当编码装置50以DPS的设置序列分配DPS_id时，解码侧可以基于包括在DPS中的DPS_id而检测到DPS在传送期间丢失。因此，在该情况下，编码装置50可以以高误差容限执行传送。
在编码装置50中，根据多视点校正彩色图像生成多视点深度图像。然而，当捕获多视点彩色图像时，可由检测视差d和深度Z的传感器来生成多视点深度图像。
<实施例的解码装置的配置示例>
图10是示出根据应用本技术的实施例的对从图2中的编码装置50传送的编码流进行解码的解码装置的配置示例的框图。
图10中的解码装置80被配置成包括多视点图像解码单元81、视点合成单元82和多视点图像显示单元83。
解码装置80的多视点图像解码单元81接收从图2中的编码装置50传送的编码流。多视点图像解码单元81从所获取的编码流提取SPS、PPS、DPS、切片报头、切片单位的编码数据等。然后，多视点图像解码单元81根据与图2中的多视点图像编码单元55的编码方案对应的方案，针对每个视点，基于由包括在切片报头中的DPS_id指定的DPS，对与切片报头对应的切片的深度图像的编码数据进行解码，以生成深度图像。多视点图像解码单元81根据与多视点图像编码单元55的编码方案对应的方案而对多视点彩色图像的切片单位的编码数据进行解码，以生成多视点校正彩色图像。多视点图像解码单元81将所生成的多视点校正彩色图像和多视点深度图像提供到视点合成单元82。
视点合成单元82对来自多视点图像解码单元81的多视点深度图像执行到与多视点图像显示单元83对应的视点数量的视点(下文中称为显示视点)的翘曲处理(以下将描述其细节)。此时，可设置使用深度图像信息。
翘曲处理是执行从给定视点的图像到另一视点的图像的几何变换的处理。显示视点包括除与多视点彩色图像对应的视点之外的视点。
视点合成单元82基于作为翘曲处理的结果而获得的显示视点的深度图像，对从多视点图像解码单元81提供的多视点校正彩色图像执行到显示视点翘曲处理。此时，可设置使用深度图像信息。视点合成单元82将作为翘曲处理的结果而获得的显示视点的彩色图像作为多视点合成彩色图像提供到多视点图像显示单元83。
多视点图像显示单元83显示从视点合成单元82提供的多视点合成彩色图像，以使得可观看角度在每个视点不同。观看者可以仅通过分别利用左眼和右眼观看两个任意视点的图像而在不佩戴眼镜的情况下从多个视点观看3D图像。
<多视点图像解码单元的配置示例>
图11是示出图10中的多视点图像解码单元81的配置示例的框图。
图11中的多视点图像解码单元81被配置成包括SPS解码单元101、PPS解码单元102、DPS解码单元103、切片报头解码单元104和切片解码单元105。
多视点图像解码单元81的SPS解码单元101接收从图2中的编码装置50传送的编码流。SPS解码单元101从编码流提取SPS。SPS解码单元101将所提取的SPS和编码流提供到PPS解码单元102和DPS解码单元103。
PPS解码单元102在从SPS解码单元101提供的编码流中提取PPS。PPS解码单元102将所提取的PPS和从SPS解码单元101提供的编码流提供到切片报头解码单元104。DPS解码单元103用作获取单元，并且在从SPS解码单元101提供的编码流中获取DPS。DPS解码单元103用作解析处理单元，并且从DPS中解析(提取)深度图像信息并保持该深度图像信息。深度图像信息在必要时被提供到视点合成单元82。
切片报头解码单元104在从PPS解码单元102提供的编码流中提取切片报头。切片报头解码单元104从DPS解码单元103读取由切片报头中包括的DPS_id所指定的DPS的深度图像信息。切片报头解码单元104将SPS、PPS、切片报头、DPS和编码流提供到切片解码单元105。
切片解码单元105用作获取单元，并且在从切片报头解码单元104提供的编码流中获取切片单位的编码数据。切片解码单元105用作生成单元，并且基于与DPS对应的切片的切片类型而对从切片报头解码单元104提供的DPS中所包括的差分编码结果进行解码。
具体地，当与DPS对应的切片的切片类型是帧内类型时，切片解码单元105使用DPS中所包括的差分编码结果作为解码结果而不进行改变来执行解码。另一方面，当与DPS对应的切片的切片类型是帧间类型时，切片解码单元105将DPS中所包括的差分编码结果和编码序列中的紧挨在前的切片的所保持的深度图像信息相加，并将作为加法结果获得的相加值设置为解码结果。切片解码单元105保持解码结果作为深度图像信息。
切片解码单元105根据与切片编码单元65(图3)中的编码方案对应的方案，基于从切片报头解码单元104提供的SPS、PPS、切片报头和深度图像信息而对切片单位的编码数据进行解码。切片报头解码单元104将作为解码结果获得的多视点校正彩色图像和多视点深度图像提供到图10中的视点合成单元82。
<解码装置的处理的描述>
图12是示出图10中的解码装置80的解码处理的流程图。解码处理例如在从图2中的编码装置50传送编码流时开始。
在图12的步骤S61中，解码装置80的多视点图像解码单元81接收从图2中的编码装置50传送的编码流。
在步骤S62中，多视点图像解码单元81执行对所接收的编码流解码的多视点解码处理。将参照以下要描述的图13来描述多视点解码处理的细节。
在步骤S63中，视点合成单元82基于从多视点图像解码单元81提供的多视点校正彩色图像和多视点深度图像而生成多视点合成彩色图像。
在步骤S64中，多视点图像显示单元83显示从视点合成单元82提供的多视点合成彩色图像以使得可观看角度在每个视点不同，并且结束处理。
图13是示出图12的步骤S62的多视点解码处理的细节的流程图。
在图13的步骤S71中，多视点图像解码单元81的SPS解码单元101从所接收的编码流提取SPS。SPS解码单元101将所提取的SPS和编码流提供到PPS解码单元102和DPS解码单元103。
在步骤S72中，PPS解码单元102在从SPS解码单元101提供的编码流中提取PPS。PPS解码单元102将所提取的PPS以及从SPS解码单元101提供的SPS和编码流提供到切片报头解码单元104。
在步骤S73中，DPS解码单元103在从SPS解码单元101提供的编码流中提取DPS，并且从DPS中解析深度图像信息并保持该深度图像信息。以每个视点的切片单位执行步骤S74至步骤S77的随后处理。在步骤S74中，切片报头解码单元104在从PPS解码单元102提供的编码流中提取目标视点切片的切片报头。
在步骤S75中，切片报头解码单元104从DPS解码单元103读取由在步骤S74中提取的切片报头中包括的DPS_id所指定的DPS的深度图像信息。切片报头解码单元104将目标视点切片的SPS、PPS、切片报头和DPS以及编码流提供到切片解码单元105。
在步骤S76中，切片解码单元105对从切片报头解码单元104提供的DPS中所包括的差分编码结果进行解码，并且执行用于生成深度图像信息的生成处理。将参照以下要描述的图14来描述生成处理的细节。
在步骤S77中，切片解码单元105在从切片报头解码单元104提供的编码流中提取目标视点切片的编码数据。
在步骤S78中，切片解码单元105根据与切片编码单元65(图3)中的编码方案对应的方案，基于从切片报头解码单元104提供的SPS、PPS和切片报头以及深度图像信息，对目标视点切片的编码数据进行解码。切片解码单元105将作为解码结果获得的校正彩色图像和深度图像提供到图10中的视点合成单元82。然后，处理返回到图12的步骤S62，并且进行到步骤S63。
图14是示出图13的步骤S76的生成处理的细节的流程图。
在步骤S91中，切片解码单元105确定目标视点切片的类型是否是帧内类型。当在步骤S91中确定目标视点切片的类型是帧内类型时，处理进行到步骤S92。
在步骤S92中，切片解码单元105保持从切片报头解码单元104提供的DPS中所包括的深度最小值的差分编码结果连同保持解码结果的深度图像信息的深度最小值。
在步骤S93中，切片解码单元105保持从切片报头解码单元104提供的DPS中所包括的深度最大值的差分编码结果连同保持解码结果的深度图像信息的深度最大值。
在步骤S94中，切片解码单元105保持从切片报头解码单元104提供的DPS中所包括的摄像装置间距离的差分编码结果连同保持解码结果的深度图像信息的摄像装置间距离。然后，处理返回到图13的步骤S76，并且进行到步骤S77。
相反，当在步骤S91中确定目标视点切片的类型不是帧内类型时，即，当目标视点切片的类型是帧间类型时，处理进行到步骤S95。
在步骤S95中，切片解码单元105通过将从切片报头解码单元104提供的DPS中包括的深度最小值的差分编码结果与编码序列中的紧挨在前的切片的所保持的深度最小值相加而执行解码。切片解码单元105保持作为解码结果而获得的深度图像信息的深度最小值。
在步骤S96中，切片解码单元105通过将从切片报头解码单元104提供的DPS中包括的深度最大值的差分编码结果与编码序列中的紧挨在前的切片的所保持的深度最大值相加来执行解码。切片解码单元105保持作为解码结果而获得的深度图像信息的深度最大值。
在步骤S97中，切片解码单元105通过将从切片报头解码单元104提供的DPS中包括的摄像装置间距离的差分编码结果与编码序列中的紧挨在前的切片的所保持的摄像装置间距离相加来执行解码。切片解码单元105保持作为解码结果而获得的深度图像信息的摄像装置间距离。然后，处理返回到图13的步骤S76，并且进行到步骤S77。
如上所述，解码装置80可以对通过在DPS中设置深度图像信息而减小了其编码量的编码流进行解码。另外，由于深度图像信息被包括在编码流中，因此解码装置80可以对在深度图像信息编码时所使用的编码流进行解码。
由于深度图像信息可以包括在不同于现有参数集、SPS和PPS的DPS中，因此可以在诸如翘曲处理的后处理时容易地使用深度图像信息。此外，由于DPS共同布置在切片单位的编码数据之前，因此视点合成单元82可以在解码之前共同获取深度图像信息。
可在多视点深度图像的编码或解码时不使用深度图像信息。
在上述实施例中，DPS_id包括在切片报头中。然而，例如，当以序列单位(GOP(图片组)单位)设置深度图像信息时，现有SPS可被扩展，并且DPS_id可包括在扩展后的SPS(下文中称为扩展SPS)中。
在该情况下，扩展SPS的语法例如在图15中示出。即，扩展SPS包括如第2行中所示的用于标识DPS存在的事实的标志depth_range_present_flag(标识信息)，并且如第3行中所示，当标志depth_range_present_flag是1时扩展SPS包括DPS_id(depth_parameter_set_id)。
在该情况下，如图16的第5行和第6行中所示，标志depth_weighted_pred_flag和标志depth_weighted_bipred_flag也可以以序列单位来设置，并且可以包括在扩展SPS中。
另外，可以扩展现有切片报头而非扩展现有SPS，并且DPS_id可以包括在扩展切片报头中(下文中称为扩展切片报头)。
在该情况下，例如，slice_layer被扩展。因此，如图17所示，定义了NAL单位的类型nal_unit_type是21的NAL单位，即，被扩展为根据3DVC方案编码的编码数据的NAL单位的slice_layer的slice_layer(slice_layer_3dvc_extension_rbsp)(下文中称为扩展slice_layer)。如图17所示，DPS的NAL单位的类型nal_unit_type是16，这与现有NAL单位(诸如SPS或PPS)不同。
如图18所示，扩展slice_layer(slice_layer_3dvc_extension_rbsp)的编码数据被定义为包括扩展切片报头(slice_header_3dvc_extension)和切片单位的编码数据(slice_data)。
扩展切片报头(slice_header_3dvc_extension)的语法在例如图19中示出。即，如图19的第2行至第4行中所示，当标志depth_weighted_pred_flag或depth_weighted_bipred_flag是1时，扩展切片报头(slice_header_3dvc_extension)不仅包括现有切片报头(slice_header)而且包括DPS_id(depth_parameter_set_id)。
如图20所示，扩展切片报头(slice_header_3dvc_extension)可包括标志depth_weighted_pred_flag或depth_weighted_bipred_flag。
如图19或图20所示，由于现有切片报头包括在扩展切片报头中，因此可以完全维持与现有编码流的兼容性。
不扩展slice_layer(如图17和图18所示)，但也可以利用现有slice_layer来定义扩展切片报头(slice_header_3dvc_extension)。
在该情况下，如图21的第15行和第16行中所示，当NAL单位的类型nal_unit_type是21时，NAL单位包括标志3dvc_extension_flag，该标志3dvc_extension_flag指示NAL单位的类型是否是用于3DVC方案的NAL单位。
如图22的第6行至第8行中所示，当标志3dvc_extension_flag是指示用于3DVC方案的NAL单位的1时，slice_layer的编码数据被定义为包括扩展切片报头(slice_header_3dvc_extension)和切片单位的编码数据(slice_data)。
在上述实施例中，如图4所示，在切片之间共享DPS，并且切片报头包括相应切片的DPS的DPS_id。然而，如图23所示，可针对每个切片来设置DPS，并且DPS可被添加到每个切片的编码数据。在该情况下，没有向DPS分配DPS_id，并且切片报头中没有包括DPS_id。
<应用本技术的计算机的描述>
接下来，上述系列处理可由硬件来执行或者可由软件来执行。当该系列处理由软件来执行时，用于该软件的程序安装在通用计算机等中。
这里，图24示出了安装了执行上述系列处理的程序的实施例的计算机的配置示例。
程序可以预先记录在用作计算机中包括的记录介质的存储单元808或ROM(只读存储器)802中。
替选地，程序也可以存储(记录)在可拆卸介质811中。可拆卸介质811可以被设置为所谓的封装软件。这里，可拆卸介质811的示例包括软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘和半导体存储器。
程序可以经由驱动器810从上述可拆卸介质811安装在计算机中，并且还可以经由通信网络或广播网络下载到计算机以被安装在所包括的存储单元808中。即，例如，程序可以经由用于数字卫星广播的人造卫星而从下载站点以无线方式被传送到计算机，或者可以经由诸如LAN(局域网)或因特网的网络而以有线方式被传送到计算机。
计算机包括CPU(中央处理单元)801。输入/输出接口805经由总线804连接到CPU801。
当用户操纵输入单元806以经由输入/输出接口805输入指令时，CPU801根据指令执行存储在ROM802中的程序。替选地，CPU801将存储在存储单元808中的程序加载到RAM(随机存取存储器)803并且执行该程序。
因此，CPU801执行根据上述流程图的处理或者由上述框图配置执行的处理。然后，CPU801从输出单元807输出处理结果，从通信单元809传送处理结果，或者在必要时例如经由输入/输出接口805而将处理结果记录在存储单元808中。
输入单元806被配置成包括键盘、鼠标和麦克风。输出单元807被配置成包括LCD(液晶显示器)或扬声器。
这里，在本说明书中，由计算机根据程序执行的处理可不一定根据在流程图中描述的顺序按时间顺序来执行。即，由计算机根据程序执行的处理还包括并行地或单独地执行的处理(例如，并行处理或按照对象的处理)。
程序可由单个计算机(处理器)来处理或者可由多个计算机以分布式方式来处理。程序可被传送到位于远处的计算机以被执行。
本技术可以应用于当经由诸如卫星广播、有线TV(电视)、因特网和便携式电话的网络介质执行通信时或者当对诸如光盘、磁盘和闪存的存储介质执行处理时使用的编码装置或解码装置。
上述编码装置和解码装置可以应用于任何电子设备。以下将描述电子设备的示例。
<电视机设备的配置示例>
图25例示了应用本技术的电视机设备的总体配置。电视机设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、语音信号处理单元907、扬声器908和外部接口单元909。电视机设备900还包括控制单元910和用户接口单元911。
调谐器902从由天线901接收的广播波信号中调谐期望信道，执行解调，并且将所获得的编码流输出到解复用器903。
解复用器903从编码流提取要观看的节目的视频或语音的分组，并且将所提取的分组的数据输出到解码器904。解复用器903将诸如EPG(电子节目指南)的数据分组提供到控制单元910。当执行加扰时，由解复用器等取消加扰。
解码器904对分组执行解码处理，并且将通过解码处理生成的视频数据和语音数据分别输出到视频信号处理单元905和语音信号处理单元907。
视频信号处理单元905根据用户设置对视频数据执行去噪或视频处理等。视频信号处理单元905生成要显示在显示单元906上的节目的视频数据，或者通过基于经由网络提供的应用的处理来生成图像数据。视频信号处理单元905生成用以显示用于项目的选择等的菜单屏幕等的视频数据，并且将该视频数据与节目的视频数据重叠。视频信号处理单元905基于以此方式生成的视频数据而生成驱动信号，并且驱动显示单元906。
显示单元906基于来自视频信号处理单元905的驱动信号而驱动显示装置(例如，液晶显示元件)，并且显示节目的视频等。
语音信号处理单元907对语音数据执行诸如去噪的预定处理，对处理后的语音数据执行D/A转换处理或放大处理，并且将语音数据提供到扬声器908以执行语音输出。
外部接口单元909是用于连接到外部设备或网络的接口，并且执行视频数据、语音数据等的数据传送和接收。
用户接口单元911连接到控制单元910。用户接口单元911被配置成包括操纵开关或远程控制信号接收单元，并且将根据用户操纵的操纵信号提供到控制单元910。
使用CPU(中央处理单元)、存储器等构成控制单元910。存储器存储要由CPU执行的程序、CPU执行处理所需的各种数据、EPG数据、经由网络获取的数据等。CPU在预定定时(诸如启动电视机设备900时)读取和执行存储在存储器中的程序。CPU执行该程序以控制各个单元，使得电视机设备900根据用户操纵而工作。
在电视机设备900中，总线912被安装为将控制单元910连接到调谐器902、解复用器903、视频信号处理单元905、语音信号处理单元907、外部接口单元909等。
在以此方式配置的电视机设备中，本申请的解码装置(解码方法)的功能被安装在解码器904中。因此，可以对在关于深度图像的信息被包括在编码流中的情况下编码流的编码量减小的编码流进行解码。
<便携式电话的配置示例>
图26例示了应用本技术的便携式电话的总体配置。便携式电话920包括通信单元922、语音编解码器923、摄像装置单元926、图像处理单元927、复用分离单元928、记录再现单元929、显示单元930和控制单元931。这些单元经由总线933连接到彼此。
天线921连接到通信单元922，并且扬声器924和麦克风925连接到语音编解码器923。操纵单元932也连接到控制单元931。
便携式电话920以各种模式(诸如语音电话模式或数据通信模式)执行各种操作，诸如语音信号的传送和接收、电子邮件或图像数据的传送和接收、图像拍摄以及数据记录。
在语音电话模式中，麦克风925生成的语音信号经受语音编解码器923进行的到语音数据的转换或者数据压缩以被提供到通信单元922。通信单元922执行语音数据调制处理、频率转换处理等以生成传送信号。通信单元922将传送信号提供到天线921以传送到基站(未示出)。通信单元922对天线921接收的接收信号执行放大、频率转换处理、解调处理等，并且将所获得的语音数据提供到语音编解码器923。语音编解码器923对语音数据执行数据解压缩，或者将语音数据转换成模拟语音信号，并且将模拟语音信号输出到扬声器924。
当在数据通信模式下执行邮件传送时，控制单元931接收通过操纵单元932的操纵而输入的文字数据，并且在显示单元930上显示所输入的文字。控制单元931基于操纵单元932中的用户指令等而生成邮件数据，并且将邮件数据提供到通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并且从天线921传送所获得的传送信号。通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，以恢复邮件数据。邮件数据被提供到显示单元930以显示邮件内容。
在便携式电话920中，所接收的邮件数据也可以由记录再现单元929存储在存储介质中。存储介质是任意可重写存储介质。例如，存储介质是诸如半导体存储器(诸如RAM或内置闪存)、硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡的可拆卸介质。
当在数据通信模式中传送图像数据时，摄像装置单元926生成的图像数据被提供到图像处理单元927。图像处理单元927对图像数据执行编码处理以生成编码数据。
复用分离单元928根据预定方案对图像处理单元927生成的编码数据和从语音编解码器923提供的语音数据进行复用，并且将复用后的编码数据和语音数据提供到通信单元922。通信单元922对复用后的数据执行解调处理、频率转换处理等，并且从天线921传送所获得的传送信号。通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等以恢复复用数据。复用数据被提供到复用分离单元928。复用分离单元928对复用数据进行分离，并且将编码数据和语音数据分别提供到图像处理单元927和语音编解码器923。图像处理单元927对编码数据执行解码处理以生成图像数据。图像数据被提供到显示单元930以显示所接收的图像。语音编解码器923将语音数据转换成模拟语音信号，将模拟语音信号提供到扬声器924，并且输出所接收的语音。
在以此方式配置的便携式电话设备中，本申请的编码装置(编码方法)和解码装置(解码方法)的功能安装在图像处理单元927中。因此，在关于深度图像的信息被包括在编码流中的情况下可以减小编码流的编码量。此外，可以对在关于深度图像的信息被包括在编码流中的情况下编码流的编码量减小的编码流进行解码。
<记录再现设备的配置示例>
图27例示了应用本技术的记录再现设备的总体配置。例如，记录再现设备940将所接收的广播节目的音频数据和视频数据记录在记录介质中，并且在根据用户指令的定时将记录数据提供到用户。例如，记录再现设备940可以从另一设备获取音频数据和视频数据，并且将音频数据和视频数据记录在记录介质中。记录再现设备940对记录在记录介质中的音频数据和视频数据进行解码并输出，使得可以在监视器设备等上执行图像显示或音频输出。
记录再现设备940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(屏幕显示)单元948、控制单元949和用户接口单元950。
调谐器941从由天线(未示出)接收的广播信号中调谐期望信道。调谐器941将通过对期望信道的接收信号进行解码而获得的编码位流输出到选择器946。
外部接口单元942被配置成包括IEEE1394接口、网络接口单元、USB接口和闪存接口中的至少一个。外部接口单元942是用于连接外部设备、网络、存储卡等的接口，并且接收诸如视频数据或语音数据的要记录的数据。
当从外部接口单元942提供的视频数据或语音数据没有被编码时，编码器943根据预定方案对视频数据或语音数据进行编码，并且将编码位流输出到选择器946。
HDD单元944将诸如视频、语音等的内容数据、各种程序和其它数据记录在内置硬盘中，并且在再现等时从硬盘读取内容数据、程序和其它数据。
盘驱动器945将信号记录在所安装的光盘上并对该信号进行再现。光盘是例如DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或蓝光盘。
选择器946在记录视频或语音时从调谐器941或编码器943选择一个编码位流，并且将该编码位流提供到HDD单元944和盘驱动器945之一。选择器946在再现视频或语音时将从HDD单元944或盘驱动器945输出的编码位流提供到解码器947。
解码器947对编码位流执行解码处理。解码器947将通过执行解码处理而生成的视频数据提供到OSD单元948。解码器947输出通过执行解码处理而生成的语音数据。
OSD单元948生成用以显示用于项目的选择等的菜单屏幕等的视频数据，将该视频数据与从解码器947输出的视频数据重叠，并且输出重叠后的视频数据。
用户接口单元950连接到控制单元949。用户接口单元950被配置成包括操纵开关或远程控制信号接收单元，并且将根据用户操纵的操纵信号提供到控制单元949。
使用CPU、存储器等来配置控制单元949。存储器存储要由CPU执行的程序和CPU执行处理所需的各种数据。CPU在预定定时(诸如启动记录再现设备940时)读取和执行存储在存储器中的程序。CPU执行该程序以控制各个单元，使得记录再现设备940根据用户操纵而工作。
在以此方式配置的记录再现设备中，本申请的解码装置(解码方法)的功能安装在解码器947中。因此，可以对在关于深度图像的信息被包括在编码流中的情况下编码流的编码量减小的编码流进行解码。
<成像设备的配置示例>
图28例示了应用本技术的成像设备的总体配置。成像设备960对主体进行成像，并且显示主体的图像，或者将主体的图像作为图像数据记录在记录介质上。
成像设备960包括光学组件961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。用户接口单元971连接到控制单元970。图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接到彼此。
使用聚焦透镜、光圈机构等来配置光学组件961。光学组件961在成像单元962的成像表面上形成主体的光学图像。使用CCD或CMOS图像传感器来配置成像单元962，成像单元962通过光电转换根据光学图像而生成电信号，并且将电信号提供到摄像装置信号处理单元963。
摄像装置信号处理单元963对从成像单元962提供的电信号执行各种摄像装置信号处理，诸如膝状校正、伽马校正、颜色校正。摄像装置信号处理单元963将摄像装置信号处理之后的图像数据提供到图像数据处理单元964。
图像数据处理单元964对从摄像装置信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理而生成的编码数据提供到外部接口单元966或介质驱动器968。图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理而生成的图像数据提供到显示单元965。图像数据处理单元964将从摄像装置信号处理单元963提供的图像数据提供到显示单元965，使得从OSD单元969获取的显示数据与图像数据重叠，并且将重叠数据提供到显示单元965。
OSD单元969生成显示数据(诸如由符号、文字或图形构成的菜单屏幕、图标等)，并且将显示数据输出到图像数据处理单元964。
外部接口单元966被配置成包括例如USB输入/输出端子，并且当打印图像时连接到打印机。驱动器在必要时连接到外部接口单元966，适当地安装诸如磁盘或光盘的可拆卸介质，并且在必要时安装从可拆卸介质读取的计算机程序。外部接口单元966包括连接到预定网络(诸如LAN或因特网)的网络接口。例如，控制单元970可以根据来自用户接口单元971的指令而从存储器单元967读取编码数据，并且可以将来自外部接口单元966的编码数据提供到经由网络连接的其它设备。控制单元970可以通过外部接口单元966获取经由网络从其它设备提供的编码数据或图像数据，并且将编码数据或图像数据提供到图像数据处理单元964。
作为由介质驱动器968驱动的记录介质，例如使用任意可读/可写可拆卸介质，诸如磁盘、磁光盘、光盘或半导体存储器。任意种类的可拆卸介质可以用作记录介质。可使用磁带装置，可使用盘，或者可使用存储卡。当然，可使用非接触式IC卡等。
介质驱动器968可与记录介质集成，因此可由例如非便携式存储介质(诸如内置硬盘驱动器或SSD(固态驱动器))来配置介质驱动器968。
使用CPU、存储器等来配置控制单元970。存储器存储要由CPU执行的程序和CPU执行处理所需的各种数据。CPU在预定定时(诸如启动成像设备960时)读取和执行存储在存储器中的程序。CPU执行该程序以控制各个单元，使得成像设备960根据用户操纵而工作。
在以此方式配置的成像设备中，本申请的编码装置(编码方法)和解码装置(解码方法)的功能安装在图像数据处理单元964中。因此，在关于深度图像的信息被包括在编码流中的情况下可以减小编码流的编码量。此外，可以对在关于深度图像的信息被包括在编码流中的情况下编码流的编码量减小的编码流进行解码。
本技术的实施例不限于上述实施例，而是可在不背离本技术的主旨的范围内以各种方式进行修改。
本技术可以如下配置。
(1)一种编码装置，包括：设置单元，其将作为关于深度图像的信息的深度图像信息设置为不同于序列参数集和图片参数集的参数集；编码单元，其对所述深度图像进行编码以生成编码数据；以及传送单元，其传送包括由所述设置单元设置的参数集和由所述编码单元生成的编码数据的编码流。
(2)在以上(1)所述的编码装置中，所述设置单元可以在所述参数集中设置用于唯一地标识所述参数集的ID。所述传送单元可以传送包括与所述深度图像对应的所述ID的所述编码流。
(3)在以上(2)所述的编码装置中，所述设置单元可以在所述深度图像的切片报头中设置与切片单位的所述深度图像对应的所述ID。
所述传送单元可以传送包括由所述设置单元设置的切片报头的所述编码流。
(4)在以上(1)至(3)中任一项所述的编码装置中，所述设置单元可以对所述深度图像信息执行差分编码，并将所述深度图像信息的差分编码结果设置为所述参数集。
(5)在以上(1)至(4)中任一项所述的编码装置中，所述编码单元可以基于所述深度图像信息对所述深度图像进行编码。
(6)在以上(1)至(5)中任一项所述的编码装置中，所述深度图像信息可以包括所述深度图像的像素值的最大值和最小值以及捕获所述深度图像的摄像装置之间的距离。
(7)在以上(1)至(6)中任一项所述的编码装置中，不同于序列参数集和图片参数集的NAL(网络抽象层)单位类型可以被设置在所述参数集中。
(8)在以上(1)至(7)中任一项所述的编码装置中，所述设置单元可以设置用于标识所述深度图像信息的存在的标识信息。所述传送单元可以传送包括由所述设置单元设置的标识信息的所述编码流。
(9)一种编码装置的编码方法，包括由编码装置执行的以下步骤：设置步骤，将作为关于深度图像的信息的深度图像信息设置为不同于序列参数集和图片参数集的参数集；以及编码步骤，对所述深度图像进行编码以生成编码数据；以及传送步骤，传送包括在所述设置步骤的处理中设置的参数集和在所述编码步骤的处理中生成的编码数据的编码流。
(10)一种解码装置，包括：获取单元，其从包括参数集和深度图像的编码数据的编码流获取所述参数集和所述编码数据，所述参数集中设置有作为关于所述深度图像的信息的深度图像信息，并且所述参数集不同于序列参数集和图片参数集；解析处理单元，其从所述获取单元获取的参数集中解析所述深度图像信息；以及解码单元，其对所述获取单元获取的编码数据进行解码。
(11)在以上(10)所述的解码装置中，
用于唯一地标识所述参数集的ID可以被设置在所述参数集中。所述编码流可以包括与所述深度图像对应的所述ID。
(12)在以上(11)所述的解码装置中，所述编码流包括设置有与切片单位的所述深度图像对应的所述ID的切片报头。
(13)以上(10)至(12)中任一项所述的解码装置还可以包括：生成单元，其通过对所述深度图像信息的差分编码结果进行解码而生成所述深度图像信息。所述编码流可以包括设置有所述深度图像信息的差分编码结果的所述参数集。所述生成单元可以通过对被设置为所述参数集的所述深度图像信息的差分编码结果进行解码而生成所述深度图像信息。
(14)在以上(10)至(13)中任一项所述的解码装置中，所述解码单元可以基于由解析处理单元解析的所述深度图像信息而对所述编码数据进行解码。
(15)在以上(10)至(14)中任一项所述的解码装置中，所述深度图像信息可以包括所述深度图像的像素值的最大值和最小值以及捕获所述深度图像的摄像装置之间的距离。
(16)在以上(10)至(15)中任一项所述的解码装置中，不同于序列参数集和图片参数集的NAL(网络抽象层)单位类型被设置在所述参数集中。
(17)在以上(10)至(16)中任一项所述的解码装置中，所述编码流可以包括用于标识所述深度图像信息的存在的标识信息。
(18)一种解码方法，包括由解码装置执行的以下步骤：获取步骤，从包括参数集和深度图像的编码数据的编码流获取所述参数集和所述编码数据，所述参数集中设置有作为关于所述深度图像的信息的深度图像信息，并且所述参数集不同于序列参数集和图片参数集；解析处理步骤，从在所述获取步骤的处理中获取的参数集中解析所述深度图像信息；以及解码步骤，对在所述获取步骤的处理中获取的编码数据进行解码。
附图标记列表
50编码装置，51多视点彩色图像成像单元，52多视点彩色图像校正单元，53多视点深度图像生成单元，54深度图像信息生成单元，55多视点图像编码单元，61SPS编码单元，62PPS编码单元，63DPS编码单元，64切片报头编码单元，65切片编码单元，80解码装置，81多视点图像解码单元，82视点合成单元，101SPS解码单元，102PPS解码单元，103DPS解码单元，104切片报头解码单元，105切片解码单元

Claims (18)

1.一种编码装置，包括：
设置单元，其将作为关于深度图像的信息的深度图像信息设置为不同于序列参数集和图片参数集的参数集；
编码单元，其对所述深度图像进行编码以生成编码数据；以及
传送单元，其传送包括由所述设置单元设置的参数集和由所述编码单元生成的编码数据的编码流。
2.根据权利要求1所述的编码装置，
其中，所述设置单元在所述参数集中设置用于唯一地标识所述参数集的ID，以及
其中，所述传送单元传送包括与所述深度图像对应的所述ID的所述编码流。
3.根据权利要求2所述的编码装置，
其中，所述设置单元在所述深度图像的切片报头中设置与切片单位的所述深度图像对应的所述ID，以及
其中，所述传送单元传送包括由所述设置单元设置的切片报头的所述编码流。
4.根据权利要求1所述的编码装置，其中，所述设置单元对所述深度图像信息执行差分编码，并将所述深度图像信息的差分编码结果设置为所述参数集。
5.根据权利要求1所述的编码装置，其中，所述编码单元基于所述深度图像信息对所述深度图像进行编码。
6.根据权利要求1所述的编码装置，其中，所述深度图像信息包括所述深度图像的像素值的最大值和最小值以及捕获所述深度图像的摄像装置之间的距离。
7.根据权利要求1所述的编码装置，其中，不同于序列参数集和图片参数集的NAL(网络抽象层)单位类型被设置在所述参数集中。
8.根据权利要求1所述的编码装置，
其中，所述设置单元设置用于标识所述深度图像信息的存在的标识信息，以及
其中，所述传送单元传送包括由所述设置单元设置的标识信息的所述编码流。
9.一种编码装置的编码方法，包括：
设置步骤，将作为关于深度图像的信息的深度图像信息设置为不同于序列参数集和图片参数集的参数集；以及
编码步骤，对所述深度图像进行编码以生成编码数据；以及
传送步骤，传送包括在所述设置步骤的处理中设置的参数集和在所述编码步骤的处理中生成的编码数据的编码流。
10.一种解码装置，包括：
获取单元，其从包括参数集和深度图像的编码数据的编码流获取所述参数集和所述编码数据，所述参数集中设置有作为关于所述深度图像的信息的深度图像信息，并且所述参数集不同于序列参数集和图片参数集；
解析处理单元，其从所述获取单元获取的参数集中解析所述深度图像信息；以及
解码单元，其对所述获取单元获取的编码数据进行解码。
11.根据权利要求10所述的解码装置，
其中，用于唯一地标识所述参数集的ID被设置在所述参数集中，以及
其中，所述编码流包括与所述深度图像对应的所述ID。
12.根据权利要求11所述的解码装置，其中，所述编码流包括设置有与切片单位的所述深度图像对应的所述ID的切片报头。
13.根据权利要求10所述的解码装置，还包括：
生成单元，其通过对所述深度图像信息的差分编码结果进行解码而生成所述深度图像信息，
其中，所述编码流包括设置有所述深度图像信息的差分编码结果的所述参数集，以及
其中，所述生成单元通过对被设置为所述参数集的所述深度图像信息的差分编码结果进行解码而生成所述深度图像信息。
14.根据权利要求10所述的解码装置，其中，所述解码单元基于由解析处理单元解析的所述深度图像信息而对所述编码数据进行解码。
15.根据权利要求10所述的解码装置，其中，所述深度图像信息包括所述深度图像的像素值的最大值和最小值以及捕获所述深度图像的摄像装置之间的距离。
16.根据权利要求10所述的解码装置，其中，不同于序列参数集和图片参数集的NAL(网络抽象层)单位类型被设置在所述参数集中。
17.根据权利要求10所述的解码装置，其中，所述编码流包括用于标识所述深度图像信息的存在的标识信息。
18.一种解码装置的解码方法，包括：
获取步骤，从包括参数集和深度图像的编码数据的编码流获取所述参数集和所述编码数据，所述参数集中设置有作为关于所述深度图像的信息的深度图像信息，并且所述参数集不同于序列参数集和图片参数集；
解析处理步骤，从在所述获取步骤的处理中获取的参数集中解析所述深度图像信息；以及
解码步骤，对在所述获取步骤的处理中获取的编码数据进行解码。
CN201380006563.5A 2012-01-31 2013-01-23 编码装置和编码方法 Expired - Fee Related CN104067615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510050838.6A CN104683813B (zh) 2012-01-31 2013-01-23 解码装置和解码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-019025 2012-01-31
JP2012019025 2012-01-31
PCT/JP2013/051265 WO2013115025A1 (ja) 2012-01-31 2013-01-23 符号化装置および符号化方法、並びに、復号装置および復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510050838.6A Division CN104683813B (zh) 2012-01-31 2013-01-23 解码装置和解码方法

Publications (2)

Publication Number Publication Date
CN104067615A true CN104067615A (zh) 2014-09-24
CN104067615B CN104067615B (zh) 2017-10-24

Family

ID=48905067

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510050838.6A Expired - Fee Related CN104683813B (zh) 2012-01-31 2013-01-23 解码装置和解码方法
CN201380006563.5A Expired - Fee Related CN104067615B (zh) 2012-01-31 2013-01-23 编码装置和编码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510050838.6A Expired - Fee Related CN104683813B (zh) 2012-01-31 2013-01-23 解码装置和解码方法

Country Status (13)

Country Link
US (2) US10085007B2 (zh)
EP (1) EP2811741A4 (zh)
JP (2) JP5975301B2 (zh)
KR (1) KR20140123051A (zh)
CN (2) CN104683813B (zh)
AU (1) AU2013216395A1 (zh)
BR (1) BR112014018291A8 (zh)
CA (1) CA2860750A1 (zh)
MX (1) MX2014008979A (zh)
PH (1) PH12014501683A1 (zh)
RU (1) RU2014130727A (zh)
TW (1) TW201342884A (zh)
WO (1) WO2013115025A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
CN112544084A (zh) * 2018-05-15 2021-03-23 夏普株式会社 图像编码装置、编码流提取装置以及图像解码装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201404509QA (en) 2012-02-01 2014-08-28 Nokia Corp Method and apparatus for video coding
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
WO2015053593A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
JP6571646B2 (ja) 2013-10-18 2019-09-04 エルジー エレクトロニクス インコーポレイティド マルチビュービデオのデコード方法及び装置
US11348265B1 (en) 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416149A (zh) * 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003231510A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
CA2584765A1 (en) 2004-10-21 2006-05-04 Sony Electonics Inc. Supporting fidelity range extensions in advanced video codec file format
US20070098083A1 (en) 2005-10-20 2007-05-03 Visharam Mohammed Z Supporting fidelity range extensions in advanced video codec file format
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
AU2007243935A1 (en) * 2006-03-29 2007-11-08 Thomson Licensing Multi view video coding method and device
US20100266042A1 (en) 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
JP2010157824A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
KR101619450B1 (ko) 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US20140321546A1 (en) * 2011-08-31 2014-10-30 Sony Corporation Image processing apparatus and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416149A (zh) * 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHITIMO TAKAHASHI，ET AL: "Descriptions of 3D Video Coding Proposal (HEVC-Compatible Category)", 《MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
CN112544084A (zh) * 2018-05-15 2021-03-23 夏普株式会社 图像编码装置、编码流提取装置以及图像解码装置
CN112544084B (zh) * 2018-05-15 2024-03-01 夏普株式会社 图像编码装置、编码流提取装置以及图像解码装置

Also Published As

Publication number Publication date
RU2014130727A (ru) 2016-02-10
CA2860750A1 (en) 2013-08-08
CN104683813A (zh) 2015-06-03
CN104683813B (zh) 2017-10-10
JP5975301B2 (ja) 2016-08-23
US10085007B2 (en) 2018-09-25
MX2014008979A (es) 2014-08-27
CN104067615B (zh) 2017-10-24
PH12014501683A1 (en) 2014-11-10
JP6206559B2 (ja) 2017-10-04
US10205927B2 (en) 2019-02-12
US20150042753A1 (en) 2015-02-12
BR112014018291A8 (pt) 2017-07-11
WO2013115025A1 (ja) 2013-08-08
JPWO2013115025A1 (ja) 2015-05-11
US20180343437A1 (en) 2018-11-29
BR112014018291A2 (zh) 2017-06-20
JP2016195456A (ja) 2016-11-17
EP2811741A1 (en) 2014-12-10
AU2013216395A1 (en) 2014-07-10
EP2811741A4 (en) 2015-06-24
TW201342884A (zh) 2013-10-16
KR20140123051A (ko) 2014-10-21

Similar Documents

Publication Publication Date Title
CN107197227B (zh) 图像处理设备、图像处理方法和计算机可读存储介质
CN104067615A (zh) 编码装置和编码方法以及解码装置和解码方法
CN103430557A (zh) 图像处理设备和图像处理方法
KR101768604B1 (ko) 3d 매트릭스 바코드 표시
CN102067615B (zh) 图像产生方法和设备以及图像处理方法和设备
CN103348689A (zh) 图像处理装置和图像处理方法
CN102045578B (zh) 图像处理设备和图像处理方法
US9235749B2 (en) Image processing device and image processing method
CN103354997A (zh) 图像处理设备和图像处理方法
CN103493493A (zh) 编码装置和编码方法以及解码装置和解码方法
CN103348685A (zh) 图像处理装置和图像处理方法
CN103748881A (zh) 图像处理设备和图像处理方法
CN103748883A (zh) 编码设备、编码方法、解码设备和解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171024

CF01 Termination of patent right due to non-payment of annual fee