CN103081465B - 3d编码装置 - Google Patents

3d编码装置 Download PDF

Info

Publication number
CN103081465B
CN103081465B CN201180039986.8A CN201180039986A CN103081465B CN 103081465 B CN103081465 B CN 103081465B CN 201180039986 A CN201180039986 A CN 201180039986A CN 103081465 B CN103081465 B CN 103081465B
Authority
CN
China
Prior art keywords
delay
length
buffer
virtual bumper
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180039986.8A
Other languages
English (en)
Other versions
CN103081465A (zh
Inventor
荒川博
西孝启
安倍清史
大古濑秀之
有村耕治
丸山悠树
浦野克纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103081465A publication Critical patent/CN103081465A/zh
Application granted granted Critical
Publication of CN103081465B publication Critical patent/CN103081465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

3D编码装置对输入图像进行编码，生成并输出包括含有多个图像群的基本流以及扩展流的三维流。3D编码装置具备基于基本流的延迟值即第1延迟值以及三维流的延迟值即第2延迟值，按照每1个图像群设定特定的延迟值的设定部。设定部设定第1延迟值和第2延迟值中较小的一方的延迟值以下的值作为特定的延迟值。第1虚拟缓冲器部以及第2虚拟缓冲器部，根据基于由设定部针对基本流以及三维流中的第n个图像群设定的特定的延迟值的信息，来进行针对第n+1个图像群的缓冲器模拟。

Description

3D编码装置
技术领域
本发明涉及对3D影像信号进行编码的3D编码装置。
背景技术
在专利文献1中，记载了一种生成装置，其生成按照每个能随机访问的访问单位包含被编码后的多个图像而构成的1个或多个编码流。具体来说，该生成装置具备：第1决定单元，其在连续进行解码的任意2个访问单位中，按照从按解码顺序最开头的图像被解码到按显示顺序最开头的图像被显示为止的延迟量相同的方式，来决定该延迟量；和生成单元，其按照成为在第1决定单元中决定的延迟量的方式，来对所述2个访问单位所包含的多个图像进行编码，生成编码流。该生成装置，将延迟量限制在预先决定的值以下。
根据该构成，按照成为特殊再生对象的2个访问单位(例如，片段(clip))的延迟量(帧延迟)相等的方式生成编码流。因此，在这些访问单位被连续地解码时，在这些访问单位的连接点上在图像间不会产生差距(gap)，帧速率固定。即，在特殊再生时这些访问单位被无缝连接。结果，能够消除由于差距等而对观看基于这些访问单位的运动图像的用户产生的不适感。
在先技术文献
专利文献
专利文献1：JP特开2008-301532号公报
发明内容
发明要解决的课题
另外，作为将输入图像编码为包含基本流以及扩展流的三维流的标准，存在H.264/MVC编码标准。例如，基本流是对3D影像中的左眼用图像以及右眼用图像的任意一方的图像进行编码而得到的流，扩展流是对3D影像中的另一方的图像考虑与所述一方图像的差分来进行编码而得到的流。在将所输入的输入图像编码为包含基本流以及扩展流的三维流时，需要满足在BD标准(SystemDescriptionBlu-rayDiscRead-OnlyFormatpart3AudioVisualBasicSpecifications)中记载的内容。具体来说，附加给规定的GOP(GroupOfpictures，画面组)的基本流的延迟值(Delay值)、和附加给该GOP的三维流的延迟值必须相同。此外，附加给规定的GOP的基本流的延迟值、附加给该GOP的三维流的延迟值、和附加给该GOP的扩展流的延迟值必须相同。
在此，延迟值是指，从最初的数据到达译码器的缓冲器开始，到为了译码器中的解码处理而从缓冲器提取最开头图像的码为止的时间。延迟值依赖于基本流以及扩展流的码量。因此，为了使基本流以及扩展流的延迟值相同，可以考虑对输入图像的编码时的量子化值进行控制。
但是，在对量子化值进行控制的方法中，难以获得合适的画质。此外，为了按照使基本流与扩展流的码量完全相同的方式对量子化值进行控制，3D编码装置的构成变得复杂。
本发明考虑上述课题而作，目的在于提供一种三维编码装置，其能够通过简易的构成，使基本流的延迟值、和三维流的延迟值相同。此外，目的在于提供一种三维编码装置，其能够通过简易的构成，使基本流、三维流的延迟值、和扩展流的延迟值相同。
解决课题的手段
本发明的3D编码装置，具备：编码部，其对输入图像进行编码，生成并输出三维流，所述三维流包括含有多个图像群的基本流以及扩展流；第1虚拟缓冲器部，其进行对从编码部输出的基本流进行解码时的缓冲器模拟；第2虚拟缓冲器部，其进行对从编码部输出的三维流进行解码时的缓冲器模拟；第1计算部，其基于在第1虚拟缓冲器部中进行的缓冲器模拟的结果，按照每1个图像群来算出基本流的延迟值即第1延迟值；第2计算部，其基于在第2虚拟缓冲器部中进行的缓冲器模拟的结果，按照每1个图像群来算出三维流的延迟值即第2延迟值；和设定部，其基于算出的第1延迟值以及第2延迟值，按照每1个图像群来设定特定的延迟值。设定部将第1延迟值和第2延迟值中较小的一方的延迟值以下的值，设定为特定的延迟值。第1虚拟缓冲器部以及第2虚拟缓冲器部，根据基于由设定部针对基本流以及三维流中的第n个图像群设定的特定的延迟值的信息，来进行针对第n+1个图像群的缓冲器模拟。
根据上述构成的3D编码装置，能够根据第1延迟值、第2延迟值来设定特定的延迟值。并且，3D编码装置，能够将所设定的特定的延迟值反馈到生成基本流时的缓冲器模拟(以下，称作“第1BS”。)、和生成三维流时的缓冲器模拟(以下，称作“第2BS”。)。因此，3D编码装置，能够根据基于相同的延迟值的信息，进行针对下一个图像群的第1BS以及第2BS。此外，能够以简单的构成，使第1延迟值、和第2延迟值相同。
此外，特定的延迟值，是第1延迟值和第2延迟值中较小的一方的延迟值以下的值，因此即使在将第1BS以及第2BS的延迟值替换为相同的延迟值来进行缓冲器模拟的情况下，也总是能够不使第1BS以及第2BS失败地、生成满足BD标准的基本流以及三维流。
此外，优选：第1虚拟缓冲器部以及第2虚拟缓冲器部，将与对输入图像进行编码时的时刻相关的信息作为缓冲器模拟的结果分别输出到第1计算部以及第2计算部。
这样一来，3D编码装置能够基于与进行编码时的时刻相关的信息来算出延迟值。由此，能够算出正确的延迟值并进行缓冲器模拟，因此能够抑制影像劣化并且生成满足BD标准的基本流以及三维流。
此外，优选：第1虚拟缓冲器部，将该第1虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到第1计算部，第2虚拟缓冲器部，将该第2虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到第2计算部。
这样一来，3D编码装置即使在利用缓冲器滞留量来进行缓冲器模拟的情况下，也能够使附加给基本流的延迟值和附加给三维流的延迟值成为相同的值。由此，即使在以简易的构成进行了缓冲器模拟的情况下，也能够生成满足BD标准的基本流以及三维流。
此外，优选：第1虚拟缓冲器部，在输入了设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息，来对输入时间点的该第1虚拟缓冲器部的缓冲器滞留量进行校正，进行针对第n+1个图像群的缓冲器模拟，第2虚拟缓冲器部，在输入了设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第2虚拟缓冲器部的缓冲器滞留量进行校正，进行针对第n+1个图像群的缓冲器模拟。
这样一来，伴随特定的延迟值的设定，能够对第1虚拟缓冲器部以及第2虚拟缓冲器部中的缓冲器滞留量进行校正。由此，3D编码装置，即使在将第1延迟值以及第2延迟值变更为特定的延迟值的情况下，也能够不使利用了缓冲器滞留量的缓冲器模拟失败地、生成满足BD标准的基本流以及三维流。
此外，优选：3D编码装置还具备：第3虚拟缓冲器部，其进行对从编码部输出的扩展流进行解码处理时的缓冲器模拟；和第3计算部，其基于在第3虚拟缓冲器部中进行的缓冲器模拟的结果，按照每1个图像群来算出扩展流的延迟值即第3延迟值。设定部基于第1延迟值、第2延迟值以及第3延迟值，按照每1个图像群来设定特定的延迟值，设定部将第1延迟值、第2延迟值以及第3延迟值中最小的延迟值以下的值，设定为特定的延迟值。第1虚拟缓冲器部、第2虚拟缓冲器部以及第3虚拟缓冲器部，针对基本流、三维流以及扩展流中的第n+1个图像群，根据基于设定部所设定的特定的延迟值的信息来进行缓冲器模拟。
这样一来，3D编码装置能够根据第1延迟值、第2延迟值以及第3延迟值来设定特定的延迟值。并且，3D编码装置能够将所设定的特定的延迟值反馈给第1BS、第2BS、和生成扩展流时的缓冲器模拟(以下，称作“第3BS”)。因此，3D编码装置能够基于相同的延迟值，进行针对第n+1个图像群的第1BS、第2BS以及第3BS。此外，能够以简单的构成，使第1延迟值、第2延迟值、以及第3延迟值相同。
此外，特定延迟值是第1延迟值、第2延迟值以及第3延迟值中最小的延迟值以下的值，因此即使在将第1BS、第2BS以及第3BS的延迟值替换为相同的延迟值来进行缓冲器模拟的情况下，也总是能够不使第1BS、第2BS以及第3BS失败地、生成满足BD标准的基本流、三维流以及扩展流。
此外，优选：第1虚拟缓冲器部、第2虚拟缓冲器部以及第3虚拟缓冲器部，将与对输入图像进行编码时的时刻相关的信息作为缓冲器模拟的结果分别输出到第1计算部、第2计算部以及第3计算部。
这样一来，3D编码装置，能够基于与进行编码时的时刻相关的信息来算出延迟值。由此，因为能够算出正确的延迟值并进行缓冲器模拟，所以能够抑制影像劣化并且生成满足BD标准的基本流、三维流以及扩展流。
此外，优选：第1虚拟缓冲器部，将该第1虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到第1计算部，第2虚拟缓冲器部，将该第2虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到第2计算部，第3虚拟缓冲器部，将该第3虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到第3计算部。
这样一来，即使在3D编码装置利用缓冲器滞留量来进行缓冲器模拟的情况下，也能够使附加给基本流的延迟值、附加给三维流的延迟值、和附加给扩展流的延迟值成为相同的值。由此，即使在以简易的构成进行了缓冲器模拟的情况下，也能够生成满足BD标准的基本流、三维流以及扩展流。
此外，优选：第1虚拟缓冲器部，在输入了设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第1虚拟缓冲器部的缓冲器滞留量进行校正，进行针对第n+1个图像群的缓冲器模拟，第2虚拟缓冲器部，在输入了设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第2虚拟缓冲器部的缓冲器滞留量进行校正，进行针对第n+1个图像群的缓冲器模拟，第3虚拟缓冲器部，在输入了设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第3虚拟缓冲器部的缓冲器滞留量进行校正，进行针对第n+1个图像群的缓冲器模拟。
这样一来，在3D编码装置中伴随特定的延迟值的设定，能够对第1虚拟缓冲器部、第2虚拟缓冲器部以及第3虚拟缓冲器部中的缓冲器滞留量进行校正。由此，3D编码装置，即使在将第1延迟值、第2延迟值以及第3延迟值变更为特定的延迟值的情况下，也能够不使利用了缓冲器滞留量的缓冲器模拟失败地、生成满足BD标准的基本流以及三维流。
此外，优选：基本流，是对3D影像中的左眼用图像以及右眼用图像中的任意一方的图像进行了编码的流，扩展流，是针对3D影像中的另一方的图像考虑与一方的图像的差分而进行了编码的流。
发明效果
根据本发明的3D编码装置，能够提供一种能够以简易的构成，使基本流的延迟值和三维流的延迟值相同的三维编码装置。此外，能够提供一种能够以简易的构成，使基本流、三维流的延迟值、和扩展流的延迟值相同的三维编码装置。
附图说明
图1是表示实施方式1所涉及的3D编码装置的构成的图。
图2是表示实施方式1所涉及的3D编码装置的动作的一例的流程图。
图3是说明缓冲器下溢的状况的图。
图4是表示实施方式2中的3D编码装置的构成的图。
图5是表示实施方式2中的第1简易CPB301中的虚拟缓冲器控制的图。
图6是用于说明实施方式2中的第2简易CPB303的虚拟缓冲器控制的动作的图。
图7是表示实施方式2所涉及的3D运动图像编码方法的动作的一例的流程图。
图8是表示实施方式3中的3D编码装置的构成的图。
图9是表示实施方式3所涉及的3D编码装置的动作的一例的流程图。
图10是表示实施方式4中的3D编码装置的构成的图。
图11是表示实施方式4所涉及的3D编码装置的动作的一例的流程图。
具体实施方式
以下，关于本发明所涉及的3D编码装置以及3D编码方法的实施方式，利用附图详细说明。
(实施方式1)
1.概要
实施方式1所涉及的3D编码装置，是对3D影像信号进行编码的装置。实施方式1所涉及的3D编码装置，是对输入图像进行编码，生成在立体观看时使用的基本流、和与基本影像不同的扩展流的编码装置。并且，进行仅使用基本流的虚拟缓冲器控制、和使用将基本流和扩展流结合的三维流的虚拟缓冲器控制。
该3D编码装置的特征在于，基于通过这2个虚拟缓冲器控制而求出的2个延迟值，来求出特定的延迟值(以下，称作“特定延迟值”)。并且，将所求出的特定延迟值，用于对求出该延迟值后输入的输入图像进行编码并生成基本流以及扩展流时的虚拟缓冲器控制。
以下，特定延迟值，作为一例，设为通过2个虚拟缓冲器控制而求出的延迟值中较小的那个延迟值。另外，特定延迟值不限定于该值，也可以采用比2个延迟值小的值。
此外，对采用H.264/AVC作为编码方式的构成进行说明。另外，所采用的编码方式，不限定于H.264/AVC，也可以为其他运动图像编码方式。即，只要是根据输入图像对基本流和三维流进行编码的编码形式则怎样的编码方式都可以。
2.构成
以下，关于本实施方式1中的3D编码装置，参照附图进行说明。
图1是表示本实施方式1所涉及的3D编码装置的构成的图。
如图1所示，3D编码装置具备：第1编码部101；第1CPB102；第1延迟值计算部103；第2编码部104；第2CPB105；第2延迟值计算部106；特定延迟值决定部107以及复用部108。在此，CPB是CodedPictureBuffer(编码图像缓冲器)的略称。
第1编码部101，采用H.264/AVC对所输入的输入图像进行编码，生成基本流。第1编码部101，将所生成的基本流输出到复用部108。并且，第1编码部101，将对输入图像进行编码时所生成的编码参数输出到第1CPB102以及第2CPB105。此外，第1编码部101将把输入图像编码为基本流时的码量输出到第1CPB102以及第2CPB105。另外，在将输入图像编码为基本流时，优选应用MVC(multiviewcoding，多元视角编码)。
第1CPB102是基于从第1编码部101输出的编码参数以及码量，来进行虚拟缓冲器控制的虚拟缓冲器。在此，编码参数是指包括句法信息在内的与编码相关的信息。第1CPB102，基于以下的6个数学式，来算出与基本流相关的时间信息tai(n)、taf(n)、tr，n(n)。第1CPB102，将算出的时间信息输出到第1延迟值计算部103。另外，上述时间信息tai(n)、taf(n)、tr，n(n)、以及下述6个数学式，根据H.264/AVC编码标准而规定。tai(n)是initialarrivaltime(初始到达时间)，即，与构成1个图像的最初的数据到达解码器的时间相关的信息。taf(n)是finalarrivaltime(最后到达时间)，即与构成1个图像的最后的数据到达解码器的时间相关的信息。tr，n(n)是nominalremovaltime(名义清除时间)，即与从解码器的缓冲器提取构成1个图像的数据的时间相关的信息。
(数1)taf(n)＝tai(n)+b(n)÷BitRate[SchedSelIdx]
(数2)tai(n)＝Max(taf(n-1)、tai，earliest(n))
(数3)tai，earliest(n)＝tr，n(n)-(initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx])÷90000
(数4)tai，earliest(n)＝tr，n(n)-(initial_cpb_removal_delay[SchedSelIdx]÷90000)
(数5)tr，n(0)＝initial_cpb_removal_delay[SchedSelIdx]÷90000
(数6)tr，n(n)＝tr，n(nb)+tc＊cpb_removal_delay(n)
在此，b(n)是基本流的第n个中的输入图像的产生码量。上述6个数学式中的各编码参数，能够在第1编码部101的编码过程中取得。
并且，第1CPB102利用从特定延迟值决定部107输入的特定延迟值来进行虚拟缓冲器控制。具体来说，第1CPB102，在(数4)中的initial_cpb_removal_delay中，代入从特定延迟值决定部107接受的特定延迟值。然后，第1CPB102算出tai，earliest(n)，进行以后的虚拟缓冲器控制。
第1延迟值计算部103，基于第1CPB102所算出的时间信息，按照每个GOP用以下的式子算出延迟值Δtg、90(n)。
(数7)Δtg、90(n)＝90000＊(tr，n(n)-taf(n-1))
另外，上述的数学式是根据H.264/AVC编码标准而规定的数学式。
第1延迟值计算部103，将算出的延迟值输出到特定延迟值决定部107。
第2编码部104，基于H.264/AVC标准对所输入的输入图像进行编码，生成扩展流，并将所生成的扩展流输出到复用部108。并且，第2编码部104，将对输入图像进行编码时生成的编码参数输出到第2CPB105。此外，第2编码部104将把输入图像编码为扩展流时的码量输出到第2CPB105。另外，在将输入图像编码为扩展流时，优选应用MVC(multiviewcoding)。
第2CPB105，是基于从第1编码部101以及第2编码部104输出的编码参数以及码量，来进行虚拟缓冲器控制的虚拟缓冲器。第2CPB105，基于上述数学式1到数学式6，来算出与三维流相关的时间信息tai(n)、taf(n)、tr，n(n)。第2CPB105，对数学式1到数学式6，代入与三维流相关的编码参数。b(n)是扩展流的第n个中的输入图像的产生码量、和基本流的第n个中的输入图像的产生码量之和。
并且，第2CPB105，利用从特定延迟值决定部107输入的特定延迟值来进行虚拟缓冲器控制。第2CPB105，对(数4)中的initial_cpb_removal_delay，代入从特定延迟值决定部107接受的特定延迟值。然后，第2CPB105算出tai，earliest(n)，并进行以后的虚拟缓冲器控制。
第2延迟值计算部106，基于第2CPB105所算出的时间信息，按照每个GOP用(数学式7)算出延迟值Δtg、90(n)。第2延迟值计算部106，将算出的延迟值Δtg、90(n)输出到特定延迟值决定部107。
特定延迟值决定部107，根据第1延迟值计算部103以及第2延迟值计算部106所输出的各延迟值，来决定(算出)特定延迟值。例如，将第1延迟值计算部103所求出的延迟值、和第2延迟值计算部106所求出的延迟值中较小的一方的延迟值决定为特定延迟值。另外，特定延迟值决定部107，也可以算出比第1延迟值计算部103所输出的第1延迟值、以及第2延迟值计算部106所输出的第2延迟值小的值并决定为特定延迟值。特定延迟值决定部107，将决定的特定延迟值输出到复用部108。并且，特定延迟值决定部107，将决定的特定延迟值输出到第1CPB102以及第2CPB105。
复用部108将基本流和扩展流连结来生成三维流。此时，复用部108在三维流中写入特定延迟值决定部107所输出的特定延迟值。即，复用部108写入特定延迟值决定部107所决定的特定延迟值作为基本流的延迟值。并且，复用部108写入特定延迟值决定部107所决定的特定延迟值作为三维流的延迟值。结果，可以使基本流的延迟值和三维流的延迟值相同。另外，在H.264/AVC中，基本流的延迟值被写入到“BufferingperiodSEI”中。并且，三维流的延迟值，被写入到“scalablenestingSEI”中的“BufferingperiodSEI”中。另外，上述的“BufferingperiodSEI”、“scalablenestingSEI”以及“BufferingperiodSEI”，是在H.264/AVC标准中规定的句法信息。
3.动作
接着，利用图2所示的流程图对本实施方式1所涉及的3D编码装置的动作的一例进行说明。
(步骤S201)首先，若输入了输入图像，则第1编码部101对该输入图像进行编码，生成基本流。第1编码部101将所生成的基本流输出到复用部108。并且，第1编码部101将所生成的基本流的码量以及编码参数输出到第1CPB102以及第2CPB105。
(步骤S202)接着，第1CPB102基于第1编码部101所生成的基本流的编码参数以及码量，进行虚拟缓冲器控制。第1CPB102将在虚拟缓冲器控制的过程中生成的时间信息输出到第1延迟值计算部103。
(步骤S203)另一方面，若输入了输入图像，则第2编码部104对该输入图像进行编码，生成扩展流。第2编码部104将所生成的扩展流输出到复用部108。并且，第2编码部104将所生成的扩展流的码量以及编码参数输出到第2CPB105。
(步骤S204)接着，第2CPB105基于第1编码部101所生成的基本流的码量以及编码参数、和第2编码部104所生成的扩展流的码量以及编码参数来进行虚拟缓冲器控制。第2CPB105将在虚拟缓冲器控制的过程中生成的时间信息输出到第2延迟值计算部106。
(步骤S205)在此，第1编码部101以及第2编码部104，对编码对象的输入图像是否为位于GOP的末端的输入图像(以下，称作“末端图像”)进行判定。在判定为不是末端图像的情况下，转移到步骤S201，第1编码部101以及第2编码部104对GOP内的剩余的输入图像进行编码。在判定为末端图像的情况下，转移到步骤S206。
(步骤S206)第1延迟值计算部103基于从第1CPB102输出的时间信息，来算出基本流的延迟值Δtg、90(n)(以下，适当称作“第1延迟值”)。该第1延迟值不是实际附加给基本流的特定延迟值。特定延迟值由特定延迟值决定部107算出。第1延迟值计算部103将算出的第1延迟值输出到特定延迟值决定部107。
(步骤S207)此外，第2延迟值计算部106基于从第2CPB105输出的时间信息，来算出应用于三维流的延迟值Δtg、90(n)(以下，适当称作“第2延迟值”)。该第2延迟值不是特定延迟值。特定延迟值由特定延迟值决定部107算出。第2延迟值计算部106将算出的第2延迟值输出到特定延迟值决定部107。
(步骤S208)然后，特定延迟值决定部107将从第1延迟值计算部103以及第2延迟值计算部106输出的第1延迟值以及第2延迟值中较小的那个延迟值决定为特定延迟值，并输出到第1CPB102以及第2CPB105。
(步骤S209)最后，第1CPB102以及第2CPB105基于从特定延迟值决定部107输出的特定延迟值，来进行针对求出了特定延迟值的GOP的下一个GOP的虚拟缓冲器控制。
另外，上述的动作流程是一例，关于各步骤可以相互调换。此外，在S208中生成的特定延迟值不限定于上述值，例如也可以构成为将比从第1延迟值计算部103以及第2延迟值计算部106输出的延迟值小的延迟值设为特定延迟值。
4.本发明和本实施方式的对应
本实施方式中的“虚拟缓冲器控制”是本发明中的“缓冲器模拟”的一例。本实施方式中的“第1编码部101”以及“第2编码部104”是本发明中的“编码部”的一例。本实施方式中的“第1CPB102”是本发明中的“第1虚拟缓冲器部”的一例。本实施方式中的“第2CPB105”是本发明中的“第2虚拟缓冲器部”的一例。本实施方式中的“第1延迟值计算部103”是本发明中的“第1计算部”的一例。本实施方式中的“第2延迟值计算部106”是本发明中的“第2计算部”的一例。本实施方式中的“特定延迟值决定部107”是本发明中的“设定部”的一例。
5.总结
如上所述，本实施方式的3D编码装置，具备：对输入图像进行编码，生成并输出基本流和扩展流的第1编码部101以及第2编码部104；进行对从第1编码部101输出的基本流进行解码时的缓冲器模拟的第1CPB102；进行对根据从第1编码部101输出的基本流和从第2编码部104输出的扩展流而获得的三维流进行解码时的缓冲器模拟的第2CPB105；基于在第1CPB102中进行的缓冲器模拟的结果，按照每1个GOP算出基本流的延迟值即第1延迟值的第1延迟值计算部103；基于在第2CPB105中进行的缓冲器模拟的结果，按照每1个GOP算出三维流的延迟值即第2延迟值的第2延迟值计算部106；以及基于算出的第1延迟值以及第2延迟值，按照每1个GOP设定特定延迟值的特定延迟值决定部107。特定延迟值决定部107，设定基本流的延迟值和三维流的延迟值中较小的一方的延迟值以下的值作为特定延迟值。第1CPB102以及第2CPB105，基于基本流以及三维流中的、针对第n个GOP由特定延迟值决定部107设定的特定延迟值，来进行针对第n+1个GOP的缓冲器模拟。
这样一来，3D编码装置能够根据第1延迟值和第2延迟值来设定特定延迟值。并且，3D编码装置能够将所设定的特定延迟值反馈给生成基本流时的缓冲器模拟(以下，称作第1BS。)、和生成三维流时的缓冲器模拟(以下，称作第2BS。)。因此，3D编码装置能够基于相同的延迟值进行针对下一个GOP(第n+1个GOP)的第1BS以及第2BS。此外，能够以简单的构成，将第1延迟值和第2延迟值设定为相同的值。
此外，因为特定延迟值是第1延迟值和第2延迟值中较小的一方的延迟值以下的值，所以即使在将第1BS以及第2BS的延迟值替换为相同的延迟值来进行缓冲器模拟的情况下，也总是能够使第1BS以及第2BS不失败地、生成满足BD标准的基本流以及三维流。
此外，第1CPB102以及第2CPB105将与对输入图像进行编码时的时刻相关的信息作为缓冲器模拟的结果分别输出给第1延迟值计算部103以及第2延迟值计算部106。
这样一来，3D编码装置能够基于与进行编码时的时刻相关的信息来算出延迟值。由此，因为能够算出正确的延迟值并进行缓冲器模拟，所以能够抑制影像劣化并且生成满足BD标准的基本流以及三维流。
(实施方式2)
1.概要
实施方式1基于从第1CPB102以及第2CPB105输出的时间信息，在第1延迟值计算部103以及第2延迟值计算部106中算出了延迟值。并且，即使将从第1延迟值计算部103以及第2延迟值计算部106输出的第1延迟值以及第2延迟值替换为相同的值，通过调整虚拟缓冲器控制，也能够使H.264/AVC标准的制约不失败地生成满足BD标准的基本流以及三维流。这样在实施方式1中，利用时间信息进行了虚拟缓冲器控制。
第1CPB102以及第2CPB105所执行的虚拟缓冲器控制，还用于保证不产生在H.264/AVC标准中规定的缓冲器下溢。
图3是说明缓冲器下溢的状况的图。缓冲器下溢是指，虚拟缓冲器控制中的缓冲器滞留量(以下，称作“cpb值”)成为负值。在第1编码部101以及第2编码部104中，若产生超过输入图像的编码开始时间点的cpb值的码量，换言之，在对解码器的输入缓冲器进行了模拟的虚拟缓冲器中，若产生超过输入图像的编码开始时间点的cpb值的提取量(若产生输入图像的编码开始时间点的提取可能量以上的码量)，则产生缓冲器下溢。因此，第1编码部101以及第2编码部104将比输入图像的编码开始时间点的cpb值小的码量设定为输入图像的最大码量。并且，第1编码部101以及第2编码部104，在实际的编码时按照不超过该最大码量的方式来调整编码参数。
考虑到上述点，并非利用了时间信息的虚拟缓冲器控制，而是使用cpb值更容易控制。此外，根据H.264/AVC标准进行CABAC(contextadaptivebinaryarithmeticcoding，上下文自适应二进制算术编码)处理的情况下，到确定每个输入图像的产生码量为止产生延迟。因此，无法在合适的定时得到cpb值。该理由也是，不需要基于延迟值的时间表现下的虚拟缓冲器控制，而是需要基于cpb值的简易的虚拟缓冲器控制。根据以上理由，作为虚拟缓冲器控制，存在采用基于cpb值的虚拟缓冲器控制的情况。针对该安装下的cpb值，也产生修正用于遵守BD标准限制的cpb值的必要。
实施方式2的目的在于，提供一种即使在作为虚拟缓冲器控制而采用了cpb值的情况下，也能够使基本流的延迟值和三维流的延迟值相同的3D编码装置。
在实施方式2中，基于基本流以及三维流的编码率以及cpb值，来算出基本流中的延迟值以及三维流中的延迟值。然后，根据算出的2个延迟值来设定特定的延迟值。
2.构成
以下，参照附图对实施方式2中的3D编码装置的构成进行说明。
图4是表示实施方式2中的3D编码装置的构成的图。另外，对与实施方式1相同的构成，附加相同的编号，并省略其详细的说明。
第1简易CPB301是基于从第1编码部101输出的编码参数以及码量，来进行利用了cpb值的虚拟缓冲器控制的虚拟缓冲器。在此，编码参数是指包括句法信息在内的与编码相关的信息。另外，码量是由第1编码部101对输入图像实际进行编码而得到的码量或者作为预测值的码量。第1简易CPB301算出基本流中的cpb值(以下，称作“cpb1”)。第1简易CPB301根据下式算出第n个输入图像中的cpb1(n)。
(数8)cpb1(n)＝cpb1(n-1)+(BR1＊T)-b1(n)
在此，BR1表示基本流的最大比特率，例如为12Mbps等。此外，T是图像速率的倒数。总之，T是表示从基本流所包含的第(n-1)个输入图像起到第n个输入图像为止的时间的值。并且，b1(n)是基本流中的第n个输入图像的码量。另外，基本流的最大比特率以及图像速率由对3D编码装置整体进行控制的控制部400来提供。另外，基本流的最大比特率也可以设为按照每个GOP而变化的值。此外，也可以是针对输入图像赋予固定的最大比特率的构成。
此外，第1简易CPB301将cpb1(n)输出给第1延迟值计算部302。另外，第1简易CPB301例如在GOP末端将cpb1(n)输出给第1延迟值计算部302。
并且，第1简易CPB301将CPB值逆换算部306所输出的cpb值，使用于针对求出了用于特定延迟值的计算的第1延迟值以及第2延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的虚拟缓冲器控制。即，在针对当前处理中的GOP的下一个GOP的虚拟缓冲器控制中，替换当前的cpb值而使用CPB值逆换算部306所输出的cpb值。通过由第1简易CPB301进行上述动作，即使替换了当前的cpb值也能够不使虚拟缓冲器控制失败地、使基本流的延迟值与三维流的延迟值相同。
第1延迟值计算部302，基于从第1简易CPB301输出的cpb1以及对3D编码装置整体进行控制的控制部400所提供的基本流的最大比特率，来算出针对基本流的延迟值。
图5是表示第1简易CPB301中的虚拟缓冲器控制的图。
在图5所示的曲线图中，虚线所示的斜率是最大比特率。在此情况下，cpb值与延迟值的关系如图5所示。例如，假设作为cpb值赋予1500比特，最大比特率赋予12Mbps。在此情况下，第1延迟值计算部302通过下式算出延迟值为0.125ms。
(数10)(延迟值)＝(cpb值)/(最大比特率)
第1延迟值计算部302将算出的延迟值输出给特定延迟值决定部305。
第2简易CPB303是基于从第1编码部101以及第2编码部104输出的编码参数以及码量，来进行使用了cpb值的虚拟缓冲器控制的虚拟缓冲器。在此，编码参数是指包括句法信息在内的与编码相关的信息。另外，码量是由第1编码部101以及第2编码部104对输入图像实际进行编码而得到的码量或者作为预测值的码量。第2简易CPB303算出三维流中的cpb值(以下，称作cpb2)。第2简易CPB303通过下式来算出第n个中的输入图像的cpb2(n)。
(数11)cpb2(n)＝cpb2(n-1)+(BR2＊T)-b2(n)
在此，BR2表示三维流的最大比特率，例如为24Mbps等。此外，T是图像速率的倒数。总之，T是表示从三维流所包含的第(n-1)个输入图像起到第n个输入图像为止的时间的值。并且，b2(n)是三维流的第n个中的输入图像的码量。即，b2(n)是从第1编码部101输出的基本流中的第n个中的输入图像的码量、和从第2编码部104输出的扩展流中的第n个输入图像的码量的和。另外，三维流的最大比特率以及图像速率由对3D编码装置整体进行控制的控制部400来提供。另外，三维流的最大比特率也可以设为按照每个GOP而变化的值。此外，也可以为针对输入图像赋予固定的最大比特率的构成。
此外，第2简易CPB303将cpb2(n)输出到第2延迟值计算部304。另外第2简易CPB303例如在GOP末端将cpb2输出给第2延迟值计算部304。
并且，第2简易CPB303将CPB值逆换算部306所输出的cpb值使用于针对下一个GOP的虚拟缓冲器控制。即，在针对求出了在特定延迟值的计算中使用的第1延迟值以及第2延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的虚拟缓冲器控制中，替换当前的cpb值而使用CPB值逆换算部306所输出的cpb值。通过由第2简易CPB303进行上述动作，即使替换当前的cpb值，也能够不使虚拟缓冲器控制失败地、使基本流的延迟值与三维流的延迟值相同。
第2延迟值计算部304，基于从第2简易CPB303输出的cpb2以及由对3D编码装置整体进行控制的控制部400提供的三维流的最大比特率，来算出针对三维流的延迟值。
第2延迟值计算部304基于(数学式10)的关系，来算出三维流的延迟值。例如，假设作为cpb2赋予3200比特，最大比特率赋予24Mbps。在此情况下，第2延迟值计算部304通过下式算出延迟值为0.133ms。
第2延迟值计算部304将算出的延迟值输出到特定延迟值决定部305。
特定延迟值决定部305，根据第1延迟值计算部302以及第2延迟值计算部304所输出的延迟值，来决定(算出)特定延迟值。例如，决定为第1延迟值计算部302所求出的延迟值、和第2延迟值计算部304所求出的延迟值中较小的一方的延迟值并输出。另外，特定延迟值决定部305，也可以算出比求出的延迟值小的值后输出。特定延迟值决定部305将决定(算出)的延迟值输出到CPB值逆换算部306。并且，特定延迟值决定部305将决定(算出)的特定延迟值输出到复用部108。
CPB值逆换算部306基于从特定延迟值决定部305输出的特定延迟值、以及从对3D编码装置整体进行控制的控制部400提供的基本流的最大比特率以及三维流的最大比特率，来算出在第1简易CPB301中应用的cpb值以及在第2延迟值计算部304中应用的cpb值。CPB值逆换算部306将算出的cpb值分别输出到第1简易CPB301以及第2简易CPB303。
例如，假设CPB值逆换算部306从特定延迟值决定部305取得0.125ms作为特定延迟值。此外，设基本流的最大比特率为12Mbps，三维流的最大比特率为24Mbps。此时，CPB值逆换算部306根据下式来算出在第1简易CPB301以及第2简易CPB303中应用的cpb值。
(数12)(cpb值)＝(延迟值)＊(最大比特率)
即，CPB值逆换算部306算出在第1简易CPB301中应用的cpb值为1500比特。并且，CPB值逆换算部306算出在第2简易CPB303中应用的cpb值为3000比特。在此情况下，因为特定延迟值决定部305所输出的特定延迟值是第1延迟值计算部302所算出的延迟值，所以CPB值逆换算部306输出到第1简易CPB301的cpb值与原本由第1简易CPB301输出的cpb值相同。但是，CPB值逆换算部306输出到第2简易CPB303的cpb值基于第1延迟值计算部302所算出的延迟值而算出。
3.动作
3-1.第2简易CPB303的动作
首先，在整体动作的说明之前，参照附图对第2简易CPB303的动作进行说明。
图6是用于说明第2简易CPB303的虚拟缓冲器控制的动作的图。
图6所示的cpb601，表示GOP末端的cpb值。第2简易CPB303将该cpb值输出到第2延迟值计算部304。第2简易CPB303，将该cpb值输出到第2延迟值计算部304后，经由第2延迟值计算部304、特定延迟值决定部305以及CPB值逆换算部306，输入校正后的cpb值。校正后的cpb值，例如为图6所示的cpb602。第2简易CPB303在决定了特定延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)中的虚拟缓冲器控制中使用cpb602。总之，伴随特定延迟值决定部305中的延迟值的变更，来进行第2简易CPB303的cpb值的校正。
这样一来，能够容易地将基本流和三维流的延迟值设定为相同值。并且，即使变更从虚拟缓冲器控制获得的延迟值，也能够不使之后的虚拟缓冲器控制失败地对输入图像进行编码。此外，关于用于避免缓冲器下溢的cpb值，也能够反映BD标准上所需的延迟值变更的影响。由此，能够在抑制缓冲器下溢的同时，实现满足BD标准的编码动作。
3-2.3D编码装置的动作
接着，利用图7所示的流程图，说明本实施方式2所涉及的3D运动图像编码方法的动作的一例。
(步骤S701)首先，若输入了输入图像，则第1编码部101对该输入图像进行编码，生成基本流。第1编码部101将生成的基本流输出到复用部108。并且，第1编码部101将生成的基本流的码量以及编码参数输出到第1简易CPB301以及第2简易CPB303。
(步骤S702)接着，第1简易CPB301基于第1编码部101所生成的基本流的编码参数以及码量，来进行基于cpb值的虚拟缓冲器控制。
(步骤S703)另一方面，若输入了输入图像，则第2编码部104对该输入图像进行编码，生成扩展流。第2编码部104将生成的扩展流输出到复用部108。并且，第2编码部104将生成的扩展流的码量以及编码参数输出到第2简易CPB303。
(步骤S704)接着，第2简易CPB303基于第1编码部101所生成的基本流的码量以及编码参数、和第2编码部104所生成的扩展流的码量以及编码参数，进行基于cpb值的虚拟缓冲器控制。
(步骤S705)在此，第1编码部101以及第2编码部104，对编码对象所涉及的输入图像是否为位于GOP的末端的输入图像(以下，称作“末端图像”)进行判定。在判定为不是末端图像的情况下，转移到S701，第1编码部101以及第2编码部104对GOP内的剩余的输入图像进行编码。在判定为末端图像的情况下，第1简易CPB301将GOP的末端的时刻的cpb值输出到第1延迟值计算部302。并且，第2简易CPB303将GOP的末端的时刻的cpb值输出到第2延迟值计算部304。然后，转移到S706。
(步骤S706)接着，第1延迟值计算部302基于从第1简易CPB301输出的cpb值，来算出基本流的延迟值(以下，称作“第1延迟值”)。该第1延迟值不是实际附加给基本流的特定延迟值。实际附加的特定延迟值，由特定延迟值决定部305来算出。第1延迟值计算部302将算出的第1延迟值输出到特定延迟值决定部305。
(步骤S707)此外，第2延迟值计算部304基于从第2简易CPB303输出的cpb值，来算出应用于三维流的延迟值(以下，称作“第2延迟值”)。该第2延迟值不是特定延迟值。实际附加的特定延迟值由特定延迟值决定部305来算出。第2延迟值计算部304将算出的第2延迟值输出到特定延迟值决定部305。
(步骤S708)然后，特定延迟值决定部305将从第1延迟值计算部302以及第2延迟值计算部304输出的第1延迟值以及第2延迟值中较小的一方的延迟值设为特定延迟值，并输出到CPB值逆换算部306。
(步骤S709)然后CPB值逆换算部306基于特定延迟值决定部305所输出的特定延迟值，分别算出在第1简易CPB301以及第2简易CPB303中利用的cpb值。CPB值逆换算部306将算出的cpb值分别输出给第1简易CPB301以及第2简易CPB303。
(步骤S710)最后，第1简易CPB301以及第2简易CPB303基于从CPB值逆换算部306输出的cpb值，来进行针对求出了特定延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的虚拟缓冲器控制。
另外，上述的动作流程是一例，关于各步骤可以相互调换。此外，在S708中生成的特定延迟值不限定于上述值，例如也可以构成为将比从第1延迟值计算部302以及第2延迟值计算部304输出的第1延迟值以及第2延迟值小的延迟值设为特定延迟值。
4.总结
如上所述，本实施方式中的3D编码装置，具备：对输入图像进行编码，生成并输出基本流和扩展流的第1编码部101以及第2编码部104；进行对从第1编码部101输出的基本流进行解码时的缓冲器模拟的第1简易CPB301；进行对根据从第1编码部101输出的基本流和从第2编码部104输出的扩展流而获得的三维流进行解码时的缓冲器模拟的第2简易CPB303；基于在第1简易CPB301中进行的缓冲器模拟的结果，按照每1个GOP算出基本流的延迟值即第1延迟值的第1延迟值计算部302；基于在第2简易CPB303中进行的缓冲器模拟的结果，按照每1个GOP来算出三维流的延迟值即第2延迟值的第2延迟值计算部304；和基于算出的第1延迟值以及第2延迟值，按照每1个GOP来设定特定的延迟值的特定延迟值决定部305。特定延迟值决定部305，设定基本流的延迟值和三维流的延迟值中较小的一方的延迟值以下的值作为特定延迟值。第1简易CPB301以及第2简易CPB303，基于针对基本流以及三维流中的第n个GOP由特定延迟值决定部305设定的特定延迟值，来进行针对第n+1个GOP的缓冲器模拟。在此，第1简易CPB301，在输入了特定延迟值决定部305所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第1简易CPB301的缓冲器滞留量进行校正，并进行针对求出了特定的延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟，第2简易CPB303，在输入了特定延迟值决定部305所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第2简易CPB303的缓冲器滞留量进行校正，并进行针对求出了特定延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟。
这样一来，即使在3D编码装置利用缓冲器滞留量来进行缓冲器模拟的情况下，也能够以简单的构成使附加给基本流的延迟值和附加给三维流的延迟值成为相同的值。由此，即使在以简易的构成进行了缓冲器模拟的情况下，也能够生成满足BD标准的基本流以及三维流。
此外，因为特定延迟值是第1延迟值和第2延迟值中较小的一方的延迟值以下的值，所以即使在将第1BS以及第2BS的延迟值替换为相同的延迟值来进行缓冲器模拟的情况下，也总是能够不使第1BS以及第2BS失败地、生成满足BD标准的基本流以及三维流。
此外，第1简易CPB301，在输入了特定延迟值决定部305所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第1简易CPB301的缓冲器滞留量进行校正，并进行针对求出了特定的延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟，第2简易CPB303，在输入了特定延迟值决定部305所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第2简易CPB303的缓冲器滞留量进行校正，并进行针对求出了特定的延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟。
这样一来，伴随特定延迟值的设定，能够对第1简易CPB301以及第2简易CPB303中的缓冲器滞留量进行校正。由此，3D编码装置，即使在将第1延迟值以及第2延迟值变更为特定延迟值的情况下，也能够不使使用了缓冲器滞留量的缓冲器模拟失败地、生成满足BD标准的基本流以及三维流。
(第3实施方式)
1.概要
在实施方式1中，说明了按照基于时间信息而算出的基本流的延迟值和三维流的延迟值相同的方式来算出特定延迟值的构成。
在实施方式3中，按照基于时间信息而算出的基本流的延迟值、扩展流的延迟值、和三维流的延迟值相同的方式，来算出特定延迟值。
2.构成
以下，参照附图对实施方式3的3D编码装置的构成进行说明。
图8是表示实施方式3中的3D编码装置的构成的图。另外，对与本实施方式1相同的部分附加相同的编号，并省略其详细的说明。
第1延迟值计算部109进行与实施方式1的第1延迟值计算部103基本相同的动作。不过，第1延迟值计算部109在将算出的延迟值输出给特定延迟值决定部113这一点上与第1延迟值计算部103不同。
第2延迟值计算部110进行与实施方式1的第2延迟值计算部106基本相同的动作。不过，第2延迟值计算部110，在将算出的延迟值输出给特定延迟值决定部113这一点上与第2延迟值计算部106不同。
第3CPB111是基于从第2编码部104输出的编码参数以及码量，来进行虚拟缓冲器控制的虚拟缓冲器。第3CPB111基于数学式1到数学式6，来算出与扩展流相关的时间信息tai(n)、taf(n)、tr，n(n)。另外，上述时间信息tai(n)、taf(n)、tr，n(n)、以及数学式1到数学式6，如实施方式1所说明的那样，按照H.264/AVC标准来规定。另外，第3CPB111对数学式1到数学式6，代入与从第2编码部104输出的扩展流相关的编码参数。另外，b(n)是扩展流的第n个中的输入图像的产生码量。
并且，第3CPB111利用从特定延迟值决定部113输入的特定延迟值来进行虚拟缓冲器控制。第3CPB111对(数4)中的initial_cpb_removal_delay代入从特定延迟值决定部113接受的特定延迟值。然后，第3CPB111算出tai，earliest(n)，并进行以后的虚拟缓冲器控制。
第3延迟值计算部112基于第3CPB111所算出的时间信息，按照每个GOP用(数学式7)来算出延迟值Δtg、90(n)。第3延迟值计算部112将算出的延迟值输出给特定延迟值决定部113。
特定延迟值决定部113根据第1延迟值计算部109、第2延迟值计算部110以及第3延迟值计算部112所输出的延迟值，来算出特定延迟值。例如，将第1延迟值计算部109所求出的延迟值、第2延迟值计算部110所求出的延迟值、和第3延迟值计算部112所求出的延迟值中较小的一方的延迟值作为特定延迟值而输出。另外，特定延迟值决定部113也可以输出比求出的延迟值小的值。特定延迟值决定部113将算出的特定延迟值输出到复用部114。并且，特定延迟值决定部113将算出的特定延迟值输出到第1CPB102、第2CPB105以及第3CPB111。
复用部114进行与实施方式1的复用部108基本相同的动作。不过，复用部114在作为扩展流的延迟值而写入特定延迟值决定部113所算出的特定延迟值这一点上与实施方式1的复用部108不同。复用部114通过进行上述的动作，能够使基本流的延迟值、扩展流的延迟值、和三维流的延迟值相同。另外，在H.264/AVC标准中，扩展流的延迟值被写入到“BufferingperiodSEI”等、在H.264/AVC中规定的句法中的适当的场所。即，只要为在再生侧读取扩展流的延迟值的保存场所，则为怎样的场所都可以。
3.动作
接着，利用图9所示的流程图来说明本实施方式3所涉及的3D编码装置的动作的一例。
(步骤S901)首先，若输入了输入图像，则第1编码部101对该输入图像进行编码，生成基本流。第1编码部101将生成的基本流输出到复用部114。并且，第1编码部101将生成的基本流的码量以及编码参数输出到第1CPB102以及第2CPB105。
(步骤S902)接着，第1CPB102基于第1编码部101所生成的基本流的编码参数以及码量，进行虚拟缓冲器控制。第1CPB102将在虚拟缓冲器控制的过程中生成的时间信息输出到第1延迟值计算部109。
(步骤S903)另一方面，若输入了输入图像，则第2编码部104对该输入图像进行编码，生成扩展流。第2编码部104将生成的扩展流输出到复用部114。并且，第2编码部104将生成的扩展流的码量以及编码参数输出到第2CPB105以及第3CPB111。
(步骤S904)接着，第2CPB105基于第1编码部101所生成的基本流的码量以及编码参数、和第2编码部104所生成的扩展流的码量以及编码参数，来进行虚拟缓冲器控制。第2CPB105将在虚拟缓冲器控制的过程中生成的时间信息输出到第2延迟值计算部110。
(步骤S905)接着，第3CPB111基于第2编码部104所生成的扩展流的码量以及编码参数来进行虚拟缓冲器控制。第3CPB111将在虚拟缓冲器控制的过程中生成的时间信息输出到第3延迟值计算部112。
(步骤S906)在此，第1编码部101以及第2编码部104，对编码对象所涉及的输入图像是否为位于GOP的末端的输入图像(以下，称作“末端图像”)进行判定。在判定为不是末端图像的情况下，转移到S901，第1编码部101以及第2编码部104对GOP内的剩余的输入图像进行编码。在判定为末端图像的情况下，转移到S907。
(步骤S907)接着，第1延迟值计算部109基于从第1CPB102输出时间信息，来算出基本流的延迟值(以下，称作“第1延迟值”)。该第1延迟值，不是实际附加给基本流的特定延迟值。特定延迟值由特定延迟值决定部113来算出。第1延迟值计算部109将算出的第1延迟值输出到特定延迟值决定部113。
(步骤S908)此外，第2延迟值计算部110，基于从第2CPB105输出的时间信息，来算出应用于三维流的延迟值(以下，称作“第2延迟值”)。该第2延迟值，不是特定延迟值。特定延迟值由特定延迟值决定部113来算出。第2延迟值计算部110将算出的第2延迟值输出到特定延迟值决定部113。
(步骤S909)此外，第3延迟值计算部112，基于从第3CPB111输出的时间信息，来算出应用于扩展流的延迟值(以下，称作“第3延迟值”)。该第3延迟值不是特定延迟值。特定延迟值由特定延迟值决定部113来算出。第3延迟值计算部112将算出的第3延迟值输出到特定延迟值决定部113。
(步骤S910)然后，特定延迟值决定部113将从第1延迟值计算部109、第2延迟值计算部110以及第3延迟值计算部112输出的第1延迟值、第2延迟值以及第3延迟值中最小的延迟值决定为特定延迟值，并输出到第1CPB102、第2CPB105以及第3CPB111。
(步骤S911)最后，第1CPB102、第2CPB105以及第3CPB111，基于从特定延迟值决定部113输出的特定延迟值，来进行针对求出了特定延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的虚拟缓冲器控制。
另外，上述的动作流程是一例，关于各步骤可以相互调换。此外，特定延迟值决定部113所生成的特定延迟值不限定于上述值，例如也可以构成为将比从第1延迟值计算部109、第2延迟值计算部110以及第3延迟值计算部112输出的延迟值中最小的延迟值小的延迟值设为特定延迟值。
4.总结
如上所述，本实施方式3中的3D编码装置，具备：对输入图像进行编码，生成并输出基本流和扩展流的第1编码部101以及第2编码部104；进行对从第1编码部101输出的基本流进行解码时的缓冲器模拟的第1CPB102；进行对根据从第1编码部101输出的基本流和从第2编码部104输出的扩展流而获得的三维流进行解码时的缓冲器模拟的第2CPB105；进行对扩展流进行解码时的缓冲器模拟的第3CPB111；基于在第1CPB102中进行的缓冲器模拟的结果，按照每1个GOP来算出基本流的延迟值即第1延迟值的第1延迟值计算部109；基于在第2CPB105中进行的缓冲器模拟的结果，按照每1个GOP来算出三维流的延迟值即第2延迟值的第2延迟值计算部110；基于在第3CPB111中进行的缓冲器模拟的结果，按照每1个GOP来算出扩展流的延迟值即第3延迟值的第3延迟值计算部112；和基于第1延迟值、第2延迟值以及第3延迟值，来设定特定的延迟值的特定延迟值决定部113。特定延迟值决定部113决定第1延迟值、第2延迟值以及第3延迟值中最小的延迟值以下的值。第1CPB102、第2CPB105以及第3CPB111，基于针对基本流、三维流以及扩展流中的第n个GOP由特定延迟值决定部113设定的特定延迟值，来进行针对第n+1个GOP的缓冲器模拟。
根据这种实施方式3中的3D编码装置，能够根据第1延迟值、第2延迟值以及第3延迟值来设定特定延迟值。并且，3D编码装置能够将设定的特定延迟值反馈给第1BS、第2BS、和生成扩展流时的缓冲器模拟(以下，称作第3BS)。因此，3D编码装置能够基于相同的延迟值，进行针对下一个GOP的第1BS、第2BS、和第3BS。此外，能够以简单的构成，将第1延迟值、第2延迟值、和第3延迟值设定为相同的值。
此外，因为特定延迟值是第1延迟值、第2延迟值以及第3延迟值中最小的延迟值以下的值，所以即使在将第1BS、第2BS以及第3BS的延迟值替换为相同的延迟值来进行缓冲器模拟的情况下，也总是能够不使第1BS、第2BS以及第3BS失败地、生成满足BD标准的基本流、三维流以及扩展流。
此外，优选，第1CPB102、第2CPB105以及第3CPB111，将与对输入图像进行编码时的时刻相关的信息作为缓冲器模拟的结果分别输出到第1延迟值计算部109、第2延迟值计算部110以及第3延迟值计算部112。
这样一来，3D编码装置能够基于与进行编码时的时刻相关的信息来算出延迟值。由此，能够算出正确的延迟值并进行缓冲器模拟，因此能够抑制影像劣化并且生成满足BD标准的基本流、三维流以及扩展流。
(第4实施方式)
1.概要
在实施方式2中，说明了按照基于cpb值而算出的基本流的延迟值和三维流的延迟值相同的方式，来算出特定延迟值的构成。
在实施方式4中，按照基于cpb值而算出的基本流的延迟值、扩展流的延迟值、和三维流的延迟值相同的方式，来算出特定延迟值。
2.构成
以下，参照附图对实施方式4中的3D编码装置进行说明。
图10是表示实施方式4中的3D编码装置的构成的图。另外，对与实施方式2同样的构成附加相同的编号，并省略其详细的说明。
第1简易CPB301以及第2简易CPB303，替换CPB值逆换算部306所输出的cpb值，利用CPB值逆换算部312所输出的特定的cpb值来进行虚拟缓冲器控制。
第1延迟值计算部307进行与实施方式2的第1延迟值计算部302基本同样的动作。不过，第1延迟值计算部307在将算出的延迟值输出到特定延迟值决定部311这一点上与实施方式2的第1延迟值计算部302不同。
第2延迟值计算部308进行与实施方式2的第2延迟值计算部304基本同样的动作。不过，第2延迟值计算部308在将算出的延迟值输出到特定延迟值决定部311这一点上与实施方式2的第2延迟值计算部304不同。
第3简易CPB309是基于从第2编码部104输出的编码参数以及码量，来进行利用了cpb值的虚拟缓冲器控制的虚拟缓冲器。在此，编码参数是指包括句法(syntax)信息在内的与编码相关的信息。另外，码量是由第2编码部104对输入图像实际进行编码而得到的码量或作为预测值的码量。第3简易CPB309算出扩展流中的cpb值(以下，称作“cpb3”)。第3简易CPB309通过下式来算出第n个中的输入图像的cpb3(n)。
(数12)cpb3(n)＝cpb3(n-1)+(BR3＊T)-b3(n)
在此，BR3表示扩展流的最大比特率，例如为12Mbps等。此外，T是图像速率的倒数。总之T是表示从扩展流所包含的第(n-1)个输入图像起到第n个输入图像为止的时间的值。并且，b3(n)是扩展流中的第n个输入图像的码量。即，b3(n)成为从第2编码部104输出的扩展流中的第n个中的输入图像的码量。另外，扩展流的最大比特率以及图像速率由对3D编码装置整体进行控制的控制部(未图示)来提供。另外，扩展流的最大比特率也可以设为按照每个GOP而变化的值。此外，也可以为针对输入图像赋予固定的最大比特率的构成。
此外，第3简易CPB309将cpb3(n)输出到第3延迟值计算部310。另外，第3简易CPB309例如在GOP末端将cpb3(n)输出到第3延迟值计算部310。
并且，第3简易CPB309将CPB值逆换算部312所输出的cpb值使用于针对下一个GOP的虚拟缓冲器控制。即，在针对下一个GOP的虚拟缓冲器控制中，替换当前的cpb值而使用CPB值逆换算部306所输出的cpb值。第3简易CPB309通过进行上述的动作，即使替换了当前的cpb值也能够不使虚拟缓冲器控制失败地、使基本流的延迟值、三维流的延迟值、和扩展流的延迟值相同。
第3延迟值计算部310基于从第3简易CPB309输出的cpb3以及从对3D编码装置整体进行控制的控制部400提供的扩展流的最大比特率，来算出针对扩展流的延迟值。
第3延迟值计算部310基于(数学式10)的关系，来算出扩展流的延迟值。例如，假设作为cpb3赋予3200比特，最大比特率赋予12Mbps。在此情况下，第3延迟值计算部310通过(数学式10)算出延迟值为0.266ms。
第3延迟值计算部310将算出的延迟值输出到特定延迟值决定部311。
特定延迟值决定部311，根据第1延迟值计算部307、第2延迟值计算部308以及第3延迟值计算部310所输出的延迟值，来算出特定延迟值。例如，将第1延迟值计算部307所求出的延迟值、第2延迟值计算部308所求出的延迟值、第3延迟值计算部310所求出的延迟值中最小的延迟值输出到CPB值逆换算部312。另外，特定延迟值决定部311也可以输出比第1延迟值计算部307所求出的延迟值、第2延迟值计算部308所求出的延迟值、第3延迟值计算部310所求出的延迟值中最小的延迟值小的值。特定延迟值决定部311将算出的延迟值输出到CPB值逆换算部312。并且，特定延迟值决定部311将算出的特定延迟值输出到复用部114。
CPB值逆换算部312基于从特定延迟值决定部311输出的特定延迟值、以及从对3D编码装置整体进行控制的控制部提供的基本流的最大比特率、三维流的最大比特率以及扩展流的最大比特率，分别算出在第1简易CPB301、第2简易CPB303以及第3简易CPB309中应用的cpb值。CPB值逆换算部312将算出的cpb值分别输出到第1简易CPB301、第2简易CPB303以及第3简易CPB309。
例如，CPB值逆换算部312从特定延迟值决定部311取得0.125ms作为特定延迟值。此外，将基本流的最大比特率设为12Mbps，将三维流的最大比特率设为24Mbps，将扩展流的最大比特率设为12Mbps。此时，CPB值逆换算部312根据(数学式12)来算出在第1简易CPB301、第2简易CPB303以及第3简易CPB309中应用的cpb值。
即，CPB值逆换算部312算出在第1简易CPB301中应用的cpb值为1500比特。并且，CPB值逆换算部312算出在第2简易CPB303中应用的cpb值为3000比特。此外，CPB值逆换算部312算出在第3简易CPB309中应用的cpb值为1500比特。
3.动作
接着，利用图11所示的流程图来说明本实施方式4所涉及的3D编码装置的动作的一例。
(步骤S1101)首先，若输入了输入图像，则第1编码部101对该输入图像进行编码，生成基本流。第1编码部101将所生成的基本流输出到复用部114。并且，第1编码部101将所生成的基本流的码量以及编码参数输出到第1简易CPB301以及第2简易CPB303。
(步骤S1102)接着，第1简易CPB301基于第1编码部101所生成的基本流的编码参数以及码量，来进行基于cpb值的虚拟缓冲器控制。
(步骤S1103)另一方面，若输入了输入图像，则第2编码部104对该输入图像进行编码，生成扩展流。第2编码部104将所生成的扩展流输出到复用部114。并且，第2编码部104将所生成的扩展流的码量以及编码参数输出到第2简易CPB303以及第3简易CPB309。
(步骤S1104)接着，第2简易CPB303基于第1编码部101所生成的基本流的码量以及编码参数、和第2编码部104所生成的扩展流的码量以及编码参数，来进行基于cpb值的虚拟缓冲器控制。
(步骤S1105)并且，第3简易CPB309基于第2编码部104所生成的扩展流的码量以及编码参数来进行基于cpb值的虚拟缓冲器控制。
(步骤S1106)在此，第1编码部101以及第2编码部104，对编码对象所涉及的输入图像是否为位于GOP的末端的输入图像(以下，称作“末端图像”)进行判定。在判定为不是末端图像的情况下，转移到S1101，第1编码部101以及第2编码部104，对GOP内的剩余的输入图像进行编码。在判定为末端图像的情况下，第1简易CPB301将GOP的末端的时刻的cpb值输出到第1延迟值计算部307。并且，第2简易CPB303将GOP的末端的时刻的cpb值输出到第2延迟值计算部308。并且，第3简易CPB309将GOP的末端的时刻的cpb值输出到第3延迟值计算部310。然后，转移到第2延迟值计算部1107。
(步骤S1107)接着，第1延迟值计算部307基于从第1简易CPB301输出的cpb值，来算出基本流的延迟值(以下，称作“第1延迟值”)。该第1延迟值不是实际附加给基本流的特定延迟值。实际附加的特定延迟值由特定延迟值决定部311来算出。第1延迟值计算部307将算出的第1延迟值输出到特定延迟值决定部311。
(步骤S1108)此外，第2延迟值计算部308基于从第2简易CPB303输出的cpb值，来算出应用于三维流的延迟值(以下，称作“第2延迟值”)。该第2延迟值不是特定延迟值。实际附加的特定延迟值由特定延迟值决定部311来算出。第2延迟值计算部308将算出的第2延迟值输出到特定延迟值决定部311。
(步骤S1109)并且，第3延迟值计算部310基于从第3简易CPB309输出的cpb值，来算出应用于扩展流的延迟值(以下，称作“第3延迟值”)。该第3延迟值不是特定延迟值。实际附加的特定延迟值由特定延迟值决定部311来算出。第3延迟值计算部310将算出的第3延迟值输出到特定延迟值决定部311。
(步骤S1110)然后，特定延迟值决定部311将从第1延迟值计算部307、第2延迟值计算部308以及第3延迟值计算部310输出的第1延迟值、第2延迟值以及第3延迟值中最小的延迟值决定为特定延迟值，并输出到CPB值逆换算部312。
(步骤S1111)然后CPB值逆换算部312基于特定延迟值决定部311所输出的特定延迟值，分别算出在第1简易CPB301、第2简易CPB303以及第3简易CPB309中利用的cpb值。CPB值逆换算部312将算出的cpb值分别输出到第1简易CPB301、第2简易CPB303以及第3简易CPB309。
(步骤S1112)最后，第1简易CPB301、第2简易CPB303以及第3简易CPB309，基于从CPB值逆换算部312输出的cpb值，来进行针对求出了特定延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的虚拟缓冲器控制。
另外，上述的动作流程是一例，关于各步骤可以相互调换。此外，在S1110中生成的特定延迟值不限定于上述值，例如也可以构成为将比从第1延迟值计算部307、第2延迟值计算部308以及第3延迟值计算部310输出的第1延迟值、第2延迟值以及第3延迟值小的延迟值设为特定延迟值。
4.总结
如上所述，本实施方式中的3D编码装置，具备：对输入图像进行编码，生成并输出基本流和扩展流的第1编码部101以及第2编码部104；进行对基本流进行解码时的缓冲器模拟的第1简易CPB301；进行对根据从第1编码部101输出的基本流和从第2编码部104输出的扩展流而得到的三维流进行解码处理时的缓冲器模拟的第2简易CPB303；进行对扩展流进行解码时的缓冲器模拟的第3简易CPB309；基于在第1简易CPB301中进行的缓冲器模拟的结果，按照每1个GOP算出基本流的延迟值即第1延迟值的第1延迟值计算部307；基于在第2简易CPB303中进行的缓冲器模拟的结果，按照每1个GOP算出三维流的延迟值即第2延迟值的第2延迟值计算部308；基于在第3简易CPB309中进行的缓冲器模拟的结果，按照每1个GOP，算出扩展流的延迟值即第3延迟值的第3延迟值计算部310；和基于第1延迟值、第2延迟值以及第3延迟值，按照每1个GOP来设定特定的延迟值的特定延迟值决定部311。特定延迟值决定部311决定第1延迟值、第2延迟值以及第3延迟值中最小的延迟值以下的值。第1简易CPB301、第2简易CPB303以及第3简易CPB309，基于针对基本流、三维流以及扩展流中的第n个GOP由特定延迟值决定部311设定的特定延迟值，来进行针对第n+1个GOP的缓冲器模拟。在此，第1简易CPB301将该第1简易CPB301中的缓冲器滞留量作为缓冲器模拟的结果输出到第1延迟值计算部307，第2简易CPB303将该第2简易CPB303中的缓冲器滞留量作为缓冲器模拟的结果输出到第2延迟值计算部308，第3简易CPB309将该第3简易CPB309中的缓冲器滞留量作为缓冲器模拟的结果输出到第3延迟值计算部310。
这样一来，本实施方式4中的3D编码装置即使在利用缓冲器滞留量来进行缓冲器模拟的情况下，也能够以简单的构成使附加给基本流的延迟值、附加给三维流的延迟值、和附加给扩展流的延迟值成为相同的值。由此，即使在以简易的构成进行了缓冲器模拟的情况下，也能够生成满足BD标准的基本流、三维流以及扩展流。
此外，因为特定延迟值是第1延迟值、第2延迟值以及第3延迟值中最小的延迟值以下的值，所以即使在将第1BS、第2BS以及第3BS的延迟值替换为相同的延迟值来进行缓冲器模拟的情况下，也总是能够不使第1BS、第2BS以及第3BS失败地、生成满足BD标准的基本流、三维流以及扩展流。
此外，更加优选，第1简易CPB301，在输入了特定延迟值决定部311所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第1简易CPB301的缓冲器滞留量进行校正，进行针对求出了特定的延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟，第2简易CPB303，在输入了特定延迟值决定部311所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第2简易CPB303的缓冲器滞留量进行校正，进行针对求出了特定的延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟，第3简易CPB309，在输入了特定延迟值决定部311所输出的特定延迟值的情况下，基于该特定延迟值来对输入时间点的该第3简易CPB309的缓冲器滞留量进行校正，进行针对求出了特定的延迟值的GOP(第n个GOP)的下一个GOP(第n+1个GOP)的缓冲器模拟。
这样一来，在3D编码装置中伴随特定延迟值的设定，能够对第1简易CPB301、第2简易CPB303以及第3简易CPB309中的缓冲器滞留量进行校正。由此，3D编码装置，即使在将第1延迟值、第2延迟值以及第3延迟值变更成了特定延迟值的情况下，也能够不使利用了缓冲器滞留量的缓冲器模拟失败地、生成满足BD标准的基本流以及三维流。
工业实用性
本发明所涉及的3D编码装置能够应用于对影像信号进行编码的数字电视、视频播放器、个人计算机、便携式电话机等。
符号说明
101第1编码部
102第1CPB
103、109、302、307第1延迟值计算部
104第2编码部
105第2CPB
106、110、304、308第2延迟值计算部
107、305、311特定延迟值决定部
108、114复用部
111第3CPB
112第3延迟值计算部
301第1简易CPB
303第2简易CPB
306、312CPB值逆变换部
309第3简易CPB
310第3延迟值计算部
400控制部
601、602cpb

Claims (9)

1.一种3D编码装置，其具备：
编码部，其对输入图像进行编码，生成并输出三维流，所述三维流包括含有多个图像群的基本流以及扩展流；
第1虚拟缓冲器部，其进行对从所述编码部输出的所述基本流进行解码时的缓冲器模拟；
第2虚拟缓冲器部，其进行对从所述编码部输出的所述三维流进行解码时的缓冲器模拟；
第1计算部，其基于在所述第1虚拟缓冲器部中进行的缓冲器模拟的结果，按照每1个图像群来算出所述基本流的延迟值即第1延迟值；
第2计算部，其基于在所述第2虚拟缓冲器部中进行的缓冲器模拟的结果，按照每1个图像群来算出所述三维流的延迟值即第2延迟值；和
设定部，其基于算出的所述第1延迟值以及第2延迟值，按照每1个图像群来设定特定的延迟值，
所述设定部，将所述第1延迟值和所述第2延迟值中较小的一方的延迟值以下的值，设定为特定的延迟值，
所述第1虚拟缓冲器部以及所述第2虚拟缓冲器部，根据基于由所述设定部针对基本流以及三维流中的第n个图像群设定的特定的延迟值的信息，来进行针对第n+1个图像群的缓冲器模拟。
2.根据权利要求1所述的3D编码装置，其中，
所述第1虚拟缓冲器部以及所述第2虚拟缓冲器部，将与对所述输入图像进行编码时的时刻相关的信息作为缓冲器模拟的结果分别输出到所述第1计算部以及所述第2计算部。
3.根据权利要求1所述的3D编码装置，其中，
所述第1虚拟缓冲器部，将该第1虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到所述第1计算部，
所述第2虚拟缓冲器部，将该第2虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到所述第2计算部。
4.根据权利要求3所述的3D编码装置，其中，
所述第1虚拟缓冲器部，在输入了所述设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息，来对输入时间点的该第1虚拟缓冲器部的缓冲器滞留量进行校正，进行针对所述第n+1个图像群的缓冲器模拟，
所述第2虚拟缓冲器部，在输入了所述设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第2虚拟缓冲器部的缓冲器滞留量进行校正，进行针对所述第n+1个图像群的缓冲器模拟。
5.根据权利要求1所述的3D编码装置，其中，
所述3D编码装置还具备：
第3虚拟缓冲器部，其进行对从所述编码部输出的扩展流进行解码处理时的缓冲器模拟；和
第3计算部，其基于在所述第3虚拟缓冲器部中进行的缓冲器模拟的结果，按照每1个图像群来算出所述扩展流的延迟值即第3延迟值，
所述设定部，基于所述第1延迟值、所述第2延迟值以及所述第3延迟值，按照每1个图像群来设定特定的延迟值，
所述设定部，将所述第1延迟值、所述第2延迟值以及所述第3延迟值中最小的延迟值以下的值，设定为特定的延迟值，
所述第1虚拟缓冲器部、所述第2虚拟缓冲器部以及所述第3虚拟缓冲器部，针对基本流、三维流以及扩展流中的所述第n+1个图像群，根据基于所述设定部所设定的特定的延迟值的信息来进行缓冲器模拟。
6.根据权利要求5所述的3D编码装置，其中，
所述第1虚拟缓冲器部、所述第2虚拟缓冲器部以及所述第3虚拟缓冲器部，将与对所述输入图像进行编码时的时刻相关的信息作为缓冲器模拟的结果分别输出到所述第1计算部、所述第2计算部以及所述第3计算部。
7.根据权利要求5所述的3D编码装置，其中，
所述第1虚拟缓冲器部，将该第1虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到所述第1计算部，
所述第2虚拟缓冲器部，将该第2虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到所述第2计算部，
所述第3虚拟缓冲器部，将该第3虚拟缓冲器部中的缓冲器滞留量作为缓冲器模拟的结果输出到所述第3计算部。
8.根据权利要求7所述的3D编码装置，其中，
所述第1虚拟缓冲器部，在输入了所述设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第1虚拟缓冲器部的缓冲器滞留量进行校正，进行针对所述第n+1个图像群的缓冲器模拟，
所述第2虚拟缓冲器部，在输入了所述设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第2虚拟缓冲器部的缓冲器滞留量进行校正，进行针对所述第n+1个图像群的缓冲器模拟，
所述第3虚拟缓冲器部，在输入了所述设定部所输出的特定的延迟值的情况下，根据基于该特定的延迟值的信息来对输入时间点的该第3虚拟缓冲器部的缓冲器滞留量进行校正，进行针对所述第n+1个图像群的缓冲器模拟。
9.根据权利要求1所述的3D编码装置，其中，
所述基本流，是对3D影像中的左眼用图像以及右眼用图像中的任意一方的图像进行了编码的流，
所述扩展流，是针对3D影像中的另一方的图像考虑与所述一方的图像的差分而进行了编码的流。
CN201180039986.8A 2010-08-18 2011-08-01 3d编码装置 Active CN103081465B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010182690 2010-08-18
JP2010-182690 2010-08-18
PCT/JP2011/004358 WO2012023248A1 (ja) 2010-08-18 2011-08-01 ３ｄ符号化装置

Publications (2)

Publication Number Publication Date
CN103081465A CN103081465A (zh) 2013-05-01
CN103081465B true CN103081465B (zh) 2016-05-18

Family

ID=45604919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180039986.8A Active CN103081465B (zh) 2010-08-18 2011-08-01 3d编码装置

Country Status (5)

Country Link
US (1) US9124868B2 (zh)
EP (1) EP2608538B1 (zh)
JP (2) JP4889836B1 (zh)
CN (1) CN103081465B (zh)
WO (1) WO2012023248A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2662222C2 (ru) 2013-11-01 2018-07-25 Сони Корпорейшн Устройство и способ передачи, устройство и способ приема
US11418851B1 (en) * 2021-06-28 2022-08-16 Synamedia Limited Virtual set top

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069530A (ja) * 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
US7411611B2 (en) * 2003-08-25 2008-08-12 Barco N. V. Device and method for performing multiple view imaging by means of a plurality of video processing devices
TW200952462A (en) 2004-06-02 2009-12-16 Panasonic Corp Seamless switching between random access units multiplexed in a multi angle view multimedia stream
JP4311570B2 (ja) 2005-07-01 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 再生装置、ビデオ復号装置および同期再生方法
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2009272706A (ja) * 2008-04-30 2009-11-19 Toshiba Corp 動画像トランスコード装置およびその方法
JP5568465B2 (ja) * 2008-09-18 2014-08-06 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム

Also Published As

Publication number Publication date
CN103081465A (zh) 2013-05-01
US9124868B2 (en) 2015-09-01
WO2012023248A1 (ja) 2012-02-23
EP2608538A1 (en) 2013-06-26
JP2012095320A (ja) 2012-05-17
US20130162770A1 (en) 2013-06-27
EP2608538A4 (en) 2016-01-13
JPWO2012023248A1 (ja) 2013-10-28
EP2608538B1 (en) 2020-07-08
JP4889836B1 (ja) 2012-03-07

Similar Documents

Publication Publication Date Title
JP6233984B2 (ja) マルチビュー・ビデオ符号化のための仮想参照デコーダ
CN100585716C (zh) 记录设备和记录方法
KR950023014A (ko) 압축화상의 편집 또는 합성방법 및 장치
CN101141642A (zh) 信息处理装置及方法
MX2020013273A (es) Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.
JP5785082B2 (ja) オーディオ・ストリームを合成する装置、方法及びプログラム
CN101420231A (zh) 编码方法和装置、以及程序
CN103229508A (zh) 图像编码装置以及图像编码方法
CN101366082B (zh) 可变帧偏移编解码方法、编解码器及无线电通信设备
JP4577357B2 (ja) 符号化装置及び方法、並びにプログラム
CN103081465B (zh) 3d编码装置
CN105849800A (zh) 用于位速率信令的方法和使能该方法的位流格式
CN103843346B (zh) 用于对比特流形式的图片进行解码的方法
CN101288314A (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序以及动态图像解码程序
JP5052220B2 (ja) 動画像符号化装置
KR20100007740A (ko) 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
CN102860010A (zh) 视频编码控制方法及装置
CN103716638B (zh) 表示视频图像显示顺序的方法
CN102047661A (zh) 视频码量控制方法、视频码量控制装置、视频码量控制程序以及记录有该程序的计算机能够读取的记录介质
US20040161034A1 (en) Method and apparatus for perceptual model based video compression
CN104053017B (zh) 用于对内容帧进行编码的方法和系统
EP2274916A1 (en) Encoder
CN105392000B (zh) 一种视频帧率转换的对齐方法及装置
CN103597828A (zh) 图像量化参数编码方法和图像量化参数解码方法
KR102237090B1 (ko) 두 개의 링크로 구성된 3d 객체의 리깅 보완 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant