CN103370938A - 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序 - Google Patents

多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序 Download PDF

Info

Publication number
CN103370938A
CN103370938A CN2011800582632A CN201180058263A CN103370938A CN 103370938 A CN103370938 A CN 103370938A CN 2011800582632 A CN2011800582632 A CN 2011800582632A CN 201180058263 A CN201180058263 A CN 201180058263A CN 103370938 A CN103370938 A CN 103370938A
Authority
CN
China
Prior art keywords
image
predicted picture
decoding
intra
frame prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800582632A
Other languages
English (en)
Inventor
志水信哉
木全英明
松浦宣彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN103370938A publication Critical patent/CN103370938A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Abstract

本多视点图像编码方法包含：视点合成图像生成步骤，使用所述参照视点图像，生成在所述编码对象视点的视点合成图像；预测图像候补生成步骤，按每个编码对象区域根据周围的已经编码完成的区域的译码图像生成多个画面内预测图像候补；预测图像候补评价步骤，使用所述视点合成图像决定所述画面内预测图像候补的评价值；预测图像生成步骤，基于所述评价值从所述画面内预测图像候补生成画面内预测图像；以及图像信号编码步骤，使用所述画面内预测图像对编码对象区域的所述编码对象图像进行预测编码。

Description

多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序
技术领域
本发明涉及多视点图像的编码及译码的方法、装置。
本申请基于2010年12月6日在日本申请的特愿2010-271259号要求优先权，并在这里援引其内容。
背景技术
多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影而获得的图像组。在通常的图像编码中，使用画面内预测来实现高效率的编码，该画面内预测利用了被摄体在空间中连续地存在的特征。画面内预测有时也被称为帧内预测。画面内预测是在以H.264/AVC为代表的近年来的活动图像编码方式的国际标准规格中采用的手法（关于H.264/AVC的细节，例如参照非专利文献1）。
在画面内预测中，在将1枚图像分割成多个块，以光栅扫描顺序等的预先决定的顺序进行编码时，估计编码对象块内的被摄体（或纹理）的连续的方向，按照该方向对已经编码完成的邻接像素的图像信号进行复制，由此生成预测图像。再有，在使用了画面内预测的块中，表示进行画面内预测的方向的信息和编码对象图像与预测图像的差分被编码。
画面内预测的预测品质依赖于能够以什么样的程度来正确地表现编码对象图像的连续性。在H.264/AVC中，作为进行画面内预测的方向定义了8个方向，但为了进一步提高精度，也存在定义更多的方向来提高预测精度的方法（例如参照非专利文献2）。此外，对于没有方向性的复杂的纹理等的块，作为尽量减少图像信号的能量的画面内预测方法，在H.264/AVC中，能够使用将邻接像素的平均值作为预测值的DC预测、生成具有平滑的颜色变化的预测图像的Plane预测等。
在多视点图像编码中，由于多视点图像对大致相同的空间进行摄影，所以不仅在图像内，在图像间也存在高的相关。因此也使用被称为视差补偿预测编码的手法，该视差补偿预测编码在与补偿视点间的视差而生成的图像之间取得帧间差分，仅对差分进行编码。视差补偿预测作为H.264/AVC Annex.H而被国际标准规格所采用。
在这里使用的视差指的是在配置于不同位置的摄影机的图像平面上将被摄体投影的位置的差。在视差补偿预测中将其以二维矢量进行表现来进行编码，但由于视差是依赖于摄影机和被摄体的从摄影机起的距离（深度，depth）而产生的信息，所以存在利用该原理的被称为视点合成预测（视点内插预测）的方式。
视点合成预测（视点内插预测）是按照摄影机、被摄体的三维的位置关系，使用已经处理结束而获得了译码结果的多视点图像的一部分，合成（内插）对于进行编码或译码处理的其它视点的帧，将获得的图像作为预测图像进行使用的方式（例如参照非专利文献3）。
为了表现被摄体的三维的位置，多使用按每个像素表现从摄影机到被摄体的距离（深度）的深度地图（有时也称为距离图像、视差图像、视差地图）。除了深度地图之外，也能够使用被摄体的多边形信息、被摄体空间的体素（voxel）信息。
再有，在取得深度地图的方法中，当大致划分时，有通过使用红外线脉冲进行测定来生成的方法，和在多视点图像上找到拍摄有相同的被摄体的点，从那里使用三角测量的原理来进行估计的方法，但使用以哪一个方法获得的深度地图在视点合成预测中并不是大的问题。此外，如果获得了深度地图的话，在编码侧、译码侧等的何处进行估计也不是大的问题。
但是，在进行预测编码的情况下，在编码侧使用的深度地图和在译码侧使用的深度地图不一致的情况下，通常会产生被称为漂移（drift）的编码失真。因此使用如下方法，即将在编码侧使用的深度地图向译码侧传输，或在编码侧和译码侧使用完全相同的数据和手法来估计深度地图。
再有，作为在实施本发明的基础上能够使用的技术，有下述非专利文献4~非专利文献9中记载的技术。特别是在非专利文献4~非专利文献8中，示出了视点合成图像的生成方法的例子。
现有技术文献
非专利文献
非专利文献1 : Rec. ITU-T H.264，“Advanced video coding for generic audiovisual services,” March 2009.
非专利文献2 : K. McCann, W.-J. Han, and I. Kim, “Samsung's Response to the Call for Proposals on Video Compression Technology,” Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124, April 2010.
非专利文献3 : S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura, and Y. Yashima,“View Scalable Multiview Video Coding Using 3-D Warping with Depth Map,” IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1485-1495, November, 2007.
非专利文献4 : Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV,” In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.
非专利文献5 : S. Yea and A. Vetro,“View Synthesis Prediction for Rate-Overhead Reduction in FTV,” In Proceedings of 3DTV-CON2008, pp. 145-148, May 2008.
非专利文献6 : J. Sun, N. Zheng, and H. Shum,“Stereo Matching Using Belief Propagation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 7, pp. 787-800, July 2003.
非专利文献7 : S. Shimizu, Y. Tonomura, H. Kimata, and Y. Ohtani,“Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding,” In Proceedings of ICDSC2009, August 2009.
非专利文献8 : K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fuji, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, “Multiview Video Coding Using View Interpolation and Color Correction,” IEEE Transactions on Circuits and Systems for Video Technology, Vol. 17, No. 11, pp. 1436-1449, November 2007.
非专利文献9 : K. Ugur, K. R. Andersson, and A. Fuldseth,“Description of video coding technology proposal by Tandberg, Nokia, Ericsson,” Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A119, April 2010。
发明内容
发明要解决的课题
在上述的现有技术中，由于通过使用视差补偿预测、视点合成预测能够去除摄影机间的图像信号的冗余性，所以与独立地编码用各个摄影机摄影的影像的情况相比，能够高效率地对多视点图像进行压缩编码。
可是，在多视点图像中，同时存在摄影机间相关和画面内相关的双方。因此，在仅使用视差补偿预测、视点合成预测的情况下，由于不能利用画面内相关来除去空间的冗余性，所以不能实现有效率的编码。
在非专利文献1中，要通过按每个块导入画面内预测和视差补偿预测的适应选择，从而利用摄影机间相关和画面内相关的双方。通过使用该方法，与仅使用某一方的相关的情况相比，能够实现有效率的编码。可是，按每个块选择某一方的相关，仅是通过按每个块利用示出更强的相关的一方来削减更多的冗余性，并不能削减在摄影机间和时间中同时存在的冗余性。
作为对该课题的解决对策，能够容易地类推如下方法，即使用通过利用帧内预测等的画面内相关的手法而生成的预测图像，和通过利用视差补偿预测、视点合成预测等的摄影机间相关的手法而生成的预测影像的加权平均。
通过使用该手法，从而能够获得某种程度的编码效率改善的效果。可是，使用加权平均来生成预测图像，不过是在画面内相关和摄影机间相关之间分配利用该相关的比率。也就是说，不是同时进行利用，而不过是更灵活地进行利用某一方的相关，所以不能削减同时存在的冗余性。
此外，在现有技术中，通过增加在画面内预测中使用的方向、方式来改善画面内预测的预测精度。为了正确地对使用了画面内预测的块进行译码，必须向译码侧对用于识别在编码时使用的预测图像生成法的信息进行编码。因此，当如现有技术那样增加预测图像的生成方法的选择项时，虽然能够提高图像信号的预测精度，但用于识别预测图像的生成方法的码量增大，在总体上不能实现有效率的编码。
本发明正是鉴于这样的情况而做出的，其目的在于通过对于同时存在画面内相关和摄影机间相关的多视点图像，估计利用摄影机间相关的画面内相关，也就是说估计利用摄影机间相关来进行画面内预测的方向等的画面内预测方法，从而削减用于表示画面内预测方法的信息量，实现有效率的多视点影像编码。
用于解决课题的方案
为了解决上述课题来实现相关的目的，本发明采用如下方案。
在画面内预测中，利用被摄体的空间的连续性来生成预测图像。因此，在通常的图像编码中，假定各种各样的空间的连续性来生成多个画面内预测图像候补，从其中将能够高效率地表现编码对象图像的候补作为预测图像进行使用。这时，为了在译码侧生成相同的预测图像，必须对表示使用哪个画面内预测图像候补的信息进行编码。
在本发明中，使用以其它的摄影机摄影的图像来生成与编码对象图像对应的视点合成图像，使用该视点合成图像来决定使用哪个画面内预测图像候补。由于该视点合成图像在译码侧也能够生成相同的图像，所以即使没有表示使用哪一个画面内预测图像候补的信息，也能够使用相同的方法根据多个画面内预测图像候补来生成预测图像。结果，在本发明中，尽管进行画面内预测，也不需要对表示画面内预测的方法的信息进行编码，获得能够削减相应的量的码量的效果。
此外，以往由于预测精度和表示画面内预测的方法的信息的码量的关系，仅能使用有限数量的画面内预测方法，但本发明不被画面内预测方法的数量所限制，不再需要对该信息进行编码。因此，通过使用本发明能够更高精度地预测编码对象图像，获得也能够削减预测残差的编码所需要的码量的效果。本发明具体具有以下特征。
[第1实施方式]
本发明按每个画面内预测方法生成预测图像，将其优点缺点与视点合成图像进行比较，决定1个画面内预测方法。在编码侧，使用该决定的画面内预测方法来生成预测图像，进行编码。由于视点合成图像在译码侧也能生成相同的图像，所以在译码侧通过同样的过程，也能够识别相同的画面内预测方法。因此，能够生成相同的预测图像，正确地对图像信号进行译码。也就是说，不再需要在编码侧对用于表示使用哪一个画面内预测方法的信息进行编码并向译码侧通知，能够削减相应的量的码量。
例如，在画面内预测方法存在9种的情况下，对于表示预测方法的信息的编码，在现有技术中每个块需要log2 9≈3.1比特的码量，但在第1实施方式中变成0比特的码量。进而，由于第1实施方式与画面内预测方法的数量无关地变成0比特的码量，所以能够通过增加画面内预测方法的数量使预测效率提高，削减图像信号的编码所需要的码量。
如上所述，第1实施方式具有如下效果，即能够削减为了对表示在对块内的图像信号进行画面内预测编码时的画面内预测方法的信息进行编码所需要的码量。
[第2实施方式]
视点合成图像能够以相当高的精度来生成，但受到深度信息、摄影机参数的误差等的影响，有时部分地产生噪声。因此，当将视点合成图像作为基准来决定预测图像的生成方法时，受到该部分的噪声的影响，有可能选择预测残差不是最小的方法。
因此，在第2实施方式中，在第1实施方式中进一步计算表示视点合成图像是哪种程度正确的可靠度，使用该可靠度按每个像素对评价值进行加权。由此，能够减少部分地产生的噪声的影响，提高可选择进一步减小预测残差的预测图像生成法的概率。通过预测残差变小，从而能够削减图像信号的码量。
如上所述，第2实施方式具有提高最优的画面内预测方法的估计精度，以及伴随其的图像信号的码量的削减的效果。
[第3实施方式]
在第3实施方式中，通过在决定预测图像生成法时，不使用译码图像而仅使用视点合成图像，从而生成多个画面内预测图像候补，对其进行评价。由此，由于不等待邻接块的编码（译码）处理的结束就能够决定对任意的块的预测图像生成法，所以能够并行处理决定预测图像生成法的处理，和按照该预测图像生成法对图像信号进行编码的处理，能够实现处理的高速化。
[第4实施方式]
在对图像信号进行编码时的预测残差变得最小的预测图像生成法中，如果不使用在译码侧不能使用的编码对象图像的话，就不能够发现。因此，在译码侧也能够生成的、将视点合成图像作为基准进行估计的预测图像生成法中，不能使预测残差为最小，即使不需要对用于表示预测图像生成方法的信息进行编码，也存在总体上该块的码量增大的可能性。
因此，在第4实施方式中，对使用编码对象图像决定的最优的预测图像生成法，和通过使用视点合成图像在译码侧也能够同样确定的预测图像生成法进行比较，生成表示两者是否相同的二进制标志。在两者相同的情况下，仅对该二进制标志进行编码，在不相同的情况下，在二进制标志之外还对表示最优的预测图像生成法的信息进行编码。
通过这样，在译码侧能够获知估计是否正确，即使在估计错误的情况下也能够使用最优的预测图像生成法来进行编码。
当设在现有技术中为了表示预测图像生成法需要N比特时，在使用本技术的情况下为了表示预测图像生成法所需要的比特数是p+（1-p）×（N+1）（p是估计正确的概率）。也就是说，如果估计是以1/N以上的概略正确的话，就能够削减总体的码量。如果是9种的预测图像生成法（H.264/AVC）的话N≈3，因此如果以30%以上的概率预测正确的话就能削减码量。如果是33种的预测图像生成法（非专利文献2）的话N≈5，因此如果以20%以上的概率预测正确的话就能削减码量。如上所述，在第4实施方式中，在预测图像生成法的估计错误的情况下，能够防止图像信号的码量增大。
发明的效果
根据本发明，在对同时存在画面内相关和摄影机间相关的多视点图像进行编码时，通过使用根据以其它的摄影机摄影的影像生成的视点合成图像来估计画面内预测的方法，从而能够在画面内预测方法的预测中利用摄影机间相关，在影像信号预测中利用画面内相关，能够实现同时利用2个相关的有效率的多视点图像编码。
附图说明
图1是表示本发明的第1实施方式的多视点图像编码装置的结构的框图。
图2是本发明的第1实施方式的多视点图像编码装置的处理流程图。
图3是本发明的第1实施方式的决定预测图像生成的处理的具体的流程图。
图4是表示本发明的第1实施方式的多视点图像编码装置的另一个结构例的框图。
图5是本发明的第1实施方式的图4所示的多视点图像编码装置的处理流程图。
图6是表示本发明的第1实施方式的多视点图像编码装置的再一个结构例的框图。
图7是本发明的第1实施方式的最优预测图像生成法决定部进行的处理的具体的流程图。
图8是表示本发明的第1实施方式的多视点图像编码装置（图1和图6）的工作的比较的图。
图9是表示本发明的第1实施方式的多视点图像编码装置（图1和图6）的工作的比较的图。
图10是表示本发明的第1实施方式的多视点图像编码装置（图1和图6）的工作的比较的图。
图11是表示本发明的第1实施方式的多视点图像编码装置（图1和图6）的工作的比较的图。
图12是表示本发明的第1实施方式的多视点图像编码装置的再一个结构例的框图。
图13是表示本发明的第2实施方式的多视点图像编码装置的结构的框图。
图14是本发明的第2实施方式的多视点图像编码装置的处理流程图。
图15是表示本发明的第2实施方式的多视点图像编码装置的再一个结构例的框图。
图16是表示本发明的第2实施方式的多视点图像编码装置的再一个结构例的框图。
图17是表示本发明的第2实施方式的多视点图像编码装置的再一个结构例的框图。
图18是表示本发明的第3实施方式的多视点图像译码装置的结构的框图。
图19是本发明的第3实施方式的多视点图像译码装置的处理流程图。
图20是表示本发明的第3实施方式的多视点图像译码装置的另一个结构例的框图。
图21是本发明的第3实施方式的图20所示的多视点图像译码装置的处理流程图。
图22是表示本发明的第3实施方式的多视点图像译码装置的再一个结构例的框图。
图23是表示本发明的第3实施方式的多视点图像译码装置（图18和图22）的工作的比较的图。
图24是表示本发明的第3实施方式的多视点图像译码装置的再一个结构例的框图。
图25是表示本发明的第4实施方式的多视点图像译码装置的结构的框图。
图26是本发明的第4实施方式的多视点图像译码装置的处理流程图。
图27是表示本发明的第4实施方式的多视点图像译码装置的另一个处理例的处理流程图。
图28是表示本发明的第4实施方式的多视点图像译码装置的再一个结构例的框图。
图29是表示本发明的第4实施方式的多视点图像译码装置的再一个结构例的框图。
图30是表示本发明的第4实施方式的多视点图像译码装置的再一个结构例的框图。
图31是表示通过计算机和软件程序来构成本发明的第4实施方式的多视点图像编码装置的情况下的硬件结构例的图。
图32是表示通过计算机和软件程序来构成本发明的第4实施方式的多视点图像译码装置的情况下的硬件结构例的图。
具体实施方式
以下，参照附图对本发明的一个实施方式进行说明。
[第1实施方式：多视点图像编码装置]
首先，针对本发明的第1实施方式进行说明。图1是表示本发明的第1实施方式的多视点图像编码装置的结构的框图。多视点图像编码装置100如图1所示具备：编码对象图像输入部101、编码对象图像存储器102、参照视点图像输入部103、参照视点图像存储器104、视点合成部105、视点合成图像存储器106、最优预测图像生成部107、图像信号编码部108、图像信号译码部109、以及译码图像存储器110。
编码对象图像输入部101对成为编码对象的视点的图像进行输入。在以下，将该成为编码对象的视点称为编码对象视点，将该图像称为编码对象图像。编码对象图像存储器102对输入的编码对象图像进行蓄积。
参照视点图像输入部103输入从编码对象的视点之外的视点在相同时刻对相同被摄体摄影的图像。在以下，将该编码对象的视点之外的视点称为参照视点，将该图像称为参照视点图像。参照视点图像存储器104对输入的参照视点图像进行蓄积。
视点合成部105使用参照视点图像对编码对象视点的图像进行合成。在以下，将该合成的图像称为视点合成图像。视点合成图像存储器106对生成的视点合成图像进行蓄积。
最优预测图像生成部107具有预测图像候补生成部、预测图像评价部的功能部分，使用对于编码对象区域的视点合成图像，根据对于编码对象区域的周围的译码图像生成编码对象区域的预测图像。图像信号编码部108使用生成的预测图像对编码对象图像进行预测编码。图像信号译码部109使用生成的预测图像，对生成的码数据进行译码并生成译码图像。译码图像存储器110对生成的译码图像进行蓄积。
图2是用于说明第1实施方式的多视点图像编码装置100的工作的流程图。按照该流程图对多视点图像编码装置100执行的处理详细地进行说明。
首先，通过编码对象图像输入部101输入编码对象图像Org，储存在编码对象图像存储器102中，通过参照视点图像输入部103输入与编码对象图像Org在相同时刻在参照视点摄影的参照视点图像Refn(n=1，2，…，N)，蓄积在参照视点图像存储器104中（步骤S101）。设在这里输入的参照视点图像是对已经编码完成的图像进行译码后的图像。这是为了通过使用与在译码装置获得的信息完全相同的信息来抑制漂移等的编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入编码前的原始的图像。再有，n是表示参照视点的索引，N是能够利用的参照视点的数量。
接着，在视点合成部105，使用参照视点图像的图像信号，合成与编码对象图像在相同时刻在相同视点摄影的图像，将生成的视点合成图像Syn蓄积在视点合成图像存储器106中（步骤S102）。对于该视点合成图像的生成可以使用任何方法。例如，如果在参照视点图像之外还赋予对于参照视点图像的深度信息的话，就能够使用非专利文献3、非专利文献4等所述的手法。
此外，在赋予对于编码对象图像的深度信息的情况下，也能够使用非专利文献5等所述的手法。
在完全没有获得深度信息的情况下，能够使用非专利文献6等所述的被称为立体法、深度估计法的手法，在生成对于参照视点图像或编码对象图像的深度信息之后，应用上述那样的手法来生成视点合成图像（非专利文献7）。此外，也有不明确生成深度信息，而根据参照视点图像直接生成视点合成图像的方法（非专利文献8）。
再有，为了使用这些手法，通常需要表示摄影机的位置关系、摄影机的投影过程的摄影机参数。这些摄影机参数也能够根据参照视点图像进行估计。再有，在译码侧不对深度信息、摄影机参数等进行估计的情况下，在编码装置内使用的这些信息需要另外编码进行传输。
在视点合成图像的生成结束后，分割编码对象图像，按每个区域生成预测图像，对编码对象图像的图像信号进行编码（步骤S103~S109）。
也就是说，当以blk表示编码对象块索引，以numBlks表示总编码对象块数时，在以0对blk进行初始化之后（步骤S103），一边对blk加上1（步骤S108）一边到blk变成numBlks为止（步骤S109），反复进行以下的处理（步骤S104~步骤S107）。
再有，如果能够按每个块进行上述视点合成图像的生成的话，也可以将视点合成图像的生成作为按每个编码对象块反复进行的处理的一部分来进行。例如，在赋予对于编码对象图像的深度信息的情况下，也能够按每个块生成视点合成图像。
在按每个编码对象块反复进行的处理中，首先在最优预测图像生成部107中，使用对于块blk的视点合成图像Syn[blk]决定对于块blk的最优预测图像生成法mode（步骤S104），使用蓄积在译码图像存储器110中的块blk周围的译码图像，生成对于块blk的预测图像Pred[blk]（步骤S105）。
决定对于块blk的最优预测图像生成法的处理，是将视点合成图像Syn[blk]看作目标图像，从预先决定的预测方法的集合中，求取用于生成使适合度最大化或使乖离度最小化的画面内预测图像的方法的处理。在本第1实施方式中，设使用表示乖离度的评价值。作为表示乖离度的评价值的具体例，有以下式（1）表示的与视点合成图像的SAD（差分绝对值）和以式（2）表示的与视点合成图像的SSD（差分平方和）等。
Figure 444653DEST_PATH_IMAGE001
在这里，cost表示评价值，m表示生成画面内预测图像的方法的索引值，Predm表示按照方法m根据在译码图像存储器110中蓄积的块blk周围的译码图像生成的预测图像候补。Σp表示针对∀p∈blk的和。除此之外，有使用将视点合成图像和预测图像候补的差分值使用DCT、阿达玛变换等变换后的值的方法。当以矩阵A表示该变换时，能够以下式（3）表示。再有，∥X∥表示X的范数。
Figure 361793DEST_PATH_IMAGE002
此外，也可以不使用仅测定上述那样的视点合成图像和预测图像候补的乖离度的方法，而使用基于产生的码量和失真量的RD成本。在这里使用的RD成本，使用将Predm[blk]作为预测图像对Syn[blk]进行编码时的码量R(m)和根据结果获得的译码图像的Syn[blk]的失真量D(m)，能够以下式（4）表示。这里，λ是拉格朗日未定乘子，利用预先决定的值。
Figure 79213DEST_PATH_IMAGE003
因此，在步骤S104中，进行求取以下式（5）表示的、使评价值最小化的最优预测图像生成法的处理。
图3表示在本发明的第1实施方式的步骤S104进行的决定预测图像生成的处理的详细流程。在决定预测图像生成时，求取各预测图像生成法的评价值，比较其评价值，由此决定最优预测图像生成法。
也就是说，以0对预测图像生成法索引m进行初始化，以0对记录评价完成的预测图像生成法中评价值最优的方法的变量mode进行初始化，以绝对不可能取得的最大值MAX对预测图像生成法mode中的评价值min_cost进行初始化（步骤S1401），一边将m加上1（步骤S1406），一边到m变成预测图像生成法的数量numModes为止（步骤S1407），反复进行以下的处理（步骤S1402~步骤S1405）。再有，在这里设评价值越小，表示是越好的预测图像生成法。
在按每个预测图像生成法反复进行的处理中，首先，按照以m表示的预测图像生成法，使用在译码图像存储器110中蓄积的块blk的周围的译码图像生成预测图像候补Predm[blk]（步骤S1402）。
在生成预测图像候补之后，比较预测图像候补和视点合成图像来求取评价值cost（m）（步骤S1403）。在评价值的计算中，如上述的式（1）~式（4）等，只要与译码侧相等的话能够使用任意的方法。
在求取了评价值之后，调查该值是否比min_cost小（步骤S1404），在小的情况下以m改写mode，以cost（m）改写min_cost（步骤S1405），向下一个预测图像生成法转移。在是min_cost以上的情况下，直接向下一个预测图像生成法转移。再有，处理到达结束时的mode是对于块blk的最优预测图像生成法。
步骤S105的生成预测图像Pred[blk]的处理以下式（6）表示。再有，在进行步骤S104的评价时，蓄积评价值最小的预测图像候补，不以在步骤S105获得的预测方法mode来生成预测图像，而将蓄积的预测图像候补作为预测图像来设定也可。
作为用于生成画面内预测图像的方法的集合，只要与译码侧相同的话，包含任何方法均可，该集合的大小是多少个均可。例如，也可以如H.264/AVC的帧内预测那样，使用由按照8个不同的预测方向的帧内预测、以邻接像素的译码图像的平均值生成预测图像的DC预测、假想灰度并对邻接像素进行线性内插而生成预测图像的Plane预测构成的集合。此外，也可以如非专利文献2、非专利文献9那样进一步在集合中加入许多预测方向也可，此外，也可以如非专利文献9那样在集合中加入先将一部分编码，使用其信息进行双方向预测的方法。
在获得了预测图像之后，在图像信号编码部108中，对对于块blk的图像信号Org[blk]进行预测编码（步骤S106）。在编码中使用任何方法均可。在MPEG-2、H.264/AVC等的通常的编码中，对于块blk的图像信号和预测图像的差分信号（Org[blk]-Pred[blk]），依次实施DCT等的频率变换、量化、2值化、熵编码，由此进行编码。
接着，在图像信号编码部109中，使用作为编码结果而获得的码数据和预测图像，译码对于块blk的图像信号，将作为译码结果处的译码图像Dec[blk]蓄积在译码图像存储器110中（步骤S107）。在这里，使用与在编码时利用的手法对应的手法。例如，如果是MPEG-2、H.264/AVC等的通常的编码的话，对于码数据依次实施熵译码、逆2值化、反量化、IDCT等的频率逆变换，对获得的2维信号加入预测信号，最后在像素值的值域中进行裁剪（clipping），由此对图像信号进行译码。译码获得的图像信号，用于生成在对其它的块进行编码时的预测图像。
在第1实施方式中，设在全部的像素中能够以相同程度的精度生成视点合成图像，但也可以考虑视点合成的正确度来进行预测图像生成法的评价。
图4表示在本发明的第1实施方式的使用视点合成的正确度来决定预测图像生成法的情况下的多视点图像编码装置的框图。图4所示的多视点图像编码装置1001与图1所示的多视点图像编码装置100的不同之处在于，还加入了可靠度设定部111，其对于视点合成图像的计算合成的正确度并向最优预测图像生成部107通知。
图5表示本发明的第1实施方式的多视点图像编码装置1001的处理流程。与图2所示的多视点图像编码装置100的处理流程的不同之处在于，按每个编码处理块计算视点合成图像的可靠度（步骤S1035），使用该可靠度和对于块blk的视点合成图像Syn[blk]，决定对于块blk的最优预测图像生成法mode（步骤S104'）。
在第1实施方式中，设可靠度ρ是1~0的实数，但只要定义为0以上且大的值表示可靠度更高的话，可以用任何方式表现。例如，也可以用1以上的8位整数来表现。
可靠度ρ只要能如上述那样能够表示合成是多正确地进行的话，是任何定义均可。例如，作为最简单的定义，有使用视点合成图像的各像素对应的参照视点帧上的像素的像素值的分散值的方法。但是，由于分散的最大值不明，需要以图像整体的分散值的最大值变成1的方式进行标准化。当将为了对视点合成图像上的像素Syn[p]进行视点合成而使用的各参照图像上的像素以Refn[pn]表示时，可靠度ρ能够使用下式（7）、（8）进行表示。
Figure 48941DEST_PATH_IMAGE006
再有，将max设为是返回对于被赋予的集合的最大值的函数，其它函数以下式（9）表现。
Figure 315974DEST_PATH_IMAGE007
Figure 452557DEST_PATH_IMAGE008
在分散以外，也有使用以下式（10）表示的对应的参照视点图像的像素的最大值和最大值的差的方法。
Figure 121436DEST_PATH_IMAGE009
再有，min是返回对于被赋予的集合的最小值的函数。这些方法虽然单纯，但由于没有考虑遮挡（occlusion）的产生，所以并不一定总是能获得最优的可靠度。因此，考虑遮挡的产生，根据像素值对参照视点图像上的对应像素的集合进行分群，对于属于最大的群的像素的像素值，计算分散值、最大值和最小值的差来使用也可。
进而作为其它的方法，假定视点间的对应点中的误差是正态分布、拉普拉斯分布，将分布的平均值、分散值作为参数，使用以上述式（10）的diff等求取的各像素的误差量所对应的概率的值也可。分布的模型、其平均值、分散值可以使用预先决定的模型或值，也可以对信息进行编码来传输。通常只要被摄体是完全扩散反射的话，理论上分布的平均值能够设为0。
此外，考虑到被摄体的完全扩散反射，在生成视点合成图像时的获得对应点的深度附近，当假定对应像素的像素值的误差量是最小时，也可以使用如下方法，即，根据使深度微小变化时的误差量的变化来估计误差分布模型，使用基于该误差分布模型、该误差分布模型和视点合成图像生成时的参照视点图像上的对应像素的像素值的值。作为基于误差分布模型的值，在按照其分布时有使用误差收敛在一定的范围内的概率的方法。作为基于误差分布模型和视点合成图像生成时的参照视点图像上的对应像素的像素值的值，在误差的发生概率按照估计的分布的情况下，有使用以视点合成图像生成时的参照视点帧上的对应像素的像素值表示的状况发生的概率的方法。
进而作为其它的方法，在估计进行视点合成时所需要的视差、深度时使用被称为Belief Propagation手法（参照非专利文献6）的情况下，在各像素中，为了获得对于视差、深度的概率分布，也可以使用该信息。在Belief Propagation以外只要是针对视点合成图像的各像素计算合成的正确度的方法的话，就能够使用该信息。
在视点合成图像生成时进行对应点探索、立体法、深度估计的情况下，有时求取这些信息的处理的一部分与可靠度计算的一部分相同。在这样的情况下，通过同时进行视点合成图像生成和可靠度计算，从而能够削减运算量。
在使用该可靠度和对于块blk的视点合成图像Syn[blk]，决定对于块blk的预测图像生成法mode的处理（步骤S104'）中，代替上述的式（1）~式（3），通过下式（11）~式（13）定义评价值cost，进行以式（5）表示的最小化处理。
在这里，cost表示评价值，m表示示出生成画面内预测图像的方法的索引值，Predm表示按照方法m根据在译码图像存储器110中蓄积的块blk周围的译码图像生成的预测图像候补。除此之外，有使用将视点合成图像和预测图像候补的差分值使用DCT、阿达玛变换等变换后的值的方法。当以矩阵A表示该变换时，能够以下式（13）表示。再有，∥X∥表示X的范数，运算符·表示矩阵积，运算符*表示每个要素的乘法。
Figure 827320DEST_PATH_IMAGE011
在第1实施方式中，在决定预测图像生成法时，使用在译码图像存储器110中蓄积的、块blk的周围的已经编码完成的像素来进行评价，但也可以不使用译码图像，仅使用视点合成图像来进行评价。
图6表示在本发明的第1实施方式的仅根据视点合成图像来决定预测图像生成法的情况下的多视点图像编码装置的框图。图6所示的多视点图像编码装置1002与图1所示的多视点图像编码装置100的不同之处在于，最优预测图像生成部107分割成最优预测图像生成法决定部112和预测图像生成部113。
最优预测图像生成法决定部112仅使用视点合成图像，从预先决定的预测图像生成法中，决定1个适于生成对于块blk的预测图像的方法。预测图像生成部113按照赋予的预测图像生成法，使用在译码图像存储器110中蓄积的、块blk的周围的译码图像来生成预测图像。
多视点图像编码装置1002的处理流程与图2所示的多视点图像编码装置100的处理流程相同，但步骤S104中的详细处理不同。图7表示在本发明的第1实施方式的步骤S104中最优预测图像生成法决定部112进行的处理的详细流程。
在最优预测图像生成法决定部112中，求取各预测图像生成法的评价值，比较其评价值，由此决定预测图像生成法。也就是说，以0对预测图像生成法索引m进行初始化，以0对记录评价完成的预测图像生成法中评价值最优的方法的变量mode进行初始化，以绝对不可能取得的最大值MAX对预测图像生成法mode中的评价值min_cost进行初始化（步骤S1411），一边将m加上1（步骤S1416），一边到m变成预测图像生成法的数量numModes为止（步骤S1417），反复进行以下的处理（步骤S1412~步骤S1415）。再有，在这里设评价值越小，表示是越好的预测图像生成法。
在按每个预测图像生成法反复进行的处理中，首先，按照以m表示的预测图像生成法，使用块blk的周围的视点合成图像生成伪预测图像QPredm[blk]（步骤S1412）。再有，与图3的步骤S1402的不同之处在于，不使用译码图像而使用视点合成图像来生成图像。
在生成伪预测图像之后，比较伪预测图像和视点合成图像来求取评价值cost（m）（步骤S1413）。在这里的处理中，仅将Predm与QPredm置换，与图3的步骤S1403相同。也就是说，在评价值的计算中，如将上述的式（1）~式（4）的Predm置换成QPredm等，只要与译码侧相等的话能够使用任意的方法。
在求取了评价值之后，调查该值是否比min_cost小（步骤S1414），在小的情况下以m改写mode，以cost（m）改写min_cost（步骤S1415），向下一个预测图像生成法转移。在是min_cost以上的情况下，直接向下一个预测图像生成法转移。再有，处理到达结束时的mode是对于块blk的预测图像生成法。
预测图像生成部113按照该mode，使用在译码图像存储器110中蓄积的块blk的周围的译码图像来生成预测图像Pred。再有，在进行预测图像生成法的评价时生成的图像使用视点合成图像，因此与图1的多视点图像编码装置100不同，在这里必须进行预测图像的生成处理。
当像这样在预测图像生成法的评价时仅使用视点合成图像时，产生能够进行并行运算处理的优点。在图1所示的多视点图像编码装置100中，为了决定块blk的预测图像生成法，必须生成块blk周围的译码图像。也就是说，为了决定块blk的预测图像生成法，必须等待块blk周围的编码处理的结束。可是，在第1实施方式的多视点图像编码装置1002中，由于仅根据视点合成图像来决定块blk的预测图像生成法，所以能够与各块的编码处理独立地决定预测图像生成法。
也就是说，当以Pblk表示对于块blk的预测图像生成法的决定处理，以Eblk表示图像信号的编码处理，假定按照光栅扫描顺序对块进行编码时，多视点图像编码装置100需要如图8（A）那样交替地进行处理。另一方面，在多视点图像编码装置1002中，如图8（B）那样能分别独立地进行处理，能够大幅削减处理时间。
图8示出了本发明的第1实施方式的预测图像生成法的决定处理和图像信号的编码处理的处理时间相同的情况，但在两者的处理时间不相同的情况下也能够削减处理时间。图9表示本发明的第1实施方式的编码处理比预测图像生成法的决定处理的处理时间长的情况。在编码处理中进行复杂的2值化、算术编码的情况对应于图9的例子。在该情况下，编码处理能够没有等待时间来进行。
图10表示本发明的第1实施方式的预测图像生成法的决定处理比编码处理的处理时间长的情况。预测图像生成法的数量非常多的情况等对应于该情况。在该情况下，虽然编码处理必须等待预测图像生成法的决定，但由于能够一边进行编码处理一边进行下一个块的预测图像生成法的决定处理，所以能够缩短处理时间。此外，由于预测图像生成法的决定处理也按每个块独立地进行，所以通过并行进行决定预测图像生成法的处理，从而也能够没有等待时间地进行编码处理。图11表示同时进行2个本发明的第1实施方式的预测图像生成法的决定处理的情况。
在多视点图像编码装置1002中，也能够考虑视点合成处理的可靠度设定更适当的预测图像生成法。图12表示该情况的多视点图像编码装置。在图12所示的多视点图像编码装置1003中，相对于图6所示的多视点图像编码装置1002，加入了可靠度设定部111。可靠度设定部111对于视点合成图像计算合成的正确度，向最优预测图像生成法决定部112通知。该可靠度设定部111进行的处理与在图4的多视点图像编码装置1001中说明的可靠度设定部111的处理相同。
[第2实施方式：多视点图像编码装置]
接着，针对本发明的第2实施方式进行说明。图13是表示本发明的第2实施方式的多视点图像编码装置的结构的框图。多视点图像编码装置200如图13所示具备：编码对象图像输入部201、编码对象图像存储器202、参照视点图像输入部203、参照视点图像存储器204、视点合成部205、视点合成图像存储器206、预测图像生成法估计部207、预测图像生成部208、预测信息编码部209、图像信号编码部210、图像信号译码部211、译码图像存储器212、以及复用部213。
编码对象图像输入部201对编码对象图像进行输入。编码对象图像存储器202对输入的编码对象图像进行蓄积。参照视点图像输入部203对参照视点图像进行输入。参照视点图像存储器204对输入的参照视点图像进行蓄积。视点合成部205使用参照视点图像对编码对象视点的图像进行合成。视点合成图像存储器206对生成的视点合成图像进行蓄积。
预测图像生成部207使用对于编码对象区域的视点合成图像，根据对于编码对象区域的周围的译码图像估计生成编码对象区域的预测图像的方法。预测图像生成部208使用对于编码对象区域的编码对象图像，决定根据对编码对象区域的周围的译码图像来生成编码对象区域的预测图像的方法，生成预测图像。预测信息编码部209根据预测图像生成方法及其估计值，对用于表示预测图像的生成方法的信息进行编码。在以下，将该编码的信息称为预测信息。
图像信号编码部210使用生成的预测图像对编码对象图像进行预测编码。图像信号译码部211使用生成的预测图像，对生成的码数据进行译码并生成译码图像。译码图像存储器212对生成的译码图像进行蓄积。复用部213对预测信息的编码数据和图像信号的码数据进行复用并输出。
图14是用于说明本发明的第2实施方式的多视点图像编码装置200的工作的流程图。按照该流程图对多视点图像编码装置200执行的处理详细地进行说明。
首先，通过编码对象图像输入部201输入编码对象图像Org，储存在编码对象图像存储器202中，通过参照视点图像输入部203输入与编码对象图像Org在相同时刻在参照视点摄影的参照视点图像Refn(n=1，2，…，N)，蓄积在参照视点图像存储器204中（步骤S201）。设在这里输入的参照视点图像是对已经编码完成的图像进行译码后的图像。这是为了通过使用与在译码装置获得的信息完全相同的信息来抑制漂移等的编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入编码前的原始的图像。再有，n是表示参照视点的索引，N是能够利用的参照视点的数量。
接着，在视点合成部205，使用参照视点图像的图像信号，合成与编码对象图像在相同时刻在相同视点摄影的图像，将生成的视点合成图像Syn蓄积在视点合成图像存储器206中（步骤S202）。在这里的处理与第1实施方式的步骤S102相同。
在视点合成图像的生成结束后，分割编码对象图像，按每个区域生成预测图像，对编码对象图像的图像信号进行编码（步骤S203~S212）。也就是说，当以blk表示编码对象块索引，以numBlks表示总编码对象块数时，在以0对blk进行初始化之后（步骤S203），一边对blk加上1（步骤S211）一边到blk变成numBlks为止（步骤S212），反复进行以下的处理（步骤S204~步骤S210）。
再有，如果能够按每个块进行上述视点合成图像的生成的话，也可以将视点合成图像的生成作为按每个编码对象块反复进行的处理的一部分来进行。例如，在赋予对于编码对象图像的深度信息的情况下，也能够按每个块生成视点合成图像。
在按每个编码对象块反复进行的处理中，首先，在预测图像生成法估计部207中，使用对于块blk的视点合成图像Syn[blk]，生成对于块blk的预测图像生成法的估计值pmode（步骤S204）。在这里的处理与第1实施方式的步骤S104相同。
接着，在预测图像生成部208中，使用对于块blk的编码对象图像Org[blk]，决定对于块blk的预测图像生成法mode（步骤S205），使用蓄积在译码图像存储器212中的块blk周围的译码图像，生成对于块blk的预测图像Pred[blk]（步骤S206）。
决定对于块blk的预测图像生成法的处理，是将编码对象图像Org[blk]看作目标图像，从预先决定的预测方法的集合中，求取用于生成使适合度最大化或使乖离度最小化的画面内预测图像的方法的处理。也就是说，在这里的处理是与代替视点合成图像Syn[blk]使用了编码对象图像Org[blk]的第1实施方式的步骤S104相同的处理。但是，在作为评价值使用RD成本的情况下，需要考虑预测信息的码量。当以pmode表示预测图像生成法的估计值，以O（pmode、m）表示预测图像生成法为m时的预测信息的码量时，使用RD成本的评价值以下式（14）表示。再有，D与R和式（4）相同。
Figure 564332DEST_PATH_IMAGE012
生成对于块blk的预测图像Pred[blk]的处理，是与第1实施方式的步骤S105相同的处理。再有，同样地，在步骤S205进行各预测图像生成法的评价时，蓄积评价值最小的预测图像候补，不以在步骤S206获得的预测方法mode来生成预测图像，而将蓄积的预测图像候补作为预测图像来设定也可。
接着，在预测信息编码部209中，根据获得的预测图像生成法mode及其估计值pmode对预测信息进行编码（步骤S207）。在这里，在pmode与mode相等的情况下，对表示预测正确的位标志进行编码，在不相等的情况下，对表示预测不正确的位标志和用于表示预测图像生成法的信息进行编码。
位标识是1位的二进制信息，例如能够在预测正确的情况下使用1，在不正确的情况下使用0。用于表示预测图像生成法的信息可以使用固定的表来表现，也可以按每个pmode使用不同的表来表现。例如，在预测图像生成法是表示预测的方向的信息的情况下，可以准备越接近pmode表示的方向就变成越短的码长度的表（table）。但是，在使用按每个pmode而不同的表的情况下，产生在译码侧在全部块中生成pmode的需要，译码处理的运算量增加。此外，在pmode与mode不同的情况下，如H.264/AVC那样使用在邻接块中使用的预测图像生成法来生成第2预测值，对用于表示该第2预测值是否正确的位标识进行编码也可。再有，也能够在使用表等对预测图像生成法进行二值化后使用算术编码进行编码。这时，如H.264/AVC那样生成与邻接块的状况对应的上下文（context），按每个该上下文一边控制0/1的发生概率一边进行编码也可。
接着，在图像信号编码部210中，对对于块blk的图像信号Org[blk]进行预测编码（步骤S208）。在编码中使用任何方法均可。在MPEG-2、H.264/AVC等的通常的编码中，对于块blk的图像信号和预测图像的差分信号（Org[blk]-Pred[blk]），依次实施DCT等的频率变换、量化、2值化、熵编码，由此进行编码。再有，在这里的处理与第1实施方式的步骤S106相同。
接着，在图像信号译码部211中，使用作为编码结果而获得的码数据和预测图像，译码对于块blk的图像信号，将作为译码结果处的译码图像Dec[blk]蓄积在译码图像存储器212中（步骤S209）。在这里，使用与在编码时利用的手法对应的手法。例如，如果是MPEG-2、H.264/AVC等的通常的编码的话，对于码数据依次实施熵译码、逆2值化、反量化、IDCT等的频率逆变换，对获得的2维信号加入预测信号，最后在像素值的值域中进行裁剪（clipping），由此对图像信号进行译码。译码获得的图像信号，用于生成在对其它的块进行编码时的预测图像。再有，在这里的处理与第1实施方式的步骤S107相同。
最后，在复用部213中对预测信息的码数据和图像信号的码数据进行复用并输出（步骤S210）。再有，在这里按每个块进行复用，但在全部块结束后进行复用也可。但是，在该情况下除了产生对码数据进行缓冲后再复用的需要之外，根据复用的方法必须在译码侧接收到全部的码数据后进行解复用。
在第2实施方式中，设在全部的像素中能够以相同程度的精度生成视点合成图像，但也可以考虑视点合成的正确度来进行预测图像生成法的评价。
图15表示在本发明的第2实施方式的使用视点合成的正确度来决定预测图像生成法的情况下的多视点图像编码装置的框图。图15所示的多视点图像编码装置2001与图13所示的多视点图像编码装置200的不同之处在于，还加入了可靠度设定部215，其对于视点合成图像计算合成的正确度并向预测图像生成法估计部207通知。
在使用可靠度的情况下，在步骤S204中估计预测图像生成法时，首先计算对于块blk的视点合成图像的可靠度，使用该可靠度和对于块blk的视点合成图像Syn[blk]，生成对于块blk的预测图像生成法的估计值pmode。计算可靠度的处理与第1实施方式的步骤S1035相同，在使用可靠度生成预测图像生成法的估计值的处理中，仅是生成的值变成预测图像生成法的估计值，与第1实施方式的步骤S104'相同。
在第2实施方式中，在估计预测图像生成法时，使用在译码图像存储器212中蓄积的、块blk的周围的已经编码完成的像素来进行评价，但也可以不使用译码图像，仅使用视点合成图像来进行评价。
图16表示在本发明的第2实施方式的仅根据视点合成图像来决定预测图像生成法的情况下的多视点图像编码装置的框图。图16所示的多视点图像编码装置2002与图13所示的多视点图像编码装置200的不同之处在于，向预测图像生成法估计部207的输入仅是视点合成图像。
该情况下的估计预测图像生成法的处理（步骤S204）与第1实施方式的图7的处理流程所示的处理相同。但是，代替预测图像生成法mode，求取预测图像生成法的估计值pmode。
当像这样在预测图像生成法的评价时仅使用视点合成图像时，产生能够进行并行运算处理的优点。在多视点图像编码装置200中，为了决定块blk的预测图像生成法，必须生成块blk周围的译码图像。也就是说，为了决定块blk的预测图像生成法，必须等待块blk周围的编码处理的结束。可是，在多视点图像编码装置2002中，由于仅根据视点合成图像来决定块blk的预测图像生成法，所以能够与各块的编码处理独立地决定预测图像生成法。
在多视点图像编码装置2002中，也能够考虑视点合成处理的可靠度设定更适当的预测图像生成法。该情况下的装置结构成为图17所示的多视点图像编码装置2003那样。
[第3实施方式：多视点图像译码装置]
接着，针对本发明的第3实施方式进行说明。图18是表示本发明的第3实施方式的多视点图像译码装置的结构的框图。多视点图像译码装置300如图18所示具备：码数据输入部301、码数据存储器302、参照视点图像输入部303、参照视点图像存储器304、视点合成部305、视点合成图像存储器306、最优预测图像生成部307、图像信号译码部308、以及译码图像存储器309。
码数据输入部301输入对于成为译码对象的视点的图像的码数据。在以下，将该成为译码对象的视点称为译码对象视点，将该译码的图像称为译码对象图像。码数据存储器302对输入的码数据进行蓄积。
参照视点图像输入部303输入从译码对象的视点之外的视点在相同时刻对相同被摄体摄影的图像。在以下，将该译码对象视点之外的视点称为参照视点，将该图像称为参照视点图像。参照视点图像存储器304对输入的参照视点图像进行蓄积。视点合成部305使用参照视点图像对译码对象视点的图像进行合成。在以下，将该合成的图像称为视点合成图像。视点合成图像存储器306对生成的视点合成图像进行蓄积。
最优预测图像生成部307使用对于译码对象区域的视点合成图像，根据对于译码对象区域的周围的译码图像生成译码对象区域的预测图像。图像信号译码部308使用生成的预测图像，对输入的码数据进行译码并生成译码图像。译码图像存储器309对生成的译码图像进行蓄积。
图19是用于说明本发明的第3实施方式的多视点图像译码装置300的工作的流程图。按照该流程图对多视点图像译码装置300执行的处理详细地进行说明。
首先，通过码数据输入部301输入对于译码对象图像的码数据，储存在码数据存储器302中，通过参照视点图像输入部303输入与译码对象图像在相同时刻在参照视点摄影的参照视点图像Refn(n=1，2，…，N)，蓄积在参照视点图像存储器304中（步骤S301）。设在这里输入的参照视点图像与在编码侧使用的相同。这是为了通过使用相同的信息来抑制漂移等的编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入与编码侧不同的图像。再有，n是表示参照视点的索引，N是能够利用的参照视点的数量。
接着，在视点合成部305，使用参照视点图像的图像信号，合成与译码对象图像在相同时刻在相同视点摄影的图像，将生成的视点合成图像Syn蓄积在视点合成图像存储器306中（步骤S302）。该处理与第1实施方式的步骤S102的处理相同。再有，在视点合成处理所需要的表示摄影机的位置关系、摄影机的投影过程的摄影机参数被编码的情况下，需要事先进行译码。
在视点合成图像的生成结束后，分割译码对象图像，按每个区域生成预测图像，根据码数据对译码对象图像的图像信号进行译码（步骤S303~S308）。也就是说，当以blk表示译码对象块索引，以numBlks表示总译码对象块数时，在以0对blk进行初始化之后（步骤S303），一边对blk加上1（步骤S307）一边到blk变成numBlks为止（步骤S308），反复进行以下的处理（步骤S304~步骤S306）。
再有，如果能够按每个块进行上述视点合成图像的生成的话，也可以将视点合成图像的生成作为按每个译码对象块反复进行的处理的一部分来进行。例如，在赋予对于译码对象图像的深度信息的情况下，也能够按每个块生成视点合成图像。
在按每个译码对象块反复进行的处理中，首先在最优预测图像生成部307中，使用对于块blk的视点合成图像Syn[blk]决定对于块blk的预测图像生成法mode（步骤S304），使用蓄积在译码图像存储器309中的块blk周围的译码图像，生成对于块blk的预测图像Pred[blk]（步骤S305）。在这里的处理分别与第1实施方式的步骤S104及步骤S105相同。
在获得了预测图像之后，在图像信号译码部308中，使用码数据和预测图像，对对于块blk的图像信号进行译码（步骤S306）。在这里，使用与在编码时利用的手法对应的手法。例如，如果是MPEG-2、H.264/AVC等的通常的编码的话，对于码数据依次实施熵译码、逆2值化、反量化、IDCT等的频率逆变换，对获得的2维信号加入预测信号，最后在像素值的值域中进行裁剪（clipping），由此对图像信号进行译码。译码获得的译码图像Dec[blk]变成多视点图像译码装置300的输出，并且为了在其它的块的预测图像生成中使用而蓄积在译码图像存储器309中。
在第3实施方式中，设在全部的像素中能够以相同程度的精度生成视点合成图像，但也可以考虑视点合成的正确度来进行预测图像生成法的评价。但是，是否考虑视点合成的正确度需要与编码侧相同。这是为了防止漂移等的编码噪声的产生。
图20表示在本发明的第3实施方式的使用视点合成的正确度来决定预测图像生成法的情况下的多视点图像译码装置的框图。图20所示的多视点图像译码装置3001与图18所示的多视点图像译码装置300的不同之处在于，还加入了可靠度设定部310，其对于视点合成图像计算合成的正确度并向最优预测图像生成部307通知。
图21表示本发明的第3实施方式的多视点图像译码装置3001的处理流程。与图19的多视点图像译码装置300的处理流程的不同之处在于，按每个译码处理块计算视点合成图像的可靠度（步骤S3035），使用该可靠度和对于块blk的视点合成图像Syn[blk]，决定对于块blk的预测图像生成法mode（步骤S304'）。这些处理分别与第1实施方式的步骤S1035、S104'相同。
可靠度可以使用第1实施方式中说明的定义等，只要能表示合成是如何正确地进行的话，是任何定义均可。可是，需要使用与在编码侧使用的定义相同的定义。这是为了防止漂移等的编码噪声的产生。
在第3实施方式中，在决定预测图像生成法时，使用在译码图像存储器309中蓄积的、块blk的周围的已经编码完成的像素来进行评价，但也可以不使用译码图像，仅使用视点合成图像来进行评价。
图22表示在本发明的第3实施方式的仅根据视点合成图像来决定预测图像生成法的情况下的多视点图像译码装置的框图。图22所示的多视点图像译码装置3002与图18所示的多视点图像译码装置300的不同之处在于，最优预测图像生成部307分割成最优预测图像生成法决定部311和预测图像生成部312。
最优预测图像生成法决定部311具有预测图像候补生成部、预测图像评价部的功能部分，仅使用视点合成图像，从预先决定的预测图像生成法中，决定1个适于生成对于块blk的预测图像的方法。预测图像生成部312按照赋予的预测图像生成法，使用在译码图像存储器309中蓄积的、块blk的周围的译码图像生成预测图像。
多视点图像译码装置3002的处理流程与图19所示的多视点图像译码装置300的处理流程相同，但与步骤S304的详细处理不同。在这里，按照图7所示的处理流程，在最优预测图像生成法决定部311决定预测图像生成法。处理内容与在第1实施方式中使用图7说明的相同。
预测图像生成部312按照该mode，使用在译码图像存储器309中蓄积的块blk的周围的译码图像生成预测图像Pred。再有，在决定预测图像生成法时生成的图像是使用了视点合成图像的伪预测图像，因此与图18的多视点图像译码装置300不同，在这里必须进行预测图像的生成处理。
当像这样在预测图像生成法的评价时仅使用视点合成图像时，产生能够进行并行运算处理的优点。在多视点图像译码装置300中，为了决定块blk的预测图像生成法，必须将块blk周围的译码图像蓄积在译码图像存储器309中。也就是说，为了决定块blk的预测图像生成法，必须等待块blk周围的译码处理的结束。可是，在多视点图像译码装置3002中，由于仅根据视点合成图像来决定块blk的预测图像生成法，所以能够与各块的图像信号的译码处理独立地决定预测图像生成法。
也就是说，当以Pblk表示对于块blk的预测图像生成法的决定处理，以Dblk表示图像信号的译码处理，假定按照光栅扫描顺序对块进行译码时，多视点图像译码装置300需要如图23（A）那样交替地进行处理。另一方面，在多视点图像译码装置3002中，如图23（B）那样能分别独立地进行处理，能够大幅削减处理时间。在图23中，设预测图像生成法的决定处理和图像信号的译码处理的时间相同，但即使在两者的时间相异的情况下，也能够通过并行化而大幅削减处理时间。
在多视点图像译码装置3002中，也能够考虑视点合成处理的可靠度设定更适当的预测图像生成法。该情况下的装置结构成为图24所示的多视点图像译码装置3003那样。
[第4实施方式：多视点图像译码装置]
接着，针对本发明的第4实施方式进行说明。图25是表示本发明的第4实施方式的多视点图像译码装置的结构的框图。多视点图像译码装置400如图25所示具备：码数据输入部401、码数据存储器402、参照视点图像输入部403、参照视点图像存储器404、视点合成部405、视点合成图像存储器406、分离部307、预测信息译码部408、预测图像生成法估计部409、预测图像生成部410、图像信号译码部411、以及译码图像存储器412。
码数据输入部401对译码对象图像的码数据进行输入。码数据存储器402对输入的码数据进行蓄积。参照视点图像输入部403对参照视点图像进行输入。参照视点图像存储器404对输入的参照视点图像进行蓄积。视点合成部405使用参照视点图像对编码对象视点的图像进行合成。视点合成图像存储器406对生成的视点合成图像进行蓄积。分离部407将输入的码数据分离成预测信息的码数据和图像信号的码数据。预测信息译码部408对预测信息的码数据进行译码，生成用于表示预测图像的生成法的信息。
预测图像生成法估计部409使用对于译码对象区域的视点合成图像，根据对于译码对象区域的周围的译码图像来估计生成译码对象区域的预测图像的方法。预测图像生成部410按照赋予的预测图像生成法，根据对于译码对象区域的周围的译码图像来生成译码对象区域的预测图像。图像信号译码部411使用生成的预测图像，对码数据进行译码来生成译码图像。译码图像存储器412对生成的译码图像进行蓄积。
图26是用于说明本发明的第4实施方式的多视点图像译码装置400的工作的流程图。按照该流程图对多视点图像译码装置400执行的处理详细地进行说明。
首先，通过码数据输入部401输入译码对象图像的码数据，储存在码数据存储器402中，通过参照视点图像输入部403输入与译码对象图像在相同时刻在参照视点摄影的参照视点图像Refn(n=1，2，…，N)，蓄积在参照视点图像存储器404中（步骤S401）。设在这里输入的参照视点图像与在编码侧使用的相同。再有，n是表示参照视点的索引，N是能够利用的参照视点的数量。
接着，在视点合成部405，使用参照视点图像的图像信号，合成与译码对象图像在相同时刻在相同视点摄影的图像，将生成的视点合成图像Syn蓄积在视点合成图像存储器406中（步骤S402）。在这里的处理与第3实施方式的步骤S302相同。
在视点合成图像的生成结束后，分割译码对象图像，按每个区域生成预测图像，根据码数据对译码对象图像的图像信号进行译码（步骤S403~S412）。也就是说，当以blk表示译码对象块索引，以numBlks表示总译码对象块数时，在以0对blk进行初始化之后（步骤S403），一边对blk加上1（步骤S411）一边到blk变成numBlks为止（步骤S412），反复进行以下的处理（步骤S404~步骤S410）。
再有，如果能够按每个块进行上述视点合成图像的生成的话，也可以将视点合成图像的生成作为按每个译码对象块反复进行的处理的一部分来进行。例如，在赋予对于译码对象图像的深度信息的情况下，也能够按每个块生成视点合成图像。
在按每个译码对象块反复进行的处理中，首先，在分离部407中将对于块blk的码数据分离成预测信息的码数据和图像信号的码数据（步骤S404）。接着，在预测信息译码部408中，根据预测信息的码数据，对表示预测是否正确的预测对错标志flag进行译码（步骤S405）。在获得了预测对错标志之后，检查该预测对错标志（步骤S406），按照其决定预测图像生成法（步骤S407、步骤S408）。在图26的流程中，在flag为1的情况下表示预测正确，在flag为0的情况下表示预测错误。
在判断为预测正确的情况下，在预测图像生成法估计部409中，使用对于块blk的视点合成图像Syn[blk]，估计对于块blk的预测图像生成法mode（步骤S407）。在这里的处理与第2实施方式的步骤S204相同。但是，估计的值不设定为预测图像生成法的估计值pmode，而设定为预测图像生成法mode。
在判断为预测错误的情况下，在预测信息译码部308中，根据预测信息的码数据对预测图像生成法进行译码（步骤S408）。在这里，使用与在编码侧进行的方法对应的方法。也就是说，在编码时进行2值化和熵编码的情况下，对码数据实施熵译码处理，对获得的二进制序列进行逆2值化，由此获得预测图像生成法mode。
在获得了预测图像生成法之后，在预测图像生成部410中，按照预测图像生成法mode，根据在译码图像存储器412中蓄积的块blk的周围的译码图像生成对于块blk的预测图像Pred[blk]（步骤S409）。在预测并获得预测图像生成法的情况下，由于在步骤S407中使用各预测图像生成法来生成预测图像候补，所以对成为最小的评价值的预测图像候补进行蓄积，在这里将蓄积的预测图像候补设定为预测图像也可。再有，在译码获得了预测图像生成法的情况下，在这里总是需要生成预测图像。
在获得了预测图像之后，在图像信号译码部411中，使用图像信号的码数据和预测图像，对对于块blk的图像信号进行译码（步骤S410）。在这里的处理与第3实施方式的步骤S306相同。译码获得的译码图像变成多视点图像译码装置400的输出，并且为了在其它的块的预测图像生成中使用而蓄积在译码图像存储器412中。
再有，在上述的说明中，说明了总是对图像整体生成视点合成图像，但在能够按每个块生成视点合成图像的情况下，也可以省略步骤S402，在步骤S407稍前仅生成对于块blk的视点合成图像也可。在该情况下，由于不再生成不使用的视点合成图像，所以能够削减译码处理的运算量。
此外，在上述的说明中，说明了预测图像生成法mode利用不依赖于预测图像生成法的估计值pmode的方法而被编码。可是，有时也根据pmode改变码表（code table）而被编码。图27表示该情况下的处理流程。虽然基本的处理相同，但在图27的处理流程中，不依赖于预测对错标志，在预测图像生成法估计部409中，使用对于块blk的视点合成图像Syn[blk]，生成对于块blk的预测图像生成法的估计值pmode（步骤S407'）。该处理与第2实施方式的步骤S204相同。而且，在根据预测对错标志判断为预测正确的情况下，将pmode设为预测图像生成法mode（步骤S407''），在判断为预测错误的情况下，按照pmode一边使表变化，一边根据预测信息的码数据，对预测图像生成法mode进行译码（步骤S408'）。
在第4实施方式中，设在全部的像素中能够以相同程度的精度生成视点合成图像，但也可以考虑视点合成的正确度来进行预测图像生成法的评价。图28表示在本发明的第4实施方式的使用视点合成的正确度来决定预测图像生成法的情况下的多视点图像译码装置的框图。图28所示的多视点图像译码装置4001与图25所示的多视点图像译码装置400的不同之处在于，还加入了可靠度设定部413，其对于视点合成图像计算合成的正确度并向预测图像生成法估计部409通知。
在使用可靠度的情况下，在步骤S407、步骤S407'中估计预测图像生成法时，首先计算对于块blk的视点合成图像的可靠度，使用该可靠度和对于块blk的视点合成图像Syn[blk]，决定对于块blk的预测图像生成法mode或其估计值pmode。计算可靠度的处理与第3实施方式的步骤S3035相同，在使用可靠度生成预测图像生成法或其估计值的处理中，仅是生成的值的操作不同，与第1实施方式的步骤S104'相同。
可靠度可以使用第1实施方式中说明的定义等，只要能表示合成是如何正确地进行的话，是任何定义均可。可是，需要使用与在编码侧使用的定义相同的定义。这是为了防止漂移等的编码噪声的产生。
在第4实施方式中，在估计预测图像生成法时，使用在译码图像存储器412中蓄积的、块blk的译码图像来进行评价，但也可以不使用译码图像，仅使用视点合成图像来进行评价。图29表示在本发明的第4实施方式的仅根据视点合成图像来决定预测图像生成法的情况下的多视点图像译码装置的框图。图29所示的多视点图像译码装置4002与图25所示的多视点图像译码装置400的不同之处在于，向预测图像生成法估计部207的输入仅是视点合成图像。
该情况下的估计预测图像生成法的处理（步骤S407、步骤S407'）与第1实施方式的S104相同，按照图7所示的处理流程，在预测图像生成法估计部409中生成预测图像生成法mode。但是，在步骤S407'中，代替预测图像生成法mode，求取预测图像生成法的估计值pmode。
当像这样在预测图像生成法的评价时仅使用视点合成图像时，产生能够进行并行运算处理的优点。在多视点图像译码装置400中，为了决定块blk的预测图像生成法，必须生成块blk周围的译码图像。也就是说，为了决定块blk的预测图像生成法，必须等待块blk周围的译码处理的结束。可是，在多视点图像译码装置4002中，由于仅根据视点合成图像来决定块blk的预测图像生成法，所以能够与各块的图像信号的译码处理独立地决定预测图像生成法。
再有，在像这样使并行处理性提高的情况下，在不生成预测图像生成法的估计值的情况下，在决定预测图像生成法的处理（步骤S407）稍前，也可以仅对块blk及伪预测图像的生成中使用的块blk的周围像素生成视点合成图像。在该情况下，由于不再生成不使用的视点合成图像，所以能够削减译码处理的运算量。
在多视点图像译码装置4002中，也能够考虑视点合成处理的可靠度设定更适当的预测图像生成法。该情况下的装置结构成为图30所示的多视点图像译码装置4003那样。
在上述的第1~第4实施方式中，说明了通过本发明的帧内预测对图像中的全部的块进行编码及译码的处理，但也可以一边切换以在 H.264/AVC Annex.H等中使用的视差补偿预测为代表的interview预测和帧内预测，一边进行编码及译码。在该情况下，需要对表示按每个块使用帧内预测还是使用interview预测的信息进行编码和译码。
在上述的第1~第4实施方式中，说明了对多视点图像进行编码及译码的处理，但也能够通过对多个连续的图像进行适应，从而也能够应用于多视点活动图像的编码及译码。此外，也能够仅应用于活动图像的一部分帧、一部分块。
在上述的第1~第4实施方式中，说明了作为参照视点图像输入与编码对象图像或译码对象图像在相同时刻在参照视点摄影的图像，在视点合成图像的生成中利用的情况。可是，在进行多视点活动图像的编码及译码的情况下，也可以输入与编码对象图像或译码对象图像在不同时刻在参照视点摄影的已经编码或译码完成的图像，使用该图像在时间空间生成视点合成图像。输入在什么时刻在参照视点摄影的图像，依赖于生成视点合成图像的算法。但是，为了防止漂移等的编码噪声的产生，必须在编码侧和译码侧输入并使用相同的图像。
此外，在上述的说明中，预测图像生成方法限定为帧内预测进行了说明，但能够容易地类推出扩展为包含视差补偿预测、运动补偿预测等的帧间预测。在包含帧间预测的情况下，也能够同样地根据已经编码完成的参照帧来生成预测图像，比较该预测图像和视点合成图像，由此以相同方式评价其预测图像生成法。此外，也能够通过生成对于参照帧的视点合成图像来生成伪预测图像，使预测图像生成法的决定处理和图像信号的编码/译码处理并行化。通过进行这样的扩展，能够削减表示按每个块使用帧内预测和帧间预测的哪一个的信息的码量。
以上说明的多视点图像编码及多视点图像译码的处理也能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质上进行提供，或通过网络进行提供。
图31表示通过计算机和软件程序来构成本发明的第4实施方式的多视点图像编码装置的情况下的硬件结构例。本系统构成为以总线来连接如下部分：CPU50，执行程序；RAM等的存储器51，储存CPU50访问的程序、数据；编码对象图像输入部52，输入来自摄影机等的编码对象的图像信号（也可以是利用盘装置等的存储图像信号的存储部）；参照视点图像输入部53，例如经由网络输入参照视点的图像信号（也可以是利用盘装置等的存储图像信号的存储部）；程序存储装置54，储存作为使CPU50执行图1及图2等说明的处理的软件程序的多视点图像编码程序541；码数据输出部55，将通过CPU50执行加载到存储器51的多视点图像编码程序541而生成的码数据，例如经由网络输出（也可以是利用盘装置等的存储复用码数据的存储部）。
虽然省略图示，但除此之外设置有视点合成图像存储部、预测图像候补存储部、预测图像存储部、码数据存储部、译码图像存储部等的硬件，在本手法的实施中利用。此外，也有时使用可靠度存储部、伪预测图像存储部、预测图像生成法存储部、预测图像生成法估计值存储部、图像信号码数据存储部、预测信息码数据存储部。
图32表示通过计算机和软件程序来构成本发明的第4实施方式的多视点图像译码装置的情况下的硬件结构例。本系统构成为以总线来连接如下部分：CPU60，执行程序；RAM等的存储器61，储存CPU60访问的程序、数据；码数据输入部62，输入多视点图像编码装置通过本手法而编码的码数据（也可以是利用盘装置等的存储图像信号的存储部）；参照视点图像输入部63，例如经由网络输入参照视点的图像信号（也可以是利用盘装置等的存储图像信号的存储部）；程序存储装置64，储存作为使CPU60执行图18及图19等说明的处理的软件程序的多视点图像译码程序641；译码图像输出部65，将通过CPU60执行加载到存储器61的多视点图像译码程序641从而对码数据进行译码而获得的译码图像向再生装置等输出。
虽然省略图示，但除此之外设置有视点合成图像存储部、预测图像候补存储部、预测图像存储部、译码图像存储部等的硬件，在本手法的实施中利用。此外，也有时使用可靠度存储部、伪预测图像存储部、预测图像生成法存储部、预测对错标志存储部、图像信号码数据存储部、预测信息码数据存储部。
以上，参照附图对本发明的实施方式进行了说明，但上述实施方式不过是本发明的例示，很明显本发明不被上述实施方式所限定。因此，在不脱离本发明的精神和技术范围的范围中，也能够进行结构要素的追加、省略、置换、或其他的变更。
产业上的利用可能性
根据本发明，能够削减为了对表示在对块内的图像信号进行画面内预测编码时的画面内预测方法的信息进行编码所需要的码量的效果。
附图标记说明
100 多视点图像编码装置；
1001 多视点图像编码装置；
1002 多视点图像编码装置；
1003 多视点图像编码装置；
200 多视点图像编码装置；
2001 多视点图像编码装置；
2002 多视点图像编码装置；
2003 多视点图像编码装置；
101 编码对象图像输入部；
201 编码对象图像输入部；
102 编码对象图像存储器；
202 编码对象图像存储器；
103 参照视点图像输入部；
203 参照视点图像输入部；
303 参照视点图像输入部；
403 参照视点图像输入部；
104 参照视点图像存储器；
204 参照视点图像存储器；
304 参照视点图像存储器；
404 参照视点图像存储器；
105 视点合成部；
205 视点合成部；
305 视点合成部；
405 视点合成部；
106 视点合成图像存储器；
206 视点合成图像存储器；
306 视点合成图像存储器；
406 视点合成图像存储器；
107 最优预测图像生成部；
307 最优预测图像生成部；
108 图像信号编码部；
210 图像信号编码部；
109 图像信号译码部；
211 图像信号译码部；
308 图像信号译码部；
411 图像信号译码部；
110 译码图像存储器；
212 译码图像存储器；
309 译码图像存储器；
412 译码图像存储器；
111 可靠度设定部；
215 可靠度设定部；
310 可靠度设定部；
413 可靠度设定部；
112 最优预测图像生成法决定部；
311 最优预测图像生成法决定部；
113 预测图像生成部；
208 预测图像生成部；
312 预测图像生成部；
410 预测图像生成部；
207 预测图像生成法估计部；
409 预测图像生成法估计部；
209 预测信息编码部；
213 复用部；
300 多视点图像译码装置；
3001 多视点图像译码装置；
3002 多视点图像译码装置；
3003 多视点图像译码装置；
400 多视点图像译码装置；
4001 多视点图像译码装置；
4002 多视点图像译码装置；
4003 多视点图像译码装置；
301 码数据输入部；
401 码数据输入部；
302 码数据存储器；
402 码数据存储器；
407 分离部；
408 预测信息译码部。

Claims (18)

1.一种多视点图像编码方法，在对多视点图像的对于某个编码对象视点的图像进行编码时，使用在与所述编码对象视点不同的1个或多个参照视点在与编码对象图像相同时刻摄影的已经编码完成的参照视点图像，按将编码对象图像分割后的区域的每一个进行预测编码，其中，具有：
视点合成图像生成步骤，使用所述参照视点图像，生成在所述编码对象视点的视点合成图像；
预测图像候补生成步骤，按每个编码对象区域根据周围的已经编码完成的区域的译码图像生成多个画面内预测图像候补；
预测图像候补评价步骤，使用所述视点合成图像来决定所述画面内预测图像候补的评价值；
预测图像生成步骤，基于所述评价值从所述画面内预测图像候补生成画面内预测图像；以及
图像信号编码步骤，使用所述画面内预测图像对编码对象区域的所述编码对象图像进行预测编码。
2.根据权利要求1所述的多视点图像编码方法，其中，还包含：可靠度设定步骤，针对所述视点合成图像的各像素，设定表示所述视点合成图像的正确度的可靠度，
在所述预测图像候补评价步骤中，基于所述可靠度对评价值进行加权。
3.根据权利要求1或权利要求2所述的多视点图像编码方法，其中，在所述预测图像候补生成步骤中，按每个编码对象区域根据周围的已经编码完成的区域的视点合成图像来生成多个画面内预测图像候补，
在所述预测图像生成步骤中，基于所述评价值根据编码对象区域周围的已经编码完成的区域的译码图像生成画面内预测图像。
4.根据权利要求1、权利要求2或权利要求3所述的多视点图像编码方法，其中，还包含：预测图像生成法决定步骤，按每个编码对象区域，使用编码对象图像决定画面内预测图像的生成方法；
预测图像生成法估计步骤，基于所述评价值来估计所述画面内预测图像的生成方法；以及
预测方法编码步骤，在所述画面内预测图像的生成方法的估计值与所述预测图像的生成方法相等的情况下对表示估计正确的信息进行编码，在不是这样的情况下对表示估计错误的信息和表示所述预测图像的生成方法的信息进行编码，
在所述预测图像生成步骤中，按照所述预测图像的生成方法，根据编码对象区域周围的已经编码完成的区域的译码图像来生成画面内预测图像。
5.一种多视点图像译码方法，在对多视点图像的对于某个译码对象视点的图像的码数据进行译码时，使用在与所述译码对象视点不同的1个或多个参照视点在与译码对象图像相同时刻摄影的已经译码完成的参照视点图像，按将译码对象图像分割后的区域的每一个对译码对象图像进行译码，其中，具有：
视点合成图像生成步骤，使用所述参照视点图像，生成在所述译码对象视点的视点合成图像；
预测图像候补生成步骤，按每个译码对象区域根据周围的已经译码完成的区域的译码图像生成多个画面内预测图像候补；
预测图像候补评价步骤，使用所述视点合成图像来决定所述画面内预测图像候补的评价值；
预测图像生成步骤，基于所述评价值从所述画面内预测图像候补生成画面内预测图像；以及
图像信号译码步骤，将所述画面内预测图像作为预测信号，从码数据对被预测编码的译码对象图像进行译码。
6.根据权利要求5所述的多视点图像译码方法，其中，还包含：可靠度设定步骤，针对所述视点合成图像的各像素，设定表示所述视点合成图像的正确度的可靠度，
在所述预测图像候补评价步骤中，基于所述可靠度对评价值进行加权。
7.根据权利要求5或权利要求6所述的多视点图像译码方法，其中，在所述预测图像候补生成步骤中，按每个译码对象区域根据周围的已经译码完成的区域的视点合成图像生成多个画面内预测图像候补，
在所述预测图像生成步骤中，基于所述评价值根据译码对象区域周围的已经编码完成的区域的译码图像生成画面内预测图像。
8.根据权利要求5、权利要求6或权利要求7所述的多视点图像译码方法，其中，还包含：
预测图像生成法估计步骤，基于所述评价值来估计画面内预测图像的生成方法；
标志译码步骤，从码数据对表示所述画面内预测图像的生成方法的估计值是否正确的标志进行译码；以及
预测图像生成法设定步骤，在所述标志表示估计值正确的情况下将所述画面内预测图像的生成方法的估计值设定为所述预测图像的生成方法，在不是这样的情况下将从码数据对表示所述画面内预测图像的生成方法的信息进行译码而获得的值设定为所述预测图像的生成方法，
在所述预测图像生成步骤中，按照所述预测图像生成法，根据译码对象区域周围的已经译码完成的区域的译码图像生成画面内预测图像。
9.一种多视点图像编码装置，在对多视点图像的对于某个编码对象视点的图像进行编码时，使用在与所述编码对象视点不同的1个或多个参照视点在与编码对象图像相同时刻摄影的已经编码完成的参照视点图像，按将编码对象图像分割后的区域的每一个进行预测编码，其中，具备：
视点合成图像生成部，使用所述参照视点图像，生成在所述编码对象视点的视点合成图像；
预测图像候补生成部，按每个编码对象区域根据周围的已经编码完成的区域的译码图像生成多个画面内预测图像候补；
预测图像候补评价部，使用所述视点合成图像来决定所述画面内预测图像候补的评价值；
预测图像生成部，基于所述评价值从所述画面内预测图像候补生成画面内预测图像；以及
图像信号编码部，使用所述画面内预测图像对编码对象区域的所述编码对象图像进行预测编码。
10.根据权利要求9所述的多视点图像译码装置，其中，还包含：可靠度设定部，针对所述视点合成图像的各像素，设定表示所述视点合成图像的正确度的可靠度，
所述预测图像候补评价部基于所述可靠度对评价值进行加权。
11.根据权利要求9或权利要求10所述的多视点图像编码装置，其中，所述预测图像候补生成部按每个编码对象区域根据周围的已经编码完成的区域的视点合成图像来生成多个画面内预测图像候补，
所述预测图像生成部基于所述评价值根据编码对象区域周围的已经编码完成的区域的译码图像生成画面内预测图像。
12.根据权利要求9、权利要求10或权利要求11所述的多视点图像编码装置，其中，还包含：
预测图像生成法决定部，按每个编码对象区域，使用编码对象图像决定画面内预测图像的生成方法；
预测图像生成法估计部，基于所述评价值来估计所述画面内预测图像的生成方法；以及
预测方法编码部，在所述画面内预测图像的生成方法的估计值与所述预测图像的生成方法相等的情况下对表示估计正确的信息进行编码，在不是这样的情况下对表示估计错误的信息和表示所述预测图像的生成方法的信息进行编码，
所述预测图像生成部按照所述预测图像的生成方法，根据编码对象区域周围的已经编码完成的区域的译码图像来生成画面内预测图像。
13.一种多视点图像译码装置，在对多视点图像的对于某个译码对象视点的图像的码数据进行译码时，使用在与所述译码对象视点不同的1个或多个参照视点在与译码对象图像相同时刻摄影的已经译码完成的参照视点图像，按将译码对象图像分割后的区域的每一个对译码对象图像进行译码，其中，具备：
视点合成图像生成部，使用所述参照视点图像，生成在所述译码对象视点的视点合成图像；
预测图像候补生成部，按每个译码对象区域根据周围的已经译码完成的区域的译码图像生成多个画面内预测图像候补；
预测图像候补评价部，使用所述视点合成图像来决定所述画面内预测图像候补的评价值；
预测图像生成部，基于所述评价值从所述画面内预测图像候补生成画面内预测图像；以及
图像信号译码部，将所述画面内预测图像作为预测信号，从码数据对被预测编码的译码对象图像进行译码。
14.根据权利要求13所述的多视点图像译码装置，其中，还包含：可靠度设定部，针对所述视点合成图像的各像素，设定表示所述视点合成图像的正确度的可靠度，
所述预测图像候补评价部基于所述可靠度对评价值进行加权。
15.根据权利要求13或权利要求14所述的多视点图像译码装置，其中，所述预测图像候补生成部按每个译码对象区域根据周围的已经译码完成的区域的视点合成图像生成多个画面内预测图像候补，
所述预测图像生成部基于所述评价值根据译码对象区域周围的已经编码完成的区域的译码图像生成画面内预测图像。
16.根据权利要求13、权利要求14或权利要求15所述的多视点图像译码装置，其中，还包含：
预测图像生成法估计部，基于所述评价值来估计画面内预测图像的生成方法；
标志译码部，从码数据对表示所述画面内预测图像的生成方法的估计值是否正确的标志进行译码；以及
预测图像生成法设定部，在所述标志表示估计值正确的情况下将所述画面内预测图像的生成方法的估计值设定为所述预测图像的生成方法，在不是这样的情况下将从码数据对表示所述画面内预测图像的生成方法的信息进行译码而获得的值设定为所述预测图像的生成方法，
所述预测图像生成部按照所述预测图像生成法，根据译码对象区域周围的已经译码完成的区域的译码图像生成画面内预测图像。
17.一种多视点图像编码程序，用于使计算机执行权利要求1至权利要求4的任一项所述的多视点图像编码方法。
18.一种多视点图像译码程序，用于使计算机执行权利要求5至权利要求8的任一项所述的多视点图像译码方法。
CN2011800582632A 2010-12-06 2011-12-05 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序 Pending CN103370938A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-271259 2010-12-06
JP2010271259A JP5281632B2 (ja) 2010-12-06 2010-12-06 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
PCT/JP2011/078065 WO2012077634A1 (ja) 2010-12-06 2011-12-05 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置およびそれらのプログラム

Publications (1)

Publication Number Publication Date
CN103370938A true CN103370938A (zh) 2013-10-23

Family

ID=46207122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800582632A Pending CN103370938A (zh) 2010-12-06 2011-12-05 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序

Country Status (9)

Country Link
US (1) US20130301721A1 (zh)
EP (1) EP2651136A4 (zh)
JP (1) JP5281632B2 (zh)
KR (2) KR101631183B1 (zh)
CN (1) CN103370938A (zh)
BR (1) BR112013013722A2 (zh)
CA (1) CA2820133A1 (zh)
TW (1) TWI499277B (zh)
WO (1) WO2012077634A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106063273A (zh) * 2014-03-20 2016-10-26 日本电信电话株式会社 图像编码装置及方法、图像解码装置及方法、以及它们的程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5993694B2 (ja) * 2012-10-02 2016-09-14 日本放送協会 画像符号化装置
WO2014103966A1 (ja) * 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2014168121A1 (ja) * 2013-04-11 2014-10-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP5947977B2 (ja) * 2013-04-11 2016-07-06 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN115243040A (zh) 2015-11-23 2022-10-25 韩国电子通信研究院 视频编码/解码方法和记录介质
US11042771B2 (en) * 2016-11-10 2021-06-22 Nippon Telegraph And Telephone Corporation Image evaluation device, image evaluation method, and image evaluation program
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767655A (zh) * 2005-10-18 2006-05-03 宁波大学 一种多视点视频图像视差估计的方法
US20060146143A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for managing reference pictures in multiview videos

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP5219062B2 (ja) * 2006-04-10 2013-06-26 株式会社メガチップス 画像データの生成方法
ES2439444T3 (es) * 2006-10-30 2014-01-23 Nippon Telegraph And Telephone Corporation Método de codificación y método de descodificación de vídeo, aparatos para los mismos, programas para los mismos y medios de almacenamiento que almacenan los programas
JP4999859B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
BRPI0721077A2 (pt) * 2006-12-28 2014-07-01 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas
JP4786585B2 (ja) * 2007-04-20 2011-10-05 Ｋｄｄｉ株式会社 多視点映像符号化装置
EP2398241A1 (en) * 2009-02-12 2011-12-21 Nippon Telegraph And Telephone Corporation Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program
JP5180887B2 (ja) * 2009-03-24 2013-04-10 キヤノン株式会社 符号化装置およびその方法
US9654792B2 (en) * 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146143A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for managing reference pictures in multiview videos
CN1767655A (zh) * 2005-10-18 2006-05-03 宁波大学 一种多视点视频图像视差估计的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HEUNG-YEUNG SHUM ET AL.: "Stereo matching using belief propagation", 《PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE TRANSACTIONS ON, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US》, vol. 25, no. 7, 1 July 2003 (2003-07-01), pages 787 - 800, XP011097584, DOI: doi:10.1109/TPAMI.2003.1206509 *
LU YANG ET AL.: "Error supression in view synthesis using reliability reasoning for FTV", 《3DTV-CONFERENCE: THE TRUE VISION-CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO, IEEE, PISCATAWAY, NJ, USA》, 7 June 2010 (2010-06-07), pages 1 - 4, XP031706289 *
SHINYA SHIMIZU ET AL.: "Improved view synthesis prediction using decoder-side motion derivation for multiview video coding", 《3DTV-CONFERENCE: THE TRUE VISION-CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO, IEEE, PISCATAWAY, NJ, USA》, 7 June 2010 (2010-06-07), pages 1 - 4, XP031706545 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106063273A (zh) * 2014-03-20 2016-10-26 日本电信电话株式会社 图像编码装置及方法、图像解码装置及方法、以及它们的程序

Also Published As

Publication number Publication date
EP2651136A4 (en) 2014-05-07
WO2012077634A1 (ja) 2012-06-14
KR20150061010A (ko) 2015-06-03
KR20130103568A (ko) 2013-09-23
JP5281632B2 (ja) 2013-09-04
KR101631183B1 (ko) 2016-06-16
BR112013013722A2 (pt) 2016-09-13
TW201233142A (en) 2012-08-01
WO2012077634A9 (ja) 2012-10-11
KR101550680B1 (ko) 2015-09-07
EP2651136A1 (en) 2013-10-16
US20130301721A1 (en) 2013-11-14
TWI499277B (zh) 2015-09-01
JP2012124564A (ja) 2012-06-28
CA2820133A1 (en) 2012-06-14

Similar Documents

Publication Publication Date Title
CN103370938A (zh) 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序
JP4999853B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
CN109068143B (zh) 视频数据解码方法和视频数据解码设备
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
CN102918846A (zh) 多视点视频编码方法、多视点视频解码方法、多视点视频编码装置、多视点视频解码装置及程序
KR20150063124A (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN103098475A (zh) 图像编码方法和装置、图像解码方法和装置以及它们的程序
WO2015083742A1 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6232117B2 (ja) 画像符号化方法、画像復号方法、及び記録媒体
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20170531

AD01 Patent right deemed abandoned