CN105075256A - 编码多个输入图像的方法及装置、存放程序的存储介质 - Google Patents

编码多个输入图像的方法及装置、存放程序的存储介质 Download PDF

Info

Publication number
CN105075256A
CN105075256A CN201480018699.2A CN201480018699A CN105075256A CN 105075256 A CN105075256 A CN 105075256A CN 201480018699 A CN201480018699 A CN 201480018699A CN 105075256 A CN105075256 A CN 105075256A
Authority
CN
China
Prior art keywords
remainder
pixel
image
residual image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480018699.2A
Other languages
English (en)
Inventor
迈赫达德·帕纳坡尔·德黑兰尼
石川彰夫
河北真宏
井上直己
藤井俊彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State-Run Research And Development Legal Person Nict
Original Assignee
State-Run Research And Development Legal Person Nict
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State-Run Research And Development Legal Person Nict filed Critical State-Run Research And Development Legal Person Nict
Publication of CN105075256A publication Critical patent/CN105075256A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供编码多个输入图像的方法，该多个输入图像包含相互关联的信息。该方法包含：估计步骤，根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；生成步骤，根据后续的输入图像与估计出的运动图像的差分来生成残差图像；确定步骤，基于残差图像的像素值，在残差图像当中确定要以余数定义该像素值的区域；变换步骤，将针对确定出的要以余数定义的区域的像素值变换为余数；以及编码步骤，对变换后的残差图像以及用于确定要以余数定义的区域的附加信息进行编码。

Description

编码多个输入图像的方法及装置、存放程序的存储介质
技术领域
本发明涉及对包含相互关联的信息的多个输入图像进行编码的方法及装置、存放程序的存储介质。
背景技术
现有技术中，对于由在时域上配置的帧序列构成的运动图像，考虑其帧间的冗余性的影像编码(videocoding)方法是已知的(例如，参照非专利文献1)。在典型的影像编码方法中，取代所输入的原始图像而传输P帧(predictedframe；预测帧)和/或B帧(bi-directionalpredictedframe；双向预测帧)。P帧是通过前向预测而计算出的帧，B帧是通过前向预测、后向预测以及双向预测当中的任一者而计算出的帧。
非专利文献2公开将这样的影像编码的技术扩展至时域以及空间域来进行应用的方法。即，根据非专利文献2的示教内容，能对于在时域以及空间域上配置的多个帧，生成P帧和/或B帧。
作为在空间域上配置的帧序列的一例，能列举在使用多视点图像提供高清晰度的立体影像的三维影像技术中所使用的帧序列。这样的立体影像通过以非常多的视点(例如，200个视点)分别摄像被摄体而得到的多视点图像来实现。通过使用视点内插，对于在空间域上配置的帧序列，也能适用与针对在时域上配置的帧序列的编码同样的方法，该视点内插使用距离图这样的三维信息来生成P帧和/或B帧。
此外，在本说明书中，将数据压缩(变换)为与目的相符的码这一动作记为编码(encoding)，将变换后的码复原(解码)为原始的数据这一动作记为译码(decoding)。另外，编码处理(coding)这一用语指编码单体、以及编码和译码这两者。
现有技术文献
非专利文献
非专利文献1:ThomasWiegand,GaryJ.Sullivan,GisleBjontegaard,andAjayLuthra,"OverviewoftheH.264/AVCVideoCodingStandard",IEEETransactionsonCircuitsandSystemsforVideoTechnology,Vol.13,No.7,pp.560-576,July2003
非专利文献2:P.Merkle,K.Muller,A.Smolic,andT.Wiegand,"EfficientCompressionofMulti-viewVideoExploitinginter-viewdependenciesbasedonH.264/MPEG4-AVC,"Proc.ICME2006,pp.1717-1720
发明内容
发明要解决的课题
根据非专利文献1和2所公开的方法，生成的P帧以及B帧是以残差(residualvalue)的形式进行传输的。在此，对残差的信息进一步执行数据压缩处理。在该数据压缩处理中，执行图像变换(典型地，离散余弦变换)、量化、熵编码(entropycoding)等。在数据压缩率高的情况下，由于执行量化，数据尺寸减小，从而产生显著的数据损失。也就是，其值小的残差的信息基于数据压缩处理而丢失。
另一方面，关于边缘信息(edgeinformation)或边界信息(boundaryinformation)这样的几个图像的特征量，必须保证：即使数据压缩率提高，该特征量也不发生丢失。
故而，对于包含相互关联的信息的多个输入图像，在压缩效率以及压缩质量这两者间取得平衡的编码技术是需要的。
用于解决课题的手段
遵照本发明的一局面，提供编码多个输入图像的方法，该多个输入图像包含相互关联的信息。该方法包含：估计步骤，根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；生成步骤，根据后续的输入图像与估计出的运动图像的差分来生成残差图像；确定步骤，基于残差图像的像素值，在构成残差图像的像素当中确定要以余数定义该像素值的区域；变换步骤，将针对确定出的要以余数定义的区域的像素值变换为余数；以及编码步骤，对变换后的残差图像以及用于确定要以余数定义的区域的附加信息进行编码。
优选地，所述方法还包含对构成变换后的残差图像的像素当中的要以余数定义的像素执行取模逆运算来解码残差图像的步骤，估计步骤包含基于解码出的残差图像来估计运动图像的步骤。
优选地，确定步骤包含基于构成残差图像的各像素的像素值的大小，以像素为单位来决定要以余数定义的区域的步骤，附加信息包含用于在构成残差图像的像素当中分别确定要以余数定义的像素的信息。
优选地，确定步骤包含针对将残差图像分割为给定尺寸的各块，基于结合了针对构成该块的各像素的像素值的评价而得到的结果，以块为单位来决定要以余数定义的区域的步骤，附加信息包含用于在残差图像所含的块当中确定以余数定义的块的信息。
优选地，变换步骤包含：对针对要以余数定义的区域的像素值执行取模运算的步骤；获取运动图像的梯度信息的步骤；以及参照梯度強度与成为取模运算的除数的值之间的预先规定的对应关系，基于获取到的梯度信息来决定成为取模运算的除数的值的步骤。
优选地，附加信息包含用于在构成残差图像的像素当中确定要以余数定义该像素值的区域的判断基准。
遵照本发明的另一局面，提供存放对多个输入图像进行编码的程序的存储介质，该多个输入图像包含相互关联的信息。该程序使计算机执行如下步骤：估计步骤，根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；生成步骤，根据后续的输入图像与估计出的运动图像的差分来生成残差图像；确定步骤，基于残差图像的像素值，在构成残差图像的像素当中确定要以余数定义该像素值的区域；变换步骤，将针对确定出的要以余数定义的区域的像素值变换为余数；以及编码步骤，对变换后的残差图像以及用于确定要以余数定义的区域的附加信息进行编码。
遵照本发明的又一局面，提供编码多个输入图像的装置，该多个输入图像包含相互关联的信息。该装置包含如下单元：根据先行的1个以上的输入图像来估计运动图像的单元，该运动图像表示后续的输入图像中所含的变化成分；根据后续的输入图像与估计出的运动图像的差分来生成残差图像的单元；基于残差图像的像素值，在构成残差图像的像素当中确定要以余数定义该像素值的区域的单元；将针对确定出的要以余数定义的区域的像素值变换为余数的单元；以及对变换后的残差图像以及用于确定要以余数定义的区域的附加信息进行编码的单元。
发明效果
根据本发明，能实现对于包含相互关联的信息的多个输入图像取得了压缩效率以及压缩质量这两者的平衡的编码技术。
附图说明
图1是表示包含本发明的实施方式所涉及的编码/译码系统的立体影像再现系统的图。
图2是本发明的关联技术所涉及的编码器的功能框图。
图3是本发明的关联技术所涉及的解码器的功能框图。
图4是表示本发明的实施方式所涉及的编码器的功能框图。
图5是用于说明本发明的实施方式所涉及的余数与残差的组合手法的图。
图6是本发明的实施方式所涉及的数据格式变换部的功能框图。
图7是表示用于决定在本发明的实施方式所涉及的余数的计算中所使用的系数的查询(Lookup)表的一例的图。
图8是本发明的实施方式所涉及的数据格式变换部的另一功能框图。
图9是本发明的实施方式所涉及的数据格式逆变换部的功能框图。
图10是本发明的实施方式所涉及的解码器的功能框图。
图11是表示作为发送机发挥功能的信息处理装置的硬件构成的示意图。
图12是表示作为接收机发挥功能的信息处理装置的硬件构成的示意图。
具体实施方式
参照附图来详细说明本发明的实施方式。此外，对图中的相同或相当部分赋予同一附图标记并省略其说明。
[A.应用例]
首先，为了使针对本发明的实施方式所涉及的编码/译码系统的理解容易，说明典型的应用例。本发明的实施方式所涉及的编码/译码系统的应用范围不限于以下所示的构成，能应用于任意的构成。另外，关于对仅执行编码以及译码的任一者的方法、装置、程序、其程序进行存放的存储介质等，也能包含于本发明的范围。
图1是表示包含本发明的实施方式所涉及的编码/译码系统的立体影像再现系统1的图。参照图1，在立体影像再现系统1中，使用由多个摄像头10组成的摄像头阵列对被摄体2进行摄像来生成多视点图像。多视点图像相当于从多个视点分别摄像被摄体2而得到的图像群。该多视点图像在由作为发送机发挥功能的信息处理装置100编码后进行传输。然后，通过编码而生成的数据由作为接收机发挥功能的信息处理装置200进行译码，并在立体显示装置300中再现该被摄体2。即，立体显示装置300显示被摄体2的立体影像。此外，关于从发送机到接收机的数据传输，不问有线以及无线，能使用任意的介质。
作为发送机发挥功能的信息处理装置100包含执行针对所输入的图像的预处理的预处理器110以及执行编码的编码器120。
由信息处理装置100执行的各编码如后所述，包含数据格式变换以及数据压缩的处理。即，本发明的实施方式所涉及的编码器并行地执行数据格式变换以及数据压缩。
另一方面，作为接收机发挥功能的信息处理装置200包含：对接收到的数据执行译码的解码器210、以及执行后置处理的后处理器220。
由信息处理装置200执行的各译码如后所述，包含数据格式逆变换以及数据复原的处理。即，本发明的实施方式所涉及的解码器并行地执行数据格式逆变换以及数据复原。
立体显示装置300包含：主要由扩散膜312及聚光透镜314构成的显示屏310、以及向显示屏310投影多视点图像的投影机阵列302。构成投影机阵列302的各投影机将从信息处理装置200输出的多视点图像的对应的视点的图像向显示屏310投影。
根据这样的立体影像再现系统1，向位于显示屏310之前的观察者提供被摄体2的再现立体像。此时，根据显示屏310与观察者的相对位置，进入观察者视野的视点的图像将变化，观察者获得仿佛位于被摄体2之前那样的体验。
这样的立体影像再现系统1作为一般用途，在电影院或娱乐设施等中利用，作为产业用途，期待作为远程医疗系统、工业设计设计系统、公共视图联结(publicviewing)等电子广告系统进行利用。
[B.关联技术]
首先，说明与本发明的实施方式所涉及的编码/译码系统关联的技术。针对作为运动图像的压缩规格之一的MPEG－4AVC(ITU-TRecommendationH.264|ISO/IEC14496-10AdvancedVideoCoding)的编码以及译码进行说明。
图2是本发明的关联技术所涉及的编码器820的功能框图。图3是本发明的关联技术所涉及的解码器910的功能框图。
首先，参照图2来说明编码。在图2所示的编码器820中，作为来自输入源的运动图像(即，配置于时域的帧序列)的影像信号的各帧被分割为多个宏块(Macroblock)，各宏块使用帧内预测(intraflameprediction)或帧间预测(interflameprediction)进行内插。帧内预测是从同一帧的其他宏块内插作为对象的宏块的方法。另一方面，帧间预测是使用前向预测、后向预测以及双向预测的任一者来从其他帧的信息内插作为对象的宏块的方法。
即，编码器820着眼于与相同或近似的帧的信息之间的关联性(也就是，冗余性)，进行数据压缩。
更具体而言，编码器820包含：输入缓冲器8202、分割部8204、减法部8206、正交变换和量化部8208、局部解码器8210、控制部8230、运动估计部8240、输出缓冲器8242以及熵编码部8250。
输入缓冲器8202临时存放来自输入源的影像信号。分割部8204将输入缓冲器8202中所存放的影像信号分割为多个宏块(N×N像素)。来自分割部8204的输出被送至减法部8206、控制部8230以及运动估计部8240。
减法部8206对于来自分割部8204的各宏块，减去先计算出的内插信息(帧内预测或帧间预测)，从而计算残差的信息。即，减法部8206从原始图像(originalimage)中减去预测图像(predictedimage)来生成残差图像(residualimage)。该残差图像的生成处理典型地，是以宏块为单位来执行的。
正交变换和量化部8208对来自减法部8206的残差图像执行正交变换(典型地，离散傅立叶变换)以及量化。正交变换和量化部8208还执行缩放。来自正交变换和量化部8208的量化后的变换系数被输出至局部解码器8210以及熵编码部8250。
局部解码器8210计算针对后续的帧(的宏块)的内插信息。更具体而言，局部解码器8210包含：逆正交变换和缩放部8212、加法部8214、去块滤波器8216、帧内预测部8218、运动补偿部8220以及切换部8222。
逆正交变换和缩放部8212对来自正交变换和量化部8208的量化后的变换系数执行逆正交变换以及缩放。即，逆正交变换和缩放部8212复原从减法部8206输出的残差图像。加法部8214将来自逆正交变换和缩放部8212的残差图像与先计算出的预测图像(内插信息)进行相加。去块滤波器8216针对来自加法部8214的相加结果，为了抑制块噪声的发生而对块边界进行平滑化。
即，通过逆正交变换和缩放部8212、加法部8214以及去块滤波器8216，来复原从输入缓冲器8202送来的原始图像。然后，该复原后的原始图像的信息被送至帧内预测部8218以及运动补偿部8220。
帧内预测部8218基于邻接的宏块来生成预测图像。
运动补偿部8220使用帧间预测(Inter预测)来生成预测图像。更具体而言，运动补偿部8220基于复原后的原始图像和来自运动估计部8240的运动数据，生成预测图像。
关于帧内预测部8218以及运动补偿部8220各自生成的预测图像，被切换部8222酌情选择任一者，并被送至减法部8206。
运动估计部8240基于来自分割部8204的各宏块以及复原的原始图像的信息，来计算运动数据(典型地，运动矢量)。该计算出的运动数据被输出至运动补偿部8220以及熵编码部8250。
控制部8230对正交变换和量化部8208、逆正交变换和缩放部8212、切换部8222以及运动估计部8240中的处理进行控制。另外，控制部8230将编码所涉及的参数、针对各分量的编码的顺序等指示为控制数据。
熵编码部8250对来自正交变换和量化部8208的量化后的变换系数、来自运动补偿部8220的运动数据以及来自控制部8230的控制数据进行熵编码，并输出作为其结果的比特流。该输出的比特流成为针对所输入的影像信号的编码结果。
输出缓冲器8242并非必须的构成，其临时存放来自去块滤波器8216的复原后的原始图像(影像信号)。
接下来，参照图3来说明译码。在图3所示的解码器910中，根据来自图2所示的编码器820的比特流来复原原始图像。基本上，进行图2所示的编码器820中的编码的逆变换。更具体而言，解码器910包含：输入缓冲器9102、熵解码部9104、逆正交变换和缩放部9112、加法部9114、去块滤波器9116、帧内预测部9118、运动补偿部9120、切换部9122、控制部9130以及输出缓冲器9142。
输入缓冲器9102临时存放来自编码器820的比特流。熵解码部9104对来自输入缓冲器9102的比特流进行熵解码，并输出运动数据、量化后的变换系数以及控制数据来作为其结果。
逆正交变换和缩放部9112对由熵解码部9104解码出的量化后的变换系数执行逆正交变换(典型地，离散傅立叶逆变换)以及缩放。通过这些处理来复原残差图像。
加法部9114将来自逆正交变换和缩放部9112的残差图像与先计算出的预测图像(内插信息)进行相加。去块滤波器9116对于来自加法部9114的加法结果，为了抑制块噪声的发生而对块边界进行平滑化。
帧内预测部9118基于邻接的宏块来生成预测图像。
运动补偿部9120使用帧间预测(Inter预测)来生成预测图像。更具体而言，运动补偿部9120基于复原后的原始图像以及由熵解码部9104解码出的运动数据，来生成预测图像。
关于帧内预测部9118以及运动补偿部9120各自生成的预测图像，被切换部9122酌情选择任一者，并被送至加法部9114。
控制部9130基于由熵解码部9104解码出的控制数据，对逆正交变换和缩放部9112以及切换部9122中的处理进行控制。
输出缓冲器9142临时存放来自去块滤波器9116的复原后的原始图像(影像信号)。
在作为运动图像的压缩规格之一的MPEG－4AVC中，通过上述那样的编码/译码系统，来以数据压缩后的状态实现运动图像的传输。
[C.概要)]
本发明的实施方式所涉及的编码/译码系统包含能加在上述那样已有的规格中的数据格式变换处理。在本发明的实施方式所涉及的编码/译码系统中，导入余数图像(remainderimage)这一概念来进一步提高数据压缩效率。即，在本发明的实施方式中，不仅使用已有规格中使用的残差，还使用余数，从而能够提高数据压缩的效率且使其质量得以提高。
本发明的实施方式所涉及的编码/译码系统能适用于由在时域和/或空间域配置的多个帧组成的任意的影像信号。即，本发明的实施方式所涉及的编码/译码系统将包含时间上和/或空间上相互关联的信息的多个输入图像作为对象。
作为一例，能列举：(1)通过图1所示的摄像头阵列摄像被摄体而生成的多个静止图像(配置于空间域)；(2)通过图1所示的摄像头阵列摄像被摄体而生成的多个运动图像(配置于时域和空间域)；(3)通过单一的摄像头连续摄像被摄体而生成的运动图像(配置于时域)；(4)通过立体摄像头摄像被摄体而生成的亮度信息和距离图像(配置于空间域)；(5)通过立体摄像头连续摄像被摄体而生成的运动图像(亮度信息和距离图像)(配置于时域和空间域)等。
在这些处理对象的图像间，伴随视野(view)的类似性，存在冗余性。在上述的图2和图3所示的构成中，为了应对这样的冗余性来实现数据压缩，采用了以相当于原始图像与预测图像之间的差分的残差来定义各像素值的数据格式。
与之相对，在本发明的实施方式中，采用以“余数”来定义各像素值的数据格式。该余数被定义为将某计算出的值除以给定的整数值而得到的余数值(整数值)。此时，商也成为整数。更具体而言，余数是通过取模(modulo)运算来计算的。关于余数的计算过程等，在后详述。
在本发明的实施方式中，代表性地，能采用取代残差而仅以余数来定义的数据格式或者将余数与残差组合起来进行定义的数据格式。
以下，作为典型例，示出在遵照图2和图3所示的MPEG-4AVC规格的编码/译码系统中加入有本发明的实施方式所涉及的数据格式变换和数据压缩的处理的构成。但本发明的实施方式所涉及的构成不限于此，能加入至任意的编码器以及解码器。
[D.编码器120的功能构成]
首先，针对构成本发明的实施方式所涉及的编码/译码系统的编码器120的功能构成进行说明。图4是本发明的实施方式所涉及的编码器120的功能框图。参照图4，编码器120包含：输入缓冲器1202、分割部1204、数据格式变换部1206、正交变换和量化部1208、局部解码器1210、控制部1230、运动估计部1240、输出缓冲器1242以及熵编码部1250。另外，局部解码器1210包含：逆正交变换和缩放部1212、数据格式逆变换部1214、去块滤波器1216、帧内预测部1218、运动补偿部1220以及切换部1222。
概述之，编码器120较之于图2所示的编码器820，主要在以下方面不同：取代用于生成残差图像的减法部8206而设置有数据格式变换部1206，取代用于复原原始图像的加法部8214而设置有数据格式逆变换部1214。而随着该构造的变更，控制部1230的动作也与控制部8230不同。
即，输入缓冲器1202、分割部1204、正交变换和量化部1208、运动估计部1240、输出缓冲器1242、以及熵编码部1250的功能与图2所示的输入缓冲器8202、分割部8204、正交变换和量化部8208、运动估计部8240、输出缓冲器8242以及熵编码部8250类似。另外，局部解码器1210的逆正交变换和缩放部1212、去块滤波器1216、帧内预测部1218、运动补偿部1220以及切换部1222的功能与图2所示的局部解码器8210的逆正交变换和缩放部8212、去块滤波器8216、帧内预测部8218、运动补偿部8220以及切换部8222类似。
[E.编码器120中的处理过程]
接下来，说明编码器120中的处理过程。参照图4，来自输入源的影像信号被送至输入缓冲器1202。作为该影像信号，包含由多个摄像头10(摄像头阵列)摄像得到的多视点图像、从多个Depth摄像头输出的多视点距离图像、一系列的静止图像或静止图像、以及任意形式的图像数据
在输入缓冲器1202中临时存放这些影像信号，这些影像信号的全部或一部分作为输入数据被送至分割部1204。以下，为了简化说明，将在时域和空间域的任一者配置的帧序列(即，由单一的摄像头摄像得到的运动图像或多视点的静止图像等)作为处理对象。当然，对在时域和空间域两者配置的帧序列也能同样适用。但是，在此情况下，针对各帧(或宏块)考虑时域和空间域各自中的关联性来计算内插信息。分割部1204将从输入缓冲器1202输出的影像信号(输入数据)分割为多个宏块(N×N像素)。这通过以适当的尺寸的部分图像作为处理单位来使预测图像的生成处理等高速化。但也可以考虑信息处理装置的运算能力或所要求的处理时间等，不分割为宏块，而将1帧直接进行处理。分割出的各宏块被送至数据格式变换部1206。
数据格式变换部1206使用来自分割部1204的宏块、以及来自帧内预测部1218或运动补偿部1220的运动补偿宏块，进行数据格式变换。
更具体而言，运动补偿宏块相当于表示从先行的1个以上的输入图像起后续的输入图像中所含的变化成分的运动图像，帧内预测部1218或运动补偿部1220估计该运动图像。首先，数据格式变换部1206根据后续的输入图像与估计出的运动图像的差分来生成残差图像。然后，数据格式变换部1206基于残差图像的像素值，从构成残差图像的像素当中确定要以余数来定义其像素值的区域。数据格式变换部1206将针对确定出的要以余数定义的区域的像素值变换成余数。通过这样的过程，将变换后的残差图像作为数据格式变换后的图像进行输出。
在该数据格式变换中，生成以余数定义了一部分或全部像素值的宏块。关于该数据格式变换的详细的过程将后述。
从帧内预测部1218或运动补偿部1220送来的对应的运动补偿宏块被用作用于根据由数据格式变换部1206生成的宏块来重构原始宏块的辅助信息(sideinformation)。
数据格式变换后的宏块被送至正交变换和量化部1208。正交变换和量化部1208通过执行正交变换、量化以及缩放，来进一步优化所输入的数据格式变换后的宏块。作为正交变换，典型地，采用离散傅立叶变换。关于量化中使用的量化表以及缩放中使用的缩放系数，可以根据数据格式类型(type)来进行优化。
来自正交变换和量化部8208的量化后的变换系数被输出至局部解码器1210(逆正交变换和缩放部1212)以及熵编码部1250。
逆正交变换和缩放部1212对于来自正交变换和量化部1208的量化后的变换系数，执行逆正交变换以及缩放。即，逆正交变换和缩放部1212执行与正交变换和量化部1208中的变换处理逆向的处理，来复原数据格式变换后的宏块。进而，数据格式逆变换部1214对所复原的数据格式变换后的宏块执行数据格式逆变换，来复原分割出的各宏块。
去块滤波器1216对于来自数据格式逆变换部1214的复原后的宏块，为了抑制块噪声的发生而对块边界进行平滑化。
即，由逆正交变换和缩放部1212、数据格式逆变换部1214以及去块滤波器1216来复原从输入缓冲器1202送来的原始图像。然后，该复原的原始图像被送至帧内预测部1218以及运动补偿部1220。
帧内预测部1218基于邻接的宏块来生成预测图像(以下也称为“帧内宏块”。)。运动补偿部1220使用帧间预测(Inter预测)来生成预测图像(以下也称为“帧间宏块”。)。这些预测图像成为运动补偿宏块。运动估计部1240基于来自分割部1204的各宏块以及复原后的原始图像，计算运动数据(典型地，运动矢量)。计算出的该运动数据被输出至运动补偿部1220和熵编码部1250。
控制部1230对数据格式变换部1206、正交变换和量化部1208、逆正交变换和缩放部1212、数据格式逆变换部1214、切换部8222以及运动估计部8240中的处理进行控制。另外，控制部1230输出编码所涉及的参数、针对各分量的编码的顺序等，来作为控制数据。进而，控制部1230将数据格式变换所涉及的参数(数据格式类型(type)、阈值、标志(flag1，flag2)等)输出至熵编码部1250。
熵编码部1250对变换后的残差图像以及用于确定要以余数定义的区域的附加信息进行编码。更具体而言，熵编码部1250对来自正交变换和量化部1208的量化后的变换系数、来自运动估计部1240的运动数据以及来自控制部1230的控制数据及参数，进行熵编码，并输出比特流来作为其结果。该输出的比特流成为针对所输入的影像信号的编码结果。
输出缓冲器1242并非必须的构成，但临时存放来自去块滤波器1216的复原后的原始图像(影像信号)。
以下，更详细地说明上述的功能构成当中主要的组成。
[F.数据格式变换部1206中的处理]
接下来，详述本发明的实施方式所涉及的数据格式变换部1206(图4)中的处理。
(f1：数据格式类型)
如上所述，在本发明的实施方式中，能采用仅以余数进行定义的构成以及将余数与残差进行组合来定义的构成这两者。在后者的情况下，进而，能采用(1)以像素为单位的余数与残差的组合、以及(2)以宏块为单位的余数与残差(或者，全部零)的组合这两者。
图5是用于说明本发明的实施方式所涉及的余数与残差的组合手法的图。在图5(a)中，示出以像素为单位来进行余数与残差的组合的手法，在图5(b)中，示出以宏块为单位来进行余数与残差的组合的手法。此外，在图5中，“Rem”表示余数，“Res”表示残差。
如图5(a)所示，各帧被分割为多个宏块来进行处理。针对构成各宏块的多个像素的各像素，应用给定的判断基准(典型地，后述的阈值TH1)来判断要以余数以及残差的哪一个来定义。
另一方面，如图5(b)所示，针对构成帧的多个宏块的各宏块，应用给定的判断基准(典型地，后述的阈值TH1以及TH2)来判断使用余数(余数宏块)以及残差(残差宏块)的哪一个。
针对被判断为以余数定义的像素或宏块，使用后述那样的取模运算来计算其像素值。
此外，在仅以余数定义的情况下，省略上述那样的判断基准的应用，而针对各像素/宏块来计算余数。
(f2：数据格式变换部中的处理概要)
如上所述，从数据格式变换部1206输出的数据格式变换后的宏块存在多个类型，因此使用表示该数据格式变换的过程的信息(数据格式类型(type))来作为辅助信息的一部分。但针对以残差定义的区域，可以不含辅助信息。也就是，暗示了以余数来定义对应的辅助信息所在的区域(像素或宏块)。
数据格式变换部1206对于同一帧中的、原始宏块与运动补偿宏块(由帧内预测部1218生成的帧内宏块或者由运动补偿部1220生成的帧间宏块)的差分(也就是，残差图像)，执行数据格式变换。关于以余数定义的区域，运动补偿宏块也被用作辅助信息。
另外，为了决定在计算余数的取模运算中使用的系数(分母)，生成针对运动补偿宏块(帧内宏块或帧间宏块)的疑似梯度宏块或具有与其类似的信息的宏块。此外，关于梯度的信息，可以以帧为单位来计算。
以下，关于以像素为单位将余数与残差进行组合的数据格式(以下也称为“第1数据格式”。)以及以宏块为单位将余数与残差进行组合的数据格式(以下也称为“第2数据格式”。)，分别说明其详细的处理。此外，在以下的说明中，通过将残差的计算所涉及的处理排除在外，能实现仅以余数来定义像素值的数据格式，这是不言自明的。
(f3：数据格式变换部1206(第1数据格式用))
图6是本发明的实施方式所涉及的数据格式变换部1206的功能框图。参照图6，数据格式变换部1206包含：减法部1260、比较部1262、掩模生成部1264、处理选择部1266、梯度图像生成部1270、系数选择部1272、查询表1274、取模运算部1278以及合成部1280。
减法部1260从由分割部1204(图4)输入的原始宏块(在图6中标记为“原始MB”(“OriginalMB”)。)中减去运动补偿宏块(帧内宏块或帧间宏块)(在图6中标记为帧间/帧内MB(“Inter/IntraMB”)。)，从而生成残差宏块(在图6中标记为“ResMB”。)。
比较部1262以及掩模生成部1264在对象的宏块中确定以残差来定义的像素。即，比较部1262基于构成残差图像(残差宏块)的各像素的像素值的大小，以像素为单位来决定要以余数定义的区域。掩模生成部1264从构成残差图像的像素当中，将用于确定以余数定义的像素的信息分别作为附加信息进行输出。
更具体而言，比较部1262将构成对象的宏块的各像素的像素值与辅助信息的一部分即阈值TH1进行比较。掩模生成部1264将其像素值小于阈值TH1的像素决定为要以余数进行定义，并将除此以外的像素决定为要以残差进行定义。也就是，残差宏块当中，其像素值小的区域的信息有时丢失较大，因此在变换为不是以残差而是以余数定义的数据格式的基础上，进行数据压缩。
针对各像素究竟是以余数以及残差的哪一者来定义这样的信息，作为标志flag1而包含在辅助信息中。掩模生成部1264在对象的帧内，生成将针对各像素的标志flag1的值展开后的掩模(图)，向处理选择部1266进行输出，并向控制部1230进行输出。基于来自掩模生成部1264的标志flag1的值，在编码以及译码中决定适用于各像素的过程。
在数据格式变换部1206中，处理选择部1266基于标志flag1的值来选择针对构成对象的宏块的各像素的处理。具体而言，处理选择部1266针对被判断为要以残差(在图6中标记为“残差”(“Residual”)。)定义的像素，将其像素值直接输出至合成部1280，另一方面，针对被判断为要以余数(在图6中标记为“余数”(“Remainder”)。)定义的像素，将其像素值输出至取模运算部1278。
取模运算部1278对于针对要以余数定义的区域的像素值，执行取模运算。更具体而言，取模运算部1278进行以由系数选择部1272设定的系数D(整数)为分母的取模运算，来计算余数。该计算出的余数被输出至合成部1280。合成部1280按每个像素将所输入的余数或残差进行结合，来输出数据格式变换后的宏块(在图6中标记为“变换后MB”(“ConvertedMB”)。)。
在数据格式变换部1206中，可以基于运动补偿宏块来使取模运算部1278中的取模运算所使用的系数(分母)D动态地变化。运动补偿宏块当中其像素值大的区域意味着帧间的冗余性相对低的区域，针对这样的区域，优选在数据格式变换后也维持其中所含的信息。故而，根据帧间的冗余性的大小来选择适当的系数D。
作为使这样的系数D动态变化的方法，能采用任意的方法。在图6中，示出获取运动补偿宏块(运动图像)的梯度信息并基于获取到的梯度信息来决定成为取模运算的除数的值的处理例。更具体而言，生成针对运动补偿宏块的疑似梯度宏块(gradient-likemacro-block)，根据该疑似梯度宏块的各像素中的像素值的大小来决定成为除数的系数D。
具体而言，梯度图像生成部1270生成针对运动补偿宏块的疑似梯度宏块。然后，可以参照梯度强度与成为取模运算的除数的值之间的预先规定的对应关系，来决定成为取模运算的除数的值。更具体而言，系数选择部1272基于所生成的疑似梯度宏块的各像素的像素值(梯度强度)，参照查询表1274，来决定针对各像素的系数D。通过使用查询表1274，能对疑似梯度宏块来非线性地决定系数D。如此，通过非线性地决定系数D，能使译码后的图像质量得以提高。
图7是表示用于决定在本发明的实施方式所涉及的余数的计算中使用的系数D的查询表1274的一例的图。如图7所示，根据梯度强度而离散化为多个梯度级(GradientRange)，并定义针对各梯度级的系数D。梯度图像生成部1270参照查询表1274，为对象的宏块的各像素选择对应的系数D。在此，针对对象的宏块中所含的各色彩分量的各像素来决定系数D。
在图7所示的查询表1274中，成为取模运算的除数的值(系数D)被设计成2的幂次方。如此，通过进行系数D的分配，能使取模运算高速化。查询表1274能任意设计，因此可以采用梯度级数更少的或者梯度级数更多的查询表。
或者，无需一定使用查询表，可以使用预先规定的函数等来决定系数D。例如，可以将疑似梯度宏块的各像素中的像素值直接作为系数D。
取模运算部1278对从处理选择部1266顺次输出的像素，以对应的系数D为除数来进行针对其像素值的取模运算。更具体而言，决定使各像素的像素值Value＝q×D+m(其中，q≥0，D＞0)成立的最小的m。在此，q是商，m是余数。
在后述的宏块的重构处理(译码)中，计算“像素值P＝k×D+m”，因此输出针对各像素所计算的按色彩分量的余数m(Remainder)。
在此，针对梯度图像生成部1270中的疑似梯度宏块的生成方法进行说明。更具体而言，梯度图像生成部1270根据作为辅助信息的运动补偿宏块(帧内宏块或帧间宏块)来生成表示图像空间上的变化的程度的疑似梯度宏块。疑似梯度宏块是指，在运动补偿宏块内其纹理变化更大的区域具有更大的亮度的图像。作为疑似梯度宏块的生成处理，能使用任意的滤波处理。另外，构成疑似梯度宏块的各像素值被归一化以取给定范围内(例如，0～255)的任一整数值。典型地，通过以下那样的处理过程来生成疑似梯度宏块。
(i)为了去噪，对疑似梯度宏块应用高斯滤波(高斯平滑处理)。
(ii)将滤波后的辅助信息按色彩分量进行分离(即，按色彩分量来生成灰度图像)。
(iii)针对各色彩分量的灰度图像，执行(c1)～(c4)的处理。
(iii－1)边缘检测处理
(iii－2)(1次以上的)高斯平滑处理(或者，中值滤波处理)
(iii－3)一系列的形态学处理(例如，(1次以上的)膨胀处理、(1次以上的)收缩处理、(1次以上的)膨胀处理)
(iii－4)(1次以上的)高斯平滑处理
通过以上那样的处理，按构成运动补偿宏块的色彩分量来生成疑似梯度宏块。
在此所示的处理过程只是一例，能酌情设计高斯平滑处理、形态学处理的处理内容或处理过程等。
进而，只要能生成在运动补偿宏块内对于发生了更大的亮度变化的区域分配更大的像素值(亮度)那样的宏块，则采用何种方法均可。作为一例，可以针对x方向以及y方向分别应用sobel滤波器，并将其应用结果的平均值作为宏块。
(f4：数据格式变换部1206(第2数据格式用))
图8是本发明的实施方式所涉及的数据格式变换部1206的另一功能框图。参照图8，数据格式变换部1206较之于图6所示的数据格式变换部1206，取代掩模生成部1264、处理选择部1266以及合成部1280，而设置有累计部1265、评价部1267以及切换部1269。其他部的细节在上所述，因此省略其内容。
比较部1262、累计部1265以及评价部1267针对对象的宏块，决定要以残差以及余数的哪一者来定义。即，比较部1262、累计部1265以及评价部1267针对将残差图像(残差宏块)分割为给定尺寸的各块，基于结合了针对构成该块的各像素的像素值的评价的结果，以块为单位来决定要以余数定义的区域。评价部1267将用于从残差图像中所含的块当中确定要以余数定义的块的信息作为附加信息进行输出。
更具体而言，比较部1262将构成残差宏块的各像素的像素值与辅助信息的一部分即阈值TH1进行比较。然后，比较部1262针对该像素值超过阈值TH1的像素，将该像素值与阈值TH1的差分输出至累计部1265。也就是，累计部1265针对各残差宏块，计算针对其像素值超过阈值TH1的像素的“像素值－阈值TH1”的总和(Σ(像素值－阈值TH1))。
评价部1267将计算出的总和与阈值TH2进行比较，针对对象的残差宏块来决定要以残差以及余数的哪一者进行定义。具体而言，若计算出的总和为阈值TH2以上，评价部1267决定为将该对象的残差宏块直接输出。另一方面，若计算出的总和小于阈值TH2，则评价部1267决定为将该对象的残差宏块变换为余数宏块后进行输出。也就是，在判断为残差宏块由像素值相对小的像素构成的情况下，该宏块的信息有可能丢失较大，因此变换成不是以残差而是以余数来定义的数据格式。
进而，评价部1267基于该决定来向切换部1269发出指令。更具体而言，在决定为直接输出对象的残差宏块的情况下，切换部1269使绕过取模运算部1278的路径有效化。与之相对，在决定为将对象的残差宏块变换成余数宏块后进行输出的情况下，切换部1269使将残差宏块送往取模运算部1278的路径有效化。
针对该宏块究竟是以余数以及残差的哪一者进行定义这样的信息作为标志flag2而包含在辅助信息中。基于来自掩模生成部1264的标志flag2的值，在编码以及译码中决定应用于各宏块的过程。
此外，在使用余数宏块作为数据格式变换后的宏块的情况下，成为不可逆压缩的形式，因此在局部解码器1210(图4)中复原该宏块之际，可以绕过去块滤波器1216中的处理。由此，能减少噪声的发生。
[G.正交变换和量化部1208]
接下来，详述本发明的实施方式所涉及的正交变换和量化部1208(图4)中的处理。
正交变换和量化部1208对来自数据格式变换部1206的数据格式变换后的宏块，执行正交变换、量化以及缩放。关于该正交变换以及量化的类型，可以根据从数据格式变换部1206输出的宏块的数据格式类型来动态地变更。例如，可以针对以残差定义的区域，应用与在关联技术中使用的手法同样的手法，另一方面，针对以余数定义的区域，可以进一步调整正交变换、量化以及缩放所涉及的参数。
[H.数据格式逆变换部1214中的处理]
接下来，详述本发明的实施方式所涉及的数据格式逆变换部1214(图4)中的处理。
(h1：数据格式逆变换部中的处理概要)
如上所述，从数据格式变换部1206输出的数据格式变换后的宏块有多个类型，因此基于辅助信息中所含的数据格式类型来选择数据格式逆变换的过程。
数据格式逆变换部1214针对以残差定义的区域，通过将同一帧中的运动补偿宏块(由帧内预测部1218生成的帧内宏块或由运动补偿部1220生成的帧间宏块)进行相加，来复原原始宏块。
另一方面，针对以余数定义的区域，还将运动补偿宏块用作辅助信息。更具体而言，为了决定在用于根据余数来估计本来的像素值的取模逆运算中使用的系数(分母)，生成针对运动补偿宏块的疑似梯度宏块或具有与之类似的信息的宏块。
如上所述，作为数据格式变换后的宏块，能存在以像素为单位将余数与残差进行了组合的第1数据格式、以及以宏块为单位将余数与残差进行了组合的第2数据格式，但无论对于哪一种宏块，基本上均适用同样的数据格式逆变换(复原处理)。此外，在以下的说明中，通过将残差的计算所涉及的处理排除在外，能实现仅以余数定义的数据格式变换后的宏块所对应的数据格式逆变换(复原处理)，这是不言自明的。
(h2：数据格式逆变换部1214)
图9是本发明的实施方式所涉及的数据格式逆变换部1214的功能框图。参照图9，数据格式逆变换部1214包含：处理选择部1290、加法部1292、梯度图像生成部1270、系数选择部1272、查询表1274、取模逆运算部1298以及合成部1294。此外，针对执行与构成图6所示的数据格式变换部1206的部件同样的处理的部件，赋予了相同的附图标记。
处理选择部1290基于作为辅助信息的一部分的标志flag1和/或标志flag2，判断针对(由逆正交变换和缩放部1212复原出的)数据格式变换后的宏块的数据格式类型，并确定通过余数以及残差各自而定义的区域(像素/宏块)。然后，处理选择部1290将通过残差而定义的区域中所含的像素值输出至加法部1292，并将通过余数而定义的区域中所含的像素值输出至取模逆运算部1298。
加法部1292将与处理选择部1290输出像素值的像素的像素位置对应的运动补偿宏块中的像素值与所输出的像素值进行相加。通过该加法处理来复原原始宏块的对应的像素值。加法部1292将该计算结果输出至合成部1294。
另一方面，取模逆运算部1298根据从处理选择部1290输出的像素值(余数)以及在计算该余数之际用到的系数D，通过取模逆运算来估计原始宏块的对应的像素值。该取模逆运算所需的系数D是依照与数据格式变换部1206中的余数的计算处理同样的处理来决定的。即，梯度图像生成部1270生成针对运动补偿宏块的疑似梯度宏块，系数选择部1272基于所生成的疑似梯度宏块的各像素的像素值(梯度强度)，参照查询表1274，来决定针对各像素的系数D。该梯度图像生成部1270、系数选择部1272以及查询表1274所涉及的处理参照图6已说明，因此省略详细的说明。
取模逆运算部1298使用针对各像素而选择出的系数D及余数(Remainder)、以及运动补偿宏块的对应的像素值SI，来进行取模逆运算。更具体而言，取模逆运算部1298依照C(q’)＝q’×D+Remainder(其中，q’≥0，C(q’)＜256)来计算针对原始宏块的对应的像素值的候补值C(q’)的列表，并将该计算出的候补值C(q’)当中使运动补偿宏块的对应的像素值SI相应的差最小的值决定为原始宏块的对应的像素值。
例如，若考虑系数D＝8，余数m＝3，运动补偿宏块的对应的像素值SI＝8的情况，则作为候补值C(q’)，给出以下。
候补值C(0)＝0×8+3＝3(与SI之差＝5)
候补值C(1)＝1×8+3＝11(与SI之差＝3)
候补值C(2)＝2×8+3＝19(与SI之差＝11)
…
从这些候补值C(q’)当中，选择使与运动补偿宏块的对应的像素值SI之差最小的候补值C(1)，原始宏块的对应的像素值被决定为“11”。如此，按色彩分量来分别决定原始宏块的各像素的像素值。该计算出的像素值被输出至合成部1294。合成部1294按每个像素对所输入的余数或残差进行结合，来输出原始宏块(OriginalMB)。
[I.解码器210的功能构成]
接下来，说明构成本发明的实施方式所涉及的编码/译码系统的解码器210(图1)的功能构成。
图10是本发明的实施方式所涉及的解码器210的功能框图。参照图10，解码器210包含：输入缓冲器2102、熵解码部2104、逆正交变换和缩放部2112、数据格式逆变换部2114、去块滤波器2116、帧内预测部2118、运动补偿部2120、切换部2122、控制部2130以及输出缓冲器2142。
概述之，解码器210较之于图3所示的解码器910，主要在以下方面不同：取代对残差图像与先计算出的预测图像(内插信息)进行相加的加法部9114而设置有数据格式逆变换部2114。而伴随该构造的变更，控制部2130的动作也与控制部9130不同。
即，输入缓冲器2102、熵解码部2104、逆正交变换和缩放部2112、去块滤波器2116、帧内预测部2118、运动补偿部2120、切换部2122、控制部2130以及输出缓冲器2142的功能，与图3所示的输入缓冲器9102、熵解码部9104、逆正交变换和缩放部9112、去块滤波器9116、帧内预测部9118、运动补偿部9120、切换部9122、控制部9130以及输出缓冲器9142类似。
[J.解码器210中的处理过程]
接下来，说明解码器210中的处理过程。在解码器210中，根据来自图4所示的编码器120的比特流来复原原始图像。参照图10，比特流被送至输入缓冲器2102。
输入缓冲器2102临时存放送来的比特流。
熵解码部2104对来自输入缓冲器2102的比特流进行熵解码，并输出运动数据、量化后的变换系数、以及控制数据及参数，来作为其结果。运动数据被送至运动补偿部2120。
逆正交变换和缩放部2112对由熵解码部2104解码出的量化后的变换系数，执行逆正交变换(典型地，离散傅立叶逆变换)以及缩放。通过这些处理来复原数据格式变换后的宏块。
然后，数据格式逆变换部2114对数据格式变换后的宏块执行数据格式逆变换，且去块滤波器2116对于其结果，为了抑制块噪声的发生，使块边界平滑化。通过这些处理来复原原始影像。
帧内预测部2118基于邻接的宏块来生成预测图像。
运动补偿部2120使用帧间预测(Inter预测)来生成预测图像。更具体而言，运动补偿部2120基于复原后的原始宏块以及由熵解码部2104解码出的运动数据，来生成预测图像。
帧内预测部2118及运动补偿部2120各自生成的预测图像被切换部2122酌情选择任一者，并被送至数据格式逆变换部2114。
控制部2130基于由熵解码部2104解码出的控制数据以及参数，来对逆正交变换和缩放部2112、数据格式逆变换部2114及切换部2122中的处理进行控制。
输出缓冲器2142临时存放来自去块滤波器2116的复原后的原始图像(影像信号)。
[K.参数及辅助信息]
接下来，针对本发明的实施方式所涉及的编码/译码系统中所使用的参数以及辅助信息进行详述。
首先，如上所述，在本发明的实施方式中，
使用标志flag1和/或标志flag2来确定在数据格式变换后的宏块中以余数定义的区域。换言之，通过使标志flag1以及标志flag2均无效化，从而确定全部区域以残差来定义。在这样的全部区域以残差来定义的情况下，也就是未实施数据格式变换的情况下，编码器120(更具体而言，控制部1230)以及解码器210(更具体而言，控制部2130)例如遵循MPEG－4AVC那样的规格来进行动作。
另一方面，在实施了本发明的实施方式所涉及的数据格式变换的情况下，除了上述的标志flag1、flag2以外，还使用类型type、阈值TH1及TH2、以及余数运算用参数a等参数。
首先，类型type相当于表示选择了以像素为单位组合余数与残差的第1数据格式(图5(a))以及以宏块为单位组合余数与残差的第2数据格式(图5(b))的哪一者的参数。
类型type只要能确定选择了哪一种数据格式即可，因此被分配单个比特(1比特)的信息就已足够。根据所选择的数据格式来使用以下那样的参数。
(i)第1数据格式
(A)标志flag1
按构成宏块的每个像素来分配标志flag1，各标志flag1表示对应的像素是以余数以及残差的哪一者来定义的。作为代替的构成，仅对余数以及残差的一者分配标志flag1，而对另一者不分配标志flag1，从而能确定各像素究竟是以余数以及残差的哪一者来定义的。
(B)阈值TH1
阈值TH1被用作判断基准，即用于针对构成各宏块的多个像素的每一个来判断是以余数以及残差的哪一个来定义。也就是，阈值TH1是用于从构成残差图像(残差宏块)的像素当中确定要以余数定义该像素值的区域的判断基准，该阈值TH1作为附加信息被发送至解码器侧。
(C)余数运算用参数a
余数运算用参数a是用于决定在取模运算部1278(图6)中使用的系数D的参数。作为一例，可以将在梯度图像生成部1270(图4)中生成的疑似梯度宏块所对应的阈值作为余数运算用参数a。也就是，决定图7所示那样的查询表1274中的各灰度的阈值将成为余数运算用参数a。
或者，可以将图7所示那样的查询表准备多个，并将表示选择哪一个查询表的标识符作为余数运算用参数a。
(ii)第1数据格式
(A)标志flag2
按每个宏块来分配标志flag2，标志flag2各自表示对应的宏块是以余数以及残差的哪一个来定义的。作为代替的构成，仅对余数以及残差的一者分配标志flag2，而对另一者不分配标志flag2，从而能确定针对各宏块究竟是以余数以及残差的哪一者来定义。
(B)阈值TH2
阈值TH2被用作判断基准，即，用于判断针对各宏块要以余数以及残差的哪一者来定义。在该判断中还使用阈值TH1。
(C)余数运算用参数a
与对上述的第1数据格式所使用的余数运算用参数a同样，包含表示是否选择针对疑似梯度宏块的阈值或者要使用的查询表的标识符。
此外，可以在编码器120中执行与速度失真相应的优化(rate-distortionoptimization)。此时，优选将用于判断以余数以及残差的哪一者来定义的阈值TH1和/或阈值TH2也作为该优化的对象。通过该优化，能进一步提高性能。
[L.硬件构成]
接下来，说明用于实现上述的发送机以及接收机的硬件构成的一例。图11是表示作为发送机发挥功能的信息处理装置100的硬件构成的示意图。图12是表示作为接收机发挥功能的信息处理装置200的硬件构成的示意图。
参照图11，信息处理装置100包含：处理器104、存储器106、摄像头接口108、通信接口112、硬盘114、输入部116以及显示部118。这些各部构成为能经由总线122来彼此进行数据通信。
处理器104读出在硬盘114等中存放的程序并在存储器106中展开来予以执行，从而实现本发明的实施方式所涉及的编码处理。存储器106作为用于由处理器104执行处理的工作存储器发挥功能。
摄像头接口108与多个摄像头10连接，获取各摄像头10摄像得到的图像。获取到的图像可以存放至硬盘114或存储器106。硬盘114以非易失性的方式保存有用于实现上述的编码处理的编码程序114a。
输入部116典型地包含鼠标或键盘等，受理来自用户的操作。显示部118将处理结果等向用户进行通知。
通信接口112与无线传输装置102等连接，将作为处理器104处理的结果而输出的数据输出至无线传输装置102。
参照图12，信息处理装置200包含：处理器204、存储器206、投影机接口208、通信接口212、硬盘214、输入部216以及显示部218。这些各部构成为能经由总线222彼此进行数据通信。
处理器204、存储器206、输入部216以及显示部218与图11所示的处理器104、存储器106、输入部116以及显示部118分别相同，因此省略详细的说明。
投影机接口208与立体显示装置300连接，将由处理器204复原后的多视点图像等输出至立体显示装置300。
通信接口212与无线传输装置202等连接，接收从信息处理装置100传输的比特流，并输出至处理器204。
硬盘214以非易失性的方式保存有用于实现译码的译码程序214a以及包含经复原的原始图像在内的图像数据214b。
图10及图11分别所示的信息处理装置100及200的硬件自身及其动作原理是一般性的，用于实现本发明的实施方式所涉及的编码/译码的本质的部分是硬盘等的存储介质中所存放的编码程序114a或译码程序214a等的软件(命令代码)。这样的编码程序114a或译码程序214a存放至光学存储介质、磁存储介质、半导体存储介质这样的存储介质进行流通。存放这样的程序的存储介质也落在本发明的范围内。
编码程序114a和/或译码程序214a可以构成为使用OS(OperatingSystem；操作系统)所提供的模块来执行处理。在此情况下，编码程序114a和/或译码程序214a不含一部分的模块，但这样的情况也包含在本发明的技术的范围内。
关于信息处理装置100和/或信息处理装置200的全部或一部分的功能，既可以使用ASIC(ApplicationSpecificIntegratedCircuit；专用集成电路)等专用的集成电路来实现，也可以使用FPGA(Field-ProgrammableGateArray；现场可编程门阵列)或DSP(DigitalSignalProcessor；数字信号处理器)等可编程的硬件来实现。
[M.其他实施方式]
在本发明的实施方式中，通过对从原始宏块之中减去运动补偿宏块(帧内宏块或帧间宏块)而得到的残差宏块应用阈值，来决定分别以余数以及残差定义的区域。该阈值以及数据格式变换所需的其他参数可以使用速度优化循环来动态或静态地优化。
在本发明的实施方式中，为了计算余数而进行取模运算。该取模运算中成为分母(除数)的系数D是基于与对象的宏块相同的运动补偿宏块(或，运动补偿帧)的梯度图像来决定的。该梯度图像((疑似)梯度宏块或(疑似)梯度帧)是根据帧内宏块(或帧内帧)、或者帧间宏块(或帧间帧)而生成的。此时，可以在跨多个帧的宏块间计算梯度。即，梯度图像可以跨时域和/或空间域来计算。根据如此计算出的梯度图像来决定在取模运算中使用的系数D。
在本发明的实施方式中，用于取模运算的系数D可以被设定为与应用于(疑似)梯度宏块(或梯度帧)的如下阈值相同，该阈值用于判断是以余数以及残差的哪一个来定义各区域。
在上述的实施方式中，作为针对宏块或帧的数据格式，以(1)仅以余数来定义各区域的数据格式、以及(2)以余数与残差的组合来定义各区域的数据格式进行了说明，但还能采用别的数据格式。故而，宏块或帧能包含全部零、残差与零的组合、全部残差，余数与零的组合、全部余数、余数与残差的组合、余数与残差与零的组合这样的各种分量。
在上述的实施方式中，示出了应用于运动图像的压缩规格之一的MPEG－4AVC的构成例。在该构成例中，关于数据格式变换后的数据压缩的处理，以遵循规格的过程来执行。另一方面，关于数据格式变换的处理，遵照数据压缩所涉及的参数来进行优化。在编码的最终阶段，还能应用针对静止图像/运动图像/多视点图像的任意的数据压缩工具。
在译码处理(即，数据复原处理)中也使用与本发明的实施方式所涉及的数据格式相应的解码器。例如，将与数据格式类型(type)有关的信息从编码器向解码器进行传输。通过附加这样的信息，能确保与现有的装置以及已有的规格之间的兼容性。在传输对余数与残差进行了组合的数据格式的数据的情况下，在其比特流中除了包含规格所需的参数之外还包含与编码处理有关的参数以及与数据格式有关的参数。
在遵循MPEG-4AVC规格进行了编码的情况下，为了对在时域和空间域中编码得到的宏块/帧进行解码，需要各位置上的运动图像(典型地，运动矢量)。在编码得到的宏块/帧中，为了区分以余数定义的区域与以残差(或者，为零)定义的区域，使用数据格式变换所涉及的参数。
在译码中同样，生成由帧内宏块(或帧内帧)或者帧间宏块(或帧间帧)构成的梯度图像。基于该梯度图像来决定在用于复原以余数定义的区域的取模逆运算中使用的系数(分母)。在译码中，对于以残差定义的区域，可以基于运动补偿宏块/帧或者合成宏块/帧来进一步进行补偿。
对于设定了零的区域，可以分配运动补偿宏块/帧的对应的值。针对以余数定义的区域，通过上述那样的取模逆运算来进行复原。
尽管在上述的实施方式中说明了对不可逆压缩(非可逆压缩)的编码/译码系统的应用例，但还能应用于可逆压缩的编码/译码系统。在此情况下，图4所示的正交变换和量化部1208及逆正交变换和缩放部1212、以及图10所示的逆正交变换和缩放部2112等变得不需要。即，在编码中，不执行正交变换或量化这样的会造成数据损失的处理。
根据本发明的实施方式，提供在图像的数据压缩处理中使用的图像的数据格式变换的方法。该方法包含如下工序：对于由多个摄像头摄像得到的多视点图像、由多个Depth摄像头摄像得到的多视点距离图像、一系列的静止图像或静止图像、或者任意的形式的图像数据，以对已有规格进行了改良的编码处理工具(针对静止图像/运动图像/多视点图像的改良后的数据压缩工具)来进行数据压缩。在此，数据格式变换是以由多个像素组成的块(宏块)为单位来执行的。数据格式变换的处理包含以下的工序。
(a)基于帧间宏块(使用前向预测、后向预测以及双向预测当中任一者进行编码而得到的宏块)或帧内宏块，遵照给定的参数，将块数据格式的各像素变换为余数、残差、零的任一者的工序
(b)基于帧间宏块或帧内宏块以及原始宏块，生成差分块即残差宏块的工序
(c)基于给定的参数以及残差宏块，针对被判断为要将其值变换为余数的像素，来使标志有效化的工序
(d)基于给定的参数，针对构成残差宏块的像素当中被判断为要使其值为零的像素，变换为零的工序(这些像素作为残差为零的像素被对待)
(e)基于帧间宏块或帧内宏块来生成疑似梯度图像的工序
(f)基于该疑似梯度图像，设定用于通过取模运算来决定余数的参数的工序
(g)基于原始宏块以及针对取模运算所设定的参数组，针对被判断为要将其值变更为余数的像素，变换为余数的工序
(h)对新的数据格式变换后的宏块执行与针对静止图像/运动图像/多视点图像的数据压缩所涉及的已有规格类似的数据压缩所涉及的处理的工序
(i)将用于数据格式变换的参数追加至遵循规格的优化处理，来执行该参数的数据压缩的工序
(j)对于遵循新的数据格式的规格的数据压缩参数以及用于数据格式变换的参数，使用已有的优化处理来执行用于进一步提高其压缩效率以及压缩质量的优化处理的工序
(k)将使用针对静止图像/运动图像/多视点图像的改良后的数据压缩工具而压缩后的图像数据的比特流、针对各压缩后的宏块的信息以及用于数据格式逆变换的对应的参数提供给数据复原工具的工序
(l)基于帧间宏块或帧内宏块、以及残差及零像素，针对标志未被有效化的图像，根据残差来复原原始的像素值的工序
(m)基于帧间宏块或帧内宏块、以及由标志示出的余数的像素，执行取模逆运算的工序(在执行取模逆运算之际，利用从接收到的比特流中提取出的用于取模运算的对应的参数)
在上述的说明中，说明了以宏块为单位来执行数据格式变换以及数据格式逆变换的情况，但也能适用于图像整体，这是不言自明的。具体而言，可以先生成针对原始图像整体的残差图像，并对该生成的残差图像以图像为单位来执行上述的处理。
[N.优点]
本发明的实施方式提供将数据格式变换以及数据压缩这两者加入单一的系统中的构成。通过采用这样的构成，能避免系统的复杂化。进而，由于能维持与已有的压缩规格的兼容性，因此能使本发明的实施方式所涉及的新的数据格式变换(编码)的引入也容易。如上所述，在本发明的实施方式所涉及的编码/译码系统中，若不使用余数的信息，则还能实现与已有规格下的处理相同的处理。故而，能维持兼容性。
本发明的实施方式所涉及的编码/译码系统例如能应用于分布源编码处理(distributedsourcecoding)、分布影像编码处理(distributedvideocoding)、针对静止图像/运动图像/多视点图像的数据压缩这样的各种图像系统。
根据本发明的实施方式所涉及的编码/译码系统，在针对静止图像/运动图像/多视点图像的数据压缩所涉及的已有的规格的框架内，通过使用新的数据格式，能进一步提高数据压缩效率。
在本发明的实施方式所涉及的编码/译码系统的安装之际，只需要对沿用已有规格的静止图像/运动图像/多视点图像所对应的数据压缩工具稍作变更即可。另外，安装有本发明的实施方式所涉及的编码/译码系统的针对静止图像/运动图像/多视点图像的数据压缩工具通过使本发明的实施方式所涉及的处理无效化，能依然维持与已有规格的兼容性。
本次公开的实施方式在全部的点上只是例示，并不应该认为是用于限制。本发明的范围不是由上述的实施方式的说明示出，而是由权利要求的范围示出，旨在包含与权利要求的范围均等的含义以及范围内的全部变更。
附图标记的说明
1立体影像再现系统，2被摄体，10摄像头，100、200信息处理装置，102、202无线传输装置，104、204处理器，106、206存储器，108摄像头接口，110预处理器，112、212通信接口，114、214硬盘，114a编码程序，116、216输入部，118、218显示部，120、820编码器，122、222总线，208投影机接口，210、910解码器，214a译码程序，214b图像数据，220后处理器，300立体显示装置，302投影机阵列，310显示屏，312扩散膜，314聚光透镜，1202、2102、8202、9102输入缓冲器，1204、8204分割部，1206数据格式变换部，1208、8208正交变换和量化部，1210、8210局部解码器，1212、2112、8212、9112逆正交变换和缩放部，1214、2114数据格式逆变换部，1216、2116、8216、9116去块滤波器，1218、2118、8218、9118帧内预测部，1220、2120、8220、9120运动补偿部，1222、1269、2122、8222、9122切换部，1230、2130、8230、9130控制部，1240、8240运动估计部，1242、2142、8242、9142输出缓冲器，1250、8250熵编码部，1260、8206减法部，1262比较部，1264掩模生成部，1265累计部，1266、1290处理选择部，1267评价部，1270梯度图像生成部，1272系数选择部，1274查询表，1278取模运算部，1280、1294合成部，1292、8414、9114加法部，1298取模逆运算部，2104、9104熵解码部。

Claims (7)

1.一种编码多个输入图像的方法，该多个输入图像包含相互关联的信息，所述方法的特征在于，包含：
估计步骤，根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；
生成步骤，根据所述后续的输入图像与估计出的所述运动图像的差分来生成残差图像；
确定步骤，基于所述残差图像的像素值，在构成所述残差图像的像素当中确定要以余数定义该像素值的区域；
变换步骤，将针对确定出的要以所述余数定义的区域的像素值变换为余数；以及
编码步骤，对变换后的残差图像以及用于确定要以所述余数定义的区域的附加信息进行编码。
2.根据权利要求1所述的方法，其特征在于，
所述方法还包含如下步骤：对构成变换后的所述残差图像的像素当中的要以所述余数定义的像素执行取模逆运算，来解码所述残差图像，
所述估计步骤包含如下步骤：基于解码出的残差图像来估计所述运动图像。
3.根据权利要求1或2所述的方法，其特征在于，
所述确定步骤包含如下步骤：基于构成所述残差图像的各像素的像素值的大小，以像素为单位来决定要以所述余数定义的区域，
所述附加信息包含用于在构成所述残差图像的像素当中分别确定要以余数定义的像素的信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，
所述确定步骤包含如下步骤：针对将所述残差图像分割为给定尺寸的各块，基于结合了针对构成该块的各像素的像素值的评价而得到的结果，以块为单位来决定要以所述余数定义的区域，
所述附加信息包含用于在所述残差图像所含的块当中确定以余数定义的块的信息。
5.根据权利要求1至4中任一项所述的方法，其特征在于，
所述变换步骤包含：
对针对要以所述余数定义的区域的像素值执行取模运算的步骤；
获取所述运动图像的梯度信息的步骤；以及
参照梯度強度与成为取模运算的除数的值之间的预先规定的对应关系，基于获取到的所述梯度信息来决定成为取模运算的除数的值的步骤。
6.一种存储介质，存放编码多个输入图像的程序，该多个输入图像包含相互关联的信息，该程序使计算机执行如下步骤：
估计步骤，根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；
生成步骤，根据所述后续的输入图像与估计出的所述运动图像的差分来生成残差图像；
确定步骤，基于所述残差图像的像素值，在构成所述残差图像的像素当中确定要以余数定义该像素值的区域；
变换步骤，将针对确定出的要以所述余数定义的区域的像素值变换为余数；以及
编码步骤，对变换后的残差图像以及用于确定要以所述余数定义的区域的附加信息进行编码。
7.一种编码多个输入图像的装置，该多个输入图像包含相互关联的信息，所述装置的特征在于，包含：
估计单元，其根据先行的1个以上的输入图像来估计运动图像，该运动图像表示后续的输入图像中所含的变化成分；
生成单元，其根据所述后续的输入图像与估计出的所述运动图像的差分来生成残差图像；
确定单元，其基于所述残差图像的像素值，在构成所述残差图像的像素当中确定要以余数定义该像素值的区域；
变换单元，其将针对确定出的要以所述余数定义的区域的像素值变换为余数；以及
编码单元，其对变换后的残差图像以及用于确定要以所述余数定义的区域的附加信息进行编码。
CN201480018699.2A 2013-03-27 2014-03-12 编码多个输入图像的方法及装置、存放程序的存储介质 Pending CN105075256A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-066313 2013-03-27
JP2013066313A JP2014192701A (ja) 2013-03-27 2013-03-27 複数の入力画像をエンコーディングする方法、プログラムおよび装置
PCT/JP2014/056483 WO2014156647A1 (ja) 2013-03-27 2014-03-12 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置

Publications (1)

Publication Number Publication Date
CN105075256A true CN105075256A (zh) 2015-11-18

Family

ID=51623630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018699.2A Pending CN105075256A (zh) 2013-03-27 2014-03-12 编码多个输入图像的方法及装置、存放程序的存储介质

Country Status (6)

Country Link
US (1) US20160057414A1 (zh)
EP (1) EP2981082A1 (zh)
JP (1) JP2014192701A (zh)
KR (1) KR20150137081A (zh)
CN (1) CN105075256A (zh)
WO (1) WO2014156647A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
CN116630452A (zh) * 2016-06-14 2023-08-22 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568015A (zh) * 2003-06-27 2005-01-19 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
US20070092005A1 (en) * 2005-10-20 2007-04-26 Sony Corporation Method and apparatus for encoding, method and apparatus for decoding, program, and storage medium
JP2011514024A (ja) * 2008-01-21 2011-04-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 予測に基づく画像処理
CN102239640A (zh) * 2008-12-09 2011-11-09 日本电信电话株式会社 编码方法、解码方法、使用这些方法的装置、程序以及记录介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2765268B2 (ja) * 1991-05-21 1998-06-11 松下電器産業株式会社 高能率符号化方法と高能率符号の復号方法
US5768438A (en) * 1994-10-19 1998-06-16 Matsushita Electric Industrial Co., Ltd. Image encoding/decoding device
US7706619B2 (en) * 2005-11-30 2010-04-27 Brother Kogyo Kabushiki Kaisha Image processing device that produces high-quality reduced image at fast processing speed
AU2011201336B2 (en) * 2011-03-23 2013-09-05 Canon Kabushiki Kaisha Modulo embedding of video parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568015A (zh) * 2003-06-27 2005-01-19 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
US20070092005A1 (en) * 2005-10-20 2007-04-26 Sony Corporation Method and apparatus for encoding, method and apparatus for decoding, program, and storage medium
JP2011514024A (ja) * 2008-01-21 2011-04-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 予測に基づく画像処理
CN102239640A (zh) * 2008-12-09 2011-11-09 日本电信电话株式会社 编码方法、解码方法、使用这些方法的装置、程序以及记录介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MEHRDAD PANAHPOUR TEHRANI ET AL.: "A hybrid representation for multi-view images", 《3DTV-CONFERENCE: THE TRUE VISION-CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO(3DTV-CON)》 *
MEHRDAD PANAHPOUR TEHRANI ET AL.: "A New Data Format for Multiview Video", 《IPSJ SIG TECHNICAL REPORT》 *
MEHRDAD PANAHPOUR TEHRANI ET AL.: "The Adaptive Distributed Source Coding of Multi-View Images in Camera Sensor Networks", 《IEICE TRANSACTIONCS ON FUNDAMENTALS OF ELECTRONICS, COMMUNICATIONS AND COMPUTER SCIENCES》 *

Also Published As

Publication number Publication date
JP2014192701A (ja) 2014-10-06
KR20150137081A (ko) 2015-12-08
WO2014156647A1 (ja) 2014-10-02
EP2981082A1 (en) 2016-02-03
US20160057414A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
US11546513B2 (en) Image data encoding/decoding method and apparatus
JP6633694B2 (ja) 多視点信号コーデック
US11962744B2 (en) Image data encoding/decoding method and apparatus
US11165958B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
JP2022537064A (ja) エンコーダ、デコーダ、および対応する方法
WO2014050830A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US11831914B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
CN112789851B (zh) 视频解码方法、装置、电子设备及可读存储介质
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
CN105103546A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
CN111247805A (zh) 在图像编码系统中基于以子块为单元进行的运动预测的图像解码方法和设备
CN113597769A (zh) 基于光流的视频帧间预测
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
CN116848843A (zh) 可切换的密集运动向量场插值
CN105075256A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5566406B2 (ja) 画像データのブロックを予測する方法、当該方法を実現する復号化及び符号化装置
RU2809192C2 (ru) Кодер, декодер и соответствующие способы межкадрового предсказания
US20150172694A1 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding program, moving picture decoding program, and recording media
JP2017055425A (ja) 画像符号化方法、画像復号方法、及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151118