CN104718755A - 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构 - Google Patents

减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构 Download PDF

Info

Publication number
CN104718755A
CN104718755A CN201380053520.2A CN201380053520A CN104718755A CN 104718755 A CN104718755 A CN 104718755A CN 201380053520 A CN201380053520 A CN 201380053520A CN 104718755 A CN104718755 A CN 104718755A
Authority
CN
China
Prior art keywords
image
images
object images
composograph
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380053520.2A
Other languages
English (en)
Inventor
迈赫达德·帕纳坡尔·德黑兰尼
石川彰夫
河北真宏
井上直己
藤井俊彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State-Run Research And Development Legal Person Nict
Original Assignee
State-Run Research And Development Legal Person Nict
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State-Run Research And Development Legal Person Nict filed Critical State-Run Research And Development Legal Person Nict
Publication of CN104718755A publication Critical patent/CN104718755A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

提供减小含有相互类似的信息的多个图像的数据量的方法，包括：取得多个图像，并且，在多个图像中选择与对象图像以及对象图像类似的第一参照图像及第二参照图像的步骤；基于第一参照图像及第二参照图像，生成与对象图像对应的合成图像的步骤；生成掩模图像的步骤，掩模图像表示根据第一参照图像及第二参照图像生成的合成图像相对于对象图像的潜在误差；生成与残差对应的残差图像的步骤，残差是指对象图像与合成图像之间的差；基于掩模图像，对潜在误差相对大的区域分配残差图像的对应的区域的信息，从而生成与对象图像对应的变换后图像的步骤；输出第一参照图像、第二参照图像及变换后图像，来作为表现对象图像、第一参照图像及第二参照图像的信息的步骤。

Description

减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构
技术领域
本发明涉及减小含有相互类似的信息的多个图像的数据量(data size)的方法、程序及装置，以及表现含有相互类似的信息的多个图像的数据结构。
背景技术
现在，正在研究用于实现超临场感交流的各种技术。作为这种技术之一，有利用多视点图像提供高精细立体影像的三维影像技术。这种立体影像是这样实现的：从非常多视点(例如，200视点)拍摄被拍摄体，获得视差图像，从而利用视差图像来实现立体影像。
作为用于实用化这种立体影像的一个课题，提出了减小多视点图像的数据量的方案。就多视点图像而言，包括从多个视点分别观察被拍摄体的信息，因此数据量大。对于这种课题，已经提出了各种提案。
例如，非专利文献1公开了称为多视点图像的适应式分散编程的方法。更具体而言，该方法基于模数运算器，针对从各视点得到的图像，在互相不进行信息交换的状态下进行编码，并且，在解码时允许视点间的信息交换。
非专利文献2及非专利文献3都公开了基于图像间的残差(residual)及距离(depths)的方法。在这些方法中，使用一个以上的原形图像及从原形图像变形而来的图像(warped view)与相邻图像(neighbor views)之间的差。这样变形的图像是根据相邻图像生成的与原形图像对应的假想图像。
现有技术文献
非专利文献
非专利文献1：MehrdadPanahpourTehrani,ToshiakiFujii,MasayukiTanimoto,"The AdaptiveDistributedSourceCodingofMulti-ViewImagesinCameraSensorNetworks",IEICETrans,E88-A(10),2835-2843,(2005)
非专利文献2：K.Mueller,A.Smolic,K.Dix,P.Merkle,P.Kauff T.Wiegand,"Reliability-based generation andviewsynthesis in layereddepth video",inProc.IEEE Intl Conf on MMSP,34-39(Oct.2008)
非专利文献3：M.Tanimoto,M.Wildeboer,"FrameworksforFTVcoding",inProc.PCS,1-4(May2009)
非专利文献4：R.Szeliski,R.Zabih,D.Scharstein,O.Veksler,V.Kolmogorov,A.Agarwala,M.Tappenand C.Rother,"AcomparativestudyofenergyminimizationmethodsforMarkovrandomfieldswithsmoothness-basedpriors,"IEEETrans.PatternAnal.Machine Intell.,30(6),1068-1080,(2008)
非专利文献5：Y.Boykov,O.Vekslerand R.Zabih,"Fastapproximate energyminimization viagraph cuts,"IEEE Trans.PatternAnal.MachineIntell.,23,1222-1239,(Nov.2001)
非专利文献6：Y.Mori,N.Fukushima,T.Yendo,T.Fujiiand M.Tanimoto,"View generation with 3D warpingusing depthinformation forFTV,"Signal Process.:Image Commun.,24,65-72,(Jan.2009)
非专利文献7：L.Yang,T.Yendo,M.PanahpourTehrani,T.FujiiandM.Tanimoto,"Probabilistic reliabilitybased view synthesisfor FTV",inProc.ICIP,1785-1788,(Sep.2010)
非专利文献8：N.Fukushima,T.Fujii,Y.Ishibashi,T.Yendo,and M.Tanimoto,"Real-timefreeviewpoint imagerendering byusingfastmulti-passdynamic programming,"inProc.3DTV-CON,(June 2010)
非专利文献9：A.Smolic,P.Kauff,S.Knorr,A.Hornung,M.Kunter,M.Muller,andM.Lang,"Three-Dimensional VideoPostproductionandProcessing",in Proc.IEEE,99(4),607-625,(Apr.2011)
非专利文献10：Y.Mori,N.Fukushima,T.Fujii,andM.Tanimoto,"Viewgenerationwith3Dwarping usingdepth informationfor FTV,"ImageCommunication.,Vol.24,No.1-2(2009)
发明内容
发明要解决的问题
上述的非专利文献1所公开的方法，主要假设面向分散信源编码、分散影像帧编码等的应用，因此在编码处理中没有考虑到视点间的联合。另外，在非专利文献1所公开的方法中，在编码处理及解码处理中，虽然使用了边信息(side information)，但在与原形图像的值之间的差大的区域中，边信息的精度没有那么高，因此有时导致解码后的图像品质低下。相反，在非专利文献2及3所公开的方法中，相对于边信息所含的原形图像，在差小的区域，无法恰当复原其所含的信息。
本发明为了解决上述问题，目的在于，提供一种高效降低含有相互类似的信息的多个图像的数据量的方法、程序及装置，以及表现含有相互类似的信息的多个图像的数据结构。
用于解决课题的手段
根据本发明的一个方面，提供一种减小含有相互类似的信息的多个图像的数据量的方法。本方法包括：取得多个图像，并且，在多个图像中选择与对象图像以及对象图像类似的第一参照图像及第二参照图像的步骤；基于第一参照图像及第二参照图像，生成与对象图像对应的合成图像的步骤；生成掩模图像的步骤，掩模图像表示根据第一参照图像及第二参照图像生成的合成图像相对于对象图像的潜在误差；生成与残差对应的残差图像的步骤，残差是指对象图像与合成图像之间的差；基于掩模图像，对潜在误差相对大的区域分配残差图像的对应的区域的信息，从而生成与对象图像对应的变换后图像的步骤；输出第一参照图像、第二参照图像及变换后图像，来作为表现对象图像、第一参照图像及第二参照图像的信息的步骤。
优选地，在本方法中，还包括：对对象图像的各像素位置的亮度值进行取模计算，计算出各像素位置的余数，从而生成由余数构成的余数图像的步骤；在生成变换后图像的步骤中包括：基于掩模图像，对潜在误差相对小的区域，分配余数图像的对应的区域的信息的步骤。
优选地，在生成变换后图像的步骤中包括：将掩模图像的各像素位置的值与预定的阈值进行比较，从而区别潜在误差相对大的区域和潜在误差相对小的区域的步骤。
优选地，在生产残差图像的步骤中包括如下步骤：针对根据对象图像与合成图像的差生成的图像进行比特平面变换。
优选地，在本方法中，还包括：取得所输出的第一参照图像、第二参照图像及变换后图像的步骤；基于所取得的第一参照图像及第二参照图像，生成与对象图像对应的合成图像的步骤；根据所取得的第一参照图像及第二参照图像，生成掩模图像的步骤；基于掩模图像，在变换后图像中提取潜在误差相对大的区域的信息，并且，基于所提取的该信息和合成图像，决定对象图像的对应的像素位置的亮度值的步骤。
更优选地，在本方法中还包括，基于掩模图像，在变换后图像中，对潜在误差相对小的区域的信息进行逆取模计算，从而决定对象图像的对应的像素位置的亮度值的步骤。
更优选地，在决定亮度值的步骤中，在变换后图像的中对潜在误差相对大的区域的信息进行比特平面变换，并且，对通过该比特平面变换而比特数增大的图像与合成图像相加，从而决定亮度值。
更优选地，进行输出的步骤还包括输出对象图像的缩小图像的步骤，在该方法中还包括：在根据所决定的亮度值重建的对象图像中，对于与通过对缩小图像进行增采样而得的放大图像之间的差相对大的区域，将其置换为放大图像的对应的值。
优选地，进行选择的步骤包括：在多个图像是多视点图像的情况下，基于基线距离，选择对象图像以及第一参照图像及第二参照图像的步骤；在多个图像是影像帧列的情况下，基于帧速率，选择对象图像以及第一参照图像及第二参照图像的步骤。
根据本发明的另一方面，提供一种减小含有相互类似的信息的多个图像的数据量的程序。该程序使计算机执行如下步骤：取得多个图像，并且，在多个图像中选择与对象图像以及对象图像类似的第一参照图像及第二参照图像的步骤；基于第一参照图像及第二参照图像，生成与对象图像对应的合成图像的步骤；生成掩模图像的步骤，掩模图像表示根据第一参照图像及第二参照图像生成的合成图像相对于对象图像的潜在误差；生成与残差对应的残差图像的步骤，残差是指对象图像与合成图像之间的差；基于掩模图像，对潜在误差相对大的区域分配残差图像的对应的区域的信息，从而生成与对象图像对应的变换后图像的步骤；输出第一参照图像、第二参照图像及变换后图像，来作为表现对象图像、第一参照图像及第二参照图像的信息的步骤。
根据本发明的另一其它方面，提供一种减小含有相互类似的信息的多个图像的数据量的装置。本装置包括：取得多个图像，并且，在多个图像中选择与对象图像以及对象图像类似的第一参照图像及第二参照图像的单元；基于第一参照图像及第二参照图像，生成与对象图像对应的合成图像的单元；生成掩模图像的单元，掩模图像表示根据第一参照图像及第二参照图像生成的合成图像相对于对象图像的潜在误差；生成与残差对应的残差图像的单元，残差是指对象图像与合成图像之间的差；基于掩模图像，对潜在误差相对大的区域分配残差图像的对应的区域的信息，从而生成与对象图像对应的变换后图像的单元；输出第一参照图像、第二参照图像及变换后图像，来作为表现对象图像、第一参照图像及第二参照图像的信息的单元。
根据本发明的另一其它方面，提供一种表现含有相互类似的信息的多个图像的数据结构。本数据结构具有：与多个图像所含的对象图像对应的变换后图像；与对象图像类似的第一参照图像及第二参照图像；在变换后图像中，对于根据第一参照图像及第二参照图像生成的合成图像相对于对象图像的潜在误差相对大的区域，分配与残差对应的残差图像的对应的区域的信息，残差是对象图像与合成图像之间的差。
发明的效果
通过本发明，能够更加高效地减小含有相互类似的信息的多个图像的数据量。
附图说明
图1是表示应用本实施方式的数据量减小方法的立体影像再生系统(3Ddisplays reproduction system)1的图。
图2是表示本实施方式的含有相互类似的信息的多个图像(多视点图像)的一例的示意图。
图3是表示本实施方式的含有相互类似的信息的多个图像(影像帧列)的一例的示意图。
图4是表示图1所示的发挥编码器功能的信息处理装置的硬件结构的示意图。
图5是表示图1所示的发挥解码器功能的信息处理装置的硬件结构的示意图。
图6是表示本实施方式的数据量减小方法的全部处理步骤的流程图。
图7是表示本实施方式的数据量减小方法的编码处理的功能结构的框图。
图8是表示本实施方式的数据量减小方法中的合成图像的生成处理的结果的图。
图9是用于说明本实施方式的数据量减小方法中的掩模图像(maskimage)的生成处理的示意图。
图10是表示本实施方式的数据量减小方法中的掩模图像的生成处理的结果的图。
图11是用于说明本实施方式的数据量减小方法中的残差图像的生成处理的示意图。
图12是表示本实施方式的数据量减小方法中的残差图像的生成处理的结果的图。
图13是表示图7所示的余数图像生成部的更详细的功能结构的框图。
图14是用于说明在本实施方式的数据量减小方法中用于边信息选择的误差分布的计算处理的示意图。
图15是表示在本实施方式中生成余数图像时使用的查询表(lookup table)的一例的图。
图16是表示本实施方式的余数图像的生成处理的结果的图。
图17是表示本实施方式的合成图像的生成处理的结果的图。
图18是表示本实施方式的合成图像的生成处理的结果的图。
图19是表示本实施方式的数据量减小方法的对解码处理输入的对象图像的一例。
图20是表示根据图19所示的对象图像生成的残差图像的一例。
图21是表示根据图19所示的对象图像生成的余数图像的一例。
图22是表示根据图19所示的对象图像生成的掩模图像的一例。
图23是表示根据图19所示的对象图像生成的合成图像的一例。
图24是表示本实施方式的数据量减小方法的解码处理的功能结构的框图。
图25是用于说明本实施方式的数据量减小方法的解码处理的概要的示意图。
图26是用于说明本实施方式的数据量减小方法中的重建图像的生成处理的示意图。
图27是表示图24所示的余数图像生成部的更详细的功能结构的框图。
图28是表示通过本实施方式的第三变形例的数据量减小方法来生成的余数图像的一例。
图29是表示通过本实施方式的第四变形例的数据量减小方法来生成的残差图像的一例。
具体实施方式
参照附图来说明本发明的实施方式。此外，对于图中的同一或相当部分标注同一附图标记而不重复说明。
[A.应用例]
首先，为了容易理解本实施方式的数据量减小方法，说明典型的应用例。此外，本实施方式的数据量减小方法的应用范围并不限于以下所示的结构，而是能够应用到任意结构。
图1是表示应用本实施方式的数据量减小方法的立体影像再生系统1的图。参照图1，在立体影像再生系统1中，用多个摄像头10(摄像头阵列)以互不相同的多个视点来拍摄被拍摄体2，从而生成多视点图像，利用这样生成的多视点图像，来在立体显示装置300上显示立体影像。
更具体而言，立体影像再生系统1包括：发挥编码器功能的信息处理装置10，其从多个摄像头10接收来自各摄像头的图像(视差图像)；发挥解码器功能的信息处理装置200，其对从信息处理装置100传送来的数据进行解码，将多视点图像输出至立体显示装置300。信息处理装置100进行编码处理，并进行后述的数据压缩处理，从而生成适于保存及/或传送的数据。作为一例，信息处理装置100利用所连接的无线传送装置102，无线传送所生成的含有多视点图像的信息的数据(压缩数据)。该无线传送的数据，经由无线基站400等，被与信息处理装置200连接的无线传送装置202接收。
立体显示装置300包括：显示屏，其主要由扩散膜306及聚光透镜308构成；投影仪阵列304，其在显示屏上投影多视点图像；控制器302，其用于控制投影仪阵列304的各投影仪的投影图像。控制器302使投影仪投影出从信息处理装置200输出的多视点图像所含的(与投影仪对应的)各视差图像。
通过这样的装置结构，能够对于处于显示屏前的观察者提供被拍摄体2的再生立体像。此时，根据显示屏与观察者的相对位置的不同，进入观察者视野的视差图像也发生变化，观察者能够获得犹如处于被拍摄体2前的体验。
这种立体影像再生系统1一般用于电影院、娱乐设施等，在产业用途上，能够用于远程医疗系统、工业设计系统、公众查看(PublicViewing)等的电子广告系统。
[B.概要]
考虑到利用图1所示的摄像头阵列来拍摄被拍摄体2从而生成的多视点图像、视频等，构成该图像、视频等的图像间包含冗长的信息。本实施方式的数据量减小方法考虑到这种冗长信息，生成排除了冗长信息的数据。即，本实施方式的数据量减小方法及其所用的数据结构，能够减小含有相互类似的信息的多个图像的数据量。
本实施方式的数据量减小方法及其所用的数据结构，能够应用于上述那样的多视点数据表现(multi-view data representation)，并且，还能够应用于分散信源编码(distributedsourcecoding)。或者，本实施方式的数据量减小方法及其所用的数据结构，能够应用于影像帧表现(videoframesrepresentation)，还能够应用于分散影像帧编码(distributedvideoframes coding)。此外，本实施方式的数据量减小方法能够作为单独处理应用，也能够作为数据传送前的前处理的一部分来应用。
假设用图1所示那样的摄像头阵列拍摄的多视点图像，其中对于几个图像使其保持原样不变，对于其它几个图像，将其变换为通过编码器来除去了冗长信息后的图像(后述的合成图像)。在使用所拍摄的全部图像时，对于保持原样不变的图像取得(推断)距离图像。
利用保持原样不变的图像及距离图像，合成(推断)出变换为合成图像的图像位置上的假想视野。距离图像也能够用于解码处理(对变换后图像进行逆变换的处理/返回本来的图像形式的处理)。就针对保持原样不变的图像的距离图像而言，在逆变换处理中，也可以使用该保持原样不变的图像来重建其距离图像。
就变换后图像而言，基于掩模图像，分配残差图像(residual image)的对应的区域的信息，从而生成变换后图像，所述掩模图像表示由保持原样不变的图像及距离图像合成的图像相对于变换对象的图像的潜在误差。更具体而言，就变换后图像而言，针对该合成图像相对于对象图像的潜在误差相对大的区域，分配残差图像的对应的区域的信息。典型地，在图像变换前生成掩模图像。
进而，在变换后图像中，对于没有分配残差图像的区域，也可以分配余数图像(remainderimage)的对应的区域的信息。即，也可以按照掩模图像来组合余数图像的亮度值与残差图像的亮度值，从而生成变换后图像。
这样，在本实施方式的变换后图像是通过组合多个信息而构成的情况下，在以下的说明中，为了方便将其称为“合成图像”。
残差图像是基于对象的图像与假想图像生成的。
余数图像是利用边信息生成的，所述边信息是成为变换对象的图像的位置上的假想视野信息。在所输入的图像是多视点图像的情况下，将所合成的假想图像(假想视野)用作边信息。或者，也可以利用保持原样不变的图像及距离图像来合成假想图像，将该合成的图像用作边信息。根据边信息来生成余数图像时，生成梯度图像(gradient image)。各梯度的值是整数值，利用该整数值来执行取模计算或逆取模计算。
此外，也可以将用于向合成图像进行变换的对象图像本身用作边信息。在该情况下，在解码处理中无法直接使用对象图像，因此，将对所合成的假想图像及/或对象图像进行缩小后的图像用作边信息。
另一方面，在所输入的图像是影像帧列的情况下，能够将在帧自身之间内插或外插的帧用作边信息。
图2及图3是表示本实施方式的含有相互类似的信息的多个图像的一例的示意图。参照图2的(a)部分，例如，如图1所示那样利用邻近配置的多个摄像头(摄像头阵列)来拍摄被拍摄体，从而生成视差图像群，所述视差图像群具有与所对应的摄像头位置相对应的视差。在这些视差图像群中，如果关注某对象图像170，则其视野(target view)常常与利用位于邻近摄像头位置的摄像头拍摄的其它图像(以下也称为“参照图像”。)的视野(referenceview(s))至少部分重叠，因这种视野重叠，导致在对象图像170及参照图像172、182之间存在冗长信息。反过来说，在这种状況下，根据参照图像172、182所具有的信息和某些附加信息，就能够重建对象图像170所含的信息。
本实施方式的数据量减小方法，生成合成图像190并输出该合成图像190来取代对象图像170，该合成图像190能够根据邻近的参照图像172、182的信息来重建对象图像170的信息。基本上，就合成图像190而言，在对象图像170所具有的信息中，在参照图像172、182所含的信息中插补不足的信息，与原样输出对象图像170的情况相比，能够排除冗长性。因此，与原样输出对象图像170及参照图像172、182的情况相比，能够减小数据量。
如后述，对象图像170及参照图像172、182只要含有相互类似的信息，则能够以任意间隔进行选择。例如，如图2的(b)部分所示，就相同的参照图像172及182而言，针对对象图像170-1、170-2、170-3，可以分别生成合成图像190-1、190-2、190-3。即，针对一对参照图像，能够将一个或多个对象图像变换为合成图像。
另外，如图3的(a)部分所示，对于影像帧列也能够适用同样的逻辑。即，通常的动图像的帧周期很短，因此，如果恰当地选择邻近的帧，则能够使它们所含的信息的一部相互重复。因此，能够将某帧的图像作为对象图像170，参照邻近的帧的参照图像172、182来生成合成图像190，能够减小数据量。
对于影像帧列也是同样地，对象图像170及参照图像172、182只要含有相互类似的信息，则能够以任意间隔进行选择。例如，如图3的(b)部分所示，就相同的参照图像172及182而言，针对对象图像170-1、170-2、170-3，可以分别生成合成图像190-1、190-2、190-3。即，针对一对参照图像，能够将一个或多个对象图像变换为合成图像。
本实施方式的数据量减小方法，能够作为单独方法来使用，有时也作为数据传送前的前处理的一部分来使用。
此外，在本说明书中，“拍摄”不仅是指使用现实的摄像头来取得被拍摄体的图像，还包括如下处理：例如，如计算机绘图那样，在假想空间上配置某些对象，从针对所该配置的对象任意设定的视点来渲染图像(即，假想空间上的假想拍摄)。
在本实施方式中，在对被拍摄体进行拍摄的摄像头阵列中，摄像头能够任意配置。例如，能够这样采用任意配置：一维排列(摄像头配置在直线上)、二维元排列(摄像头配置成矩阵状)、圆状排列(摄像头沿着圆周的全部或一部分配置)、螺旋排列(摄像头配置成螺旋状)、随机配置(没有任何规则地配置摄像头)。
[C.硬件结构]
下面，说明用于实现本实施方式的数据量减小方法的硬件的结构例。图4是表示图1所示的发挥编码器功能的信息处理装置100的硬件结构的示意图。图5是表示图1所示的发挥解码器功能的信息处理装置200的硬件结构的示意图。
参照图4，信息处理装置100包括：处理器104、存储器106、摄像头接口108、硬盘110、输入部116、显示部118、通信接口120。这些各组件经由总线122而以相互能够进行数据通信的方式构成。
处理器104，读取并展开执行存储在硬盘110等中的程序，从而能够实现本实施方式的编码处理。存储器106发挥工作存储器的功能，用于处理器104执行处理。
摄像头接口108与多个摄像头10相连接，取得各个摄像头10拍摄的图像。所取得的图像可以存储在硬盘110或存储器106中。硬盘110以非易失性的方式保存包含所取得的图像的图像数据112、用于实现编码处理及数据压缩处理的编码程序114。处理器104读取并执行编码程序114，从而实现后述的编码处理。
输入部116典型地包括鼠标、键盘等，接受来自用户的操作。显示部118将处理结果等通知给用户。
通信接口120与无线传送装置102等连接，将处理器104的处理结果的输出数据输出至无线传送装置102。
参照图5，信息处理装置200包括处理器204、存储器206、投影仪接口208、硬盘210、输入部216、显示部218、通信接口220。这些各组件经由总线222而以相互能够进行数据通信的方式构成。
处理器204、存储器206、输入部216及显示部218，分别与图4所示的处理器104、存储器106、输入部116及显示部118相同，在此不重复说明。
投影仪接口208与立体显示装置300连接，将由处理器204解码出的多视点图像输出至立体显示装置300。
通信接口220与无线传送装置202等相连接，接收从信息处理装置100发送来的图像数据，将其输出至处理器204。
硬盘210以非易失性的方式保存包括解码后的图像的图像数据212、用于实现解码处理的解码程序214。处理器204读取并执行解码程序214，从而实现后述的解码处理。
图4及图5所示的信息处理装置100及200的硬件自身及其动作原理是通常的技术，用于实现本实施方式的编码处理/解码处理的本质部分是在硬盘等的存储介质中存储的编码程序114、解码程序214等的软件(指令代码)。编码程序114及/或解码程序214，也可以使用由OS(OperatingSystem：操作系统)所提供的模块来执行处理。在该情况下，编码程序114及/或解码程序214虽然不包括一部分的模，但这种情况也包含在本发明的技术范围内。
信息处理装置100及/或信息处理装置200的全部或一部分功能也可以采用ASIC(ApplicationSpecificIntegratedCircuit：专用集成电路)等的专用集成电路来实现，也可以采用FPGA(Field-ProgrammableGateArray：现场可编程门阵列)、DSP(DigitalSignalProcessor：数字信号处理器)等的可编程硬件来实现。
另外，如后述，在用于进行图像管理的数据服务器等中，编码处理及解码处理由单一的信息处理装置执行。
[D.全部处理步骤]
接下来，说明本实施方式的数据量减小方法的全部处理步骤。图6是表示本实施方式的数据量减小方法的全部处理步骤的流程图。图6所示的数据量减小方法主要由编码处理构成，但在实际应用中，也包括用于将编码后的数据重建成原始图像的解码处理。在图1所示那样的立体影像再生系统1中，编码处理及解码处理分别由不同的信息处理装置执行。另一方面，在用于存储图像的服务器系统等中，单一的信息处理装置执行编码处理及解码处理。即，执行编码处理来作为在数据存储前的前处理，在数据重建时执行解码处理。任何情况下，典型地都由处理器执行程序，来实现各步骤的处理。
参照图6，作为编码处理，执行步骤S100～S112的处理。具体而言，处理器104取得含有相互类似的信息的多个图像，将所取得的图像存储至规定存储区域，并且，将所取得的多个图像中的一个图像设定为对象图像，将与该对象图像类似的至少两个图像设定为参照图像(步骤S100)。即，处理器104取得含有相互类似的信息的多个图像，并且，在多个图像中选择对象图像及与对象图像类似的两个参照图像。
接着，处理器104基于所设定的两个参照图像，生成与对象图像对应的合成图像(步骤S102)，并且，根据两个参照图像及各自的距离图像来生成掩模图像(步骤S104)。该掩模图像，表示根据两个参照图像生成的合成图像相对于对象图像的潜在误差。
接着，处理器104根据对象图像及合成图像来生成残差图像(步骤S106)。残差图像，是对象图像与合成图像的差所对应的图像。
另外，处理器104根据对象图像及合成图像等来生成余数图像(步骤S108)。更具体而言，在步骤S108的生成余数图像的处理中，处理器104基于对象图像及合成图像的一部分或全部，来生成边信息(步骤S1081)。边信息是对象图像的位置上的假想视野的信息，含有用于根据余数图像及参照图像来重建对象图像所需的信息。接着，处理器104根据所生成的边信息来生成梯度图像(步骤S1082)。然后，处理器104根据所生成的梯度图像来计算出各像素位置的余数(步骤S1083)。
接着，处理器104根据掩模图像、残差图像及余数图像，来生成合成图像(步骤S110)。最后，处理器104至少输出合成图像及参照图像，来作为与对象图像及参照图像对应的信息(步骤S112)。即，处理器104输出两个参照图像及合成图像，来作为表现对象图像及两个参照图像的信息。
作为解码处理，执行步骤S200～S214的处理。具体而言，处理器204取得作为编码处理的结果而输出的信息(步骤S200)。即，处理器204取得至少输出的两个参照图像及合成图像。
接着，处理器204基于所取得的信息所含的参照图像，来生成与对象图像对应的合成图像(步骤S202)，并且，根据两个参照图像及各自的距离图像来生成掩模图像(步骤S204)。
接着，处理器204基于所生成的掩模图像，将合成图像分离为残差图像区域与余数图像区域(步骤S206)。然后，处理器204根据合成图像及分离出来的残差图像区域，来重建与对象图像的对应的区域(步骤S208)，然后，根据合成图像及分离出来的余数图像区域，来重建与对象图像的对应的区域(步骤S210)。
更具体而言，在步骤S210的重建与余数图像对应的区域的处理中，处理器204根据所取得的信息来生成边信息(步骤S2101)。接着，处理器204根据所生成的边信息来生成梯度图像(步骤S2102)。然后，处理器204根据边信息、梯度图像及余数图像，来决定对象图像的各像素位置上的亮度值(步骤S2103)。
最后，处理器204将与残差图像对应的重建后的区域，和与余数图像对应的重建后的区域相组合，来重建对象图像(步骤S212)，并且，输出重建后的对象图像及参照图像(步骤S214)。
[E.编码处理]
接下来，相信说明本实施方式的数据量减小方法的编码处理(图6的步骤S100～S112)。
《e1：功能结构》
图7是表示本实施方式的数据量减小方法的编码处理的功能结构的框图。参照图7，信息处理装置100包括输入图像缓存器150、距离信息推断部152、距离信息缓存器154、图像合成部158、掩模推断部160、残差图像生成部162、余数图像生成部164、下采样部166、图像结合部168，来作为其功能结构。
《e2：输入图像及距离图像的取得》
图6的步骤S100所示的图像取得处理，是通过图7的输入图像缓存器150、距离信息推断部152及距离信息缓存器154来实现的。具体而言，信息处理装置100接收由多个摄像头10(摄像头阵列)拍摄的由多个视差图像构成的多视点图像，并将其存储至输入图像缓存器150中。或者，信息处理装置100可以接收由按照帧顺序配置的图像构成的一系列影像，并将其存储至输入图像缓存器150。这些输入图像成为处理对象。为了简化说明，以一个对象图像170与两个参照图像172、182作为单元(set)来进行说明，但只要是根据所要求的数据量的减小率、信息处理装置100的处理能力等，针对任意数的单元来应用本实施方式的数据量减小方法即可。
另外，对象图像170及参照图像172、182必须含有相互类似的信息，因此，针对多视点图像，优选基于对象图像170及参照图像172、182的基线距离来选择对象图像170及参照图像172、182。即，根据它们之间所产生的视差，来选择对象图像170及参照图像172、182。另外，对于影像帧列(动图像)，基于帧速率来选择成为对象的帧。即，图6的步骤S100的处理包括如下的处理：在多个图像是多视点图像时(参照图2)，基于基线距离来选择对象图像170及参照图像172、182；在多个图像是影像帧列(参照图3)时，基于帧速率来选择对象图像170及参照图像172、182。
在图7中，对于对象图像170，将其标记为“VT”，意思是对象图像170所表现出的对象视野(target view forrepresentation)；对于位于对象图像170右侧的参照图像172，将其标记为“VR”，意思是位于对象图像170右侧的原视野(original view at theright side of VT)；对于位于对象图像170左侧的参照图像182，将其标记为“VL”，意思是位于对象图像170左侧的原视野(original view at theleftsideofVT)。此外，采用右侧及左侧这样的表现方式，是为了说明上的方便，有时也不一定要求与现实摄像头配置一致。
在本实施方式的数据量减小方法中，如后述，有时也会利用参照图像172及182的距离图像，来生成与对象图像对应的合成图像176。因此，能够采用任意的方法来取得或者推断出参照图像172的距离图像174及参照图像182的距离图像184。
例如，在使用图1所示那样的摄像头阵列的情况下，除了取得表示被拍摄体的图像之外，有时还能够同时取得距离图像。如果考虑到编码处理中的对象图像170的重建处理，在参照图像和所对应的距离图像之间，优选视野不变。因此，可能的话，优选利用这种摄像头阵列来取得各自的距离图像。此时，同时将参照图像及所对应的距离图像输入至信息处理装置。因此，在能够取得与参照图像对应的距离图像的情况下，不一定需要图7所示的距离信息推断部152。
在图7中，对于与参照图像172对应的距离图像174，将其标记为“DR”，意思是其位置上的距离图像(depthmap at thelocationofVR)；对于与参照图像182对应的距离图像184，将其标记为“DL”，意思是其位置上的距离图像(depthmap at thelocationofVL)。
在所输入的多个图像是多视点图像的情况下，即，无法使用针对视野的距离图像时，或无法使用距离摄像头时，距离信息推断部152生成分别与参照图像172及182对应的距离图像174及184。作为距离信息推断部152所采用的距离图像的推断方法，能够兼用非专利文献4所公开的那样的能量优化来基于立体匹配采样各种方法。例如，也能够采用非专利文献5所公开的那样的图割(graph cuts)来进行优化。
由距离信息推断部152生成的距离图像174及184被存储至距离信息缓存器154中。
此外，在所输入的多个图像是影像帧列(动图像)的情况下，不一定要取得距离图像。
在以下的说明中，作为典型例，主要说明输入数据的一个单元包含对象图像170、参照图像172及所对应的距离图像174以及参照图像182及所对应的距离图像184的情况。
《e3：合成图像的生成》
图6的步骤S102所示的合成图像的生成处理，是由图7的图像合成部158实现的。更具体而言，图像合成部158利用参照图像172及所对应的距离图像174以及参照图像182及所对应的距离图像184，来生成表示对象图像170的位置上的假想视野的合成图像176。在图7中，对于该合成图像176，将其标记为表示对象视野的假想视野的“VT(virtual)”。作为这种图像合成方法，例如能够采用非专利文献6及非专利文献7所公开的那样的方法。另外，在距离图像的精度低的情况下，能够通过非专利文献8及非专利文献9所公开的那样的内插处理，来生成合成图像176。
图8是表示本实施方式的数据量减小方法中的合成图像的生成处理的结果的图。如图8所示，根据参照图像172及所对应的距离图像174、参照图像182及所对应的距离图像184，来生成与对象图像170对应的合成图像176。
另外，在所输入的多个图像是影像帧列(动图像)的情况下，能够根据与两个参照图像172及182对应的帧的信息来进行内插处理或外插处理，从而生成与对象图像170对应的帧的信息，将其作为合成图像176使用。
《e4：掩模图像生成》
图6的步骤S104所示的掩模图像的生成处理，是由图7的掩模推断部160实现的。更具体而言，掩模推断部160利用参照图像172及所对应的距离图像174、参照图像182及所对应的距离图像184，来生成表示合成图像176相对于对象图像170的潜在误差(potentialerror)的掩模图像180。掩模图像180由两个区域构成，这些区域分别对应于误差相对大的区域及误差相对小的区域这两个区域。
图9是用于说明本实施方式的数据量减小方法中的掩模图像180的生成处理的示意图。参照图6，掩模推断部160针对位于对象图像170右侧的参照图像172及位于对象图像170左侧的参照图像182，利用各自的距离图像174及184，将它们3D变形(3D warping)至另一方图像的位置，从而生成各自的变形图像。关于3D变形的详细方法，可以参照非专利文献6等。即，掩模推断部160针对参照图像172，利用其距离图像174对其进行3D变形，从而生成与参照图像182的假想视野对应的变形图像183(标记为“VL’”)。另外，掩模推断部160针对参照图像182，利用其距离图像184对其进行3D变形，从而生成与参照图像172的假想视野对应的变形图像173(标记为“VR’”)。
接着，掩模推断部160，在变形图像的投影的像素位置与所对应的参照图像的像素位置之间，计算亮度差(绝对值)。即，掩模推断部160，在变形图像173与参照图像172之间，针对所对应的各像素位置，分别计算亮度差(绝对值)，从而生成误差图像175(标记为“eR”)。同样地，掩模推断部160，在变形图像183与参照图像182之间，针对所对应的各像素位置，分别计算亮度差(绝对值)，从而生成误差图像185(标记为“eL”)。误差图像175及185分别表示右侧及左侧的参照图像(参照图像172及184)的误差的推断值。
接着，针对误差图像175及185，执行二进制处理。即，掩模推断部160将误差图像175及185的各像素位置的亮度值与阈值相比较，区别其亮度值比预先设定的阈值低的区域和高的区域。其结果，根据误差图像175及185，将比阈值低的区域的像素置为“0”，将其它区域置为某个整数值(典型地，“1”)，从而生成二进制误差图像177及187。
进而，掩模推断部160针对二进制误差图像177及187，利用分别与它们对应的距离图像174及184，将它们3D变形至对象图像170的位置，从而生成二进制误差变形图像179及189。最后，掩模推断部160使二进制误差变形图像179与二进制误差变形图像189合为一体，生成相对于对象图像170的误差的推断值，即掩模图像180。更具体而言，掩模推断部160在二进制误差变形图像179与二进制误差变形图像189之间，针对各像素位置求与(逻辑与，AND)，从而计算出掩模图像180。
此外，可以对计算出的掩模图像180执行过滤处理。通过过滤处理，能够降低所计算出的掩模图像所含的噪声成分。作为这种过滤处理，能够采用高斯(Gaussian)、中间(Median)、形态(morphological)操作(例如，膨胀(dilation)处理、收缩(erosion)处理等)这样的各种方法。
在该掩模图像180中，用“0”表示参照图像间的误差小的区域，用其它整数值(例如，“1”)表示参照图像间的误差大的区域。这样一来，图6的步骤S104所示的掩模图像的生成处理包括如下处理：将掩模图像180的各像素位置的值与预定的阈值进行比较，从而区别潜在误差相对大的区域和潜在误差相对小的区域。
图10是表示本实施方式的数据量减小方法中的掩模图像180的生成处理的结果的图。如图10所示，根据参照图像172及所对应的距离图像174、参照图像182及所对应的距离图像184，来生成与对象图像170对应的掩模图像180。
此外，在图6所示的掩模图像180的生成处理中，作为处理例，针对误差图像175及185执行阈值处理，从而生成二进制误差图像177及187，但也可以在掩模图像180的生成之前进行该阈值处理。即，可以对于误差图像175及185分别利用其距离图像174及184进行3D变形，针对在3D变形的图像间结合而得的图像，执行阈值处理，从而生成掩模图像180。
《e5：残差图像生成》
图6的步骤S106所示的残差图像的生成处理，是由图7的残差图像生成部162实现的。更具体而言，残差图像生成部162在对象图像170与合成图像176之间计算出对应的像素之间的亮度值的差，从而生成残差图像186。残差图像186含有合成误差信息，该合成误差信息表示合成图像176相对于对象图像170而具有何种程度的误差。将残差图像186标记为“VT(residual)”，表示残差。
图11是用于说明本实施方式的数据量减小方法中的残差图像186的生成处理的示意图。参照图11，残差图像生成部162，在根据参照图像172及所对应的距离图像174、参照图像182及所对应的距离图像184来生成的合成图像176与对象图像170之间，计算出亮度值的差分，从而计算差分图像186A。
如果用n比特(例如，8比特)表现合成图像176及对象图像170的各像素位置的亮度值，则各像素位置的亮度值为0～2n的范围，因此，通过差分计算，差分图像186A的各像素位置的亮度值成为-2n～2n的范围。即，差分图像186A的各像素位置的亮度值成为用(n+1)比特来表现。然而，各像素位置的亮度值通常用n比特(0～2n的范围)来表现，因此，残差图像生成部162将用(n+1)比特表现的差分图像186A变换为用n比特表现，从而生成残差图像186。即，残差图像生成部162针对根据对象图像170与合成图像176的差来生成的差分图像186A，执行比特平面变换(bit planeconversion)，从而生成更少比特数的图像。该比特平面变换，能够采用任意方法，但典型的包括删除最下位比特的处理。
图12是表示本实施方式的数据量减小方法中的残差图像186的生成处理的结果的图。如图12所示，根据对象图像170以及参照图像172及182，来生成与对象图像170对应的残差图像186。
《e6：余数图像生成》
图6的步骤S108所示的余数图像的生成处理，是由图7的余数图像生成部164及下采样部166来实现的。更具体而言，按照图6的步骤S1081～S1083的各自所示的处理，根据边信息及梯度图像来计算各像素位置的余数。即，图6的步骤S108所示的余数图像的生成处理包括如下处理：针对对象图像170的各像素位置的亮度值进行取模计算，来计算出各像素位置的余数，从而生成由各像素位置的余数构成的余数图像188。将余数图像188标记为表示余数的“VT(remainder)”。
图13是表示图7所示的余数图像生成部164的更详细功能结构的框图。参照图13，余数图像生成部164包括边信息选择部1641、梯度图像生成部1642、系数选择部1643、查询表(loolup table)1644、取模计算部1645。
《e6-1：边信息的生成》
图6的步骤S1018所示的边信息的生成处理，是由图7的下采样部166及图13的边信息选择部1641来实现的。边信息是对象图像170的位置上的假想视野的信息，是利用对象图像170、对象图像170的缩小图像、合成图像176及组合对象图像170的缩小图像与合成图像176而成的图像等来生成的。边信息选择部1641适当地选择所输入的信息(图像)，输出边信息192。在图13中，将边信息192标记为“VT(side information)”。
下采样部166根据对象图像170来生成缩小图像178。在图7中，将该缩小图像178标记为“VT(sub-sampled)”，意思是通过对对象图像170进行下采样而得来的。
下采样部166中的缩小图像178的生成处理，能够采用任意方法。例如，能够从对象图像170中，针对每个规定区域，提取该规定区域所含的一个像素信息，将其作为缩小图像178输出。
或者，可以采用任意的过滤处理(例如，最近旁法、内插法、双三次法(bicubic interpolation)、双边滤波器(bilateral filter)来生成缩小图像178。例如，将对象图像170分割为规定大小的区域(例如，2×2像素、3×3像素等)，在各区域中，针对该区域所含的多个像素的信息，进行线性或非线性的插补处理，从而能够生成任意大小的缩小图像178。
作为生成边信息192的方法，典型地，能够从以下所示的(a)-(d)这四个方法中任意选择。
(a)采用对象图像170本身作为边信息192的情况：
边信息选择部1641将所输入的对象图像170直接原样作为边信息192输出。另外，在解码处理中，由于无法直接使用对象图像170本身，因此使用根据参照图像而生成的合成图像来作为边信息。
(b)采用对象图像170的缩小图像178来作为边信息192的情况：
边信息选择部1641，将由下采样部166生成的缩小图像178直接原样作为边信息192输出。
(c)采用合成图像176作为边信息192的情况：
边信息选择部1641，将由图像合成部158生成的合成图像176，直接原样作为边信息192输出。
(d)采用缩小图像178和合成图像176的组合来作为边信息192的情况：
边信息选择部1641按照后述的方法来生成边信息192。在该情况下，图6的步骤S1018所示的边信息的生成处理包括如下处理：组合对象图像170的缩小图像178与合成图像176，从而生成边信息192。
更具体而言，边信息选择部1641首先计算出用于进行组合的加权系数。该加权系数，与合成图像176相对于对象图像170的缩小图像178的可靠度分布相关联。即，基于合成图像176与缩小图像178(对象图像170)之间的误差(或者，两者的一致程度)，来决定加权系数。计算出的误差分布，相当于将可靠度分布反转后的值，可知误差越小则可靠度越高。即，越是误差大的区域，合成图像176的可靠性越低，因此，对于这种区域，分配更多的缩小图像178(对象图像170)的信息。另一方面，越是误差小的区域，合成图像176的可靠性越高，因此，分配更多的误差更小的合成图像176的信息。
图14是用于说明在本实施方式的数据量减小方法中用于边信息选择的误差分布的计算处理的示意图。参照图14，边信息选择部1641，在通过对于对象图像170的缩小图像178(VT(sub-sampled))进行增采样(upsampling)而得的放大图像198和合成图像176(VT(virtual))之间，在所对应的像素间取亮度值的绝对值的差分，由此决定误差分布R。对缩小图像178进行增采样的原因在于，使其与合成图像176大小一致，以及假设重建对象图像170的处理中的处理来计算误差。作为对缩小图像178进行增采样的方法，能够采用公知的方法。例如，能够采用最近旁法、内插法、双三次法、双边滤波器等的任意过滤处理。
这样一来，边信息选择部1641在选择(d)的方式的情况下，基于通过对缩小图像178进行增采样而得的放大图像198与合成图像176的差，来决定误差分布。边信息选择部1641，基于所决定的误差分布R，对缩小图像178(或者，放大图像198)与合成图像176进行组合，从而生成边信息192。作为利用计算出的误差分布R来生成边信息192的方法，可以采用各种方法，例如可以采用以下的处理例。
(i)处理例1：二进制加权组合法(binary weighted combination)
在本处理例中，利用任意的阈值将计算出的误差分布R分类为两个区域。典型地，将其误差比阈值高的区域设为Hi(高)区域，其误差比阈值低的区域设为Lo(低)区域。然后，对于边信息192的各像素，与误差分布R的Hi区域及Lo区域对应地，分配缩小图像178(实质上是放大图像198)或合成图像176的信息。更具体而言，对于与误差分布R的Hi区域对应的边信息192的像素位置，分配通过对缩小图像178进行增采样而得的放大图像198的对应的像素位置的值，对于与误差分布R的Lo区域对应的像素位置，分配合成图像176的对应的像素位置的值。
即，如果用SS表示放大图像198(对缩小图像178进行增采样后的图像)，用SY表示合成图像176，则边信息192(用“SI”表示)的像素位置(x，y)中的值可以用规定阈值TH表示如下。
SI(x，y)＝SS(x，y){ifR(x，y)≥TH}
＝SY(x，y){ifR(x，y)＜TH}
这样一来，在本处理例中，边信息选择部1641，对于误差相对高的区域，分配通过对缩小图像178进行增采样而得的放大图像198的信息，并且，对于误差相对低的区域，分配合成图像176的信息。
(ii)处理例2：离散加权组合法(discrete weighted combination)
在本处理例中，利用(n-1)个阈值将计算出的误差分布R分类为n种区域。如果将分类出的区域的编号k按照误差从低到高的顺序设为1、2、……、n，则用分类出的区域的编号k来如下表示边信息192(SI)的像素位置(x，y)中的值。
SI(x，y)＝(k/n)×SY(x，y)+(1-k/n)×SS(x，y)
这样一来，在本处理例中，边信息选择部1641，对于误差相对高区域，分配通过对缩小图像178进行增采样而得的放大图像198的信息，并且，对于误差相对低的区域，分配合成图像176的信息。
(iii)处理例3：连续加权组合法(continuous weighted combination)
在本处理例中，将像素位置的误差的倒数视为加权系数，使用该加权系数来计算边信息192。具体而言，边信息192的像素位置(x，y)中的值SI(x，y)表示如下。
SI(x，y)＝(1/R(x，y))×SY(x，y)+(1-1/R(x，y))×SS(x，y)
这样一来，在本处理例中，边信息选择部1641，对于误差相对高区域，分配通过对缩小图像178进行增采样而得的放大图像198的信息，并且，对于误差相对低的区域，分配合成图像176的信息。在本处理例中，误差越高则放大图像198(缩小图像178)越占优势，误差越低则合成图像176越占优势。
《e6-2：梯度图像的生成》
图6的步骤S1082所示的梯度图像的生成处理，是通过图13的梯度图像生成部1642来实现的。更具体而言，梯度图像生成部1642根据边信息192生成表示在图像空间中的变化的梯度图像196。梯度图像196是这样的图像：边信息192内的纹理(texture)变化越大的区域，越具有更大的亮度。在图13中，将梯度图像196表示为“VT(gradient)”。作为梯度图像196的生成处理，能够使用任意的过滤处理。另外，梯度图像196的各像素的值，被标准化为规定范围内(例如，0～255)的任意整数值。
典型地，按照如下处理步骤来生成梯度图像196。
(a)将边信息192重置为所输出的余数图像的图像大小。
(b)针对重置大小后的边信息，为了除去噪声而应用高斯滤波(高斯平滑处理)。
(c)按照彩色成分(color components)来对滤波后的边信息进行分离別(即，按照彩色成分来生成灰度图像)。
(d)针对各彩色成分的灰度图像，执行(d1)～(d4)的处理。
(d1)边缘检测处理
(d2)(一次以上的)高斯平滑处理(或者，中间滤波处理)
(d3)一系列形态处理(例如，(一次以上的)膨胀处理、(一次以上的)收缩处理、(一次以上的)膨胀处理)
(d4)(一次以上的)高斯平滑处理
通过如上那样的处理，按照构成边信息192的彩色成分来生成梯度图像。即，图6的S1082所示的梯度图像196的生成处理包括如下处理：对于构成边信息192的各彩色成分的灰度图像，按顺序应用(执行)边缘检测处理、平滑处理、一系列形态处理及平滑处理。通过这些处理，生成边信息192所含的彩色成分的数目的灰度图像，分别针对各灰度图像生成梯度图像。
这里所示的处理步骤仅为一例，能够适当地设计高斯平滑处理、形态处理的处理内容、处理步骤等。
进而，也可以采用生成疑似梯度图像的处理。即，只要能够生成在边信息192内越是纹理变化大的区域则该区域亮度越大的图像，则可以采用任意的过滤处理。
《e6-3：余数的计算》
图6的步骤S1083所示的余数的计算处理，是由图13的系数选择部1643、查询表1644及取模计算部1645来实现的。余数图像188表示对梯度图像196的各像素位置上的值进行取模计算而得的余数。每次进行该取模计算时，根据梯度图像196的各像素位置的值，选择作为除数的系数D。系数选择部1643根据梯度图像196的各像素位置的值来选择系数D。
这样一来，图6的步骤S1083所示的余数的计算处理包括如下处理：针对梯度图像196的各像素位置，决定与梯度对应的系数D，并且，对于对象图像170的各像素位置的亮度值，以所对应的系数D作为除数来进行取模计算，通过取模计算计算出各像素位置的余数，从而生成由所述余数构成的余数图像188。
作为系数D的选择方法，能够采用任意的方法。例如，能够将梯度图像196的值本身选择作为系数D。但是，为了提高解码后的图像品质，在本实施方式中，针对梯度图像196以非线性方式决定系数D。具体而言，参照查询表1644，选择与梯度图像196的各像素位置对应的系数D。在此，针对梯度图像196所含的各彩色成分的各像素位置来决定系数D。
这样一来，图6的步骤S1083所示的余数的计算处理包括如下处理：参照预定的对应关系，选择与梯度对应的系数D。此时，针对梯度图像196的各像素位置，按照彩色成分来分别决定系数D。
图15是表示本实施方式的用于生成余数图像的查询表1644的一例的图。如图15的(a)部分所示，选择离散为多个阶段的与梯度图像196的各像素位置的值对应的系数D。在图15的(a)部分所示的查询表1644中，成为取模计算方法的值是2的阶乘。这样分配系数D，能够使取模计算高速化。查询表1644能够任意设计，例如，也可以是图15的(b)部分所示那样的，采用阶段数更少的查询表1644。进而，也不一定非要使用查询表，而可以使用预定的函数等来决定系数D。
回到图13，系数选择部1643针对梯度图像196的各像素位置，按照彩色成分来分别选择系数D。使用根据梯度图像196决定的系数D，取模计算部1645对于对象图像170执行取模计算来计算出余数。
取模计算部1645以对应的系数D作为除数，针对各像素位置的亮度值进行取模计算。更具体而言，决定出使得各像素位置的亮度值P＝q×D+m(其中，q≥0，D＞0)成立的最小的m。在此，q是商，m是余数。
在后述的对象图像170的重建处理(解码处理)中，由于计算出“亮度值P＝q’×D+m”，因此，将在各像素位置中计算出的按照彩色成分来区分的余数m作为余数图像188保存。即，各像素位置的余数构成余数图像188。
可以采用公知的缩小方法或增采样方法，来将余数图像188重置为任意的大小。
图16是表示本实施方式的余数图像的生成处理的结果的图。如图16所示，根据参照图像172及182来生成针对对象图像170的余数图像188。
《e7：合成图像生成》
图6的步骤S110所示的合成图像的生成处理及步骤S112所示的处理结果的输出处理，是通过图7的图像结合部168来实现的。图像结合部168按照掩模图像180，使残差图像186及余数图像188结合，从而生成合成图像190。对于合成图像190，标记为“VT(hybrid)”。
更具体而言，图6的步骤S110所示的合成图像的生成处理包括如下处理：基于掩模图像180，对于潜在误差相对大的区域分配残差图像186的对应的区域的信息，从而生成与对象图像170对应的变换后图像(合成图像190)。进而，图6的步骤S110所示的合成图像的生成处理包括如下处理：基于掩模图像180，对于潜在误差相对小的区域分配余数图像188的对应的区域的信息。
图像结合部168，根据掩模图像180的各像素位置的值，选择残差图像186及余数图像188中的一方(图像)，将其对应的像素位置的值作为合成图像190的对应的像素位置的亮度值输出。更具体而言，就图像结合部168而言，如果掩模图像180的值是“0”，则采用余数图像188的对应的像素位置的值，如果掩模图像180的值是“0”以外的值，则采用残差图像186的对应的像素位置的值。即，掩模图像180的各像素位置的值表示参照图像间的误差的大小，其值是“0”时(误差相对小时)，选择重建后的图像品质更高的余数图像188，其值是“0”以外的值时(误差相对大时)，选择信息量更少的残差图像186。这样一来，根据掩模图像180所含的两个区域，选择性地使残差图像186与余数图像188结合，从而生成合成图像190。
这样一来，就用于表现含有相互类似的信息的多个图像的合成图像190而言，对于根据参照图像172及182生成的合成图像176相对于对象图像170的潜在误差相对大的区域，分配与对象图像170与合成图像176的差对应的残差图像186的对应的区域的信息。
如上述，通过适当组合残差图像186及余数图像188来生成合成图像190，能够减小数据量，并且，能够更加恰当地确保重建后的图像品质。
图17及图18是表示本实施方式的合成图像的生成处理的结果的图。如图17所示，基于掩模图像180，通过适当组合残差图像186及余数图像188，来生成合成图像190。由此，如图18所示，根据参照图像172及182来生成针对对象图像170的合成图像190。
作为本实施方式的数据量减小方法的编码处理的最终输出(信息)，至少保存所输入的参照图像172及182、作为处理结果的合成图像190。可选地，也可以输出参照图像172的距离图像174及参照图像182的距离图像184。另外，可选地，也可以同时输出余数图像188和缩小图像178。作为这些选项而附加的信息(图像)，可以根据解码处理中的处理内容而适当选择。
在上述的说明中，着眼于一个对象图像170和两个参照图像172、182这样的单元(单位)进行了说明，但对于所输入的多个图像(多视点图像或影像帧列)设定的全部对象图像及分别对应的参照图像，也能够进行同样的处理。
《e8：处理例》
以下，示出本实施方式的数据量减小方法的解码处理的处理例。
图19是本实施方式的数据量减小方法的解码处理中输入的对象图像170的一例。图20是图19所示的根据对象图像170生成的残差图像186的一例。图21是图19所示的根据对象图像170生成的余数图像188的一例。图22是图19所示的根据对象图像170生成的掩模图像180的一例。图23是图19所示的根据对象图像170生成的合成图像190的一例。
就图19所示那样的高精细对象图像170而言，在图20所示的残差图像186中，该图像内的变化量没有那么大，能够充分降低数据量。另外，对于图21所示的余数图像188，多的部分是黑色，能够降低数据量。
进而，对于图22所示的掩模图像的白色部分分配残差图像186的成分，对于黑色部分分配余数图像188的成分，由此，生成图23所示那样的合成图像190。
[F.解码处理]
接下来，详细说明本实施方式的数据量减小方法的解码处理(图6的步骤S200～S214)。基本上，是编码处理的逆处理，对于同样的处理不重复详细说明。
《f1：功能结构》
图24是表示本实施方式的数据量减小方法的解码处理的功能结构的框图。图25是用于说明本实施方式的数据量减小方法的解码处理的概要的示意图。图24中的标记以图7中的标记为基准。
参照图24，信息处理装置200，作为其功能结构而包括：输入数据缓存器250、距离信息推断部252、距离信息缓存器254、图像合成部258、掩模推断部260、残差图像生成部262、余数图像生成部264、增采样部266、区域分离部268、要素结合部274。
信息处理装置200，利用编码处理后的信息(参照图像172及182以及合成图像190)，来重建原始的对象图像170。例如，如图25所示，参照图像172、182与合成图像190交替配置，信息处理装置200分别针对各合成图像190，利用所对应的参照图像172、182进行解码处理，从而恢复出与原始的对象图像170对应的重建图像270。如图25所示，有时一个参照图像关联多个对象图像。
《f2：输入数据及距离图像的取得》
图6的步骤S200所示的编码处理的取得处理，是由图24的输入数据缓存器250、距离信息推断部252、距离信息缓存器254来实现的。具体而言，信息处理装置200至少接收通过上述解码处理生成的参照图像172及182以及合成图像190。如上述，在发送分别与参照图像172及182对应的距离图像174及184的情况下，这些距离图像也用于解码处理。
另一方面，在没有输入距离图像174及184的情况下，距离信息推断部252生成分别与参照图像172及182对应的距离图像174及184。距离信息推断部252中的距离图像的推断方法，与上述的距离信息推断部152(图7)中的距离图像的推断方法相同，因此不重复详细说明。由距离信息推断部252生成的距离图像174及184被存储至距离信息缓存器254。
《f3：合成图像的生成》
图6的步骤S202所示的合成图像的生成处理，是由图24的图像合成部258来实现的。更具体而言，图像合成部258利用参照图像172及所对应的距离图像174、参照图像182及所对应的距离图像184，来生成表示对象图像170的位置上的假想视野的合成图像276。图像合成部258中的合成图像的生成方法，与上述的图像合成部158(图7)中的合成图像的生成方法相同，因此不重复详细说明。此外，在所接收的多个图像是影像帧列(动图像)的情况下，根据与两个参照图像172及182对应的帧的信息来进行内插处理或外插处理，从而能够生成与对象图像170对应的帧的信息。
《f4：掩模图像生成及区域分离》
图6的步骤S204所示的掩模图像的生成处理，是由图24的掩模推断部260实现的；步骤S206所示的残差图像区域与余数图像区域的分离处理，是由图24的区域分离部268来实现的。
掩模推断部260利用参照图像172及所对应的距离图像174、参照图像182及所对应的距离图像184，生成表示参照图像间的误差大小的掩模图像280。掩模推断部260中的掩模图像的生成方法，与上述的掩模推断部160(图7)中的掩模图像的生成方法相同，因此不重复详细说明。
区域分离部268，将掩模图像280和合成图像190分离为残差图像区域286和余数图像区域288。在图24中，将残差图像区域286标记为“VT(residualpart)”，将余数图像区域288标记为“VT(modulo part)”。这样一来，图6的步骤S204所示的掩模图像的生成处理包括如下处理：将掩模图像280的各像素位置的值与预定的阈值进行比较，从而区别潜在误差相对大的区域和潜在误差相对小的区域。
具体而言，如果掩模图像280的值是“0”，则区域分离部268将合成图像190的对应的像素位置的值作为余数图像区域288的值输出；如果掩模图像280的值是“0”以外的值，则区域分离部268将合成图像190的对应的像素位置的值作为残差图像区域286的值输出。这样一来，基于掩模图像280，将合成图像190分离为两个独立的图像。针对合成图像190所含的每种彩色成分来生成余数图像区域288及残差图像区域286。
《f5：残差图像区域的重建》
图6的步骤S208所示的残差图像区域的重建处理，是由图24的残差图像生成部262来实现的。更具体而言，残差图像生成部262，在合成图像276与残差图像区域286之间将对应的各像素的亮度值相加，从而生成残差图像区域286的重建图像287。即，在图6的步骤S208所示的残差图像区域的重建处理包括如下处理：基于掩模图像280来在合成图像190中提取潜在误差相对大的区域的信息，并且，基于该提取的信息和合成图像276，决定对象图像170的对应的像素位置的亮度值。针对重建图像287，将其标记为“VT(inverseresidualpart)”，意思是恢复成残差图像区域286。
图26是用于说明本实施方式的数据量减小方法中的重建图像287的生成处理的示意图。参照图26，残差图像生成部262在合成图像276与残差图像区域286之间使亮度值相加，计算出重建图像287的对应的亮度值。
参照图11进行说明，合成图像190所含的残差图像，将用(n+1)比特表现(方式)变换为n比特表现(方式)而得的图像，每当重建残差图像区域时，需要进行该比特变换的逆变换。残差图像生成部262，将用n比特(例如，8比特)表现的残差图像区域286变换为用(n+1)比特表现(例如，9比特表现)的差分图像286A。即，残差图像生成部262在合成图像190中针对潜在误差相对大的区域的信息进行比特平面变换。在此基础上，残差图像生成部262将通过该比特平面变换而比特数增大了的差分图像286A与合成图像276相加，由此决定亮度值。即，残差图像生成部262在差分图像286A与合成图像276之间使对应的像素位置的各值相加，来生成重建图像287。
《f6：余数图像区域的重建》
图6的步骤S210所示的余数图像区域的重建处理，是由图24的余数图像生成部264及增采样部266来实现的。按照图6的步骤S2101～S2103分别所示的处理，根据边信息及梯度图像计算各像素位置的余数，从而生成余数图像区域288的重建图像289。即，图6的步骤S210所示的余数图像区域的重建处理包括如下处理：基于掩模图像280，在合成图像190中，对潜在误差相对小的区域的信息进行逆取模计算，从而决定对象图像170的对应的像素位置的亮度值。对于重建图像289，将其标记为表示恢复了余数图像区域288的“VT(inverseremainder part)”。
图27是表示图24所示的余数图像生成部264的更详细的功能结构的框图。参照图27，余数图像生成部264包括边信息选择部2641、梯度图像生成部2642、系数选择部2643、查询表2644、逆取模计算部2645。
《f6-1：边信息的生成》
图6的步骤S2101所示的边信息的生成处理，是由图27的边信息选择部2641来实现的。更具体而言，边信息选择部2641基于通过对缩小图像178进行增采样而得的放大图像272(缩小图像178被包含在输入数据中的情况)、合成图像276以及这些图像的组合，来生成边信息292。
如上述，在输入数据中不含缩小图像178的情况下，在该情况下，基于由图像合成部258生成的合成图像276来生成边信息292。
另一方面，在输入数据中含有缩小图像178的情况下，边信息选择部2641可以将通过对缩小图像178进行增采样而得的放大图像272用作边信息292，也可以将放大图像272与合成图像276的组合来用作边信息。
图24所示的增采样部266，对包含在输入数据中的缩小图像178进行增采样来生成放大图像272。作为对缩小图像178进行增采样的方法，能够采用公知的方法。例如，能够采用最近旁法、内插法、双三次法、双边滤波器等的任意的过滤处理。
作为这种利用放大图像272与合成图像276的组合来生成边信息的生成处理，能够利用上述那样的误差分布，采用二进制加权组合法、离散加权组合法及连续加权组合法等。这些处理如上所述，因此不重复详细说明。
《f6-2：梯度图像的生成》
图6的步骤S2102所示的梯度图像的生成处理，是由图27的梯度图像生成部2642来实现的。更具体而言，梯度图像生成部2642根据边信息292来生成表示图像空间中的变化的梯度图像296。梯度图像生成部2642中的梯度图像的生成方法，与上述的梯度图像生成部1642(图13)中的梯度图像的生成方法相同，因此不重复详细说明。
《f6-3：亮度值的决定》
图6的步骤S2103所示的对象图像的各像素位置上的亮度值的决定处理，是由图27的系数选择部2643、查询表2644及逆取模计算部2645来实现的。对象图像的各像素位置的亮度值，是根据从合成图像190分离出来的余数图像区域288的对应的像素位置的值(余数m)、生成用于构成合成图像190的余数图像188时所用的系数D，通过逆取模计算推断出来的。
每次在进行该逆取模计算时，基于梯度图像296，来推断(选择)在编码处理中生成合成图像190(余数图像188)时所用的系数D。即，系数选择部2643，根据梯度图像296的各像素位置的值，来选择系数D。作为该系数D的选择方法，能够采用任意的方法，但在本实施方式中，参照查询表2644来选择各像素位置的系数D。查询表2644与在编码处理中所用的查询表1644(图15)相同。系数选择部2643参照查询表2644，针对梯度图像296的各像素位置，按照彩色成分来分别选择系数D。
逆取模计算部2645，利用针对各像素位置选择出的系数D及余数m、边信息292的对应的值SI，进行逆取模计算。更具体而言，逆取模计算部2645，按照C(q’)＝q’×D+m(其中，q’≥0，C(q’)＜256)，来计算针对重建图像289的亮度值的候选值C(q’)的列表，在该计算出的候选值C(q’)中，将与边信息292的对应的值SI的差(绝对值)最小的值，决定为重建图像289的对应的亮度值。
例如，在考虑系数D＝8、余数m＝3、边信息292的对应的值SI＝8的情况下，候选值C(q’)如下所示。
候选值C(0)＝0×8+3＝3(与SI的差＝5)
候选值C(1)＝1×8+3＝11(与SI的差＝3)
候选值C(2)＝2×8+3＝19(与SI的差＝11)
……
在这些候选值C(q’)中，与边信息292的对应的值SI的差最小的是候选值C(1)，因此选择C(1)，将重建图像289的对应的亮度值决定为“11”。这样一来，按照彩色成分来分别决定重建图像289的各像素位置的亮度值。
这样，用于重建图6的步骤S210所示的余数图像区域的处理包括如下处理：针对梯度图像296的各像素位置来决定与梯度对应的系数D，并且，将所决定系数D作为除数，在将余数图像区域288的对应的像素位置的值作为余数m来进行逆取模计算而计算出的候选值C(q’)中，将与边信息292的对应的像素位置的值之差最小的值，决定为重建图像289的对应的像素位置的亮度值。
《f7：结合》
图6的步骤S212所示的对象图像的重建处理及步骤S214所示的输出处理，是由图24的要素结合部274来实现的。更具体而言，要素结合部274将与残差图像区域对应的重建图像287和与余数图像区域对应的重建图像289相结合，生成重建图像270。如后述，也可以将通过对缩小图像178进行增采样而得的放大图像272用在生成重建图像270的处理中。
残差图像区域及余数图像区域是从合成图像190分离出来的，因此，基本上，通过单纯地将与残差图像区域对应的重建图像287和与余数图像区域对应的重建图像289相结合，就能够生成重建图像270。即，就各像素位置看来，重建图像287及重建图像289中的某一方具有恢复后的亮度值的信息，另一方信息无效。因此，在重建图像287与重建图像289之间，针对各像素位置来结合(相加)两者的值，从而能够生成重建图像270。
作为本实施方式的解码处理的最终输出(信息)，至少输出及/或保存作为处理结果而得的重建图像270、所输入的参照图像172及182。可选地，也可以输出参照图像172的距离图像174及参照图像182的距离图像184。进而，可以根据原始的对象图像170及/或两个参照图像172、182之间的大小差异，将重建图像270重置为任意大小。
在上述的说明中，着眼于一个对象图像170和两个参照图像172、182这样的单元(单位)进行了说明，但也可以对于针对所输入的多个图像(多视点图像或影像帧列)设定的全部对象图像以及分别对应的参照图像，执行同样的处理。
[G.变形例]
上述实施方式的数据量减小方法可以进行如下变形。
《g1：变形例1》
在上述实施方式的数据量减小方法的解码处理中，将与残差图像区域对应的重建图像287和与余数图像区域对应的重建图像289相结合，从而生成重建图像270。然而，有时某些误差会导致在图像内产生局部的噪声。在这种情况下，在要素结合部274(图24)中，将所生成的重建图像与放大图像272相比较，对于其亮度值的差相对大的区域，可以使用放大图像272的信息进行修正。
更具体而言，要素结合部274，在通过对重建图像287与重建图像289进行结合而得的重建图像，与通过对缩小图像178进行增采样而得的放大图像272之间，计算出所对应的各像素位置间的亮度差(绝对值)。如果存在该计算出的亮度差超过预定阈值的像素，则要素结合部274将所生成的重建图像的该像素所对应的值，置换为缩小图像178的对应的像素的值。然后，最终输出置换后的重建图像。即，本变形例的方法包括如下处理：在根据恢复后的亮度值而重建的对象图像中，对于与通过对缩小图像178进行增采样而得的放大图像272的差相对大的区域，置换为放大图像272的对应的值。
这样通过使用放大图像272来进行修正(亮度值的置换)，能够降低重建图像270中产生的局部噪声等。
《g2：变形例2》
在上述的实施方式中，在余数图像的生成处理中，例示出从多个候选中选择系数D的处理，但系数D的选择处理也可以更加简化。例如，可以生成各灰度图像的梯度图像，将针对该梯度图像的阈值2级化。例如，在8比特的图像的情况下，可以分别将针对梯度图像的阈值分别设定为“4”、“1”、“0”，如果梯度的值在“4”以上，则选择“32”作为系数D，如果梯度的值在“1”以上，则选择“128”作为系数D，如果梯度的值为“0”，则选择“256”作为系数D。
对于针对梯度图像的阈值和所对应的系数D的组合，用户能够任意设定。
《g3：第三变形例》
在上述的实施方式中，根据所选择的系数D，生成包括针对每个像素计算的余数的余数图像，但也可以使余数等级化。例如，可以根据使用某系数D进行取模计算而得的各余数处于哪个范围内，在预定的余数的单元(set)中选择对应的值。例如，在系数D是“64”的情况下，可以将针对余数的阈值设定为“16”，如果计算出的余数在“16”以上，则输出“32”来作为最终的余数，如果小于“16”则输出“0”来作为最终的余数。图28表示本实施方式的第三变形例的通过数据量减小方法生成的余数图像的一例。
对于阈值及输出的余数，也可以设置3个以上的等级。通过使用这种余数图像，能够进一步降低信息量。
《g4：第四变形例》
在上述的实施方式中，生成具有n比特的色阶值的残差图像，但也可以将残差等级化。例如，在计算出的残差相对大的情况下，为了保持重建后的图像品质，使用计算出的残差本身；另一方面，在计算出的残差相对小的情况下，对图像重建处理的影响小，因此也可以设定为预定的值。
例如，在计算出的残差在预定的阈值以上的情况下，使用该计算出的残差本身，并且，在小于阈值的情况下，可以使用预定的值(例如，128)。
图26表示本实施方式的第四变形例的数据量减小方法所生成的残差图像的一例。图26的(a)部分示出通过本实施方式的第四变形例的方法生成的残差图像；在图26的(b)部分，为了可视化，对图26的(a)部分进行图像处理，增大了与灰色之间的差。
《g5：变形例5》
在上述的实施方式中说明了这样的处理例子：根据残差图像和余数图像来生成合成图像，将对象图像变换为该合成图像。余数图像用于重建参照图像间的误差小的区域，但是对于这种区域，也能够用边信息进行插补。因此，也可以采用不含有余数图像的合成图像。
这种合成图像，包含仅针对残差图像区域有效的信息(残差图像186)，不包含针对余数图像区域的信息(余数图像188)。在重建对象图像时，对于残差图像区域，根据合成图像进行重建；对于余数图像区域，根据边信息进行重建。根据与合成图像一并输出的参照图像172及182、对象图像170的缩小图像178等，来生成该边信息。
通过采用这种合成图像，进一步能够减小数据量。
[H.优点]
根据本实施方式，与仅使用残差图像或余数图像的编码处理相比较，能够重建更高的图像品质。并且，与仅使用残差图像或余数图像的编码处理相比较，能够进一步降低数据量。
本实施方式，能够应用于多视点图像的数据表现、图像压缩前的新数据格式化等的图像处理系统的各种应用中。
根据本实施方式，通过使用用于大规模多视点图像的基于余数(remainder-based)的数据格式，能够更有效地进行表现。另外，变换后的数据格式能够应用于便携设备那样的电力容量小的装置中。因此，根据本实施方式，能够提高在便携设备、低耗电设备上更简单地提供三维影像的可能性。
本次公开的实施方式皆为例示而非限制。本发明的范围不是上述的实施方式的说明，而是由权利要求书示出，包括与权利要求书等价的意义以及范围内的全部变更。
附图标记的说明
1立体影像再生系统；2被拍摄体；10摄像头；100，200信息处理装置；102，202无线传送装置；104，204处理器；106，206存储器；108摄像头接口；110，210硬盘；112，212图像数据；114编码程序；116，216输入部；118，218显示部；120，220通信接口；122，222总线；150输入图像缓存器；152，252距离信息推断部；154，254距离信息缓存器；158，258图像合成部；160，260掩模推断部；162，262残差图像生成部；164，264余数图像生成部；166下采样部；168图像结合部；170对象图像；172，182参照图像；173，183变形图像；174，184距离图像；175，185误差图像；176，276合成图像；177二进制误差图像；178缩小图像；179，186二进制误差变形图像；180，280掩模图像；186残差图像；186A，286A差分图像；188余数图像；190合成图像；192，292边信息；196，296梯度图像；198，272放大图像；208投影仪接口；214解码程序；250输入数据缓存器；266增采样部；268区域分离部；270，287，289重建图像；274要素结合部；286残差图像区域；288余数图像区域；300立体显示装置；302控制器；304投影仪阵列；306扩散膜；308聚光透镜；400无线基站；1641，2641边信息选择部；1642，2642梯度图像生成部；1643，2643系数选择部；1644，2644查询表；1645取模计算部；2645逆取模计算部。

Claims (8)

1.一种减小含有相互类似的信息的多个图像的数据量的方法，其特征在于，包括：
取得所述多个图像，并且，在所述多个图像中选择与对象图像以及所述对象图像类似的第一参照图像及第二参照图像的步骤，
基于所述第一参照图像及所述第二参照图像，生成与所述对象图像对应的合成图像的步骤，
生成掩模图像的步骤，所述掩模图像表示根据所述第一参照图像及所述第二参照图像生成的所述合成图像相对于所述对象图像的潜在误差，
生成与残差对应的残差图像的步骤，所述残差是指所述对象图像与所述合成图像之间的差，
基于所述掩模图像，对所述潜在误差相对大的区域分配所述残差图像的对应的区域的信息，从而生成与所述对象图像对应的变换后图像的步骤，
输出所述第一参照图像、所述第二参照图像及所述变换后图像，来作为表现所述对象图像、所述第一参照图像及所述第二参照图像的信息的步骤。
2.如权利要求1所述的方法，其特征在于，
还包括：对所述对象图像的各像素位置的亮度值进行取模计算，计算出各像素位置的余数，从而生成由所述余数构成的余数图像的步骤，
在生成所述变换后图像的步骤中包括：基于所述掩模图像，对所述潜在误差相对小的区域，分配所述余数图像的对应的区域的信息的步骤。
3.如权利要求1或2所述的方法，其特征在于，
在生成所述变换后图像的步骤中包括：将所述掩模图像的各像素位置的值与预定的阈值进行比较，从而区别所述潜在误差相对大的区域和所述潜在误差相对小的区域的步骤。
4.如权利要求1～3中任意一项所述的方法，其特征在于，还包括：
取得所输出的所述第一参照图像、所述第二参照图像及所述变换后图像的步骤，
基于所取得的第一参照图像及第二参照图像，生成与所述对象图像对应的合成图像的步骤，
根据所取得的第一参照图像及第二参照图像，生成掩模图像的步骤，
基于所述掩模图像，在所述变换后图像中提取所述潜在误差相对大的区域的信息，并且，基于所提取的该信息和所述合成图像，决定所述对象图像的对应的像素位置的亮度值的步骤。
5.如权利要求1～4中任意一项所述的方法，其特征在于，
进行所述选择的步骤包括：
在所述多个图像是多视点图像的情况下，基于基线距离，选择所述对象图像以及所述第一参照图像及第二参照图像的步骤，
在所述多个图像是影像帧列的情况下，基于帧速率，选择所述对象图像以及所述第一参照图像及第二参照图像的步骤。
6.一种减小含有相互类似的信息的多个图像的数据量的程序，其特征在于，使计算机执行如下步骤：
取得所述多个图像，并且，在所述多个图像中选择与对象图像以及所述对象图像类似的第一参照图像及第二参照图像的步骤，
基于所述第一参照图像及所述第二参照图像，生成与所述对象图像对应的合成图像的步骤，
生成掩模图像的步骤，所述掩模图像表示根据所述第一参照图像及所述第二参照图像生成的所述合成图像相对于所述对象图像的潜在误差，
生成与残差对应的残差图像的步骤，所述残差是指所述对象图像与所述合成图像之间的差，
基于所述掩模图像，对所述潜在误差相对大的区域分配所述残差图像的对应的区域的信息，从而生成与所述对象图像对应的变换后图像的步骤，
输出所述第一参照图像、所述第二参照图像及所述变换后图像，来作为表现所述对象图像、所述第一参照图像及所述第二参照图像的信息的步骤。
7.一种减小含有相互类似的信息的多个图像的数据量的装置，其特征在于，包括：
取得所述多个图像，并且，在所述多个图像中选择与对象图像以及所述对象图像类似的第一参照图像及第二参照图像的单元，
基于所述第一参照图像及所述第二参照图像，生成与所述对象图像对应的合成图像的单元，
生成掩模图像的单元，所述掩模图像表示根据所述第一参照图像及所述第二参照图像生成的所述合成图像相对于所述对象图像的潜在误差，
生成与残差对应的残差图像的单元，所述残差是指所述对象图像与所述合成图像之间的差，
基于所述掩模图像，对所述潜在误差相对大的区域分配所述残差图像的对应的区域的信息，从而生成与所述对象图像对应的变换后图像的单元，
输出所述第一参照图像、所述第二参照图像及所述变换后图像，来作为表现所述对象图像、所述第一参照图像及所述第二参照图像的信息的单元。
8.一种表现含有相互类似的信息的多个图像的数据结构，其特征在于，
具有：
与所述多个图像所含的对象图像对应的变换后图像，
与所述对象图像类似的第一参照图像及第二参照图像；
在所述变换后图像中，对于根据所述第一参照图像及所述第二参照图像生成的合成图像相对于所述对象图像的潜在误差相对大的区域，分配与残差对应的残差图像的对应的区域的信息，所述残差是所述对象图像与所述合成图像之间的差。
CN201380053520.2A 2012-10-12 2013-10-09 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构 Pending CN104718755A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-227261 2012-10-12
JP2012227261A JP2014082540A (ja) 2012-10-12 2012-10-12 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造
PCT/JP2013/077515 WO2014057988A1 (ja) 2012-10-12 2013-10-09 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造

Publications (1)

Publication Number Publication Date
CN104718755A true CN104718755A (zh) 2015-06-17

Family

ID=50477455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380053520.2A Pending CN104718755A (zh) 2012-10-12 2013-10-09 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构

Country Status (6)

Country Link
US (1) US20150271522A1 (zh)
EP (1) EP2908531A4 (zh)
JP (1) JP2014082540A (zh)
KR (1) KR20150072421A (zh)
CN (1) CN104718755A (zh)
WO (1) WO2014057988A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704403A (zh) * 2016-01-18 2016-06-22 深圳市金立通信设备有限公司 一种图像处理的方法及终端

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US9576341B2 (en) * 2013-10-30 2017-02-21 Ricoh Imaging Company, Ltd. Image-processing system, imaging apparatus and image-processing method
KR20160118363A (ko) * 2014-03-20 2016-10-11 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
GB2532272A (en) * 2014-11-14 2016-05-18 Nat Oilwell Varco Norway As Drilling rig
WO2019164502A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices and computer program products for generating 3d models
CN109035161A (zh) * 2018-07-04 2018-12-18 深圳市伟腾信息科技有限公司 一种图像数据的重构方法及装置
EP3703378A1 (en) 2019-03-01 2020-09-02 Koninklijke Philips N.V. Apparatus and method of generating an image signal
US11838513B2 (en) * 2022-01-14 2023-12-05 Meta Platforms Technologies, Llc Progressive transmission of detailed image data via video compression of successive subsampled frames

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700252A (zh) * 2004-06-17 2005-11-23 刘畅 合成多幅双滤色立体图像的软件的操作过程及其方法
US20060268987A1 (en) * 2005-05-31 2006-11-30 Samsung Electronics Co., Ltd. Multi-view stereo imaging system and compression/decompression method applied thereto
CN101325713A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 使用彩色间补偿来编码和解码图像的方法和装置
US7596263B2 (en) * 2005-03-15 2009-09-29 Kabushiki Kaisha Toshiba Image transmitting apparatus, image receiving apparatus, and image transmission system
JP4343576B2 (ja) * 2003-04-30 2009-10-14 キヤノン株式会社 有機発光素子
CN101690234A (zh) * 2007-06-25 2010-03-31 日本电信电话株式会社 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
JP2010237941A (ja) * 2009-03-31 2010-10-21 Kddi Corp マスク画像生成装置、３次元物体モデル情報生成装置及びプログラム
US20120141016A1 (en) * 2010-12-03 2012-06-07 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2765268B2 (ja) * 1991-05-21 1998-06-11 松下電器産業株式会社 高能率符号化方法と高能率符号の復号方法
JPH08331565A (ja) * 1995-05-30 1996-12-13 Matsushita Electric Ind Co Ltd 画像符号化方法とその装置
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 中間画像合成およびマルチビューデータ信号抽出
US8694573B2 (en) * 2009-10-26 2014-04-08 Jadavpur University Method and system for determining a quotient value
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
GB201105463D0 (en) * 2011-03-31 2011-05-18 Optos Plc Identifying and correcting anomalies in an optical image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343576B2 (ja) * 2003-04-30 2009-10-14 キヤノン株式会社 有機発光素子
CN1700252A (zh) * 2004-06-17 2005-11-23 刘畅 合成多幅双滤色立体图像的软件的操作过程及其方法
US7596263B2 (en) * 2005-03-15 2009-09-29 Kabushiki Kaisha Toshiba Image transmitting apparatus, image receiving apparatus, and image transmission system
US20060268987A1 (en) * 2005-05-31 2006-11-30 Samsung Electronics Co., Ltd. Multi-view stereo imaging system and compression/decompression method applied thereto
CN101325713A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 使用彩色间补偿来编码和解码图像的方法和装置
CN101690234A (zh) * 2007-06-25 2010-03-31 日本电信电话株式会社 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
JP2010237941A (ja) * 2009-03-31 2010-10-21 Kddi Corp マスク画像生成装置、３次元物体モデル情報生成装置及びプログラム
US20120141016A1 (en) * 2010-12-03 2012-06-07 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704403A (zh) * 2016-01-18 2016-06-22 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN105704403B (zh) * 2016-01-18 2019-04-23 深圳市金立通信设备有限公司 一种图像处理的方法及终端

Also Published As

Publication number Publication date
US20150271522A1 (en) 2015-09-24
EP2908531A8 (en) 2015-10-28
KR20150072421A (ko) 2015-06-29
EP2908531A4 (en) 2016-05-25
EP2908531A1 (en) 2015-08-19
WO2014057988A1 (ja) 2014-04-17
JP2014082540A (ja) 2014-05-08

Similar Documents

Publication Publication Date Title
CN104718755A (zh) 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构
CN108475330B (zh) 用于有伪像感知的视图合成的辅助数据
KR102502277B1 (ko) 계층화된 장면 분해 코덱 시스템 및 방법
CN101822068B (zh) 用于处理深度图的方法和设备
US20220116659A1 (en) A method, an apparatus and a computer program product for volumetric video
CN100576934C (zh) 基于深度和遮挡信息的虚拟视点合成方法
CN103155572B (zh) 用于基于用户偏好调节3d视频渲染的3d视频控制系统
CN103181171B (zh) 深度指示图的产生
CN102801997B (zh) 基于感兴趣深度的立体图像压缩方法
CN104620580A (zh) 通过运动区对多维信号中的运动信息以及通过辅助区对辅助信息的估计、编码和解码
CN105393541A (zh) 使用基于深度的块分割编解码纹理块的方法和装置
CN103402097B (zh) 一种自由视点视频深度图编码方法及其失真预测方法
Plath et al. Adaptive image warping for hole prevention in 3D view synthesis
TWI508529B (zh) 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式
Do et al. GPU-accelerated real-time free-viewpoint DIBR for 3DTV
Jantet et al. Object-based layered depth images for improved virtual view synthesis in rate-constrained context
WO2022023002A1 (en) Methods and apparatus for encoding and decoding a 3d mesh as a volumetric content
CN114503553A (zh) 基于视频的点云压缩模型到世界信令信息
WO2017020806A1 (en) A multi-overlay variable support and order kernel-based representation for image deformation and view synthesis
CN110495178A (zh) 3d视频编码的装置和方法
WO2014041355A1 (en) Multi-view high dynamic range imaging
CN104737539A (zh) 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置
KR20220011180A (ko) 체적 비디오 인코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
CN105103546A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
CN104350748A (zh) 使用低分辨率深度图的视图合成

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150617

WD01 Invention patent application deemed withdrawn after publication