CN101715651A - 产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备 - Google Patents

产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备 Download PDF

Info

Publication number
CN101715651A
CN101715651A CN200880019594A CN200880019594A CN101715651A CN 101715651 A CN101715651 A CN 101715651A CN 200880019594 A CN200880019594 A CN 200880019594A CN 200880019594 A CN200880019594 A CN 200880019594A CN 101715651 A CN101715651 A CN 101715651A
Authority
CN
China
Prior art keywords
image
piece
primary
visual point
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880019594A
Other languages
English (en)
Other versions
CN101715651B (zh
Inventor
金容台
金载承
张纹硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101715651A publication Critical patent/CN101715651A/zh
Application granted granted Critical
Publication of CN101715651B publication Critical patent/CN101715651B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于产生立体图像格式和从立体图像格式重构立体图像的方法和设备。产生用于立体图像的压缩或发送的立体图像格式的方法包括：接收基本视点图像和附加视点图像，基于通过分割基本视点图像和附加视点图像获得的块，使用基本视点图像的第一块像素信息和附加视点图像的第二块像素信息确定用于每个块位置的立体图像格式的块像素信息并将确定的块像素信息布置在每个块位置，从而产生包括基本视点图像的像素信息和附加视点图像的像素信息的组合图像。

Description

产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备
技术领域
与本发明一致的方法和设备涉及产生立体图像格式和重构立体图像，更具体地，涉及产生基于块的立体图像格式以便有效率地压缩或发送包括基本视点(base view)图像和附加视点图像的立体图像，以及从基于块的立体图像格式重构立体图像。
背景技术
提出了用于发送立体图像的多种方法。例如，为了立体图像的有效率发送，已经建立了各种标准，例如，运动图像专家组(MPEG)-2多视点视频类(MVP)，使用MPEG-4多辅助部件(MAC)的深度图发送、MPEG-4先进视频编码(AVC)/H.264的多视点视频编码(MVC)等。
然而，这些标准格式与现有的二维(2D)编解码器不兼容。其结果是，当使用标准格式发送立体图像时，现有技术2D再现装置的用户不能通过对接收的数据解码而重构立体图像。另外，可以预料到，在现有信道容量条件下使用标准格式发送三维(3D)图像会有很多问题。
因此，已经开发了在将立体图像组合为一片组合图像格式之后发送立体图像的技术。并排(side-by-side)方案和上-下(top-bottom)方案是这些技术中的代表性示例。前者将左视点图像和右视点图像的每一个的水平像素的数量减少了1/2，并将缩减的左视点图像和缩减的右视点图像分别放置在一片组合图像的左部和右部。后者将左视点图像和右视点图像的每一个的垂直像素的数量减少1/2，并将缩减的左视点图像和右视点图像分别放置在一片组合图像的上部和下部。
然而，使用这些方案发送的组合图像的分辨率为缩减处理期间的原始左视点图像和右视点图像的分辨率的1/2。因此，现有技术2D再现装置仅显示左图和右图的每一个的一半，这可能使观看者感到不快。另外，立体图像的左视点图像和右视点图像之间的相关性在组合图像的压缩或发送期间没有被考虑，造成压缩效率的降低。
还可通过基于像素组合左视点图像和右视点图像来产生一片图像格式。
图1A示出现有技术的基于像素的用于立体图像的发送的立体图像格式。
在图1A中，立体图像的左视点图像和右视点图像的像素被基于纬线采样，左视点图像以这样的方式被移动一个像素：左视点图像和右视点图像之间的重叠被避免，从而产生了用于立体图像的一片图像格式。使用现有技术的2D编码器和解码器发送和接收立体图像。由于两片左视点图像和右视点图像被生成为相同分辨率的一片立体图像，因此一些像素可能丢失。
图1B是用于恢复基于像素的立体图像格式的丢失像素的设备的框图。
为了使显示装置再现具有原始分辨率的图像，必须恢复在图1A中示出的立体图像格式的产生期间丢失的像素。为此，从基于像素采样的图像提取每个方向的像素值，将预定权重值应用于每个像素值，将加权的像素值求和，从而重构原始的左视点图像和右视点图像。
对于立体图像的发送，可基于场产生图像格式。
图2A示出现有技术的基于场的立体图像格式。在图2A中，输入的左视点图像和右视点图像被按直线以垂直方向布置，并随后被转换为基于场的格式(包括上部场和下部场)进行发送和接收。
图2B是用于基于场的立体图像格式的现有技术的发送端和接收端。
参照图2B，示出了用于产生立体图像格式并对立体图像格式编码的立体图像预处理器以及用于对接收的立体图像格式解码以重构立体图像的立体图像后置处理器。由MPEG编码器压缩被转换为基于场格式的左视点图像和右视点图像。由于除了MPEG-1的MPEG标准都支持基于场的压缩，因此MPEG标准在基于块的离散余弦变换(DCT)、运动估计和视差估计期间保持了压缩效率。
在图1A示出的基于像素的立体图像格式中，基于像素组合左视点图像和右视点图像以便产生一片图像格式。其结果是，由于像素之间的低相关性，根据视频标准(例如，联合图像专家组(JPEG)、MPEG、H.26X等)的DCT编码器的性能和压缩效率降低。另外，没有为立体图像预处理器或立体图像后置处理器定义包括图1A和图2A中示出的格式的现有技术图像格式。其结果是，当对立体图像格式解码时，一个接一个地显示左视点图像和右视点图像，这造成观看者经历严重的闪烁效果。
发明内容
技术方案
本发明提供了一种产生立体图像格式的方法和设备，其中，为了执行包括基本视点图像和附加视点图像的立体图像的有效压缩或发送，通过基于块对基本视点图像的信息和附加视点图像的信息进行组合来产生立体图像格式，考虑基本视点图像和附加视点图像之间的相关性来估计基本视点图像和附加视点图像之间的视差，并与立体图像格式一起压缩和发送视差向量信息。
本发明还提供一种从立体图像格式重构立体图像的方法和设备，其中，通过使用接收的基于块的立体图像格式和提取的视差向量信息来重构参考视点图像和附加视点图像以具有它们的原始分辨率。
有益效果
根据本发明的产生立体图像格式的方法和设备包括通过交替地组合基本视点图像和附加视点图像而获得的组合图像中的立体图像中的基本视点图像的和附加视点图像两者的信息。由于基于块将基本视点图像的信息与附加视点图像的信息进行组合，因此基于块的压缩/通信标准可应用于信息，从而允许有效的图像压缩。
另外，根据本发明的产生立体图像格式的方法和设备可通过执行视差估计改善在立体图像格式的产生期间的压缩效率，并在接收端处理之后执行后置处理过程中准确地重构立体图像。此外，视差向量信息被插入图像信息而不需要另外的信道，从而使得现有技术的2D图像装置的解码器能够读取根据本发明的立体图像格式。
根据本发明的重构立体图像的方法和设备从组合的图像提取基本视点图像和附加视点图像的某些块，并使用运动补偿和视差补偿重构其余的块。如此，由于重构了立体图像的所有块，因此保持了立体图像的原始分辨率，并通过视差补偿和运动补偿更准确地重构了立体图像。
另外，可通过将根据本发明的立体图像格式重构为包括不同视点图像的块的独立的片来实现更有效的编码以及对立体图像格式的解码。
产生立体图像格式的方法和对立体图像格式解码的方法可应用于立体数字电视(TV)、立体个人计算机(PC)监视器、立体摄像机和立体数字广播(DB)播放器。
附图说明
通过下面结合附图对示例性实施例的详细描述，本发明的上述和其他方面将会变得清楚，其中：
图1A示出现有技术的用于立体图像的发送的基于像素的立体图像格式；
图1B是现有技术的用于恢复基于像素的立体图像格式的丢失像素的设备的框图；
图2A示出现有技术的基于场的立体图像格式；
图2B是现有技术的基于场的立体图像格式的发送端和接收端的框图；
图3A是根据本发明示例性实施例的用于产生立体图像格式的设备的框图；
图3B是根据本发明示例性实施例的用于重构立体图像的设备的框图；
图4示出根据本发明示例性实施例的包括用于产生立体图像格式的设备和用于重构立体图像的设备的立体图像系统；
图5A是用于解释根据本发明示例性实施例的产生基于块的立体图像格式的方法的示图；
图5B是用于解释根据本发明示例性实施例的从基于块的立体图像格式重构立体图像的方法；
图6是用于解释根据本发明示例性实施例的使用基本视点图像和附加视点图像之间的视差向量产生基于块的立体图像格式的方法的示图；
图7A是根据本发明另一示例性实施例的用于产生基于块的立体图像格式的设备的框图；
图7B是用于解释根据本发明示例性实施例的根据图7A中的示例性实施例产生基于块的立体图像格式的方法的示图，所述基于块的立体图像格式将基本视点图像的信息和附加视点图像的信息两者包括在单个块中；
图7C是根据本发明另一示例性实施例的用于重构立体图像的设备的框图；
图8是用于解释对根据本发明示例性实施例产生的立体图像格式编码的方法的示图；
图9A是示出根据本发明示例性实施例的产生立体图像格式的方法的流程图；
图9B是示出根据本发明示例性实施例的重构立体图像的方法的流程图。
具体实施方式
最佳模式
根据本发明的一方面，提供了一种产生立体图像格式的方法。该方法包括：从通过分割基本视点图像获得的预定大小的块中确定第一位置的块，确定与第二位置的基本视点图像的块相应的附加视点图像的块，第二位置的块与第一位置的块不同，并通过将基本视点图像的确定的块与附加视点的确定的块进行组合来产生组合的图像。
当组合的图像包括N行和M列，x是大于0小于N/2的整数，y是大于0小于M/2的整数，第(x，y，t)块表示位于第t帧中左起第x列上起第y行的块时，第一位置可以是第(2x，2y，2t)块、第(2x+1，2y+1，2t+1)块、第(2x，2y+1，2t)块和第(2x+1，2y，2t+1)块的位置，第二位置可以是第(2x，2y+1，2t)块、第(2x+1，2y，2t)块、第(2x，2y，2t+1)块和第(2x+1，2y+1，2t+1)块的位置。
附加视点图像的块的确定步骤可包括：确定附加视点图像中的第二位置的块。
附加视点图像的块的确定步骤可包括：估计位于第二位置的基本视点图像的块和附加视点图像的块之间的视差以及确定与附加视点图像中的第二位置偏离的距离相应于估计的视差向量的块。
所述方法还可包括将视差向量插入组合图像。
所述方法还可包括产生其中记录有视差向量的视差图。
组合图像的产生步骤可包括：将基本视点图像的确定的块布置在组合图像的第一位置，并将附加视点图像的确定的块布置在组合图像的第二位置。
附加视点图像的确定步骤可包括：估计位于第二位置的基本视点图像的块和附加视点图像的块之间的视差向量，确定与附加视点图像中的第二位置偏离的距离相应于估计的视差向量的块，以预定的比率缩小附加视点图像的确定的块，组合图像的产生步骤包括：通过将基本视点图像的确定的块的像素线与附加视点图像的缩小的块的像素线进行组合来产生组合图像，以便重构组合图像的块。
当n是大于0的整数时，组合图像的产生步骤可包括：将基本视点图像的确定的块的第2n线布置在组合图像的块的第2n线，并将基本视点图像的确定的块的第2n线和附加视点图像的缩减的块的第n线的平均值布置在组合图像的块的第(2n+1)线。
根据本发明的另一方面，提供了一种重构立体图像的方法。所述方法包括：从通过分割组合图像获得的预定大小的块中确定第一位置的第一块和第二位置的第二块，第二位置的第二块与第一位置的第一块不同；产生包括第一位置的确定的第一初级图像和包括第二位置的确定的第二初级图像；通过使用第一初级图像和第二初级图像分别重构基本视点图像和附加视点图像。
当组合的图像包括N行和M列，x是大于0小于N/2的整数，y是大于0小于M/2的整数，第(x，y，t)块表示位于第t帧中左起第x列上起第y行的块时，第一位置可以是第(2x，2y，2t)块、第(2x+1，2y+1，2t+1)块、第(2x，2y+1，2t)块和第(2x+1，2y，2t+1)块的位置，第二位置可以是第(2x，2y+1，2t)块、第(2x+1，2y，2t)块、第(2x，2y，2t+1)块和第(2x+1，2y+1，2t+1)块的位置。
第一初级图像和第二初级图像的产生步骤可包括：将第一位置的确定的块布置在第一初级图像的第一位置；将第二位置的确定的布置在第二初级图像的第二位置。
第一初级图像和第二初级图像的产生步骤可包括：从基本视点图像的块和附加视点图像的块之间提取视差向量；布置第一初级图像的第一位置的确定的块；将第二位置的确定的块布置在这样的位置：所述位置偏离第二位置的距离与估计的视差向量相应。
基本视点图像和附加视点图像的重构步骤可包括：为第一初级图像中第二位置的块估计第一初级图像的不同时间的帧之间的运动向量；将不同时间的帧的块布置在基本视点图像的第二位置，所述不同时间的帧偏离第二位置的距离与估计的运动向量相应。
基本视点图像和附加视点图像的重构步骤可包括：为第二初级图像中的第一位置的块估计第二初级图像的不同时间的帧之间的运动向量；将不同时间的帧的块布置在附加视点图像的第一位置，所述不同时间的帧偏离第一位置的距离与估计的运动向量相应。
基本视点图像和附加视点图像的重构步骤可包括：为第一初级图像的第二位置的块估计第一初级图像和第二初级图像之间的视差向量；将第二初级图像的块布置在基本视点图像的第二位置，所述第二初级图像的块偏离第二位置的距离与估计的视差向量相应。
基本视点图像和附加视点图像的重构步骤可包括：为第二初级图像的第一位置的块估计第一初级图像和第二初级图像之间的视差向量；将第一初级图像的块布置在附加视点图像的第一位置，所述第一初级图像的块偏离第一位置的距离与估计的视差向量相应。
视差向量的提取步骤可包括：提取通过使用水印插入到组合图像的视差向量。
视差向量的步骤可提取包括：提取插入到组合图像的预定区的视差向量。
视差向量的提取步骤可包括：从比特流提取视差向量，在所述比特流中组合图像被压缩和记录。
视差向量的提取步骤可包括：从视差图提取视差向量。
根据本发明的另一方面，提供了一种重构立体图像的方法。所述方法包括：从通过分割组合图像获得的预定大小的块中确定第一位置的像素线和第二位置的像素线，第二位置的像素线与第一位置的第一像素线不同；通过使用第一位置的像素线构造块来重构基本视点图像；通过使用第一位置的像素线和第二位置的像素线构造块来重构附加视点图像。
当n是大于0的整数，第一位置是第2n线的位置和第(2n+1)线的位置时，重构基本视点图像的步骤可包括：将组合图像的块的第2n像素线布置在基本视点图像的块的第2n像素线中；通过使用基本视点图像的块的第2n像素线或第(2n+2)像素线执行插值来重构基本视点图像的块的第(2n+1)像素线。
当n是大于0的整数，第一位置是第2n线的位置和第(2n+1)线的位置时，重构附加视点图像的步骤可包括：将通过从组合图像的第(2n+1)像素线的两倍像素值减去基本视点图像的块的第2n像素线的像素值而获得的值布置在附加视点图像的块的第(2n+1)像素线；通过使用附加视点图像的第(2n-1)像素线或第(2n+1)像素线执行插值来重构附加视点图像的块的第2n像素线。
根据本发明的另一方面，提供了一种对包括N行和M列的块的立体图像格式进行编码的方法。当x是大于0小于N/2的整数，y是大于0小于M/2的整数时，所述方法包括：通过布置第(2x，2y)块和第(2x+1，2y+1)块来构造第一分片；通过布置第(2x，2y+1)块和第(2x+1，2y)块来构造第二分片；使用基于块的编码对第一分片和第二分片编码。
根据本发明的另一方面，提供了一种用于产生立体图像格式的设备。所述设备包括：基本视点图像块确定单元，从通过分割基本视点图像获得的预定大小的块中确定第一位置的块；附加视点图像块确定单元，确定与第二位置的基本视点图像的块相应的附加视点图像的块，所述附加视点图像的块与第一位置的块不同；组合图像产生单元，通过将基本视点图像的确定的块与附加视点图像的确定的块组合来产生组合图像。
根据本发明的另一方面，提供了一种用于重构立体图像的设备。所述设备包括：块确定单元，从通过分割组合图像获得的预定大小的块中确定第一位置的块和第二位置的块，第二位置的块与第一位置的块不同；初级图像产生单元，产生包括第一位置的确定的块的第一初级图像和包括第二位置的确定的块的第二初级图像；图像重构单元，使用第一初级图像和第二初级图像分别重构基本视点图像和附加视点图像。
根据本发明的另一方面，提供了一种记录有用于执行产生立体图像格式的方法的程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种记录有用于执行重构立体图像的方法的程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种记录有用于执行对立体图像格式编码的方法的程序的计算机可读记录介质。
发明模式
以下，将参照附图详细描述本发明的示例性实施例。应注意，在一个或多个附图中，相同的标号表示相同的部件。在本发明的以下描述中，为了简明和清楚，省略在此合并的已知功能和配置的详细描述。
图3A是根据本发明示例性实施例的用于产生立体图像格式的设备300的框图。
参照图3A，设备300包括基本视点图像块确定单元310、附加视点图像块确定单元320和组合图像产生单元330。
基本视点图像确定单元310接收基本视点图像，从通过分割基本视点图像获得的预定大小的块中确定第一位置的块，并将确定的第一位置的块输出到组合图像产生单元330。
附加视点图像块确定单元320接收附加视点图像，从通过分割附加视点图像获得的预定大小的块中确定第二位置的块，并将确定的第二位置的块输出到组合图像产生单元330，所述第二位置的块与第一位置的块不同。
组合图像产生单元330从基本视点图像块确定单元310接收基本视点图像的确定的块，从附加视点图像块确定单元320接收附加视点图像的确定的块，并组合接收的块，从而产生组合图像。
在本发明的示例性实施例中，组合图像的分辨率与基本视点图像和附加视点图像的分辨率相同。
块位置的意思是当前帧中的当前块的空间位置和当前块相对于当前帧之前和之后的帧的时间位置。在本发明的示例性实施例中，位于与组合图像的当前块的位置相同位置的基本视点图像块和附加视点图像块的像素信息在组合图像的当前块中反映。
以下将参照图5A详细描述基本视点图像块确定单元310和附加视点图像块确定单元320所执行的块确定步骤，以及以立体图像格式产生组合图像的组合图像产生单元330的功能。
图3B是根据本发明示例性实施例的重构立体图像的设备350的框图。
参照图3B，设备350包括块确定单元360、初级图像产生单元370和图像重构单元380。
块确定单元360接收组合图像，从通过分割组合图像获得的预定大小的块中确定第一位置的块和与第一位置的块不同的第二位置的块，并将确定的块输出到初级图像产生单元370。
初级图像产生单元370从块确定单元360接收组合图像的确定的块以便产生包括第一位置的块的第一初级图像和包括第二位置的块的第二初级图像，并将第一初级图像和第二初级图像输出到图像重构单元380。
图像重构单元380从初级图像产生单元370接收第一初级图像和第二初级图像，并使用第一初级图像和第二初级图像分别重构基本视点图像和附加视点图像。
在本发明的示例性实施例中，在接收端，从组合图像重构的基本视点图像和附加视点图像的分辨率与原始的基本视点图像和原始的附加视点图像的分辨率相同。
稍后将参照图5B详细描述用于立体图像的重构的块确定单元360、初级图像产生单元370和图像重构单元380。
图4示出根据本发明示例性实施例的立体图像系统400，包括用于产生立体图像格式的设备300和用于重构立体图像的设备350。
立体图像系统400包括设备300、编码器410、解码器420和设备350。
用于产生立体图像格式的设备300接收立体图像的基本视点图像和附加视点图像，产生通过根据本发明示例性实施例基于块组合基本视点图像和附加视点图像而获得的组合图像，并将产生的组合图像输出到编码器410。
编码器410使用基于块的图像压缩和发送对从设备300输入的组合图像编码，从而输出比特流。基于块的图像压缩和发送可以是例如MPEG-4。
解码器420使用基于块的图像压缩和发送对输入比特流解码以便产生组合图像，并将产生的组合图像输出到设备350以重构立体图像。
设备350通过使用从解码器420输入的组合图像根据本发明示例性实施例基于块重构基本视点图像和附加视点图像。
图5A是用于解释根据本发明示例性实施例的产生基于块的立体图像格式的方法的示图。
以下，将参照图5A详细描述用于产生立体图像格式的设备300的基本视点图像块确定单元310、附加视点图像块确定单元320和组合图像产生单元330的操作。
图像510是包括第(t-2)、第(t-1)和第t帧的基本视点图像。
图像520是包括第(t-2)、第(t-1)和第t帧的附加视点图像。
图像530是通过基于块组合基本视点图像510和附加视点图像520而获得的组合图像。
在本发明的示例性实施例中，选择左视点图像作为基本视点图像510，选择右视点图像作为附加视点图像520。
在本发明中，图像被分割成预定大小的块以进行基于块的图像处理。换句话说，用于产生立体图像格式的设备300基于块组合基本视点图像510的信息和附加视点图像520的信息，从而产生组合图像530。
为了便于解释，假设基本视点图像510、附加视点图像520和组合图像530中的每一个都被分割成N行和M列，x是大于0小于N/2的整数，y是大于0小于M/2的整数，t是大于0的整数，第(x，y，t)块表示第t帧中位于左起第x列和从上起第y行的块。
在本发明的示例性实施例中，基本视点图像510或附加视点图像520的预定位置的块被确定并排列在组合图像530中，从而产生组合图像530。
例如，基本视点图像块确定单元310确定用于组合图像530的基本视点图像510的第(2x，2y，2t)块、第(2x+1，2y+1，2t+1)块、第(2x，2y+1，2t)块和第(2x+1，2y，2t+1)块。
附加视点图像块确定单元320确定用于组合图像530的附加视点图像的第(2x，2y+1，2t)块、第(2x+1，2y，2t)块、第(2x，2y，2t+1)块和第(2x+1，2y+1，2t+1)块。
在本发明的示例性实施例中，组合图像产生单元330将基本视点图像块确定单元310和附加视点图像块确定单元320确定的块布置在组合图像530中与它们的原始位置相同的位置。换句话说，基本视点图像510的确定的块被布置在组合图像530的第(2x，2y，2t)块、第(2x+1，2y+1，2t)块、第(2x，2y+1，2t+1)块和第(2x+1，2y，2t+1)块，附加视点图像520的确定的块被布置在组合图像530中的第(2x，2y+1，2t)块、第(2x+1，2y，2t)块、第(2x，2y，2t+1)块和第(2x+1，2y+1，2t+1)块。
附加视点图像520的确定的块在当前帧中被布置在基本视点图像510的确定的块的上、下、左、右的位置，在当前帧之前和之后的帧中被布置在与基本视点图510的确定的块的位置相同的位置。因此，相同视点图像的块没有被连续布置在组合图像530中。
这样的不连续块的布置的意图是通过将不同视点图像的块布置为相邻块从而可以在立体图像重构处理期间使用相邻块的信息。基本视点图像510和附加视点图像520的确定的块的位置可根据各种实施例变化，只要相同视点图像的块被不连续地布置。
图5B是用于解释根据本发明示例性实施例的从基于块的立体图像格式重构立体图像的方法的示图。
将参照图5B详细描述用于重构立体图像的设备350的初级图像产生单元370和图像重构单元380。
图像560是解码的组合图像。
图像570是从组合图像560重构的第一初级图像。
图像575是从组合图像560重构的第二初级图像。
图像580是从第一初级图像570提取的基本视点图像。
图像590是从第二初级图像575提取的附加视点图像。
块确定单元360确定第一初级图像570的块和第二初级图像575的块。该确定处理与立体图像格式产生处理相似。
例如，对于第一初级图像570，确定组合图像560的第(2x，2y，2t)块、第(2x+1，2y+1，2t)块、第(2x，2y+1，2t+1)块和第(2x+1，2y，2t+1)块。
对于第二初级图像575，确定组合图像560的第(2x，2y+1，2t)块、第(2x+1，2y，2t)块、第(2x，2y，2t+1)块和第(2x+1，2y+1，2t+1)块。
初级图像产生单元370通过布置由块确定单元360确定的组合图像560的块来产生第一初级图像570和第二初级图像575。在本发明的示例性实施例中，组合图像560的确定的块被布置在第一初级图像570中与确定的块的原始位置相同的位置。
换句话说，用于第一初级图像570的组合图像560的确定的块被布置在第一初级图像570中的第(2x，2y，2t)块、第(2x+1，2y+1，2t)块、第(2x，2y+1，2t+1)块和第(2x+1，2y，2t+1)块，组合图像560的其余的块(用于第二初级图像575的组合图像560的确定的块)被布置在第二初级图像575中与它们的原始位置相同的位置。因此，即使组合图像560的确定的块被布置在第一初级图像570和第二初级图像575的块位置中，第一初级图像570和第二初级图像575中的每一个的所有块中的一半被占用。
在本发明的示例性实施例中，图像重构单元380将初级图像产生单元370产生的第一初级图像570和第二初级图像575的块布置在基本视点图像580和附加视点图像585中相应的块位置。
除了被组合图像560的块占用的第一初级图像570或第二初级图像575的块之外，对于其余的块，图像重构单元380使用运动估计/补偿和视差估计/补偿。
由于根据本发明示例性实施例的用于产生立体图像格式的设备300或用于重构立体图像的设备350逐个布置不同视点图像的块，因此运动估计/补偿和视差估计/补偿可与当前块的相邻块一起使用。
在根据本发明示例性实施例的运动估计中，从第一初级图像570的先前帧或后续帧的块中检测与第一初级图像570中的当前帧中占用的当前块相比具有最小差的块，检测的块与当前块之间的距离被确定为运动向量。通过运动估计确定的运动向量，使用第一初级图像570的先前帧或后续帧的占用块来确定第一初级图像570的空块的像素值。
在根据本发明示例性实施例的视差估计中，从第二初级图像575的当前帧、先前帧或后续帧的块中检测与第一初级图像570的当前块具有最小差的块，并将检测的块与当前块之间的距离确定为视差向量。通过由视差估计确定的视差向量，使用当前帧、先前帧或后续帧的占用块确定第二初级图像575的空块的像素值。
图6是用于解释根据本发明示例性实施例的使用基本视点图像和附加视点图像的视差向量产生基于块的立体图像的方法的示图。
现在将参照图6描述根据本发明示例性实施例的用于产生立体图像格式的设备300的的附加视点图像块确定单元320和组合图像产生单元330。
图像510和图像520分别是基本视点图像和附加视点图像。
图像630是根据本发明示例性实施例的通过使用视差向量信息组合基本视点图像510和附加视点图像520获得的组合图像。
根据本发明的示例性实施例，附加视点图像块确定单元320使用基本视点图像510和附加视点图像520的块之间的视差估计，能够进行自然3D图像再现的立体图像的重构。换句话说，附加视点图像块确定单元320估计基本视点图像510中的第二位置的块与附加视点图像520中的第二位置的块之间的视差向量，并确定与附加视点图像中的第二位置偏离的距离相应于估计的视差向量的块。
通过视差估计，由于与相应位置的基本视点图像510的块相比具有最小差的附加视点图像520的块被确定为将被布置在组合图像630中的块，因此组合图像630具有与基本视点图像510最相似的块信息。
基本视点图像块确定单元310和组合图像产生单元330的操作处理与图5A中的操作处理相同。
在通过使用基本视点图像510和附加视点图像520之间的视差向量信息产生组合图像630的示例性实施例中，为了在接收端准确重构，视差向量信息必须与图像信息一起被发送。
在本发明的示例性实施例中，使用水印将视差向量信息插入组合图像630。在本发明的另一示例性实施例中，将视差向量信息插入组合图像630的预定区。在本发明的另一示例性实施例中，将视差向量信息插入组合图像被压缩并随后被记录的比特流中。在本发明的另一示例性实施例中，产生记录有视差向量信息的视差图并将视差图与图像信息一起发送。
根据图6示出的示例性实施例的重构图像格式的方法与图5B中示出的方法相同。换句话说，从解码的组合图像560提取第一初级图像570和第二初级图像575，通过使用第一初级图像570和第二初级图像575进行运动估计/补偿和视差估计/补偿来重构基本视点图像580和附加视点图像585。
然而，根据本发明当前示例性实施例的用于重构立体图像的设备350接收视差向量信息以及图像信息。
在本发明的示例性实施例中，提取插入到使用了水印的组合图像的视差向量信息。在本发明的另一示例性实施例中，提取插入到组合图像的预定区的视差向量信息。在本发明的另一示例性实施例中，从比特流提取视差向量信息，在所述比特流中组合图像被压缩并随后被记录。在本发明的另一示例性实施例中，从与图像信息一起发送的视差图提取视差向量信息。
使用根据本发明各种示例性实施例的提取的视差向量，当图像重构单元380重构附加视点图像585时，将第二初级图像575的块布置在与相应的块的第二位置偏离的距离相应于估计的视差向量的块位置。与图5B相同，除了布置了第二初级图像575的块之外，使用运动估计/补偿和视差估计/补偿占用重构的附加视点图像585的其余的块。
以下，将参照图7A到图7C描述根据本发明另一示例性实施例的产生立体图像格式的方法和重构立体图像的方法。
图7A是根据本发明另一示例性实施例的用于产生基于块的立体图像格式的设备700的框图。
参照图7A，设备700包括基本视点图像块确定单元310、附加视点图像块确定单元320、图像缩减单元710和组合图像产生单元720。
以与图3中示出的用于产生立体图像格式的设备300的基本视点图像块确定单元310和附加视点图像块确定单元320相同的方式实施设备700的基本视点图像块确定单元310和附加视点图像块确定单元320。
图像缩减单元710以预定的比率缩减由附加视点图像块确定单元320确定的附加视点图像的块，并输出缩减的确定的块。
组合图像产生单元720接收由基本视点图像块确定单元310确定的基本视点图像的块，接收由附加视点图像块确定单元320确定并随后由图像缩减单元710缩减的附加视点图像的块，并将基本视点图像的确定的块的像素线与附加视点图像块的缩减的块的像素线组合以重构组合图像的块，从而产生组合图像。
稍后将参照图7B描述由组合图像产生单元720通过将基本视点图像的块的像素线与附加视点图像的块的像素线组合来产生组合图像的方法。
图7B是用于解释产生立体图像格式的方法的示图，所述立体图像格式将基本视点图像信息和附加视点图像信息包括在单个块中。
现在将参照图7B详细描述根据本发明示例性实施例的设备700的图像缩减单元710和组合图像产生单元330。
图像510是基本视点图像，图像520是附加视点图像。
图像730是附加视点图像520的缩减图像。
图像740是根据本发明示例性实施例通过将附加视点图像520的块信息添加到基本视点图像510的块信息获得的组合图像。
在根据本发明示例性实施例的用于产生立体图像格式的设备700中，组合图像产生单元720对基本视点图像510的每条像素线和通过将基本视点图像510的信息与附加视点图像520的信息组合而得到的每条像素线与每个块的组合图像740的相应像素线进行交替地组合。
附加视点图像520使用在水平或垂直方向以预定比率缩减的图像730。用于缩减的方向与用于组合图像740的基本视点图像510和附加视点图像520的线的方向垂直。在本发明的示例性实施例中，使用通过在水平方向以1∶2的比率缩减附加视点图像520获得的缩减图像730。
根据本发明的示例性实施例，对于组合图像740的块的偶数垂直线，组合图像产生单元720从基本视点图像510选择与组合图像740的块位置和线位置相同的像素线。
对于组合图像730的块的奇数垂直线，组合图像产生单元720选择通过将基本视点图像510的块的线的像素值与附加视点图像520的块的线的像素值线性组合而获得的像素值，所述基本视点图像510的块的线的块位置和线位置与组合图像730的块位置和线位置相同，所述附加视点图像520的块的线与基本视点图像510的线相应。组合图像产生单元720选择基本视点图像510的像素值和附加视点图像520的像素线的平均值，作为如下组合图像730的像素值：
Imix(i，j)＝(L(i，j-1)+Rdown(i，j/2)+1)/2.....................(1)，
其中，Imix表示组合图像730，L表示作为基本视点图像510的左视点图像，R表示作为附加视点图像520的右视点图像，Rdown表示R的缩减图像，i是从0到N-1的整数，j是从0到N-2的整数，N是正整数。
根据本发明的示例性实施例，为了确定将用于产生组合图像730的附加视点图像520的块，附加视点图像块确定单元320通过执行基本视点图像510的块和附加视点图像520的块之间的视差估计来获得视差向量信息。基于视差向量信息，选择与当前块位置的基本视点图像510最相似的附加视点图像520的块。
如果在按行组合的不同视点图像的立体图像格式中出现不同视点图像之间的失配(例如，不准确的视差估计)，则逐行或按像素一个接一个显示不同视点的图像，这导致主观显示质量的降低。
另一方面，在如图7的根据本发明示例性实施例的产生立体图像格式的方法中，通过将组合基本视点图像510和附加视点图像520而获得的像素线布置在组合图像730中(而不是直接布置附加视点图像520的像素线)来提高基本视点图像510和组合图像730之间的相关性。另外，还使用视差估计来减少基本视点图像510和组合图像730之间的差。
图7C是根据本发明另一示例性实施例的用于重构立体图像的设备750的框图。
设备750包括像素线确定单元760、基本视点图像重构单元770和附加视点图像重构单元780。
像素线确定单元760接收组合图像，从通过分割组合图像获得的预定大小的块中确定第一位置的像素线和第二位置的像素线，所述第二位置的像素线与第一位置的像素线不同，并将确定的像素线输出到基本视点图像重构单元770和附加视点图像重构单元780。
基本视点图像重构单元770使用由像素线确定单元760确定的第一位置的像素线重构块，从而重构基本视点图像。
附加视点图像重构单元780使用由像素线确定单元760确定的第二位置的像素线重构块，从而重构附加视点图像。
设备750使用插值以便重构由用于产生立体图像格式的设备700产生的立体图像格式。
附加视点图像重构单元780使用组合图像的像素线，重构缩减的附加视点图像如下：
R′down(i，j/2)＝2×I′mix(i，j+1)-L′(i，j)-1.............................(2)，
其中，R′down表示具有缩减的分辨率的第二重构图像，L′表示第一重构图像，I′mix表示解码的组合图像，i是从0到N-1的整数，j是从0到N-2的整数，N是正整数。
根据本发明的另一示例性实施例，第二初级图像和缩减分辨率的第二重构图像的分辨率是原始附加视点图像的分辨率的一半，因而它们的分辨率必须在水平或垂直方向上加倍。根据本发明的示例性实施例，分辨率恢复的方向与在立体图像格式的产生中使用的缩减的方向相同。图像重构单元380使用插值进行分辨率恢复。
例如，根据本发明的示例性实施例，图像重构单元380将缩减的附加视点图像的块的像素线布置在附加视点图像的每个块的偶数线中，将与附加视点图像的奇数线的相邻的偶数线的像素值的线性平均值布置在附加视点图像的奇数线中。
当用于产生立体图像格式的设备300通过视差估计使用附加视点图像时，用于重构立体图像的设备750的图像重构单元780必须考虑在附加视点图像的产生期间估计的视差向量信息。因此，图像重构单元780从组合图像提取视差向量信息并基于运动向量信息移动附加视点图像的块。
图8是用于解释根据本发明示例性实施例的对产生的立体图像格式编码的方法的示图。
图像810是使用分散映射方案排列的基本视点图像的块和附加视点图像的块的组合图像。标记了“0”的块包括基本视点图像的块信息，标记了“1”的块包括附加视点图像的信息。
图像820是组合图像810的全部块中的仅包括基本视点图像块“0”的分片。
图像830是组合图像810的全部块中的仅包括附加视点图像块“1”的分片。
在H.264基线类中实施的任意分片排序(Arbitrary Slice Ordering，ASO)所支持的可变宏块排序(Flexible Macroblock Ordering，FMO)支持分散映射方案。因此，根据本发明示例性实施例的基于基本视点图像和附加视点图像的每个块产生的立体图像格式可根据H.264被压缩和发送。换句话说，构造仅包括块“0”的分片820和仅包括块“1”的分片830，并基于分片执行编码，从而对基本视点图像和附加视点图像进行有效编码。
图9A是示出根据本发明示例性实施例的产生立体图像格式的方法流程图。
在操作910，从通过分割基本视点图像获得的预定大小的块中确定第一位置的基本视点图像的块。
在操作920，确定与第二位置的基本视点图像的块相应的附加视点图像的块，第二位置的基本视点图像的块与第一位置的块不同。
在操作930，组合在操作910确定的基本视点图像的块和在操作920确定的附加视点图像的块，从而产生组合图像。
图9B是示出根据本发明示例性实施例的重构立体图像的方法的流程图。
在操作960，从通过分割组合图像获得的预定大小的块中确定第一位置的块和第二位置的块，所述第二位置的块与第一位置的块不同。
在操作970，产生包括确定的第一位置的块的第一初始图像和包括确定的第二位置的块的第二初始图像。
在操作980，分别使用第一初始图像和第二初始图像重构基本视点图像和附加视点图像。
本发明的实施例还可编写为计算机程序，并且可以在使用计算机可读记录介质执行程序的通用数字计算机上实施。计算机可读记录介质的示例包括磁性存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)。本发明还可以应用于广播系统。
根据本发明的用于产生立体图像格式的方法和设备将立体图像的基本视点图像和附加视点图像两者的信息包括在通过交替组合基本视点图像和附加视点图像获得的组合图像中。由于基于块将基本视点图像的信息与附加视点图像的信息进行组合，因此基于块的压缩/通信标准可应用于信息，从而允许有效的图像压缩。
此外，根据本发明的用于产生立体图像格式的方法和设备通过执行视差估计提高了在立体图像格式的产生期间的压缩效率，并且在接收端处理之后执行的后置处理过程期间准确地重构立体图像。此外，视差向量信息被插入图像信息而不需要另外的信道，从而使得现有技术2D图像装置的解码器能够读取根据本发明的立体图像格式。
根据本发明的用于重构立体图像的方法和设备从组合图像提取基本视点图像和附加视点图像的某些块，并使用运动补偿和视差补偿重构其余的块。这样，由于重构了立体图像的所有的块，因此可保持立体图像的原始分辨率，并通过视差补偿和运动补偿更准确地重构了立体图像。
另外，可通过将根据本发明的立体图像格式构造为包括不同视点图像的块的独立分片实现更有效的编码，解码也是同样。
产生立体图像格式的方法和对立体图像格式解码的方法可应用于立体数字电视(TV)、立体个人计算机(PC)监视器、立体摄像机和立体数字广播(DB)播放器。
虽然已经参照本发明的示例性实施例具体示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上做出各种改变。

Claims (18)

1.一种重构立体图像的方法，所述方法包括：
从通过分割组合图像获得的块中确定第一位置的第一块和第二位置的第二块，第二位置的第二块与第一位置的第一块不同；
产生包括第一位置的第一块的第一初级图像和包括第二位置的第二块的第二初级图像；
基于第一初级图像和第二初级图像分别重构基本视点图像和附加视点图像。
2.如权利要求1所述的方法，其中，组合图像包括N行和M列，x是大于0小于N/2的整数，y是大于0小于M/2的整数，t是大于0的整数，第(x，y，t)块表示位于第t帧中左起第x列上起第y行的块，
第一位置是第(2x，2y，2t)块、第(2x+1，2y+1，2t+1)块、第(2x，2y+1，2t)块和第(2x+1，2y，2t+1)块的位置，
第二位置是第(2x，2y+1，2t)块、第(2x+1，2y，2t)块、第(2x，2y，2t+1)块和第(2x+1，2y+1，2t+1)块的位置。
3.如权利要求1所述的方法，其中，产生第一初级图像和第二初级图像的步骤包括：
将第一位置的第一块布置在第一初级图像的第一位置；
将第二位置的第二块布置在第二初级图像的第二位置。
4.如权利要求1所述的方法，其中，产生第一初级图像和第二初级图像的步骤包括：
从基本视点图像的块和附加视点图像的块之间提取视差向量；
布置第一初级图像的第一位置的第一块；
将第二位置的第二块布置在这样的位置：所述位置偏离第二位置的距离与估计的视差向量相应。
5.如权利要求1所述的方法，其中，重构基本视点图像和附加视点图像的步骤包括：
为第一初级图像中第二位置的第二块估计第一初级图像的不同时间的帧之间的运动向量；
将不同时间的帧的块布置在基本视点图像的第二位置，所述不同时间的帧偏离第二位置的距离与估计的运动向量相应。
6.如权利要求1所述的方法，其中，重构基本视点图像和附加视点图像的步骤包括：
为第二初级图像中的第一位置的第一块估计第二初级图像的不同时间的帧之间的运动向量；
将不同时间的帧的块布置在附加视点图像的第一位置，所述不同时间的帧偏离第一位置的距离与估计的运动向量相应。
7.如权利要求1所述的方法，其中，重构基本视点图像和附加视点图像的步骤包括：
为第一初级图像的第二位置的第二块估计第一初级图像和第二初级图像之间的视差向量；
将第二初级图像的块布置在基本视点图像的第二位置，所述第二初级图像的块偏离第二位置的距离与估计的视差向量相应。
8.如权利要求1所述的方法，其中，重构基本视点图像和附加视点图像的步骤包括：
为第二初级图像的第一位置的第一块估计第一初级图像和第二初级图像之间的视差向量；
将第一初级图像的块布置在附加视点图像的第一位置，所述第一初级图像的块偏离第一位置的距离与估计的视差向量相应。
9.如权利要求4所述的方法，其中，提取视差向量的步骤包括：提取通过使用水印插入到组合图像的视差向量。
10.如权利要求4所述的方法，其中，提取视差向量的步骤包括：提取插入到组合图像的预定区的视差向量。
11.如权利要求4所述的方法，其中，提取视差向量的步骤包括：从比特流提取视差向量，在所述比特流中组合图像被压缩和记录。
12.如权利要求4所述的方法，其中，提取视差向量的步骤包括：从视差图提取视差向量。
13.一种重构立体图像的方法，所述方法包括：
从通过分割组合图像获得的块中确定第一位置的第一像素线和第二位置的第二像素线，第二位置的像素线与第一位置的第一像素线不同；
通过基于第一位置的第一像素线构造块来重构基本视点图像；
通过基于第一位置的第一像素线和第二位置的第二像素线构造块来重构附加视点图像。
14.如权利要求13所述的方法，其中，重构基本视点图像的步骤包括：
将组合图像的块的第2n像素线布置在基本视点图像的块的第2n像素线中，其中，n是大于0的整数，第一位置是第2n线的位置和第(2n+1)线的位置；
通过使用基本视点图像的块的第2n像素线或第(2n+2)像素线执行插值来重构基本视点图像的块的第(2n+1)像素线。
15.如权利要求13所述的方法，其中，重构附加视点图像的步骤包括：
将通过从组合图像的第(2n+1)像素线的两倍像素值减去基本视点图像的块的第2n像素线的像素值而获得的值布置在附加视点图像的块的第(2n+1)像素线，其中，n是大于0的整数，第一位置是第2n线的位置和第(2n+1)线的位置；
通过使用附加视点图像的块的第(2n-1)像素线或第(2n+1)像素线执行插值来重构附加视点图像的块的第2n像素线。
16.一种对包括N行和M列的块的立体图像格式进行编码的方法，所述方法包括：
通过布置第(2x，2y)块和第(2x+1，2y+1)块来构造第一分片，其中，x是大于0小于N/2的整数，y是大于0小于M/2的整数；
通过布置第(2x，2y+1)块和第(2x+1，2y)块来构造第二分片；
使用基于块的编码对第一分片和第二分片编码。
17.一种用于重构立体图像的设备，所述设备包括：
块确定单元，从通过分割组合图像获得的块中确定第一位置的第一块和第二位置的确定的第二块，第二位置的第二块与第一位置的第一块不同；
初级图像产生单元，产生包括第一位置的确定的第一块的第一初级图像和包括第二位置的第二块的第二初级图像；
图像重构单元，使用第一初级图像和第二初级图像分别重构基本视点图像和附加视点图像。
18.一种记录有用于执行重构立体图像的方法的程序的计算机可读记录介质，所述方法包括：
从通过分割组合图像获得的块中确定第一位置的第一块和第二位置的第二块，第二位置的第二块与第一位置的第一块不同；
产生包括第一位置的第一块的第一初级图像和包括第二位置的第二块的第二初级图像；
通过使用第一初级图像和第二初级图像分别重构基本视点图像和附加视点图像。
CN2008800195943A 2007-06-11 2008-01-28 产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备 Expired - Fee Related CN101715651B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US94315107P 2007-06-11 2007-06-11
US60/943,151 2007-06-11
KR1020070077461A KR101450670B1 (ko) 2007-06-11 2007-08-01 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
KR10-2007-0077461 2007-08-01
PCT/KR2008/000495 WO2008153259A1 (en) 2007-06-11 2008-01-28 Method and apparatus for generating block-based stereoscopic image format and method and apparatus for reconstructing stereoscopic images from block-based stereoscopic image format

Publications (2)

Publication Number Publication Date
CN101715651A true CN101715651A (zh) 2010-05-26
CN101715651B CN101715651B (zh) 2013-03-27

Family

ID=40368415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800195943A Expired - Fee Related CN101715651B (zh) 2007-06-11 2008-01-28 产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备

Country Status (5)

Country Link
US (1) US8462196B2 (zh)
EP (1) EP2156668B1 (zh)
KR (1) KR101450670B1 (zh)
CN (1) CN101715651B (zh)
WO (1) WO2008153259A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307311A (zh) * 2011-08-30 2012-01-04 华映光电股份有限公司 播放立体影像的方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
CN102017628B (zh) * 2008-04-25 2013-10-09 汤姆逊许可证公司 深度信号的编码
KR101663819B1 (ko) 2008-08-20 2016-10-10 톰슨 라이센싱 정제된 깊이 맵
DK2371138T3 (da) * 2008-12-25 2012-12-17 Dolby Lab Licensing Corp Rekonstruktion af de-interleaved billeder ved anvendelse af adaptiv interpolation baseret på disparitet mellem billederne til op-sampling
WO2010144074A1 (en) * 2009-01-07 2010-12-16 Thomson Licensing Joint depth estimation
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP2011109398A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システム
US20110122225A1 (en) * 2009-11-23 2011-05-26 General Instrument Corporation Depth Coding as an Additional Channel to Video Sequence
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US8619123B2 (en) * 2010-01-20 2013-12-31 Kabushiki Kaisha Toshiba Video processing apparatus and method for scaling three-dimensional video
MX2012008461A (es) * 2010-01-21 2012-08-15 Gen Instrument Corp Superposicion de graficos de video estereoscopico.
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US9118929B2 (en) * 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US20130128979A1 (en) * 2010-05-11 2013-05-23 Telefonaktiebolaget Lm Ericsson (Publ) Video signal compression coding
JP5527603B2 (ja) * 2010-06-24 2014-06-18 ソニー株式会社 情報処理装置および情報処理方法
US8797391B2 (en) * 2011-01-14 2014-08-05 Himax Media Solutions, Inc. Stereo image displaying method
US9143757B2 (en) * 2011-04-27 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving stereoscopic video
JP5701687B2 (ja) 2011-05-27 2015-04-15 ルネサスエレクトロニクス株式会社 画像処理装置、画像処理方法
JP5550603B2 (ja) * 2011-06-07 2014-07-16 株式会社東芝 映像処理装置及び映像処理方法並びにプログラム
CN102254348B (zh) * 2011-07-25 2013-09-18 北京航空航天大学 一种基于自适应视差估计的虚拟视点绘制方法
TWI456975B (zh) * 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102984538B (zh) * 2011-09-05 2015-02-25 宏碁股份有限公司 立体图像处理装置与方法
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
CN104038726A (zh) * 2014-06-26 2014-09-10 武汉恩倍思科技有限公司 实现裸眼3d视频会议的方法
KR102194237B1 (ko) 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US117637A (en) * 1871-08-01 Improvement in standards for wagons
US8893A (en) * 1852-04-20 Rotary
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
JPH11103473A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 立体映像表示装置
WO2001076257A1 (en) 2000-03-31 2001-10-11 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
TW580826B (en) * 2001-01-12 2004-03-21 Vrex Inc Method and apparatus for stereoscopic display using digital light processing
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100488804B1 (ko) 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
US7868879B2 (en) * 2006-05-12 2011-01-11 Doremi Labs, Inc. Method and apparatus for serving audiovisual content
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307311A (zh) * 2011-08-30 2012-01-04 华映光电股份有限公司 播放立体影像的方法

Also Published As

Publication number Publication date
EP2156668A1 (en) 2010-02-24
KR20080108884A (ko) 2008-12-16
EP2156668A4 (en) 2010-11-24
CN101715651B (zh) 2013-03-27
US20080303892A1 (en) 2008-12-11
WO2008153259A1 (en) 2008-12-18
EP2156668B1 (en) 2013-09-25
KR101450670B1 (ko) 2014-10-15
US8462196B2 (en) 2013-06-11

Similar Documents

Publication Publication Date Title
CN101715651B (zh) 产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备
US8471893B2 (en) Method and apparatus for generating stereoscopic image bitstream using block interleaved method
US9172942B2 (en) Method and apparatus for generating header information of stereoscopic image data
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US20090015662A1 (en) Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
KR101180870B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
WO2007024072A1 (en) Method and apparatus for encoding multiview video
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR20120020627A (ko) 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치
CN104982038A (zh) 处理视频信号的方法和设备
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20220128

CF01 Termination of patent right due to non-payment of annual fee