CN103210653A - 用于转换帧格式的方法及使用该方法的装置 - Google Patents

用于转换帧格式的方法及使用该方法的装置 Download PDF

Info

Publication number
CN103210653A
CN103210653A CN2011800549437A CN201180054943A CN103210653A CN 103210653 A CN103210653 A CN 103210653A CN 2011800549437 A CN2011800549437 A CN 2011800549437A CN 201180054943 A CN201180054943 A CN 201180054943A CN 103210653 A CN103210653 A CN 103210653A
Authority
CN
China
Prior art keywords
frame
information
mvc
decoding
senior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800549437A
Other languages
English (en)
Other versions
CN103210653B (zh
Inventor
成宰源
朴胜煜
林宰显
金廷宣
朴俊永
崔瑛喜
全柄文
全勇俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103210653A publication Critical patent/CN103210653A/zh
Application granted granted Critical
Publication of CN103210653B publication Critical patent/CN103210653B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/005Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了用于转换帧格式的方法及使用该方法的装置。该方法可以包括:使用MVC解码器来对编码的多视点视频压缩(MVC)兼容帧进行解码的步骤;以及将解码的MVC兼容帧转换成高级3D帧的步骤。作为结果,可以从现有的图像处理设备播放不同的帧格式。

Description

用于转换帧格式的方法及使用该方法的装置
技术领域
本发明涉及用于转换帧格式的方法及使用该方法的装置,并且更具体地涉及视频解码方法和装置。
背景技术
多视点视频是一种新型的多媒体技术,该技术使用多视点信道来提供真实感和沉浸感。多视点应用是最常规和有挑战性的应用模型,该模型可以在表示、存储和传送三维(3D)信息时使用。多视点应用的目的在于通过给出与媒体的交互来向用户提供虚拟现实。期望该技术广泛地适用于3D电影、现实的广播、娱乐、医疗实践、教育、游览、文化、遥感和国家财富或者传统文化的信息记录。在自由视点TV的情况下,用户可以自由地操纵媒体的观察方向和视点而无需单边地接受媒体。因此,自由视点TV可以将媒体改变为活动媒体。然而,随着在视点数目的增加,在获取视频、存储和传送视频以及播放视频中会发生各种问题。特别是,当存储和传送视频时,有限的存储容量和增加的信道频带对于多视点视频服务来说是最大障碍。
因此,多视点视频应用需要一种编码技术,该编码技术能够满足高压缩效率、与用户的交互、诸如视图可缩放性和时间可缩放性的各种可缩放性以及在视点和时间方向上的随机接入。这样的期望和需求也被反映到开始于2001年的MPEG-43DAV(3D音频/视频)标准化组的多视点视频压缩方法的标准化。
发明内容
技术问题
本发明的实施例涉及一种用于在现有的视频传输层传送不同的视频格式的方法。
本发明的另一个实施例涉及一种用于执行用于在视频传输层传送不同的视频格式方法的装置。
技术解决方案
根据本发明的实施例,一种视频解码方法,包括:使用多视点视频压缩(MVC)解码器来对编码的MVC兼容帧进行解码;以及将解码的MVC兼容帧转换成高级3D帧。该视频解码方法可以进一步包括使用高级3D帧来执行视图合成。MVC兼容帧可以包括基于高级3D帧的色彩信息和深度信息通过帧兼容方法生成的帧。帧兼容的方法可以包括棋盘格方法、列交织方法、行交织方法、并行方法以及上下方法(top andbottom)中的任何一个。高级3D帧可以包括包含色彩信息和深度信息的多视点视频加深度(MVD)数据、以及包含前景和背景纹理以及前景和背景深度的分层深度视频(LDV)数据。在将解码的MVC兼容帧转换成高级3D帧中,当高级3D帧是MVD数据时,可以基于包含在MVC兼容帧中的第一信息来对色彩信息进行提取和上采样,并且可以基于包含在MVC兼容帧中的第二信息来对深度信息进行提取和上采样。在将解码的MVC兼容帧转换成高级3D帧中,当高级3D帧是LDV数据时,可以基于包含在MVC兼容帧中的第一信息来对前景纹理或者背景纹理进行提取和上采样,并且可以基于包含在MVC兼容帧中的第二信息来对前景深度或者背景深度进行提取和上采样。将解码的MVC兼容帧转换成高级3D帧可以包括对与用于生成MVC兼容帧的帧兼容的方法有关的信息进行解码,并且基于解码的信息将MVC兼容帧转换成高级3D帧。
根据本发明的另一实施例,一种视频解码方法,包括:对在其中不执行编译的空编译块的位置信息进行解码;以及基于该位置信息在编译块中执行解码。对位置信息的解码可以包括对空映射信息进行解码,该空映射信息关于是否在被包括在相应条带中的编译块中执行解码、以及基于空映射信息对在其中不执行编译的空编译块的位置信息进行解码。该视频解码方法可以进一步包括:基于与是否执行空编译有关的信息确定是否在序列中执行空编译,该信息被存储在序列参数集(SPS)块中;以及当在序列中执行空编译时,确定是否在条带中执行空编译。
根据本发明的另一实施例,一种视频编码装置,包括:下采样单元,该下采样单元被配置为对色彩信息和深度信息进行下采样;以及帧合成单元,该帧合成单元被配置为将通过下采样单元下采样的色彩信息和深度信息合成为一个MVC兼容帧。帧合成单元可以生成与用于生成MVC兼容帧的帧兼容的方法有关的信息。
根据本发明的另一实施例,一种视频解码装置,包括:帧分离单元,该帧分离单元被配置为将MVC兼容帧分离为一条或多条色彩信息以及一条或多条深度信息;以及上采样单元,该上采样单元被配置为对通过帧分离单元分离的色彩信息和深度信息进行上采样。帧分离单元可以基于与用于生成MVC兼容帧的帧兼容的方法有关的信息来分离MVC兼容帧。
有益效果
根据本发明的实施例,用于转换帧格式的方法和使用该方法的装置可以通过现有MVC编码器/解码器来传送高级3D视频。因此,可以在不改变现有传输系统和通信层的情况下使用高级3D内容。
附图说明
图1是图示根据本发明的实施例的高级3D内容的概念图。
图2是图示用于将基于MVD格式的高级3D内容转换成MVC兼容帧的方法的概念图。
图3是图示用于将基于LDV格式的高级3D内容转换成MVC兼容帧的方法的概念图。
图4是图示根据本发明的另一实施例的高级3D内容显示方法的概念图。
图5是图示根据本发明的另一实施例的用于将高级3D内容显示为MVC兼容帧的方法的概念图。
图6是图示根据本发明的另一实施例的用于将基于MVD格式的高级3D内容转换成MVC兼容帧的方法的流程图。
图7是图示根据本发明的另一实施例的用于将基于MVD格式的MVC兼容帧解码为高级3d内容的方法的流程图。
图8是图示根据本发明的另一实施例的用于通过MVC编码器或者MVC解码器来编码/解码高级3D帧的方法的概念图。
图9是图示根据本发明的实施例的用于执行编码的第一格式转换单元的概念图。
图10是图示根据本发明的实施例的用于执行解码的第二格式转换单元的概念图。
图11是图示根据本发明的另一实施例的用于解码与是否执行空编译有关的信息的方法的流程图。
具体实施方式
将在下面参考附图来更详细地描述本发明示例性的实施例。然而,本发明可以以不同的形式来实施,并且不应该构成为限于在此处阐述的实施例。相反,提供这些实施例以使得本公开全面和完整,并且向本领域的技术人员充分地传达本发明的范围。在本公开中,遍及本发明的各个附图和实施例,类似的附图标记指类似的部分。
当元件被称为“连接”或者“耦合”到另一元件时,应该理解,元件可以彼此直接连接或耦合,而另一个元件可以插入其间。此外,当特定元件被称为被“包括”时,不排除除了相应元件以外的元件,但是其他元件可以被包括在本发明的实施例或本发明的范围中。
诸如第一和第二的术语可以用于描述各种元件,但是该元件不必局限于该术语。该术语仅用于使一个元件与其它元件相区分。例如,在不脱离本发明的范围的情况下,第一元件可以被称为第二元件,并且第二元件可以被称为第一元件。
此外,独立地图示包括在本发明的实施例中的组成单元以描述不同的特定功能,并且组成单元中的每一个可以不指示单独的硬件或者一个软件元件。也就是说,为了便于描述,布置和包括了各个组成单元。在组成单元中,两个或更多个组成单元可以被组合以用作一个组成单元,并且一个组成单元可以被分成多个组成单元以执行功能。只要不脱离本发明的精神,组成单元的综合的实施例和每个组成单元的被划分的实施例都包括在权利要求中。
此外,一些元件可以不用作执行本发明中的基本功能的必要元件,但是可以用作改善性能的选择性元件。本发明可以通过仅包括用于实现本发明的精神的必要元件而排除用于改善性能的元件来实现,并且仅包括必要元件而排除用于改善性能的选择性的元件的结构也包括在本发明的范围中。
图1是图示根据本发明的实施例的高级3D内容的概念图。
高级3D内容指在色彩信息中包含深度信息的帧内容。高级3D方法可以通过在利用在播放过程期间传送的视频信息和深度信息的任意视图的位置处合成视频来将具有深度感地播放3D视频。当使用高级3D方法时,观众可以调整深度感,并且多视点显示设备可以在连续视点处自然地合成必要数目的视图。
图1的上部图示了高级3D方法的多视点视频加深度(MVD)格式。
图1的上部图示了在视图的数目为3的情况下的MVD格式。MVD格式可以具有第一色彩信息100、第二色彩信息110和第三色彩信息120、第一深度信息105、第二深度信息115,和第三深度信息125。第一深度信息105、第二深度信息115和第三深度信息125分别与第一色彩信息100、第二色彩信息110和第三色彩信息120相对应。也就是说,在MVD方法的情况下,可以根据视图来生成色彩信息和与色彩信息相对应的深度信息。
图1的下部图示了高级3D方法的分层深度视频(LDV)格式。
参考图1的下部,LDV格式可以包括前景纹理(FT)130、背景纹理(BT)140、具有关于前景纹理130的深度信息的前景深度(FD)135以及具有关于背景纹理140的深度信息的背景深度(BD)145。
根据本发明的实施例的视频内容传输方法可以使用多视点视频压缩(MVC)方法来传送诸如MVD和LDV的高级3D内容,并且以MVC帧的形式表示的高级3D内容可以被定义为MVC兼容帧,以便于通过MVC编码器或者MVC解码器来编码/解码。
图2和图3是图示根据本发明的另一实施例的高级3D内容显示方法的概念图。
图2是图示用于将基于MVD格式的高级3D内容转换成MVC兼容帧的方法的概念图。
当在MVD方法中视图的数目为2时,并排方法可以用于生成作为第一MVC兼容帧200的第一色彩信息210和第一深度信息220,并且生成作为第二MVC兼容帧230的第二色彩信息240和第二深度信息250。可以通过MVC编码器和MVC解码器来对第一和第二MVC兼容帧200和230一起进行编码/解码。
图3是图示用于将基于LDV格式的高级3D内容转换成MVC兼容帧方法的概念图。
并排方法可以用于生成作为第一MVC兼容帧300根据LDV方法获取的前景纹理310和前景深度320,并且生成作为第二MVC兼容帧330的背景纹理340和背景深度350。可以通过MVC编码器和MVC解码器来对生成的第一和第二MVC兼容帧300和330一起进行编码/解码。
图4是图示根据本发明的另一实施例高级3D内容显示方法的概念图。
图4图示了用于根据上下方法将高级3D内容转换成MVC兼容帧的方法。
参考图4的上部,对于基于MVD方法的高级3D内容,上下方法可以用于生成作为第一MVC兼容帧400的第一色彩信息410和第一深度信息420,并且生成作为第二MVC兼容帧430的第二色彩信息440和第二深度信息450。可以通过MVC编码器和MVC解码器来对第一和第二MVC兼容帧400和430一起进行编码/解码。
参考图4的下部,上下方法可以用于生成作为第一MVC兼容帧460根据LDV方法获取的前景纹理470和前景深度480,并且生成作为第二MVC兼容帧490的背景纹理493和背景深度496。可以通过MVC编码器和MVC解码器来对生成的第一和第二MVC兼容帧460和490一起进行编码/解码。
图5是图示根据本发明的另一实施例的用于将高级3D内容显示为MVC兼容帧的方法的概念图。
参考图5,可以另外使用交织方法或者棋盘格方法作为MVC兼容帧显示方法。
在交织方法500和520以及棋盘格方法540和560中,与并排方法和上下方法类似,可以将色彩信息和深度信息生成为一条帧信息以生成MVC兼容帧。也就是说,在基于MVD格式的高级3D内容的情况下,可以基于色彩信息570和深度信息580来生成MVC兼容帧,并且在基于LVD格式的高级3D内容的情况下,可以基于前景和背景纹理570以及前景和背景深度580来生成MVC兼容帧。在交织方法500和520以及棋盘格方法540和560中,包含在帧中的第一信息可以用作色彩信息,并且第二信息可以用作深度信息。
除了以上描述的帧兼容的方法之外,用于将两条信息显示为一个帧的方法,例如,用于将高级3D内容显示为一条信息的的方法可以用于生成MVC兼容帧。在本发明的范围中包括这样的实施例。
以由MVC编码器或者MVC解码器编码/解码的MVC帧的形式表示的高级3D内容可以定义为MVC兼容帧,并且MVC兼容帧可以通过对视频信息的分辨率和原始高级3D内容的深度信息进行下采样来表示。下采样的视频可以被生成为或者转换成通过解码过程来将其分辨率上采样为原始分辨率的视频。
此后,在本发明的实施例中,为了便于描述,将描述用于基于两个帧执行MVC编码/解码的方法。然而,可以基于多条视频信息执行MVC编码/解码,并且可以基于图片的矩阵(MOP)使用时间相似性和视图间相似性来编码/解码多个视频。也就是说,可以基于多个帧执行MVC编码/解码。因此,可以根据高级3D方法来生成多条视频信息,并且可以基于该视频信息来生成两个或更多个MVC兼容帧。此外,可以基于MVC兼容帧来执行MVC编码/解码。
图6是图示根据本发明的另一实施例的用于将基于MVD格式的高级3D内容转换成MVC兼容帧的方法的流程图。
参考图6,在步骤S600处,基于高级3D帧来生成MVC兼容帧。
在MVD格式的情况下,可以基于第一色彩信息和第一深度信息来生成第一MVC兼容帧,并且可以基于第二色彩信息和第二深度信息来生成第二MVC兼容帧。在LDV格式的情况下,可以基于前景纹理和前景深度来生成第一和第二MVC兼容帧。为了将高级3D内容转换成如上所述的MVC兼容帧,可以使用诸如并排方法、上下方法、交织方法和棋盘格方法的各种兼容帧方法来生成MVC兼容的方法。可以根据用于生成MVC兼容帧的方法通过对深度信息和原始视频信息的分辨率进行下采样来生成MVC兼容帧。
基于MVC兼容帧,在步骤S610处执行MVC编码。
MVC编码可以基于多个帧中的空间相似性或者时间相似性来对帧的视频信息和深度信息进行编码,或者可以使用基于帧兼容的方法生成的MVC兼容帧来执行。
图7是图示根据本发明的另一实施例的用于基于MVD格式来将MVC兼容帧解码为高级3D内容方法的流程图。
参考图7,在步骤S700处对编码的MVC兼容帧进行解码。
通过MVC编码器编码的MVC兼容帧可以由MVC解码器来解码。
在步骤S710处将解码的MVC兼容帧转换成高级3D内容。
可以基于解码的MVC兼容帧来将基于MVD或者LDV格式的视频信息解码为原始高级3D内容。例如,在MVD格式的情况下,可以将MVC兼容帧转换成多条色彩信息和深度信息,并且在LVD格式的情况下,可以将MVC兼容帧转换成包含多个前景纹理和深度以及多个背景纹理和深度的帧。
为了将解码的MVC兼容帧转换成原始高级3D帧,可以对色彩信息和深度信息进行上采样。为了将解码的MVC兼容帧转换成高级3D帧,可以接收有关用于将高级3D内容转换成MVC兼容帧的帧兼容的方法的信息,帧兼容的方法诸如并排方法或者上下方法。基于该接收到的信息,可以生成原始高级3D内容。
在步骤S720处,基于高级3D内容执行视图合成。
包含在高级3D帧中的色彩信息和深度信息可以被用于根据显示方法来生成多个虚拟视图。也就是说,可以基于两条视频信息和深度信息通过多视点呈现来生成多个虚拟视图。
在步骤S730处输出合成的视频。
可以通过3D显示设备输出基于高级3D内容的视频。
图8是图示根据本发明的另一实施例的用于通过MVC编码器或者MVC解码器对高级3D帧方法进行编码/解码的方法的概念图。
图8图示了用于基于包括深度信息和视频信息的MVD格式来对高级3D内容进行编码/解码的方法,但是该方法可以适用于其它高级3D内容。
参考图8,可以对包括第一色彩信息、第一深度信息、第二色彩信息和第二深度信息的MVD视频800执行第一格式转换805。
第一格式转换805是用于将诸如MVD或者LDV的高级3D内容转换成MVD兼容帧的方法,并且可以包括各种方法,诸如并排方法、上下方法、交织方法和棋盘格方法。通过第一格式转换805,可以根据帧兼容的方法来对深度信息或色彩信息的分辨率进行下采样以生成一个帧。
通过第一格式转换805生成的MVC兼容帧810可以同时包括色彩信息和深度信息,并且可以通过MVC编码器820对多个MVC兼容帧810进行编码。
可以通过MVC解码器830来对编码的MVC兼容帧进行解码,并且可以根据编码的过程的相反过程来对解码的MVC兼容帧840执行第二格式转换850。通过第二格式转换850,可以对通过第一格式转换805下采样的帧进行上采样以生成原始视频。也就是说,已经被下采样并且表示为一个帧的视频信息和深度信息可以通过第二格式转换850被解码为多条视频信息和深度信息。
可以通过第二格式转换850将MVC兼容帧840转换成高级3D内容860。格式转换的视频信息和深度信息可以用于通过视图合成870来合成任意虚拟视图图像。对于高级3D内容,可以基于深度信息来执行变形(warp)为多个视点。因此,可以合成多个连续的虚拟视图。
可以由3D显示设备880播放合成的视频。
图9是图示根据本发明的实施例的用于执行编码的第一格式转换单元的概念图。
参考图9,第一格式转换单元900可以包括下采样单元920和帧合成单元940。
下采样单元920可以根据帧兼容的方法来在水平方向或者垂直方向上降低深度信息或者色彩信息的分辨率。例如,当帧兼容的方法是并排方法时,包含色彩信息的帧的水平分辨率可以被降低到一半,并且包含深度信息的帧的水平分辨率可以被降低到一半。当帧兼容的方法是上下方法时,包含色彩信息的帧的垂直分辨率可以被降低到一半,并且包含深度信息的帧的垂直分辨率可以被降低到一半。
帧合成单元940可以将通过下采样单元920下采样的帧合成为一个帧。例如,当帧兼容的方法是并排方法时,帧合成单元940可以将下采样的色彩信息帧和深度信息帧合成为一个MVC兼容帧。可以将该生成的MVC兼容帧提供给MVC编码器,并且由MVC编码器来进行编码。帧合成单元940可以生成与用于生成MVC兼容帧的帧兼容的方法有关的信息,并且与用于生成MVC兼容帧的帧兼容的方法有关的信息可以由MVC编码器来进行编码。
图10是图示根据本发明的实施例的用于执行解码的第二格式转换单元的概念图。
参考图10,第二格式转换单元1000可以包括帧分离单元1020和上采样单元1040。
帧分离单元1020可以基于一个解码的MVC兼容帧来生成两个帧。例如,由于一个MVC兼容帧包括下采样的一个色彩信息帧和一个深度信息帧,所以帧分离单元1020可以基于与用于生成MVC兼容帧的帧兼容的方法有关的信息来将MVC兼容帧分离为色彩信息帧和深度信息帧。
帧分离单元1020可以接收与用于基于由MVC解码器解码的帧兼容的信息来生成当前的MVC兼容帧的帧兼容的方法有关的信息,并且基于该接收到的信息来将该帧分离为原始高级3D内容。
上采样单元1040可以对由帧分离单元1020分离的帧进行上采样。由帧分离单元1020分离的帧是由第一格式转换单元下采样和合成的帧,并且可以具有降低到一半的分辨率。因此,为了提高帧的分辨率,上采样单元1040可以执行上采样以重建原始高级3D内容。
表1示出了根据本发明的实施例的用于执行视频信息表示方法的语法元素。可以将与语法元素相对应的信息添加到MVC SEI消息,以表示用于生成当前视频信息的方法。
[表1]
语法元素frame_packing_arrangement_type可以指示与用于封装帧的方法有关的信息。如上所述,索引(0:棋盘格、1:列交织、2:行交织、3:并排、以及4:上下)被映射为用于将高级3D内容转换成MVC兼容帧的方法。基于该映射信息,能够确定当前MVC兼容帧通过其被封装的帧封装方法。
语法元素advanced_3d_data_type可以指示与帧封装的高级3D视频基于MVD格式还是LDV格式有关的信息。
表2在下面示出了语法结构,并且语法元素frame_packing_arrangement_type和advanced_3d_data_type可以在frame_packing_arrangement_info(有效载荷大小(payloadsize))中表示。
[表2]
Figure BDA00003192967100141
以上描述的语法元素信息指示用于表示帧封装类型和高级3D数据格式的信息,并且可以以不同的方式表示该语法元素信息和与该语法元素信息相对应的含义。此外,该语法元素信息可以分别地使用或者与另一个语法元素结合。
MVD格式可以包括在各个视图处获取的视频信息和深度信息。当使用MVD格式时,在3D空间上的一个点处的视频信息和深度信息可以被表示为重叠多个视图的视频信息和深度信息。为了在编码期间移除重复视频信息,并且获取在其它视图中没有表示的视频信息和深度信息,可以使用残余深度视频(RDV)方法。在RDV数据格式的情况下,在编码期间移除重复数据,并且仅留下在其它视图中没有表示的视频信息和深度信息。因此,重叠其它视图的块变为不存在要编码的数据的空块。因此,当将数据传送到空块的位置时,可以不执行对于相应块的编码/解码。因此,可以减小编码/解码的复杂度,并且可以提高编码/解码的效率。在下文中,用于RDV数据格式的编码方法被称为空编译方法。
表3示出了根据本发明的另一实施例的指示在相应的序列中是否执行空编译的语法元素。
[表3]
Figure BDA00003192967100151
在表3中,可以在序列参数集(SPS)层中使用语法元素enable_blank_flag,以确定当前的序列是基于执行空编译的RDV格式的数据还是基于不执行空编译的MVD格式的数据。例如,当语法元素enable_blank_flag是1时,当前的序列可以被确定为RDV数据,而当语法元素enable_blank_flag是0时,当前的序列可以被确定为MDV数据。
在条带级,能够指示对于每个条带是否使用空编译。
表4在下面指示根据本发明的实施例的对于每个条带是否使用空编译的语法元素。
[表4]
Figure BDA00003192967100152
参考表4,当在SPS级中通过语法元素enable_blank_flag确定了在当前的序列中使用空编译时,可以使用新的语法元素use_blank_flag来确定是否在条带单元中使用空编译。当语法元素enable_blank_flag是0时,该语法元素use_blank_flag可以被估计为0。
表5示出了当前编译单元是否是其中不执行编译的空编译单元。
[表5]
Figure BDA00003192967100161
参考图5,可以使用新的语法元素blank_flag来指示是否在编译单元中执行空编译。
在编译单元级,语法元素blank_flag可以指示当前的编译单元中是否存在要编码的信息。当语法元素use_blank_flag是0时,语法元素blank_flag可以被估计为0。
在表3至表5中描述的语法元素是表示关于是否在序列、条带和编译块中执行编码的信息的实施例,并且可以以各种方式表示用于执行空编译的语法元素。例如,当在序列级无条件地执行空编译时,可以不使用参考表3描述的语法元素enable_blank_flag。因此,可以以不同的方式表示表4和表5的语法元素。
图11是图示根据本发明的另一实施例的用于解码关于是否执行空编译的信息的方法的流程图。
参考图11,在步骤S1100处确定是否在当前的序列中执行空编译。
如参考表3描述的,可以通过包括在SPS中的enable_blank_flag信息来确定在当前的序列中执行空编译。
当不执行空编译时,可以在步骤S1110处执行一般MVD解码过程。
在步骤S1120处对关于是否在条带级在当前的条带中执行空编译的信息进行解码。
当确定在序列级执行空编译时,可以确定是否在条带级在当前的条带中执行空编译。
当在当前的条带中不执行空编译时,可以在步骤S1130处通过一般的解码过程来在该条带中执行解码。
当在当前的条带中执行空编译时,能够生成与映射信息相对应的2D阵列空映射,该映射信息用于指示是否在包括在相应的条带中的编译块中执行空编译。在空映射中,关于是否执行空编译的信息可以被重新设置为0。
基于空映射,在步骤S1140处确定是否在编译块中执行解码。
当用于确定是否在当前的编译单元中执行空编译的语法元素blank_flag是1时,可以不执行对相应的编译单元的编码,并且1被写为BlankMap[x][y],以指示在当前的编译单元中不执行编码。此外,由于编译单元是空的,所以其中不执行编译的编译单元在对于邻近编译单元执行图片间预测或者图片内预测时可以不用作基准模块。当语法元素blank_flag是0时,可以对相应的编译单元执行编码。
图11是基于参考表3至表5描述的空编译方法,并且可以使用其他空编译方法,只要该方法不脱离本发明的精神。例如,可以不执行确定是否在序列级在相应的序列中不执行空编译的步骤。
虽然已经关于特定的实施例描述了本发明,但是对于本领域技术人员来说显而易见的是,在不脱离如在以下的权利要求中限定的本发明的精神和范围的情况下,可以进行各种变化和改进。

Claims (15)

1.一种视频解码方法,包括:
使用多视点视频压缩(MVC)解码器来对编码的MVC兼容帧进行解码;以及
将解码的MVC兼容帧转换成高级3D帧。
2.根据权利要求1所述的视频解码方法,进一步包括:使用所述高级3D帧来执行视图合成。
3.根据权利要求1所述的视频解码方法,其中,所述MVC兼容帧包括基于所述高级3D帧的色彩信息和深度信息通过帧兼容的方法所生成的帧。
4.根据权利要求3所述的视频解码方法,其中,所述帧兼容的方法包括棋盘格方法、列交织方法、行交织方法、并排方法以及上下方法中的任何一个。
5.根据权利要求1所述的视频解码方法,其中,所述高级3D帧包括:包含色彩信息和深度信息的多视点视频加深度(MVD)数据、或者包含前景纹理和背景纹理以及前景深度和背景深度的分层深度视频(LDV)数据。
6.根据权利要求1所述的视频解码方法,其中,在将所述解码的MVC兼容帧转换成所述高级3D帧中,当所述高级3D帧是MVD数据时,基于包含在所述MVC兼容帧中的第一信息来对色彩信息进行提取和上采样,并且基于包含在所述MVC兼容帧中的第二信息来对深度信息进行提取和上采样。
7.根据权利要求1所述的视频解码方法,其中,在将所述解码的MVC兼容帧转换成所述高级3D帧中,当所述高级3D帧是LDV数据时,基于包含在所述MVC兼容帧中的第一信息来对前景纹理或者背景纹理进行提取和上采样,并且基于包含在所述MVC兼容帧中的第二信息来对前景深度或者背景深度进行提取和上采样。
8.根据权利要求1所述的视频解码方法,其中,将所述解码的MVC兼容帧转换成所述高级3D帧包括:对与用于生成MVC兼容帧的帧兼容的方法有关的信息进行解码,并且基于解码的信息来将所述MVC兼容帧转换成所述高级3D帧。
9.一种视频解码方法,包括:
对其中不执行编译的空编译块的位置信息进行解码;以及
基于所述位置信息在编译块中执行解码。
10.根据权利要求9所述的视频解码方法,其中,对所述位置信息的解码包括:对空映射信息进行解码,所述空映射信息关于是否在被包括在相应的条带中的编译块中执行解码,并且基于所述空映射信息来对其中不执行编译的空编译块的位置信息进行解码。
11.根据权利要求9所述的视频解码方法,进一步包括:
基于与是否执行空编译有关的信息,确定是否在序列中执行空编译,所述信息被存储在序列参数集(SPS)块中;以及
当在所述序列中执行空编译时,确定是否在条带中执行空编译。
12.一种视频编码装置,包括:
下采样单元,所述下采样单元被配置为对色彩信息和深度信息进行下采样;以及
帧合成单元,所述帧合成单元被配置为将由所述下采样单元下采样的所述色彩信息和所述深度信息合成为一个MVC兼容帧。
13.根据权利要求12所述的视频编码装置,其中,所述帧合成单元生成与用于生成所述MVC兼容帧的帧兼容的方法有关的信息。
14.一种视频解码装置,包括:
帧分离单元,所述帧分离单元被配置为将MVC兼容帧分离为一条或多条色彩信息以及一条或多条深度信息;以及
上采样单元,所述上采样单元被配置为对由所述帧分离单元所分离的所述色彩信息和所述深度信息进行上采样。
15.根据权利要求14所述的视频解码装置,其中,所述帧分离单元基于与用于生成所述MVC兼容帧的帧兼容的方法有关的信息来分离所述MVC兼容帧。
CN201180054943.7A 2010-11-15 2011-11-15 用于转换帧格式的方法及使用该方法的装置 Expired - Fee Related CN103210653B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41348210P 2010-11-15 2010-11-15
US61/413,482 2010-11-15
US42075510P 2010-12-07 2010-12-07
US61/420,755 2010-12-07
PCT/KR2011/008694 WO2012067399A2 (ko) 2010-11-15 2011-11-15 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치

Publications (2)

Publication Number Publication Date
CN103210653A true CN103210653A (zh) 2013-07-17
CN103210653B CN103210653B (zh) 2016-08-31

Family

ID=46084497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180054943.7A Expired - Fee Related CN103210653B (zh) 2010-11-15 2011-11-15 用于转换帧格式的方法及使用该方法的装置

Country Status (9)

Country Link
US (1) US9407899B2 (zh)
EP (1) EP2642758A4 (zh)
JP (1) JP5837606B2 (zh)
KR (1) KR101525713B1 (zh)
CN (1) CN103210653B (zh)
DE (1) DE112011103496T5 (zh)
GB (1) GB2499146B (zh)
MX (1) MX2013005402A (zh)
WO (1) WO2012067399A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970885A (zh) * 2014-05-20 2014-08-06 电子科技大学 基于视频内容分析的3d视频搜索引擎的实现方法
CN105450965A (zh) * 2015-12-09 2016-03-30 北京小鸟看看科技有限公司 一种视频转换方法、装置和系统
US9774844B2 (en) 2013-10-02 2017-09-26 National Cheng Kung University Unpacking method, unpacking device and unpacking system of packed frame
CN107623846A (zh) * 2016-07-13 2018-01-23 三星电子株式会社 用于处理三维(3d)图像的方法和装置
CN109407835A (zh) * 2015-08-18 2019-03-01 奇跃公司 虚拟和增强现实系统和方法
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630815B (zh) 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
RU2012138174A (ru) * 2012-09-06 2014-03-27 Сисвел Текнолоджи С.Р.Л. Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format
KR101917224B1 (ko) * 2012-09-18 2018-11-13 엘지이노텍 주식회사 영상데이터 전송장치
TWI558166B (zh) 2013-04-04 2016-11-11 杜比國際公司 用於多視點裸視立體顯示器的深度地圖遞送格式
JP7365185B2 (ja) * 2019-03-29 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816153A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 编码和解码立体图像的方法和设备
KR20100032235A (ko) * 2008-09-17 2010-03-25 세종대학교산학협력단 압축영상 트랜스코딩 방법 및 장치
WO2010096189A1 (en) * 2009-02-19 2010-08-26 Thomson Licensing 3d video formats

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301514B (en) * 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
JP3442181B2 (ja) * 1995-02-17 2003-09-02 株式会社ナムコ 3次元ゲーム装置及び画像合成方法
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
CN101356820B (zh) * 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
CN101416518B (zh) * 2006-03-29 2013-07-10 汤姆森特许公司 多视图视频编码方法和装置
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
JP2009004942A (ja) 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像送信方法、多視点画像送信装置及び多視点画像送信用プログラム
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
KR20110039537A (ko) * 2008-07-21 2011-04-19 톰슨 라이센싱 3d 비디오 신호들을 위한 멀티 표준 코딩 장치
JP5568465B2 (ja) * 2008-09-18 2014-08-06 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム
KR101502362B1 (ko) * 2008-10-10 2015-03-13 삼성전자주식회사 영상처리 장치 및 방법
US8175398B2 (en) * 2008-11-10 2012-05-08 City University Of Hong Kong Method for encoding a plurality of video signals into a single video signal
BRPI1007163A2 (pt) * 2009-01-26 2018-09-25 Thomson Licensing compactação de quadro para codificação de vídeo
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
KR20120020627A (ko) 2010-08-30 2012-03-08 삼성전자주식회사 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
US8548263B2 (en) * 2011-01-19 2013-10-01 Microsoft Corporation Delayed image decoding
JP2015010733A (ja) 2013-06-27 2015-01-19 パナソニック株式会社 ヒートポンプ空気調和機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816153A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 编码和解码立体图像的方法和设备
KR20100032235A (ko) * 2008-09-17 2010-03-25 세종대학교산학협력단 압축영상 트랜스코딩 방법 및 장치
WO2010096189A1 (en) * 2009-02-19 2010-08-26 Thomson Licensing 3d video formats

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI602145B (zh) * 2013-10-02 2017-10-11 國立成功大學 包裝圖框之解包裝方法、裝置及系統
US9774844B2 (en) 2013-10-02 2017-09-26 National Cheng Kung University Unpacking method, unpacking device and unpacking system of packed frame
CN103970885A (zh) * 2014-05-20 2014-08-06 电子科技大学 基于视频内容分析的3d视频搜索引擎的实现方法
CN103970885B (zh) * 2014-05-20 2017-01-25 电子科技大学 基于视频内容分析的3d视频搜索引擎的实现方法
CN109407835A (zh) * 2015-08-18 2019-03-01 奇跃公司 虚拟和增强现实系统和方法
US11302018B2 (en) 2015-08-18 2022-04-12 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN105450965A (zh) * 2015-12-09 2016-03-30 北京小鸟看看科技有限公司 一种视频转换方法、装置和系统
CN105450965B (zh) * 2015-12-09 2019-07-19 北京小鸟看看科技有限公司 一种视频转换方法、装置和系统
CN107623846A (zh) * 2016-07-13 2018-01-23 三星电子株式会社 用于处理三维(3d)图像的方法和装置
CN107623846B (zh) * 2016-07-13 2021-07-06 三星电子株式会社 用于处理三维(3d)图像的方法和装置
US11282289B2 (en) 2016-07-13 2022-03-22 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) image
US11727659B2 (en) 2016-07-13 2023-08-15 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) image
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11800218B2 (en) 2018-02-22 2023-10-24 Magic Leap, Inc. Virtual and augmented reality systems and methods

Also Published As

Publication number Publication date
GB2499146A (en) 2013-08-07
GB2499146B (en) 2017-06-07
JP5837606B2 (ja) 2015-12-24
WO2012067399A3 (ko) 2012-07-12
US20130242049A1 (en) 2013-09-19
US9407899B2 (en) 2016-08-02
JP2014502451A (ja) 2014-01-30
CN103210653B (zh) 2016-08-31
GB201308552D0 (en) 2013-06-19
MX2013005402A (es) 2013-07-03
KR101525713B1 (ko) 2015-06-03
WO2012067399A2 (ko) 2012-05-24
KR20130084295A (ko) 2013-07-24
EP2642758A2 (en) 2013-09-25
DE112011103496T5 (de) 2013-08-29
EP2642758A4 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
CN103210653A (zh) 用于转换帧格式的方法及使用该方法的装置
KR101840308B1 (ko) 3차원 콘텐츠에 관한 영상들을 조합하기 위한 방법
US20190253734A1 (en) Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device
US20110298895A1 (en) 3d video formats
EP2393301A1 (en) Method and apparatus for generating header information of stereoscopic image
KR101390813B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
JP6037567B2 (ja) 2次元にも対応する立体映像フローのデコード方法
US11677922B2 (en) Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
CN105357510A (zh) 视频编码方法、视频信号解码方法及视频装置
US11528509B2 (en) Video transmission method, video transmission device, video receiving method and video receiving device
KR20090084259A (ko) 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
US11509879B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
KR101871728B1 (ko) 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
KR20120020627A (ko) 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
US11558597B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
US11463671B2 (en) Video transmitting method, video transmitting device, video receiving method and video receiving device
US20140078255A1 (en) Reproduction device, reproduction method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160831

Termination date: 20171115