CN104935921A - 发送从模式组中选择的一个或多个编码模式的方法和设备 - Google Patents

发送从模式组中选择的一个或多个编码模式的方法和设备 Download PDF

Info

Publication number
CN104935921A
CN104935921A CN201510122650.8A CN201510122650A CN104935921A CN 104935921 A CN104935921 A CN 104935921A CN 201510122650 A CN201510122650 A CN 201510122650A CN 104935921 A CN104935921 A CN 104935921A
Authority
CN
China
Prior art keywords
mode
depth
coding
pattern
modal sets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510122650.8A
Other languages
English (en)
Other versions
CN104935921B (zh
Inventor
林建良
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/620,500 external-priority patent/US9716884B2/en
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104935921A publication Critical patent/CN104935921A/zh
Application granted granted Critical
Publication of CN104935921B publication Critical patent/CN104935921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种发送从模式组中选择的一个或多个编码模式的方法,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该方法包括:接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据;决定第一模式是否被致能;若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立;以及若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并跳过发送该至少两个模式中的任何剩余模式。通过利用本发明,可避免多余的模式发送以及/或者改进编码效率。

Description

发送从模式组中选择的一个或多个编码模式的方法和设备
技术领域
本发明有关于三维(three-dimensional,3D)和多视图(multi-view)视频编码,且尤其有关于包括从脉冲编码调制(Pulse Code Modulation,PCM)模式、逐分段的深度编码(Segment-wise Depth Coding,SDC)模式和基于深度的块分割(Depth-Based Block Partitioning,DBBP)模式选择两个或更多模式的模式选择的信号发送(siganling)。
背景技术
近些年3D电视(television,TV)已成为技术潮流,其可带给观看者非常好的观看体验。已开发多种技术以用于3D观看,其中,多视图视频尤其是用于3DTV的一个关键技术。传统视频为2D媒体,只能提供观看者摄像机角度的一场景的单一视图。然而,3D视频可提供动态场景的任意视点(viewpoint),并提供给观看者真实的感觉。
为了减少视图间的冗余(redundancy),视差补偿预测(Disparity-Compensated Prediction,DCP)已被用来做为运动补偿预测(Motion-Compensated Prediction,MCP)的一种替代。如图1所示,MCP代表采用不同访问单元中的同一视图的已编码图片的图片间预测(inter-picture prediction),而DCP代表采用同一访问单元中的其他视图的已编码图片的图片间预测。三维/多视图数据由纹理图片(texture picture)110和深度图(depth map)120组成。在时间方向(即图1中的水平方向),运动补偿预测被应用于纹理图片110或深度图120。在视图方向(即图1中的垂直方向),视差补偿预测被应用于纹理图片110或深度图120。DCP采用的矢量被称为视差矢量(Disparity Vector,DV),其中上述视差矢量模拟自MCP中采用的运动矢量(Motion Vector,MV)。
基于高效视频编码(High Efficiency Video Coding,HEVC)的3D视频编码(3D video coding based on HEVC,3D-HEVC)为HEVC的扩展,其中3D-HEVC被开发用于对3D视频编码/解码。视图之一被称为基础视图(baseview)或独立视图(independent view)。基础视图独立于其他视图及其深度数据进行编码。此外,基础视图采用传统的HEVC视频编码器进行编码。
在3D-HEVC中,仍然采用混和的基于块的运动补偿的(hybridblock-based motion-compensated)DCT-like转换编码架构。用于补偿的基础单元被称为编码单元(Coding Unit,CU),是尺寸为2Nx2N的方形块。每一编码单元被递归地拆分成4个更小的编码单元,直到达到预定最小尺寸。每一编码单元包括一个或多个预测单元(Prediction Unit,PU)。预测单元的尺寸可为2Nx2N、2NxN、Nx2N或NxN。当支持非对称运动分割(AsymmetricMotion Partition,AMP)时,预测单元的尺寸也可为2NxnU、2NxnD、nLx2N以及nRx2N。有关PCM模式和SDC模式的CU语法(syntax)如表1所示:
表1
如表1所示,若SDC致能标志(enable flag,即sdcEnableFlag)成立(asserted),SDC标志sdc_flag[x0][y0]则会被发送。此外,若CU采用帧内(Intra)模式编码(即CuPredMode[x0][y0]==MODE_INTRA),PCM致能标志(即pcm_enabled_flag)成立,且符合某些块尺寸条件,则PCM标志pcm_flag[x0][y0]被包含。上述模式致能标志是有关于对应的模式是否被允许的指示。若模式致能标志成立,则表示对应的模式是允许的。在这种情形下,一额外的模式标志被发送,以指示该模式是否被应用于底层(underlying)图片处理单元(如编码单元)。举例来说,当SDC致能标志(即sdcEnableFlag)成立时,SDC标志(即sdc_flag[x0][y0])被发送。否则,SDC标志不会被发送。此外,当SDC标志(即sdc_flag[x0][y0])成立时,底层图片处理单元采用SDC模式进行编码。若SDC标志未成立,则SDC编码不被应用于底层图片处理单元。
编码单元扩展语法可将新加特征包括到编码标准中。根据传统方法的编码单元扩展语法设计如表2所示。
表2
如表2所示,当亮度(illumination)补偿致能标志(即icEnableFlag)成立时,现有编码单元扩展语法包括亮度补偿标志(即ic_flag)。换句话说,icEnableFlag为1指代的是ic_flag出现在编码单元中,而icEnableFlag为0指代的是ic_flag并未出现在编码单元中。当残差(residual)预测致能标志(即rpEnableFlag)成立时,视图间残差预测的权重索引(weight index,即iv_res_pred_weight_idx)被包含。SDC标志、PCM标志、以及DBBP标志皆不会被包含在上述编码单元扩展语法之中。
3D视频通常通过采用视频摄像机捕捉一场景并采用相关装置捕捉深度信息而建立,或通过同时采用多个相机捕捉一场景而建立,其中多个相机被适当放置,使得每个相机可从一个视点捕捉该场景。对应于一场景的纹理数据和深度数据通常展现出实质关联。因此,深度信息可用来改进纹理数据的编码效率或降低纹理数据的处理复杂度,反之亦然。举例来说,纹理块的对应的深度块可揭示对应于像素级(pixel level)对象分段(object segmentation)的类似信息。因此,深度信息可帮助实现像素级基于分段的(segment-based)运动补偿。相应地,在当前的3D-HEVC中,已采用DBBP进行纹理视频编码。
在DBBP模式中,基于从所对应深度图计算出的二进制分段掩膜(binarysegmentation mask),用于并置(collocated)纹理块的任意形状的块分割得以推导(derive)。基于上述基于深度的分段掩膜,两个分割(类似前景和背景)中的每一个被运动补偿后进行合并(merge)。
一单一标志被增加至上述编码语法以发送信号至解码器,使指示底层块采用DBBP进行预测。当当前编码单元采用DBBP模式编码时,对应的分割尺寸设定为SIZE_2Nx2N,并继承双预测(bi-prediction)。
如图2所示,可采用从深度导向相邻块视差矢量(Depth-orientedNeighboring Block Disparity Vector,DoNBDV)推导出视差矢量的进程,以在参考视图中确定对应的深度块。在图2中,基于当前纹理块的位置和推导出的DV212,依赖视图中当前纹理块210的参考视图中对应的深度块220被定位,其中DV212根据3D-HEVC标准采用DoNBDV推导得出。对应深度块的尺寸与当前纹理块的尺寸相同。当深度块被找到时,基于对应深度块中所有深度像素的平均值计算出一阈值。随后,基于深度值和上述阈值产生二进制分段掩膜m_D(x,y)。当相关坐标(x,y)处的深度值大于上述阈值时,二进制分段掩膜m_D(x,y)被设定为1。否则,m_D(x,y)被设定为0。在图3的实施例中,步骤320决定虚拟块310的平均值。在步骤330中,虚拟深度样本值与上述平均深度值进行比较以产生分段掩膜340。分段掩膜340以二进制数据表示,以指示底层像素属于分段1还是分段2(如图3中两种不同的线型所指示)。
DoNBDV进程藉由自深度图抽取一更精确的视差矢量以提升相邻块视差矢量(Neighboring Block Disparity Vector,NBDV)。NBDV基于相邻块的视差矢量推导得出。从NBDV进程推导的视差矢量被用于访问参考视图中的深度数据。接着,从深度数据推导得出最终视差矢量。
DBBP进程将尺寸为2Nx2N的块分割成两个已分割块。为每个已分割块决定一运动矢量。在解码进程中,两个已解码运动参数中的每一个被用于执行在整个2Nx2N块上的运动补偿。如图4所示,两个结果预测信号,即p_T0(x,y)和p_T1(x,y),采用DBBP掩膜m_D(x,y)进行组合。上述组合过程定义如下:
如表1所示,DBBP模式是否采用在编码单元中发送。在当前设计之中,DBBP标志(即dbbp_flag[x0][y0])取决于传送分割模式(即PartMode)被有条件地发送。DBBP标志仅在所传送的PartMode为2NxN分割(即PartMode==PART_2NxN)时发送。
SDC方法提供另一种残差编码方法。通过SDC,残差数据(一预测单元中的一或两个常数残差值)不需经过转换和量化进程即可被编码。是否采用SDC在PU级别通过编码单元参数架构发送。包括SDC已编码PU的CU的分割尺寸总是2Nx2N。SDC可被应用于采用所有帧内预测模式(包括HEVC帧内预测模式和深度仿真模式(Depth Modelling Mode,DMM))编码的深度数据。对于HEVC帧内预测模式而言,整个预测单元会被视作单一分段。对DMM而言,预测单元会被分成两个分段。
在图4中,依据分段掩膜,两个预测块逐像素地合并成一个,这个进程被称为双分段补偿(bi-segment compensation)。在此示范例中,选择了Nx2N块分割类型,且分别推导出两个已分割块的两个对应的运动矢量(MV1和MV2)。每个运动矢量用来补偿整个纹理块(410)。相应地,运动矢量MV1用于纹理块420,以根据运动矢量MV1生成预测块430;运动矢量MV2也用于纹理块420,以根据运动矢量MV2生成预测块432。两个预测块通过采用各自的分段掩膜(440和442)进行合并,以生成最终预测块(450)。
在进行编码之前,残差值被映射到数值,其中上述数值藉由使用深度查找表(Depth Lookup Table,DLT)显示在原始未压缩深度图之中。因此,藉由仅传送对应于深度查找表中的索引,残差值可被编码,这可以降低残差量值的位深度(bit depth)。映射表被传送至解码器,以用于反向查找索引所对应的有效深度值。由于稀疏深度值出现在典型的深度图中,采用上述深度查找表的优势在于可减少残差索引的位深度。
在编码器这边,SDC进程采用了原始深度值(dorig)和预测深度值(dpred)的平均值。如图5A所示的示范例,对SDC(即HEVC帧内预测模式)而言,dpred通过预测块中左上、右上、左下和右下样本(如图5A所圈示)的平均值计算。图5B显示了DMM模式1的示范例,其中左上部分属于一个分段,且右下部分(如图5B斜线所示部分)属于另一分段。对SDC(DMM模式1)而言,每一分段的dpred推导自预测块中左上、右上、左下和右下四个样本中属于同一分段的取样值(如图5B所圈示)。然而对于SDC(DMM模式4)而言,每一分段的dpred被设定为等于预测块中属于同一分段的任意样本,这是因为属于同一分段的所有样本均共享同一预测值。
发明内容
有鉴于此,本发明提供一种发送从模式组中选择的一个或多个编码模式的方法,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的方法包括:接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据;决定第一模式是否被致能,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立;以及若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并跳过发送该至少两个模式中的任何剩余模式。
本发明另提供一种发送从模式组中选择的一个或多个编码模式的设备,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的设备包括:接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据的装置;决定第一模式是否被致能的装置,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立的装置;以及若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并跳过发送该至少两个模式中的任何剩余模式的装置。
本发明另提供一种发送从模式组中选择的一个或多个编码模式的方法,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的方法包括:接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据;决定第一模式是否被致能,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立;以及若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并禁能该至少两个模式中的任何剩余模式。
本发明另提供一种发送从模式组中选择的一个或多个编码模式的设备,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的设备包括:接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据的装置;决定第一模式是否被致能的装置,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立的装置;以及若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并禁能该至少两个模式中的任何剩余模式的装置。
通过利用本发明,可避免多余的模式发送以及/或者改进编码效率。
如下详述本发明的最佳实施例。阅读完以下描述和附图后,本领域技术人员可轻易理解本发明的精神。
附图说明
图1是三维/多视图视频编码的示范性示意图,其中采用了MCP和DCP。
图2是用来为依赖视图中当前纹理块推导参考视图中对应的深度块的推导进程的示范性示意图。
图3是用来为依赖视图中当前纹理块基于参考视图中对应的深度块生成分段掩膜的推导进程的示范性示意图。
图4是3D或多视图编码采用DBBP的示范性进程流程图。
图5A是用于8x8块的HEVC帧内预测模式的示范性示意图。
图5B是用于8x8块的DMM帧内预测模式的示范性示意图。
图6是一示范性编码系统采用本发明一实施例来发送从模式组中选择的一个或多个编码模式以用于多视图或3D视频编码的流程图。
具体实施方式
在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解,硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”或“包括”为开放式的用语,故应解释成“包含但不限定于”。另外,“耦接”一词在此包含任何直接及间接的电气连接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表该第一装置可直接电气连接于该第二装置,或透过其他装置或连接手段间接地电气连接至该第二装置。
所属领域中具有通常知识者应理解到本发明所述和图式所说明的各种组件可被布置和设计成各种不同的结构。因此,如附图所示的以下有关本发明的系统和方法的实施例中更详细的描述,并非用来限制本发明的范围,而仅仅是代表本发明的一些代表实施例。
而本说明书中采用的“实施例”的用于或类似用语仅意味着特定特征、结构或与实施例有关的特征描述的类似语言可以被包括在本发明的至少一实施例。因此,在本说明书中各地方所出现“在一实施例中”的短语不一定都指相同的实施例。
此外,本发明所述特征、结构或特性可以在一个或多个实施例以任何合适的方式相结合。然而,所属领域中具有通常知识者可以理解到可在没有一个或多个特定细节的情形下或是采用其他方法、组件等的方式实施本发明。在另一些实施例中,并未示出或详细描述众所周知的结构或操作以避免模糊本发明的观点。
透过参考附图可最佳地理解本发明所示实施例,其中所有相同的部件可由相同的标号指示。以下描述旨在仅透过举例的方式简单地说明本发明权利要求中所保护的装置和方法的某些特定实施例。
在多视图和三维视频编码中,可采用多种编码模式,如PCM模式、SDC模式以及DBBP模式。所采用的模式通常会由模式致能指示(mode enableindication)控制。若模式致能指示表示该模式已被致能(即已被允许),则对应的模式标志会被发送,以指示对应的上述模式是否被应用于底层块。本发明揭露有效的模式发送方法,以避免多余的模式发送以及/或者改进编码效率。
在本发明的第一实施例中,仅当SDC模式并未被致能时,PCM模式标志pcm_flag[x0][y0]才会被发送。支持上述第一实施例的编码单元语法设计的示范例如表3所示。
表3
与表1所示的传统编码单元语法设计相比,本发明中表3所述实施例包括一额外条件,来包括PCM模式标志(即pcm_flag[x0][y0])。如陈述(3-1)所注解,上述额外的条件在对应于SDC模式标志未成立时(即“if”陈述中的条件!sdc_flag[x0][y0])。
在本发明的第二实施例中,SDC模式标志在述编码单元扩展语法中发送,其中仅当PCM模式标志未成立(即“if(sdcEnableFlag&&!pcm_flag[x0][y0])”中的“!pcm_flag[x0][y0]”)且SDC致能标志成立(即“if(sdcEnableFlag&&!pcm_flag[x0][y0])”中的“sdcEnableFlag”)时(如陈述(4-1)所注解),发送SDC模式标志(如陈述(4-2)所注解)。支持上述第二实施例的编码单元扩展语法设计的示范例如表4所示。或者,可自上述陈述(4-1)中移除条件“!pcm_flag[x0][y0]”,以使SDC致能标志成立时SDC模式标志总能被包含在内。
表4
在本发明的第三实施例中,DBBP模式标志(即dbbp_flag[x0][y0])在编码单元扩展语法中发送。当DBBP模式在当前的片段(slice)、图片、视图、图层(layer)或序列级(sequence level)中被禁能(disable,禁止被致能),或者当前CU模式为帧内模式或非帧间(non-Inter)模式,或者PCM模式被致能时,DBBP模式标志可被跳过。根据上述第三实施例的编码单元扩展语法设计的示范例如表5所示。
表5
在表5中,当DBBP用于图层nuh_layer_id(即depth_based_blk_part_flag[nuh_layer_id]成立时)且编码单元预测模式并非为帧内模式时(如陈述(5-1)所注解),DBBP模式标志被包含在编码单元扩展语法之中(如陈述(5-2)所注解)。或者,可自上述陈述(5-1)中移除条件“CuPredMode[x0][y0]!=MODE_INTRA”,以使在depth_based_blk_part_flag[nuh_layer_id]成立时DBBP模式标志总能被包含在内。
在本发明的第四实施例中,SDC模式标志和DBBP模式标志均在上述编码单元扩展语法中发送。仅当PCM模式未被致能之时,SDC模式标志被发送。当DBBP模式在当前的片段、图片、视图、图层或序列级别中被禁能时,或者当前CU模式为帧内模式或非帧间模式时,或者PCM模式被致能时,可跳过DBBP模式标志。表6显示了编码单元扩展语法设计的示范例。在表6中,仅当PCM模式未被致能时,发送SDC模式标志(如陈述(6-1)和(6-2)所注解)。当达到陈述(6-3)所述的条件时,发送DBBP模式标志(如陈述(6-4)所注解)。在另一种方法中,分别用于上述SDC模式标志和上述DBBP模式标志的条件“!pcm_flag[x0][y0]”和“!CuPredMode[x0][y0]!=MODE_INTRA)”可自表6中移除。
表6
在本发明的第五实施例中,仅当DBBP模式未被致能时,发送SDC模式标志,且仅当SDC模式未被致能时,发送DBBP模式标志。SDC模式标志和DBBP模式标志在编码单元或编码单元扩展语法之中发送。根据上述第五实施例的编码单元扩展语法设计的示范例如表7所示,其中SDC模式标志在DBBP模式标志之前发送。陈述(7-1)和(7-2)所注解的发送SDC模式标志与表6中的相同。对于DBBP模式标志发送而言,则比表6新增上述SDC模式需被致能的条件。条件和DBBP模式标志的发送分别如陈述(7-3)和(7-4)所注解。
表7
在本发明的第六实施例中,SDC模式和PCM模式被禁止在相同的处理块中致能,其中相同的处理块如相同的编码树单元(Coding Tress Unit,CTU)、编码树块(Coding Tree Block,CTB)、编码单元或预测单元。当上述SDC模式标志被设定为1时,PCM模式标志应为0。另一方面,当PCM模式标志被设定为1时,SDC模式标志应为0。
在本发明的第七实施例中,DBBP模式和PCM模式被禁止在相同的处理块(如编码树单元、编码树块、编码单元或预测单元)中致能。当DBBP模式标志被设定为1时,PCM模式标志应为0。另一方面,当PCM模式标志被设定为1时,DBBP模式标志应为0。
在本发明的第八实施例中,DBBP模式和PCM模式被禁止在相同的处理块(如编码树单元、编码树块、编码单元或预测单元)中致能。当DBBP模式标志被设定为1时,PCM模式标志应为0。另一方面,当PCM模式标志被设定为1时,DBBP模式标志应为0。
在本发明的第九实施例中,DBBP模式、SDC模式和PCM模式中只有一个可在相同的处理块(如编码树单元、编码树块、编码单元或预测单元)中致能。当DBBP模式标志、SDC模式标志和PCM模式标志中的任意一个被设定为1时,另两个模式标志应为0。
在当前3D-HEVC中,已开发帧间SDC、帧内SDC和DMM以改进深度编码效率。帧间SDC和帧内SDC以相同的理念进行编码。然而,帧内SDC的致能和禁能是根据vps_depth_modes_flag,且vps_depth_modes_flag亦控制DMM的所有DMM模式(例如DMM1和DMM4)。
在本发明的第十实施例中,一标志被应用于所有DMM模式,且一统一的致能标志被用于视频参数集合(Video Parameter Set,VPS)的帧间SDC和帧内SDC中。
为了提供弹性,在本发明的第十一实施例中,VPS中不同的DMM模式对应不同的DMM模式致能标志(如VPS有一DMM1致能标志和一DMM4致能标志)。此外,上述两个致能标志可在VPS中发送,以分别指示帧间SDC和帧内SDC的致能。值得注意的是,上述致能标志可在不同级别发送,如片段标头(slice header)、图片参数集合(Picture Parameter Set,PPS)或序列参数集合(SequenceParameter Set,SPS)。
在本发明的第十二实施例中,一标志在高级别(high level,如VPS、PPS或SPS)中发送以指示DBBP的致能。上述标志可被用于指示其他工具的致能,其中上述工具需要为纹理图片(如DoNBDV和视图合成预测(View SynthesisPrediction,VSP))获取视图间参考图片的深度像素数据。
本发明的另一方面有关于DBBP标志在初始CABAC步骤中的初始概率(initial probability)。举例来说,B-片段/图片、P-片段/图片和I-片段/图片的初始概率均可被设定为无符号字符值(unsigned charactervalue)161,并表示如下:
虽然对于B-片段/图片、P-片段/图片和I-片段/图片而言,用于DBBP标志在初始CABAC步骤中的初始概率被设定为161,初始概率也可采用其他数值。例如,用于B-片段/图片、P-片段/图片和I-片段/图片的初始概率可均被设定为162、192或176。在另一示范例中,用于B-片段/图片、P-片段/图片和I-片段/图片的初始概率可被设定为不同值,例如可分别为192、176和176。
图6是一示范性编码系统采用本发明一实施例来发送从模式组中选择的一个或多个编码模式以用于多视图或3D视频编码的流程图。其中,模式组包括PCM模式、SDC模式以及DBBP模式。在步骤610中,编码系统接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据。其中,输入数据可从存储器(如计算机内存、缓存(如RAM或DRAM)或其他媒介)或处理器中获取。在步骤620中,决定第一模式是否被致能,其中第一模式对应于从PCM模式、SDC模式和DBBP模式中选择的至少两个模式中的一模式。在步骤630中,若第一模式被致能,则对应于第一模式的第一模式标志被发送,以指示第一模式是否成立。在步骤640中,若第一模式标志指示第一模式成立,则采用第一模式对当前深度或纹理块进行编码,且从PCM模式、SDC模式和DBBP模式中选择的至少两个模式中的任何剩余模式的发送被跳过。在另一实施例中,若第一模式标志指示第一模式成立,则采用第一模式对当前深度或纹理块进行编码,且从PCM模式、SDC模式和DBBP模式中选择的至少两个模式中的任何剩余模式被禁能。
上述流程图意图说明根据本发明的模式发送的示范例,本领域技术人员可在不脱离本发明的精神的前提下,修改每个步骤,重新安排上述步骤,拆分某步骤,或组合某些步骤,以实现本发明。
根据本发明一实施例,可提供一种发送从模式组中选择的一个或多个编码模式的设备,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的设备包括:接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据的装置;决定第一模式是否被致能的装置,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立的装置;以及若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并跳过发送该至少两个模式中的任何剩余模式的装置或者禁能该至少两个模式中的任何剩余模式的装置。
上面的描述可允许本领域技术人员根据特定应用及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的,并且可将上述定义的基本原则应用于其他实施例。因此,本发明不局限于所述的特定实施例,而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中,为了提供对本发明的彻底理解,描述了各种特定细节。此外,本领域技术人员可以理解本发明是可实施的。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如,本发明实施例可为集成到视频压缩芯片的电路或集成到视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数字信号处理器(Digital Signal Processor,DSP)中执行的执行上述处理的程序代码。本发明也可涉及计算机处理器、DSP、微处理器或现场可程序设计门阵列(FieldProgrammable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务,其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式,也可为了不同的目标平台编解软件代码。然而,根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
虽然本发明已就较佳实施例及其优势揭露如上,本发明所属技术领域中普通技术人员,在不脱离本发明的精神和范围内,当可作各种的变更和润饰。本发明的保护范围当视之前的权利要求书所界定为准。

Claims (26)

1.一种发送从模式组中选择的一个或多个编码模式的方法,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的方法包括:
接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据;
决定第一模式是否被致能,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;
若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立;以及
若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并跳过发送该至少两个模式中的任何剩余模式。
2.如权利要求1所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该当前深度或纹理块对应于编码树块、编码树单元、编码单元或预测单元。
3.如权利要求1所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该当前深度或纹理块对应于当前深度或纹理编码单元。
4.如权利要求1所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该至少两个模式对应于该脉冲编码调制模式和该逐分段的深度编码模式。
5.如权利要求4所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式对应于该逐分段的深度编码模式。
6.如权利要求4所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式标志在编码单元语法中发送。
7.如权利要求4所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,若该脉冲编码调制模式被致能且该第一模式标志未成立,则对应于该脉冲编码调制模式的第二模式标志在该编码单元语法中发送。
8.如权利要求4所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式标志对应于该脉冲编码调制模式。
9.如权利要求8所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式标志在编码单元语法中发送。
10.如权利要求9所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,若该逐分段的深度编码模式被致能且该第一模式标志未成立,则对应于该逐分段的深度编码模式的第二模式标志在编码单元扩展语法中发送。
11.如权利要求1所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该至少两个模式对应于该基于深度的块分割模式和该逐分段的深度编码模式;或者该至少两个模式对应于该基于深度的块分割模式和该脉冲编码调制模式;或者该至少两个模式对应于该脉冲编码调制模式和该逐分段的深度编码模式。
12.如权利要求1所述的发送从模式组中选择的一个或多个编码模式的方法,该至少两个模式对应于该脉冲编码调制模式、该逐分段的深度编码模式和该基于深度的块分割模式。
13.如权利要求12所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式对应于该脉冲编码调制模式且该第一模式标志在编码单元语法中发送。
14.如权利要求13所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,若该第一模式标志未成立时且该逐分段的深度编码模式被致能,则逐分段的深度编码模式标志在编码单元扩展语法中发送。
15.如权利要求14所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,若该当前深度或纹理块未被帧内编码,则基于深度的块分割模式标志在该编码单元扩展语法中发送。
16.如权利要求14所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,若该深度或纹理块未被帧内编码且该逐分段的深度编码标志未成立,则基于深度的块分割模式标志在该编码单元扩展语法中发送。
17.如权利要求1所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该至少两个模式包括该基于深度的块分割模式,且基于深度的块分割模式致能标志在视频参数集合、图片参数集合、或序列参数集合中发送。
18.一种发送从模式组中选择的一个或多个编码模式的设备,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的设备包括:
接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据的装置;
决定第一模式是否被致能的装置,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;
若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立的装置;以及
若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并跳过发送该至少两个模式中的任何剩余模式的装置。
19.一种发送从模式组中选择的一个或多个编码模式的方法,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的方法包括:
接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据;
决定第一模式是否被致能,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;
若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立;以及
若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并禁能该至少两个模式中的任何剩余模式。
20.如权利要求19所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该当前深度或纹理块对应于编码树块、编码树单元、编码单元或预测单元。
21.如权利要求19所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该当前深度或纹理块对应于当前深度或纹理编码单元。
22.如权利要求19所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该至少两个模式对应于该脉冲编码调制模式和该逐分段的深度编码模式。
23.如权利要求22所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式对应于该脉冲编码调制模式。
24.如权利要求22所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,该第一模式标志在编码单元语法中发送。
25.如权利要求22所述的发送从模式组中选择的一个或多个编码模式的方法,其特征在于,若该脉冲编码调制模式被致能,则对应于该逐分段的深度编码模式的第二模式标志在该编码单元语法中被禁能。
26.一种发送从模式组中选择的一个或多个编码模式的设备,用于多视图或三维视频编码,其中该模式组包括脉冲编码调制模式、逐分段的深度编码模式以及基于深度的块分割模式,该发送从模式组中选择的一个或多个编码模式的设备包括:
接收与依赖纹理视图、依赖深度视图或独立深度视图中的当前深度或纹理块有关的输入数据的装置;
决定第一模式是否被致能的装置,其中该第一模式对应于从该脉冲编码调制模式、该逐分段的深度编码模式以及该基于深度的块分割模式选择的至少两个模式中的一模式;
若该第一模式被致能,则发送对应于该第一模式的第一模式标志,以指示该第一模式是否成立的装置;以及
若该第一模式标志指示该第一模式成立,采用该第一模式对该当前深度或纹理块进行编码,并禁能该至少两个模式中的任何剩余模式的装置。
CN201510122650.8A 2014-03-20 2015-03-20 发送从模式组中选择的一个或多个编码模式的方法和设备 Active CN104935921B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461955868P 2014-03-20 2014-03-20
US61/955,868 2014-03-20
US201461971920P 2014-03-28 2014-03-28
US61/971,920 2014-03-28
US14/620,500 2015-02-12
US14/620,500 US9716884B2 (en) 2014-03-20 2015-02-12 Method of signaling for mode selection in 3D and multi-view video coding

Publications (2)

Publication Number Publication Date
CN104935921A true CN104935921A (zh) 2015-09-23
CN104935921B CN104935921B (zh) 2018-02-23

Family

ID=54122849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510122650.8A Active CN104935921B (zh) 2014-03-20 2015-03-20 发送从模式组中选择的一个或多个编码模式的方法和设备

Country Status (1)

Country Link
CN (1) CN104935921B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068762A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Block partitioning using tree structures
WO2020056763A1 (en) * 2018-09-21 2020-03-26 Alibaba Group Holding Limited Adaptive coding of video coding units based on coding block type
WO2020215338A1 (zh) * 2019-04-26 2020-10-29 深圳市大疆创新科技有限公司 视频编解码的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
CN102308580A (zh) * 2009-02-05 2012-01-04 汤姆森特许公司 用于自适应模式视频编码和解码的方法和装置
US20130243081A1 (en) * 2012-03-16 2013-09-19 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
WO2013159643A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
CN102308580A (zh) * 2009-02-05 2012-01-04 汤姆森特许公司 用于自适应模式视频编码和解码的方法和装置
US20130243081A1 (en) * 2012-03-16 2013-09-19 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
WO2013159643A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068762A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Block partitioning using tree structures
WO2020056763A1 (en) * 2018-09-21 2020-03-26 Alibaba Group Holding Limited Adaptive coding of video coding units based on coding block type
WO2020215338A1 (zh) * 2019-04-26 2020-10-29 深圳市大疆创新科技有限公司 视频编解码的方法和装置

Also Published As

Publication number Publication date
CN104935921B (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
JP7389185B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
KR102468287B1 (ko) 분할 코딩을 이용한 효과적인 예측
KR101706309B1 (ko) 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
JP2022501912A (ja) インター予測に基づいて、ビデオ信号を処理するための方法及び装置
CN105052145A (zh) 剖析三维视频译码中的语法元素
US9992494B2 (en) Method of depth based block partitioning
US9838712B2 (en) Method of signaling for depth-based block partitioning
CN104918032B (zh) 简化基于深度的块分割的方法
CN104769949A (zh) 用于视差向量导出的图片的选择
CN105230022A (zh) 使用基于相邻者的视差向量导出的用于3d视频译码的并行经导出视差向量
CN105393541A (zh) 使用基于深度的块分割编解码纹理块的方法和装置
CN111295881B (zh) 用于图像和视频编解码的画面内预测融合的方法和装置
CN106105216A (zh) 用于3d视频译码的受约束深度帧内模式译码
CN104301739A (zh) 多视点视频编码方法
JP2023052767A (ja) 映像処理方法及び符号化器
CN105794209A (zh) 控制三维(3d)hevc或其它3d译码中的子预测单元(sub-pu)运动参数继承mpi
CN104956676A (zh) 层间语法预测控制
CN105474640A (zh) 三维视频编码的摄像机参数发信的方法和装置
CN104935940B (zh) 基于深度的块分割的信号传递方法
CN104935921B (zh) 发送从模式组中选择的一个或多个编码模式的方法和设备
US9716884B2 (en) Method of signaling for mode selection in 3D and multi-view video coding
CN104853216B (zh) 基于深度的块分割方法和电子装置
AU2015327521A1 (en) Method of lookup table size reduction for depth modelling mode in depth coding
CN104768014A (zh) 编解码方法
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160919

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant