CN104618724A - 视频编码或解码的方法及装置 - Google Patents

视频编码或解码的方法及装置 Download PDF

Info

Publication number
CN104618724A
CN104618724A CN201410541870.XA CN201410541870A CN104618724A CN 104618724 A CN104618724 A CN 104618724A CN 201410541870 A CN201410541870 A CN 201410541870A CN 104618724 A CN104618724 A CN 104618724A
Authority
CN
China
Prior art keywords
mentioned
depth
block
prediction samples
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410541870.XA
Other languages
English (en)
Other versions
CN104618724B (zh
Inventor
林建良
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104618724A publication Critical patent/CN104618724A/zh
Application granted granted Critical
Publication of CN104618724B publication Critical patent/CN104618724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种深度区块的帧内编码方法，适用于三维编码系统，包括：接收当前深度区块的输入数据；判断上述当前深度区块的当前帧内预测模式；根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样；以及使用推导的上述当前深度区块的上述多个预测采样对上述当前深度区块运用简化深度编码。本发明提供的深度区块的帧内编码方法可显著改善简化深度编码的编码效率。

Description

视频编码或解码的方法及装置
技术领域
本发明主要关于三维(three-dimentional，3D)视频编码以及多视角视频编码(Multi-view Video Coding，MVC)技术，特别有关于利用具有延伸预测模式的简化深度编码(Simplified Depth Coding，SDC)的深度编码。
背景技术
三维(3D)电视在近年已经逐渐成为一种趋势，其目标是为了带给观赏者更佳的视觉体验。多视角视频编码(MVC)是一种用于撷取以及显示3D影像的技术。传统上来说，多视角视频是通过同时使用多台像机撷取景象而产生，通过正确地放置多台相机使得每一台相机都能在一个视角(viewpoint)撷取到景象。具有对应每一视角的大量视频序列的多视角视频会显示大量的数据。因此，多视角视频将需要巨大的储存空间来储存以及/或巨大的频宽来传输。因此，多视角视频编码技术将会朝向降低所需储存空间以及传输频宽的方向来发展。在3D和多视角视频编码系统中，会编码纹理数据(texture data)及深度数据(depth data)。
对于深度图(depth map)而言，SDC(又称为区段型深度编码(Segment-wiseDepth Coding))是一种帧内编码模式(intra coding mode)的替代方案。是否使用简化深度编码是由在编码单元级别(coding unit level)的标志SDC标志(flag)来决定的。对于简化深度编码而言，深度区块是由传统帧内模式(conventional intramode)或深度模型模式1(depth modeling mode 1)来进行帧内预测。使用SDC编码的编码单元的分段尺寸为2Nx2N，因此不需要在比特流中使用SDC编码的区块尺寸来进行信号传输。此外，根据深度区块是否分成一或两区段，以一或二个常数残差值(residual value)来表示使用SDC编码的残差，以取代使用量化传输系数(quantized transform coefficients)进行编码。
根据基于高效率视频编码(High Efficiency Video Coding，HEVC)的现有三维视频编码，传输特定信息以用于使用SDC编码的区块。传输的这些信息包括：
1.当前区块的区段/预测的类型。可能的数值有
i.深度模型模式(Depth Modeling Mode，DMM)模式1-明确楔形波(Explicit Wedgelets)(两个区段)
ii.平面(Planar)(一个区段)
2.对于DMM，对额外的预测信息(例如：分段信息)进行编码。
3.对于每个产生的区段，在比特流中传输残差值(位于像素域中)。
在深度编码程序中，首先会将深度采样映射到有限的深度值。有限的深度值以深度查找表(Depth Lookup Table，DLT)来显示，且在将深度采样映射到有限的深度值后，这些有限的深度值用于作为对应深度查找表的项目的索引。因此，残差值可通过预测因子(predictor)的深度查找表索引和原始深度采样相减来产生，然后将对应索引的残差值编码且传送到解码器。在深度图中显示的深度值通常会限制在小于深度捕捉装置可显示的总数量的一个数量。因此，深度查找表可减少残差幅度(residual magnitude)所需求的位元深度(bit depth)。此映射表会传送至解码器，使得在解码器中可执行从索引至有效深度值的反向查找(inverse lookup)。
在编码器端，将残差索引iresi编码至比特流中，残差值索引iresi定义是根据：
iresi＝I(dorig)-I(dpred)  (1)
其中dorig表示深度区块所定义的原始深度值(例如原始深度区块的平均值(mean value))，dpred表示预测深度值(例如深度区块的预测采样的平均值)，且I(.)表示索引查找表。计算出的残差值索引iresi会再与重要性标志(significance flag)、符号标志(sign flag)以及[log2dvalid]位元进行编码以求得残差值索引的幅度，其中dvalid表示有效深度值的数量，且[x]是上限函数(ceiling function)，用于表示不小于x的最小整数。
深度查找表利用了深度图的稀疏特性(sparse property)，传统上仅有少数超过全部有效深度范围(full available depth range)(28)的深度值会显示在深度图上。在编码器中，动态深度查找表是根据分析输入序列的帧(例如一个帧内周期)的数量而建立的。在编码期间会使用此深度查找表以减少残差信号的有效信号位元深度。
为了建立查找表，编码器会从输入视频序列读取预定义数量的帧来进行编码，且扫描所有采样以获知存在的深度值。在这过程中，会产生映射表，此映射表中会根据原始未压缩的深度图，将深度值映射至现有的深度值。
深度查找表D(.)、索引查找表I(.)、深度映射表M(.)以及有效深度值的数量dvalid，会通过分析深度图Dt的以下过程进行推导：
1.初始设定
●对于全部深度值d，布尔向量B(d)＝False。
●索引计数器i＝0。
2.对于多个时间t将每个像素位置p带入Dt中：
●设定B(Dt(p))＝TRUE，以标记有效深度值。
3.计算在B(d)中TRUE值的数量，且将此结果设定为dvalid的值。
4.对于B(d)＝TRUE的每个深度值d：
●设定D(i)＝d，
●设定M(d)＝d，
●设定I(d)＝i，且
●i＝i+1
5.对于B(d)＝False的每个深度值d：
●找出且●设定
6.设定 I ( d ) = I ( d ^ )
如上所述，在现有的SDC中有区段(segmentation)和预测(prediction)的两种类型。区段和预测两种类型所对应的程序将在底下做介绍。
深度模型模式(DMM)：
-边界信息是通过起始/结束端以及对应的索引来定义的。
-如图1所示，对于每个区段的深度编码(DC)预测值(即预测深度值dpred)是由邻近(neighboring)深度值(亦可视为邻近深度采样或邻近采样)来预测。如图1所示的两个深度区块(100和120)的范例，每个深度区块被分成两个区段(如虚线所示)。在图1中，用于产生区块110的预测采样的重建的邻近深度采样是以标号112和114来表示，且用于产生区块120的预测采样的重建的邻近深度采样以标号122和124来表示。
平面(Planar)模式：
-如图2所示的产生的平面模式的预测因子(即预测采样)。如图2A所示，会使用线性内插(linear interpolation)以产生最右列以及最后一行的预测因子。对于最右列而言，线性内插是根据A到Z的深度值来进行。对于最后一行而言，线性内插是根据B到Z的深度值来进行。如图2B所示，在最右列以及最后一行进行内插运算完成后，剩余的深度位置的预测因子会从四边使用四对应的深度采样进行双线性内插(bilinear interpolated)。
-深度编码(DC)预测值(即区块中的信号预测深度值dpred)是表示平面模式的预测因子的平均值。
根据上述衍生过程，预测采样是通过帧内编码模式(现有的3D-HEVC的DMM模式1或平面模式)产生的预测值。在解码器端的平面模式的重建过程将在图3做说明。在当前深度区块(310)的深度编码(DC)预测值(PredDC)是根据当前深度区块的预测深度采样的平均值来决定。当前深度区块的预测深度值是由邻近重建深度值的线性内插(最右列和最后一行)以及双线性内插(其他深度采样)推导的。在图3中，预测深度值显示在当前深度区块(310)中。为了重建深度值(RecDC)，首先通过将残差索引(residual index)residual加入至深度编码预测值(PredDC)的深度查找表索引(DLT index)，以取得深度查找表索引(DLT index)。然后，通过推导的深度查找表索引进行反向查找，以取得当前深度区块的进行重建的深度值(RecDC)。残差像素值(像素域)是通过将深度值(RecDC)和深度编码预测值(PredDC)相减来取得。最后经由将残差像素值和每个当前区块的预测采样相加，来推导重建的深度区块(320)。
在解码器端的DMM模式1的重建过程将在图4做说明。当前深度区块(410)被分成两区段。当前深度区块(410)的两区段的深度编码预测值(PredDC1和PredDC2)是根据个别邻近重建深度值来决定的。在图4中，预测深度值显示在当前深度区块(410)中。为了重建当前深度区块(410)的两区段的深度值(RecDC1和RecDC2)，首先通过将残差索引residual1和residual2和深度编码预测值(PredDC1和PredDC2)的深度查找表索引(DLT index)相加，以取得两深度查找表索引(DLTindex)。然后，通过推导的深度查找表索引进行反向查找，以取得当前深度区块的进行重建的深度值(RecDC1和RecDC2)。残差像素值(像素域)是通过分别将RecDC1和PredDC1，以及PredDC2和RecDC2相减来取得。最后经由将残差像素值和每个当前区块的预测采样相加，来推导重建的深度区块(420)。
在针对深度区块编码的一般SDC中，只会提供有限的预测模式的问题。通过扩张预测模式来改善编码效率将是值得研究的课题。
发明内容
有鉴于此，本发明提供一种深度区块的帧内编码方法及装置。
本发明提供一种深度区块的帧内编码方法，适用于三维编码系统，包括：接收当前深度区块的输入数据；判断上述当前深度区块的当前帧内预测模式，其中上述当前帧内预测模式属于包含水平模式和垂直模式的模式集合；根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样，其中，若选取上述水平模式，上述推导多个预测采样使用邻近上述当前深度区块的左区块边界的重建的邻近的深度列，以通过从上述重建的邻近的深度列产生上述多个预测采样的多个列而执行水平预测，以及其中，若选取上述垂直模式，上述推导多个预测采样使用邻近上述当前深度区块的顶端区块边界的重建的邻近的深度行，以通过从上述重建的邻近的深度行产生上述多个预测采样的多个行而执行垂直预测；以及使用推导用于上述当前深度区块的上述多个预测采样对上述当前深度区块运用简化深度编码。
本发明另提供深度区块的帧内编码装置，适用于三维编码系统，包括：用于接收当前深度区块的输入数据的电路；用于判断上述当前深度区块的当前帧内预测模式的电路，其中，上述当前帧内预测模式属于包含水平模式和垂直模式的模式集合；用于根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样的电路，其中，若选取上述水平模式，上述推导多个预测采样使用邻近上述当前深度区块的左区块边界的重建的邻近的深度列，以通过从上述重建的邻近的深度列产生上述多个预测采样的多个列而执行水平预测，以及其中，若选取上述垂直模式，上述推导多个预测采样使用邻近上述当前深度区块的顶端区块边界的重建的邻近的深度行，以通过从上述重建的邻近的深度行产生上述多个预测采样的多个行而执行垂直预测；以及用于使用推导用于上述当前深度区块的上述多个预测采样用于对上述当前深度区块运用简化深度编码的电路。
本发明提供的深度区块的帧内编码方法可显著改善简化深度编码的编码效率。
附图说明
图1是根据简化深度编码的使用深度模型模式(DMM)的深度编码的示意图，其中深度区块分成两区段，且每一区段会配置相同大小的区域。
图2A和2B是根据简化深度编码(SDC)的平面模式，通过线性内插或双线性内插产生基于重建的邻近的深度采样的深度区块的预测采样的示意图。
图3是根据本发明实施例所述的使用平面模式的简化深度编码(SDC)的重建过程的示意图。
图4是根据本发明实施例所述的使用深度模型模式DMM模式的简化深度编码(SDC)的重建过程的示意图。
图5是根据本发明实施例所述的使用水平模式的简化深度编码(SDC)的示意图。
图6是根据本发明实施例所述的使用垂直模式的简化深度编码(SDC)的示意图。
图7是显示根据本发明实施例所述的在解码器端，使用水平模式的简化深度编码(SDC)的重建过程的示意图。
图8是根据本发明实施例所述的在解码器端，使用垂直模式的简化深度编码(SDC)的重建过程的示意图。
图9是根据本发明实施例所述的使用水平帧内模式的简化深度编码(SDC)中用于计算预测深度值的预测采样的不同子集合的示意图。
图10是根据本发明实施例所述的使用垂直帧内模式的简化深度编码(SDC)中用于计算预测深度值的预测采样的不同子集合的示意图。
图11是根据本发明实施例所述的在水平帧内模式中，通过所有采样、单一采样、部分采样或重建的邻近的深度列的两角落采样来计算预测深度值的示意图。
图12是根据本发明实施例所述的在垂直帧内模式中，通过所有采样、单一采样、部分采样或重建的邻近的深度列的两角落采样来计算预测深度值的示意图。
图13是根据本发明实施例所述的简化深度编码(SDC)通过延伸帧内预测模式集合产生深度数据的流程图。
具体实施方式
为了改善简化深度编码(SDC)的编码效率，根据本发明的实施例，提出简化深度编码的延伸预测模式(extended prediction modes)来进行改善简化深度编码，其中延伸预测模式包括水平帧内模式(Horizontal Intra mode)、垂直帧内模式(Vertical Intra mode)，或将两者附加在一般平面模式和DMM模式1。在本揭露中，简化深度编码(SDC)的帧内预测模式亦可称为帧内预测类型。在本揭露中，平行帧内模式和垂直帧内模式亦可称为水平模式(Horizontal mode)和垂直模式(Vertical mode)。举例来说，对应当前区块，区段/预测的延伸帧内预测类型可包括：
a.DMM模式1-明确楔形波(2区段)
b.平面模式(1区段)
c.水平模式(1区段)
d.垂直模式(1区段)
在DMM模式，会编码额外的预测信息以指示所划分的区段。对于每个划分的区段，在比特流中传输残差值(在像素域)。两种额外的类型或模式，也就是水平帧内模式和垂直帧内模式将在底下做说明。
·水平模式
-产生的水平帧内模式的预测因子如图5所示，在图5中，邻近当前区块(520)的左区块边界(left block boundary)的重建的邻近的深度行(510)，用于产生预测采样。在邻近的行中的每个采样用于产生相应当前区块的对应列的预测采样。
-如图5所示，深度编码预测值(即区块的预测深度值dpred)是表示预测因子的平均值，或水平模式的预测因子的子集合的平均值。
·垂直模式
-产生的垂直帧内模式的预测因子如图6所示，在图6中，邻近当前区块(620)的顶端区块边界(top block boundary)的重建的邻近的深度列(610)，用于产生预测采样。在邻近的列中的每个采样用于产生相应当前区块的对应行的预测采样。
-如图6所示，深度编码预测值(即区块的预测深度值dpred)是表示预测因子的平均值，或垂直模式的预测因子的子集合的平均值。
在解码器端，水平模式和垂直模式的重建过程的范例将分别在图7和图8做说明。如图7所示，通过水平模式，区块710会对应至预测深度值，且区块720会对应至重建区块。推导深度编码预测值(即预测深度值)PredDC以产生区块710。PredDC会和剩余值residua相加以产生区块的重建的剩余值RecDC。接着，重建的剩余值通过个别的预测采样来进行更新，其中预测采样是根据水平模式所推导的，以产生区块720的重建深度采样。如图8所示，通过使用垂直模式，区块810会对应至预测深度值，且区块820会对应至重建区块。在垂直模式中，重建区块的深度编码预测值RecDC的过程和水平模式类似。区块820的重建深度值是由以下方程式推导：
drec＝I-1((iresi)-I(dpred))  (2)
其中I-1(.)表示反(inverse)索引查找表。在解码器端，重建的剩余值Rrec是通过以下方程式推导：
Rrec＝drec-dpred  (3)
当前区块或预测单元(prediction unit，PU)的每个预测采样会根据重建的残差值来更新，也就是说重建残差值会和每个预测采样相加以产生新的预测采样。因此，水平/垂直模式的预测采样表示水平/垂直模式的预测采样加上偏移值(offset value)，其中此偏移值是由残差值索引所推导的。
在另一实施例中，当前区块或预测单元的所有预测采样会被同样的重建的深度值取代，其中重建的深度值是由以下数学式所推导：
drec＝I-1((iresi)-I(dpred))
其中I-1(.)表示反索引查找表。
在上述实施例中，区段/预测的延伸帧内预测类型的集合对应至{DMM模式1、平面模式、水平模式、垂直模式}。然而，其他区段/预测的延伸帧内预测类型的集合亦可应用在本发明。举例来说，区段/预测的延伸帧内预测类型的集合亦可对应至：
-{深度编码模式、DMM模式1、水平模式、垂直模式}
-{平面模式、DMM模式1、水平模式、垂直模式}
-{平面模式、深度编码模式、水平模式、垂直模式}
-{DMM模式1、平面模式、水平模式、垂直模式、对角线模式(diagonalmode)2、对角线模式8}
其中对角线模式2和对角线模式8是HEVC标准(H.265：高效率视频编码建议书，国际电信联盟电信标准部门(ITU-T)H.265。2013年4月)所描述的纹理视频数据的帧内预测模式。
用于产生预测采样的类型的顺序亦会发生改变。根据此顺序，截头一元码(truncated unary code)可用于传输当前区块选取的类型。表1是显示具有两种额外模式(即水平模式和垂直模式)的修正编码(modified coding)表的范例。
表1
表2是显示具有额外水平模式和垂直模式是深度帧内模式是二元化的范例。
表2
根据本发明的实施例，对于简化深度编码的延伸帧内预测类型的集合，在这些帧内预测模式中的预测深度值(dpred)可从所有预测采样，或子采样后的预测采样，或预测采样的子集合来计算。既然，预测采样是根据当前重建的邻近深度采样来划分，预测深度值(dpred)亦可直接通过当前编码区块的重建的邻近深度采样推导。用于推导预测深度值的函数可取平均值(mean)、取中间值(medium)、取最大值(maximum)、取最小值(minimum)、或预测采样、子采样后的预测采样、预测采样的子集合、或当前编码区块的邻近的重建采样的线性组合。
对于帧内预测模式来说，当预测采样的子集合用于推导预测深度值(dpred)时，可以使用下列任何子集合：
●当前编码区块的第一行和第一列，
●当前编码区块的中心预测采样，
●当前编码区块的四角落采样，
●当前编码区块的第一/最后一列的两角落采样，以及
●当前编码区块的最左/最右一列的两角落采样
在另一个实施例中，预测采样的不同子集合可使用在简化深度编码的不同帧内预测模式。举例来说，如图9所示，对于水平帧内模式，最左列的两角落采样(如所示的两黑点)可用于计算预测深度值。或者任何其他列(例如最右列)亦可使用在水平帧内模式以推导预测深度值(dpred)。如图10所示，对于垂直帧内模式，第一行的两角落采样(如所示的两黑点)可用于计算预测深度值。或者任何其他列(例如最后一行)亦可使用在垂直帧内模式以推导预测深度值(dpred)。
在本发明另一实施例中，邻近的重建的采样用于推导预测深度值。举例来说，如图11所示，对于水平帧内模式，邻近当前区块1120的左边区块边界的重建的邻近的深度列(1110)的所有采样、单一采样、部分采样或两角落采样，可用于计算出预测深度值。如图12所示，对于垂直帧内模式，邻近当前区块1220的顶端区块边界的重建的邻近的深度行(1210)的所有采样、单一采样、部分采样或两角落采样，可用于计算出预测深度值。
根据本发明实施例所揭露的结合延伸帧内预测模式的三维视频编码系统的性能，将和根据基于三维编码测试模型的高效率编码第八版本(High EfficiencyVideo Coding based 3D Coding Test Model,version 8，HTM-8.0)的传统系统做比较。在HTM-8.0中帧内预测的类型包括DDM模式1以及平面模式。本发明所提出的实施例中更包括水平模式和垂直模式。比较性能是根据在第一列所列出的测试数据的不同集合。
在通用测试条件(common test condition，CTC)和全帧内(all-intra，AI)测试条件下，根据本发明实施例所揭露的系统的测试结果如表3和表4所示。如表3和表4所示，在一些测试项目中，根据本发明实施例所揭露的具有结合延伸帧内预测模式的系统可达到超过0.1％的BD率的节省。平均解码时间可下降超过3％。
表3
表4
图13是根据本发明实施例所述的使用延伸帧内数据的深度数据的简化深度编码之流程图。在步骤1310中，系统接收当前深度区块的输入数据。在编码的过程中，将当前深度区块的输入数据对应至深度采样以进行编码。在解码过程中，将当前深度区块的输入数据对应至已编码的深度数据以进行解码。当前深度区块的输入数据可从记忆体或处理器撷取。在步骤1320中，判断当前深度区块的当前帧内预测模式，其中当前帧内预测模式包含于一个模式集合，模式集合中包含水平模式和垂直模式。在步骤1330，执行测试“模式为水平模式？(Mode＝Horizontal？)”。若测试结果为“是”，执行步骤1350。若测试结果为“否”，执行步骤1340。在步骤1350中，根据邻近当前深度区块的左区块边界的重建的邻近的深度列，通过从重建的邻近的深度列产生预测采样行，以推导预测采样。在步骤1340，更执行测试“模式为垂直模式？(Mode＝Vertical？)”。若测试结果为“是”，执行步骤1360。若测试结果为“否”，执行步骤1370。在步骤1360中，根据邻近当前深度区块的顶端区块边界的重建的邻近的深度行，通过从重建的邻近的深度行产生预测采样列，以推导预测采样。在步骤1370，使用其他模式来衍生预测采样。在步骤1380，预测采样推导后，通过当前深度区块推导的预测采样，在当前深度区块运用简化深度编码。
在上述流程图中仅说明了具有延伸帧内预测模式的简化深度编码的一个实施例，但本发明不以此为限。对于本领域技术人员，在未脱离本发明所揭示的精神下可修正每一步骤、重新安排步骤、划分步骤或合并步骤以实现本发明。
本领域技术人员依据本发明上下文所描述的实施方式可以执行本发明，且本领域技术人员可依据本发明对实施方式进行多种修改。且本发明的总体精神可以应用至其他实施方式。因此，本发明并不限制于上述实施方式，其包括依本发明揭露的精神和新颖的特征产生更广泛的范围。在上述细节描述中，多种特定的细节描述是为了提供本发明最深入的理解。本领域技术人员能够明白本发明可以实施。
上述依据本发明的合并位元平台编码误差数据的数据压缩的实施方式可通过多种硬件、软件或上述结合实现。举例来说，本发明的实施例也可为集成在程式在图像或者视频压缩/解压缩软件上执行在CPU、数字信号处理器(DigitalSignal Processor，DSP)以进行相应处理。本发明还可包含系列功能，并由电脑处理器、数字信号处理器、微处理器、场可编程门阵列(Field Programmable GateArray，FPGA)执行。通过执行定义本发明实施例的机器可读软件或固件，上述处理器可根据本发明执行特定任务。软件或固件可在不同程序语言和不同格式或方式中进行。软件可编译成不同的目标平台。不过，不同的编码格式、方式和软件语言，以及与本发明有关的使码执行任务的其它方法均符合本发明的精神，落入本发明的保护范围。
本发明可能有许多的修正与差异。因此需要在其附加的权利要求项的范围内加以理解，除了上述详细的描述外，本发明还可以广泛地在其地的实施例中施行。上述仅为本发明的较佳实施例而已，并非用于限定本发明的权利要求；凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述权利要求内。

Claims (16)

1.深度区块的帧内编码方法，适用于三维编码系统，包括：
接收当前深度区块的输入数据；
判断上述当前深度区块的当前帧内预测模式，其中上述当前帧内预测模式属于包含水平模式和垂直模式的模式集合；
根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样，其中，若选取上述水平模式，上述推导多个预测采样使用邻近上述当前深度区块的左区块边界的重建的邻近的深度列，以通过从上述重建的邻近的深度列产生上述多个预测采样的多个列而执行水平预测，以及其中，若选取上述垂直模式，上述推导多个预测采样使用邻近上述当前深度区块的顶端区块边界的重建的邻近的深度行，以通过从上述重建的邻近的深度行产生上述多个预测采样的多个行而执行垂直预测；以及
使用推导用于上述当前深度区块的上述多个预测采样对上述当前深度区块运用简化深度编码。
2.如权利要求1所述的深度区块的帧内编码方法，其特征在于，上述模式集合更包括平面模式和深度模型模式。
3.如权利要求1所述的深度区块的帧内编码方法，其特征在于，上述模式集合中的上述多个帧内预测模式是用截头一元码来进行编码。
4.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述水平模式，用于上述当前区块的以单一预测值表示的预测深度值是根据上述当前区块的最左列的两角落预测采样而决定的。
5.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述水平模式，用于上述当前区块的以单一预测值表示的预测深度值是根据所有重建的采样、一个重建的采样、部分重建的采样，或邻近上述当前深度区块的上述左区块边界的上述重建的邻近的深度列的两角落的重建的采样而决定的。
6.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述垂直模式，用于上述当前区块的以单一预测值表示的预测深度值是根据上述当前区块的顶端行的两角落预测采样而决定的。
7.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述垂直模式，用于上述当前区块的以单一预测值表示的预测深度值是根据所有重建的采样、一个重建的采样、部分重建的采样，或邻近上述当前深度区块的上述顶端区块边界的上述重建的邻近的深度行的两角落的重建的采样而决定的。
8.如权利要求1所述的深度区块的帧内编码方法，其特征在于，用于上述当前区块的以单一预测值表示的预测深度值是根据上述当前区块的四角落预测采样而决定的。
9.如权利要求1所述的深度区块的帧内编码方法，其特征在于，用于上述当前区块的以单一预测值表示的预测深度值是根据所有预测采样、子采样的预测采样，或上述当前深度区块的上述预测采样的子集合来决定的。
10.如权利要求9所述的深度区块的帧内编码方法，其特征在于，上述预测深度值是通过取平均值、取中间值、取最大值、取最小值或上述所有预测采样、上述子采样的预测采样，或上述当前深度区块的上述预测采样的上述子集合的线性组合来决定。
11.如权利要求9所述的深度区块的帧内编码方法，其特征在于，上述预测深度值是通过上述当前深度区块的四角落预测采样的平均来决定的。
12.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述水平模式，上述当前深度区块以单一预测值表示预测深度值，且上述单一预测深度值是根据上述预测采样的第一子集合而决定的，其中若使用不同模式，与上述第一子集合不同的第一上述预测采样的第二子集合用于于决定上述当前深度区块的一或多个单一预测值，且其中上述第一子集合对应位于上述当前深度区块的选取的列中的预测采样、两角落预测采样或所有预测采样。
13.如权利要求12所述的深度区块的帧内编码方法，其特征在于，上述选取的列对应上述当前深度区块的最左列。
14.如权利要求1所述的深度区块的帧内编码方法，其特征在于，若选取上述垂直模式，上述当前深度区块以单一预测值表示预测深度值，且上述单一预测深度值是根据上述预测采样的第一子集合而决定的，其中若使用不同模式，与上述第一子集合不同的第一上述预测采样的第二子集合用于于决定上述当前深度区块的一或多个单一预测值，且其中上述第一子集合对应位于上述当前深度区块的选取的行中的预测采样、两角落预测采样或所有预测采样。
15.如权利要求14所述的深度区块的帧内编码方法，其特征在于，上述选取的行对应上述当前深度区块的顶端行。
16.深度区块的帧内编码装置，适用于三维编码系统，包括：
用于接收当前深度区块的输入数据的电路；
用于判断上述当前深度区块的当前帧内预测模式的电路，其中，上述当前帧内预测模式属于包含水平模式和垂直模式的模式集合；
用于根据上述当前帧内预测模式基于重建的邻近多个深度采样推导上述当前深度区块的多个预测采样的电路，其中，若选取上述水平模式，上述推导多个预测采样使用邻近上述当前深度区块的左区块边界的重建的邻近的深度列，以通过从上述重建的邻近的深度列产生上述多个预测采样的多个列而执行水平预测，以及其中，若选取上述垂直模式，上述推导多个预测采样使用邻近上述当前深度区块的顶端区块边界的重建的邻近的深度行，以通过从上述重建的邻近的深度行产生上述多个预测采样的多个行而执行垂直预测；以及
用于使用推导用于上述当前深度区块的上述多个预测采样用于对上述当前深度区块运用简化深度编码的电路。
CN201410541870.XA 2013-10-17 2014-10-14 视频编码或解码的方法及装置 Active CN104618724B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361892240P 2013-10-17 2013-10-17
US61/892,240 2013-10-17
US14/480,788 2014-09-09
US14/480,788 US9503751B2 (en) 2013-10-17 2014-09-09 Method and apparatus for simplified depth coding with extended prediction modes

Publications (2)

Publication Number Publication Date
CN104618724A true CN104618724A (zh) 2015-05-13
CN104618724B CN104618724B (zh) 2017-11-10

Family

ID=52826142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410541870.XA Active CN104618724B (zh) 2013-10-17 2014-10-14 视频编码或解码的方法及装置

Country Status (3)

Country Link
US (2) US9503751B2 (zh)
JP (1) JP2015080207A (zh)
CN (1) CN104618724B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014166116A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
US20180332292A1 (en) * 2015-11-18 2018-11-15 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US10448011B2 (en) * 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US9712830B1 (en) 2016-09-15 2017-07-18 Dropbox, Inc. Techniques for image recompression
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
MX2019004151A (es) 2016-10-11 2019-08-05 Lg Electronics Inc Metodo y aparato de decodificación de imagen basados en la intrapredicción en sistema de codificación de imagen.
GB2558881B (en) * 2017-01-09 2021-11-17 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
US11166048B2 (en) * 2018-10-02 2021-11-02 Tencent America LLC Method and apparatus for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183057A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. System, apparatus, and method for encoding and decoding depth image
CN103237214A (zh) * 2013-04-12 2013-08-07 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103281541A (zh) * 2013-05-10 2013-09-04 北方工业大学 基于深度图像的帧内预测楔形分块方法
CN103338370A (zh) * 2013-06-05 2013-10-02 宁波大学 一种多视点深度视频快速编码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5299328B2 (ja) * 2010-03-17 2013-09-25 富士通株式会社 画像処理装置および画像処理方法
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
US20140064366A1 (en) * 2012-09-03 2014-03-06 Texas Instruments Incorporated Intra-Prediction Estimation Using Approximate Reconstructed Samples
US9900576B2 (en) * 2013-03-18 2018-02-20 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9313493B1 (en) * 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183057A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. System, apparatus, and method for encoding and decoding depth image
CN103237214A (zh) * 2013-04-12 2013-08-07 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103281541A (zh) * 2013-05-10 2013-09-04 北方工业大学 基于深度图像的帧内预测楔形分块方法
CN103338370A (zh) * 2013-06-05 2013-10-02 宁波大学 一种多视点深度视频快速编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FABIAN JAGER: "SIMPLIFIED DEPTH MAP INTRA CODING WITH AN OPTIONAL DEPTH LOOKUP TABLE", 《IEEE》 *

Also Published As

Publication number Publication date
JP2015080207A (ja) 2015-04-23
CN104618724B (zh) 2017-11-10
US20170041623A1 (en) 2017-02-09
US20150110170A1 (en) 2015-04-23
US9503751B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
CN104618724A (zh) 视频编码或解码的方法及装置
CN104247427B (zh) 用于编码和解码的设备和方法
CN109257599B (zh) 解码器、编码器及重构、编码、解码、传送和处理方法
US11856219B2 (en) Multi-view coding with effective handling of renderable portions
US11689738B2 (en) Multi-view coding with exploitation of renderable portions
CN105122809A (zh) 帧内编码的预测值派生的方法和装置
EP3713241A1 (en) Processing a point cloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160920

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant