CN104904220A - 用于深度图像的编码设备和解码设备以及编码方法和解码方法 - Google Patents

用于深度图像的编码设备和解码设备以及编码方法和解码方法 Download PDF

Info

Publication number
CN104904220A
CN104904220A CN201480004107.1A CN201480004107A CN104904220A CN 104904220 A CN104904220 A CN 104904220A CN 201480004107 A CN201480004107 A CN 201480004107A CN 104904220 A CN104904220 A CN 104904220A
Authority
CN
China
Prior art keywords
pattern
depth
sdc
coding unit
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480004107.1A
Other languages
English (en)
Other versions
CN104904220B (zh
Inventor
任一淳
吴秉泰
魏浩千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2014/000035 external-priority patent/WO2014107038A1/ko
Publication of CN104904220A publication Critical patent/CN104904220A/zh
Application granted granted Critical
Publication of CN104904220B publication Critical patent/CN104904220B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于深度图像的编码设备和解码设备以及编码方法和解码方法。为了根据帧内预测模式对深度图像进行处理，编码设备或解码设备可使用SDC模式的DC模式、平面模式或DMM1中的代表性模式。此外，为了根据帧内预测模式对深度图像进行处理，编码设备或解码设备可使用平面模式或DMM1之中的代表性模式。

Description

用于深度图像的编码设备和解码设备以及编码方法和解码方法
技术领域
以下实施例涉及当深度图像被编码或解码时基于简化深度编码(SDC)模式对深度图像的处理。具体地说，实施例可被应用于深度图像的比特率由于有限的带宽而需要被减小的视频压缩领域。
背景技术
为了对深度图像进行编码或解码，可使用帧内预测或帧间预测。可基于编码单元之间的空间相关性来执行帧内预测，可基于编码单元之间的时间相关性来执行帧间预测方案。
在根据现有技术的压缩方案中，为了执行对深度图像的帧内预测，可设置多种模式，并可对编码单元应用具有最低代价的编码模式。然而，由于深度图像具有“0”至“255”的灰度级之中的特定灰度级，可能需要设置更多的有效编码模式来减小当深度图像被发送时所需的比特率。
发明内容
技术目标
实施例的一方面提供一种用于当基于帧内预测模式对深度图像进行编码或解码时基于简化深度编码(SDC)模式中的深度编码(DC)模式、平面模式和深度建模模式1(DMM1)之中的一个代表性模式来对编码单元进行处理的方法和设备。这里，DC模式被定义为直流分量模式，SDC模式被定义为智能区段(Segment-wise)直流分量模式。
实施例的另一方面提供了一种用于当基于帧内预测模式对深度图像进行编码或解码时基于SDC模式中的平面模式和DMM1之中的一个代表性模式来对编码单元进行处理的方法和设备。
实施例的另一方面提供了一种用于基于邻近于与深度图像的编码单元相应的当前块的上侧块或左侧块的SDC模式对与深度图像的编码单元相应的当前块进行编码或解码的方法和设备。
技术方案
根据一方面，提供了一种对深度图像进行编码的方法，所述方法包括：基于简化深度编码(SDC)模式对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括平面模式或深度建模模式1(DMM1)。
编码步骤可包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC模式，对编码单元进行编码。
编码单元的残差信息可基于针对深度图像的每个帧产生的深度查找表(DLT)被映射到索引。
根据另一方面，提供了一种对深度图像进行编码的方法，所述方法包括：基于简化深度编码(SDC)模式来对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括深度编码(DC)模式、平面模式或DMM1。
编码步骤可包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC模式，对编码单元进行编码。
编码单元的残差信息可基于针对深度图像的每个帧产生的DLT被映射到索引。
根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式或DMM1。
平面模式可以是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
DMM1可以是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样点和右下样点得到的。
根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括DC模式、平面模式或DMM1。
平面模式可以是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
DMM1可以是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样点和右下样点得到的。
根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式1(DMM1)和深度建模模式2(DMM2)，其中，深度编码(DC)模式不包括在SDC模式中。
根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式1(DMM1)，其中，深度编码(DC)模式和深度建模模式2(DMM2)不包括在SDC模式中。
根据另一方面，提供了一种用于对深度图像进行编码的设备，所述设备包括处理器，其中，处理器执行：基于SDC模式来对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括平面模式或DMM1。
根据另一方面，提供了一种用于对深度图像进行编码的设备，所述设备包括处理器，其中，处理器执行：基于SDC模式来对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括DC模式、平面模式或DMM1。
根据另一方面，一种用于对深度图像进行解码的设备，所述设备包括处理器，其中，处理器执行：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式或DMM1。
根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理器，其中，处理器执行：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括DC模式、平面模式或DMM1。
根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理器，其中，处理器执行：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式1(DMM1)和深度建模模式2(DMM2)，其中，深度编码(DC)模式不包括在SDC模式中。
根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理器，其中，处理器执行：确定与应用于深度图像的编码单元的帧内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式1(DMM1)，其中，深度编码(DC)模式和深度建模模式2(DMM2)不包括在SDC模式中。
本发明的效果
根据实施例，当基于帧内预测模式对深度图像进行编码或解码时，可基于简化深度编码(SDC)模式中的深度编码(DC)模式、平面模式和深度建模模式1(DMM1)之中的一个代表性模式对编码单元进行处理，因此，可提高对编码单元进行处理的效率。
另外，根据实施例，当基于帧内预测模式对深度图像进行编码或解码时，可基于SDC模式中的平面模式和DMM1之中的一个代表性模式对编码单元进行处理，因此，可提高对编码单元进行处理的效率。
另外，根据实施例，可基于邻近于与深度图像的编码单元相应的当前块的上侧块或左侧块的SDC模式来对与深度图像的编码单元相应的当前块进行编码或解码，因此，可更有效地反映深度图像的特征。
附图说明
图1是示出根据实施例的编码设备和解码设备的示图。
图2是示出根据实施例的编码设备的操作的流程图。
图3是示出根据实施例的解码设备的操作的流程图。
图4是被提供用于解释根据实施例的深度建模模式1(DMM1)的示图。
图5是示出根据实施例的基于平面模式(planar mode)获得预测值的处理的示图。
图6是示出根据实施例的基于DMM1获得预测值的处理的示图。
图7是示出根据实施例的确定当前块的编码模式的处理的示图。
图8是示出根据实施例的用于补偿深度查找表(DLT)的enable_flag的示图。
图9是示出根据实施例的条带头中的DLT的示例的示图。
图10是示出根据实施例的条带头中的DLT的另一示例的示图。
具体实施方式
通过参照附图提供以下详细描述以解释实施例。
图1是示出根据实施例的编码设备和解码设备的示图。
参照图1，编码设备101可将通过对深度图像进行编码而产生的比特流发送到解码设备102。可选地，编码设备101可对深度图像进行编码，并可将深度图像存储在记录介质中或以分离的文件格式来存储深度图像。解码设备102可从比特流获得深度图像，并可重放三维(3D)图像。由于被用于发送比特流的带宽是有限的，因此深度图像的比特率会需要被减小。深度图像可被表示为深度图(depth map)。
例如，编码设备101可使用帧内预测来对深度图像进行编码。编码设备101可基于图像压缩方案(例如，H.264/先进视频编码(AVC)、H.264/多视点视频编码(MVC)或高效视频编码(HEVC))来对深度图像进行编码。编码设备101可将单个深度图像划分为多个编码单元，并可基于编码单元之间的空间相关性来执行帧内预测，或基于编码单元之间的时间相关性来执行帧间预测。
帧内预测可以是从与将被编码的编码单元邻近的像素的像素值来预测将被编码的编码单元的像素值。通过帧内预测而计算的编码单元的预测值可基于编码单元的尺寸以及参考用于预测的邻近像素的方案而不同。
在图像压缩方案中，帧内预测模式的类型可基于编码单元的尺寸和参考邻近像素的方案而被定义。编码设备101可选择在图像压缩方案中定义的多个帧内预测模式中的一个帧内预测模式，并可对编码单元进行编码。编码设备101可选择使得用于对编码单元进行编码的比特率和解码的编码单元的失真最小化的帧内预测模式。例如，编码设备101可基于在图像压缩方案中定义的所有帧内预测模式来执行编码，并可选择具有用于编码的最低代价的帧内预测模式作为编码单元的编码模式。
当基于帧内预测对深度图像进行编码时，编码设备101可产生深度查找表(DLT)。DLT可基于深度图像的特征通过索引表示特定灰度级。通过使用索引表示编码单元的残差信息和像素值来提高编码效率的方案可被定义为简化深度编码(SDC)。深度图像可包括与“0”至“255”的灰度级之中的特定灰度级相应的像素，因此，当基于SDC模式执行编码时可提高编码效率。
编码设备101可使用在SDC模式中定义的代表性模式来对深度图像进行编码。代表性模式可包括例如深度编码(DC)模式、深度建模模式1(DMM1)、深度建模模式2(DMM2)和平面模式。例如，编码设备101可基于四个代表性模式之中的除了DMM2之外的三个代表性模式来执行编码。另外，编码设备101可基于四个代表性模式之中的除了DC模式和DMM2之外的两个代表性模式来执行编码。
编码设备101可对编码单元设置代表性模式。编码设备101可将代表性模式和残差信息发送到解码设备102。残差信息可以是通过对编码单元进行预测而获得的结果。
图2是示出根据实施例的编码设备的操作的流程图。
在操作201，编码设备101可基于SDC模式对编码单元进行编码。为了基于SDC模式对深度图像进行编码，编码设备101可使用一些代表性模式，而不是使用在HEVC中通常使用的35种帧内预测模式。深度图像的复杂度可比彩色图像更低，深度图像的灰度级可被分布中预定范围中，因此，能够基于简单代表性模式来进行最多的预测。
SDC模式可与用于对深度图像进行编码以重放3D视频的帧内预测模式相关联。在示例中，为了对深度图像进行编码，编码设备101可使用SDC模式之中的除了DC模式和DMM2之外的平面模式和DMM1中的一个。换句话说，平面模式和DMM1可以是SDC模式中的代表性模式。
在另一示例中，为了对深度图像进行编码，编码设备101可使用SDC模式之中的除了DMM2之外的DC模式、平面模式和DMM1中的一个。换句话说，DC模式、平面模式和DMM1可以是SDC模式之中的代表性模式。编码设备101可基于SDC模式中的代表性模式之中的具有最高可能性的代表性模式来对编码单元进行预测和编码。
DC模式可指示根据现有技术的深度图像压缩方案中的方向性帧内预测。DMM模式可被用于在对深度图像的不连续性进行建模期间执行合成(synthesis)的时间点提高失真率和比特率。换句话说，编码设备101可基于排除了一部分代表性模式的SDC模式来对深度图像进行编码，因此，可提高编码效率。
当用于编码单元的SDC模式被选择时，可基于选择的SDC模式的代表性模式来对编码单元进行预测。由于针对每个编码单元在一个或两个深度区段(segment)中基于SDC模式执行预测，因此可针对每个深度区域，对单个残差DC深度值进行编码。深度区段可包括多个像素。当SDC模式被使用时，可在像素域对残差信息进行编码，因此振铃效应可被去除。
SDC模式可被用于深度图像的帧内预测。可另外使用指示SDC模式被应用到编码单元的SDC标志。例如，当基于SDC模式对编码单元进行编码时，编码单元的尺寸可被确定为“2N×2N”。当基于SDC模式执行编码时，编码单元的代表性模式和区段类型可被编码。
<代表性模式/区段类型>
DC(1个区段)
DMM模式1-显式楔波(Wedgelets)(2个区段)
DMM模式2-帧内预测的楔波(2个区段)
平面(1个区段)
对于每个区段，在比特流中可使用信号发送像素域中的残差信息。在编码之前，可使用DLT将残差信息映射到未编码的深度图像的原始深度值。因此，可通过用信号发送DLT中的索引来对残差信息进行编码。
编码设备101可通过从深度图像的多个帧提取预定数量的帧来分析直方图，并可确定灰度级。编码设备101可基于确定的灰度级产生下面示出的DLT。
索引 灰度值
0 4
1 7
2 12
…
50 130
例如，编码设备101可在SDC模式下对编码单元进行编码。在该示例中，编码设备101可将DLT组合，并可用信号发送针对每个区段设置的残差信息，以减小所需的比特率。DLT可以是将深度图像的原始深度值映射到索引的结果。可通过对输入的深度图像的序列中的特定数量的帧进行分析来产生DLT。DLT可在编码处理中被使用以减小残差信息的比特深度。
编码设备101可对深度图像的序列之中的特定数量的帧进行分析。可对帧进行编码，并可针对所有深度值，对所有像素进行扫描。在分析期间，编码设备101可基于没被压缩的原始深度图像将深度值映射到有效深度值，并可产生映射表。
然而，当通过对预定数量的帧进行分析而不是对深度图像中的所有帧进行分析来产生DLT时，该DLT是否代表深度图像会是个问题。例如，编码设备101可通过对深度图像进行分析来产生DLT，并可将DLT记录在序列参数集(SPS)中。记录在SPS中的DLT可被发送到解码设备102。
可基于下面的处理来产生DLT：
输入：在时间示例t的N×M个像素的深度图D_t
输出：深度查找表D(.)
索引查找表I(.)
深度映射表M(.)
有效深度值的数量d_valid
<算法>
初始化
对于所有深度值d，布尔矢量(boolean vector)B(d)＝FALSE
索引计数器i＝0
针对多个时间示例t，处理D_t中的每个像素位置p：
设置B(D_t(p))＝TRUE以标记有效深度值
在B(d)？d_valid中对TURE值的数量进行计数
对于每个B(d)＝＝TRUE的d：
设置D(i)＝d
设置M(d)＝d
设置I(d)＝i
i＝i+1
对于每个B(d)＝＝FALSE的d：
寻找d□＝arg min|d-d□|and B(d□)＝＝TRUE
设置M(d)＝d□
设置I(d)＝I(d□)
编码设备101可将深度图像映射到与深度值相应的索引，而不是针对给定编码单元对深度图像的残差信息进行编码。映射表可被发送到解码设备102，其中，解码设备102被配置为通过DLT的逆来从索引获得深度值。
输入：原始深度值d_orig
预测深度值d_pred
索引查找表I(.)
有效深度值的数量d_valid
输出：将被编码的残差索引i_resi
算法：
i_resi＝I(d_orig)-I(d_pred)
可使用标志来对残差信息的索引i_resi进行编码。
编码设备101可使用邻近于与编码单元相应的当前块的块来确定将被应用于与编码单元相应的当前块的SDC模式。例如，编码设备101可确定与当前块邻近的上侧块或左侧块的SDC模式，并可确定当前块的SDC模式。当使用帧间预测模式或帧内预测模式而不是使用SDC模式来对所述上侧块或左侧块进行编码时，编码设备101可执行例外处理。
在操作202，编码设备101可将包括编码单元的残差信息和应用到编码单元的SDC模式的比特流发送到解码设备102。
图3是示出根据实施例的解码设备的操作的流程图。
在操作301，解码设备102可确定被应用于编码单元的SDC模式。在示例中，解码设备102可确定在SDC模式中的除了DMM2和DC模式之外的平面模式和DMM1中的一个是否被应用于编码单元。换句话说，DMM1和平面模式可以是SDC模式中的代表性模式。
在另一示例中，解码设备102可确定在SDC模式中的除了DMM2之外的DC模式、平面模式和DMM1中的一个是否被应用于编码单元以对深度图像进行编码。换句话说，DC模式、DMM1和平面模式可以是SDC模式中的代表性模式。
在操作302，解码设备102可基于应用到编码单元的SDC模式对编码单元进行解码。
图4是被提供用于解释根据实施例的DMM1的示图。
深度图像可主要包括表示对象边界的锐利边缘以及表示对象区域的近乎不变或缓慢变化的样值。为了清楚地表示深度图像中的对象边界，可加入针对深度图像的帧内预测模式。深度图像的块401可被划分为两个非矩形区域，每个非矩形区域可由常数表示。与每个非矩形区域相应的样点可由常数指示，并且每个非矩形区域可由恒定划分值(CPV)表示。楔波划分方案和轮廓(Contour)划分方案可被用作划分方案，DMM1可基于楔波划分方案。
基于SDC模式，指示原始深度值和预定深度值之间的差的残差信息可被发送。在深度图像的块中，可基于DMM确定预测深度值。在楔波划分方案中，深度图像的块401可被直线划分为两个区域P1和P2。深度图像的块402可包括多个样点(uB×vB)，每个样点可属于这两个区域中的一个区域。
另外，深度图像的块403中的样点可基于块403中的每个样点所属的区域由二进制信息标识。DMM1可基于楔波划分方案，划分信息可通过比特流发送到解码设备102。解码设备102可基于划分信息来恢复深度图像的块。
可由编码设备101将划分信息发送到解码设备102，而不是由解码设备102来预测划分信息。基于楔波划分方案的边界可被确定为使属于由楔波划分方案获得的区域的原始深度值和预测值之间的失真最小化。
图5是示出根据实施例的基于平面模式获得预测值的处理的示图。
SDC模式可代替深度图像的帧内预测模式。深度图像的深度帧内参数可指示编码单元是否在SDC模式下被用信号发送。在SDC模式下，可基于SDC模式中包括的平面模式和DMM1中的一个来对与深度图像的编码单元相应的块进行预测。此外，在SDC模式下，可基于SDC模式中包括的平面模式、DC模式和DMM1中的一个来对与深度图像的编码单元相应的块进行预测。
包括基于SDC模式预测的预测单元的编码单元可具有“2N×2N”的划分尺寸。残差信息可通过量化的变换系数来编码，并且指示一个或两个常数的残差信息可被用信号发送。
可基于以下信息来用信号发送基于SDC模式编码的块：
DMM模式1-显式楔波(2个区段)
平面(1个区段)
在编码之前，残差信息可基于DLT被映射到深度图像的原始深度值。可通过用信号发送DLT中的索引来对残差信息进行编码。表示映射表的DLT可被发送到解码设备102。
编码设备101可使用深度图像的预测深度值dpred和原始深度值dorig的平均值。在平面模式下，预测深度值dpred可被计算为预测块中的左上样点501、左下样点502、右上样点503和右下样点504的平均值。
图6是示出根据实施例的基于DMM1获得预测值的处理的示图。
在DMM1下，与区域相应的预测深度值dpred可被确定为预测块中的属于该区域的样点的平均值。例如，与包括白色样点的区域相应的预测深度值dpred可被确定为左上样点601。另外，与包括黑色样点的区域相应的预测深度值dpred可被计算为左下样点602、右上样点603和右下样点604的平均值。区域可与区段相应。
DLT可被用于使用索引将原始深度值映射到预测深度值。残差索引iresi可被发送到解码设备102，并可基于下面的等式1来确定：
[等式1]
iresi＝I(dorig)-I(dpred)，
这里，I(.)表示DLT。在解码设备102中，可基于下面的等式2来确定恢复的原始深度值的平均值：
[等式2]
d ^ o r i g = I - 1 ( - 1 ( d p r e d ) + i r e s i ) ,
这里，I-1(.)表示逆DLT。可基于下面的等式3来确定平均残差信息：
[等式3]
d ^ r e s i = d ^ o r i g - d p r e d .
可基于下面的等式4来确定恢复的样点
[等式4]
P ^ x , y = P x , y + d ^ r e s i .
可用标志来对计算出的残差信息iresi进行编码。
图7是示出根据实施例的确定当前块的编码模式的处理的示图。
如上面参照图2所述的，编码设备101可确定与编码单元相应的当前块X 701的编码模式。编码设备101可基于应用于与当前块701邻近的左侧块A702或上侧块B 703的SDC模式，确定当前块701的编码模式。
例如，当SDC模式中的DC模式被应用于左侧块702时，DC模式可被应用于当前块701。当SDC模式中的DMM1被应用于左侧块702时，DMM1可被应用于当前块701。当SDC模式中的平面模式被应用于左侧块702时，平面模式可被应用于当前块701。与应用于上侧块703的模式相同的模式可被应用于当前块701。
当除了SDC模式之外的帧间预测模式或帧内预测模式被应用于左侧块702或上侧块703时，DC模式可被应用于当前块701。
图8是示出根据实施例的用于补偿DLT的enable_flag的示图。
编码设备101可从将被编码的深度图像的序列提取预设数量的帧，并可分析直方图。编码设备101可通过分析直方图来确定灰度级，并可基于确定的灰度级来产生DLT。
为了反映除了预设数量的帧之外的帧的特征，编码设备101可确定并记录针对深度图像的每个帧的enable_flag。
DLT可被记录在SPS中。SPS中记录的DLT可被发送到解码设备102。解码设备102可通过对深度图像的当前帧进行分析来产生深度图像的当前帧的DLT。编码设备101可将SPS中记录的DLT的灰度级与产生的DLT的灰度级进行比较。当灰度级之间的相似度等于或大于参考值时，编码设备101可使用SPS中记录的DLT(而不改变该DLT)，基于SDC模式来执行编码。类似地，解码设备102可将SPS中记录的DLT的灰度级与产生的DLT的灰度级进行比较。当灰度级之间的相似度等于或大于参考值时，解码设备102可使用SPS中记录的DLT(而不改变该DLT)，基于SDC模式来执行编码。
当相似度小于参考值时，编码设备101可不基于SDC模式对深度图像的编码单元进行处理。类似地，当相似度小于参考值时，解码设备102可不基于SDC模式对深度图像的编码单元进行处理。
当通过当前帧的DLT和SPS中记录的DLT之间的比较确定当前帧的DLT和SPS中记录的DLT之间的相似度等于或大于参考值时，dlt_enable_flag可以是“1”，并且编码设备101或解码设备102可基于SDC模式对编码单元进行处理。相反，当通过当前帧的DLT和SPS中记录的DLT之间的比较确定当前帧的DLT和SPS中记录的DLT之间的相似度小于参考值时，dlt_enable_flag可以是“0”，并且编码设备101或解码设备102可不基于SDC模式对编码单元进行处理。
图9是示出根据实施例的在条带头中的DLT的示例的示图。
可针对每个帧产生图8的DLT，并且图8的DLT可被记录在条带头中而不是SPS中。
图10是示出根据实施例的在条带头中的DLT的另一示例的示图。
在图10中，DLT可被记录在SPS和条带头两者中。当通过与帧关联的DLT和SPS中记录的DLT之间的比较确定与帧关联的DLT和SPS中记录的DLT之间的相似度等于或大于参考值时，与帧关联的DLT可被记录在SPS中，而不是条带头中。
换句话说，当通过当前帧的DLT和SPS中记录的DLT之间的比较确定当前帧的DLT和SPS中记录的DLT之间的相似度等于或大于参考值时，dlt_enable_flag可以是“1”，并且SPS中记录的DLT可被使用。相反，当相似度被确定为小于参考值时，dlt_enable_flag可以是“0”，并且SPS中记录的DLT可不被使用。
可使用硬件组件、软件组件和/或它们的组合来实现这里描述的单元。可使用一个或更多个通用计算机或专用计算机(诸如，例如处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微计算机、场可编程阵列(FPA)、可编程逻辑单元(PLU)、微处理器或能够按照限定方式响应并执行指令的任何其它装置)来实现单元和组件。处理装置可运行操作系数(OS)以及在OS上运行的一个或更多个软件应用。处理装置还可响应于软件的执行来访问、存储、操作、处理和创建数据。为了简化的目的，对处理装置的描述使用单数形式，然而本领域的技术人员将理解，处理装置可包括多个处理元件以及多种类型的处理元件。例如，处理装置可包括多个处理器或者单个处理器和控制器。此外，不同的处理配置是可能的，诸如并行处理器。
软件可包括计算机程序、一段代码、指令或它们的部分组合，以独立地或共同地指示或配置处理装置按照所期望地进行操作。软件和/或数据可被永久地或临时地实现在任何类型的机器、组件、物理或虚拟设备、计算器存储介质或装置中，或者被实现在能够将指示或数据提供给处理装置或能够由处理装置解释的传播信号波中。软件还可被分布在联网的计算机系统上，使得软件以分布式方式被存储和执行。可由一个或更多个非暂时性计算机可读记录介质来存储软件和数据。
根据上述实施例的方法可被记录在非暂时性计算机可读介质中，其中，非暂时性计算机可读介质包括用于实现由计算机执行的各种操作的程序指令。该介质还可单独地包括数据文件、数据结构等或与程序指令组合地包括数据文件、数据结构等。记录在介质上的程序指令可以是那些专门为实施例的目的而设计和构造的程序指令，或者程序指令可以是对于计算机软件领域的技术人员来说公知并可用的程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD ROM盘和DVD)、磁光介质(诸如光盘)、以及专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。程序指令的示例包括机器代码(诸如由编译器产生的)和包含可由计算机使用解释器执行的高级代码的文件两者。描述的硬件装置可被配置为用作一个或更多个软件模块以执行上述实施例的操作，或反之亦然。
虽然在上面以及附图中描述了各个实施例，但是应该理解它们仅作为示例被呈现，并不作为限制。应该理解，可由本领域的普通技术人员进行各种修改。例如，如果以不同的顺序执行描述的技术，并且/或如果描述的系统、构造、装置或电路中的组件以不同的方式组合和/或由其它组件或它们的等同物来代替或补充，可达到适当的结果。因此，其它实现方式在权利要求的范围内。

Claims (20)

1.一种对深度图像进行编码的方法，所述方法包括：
在简化深度编码(SDC)模式下对深度图像的编码单元进行编码；
产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，
其中，SDC模式包括平面模式或深度建模模式1(DMM1)。
2.如权利要求1所述的方法，其中，编码步骤包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC模式，对编码单元进行编码。
3.如权利要求1所述的方法，其中，编码单元的残差信息基于针对深度图像的每个帧产生的深度查找表(DLT)被映射到索引。
4.一种对深度图像进行编码的方法，所述方法包括：
基于简化深度编码(SDC)模式来对深度图像的编码单元进行编码；
产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，
其中，SDC模式包括深度编码(DC)模式、平面模式或深度建模模式1(DMM1)。
5.如权利要求4所述的方法，其中，编码步骤包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC模式，对编码单元进行编码。
6.如权利要求4所述的方法，其中，编码单元的残差信息基于针对深度图像的每个帧产生的深度查找表(DLT)被映射到索引。
7.一种对深度图像进行解码的方法，所述方法包括：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括平面模式或深度建模模式1(DMM1)。
8.如权利要求7所述的方法，其中，平面模式是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
9.如权利要求7所述的方法，其中，DMM1是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样点和右下样点得到的。
10.一种对深度图像进行解码的方法，所述方法包括：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括深度编码(DC)模式、平面模式或深度建模模式1(DMM1)。
11.如权利要求10所述的方法，其中，平面模式是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
12.如权利要求10所述的方法，其中，DMM1是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样点和右下样点得到的。
13.一种对深度图像进行解码的方法，所述方法包括：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括平面模式、深度建模模式1(DMM1)和深度建模模式2(DMM2)，
其中，深度编码(DC)模式未包括在SDC模式中。
14.一种对深度图像进行解码的方法，所述方法包括：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括平面模式和深度建模模式1(DMM1)，
其中，深度编码(DC)模式和深度建模模式2(DMM2)未包括在SDC模式中。
15.一种用于对深度图像进行编码的设备，所述设备包括处理器，
其中，处理器执行以下操作：
基于简化深度编码(SDC)模式来对深度图像的编码单元进行编码；
产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，
其中，SDC模式包括平面模式或深度建模模式1(DMM1)。
16.一种用于对深度图像进行编码的设备，所述设备包括处理器，
其中，处理器执行以下操作：
基于简化深度编码(SDC)模式来对深度图像的编码单元进行编码；
产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，
其中，SDC模式包括深度编码(DC)模式、平面模式或深度建模模式1(DMM1)。
17.一种用于对深度图像进行解码的设备，所述设备包括处理器，
其中，处理器执行以下操作：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括平面模式或深度建模模式1(DMM1)。
18.一种用于对深度图像进行解码的设备，所述设备包括处理器，
其中，处理器执行以下操作：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括深度编码(DC)模式、平面模式或深度建模模式1(DMM1)。
19.一种用于对深度图像进行解码的设备，所述设备包括处理器，
其中，处理器执行以下操作：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括平面模式、深度建模模式1(DMM1)和深度建模模式2(DMM2)，
其中，深度编码(DC)模式未包括在SDC模式中。
20.一种用于对深度图像进行解码的设备，所述设备包括处理器，
其中，处理器执行以下操作：
确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码(SDC)模式；
基于SDC模式对编码单元进行解码，
其中，SDC模式包括平面模式和深度建模模式1(DMM1)，
其中，深度编码(DC)模式和深度建模模式2(DMM2)未包括在SDC模式中。
CN201480004107.1A 2013-01-04 2014-01-03 用于深度图像的编码、解码设备以及编码、解码方法 Expired - Fee Related CN104904220B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361748886P 2013-01-04 2013-01-04
US61/748,886 2013-01-04
KR10-2013-0168877 2013-12-31
KR1020130168877A KR102216585B1 (ko) 2013-01-04 2013-12-31 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
PCT/KR2014/000035 WO2014107038A1 (ko) 2013-01-04 2014-01-03 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법

Publications (2)

Publication Number Publication Date
CN104904220A true CN104904220A (zh) 2015-09-09
CN104904220B CN104904220B (zh) 2019-09-06

Family

ID=51737573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004107.1A Expired - Fee Related CN104904220B (zh) 2013-01-04 2014-01-03 用于深度图像的编码、解码设备以及编码、解码方法

Country Status (3)

Country Link
US (1) US10631006B2 (zh)
KR (1) KR102216585B1 (zh)
CN (1) CN104904220B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702478A (zh) * 2016-02-22 2018-10-23 索尼公司 文件生成装置、文件生成方法、再现装置和再现方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
WO2014166338A1 (en) * 2013-04-11 2014-10-16 Mediatek Inc. Method and apparatus for prediction value derivation in intra coding
US9497485B2 (en) * 2013-04-12 2016-11-15 Intel Corporation Coding unit size dependent simplified depth coding for 3D video coding
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
US10129542B2 (en) * 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN103826115B (zh) * 2014-03-21 2016-03-02 华为技术有限公司 图像分割方式的编解码处理方法和装置
KR101936663B1 (ko) * 2014-06-26 2019-01-09 후아웨이 테크놀러지 컴퍼니 리미티드 고효율 비디오 코딩 중 계산 부하의 경감 방법 및 장치
CN108134940B (zh) * 2018-01-22 2019-11-08 合肥工业大学 应用于视频编码中深度图像帧内预测的编码电路及方法
US11153550B2 (en) * 2018-04-06 2021-10-19 Disney Enterprises, Inc. Depth codec for real-time, high-quality light field reconstruction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926417A (zh) * 2004-03-01 2007-03-07 亚蒂亚成像有限公司 产生含有深度信息的图像的方法和设备
US20080117289A1 (en) * 2004-08-06 2008-05-22 Schowengerdt Brian T Variable Fixation Viewing Distance Scanned Light Displays
CN102790892A (zh) * 2012-07-05 2012-11-21 清华大学 深度图编码方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100006304A (ko) 2008-07-09 2010-01-19 주식회사 브리지텍 비밀번호 보호 장치 및 그 방법
KR20110054244A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR20120000485A (ko) 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
KR20120083200A (ko) 2011-01-17 2012-07-25 삼성전자주식회사 깊이 영상 부호화/복호화 장치 및 방법
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding
EP2898697A4 (en) * 2012-09-24 2016-10-19 Qualcomm Inc CODING DEPTH CARD
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926417A (zh) * 2004-03-01 2007-03-07 亚蒂亚成像有限公司 产生含有深度信息的图像的方法和设备
US20080117289A1 (en) * 2004-08-06 2008-05-22 Schowengerdt Brian T Variable Fixation Viewing Distance Scanned Light Displays
CN102790892A (zh) * 2012-07-05 2012-11-21 清华大学 深度图编码方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FABIAN J¨AGER: "SIMPLIFIED DEPTH MAP INTRA CODING WITH AN OPTIONAL DEPTH LOOKUP TABLE", 《2012 INTERNATIONAL CONFERENCE ON 3D IMAGING(IC3D)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702478A (zh) * 2016-02-22 2018-10-23 索尼公司 文件生成装置、文件生成方法、再现装置和再现方法
CN108702478B (zh) * 2016-02-22 2021-07-16 索尼公司 文件生成装置、文件生成方法、再现装置和再现方法

Also Published As

Publication number Publication date
US10631006B2 (en) 2020-04-21
KR20140089476A (ko) 2014-07-15
CN104904220B (zh) 2019-09-06
US20150350677A1 (en) 2015-12-03
KR102216585B1 (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
CN104904220A (zh) 用于深度图像的编码设备和解码设备以及编码方法和解码方法
US11438591B2 (en) Video coding method and apparatus
KR102454971B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
US10148947B2 (en) Method and device for determining parameters for encoding or decoding of an image of a video sequence
KR101798280B1 (ko) 오류 내성을 향상시킨 비디오 인코딩 및 디코딩
US11756233B2 (en) Method for image processing and apparatus for implementing the same
US9171376B2 (en) Apparatus and method for motion estimation of three dimension video
EP3709644A1 (en) Method for image processing and apparatus for implementing the same
EP4099699A1 (en) Image encoding method and apparatus, and image decoding method and apparatus
US9349192B2 (en) Method and apparatus for processing video signal
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
KR20100066304A (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR102459789B1 (ko) 서브픽셀 움직임 벡터 정교화를 수반한 비디오 데이터를 인코딩 또는 디코딩하기 위한 방법 및 장치
US10356402B2 (en) Video encoding device and video decoding device
KR20180021101A (ko) 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN105075268A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN104904209A (zh) 视频信号处理方法和设备
CN110024397A (zh) 用于编码视频的方法和装置
CN109996083B (zh) 帧内预测方法及装置
KR20130037843A (ko) 예측 픽셀 생성 장치 및 그 동작 방법
KR20180054693A (ko) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
KR20210036328A (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
CN118044203A (zh) 特征编码/解码方法和装置以及存储比特流的记录介质
CN117478895A (zh) 数据处理方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190906

Termination date: 20220103

CF01 Termination of patent right due to non-payment of annual fee