CN110662040A - 基于可重构阵列处理器的深度图cu快速划分方法 - Google Patents

基于可重构阵列处理器的深度图cu快速划分方法 Download PDF

Info

Publication number
CN110662040A
CN110662040A CN201911046796.3A CN201911046796A CN110662040A CN 110662040 A CN110662040 A CN 110662040A CN 201911046796 A CN201911046796 A CN 201911046796A CN 110662040 A CN110662040 A CN 110662040A
Authority
CN
China
Prior art keywords
depth map
depth
map
information
parent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911046796.3A
Other languages
English (en)
Other versions
CN110662040B (zh
Inventor
朱筠
王萍
蒋林
谢晓燕
胡传瞻
杨坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201911046796.3A priority Critical patent/CN110662040B/zh
Publication of CN110662040A publication Critical patent/CN110662040A/zh
Application granted granted Critical
Publication of CN110662040B publication Critical patent/CN110662040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及一种基于可重构阵列处理器的深度图CU快速划分方法，旨在为了解决现有方法中深度图CU划分过程复杂，划分计算时间长的问题。本发明方法针对待处理的视频图像中每一视频帧包括深度图和纹理图时，当前视频帧中纹理图已经进行了CU的划分，则根据纹理图的CU划分信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息；并在可重构阵列处理器进行纹理图的CU划分和深度图的CU划分处理。本发明充分利用了纹理图与深度图之间的相关性，从而降低了深度图CU划分过程复杂度，缩短了深度图CU的划分时间，提高了三维视频图像中深度图编码效率。

Description

基于可重构阵列处理器的深度图CU快速划分方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于可重构阵列处理器的深度图CU快速划分方法。
背景技术
随着多媒体技术的发展，人们对视频的要求越来越高，不仅要求高清晰度，而且也在向3D立体视频方向发展。三维高效视频编码(3D-HEVC)是高效视频编码用于3D视频编码的扩展，对深度映射图像的帧内编码既使用了HEVC中的帧内预测模式，又加入了深度模型模式，但这极大地增加了计算的复杂度和编码时间。近年来，许多学者也在这方面做了研究，MárioSaldanha等人，提出了一种用于3D-HEVC中深度图编码的块级快速编码方案，利用了相关纹理编码单元(CU)的信息加速编码深度图编码单元，主要针对SKIP模式编码时，当跳过模式对纹理编码单元进行编码时，当前深度映射编码单元被跳过的概率很高，该方案使编码时间缩短了26.9％，编码效率损失小于0.3％。Panz等人提出了一种根据深度视频与其对应的纹理视频、运动预测和编码块模式之间的模式相关性的快速的模式决策算法，来减少多视点深度视频编码的计算复杂性，该算法针对奇偶视图使编码时间分别缩短67.18％和69.90％。zhangQ等人提出了一种基于纹理视频和深度图相关的三维高效编码算法，利用纹理视频的编码信息和深度图属性来预测当前的CU预测模式，平均可节省75％的计算复杂度。
现有的方法没有充分利用纹理图与深度图之间的相关性及深度图具有大部分平坦区域的特性，导致深度图CU划分过程复杂，划分计算时间长。
发明内容
(一)要解决的技术问题
为了解决现有技术中的深度图编码单元划分过程复杂，划分计算时间长的问题，本发明提出了一种基于可重构阵列处理器的深度图CU快速划分方法。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
一种基于可重构阵列处理器的深度图CU快速划分方法，包括：
针对待处理的视频图像中每一视频帧包括深度图和纹理图时，当前视频帧中纹理图已经进行了CU的划分，则根据所述纹理图的CU划分信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息；
其中，所述纹理图的CU划分和所述深度图的CU划分均是在可重构阵列处理器进行处理的。
作为本发明方法的一种改进，根据所述纹理图的CU划分的信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息，包括：
若所述纹理图当前块的CU划分信息为CU尺寸为64×64，深度为0，则深度图相应块的CU划分信息为CU尺寸为64×64，深度为0；
和/或，若所述纹理图当前块的CU划分信息为CU尺寸为32×32，深度为1，则深度图划分到深度为1的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前帧中深度图相应块的CU划分信息；
和/或，若所述纹理图当前块的CU划分信息为CU尺寸为16×16，深度为2，则深度图划分到深度为2的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息；当CU划分信息为子CU划分信息时，将子CU的划分信息作为当前帧中深度图当前块的CU划分信息；否则将父CU作为深度图当前块CU，重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图相应块的CU划分信息；
和/或，所述纹理图当前块的CU划分信息为CU尺寸为8×8，深度为3，则深度图划分到深度为3的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息；当CU划分信息为子CU划分信息时，将子CU的划分信息作为当前帧中深度图当前块的CU划分信息；否则将父CU作为深度图当前块CU，重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图相应块的CU划分信息。
作为本发明方法的一种改进，所述深度图当前块CU所属父CU的参数信息，包括：该父CU的率失真代价RD-Cost；
每一个子CU的参数信息，包括：子CU的率失真代价RD-Cost；
其中，RD-Cost＝SAD+λR
R表示对当前尺寸的CU进行编码得到的码率，SAD表示绝对误差和，即对应像素点的差的绝对值之和，λ为拉格朗日因子。
作为本发明方法的一种改进，“根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息”，其方法包括：
比较深度图当前块CU所属父CU的参数信息和该父CU对应的所有子CU的参数信息；
若父CU的率失真代价大于等于该父CU对应的所有子CU的率失真代价之和，则当前块CU划分信息包括：子CU对应的CU尺寸和深度；
若父CU的率失真代价小于该父CU对应的所有子CU的率失真代价之和，则当前块CU划分信息包括：父CU对应的CU尺寸和深度。
作为本发明方法的一种改进，可重构阵列处理器包括：n×n个处理元簇，每一个处理元簇中包括：m×m个处理元PE；DIM存储器和DOM存储器；
用于处理深度图CU的处理元簇内的第一个处理元PE00连接DIM存储器，用于从DIM存储器中获取待处理的深度图像素信息；以及获取深度图CU对应的纹理图的CU划分信息；
用于处理深度图CU的处理元簇内的最后一个处理元PEmm连接DOM存储器，用于从DOM存储器中获取待处理的深度图所属视频帧的前一帧的深度图像素值；
所属第一个处理元PE00和最后一个处理元PEmm均与该处理元簇内所有的处理元连接，用于向其他处理元通过握手信号获取深度图的CU划分信息所需要的数据。
作为本发明方法的一种改进，若所述用于处理深度图CU的处理元簇为PEG01，且PEG01处理元簇包括：4×4个处理元PE；
则，PE00用于向除PE33和PE32之外的其他PE下发待处理的深度图像素信息和所述纹理图的CU划分信息；
PE33用于向除PE00和PE32之外的其他PE下发待处理的深度图所属视频帧的前一帧的深度图像素信息；
PE00给除PE32和PE33之外的其他处理元PE同时下发握手信号，只有不小于纹理图当前块CU尺寸的PE可以握手成功，成功握手的PE根据接收的像素信息和CU划分信息，同步计算对应的率失真代价值；
深度图CU的快速划分方法并行化映射在PEG01簇内实现，纹理图CU的划分在所述PEG01的相邻簇PEG00中完成。
作为本发明方法的一种改进，所述PEG01处理元簇内每个处理元PE均包括：16个寄存器、其中12个寄存器为本地寄存器，4个寄存器为共享寄存器；所述本地寄存器用于PE内部读、写数据的存取，所述共享寄存器用于与相邻的PE通过邻接互连进行数据交换。
作为本发明方法的一种改进，PE00用于向除PE32和PE33之外其他PE下发待处理的深度图像素信息和所述纹理图的CU划分信息，包括：
PE00给各处理元PE同时下发握手信号，只有不小于纹理图当前块CU尺寸的PE可以握手成功，成功握手的PE同步计算对应的RD-Cost值；其中，各处理元PE配置为根据预先设置的配置信息，计算不同CU尺寸的RD-Cost值。
本发明第二方面提出了一种可重构阵列处理器，包括多个处理元簇和DIM存储器、DOM存储器；
其中，所述可重构阵列处理器执行上述的方法。
(三)有益效果
本发明的有益效果是：本发明充分利用了纹理图与深度图之间的相关性以及深度图的图像特征，在编码过程中基于纹理图的编码信息优化了深度图CU的划分过程，将纹理图的CU划分和深度图的CU划分在可重构阵列处理器进行处理，从而降低了深度图编码单元划分过程复杂度，缩短了深度图编码单元的划分时间，提高了三维视频图像中深度图编码效率。
附图说明
本发明借助于以下附图进行描述：
图1为标准编码单元划分模式示意图；
图2为本发明具体实施方式中深度图编码单元的划分方法流程示意图；
图3为本发明具体实施方式中的可重构阵列处理器上的划分方法的并行映射示意图；
图4为本发明具体实施方式中的PE包含的寄存器结构示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了便于理解本发明，以下先对标准编码单元(CU)划分模式进行说明。
标准编码单元(CU)划分模式选择具体步骤如图1所示：将编码树单元(CTU)CTU3作为CU，计算其最小率失真代价值；对CU进行四叉树划分，计算每个子CU的最小率失真代价，并对该CU内所有子CU的最小率失真代价求和，得到该CU的率失真代价；为每个子CU作为CU重复上述步骤过程，直到CU块大小为8×8为止；选取最优率失真代价对应的编码深度为最终CU编码深度。对其他的编码树单元CTU1、CTU2、CTU4重复上述过程，直至完成图像的编码单元划分。图1中数字表示编码单元的大小，也就是编码单元每行和每列分别包含多少个像素点。
本发明对标准的CU划分模式判别过程进行了优化，充分利用已编码的纹理信息作为深度图编码单元划分的一个限制，提出了一种基于可重构阵列处理器的深度图CU快速划分方法，包括：
针对待处理的视频图像中每一视频帧包括深度图和纹理图时，当前视频帧中纹理图已经进行了CU的划分，则根据纹理图的CU划分信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息；
其中，纹理图的CU划分和深度图的CU划分均是在可重构阵列处理器进行处理的。
根据所述CU划分的信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息，如图2所示，包括：
若纹理图当前块的CU划分信息为CU尺寸为64×64，深度为0，则深度图相应块的CU划分信息为CU尺寸为64×64，深度为0。
若纹理图当前块的CU划分信息为CU尺寸为32×32，深度为1，则深度图划分到深度为1的CU层，根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前帧中深度图的CU划分信息，具体为：当纹理图当前块编码过程中CU尺寸为32×32，深度图CU只需要划分到深度为1的CU层，即一个64×64的CU划分成4个32×32的CU，并比较4个子CU与父CU的率失真代价，若父CU的率失真代价大于等于该父CU对应的所有子CU的率失真代价之和，则当前帧中深度图的当前块的CU划分信息为CU尺寸为32×32，深度为1；若父CU的率失真代价小于该父CU对应的所有子CU的率失真代价之和，则当前帧中深度图的当前块的CU划分信息为CU尺寸为64×64，深度为0。
若纹理图当前块的CU划分信息为CU尺寸为16×16，深度为2，则深度图划分到深度为2的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息；当CU划分信息为子CU划分信息时，将子CU的划分信息作为当前帧中深度图当前块的CU划分信息；否则将父CU作为深度图当前块CU，重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图相应块的CU划分信息。本实施例中参数信息为率失真代价值，因此在本实施例中若父CU的率失真代价大于等于该父CU对应的所有子CU的率失真代价之和，则当前帧中深度图的当前块的CU划分信息为CU尺寸为16×16，深度为2；若父CU的率失真代价小于该父CU对应的所有子CU的率失真代价之和，则重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图的相应块的CU划分信息。
具体为，当纹理图当前块编码过程中CU尺寸为16×16，深度图CU划分到深度为2的CU层，即划分到16×16大小的CU层，然后从16×16大小的深度图当前块CU开始，比较4个子CU与父CU的率失真代价，如果父CU的率失真代价小于4个子CU的率失真代价值之和，则划分深度为1；否则划分深度为2。当划分深度为1时，继续比较4个32×32子CU与父CU的率失真代价，如果父CU的率失真代价小于4个子CU的率失真代价值之和，则划分深度为0；否则划分深度为1。
若纹理图当前块的CU划分信息为CU尺寸为8×8，深度为3，则深度图划分到深度为3的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息；当CU划分信息为子CU划分信息时，将子CU的划分信息作为当前帧中深度图当前块的CU划分信息；否则将父CU作为深度图当前块CU，重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图相应块的CU划分信息；此过程与纹理图的CU划分信息为当前块CU尺寸为16×16的过程相近，不再展开描述。
编码单元率失真代价值(RD-Cost)计算方法如公式(1)所示。
RD-Cost＝SAD+λR(1)
其中，R表示对当前尺寸的CU进行编码得到的码率，SAD表示绝对误差和(sumofAbsoluteTransformed)，即对应像素点的误差的绝对值之和，λ表示拉格朗日因子。
将可重构阵列处理器作为本发明方法使用的并行处理器，如图3所示，举一具体实例如下。
可重构的阵列处理器包括32×32个处理元(PE)，4×4个PE划分成一个处理元簇(PEG)；还包括外部存储器DIM存储器和DOM存储器。
在可重构阵列处理器上进行深度图CU划分映射，如图3所示。深度图CU划分算法并行化映射在PEG01簇内实现。PE00通过邻接互连从DIM存储器中获得深度图当前帧的像素值，以及获取深度图CU对应的纹理图的CU划分信息；PE32将得到的最优的划分深度输出，PE33通过路由从DOM存储器中获得当前帧对应的前一帧的深度图像素值，深度图像素信息用于在视频编码中作为参考值来编码当前帧深度图的像素值；PE01用于计算64×64大小的CU的RD-Cost值；PE02、PE03、PE12、PE13用于同时计算32×32大小的CU的RD-Cost值；PE10、PE11、PE20、PE21用于同时计算16×16大小的CU的RD-Cost值；PE22、PE23、PE30、PE31用于同时计算8×8大小的CU的RD-Cost值。第一个处理元PE00和最后一个处理元PE33均与该处理元簇内所有的处理元连接，用于向其他处理元通过握手信号获取深度图的CU划分信息所需要的数据。
簇内的每个PE均包含16个寄存器，其中12个为本地寄存器，4个为共享寄存器。PE内的指令存储位宽为30bit，数据存储位宽为16bit，都可以存储512个数据。16个寄存器都是用于存取处理器操作过程中的数据，12个本地寄存器主要用于对PE内部的数据进行存、取操作，而4个共享寄存器主要用来与相邻的PE通过邻接互连进行数据交换。图4所示为PE包含的寄存器结构示意图。其中，每个PE有16个寄存器，8、9、10、11为共享寄存器，主要用来与相邻的PE通过邻接互连进行数据交换；0、1、2、3、4、5、6、7、12、13、14、15为本地寄存器，主要用于暂存PE内部操作所需要和产生的数据。实线箭头表示模式1，虚线箭头表示模式2。模式1是将数据从本地寄存器3和6直接发送到相邻处理单元的执行单元作为数据源操作。模式2是本地PE的数据通过共享寄存器8和11传输到相邻的寄存器4和5，最后传输来自相应寄存器的数据，然后进行后续处理。邻接互连传数速度快，所以在相邻PE数据传输过程中，都是直接通过邻接互连进行数据传输，从而进一步提高阵列处理器数据处理的性能。
PE00获得对应纹理图的CU划分标签(64×64的标签6464，32×32的标签3232，16×16的标签1616，8×8的标签888)，根据划分标签，进行对应的深度图CU划分。其中，纹理图CU划分已在相邻簇PEG00中完成。
具体映射过程如下：PE00和PE33同时向PE01-PE31按对应块大小并行下发原始数据和参考数据，数据下发完成后，PE00按照接收到纹理簇传来的标签，给各PE同时下发握手信号，只有块大小不大于纹理块大小的PE可以握手成功，成功握手的PE同步计算对应的RD-Cost值。然后，按照CU划分快速算法，比较4个子CU和其父CU的RD-Cost值，得到最优的划分深度，将结果传给PE32并输出。
当标签为6464时，表明纹理图编码时CU没有划分，深度图CU块大小为64×64，可判断当前深度图编码时CU不需要划分，则当前深度图CU划分深度为0，将结果传给PE32并输出。
当接收到标签为3232时，同时给PE01，PE02，PE03，PE12和PE13传输握手信号3232，收到握手信号后，PE01，PE02，PE03，PE12和PE13同时根据公式(1)计算RD-Cost值，将所得的RD-Cost值通过共享寄存器保存到PE00的500、501、502、503和504号地址。然后，比较中父CURD-Cost值与501-504中4个子CURD-Cost值的和，取值较小的RD-Cost值对应的CU划分深度为当前深度图CU划分深度，将结果传给PE32并输出。
当接收到标签为1616时，同时给PE01、PE02、PE03、PE10、PE11、PE12、PE13、PE20和PE21传输握手信号1616，收到握手信号后，PE01、PE02、PE03、PE10、PE11、PE12、PE13、PE20和PE21同时根据公式(1)计算RD-Cost值，将PE10、PE11、PE12、PE20和PE21所得的RD-Cost值通过共享寄存器保存到PE12的500、501、502、503和504号地址；将PE01、PE02、PE03、PE12和PE13所得的RD-Cost值通过共享寄存器保存到PE00的500、501、502、503和504号地址。然后比较PE12的500地址中父CURD-Cost值与501-504中4个子CURD-Cost值的和，当子CU的RD-Cost值较小时，则深度图当前CU块划分深度为2，将结果传给PE32并输出。否则，将继续比较PE00的500地址中父CURD-Cost值与501-504中4个子CURD-Cost值的和，当子CU的RD-Cost值较小时，则深度图当前CU块划分深度为1，否则为0，将结果传给PE32并输出。
该方案利用可重构阵列处理器并行计算的特点，利用该特点计算同层CU的RD-Cost值，减少RD-Cost值计算时间；PE02，PE03，PE12，PE13，同时计算32×32大小的CU的RD-Cost值；PE10，PE11，PE20，PE21，同时计算16×16大小的CU的RD-Cost值；PE22，PE23，PE30，PE31，同时计算8×8大小的CU的RD-Cost值；从而可减少深度图整体编码时间。
针对视频处理中的并行性，采用可重构阵列处理器同步并行处理多个操作，减少了编码时间。可以想见，采用其他的并行处理器也能够实现同样的效果，此处不再一一列举。
需要理解的是，以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。

Claims (9)

1.一种基于可重构阵列处理器的深度图CU快速划分方法，其特征在于，包括：
针对待处理的视频图像中每一视频帧包括深度图和纹理图时，当前视频帧中纹理图已经进行了CU的划分，则根据所述纹理图的CU划分信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息；
其中，所述纹理图的CU划分和所述深度图的CU划分均是在可重构阵列处理器进行处理的。
2.根据权利要求1所述的方法，其特征在于，根据所述纹理图的CU划分的信息和纹理图与深度图划分逻辑关系，获取当前帧中深度图的CU划分信息，包括：
若所述纹理图当前块的CU划分信息为CU尺寸为64×64，深度为0，则深度图相应块的CU划分信息为CU尺寸为64×64，深度为0；
和/或，若所述纹理图当前块的CU划分信息为CU尺寸为32×32，深度为1，则深度图划分到深度为1的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前帧中深度图相应块的CU划分信息；
和/或，若所述纹理图当前块的CU划分信息为CU尺寸为16×16，深度为2，则深度图划分到深度为2的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息；当CU划分信息为子CU划分信息时，将子CU的划分信息作为当前帧中深度图当前块的CU划分信息；否则将父CU作为深度图当前块CU，重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图相应块的CU划分信息；
和/或，所述纹理图当前块的CU划分信息为CU尺寸为8×8，深度为3，则深度图划分到深度为3的CU层；根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息；当CU划分信息为子CU划分信息时，将子CU的划分信息作为当前帧中深度图当前块的CU划分信息；否则将父CU作为深度图当前块CU，重复上述步骤直至CU尺寸64×64，将CU尺寸为64×64，深度为0作为当前帧中深度图相应块的CU划分信息。
3.根据权利要求2所述的方法，其特征在于，所述深度图当前块CU所属父CU的参数信息，包括：该父CU的率失真代价RD-Cost；
每一个子CU的参数信息，包括：子CU的率失真代价RD-Cost；
其中，RD-Cost＝SAD+λR
R表示对当前尺寸的CU进行编码得到的码率，SAD表示绝对误差和，即对应像素点的差的绝对值之和，λ为拉格朗日因子。
4.根据权利要求3所述的方法，其特征在于，“根据深度图当前块CU所属父CU的参数信息，和该父CU对应的所有子CU的参数信息，获取当前块CU划分信息”，其方法包括：
比较深度图当前块CU所属父CU的参数信息和该父CU对应的所有子CU的参数信息；
若父CU的率失真代价大于等于该父CU对应的所有子CU的率失真代价之和，则当前块CU划分信息包括：子CU对应的CU尺寸和深度；
若父CU的率失真代价小于该父CU对应的所有子CU的率失真代价之和，则当前块CU划分信息包括：父CU对应的CU尺寸和深度。
5.根据权利要求3所述的方法，其特征在于，可重构阵列处理器包括：n×n个处理元簇，每一个处理元簇中包括：m×m个处理元PE；DIM存储器和DOM存储器；
用于处理深度图CU的处理元簇内的第一个处理元PE00连接DIM存储器，用于从DIM存储器中获取待处理的深度图像素信息；以及获取深度图CU对应的纹理图的CU划分信息；
用于处理深度图CU的处理元簇内的最后一个处理元PEmm连接DOM存储器，用于从DOM存储器中获取待处理的深度图所属视频帧的前一帧的深度图像素值；
所属第一个处理元PE00和最后一个处理元PEmm均与该处理元簇内所有的处理元连接，用于向其他处理元通过握手信号获取深度图的CU划分信息所需要的数据。
6.根据权利要求5所述的方法，其特征在于，若所述用于处理深度图CU的处理元簇为PEG01，且PEG01处理元簇包括：4×4个处理元PE；
则，PE00用于向除PE33和PE32之外的其他PE下发待处理的深度图像素信息和所述纹理图的CU划分信息；
PE33用于向除PE00和PE32之外的其他PE下发待处理的深度图所属视频帧的前一帧的深度图像素信息；
PE00给除PE32和PE33之外的其他处理元PE同时下发握手信号，只有不小于纹理图当前块CU尺寸的PE可以握手成功，成功握手的PE根据接收的像素信息和CU划分信息，同步计算对应的率失真代价值；
深度图CU的快速划分方法并行化映射在PEG01簇内实现，纹理图CU的划分在所述PEG01的相邻簇PEG00中完成。
7.根据权利要求6所述的方法，其特征在于，所述PEG01处理元簇内每个处理元PE均包括：16个寄存器、其中12个寄存器为本地寄存器，4个寄存器为共享寄存器；所述本地寄存器用于PE内部读、写数据的存取，所述共享寄存器用于与相邻的PE通过邻接互连进行数据交换。
8.根据权利要求6所述的方法，其特征在于，PE00用于向除PE32和PE33之外其他PE下发待处理的深度图像素信息和所述纹理图的CU划分信息，包括：
PE00给各处理元PE同时下发握手信号，只有不小于纹理图当前块CU尺寸的PE可以握手成功，成功握手的PE同步计算对应的RD-Cost值；其中，各处理元PE配置为根据预先设置的配置信息，计算不同CU尺寸的RD-Cost值。
9.一种可重构阵列处理器，其特征在于，包括多个处理元簇和DIM存储器、DOM存储器；
其中，所述可重构阵列处理器执行上述权利要求1至9任一所述的方法。
CN201911046796.3A 2019-10-30 2019-10-30 基于可重构阵列处理器的深度图cu快速划分方法 Active CN110662040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046796.3A CN110662040B (zh) 2019-10-30 2019-10-30 基于可重构阵列处理器的深度图cu快速划分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046796.3A CN110662040B (zh) 2019-10-30 2019-10-30 基于可重构阵列处理器的深度图cu快速划分方法

Publications (2)

Publication Number Publication Date
CN110662040A true CN110662040A (zh) 2020-01-07
CN110662040B CN110662040B (zh) 2022-02-18

Family

ID=69042349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046796.3A Active CN110662040B (zh) 2019-10-30 2019-10-30 基于可重构阵列处理器的深度图cu快速划分方法

Country Status (1)

Country Link
CN (1) CN110662040B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243131A (zh) * 2020-10-31 2021-01-19 西安邮电大学 基于可重构阵列处理器的先进残差预测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428499A (zh) * 2013-08-23 2013-12-04 清华大学深圳研究生院 编码单元的划分方法及使用该方法的多视点视频编码方法
CN103929650A (zh) * 2013-01-10 2014-07-16 乐金电子(中国)研究开发中心有限公司 一种深度编码单元编码方法、解码方法、编码器及解码器
CN104284194A (zh) * 2013-10-08 2015-01-14 联发科技（新加坡）私人有限公司 利用视图合成预测编码或解码三维或多视图视频的方法以及装置
CN104427346A (zh) * 2013-09-02 2015-03-18 数码士控股有限公司 用于预测三维视频中的深度四叉树的方法和装置
CN104935940A (zh) * 2014-03-17 2015-09-23 联发科技股份有限公司 基于深度的块分割的信号传递方法
US20160029040A1 (en) * 2012-10-04 2016-01-28 Intel Corporation Prediction parameter inheritance for 3d video coding
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法
CN108600759A (zh) * 2018-04-16 2018-09-28 北京工业大学 基于非均衡四叉树的3d-hevc快速转码方法
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160029040A1 (en) * 2012-10-04 2016-01-28 Intel Corporation Prediction parameter inheritance for 3d video coding
CN103929650A (zh) * 2013-01-10 2014-07-16 乐金电子(中国)研究开发中心有限公司 一种深度编码单元编码方法、解码方法、编码器及解码器
CN103428499A (zh) * 2013-08-23 2013-12-04 清华大学深圳研究生院 编码单元的划分方法及使用该方法的多视点视频编码方法
CN104427346A (zh) * 2013-09-02 2015-03-18 数码士控股有限公司 用于预测三维视频中的深度四叉树的方法和装置
CN104284194A (zh) * 2013-10-08 2015-01-14 联发科技（新加坡）私人有限公司 利用视图合成预测编码或解码三维或多视图视频的方法以及装置
CN104935940A (zh) * 2014-03-17 2015-09-23 联发科技股份有限公司 基于深度的块分割的信号传递方法
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法
CN108600759A (zh) * 2018-04-16 2018-09-28 北京工业大学 基于非均衡四叉树的3d-hevc快速转码方法
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋林: "HEVC去方块滤波中滤波边界的确定与实现", 《西安邮电大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243131A (zh) * 2020-10-31 2021-01-19 西安邮电大学 基于可重构阵列处理器的先进残差预测方法

Also Published As

Publication number Publication date
CN110662040B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US11889113B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN111434112B (zh) 全局匹配patch的获取方法及装置
US10818069B2 (en) UV mapping and compression
CN110944187B (zh) 点云编码方法和编码器
CN114175100A (zh) 用于处理点云数据的方法和装置
EP4131975A1 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method
US20220321912A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN107396112A (zh) 一种编码方法及装置、计算机装置、可读存储介质
US20230290006A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230059625A1 (en) Transform-based image coding method and apparatus therefor
CN110650346B (zh) 一种3d-hevc深度图运动估计并行实现方法及结构
CN110662040B (zh) 基于可重构阵列处理器的深度图cu快速划分方法
US20220337872A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN113436057B (zh) 数据处理方法及双目立体匹配方法
CN114051730A (zh) 处理点云数据的设备和方法
CN113347417B (zh) 提高率失真优化计算效率的方法、装置、设备及存储介质
US11395004B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114915792B (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN114915793A (zh) 基于二维规则化平面投影的点云编解码方法及装置
CN102420989A (zh) 帧内预测方法和装置
CN114071138A (zh) 帧内预测编码方法、帧内预测编码装置和计算机可读介质
US10075716B2 (en) Parallel encoding of weight refinement in ASTC image processing encoders
CN112243131B (zh) 基于可重构阵列处理器的先进残差预测方法
US12003769B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN118037870B (zh) 一种兼容Zdepth的并行化深度图像压缩算法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant