CN112153382A - 动态3d点云压缩快速cu划分方法、设备及存储介质 - Google Patents

动态3d点云压缩快速cu划分方法、设备及存储介质 Download PDF

Info

Publication number
CN112153382A
CN112153382A CN202011256608.2A CN202011256608A CN112153382A CN 112153382 A CN112153382 A CN 112153382A CN 202011256608 A CN202011256608 A CN 202011256608A CN 112153382 A CN112153382 A CN 112153382A
Authority
CN
China
Prior art keywords
target coding
coding
target
point cloud
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011256608.2A
Other languages
English (en)
Other versions
CN112153382B (zh
Inventor
李跃
万亚平
杨高波
刘杰
屈爱平
陈灵娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhua University
University of South China
Original Assignee
Nanhua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhua University filed Critical Nanhua University
Publication of CN112153382A publication Critical patent/CN112153382A/zh
Application granted granted Critical
Publication of CN112153382B publication Critical patent/CN112153382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种动态3D点云压缩快速CU划分方法、设备及存储介质,包括:判断当前动态3D点云压缩编码帧是否为P帧;若是,则顺序提取需要压缩编码的目标编码CU,获取目标编码CU的预测失真并进行变换;当目标编码CU的宽度和高度为64,并满足第一预设条件;或者,当目标编码CU的宽度和高度为32,并满足第二预设条件;或者,当目标编码CU的宽度和高度为16,并满足第三预设条件,则停止对目标编码CU进行进一步划分。上述方法能够提前且准确地预测CTU中目标编码CU是否是最优编码,从而可以省略或者跳过递归划分方法的繁琐步骤,进而保证目标编码CU的编码质量,显著降低在对目标编码CU进行划分过程中的计算复杂度。

Description

动态3D点云压缩快速CU划分方法、设备及存储介质
技术领域
本发明涉及点云压缩技术领域,特别是涉及一种动态3D点云压缩快速CU划分方法、设备及存储介质。
背景技术
3D点云利用真实物理场景中的几何信息、颜色信息、表面法线等特征来重建逼真的数字三维场景,给人们提供任意角度的视觉体验。作为一种能够表示三维场景的数据形式,3D点云已经逐步应用于虚拟现实(Virtual Reality,VR)、智慧城市、机器人技术和自动驾驶等领域。3D点云主要包括静态点云和动态点云两种形式。以每秒30帧速率捕获的动态3D点云,每帧通常具有70万个点,传输未压缩的动态3D点云数据需要的网络传输速率高达500MB/s。显然,直接存储和传输动态3D点云数据,将占用巨大的存储空间和传输带宽。
为了有效的压缩动态3D点云,MPEG(Moving Picture Experts Group)正制定采用视频压缩的方法(High Efficiency Video Coding,HEVC)用于动态3D点云压缩,即基于视频的点云压缩(Video-based Point Cloud Compression,V-PCC)。由于在HEVC压缩编码过程中,一个编码树单元(Coding Tree Unit,CTU)为了获得最优编码单元(Coding Unit,CU)划分,首先将CTU(64x64)进行穷尽递归四叉树划分,直到最小CU为8x8,然后通过率失真优化技术从下向上进行CU裁剪,以获得最优CU划分。然而,这种穷尽划分策略虽然能提升压缩编码效率,但同时也带来了巨大压缩编码计算复杂度,严重阻碍了动态3D点云的实时传输。此外,由于动态3D点云映射生成的几何和颜色视频与自然视频存在非常大的差异,这会导致已提出的针对自然视频的HEVC快速CU划分方法不能很好地用于基于视频的动态3D点云压缩编码优化中。目前,针对这一问题,还没有较为有效的解决办法。因此,迫切需要发展动态3D点云压缩中的快速CU划分方法,以解决网络实时传输的问题,提升用户体验。
由此可见,如何降低基于视频的动态3D点云压缩过程中的CU划分计算复杂度,是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种动态3D点云压缩快速CU划分方法、设备及存储介质,可以降低CU划分过程中的计算复杂度。其具体方案如下:
一种动态3D点云压缩快速CU划分方法,包括:
在动态3D点云压缩帧内压缩编码配置中,判断当前动态3D点云压缩编码帧是否为P帧;
若是,则顺序提取需要压缩编码的目标编码CU,获取所述目标编码CU的预测失真并进行变换;
获取所述目标编码CU的宽度和高度;
若所述目标编码CU的宽度和高度为64,则根据所述目标编码CU的预测失真的变换值,判断所述目标编码CU是否满足第一预设条件;若是,则停止对所述目标编码CU进行进一步划分;
若所述目标编码CU的宽度和高度为32,则根据所述目标编码CU的预测失真的变换值,判断所述目标编码CU是否满足第二预设条件;若是,则停止对所述目标编码CU进行进一步划分;
若所述目标编码CU的宽度和高度为16,则根据所述目标编码CU的预测失真的变换值,判断所述目标编码CU是否满足第三预设条件;若是,则停止对所述目标编码CU进行进一步划分。
优选地,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,采用下述公式对所述目标编码CU的预测失真进行变换;
Figure BDA0002773315200000021
Figure BDA0002773315200000022
其中,w和h分别为所述目标编码CU的宽度和高度,i和j分别为所述目标编码CU的像素点横坐标和纵坐标,Oriw×h(i,j)为所述目标编码CU的原始亮度值,Prew×h(i,j)为所述目标编码CU经过帧内帧间预测模式计算后得到的预测亮度值,QP为当前压缩编码P帧的量化参数,Errw×h(i,j)为所述目标编码CU的预测失真,Traw×h(i,j)为所述目标编码CU的预测失真的变换值。
优选地,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,所述第一预设条件的表达式为:
Figure BDA0002773315200000031
Figure BDA0002773315200000032
Figure BDA0002773315200000033
Figure BDA0002773315200000034
其中,Th64、Th32、Th16和Th8为自适应调节阈值,
Figure BDA0002773315200000035
为所述目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure BDA0002773315200000036
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773315200000037
的最大方差值,
Figure BDA0002773315200000038
为所述目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA0002773315200000039
的最大方差值,
Figure BDA00027733152000000310
为所述目标编码CU变换得到Traw×h(i,j)后进行64均等划分后的64个子
Figure BDA00027733152000000311
的最大方差值。
优选地,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,所述第二预设条件的表达式为:
Figure BDA00027733152000000312
Figure BDA00027733152000000313
Figure BDA00027733152000000314
其中,Th32、Th16和Th8为自适应调节阈值,
Figure BDA00027733152000000315
为所述目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure BDA00027733152000000316
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA00027733152000000317
的最大方差值,
Figure BDA00027733152000000318
为所述目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA00027733152000000319
的最大方差值。
优选地,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,所述第三预设条件的表达式为:
Figure BDA00027733152000000320
Figure BDA00027733152000000321
其中,Th16和Th8为自适应调节阈值,
Figure BDA00027733152000000322
为所述目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure BDA00027733152000000323
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA00027733152000000324
的最大方差值。
优选地,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,所述判断所述当前动态3D点云压缩编码帧是否为P帧的过程之后,还包括:
若否,则停止对所述编码CU帧进行CU快速划分。
优选地,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,所述判断所述目标编码CU是否满足第一预设条件的过程之后,还包括:
若否,则对所述目标编码CU进行进一步划分;
所述判断所述目标编码CU是否满足第二预设条件之后,还包括:
若否,则对所述目标编码CU进行进一步划分;
所述判断所述目标编码CU是否满足第三预设条件的过程之后,还包括:
若否,则对所述目标编码CU进行进一步划分。
本发明实施例还提供了一种动态3D点云压缩快速CU划分设备,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述动态3D点云压缩快速CU划分方法。
本发明实施例还提供了一种计算机可读存储介质,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如本发明实施例提供的上述动态3D点云压缩快速CU划分方法。
从上述技术方案可以看出,本发明所提供的一种动态3D点云压缩快速CU划分方法、设备及存储介质,包括:在动态3D点云压缩帧内压缩编码配置中,判断当前动态3D点云压缩编码帧是否为P帧;若是,则顺序提取需要压缩编码的目标编码CU,获取目标编码CU的预测失真并进行变换;获取目标编码CU的宽度和高度;若目标编码CU的宽度和高度为64,则根据目标编码CU的预测失真的变换值,判断目标编码CU是否满足第一预设条件;若是,则停止对目标编码CU进行进一步划分;若目标编码CU的宽度和高度为32,则根据目标编码CU的预测失真的变换值,判断目标编码CU是否满足第二预设条件;若是,则停止对目标编码CU进行进一步划分;若目标编码CU的宽度和高度为16,则根据目标编码CU的预测失真的变换值,判断目标编码CU是否满足第三预设条件;若是,则停止对目标编码CU进行进一步划分。
本发明提供的上述方法利用目标编码的预测失真的变换值来反映目标编码CU是否为最优划分,在对目标编码CU进行进一步划分过程中,设置了三种判定标准来判断目标编码CU是否能够提前终止进一步划分,这样能够提前且准确地预测CTU中目标编码CU是否是最优编码CU,从而使得最优编码CU选择过程可以省略或者跳过递归划分方法的繁琐步骤,进而不仅保证目标编码CU的编码质量,还可以显著降低在对目标编码CU进行划分过程中的计算复杂度,整体方法设计简单,不参考CU时空域信息,可以集成到并行压缩编码框架中,以进一步降低动态3D点云压缩编码时间。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的动态3D点云压缩快速CU划分方法的流程图;
图2为CTU的最优划分的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种动态3D点云压缩快速CU划分方法,如图1所示,包括以下步骤:
S101、在动态3D点云压缩帧内压缩编码配置中,判断当前动态3D点云压缩编码帧是否为P帧;
若是,则执行步骤S102;
S102、顺序提取需要压缩编码的目标编码CU,获取目标编码CU的预测失真Errw×h(i,j),并对其进一步进行变换得到Traw×h(i,j);
S103、获取目标编码CU的宽度和高度;
可以理解的是,在现有技术中,由于一个CTU在获取最优划分过程中,需要递归遍历1个64x64,4个32x32,16个16x16,64个8x8的CU划分,同时,每个CU还需要进行35个帧内预测模式和帧间运动估计的计算,这样就显著增加了CU划分过程中的复杂度。而在CU实际编码过程中,一个CTU只会选择一个或多个不同大小的CU作为最优划分,请参见图2,图2为一个CTU的最佳划分示例,该CTU的大小为64*64,1个CTU只选择了2个32x32,7个16x16,4个8x8的CU最为最优划分,如果再对2个32x32的CU进行划分计算或7个16x16的CU进行划分计算,这样只会增加编码的计算复杂度,而不会进一步提升CU的编码效率。因此如果能够提前且准确地预测CTU中哪种大小的CU是最优划分,从而提前终止并跳过CU进行进一步递归划分方法的计算,就可以极大降低CU的计算复杂度;
而本发明实施例所提供的一种动态3D点云压缩快速CU划分方法,就是为了能够提前且准确地预测CTU中哪种大小的CU是最优划分,从而使得最优CU选择过程可以省略或者跳过递归划分方法的繁琐步骤;
S104、若目标编码CU的宽度和高度为64,则根据目标编码CU的预测失真的变换值Traw×h(i,j),判断目标编码CU是否满足第一预设条件;
若是,则执行步骤S105;
S105、停止对目标编码CU进行进一步划分;
S106、若目标编码CU的宽度和高度为32,则根据目标编码CU的预测失真的变换值Traw×h(i,j),判断目标编码CU是否满足第二预设条件;
若是,则执行步骤S107;
S107、停止对目标编码CU进行进一步划分;
S108、若目标编码CU的宽度和高度为16,则根据目标编码CU的预测失真的变换值Traw×h(i,j),判断目标编码CU是否满足第三预设条件;
若是,则执行步骤S109;
S109、停止对目标编码CU进行进一步划分。
在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,利用目标编码CU的预测失真的变换值Traw×h(i,j)来反映目标编码CU是否为最优划分,在对目标编码CU进行进一步划分过程中,设置了三种判定标准来判断目标编码CU是否能够提前终止进一步划分,这样能够提前且准确地预测CTU中目标编码CU是否是最优编码,从而使得最优编码选择过程可以省略或者跳过递归划分方法的繁琐步骤,进而不仅保证目标编码CU的编码质量,还可以显著降低在对目标编码CU进行划分过程中的计算复杂度,整体方法设计简单,不参考CU时空域信息,可以集成到并行压缩编码框架中,以进一步降低动态3D点云压缩编码时间。
进一步地,在具体实施时,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,在执行步骤S102时,采用下述公式对目标编码CU的预测失真进行变换;
Figure BDA0002773315200000071
Figure BDA0002773315200000072
其中,w和h分别为目标编码CU的宽度和高度,i和j分别为目标编码CU的像素点横坐标和纵坐标,Oriw×h(i,j)为所述目标编码CU的原始亮度值,Prew×h(i,j)为所述目标编码CU经过帧内帧间预测模式计算后得到的预测亮度值,QP为当前压缩编码P帧的量化参数,Errw×h(i,j)为所述目标编码CU的预测失真,Traw×h(i,j)为所述目标编码CU的预测失真的变换值。
进一步地,在具体实施时,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,上述第一预设条件的表达式为:
Figure BDA0002773315200000073
Figure BDA0002773315200000074
Figure BDA0002773315200000075
Figure BDA0002773315200000076
其中,Th64、Th32、Th16和Th8为自适应调节阈值,
Figure BDA0002773315200000077
为目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure BDA0002773315200000078
为目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773315200000079
的最大方差值,
Figure BDA00027733152000000710
为目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA00027733152000000711
的最大方差值,
Figure BDA00027733152000000712
为目标编码CU变换得到Traw×h(i,j)后进行64均等划分后的64个子
Figure BDA00027733152000000713
的最大方差值。
进一步地,在具体实施时,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,上述第二预设条件的表达式为:
Figure BDA0002773315200000081
Figure BDA0002773315200000082
Figure BDA0002773315200000083
其中,Th32、Th16和Th8为自适应调节阈值,
Figure BDA0002773315200000084
为目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure BDA0002773315200000085
为目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773315200000086
的最大方差值,
Figure BDA0002773315200000087
为目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA0002773315200000088
的最大方差值。
进一步地,在具体实施时,在本发明实施例提供的上述动态3D点云压缩快速CU划分方法中,上述第三预设条件的表达式为:
Figure BDA0002773315200000089
Figure BDA00027733152000000810
其中,Th16和Th8为自适应调节阈值,
Figure BDA00027733152000000811
为目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure BDA00027733152000000812
为目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA00027733152000000813
的最大方差值。
当获取得到目标编码CU的宽度和高度之后,如果目标编码CU的宽度和高度为64,并且,目标编码CU还满足上述第一预设条件,则停止对目标编码CU进行进一步划分;如果目标编码CU的宽度和高度为32,并且,目标编码CU还满足上述第二预设条件,则停止对目标编码CU进行进一步划分;如果目标编码CU的宽度和高度为16,并且,目标编码CU还满足上述第三预设条件,则停止对目标编码CU进行进一步划分;
显然,利用步骤S104至步骤S109就相当于是提前预测得到了目标编码CU是否是最优编码CU,所以,通过步骤S104至步骤S109就可以避免目标编码CU需要递归遍历所有不同大小的CU划分才能获得最优CU划分的繁琐步骤。所以,通过本发明实施例所提供的技术方案,不仅可以保证目标编码CU的编码质量,而且,还可以显著降低在对目标编码CU进行压缩编码过程中的计算时间复杂度。
可见,在实施例中,因为当前目标编码CU的预测失真的变换值Traw×h(i,j)能够反映当前目标编码CU是否为最优划分。在对目标编码CU进行进一步划分过程中,是设置了三种判定标准来判断目标编码CU是否能够提前终止进一步划分,也即,通过判断目标编码CU的进一步划分是否满足第一预设条件、第二预设条件和第三预设条件来判断目标编码CU是否能够提前终止划分,并且,在对目标编码CU进行划分过程中,还可以通过自适应调节阈值Th64、Th32、Th16和Th8来实现编码时间节约与编码码率增加之间的均衡。显然,由于该方法可以提前终止目标编码CU需要递归遍历进行进一步划分的步骤,所以,通过本发明实施例所提供的CU深度快速划分方法就可以显著降低在对目标编码CU进行划分过程中的计算时间复杂度。
基于上述实施例,本发明实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,在具体实施时,在执行步骤S101判断当前动态3D点云压缩编码帧是否为P帧的过程之后,还包括:
若当前动态3D点云压缩编码帧不为P帧时,则不对编码帧进行CU快速划分。
可以理解的是,在动态3D点云压缩帧内压缩编码配置中,既包括P帧也包括I帧,而提出的方法只针对P帧进行快速CU划分。
显然,通过本发明实施例所提供的技术方案,可以进一步保证在对目标编码CU划分过程中的完整性。
基于上述实施例,本发明实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,在具体实施时,在执行步骤S104判断目标编码CU是否满足第一预设条件的过程之后,还包括:
若目标编码CU不满足第一预设条件时,则对目标编码CU进行进一步划分。
在实际操作过程中,如果目标编码CU的宽度和高度为64,但是,目标编码CU并不满足第一预设条件时,在此情况下,则说明目标编码CU可能不是最优划分;此时,则需要对目标编码CU进行进一步划分,并以此来查找最优CU划分。
基于上述实施例,本发明实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,在具体实施时,在执行步骤S106判断目标编码CU是否满足第二预设条件之后,还包括:
若目标编码CU不满足第二预设条件时,则对目标编码CU进行进一步划分。
在实际操作过程中,如果目标编码CU的宽度和高度为32,但是,目标编码CU并不满足第二预设条件时,在此情况下,则说明目标编码CU可能不是最优划分;此时,则需要对目标编码CU进行进一步划分,以供后续流程步骤的继续执行,由此就保证了在对目标编码CU进行划分过程中的完整性。
基于上述实施例,本发明实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,在具体实施时,在执行步骤S108判断目标编码CU是否满足第三预设条件的过程之后,还包括:
若目标编码CU不满足第三预设条件时,则对目标编码CU进行进一步划分。
在实际操作过程中,如果目标编码CU的宽度和高度为16,但是,目标编码CU并不满足第三预设条件时,在此情况下,则说明目标编码CU可能不是最优划分。此时,则需要对目标编码CU进行进一步划分,并以此来查找最优CU划分。
基于前述实施例所公开的技术内容,在本发明实施例中,是以动态3D点云压缩参考软件TCM2-V7.0为测试平台,其对应的HEVC参考软件为HM-16.20+SCM-8.8。在Inter(R)Core(TM)i7_9700 CPU,16GB RAM的PC上执行前述所公开的一种CU快速划分方法,并以此来评估该划分方法的可行性以及有效性。通用测试的动态3D点云序列包括,Loot,Redandblack,Soldier,Queen,Longdress,Basketball_player和Dancer_player,每个动态3D点云包括32帧。编码配置为AI(All Intra),并采用(16,22),(20,27),(24,32),(28,37),(32,42)5种编码量化参数(QP)组合用于动态3D点云中的几何视频和颜色视频压缩。对于动态3D点云的几何视频压缩性能评价,采用point-to-point PSNR(D1)和point-to-planePSNR(D2)的码率变化情况(BD-rate),对于动态3D点云的颜色视频压缩性能评价,采用Luma,Cb和Cr的BD-rate。编码时间节约定义为:
Figure BDA0002773315200000101
其中,i表示5种不同的QP值,To为原始测试模型的压缩编码时间,Tp为本发明应用于原始测试模型后的压缩编码时间,TSGP和TSTP分别表示动态3D点云的几何视频P帧压缩编码时间节约,颜色视频P帧压缩编码时间节约。
请参见表一,表一为本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果,其中
Figure BDA0002773315200000111
Figure BDA0002773315200000112
表一本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果(单位:%)
Figure BDA0002773315200000113
请参见表二,表二为本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果,其中
Figure BDA0002773315200000114
和Th8=QP。
表二本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果(单位:%)
Figure BDA0002773315200000115
从表一和表二中的动态3D点云的几何视频和颜色视频的BD-rate和编码时间节约的对比结果可以看出,在自适应调节阈值Th64、Th32、Th16和Th8为不同值情况下,利用本发明所提供的方法分别可以平均节约几何视频和颜色视频编码时间(78.8%,63.6%),(79.7%,69.5%),而几何视频的BD-rate(D1和D2)和颜色视频的BD-rate(Luma)平均增加(-0.1%,-0.1%,0.0%),(-0.1%,-0.1%,0.2%)。随着自适应调节阈值Th64、Th32、Th16和Th8的增加,动态3D点云的几何视频和颜色视频的压缩编码时间节约增大,同时Luma的BD-rate也增大而D1和D2的BD-rate不变。综上所述,通过本发明所提供的方法,在几乎不降低动态3D点云压缩几何和颜色视频压缩质量下,大幅降低在对CU划分过程中的计算复杂度。同时,本发明方法设计简单,不参考CU时空域信息,可以集成到并行压缩编码框架中,以进一步降低动态3D点云压缩编码时间。
相应的,本发明实施例还公开了一种动态3D点云压缩快速CU划分设备,包括处理器和存储器;其中,处理器执行存储器中保存的计算机程序时实现前述实施例公开的动态3D点云压缩快速CU划分方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
进一步的,本发明还公开了一种计算机可读存储介质,用于存储计算机程序;计算机程序被处理器执行时实现前述公开的动态3D点云压缩快速CU划分方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的设备、存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种动态3D点云压缩快速CU划分方法、设备及存储介质,包括:在动态3D点云压缩帧内压缩编码配置中,判断当前动态3D点云压缩编码帧是否为P帧;若是,则顺序提取需要压缩编码的目标编码CU,获取目标编码CU的预测失真并进行变换;获取目标编码CU的宽度和高度;若目标编码CU的宽度和高度为64,则根据目标编码CU的预测失真的变换值,判断目标编码CU是否满足第一预设条件;若是,则停止对目标编码CU进行进一步划分;若目标编码CU的宽度和高度为32,则根据目标编码CU的预测失真的变换值,判断目标编码CU是否满足第二预设条件;若是,则停止对目标编码CU进行进一步划分;若目标编码CU的宽度和高度为16,则根据目标编码CU的预测失真的变换值,判断目标编码CU是否满足第三预设条件;若是,则停止对目标编码CU进行进一步划分。本发明提供的上述方法能够提前且准确地预测CTU中目标编码CU是否是最优编码CU,从而使得最优编码CU选择过程可以省略或者跳过递归划分方法的繁琐步骤,进而不仅保证目标编码CU的编码质量,还可以显著降低在对目标编码CU进行划分过程中的计算复杂度,整体方法设计简单,不参考CU时空域信息,可以集成到并行压缩编码框架中,以进一步降低动态3D点云压缩编码时间。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的动态3D点云压缩快速CU划分方法、设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种动态3D点云压缩快速CU划分方法,其特征在于,包括:
在动态3D点云压缩帧内压缩编码配置中,判断当前动态3D点云压缩编码帧是否为P帧;
若是,则顺序提取需要压缩编码的目标编码CU,获取所述目标编码CU的预测失真并进行变换;
获取所述目标编码CU的宽度和高度;
若所述目标编码CU的宽度和高度为64,则根据所述目标编码CU的预测失真的变换值,判断所述目标编码CU是否满足第一预设条件;若是,则停止对所述目标编码CU进行进一步划分;
若所述目标编码CU的宽度和高度为32,则根据所述目标编码CU的预测失真的变换值,判断所述目标编码CU是否满足第二预设条件;若是,则停止对所述目标编码CU进行进一步划分;
若所述目标编码CU的宽度和高度为16,则根据所述目标编码CU的预测失真的变换值,判断所述目标编码CU是否满足第三预设条件;若是,则停止对所述目标编码CU进行进一步划分。
2.根据权利要求1所述的动态3D点云压缩快速CU划分方法,其特征在于,采用下述公式对所述目标编码CU的预测失真进行变换;
Figure FDA0002773315190000011
Figure FDA0002773315190000012
其中,w和h分别为所述目标编码CU的宽度和高度,i和j分别为所述目标编码CU的像素点横坐标和纵坐标,Oriw×h(i,j)为所述目标编码CU的原始亮度值,Prew×h(i,j)为所述目标编码CU经过帧内帧间预测模式计算后得到的预测亮度值,QP为当前压缩编码P帧的量化参数,Errw×h(i,j)为所述目标编码CU的预测失真,Traw×h(i,j)为所述目标编码CU的预测失真的变换值。
3.根据权利要求2所述的动态3D点云压缩快速CU划分方法,其特征在于,所述第一预设条件的表达式为:
Figure FDA0002773315190000013
Figure FDA0002773315190000014
Figure FDA0002773315190000015
Figure FDA0002773315190000016
其中,Th64、Th32、Th16和Th8为自适应调节阈值,
Figure FDA0002773315190000021
为所述目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure FDA0002773315190000022
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure FDA0002773315190000023
的最大方差值,
Figure FDA0002773315190000024
为所述目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure FDA0002773315190000025
的最大方差值,
Figure FDA0002773315190000026
为所述目标编码CU变换得到Traw×h(i,j)后进行64均等划分后的64个子
Figure FDA0002773315190000027
的最大方差值。
4.根据权利要求2所述的动态3D点云压缩快速CU划分方法,其特征在于,所述第二预设条件的表达式为:
Figure FDA0002773315190000028
Figure FDA0002773315190000029
Figure FDA00027733151900000210
其中,Th32、Th16和Th8为自适应调节阈值,
Figure FDA00027733151900000211
为所述目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure FDA00027733151900000212
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure FDA00027733151900000213
的最大方差值,
Figure FDA00027733151900000214
为所述目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure FDA00027733151900000215
的最大方差值。
5.根据权利要求2所述的动态3D点云压缩快速CU划分方法,其特征在于,所述第三预设条件的表达式为:
Figure FDA00027733151900000216
Figure FDA00027733151900000217
其中,Th16和Th8为自适应调节阈值,
Figure FDA00027733151900000220
为所述目标编码CU变换得到Traw×h(i,j)后的方差值,
Figure FDA00027733151900000218
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure FDA00027733151900000219
的最大方差值。
6.根据权利要求1所述的动态3D点云压缩快速CU划分方法,其特征在于,所述判断所述当前动态3D点云压缩编码帧是否为P帧的过程之后,还包括:
若否,则停止对所述编码帧进行CU快速划分。
7.根据权利要求1所述的动态3D点云压缩快速CU划分方法,其特征在于,所述判断所述目标编码CU是否满足第一预设条件的过程之后,还包括:
若否,则对所述目标编码CU进行进一步划分;
所述判断所述目标编码CU是否满足第二预设条件之后,还包括:
若否,则对所述目标编码CU进行进一步划分;
所述判断所述目标编码CU是否满足第三预设条件的过程之后,还包括:
若否,则对所述目标编码CU进行进一步划分。
8.一种动态3D点云压缩快速CU划分设备,其特征在于,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的动态3D点云压缩快速CU划分方法。
9.一种计算机可读存储介质,其特征在于,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的动态3D点云压缩快速CU划分方法。
CN202011256608.2A 2020-09-21 2020-11-11 动态3d点云压缩快速cu划分方法、设备及存储介质 Active CN112153382B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010996704 2020-09-21
CN2020109967044 2020-09-21

Publications (2)

Publication Number Publication Date
CN112153382A true CN112153382A (zh) 2020-12-29
CN112153382B CN112153382B (zh) 2021-07-20

Family

ID=73887218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011256608.2A Active CN112153382B (zh) 2020-09-21 2020-11-11 动态3d点云压缩快速cu划分方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112153382B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320658A (zh) * 2014-10-20 2015-01-28 南京邮电大学 一种hevc快速编码方法
CN105681797A (zh) * 2016-01-12 2016-06-15 四川大学 一种基于预测残差的dvc-hevc视频转码方法
CN108322742A (zh) * 2018-02-11 2018-07-24 北京大学深圳研究生院 一种基于帧内预测的点云属性压缩方法
US20200137399A1 (en) * 2018-05-09 2020-04-30 Peking University Shenzhen Graduate School Multi-angle adaptive intra-frame prediction-based point cloud attribute compression method
CN111201549A (zh) * 2017-10-16 2020-05-26 索尼公司 信息处理装置和信息处理方法
CN111246219A (zh) * 2020-01-17 2020-06-05 南华大学 一种vvc帧内cu深度快速划分方法
CN111372079A (zh) * 2020-03-11 2020-07-03 南华大学 一种vvc帧间cu深度快速划分方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320658A (zh) * 2014-10-20 2015-01-28 南京邮电大学 一种hevc快速编码方法
CN105681797A (zh) * 2016-01-12 2016-06-15 四川大学 一种基于预测残差的dvc-hevc视频转码方法
CN111201549A (zh) * 2017-10-16 2020-05-26 索尼公司 信息处理装置和信息处理方法
CN108322742A (zh) * 2018-02-11 2018-07-24 北京大学深圳研究生院 一种基于帧内预测的点云属性压缩方法
US20200137399A1 (en) * 2018-05-09 2020-04-30 Peking University Shenzhen Graduate School Multi-angle adaptive intra-frame prediction-based point cloud attribute compression method
CN111246219A (zh) * 2020-01-17 2020-06-05 南华大学 一种vvc帧内cu深度快速划分方法
CN111372079A (zh) * 2020-03-11 2020-07-03 南华大学 一种vvc帧间cu深度快速划分方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法
CN112819821B (zh) * 2021-03-01 2022-06-17 南华大学 一种细胞核图像检测方法

Also Published As

Publication number Publication date
CN112153382B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
KR102418957B1 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
CN109688414B (zh) 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN108886621B (zh) 非本地自适应环路滤波方法
KR102053242B1 (ko) 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
TWI555342B (zh) 清除解塊人為雜訊的方法
CN102595140B (zh) 基于图像修复和矢量预测算子的帧内预测视频编码方法
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
KR101808327B1 (ko) 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
KR102244315B1 (ko) 영상 부호화 방법 및 장치
US20150063452A1 (en) High efficiency video coding (hevc) intra prediction encoding apparatus and method
CN107005691B (zh) 使用从图模板导出的变换来对视频信号进行编码/解码的方法和装置
CN111246219B (zh) 一种vvc帧内cu深度快速划分方法
CN110446052B (zh) 一种3d-hevc帧内深度图快速cu深度选择方法
CN108777794B (zh) 图像的编码方法和装置、存储介质、电子装置
CN112153382B (zh) 动态3d点云压缩快速cu划分方法、设备及存储介质
CN108881905B (zh) 基于概率的帧内编码器优化方法
CN112153381B (zh) 动态3d点云压缩帧内cu快速划分方法、设备及介质
JP2021514158A (ja) ビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
WO2012118569A1 (en) Visually optimized quantization
KR20110066888A (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR20220128975A (ko) 고효율 비디오 코딩을 위한 화면 내 예측 방법 및 장치
CN108900842B (zh) Y数据压缩处理方法、装置、设备及WebP压缩系统
CN113709459B (zh) 帧内预测方法、装置及计算机存储介质
TW202201960A (zh) 編解碼方法及裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant