CN112153381B - 动态3d点云压缩帧内cu快速划分方法、设备及介质 - Google Patents

动态3d点云压缩帧内cu快速划分方法、设备及介质 Download PDF

Info

Publication number
CN112153381B
CN112153381B CN202011256612.9A CN202011256612A CN112153381B CN 112153381 B CN112153381 B CN 112153381B CN 202011256612 A CN202011256612 A CN 202011256612A CN 112153381 B CN112153381 B CN 112153381B
Authority
CN
China
Prior art keywords
target coding
coding
target
point cloud
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011256612.9A
Other languages
English (en)
Other versions
CN112153381A (zh
Inventor
李跃
杨高波
万亚平
陈灵娜
屈爱平
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of South China
Original Assignee
University of South China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of South China filed Critical University of South China
Publication of CN112153381A publication Critical patent/CN112153381A/zh
Application granted granted Critical
Publication of CN112153381B publication Critical patent/CN112153381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种动态3D点云压缩帧内CU快速划分方法、设备及介质，包括：判断当前动态3D点云压缩编码帧是否为I帧；若是，则顺序提取需要压缩编码的目标编码CU，获取目标编码CU的原始亮度像素值并进行变换；当目标编码CU的宽度和高度为64，并满足第一预设条件；或者，当目标编码CU的宽度和高度为32，并满足第二预设条件；或者，当目标编码CU的宽度和高度为16，并满足第三预设条件，则停止对目标编码CU进行进一步划分。上述方法能够提前且准确地预测CTU中目标编码CU是否是最优编码，从而省略或者跳过递归划分方法的繁琐步骤，进而保证目标编码CU的编码质量，显著降低在对目标编码CU进行划分过程中的计算复杂度。

Description

动态3D点云压缩帧内CU快速划分方法、设备及介质
技术领域
本发明涉及点云压缩技术领域，特别是涉及一种动态3D点云压缩帧内CU快速划分方法、设备及介质。
背景技术
3D点云利用真实物理场景中的几何信息、颜色信息、表面法线等特征来重建逼真的数字三维场景，给人们提供任意角度的视觉体验。作为一种能够表示三维场景的数据形式，3D点云已经逐步应用于虚拟现实(Virtual Reality,VR)、智慧城市、机器人技术和自动驾驶等领域。3D点云主要包括静态点云和动态点云两种形式。以每秒30帧速率捕获的动态3D点云，每帧通常具有70万个点，传输未压缩的动态3D点云数据需要的网络传输速率高达500MB/s。显然，直接存储和传输动态3D点云数据，将占用巨大的存储空间和传输带宽。
为了有效的压缩动态3D点云，MPEG(Moving Picture Experts Group)正制定采用视频压缩的方法(High Efficiency Video Coding，HEVC)用于动态3D点云压缩，即基于视频的点云压缩(Video-based Point Cloud Compression，V-PCC)。由于在HEVC压缩编码过程中，一个编码树单元(Coding Tree Unit，CTU)为了获得最优编码单元(Coding Unit，CU)划分，首先将CTU(64x64)进行穷尽递归四叉树划分，直到最小CU为8x8，然后通过率失真优化技术从下向上进行CU裁剪，以获得最优CU划分。然而，这种穷尽划分策略虽然能提升压缩编码效率，但同时也带来了巨大压缩编码计算复杂度，严重阻碍了动态3D点云的实时传输。此外，由于动态3D点云映射生成的几何和颜色视频与自然视频存在非常大的差异，这会导致已提出的针对自然视频的HEVC快速CU划分方法不能很好地用于基于视频的动态3D点云压缩编码优化中。目前，针对这一问题，还没有较为有效的解决办法。因此，迫切需要发展动态3D点云压缩中的快速CU划分方法，以解决网络实时传输的问题，提升用户体验。
由此可见，如何降低基于视频的动态3D点云压缩过程中的CU划分计算复杂度，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种动态3D点云压缩帧内CU快速划分方法、设备及介质，可以降低CU划分过程中的计算复杂度。其具体方案如下：
一种动态3D点云压缩帧内CU快速划分方法，包括：
在动态3D点云压缩帧内压缩编码配置中，判断当前动态3D点云压缩编码帧是否为I帧；
若是，则顺序提取需要压缩编码的目标编码CU，获取所述目标编码CU的原始亮度像素值并进行变换；
获取所述目标编码CU的宽度和高度；
若所述目标编码CU的宽度和高度为64，则根据所述目标编码CU的原始亮度像素值的变换值，判断所述目标编码CU是否满足第一预设条件；若是，则停止对所述目标编码CU进行进一步划分；
若所述目标编码CU的宽度和高度为32，则根据所述目标编码CU的原始亮度像素值的变换值，判断所述目标编码CU是否满足第二预设条件；若是，则停止对所述目标编码CU进行进一步划分；
若所述目标编码CU的宽度和高度为16，则根据所述目标编码CU的原始亮度像素值的变换值，判断所述目标编码CU是否满足第三预设条件；若是，则停止对所述目标编码CU进行进一步划分。
优选地，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，采用下述公式对所述目标编码CU的原始亮度像素值进行变换；
Figure BDA0002773313930000021
其中，w和h分别为所述目标编码CU的宽度和高度，i和j分别为所述目标编码CU的像素点横坐标和纵坐标，QP为当前压缩编码I帧的量化参数，Oriw×h(i,j)为所述目标编码CU的原始亮度像素值，Traw×h(i,j)为所述目标编码CU的原始亮度像素值的变换值。
优选地，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，所述第一预设条件的表达式为：
Figure BDA0002773313930000031
且
Figure BDA0002773313930000032
且
Figure BDA0002773313930000033
且
Figure BDA0002773313930000034
其中，Th64、Th32、Th16和Th8为自适应调节阈值，
Figure BDA0002773313930000035
为所述目标编码CU变换得到Traw×h(i,j)后的方差值，
Figure BDA0002773313930000036
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773313930000037
的最大方差值，
Figure BDA0002773313930000038
为所述目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA0002773313930000039
的最大方差值，
Figure BDA00027733139300000310
为所述目标编码CU变换得到Traw×h(i,j)后进行64均等划分后的64个子
Figure BDA00027733139300000311
的最大方差值。
优选地，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，所述第二预设条件的表达式为：
Figure BDA00027733139300000312
且
Figure BDA00027733139300000313
且
Figure BDA00027733139300000314
其中，Th32、Th16和Th8为自适应调节阈值，
Figure BDA00027733139300000315
为所述目标编码CU变换得到Traw×h(i,j)后的方差值，
Figure BDA00027733139300000316
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA00027733139300000317
的最大方差值，
Figure BDA00027733139300000318
为所述目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA00027733139300000319
的最大方差值。
优选地，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，所述第三预设条件的表达式为：
Figure BDA00027733139300000320
且
Figure BDA00027733139300000321
其中，Th16和Th8为自适应调节阈值，
Figure BDA00027733139300000322
为所述目标编码CU变换得到Traw×h(i,j)后的方差值，
Figure BDA00027733139300000323
为所述目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA00027733139300000324
的最大方差值。
优选地，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，所述判断所述当前动态3D点云压缩编码帧是否为I帧的过程之后，还包括：
若否，则停止对所述编码帧进行CU快速划分。
优选地，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，所述判断所述目标编码CU是否满足第一预设条件的过程之后，还包括：
若否，则对所述目标编码CU进行进一步划分；
所述判断所述目标编码CU是否满足第二预设条件之后，还包括：
若否，则对所述目标编码CU进行进一步划分；
所述判断所述目标编码CU是否满足第三预设条件的过程之后，还包括：
若否，则对所述目标编码CU进行进一步划分。
本发明实施例还提供了一种动态3D点云压缩帧内CU快速划分设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法。
从上述技术方案可以看出，本发明所提供的一种动态3D点云压缩帧内CU快速划分方法、设备及介质，包括：在动态3D点云压缩帧内压缩编码配置中，判断当前动态3D点云压缩编码帧是否为I帧；若是，则顺序提取需要压缩编码的目标编码CU，获取目标编码CU的原始亮度像素值并进行变换；获取目标编码CU的宽度和高度；若目标编码CU的宽度和高度为64，则根据目标编码CU的原始亮度像素值的变换值，判断目标编码CU是否满足第一预设条件；若是，则停止对目标编码CU进行进一步划分；若目标编码CU的宽度和高度为32，则根据目标编码CU的原始亮度像素值的变换值，判断目标编码CU是否满足第二预设条件；若是，则停止对目标编码CU进行进一步划分；若目标编码CU的宽度和高度为16，则根据目标编码CU的原始亮度像素值的变换值，判断目标编码CU是否满足第三预设条件；若是，则停止对目标编码CU进行进一步划分。
本发明提供的上述方法利用目标编码CU的原始亮度像素值的变换值来反映目标编码CU是否为最优划分，在对目标编码CU进行进一步划分过程中，设置了三种判定标准来判断目标编码CU是否能够提前终止进一步划分，这样能够提前且准确地预测CTU中目标编码CU是否是最优编码CU，从而使得最优编码CU选择过程可以省略或者跳过递归划分方法的繁琐步骤，进而不仅保证目标编码CU的编码质量，还可以显著降低在对目标编码CU进行划分过程中的计算复杂度，整体方法设计简单，不参考CU时空域信息，可以集成到并行压缩编码框架中，以进一步降低动态3D点云压缩编码时间。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的动态3D点云压缩帧内CU快速划分方法的流程图；
图2为CTU的最优划分的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种动态3D点云压缩帧内CU快速划分方法，如图1所示，包括以下步骤：
S101、在动态3D点云压缩帧内压缩编码配置中，判断当前动态3D点云压缩编码帧是否为I帧；
若是，则执行步骤S102；
S102、顺序提取需要压缩编码的目标编码CU，获取目标编码CU的原始亮度像素值Oriw×h(i,j)，并对其进一步进行变换得到Traw×h(i,j)；
S103、获取目标编码CU的宽度和高度；
可以理解的是，在现有技术中，由于一个CTU在帧内获取最优划分过程中，需要递归遍历1个64x64，4个32x32，16个16x16，64个8x8的CU划分，同时，每个CU还需要进行35个帧内预测模式的计算，这样就显著增加了HEVC帧内CU划分过程中的复杂度。而在CU实际编码过程中，一个CTU只会选择一个或多个不同大小的CU作为最优划分，请参见图2，图2为一个CTU的最佳划分示例，该CTU的大小为64*64，1个CTU只选择了2个32x32，7个16x16，4个8x8的CU最为最优划分，如果再对2个32x32的CU进行划分计算或7个16x16的CU进行划分计算，这样只会增加编码的计算复杂度，而不会进一步提升CU的编码效率。因此如果能够提前且准确地预测CTU中哪种大小的CU是最优划分，从而提前终止并跳过CU进行进一步递归划分方法的计算，就可以极大降低CU的计算复杂度；
而本发明实施例所提供的一种动态3D点云压缩帧内CU快速划分方法，就是为了能够提前且准确地预测CTU中哪种大小的CU是最优划分，从而使得最优CU选择过程可以省略或者跳过递归划分方法的繁琐步骤；
S104、若目标编码CU的宽度和高度为64，则根据目标编码CU的原始亮度像素值的变换值Traw×h(i,j)，判断目标编码CU是否满足第一预设条件；
若是，则执行步骤S105；
S105、停止对目标编码CU进行进一步划分；
S106、若目标编码CU的宽度和高度为32，则根据目标编码CU的原始亮度像素值的变换值Traw×h(i,j)，判断目标编码CU是否满足第二预设条件；
若是，则执行步骤S107；
S107、停止对目标编码CU进行进一步划分；
S108、若目标编码CU的宽度和高度为16，则根据目标编码CU的原始亮度像素值的变换值Traw×h(i,j)，判断目标编码CU是否满足第三预设条件；
若是，则执行步骤S109；
S109、停止对目标编码CU进行进一步划分。
在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，利用目标编码CU的原始亮度像素值的变换值来反映目标编码CU是否为最优划分，在对目标编码CU进行进一步划分过程中，设置了三种判定标准来判断目标编码CU是否能够提前终止进一步划分，这样能够提前且准确地预测CTU中目标编码CU是否是最优编码，从而使得最优编码选择过程可以省略或者跳过递归划分方法的繁琐步骤，进而不仅保证目标编码CU的编码质量，还可以显著降低在对目标编码CU进行划分过程中的计算复杂度，整体方法设计简单，不参考CU时空域信息，可以集成到并行压缩编码框架中，以进一步降低动态3D点云压缩编码时间。
进一步地，在具体实施时，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，在执行步骤S102时，采用下述公式对目标编码CU的原始亮度像素值进行变换；
Figure BDA0002773313930000071
其中，w和h分别为目标编码CU的宽度和高度，i和j分别为目标编码CU的像素点横坐标和纵坐标，QP为当前压缩编码I帧的量化参数，Oriw×h(i,j)为目标编码CU的原始亮度像素值，Traw×h(i,j)为目标编码CU的原始亮度像素值的变换值。
进一步地，在具体实施时，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，上述第一预设条件的表达式为：
Figure BDA0002773313930000072
且
Figure BDA0002773313930000073
且
Figure BDA0002773313930000074
且
Figure BDA0002773313930000075
其中，Th64、Th32、Th16和Th8为自适应调节阈值，
Figure BDA0002773313930000076
为目标编码CU变换得到Traw×h(i,j)后的方差值，
Figure BDA0002773313930000077
为目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773313930000078
的最大方差值，
Figure BDA0002773313930000079
为目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA00027733139300000710
的最大方差值，
Figure BDA00027733139300000711
为目标编码CU变换得到Traw×h(i,j)后进行64均等划分后的64个子
Figure BDA00027733139300000712
的最大方差值。
进一步地，在具体实施时，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，上述第二预设条件的表达式为：
Figure BDA00027733139300000713
且
Figure BDA00027733139300000714
且
Figure BDA00027733139300000715
其中，Th32、Th16和Th8为自适应调节阈值，
Figure BDA00027733139300000716
为目标编码CU变换得到Traw×h(i,j)后的方差值，
Figure BDA00027733139300000717
为目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773313930000081
的最大方差值，
Figure BDA0002773313930000082
为目标编码CU变换得到Traw×h(i,j)后进行16均等划分后的16个子
Figure BDA0002773313930000083
的最大方差值。
进一步地，在具体实施时，在本发明实施例提供的上述动态3D点云压缩帧内CU快速划分方法中，上述第三预设条件的表达式为：
Figure BDA0002773313930000084
且
Figure BDA0002773313930000085
其中，Th16和Th8为自适应调节阈值，
Figure BDA0002773313930000086
为目标编码CU变换得到Traw×h(i,j)后的方差值，
Figure BDA0002773313930000087
为目标编码CU变换得到Traw×h(i,j)后进行4均等划分后的4个子
Figure BDA0002773313930000088
的最大方差值。
当获取得到目标编码CU的宽度和高度之后，如果目标编码CU的宽度和高度为64，并且，目标编码CU还满足上述第一预设条件，则停止对目标编码CU进行进一步划分；如果目标编码CU的宽度和高度为32，并且，目标编码CU还满足上述第二预设条件，则停止对目标编码CU进行进一步划分；如果目标编码CU的宽度和高度为16，并且，目标编码CU还满足上述第三预设条件，则停止对目标编码CU进行进一步划分；
显然，利用步骤S104至步骤S109就相当于是提前预测得到了目标编码CU是否是最优编码CU，所以，通过步骤S104至步骤S109就可以避免目标编码CU需要递归遍历所有不同大小的CU划分才能获得最优CU划分的繁琐步骤。所以，通过本发明实施例所提供的技术方案，不仅可以保证目标编码CU的编码质量，而且，还可以显著降低在对目标编码CU进行压缩编码过程中的计算时间复杂度。
可见，在实施例中，因为当前目标编码CU的原始亮度像素值的变换值Traw×h(i,j)能够反映当前目标编码CU是否为最优划分。在对目标编码CU进行进一步划分过程中，是设置了三种判定标准来判断目标编码CU是否能够提前终止进一步划分，也即，通过判断目标编码CU的进一步划分是否满足第一预设条件、第二预设条件和第三预设条件来判断目标编码CU是否能够提前终止划分，并且，在对目标编码CU进行划分过程中，还可以通过自适应调节阈值Th64、Th32、Th16和Th8来实现编码时间节约与编码码率增加之间的均衡。显然，由于该方法可以提前终止目标编码CU需要递归遍历进行进一步划分的步骤，所以，通过本发明实施例所提供的帧内CU深度快速划分方法就可以显著降低在对目标编码CU进行划分过程中的计算时间复杂度。
基于上述实施例，本发明实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，在具体实施时，在执行步骤S101判断当前动态3D点云压缩编码帧是否为I帧的过程之后，还包括：
若当前动态3D点云压缩编码帧不为I帧时，则不对编码帧进行CU快速划分。
可以理解的是，在动态3D点云压缩帧内压缩编码配置中，既包括I帧也包括P帧，而提出的方法只针对I帧进行快速CU划分。
显然，通过本发明实施例所提供的技术方案，可以进一步保证在对目标编码CU划分过程中的完整性。
基于上述实施例，本发明实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，在具体实施时，在执行步骤S104判断目标编码CU是否满足第一预设条件的过程之后，还包括：
若目标编码CU不满足第一预设条件时，则对目标编码CU进行进一步划分。
在实际操作过程中，如果目标编码CU的宽度和高度为64，但是，目标编码CU并不满足第一预设条件时，在此情况下，则说明目标编码CU可能不是最优划分；此时，则需要对目标编码CU进行进一步划分，并以此来查找最优CU划分。
基于上述实施例，本发明实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，在具体实施时，在执行步骤S106判断目标编码CU是否满足第二预设条件之后，还包括：
若目标编码CU不满足第二预设条件时，则对目标编码CU进行进一步划分。
在实际操作过程中，如果目标编码CU的宽度和高度为32，但是，目标编码CU并不满足第二预设条件时，在此情况下，则说明目标编码CU可能不是最优划分；此时，则需要对目标编码CU进行进一步划分，以供后续流程步骤的继续执行，由此就保证了在对目标编码CU进行划分过程中的完整性。
基于上述实施例，本发明实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，在具体实施时，在执行步骤S108判断目标编码CU是否满足第三预设条件的过程之后，还包括：
若目标编码CU不满足第三预设条件时，则对目标编码CU进行进一步划分。
在实际操作过程中，如果目标编码CU的宽度和高度为16，但是，目标编码CU并不满足第三预设条件时，在此情况下，则说明目标编码CU可能不是最优划分。此时，则需要对目标编码CU进行进一步划分，并以此来查找最优CU划分。
基于前述实施例所公开的技术内容，在本发明实施例中，是以动态3D点云压缩参考软件TCM2-V7.0为测试平台，其对应的HEVC参考软件为HM-16.20+SCM-8.8。在Inter(R)Core(TM)i7_9700 CPU，16GB RAM的PC上执行前述所公开的一种CU快速划分方法，并以此来评估该划分方法的可行性以及有效性。通用测试的动态3D点云序列包括，Loot，Redandblack，Soldier，Queen，Longdress，Basketball_player和Dancer_player，每个动态3D点云包括32帧。编码配置为AI(All Intra)，并采用(16，22)，(20，27)，(24，32)，(28，37)，(32，42)5种编码量化参数(QP)组合用于动态3D点云中的几何视频和颜色视频压缩。对于动态3D点云的几何视频压缩性能评价，采用point-to-point PSNR(D1)和point-to-planePSNR(D2)的码率变化情况(BD-rate),对于动态3D点云的颜色视频压缩性能评价，采用Luma，Cb和Cr的BD-rate。编码时间节约定义为：
Figure BDA0002773313930000101
其中，i表示5种不同的QP值，To为原始测试模型的压缩编码时间，Tp为本发明应用于原始测试模型后的压缩编码时间，TSGI和TSTI分别表示动态3D点云的几何视频I帧压缩编码时间节约，颜色视频I帧压缩编码时间节约。
请参见表一，表一为本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果，其中
Figure BDA0002773313930000102
和Th8＝QP。
表一 本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果(单位：％)
Figure BDA0002773313930000103
Figure BDA0002773313930000111
请参见表二，表二为本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果，其中
Figure BDA0002773313930000112
Th16＝QP和Th8＝2*QP。
表二 本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果(单位：％)
Figure BDA0002773313930000113
请参见表三，表三为本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果，其中
Figure BDA0002773313930000114
Th32＝QP，
Figure BDA0002773313930000115
和Th8＝3*QP。
表三 本发明所提供方法在TCM2-V7.0测试平台上的性能对比结果(单位：％)
Figure BDA0002773313930000116
从表一、表二和表三中的动态3D点云的几何视频和颜色视频的BD-rate和编码时间节约的对比结果可以看出，在自适应调节阈值Th64、Th32、Th16和Th8为不同值情况下，利用本发明所提供的方法分别可以平均节约几何视频和颜色视频编码时间(54.7％，42.0％)，(62.1％，48.3％)，(65.4％，51.8％)，而几何视频的BD-rate(D1和D2)和颜色视频的BD-rate(luma)平均增加(0.2％，0.3％，0.1％)，(0.6％，0.7％，0.2％)，(1.0％，1.2％，0.4％)。随着自适应调节阈值Th64、Th32、Th16和Th8的增加，动态3D点云的几何视频和颜色视频的压缩编码时间节约增大，同时BD-rate也增大。
通过上述实验对比结果可以看出，当编码应用的场景需要更快的编码速度时，则可以通过将自适应调节阈值Th64、Th32、Th16和Th8设置得更大来实现；当编码应用的场景对编码码率增加更为敏感时，则可以通过将自适应调节阈值Th64、Th32、Th16和Th8设置得更小来实现。综上所述，通过本发明所提供的方法，不仅可以在可接受编码质量下降的范围内，有效实现编码时间节约与编码码率增加之间的平衡，而且，还可以显著降低在对CU划分过程中的计算复杂度。同时，本发明方法设计简单，不参考CU时空域信息，可以集成到并行压缩编码框架中，以进一步降低动态3D点云压缩编码时间。
相应的，本发明实施例还公开了一种动态3D点云压缩帧内CU快速划分设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的动态3D点云压缩帧内CU快速划分方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的动态3D点云压缩帧内CU快速划分方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种动态3D点云压缩帧内CU快速划分方法、设备及介质，包括：在动态3D点云压缩帧内压缩编码配置中，判断当前动态3D点云压缩编码帧是否为I帧；若是，则顺序提取需要压缩编码的目标编码CU，获取目标编码CU的原始亮度像素值并进行变换；获取目标编码CU的宽度和高度；若目标编码CU的宽度和高度为64，则根据目标编码CU的原始亮度像素值的变换值，判断目标编码CU是否满足第一预设条件；若是，则停止对目标编码CU进行进一步划分；若目标编码CU的宽度和高度为32，则根据目标编码CU的原始亮度像素值的变换值，判断目标编码CU是否满足第二预设条件；若是，则停止对目标编码CU进行进一步划分；若目标编码CU的宽度和高度为16，则根据目标编码CU的原始亮度像素值的变换值，判断目标编码CU是否满足第三预设条件；若是，则停止对目标编码CU进行进一步划分。本发明提供的上述方法能够提前且准确地预测CTU中目标编码CU是否是最优编码CU，从而使得最优编码CU选择过程可以省略或者跳过递归划分方法的繁琐步骤，进而不仅保证目标编码CU的编码质量，还可以显著降低在对目标编码CU进行划分过程中的计算复杂度，整体方法设计简单，不参考CU时空域信息，可以集成到并行压缩编码框架中，以进一步降低动态3D点云压缩编码时间。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的动态3D点云压缩帧内CU快速划分方法、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种动态3D点云压缩帧内CU快速划分方法，其特征在于，包括：
在动态3D点云压缩帧内压缩编码配置中，判断当前动态3D点云压缩编码帧是否为I帧；
若是，则顺序提取需要压缩编码的目标编码CU，获取所述目标编码CU的原始亮度像素值并进行变换；
获取所述目标编码CU的宽度和高度；
若所述目标编码CU的宽度和高度为64，则根据所述目标编码CU的原始亮度像素值的变换值，判断所述目标编码CU是否满足第一预设条件；若是，则停止对所述目标编码CU进行进一步划分；其中，所述第一预设条件的表达式为：
Figure FDA0004164443650000011
且
Figure FDA0004164443650000012
且
Figure FDA0004164443650000013
且
Figure FDA0004164443650000014
其中，Th64、Th32、Th16和Th8为自适应调节阈值，
Figure FDA0004164443650000015
为所述目标编码CU变换得到Traw×h(i，j)后的方差值，
Figure FDA0004164443650000016
为所述目标编码CU变换得到Traw×h(i，j)后进行4均等划分后的4个子
Figure FDA0004164443650000017
的最大方差值，
Figure FDA0004164443650000018
为所述目标编码CU变换得到Traw×h(i，j)后进行16均等划分后的16个子
Figure FDA0004164443650000019
的最大方差值，
Figure FDA00041644436500000110
为所述目标编码CU变换得到Traw×h(i，j)后进行64均等划分后的64个子
Figure FDA00041644436500000111
的最大方差值；
若所述目标编码CU的宽度和高度为32，则根据所述目标编码CU的原始亮度像素值的变换值，判断所述目标编码CU是否满足第二预设条件；若是，则停止对所述目标编码CU进行进一步划分；其中，所述第二预设条件的表达式为：
Figure FDA00041644436500000112
且
Figure FDA00041644436500000113
且
Figure FDA00041644436500000114
其中，Th32、Th16和Th8为自适应调节阈值，
Figure FDA00041644436500000115
为所述目标编码CU变换得到Traw×h(i，j)后的方差值，
Figure FDA00041644436500000116
为所述目标编码CU变换得到Traw×h(i，j)后进行4均等划分后的4个子
Figure FDA00041644436500000117
的最大方差值，
Figure FDA0004164443650000021
为所述目标编码CU变换得到Traw×h(i，j)后进行16均等划分后的16个子
Figure FDA0004164443650000022
的最大方差值；
若所述目标编码CU的宽度和高度为16，则根据所述目标编码CU的原始亮度像素值的变换值，判断所述目标编码CU是否满足第三预设条件；若是，则停止对所述目标编码CU进行进一步划分；其中，所述第三预设条件的表达式为：
Figure FDA0004164443650000023
且
Figure FDA0004164443650000024
其中，Th16和Th8为自适应调节阈值，
Figure FDA0004164443650000025
为所述目标编码CU变换得到Traw×h(i，j)后的方差值，
Figure FDA0004164443650000026
为所述目标编码CU变换得到Traw×h(i，j)后进行4均等划分后的4个子
Figure FDA0004164443650000027
的最大方差值；
其中，所述目标编码CU的原始亮度像素值的变换值采用下述公式对所述目标编码CU的原始亮度像素值进行变换后获得；
Figure FDA0004164443650000028
其中，w和h分别为所述目标编码CU的宽度和高度，i和j分别为所述目标编码CU的像素点横坐标和纵坐标，QP为当前压缩编码I帧的量化参数，Qriw×h(i，j)为所述目标编码CU的原始亮度像素值，Traw×h(i，j)为所述目标编码CU的原始亮度像素值的变换值。
2.根据权利要求1所述的动态3D点云压缩帧内CU快速划分方法，其特征在于，所述判断所述当前动态3D点云压缩编码帧是否为I帧的过程之后，还包括：
若否，则停止对所述编码帧进行CU快速划分。
3.根据权利要求1所述的动态3D点云压缩帧内CU快速划分方法，其特征在于，所述判断所述目标编码CU是否满足第一预设条件的过程之后，还包括：
若否，则对所述目标编码CU进行进一步划分；
所述判断所述目标编码CU是否满足第二预设条件之后，还包括：
若否，则对所述目标编码CU进行进一步划分；
所述判断所述目标编码CU是否满足第三预设条件的过程之后，还包括：
若否，则对所述目标编码CU进行进一步划分。
4.一种动态3D点云压缩帧内CU快速划分设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至3任一项所述的动态3D点云压缩帧内CU快速划分方法。
5.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的动态3D点云压缩帧内CU快速划分方法。
CN202011256612.9A 2020-09-21 2020-11-11 动态3d点云压缩帧内cu快速划分方法、设备及介质 Active CN112153381B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020109954631 2020-09-21
CN202010995463 2020-09-21

Publications (2)

Publication Number Publication Date
CN112153381A CN112153381A (zh) 2020-12-29
CN112153381B true CN112153381B (zh) 2023-05-12

Family

ID=73887169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011256612.9A Active CN112153381B (zh) 2020-09-21 2020-11-11 动态3d点云压缩帧内cu快速划分方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112153381B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992915B (zh) * 2021-12-28 2022-05-17 康达洲际医疗器械有限公司 一种可适用于vvc帧内预测的编码单元划分方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681797A (zh) * 2016-01-12 2016-06-15 四川大学 一种基于预测残差的dvc-hevc视频转码方法
CN108632621A (zh) * 2018-05-09 2018-10-09 北京大学深圳研究生院 一种基于层次划分的点云属性压缩方法
CN110446052A (zh) * 2019-09-03 2019-11-12 南华大学 一种3d-hevc帧内深度图快速cu深度选择方法
CN111246219A (zh) * 2020-01-17 2020-06-05 南华大学 一种vvc帧内cu深度快速划分方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178407B2 (en) * 2012-11-19 2021-11-16 Texas Instruments Incorporated Adaptive coding unit (CU) partitioning based on image statistics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681797A (zh) * 2016-01-12 2016-06-15 四川大学 一种基于预测残差的dvc-hevc视频转码方法
CN108632621A (zh) * 2018-05-09 2018-10-09 北京大学深圳研究生院 一种基于层次划分的点云属性压缩方法
CN110446052A (zh) * 2019-09-03 2019-11-12 南华大学 一种3d-hevc帧内深度图快速cu深度选择方法
CN111246219A (zh) * 2020-01-17 2020-06-05 南华大学 一种vvc帧内cu深度快速划分方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李跃等.基于学习模型的3D-HEVC提前Merge模式终止算法.通信学报.2019,第40卷(第7期),104-113. *

Also Published As

Publication number Publication date
CN112153381A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
WO2021244363A1 (zh) 点云压缩方法、编码器、解码器及存储介质
CN109688414B (zh) 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN101317463B (zh) 在编解码中的实现量化的方法和装置
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
US9210435B2 (en) Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency
US20150063452A1 (en) High efficiency video coding (hevc) intra prediction encoding apparatus and method
JP2022522217A (ja) 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
CN106170093B (zh) 一种帧内预测性能提升编码方法
KR101912769B1 (ko) 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
CN113615200A (zh) 用于点云压缩的量化步长参数
WO2021098030A1 (zh) 一种视频编码的方法和装置
CN112001854B (zh) 一种编码图像的修复方法及相关系统和装置
CN112153381B (zh) 动态3d点云压缩帧内cu快速划分方法、设备及介质
CN116916036A (zh) 视频压缩方法、装置及系统
JP7171748B2 (ja) ビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置
JP2024521832A (ja) エントロピーコーディング、デコーディング方法及び装置
CN110536138B (zh) 一种有损压缩编码方法、装置和系统级芯片
CN112153382B (zh) 动态3d点云压缩快速cu划分方法、设备及存储介质
WO2021138788A1 (zh) 帧内预测方法、装置、编码器、解码器、及存储介质
WO2021189262A1 (zh) 帧内预测方法、装置、编码器、解码器、及存储介质
CN112509107A (zh) 一种点云属性重着色方法、装置及编码器
CN115499660A (zh) 动态3d点云压缩帧间编码模式快速确定方法及系统
CN113055670B (zh) 一种基于hevc/h.265的视频编码的方法及系统
CN115988201B (zh) 一种编码胶片颗粒的方法、装置、电子设备和存储介质
CN115103186B (zh) 一种码率的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant