CN113613017A - 一种三维帧间预测改进v-pcc帧间预测的方法 - Google Patents

一种三维帧间预测改进v-pcc帧间预测的方法 Download PDF

Info

Publication number
CN113613017A
CN113613017A CN202110848736.4A CN202110848736A CN113613017A CN 113613017 A CN113613017 A CN 113613017A CN 202110848736 A CN202110848736 A CN 202110848736A CN 113613017 A CN113613017 A CN 113613017A
Authority
CN
China
Prior art keywords
point cloud
point
pcc
bounding box
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110848736.4A
Other languages
English (en)
Other versions
CN113613017B (zh
Inventor
郑明魁
王适
邱鑫
黄昕
王泽峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Mindu Innovation Laboratory
Original Assignee
Fuzhou University
Mindu Innovation Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University, Mindu Innovation Laboratory filed Critical Fuzhou University
Priority to CN202110848736.4A priority Critical patent/CN113613017B/zh
Publication of CN113613017A publication Critical patent/CN113613017A/zh
Application granted granted Critical
Publication of CN113613017B publication Critical patent/CN113613017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种三维帧间预测改进V‑PCC帧间预测的方法。首先，对当前帧点云找到在前一帧点云的最近点并记录距离。然后，把当前点云的点按照
Figure DEST_PATH_IMAGE001
的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒。再而，设定可以容忍的点云失真阈值
Figure 890770DEST_PATH_IMAGE002
，并计算包围盒内最近点的距离的均值，根据均值与失真阈值
Figure 14715DEST_PATH_IMAGE002
的比较，把点云分成静态点云（均值小于阈值，能有效被三维帧间预测）和动态点云。对静态点云则通过构建代价函数对包围盒沿着某个最佳的维度延伸，并且每次去掉当前帧中的包围盒内点云。最后，重复上述步骤，直到所有点云分类完成，对动态点云融合并使用V‑PCC编码，静态点云则熵编码其包围盒坐标的最小和最大值。

Description

一种三维帧间预测改进V-PCC帧间预测的方法
技术领域
本发明涉及一种三维帧间预测改进V-PCC帧间预测的方法。
背景技术
点云是指目标表面特性的海量点集合，其表面特性包括几何信息(x,y,z)属性信息(例如，R,G,B,反射强度等)。和传统的2D图像相比，3D点云更加能准确表达目标物体或者场景。目前已经广泛应用于虚拟现实和增强现实、无人驾驶、医疗以及高精度地图等领域。然而，相比传统的2D的图像，点云数量级至少超过了一个数量级而且是无序，因此，有效的点云压缩是十分具有挑战性的，对点云的存储和传输是必不可少。
动态图像专家组(简称:MPEG)针对动态点云压缩设计了：基于视频的点云压缩方法，该方法首先计算对一帧点云中每一个点计算法向量，通过聚合法向量相似且邻近的点云投影到2D像素形成不规则图像块(patch)，包括几何图像和纹理图像，进一步形成视频序列并用HEVC压缩。基于patch的方法解决点因为遮挡而使得一些点无法一一恢复的问题，但是也导致也破坏了点云的连续性，不利于时空相关性冗余的去除，影响了后续视频编码的效率。
首先估计点云帧与帧之间的相对运动，分割出帧与帧之间变化接近0的静止点云，因此静止点云可以根据已编码的上一帧和熵编码的边界信息直接恢复。动态点云则融合并用V-PCC方法压缩。因此可以节省大量点的编码从而节省了比特开销。
发明内容
本发明的目的在于提供一种三维帧间预测改进V-PCC帧间预测的方法，以弥补V-PCC采用patch的方法使得未能充分利用点云序列的时空相关性。
为实现上述目的，本发明的技术方案是：一种三维帧间预测改进V-PCC帧间预测方法，包括如下编码过程：
步骤M1、对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；
步骤M2、把当前点云的点按照x、y、z的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒；
步骤M3、首先设定可以容忍最大点云的点对点失真为阈值mse_th，计算包围盒内点云的最近点距离的均值并且和阈值mse_th比较，均值小于阈值mse_th则说明是可以通过三维帧间预测的点云，称为静态点云，均值大于阈值mse_th则说明此时运动较大，不能有效通过三维帧间预测，称为动态点云；
步骤M4、对静态点云分别沿着x、y、z不同的维度增加一个单位得到不同的包围盒，且延伸的包围盒内是非空的，计算沿着不同维度增加后的均方距离，均方距离最小对应的维度即为最终选择的延伸维度；
步骤M5、判断此时延伸后的均方距离是否小于阈值mse_th，若是，则更新静态点云并且返回步骤M4；若不是，则说明不能延伸；
步骤M6、对于不能再延伸的静态点云，熵编码能确定包围盒边框的最小值和最大值；
步骤M7、对于所有包围盒内不能用三维帧间有效预测的的动态点云融合为一帧新的点云；
步骤M8、一直重复步骤M2到M7，并且每次把当前编码帧中确定后的包围盒内点云去掉，直到编码完所有点云；
步骤M9、对最后融合后的点云使用V-PCC的帧间预测编码。
在本发明一实施例中，还包括如下解码过程：
步骤S1、判断比特流的名字，选择对应的解码方式；
步骤S2、对于只有两类的点云，若当前点云不是静态点云，说明只能是动态点云，所以采用对应的解码方法：V-PCC解码；
步骤S3、对于静态点云的比特流，采用熵编码的解码，恢复包围盒的最小值和最大值；
步骤S4、根据最小值和最大值坐标点，确定包围盒的边界，取出在边界框内的已编码的前一帧点云恢复静态点云；
步骤S5、融合解码后的动态点云和静态点云恢复最后的解码点云。
相较于现有技术，本发明具有以下有益效果：本发明首先进行三维帧间预测，避免了点云因为分解为2D不规则图像块破坏了点云的连续性影响了冗余信息的去除。使三维帧间预测优化目前V-PCC的帧间预测方法，因此我们的方法只会优于V-PCC的方法。
附图说明
图1为本发明总体流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1所示，是本发明提供的一种三维帧间预测改进V-PCC帧间预测的方法总体流程图，分为编码过程和解码过程两部分。包括如下步骤：
1)编码过程如图1(1)编码流程图所示：
步骤M1、对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；
步骤M2、把当前点云的点按照x、y、z的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒。
步骤M3、首先设定可以容忍最大点云的点对点失真为阈值mse_th，计算包围盒内点云的最近点距离的均值并且和阈值mse_th比较，均值小于阈值则说明是可以通过三维帧间预测的点云(说明包围盒内点云的相对运动较小，因此称为静态点云)，大于阈值则说明此时运动较大，不能有效通过三维帧间预测，称为动态点云。
步骤M4、对静态点云分别沿着x、y、z不同的维度增加一个单位得到不同的包围盒，且延伸的包围盒内是非空的，计算沿着不同维度增加后的均方距离，均方距离最小对应的维度既为最终选择的延伸维度。
步骤M5、判断此时延伸后的均方距离是否小于阈值mse_th，若是，则更新静态点云并且返回步骤M4；若不是，则说明不能延伸。
步骤M6、对于不能再延伸的静态点云，熵编码能确定包围盒边框的最小值和最大值。
步骤M7、对于所有包围盒内不能用三维帧间有效预测的的动态点云融合为一帧新的点云。
步骤M8、一直重复步骤M2到M7,并且每次把当前编码帧中确定后的包围盒内点云去掉，直到编码完所有点云。
步骤M9、对最后融合后的点云使用V-PCC的帧间预测编码。
步骤M6和M8形成了编码的两路比特流，并分别用静态点云比特流和动态点云比特流命名。
2)解码过程如图1(2)解码流程图所示：
步骤S1、判断比特流的名字，选择对应的解码方式；
步骤S2、对于只有两类的点云，若当前点云不是静态点云，说明只能是动态点云，所以采用对应的解码方法：V-PCC解码。
步骤S3、对于静态点云的比特流，采用熵编码的解码，恢复包围盒的最小值和最大值。
步骤S4、根据最小值和最大值坐标点，确定包围盒的边界。取出在边界框内的已编码的前一帧点云恢复静态点云。
步骤S5、融合解码后的动态点云和静态点云恢复最后的解码点云。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种三维帧间预测改进V-PCC帧间预测的方法，其特征在于，包括如下编码过程：
步骤M1、对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；
步骤M2、把当前点云的点按照x、y、z的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒；
步骤M3、首先设定可以容忍最大点云的点对点失真为阈值mse_th，计算包围盒内点云的最近点距离的均值并且和阈值mse_th比较，均值小于阈值mse_th则说明是可以通过三维帧间预测的点云，称为静态点云，均值大于阈值mse_th则说明此时运动较大，不能有效通过三维帧间预测，称为动态点云；
步骤M4、对静态点云分别沿着x、y、z不同的维度增加一个单位得到不同的包围盒，且延伸的包围盒内是非空的，计算沿着不同维度增加后的均方距离，均方距离最小对应的维度即为最终选择的延伸维度；
步骤M5、判断此时延伸后的均方距离是否小于阈值mse_th，若是，则更新静态点云并且返回步骤M4；若不是，则说明不能延伸；
步骤M6、对于不能再延伸的静态点云，熵编码能确定包围盒边框的最小值和最大值；
步骤M7、对于所有包围盒内不能用三维帧间有效预测的的动态点云融合为一帧新的点云；
步骤M8、一直重复步骤M2到M7，并且每次把当前编码帧中确定后的包围盒内点云去掉，直到编码完所有点云；
步骤M9、对最后融合后的点云使用V-PCC的帧间预测编码。
2.一种三维帧间预测改进V-PCC帧间预测的方法，其特征在于，还包括如下解码过程：
步骤S1、判断比特流的名字，选择对应的解码方式；
步骤S2、对于只有两类的点云，若当前点云不是静态点云，说明只能是动态点云，所以采用对应的解码方法：V-PCC解码；
步骤S3、对于静态点云的比特流，采用熵编码的解码，恢复包围盒的最小值和最大值；
步骤S4、根据最小值和最大值坐标点，确定包围盒的边界，取出在边界框内的已编码的前一帧点云恢复静态点云；
步骤S5、融合解码后的动态点云和静态点云恢复最后的解码点云。
CN202110848736.4A 2021-07-27 2021-07-27 一种三维帧间预测改进v-pcc帧间预测的方法 Active CN113613017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848736.4A CN113613017B (zh) 2021-07-27 2021-07-27 一种三维帧间预测改进v-pcc帧间预测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848736.4A CN113613017B (zh) 2021-07-27 2021-07-27 一种三维帧间预测改进v-pcc帧间预测的方法

Publications (2)

Publication Number Publication Date
CN113613017A true CN113613017A (zh) 2021-11-05
CN113613017B CN113613017B (zh) 2024-04-19

Family

ID=78305504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848736.4A Active CN113613017B (zh) 2021-07-27 2021-07-27 一种三维帧间预测改进v-pcc帧间预测的方法

Country Status (1)

Country Link
CN (1) CN113613017B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190116357A1 (en) * 2017-10-12 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. System and method for Inter-Frame Predictive Compression for Point Clouds
WO2019243663A1 (en) * 2018-06-21 2019-12-26 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
CN111432210A (zh) * 2020-04-30 2020-07-17 中山大学 一种基于填充的点云属性压缩方法
US20200304829A1 (en) * 2019-03-22 2020-09-24 Tencent America LLC Method and apparatus for interframe point cloud attribute coding
CN112565764A (zh) * 2020-12-03 2021-03-26 西安电子科技大学 一种点云几何信息帧间编码及解码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190116357A1 (en) * 2017-10-12 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. System and method for Inter-Frame Predictive Compression for Point Clouds
WO2019243663A1 (en) * 2018-06-21 2019-12-26 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20200304829A1 (en) * 2019-03-22 2020-09-24 Tencent America LLC Method and apparatus for interframe point cloud attribute coding
CN111432210A (zh) * 2020-04-30 2020-07-17 中山大学 一种基于填充的点云属性压缩方法
CN112565764A (zh) * 2020-12-03 2021-03-26 西安电子科技大学 一种点云几何信息帧间编码及解码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
律帅;达飞鹏;黄源;: "基于数据类型转换的点云快速有损压缩算法", 图学学报, no. 02, pages 59 - 65 *

Also Published As

Publication number Publication date
CN113613017B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN101600108B (zh) 一种多视点视频编码中的运动和视差联合估计方法
CN109068142B (zh) 360度视频帧内预测快速决策方法、装置、编解码器和介质
JP5130381B2 (ja) 効率的な映像処理のための方法および装置
KR101636539B1 (ko) 입체영상 압축 처리 방법 및 장치
CN113573068B (zh) 基于配准的改进v-pcc帧间预测方法及系统
US9031338B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
CN103069802A (zh) 重构图像的当前块的方法和对应的编码方法、对应的装置以及承载在比特流中编码的图像的存储介质
US6317460B1 (en) Motion vector generation by temporal interpolation
CN111432210A (zh) 一种基于填充的点云属性压缩方法
Milani et al. Efficient depth map compression exploiting segmented color data
TWI489876B (zh) A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space
US20070274687A1 (en) Video Signal Encoder, A Video Signal Processor, A Video Signal Distribution System And Methods Of Operation Therefor
Yin et al. Lossless point cloud attribute compression with normal-based intra prediction
CN107682699B (zh) 一种近无损图像压缩方法
Ma et al. Surveillance video coding with vehicle library
Aydinoglu et al. Region-based stereo image coding
CN109819230B (zh) 一种基于hevc标准的立体三维视频错误隐藏方法
Roodaki et al. G-arrays: Geometric arrays for efficient point cloud processing
Amado Assuncao et al. Spatial error concealment for intra-coded depth maps in multiview video-plus-depth
CN113613017B (zh) 一种三维帧间预测改进v-pcc帧间预测的方法
CN116489333A (zh) 一种面向深度图编码单元划分的边缘分类模型构建方法
TW201428680A (zh) 影像處理裝置及立體影像前景分離方法
Sandberg et al. Model-based video coding using colour and depth cameras
CN104902256B (zh) 一种基于运动补偿的双目立体图像编解码方法
Jin et al. An improved coarse-to-fine motion estimation scheme for lidar point cloud geometry compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant