CN112637594B - 一种基于比特流的无参考3d点云质量评估方法 - Google Patents
一种基于比特流的无参考3d点云质量评估方法 Download PDFInfo
- Publication number
- CN112637594B CN112637594B CN202011532819.4A CN202011532819A CN112637594B CN 112637594 B CN112637594 B CN 112637594B CN 202011532819 A CN202011532819 A CN 202011532819A CN 112637594 B CN112637594 B CN 112637594B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- attribute
- model
- distortion
- texture complexity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 21
- 238000013139 quantization Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000013441 quality evaluation Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000013210 evaluation model Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 108091026890 Coding region Proteins 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 230000000873 masking effect Effects 0.000 abstract description 2
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 3
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 3
- 235000015001 Cucumis melo var inodorus Nutrition 0.000 description 3
- 240000002495 Cucumis melo var. inodorus Species 0.000 description 3
- 241000234295 Musa Species 0.000 description 3
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明属于3D点云质量评估技术领域，涉及一种基于比特流的无参考3D点云质量评估方法，先对进行G‑PCC编码的点云比特流中的数据包头信息进行简单解析，得到编码方式、几何与属性的量化参数、属性比特率，再根据纹理复杂度计算模型将解析出的属性比特率、属性量化参数信息进一步计算，预测出点云的纹理复杂度，然后建立点云属性失真评估模型和3D点云几何失真衰减模型，最后将到几何衰减值与属性失真评估分数进行融合，得到失真点云的总体质量预测得分，准确评估3D点云的质量，其计算复杂度低，传输带宽要求小，实时性高，而且能够预测出考虑人眼掩盖效应的质量分数，客观质量分数与主观质量分数具有更好的一致性。
Description
技术领域：
本发明属于3D点云质量评估技术领域，涉及一种基于比特流的无参考3D点云质量评估方法，特别是一种基于G-PCC编码比特流的无参考3D点云质量评估技术。
背景技术：
3D点云由大量非结构化的具有相应属性(RGB颜色，表面法向量，不透明度，反射率等)的三维点组成，这些点通常分散在三维空间中。目前，随着浸入式媒体通讯的迅速发展，出现了越来越多的3D点云应用，如浸入式通话、智能购物、数字博物馆等。但是，3D点云所需的存储空间巨大，一个典型的点云存储需要数百万甚至数十亿个点，存储不便，更难实现实时传输及处理。因此国际标准动态图像专家组(Moving Picture Experts Group,MPEG)提出多种点云压缩(Point Cloud Compression，PCC)技术，其中G-PCC(Geometry-basedPoint Cloud Compression)是基于几何对静态点云进行编码的技术。G-PCC提供了高编码性能，超越了目前的许多编码方法，成为目前最流行的点云压缩方法之一。
根据不同的应用场景终端及传输带宽，在编码过程中对点云进行不同程度的压缩，会造成点云质量的下降，最终影响用户的视觉体验。人眼主观评测是视觉体验的最真实反映，但主观评测耗时耗力巨大且不能实现实时评测及反馈。为了更好地衡量压缩后点云的质量，点云质量客观评价模型模拟人类视觉系统感知机制进行建模，进而给出量化指标。点云客观质量不仅可以作为对比不同点云压缩算法性能的指标，还可以作为压缩算法参数调整的依据，动态调整3D点云压缩的视觉效果，以达到评估和优化的目的。
目前，在点云质量客观评估中，根据对原始点云信息的利用将评估模型分为全参考、部分参考和无参考三类；由于沉浸式媒体传播的实时性要求很高，全参考和部分参考质量评估模型需要用到全部或者部分原始点云信息，传输的数据量较大，因此不适用于网络传输终端中的质量评估。为了满足当今高实时性和高传输质量的要求，无参考点云质量评估成为最佳选择。无参考质量评估具有传输数据少、高实时性、计算复杂度低的优点，可以应用于任何点云业务相关领域，具有普适性。无参考点云质量评估模型可以进一步分为基于体素的模型和基于比特流的模型。在基于体素的模型中，首先需要对编码比特流进行解码分析，重构出3D点云数据，再针对失真点云进行体素特征分析进而设计质量评估模型，其复杂度偏高；基于比特流的模型直接从编码比特流提取参数进行质量评估模型设计，无需复杂的3D点云重构过程，其复杂度低，可用于实时质量测量。但是，目前无参考点云质量评估并未见有基于比特流的无参考3D点云质量评估的具体应用或公开文献报道。因此，有必要设计一种基于比特流的无参考3D点云质量评估方法，使其继承无参考质量评价的优点，同时填补3D点云质量评价中基于比特流的无参考模式的空白。
发明内容：
本发明的目的在于克服现有技术存在的缺点，设计提供一种基于比特流的无参考3D点云质量评估方法，设计的评估模型考虑人眼掩盖效应，使客观质量分数与主观视觉效果具有更好的一致性，而且能够准确快速的评估3D点云质量，进而指导3D点云处理过程，便于提高后续应用的性能。
为了实现上述目的，本发明所述基于比特流的无参考3D点云质量评估过程包括以下步骤：
S1：获取原始3D点云数据集，对此数据集进行G-PCC不同量化程度的编码，得到编码失真3D点云数据集，并进行主观评测实验，得到每个失真点云的主观评价分数；
S2：对G-PCC编码的点云比特流进行数据包头信息的解析，得到点云的几何上和属性上的编码方式、量化参数、比特率等；
S3：根据G-PCC中属性编码区域自适应分层变换(Region Adaptive HierarchicalTransform，RAHT)机制，建立3D点云纹理复杂度理论模型，得到纹理复杂度σd与属性比特率RP、量化步长Qs、点云的点总数Nv及RAHT相关编码参数(k*，N*，b)的关系，其中b为RAHT量化系数的拉普拉斯分布密度，N*为属性RAHT量化之后系数个数，k*为RAHT变换矩阵有关的参数；基于3D点云纹理复杂度理论模型，对3D点云训练集中的每一个编码失真点云计算出其纹理复杂度；
S4：在基于比特流的无参考3D点云质量评估中，无法解析得到RAHT相关编码参数，S3建立的3D点云纹理复杂度理论模型无法实际应用，因此基于S3中3D点云纹理复杂度理论模型中σd与Rp的线性关系和编码失真3D点云训练集，利用线性拟合方式求出纹理复杂度σd与属性比特率Rp之间的线性关系系数，建立3D点云纹理复杂度预测模型，利用得到的预测模型，对G-PCC编码的3D点云，只需进行简单比特流解析，就可实现点云纹理复杂度的预测计算；
S5：根据S4中得到的点云纹理复杂度和S2中得到的属性量化参数，构建点云属性失真评估模型，将失真点云的纹理复杂度、量化参数和主观评价分数作为训练数据进行Logistic曲线拟合求得模型的待定常数，得到点云属性失真评估模型；
S6：构建3D点云几何失真衰减模型，实现失真点云几何Trisoup量化参数到点云主观评价分数的映射，使用失真3D点云训练集，对点云的主观评价分数和Trisoup量化参数进行Logistic曲线拟合求得几何衰减模型的待定参数，得到3D点云几何失真衰减模型；
S7：将根据S5中点云属性失真评估模型得到的点云属性失真评估值与根据S6中3D点云几何失真衰减模型得到的几何衰减值进行融合，得到失真3D点云的总体客观质量预测得分，实现基于比特流的无参考3D点云的质量评估。
本发明S3中建立的3D点云纹理复杂度理论模型为：
其中，Qs为RAHT属性编码量化步长，RP为属性比特率，b为RAHT量化系数的拉普拉斯分布密度，N*为属性RAHT量化之后系数个数，Nv为3D点云的点总数，k*为RAHT变换矩阵有关的参数，σd为点云的纹理复杂度。
本发明S4中建立的3D点云纹理复杂度预测模型为：
其中，
为预测点云的纹理复杂度，RP为属性比特率，线性方程的斜率S(Qs)和截距i(Qs)都随着量化步长Qs变化，计算方式如下：
S(Qs)＝a1Qs
i(Qs)＝c1ln(c2|Qs-c3|)+c4
其中a1、c1、c2、c3、c4为待定参数。
本发明S5中建立的点云属性失真评估模型为：
其中V为属性上失真后3D点云的客观质量预测分数，Qp为RAHT编码量化参数。f1、f2、f3、f4为模型待定参数。其中f2和f4与点云纹理复杂度
线性相关，计算方式如下：
其中h1、h2、j1、j2为待定参数，本模型所有参数均基于3D点云训练样本集通过Logistic曲线拟合训练得到。
本发明S6中构建的点云几何失真衰减模型为：
其中A(Bp)表示几何Trisoup量化参数的衰减值，l1、l2、l3为待定参数，Bp为几何Trisoup编码的blocksize量化参数。
本发明S7中所述融合的方法为：
Vpre＝Vα×Aβ(Bp)
其中Vpre表示失真3D点云的客观质量预测得分，V为点云属性失真评估值，A(Bp)为点云几何失真衰减值，α、β为融合系数，均为1。
本发明先对进行G-PCC编码的点云比特流中的数据包头信息进行简单解析，得到编码方式、几何与属性的量化参数、属性比特率，再根据纹理复杂度计算模型将解析出的属性比特率、属性量化参数信息进一步计算，预测出点云的纹理复杂度，然后将得到的纹理复杂度和属性量化参数输入训练出点云属性失真评估模型，预测出点云在属性失真后的点云质量分数，并根据几何Trisoup编码量化参数放入衰减函数计算出几何失真上的衰减值，最后将到几何衰减值与属性失真评估分数进行融合，得到失真点云的总体质量预测得分。
本发明与现有技术相比，具有以下优点：一是能准确评估3D点云的质量，进而指导3D点云的处理过程，便于提高后续应用的性能；二是计算复杂度低，在网络中的质量评估所需的传输带宽要求小，实时性高，可以应用于任何点云业务相关领域，具有普适性；三是经过训练得到的纹理复杂度预测模型和客观质量评估模型，能够预测出考虑人眼掩盖效应的质量分数，更准确评估失真点云的质量分数，客观质量分数与主观质量分数具有更好的一致性。
附图说明：
图1为本发明涉及的基于比特流的无参考3D点云质量评估方法的流程图。
图2为本发明测试集使用的原始点云和部分失真3D点云，其中图2(a)、(c)、(e)、(g)、(i)分别为原始点云Statue、Cauliflower、Banana、Honeydew_melon、Stone；图2(b)、(d)、(f)、(h)、(j)分别为对应G-PCC编码(Trisoup+RAHT)不同编码参数Qp＝46；Bp＝6；MOS＝38.72(b)、Qp＝40；Bp＝6；MOS＝52.78(d)、Qp＝40；Bp＝4；MOS＝47.74(f)、Qp＝40；Bp＝6；MOS＝58.88(h)、Qp＝40；Bp＝4；MOS＝49.64(j)的失真点云。
具体实施方式：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
本实施例所述基于比特流的无参考3D点云质量评估过程如图1所示，包括以下步骤：
S1：获取原始3D点云数据集，对此数据集进行G-PCC不同量化程度的编码，得到编码失真3D点云数据集，并进行主观评测实验，得到每个失真点云的主观评价分数。
S2：对G-PCC编码的点云比特流进行数据包头信息的解析，得到点云的几何上和属性上的编码方式、量化参数、比特率等；
S3：根据G-PCC中属性编码区域自适应分层变换(Region Adaptive HierarchicalTransform，RAHT)机制，从理论上提出了一种3D点云纹理复杂度计算模型，阐明纹理复杂度σd与属性比特率RP、量化步长Qs、点云的点总数Nv及RAHT相关编码参数(k*，N*，b)的关系，其中3D点云的纹理复杂度是将点云进行分块计算出每块点云YUV中Y值的标准差，将得到的每块点云的标准差进行平均计算，得到点云的纹理复杂度。基于此计算模型，对3D点云训练集中的每一个编码失真点云计算出其纹理复杂度，对于纹理复杂度模型如下：
其中Qs为RAHT属性编码量化步长，RP为属性比特率，b为属性RAHT量化系数的拉普拉斯分布密度，N*为属性量化之后RAHT系数个数，Nv为3D点云的点总数，k*为RAHT变换矩阵有关的参数，σd为点云的纹理复杂度；
S4：在基于比特流的无参考3D点云质量评估中，无法解析得到RAHT相关编码参数，因此S3理论模型无法实际应用，本实施例受启发于S3理论模型中σd与Rp的线性关系，建立3D点云纹理复杂度预测模型，基于编码失真3D点云训练集，利用线性拟合方式，求出纹理复杂度σd与属性比特率Rp之间的线性关系系数；利用得到的预测模型，对G-PCC编码(RAHT+Trisoup)的3D点云，只需进行简单比特流解析，就可实现点云纹理复杂度的计算，建立的纹理复杂度预测模型为：
其中，
为预测点云的纹理复杂度，RP为属性比特率，线性方程的斜率S(Qs)和截距i(Qs)都随着量化步长Qs变化，计算方式如下：
S(Qs)＝a1Qs
i(Qs)＝c1ln(c2|Qs-c3|)+c4
其中a1、c1、c2、c3、c4为待定参数；
S5：根据S4中得到的纹理复杂度和S2中得到的属性量化参数，构建3D点云属性失真的质量预测模型，通过分析3D点云训练集发现，主观评价分数随着纹理复杂度σd及量化参数Qp改变而变化，本实施例将失真点云的纹理复杂度、量化参数和主观质量分数作为训练数据进行Logistic曲线拟合求得模型的待定常数，得到点云属性失真评估模型，点云属性失真评估模型为：
其中V为属性上失真后3D点云的客观质量预测分数，Qp为RAHT编码量化参数，f1、f2、f3、f4为模型待定参数，其中f2和f4与点云纹理复杂度
线性相关，计算方式如下：
其中h1、h2、j1、j2为待定参数，基于3D点云训练样本集，本模型所有参数均通过Logistic曲线拟合训练得到；
S6：构建3D点云几何失真衰减模型，实现失真点云几何Trisoup量化参数到点云主观评价分数的映射，本实施例使用失真3D点云训练集，对点云的主观评价分数和Trisoup量化参数进行Logistic曲线拟合求得几何衰减模型的待定参数，构建的几何衰减模型模型为：
其中A(Bp)表示几何Trisoup量化参数的衰减值，l1、l2、l3为待定参数，Bp为几何Trisoup编码的blocksize量化参数；
S7：将S5中得到点云属性失真评估值与S6中得到的几何衰减值进行融合，得到失真3D点云的总体客观质量预测得分，实现基于比特流的无参考3D点云的质量评估，所述融合的方法为：
Vpre＝Vα×Aβ(Bp)
其中Vpre表示失真3D点云的客观质量预测得分，V为点云属性失真评估值，A(Bp)为点云几何失真衰减值，α、β为融合系数，在本实施例中均设置为1。
本实施例为评价客观质量评价模型性能，对Statue、Cauliflower、Banana、Honeydew_melon、Stone等案例使用以下衡量方式，计算客观质量分数与主观质量分数之间的一致性：均方根误差(Root Mean Squard Error，RMSE)、平均绝对误差(Mean AbsoluteError，MAE)、皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)、肯德尔等级相关系数(Kendall rank-order correlation coefficient，KRCC)、斯皮尔曼秩相关系数(Spearman Rank-order Correlation Coefficient，SRCC)，其结果如图2和表1所示，表1充分说明了使用本实施例的质量评估模型针对测试点云得到客观分数与主观分数的一致性。
表1：本实施例质量评估模型性能展示
| content | PLCC | RMSE | SROCC | KRCC | MAE |
| Statue | 0.8847 | 12.30 | 0.8252 | 0.6970 | 9.976 |
| Cauliflower | 0.9813 | 11.64 | 0.9650 | 0.8788 | 10.86 |
| Banana | 0.9536 | 17.27 | 0.9371 | 0.8182 | 15.93 |
| Honeydew_melon | 0.9367 | 8.483 | 0.9790 | 0.9091 | 7.128 |
| Stone | 0.9579 | 8.101 | 0.9720 | 0.9091 | 6.883 |
本实施例为说明构建的3D点云纹理复杂度模型有效性，根据3D点云训练样本集，进行了如下对比实验：分别使用S3中点云理论纹理复杂度σd及S4中预测点云纹理复杂度
计算客观质量预测得分，对比结果如表2所示。
表2：点云纹理复杂度预测模型对比
| PLCC | RMSE | SROCC | KRCC | MAE | |
| 使用S4中预测模型 | 0.9312 | 11.23 | 0.8857 | 0.7368 | 9.515 |
| 使用S3中理论模型 | 0.9318 | 11.87 | 0.8624 | 0.7684 | 9.872 |
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于比特流的无参考3D点云质量评估方法，其特征在于，具体过程包括以下步骤：
S1：获取原始3D点云数据集，对此数据集进行G-PCC不同量化程度的编码，得到编码失真3D点云数据集，并进行主观评测实验，得到每个失真点云的主观评价分数；
S2：对G-PCC编码的点云比特流进行数据包头信息的解析，得到点云的几何上和属性上的编码方式、量化参数、比特率；
S3：根据G-PCC中属性编码区域自适应分层变换机制，建立3D点云纹理复杂度理论模型，得到纹理复杂度σd与属性比特率RP、量化步长Qs、点云的点总数Nv及RAHT相关编码参数的关系，基于3D点云纹理复杂度理论模型，对3D点云训练集中的每一个编码失真点云计算出其纹理复杂度；
S4：在基于比特流的无参考3D点云质量评估中，无法解析得到RAHT相关编码参数，S3建立的3D点云纹理复杂度理论模型无法实际应用，因此基于S3中3D点云纹理复杂度理论模型中σd与Rp的线性关系和编码失真3D点云训练集，利用线性拟合方式求出纹理复杂度σd与属性比特率Rp之间的线性关系系数，建立3D点云纹理复杂度预测模型，利用得到的3D点云纹理复杂度预测模型，对G-PCC编码的3D点云进行简单比特流解析，实现点云纹理复杂度的预测计算；
S5：根据S4中得到的点云纹理复杂度和S2中得到的属性量化参数，构建点云属性失真评估模型，将失真点云的纹理复杂度、量化参数和主观评价分数作为训练数据进行Logistic曲线拟合求得3D点云纹理复杂度预测模型的待定参数，得到点云属性失真评估模型；
S6：构建3D点云几何失真衰减模型，实现失真点云几何Trisoup量化参数到点云主观评价分数的映射，使用失真3D点云训练集，对点云的主观评价分数和Trisoup量化参数进行Logistic曲线拟合求得几何衰减模型的待定参数，得到3D点云几何失真衰减模型；
S7：将根据S5中点云属性失真评估模型得到的点云属性失真评估值与根据S6中3D点云几何失真衰减模型得到的几何衰减值进行融合，得到失真3D点云的总体客观质量预测得分，实现基于比特流的无参考3D点云的质量评估。
2.根据权利要求1所述基于比特流的无参考3D点云质量评估方法，其特征在于，S3中建立的3D点云纹理复杂度理论模型为：
其中，Qs为RAHT属性编码量化步长，RP为属性比特率，b为RAHT量化系数的拉普拉斯分布密度，N*为属性RAHT量化之后系数个数，Nv为3D点云的点总数，k*为RAHT变换矩阵有关的参数，σd为点云的纹理复杂度。
3.根据权利要求1所述基于比特流的无参考3D点云质量评估方法，其特征在于，S4中建立的3D点云纹理复杂度预测模型为：
其中，
为预测点云的纹理复杂度，RP为属性比特率，线性方程的斜率S(Qs)和截距I(Qs)都随着量化步长Qs变化，计算方式如下：
S(Qs)＝a1Qs
i(Qs)＝c1ln(c2|Qs-c3|)+c4
其中a1、c1、c2、c3、c4为待定参数。
4.根据权利要求1所述基于比特流的无参考3D点云质量评估方法，其特征在于，S5中建立的点云属性失真评估模型为：
其中V为属性上失真后3D点云的客观质量预测分数，Qp为RAHT编码量化参数，f1、f2、f3、f4为模型待定参数，其中f2和f4与点云纹理复杂度
线性相关，计算方式如下：
其中h1、h2、j1、j2为待定参数，本模型所有参数均基于3D点云训练样本集通过Logistic曲线拟合训练得到。
5.根据权利要求1所述基于比特流的无参考3D点云质量评估方法，其特征在于，S6中构建的点云几何失真衰减模型为：
其中A(Bp)表示几何Trisoup量化参数的衰减值，l1、l2、l3为待定参数，Bp为几何Trisoup编码的blocksize量化参数。
6.根据权利要求1所述基于比特流的无参考3D点云质量评估方法，其特征在于，S7中所述融合的方法为：
Vpre＝Vα×Aβ(Bp)
其中Vpre表示失真3D点云的客观质量预测得分，V为点云属性失真评估值，A(Bp)为点云几何失真衰减值，α、β为融合系数，均为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011532819.4A CN112637594B (zh) | 2020-12-23 | 2020-12-23 | 一种基于比特流的无参考3d点云质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011532819.4A CN112637594B (zh) | 2020-12-23 | 2020-12-23 | 一种基于比特流的无参考3d点云质量评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112637594A CN112637594A (zh) | 2021-04-09 |
| CN112637594B true CN112637594B (zh) | 2023-05-26 |
Family
ID=75321257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011532819.4A Active CN112637594B (zh) | 2020-12-23 | 2020-12-23 | 一种基于比特流的无参考3d点云质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112637594B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188350A (zh) * | 2021-11-26 | 2023-05-30 | 中兴通讯股份有限公司 | 点云质量评价方法、设备和存储介质 |
| CN114299043B (zh) * | 2021-12-30 | 2023-04-18 | 广州极飞科技股份有限公司 | 点云质量评估方法、装置、电子设备和存储介质 |
| WO2023245981A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京大学深圳研究生院 | 一种点云的压缩方法、装置、电子设备及存储介质 |
| CN114782564B (zh) * | 2022-06-21 | 2022-09-09 | 北京大学深圳研究生院 | 一种点云的压缩方法、装置、电子设备及存储介质 |
| CN117372325A (zh) * | 2023-02-17 | 2024-01-09 | 中国科学院深圳先进技术研究院 | 基于投影和多尺度特征的点云质量评价方法及相关装置 |
| CN116137059B (zh) * | 2023-04-17 | 2024-04-26 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108184117A (zh) * | 2018-01-10 | 2018-06-19 | 北京工业大学 | 基于内容的比特流层视频质量评价模型 |
| EP3373583A1 (en) * | 2017-03-07 | 2018-09-12 | Thomson Licensing | Quality metric for point clouds |
| CN111182292A (zh) * | 2020-01-05 | 2020-05-19 | 西安电子科技大学 | 无参考视频质量评估方法、系统、视频接收器、智能终端 |
| CN111707668A (zh) * | 2020-05-28 | 2020-09-25 | 武汉武大卓越科技有限责任公司 | 基于序列图像的隧道检测及图像处理方法 |
-
2020
- 2020-12-23 CN CN202011532819.4A patent/CN112637594B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3373583A1 (en) * | 2017-03-07 | 2018-09-12 | Thomson Licensing | Quality metric for point clouds |
| CN108184117A (zh) * | 2018-01-10 | 2018-06-19 | 北京工业大学 | 基于内容的比特流层视频质量评价模型 |
| CN111182292A (zh) * | 2020-01-05 | 2020-05-19 | 西安电子科技大学 | 无参考视频质量评估方法、系统、视频接收器、智能终端 |
| CN111707668A (zh) * | 2020-05-28 | 2020-09-25 | 武汉武大卓越科技有限责任公司 | 基于序列图像的隧道检测及图像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Condition-based Intra Prediction Algorithm for H.264/AVC;Jia-wei Chen ET AL;《2006 IEEE International Conference on Multimedia and Expo》;20061226;全文 * |
| 刘海 ; 杨环 ; 潘振宽 ; 黄宝香 ; 侯国家.基于生成感知差异的无参考图像质量评价模型.《计算机工程》.2020, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112637594A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112637594B (zh) | 一种基于比特流的无参考3d点云质量评估方法 | |
| US11310509B2 (en) | Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA) | |
| CN109286825B (zh) | 用于处理视频的方法和装置 | |
| WO2021244363A1 (zh) | 点云压缩方法、编码器、解码器及存储介质 | |
| US11494948B2 (en) | Point cloud geometric compression method based on depth auto-encoder | |
| US9282330B1 (en) | Method and apparatus for data compression using content-based features | |
| CN110751649B (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
| US20040006644A1 (en) | Method and device for selecting a transcoding method among a set of transcoding methods | |
| CN110944200B (zh) | 一种评估沉浸式视频转码方案的方法 | |
| CN110136057B (zh) | 一种图像超分辨率重建方法、装置及电子设备 | |
| CN103501438B (zh) | 一种基于主成分分析的内容自适应图像压缩方法 | |
| CN112399176A (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| CN113132727B (zh) | 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法 | |
| Guarda et al. | Deep learning-based point cloud coding: A behavior and performance study | |
| CN115063492B (zh) | 一种抵抗jpeg压缩的对抗样本的生成方法 | |
| CN104023216A (zh) | 人脸视频压缩方法 | |
| CN107113426B (zh) | 使用广义图形参数执行基于图形的变换的方法和设备 | |
| CN117478886A (zh) | 多媒体数据编码方法、装置、电子设备及存储介质 | |
| CN114650421A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| Fatima et al. | Grey is the new RGB: How good is GAN-based image colorization for image compression? | |
| CN115314701A (zh) | 一种v-pcc编码点云感知质量评估方法 | |
| Kalatehjari et al. | A new reduced-reference image quality assessment based on the SVD signal projection | |
| CN115567712A (zh) | 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置 | |
| Váša et al. | Error propagation control in Laplacian mesh compression | |
| Xiao et al. | No-reference quality assessment of stereoscopic video based on deep frequency perception |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |