CN108235018B - 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 - Google Patents

一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 Download PDF

Info

Publication number
CN108235018B
CN108235018B CN201711336351.XA CN201711336351A CN108235018B CN 108235018 B CN108235018 B CN 108235018B CN 201711336351 A CN201711336351 A CN 201711336351A CN 108235018 B CN108235018 B CN 108235018B
Authority
CN
China
Prior art keywords
coding
point cloud
submodule
distortion
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711336351.XA
Other languages
English (en)
Other versions
CN108235018A (zh
Inventor
王苫社
徐逸群
马思伟
罗法蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Institute of Computing Technology of CAS
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201711336351.XA priority Critical patent/CN108235018B/zh
Priority to PCT/CN2017/117857 priority patent/WO2019114024A1/zh
Publication of CN108235018A publication Critical patent/CN108235018A/zh
Application granted granted Critical
Publication of CN108235018B publication Critical patent/CN108235018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置，属于点云数字信号处理领域。所述方法包括：对点云数据进行离线训练得到拉格朗日乘子模型；将点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；根据拉格朗日乘子模型及各编码结果，筛选出不同模式中的最优模式。本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时基于训练得到的拉格朗日乘子模型在不同的映射模式中确定最优模式，提高了编码性能，提升了点云数据的整体编码效果。

Description

一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
技术领域
本发明涉及点云数字信号处理领域，尤其涉及一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置。
背景技术
对比多路纹理加深度的数据格式，三维点云是一种更加高效的数据表示形式，其由大量的三维无序点组成，每一个点包括位置信息(X，Y，Z)以及若干属性信息(颜色，法向量等)。三维点云在自由视点渲染方面具有数据量小，处理方便等优点；同时，随着计算机硬件及算法的不断发展，三维点云数据的获取也越来越方便，为了方便的对点云数据进行存储与传输，点云压缩技术逐渐成为人们关注的焦点。
MPEG(Moving Pictures Experts Group/Motion Pictures Experts Group，动态图像专家组)成立工作组3DG，对于点云编码方案做了研究和征集，可参见以下文献1；MP3DG-PCC是MPEG推荐的一个点云编码软件，对于点云的位置信息以及颜色信息进行编码，可参见以下文献2；其中，对于颜色信息进行编码时，首先进行映射，即采用单种映射方式将三维的点云信息，映射到二维平面，如图1所示，其中虚线内的点为映射时的起点，然后通过JPEG对于映射后的点云颜色信息进行编码。然而，对于不同的点云数据，单种映射方式无法充分利用点云数据间的相关性，从而响应了点云数据整体的编码效果。再者，在现有的视频编码中，拉格朗日优化算法被大量的应用于模式决策中，可参见以下文献3和文献4，然而，并没有一种基于点云数据的决策模型，即没有一种基于点云数据特征的拉格朗日乘子模型，因而即使采用多种映射方式对点云数据进行映射，也无法确定其中最优的模式。
文献1：“Draft call for proposals for point cloud compression,”in ISO/IECJTC1/SC29/WG11(MPEG)output document N16538,Oct.2016.
文献2：R.Mekuria,K.Blom,and P.Cesar,“Design,implementationandevaluation of a point cloud codec for tele-immersive video,”IEEETransactions on Circuits and Systems for Video Technology,vol.PP,no.99,pp.1–1,2016.
文献3：G.J.Sullivan and T.Wiegand,“Rate-distortion optimization forvideocompression,”IEEE Signal Processing Magazine,vol.15,no.6,pp.74–90,1998.
文献4：J.Liu,Y.Cho,Z.Guo,and J.Kuo,“Bit allocation for spatialscalabilitycodingof h.264/svc with dependent rate-distortion analysis,”IEEETransactions on Circuits and Systems for Video Technology,vol.20,no.7,pp.967–981,2010.
发明内容
为解决现有技术的不足，本发明提供一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置。
一方面，本发明提供了一种基于拉格朗日乘子模型的点云帧内编码优化方法，包括：
步骤S1：对点云数据进行离线训练得到拉格朗日乘子模型；
步骤S2：将所述点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；
步骤S3：根据所述拉格朗日乘子模型及所述各编码结果，筛选出所述不同模式中的最优模式。
可选地，所述步骤S1，具体包括：
步骤S1-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
步骤S1-2：根据所述拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；
步骤S1-3：在预设编码软件中，设置预设数量的编码质量参数后，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
步骤S1-4：对所述预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
可选地，所述步骤S2，具体包括：
步骤S3-1：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
步骤S3-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
可选地，所述步骤S3，具体包括：
步骤S4-1：根据所述预设编码质量参数和所述拉格朗日乘子模型计算对应的拉格朗日乘子；
步骤S4-2：根据计算得到的拉格朗日乘子、所述失真代价的计算公式及所述各第二失真和码率组合，计算对应的各模式的失真代价；
步骤S4-3：比对所述各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
另一方面，本发明提供一种基于拉格朗日乘子模型的点云帧内编码优化装置，包括：
离线训练模块，用于对点云数据进行离线训练得到拉格朗日乘子模型；
映射模块，用于将所述点云数据按照不同模式分别进行映射，得到不同的映射数据；
编码模块，用于对所述映射模块得到的各映射数据分别进行独立编码得到对应的各编码结果；
筛选模块，用于根据所述离线训练模块得到的拉格朗日乘子模型及所述编码模块得到的各编码结果，筛选出所述不同模式中的最优模式。
可选地，所述离线训练模块，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块；
所述转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
所述变换子模块，用于根据所述转换子模块得到的拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；
所述设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；
所述编码子模块，用于根据所述设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
所述拟合子模块，用于对所述编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对所述变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
可选地，所述映射模块，具体用于：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
可选地，所述编码模块，用于根据预设编码质量参数对所述映射模块得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
可选地，所述筛选模块，具体包括：第一计算子模块、第二计算子模块和比对子模块；
所述第一计算子模块，用于根据所述预设编码质量参数和所述离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；
所述第二计算子模块，用于根据所述第一计算子模块计算的拉格朗日乘子、所述失真代价的计算公式及所述编码模块得到的各第二失真和码率组合，计算对应的各模式的失真代价；
所述比对子模块，用于比对所述第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
本发明的优点在于：
本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时，通过对点云数据进行离线训练，得到拉格朗日乘子模型，并对不同模式映射后的点云数据分别进行编码得到对应的编码结果(失真和码率组合)，基于训练得到的拉格朗日乘子模型(λ-Q模型)以及各编码结果确定不同映射模式的失真代价，进而根据各失真代价在不同映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为现有技术中对点云数据的颜色信息进行编码时的映射方式示意图；
附图2为本发明提供的一种基于拉格朗日乘子模型的点云帧内编码决策方法流程图；
附图3为本发明提供的各第一失真和码率组合的示意图；
附图4为本发明提供的对变换后的拉格朗日乘子表达式进行数据拟合的结果示意图；
附图5为本法发明提供的对点云数据的颜色信息进行编码时的映射方式示意图；
附图6和附图7为本发明中的方法与MP3DG-PCC编码方法的性能比对图；
附图8为本发明提供的一种基于拉格朗日乘子模型的点云帧内编码决策装置模块组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
根据本发明的实施方式，提供一种基于拉格朗日乘子模型的点云帧内编码优化方法，如图2所示，包括：
步骤101：对点云数据进行离线训练得到拉格朗日乘子模型；
根据本发明的实施方式，步骤101，具体包括：
步骤101-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
本发明中，从视频编码领域引入拉格朗日优化方法，将编码得到编码结果，即失真和码率，作为编码性能的评价指标计算失真代价，其中，失真代价的计算公式，具体为J＝D+λR，其中，J为失真代价(Rate-Distortion cost，简称RD cost)，D为失真，R为码率，λ为拉格朗日乘子；
步骤101-1具体为：将失真代价的计算公式对λ求导，得到从而可得拉格朗日乘子λ的表达式为：
步骤101-2：根据拉格朗日乘子表达式的几何含义，对拉格朗日乘子表达式进行变换；
具体地，由于失真和码率属于不同的维度，通过编码得到的一个失真和码率组合对应于一个点，且失真为点的纵坐标，码率为点的横坐标；因而拉格朗日乘子λ的表达式的几何含义为RD曲线的斜率，从而对拉格朗日乘子的表达式进行变换为：即相邻两个点的纵坐标之差与横坐标之差的比。
步骤101-3：在预设编码软件配置中，设置预设数量的编码质量参数后，对点云数据进行编码，得到相应预设数量的第一失真和码率组合；
其中，预设编码软件，具体为MP3DG-PCC编码软件，预设数量介于1至100之间，可以根据需求自行设定；
其中，每个失真即，每一个失真为R、G、B三个通道失真的平均值；
例如，在本实施例中，预设数量为25，分别对名称为Facade_00009、Shiva_00035、Stanford_Area_2的点云帧进行编码，得到的各第一失真和码率组合如图3所示。
步骤101-4：对得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
具体地，预设数量的第一失真和码率组合对应了预设数量的点，分别计算相邻两点之间的斜率，得到“预设数量-1”个斜率，并使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
在本实施例中，得到的拉格朗日乘子模型(λ-Q模型)，具体为：λQ＝αQβ，其中，λQ为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值，其中α＝0.7121，β＝-1.002。
例如，在本实施例中，使用对名称为Facade_00009、Shiva_00035、Stanford_Area_2的点云帧进行编码得到的各第一失真和码率组合对变换后的拉格朗日乘子表达式进行数据拟合，其结果如图4所示。
步骤102：将点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；
根据本发明的实施方式，步骤102，具体包括：
步骤102-1：将点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
优选地，在本实施例中，按照深度优先的原则，将点云数据按照8种不同模式分别映射到8*8的网格中，如图5所示，得到不同的8种映射数据，其中，虚线内的点为映射时的起点。
进一步地，在本实施例中，将点云数据按照某一模式进行映射时，当一个8*8的网格映射完成时，如仍有尚未映射的点云数据，则将该8*8的网格作为第一排的第一个网格，并按照从左到右的顺序，继续在第一个网格的右侧，依次排布下一个8*8的网格，直至排满256个点时，进行下一排的排布，即最终得到一个N*256的照片，其中，N是排的数量。
本发明中，提供多种不同的映射方式，相比于现有的单模式映射，提供了更多的编码选择。
步骤102-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
具体地，在本实施例中，根据预设编码质量参数对得到的8种不同的映射数据分别进行独立的JPEG编码，得到对应的8个编码结果，即对应的8个第二失真和码率组合。
步骤103：根据拉格朗日乘子模型及得到的各编码结果，筛选出不同模式中的最优模式。
根据本发明的实施方式，步骤103，具体包括：
步骤103-1：根据预设编码质量参数和拉格朗日乘子模型计算对应的拉格朗日乘子；
具体地，将预设编码质量参数带入拉格朗日乘子模型λQ＝αQβ中，其中α＝0.7121，β＝-1.002，计算预设编码质量参数对应的拉格朗日乘子。
步骤103-2：根据计算得到的拉格朗日乘子、失真代价的计算公式及各第二失真和码率组合，计算对应的各模式的失真代价；
在本实施例中，由于按照多种不同的模式进行映射，故失真代价的计算公式J＝D+λR，可以进一步表示为J(mi)＝D(mi)+λR(mi)，其中，J(mi)为在映射模式mi下的失真代价，D(mi)为在映射模式mi下的失真，R(mi)为在映射模式mi下的码率；
具体地，分别将计算得到的拉格朗日乘子和各第二失真和码率组合，通过公式J(mi)＝D(mi)+λR(mi)计算出映射模式mi下的失真代价。
步骤103-3：比对得到的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
具体地，比对得到的8个失真代价，并将最小失真代价对应的映射模式作为最优模式，即得到最优的编码模式。
本发明中，通过将编码结果，即失真和码率组合作为编码性能的评价指标，进行各映射模式的失真代价计算，进而在各映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。
进一步地，为体现本发明技术方案的优势，如图6和图7所示，分别给出了使用本发明中的方法与现有的方法MP3DG-PCC在中高码率(编码质量参数QF为{85，75，65，55})和中低码率(编码质量参数QF为{55，45，35，25})上，对名称为Egyptian_mask、Landscape(00014)…Standford_Area4的点云帧在R、G、B三个通道上进行编码的性能对比结果，其中的数据表明，本发明中的方法要好于现有的MP3DG-PCC方法，并且数值越大，表明本发明中的方法相对于现有的方法越好。
实施例二
根据本发明的实施方式，提供一种基于拉格朗日乘子模型的点云帧内编码优化装置，如图8所示，包括：
离线训练模块201，用于对点云数据进行离线训练得到拉格朗日乘子模型；
映射模块202，用于将点云数据按照不同模式分别进行映射，得到不同的映射数据；
编码模块203，用于对映射模块202得到的各映射数据分别进行独立编码得到对应的各编码结果；
筛选模块204，用于根据离线训练模块201得到的拉格朗日乘子模型及编码模块203得到的各编码结果，筛选出不同模式中的最优模式。
根据本发明的实施方式，离线训练模块201，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块，其中：
转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
根据本发明的实施方式，失真代价的计算公式，具体为J＝D+λR，其中，J为失真代价(Rate-Distortion cost，简称RD cost)，D为失真，R为码率，λ为拉格朗日乘子；
在本实施例中，转换子模块，具体用于：将失真代价的计算公式对λ求导，得到进而可得拉格朗日乘子λ的表达式为：
变换子模块，用于根据转换子模块得到的拉格朗日乘子表达式的几何含义，对拉格朗日乘子表达式进行变换；
根据本发明的实施方式，由于失真和码率属于不同的维度，通过编码得到的一个失真和码率组合对应于一个点，且失真为点的纵坐标，码率为点的横坐标；因而拉格朗日乘子λ的表达式的几何含义为RD曲线的斜率；
对应地，变换子模块，具体用于：将拉格朗日乘子的表达式变换为：即相邻两个点的纵坐标之差与横坐标之差的比。
设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；
其中，预设编码软件，具体为MP3DG-PCC编码软件，预设数量可以根据需求自行设定；
编码子模块，用于根据设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
拟合子模块，用于对编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
在本实施例中，拟合子模块得到的拉格朗日乘子模型，具体为：λQ＝αQβ，其中，λQ为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值，其中α＝0.7121，β＝-1.002。
根据本发明的实施方式，映射模块202，具体用于：将点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
更加具体地，映射模块202，用于按照深度优先的原则，将点云数据按照8种不同模式分别映射到8*8的网格中，得到不同的8种映射数据。
根据本发明的实施方式，编码模块203，具体用于：根据预设编码质量参数对映射模块202得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
更加具体地，编码模块203，用于根据预设编码质量参数对映射模块202得到的8种不同的映射数据分别进行独立的JPEG编码，得到对应的8个编码结果，即对应的8个第二失真和码率组合。
根据本发明的实施方式，筛选模块204，具体包括：第一计算子模块、第二计算子模块和比对子模块，其中：
第一计算子模块，用于根据预设编码质量参数和离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；
第二计算子模块，用于根据第一计算子模块计算的拉格朗日乘子、失真代价的计算公式及编码模块203得到的各第二失真和码率组合，计算对应的各模式的失真代价；
比对子模块，用于比对第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
其中；第一计算子模块，具体用于：将预设编码质量参数带入离线训练模块201得到的拉格朗日乘子模型λQ＝αQβ中，计算预设编码质量参数对应的拉格朗日乘子；
进一步地，在本实施例中，由于按照多种不同的模式进行映射，故失真代价的计算公式J＝D+λR，可以进一步表示为J(mi)＝D(mi)+λR(mi)，其中，J(mi)为在映射模式mi下的失真代价，D(mi)为在映射模式mi下的失真，R(mi)为在映射模式mi下的码率；
对应地，第二计算子模块，具体用于：将第一计算子模块得到的拉格朗日乘子和编码模块203得到的各第二失真和码率组合，通过公式J(mi)＝D(mi)+λR(mi)计算出映射模式mi下的失真代价。
本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时，通过对点云数据进行离线训练，得到拉格朗日乘子模型，并对不同模式映射后的点云数据分别进行编码得到对应的编码结果(失真和码率组合)，基于训练得到的拉格朗日乘子模型(λ-Q模型)以及各编码结果确定不同映射模式的失真代价，进而根据各失真代价在不同映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种基于拉格朗日乘子模型的点云帧内编码优化方法，其特征在于，包括：
步骤S1：对点云数据进行离线训练得到拉格朗日乘子模型；
步骤S2：将所述点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；所述编码结果为第二失真和码率组合；
步骤S3：根据所述拉格朗日乘子模型及所述各编码结果，筛选出所述不同模式中的最优模式；
所述步骤S1，具体包括：
步骤S1－1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
步骤S1－2：根据所述拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换为即相邻两个点的纵坐标之差与横坐标之差的比；其中，D为失真，R为码率；
步骤S1－3：在预设编码软件配置中，设置预设数量的编码质量参数后，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
步骤S1－4：对所述预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型为λQ＝αQβ，其中，λQ为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值；
所述步骤S3，具体包括：
步骤S3－1：根据所述预设编码质量参数和所述拉格朗日乘子模型计算对应的拉格朗日乘子；
步骤S3－2：根据计算得到的拉格朗日乘子、所述失真代价的计算公式及所述各第二失真和码率组合，计算对应的各模式的失真代价；
步骤S3－3：比对所述各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2，具体包括：
步骤S2－1：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
步骤S2－2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
3.一种基于拉格朗日乘子模型的点云帧内编码优化装置，其特征在于，包括：
离线训练模块，用于对点云数据进行离线训练得到拉格朗日乘子模型；
所述离线训练模块，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块；
所述转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
所述变换子模块，用于根据所述拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换为即相邻两个点的纵坐标之差与横坐标之差的比；其中，D为失真，R为码率；
所述设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；
所述编码子模块，用于根据所述设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
所述拟合子模块，用于对所述编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对所述变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型为λQ＝αQβ，其中，λQ为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值；
映射模块，用于将所述点云数据按照不同模式分别进行映射，得到不同的映射数据；
编码模块，用于对所述映射模块得到的各映射数据分别进行独立编码得到对应的各编码结果；所述编码结果为第二失真和码率组合；
筛选模块，用于根据所述离线训练模块得到的拉格朗日乘子模型及所述编码模块得到的各编码结果，筛选出所述不同模式中的最优模式；
所述筛选模块，具体包括：第一计算子模块、第二计算子模块和比对子模块；
所述第一计算子模块，用于根据所述预设编码质量参数和所述离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；
所述第二计算子模块，用于根据所述第一计算子模块计算的拉格朗日乘子、所述失真代价的计算公式及所述编码模块得到的各第二失真和码率组合，计算对应的各模式的失真代价；
所述比对子模块，用于比对所述第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
4.根据权利要求3所述的装置，其特征在于，
所述映射模块，具体用于：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
所述编码模块，用于根据预设编码质量参数对所述映射模块得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
CN201711336351.XA 2017-12-13 2017-12-13 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 Active CN108235018B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711336351.XA CN108235018B (zh) 2017-12-13 2017-12-13 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
PCT/CN2017/117857 WO2019114024A1 (zh) 2017-12-13 2017-12-21 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711336351.XA CN108235018B (zh) 2017-12-13 2017-12-13 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置

Publications (2)

Publication Number Publication Date
CN108235018A CN108235018A (zh) 2018-06-29
CN108235018B true CN108235018B (zh) 2019-12-27

Family

ID=62652099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711336351.XA Active CN108235018B (zh) 2017-12-13 2017-12-13 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置

Country Status (2)

Country Link
CN (1) CN108235018B (zh)
WO (1) WO2019114024A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187191A1 (zh) * 2019-03-19 2020-09-24 华为技术有限公司 点云编解码方法及编解码器
WO2022061786A1 (zh) * 2020-09-25 2022-03-31 Oppo广东移动通信有限公司 点云编码方法及相关装置
CN112437301B (zh) * 2020-10-13 2021-11-02 北京大学 一种面向视觉分析的码率控制方法、装置、存储介质及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079933A (zh) * 2014-07-09 2014-10-01 上海君观信息技术有限公司 适用于hevc的低延时码率控制方法及比特数分配方法
CN105093925A (zh) * 2015-07-15 2015-11-25 山东理工大学 一种基于被测地形特点的机载激光雷达参数实时自适应调整方法与装置
CN106485676A (zh) * 2016-09-29 2017-03-08 天津大学 一种基于稀疏编码的LiDAR点云数据修复方法
CN106713935A (zh) * 2017-01-09 2017-05-24 杭州电子科技大学 一种基于贝叶斯决策的hevc块划分快速方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217671B (zh) * 2008-01-09 2011-02-16 武汉大学 自适应选择h.264视频标准中灵活宏块排序模式的方法
CN101778275B (zh) * 2009-01-09 2012-05-02 深圳市融创天下科技股份有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
US8811758B2 (en) * 2011-12-18 2014-08-19 Numerica Corporation Lossy compression of data points using point-wise error constraints
CN102647591B (zh) * 2012-04-17 2014-07-02 中国科学院声学研究所 基于ssim评价的容错率失真优化视频编码方法
CN103220532B (zh) * 2013-05-02 2016-08-10 清华大学 立体视频的联合预测编码方法及系统
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN107040782B (zh) * 2017-04-21 2019-10-01 上海电力学院 基于拉格朗日方法的视频编码全局率失真优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079933A (zh) * 2014-07-09 2014-10-01 上海君观信息技术有限公司 适用于hevc的低延时码率控制方法及比特数分配方法
CN105093925A (zh) * 2015-07-15 2015-11-25 山东理工大学 一种基于被测地形特点的机载激光雷达参数实时自适应调整方法与装置
CN106485676A (zh) * 2016-09-29 2017-03-08 天津大学 一种基于稀疏编码的LiDAR点云数据修复方法
CN106713935A (zh) * 2017-01-09 2017-05-24 杭州电子科技大学 一种基于贝叶斯决策的hevc块划分快速方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Point Cloud Glue: Constraining simulations using the Procrustes transform";Christopher D.等;《Eurographics/ ACM SIGGRAPH Symposium on Computer Animation》;20101230;全文 *

Also Published As

Publication number Publication date
CN108235018A (zh) 2018-06-29
WO2019114024A1 (zh) 2019-06-20

Similar Documents

Publication Publication Date Title
CN106131547B (zh) 视频编码中帧内预测模式的快速决策方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN108235018B (zh) 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
CN106937116B (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN104715496B (zh) 云环境下基于三维点云模型的图像预测方法、系统及装置
CN104853191B (zh) 一种hevc的快速编码方法
CN104754359B (zh) 一种二维自由视点视频的深度图编码失真预测方法
CN101674472A (zh) 多视点视频编码的多级码率控制方法
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN101404766B (zh) 一种多视点视频信号的编码方法
CN110557646B (zh) 一种智能视点间的编码方法
Jia et al. Convolutional neural network-based occupancy map accuracy improvement for video-based point cloud compression
CN103037218A (zh) 一种基于分形和h.264的多目立体视频压缩与解压缩方法
Wang et al. A fast intra prediction algorithm for 360-degree equirectangular panoramic video
CN108200431A (zh) 一种视频编码码率控制帧层比特分配方法
CN104811729B (zh) 一种视频多参考帧编码方法
CN103051894A (zh) 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN107483931B (zh) 一种基于显著度的hevc帧内编码深度划分快速决策方法
Xu et al. Rate-distortion optimized scan for point cloud color compression
CN101980536B (zh) 一种基于对象和分形的多目立体视频压缩编解码方法
CN104333755B (zh) HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法
CN101568038B (zh) 基于视差/运动联合估计的多视点容错编码框架
CN117440158B (zh) 基于三维几何失真的miv沉浸式视频编码率失真优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Xu Yiqun

Inventor after: Wang Shanshe

Inventor after: Ma Siwei

Inventor after: Luo Falei

Inventor before: Wang Shanshe

Inventor before: Xu Yiqun

Inventor before: Ma Siwei

Inventor before: Luo Falei

CB03 Change of inventor or designer information
TR01 Transfer of patent right

Effective date of registration: 20220321

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Patentee after: Institute of computing technology, Chinese Academy of Sciences

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

TR01 Transfer of patent right