CN117372325A - 基于投影和多尺度特征的点云质量评价方法及相关装置 - Google Patents

基于投影和多尺度特征的点云质量评价方法及相关装置 Download PDF

Info

Publication number
CN117372325A
CN117372325A CN202310162917.0A CN202310162917A CN117372325A CN 117372325 A CN117372325 A CN 117372325A CN 202310162917 A CN202310162917 A CN 202310162917A CN 117372325 A CN117372325 A CN 117372325A
Authority
CN
China
Prior art keywords
texture
image
point cloud
geometric
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310162917.0A
Other languages
English (en)
Inventor
丁克勤
张云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202310162917.0A priority Critical patent/CN117372325A/zh
Priority to PCT/CN2023/137616 priority patent/WO2024169360A1/zh
Publication of CN117372325A publication Critical patent/CN117372325A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于投影和多尺度特征的点云质量评价方法及相关装置，方法包括基于参考点云和失真点云确定预设数量的图像组；以图像块为单位计算纹理梯度权重集及几何梯度权重集；基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，基于各图像组及各图像组的几何梯度权重集计算几何质量分数；基于纹理质量分数和几何质量分数计算失真点云的质量分数。本申请通过补片投影确定图像组，然后获取不同尺度的图像组的分块梯度权重系数，并基于不同尺度的分块梯度权重系数和多尺度特征来确定质量分数，这样一方面可以发掘多尺度的视觉特性，另一方可以有效反映出视觉重要性，从而可以提高点云质量评价的性能。

Description

基于投影和多尺度特征的点云质量评价方法及相关装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种基于投影和多尺度特征的点云质量评价方法及相关装置。
背景技术
与经典的2D图像或视频相比，3D视觉表示可以提供身临其境的体验，是未来虚拟内容和现实世界产生互动的一个重要方向。基于3D视觉表示的优越性，促使沉浸式3D媒体在许多领域的应用，如虚拟电话会议、沉浸式体育和教育等。其中，由于点云媒体的采集设备(例如，距离传感器和多摄像机阵列等)、编码方式以及渲染技术的不断发展，点云成为一种重要的3D视觉表示格式。
点云可以完备的表示3D模型,但同时也会产生大量信息，这就使得对点云进行压缩是不可避免，以降低存储和传输的数据要求。然而，在对点云进行压缩时，会对点云噪声损失，而有损方案会导致视觉降级，从而影响模型的感知质量，进而影响用户体验。因此，对点云质量进行评估以确定在视觉质量和数据大小之间取得良好平衡的编码方式是至关重要的。但是，现有点云质量评价方法在对于压缩失真的点云进行评价时，会出现与主观评价结果相关度低的情况，从而无法很好的反应视觉感知，进而会影响编码方式的选取。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于投影和多尺度特征的点云质量评价方法及相关装置。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于投影和多尺度特征的点云质量评价方法，所述的方法包括：
基于参考点云和失真点云确定预设数量的图像组，其中，所述图像组均包括纹理参考图、几何参考图、纹理失真图以及几何失真图，且各图像组各自对应的图像尺度互不相同；
以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；
基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；
基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。
所述基于投影和多尺度特征的点云质量评价方法，其中，所述基于参考点云和失真点云确定预设数量的图像组具体包括：
投影生成参考点云对应的纹理参考图和几何参考图，以及失真点云对应的纹理失真图和几何失真图，以得到第一图像组；
对所述第一图像组中的各图像进行下采样操作以得到第二图像组；
对所述第二图像组中的各图像进行下采样操作以得到第三图像组；
依次类推直至得到第预设数量的图像组，以得到预设数量的图像组。
所述基于投影和多尺度特征的点云质量评价方法，其中，所述下采样操作为通过高斯金字塔进行的下采样操作。
所述基于投影和多尺度特征的点云质量评价方法，其中，所述以图像块为单位计算各图像组的纹理梯度权重集具体包括：
对于每组图像组，将该图像组中的纹理参考图转换为灰度纹理参考图；
按照预设划分方式将所述灰度纹理参考图划分为若干纹理参考图像块，并计算划分到的各纹理参考图像块中的像素点的像素梯度值；
基于各纹理参考图像块中的像素点的像素梯度值计算各纹理参考图像块的梯度值，以得到纹理梯度权重集。
所述基于投影和多尺度特征的点云质量评价方法，其中，所述基于各图像组及各图像组对应的纹理梯度权重集计算纹理质量分数具体包括：
对于每个图像组，按照预设划分方式分别将纹理参考图和纹理失真图划分为若干纹理参考图像块和若干纹理失真图像块，并基于各纹理参考图像块、图像组对应的纹理梯度权重集和各纹理失真图像块，计算所述图像组的纹理失真度，其中，纹理参考图像块分别与纹理失真图像块和纹理梯度权重集中的纹理图像块梯度权重一一对应；
基于各图像组的纹理失真度计算纹理质量分数。
所述基于投影和多尺度特征的点云质量评价方法，其中，所述纹理质量分数的计算公式为：
其中，QT表示纹理质量分数，K表示图像组的数量，βk表示第k个图像组的乘性系数，DTk表示第k组图像组的纹理失真度，i表示第i个纹理参考图像块，表示第k组图像组的第i个纹理参考图像块的纹理失真度。
所述基于投影和多尺度特征的点云质量评价方法，其中，所述基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数具体为：
将所述纹理质量分数和所述几何质量分数进行加权，以得到所述失真点云对应的质量分数。
本申请实施例第二方面提供了一种基于投影和多尺度特征的点云质量评价系统，所述的系统包括：
投影模块，用于基于参考点云和失真点云确定预设数量的图像组，其中，所述图像组均包括纹理参考图、几何参考图、纹理失真图以及几何失真图，且各图像组各自对应的图像尺度互不相同；
权重确定模块，用于以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；
第一计算模块，用于基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；
第二计算模块，用于基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于投影和多尺度特征的点云质量评价方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于投影和多尺度特征的点云质量评价方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于投影和多尺度特征的点云质量评价方法及相关装置，方法包括基于参考点云和失真点云确定预设数量的图像组；以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。本申请通过补片投影确定图像组，然后获取不同尺度的图像组的分块梯度权重系数，并基于不同尺度的分块梯度权重系数和多尺度特征来确定质量分数，这样一方面可以发掘多尺度的视觉特性，另一方可以有效反映出视觉重要性，从而可以提高点云质量评价的性能，并且使得点云质量评价方法更适合点云编码。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于投影和多尺度特征的点云质量评价方法的流程图。
图2为本申请提供的基于投影和多尺度特征的点云质量评价方法的原来流程图。
图3为一图像组的纹理参考图像块的梯度值构成的梯度图。
图4为一图像组的纹理参考图像块的梯度值构成的梯度图。
图5为一图像组的纹理参考图像块的梯度值构成的梯度图。
图6为一图像组的几何参考图像块的梯度值构成的梯度图。
图7为一图像组的几何参考图像块的梯度值构成的梯度图。
图8为一图像组的几何参考图像块的梯度值构成的梯度图。
图9为本申请提供的基于投影和多尺度特征的点云质量评价系统的结构原理图。
图10为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种基于投影和多尺度特征的点云质量评价方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
经过研究发现，与经典的2D图像或视频相比，3D视觉表示可以提供身临其境的体验，是未来虚拟内容和现实世界产生互动的一个重要方向。基于3D视觉表示的优越性，促使沉浸式3D媒体在许多领域的应用，如虚拟电话会议、沉浸式体育和教育等。其中，由于点云媒体的采集设备(例如，距离传感器和多摄像机阵列等)、编码方式以及渲染技术的不断发展，点云成为一种重要的3D视觉表示格式。
点云可以完备的表示3D模型,但同时也会产生大量信息，这就使得对点云进行压缩是不可避免，以降低存储和传输的数据要求。然而，在对点云进行压缩时，会对点云噪声损失，而有损方案会导致视觉降级，从而影响模型的感知质量，进而影响用户体验。因此，对点云质量进行评估以确定在视觉质量和数据大小之间取得良好平衡的编码方式是至关重要的。
为解决这一问题，点云质量评估(PCQA)弥补了主客观质量得分之间的差距，已成为点云处理和压缩领域的研究热点之一。Meynet等人提出了一种点云质量度量(PCQM)，它将基于几何的特征(曲率)和基于颜色的特征(亮度、色度和色调)加权组合在一起。Alexiou等人提出通过度量点云属性的结构相似度和局部拓扑度来反映点云属性的质量。Yang等人提出了一种基于图的PCQA，称为GraphSIM，它从重采样的点云关键点生成图形，然后比较参考点云和变形点云的图形相似度。Wu等人提出了一种基于面片投影的评价方法，称为SIAT_PCQA，它根据法线向量将3D点云投影到多个2D面片上，然后用现有2D评价方法进行测量。L等人其结合基于区域的几何失真和基于投影的颜色特征来联合预测感知质量，成为BQE-CVP。
虽然目前已经有需要点云质量评价方法，但是现有点云质量评价方法在对于压缩失真的点云进行评价时，一方面会出现与主观评价结果相关度低的情况，从而无法很好的反应视觉感知；另一方面对投影产生的点云投影几何图、纹理图进行质量评价的时候，直接在投影之后的平面图像上进行质量评价，而主观测试者实际看到的内容是三维呈现的点云图像，从而导致主客观评价对象的不一致。
为了解决上述问题，在本申请实施例中，基于参考点云和失真点云确定预设数量的图像组；以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。本申请通过补片投影确定图像组，然后获取不同尺度的图像组的分块梯度权重系数，并基于不同尺度的分块梯度权重系数和多尺度特征来确定质量分数，这样一方面可以发掘多尺度的视觉特性，另一方可以有效反映出视觉重要性，从而可以提高点云质量评价的性能，并且使得点云质量评价方法更适合点云编码。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种基于投影和多尺度特征的点云质量评价方法，如图1所示，所述方法包括：
S10、基于参考点云和失真点云确定预设数量的图像组。
具体地，预设数量的图像组中的每个图像组均包括纹理参考图、几何参考图、纹理失真图以及几何失真图，并且各图像组各自对应的图像尺度互不相同。其中，各图像组各自对应的图像尺度互不相同指的是任意两个图像组中，两个图像组中的纹理失真图的图像尺度不同，几何失真图的图像尺度不同，纹理参考图的图像尺度不同，以及几何参考图的图像尺度不同。此外，每个图像组中的纹理参考图、几何参考图、纹理失真图以及几何失真图的图像尺度相同。
在一个实现方式中，所述基于参考点云和失真点云确定预设数量的图像组具体包括：
投影生成参考点云对应的纹理参考图和几何参考图，以及失真点云对应的纹理失真图和几何失真图，以得到第一图像组；
对所述第一图像组中的各图像进行下采样操作以得到第二图像组；
对所述第二图像组中的各图像进行下采样操作以得到第三图像组；
依次类推直至得到第预设数量的图像组，以得到预设数量的图像组。
具体地，所述投影生成可以采用补片投影方法SIAT_PCQA，即通过补片投影方法确定纹理参考图、几何参考图、纹理失真图和几何失真图。所述补片投影的过程可以为：首先将失真点云相对于参考点云进行对应点匹配，然后再将参考点云和匹配后的失真点云进行补片分割和打包，以形成纹理参考图、几何参考图、纹理失真图和几何失真图，其中，纹理参考图、几何参考图、纹理失真图和几何失真图均为二维图像，并且纹理参考图、几何参考图、纹理失真图和几何失真图的图像尺度相同。例如，如图2所示，参考点云PCref和失真点云PCdist通过补片投影方法生成纹理参考图Tref，几何参考图Gref，纹理失真图Tdist和几何失真图Gdist。
进一步，在通过投影方式得到第一图像组后，对第一图像组中的纹理参考图、几何参考图、纹理失真图和几何失真图进行下采样操作，以得到第二图像组，其中，第二图像组中的各图像的图像尺度小于第一图像组中的各图像的图像尺度。同理，在获取到第二图像组后，对第二图像组中的纹理参考图、几何参考图、纹理失真图和几何失真图进行下采样操作，以得到到第三图像组，依次类推，得到预设数量的图像组。
在一个实现方式中，在对第一图像组、第二图像组、...、第预设数量-1图像组进行下采样操作时，可以采用高斯金字塔进行下采样操作，即将第一图像组中的纹理参考图、几何参考图、纹理失真图和几何失真图输入高斯金字塔，获取高斯金字塔各层的输出项，以得到第二图像组、第三图像组、...、第预设数量的图像组，其中，高斯金字塔的层数等于预设数量-1。可以理解的是，通过高斯金字塔的每一层，将该层输出项的分辨率降低为输入项的二分之一，例如，用k来表示不同的尺度，k＝1表示投影生成的第一图像组对应的图像尺度，k＝2表示对第一图像组进行下采样一次，下采样得到的第二图像组对应的图像尺度为第一图像组对应的图像尺度的二分之一，以此类推，以得到预设数量的图像组。
当然，在实际应用中，在通过投影生成第一图像组后，第二图像组、第三图像组、...、第预设数量图像组的获取方式还可以采用其他方式，例如，第二图像组通过对第一图像组进行2倍下采样得到的，第三图像组通过对第一图像组进行4倍下采样得到的，依次类推，得到预设数量图像组。此外，各图像组的图像尺度的对应关系也可以不同，例如，第一图像组对应的图像尺度为第二图像组对应的图像尺度3倍，第二图像组对应的图像尺度为第三图像组对应的图像尺度的3倍等。
S20、以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集。
具体地，以图像块为单位计算各图像组的纹理梯度权重集指的是将纹理参考图划分为若干纹理参考图像块，然后分别计算各纹理参考图像块的纹理图像块梯度权重，以得到纹理梯度权重集。可以理解的是，纹理梯度权重集包括若干纹理图像块梯度权重，若干纹理图像块梯度权重中的每个纹理图像块梯度权重对应纹理参考图中的一个图像块，并且各纹理图像块梯度权重各自对应的图像块互不相同。
在一个实现方式中，所述以图像块为单位计算各图像组的纹理梯度权重集具体包括：
对于每组图像组，将该图像组中的纹理参考图转换为灰度纹理参考图；
按照预设划分方式将所述灰度纹理参考图划分为若干纹理参考图像块，并计算划分到的各纹理参考图像块中的像素点的像素梯度值；
基于各纹理参考图像块中的像素点的像素梯度值计算各纹理参考图像块的梯度值，以得到纹理梯度权重集。
具体地，所述纹理参考图像为三通道的RGB图像，灰度纹理参考图为单通道的灰度图像，也就说，将纹理参考图从三通道RGB空间转换到单通道的灰度空间。预设划分方式为预先设置的，用于将灰度纹理参考图划分为若干纹理参考图像块，其中，预设划分方式可以为按照预设数量进行划分，也可以是，以预设尺寸为单元进行划分等。在一个实现方式中，预设划分方式为按照预设数量进行划分，即将纹理参考图等分为预设数量的纹理参考图像块。
在划分得到纹理参考图像块后，计算纹理参考图像块中每个像素点的像素梯度值，像素梯度值包括水平方向梯度和竖直方向梯度，水平方向梯度和竖直方向梯度的计算公式分别为：
其中，FH表示水平方向的梯度算子，Ii表示第i个纹理参考图像块，尺寸大小为M×N，j代表纹理参考图像块中的第j个像素点。
进一步，在得到各像素点的像素梯度值后，基于纹理参考图像块中的各像素点的像素梯度值计算纹理参考图像块的梯度值，其中，纹理参考图像块的候选梯度值的计算公式可以为：
其中，表示候选梯度值。
在各纹理参考图像块的候选梯度值后，对各候选梯度值进行归一化操作，以得到各纹理参考图像块的梯度值，纹理参考图像块的梯度值用于反映该纹理参考图像块相对于所有纹理参考图像块的重要程度。
其中，梯度值的计算公式为：
其中，Wi表示纹理参考图像块的梯度值，Nomal(·)表示归一化操作，其具体计算方式为：
其中，C(·)操作表示将计算得到的最大值和最小值约束在[0,1]之间，即小于0的值置0，大于1的数置1，μx表示xi的均值，σx表示xi的标准差。
进一步，在获取到各图像组中的纹理参考图对应的纹理梯度权重集后，各图像组的纹理梯度权重集可以将各图像组中的纹理参考图转换为纹理梯度图，即可以得到多个不同尺度的纹理梯度图，以便于后续计算不同尺度的纹理失真图对应的纹理失真度，以确定纹理质量分数。例如，预设数量的图像组包括图像组a、图像组b和图像组b，图像组a的纹理参考图对应的纹理梯度图如图3所示，图像组b的纹理参考图对应的纹理梯度图如图4所示，图像组c的纹理参考图对应的纹理梯度图如图5所示。
进一步，几何梯度权重集的计算过程与纹理梯度权重集的计算过程相同，两者区别在于几何参考图为灰度图像，从而无需对几何参考图进行空间转换，而是直接将所述几何参考图按照预设划分方式进行几何参考图像块划分，然后计算各几何参考图像块的梯度值。由此，每组图像组均会确定两个梯度权重集，分别为纹理梯度梯度权重集和几何梯度权重集，分别记为Wi T和Wi G，通过Wi T和Wi G可以图像块i相对于所有图像块的重要程度。
同理，在获取到各图像组中的几何参考图对应的几何梯度权重集后，各图像组的几何梯度权重集可以将各图像组中的几何参考图转换为几何梯度图，即可以得到多个不同尺度的几何梯度图，以便于后续计算不同尺度的几何失真图对应的几何失真度，以确定几何质量分数。例如，预设数量的图像组包括图像组a、图像组b和图像组b，图像组a的几何参考图对应的纹理梯度图如图6所示，图像组b的几何参考图对应的几何梯度图如图7所示，图像组c的几何参考图对应的几何梯度图如图8所示。
S30、基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数。
具体地，纹理质量分数为基于图像组的纹理梯度权重集和纹理参考图和纹理失真图的失真度确定，其中，失真度用于反映纹理失真图的失真程度。在一个实现方式中，所述基于各图像组及各图像组对应的纹理梯度权重集计算纹理质量分数具体包括：
对于每个图像组，按照预设划分方式分别将纹理参考图和纹理失真图划分为若干纹理参考图像块和若干纹理失真图像块，并基于各纹理参考图像块、图像组对应的纹理梯度权重集和各纹理失真图像块，计算所述图像组的纹理失真度；
基于各图像组的纹理失真度计算纹理质量分数。
具体地，所述预设划分方式与确定纹理梯度权重集是的预设划分方式相同，从而基于预设划分方式确定的若干纹理参考图像块和若干纹理失真图像块一一对应，并且若干纹理参考图像块与纹理梯度权重集中的纹理图像块梯度权重一一对应。
在一个实现方式中，纹理失真度采用SSIM失真度量，当然在其他实现方式也可以采用其他失真度量方式，例如，MSE等。本实施例采用SSIM失真度量可以提高逐块的图像失真计算的准确性，以提高纹理质量分数的准确性。
基于此，纹理失真图像块的失真度的计算公式可以为：
其中，表示第k组图像组中第i个纹理失真图像块的纹理图像块失真度，表示第k组图像组中第i个纹理参考图像块的纹理图像块梯度权重，表示第k组图像组中第i个纹理失真图像块相对于第i个纹理参考图像块的SSIM失真度量。
进一步，在获取到各纹理失真图像块的失真度后，对各纹理失真图像块的失真度进行求和得到每个图像组的纹理失真图的失真度，然后在基于每组图像组的纹理失真图的失真度确定纹理失真度，最后基于纹理失真度确定纹理质量分数，其中，纹理质量分数的计算公式为：
其中，QT表示纹理质量分数，K表示图像组的数量，βk表示第k个图像组的乘性系数，DTk表示第k组图像组的纹理失真度，i表示第i个纹理参考图像块，表示第k组图像组的第i个纹理参考图像块的纹理失真度。此外，βk表示第k个图像组的乘性系数，其可以为预先设置的，并且各图像组各自对应的乘性系数的和为1，例如，预设数量图像组为3组图像组，三组图像组对应的乘性系数分别为0.1,0.3,0.6。
进一步，所述几何质量分数的计算过程与纹理质量分数的计算过程相同，这里就不再赘述，具体可以参考纹理质量分数的计算过程，即给出几何质量分数的计算公式，其计算公式为：
其中，表示第k组图像组中第i个几何失真图像块的几何图像块失真度，表示第k组图像组中第i个几何参考图像块的几何图像块梯度权重，表示第k组图像组中第i个几何失真图像块相对于第i个几何参考图像块的SSIM失真度量，QG表示几何质量分数，K表示图像组的数量，βk表示第k个图像组的乘性系数，DGk表示第k组图像组的几何失真度。
S40、基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。
具体地，在获取到纹理质量分数和所述几何质量分数后，可以将纹理质量分数和所述几何质量分数的平局值作为质量分数，可以将纹理质量分数和所述几何质量分数中的一个作为质量分数，还可以通过加权方式确定质量分数。
在一个实现方式中，所述基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数具体为：
将所述纹理质量分数和所述几何质量分数进行加权，以得到所述失真点云对应的质量分数。
将纹理图质量分数以及几何图质量分数进行融合得到视觉感知模型，评价纹理和几何分别对于点云的质量影响，得到最终的质量分数：
Sfinal＝T·T+G·G
其中，aT，aG是加权参数，例如，分别设置为aT＝0.87，aG＝0.13，QT是纹理质量分数，QG是几何质量分数，Sfinal是质量分数。
综上所述，本实施例提供了一种基于投影和多尺度特征的点云质量评价方法，方法包括基于参考点云和失真点云确定预设数量的图像组；以图像块为单位计算各纹理参考图的纹理梯度权重集，及几何参考图的几何梯度权重集；基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，基于各图像组及各图像组的几何梯度权重集计算几何质量分数；基于纹理质量分数和几何质量分数计算失真点云的质量分数。本申请通过补片投影确定图像组，然后获取不同尺度的图像组的分块梯度权重系数，并基于不同尺度的分块梯度权重系数和多尺度特征来确定质量分数，这样一方面可以发掘多尺度的视觉特性，另一方可以有效反映出视觉重要性，从而可以提高点云质量评价的性能，并且使得点云质量评价方法更适合点云编码。
进一步，为了说明本实施例提供的基于投影和多尺度特征的点云质量评价方法的效果，将本实施例提供的基于投影和多尺度特征的点云质量评价方法在栅格点云质量评价数据库上进行测试，并将皮尔森相关系数(PLCC)，斯皮尔曼秩相关系数(SRCC)，根均方误差(RMSE)和肯德尔秩相关系数(KRCC)作为评价指标，其中，在进行PLCC和RMSE的计算时首先对预测分数采用五折交叉函数进行非线性回归操作。本实施例在IRPC数据库和SJTU-PCQA数据库以及SIAT-PCQD数据库上的最佳的PLCC和SROCC分别为0.9665，0.9429和0.8790，0.8511，以及0.8319，0.8121。
此外，将本实施例提供地方法与其他目前主流的点云质量评价算法的性能表现也参与比较，其中，其他目前主流包括四种点云标准化工作组推荐使用的质量评价方法，分别D1-MSE,D1-Hausdorff，D2-MSE,和D2-Hausdorff；两种基于模型(Model)的全参考点云质量评价算法GraphSIM，PCQM；一种全参考点云投影(Projection)质量评价方法SIAT_PCQA，一种基于深度学习(DL)的点云质量评价方法BQE-CVP。对比结果见表1，表2和表3，其中，每一列的最佳结果加粗表示，次优的结果加下划线表示。由表1、表2和表3可以看出，本实施例提供的评价方法相比其他方法能有效地预测点云感知质量的下降，与人的主观评分有较高的一致性。
表1.所提方法与6种点云质量评价方法在IRPC数据库上的性能比较
表2.所提方法与6种点云质量评价方法在SJTU-PCQA数据库上的性能比较
表3.所提方法与7种点云质量评价方法在SIAT-PCQD数据库上的性能比较
基于上述基于投影和多尺度特征的点云质量评价方法，本实施例提供了一种基于投影和多尺度特征的点云质量评价系统，如图9所示，所述的系统包括：
投影模块100，用于基于参考点云和失真点云确定预设数量的图像组，其中，所述图像组均包括纹理参考图、几何参考图、纹理失真图以及几何失真图，且各图像组各自对应的图像尺度互不相同；
权重确定模块200，用于以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；
第一计算模块300，用于基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；
第二计算模块400，用于基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。
基于上述基于投影和多尺度特征的点云质量评价方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于投影和多尺度特征的点云质量评价方法中的步骤。
基于上述基于投影和多尺度特征的点云质量评价方法，本申请还提供了一种终端设备，如图10所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于投影和多尺度特征的点云质量评价方法，其特征在于，所述的方法包括：
基于参考点云和失真点云确定预设数量的图像组，其中，所述图像组均包括纹理参考图、几何参考图、纹理失真图以及几何失真图，且各图像组各自对应的图像尺度互不相同；
以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；
基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；
基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。
2.根据权利要求1所述基于投影和多尺度特征的点云质量评价方法，其特征在于，所述基于参考点云和失真点云确定预设数量的图像组具体包括：
投影生成参考点云对应的纹理参考图和几何参考图，以及失真点云对应的纹理失真图和几何失真图，以得到第一图像组；
对所述第一图像组中的各图像进行下采样操作以得到第二图像组；
对所述第二图像组中的各图像进行下采样操作以得到第三图像组；
依次类推直至得到第预设数量的图像组，以得到预设数量的图像组。
3.根据权利要求2所述基于投影和多尺度特征的点云质量评价方法，其特征在于，所述下采样操作为通过高斯金字塔进行的下采样操作。
4.根据权利要求1所述基于投影和多尺度特征的点云质量评价方法，其特征在于，所述以图像块为单位计算各图像组的纹理梯度权重集具体包括：
对于每组图像组，将该图像组中的纹理参考图转换为灰度纹理参考图；
按照预设划分方式将所述灰度纹理参考图划分为若干纹理参考图像块，并计算划分到的各纹理参考图像块中的像素点的像素梯度值；
基于各纹理参考图像块中的像素点的像素梯度值计算各纹理参考图像块的梯度值，以得到纹理梯度权重集。
5.根据权利要求1所述基于投影和多尺度特征的点云质量评价方法，其特征在于，所述基于各图像组及各图像组对应的纹理梯度权重集计算纹理质量分数具体包括：
对于每个图像组，按照预设划分方式分别将纹理参考图和纹理失真图划分为若干纹理参考图像块和若干纹理失真图像块，并基于各纹理参考图像块、图像组对应的纹理梯度权重集和各纹理失真图像块，计算所述图像组的纹理失真度，其中，纹理参考图像块分别与纹理失真图像块和纹理梯度权重集中的纹理图像块梯度权重一一对应；
基于各图像组的纹理失真度计算纹理质量分数。
6.根据权利要求5所述基于投影和多尺度特征的点云质量评价方法，其特征在于，所述纹理质量分数的计算公式为：
其中，QT表示纹理质量分数，K表示图像组的数量，βk表示第k个图像组的乘性系数，DTk表示第k组图像组的纹理失真度，i表示第i个纹理参考图像块，表示第k组图像组的第i个纹理参考图像块的纹理失真度。
7.根据权利要求1所述基于投影和多尺度特征的点云质量评价方法，其特征在于，所述基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数具体为：
将所述纹理质量分数和所述几何质量分数进行加权，以得到所述失真点云对应的质量分数。
8.一种基于投影和多尺度特征的点云质量评价系统，其特征在于，所述的系统包括：
投影模块，用于基于参考点云和失真点云确定预设数量的图像组，其中，所述图像组均包括纹理参考图、几何参考图、纹理失真图以及几何失真图，且各图像组各自对应的图像尺度互不相同；
权重确定模块，用于以图像块为单位计算各图像组的纹理梯度权重集及几何梯度权重集；
第一计算模块，用于基于各图像组及各图像组的纹理梯度权重集计算纹理质量分数，并基于各图像组及各图像组的几何梯度权重集计算几何质量分数；
第二计算模块，用于基于所述纹理质量分数和所述几何质量分数，计算所述失真点云对应的质量分数。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于投影和多尺度特征的点云质量评价方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于投影和多尺度特征的点云质量评价方法中的步骤。
CN202310162917.0A 2023-02-17 2023-02-17 基于投影和多尺度特征的点云质量评价方法及相关装置 Pending CN117372325A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310162917.0A CN117372325A (zh) 2023-02-17 2023-02-17 基于投影和多尺度特征的点云质量评价方法及相关装置
PCT/CN2023/137616 WO2024169360A1 (zh) 2023-02-17 2023-12-08 基于投影和多尺度特征的点云质量评价方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310162917.0A CN117372325A (zh) 2023-02-17 2023-02-17 基于投影和多尺度特征的点云质量评价方法及相关装置

Publications (1)

Publication Number Publication Date
CN117372325A true CN117372325A (zh) 2024-01-09

Family

ID=89393534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310162917.0A Pending CN117372325A (zh) 2023-02-17 2023-02-17 基于投影和多尺度特征的点云质量评价方法及相关装置

Country Status (2)

Country Link
CN (1) CN117372325A (zh)
WO (1) WO2024169360A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127926A (zh) * 2007-09-14 2008-02-20 西安电子科技大学 基于多尺度几何分析的图像质量评测方法
CN106341677B (zh) * 2015-07-07 2018-04-20 中国科学院深圳先进技术研究院 虚拟视点视频质量评价方法
EP3373583A1 (en) * 2017-03-07 2018-09-12 Thomson Licensing Quality metric for point clouds
CN112637594B (zh) * 2020-12-23 2023-05-26 青岛大学 一种基于比特流的无参考3d点云质量评估方法
CN115018753A (zh) * 2021-03-05 2022-09-06 中国科学院深圳先进技术研究院 基于投影的点云质量评价方法、装置、设备和存储介质
CN115631126A (zh) * 2022-01-25 2023-01-20 青岛大学 一种基于信息量加权投影的点云质量评估方法

Also Published As

Publication number Publication date
WO2024169360A1 (zh) 2024-08-22

Similar Documents

Publication Publication Date Title
Liu et al. Point cloud quality assessment: Dataset construction and learning-based no-reference metric
Zhou et al. Omnidirectional image quality assessment by distortion discrimination assisted multi-stream network
CN111369681A (zh) 三维模型的重构方法、装置、设备及存储介质
WO2021248966A1 (zh) 点云质量评估方法、编码器、解码器及存储介质
CN110852940A (zh) 一种图像处理方法及相关设备
CN109345582A (zh) 基于优化的置信传播算法和稀疏表示的深度图像获取方法
CN110674925A (zh) 基于3d卷积神经网络的无参考vr视频质量评价方法
Alexiou et al. Benchmarking of objective quality metrics for colorless point clouds
CN111127298A (zh) 一种全景图像盲质量评估方法
CN115862131A (zh) 一种用于人体运动识别的视频数据筛选方法
Wang et al. Improving point cloud quality metrics with noticeable possibility maps
CN117036570B (zh) 一种3d点云模型贴图的自动生成方法及系统
CN117372325A (zh) 基于投影和多尺度特征的点云质量评价方法及相关装置
CN110458754B (zh) 图像生成方法及终端设备
CN116363641A (zh) 一种图像处理方法、装置及电子设备
CN116363094A (zh) 一种超分辨率重建图像质量评价方法
CN113688686B (zh) 基于图卷积神经网络的虚拟现实视频质量评价方法
Li et al. Full-reference quality assessment of stereoscopic images using disparity-gradient-phase similarity
CN110276744B (zh) 图像拼接质量的测评方法及装置
Liu et al. Measure The Difference between Frames: Reconsidering The Evaluation Method in Dynamic Mesh Simplification
Su et al. No-reference Point Cloud Geometry Quality Assessment Based on Pairwise Rank Learning
WO2024174679A1 (zh) 一种基于感知加权的点云率失真编码方法及相关装置
CN113222032B (zh) 基于自注意图像编码的无参考图像质量评价方法
Miao et al. No-Reference Point Cloud Quality Assessment Based on Multi-Projection and Hierarchical Pyramid Network
Lavoué Yana Nehmé Florent Dupont Jean-Philippe Farrugia Patrick Le Callet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination