CN116188350A - 点云质量评价方法、设备和存储介质 - Google Patents

点云质量评价方法、设备和存储介质 Download PDF

Info

Publication number
CN116188350A
CN116188350A CN202111424084.8A CN202111424084A CN116188350A CN 116188350 A CN116188350 A CN 116188350A CN 202111424084 A CN202111424084 A CN 202111424084A CN 116188350 A CN116188350 A CN 116188350A
Authority
CN
China
Prior art keywords
point cloud
reference point
region
evaluated
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424084.8A
Other languages
English (en)
Inventor
徐异凌
杨琦
张钰杰
管云峰
孙军
吴钊
高莹
吴平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
ZTE Corp
Original Assignee
Shanghai Jiaotong University
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, ZTE Corp filed Critical Shanghai Jiaotong University
Priority to CN202111424084.8A priority Critical patent/CN116188350A/zh
Priority to PCT/CN2022/134212 priority patent/WO2023093824A1/zh
Priority to EP22897906.8A priority patent/EP4394698A1/en
Publication of CN116188350A publication Critical patent/CN116188350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提出一种点云质量评价方法、设备和存储介质。该方法包括：按照预设区域选取规则在参考点云中选取目标数量的参考点云区域；在与所述参考点云相对应的待评价点云中选取与所述参考点云区域相对应的待评价点云区域；依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域；分别对每个所述新的参考点云区域和对应的所述新的待评价点云区域进行质量评价，得到对应的质量评价值；对所有所述质量评价值进行融合，得到对应的多尺度质量评价值。

Description

点云质量评价方法、设备和存储介质
技术领域
本申请涉及通信领域，具体涉及一种点云质量评价方法、设备和存储介质。
背景技术
随着三维扫描技术和系统日趋成熟，3D扫描仪仪器制造成本降低，精度提高，基于实际物体表面的三维坐标信息的点云数据可以快速并精确的获取并存储，使得点云(PointCloud)数据逐渐在各种图像处理领域中得到广泛应用。同时，点云也是虚拟现实、增强现实以及混合现实应用中最受关注的沉浸式媒体类型之一。
点云数据是物体三维扫描后获得的三维坐标数据信息，即几何信息(GeometryInformation)，同时，还可能记录对应点上的颜色、反射率、法向量等属性信息(AttributeInformation)。点云数据量可达到几百万甚至更大的数量级，海量点云数据为计算机存储、处理和传输带来了沉重的负担，因此，点云数据需要进行压缩后再进行存储和传输。压缩会给点云数据带来一定程度的损伤，需要通过评价解压恢复后的点云数据的质量来评估压缩性能。现有的点云客观质量评价算法忽略了人眼视觉系统的多尺度特性，即人眼对同一物体的感知随着视距或视角或视点变化而变化。因此，如何基于人眼视觉特性进行点云客观质量评价，是一个亟待解决的问题。
发明内容
在一实施例中，本申请实施例提供一种点云质量评价方法，包括：
按照预设区域选取规则在参考点云中选取目标数量的参考点云区域；
在与所述参考点云相对应的待评价点云中选取与所述参考点云区域相对应的待评价点云区域；
依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域；
分别对每个所述新的参考点云区域和对应的所述新的待评价点云区域进行质量评价，得到对应的质量评价值；
对所有所述质量评价值进行融合，得到对应的多尺度质量评价值。
在一实施例中，本申请实施例提供一种点云质量评价装置，包括：
第一选取模块，配置为按照预设区域选取规则在参考点云中选取目标数量的参考点云区域；
第二选取模块，配置为在与所述参考点云相对应的待评价点云中选取与所述参考点云区域相对应的待评价点云区域；
变换模块，配置为依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域；
评价模块，配置为分别对每个所述新的参考点云区域和对应的所述新的待评价点云区域进行质量评价，得到对应的质量评价值；
第一确定模块，配置为对所有所述质量评价值进行融合，得到对应的多尺度质量评价值。
本申请实施例提供一种设备，包括：通信模块，存储器，以及一个或多个处理器；
所述通信模块，配置为与其它设备之间进行通信交互；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
附图说明
图1是本申请实施例提供的一种点云质量评价方法的流程图；
图2是本申请实施例提供的另一种点云质量评价方法的流程图；
图3是本申请实施例提供的又一种点云质量评价方法的流程图；
图4是本申请实施例提供的一种尺度变换的流程图；
图5是本申请实施例提供的另一种尺度变换的流程图；
图6是本申请实施例提供的又一种尺度变换的流程图；
图7是本申请实施例提供的一种点云质量评价装置的结构框图；
图8是本申请实施例提供的一种点云质量评价设备的结构示意图。
具体实施方式
下文中将结合附图对本申请的实施例进行说明。以下结合实施例附图对本申请进行描述，所举实例仅用于解释本申请，并非用于限定本申请的范围。
图像质量评价是对两幅主体内容相同的图像信息的变化与失真进行感知、衡量与评价。根据是否有人参与来分类，图像质量评价可以分为主观质量评价和客观质量评价，主观质量评价是指将待评价图像和参考图像按一定规则交替播放给观察者，再由观察者进行打分，最后将所有分数的平均值作为该序列的评价值。客观质量评价是利用数学模型模拟人眼的主观感知，并给出计算结果。点云数据包括几何信息和属性信息，因此，点云的客观质量评价可以分为几何失真和属性失真。几何失真是指参考点云和待评价点云对应点的几何距离失真度量。属性失真是指参考点云和待评价点云对应点的属性失真度量。其中，参考点云是指原始点云，可以是直接采集获得的编码前的原始数据，也可以是任何方式生成或者获取得到的点云数据，待评价点云是指参照参考点云来评价质量的点云，可以是参考点云经过压缩编码损失后的重建点云，也可以是参考点云经过任何处理后的点云。不同于图片等传统二维媒体类型，点云中的点分布在三维空间中，彼此之间的连接关系复杂，同时又受到观看者的观看角度、观看距离和观看方向的影响，使得点云数据的客观质量评价更为复杂。
现有的点云客观质量评价算法忽略了人眼视觉系统的多尺度特性，即人眼对同一物体的感知随着视距或视角或视点变化而变化，也就是说，观看者，即观察点云的用户，可以在不同视距，不同视角或不同视点的情况下观察点云，其中，视距是指观看者到观看目标的距离；视角是指观看者视线与观看目标所成的角度，视点是指观看者观看点云数据所处的不同空间位置。具体而言，随着视距增加，人眼对同一物体的感知存在颜色模糊、细节损失以及尺度缩小等特点；随着视距减少，人眼对同一物体的感知存在颜色细化、细节增加以及尺度放大等特点，随着视角的变化，人眼对同一物体的感知存在遮挡后颜色混叠、细节损失等特点。随着视点的变化，人眼对同一物体感知存在遮挡后的颜色和细节变化等特点。这些特点在现有的点云客观质量评价算法中未被考虑到。因此针对点云设计一种多尺度的客观质量评价方法十分有必要。
在一实施例中，图1是本申请实施例提供的一种点云质量评价方法的流程图。本实施例应用于终端设备。如图1所示，本实施例包括：S110-S150。
S110、按照预设区域选取规则在参考点云中选取目标数量的参考点云区域。
需要时说明的是，通过三维测量设备对观看目标进行三维扫描，得到对应的原始三维坐标数据，作为参考点云。可以理解为，参考点云，指的是预先对观看目标进行三维扫描得到的原始三维坐标数据和属性信息。在实施例中，参考点云可以理解为原始点云，即直接采集获取的未进行编码等处理操作的原始数据。当然，参考点云也可以为其它任何点云数据。其中，三维测量设备可以包括下述之一：三维坐标测量机、三维激光扫描仪、照相式扫描仪。当然，不同的三维测量设备所获取到的点云数量是不同的，可根据实际情况适应地选择三维测量设备。
在实施例中，在参考点云中所需要选取的参考点云区域的目标数量，与参考点云自身的特性有关，比如，参考点云自身的特性包括：参考点云中点的布局、参考点云中点的数量、参考点云中颜色属性等。
S120、在与参考点云相对应的待评价点云中选取与参考点云区域相对应的待评价点云区域。
其中，待评价点云指的是以参考点云为参考物，对质量进行评价的点云。示例性地，待评价点云可以是参考点云经过压缩编码损失后的重建点云，也可以是参考点云经过任何处理之后的点云。在实施例中，在待评价点云中所选取的待评价点云区域的数量与参考点云区域的数量相同，并且，待评价点云区域在待评价点云中的所处位置，与对应参考点云区域在对应参考点云中的所处位置相同。在实际操作过程中，为了保证在待评价点云中可以准确地选取到与参考点云区域相对应的待评价点云区域，待评价点云区域的选取规则与对应参考点云的选取规则可以是相同的。
S130、依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域。
其中，尺度变换指的是根据人眼的视觉特性，随着视距或视角或视点变化而引起人眼对同一物体的感知变化。在实施例中，首先对每个参考点云区域进行至少一次尺度变换，生成对应的新的参考点云区域；然后对待评价点云区域进行与对应参考点云区域相同的尺度变换，生成对应的新的待评价点云区域。可以理解为，每个待评价点云区域所进行的尺度变换次数与对应参考点云区域的尺度变换次数相同，并且，所进行的尺度变换的操作也是相同的。
S140、分别对每个新的参考点云区域和对应的新的待评价点云区域进行质量评价，得到对应的质量评价值。
在实施例中，对经过相同尺度变换的新的参考点云区域和新的待评价点云区域进行质量评价，得到对应的质量评价值。其中，质量评价的策略可参见现有的任何点云质量评价策略，对此并不进行限定。示例性地，点云质量评价的策略可以为峰值信噪比(PeakSignal to Noise Ratio，PSNR)。
S150、对所有质量评价值进行融合，得到对应的多尺度质量评价值。
在实施例中，将所有的质量评价值进行融合，也可以选取其中几个质量评价值进行融合，以得到对应的多尺度质量评价值。在实施例中，通过对参考点云区域和对应待评价点云区域的多次尺度变换，考虑了人眼对同一物体的感知随着视距或视角变换而变化的因素，达到了在保证评价可信度的基础上，提高了评价的效率。
在一实施例中，按照预设区域选取规则在参考点云中选取目标数量的参考点云区域，包括：在参考点云上确定目标数量的关键形状；选取每个关键形状的空间邻域，作为对应的参考点云区域。
在一实施例中，目标数量的关键形状的确定方式，包括下述之一：
根据参考点云的几何信息选取目标数量的关键形状；
根据参考点云的几何信息获取参考点云中点的密度分布，并根据密度分布选取目标数量的关键形状；
对参考点云的几何信息进行高通滤波得到目标数量的关键形状；
对参考点云的颜色信息进行高通滤波得到目标数量的关键形状；
根据参考点云的几何信息与颜色信息得到目标数量的关键形状；
根据参考点云的非颜色属性信息得到目标数量的关键形状；
根据参考点云的几何信息与非颜色属性信息得到目标数量的关键形状；
根据参考点云的属性信息得到目标数量的关键形状；
根据参考点云的几何信息和属性信息得到目标数量的关键形状。
在一实施例中，关键形状包括下述之一：关键点、关键边、关键面和关键区域。
在一实施例中，观看者与参考点云之间的视距增加，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：依次对每个参考点云区域进行低通滤波、下采样和区域收缩操作，生成对应的新的参考点云区域；依次对每个参考点云区域对应的待评价点云区域进行低通滤波、下采样和区域收缩操作，生成对应的新的待评价点云区域。在实施例中，观看者的人眼对同一个观看点云的感知随着视距变化而变化，为了提高多尺度质量评价值的可信度，考虑观看者与点云之间的视距增加，适应地对参考点云中的参考点云区域，以及待评价点云中的待评价点云区域进行多次尺度变换，以得到新的参考点云区域和新的待评价点云区域。
在一实施例中，观看者与参考点云之间的视距减少，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：依次对每个参考点云区域进行插值滤波、上采样和区域放大操作，生成对应的新的参考点云区域；依次对每个参考点云区域对应的待评价点云区域进行插值滤波、上采样和区域放大操作，生成对应的新的待评价点云区域。在实施例中，观看者的人眼对同一个观看点云的感知随着视距变化而变化，为了提高多尺度质量评价值的可信度，考虑观看者与观看点云之间的视距减少，适应地对参考点云中的参考点云区域，以及待评价点云中的待评价点云区域进行多次尺度变换，以得到新的参考点云区域和新的待评价点云区域。
在一实施例中，观看者观看参考点云的视角变化，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：依次对每个参考点云区域进行低通滤波、可见性判断，区域变形引起的点位置调整操作，生成对应的新的参考点云区域；依次对每个参考点云区域对应的待评价点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的待评价点云区域。
其中，可见性判断，指的是假设观看者在某一视角情况观看点云的情况下，观看者是否能够看见参考点云区域和对应的待评价点云区域中的点进行判断。在实施例中，由于视角变化，导致参考点云或待评价点云中的某些点可见，以及某些点不可见。在实施例中，根据点的集合信息计算出在当前视角下是否可见，若不可见，则该点不参与点云质量评价。
在一实施例中，观看者观看参考点云的视点变化，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：依次对每个参考点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的参考点云区域；依次对每个参考点云区域对应的待评价点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的待评价点云区域。
其中，可见性判断，指的是假设观看者在空间某一位置观看点云的情况下，观看者是否能够看见参考点云区域和对应的待评价点云区域中的点进行判断。在实施例中，由于视点变化，导致参考点云或待评价点云中的某些点可见，以及某些点不可见。在实施例中，根据点的集合信息计算出在当前视点下是否可见，若不可见，则该点不参与点云质量评价。
在一实施例中，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，还包括：根据预先确定的点与点之间的连接关系，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域。在实施例中，在参考点云中选取一个关键点，以该关键点为中心，以一定值为半径确定一个区域，其中，该定值为此区域中的非关键点到该关键点的最大距离，再对符合上述定义的区域内的所有点之间建立连接关系。比如，使用高斯函数建立连接关系，并得到描述上述区域内各个点连接关系的矩阵，比如，邻接矩阵、度矩阵和转移矩阵等。在实施例中，采用点与点之间的连接关系进行参考点云区域和对应的待评价点云区域的尺度变换。
在一实施例中，对所有质量评价值进行融合，得到对应的多尺度质量评价值，包括：确定所有质量评价值的平均值，或者，所有质量评价值中部分质量评价值的平均值，作为多尺度质量评价值；或者，确定所有质量评价值的加权平均值，或者，所有质量评价值中部分质量评价值的加权平均值，作为多尺度质量评价值。
在一实施例中，在依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域之前，还包括：根据参考点云的非颜色属性信息确定不同视距或视角下的颜色变化情况和\或遮挡情况。
在一实施例中，非颜色属性信息至少包括下述之一：反射率；法向量；透明度。
在一实施例中，用于至少一次尺度变换的参考点云区域包括下述之一：原始的参考点云区域；最新变换得到的参考点云区域；
用于至少一次尺度变换的待评价点云区域包括下述之一：原始的待评价点云区域；最新变换得到的待评价点云区域。其中，原始的参考点云区域指的是在未进行任何尺度变换的参考点云中所选取的点云区域；原始的待评价点云区域指的是在未进行任何尺度变换的待评价点云中所选取的点云区域。在实施例中，在多次尺度变换的实现过程中，可以是每次对原始的参考点云区域和原始的待评价点云区域进行尺度变换生成新的参考点云区域和新的待评价点云区域，再使用每次尺度变换后的新的参考点云区域和新的待评价点云区域计算质量评价值；也可以是上次尺度变换生成的新参考点云区域和新的待评价点云区域进行尺度变换再生成变换后的新参考点云区域和新的待评价点云区域，再使用每次尺度变换后的新的参考点云区域和新的待评价点云区域计算质量评价值。
在一实施例中，在参考点云区域和对应的待评价点云区域处于同一个视距下，在一次尺度变换时，所有参考点云区域和所有待评价点云区域均采用相同的尺度变换；
在参考点云区域和对应的待评价点云区域未处于同一个视距下，在一次尺度变换时，所有参考点云区域和所有待评价点云区域之间采用不同的尺度变换。
在一实施例中，每个参考点云区域和对应的待评价点云区域所进行的尺度变换次数与其区域内所包含的点数有关。在实施例中，不同的参考点云区域所包含的细节是不同的，比如，有的区域所包含的点数多，有的区域所包含的点数少，有的区域颜色单一，有的区域颜色丰富，有的区域颜色变化慢，有的区域颜色变化快。可以理解为，针对不同的参考点云区域和对应的待评价点云区域采用不同次数的尺度变换。比如，包含点数多的参考点云区域和对应的待评估点云区域可以进行K次尺度变换，包含点数少的参考点云区域和对应的待评估点云区域可以进行K-1次变换。
在一实施例中，图2是本申请实施例提供的另一种点云质量评价方法的流程图。如图2所示。在参考点云中选择若干区域，作为参考点云区域；在待评价点云中选取对应的区域，作为待评价点云区域。对参考点云选择的若干区域中的每一个区域(即参考点云区域)都进行多次尺度变换，每次尺度变换后生成一个新的参考点云区域，相对应的，对待评价点云选取的对应的若干区域中的每个区域(即待评价点云区域)都进行相同的多次尺度变换，每次尺度变换后生成一个新的待评价点云区域，对经过相同尺度变换新生成的一个参考点云区域和一个对应待评价点云区域进行质量评价，生成一个质量评价值，最后对多个质量评价值进行融合。图2中的点云质量评价方法包括步骤：
S210：在参考点云中选取若干区域，作为参考点云区域。
在实施例中，从参考点云中选取M个区域，作为参考点云区域，并且，在每个区域RPm含有若干参考点云中的点。其中，m的取值范围是1至M，M的取值范围是1至参考点云的点数，M可以根据实际需要进行设定。
在一实施例中，选取区域的规则可以是先确定关键点，再选取关键点的空间邻域作为待尺度变换的区域(也可以称为参考点云区域)，每一个关键点都对应一个区域。关键点可以是依据几何信息确定，比如，在点云的不同位置随机选取M个关键点，也可以在点云的固定位置选取M个关键点；也可以依据几何信息获得参考点云中点的密度分布，根据密度分布选取M个点云分布集中点为关键点；也可以对几何信息进行高通滤波获得M个关键点；也可以对颜色信息进行高通滤波获得M个关键点；也可以根据几何信息与颜色信息结合获得M个关键点；也可以根据其它非颜色属性信息获得M个关键点；也可以根据几何信息与其它非颜色属性信息结合获得M个关键点；也可以根据所有属性信息获得M个关键点；也可以根据几何信息与所有属性信息获得M个关键点。关键点所在区域可以是以关键点为中心，半径为R的球形区域，也可以是以关键点为中心，边长为D的立方体区域，也可以是以关键点为中心的任意形状。确定区域后，记录区域信息，其中，区域信息包括参考点云的M个关键点和关键点所在区域的形状描述信息，区域的形状描述信息可以是球形和球形半径，或立方体和立方体边长等。
在一实施例中，选取区域的规则可以是先确定关键边，再选取关键边的空间邻域为待尺度变换的区域(也可以称为参考点云区域)，每一个关键边都对应一个区域，其中，关键边由至少两个以上点确定。关键边可以是依据几何信息确定，比如，在点云的不同位置随机选取M条关键边，也可以在点云的固定位置选取M条关键边；也可以依据几何信息获得参考点云中点的密度分布，根据密度分布选取点云分布集中的M条关键边；也可以对几何信息进行高通滤波获得M条关键边；也可以对颜色信息进行高通滤波获得M条关键边；也可以根据几何信息与颜色信息结合获得M条关键边；也可以根据其它非颜色属性信息获得M条关键边；也可以根据几何信息与其它非颜色属性信息结合获得M条关键边；也可以根据所有属性信息获得M条关键边；也可以根据几何信息与所有属性信息获得M条关键边。关键边包含N个点，N可以根据实际需要设定。关键边可以是直线，也可以是曲线。关键边所在区域可以是包含关键边的半径为R的球形区域，也可以是包含关键边的边长为D的立方体区域，也可以是包含关键边的任意形状。确定区域后，记录区域信息，其中，区域信息包括参考点云的M个关键边和关键边所在区域的形状描述信息，区域的形状描述信息可以是球形和球形半径，或立方体和立方体边长等。
在一实施例中，选取区域的规则可以是先确定关键面，再选取关键面的空间邻域为待尺度变换的区域(也可以称为参考点云区域)，每一个关键面都有一个区域，其中，关键面可以由至少两条边确定。关键面可以是依据几何信息确定，比如，在点云的不同位置随机选取M个关键面，也可以在点云的固定位置选取M个关键面；也可以依据几何信息获得参考点云中点的密度分布，根据密度分布选取点云分布集中的M个关键面；也可以对几何信息进行高通滤波获得M个关键面；也可以对颜色信息进行高通滤波获得M个关键面；也可以根据几何信息与颜色信息结合获得M个关键面；也可以根据其它非颜色属性信息获得M个关键面；也可以根据几何信息与其它非颜色属性信息结合获得M个关键面；也可以根据所有属性信息获得M个关键面；也可以根据几何信息与所有属性信息获得M个关键面。关键面包含N个点，N可以根据实际需要设定。关键面的形状可以是任意曲面。关键面的所在区域可以是包含关键面的半径为R的球形区域，也可以是包含关键面的边长为D的立方体区域，也可以是包含关键面的任意形状。确定区域后，记录区域信息，其中，区域信息包括参考点云的M个关键面和关键面所在区域的形状描述信息，区域的形状描述信息可以是球形和球形半径，或立方体和立方体边长等。
在一实施例中，选取区域的规则可以是确定关键区域，关键区域即为待尺度变换的区域(也可以称为参考点云区域)。关键区域可以是依据几何信息确定，比如，在点云的不同位置随机选取M个关键区域，也可以在点云的固定位置选取M个关键区域；也可以依据几何信息获得参考点云中点的密度分布，根据密度分布选取点云分布集中的M个关键区域；也可以对几何信息进行高通滤波获得M条关键区域；也可以对颜色信息获得M个关键区域；也可以根据几何信息与颜色信息结合获得M个关键区域；也可以根据其它非颜色属性信息获得M个关键区域；也可以根据几何信息与其它非颜色属性信息结合获得M个关键区域；也可以根据所有属性信息获得M个关键区域；也可以根据几何信息与所有属性信息获得M个关键区域。关键区域包含N个点，N可以根据实际需要设定。关键区域的形状可以是半径为R的球形区域，也可以是边长为D的立方体区域，也可以是任意形状。确定区域后，记录区域信息，其中，区域信息包括参考点云的M个区域的形状描述信息，区域的形状描述信息可以是球形和球形半径，或立方体和立方体边长等。
上述选取的区域可以是没有交集，即不同区域含有的点是完全不相同，也可以是有交集，即不同区域可以含有部分相同的点。
选取的区域信息包括可以使用全局三维坐标系表示，如使用(X，Y，Z)来表示关键点和立方体区域的八个顶点，也可以使用极坐标系表示，如使用中心点和半径的形式表示球形区域的范围。
S220、在待评价点云中选取对应区域，作为待评价点云区域。
在实施例中，根据S210中记录的参考点云区域的信息在待评价点云中选取对应区域Pm，其中，对应区域是指参考点云和待评价点云在相同坐标系下相同位置的区域。
S230、对参考点云区域进行多次尺度变换。
针对S210中选取的M个区域RPm进行K次尺度变换，每次尺度变换后生成新的区域NRPm,k,k的取值范围是1至K，其中K可以根据实际需要设定。
其中，尺度变换是指根据人眼的视觉特性，随着视距变化，而引起人眼对同一物体的感知变化。
S240、对待评价点云区域进行多次尺度变换。
对待评价点云选取的区域Pm进行S230中对应参考点云区域的相同K次多尺度变换操作，生成新的区域NPm,k。
S250、对经过相同尺度变换的参考点云区域和待评价点云区域进行质量评价。
在实施例中，对经过相同尺度变换的参考点云区域NRPm,k和对应待评价点云区域NPm,k进行质量评价，计算出质量评价值Qm,k。其中，质量评价可以是采用现有的任意点云质量评价的方法，如PSNR等。
S260、对多个质量评价值进行融合，得到对应的多尺度质量评价值。
将所有的质量评价值Qm,k进行融合，也可以选取其中几个质量评价值进行融合。融合的方法可以是所有Qm,k的平均值，也可以是所有Qm,k加权平均。
例如，一共有N个质量评价值Qi，总的质量分数计算公式为：
Figure BDA0003378397220000081
其中，μi是每个质量评价值的权重系数。
最后生成的质量评价融合值Q是待评价点云最终的多尺度质量评价值。
在实施例中，可以先进行S230，再进行S220。
在一实施例中，图3是本申请实施例提供的又一种点云质量评价方法的流程图，如图3所，本实施例中的点云质量评价方法包括如下S310-S390：
S310、在参考点云选取若干关键点。
其中，关键点的选取规则与S210相同。
S320、选取一个关键点所在的参考点云区域。
在实施例中，在S310中获得的关键点中选择一个关键点，并根据S210中的预设区域选取规则确定上述关键点所在的参考点云区域，并记录参考点云区域的信息。
S330、在待评价点云中选取对应区域，作为待评价点云区域。
根据S320中获得的参考点云区域信息，确定待评价点云中的对应区域。先确定参考点云区域信息中的关键点在待评价点云中对应位置的点，如果对应位置的点不存在，则选取距离对应位置的点最近的点为待评价点云的关键点，再根据此关键点在待评价点云中选取对应区域，选取规则与S210相同。
S340、对参考点云区域进行一次尺度变换。
对参考点云选择的区域进行一次尺度变换，生成新的参考点云区域。
S350、对待评价点云区域进行一次尺度变换。
对待评价点云选取的区域进行一次S340中对参考点云区域进行的相同尺度变换，生成新的待评价点云区域。
S360、对参考点云区域和待评价点云区域进行质量评价。
对S340生成的参考点云区域和S350生成的待评价点云区域进行质量评价得到一个质量评价值。
S370、是否完成所有尺度变换，若否，则返回执行S340；若是，则执行S380。
如果没有完成所有尺度变换，那么，重复执行S340-S360；如果完成所有尺度变换，那么执行S380。
S380、是否遍历所有关键点，若否，则返回执行S320；若是，则执行S390。
如果未遍历所有关键点，那么，重复执行S320至S370；如果已经遍历所有关键点，那么执行S390。
S390、多个质量评价值进行融合。
对S360生成的所有质量评价值进行融合计算，融合的方法可以是所有质量评价值的平均值，也可以是所有质量评价值加权平均。
最后生成的质量评价融合值是待评价点云最终的多尺度质量评价值。
在一实施例中，本发明实施例提供了上述实施例中尺度变换的一种实现方案。随着视距增加，人眼对同一物体的感知存在颜色模糊、细节损失以及区域缩小等特点，这些特点可以使用尺度变换来实现。图4是本申请实施例提供的一种尺度变换的流程图。如图4所示，依次执行如下尺度变换的步骤：
S410、达到颜色模糊的尺度变换操作。
颜色模糊是指视距增加带来的颜色信息损失，降低颜色变化速度，使得颜色过渡更加平滑。颜色模糊可以通过对点云数据的颜色信息进行低通滤波来实现，也可以通过其它任何能够实现颜色模糊效果的方法实现。
S420、达到细节损失的尺度变换操作。
细节损失是指视距增加带来的可以观看的点减少，可以对S410处理后的点云数据进行下采样，下采样的比例跟视距有关，比如，视距增加一倍，下采样后的点数是采样前的一半。下采样的方法可以是随机下采样，即生成随机种子对区域中的点进行随机选取，也可以是系统下采样，即根据区域中每个点的几何信息进行重排序，再以一定间隔进行采样，也可以是任意能达到减少一定点数的采样方法。特别的，如果下采样后，区域不再包括关键点，则需要在区域中增加关键点，或者选取与关键点距离最近的点为新的关键点。
S430、达到区域缩小的尺度变换操作。
区域缩小是指视距增加后观看物体变小，可以对S420处理后的点云数据的几何信息进行区域收缩，收缩的方法可以是区域整体缩小，也可以是在保持区域整体密度不变的情况下，将关键点邻域的点向关键点移动，也可以是实现区域缩小的任意方法。
例如，在保持关键点所在区域局部密度不变的情况下，将关键点s所在区域的非关键点向靠近关键点s的方向移动，任意非关键点
Figure BDA0003378397220000101
变换后的坐标为：
Figure BDA0003378397220000102
其中，ψ(·)为局部尺度收缩操作符，δ为收缩系数，用于保证降采样前后的整体密度不变，上标G表示几何信息。区域中所有非关键点都进行相同的坐标变换后就得到了缩小后的区域。
S410-S430可以换顺序，比如按照S430，S420，S410的顺序进行。
也可以只进行两个步骤，比如S410和S430。
可选的，S410-S430中的每一个步骤都可以使用一个神经网络模型实现，也可以使用一个神经网络模型实现S410-S430的所有功能。
在一实施例中，本发明实施例提供了上述实施例中尺度变换的另一种实现方案。随着视距减少，人眼对同一物体的感知存在颜色增强、细节增加以及区域放大等特点，这些特点可以使用尺度变换来实现。图5是本申请实施例提供的另一种尺度变换的流程图。如图5所示，依次执行如下尺度变换的步骤：
S510、达到颜色增强的尺度变换操作。
颜色增强是指视距减少带来的颜色信息增加，颜色变化快，颜色锐化等。颜色增强可以通过对点云数据的颜色信息进行插值滤波来实现，也可以通过其它任何能够实现颜色增强效果的方法实现。
S520、达到细节增加的尺度变换操作。
细节增加是指视距减少带来的可以观看点的增加，可以对S510处理后的点云数据进行上采样处理，上采样的比例跟视距有关，比如，视距减少一倍，上采样后的点数是采样前的两倍。采样的方法可以是随机上采样，即生成随机种子，对随机种子周围的点进行插值上采样，也可以是系统上采样，即根据区域中每个点的几何信息进行重排序，再以一定间隔增加点，也可以是任意能达到增加一定点数的上采样方法。
S530、达到区域放大的尺度变换操作。
区域放大是指视距减少后观看物体变大，可以对S520处理后的点云数据的几何信息进行区域放大，放大的方法可以是区域整体放大，也可以是在保持区域整体密度不变的情况下，将关键点邻域的点远离关键点移动，也可以是可以实现区域放大的任意方法。
例如，在保持关键点所在区域局部密度不变的情况下，将关键点s所在区域的非关键点向远离关键点s的方向移动，任意非关键点
Figure BDA0003378397220000111
变换后的坐标为：
Figure BDA0003378397220000112
其中，
Figure BDA0003378397220000113
为局部尺度放大操作符，δ为收缩系数，用于保证降采样前后的整体密度不变，上标G表示几何信息。区域中所有非关键点都进行相同的坐标变换后就得到了放大后的区域。
S510-S530可以换顺序，比如按照S530，S520，S510的顺序进行。
也可以只进行两个步骤，比如S510和S530。
可选的，S510-S530每一个步骤都可以使用一个神经网络模型实现，也可以使用一个神经网络模型实现S510-S530的所有功能。
在一实施例中，本发明实施例提供了上述实施例中尺度变换的又一种实现方案。随着视角的变化，人眼对同一物体的感知存在遮挡后颜色混叠、细节改变和区域变形等特点，这些特点可以使用尺度变换来实现。图6是本申请实施例提供的又一种尺度变换的流程图。如图6所示，依次执行如下尺度变换的步骤：
观看视角变化后，点云中的点根据它的位置、反射率、透明度等信息存在因为遮挡而引起的点的几何信息和属性信息的变化的情况，所以，需要根据上述变化而对点的几何信息和属性信息进行调整，比如，因为遮挡而不可见的点不参与质量评估。
S610、达到颜色混叠的尺度变换操作。
颜色混叠是指因为视角变化后，相邻点的颜色之间相互的影响而使得颜色效果产生了变化。可以使用低通滤波器实现，也可以通过其它任何能够实现颜色混叠效果的方法实现。
S620、达到细节改变的尺度变换操作。
细节改变是指因为视角变化后，因为遮挡有的点不可见，而有的点可见。根据点的几何信息计算出在当前视角下是否可见，如果不可见，则此点不参与质量评价。如果区域变形(S503)是以关键点为核心进行变化，那么，区域需要包含关键点。
S630、达到区域变形的尺度变换操作。
区域变形是指因为观看者观看点云的视角变化，而使得区域中点与点之间的位置关系会出现变化，即根据视角变化而调整点的位置。
可选的，S610-S630中的每一个步骤都可以使用一个神经网络模型实现，也可以使用一个神经网络模型实现S610-S630的所有功能。
在一实施例中，本发明实施例提供了上述实施例中尺度变换的又一种实现方案。随着观看者观看的视点变化，观看者与被观看的点云之间的距离会变化，观看者观看点云的方向会变化，观看者观看点云的视角会变化，此时，人眼对同一物体的感知存在遮挡后颜色混叠、细节改变和区域变形等特点，这些特点可以使用尺度变换来实现。
与上述视角变化相同，观看视点变化后，点云中的点根据它的位置、反射率、透明度等信息存在因为遮挡而引起的点的几何信息和属性信息的变化的情况，所以，需要根据上述变化而对点的几何信息和属性信息进行调整。
在一实施例中，本申请实施例提供了一种用于尺度变换的实现方案基于关键点选取区域中点与点建立连接关系的实现方案。选取一个关键点s，以s为中心，R为半径确定一个区域，其中，R是此区域中的非关键点到s的最大距离，再对符合上述定义的区域内的所有点之间建立连接关系，比如使用高斯函数建立连接关系，并得到描述上述区域内各个点连接关系的矩阵，比如邻接矩阵、度矩阵和转移矩阵等。
上述点与点之间的连接关系可以用于尺度变换，比如，在进行颜色模糊处理时，使用点与点之间的连接关系作为权重来进行低通滤波。或者，在进行细节损失下采样时，利用点与点之间的连接关系进行点的选取。或者，在进行尺寸缩小的时候，利用点与点之间的连接关系计算向关键点移动的距离，或者在进行颜色混叠的时候，利用点与点之间的连接关系作为权重来进行低通滤波。或者利用点与点之间的连接关系计算视角变化后点的移动位置。
比如，给原始点云中某个关键点s，以s基于欧氏距离确定一个区域，该区域范围可表示为N(s,Rs),其中，Rs为区域中非关键点到s的最大欧式距离，定义区域内所有点的集合为Ps，再使用高斯函数建立Ps内的结点连接关系。对于Ps内的两点a,b的几何信息Ps G，在设定阈值τ时的关系表示为：
Figure BDA0003378397220000121
若Wa,b≠0，则代表点a,b在空间上存在依存关系，其依存程度与欧式距离成正相关。根据点与点在空间上的依存关系，对于一个区域的点集合Ps，可得到描述各个点连接关系的邻接矩阵W，并可得到度矩阵
Figure BDA0003378397220000122
和转移矩阵A＝D-1W。
在进行颜色模糊时，采用滤波器对Ps上的的颜色信息进行低通滤波，其中，滤波器的表达形式为：H(A)＝αI+βA，
其中，I为标准矩阵，α和β为全通系数和低通系数且α+β＝1。Ps的颜色信息Ps C经滤波后得到点集合为
Figure BDA0003378397220000123
同样的，点与点之间的连接关系可以应用与视距减少所带来的颜色增强、细节增加和区域放大。
在一实施例中，本申请实施例提供了一种结合点云其它属性信息的尺度变换的质量评价实现方案。除了颜色信息以外，点云还包括其它属性信息，比如反射率、法向量、透明度等信息，在进行实施例三至实施例五中的尺度变换时，结合这些非颜色属性信息进行。
可选的，根据反射率来计算不同视距或视角或视点下点的颜色变化，如颜色模糊，颜色混叠等；
可选的，根据法向量来计算不同视距或者视角或视点下点的遮挡情况；
可选的，根据透明度来计算不同视距或视角或视点下点的颜色变化。
可选的，根据反射率、法向量、透明度来计算不同视距或视角或视点下的颜色变化和遮挡情况。
在一实施例中，在上述实施例的多次尺度变换可以是每次都对原始的参考点云区域和原始的待评价点云区域进行尺度变换生成新的参考点云区域和新的待评价点云区域，再使用每次尺度变换后的新的参考点云区域和新的待评价点云区域计算质量评价值。
也可以是对上次尺度变换生成的新参考点云区域和新的待评价点云区域进行尺度变换再生成变换后的新参考点云区域和新的待评价点云区域，再使用每次尺度变换后的新的参考点云区域和新的待评价点云区域计算质量评价值。
在一实施例中，在上述实施例中以点云为一个整体来考虑，即参考点云选取区域和待评价点云区域都在同一视距下考虑，即一次尺度变换时，所有参考点云区域和所有待评价点云区域都采用相同的尺度变换。不过，因为点云存在于三维空间中，不同位置的区域会有视距上的差别，所以，在上述实施例中M个参考点云区域和对应的M个待评价点云区域中不同的区域，在一次尺度变换时，可以根据所处的位置的视距差别而采用不同的尺度变换，如根据视距差别计算生成用于颜色模糊的不同的低通滤波器的系数，根据视距差别计算区域收缩的比例，根据视距差别设置每个质量评价值的权重系数等。
在一实施例中，在上述实施例中以点云为一个整体来考虑，即所有的参考点云区域和所有的待评价点云区域都进行相同多次数的尺度变换。不过，不同的参考点云区域所包含细节的不同，比如有的区域包含的点数多，有的区域包含的点数少，有的区域颜色单一，有的区域颜色丰富，有的区域颜色变化慢，有的区域颜色变化快，因此，针对不同的参考点云区域和对应的待评价点云区域可以采用不同次数的尺度变换，比如，包含点数多的参考点云区域和对应待评估点云区域可以进行K次尺度变换，包含点数少的参考点云区域和对应待评估点云区域可以进行K-1次变换。
在一实施例中，图7是本申请实施例提供的一种点云质量评价装置的结构框图。本实施例可以由终端设备执行，如图7所示，本实施例中的点云质量评价装置包括：第一选取模块710、第二选取模块720、变换模块730、评价模块740和第一确定模块750。
第一选取模块710，配置为按照预设区域选取规则在参考点云中选取目标数量的参考点云区域。
第二选取模块720，配置为在与参考点云相对应的待评价点云中选取与参考点云区域相对应的待评价点云区域。
变换模块730，配置为依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域。
评价模块740，配置为分别对每个新的参考点云区域和对应的新的待评价点云区域进行质量评价，得到对应的质量评价值。
第一确定模块750，配置为对所有质量评价值进行融合，得到对应的多尺度质量评价值。
在一实施例中，第一选取模块710，包括：
确定单元，配置为在参考点云上确定目标数量的关键形状；
选取单元，配置为选取每个关键形状的空间邻域，作为对应的参考点云区域。
在一实施例中，目标数量的关键形状的确定方式，包括下述之一：
根据参考点云的几何信息选取目标数量的关键形状；
根据参考点云的几何信息获取参考点云中点的密度分布，并根据密度分布选取目标数量的关键形状；
对参考点云的几何信息进行高通滤波得到目标数量的关键形状；
对参考点云的颜色信息进行高通滤波得到目标数量的关键形状；
根据参考点云的几何信息与颜色信息得到目标数量的关键形状；
根据参考点云的非颜色属性信息得到目标数量的关键形状；
根据参考点云的几何信息与非颜色属性信息得到目标数量的关键形状；
根据参考点云的属性信息得到目标数量的关键形状；
根据参考点云的几何信息和属性信息得到目标数量的关键形状。
在一实施例中，关键形状包括下述之一：关键点、关键边、关键面和关键区域。
在一实施例中，观看者与参考点云之间的视距增加，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：
依次对每个参考点云区域进行低通滤波、下采样和区域收缩操作，生成对应的新的参考点云区域；
依次对每个参考点云区域对应的待评价点云区域进行低通滤波、下采样和区域收缩操作，生成对应的新的待评价点云区域。
在一实施例中，观看者与参考点云之间的视距减少，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：
依次对每个参考点云区域进行插值滤波、上采样和区域放大操作，生成对应的新的参考点云区域；
依次对每个参考点云区域对应的待评价点云区域进行插值滤波、上采样和区域放大操作，生成对应的新的待评价点云区域。
在一实施例中，观看者观看参考点云的视角或视点变化，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：
依次对每个参考点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的参考点云区域；
依次对每个参考点云区域对应的待评价点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的待评价点云区域。
在一实施例中，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，还包括：
根据预先确定的点与点之间的连接关系，依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域。
在一实施例中，第一确定模块750，还配置为：
确定所有质量评价值的平均值，或者，所有质量评价值中部分质量评价值的平均值，作为多尺度质量评价值；
或者，确定所有质量评价值的加权平均值，或者，所有质量评价值中部分质量评价值的加权平均值，作为多尺度质量评价值。
在一实施例中，点云质量评价装置，还包括：
第二确定模块，配置为在依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域之前，根据参考点云的非颜色属性信息确定不同视距或视角下的颜色变化情况和\或遮挡情况。
在一实施例中，非颜色属性信息至少包括下述之一：反射率；法向量；透明度。
在一实施例中，用于至少一次尺度变换的参考点云区域包括下述之一：原始的参考点云区域；最新变换得到的参考点云区域；
用于至少一次尺度变换的待评价点云区域包括下述之一：原始的待评价点云区域；最新变换得到的待评价点云区域。
在一实施例中，在参考点云区域和对应的待评价点云区域处于同一个视距下，在一次尺度变换时，所有参考点云区域和所有待评价点云区域均采用相同的尺度变换；
在参考点云区域和对应的待评价点云区域未处于同一个视距下，在一次尺度变换时，所有参考点云区域和所有待评价点云区域之间采用不同的尺度变换。
在一实施例中，每个参考点云区域和对应的待评价点云区域所进行的尺度变换次数与其区域内所包含的点数有关。
本实施例提供的点云质量评价装置设置为实现图1所示实施例的点云质量评价方法，本实施例提供的点云质量评价装置实现原理和技术效果类似，此处不再赘述。
在一实施例中，图8是本申请实施例提供的一种点云质量评价设备的结构示意图。如图8所示，本申请提供的点云质量评价设备，包括：处理器810、存储器820和通信模块830。该点云质量评价设备中处理器810的数量可以是一个或者多个，图8中以一个处理器810为例。该点云质量评价设备中存储器820的数量可以是一个或者多个，图8中以一个存储器820为例。该点云质量评价设备的处理器810、存储器820和通信模块830可以通过总线或者其他方式连接，图8中以通过总线连接为例。在该实施例中，该点云质量评价设备为可以为终端设备，比如，可以为计算机。
存储器820作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例的点云质量评价设备对应的程序指令/模块(例如，点云质量评价装置中的第一选取模块710、第二选取模块720、变换模块730、评价模块740和第一确定模块750)。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块830，配置为与其它设备之间进行通信交互。
上述提供的点云质量评价设备可设置为执行上述任意实施例提供的点云质量评价方法，具备相应的功能和效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种点云质量评价方法，该方法包括：按照预设区域选取规则在参考点云中选取目标数量的参考点云区域；在与参考点云相对应的待评价点云中选取与参考点云区域相对应的待评价点云区域；依次对每个参考点云区域和对应的待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域；分别对每个新的参考点云区域和对应的新的待评价点云区域进行质量评价，得到对应的质量评价值；对所有质量评价值进行融合，得到对应的多尺度质量评价值。
本领域内的技术人员应明白，术语用户设备涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理装置、便携网络浏览器或车载移动台。
一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、光存储器装置和系统(数码多功能光碟(Digital Video Disc，DVD)或光盘(Compact Disk，CD))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Field-Programmable Gate Array，FGPA)以及基于多核处理器架构的处理器。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种点云质量评价方法，其特征在于，包括：
按照预设区域选取规则在参考点云中选取目标数量的参考点云区域；
在与所述参考点云相对应的待评价点云中选取与所述参考点云区域相对应的待评价点云区域；
依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域；
分别对每个所述新的参考点云区域和对应的所述新的待评价点云区域进行质量评价，得到对应的质量评价值；
对所有所述质量评价值进行融合，得到对应的多尺度质量评价值。
2.根据权利要求1所述的方法，其特征在于，所述按照预设区域选取规则在参考点云中选取目标数量的参考点云区域，包括：
在参考点云上确定目标数量的关键形状；
选取每个所述关键形状的空间邻域，作为对应的参考点云区域。
3.根据权利要求2所述的方法，其特征在于，所述目标数量的关键形状的确定方式，包括下述之一：
根据所述参考点云的几何信息选取目标数量的关键形状；
根据所述参考点云的几何信息获取参考点云中点的密度分布，并根据所述密度分布选取目标数量的关键形状；
对所述参考点云的几何信息进行高通滤波得到目标数量的关键形状；
对所述参考点云的颜色信息进行高通滤波得到目标数量的关键形状；
根据所述参考点云的几何信息与颜色信息得到目标数量的关键形状；
根据所述参考点云的非颜色属性信息得到目标数量的关键形状；
根据所述参考点云的几何信息与非颜色属性信息得到目标数量的关键形状；
根据所述参考点云的属性信息得到目标数量的关键形状；
根据所述参考点云的几何信息和属性信息得到目标数量的关键形状。
4.根据权利要求2或3所述的方法，其特征在于，所述关键形状包括下述之一：关键点、关键边、关键面和关键区域。
5.根据权利要求1所述的方法，其特征在于，观看者与所述参考点云之间的视距增加，所述依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：
依次对每个所述参考点云区域进行低通滤波、下采样和区域收缩操作，生成对应的新的参考点云区域；
依次对每个所述参考点云区域对应的待评价点云区域进行低通滤波、下采样和区域收缩操作，生成对应的新的待评价点云区域。
6.根据权利要求1所述的方法，其特征在于，观看者与所述参考点云之间的视距减少，所述依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：
依次对每个所述参考点云区域进行插值滤波、上采样和区域放大操作，生成对应的新的参考点云区域；
依次对每个所述参考点云区域对应的待评价点云区域进行插值滤波、上采样和区域放大操作，生成对应的新的待评价点云区域。
7.根据权利要求1所述的方法，其特征在于，观看者观看所述参考点云的视角或视点变化，所述依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，包括：
依次对每个所述参考点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的参考点云区域；
依次对每个所述参考点云区域对应的待评价点云区域进行低通滤波、可见性判断、区域变形引起的点位置调整操作，生成对应的新的待评价点云区域。
8.根据权利要求1所述的方法，其特征在于，所述依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域，还包括：
根据预先确定的点与点之间的连接关系，依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域。
9.根据权利要求1所述的方法，其特征在于，所述对所有所述质量评价值进行融合，得到对应的多尺度质量评价值，包括：
确定所有所述质量评价值的平均值，或者，所有所述质量评价值中部分质量评价值的平均值，作为多尺度质量评价值；
或者，确定所有所述质量评价值的加权平均值，或者，所有所述质量评价值中部分质量评价值的加权平均值，作为多尺度质量评价值。
10.根据权利要求1所述的方法，其特征在于，在所述依次对每个所述参考点云区域和对应的所述待评价点云区域进行至少一次尺度变换，生成对应的新的参考点云区域和新的待评价点云区域之前，还包括：
根据所述参考点云的非颜色属性信息确定不同视距或视角下的颜色变化情况和\或遮挡情况。
11.根据权利要求10所述的方法，其特征在于，所述非颜色属性信息至少包括下述之一：反射率；法向量；透明度。
12.根据权利要求1所述的方法，其特征在于，用于至少一次尺度变换的参考点云区域包括下述之一：原始的参考点云区域；最新变换得到的参考点云区域；
用于至少一次尺度变换的待评价点云区域包括下述之一：原始的待评价点云区域；最新变换得到的待评价点云区域。
13.根据权利要求1所述的方法，其特征在于，在所述参考点云区域和对应的所述待评价点云区域处于同一个视距下，在一次尺度变换时，所有所述参考点云区域和所有所述待评价点云区域均采用相同的尺度变换；
在所述参考点云区域和对应的所述待评价点云区域未处于同一个视距下，在一次尺度变换时，所有参考点云区域和所有待评价点云区域之间采用不同的尺度变换。
14.根据权利要求1所述的方法，其特征在于，每个所述参考点云区域和对应的所述待评价点云区域所进行的尺度变换次数与其区域内所包含的点数有关。
15.一种点云质量评价设备，其特征在于，包括：通信模块，存储器，以及一个或多个处理器；
所述通信模块，配置为与其它设备之间进行通信交互；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14中任一项所述的方法。
16.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的方法。
CN202111424084.8A 2021-11-26 2021-11-26 点云质量评价方法、设备和存储介质 Pending CN116188350A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111424084.8A CN116188350A (zh) 2021-11-26 2021-11-26 点云质量评价方法、设备和存储介质
PCT/CN2022/134212 WO2023093824A1 (zh) 2021-11-26 2022-11-25 点云质量评价方法、设备和存储介质
EP22897906.8A EP4394698A1 (en) 2021-11-26 2022-11-25 Point cloud quality evaluation method, and device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424084.8A CN116188350A (zh) 2021-11-26 2021-11-26 点云质量评价方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116188350A true CN116188350A (zh) 2023-05-30

Family

ID=86442774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424084.8A Pending CN116188350A (zh) 2021-11-26 2021-11-26 点云质量评价方法、设备和存储介质

Country Status (3)

Country Link
EP (1) EP4394698A1 (zh)
CN (1) CN116188350A (zh)
WO (1) WO2023093824A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011299B (zh) * 2023-10-07 2024-02-20 华侨大学 融合图重采样和梯度特征的参考点云质量评估方法及系统
CN117612676B (zh) * 2023-11-08 2024-06-07 中国人民解放军总医院第四医学中心 一种实现人体解剖特征参数批量化提取的方法及装置
CN117456131B (zh) * 2023-12-26 2024-05-24 深圳市信润富联数字科技有限公司 缺陷场景下点云的降采样方法及装置
CN117789198B (zh) * 2024-02-28 2024-05-14 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现点云退化检测的方法
CN117853484B (zh) * 2024-03-05 2024-05-28 湖南建工交建宏特科技有限公司 一种基于视觉的桥梁损伤智能监测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3457357B1 (en) * 2017-09-13 2021-07-07 Tata Consultancy Services Limited Methods and systems for surface fitting based change detection in 3d point-cloud
CN110533645A (zh) * 2019-08-23 2019-12-03 上海交通大学 基于视觉任务的点云数据压缩质量评价方法及系统
CN112637594B (zh) * 2020-12-23 2023-05-26 青岛大学 一种基于比特流的无参考3d点云质量评估方法
CN112802071B (zh) * 2021-01-22 2024-06-11 北京农业智能装备技术研究中心 一种三维重建效果评价方法及系统

Also Published As

Publication number Publication date
EP4394698A1 (en) 2024-07-03
WO2023093824A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN116188350A (zh) 点云质量评价方法、设备和存储介质
US7760932B2 (en) Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
EP1303839B1 (en) System and method for median fusion of depth maps
US11050994B2 (en) Virtual reality parallax correction
EP1059611A1 (en) Image processing apparatus
KR20110116671A (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US11830148B2 (en) Reconstruction of essential visual cues in mixed reality applications
KR102374404B1 (ko) 콘텐트를 제공하기 위한 디바이스 및 방법
CN110648274A (zh) 鱼眼图像的生成方法及装置
EP3291532B1 (en) Image processing device and image processing method
US8687000B2 (en) Image generating apparatus and computer program
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
EP3683769B1 (en) Image generation with simulated depth-of-field effect
JP2019128641A (ja) 画像処理装置、画像処理方法及びプログラム
EP4107601A1 (en) Planar deviation based image reprojection
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP2020166652A (ja) 画像処理装置、画像処理方法及びプログラム
CN107534729B (zh) 图像处理装置和图像处理方法
KR101960018B1 (ko) 전방 센서기하 결정 방법 및 장치
US12051168B2 (en) Avatar generation based on driving views
CN112907730B (zh) 一种三维点云重建方法、装置和电子设备
JP2024010527A (ja) 特徴マップ生成装置、特徴マップ生成方法、及びプログラム
EP4195663A1 (en) Device and method
Chen et al. Surface Consistent Light Field Extrapolation Over Stratified Disparity And Spatial Granularities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination