CN115690332A

CN115690332A - 点云数据处理方法、装置、可读存储介质及电子设备

Info

Publication number: CN115690332A
Application number: CN202211713804.7A
Authority: CN
Inventors: 曾晗; 郑天毅; 龚宇鹏; 邬睿源; 叶富根; 李萍; 朱彦锦
Original assignee: East China Jiaotong University
Current assignee: East China Jiaotong University
Priority date: 2022-12-30
Filing date: 2022-12-30
Publication date: 2023-02-03
Anticipated expiration: 2042-12-30
Also published as: CN115690332B

Abstract

一种点云数据处理方法、装置、可读存储介质及电子设备，该方法包括：获取设备的点云数据，并提取所述点云数据中的各个关键点云特征；对各个所述关键点云特征进行三维重构，得到重组数据集；获取所述设备的温度数据，并将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中，得到色彩信息重构后的数据集；将色彩信息重构后的数据集重新写成点云数据，并对重写后的点云数据进行数字化展示。本发明能够为变电站设备维护与检修带来更直观的展示。

Description

点云数据处理方法、装置、可读存储介质及电子设备

技术领域

本发明涉及数据处理领域，特别是涉及一种点云数据处理方法、装置、可读存储介质及电子设备。

背景技术

点云（Point Cloud，PC）是一种表达被描述物体多维特征的点的集合。通过激光扫描，雷达扫描仪和深度传感器等设备能够形成某个场景或者物体的空间三维数字模型。点云数据主要是由于遥感技术、高分辨率3D扫描和同步定位与建图技术（SimultaneousLocalization and Mapping)在自动驾驶等汽车行业的发展中逐渐兴起的。在日常变电站设备巡检运维当中，红外图像仅仅能对变电站设备温度进行2D展示，红外巡检视频虽然能够带来一定的3D展示效果，但却会带来更大的数据存储压力。

点云数据作为今年来一种三维展示的新技术能够为设备带来很好的三维展示效果，但传统点云模型与日常巡检信息交互不够充分。传统的红外图像由于缺少深度信息，使得检修人员在背景复杂条件下，很难从背景中区分设备、部件的边缘，导致缺陷误检率偏高。同时，多种巡视信息之间缺少融合。点云、可见光和红外等这些三维模型、可见光信息、温度信息缺少融合，尚未充分利用各类特征数据的互补特点，使得检修过程不过直观和便捷。

发明内容

鉴于上述状况，有必要针对现有技术中点云数据信息不完整，导致检修困难的问题，提供一种点云数据处理方法、装置、可读存储介质及电子设备。

一种点云数据处理方法，包括：

获取设备的点云数据，并提取所述点云数据中的各个关键点云特征；

对各个所述关键点云特征进行三维重构，得到重组数据集；

获取所述设备的温度数据，并将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中，得到色彩信息重构后的数据集；

将色彩信息重构后的数据集重新写成点云数据，并对重写后的点云数据进行数字化展示。

进一步的，上述点云数据处理方法，其中，所述将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中的步骤包括：

对所述设备的温度数据进行点阵化处理，得到点阵化数据；

所述重组数据集与所述点阵化数据进行映射，以将所述温度数据重构至所述重组数据集中。

进一步的，上述点云数据处理方法，其中，所述获取所述设备的温度数据的步骤包括：

获取从多个角度拍摄的所述设备的多个红外图像，提取各个所述红外图像中的温度参数，并对获取的温度参数进行加权平均，得到所述设备的温度数据。

进一步的，上述点云数据处理方法，其中，所述将色彩信息重构后的数据集重新写成点云数据的步骤之后还包括：

将重新写成的点云数据执行基于张量模型表达的点云压缩算法，得到点云特征张量；

将所述点云特征张量经过Tensor Tucker分解算法分解，得到模型参数，所述模型参数包括核心张量和对应的因子矩阵；

将所述模型参数进行无损压缩。

进一步的，上述点云数据处理方法，其中，所述将所述模型参数进行无损压缩的步骤包括：

根据F范数和广义Jaccard相似系数对所述模型参数进行点云重构相似性度量分析，以确定所述模型参数的压缩率；

根据所述压缩率将所述模型参数进行无损压缩。

进一步的，上述点云数据处理方法，其中，所述提取所述点云数据中的各个关键点云特征的步骤之前还包括：

通过点云滤波算法对所述点云数据进行降噪处理。

进一步的，上述点云数据处理方法，其中，所述关键点云特征包括空间坐标、色彩信息和法向量坐标，所述提取所述点云数据中的各个关键点云特征的步骤包括：

通过坐标变换，获取所述点云数据的空间坐标、色彩信息和法向量坐标。

本发明还公开了一种点云数据处理装置，包括：

特征提取模块，用于获取设备的点云数据，并提取所述点云数据中的各个关键点云特征；

数据重组模块，用于对各个所述关键点云特征进行三维重构，得到重组数据集；

数据重构模块，用于获取所述设备的温度数据，并将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中，得到色彩信息重构后的数据集；

重写模块，用于将色彩信息重构后的数据集重新写成点云数据，并对重写后的点云数据进行数字化展示。

进一步的，上述点云数据处理装置，还包括：

张量表达模块，用于将重新写成的点云数据执行基于张量模型表达的点云压缩算法，得到点云特征张量；

分解模块，用于将所述点云特征张量经过Tensor Tucker分解算法分解，得到模型参数，所述模型参数包括核心张量和对应的因子矩阵；

压缩模块，用于将所述模型参数进行无损压缩。

本发明还公开了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的点云数据处理方法。

本发明还公开了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的点云数据处理方法。

本发明中的设备点云数据处理方法，提供了一种三维展示变电站设备状态信息的新方式。相比于报表、图像和视频等巡检信息展示方法，本实施例提出的方法能够更直观、高效、经济的展示巡检信息，与数字孪生等技术配合能够更好的配合国家电网数字化检修和精细化运维的发展，提高了巡检过程中对设备病灶的可视性。

除此之外，针对点云数据，提出了一种点云数据的特征提取及数据重构方法，该方法从点云的基础数字特征入手，能够获得点云的关键点云特征，如空间坐标、色彩信息、法向量坐标等；通过结合变电站巡检的设备温度信息优化点云数据的色彩空间，达到温度信息与点云数据相结合的效果。

附图说明

图1为本发明第一实施例提供的点云数据处理方法的流程图；

图2为本发明第二实施例提供的点云数据处理方法的流程图；

图3为本发明第三实施例提供的点云数据处理装置的结构框图；

图4为本发明实施例中电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

请参阅图1，为本发明第一实施例中的点云数据处理方法，包括步骤S11~S14。

步骤S11，获取设备的点云数据，并提取所述点云数据中的各个关键点云特征。

本实施例中的设备可以为变电站中的各个配电设备，可以通过激光点云扫描仪或视觉SLAM技术获得该设备的点云数据。对该设备的点云数据进行特征提取，得到多个关键点云特征，该关键点云特征例如可以包括空间坐标（位置信息）、色彩信息（颜色信息）和法向量坐标，具体实施时，可以通过坐标变换，获该点云数据的空间坐标、色彩信息和法向量坐标。来自不同配电设备的点云数据组成一个变电站的点云数据集。一般情况下，一个设备的点云数据可以用一个集合C表示：

C={C₁,C₂,...,C_i,C_i+1,...,C_n}

式中，C_i代表点云设备中的一个点。

对于C_i其中数据一般可以用一个向量A表示：

；

式中：向量A的元素值等于点云数据的编码值，x_i，y_i，z_i分别表示该点云的空间坐标；r_i，b_i，g_i则表示点云的色彩信息；nx_i，ny_i，nz_i为该点云的法向量坐标。

进一步的，在本发明的其中一种实现方式中，所述提取该点云数据中的各个关键点云特征的步骤之前还可以通过点云滤波算法对点云数据进行降噪处理，以得到精细的点云数据。

步骤S12，对各个所述关键点云特征进行三维重构，得到重组数据集。

将各个关键点云特征进行三维重构得到对应的重组数据集。例如，将设备点云的空间坐标、向量坐标与颜色信息进行重构，得到三种重组数据集，即空间数据集C_locations={（x₁，y₁，z₁），（x₂，y₂，z₂），...，（x_i，y_i，z_i），...，（x_n，y_n，z_n）}，和颜色数据集C_colors={（r₁，b₁，g₁），（r₂，b₂，g₂），...，（r_i，b_i，g_i），...，（r_n，b_n，g_n）}，及法向量数据集C_nomals={（nx₁，ny₁，nz₁），（nx₂，ny₂，nz₂），...，（nx_i，ny_i，nz_i），...，（nx_n，ny_n，nz_n）}。

步骤S13，获取所述设备的温度数据，并将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中，得到色彩信息重构后的数据集。

进一步的，所述将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中的步骤包括：

对所述设备的温度数据进行点阵化处理，得到点阵化数据；

该设备的温度数据可以从该设备的红外图像中获取，从设备的红外图像中可以获得各个空间点的温度数据。对获得的温度数据进行点阵化处理后，得到点阵化数据。并对设备点云的重组数据集与点阵化数据进行映射，获取具有温度信息的点云模型，即通过点云映射技术更新点云的重组数据集的色彩信息，得到色彩信息重构后的数据集，从而直观展示设备的温度信息。

在点云数据和红外图像数据的融合过程中，各空间点的温度数据的获得方法可以为：

通过红外相机对设备进行多角度（多个观测点）拍摄，得到包含复杂背景的红外图像，再由目标提取与分割技术滤除复杂背景后得到去除背景的红外图像。针对去除背景的各个红外图像，对其图像中各个空间点的温度参数经加权平均，得到该设备的温度数据。这种温度数据获得方式降低了复杂背景对红外温度的干扰，平均值操作降低了人为操作引起温度偏差的概率。

加权平均的计算公式如下所示：

其中，k_av是指空间点av的加权平均后的温度，单位为K；

k_av-m是指在第m个观测点红外摄像头拍摄的空间点av的温度，单位为K；

d_av-m是指第m个观测点与空间点av之间的距离，单位为m；

利用k_av信息更新目标点云数据的色彩信息，即实现了点云设备红外对象化过程。

步骤S14，将色彩信息重构后的数据集重新写成点云数据，并对重写后的点云数据进行数字化展示。

将色彩信息重构后的数据集重新写成点云数据，并对巡检信息的点云数字化展示。

本实施例中的设备点云数据处理方法，提供了一种三维展示变电站设备状态信息的新方式。相比于报表、图像和视频等巡检信息展示方法，本实施例提出的方法能够更直观、高效、经济的展示巡检信息，与数字孪生等技术配合能够更好的配合国家电网数字化检修和精细化运维的发展，提高了巡检过程中对设备病灶的可视性。

请参阅图2，为本发明第二实施例中的点云数据处理方法，包括步骤S21~S27。

步骤S21，获取设备的点云数据，并提取所述点云数据中的各个关键点云特征。

具体实施时，通过坐标变换，获取该点云数据的空间坐标（位置信息）、色彩信息（颜色信息）和法向量坐标等关键点云特征。一般情况下，一个设备的点云数据可以用一个集合C表示：

C={C₁,C₂,...,C_i,C_i+1,...,C_n}

式中，C_i代表点云设备中的一个点。

对于C_i其中数据一般可以用一个向量A表示：

；

步骤S22，对各个所述关键点云特征进行三维重构，得到重组数据集。

步骤S23，获取所述设备的温度数据，并将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中，得到色彩信息重构后的数据集。

具体实施时，在设备的日常巡检过程通过红外相机每日对变电站中的设备进行红外图像采集，并通过目标提取算法提取出关键设备（即需要进行监测的设备）；对关键设备红外图像进行温度点阵化处理；对关键设备点云数据与红外图像温度点阵化数据进行映射，获取具有温度信息的点云模型，即色彩信息重构后的点云数据，从而直观展示设备巡检温度信息。该过程即通过日常巡检信息集合点云映射技术的更新点云张量模型中的色彩信息。

步骤S24，将色彩信息重构后的数据集重新写成点云数据，并将重新写成的点云数据执行基于张量模型表达的点云压缩算法，得到点云特征张量。

本实施例中对更新色彩信息后的数据集重新写成点云数据，并对重写后的点云数据执行基于张量模型表达的点云压缩算法（Tensor model based pointcloud compression,TMPC），表达后的点云特征张量为X_c，

。式中， I_n为重组数据集C中的属性类别个数，常见类别有locations、colors、nomals等； I_i为点云数据中i个点，为点云个数； I_m为每个属性类别数据中的数量个数，如空间坐标（x，y，z）为3个；如在C₁中为

。

步骤S25，将所述点云特征张量经过Tensor Tucker分解算法分解，得到模型参数，所述模型参数包括核心张量和对应的因子矩阵。

点云特征张量X_c经Tensor Tucker分解压缩后得到核心张量

和对应的因子矩阵。核心张量为

，

，即压缩后的核心矩阵由原张量与相应的截断正交基通过n模乘运算得到，核心张量的各阶维度由I、J、K变为了 Q、W、E。因子矩阵为

、

、

。原始的点云数据通过上述方法，分解可以获得核心张量和其对应的三个因子矩阵，这四个参数即模型参数，该模型参数比原始数据小很多。

可以理解的，在需要高精度表达的点云模型时，使用模型参数

进行重构，形成

，对重构后的数据C’进行坐标逆变换，形成的每个点数据C_i形成点

；整体点云

。从而恢复设备点云，并进行展示。通过这核心张量和三个因子矩阵又能重构回原始的点云数据，该过程称之为模型重构。

步骤S26，根据F范数和广义Jaccard相似系数对所述模型参数进行点云重构相似性度量分析，以确定所述模型参数的压缩率。

通过对比不同压缩比下模型重构后的F范数误差比和模型重构后的广义杰卡德相似系数，选择模型重构后的F范数误差比越小的同时模型解压缩重构后的广义杰卡德相似系数越大的压缩比作为最终的压缩比，从而达到最好的压缩效果。

对于模型重构后的点云质量分析选用F范数和广义Jaccard相似系数进行点云重构相似性度量分析，从而选择合适压缩率。

步骤S27，根据所述压缩率将所述模型参数进行无损压缩。

具体实施时可采用LZW字典学习编码对该模型参数进行无损压缩。

本实施例中，通过数字化点云信息提升了变电站巡检信息的数字化程度，能够优化设备检修的可视性，同时能够通过压缩算法降低了变电站设备点云的数据量。该方法将变电站设备点云、红外巡检技术及数字孪生技术相结合，能够为服务部门和巡检人员来了更直观的巡检信息展示，提高日常巡检信息数据利用效率。针对海量监测数据、巡检温度数据和点云数据存储压力大问题，本实施例基于张量模型表达的点云压缩算法，以点云内的点的数据特征为基础，将传统的点云数据重构为张量点云模型，采用Tensor Tucker分解算法保障压缩过程中点云特征的数据相关性的。

相比传统的点云压缩算法，该算法能够无监督的对点云重构数据进行压缩，且无需复杂的深度网络环境，并且能够通过需求适时调整压缩率。在实际运行过程当中，该算法解压时间短，能够迅速恢复点云信息。通过保存模型信息而非点云信息，从而降低数据的存储空间。一定程度上解决由海量巡检信息和点云信息保存导致的存储空间占用的问题，同时三维点云模型与数字孪生技术、巡检信息相结合将给变电站运维检修与可视化分析带来更佳的实用价值。

请参阅图3，为本发明第三实施例中的点云数据处理装置，包括：

特征提取模块31，用于获取设备的点云数据，并提取所述点云数据中的各个关键点云特征；

数据重组模块32，用于对各个所述关键点云特征进行三维重构，得到重组数据集；

数据重构模块33，用于获取所述设备的温度数据，并将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中，得到色彩信息重构后的数据集；

重写模块34，用于将色彩信息重构后的数据集重新写成点云数据，并对重写后的点云数据进行数字化展示。

进一步的，上述点云数据处理装置，还包括：

压缩模块，用于将所述模型参数进行无损压缩。

本发明实施例所提供的点云数据处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明另一方面还提出一种电子设备，请参阅图4，所示为本发明实施例当中的电子设备，包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的点云数据处理方法。

其中，所述电子设备可以为但不限于个人电脑、手机等计算机设备。处理器10在一些实施例中可以是一中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据等。

其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于电子设备的应用软件及各类数据等，还可以用于暂时地存储已经输出或者将要输出的数据。

可选地，该电子设备还可以包括用户接口、网络接口、通信总线等，用户接口可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在该装置与其他电子装置之间建立通信连接。通信总线用于实现这些组件之间的连接通信。

需要指出的是，图4示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的点云数据处理方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置中获取指令并执行指令的系统）使用，或结合这些指令执行系统、装置而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或结合这些指令执行系统、装置而使用的设备。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种点云数据处理方法，其特征在于，包括：

对各个所述关键点云特征进行三维重构，得到重组数据集；

2.如权利要求1所述的点云数据处理方法，其特征在于，所述将所述重组数据集与所述温度数据进行映射，以将所述温度数据重构至所述重组数据集中的步骤包括：

对所述设备的温度数据进行点阵化处理，得到点阵化数据；

3.如权利要求1所述的点云数据处理方法，其特征在于，所述获取所述设备的温度数据的步骤包括：

4.如权利要求1所述的点云数据处理方法，其特征在于，所述将色彩信息重构后的数据集重新写成点云数据的步骤之后还包括：

将所述模型参数进行无损压缩。

5.如权利要求4所述的点云数据处理方法，其特征在于，所述将所述模型参数进行无损压缩的步骤包括：

根据所述压缩率将所述模型参数进行无损压缩。

6.如权利要求1所述的点云数据处理方法，其特征在于，所述提取所述点云数据中的各个关键点云特征的步骤之前还包括：

通过点云滤波算法对所述点云数据进行降噪处理。

7.如权利要求1所述的点云数据处理方法，其特征在于，所述关键点云特征包括空间坐标、色彩信息和法向量坐标，所述提取所述点云数据中的各个关键点云特征的步骤包括：

8.一种点云数据处理装置，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1－7任一所述的点云数据处理方法。

10.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－7任意一项所述的点云数据处理方法。