CN116956164A - 基于wasm技术的全高层大气激光雷达数据处理方法 - Google Patents

Abstract

基于WASM技术的全高层大气激光雷达数据处理方法，所述基于WASM技术的全高层大气激光雷达数据处理方法包括以下步骤：步骤一、先采集得到激光雷达原始数据，然后将原始数据转换为模式数据；步骤二、对模式数据进行分类，得到多组分类数据；步骤三、先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据；步骤四、先将压缩数据根据数据特性优化后得到轻量化数据模块，然后对轻量化数据模块采用零拷贝技术消除内存带宽后，得到零拷贝数据。本设计使得激光雷达设备数据的存储、访问和分析简单，可以进一步提升处理速度，对查询进行优化，应用流式处理以及定制的压缩编码提高查询响应。

Description

基于WASM技术的全高层大气激光雷达数据处理方法

技术领域

本发明涉及一种激光雷达数据处理技术的改进，属于激光雷达技术领域，尤其涉及一种基于WASM技术的全高层大气激光雷达数据处理方法。

背景技术

随着激光雷达技术的不断发展和应用，全高程大气风温密探测激光雷达的复杂性和对精确度的高要求使得数据处理成为一个挑战。传统的数据处理方法通常依赖于特定的硬件和软件环境，这限制了数据处理的灵活性和效率。此外，激光雷达设备通常部署在不同的地理位置，可能涉及不同的硬件和软件环境，这进一步增加了数据处理的复杂性；激光雷达设备产生的海量异构数据，使得数据的存储、访问和分析变得更加复杂和耗时。

申请号为CN202210810374.4，申请日为2022年7月11日的中国专利申请揭示了一种激光雷达数据处理方法、装置、电子设备及存储介质，通过对激光雷达全波形数据进行降噪处理；生成初始化的数据结构矩阵，使其行数等于波形区间的数量；把数据结构矩阵的各个行空间分配给各波形区间；进行波形检波得到各波形区间的第一特征参数以更新各行空间的数据；对各单回波波形区间进行波形拟合得到相应的第二特征参数以更新对应的行空间的数据；依次对各叠加回波波形区间进行波形参数估计和波形分解得到相应的第三特征参数以更新对应的行空间的数据；根据数据结构矩阵进行波形时刻计算，得到距离检测值，但是上述技术并没有解决激光雷达设备数据的存储、访问和分析复杂的问题。

公开该背景技术部分的信息仅仅旨在增加对本专利申请的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的是克服现有技术中存在激光雷达设备数据的存储、访问和分析复杂问题，提供了激光雷达设备数据的存储、访问和分析简单的一种基于WASM技术的全高层大气激光雷达数据处理方法。

为实现以上目的，本发明的技术解决方案是：一种基于WASM技术的全高层大气激光雷达数据处理方法，所述基于WASM技术的全高层大气激光雷达数据处理方法包括以下步骤：

步骤一、先采集得到激光雷达原始数据，然后将原始数据转换为模式数据；

步骤二、对模式数据进行分类，得到多组分类数据；

步骤三、先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据；

步骤四、先将压缩数据根据数据特性优化后得到轻量化数据模块，然后对轻量化数据模块采用零拷贝技术消除内存带宽后，得到零拷贝数据。

所述步骤二中对模式数据进行分类具体为：数据分组存储的分类标准主要包括根据数据的结构、数据的具体值、数据的嵌套结构、列的不同属性以及压缩算法。

所述数据的结构包括数据的列信息和数据类型；

所述数据的具体值包括每个记录和字段的具体值；

所述数据的嵌套结构包括数据的嵌套结构和可选字段；

所述列的不同属性为根据列的不同将数据分组存储；

所述压缩算法包括数据的编码方法和压缩方法；

所述采用压缩算法进行分类时，需要满足以下条件：数据类型和数据分布、查询性能、存储需求、数据传输需求。

所述步骤三中先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据具体为：数据被分割为不同的列，每个列存储一种类型的数据，包括时间戳列、距离列、强度列和角度列；

具体存储方式如下：

原始数据格式（行式存储）：

时间戳：t1, t2, t3,...

距离：d1, d2, d3,...

强度：i1, i2, i3,...

角度：a1, a2, a3,...

列式存储后的数据格式：

时间戳列：{t1, t2, t3,...}

距离列：{d1, d2, d3,...}

强度列：{i1, i2, i3,...}

角度列：{a1, a2, a3,...}。

所述步骤四中将压缩数据根据数据特性优化后得到轻量化数据模块包括：数据分区、索引、数据压缩、查询、数据备份和恢复、权限和安全配置、自动化处理；

所述数据分区：根据数据的特性，选择不同的数据分区策略；包括按时间分区、按地理位置分区、按业务功能分区；

索引：根据查询需求，选择相应的索引策略；

数据压缩：根据数据的特性和存储需求，选择相应的压缩算法和编码方式；

查询：优化查询执行计划以提高查询性能；

数据备份和恢复策略：根据数据的重要性和可用性要求，定制化配置数据备份和恢复策略；

权限和安全配置：根据数据的敏感性级别和访问需求，配置权限和安全策略；

自动化处理：根据数据处理和维护的需求，配置自动化任务，以确保系统稳定运行。

所述数据零拷贝技术具体为：

首先分配一个共享的缓冲区，用于存储待处理的激光雷达数据；当激光雷达生成数据后，数据会直接通过DMA通道传输到分配的缓冲区，而不需要经过中间的数据拷贝步骤，此时DMA传输将数据从设备或内存中读取到缓冲区，在缓冲区中的数据被应用程序或处理器直接访问和处理，而不需要进行额外的数据复制；然后使用内存映射技术，应用程序直接访问缓冲区中的数据，在需要将数据传输给其他进程或设备时，数据直接从缓冲区传输，而不需要在内存之间进行额外的数据拷贝。

所述于WASM技术的全高层大气激光雷达数据处理方法还包括数据优化：

先将零拷贝数据访问的数据传输到云端，利用云计算进行分析解算；然后通过特定的列式存储、压缩对数据存储进行优化；

所述零拷贝数据包括特征提取数据、聚合与统计数据、压缩和轻量化数据：

所述特征提取数据具体为：从原始激光雷达数据中提取出的关键特征和指标，包括物体的位置、形状、速度；

所述聚合与统计数据具体为：对原始数据进行聚合和统计分析后的结果，包括物体数量、分布、运动趋势等；

所述轻量化数据具体为：通过压缩和轻量化技术减小的数据体积。

与现有技术相比，本发明的有益效果为：

1、本发明一种基于WASM技术的全高层大气激光雷达数据处理方法中，先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据，利用列式存储格式实现更高的压缩比，减少读取数据量，提升处理效率，实现零拷贝内存访问避免冗余数据复制，使得激光雷达设备数据的存储、访问和分析简单，进一步提升处理速度，对查询进行优化，应用流式处理以及定制的压缩编码提高查询响应。因此，本设计压缩比更高，数据处理效率提高。

2、本发明一种基于WASM技术的全高层大气激光雷达数据处理方法中，列式存储方式显著增大压缩比，减少存储空间；定制的压缩编码机制也可大幅降低存储需求；云端部署可实现弹性扩展，满足大数据量需求。因此，本设计占用储存空间小，满足大数据量需求。

3、本发明一种基于WASM技术的全高层大气激光雷达数据处理方法中，基于零拷贝技术实现高效内存访问；流式处理提升了数据处理和渲染的实时性，可自定义数据查询模式，保证了灵活的数据访问。因此，本设计实时进行数据处理，数据访问灵活。

附图说明

图1是本发明的激光雷达列式数据存储预处理流程图。

图2是本发明的激光雷达列式数据存储格式示例图。

具体实施方式

以下结合附图说明和具体实施方式对本发明作进一步详细的说明。

参见图1-2，一种基于WASM技术的全高层大气激光雷达数据处理方法，所述基于WASM技术的全高层大气激光雷达数据处理方法包括以下步骤：

步骤一、先采集得到激光雷达原始数据，然后将原始数据转换为模式数据；

步骤二、对模式数据进行分类，得到多组分类数据；

步骤三、先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据；

步骤四、先将压缩数据根据数据特性优化后得到轻量化数据模块，然后对轻量化数据模块采用零拷贝技术消除内存带宽后，得到零拷贝数据。

所述步骤二中对模式数据进行分类具体为：数据分组存储的分类标准主要包括根据数据的结构、数据的具体值、数据的嵌套结构、列的不同属性以及压缩算法。

所述数据的结构包括数据的列信息和数据类型；

所述数据的具体值包括每个记录和字段的具体值；

所述数据的嵌套结构包括数据的嵌套结构和可选字段；

所述列的不同属性为根据列的不同将数据分组存储；

所述压缩算法包括数据的编码方法和压缩方法；

所述采用压缩算法进行分类时，需要满足以下条件：数据类型和数据分布、查询性能、存储需求、数据传输需求。

所述步骤三中先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据具体为：数据被分割为不同的列，每个列存储一种类型的数据，包括时间戳列、距离列、强度列和角度列；

具体存储方式如下：

原始数据格式（行式存储）：

时间戳：t1, t2, t3,...

距离：d1, d2, d3,...

强度：i1, i2, i3,...

角度：a1, a2, a3,...

列式存储后的数据格式：

时间戳列：{t1, t2, t3,...}

距离列：{d1, d2, d3,...}

强度列：{i1, i2, i3,...}

角度列：{a1, a2, a3,...}。

所述步骤四中将压缩数据根据数据特性优化后得到轻量化数据模块包括：数据分区、索引、数据压缩、查询、数据备份和恢复、权限和安全配置、自动化处理；

所述数据分区：根据数据的特性，选择不同的数据分区策略；包括按时间分区、按地理位置分区、按业务功能分区；

索引：根据查询需求，选择相应的索引策略；

数据压缩：根据数据的特性和存储需求，选择相应的压缩算法和编码方式；

查询：优化查询执行计划以提高查询性能；

数据备份和恢复策略：根据数据的重要性和可用性要求，定制化配置数据备份和恢复策略；

权限和安全配置：根据数据的敏感性级别和访问需求，配置权限和安全策略；

自动化处理：根据数据处理和维护的需求，配置自动化任务，以确保系统稳定运行。

所述数据零拷贝技术具体为：

首先分配一个共享的缓冲区，用于存储待处理的激光雷达数据；当激光雷达生成数据后，数据会直接通过DMA通道传输到分配的缓冲区，而不需要经过中间的数据拷贝步骤，此时DMA传输将数据从设备或内存中读取到缓冲区，在缓冲区中的数据被应用程序或处理器直接访问和处理，而不需要进行额外的数据复制；然后使用内存映射技术，应用程序直接访问缓冲区中的数据，在需要将数据传输给其他进程或设备时，数据直接从缓冲区传输，而不需要在内存之间进行额外的数据拷贝。

所述于WASM技术的全高层大气激光雷达数据处理方法还包括数据优化：

先将零拷贝数据访问的数据传输到云端，利用云计算进行分析解算；然后通过特定的列式存储、压缩对数据存储进行优化；

所述零拷贝数据包括特征提取数据、聚合与统计数据、压缩和轻量化数据：

所述特征提取数据具体为：从原始激光雷达数据中提取出的关键特征和指标，包括物体的位置、形状、速度；

所述聚合与统计数据具体为：对原始数据进行聚合和统计分析后的结果，包括物体数量、分布、运动趋势等；

所述轻量化数据具体为：通过压缩和轻量化技术减小的数据体积。

本发明的原理说明如下：

在激光雷达应用中，实时分析和响应通常是关键需求；零拷贝和 Wasm 减少数据访问和处理的延迟，从而实现更快的实时分析和响应；结合零拷贝数据访问，实现跨平台的高效数据处理和分析；通过减少不必要的数据复制和转换，零拷贝和 Wasm 降低 CPU 和内存的使用，从而降低资源消耗，而零拷贝机制允许直接访问和处理存储在不同格式和设备上的数据；结合 Wasm，实现灵活的数据集成和交换，支持不同的数据源，增强的数据安全性：支持复杂分析和可视化：结合 Wasm 和零拷贝，在客户端环境中实现复杂的数据分析和可视化；这提供更丰富的用户体验，支持更复杂的分析和决策。

实施例1：

一种基于WASM技术的全高层大气激光雷达数据处理方法，所述基于WASM技术的全高层大气激光雷达数据处理方法包括以下步骤：

步骤一、先采集得到激光雷达原始数据，然后将原始数据转换为模式数据；

步骤二、对模式数据进行分类，得到多组分类数据；

步骤三、先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据；

步骤四、先将压缩数据根据数据特性优化后得到轻量化数据模块，然后对轻量化数据模块采用零拷贝技术消除内存带宽后，得到零拷贝数据。

应用时：零拷贝技术通过消除这些不必要的数据复制步骤来提高效率，数据直接从一个设备驱动程序传输到另一个设备驱动程序，或者直接在用户空间和内核空间之间传输，而无需在中间步骤中复制，在文件传输、数据库操作和大规模数据处理中运用，大幅提升数据运输效率。

实施例2：

实施例2与实施例1基本相同，其不同之处在于：

所述步骤二中对模式数据进行分类具体为：数据分组存储的分类标准主要包括根据数据的结构、数据的具体值、数据的嵌套结构、列的不同属性以及压缩算法。

所述数据的结构包括数据的列信息和数据类型；

所述数据的具体值包括每个记录和字段的具体值；

所述数据的嵌套结构包括数据的嵌套结构和可选字段；

所述列的不同属性为根据列的不同将数据分组存储；

所述压缩算法包括数据的编码方法和压缩方法；

所述采用压缩算法进行分类时，需要满足以下条件：数据类型和数据分布、查询性能、存储需求、数据传输需求。

实施例3：

实施例3与实施例1基本相同，其不同之处在于：

一种基于WASM技术的全高层大气激光雷达数据处理方法，所述步骤三中先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据具体为：数据被分割为不同的列，每个列存储一种类型的数据，包括时间戳列、距离列、强度列和角度列；

具体存储方式如下：

原始数据格式（行式存储）：

时间戳：t1, t2, t3,...

距离：d1, d2, d3,...

强度：i1, i2, i3,...

角度：a1, a2, a3,...

列式存储后的数据格式：

时间戳列：{t1, t2, t3,...}

距离列：{d1, d2, d3,...}

强度列：{i1, i2, i3,...}

角度列：{a1, a2, a3,...}。

通过列式存储，在数据查询和分析过程中获得以下优势：当需要查询特定类型的数据时，查询引擎只需要访问对应的列，而无需读取其他不相关的数据，从而加快查询速度；列式存储应用压缩算法来减少存储空间的占用，尤其适用于大规模的激光雷达数据集；对于条件查询，查询引擎只访问符合条件的列，避免不必要的数据读取和处理，从而提高查询效率；查询引擎只需访问距离列，而不需要读取其他类型的数据，从而加速查询过程；查询引擎只需访问强度列，并跳过不满足条件的数据点，减少不必要的数据处理；查询引擎仅访问角度列，并利用角度索引快速定位符合条件的数据。

实施例4：

实施例4与实施例1基本相同，其不同之处在于：

一种基于WASM技术的全高层大气激光雷达数据处理方法，所述步骤四中将压缩数据根据数据特性优化后得到轻量化数据模块包括：数据分区、索引、数据压缩、查询、数据备份和恢复、权限和安全配置、自动化处理；所述数据分区：根据数据的特性，选择不同的数据分区策略；包括按时间分区、按地理位置分区、按业务功能分区，有助于提高数据的查询效率，因为只需查询特定分区的数据；索引：根据查询需求，选择相应的索引策略，某些查询可能需要多个索引以支持不同的查询条件，索引的选择和设计根据查询频率和类型进行定制；数据压缩：根据数据的特性和存储需求，选择相应的压缩算法和编码方式，一些数据可能需要更高的压缩比，而另一些数据可能需要更快的解压速度；查询：优化查询执行计划以提高查询性能；数据备份和恢复策略，一些数据可能需要实时备份，而另一些数据定期备份：根据数据的重要性和可用性要求，定制化配置数据备份和恢复策略；权限和安全配置：根据数据的敏感性级别和访问需求，配置权限和安全策略；自动化处理：根据数据处理和维护的需求，配置自动化任务，以确保系统稳定运行。

数据零拷贝技术在激光雷达数据处理中的具体步骤：

Buffer 分配：

数据零拷贝技术首先会分配一个共享的缓冲区（Buffer），用于存储待处理的激光雷达数据；该缓冲区在操作系统的内核空间中进行分配，以便多个进程或线程共享访问；

DMA（Direct Memory Access）传输：

当激光雷达生成数据后，数据会直接通过DMA通道传输到分配的缓冲区，而不需要经过中间的数据拷贝步骤；DMA传输将数据从设备或内存中读取到缓冲区，减少了CPU的参与，提高了数据传输效率。

数据处理：

在缓冲区中的数据被应用程序或处理器直接访问和处理，而不需要进行额外的数据复制；这样避免拷贝数据到处理器的内存空间，减少了内存带宽的占用。

内存映射：

使用内存映射技术，应用程序直接访问缓冲区中的数据，就像访问自身的内存一样；这样降低数据访问的延迟，并减少数据在内存之间的传输。

零拷贝传输：

在需要将数据传输给其他进程或设备时，数据直接从缓冲区传输，而不需要在内存之间进行额外的数据拷贝。这种方式避免了不必要的数据移动，提高了数据传输效率，数据零拷贝技术实现了在激光雷达数据处理过程中消除内存带宽的目标，它通过最小化数据拷贝和移动操作，减少了数据在内存之间的传输，从而提高了数据处理和传输的效率，适用于需要高效处理大量数据的激光雷达应用场景。

零数据拷贝技术主要用于减少数据在内存和I/O系统之间的复制操作，以下是一个简化的例子，用于解释如何在一个数据处理流程中应用零数据拷贝技术，

待处理的数据块其值为42，存储在内存地址0x1000，具体处理如下：

1、数据生成: 数据块（值为42）生成在内存地址0x1000；

2、缓冲区注册: 该内存地址被注册到一个缓冲区描述符中，而不是复制数据；

3、描述符传递: 缓冲区描述符（而非实际数据）被传递给需要处理数据的下一个系统组件（例如，网络卡或GPU）；

4、直接访问: 下一个系统组件通过缓冲区描述符直接访问内存地址0x1000，进行数据读取或修改；例如，将42加倍，结果为84；

5、结果存储: 修改后的数据（84）仍存储在原始的内存地址0x1000。

6、确认与释放: 数据处理完成后，缓冲区描述符被释放，内存地址0x1000可用于下一轮的数据处理。

在这个过程中，数据42没有被复制到其他内存位置，所有操作都是在原地进行的，这就是零数据拷贝的核心思想。这样做减少了数据复制带来的CPU和内存开销，提高了系统的整体性能。

所述WASM技术的全高层大气激光雷达数据处理方法还包括数据优化：

先将零拷贝数据访问的数据传输到云端，利用云计算进行分析解算；然后通过特定的列式存储、压缩对数据存储进行优化，使得数据存储更加高效，同时也优化了数据查询的性能，通过流式下载和更好的压缩技术，提高数据的响应性和渲染效率，使得数据存储更加高效，同时也优化了数据查询的性能；

数据零拷贝技术在激光雷达数据处理中的具体步骤：

Buffer 分配：

数据零拷贝技术首先会分配一个共享的缓冲区（Buffer），用于存储待处理的激光雷达数据。该缓冲区在操作系统的内核空间中进行分配，以便多个进程或线程共享访问。

DMA（Direct Memory Access）传输：

当激光雷达生成数据后，数据会直接通过DMA通道传输到分配的缓冲区，而不需要经过中间的数据拷贝步骤。DMA传输将数据从设备或内存中读取到缓冲区，减少了CPU的参与，提高了数据传输效率。

数据处理：

在缓冲区中的数据被应用程序或处理器直接访问和处理，而不需要进行额外的数据复制。这样避免拷贝数据到处理器的内存空间，减少了内存带宽的占用。

内存映射：使用内存映射技术，应用程序直接访问缓冲区中的数据，就像访问自身的内存一样。这样降低数据访问的延迟，并减少数据在内存之间的传输；

零拷贝传输：在需要将数据传输给其他进程或设备时，数据直接从缓冲区传输，而不需要在内存之间进行额外的数据拷贝。这种方式避免了不必要的数据移动，提高了数据传输效率。

数据零拷贝技术实现了在激光雷达数据处理过程中消除内存带宽的目标；它通过最小化数据拷贝和移动操作，减少了数据在内存之间的传输，从而提高了数据处理和传输的效率，适用于需要高效处理大量数据的激光雷达应用场景；所述零拷贝数据包括特征提取数据、聚合与统计数据、压缩和轻量化数据：所述特征提取数据具体为：从原始激光雷达数据中提取出的关键特征和指标，包括物体的位置、形状、速度。所述聚合与统计数据具体为：对原始数据进行聚合和统计分析后的结果，包括物体数量、分布、运动趋势等；所述轻量化数据具体为：通过压缩和轻量化技术减小的数据体积。

通过零拷贝机制，直接访问存储在列文件中的数据，无需将数据复制到另一个缓冲区。这减少数据访问的延迟和内存使用；Wasm 允许在浏览器中执行高效的数据处理代码；通过直接访问 Lidar Data Files数据，Wasm 快速处理大量数据，无需等待数据传输和复制；跨平台兼容性：Wasm 是一种跨平台的指令集，在不同的操作系统和硬件上运行；结合HBase的跨平台存储形式，实现跨平台的高效数据处理；资源优化：零拷贝机制减少了不必要的数据复制和转换，从而更有效地使用了 CPU 和内存资源；这对于在资源有限的设备（如移动设备）上运行的应用程序尤为重要；实时分析和可视化：通过在浏览器中直接访问和处理列数据，实现实时的数据分析和可视化；这对于需要快速响应和交互的应用程序（如仪表板和报告工具）十分有效；安全性：Wasm 在沙盒环境中运行，提供了一定的安全保障；结合零拷贝的直接数据访问，减少数据泄露和篡改的风险；激光雷达产生的数据量通常非常大，零拷贝机制减少数据复制和转换的开销，从而提高数据处理的效率；Wasm 提供了一种在浏览器和其他客户端环境中高效执行代码的方式，结合零拷贝进一步提高数据处理的速度。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (9)

1.一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述基于WASM技术的全高层大气激光雷达数据处理方法包括以下步骤：

步骤一、先采集得到激光雷达原始数据，然后将原始数据转换为模式数据；

步骤二、对模式数据进行分类，得到多组分类数据；

步骤三、先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据；

步骤四、先将压缩数据根据数据特性优化后得到轻量化数据模块，然后对轻量化数据模块采用零拷贝技术消除内存带宽后，得到零拷贝数据。

2.根据权利要求1所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述步骤二中对模式数据进行分类具体为：数据分组存储的分类标准主要包括根据数据的结构、数据的具体值、数据的嵌套结构、列的不同属性以及压缩算法。

3.根据权利要求2所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述数据的结构包括数据的列信息和数据类型；

所述数据的具体值包括每个记录和字段的具体值；

所述数据的嵌套结构包括数据的嵌套结构和可选字段；

所述列的不同属性为根据列的不同将数据分组存储；

所述压缩算法包括数据的编码方法和压缩方法；

所述采用压缩算法进行分类时，需要满足以下条件：数据类型和数据分布、查询性能、存储需求、数据传输需求。

4.根据权利要求3所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述步骤三中先将多组分类数据分组存储，每组分类数据对应一个列块，然后所有列块进行压缩处理，得到压缩数据具体为：数据被分割为不同的列，每个列存储一种类型的数据，包括时间戳列、距离列、强度列和角度列；

具体存储方式如下：

原始数据格式：

时间戳：t1, t2, t3,...

距离：d1, d2, d3,...

强度：i1, i2, i3,...

角度：a1, a2, a3,...

列式存储后的数据格式：

时间戳列：{t1, t2, t3,...}

距离列：{d1, d2, d3,...}

强度列：{i1, i2, i3,...}

角度列：{a1, a2, a3,...}。

5.根据权利要求1所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述步骤四中将压缩数据根据数据特性优化后得到轻量化数据模块包括：数据分区、索引、数据压缩、查询、数据备份和恢复、权限和安全配置、自动化处理；

所述数据分区：根据数据的特性，选择不同的数据分区策略；包括按时间分区、按地理位置分区、按业务功能分区；

索引：根据查询需求，选择相应的索引策略；

数据压缩：根据数据的特性和存储需求，选择相应的压缩算法和编码方式；

查询：优化查询执行计划以提高查询性能；

数据备份和恢复策略：根据数据的重要性和可用性要求，定制化配置数据备份和恢复策略；

权限和安全配置：根据数据的敏感性级别和访问需求，配置权限和安全策略；

自动化处理：根据数据处理和维护的需求，配置自动化任务，以确保系统稳定运行。

6.根据权利要求1所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述数据零拷贝技术具体为：

首先分配一个共享的缓冲区，用于存储待处理的激光雷达数据；当激光雷达生成数据后，数据会直接通过DMA通道传输到分配的缓冲区，而不需要经过中间的数据拷贝步骤，此时DMA传输将数据从设备或内存中读取到缓冲区，在缓冲区中的数据被应用程序或处理器直接访问和处理，而不需要进行额外的数据复制；然后使用内存映射技术，应用程序直接访问缓冲区中的数据，在需要将数据传输给其他进程或设备时，数据直接从缓冲区传输，而不需要在内存之间进行额外的数据拷贝。

7.根据权利要求6所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述于WASM技术的全高层大气激光雷达数据处理方法还包括数据优化：

先将零拷贝数据访问的数据传输到云端，利用云计算进行分析解算；然后通过特定的列式存储、压缩对数据存储进行优化。

8.根据权利要求7所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：所述零拷贝数据包括特征提取数据、聚合与统计数据、压缩和轻量化数据。

9.根据权利要求8所述的一种基于WASM技术的全高层大气激光雷达数据处理方法，其特征在于：

所述特征提取数据具体为：从原始激光雷达数据中提取出的关键特征和指标，包括物体的位置、形状、速度；

所述聚合与统计数据具体为：对原始数据进行聚合和统计分析后的结果，包括物体数量、分布、运动趋势等；

所述轻量化数据具体为：通过压缩和轻量化技术减小的数据体积。