CN114640386A - 一种基于北斗通信的气象机器人数据回传处理系统 - Google Patents

Abstract

本发明公开了一种基于北斗通信的气象机器人数据回传处理系统，包括：机器人控制系统构建动作指令，上传北斗卫星；机器人接收卫星下发指令，执行自身姿态动作、气象环境数据采集等操作；机器人通过数据采集，数据加密，身份信息验证等安全策略将数据回传至北斗卫星；机器人控制系统接收回传的采集数据并预处理生成源数据；机器人控制系统存储源数据；机器人控制系统按照调度规则，采用传统高效的CART算法处理源数据，生成气象保障产品。本发明基于北斗通信功能实现机器人和控制端的互联，利用机器人配置的风向、风速、温度、湿度、气压等传感器收集其所在地的气象要素数据，建立现场气象环境数据库，实现现场环境数据统计及深化分析。

Description

一种基于北斗通信的气象机器人数据回传处理系统

技术领域

本发明属于基于北斗通信的分析及测量技术领域，具体涉及一种基于北斗通信的气象机器人数据回传处理系统。

背景技术

随着人工智能技术的不断发展，各种各样的新型传感器被应用，智能机器人的应用越来越广泛，并能够适应各种复杂气象环境，为无人化气象信息探测提供了可靠的技术支撑。目前用于智能可移动式的气象观测传感器的数据采集准确度和实效性越来越高，设备可兼容性也越来越强，配合智能机器人本身的机动能力，可以在一些人类无法到达的恶劣或未知环境中进行实时、连续、精确的气象要素现场探测与监测，减少不必要的人身伤害，逐步发展成为气象环境侦察体系的新型补充力量。它从一个全新的视角(即“零接触”、“沉浸式”)观察气象环境，能够提供与具体位置绑定的战场环境状况的实时“快照”和精确细微的变化过程。气象信息采集智能机器人与卫星、雷达等中远距监测装备和常规探测技术练成网络，将构成集宏观与微观、长期与实时、固定与移动为一体，对气象环境从宏观尺度到微观尺度的“全维无缝”感知。

机器人的远程操控及数据传输均需要可靠的传输方式。当前，“北斗”卫星系统可以提供全天候、全天时的导航定位和通信服务。相比无线电台通讯和移动网络通讯，“北斗”通信更安全可靠，但由于其带宽较小，每次可发送字节有限，因此为了提高通信效率需要对数据进行压缩，以最大限度地节省带宽。通过目前流行的Huffman压缩算法，可以对卫星传输的机器人操作指令以及气象数据进行无损压缩，解决“北斗”通信带宽小和数据量大之间的矛盾。

针对气象数据的处理及存储，可使用目前主流的网络开发技术，即基于Spring框架及兼容各类型数据库的Web程序来完成。传统的气象数据存储系统一般采用关系型数据库，分析数据特点，设计表结构和索引字段进行存储，通常为减少冗余字段、减少存储量，会将气象资料的观测要素进行拆分表设计，并通过关联字段进行关联。但随着海量气象大数据的发展，传统数据存储管理方式越来越表现出更多的问题，数据存储的冗余备份、关联查询的复杂和效率、索引容量和性能等方面都急需引进新技术解决面临的困境。目前，气象业务陆续开展针对海量结构化气象数据在分布式存储技术中的测试以及应用研究，肯定了大数据存储等新技术在海量气象数据存储中的可行性。

发明内容

发明目的：目前野战环境探测的主要技术手段是卫星和雷达，它们属于远距离、大范围探测技术体制。随着信息化战争在更高的时空分辨率尺度上展开，需要具有对战场环境实时、连续、精确的现场探测与监测能力。传统的采集方式能够满足平时气象信息保障需要，但不能满足战时或恶劣战场环境气象信息保障需求。本发明基于智能控制、无线通信和气象传感器等先进技术，研究设计气象机器人，根据野战机动气象信息保障定向需求，智能机动到达指定区域进行信息采集并回传给气象信息保障部门，为提高我军野外机动作战的应急气象信息保障能力提供无人化信息探测手段，逐步发展成为战场环境侦察体系的新型补充力量。本发明所要解决的技术问题是针对卫星、雷达等探测数据精度和时效性的不足，以及4G、5G基站通信保密性和稳定性的不足，提供一种基于北斗通信的气象机器人数据回传处理系统。

为了解决上述技术问题，本发明公开了一种基于北斗通信的气象机器人数据回传处理系统，包括以下步骤：

步骤1，机器人控制系统构建机器人动作指令，并将动作指令上传至北斗卫星；

步骤2，机器人接收北斗卫星下发的动作指令，按动作指令进行姿态动作执行和气象环境数据采集动作；

步骤3，机器人采集完数据后，将数据回传给北斗卫星；

步骤4，机器人控制系统接收北斗卫星回传的数据，并进行数据预处理；

步骤5，机器人控制系统存储源数据；

步骤6，机器人控制系统按照调度规则处理源数据生成产品数据，完成回传数据处理。

本发明步骤1中所述的机器人即气象机器人，采用多传感器集成方式，包括：温度传感器、风传感器、压力传感器以及湿度传感器，能够实时、连续和精确地现场监探测恶劣战场环境，为战时应急气象信息保障提供无人化信息探测手段；

所述机器人动作包括：机器人作业、数据采集、移动、充电、休眠和定位；相关指令上传北斗卫星时根据动作指令类型选择不同的上传协议进行通道互联，将气象数据加密上传，增强了数据的安全性和保密性；所述北斗卫星包含卫星控制段；

上传动作指令后，若收到上传失败的响应，则机器人控制系统判断本次上传动作指令失败，按照重传机制再次发出动作指令；多次失败后，则重新选择接收动作指令的卫星；

所述机器人与北斗卫星间保障数据安全的方法包括：采用信息安全引擎，即通过密钥的动态分发，实现北斗卫星基地的信息传输安全；采用硬件加密办法，将安全芯片和基准站、数据中心和用户的设备结合，使用数据加密和用户本人身份信息验证措施保障数据安全；对传输过程数据加密。

本发明步骤2中所述的动作指令，即步骤1中机器人控制系统上传至北斗卫星的动作指令；北斗卫星接收到该动作指令后，与指定的机器人建立连接，并下发该动作指令给机器人，机器人收到动作指令后进行动作指令解密，并进行相应操作；

机器人获取动作指令后，按照响应指令进行指令操作，并在自有存储中记录采集到的数据，在操作过程中若发现传感器等外设异常，则记录异常并开始自我修复。

本发明步骤3中所述的回传给北斗卫星的数据，包括机器人所在地理位置、作业状态信息和气象信息，该数据经过封装加密；

机器人内置基础地理信息周期性地根据近期所探测的地形做内容更新，通过持续完善地理信息的精度提高任务完成率；

数据传输采用huffman算法(参考：韩俊英,韩虎.Huffman算法的分析与改进[J].兰州铁道学院学报,2003.)实现文件的压缩与解压；记录字符在文件的频次，采用256的数组底层数据结构，数据类型为CharInfo；通过建一个小堆构建huffman树，将统计到不为0的结点压入堆中，堆中取两个最小数据求和作为树的权值节点构建到huffman树中；编写配置文件，借助配置文件来记录文件出现的字符以及字符出现的次数以供解压缩；解压缩的过程就是使用压缩过程中生成的配置文件进行翻译。

本发明步骤4中所述的数据预处理包括：对短报文和长报文进行类型识别以及缺值处理；类型识别后，根据数据业务类型，使用温度极值范围和气压极值范围对数据进行校验，并对数据的时间戳进行时间一致性校验，对数据内容进行长度校验，确认数据满足数据格式的基础要求；

数据预处理过程包括：

步骤4-1，根据返回数据的长度，分发给长报文及短报文的预处理进程进行数据加工；

步骤4-2，预处理进程根据报文头判断报文类型，根据报文类型对数据进行时间一致性检查、极值范围检查和缺值检查；

步骤4-3，预处理过程中发现的异常数据，记录异常日志，并按标准格式进行优化。

本发明步骤5中所述的存储源数据包括：将图片、文件和结构化数据作为不同类型数据存储，存储时根据各类型数据的特点选择结构化数据库和非结构化数据库或分布式对象数据库进行存储；

存储格点数据时，将不同的时次的要素值使用列式分布式数据库进行存储，并对数据进行压缩；

存储文件和图片的非结构化数据时，使用分布式文件存储系统，按照类型、时间和空间纬度有序的进行数据规整存放，并生成相应的数据索引。

本发明步骤6中所述的调度规则包括定时调度处理和实时调度处理两种，在调度处理过程中对处理异常进行日志记录，对延时数据进行补调；

所述按照调度规则处理源数据，包括数据质量处理和数据预测处理；处理的数据是同一时次的要素类型数据，通过处理方法处理后，生成归一化后的产品数据；

其中，数据质量处理包括，对气象数据进行孤立点数据分析，剔除不合理的异常数据，提升气象观测数据质量；孤立数据分析包括：基于距离的孤立点检测、基于偏差的孤立点检测、基于密度的孤立点检测、基于关联的孤立点检测以及基于聚类的孤立点检测；数据质量处理过程包括：

步骤6-1，基于关联规则的地面气象观测数据的质量控制模型,调用基于兴趣度的关联规则挖掘算法，通过项或项对的超集的兴趣度上界来裁剪搜索空间；

步骤6-2，使用关联规则算法对数据进行处理后,通过数据挖掘得到关联项对，将所有挖掘出的关联项对作为规则集范例库；将植入误差后的待测数据集于规则库中进行匹配，检测出异常数据；基于关联规则的气象观测数据质量控制算法包含三大步骤，即数据预处理、产生关联规则和规则匹配；

其中，数据预测处理，基于一种决策树相关预测模型算法，该算法基于CART算法的二叉决策树，并采用基尼指数作为衡量数据集纯度的标准。

步骤6中所述生成产品数据包括预报产品，实现采集的数据快速分析统计；

其中，采用决策树CART算法(参考：唐容.基于特征选择的CART算法研究[D].电子科技大学.)获取温度和湿度要素的预报产品，步骤包括：

步骤6-3，基于决策树CART算法，依托于存量气象数据，搭建湿度和温度要素的预测模型，处理输入的湿度要素；

步骤6-4，通过粒子群PSO算法(参考：王琳.基于扩展P系统的粒子群算法及其在聚类分析中的应用[D].山东师范大学,2020.)对预测模型参数进行调整优化；通过对原模型选择切分属性和剪枝等过程进行改进，使机器人控制系统具备增量学习的能力并基于动态数据进行实时预测。

本发明步骤6-3中所述基于决策树CART的计算方法，包括：

步骤6-3-1，在决策树根节点L₀处理S_q；若训练数据集S的子集S_q中的数据不超过阈值，则该节点停止选择并被记录为节点的叶子节点；

步骤6-3-2，若子集S_q中的数据中含有超过阈值的数据，则根据分割度量函数在该节点中选择最佳划分属性继续切分；

步骤6-3-3，针对每个数据用于选择属性的特性aⁱ，通过数据属性阈值将其归档集合Aⁱ归类到互不相交的互补子集X和Y；

步骤6-3-4，设选择阈值记录为

Aⁱ的所有可能的选择阈值记录为V_i，则集合X和Y将数据集S_q划分成了两个互不相交的子集

和

步骤6-3-5，数据集S_q中元素来自类别K的比例记为p_k,q，K＝1,...K并且该值不依赖于选择的划分属性aⁱ和划分阈值

由p_k,q的值得出在节点L₀处数据集S_q的基尼指数值Gini；训练数据集S的子集S_q中的数据不超过某个阈值，Gini达到最小值0；当S_q中数据属性平均分布与多个类别时，Gini达到极大值；类别K和Gini值属于正相关关系；

步骤6-3-6，基尼指数式与加权基尼指数式之差表征为CART算法中的分割度量函数；

步骤6-3-7，最终的划分阈值表征：集合Aⁱ内所有允许选择阈值

使Gini增益取得最大值的选择阈值；

步骤6-3-8，使得Gini增益取得最大值的属性作为划分属性，并将节点L₀划分为两个子节点L_last+1和L_last+2，last代表最近一次在整个树中创建的节点的索引值；假设属性a^x具有最大的Gini增益值，则让子集

和

分别在节点L_last+1和L_last+2上执行上述操作；

步骤6-3-9，目标变量拟合的线性方程作为预测结果返回。

本发明步骤6-4中所述通过粒子群PSO算法对预测模型参数进行调整优化,具体流程：

步骤6-4-1，开始令m₀＝m，其中m₀是数据样本中的初始属性，m是数据样本中的属性集合；

步骤6-4-2，用当前树对样本s进行排序并生成节点l_q；

步骤6-4-3，计算增益多点增值益Gini；

步骤6-4-4，区分属性a^x和a^y；

步骤6-4-5，利用如下公式计算基尼增益约束函数φ_G,K，其中a是一个固定的概率，z_(1-a)是标准正态分布N(0,1)的第(1-a)个分位点，n是当前考虑节点中所有数据样本的个数，k是类别数；

步骤6-4-6，分别计算基尼增益值

和

或者φ_G,K<0,将a^x划分属性，否则将a^y划分属性；

步骤6-4-7，添加新的叶子节点，L_last+1，令last＝last+1。

有益效果：

本系统可以使气象智能机器人在恶劣环境下满足气象信息保障需求，如无人岛、无人区、核生化地区、敌占区以及其他人力难以到达区域的气象环境信息采集。利用机器人收集所在地的气象要素数据，快速输入、选择、训练，制作局地气象预测信息，相较复杂、耗时的常规预报数据具有较高的机动性。能够建立现场气象环境数据库，实现现场环境数据统计及深化分析。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和其他方面的优点将会变得更加清楚。

图1为本发明系统整体示意图。

图2为本发明所述方法的原理流程图。

具体实施方式

本发明提供了一种基于北斗通信的气象机器人数据回传处理系统，总体系统如图1所示：机器人控制系统构建动作指令，上传北斗卫星；机器人接收卫星下发指令，执行自身姿态动作、气象环境数据采集等操作；机器人采集完数据后回传至北斗卫星；机器人控制系统接收回传的采集数据并预处理生成源数据；机器人控制系统存储源数据；机器人控制系统按照调度规则处理源数据生成气象保障产品。本发明基于北斗通信功能实现机器人和控制端的互联，利用机器人配置的风向、风速、温度、湿度、气压等传感器收集其所在地的气象要素数据，建立现场气象环境数据库，实现现场环境数据统计及深化分析。

具体地，如图2所示，一种基于北斗通信的气象机器人数据回传处理系统，包括以下步骤：

步骤1：机器人控制系统构建机器人动作指令，上传北斗卫星；

所述机器人即气象机器人，采用多传感器集成方式，包括：温度传感器、风传感器、压力传感器以及湿度传感器，能够实时、连续和精确地现场监探测恶劣战场环境，如无人岛、无人区、火力打击目标区、敌占区、核生化地区以及其他人力难以到达区域的气象环境，为战时应急气象信息保障提供无人化信息探测手段；

可移动的气象机器人，在草地、山地、戈壁等地形及雨天等环境中稳定可靠运行，兼顾自动绕行树木、草丛、岩石等障碍物功能，有效提高环境兼容性。

所述的机器人动作包括机器人作业、数据采集、移动、充电、休眠、定位等，相关指令上传北斗卫星时根据具体的类型选择不同的上传协议进行通道互联，并加密上传；

所述机器人与北斗卫星间保障数据安全的方法包括：采用信息安全引擎，即通过密钥的动态分发，实现北斗卫星基地的信息传输安全；采用硬件加密办法，将安全芯片和基准站、数据中心和用户的设备结合，使用数据加密和用户本人身份信息验证措施保障数据安全；对传输过程数据加密。

步骤2：机器人接收卫星下发指令，按指令进行姿态动作执行、气象环境数据采集等动作；

所述的指令，即机器人控制系统上传卫星的指令，卫星接收到该指令后，与指定的机器人建立连接，并下发该指令给机器人，机器人收到指令后进行指令解密，并进行相应操作；

当上传指令后，如果收到上传失败的响应，控制系统判断本次指令失败，按照重传机制再次发出指令，多次指令失败后，可重新选择接收指令的卫星；

机器人获取指令动作后，按照响应指令进行指令操作，并在自有存储中记录采集到的数据，在操作过程中若发现传感器等外设异常，记录异常并开始自我修复；

步骤3：机器人采集完数据后，回传数据给北斗卫星；

所述的回传数据，包括机器人所在地理位置、作业状态信息、气象信息等各种封装加密后的数据；

机器人内置基础地理信息会周期性的根据近期所探测的地形做内容更新，通过持续完善地理信息的精度达成任务完成率的提高；

步骤4：机器人控制系统接收卫星回传的数据，并进行数据预处理；

所述的数据预处理，包括对短报文、长报文等不同类型报文的类型识别、缺值处理等；

类型识别后，根据数据业务类型的不同，使用温度极值范围、气压极值范围等对数据进行校验，并对数据的时间戳进行时间一致性校验，对数据内容进行长度校验等，确认数据满足数据格式的基础要求。

步骤5：机器人控制系统存储源数据；

所述的存储源数据，包括图片、文件、结构化数据等不同类型数据存储，存储时会根据各类型数据的特点选择结构化数据库、非结构化数据库或分布式对象数据库进行存储；

存储格点数据时，将不同的时次的要素值使用列式分布式数据库进行存储，并根据需求对数据进行一定的压缩，这样的存储结构既保证了数据的稳定和安全，又能在主要的可视化业务场景中被高效读取；

存储文件、图片等非结构化数据时，使用分布式文件存储系统，按照类型、时间、空间等纬度有序的进行数据数据规整存放，并生成相应的数据索引；

步骤6：机器人控制系统按照调度规则处理源数据生成产品数据；

所述的调度规则包括定时调度处理和实时调度处理两种，在处理过程中对处理异常进行日志记录，对延时数据进行补调。

其中，生成产品数据包括预警产品、预报产品；

进一步的，采用CART算法来获取温度、湿度等要素的预报产品，步骤如下：

基于决策树CART算法，依托于存量气象数据，搭建湿度和温度要素的预测模型，处理输入的湿度要素；通过粒子群PSO算法对预测模型参数进行调整优化；通过对原模型选择切分属性和剪枝等过程进行改进，使机器人控制系统具备增量学习的能力并基于动态数据进行实时预测。

步骤7：基于决策树CART算法，具体流程：

(1)在决策树根节点L₀处理S_q；若训练数据集S的子集S_q中的数据不超过阈值，则该节点停止选择并被记录为节点的叶子节点；

(2)否则根据分割度量函数在该节点中选择最佳划分属性继续切分；

(3)针对每个数据用于选择属性的特性aⁱ，通过数据属性阈值将其归档集合Aⁱ归类到互不相交的互补子集X和Y。

(4)设选择阈值记录为

Aⁱ的所有可能的选择阈值记录为V_i，则集合X和Y将数据集S_q划分成了两个互不相交的子集

和

(5)数据集S_q中元素来自类别K的比例记为p_k,q，K＝1,...K并且该值不依赖于选择的划分属性aⁱ和划分阈值

由p_k,q的值得出在节点L₀处数据集S_q的基尼指数值Gini；训练数据集S的子集S_q中的数据不超过某个阈值，Gini达到最小值0；当S_q中数据属性平均分布与多个类别时，Gini达到极大值；类别K和Gini值属于正相关关系；

(6)CART算法中的分割度量函数被定义为基尼指数式与加权基尼指数式之间的差值；

(7)最终的划分阈值表征：集合Aⁱ内所有允许选择阈值

使Gini增益取得最大值的选择阈值。

(8)使得Gini增益取得最大值的属性作为划分属性，并将节点L₀划分为两个子节点L_last+1和L_last+2，last代表最近一次在整个树中创建的节点的索引值；假设属性a^x具有最大的Gini增益值，则让子集

和

分别在节点L_last+1和L_last+2上执行上述操作。

(9)目标变量拟合的线性方程作为预测结果返回。

步骤8：通过粒子群(PSO)算法对预测模型参数进行调整优化,具体流程：

(1)开始令m₀＝m，其中m是数据样本中的属性集合。

(2)用当前树对样本s进行排序并生成节点l_q

(3)计算增益多点增值益Gini

(4)区分属性a^x和a^y

(5)利用如下公式计算基尼增益约束函数φ_G,K，其中a是一个固定的概率，z_(1-a)是标准正态分布N(0,1)的第(1-a)个分位点，n是当前考虑节点中所有数据样本的个数，k是类别数。

(6)分别计算基尼增益值

和

或者φ_G,K<0,将a^x划分属性，否则将a^y划分属性；

(7)添加新的叶子节点，L_last+1，令last＝last+1。

利用本发明所提出的探测方式对某区域的气温数据预报的准确率进行试验检验，试验工况如下：(1)在不同的区域进行探测，合计运行10天，每个区域的预报数据均在15分钟内计算出来。其中总样本的80％作为样本训练数据，20％作为验证数据；(2)属性类别包括日期、气压、温度、风、相对湿度，对于缺失值，使用要素中位数补充；(3)再对各个气象要素做归一化处理；(4)将相对湿度、温度、风作为模型的输入变量，在叶节点输出温度的预测值；(5)对比分析本专利所提出的系统方法的识别准确率。实验中，使用相关指数R2实验表示预测值与实际值间拟合程度的高低，取值0～1。实验结果表面，预测数据计算出的相关指数达64.5％，预报最大误差1.3℃，同自动站监测数据最大误差不超过30％。误差在接受范围之内。表明本发明所述系统具有高机动性、快速预报和较为精准的探测能力。

本发明提供了一种基于北斗通信的气象机器人数据回传处理系统的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，包括以下步骤：

步骤1，机器人控制系统构建机器人动作指令，并将动作指令上传至北斗卫星；

步骤2，机器人接收北斗卫星下发的动作指令，按动作指令进行姿态动作执行和气象环境数据采集动作；

步骤3，机器人采集完数据后，将数据回传给北斗卫星；

步骤4，机器人控制系统接收北斗卫星回传的数据，并进行数据预处理；

步骤5，机器人控制系统存储源数据；

步骤6，机器人控制系统按照调度规则处理源数据生成产品数据，完成回传数据处理。

2.根据权利要求1所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤1中所述的机器人即气象机器人，采用多传感器集成方式，包括：温度传感器、风传感器、压力传感器以及湿度传感器，能够实时、连续和精确地现场监探测恶劣战场环境，为战时应急气象信息保障提供无人化信息探测手段；

所述机器人动作包括：机器人作业、数据采集、移动、充电、休眠和定位；相关指令上传北斗卫星时根据动作指令类型选择不同的上传协议进行通道互联，将气象数据加密上传，增强了数据的安全性和保密性；所述北斗卫星包含卫星控制段；

上传动作指令后，若收到上传失败的响应，则机器人控制系统判断本次上传动作指令失败，按照重传机制再次发出动作指令；多次失败后，则重新选择接收动作指令的卫星；

所述机器人与北斗卫星间保障数据安全的方法包括：采用信息安全引擎，即通过密钥的动态分发，实现北斗卫星基地的信息传输安全；采用硬件加密办法，将安全芯片和基准站、数据中心和用户的设备结合，使用数据加密和用户本人身份信息验证措施保障数据安全；对传输过程数据加密。

3.根据权利要求2所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤2中所述的动作指令，即步骤1中机器人控制系统上传至北斗卫星的动作指令；北斗卫星接收到该动作指令后，与指定的机器人建立连接，并下发该动作指令给机器人，机器人收到动作指令后进行动作指令解密，并进行相应操作；

机器人获取动作指令后，按照响应指令进行指令操作，并在自有存储中记录采集到的数据，在操作过程中若发现传感器等外设异常，则记录异常并开始自我修复。

4.根据权利要求3所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤3中所述的回传给北斗卫星的数据，包括机器人所在地理位置、作业状态信息和气象信息，该数据经过封装加密；

机器人内置基础地理信息周期性地根据近期所探测的地形做内容更新，通过持续完善地理信息的精度提高任务完成率；

数据传输采用huffman算法实现文件的压缩与解压；记录字符在文件的频次，采用256的数组底层数据结构，数据类型为CharInfo；通过建一个小堆构建huffman树，将统计到不为0的结点压入堆中，堆中取两个最小数据求和作为树的权值节点构建到huffman树中；编写配置文件，借助配置文件来记录文件出现的字符以及字符出现的次数以供解压缩；解压缩的过程就是使用压缩过程中生成的配置文件进行翻译。

5.根据权利要求4所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤4中所述的数据预处理包括：对短报文和长报文进行类型识别以及缺值处理；类型识别后，根据数据业务类型，使用温度极值范围和气压极值范围对数据进行校验，并对数据的时间戳进行时间一致性校验，对数据内容进行长度校验，确认数据满足数据格式的基础要求；

数据预处理过程包括：

步骤4-1，根据返回数据的长度，分发给长报文及短报文的预处理进程进行数据加工；

步骤4-2，预处理进程根据报文头判断报文类型，根据报文类型对数据进行时间一致性检查、极值范围检查和缺值检查；

步骤4-3，预处理过程中发现的异常数据，记录异常日志，并按标准格式进行优化。

6.根据权利要求5所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤5中所述的存储源数据包括：将图片、文件和结构化数据作为不同类型数据存储，存储时根据各类型数据的特点选择结构化数据库和非结构化数据库或分布式对象数据库进行存储；

存储格点数据时，将不同的时次的要素值使用列式分布式数据库进行存储，并对数据进行压缩；

存储文件和图片的非结构化数据时，使用分布式文件存储系统，按照类型、时间和空间纬度有序的进行数据规整存放，并生成相应的数据索引。

7.根据权利要求6所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤6中所述的调度规则包括定时调度处理和实时调度处理两种，在调度处理过程中对处理异常进行日志记录，对延时数据进行补调；

所述按照调度规则处理源数据，包括数据质量处理和数据预测处理；处理的数据是同一时次的要素类型数据，通过处理方法处理后，生成归一化后的产品数据；

其中，数据质量处理包括，对气象数据进行孤立点数据分析，剔除不合理的异常数据，提升气象观测数据质量；孤立数据分析包括：基于距离的孤立点检测、基于偏差的孤立点检测、基于密度的孤立点检测、基于关联的孤立点检测以及基于聚类的孤立点检测；数据质量处理过程包括：

步骤6-1，基于关联规则的地面气象观测数据的质量控制模型,调用基于兴趣度的关联规则挖掘算法，通过项或项对的超集的兴趣度上界来裁剪搜索空间；

步骤6-2，使用关联规则算法对数据进行处理后,通过数据挖掘得到关联项对，将所有挖掘出的关联项对作为规则集范例库；将植入误差后的待测数据集于规则库中进行匹配，检测出异常数据；基于关联规则的气象观测数据质量控制算法包含三大步骤，即数据预处理、产生关联规则和规则匹配；

其中，数据预测处理，基于一种决策树相关预测模型算法，该算法基于CART算法的二叉决策树，并采用基尼指数作为衡量数据集纯度的标准。

8.根据权利要求7所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤6中所述生成产品数据包括预报产品，实现采集的数据快速分析统计；

其中，采用决策树CART算法获取温度和湿度要素的预报产品，步骤包括：

步骤6-3，基于决策树CART算法，依托于存量气象数据，搭建湿度和温度要素的预测模型，处理输入的湿度要素；

步骤6-4，通过粒子群PSO算法对预测模型参数进行调整优化；通过对原模型选择切分属性和剪枝等过程进行改进，使机器人控制系统具备增量学习的能力并基于动态数据进行实时预测。

9.根据权利要求8所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤6-3中所述基于决策树CART的计算方法，包括：

步骤6-3-1，在决策树根节点L₀处理S_q；若训练数据集S的子集S_q中的数据不超过阈值，则该节点停止选择并被记录为节点的叶子节点；

步骤6-3-2，若子集S_q中的数据中含有超过阈值的数据，则根据分割度量函数在该节点中选择最佳划分属性继续切分；

步骤6-3-3，针对每个数据用于选择属性的特性aⁱ，通过数据属性阈值将其归档集合Aⁱ归类到互不相交的互补子集X和Y；

步骤6-3-4，设选择阈值记录为

Aⁱ的所有可能的选择阈值记录为V_i，则集合X和Y将数据集S_q划分成了两个互不相交的子集

和

步骤6-3-5，数据集S_q中元素来自类别K的比例记为p_k,q，K＝1,...K并且该值不依赖于选择的划分属性aⁱ和划分阈值

由p_k,q的值得出在节点L₀处数据集S_q的基尼指数值Gini；训练数据集S的子集S_q中的数据不超过某个阈值，Gini达到最小值0；当S_q中数据属性平均分布与多个类别时，Gini达到极大值；类别K和Gini值属于正相关关系；

步骤6-3-6，基尼指数式与加权基尼指数式之差表征为CART算法中的分割度量函数；

步骤6-3-7，最终的划分阈值表征：集合Aⁱ内所有允许选择阈值

使Gini增益取得最大值的选择阈值；

步骤6-3-8，使得Gini增益取得最大值的属性作为划分属性，并将节点L₀划分为两个子节点L_last+1和L_last+2，last代表最近一次在整个树中创建的节点的索引值；假设属性a^x具有最大的Gini增益值，则让子集

和

分别在节点L_last+1和L_last+2上执行上述操作；

步骤6-3-9，目标变量拟合的线性方程作为预测结果返回。

10.根据权利要求9所述的一种基于北斗通信的气象机器人数据回传处理系统，其特征在于，步骤6-4中所述通过粒子群PSO算法对预测模型参数进行调整优化,具体流程：

步骤6-4-1，开始令m₀＝m，其中m₀是数据样本中的初始属性，m是数据样本中的属性集合；

步骤6-4-2，用当前树对样本s进行排序并生成节点l_q；

步骤6-4-3，计算增益多点增值益Gini；

步骤6-4-4，区分属性a^x和a^y；

步骤6-4-5，利用如下公式计算基尼增益约束函数φ_G,K，其中a是一个固定的概率，z_(1-a)是标准正态分布N(0,1)的第(1-a)个分位点，n是当前考虑节点中所有数据样本的个数，k是类别数；

步骤6-4-6，分别计算基尼增益值

和

或者φ_G,K<0,将a^x划分属性，否则将a^y划分属性；

步骤6-4-7，添加新的叶子节点，L_last+1，令last＝last+1。

Images