CN117176175B - 一种用于计算机的数据传输方法 - Google Patents

Abstract

本发明涉及数据传输技术领域，具体涉及一种用于计算机的数据传输方法，包括：通过利用时序数据集中的各个数据序列内数据点的分布特征，获得数据序列的横向维度指标和纵向维度指标，并将数据序列映射到特征空间中，根据数据序列在特征空间中形成的向量对数据序列在特征空间中的距离进行调节优化，通过得到的相似性对数据序列进行聚类，获得由多个相似性高的数据序列所形成的聚类簇，通过对聚类簇内的数据序列进行编码压缩和数据远程传输。本发明通过对数据冗余程度高的聚类簇内的数据序列进行编码压缩和数据远程传输，提高了编码压缩的压缩效率，进一步提高了数据的传输速度。

Description

一种用于计算机的数据传输方法

技术领域

本发明涉及数据传输技术领域，具体涉及一种用于计算机的数据传输方法。

背景技术

计算机通过数据传输使得不同计算机或设备之间实现数据共享，促进信息的交流和协作；数据传输为大规模数据分析提供了必要的基础，帮助企业和研究机构做出更有意义的决策，为信息社会的发展提供了重要的基础和便利。

通常在进行数据传输时需要先对数据进行压缩处理，但通常在进行数据压缩时对数据中的冗余数据过于依赖，即对于重复相似性高的数据产生的压缩效果较好，而对于重复相似低的数据产生的压缩效果较差，导致对所传输的数据进行压缩的效果不稳定，压缩效率得不到保证。

发明内容

本发明提供一种用于计算机的数据传输方法，以解决现有的问题：现有编码压缩算法在对数据压缩时对数据中的冗余数据过于依赖，即对于重复相似性高的数据产生的压缩效果较好，而对于重复相似低的数据产生的压缩效果较差，导致对所传输的数据进行压缩的效果不稳定，压缩效率得不到保证。

本发明的一种用于计算机的数据传输方法采用如下技术方案：

本发明一个实施例提供了一种用于计算机的数据传输方法，该方法包括以下步骤：

获取计算机运行过程中需要进行传输的时序数据集，时序数据集中包含若干个数据序列；

将时序数据集中数据序列的所有数据点的平均数值记为数据序列的横轴维度指标，根据数据点在所属数据序列中出现的频率以及数据序列内数据点的最大值和最小值，获得数据序列的纵轴维度指标，利用横轴维度指标和纵轴维度指标构建二维的特征空间，获取所有数据序列的横轴维度指标和纵轴维度指标构建，并将所有数据序列映射到特征空间中；

利用特征空间中任意两个数据序列所形成向量与纵轴方向之间的夹角，对所述两个数据序列之间的距离进行调节，获得数据序列之间的相似性；结合相似性对特征空间中的数据序列进行聚类，获得若干个聚类簇；

对所有聚类簇分别进行编码压缩并进行传输。

进一步的，所述根据数据点在所属数据序列中出现的频率以及数据序列内的最大值和最小值，获得数据序列的纵轴维度指标，包括的具体方法为：

根据数据点在所属数据序列中出现的频率获得数据序列的熵，记为数据序列的第一纵轴因子；

根据数据序列内数据点的最大值和最小值的比值获得数据序列的第二纵轴因子；

预设第一参数和第二参数，第一参数大于第二参数，利用第一参数和第二参数对第一纵轴因子和第二纵轴因子进行调节，分别获得第一数值和第二数值；

将第一数值和第二数值的和值记为数据序列的纵轴维度指标。

进一步的，所述第二纵轴因子的具体获取方法为：

将数据序列中数据点的最大值与最小值的比值记为第一比值；

将第一比值与1的差值绝对值作为双曲线正切函数的输入，将双曲线正切函数的输出记为第二纵轴因子。

进一步的，所述第一数值和第二数值的具体获取方法为：

将第一参数和第一纵轴因子的乘积记为第一数值；

将第二参数和第二纵轴因子的乘积记为第二数值。

进一步的，所述利用横轴维度指标和纵轴维度指标构建二维的特征空间，包括的具体方法为：

构建二维直角坐标系，将以横轴维度指标作为二维直角坐标系的横轴，且以纵轴维度指标作为二维直角坐标系的纵轴，所形成的二维空间称为特征空间。

进一步的，所述利用特征空间中任意两个数据序列所形成向量与纵轴方向之间的夹角，对所述两个数据序列之间的距离进行调节，获得数据序列之间的相似性，包括的具体方法为：

首先，获取在特征空间中任意两个数据序列之间的欧氏距离；数据序列在特征空间中所形成的向量与纵轴方向上的夹角包括正向夹角和负向夹角；

根据正向夹角和负向夹角获得规则系数，利用规则系数对数据序列之间的欧氏距离进行调节，获得数据序列之间的相似性，具体计算方法为：

其中，表示数据序列/>和数据序列/>的相似性；/>和/>表示特征空间中任意两个数据序列；/>表示数据序列/>和数据序列/>在特征空间中的欧氏距离；/>表示规则系数；/>表示正向夹角；/>表示负向夹角；/>表示获取最小值。

进一步的，所述正向夹角和负向夹角的具体获取方法为：

将任意两个数据序列在特征空间中形成的向量记为相似向量；

获取相似向量分别与纵轴正方向和纵轴负方向之间的夹角，分别记为正向夹角和负向夹角。

进一步的，所述根据正向夹角和负向夹角获得规则系数，包括的具体方法为：

将正向夹角和负向夹角中的最小值记为规则因子；

将规则因子输入到以自然常数为底数的指数衰减函数，将所述的指数衰减函数的输出记为规则系数。

进一步的，所述结合相似性对特征空间中的数据序列进行聚类，获得若干个聚类簇，包括的具体方法为：

结合相似性计算方法获取特征空间中任意数据序列之间的相似性，通过层次聚类算法对特征空间中所有数据序列进行层次聚类，获得若干个聚类簇。

进一步的，所述对所有聚类簇分别进行编码压缩并进行传输，包括的具体方法为：

首先，对各个聚类簇内的数据序列进行游程编码压缩处理，获得每个聚类簇中数据序列对应的压缩数据；

然后，利用5G网络或局域网对压缩数据进行远程传输。

本发明的技术方案的有益效果是：通过利用时序数据集中的各个数据序列内数据点的分布特征，将数据序列映射到特征空间中，根据数据序列在特征空间中形成的向量对数据序列在特征空间中的距离进行调节优化，获得可以自适应的相似性度量方法，并利用相似性对数据序列进行聚类划分，获得由多个相似性高的数据序列所形成的聚类簇，通过对数据冗余程度高的聚类簇内的数据序列进行编码压缩和数据远程传输，提高了编码压缩的压缩效率，进一步提高了数据的传输速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种用于计算机的数据传输方法的步骤流程图；

图2为特征空间。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于计算机的数据传输方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用于计算机的数据传输方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用于计算机的数据传输方法的步骤流程图，该方法包括以下步骤：

步骤S001：获取计算机运行过程中需要进行传输的时序数据集。

需要说明的是，为了对计算机的运行情况进行监测，通常需要将计算机在运行过程中的相关数据进行远程传输到服务器端，而在数据传输过程中为了保证传输效率，需要将获取的待传输的时序数据集进行编码压缩，因此首先需要获取计算机运行过程中由多种时序数据序列形成的时序数据集。

具体的，为了实现本实施例提出的一种用于计算机的数据传输方法，首先需要采集时序数据集，具体过程为：

获取计算机运行过程中的网络流量数据、带宽利用率数据以及CPU利用率对应的时序数据序列，将网络流量数据、带宽利用率数据以及CPU利用率数据所形成的集合记为时序数据集，将时序数据集中的网络流量数据、带宽利用率数据以及CPU利用率数据统称为数据序列，则时序数据集中包含若干个数据序列。

需要说明的是，时序数据集中所包含的数据可以是多个数据，为了便于描述和分析本实施例中的时序数据集以网络流量数据、带宽利用率数据以及CPU利用率数据进行分析处理。

至此，通过上述方法得到时序数据集。

步骤S002：根据时序数据集中数据序列内数据点的分布特征获取横向维度指标和纵向维度指标，并利用横向维度指标和纵向维度指标构建特征空间。

需要说明的是，传统的编码压缩算法，如游程编码、零值编码和字典编码等编码压缩算法等，在对数据进行编码处理时，过于依赖数据自身的重复性或相似性，而在对含有多种数据的数据集进行压缩传输处理的过程中，往往因数据集中数据差异多样而使得压缩效果不理想；因此本实施例通过对时序数据集进行特征分析，提高数据集中数据之间的相似程度；另外，层次聚类方法适用于处理不同尺度和形状的聚类簇且不需要预设聚类数量，而是直接根据数据的内在结构特征来自动划分聚类，因此选用层次聚类方法对由多种数据形成的时序数据集进行处理；获取更准确的聚类分簇结果。

具体的，根据时序数据集的特征构建层次聚类特征空间。

需要说明的是，对于所述编码压缩传输而言，具有相似度和重复冗余性越高的数据集压缩效果越佳，而聚类特征空间存在横轴纵轴两个维度的指标可以将原始数据集进行空间映射，因此层次聚类的特征空间中两个维度指标需要突出该类待传输数据集内部数据值以及数据变化差异特征，使其映射到合理的特征空间区域上，实现初步的数据集分类：

首先，根据时序数据集中数据序列内的数据点获取各数据序列的横轴维度指标，具体计算方法为：

其中，表示时序数据集中第/>个数据序列的横轴维度指标，/>表示时序数据集中第/>个数据序列的第/>个数据点的数据值；/>表示时序数据集中第/>个数据序列包含数据点的数量。

需要说明的是，数据序列的横轴维度指标表示计算各数据序列中所有数据点的均值，均值大小可以大致反应各数据序列中数据点的量级信息。

然后，获取任意数据序列内任意数据点在数据序列中的频率，记为对应数据点的概率特征；根据数据序列中数据点的概率特征以及数据序列中数据点的最大值和最小值，获得数据序列的纵轴维度指标，具体计算方法为：

其中，表示第/>个数据序列的纵轴维度指标；/>表示时序数据集中第/>个数据序列的第/>个数据点的概率特征；/>表示时序数据集中第/>个数据序列包含数据点的数量；表示时序数据集中第/>个数据序列内的最大值；/>表示时序数据集中第/>个数据序列内的最小值；/>表示以自然常数为底数的对数函数；/>表示双曲正切函数；/>和/>表示预设的超参数。

需要说明的是，纵轴维度指标的计算方法中，分式内的1为预设的超参数，目的是为了保证分式成立，避免分母为0的情况，可根据应用情况对其进行调整，本实施例不进行具体限定。

需要说明的是，超参数和/>应满足条件/>，根据经验预设、/>，可根据实际应用情况对其进行调整，本实施例不进行具体限定。

需要说明的是，第一纵轴因子表示数据序列中包含的所有数据的信息熵，熵值越大，表示数据序列中数据点的数值分布越杂乱无章，而熵值越小表示数据序列中数据点的数值越集中有序。

需要说明的是，第二纵轴因子中，第一比值/>表示数据序列中最大值和最小值的比值大小，比值越趋于1，说明数据序列中数据值的整体差异较小，/>为双曲线正切函数，起到正比例归一化的效果；对于纵轴方向的维度指标模型构建，可依据数据序列中数据点的离散程度和有序程度对时序数据集中的数据序列进行较佳的划分和映射。

最后，获得时序数据集中所有数据序列的横轴维度指标和纵轴维度指标，构建二维直角坐标系，将以横轴维度指标作为二维直角坐标系的横轴，且以纵轴维度指标作为二维直角坐标系的纵轴，所形成的二维空间称为特征空间，将时序数据集中所有数据序列映射到特征空间中。

需要说明的是，在特征空间中一个数据序列对应一个点。

至此，通过上述方法得到特征空间。

步骤S003：结合特征空间中数据序列之间的距离以及所形成的向量角度获得数据序列之间的相似性，并结合相似性对特征空间中的数据序列进行聚类。

需要说明的是，由于层次聚类是基于数据点之间的相似性进行聚类处理的，因此本实施例通过自适应调节相似性度量方法，结合特征空间思想逻辑可知，可通过欧氏距离对数据序列进行相似性评估，若两个数据序列在空间中相距更近，即欧氏距离值更小，则表明二者的横轴维度指标和纵轴维度指标相近，即数据序列的数值均值差异较小且离散程度相近，但在特征空间中数据序列的欧氏距离可能存在相同的情况，而熵值越小的数据序列应当比熵值越大的数据序列与其他数据序列更相近；存在数据重复冗余的概率相对更大，因此本实施例结合特征空间对常规的欧氏距离来获取相似性的方法进行自适应优化调整。

具体的，步骤（1），首先，获取在特征空间中任意两个数据序列之间的欧氏距离；获取任意两个数据序列在特征空间中形成的向量记为相似向量，获取相似向量分别与纵轴正方向和纵轴负方向之间的夹角，分别记为正向夹角和负向夹角/>。

然后，获取特征空间中任意两个数据序列的相似性，具体计算方法为：

其中，表示数据序列/>和数据序列/>的相似性；/>和/>表示特征空间中任意两个数据序列；/>表示数据序列/>和数据序列/>在特征空间中的欧氏距离；/>表示规则系数；/>表示正向夹角；/>表示负向夹角；/>表示获取最小值；/>表示以自然常数为底数的指数函数。

需要说明的是，如图2所示的特征空间中，若数据序列和数据序列/>在特征空间中的正向夹角/>最小，则通过/>使数据序列/>与数据序列/>的欧氏距离适当调大，即变远；若数据序列/>和数据序列/>在特征空间中的负向夹角/>最小，则通过/>使当前数据点集/>与/>的欧氏距离适当调小，即变近；以实现更为合理的相似性评估规则，即集合反映数据序列内数据点的混乱程度的纵轴维度指标所对应的纵轴方向，根据向量与纵轴方向之间的夹角对欧氏距离进行优化调节，作为特征空间中任意两个数据序列的相似性度量方法。

需要说明的是，通过在欧氏距离评估相似性的基础上引入规则系数，获取场景下更为精准的相似性度量标准，使得聚类后的分类结果更加准确且重复程度较高，达到优化游程编码压缩效率的目的。

步骤（2），结合相似性计算方法获取特征空间中任意数据序列之间的相似性，通过层次聚类算法对特征空间中所有数据序列进行层次聚类，获得若干个聚类簇。

至此，通过上述方法得到若干个聚类簇。

步骤S004：对各个聚类簇中的数据序列进行编码压缩和远程传输。

需要说明的是，由于层次聚类后获得的各个聚类簇中数据点的重复性较高，因此利用常规的编码压缩算法可以获得理想的压缩和传输效果。

具体的，首先，对各个聚类簇内的数据序列进行游程编码压缩处理，获得对应的压缩数据。

然后，利用5G网络或局域网对压缩数据进行远程传输。

至此，本实施例完成。

需要说明的是，本实施例中所用的模型仅用于表示负相关关系和约束模型输出的结果处于/>区间内，具体实施时，可替换成具有同样目的的其他模型，本实施例只是以/>模型为例进行叙述，不对其做具体限定，其中/>是指该模型的输入。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于计算机的数据传输方法，其特征在于，该方法包括以下步骤：

获取计算机运行过程中需要进行传输的时序数据集，时序数据集中包含若干个数据序列；

将时序数据集中数据序列的所有数据点的平均数值记为数据序列的横轴维度指标，根据数据点在所属数据序列中出现的频率以及数据序列内数据点的最大值和最小值，获得数据序列的纵轴维度指标，利用横轴维度指标和纵轴维度指标构建二维的特征空间，获取所有数据序列的横轴维度指标和纵轴维度指标构建，并将所有数据序列映射到特征空间中；

利用特征空间中任意两个数据序列所形成向量与纵轴方向之间的夹角，对所述两个数据序列之间的距离进行调节，获得数据序列之间的相似性；结合相似性对特征空间中的数据序列进行聚类，获得若干个聚类簇；

对所有聚类簇分别进行编码压缩并进行传输；

其中，所述根据数据点在所属数据序列中出现的频率以及数据序列内的最大值和最小值，获得数据序列的纵轴维度指标，包括的具体方法为：

根据数据点在所属数据序列中出现的频率获得数据序列的熵，记为数据序列的第一纵轴因子；

根据数据序列内数据点的最大值和最小值的比值获得数据序列的第二纵轴因子；

预设第一参数和第二参数，第一参数大于第二参数，利用第一参数和第二参数对第一纵轴因子和第二纵轴因子进行调节，分别获得第一数值和第二数值；

将第一数值和第二数值的和值记为数据序列的纵轴维度指标；

其中，所述第二纵轴因子的具体获取方法为：

将数据序列中数据点的最大值与最小值的比值记为第一比值；

将第一比值与1的差值绝对值作为双曲线正切函数的输入，将双曲线正切函数的输出记为第二纵轴因子；

其中，所述第一数值和第二数值的具体获取方法为：

将第一参数和第一纵轴因子的乘积记为第一数值；

将第二参数和第二纵轴因子的乘积记为第二数值。

2.根据权利要求1所述一种用于计算机的数据传输方法，其特征在于，所述利用横轴维度指标和纵轴维度指标构建二维的特征空间，包括的具体方法为：

构建二维直角坐标系，将以横轴维度指标作为二维直角坐标系的横轴，且以纵轴维度指标作为二维直角坐标系的纵轴，所形成的二维空间称为特征空间。

3.根据权利要求1所述一种用于计算机的数据传输方法，其特征在于，所述利用特征空间中任意两个数据序列所形成向量与纵轴方向之间的夹角，对所述两个数据序列之间的距离进行调节，获得数据序列之间的相似性，包括的具体方法为：

首先，获取在特征空间中任意两个数据序列之间的欧氏距离；数据序列在特征空间中所形成的向量与纵轴方向上的夹角包括正向夹角和负向夹角；

根据正向夹角和负向夹角获得规则系数，利用规则系数对数据序列之间的欧氏距离进行调节，获得数据序列之间的相似性，具体计算方法为：

其中，表示数据序列/>和数据序列/>的相似性；/>和/>表示特征空间中任意两个数据序列；/>表示数据序列/>和数据序列/>在特征空间中的欧氏距离；/>表示规则系数；/>表示正向夹角；/>表示负向夹角；/>表示获取最小值。

4.根据权利要求3所述一种用于计算机的数据传输方法，其特征在于，所述正向夹角和负向夹角的具体获取方法为：

将任意两个数据序列在特征空间中形成的向量记为相似向量；

获取相似向量分别与纵轴正方向和纵轴负方向之间的夹角，分别记为正向夹角和负向夹角。

5.根据权利要求3所述一种用于计算机的数据传输方法，其特征在于，所述根据正向夹角和负向夹角获得规则系数，包括的具体方法为：

将正向夹角和负向夹角中的最小值记为规则因子；

将规则因子输入到以自然常数为底数的指数衰减函数，将所述的指数衰减函数的输出记为规则系数。

6.根据权利要求1所述一种用于计算机的数据传输方法，其特征在于，所述结合相似性对特征空间中的数据序列进行聚类，获得若干个聚类簇，包括的具体方法为：

结合相似性计算方法获取特征空间中任意数据序列之间的相似性，通过层次聚类算法对特征空间中所有数据序列进行层次聚类，获得若干个聚类簇。

7.根据权利要求1所述一种用于计算机的数据传输方法，其特征在于，所述对所有聚类簇分别进行编码压缩并进行传输，包括的具体方法为：

首先，对各个聚类簇内的数据序列进行游程编码压缩处理，获得每个聚类簇中数据序列对应的压缩数据；

然后，利用5G网络或局域网对压缩数据进行远程传输。