CN112422234A - 一种基于时间感知的自适应深度学习的数据治理服务方法 - Google Patents

Abstract

本发明提出一种基于时间感知的自适应深度学习的数据治理服务方法，包括如下步骤：步骤1、将数据帧划分为前半部分和后半部分：向每个申请用户广播帧数据治理服务信息，每个数据帧被划分为k个数据治理服务位置区间，位置区间长度与用户数据包时间长度相同，用户发送数据包时数据包首部落在对应的数据治理服务位置区间内；步骤2、初始时刻用户发送数据治理服务包：用户根据步骤1收到的广播信息选择数据治理服务信息的前半部分或后半部分；步骤3、用户根据检测结果更新各个位置区间的时间感知自适应深度学习评估值；步骤4、所有用户选择自适应深度学习评估值最大的两个位置区间继续发送数据包。

Description

一种基于时间感知的自适应深度学习的数据治理服务方法

技术领域

本发明涉及一种数据治理服务方法，具体涉及一种基于时间感知的自适应深度学习的数据治理服务方法。

背景技术

随着大数据技术的广泛使用，数据源类型的多样性正在不断显现，数据治理服务技术也是为数据应用提供有效的数据接口所衍生出来的技术。

数据治理服务是数据治理平台向外提供数据使用权限的数据应用过程。根据数据治理服务的定义，依然可以从数据提供方式、数据传输方式及数据对目的端提供服务上进行分析研究。但是由于并不涉及数据装载过程，因为目标端的装载方式，源端并不能控制。数据治理服务提供者先对需要进行服务的数据资源进行精确化的描述，然后将其在注册中心注册。数据资源请求者则根据需求信息，采用一定的寻址方式查找满足需求的数据资源服务。在这过程中，数据资源服务的建模与表征是整个数据资源服务计算模式中最为重要部分。

数据治理服务组合一直以来就是服务计算领域最受关注的研究内容之一，对于数据资源密集型服务而言，由于涉及到大规模数据资源的操作和更新，这让数据资源密集型服务在服务模式方法面临了更多的挑战，因而关于数据资源密集型服务的服务组合方法也得到了越来越多的研究。

目前许多研究学者提出了各种数据治理服务资源模式的建模方法。基于事件-条件-行动的数据治理服务业务流程模式方法己涉及到业务流程中的数据，该数据治理服务流程建模方法能够支持数据治理服务模式的动态修改，从而使模型具有一定的灵活性。但是这种模型只考虑了服务中的前置条件，并未形成完整的数据治理服务模型。

发明内容

本发明就数据资源服务模式及时间感知的自适应深度学习算法的关键技术进行了研究。基于深度学习算法，给出了数据资源服务改进模式。首先分析了异步随机服务方案中均存在数据包随机选择发送位置，导致信道资源浪费，然后结合时间感知的自适应深度学习算法，给出了自适应服务方案。针对大时延问题，将数据帧划分为多个均匀位置区间，用户对位置区间进行学习，直至用户倾向于选择固定位置区间内位置发送数据包，且在算法迭代过程中，采用粒子权重构策略使种群中进化能力较弱的粒子向进化能力较强的粒子进行学习，重新构造生成新粒子。

一种基于时间感知的自适应深度学习的数据治理服务方法，包括如下步骤：

步骤1、将数据帧划分为前半部分和后半部分：

向每个申请用户广播帧数据治理服务信息，每个数据帧被划分为k个数据治理服务位置区间，位置区间长度与用户数据包时间长度相同，用户发送数据包时数据包首部落在对应的数据治理服务位置区间内；

步骤2、初始时刻用户发送数据治理服务包：

用户根据步骤1收到的广播信息选择数据治理服务信息的前半部分或后半部分，在第一次发送数据包时，所有用户依次经过产生源信号，调制产生传输数据，然后随机选择帧内的两个不同数据治理服务位置区间中的随机位置发送，发送的两个副本功率相同；

步骤3、用户根据检测结果更新各个位置区间的时间感知自适应深度学习评估值，具体的，用户收到数据治理服务检测信息后，会根据检测结果完成各个位置区间评估值更新；

步骤4、所有用户选择自适应深度学习评估值最大的两个位置区间继续发送数据包。

进一步的，所述步骤3中的数据治理服务检测信息是指对数据资源池中的海量数据资源质量评估、检查和控制，根据规则生成数据质量分析报告，确保数据服务质量；对于不符合质量标准的数据则需要打回重新进行加工处理，直至符合相关质量标准后才可导入整合基础库。数据服务质量的好坏关系整个数据治理服务的成败，使用实时准确的数据才能指导数据治理服务业务管理做出正确的决策，提高综合竞争力。

数据治理服务检测是在在数据服务质检规则的基础上，制定数据服务质量标准，首先需要制定完善数据服务的质检方案；数据服务质量检测方案是根据数据质量的标准定义，在数据质检规则中选取相应的质检规则，并配置相关参数，从而形成一套完善的数据服务质检方案；数据服务质检方案主要包括质检方案的创建、数据规则的选取，质检方案的保持等质检方案的基本管理功能。

进一步的，所述步骤4中，用户更新过自适应深度学习评估值后，在下次传输中会选择自适应深度学习评估值最大的两个位置区间发送数据包副本，如果存在多个位置区间评估值最大，用户会从中随机选取两个数据治理服务位置区间传输；如果数据包副本所在位置区间前一帧和本帧序号相同的话，那么用户保持前一帧所在位置继续发送副本；如果不同的话，那副本在本次选择的数据治理服务位置区间内随机选择一个位置发送。

进一步的，还包括：对数据资源服务进行建模，包括服务ID和服务行为描述，所述服务ID对数据治理服务进行了全局唯一命名，服务行为描述从数据治理服务的拓扑位置、服务功能和特性方面对数据资源服务进行语义化描述；

在数据治理服务模式中，向用户提供服务的时间由于网络原因造成一定的延迟，从而服务时间即为随机时间；同理用户访问数据治理服务的时间也是随机时间；假设实施时间t为服从τ分布的随机变量，则t的概率密度函数为：

其中α>0β>0均为常数，

θ为数据资源服务网络延迟；

则数据治理服务资源服务模型的层次随机PETRI网具体建模如下：

SPN＝(P，T，D，A，M0，c1，α，β)

1)SPN(P，T，D，A，M0，c1，α，β)是一个随机petri网：

2)P为控制及数据Token的非空有限库所集，是存放数据治理服务节点、数据治理服务申请参数的缓冲区；

3)T为转换状态有限集，T＝{T1，T2，…，Tn}是一个有限变迁集，n>0，且T＝Tt∪Ts，其中Tt为时间变迁的有限集，Ts为瞬时变迁的有限集，与层次随机相关联的平均变迁实施速率集合λ＝{λ1,λ2….λk﹜，k为时间变迁的数量；

4)D＝(P∩T)U(T∩P)为流关系，即有向弧集，P∩T＝ф，P∪T！＝ф；D中允许有禁止弧h，且h∈(P×T)；A:数据治理服务模型的层次关系；

5)M0表示库所有数据治理服务资源有限集初始节点，即数据治理服务的初始节点；

6)c1 T->[0,1]表示每条转换弧的时间代价到[0,1]概率的映射；

7)α:P->[0,1]表示每个库所到[0,1]概率的映射；

8)β：P->D库所到服务器资源的映射函数，其中该转换路径是通过时间感知的自适应深度学习算法的路由拓扑算法的选择决定的。

进一步的，所述步骤1中：

初始时刻评估值均为0，最大学习帧数T＝60，学习速率为a，激活的用户个数为从N_users，位置区间数k＝100

有益效果：

本发明提出的时间感知自适应深度学习算法的算法复杂度为O(n²)，与传统的数据治理服务方法相比，由于传统方法需要对所有的服务在每一个客户端进行评价，故算法复杂度为O(mn)。本发明时间感知的自适应深度学习算法也仅仅额外付出了n/m的时间代价。且由于在本章所提出的方法中一个客户端仅需管理部分数据治理服务，从而在一定程度降低了客户端的负载，因此该方法对于数据密集型服务是非常有利的。

本发明主要在现有物联网异步随机数据治理服务协议基础上给出了基于适应深度学习的数据治理服务方案。考虑到通信大时延问题，将数据帧分为前半部分帧和后半部分帧，用户只在前半部分(后半部分)帧中接入数据治理服务包。而且将数据帧划分为多个均匀的位置区间，化数据帧内无限个发送位置为有限个位置区间，通过时间感知的自适应深度学习算法将用户在多个前半部分(后半部分)帧中发送数据治理服务包的位置联系起来，每个用户分别对各自发送数据治理服务包在帧内的位置进行学习，很大程度上解决了用户数据包发送位置的随机性导致信道资源利用率不高，进而带来吞吐量较低，丢包率较高的问题。实验结果表明，假设发送端用户数据包采用泊松分布进行接入，在三种仿真环境下对适应深度学习的数据治理服务方案进行计算机仿真，分别从吞吐量、丢包率等方面说明基于时间感知的自适应深度学习算法的数据治理服务方案大大提升了系统性能。在解决高维复杂问题时该算法在收敛速度与收敛精度上都有明显的优势。

附图说明

图1数据资源服务基本框架；

图2基于时间感知的自适应深度学习的数据治理服务示意图；

图3有FEC，SNR＝10dB时数据治理服务吞吐量曲线；

图4有FEC，SNR＝10dB时数据治理服务丢包率曲线；

图5函数F的收敛曲线(D＝30)；

图6函数F的收敛曲线(D＝60)；

图7算法精度和分类规则对比；

图8规则及精度有效性对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

在数据治理服务模式中，向用户提供服务的时间由于网络等原因造成一定的延迟，从而服务时间即为随机时间；同理用户访问数据治理服务的时间也是随机时间。假设实施时间t 为服从τ分布的随机变量，则t的概率密度函数为：

其中α>0β>0均为常数，

则数据治理服务资源服务模型的层次随机PETRI网模型定义为：

定义1SPN＝(P，T，D，A，M0，c1，α，β)

1)SPN(P，T，D，A，M0，c1，α，β)是一个随机petri网：

2)P为控制及数据Token的非空有限库所集，是存放数据治理服务节点、数据治理服务申请参数的缓冲区；

3)T为转换状态有限集，T＝{T1，T2，…，Tn}是一个有限变迁集，n>0，且T＝Tt∪Ts，其中Tt为时间变迁的有限集，Ts为瞬时变迁的有限集，与层次随机相关联的平均变迁实施速率集合λ＝{λ1,λ2….λk﹜，k为时间变迁的数量；

4)D＝(P∩T)U(T∩P)为流关系(即有向弧集)，P∩T＝ф，ф为空集，PUT！＝ф。D中允许有禁止弧h，且h∈(P×T)。A:数据治理服务模型的层次关系；

5)M0表示库所有数据治理服务资源有限集初始节点，即数据治理服务的初始节点；

6)c1 T->[0,1]表示每条转换弧的时间代价到[0,1]概率的映射；

7)α:P->[0,1]表示每个库所到[0,1]概率的映射；

8)β：P->D库所到服务器资源的映射函数，其中该转换路径是通过时间感知的自适应深度学习算法的路由拓扑算法的选择决定的。

数据治理服务是一种以数据为中心，在执行过程中需要不断获取、存储和更新大规模数据资源的服务。为了更好地对数据资源服务进行建模与表征，本发明提出了一种基于时间感知的自适应深度学习算法的数据资源服务建模方法。该方法主要包括了服务ID和服务行为描述。前者对数据治理服务进行了全局唯一命名，后者从数据治理服务的拓扑位置、服务功能和其他特性等方面对数据资源服务进行了语义化描述。基本框架如图 1所示。

首先对服务ID赋予初始值，如SID，对数据服务资源的服务内容进行Hash算法选择建模，首先进行数据服务资源注册，对数据服务质量与服务功能进行评估，质检通过之后对外提供数据资源服务。

按照数据治理服务模型来划分，可以把强化深度学习算法分为两大类：一种是基于数据治理服务模型的算法，首先对数据治理服务环境进行建模，然后在建立的数据治理服务环境模型中不断进行学习，推导出最优的策略；另一种是数据治理服务资源模型不需要进行数据治理服务资源建模，直接进行自适应深度学习得到最优的策略。常见的强化深度学习算法如下：

(1)时序差分算法，结合了蒙特卡洛的动态规划算法，可以在不知道数据治理服务环境的动态模型参数情况下直接进行学习。根据合适的步长时序差分算法可以表示为TD(λ)，其中最简单的为一步算法，即TD(0)算法。一步TD算法在获得瞬时奖赏值后，只需要回退一步，修改相邻状态的估计值即可。可由如下公式表示：

V(S_t)＝V(S_t)+α(R_t+1+γV(S_t+1)) (3)

其中，V(S_t)表示第S_t步的时序差分估计值，V(S_t+1)表示第S_t+1步的时序差分估计值，R_t+1表示动态时序差分值，α为学习速率，γ表示时序差分因子。

(2)深度学习算法，通过非监督学习的方法对未知的数据治理服务环境进行学习，基本公式如下所示:

P_m(i)＝P_m(i)+β(r-P_m(i)) (4)

其中，P_m(i)表示在此状态下的自适应深度学习评估值，β表示学习速率，r表示奖赏因子，此外，自适应深度学习只需要采取贪婪策略来进行深度学习。

考虑如图2所示的数据治理服务随机服务模型，有许多用户终端节点进行随机数据治理服务，发送端用户在帧内随机位置发送数据包。图2给出了基于自适应深度学习的数据治理服务方案示意图。

在这里引入了时间感知的自适应深度学习算法，每个用户都会对当前数据帧内的所有数据治理服务位置区间进行评估，如图2所示，数据传输过程首先对数据资源的空间位置进行区间评估，如1a-2a,1b-2b等，对利用时间感知的自适应深度学习评估后的区间内数据资源进行对外提供服务。使用P(i，j)表示第i个数据治理服务资源申请用户在第j个位置区间的评估值，评估值更大的位置区间表示用户在该数据治理服务位置区间传输成功的机率更高，因而每次发送时，由用户来选择数据治理服务评估值最大的两个位置区间来发送数据治理服务包。申请用户在初始发送阶段，对其他申请环境信息一无所知，因此时间感知的自适应深度学习算法评估表初始化为全零的矩阵。自适应深度学习简化的更新算法如下所示：

P(i,j)＝P(i,j)+β(r-P(i,j)) (5)

同时，由于数据治理服务信道存在着大时延的问题，数据治理服务包的反馈信号不能及时地反馈用于更新评估值。即在当前数据治理服务帧用户发送端不能及时得到上一帧的数据治理服务包传输的反馈，但是从用户发出信号至接收到反馈信号的时延一般不超过一帧的传输时间。这里，本发明提出一种数据治理服务发送端采用帧交替处理的方案，即将数据治理服务帧分成前半部分和后半部分，分别采用自适应深度学习接入。前半部分和后半部分内的数据治理服务位置区间评估值是独立的，前半部分的反馈会在帧的传输时延内反馈回来，即下一个前半部分会收到来自上一个前半部分的反馈，用于评估值的更新，同理，后半部分亦然。这相当于在前半部分和后半部分同时开展两个独立的互不相关的自适应深度学习过程。最终当前半部分和后半部分内的自适应深度学习过程均达到收敛后，认为整个数据治理服务系统达到收敛的稳定状态。

本发明基于时间感知的自适应深度学习算法步骤如下：

1.前半部分时，初始时刻评估值均为0，最大学习帧数为60，学习速率为a，激活的用户个数为从N_users，位置区间数k＝100；

2.episode学习帧数从1到最大；

3.用户数从1到定义的数目；

4.选择评估值最大的两个数据治理服务位置区间号p和q，若有多个相同且最大的值，则在多个最大值中随机选取两个位置区间，然后在两个位置区间p和q中随机选取一个位置；

5.结束本次用户的循环；

6.按照选取的数据治理服务资源位置发送数据，并在下一个前半部分到来前收到反馈信息返回上一层；

7.如果返回确认标志；

8.数据服务资源开始轮询；

9.如果没有轮询到数据服务资源；

10.返回本轮没有合适的数据服务资源；

11.结束；

12.更新每个用户的评估值。

本发明的系统采用时间感知的自适应深度学习算法的数据治理服务实现步骤如下所示：

1)将数据帧划分为前半部分和后半部分：

向每个申请用户广播帧数据治理服务信息，每个数据帧被划分为k个数据治理服务位置区间，位置区间长度与用户数据包时间长度相同，用户发送数据包时数据包首部落在对应的数据治理服务位置区间内。

2)初始时刻用户发送数据治理服务包：

用户根据步骤1收到的广播信息选择数据治理服务前半部分或后半部分。在第一次发送数据包时，所有用户依次经过产生源信号，调制产生传输数据，然后随机选择帧内的两个不同数据治理服务位置区间中的随机位置发送，发送的两个副本功率相同。

3)用户根据检测结果更新各个位置区间的时间感知自适应深度学习评估值。

用户收到数据治理服务检测信息后，会根据检测结果完成各个位置区间评估值更新。

4)所有用户选择自适应深度学习评估值最大的两个位置区间继续发送数据包。

用户更新过自适应深度学习评估值后，在下次传输中会选择自适应深度学习评估值最大的两个位置区间发送数据包副本，如果存在多个位置区间评估值最大，用户会从中随机选取两个数据治理服务位置区间传输；如果数据包副本所在位置区间前一帧和本帧序号相同的话，那么用户保持前一帧所在位置继续发送副本；如果不同的话，那副本在本次选择的数据治理服务位置区间内随机选择一个位置发送。

对时间感知的自适应深度学习预测算法进行理论分析如下：假设共有n个服务由m个用户进行管理和调用。在本发明所提出的方法中，本发明首先构造了成对数据帧来获取局部排序，在该数据治理服务模型中，由于每两个服务都需要根据时间感知进行比较，其中每对服务利用时间序列分析进行预测。故对单个数据治理服务用户而言，该算法的时间复杂度为

其中

为用户j所管理的服务数。对所有申请数据治理服务的用户而言，该算法的时间复杂度为

假设本发明算法通过l步可达到最终的收敛，得到时间感知的自适应深度学习评估值，故算法的时间复杂度为O(ln²)。最后，需要对计算出的自适应深度学习评估值进行排序，得出最终的数据治理服务全局排序，该排序算法的时间复杂度为O(nlogn)。

总之，本发明提出的时间感知自适应深度学习算法的算法复杂度为O(n²)，与传统的数据治理服务方法相比，由于传统方法需要对所有的服务在每一个客户端进行评价，故算法复杂度为O(mn)。本发明时间感知的自适应深度学习算法也仅仅额外付出了n/m的时间代价。且由于在本章所提出的方法中一个客户端仅需管理部分数据治理服务，从而在一定程度降低了客户端的负载，因此该方法对于数据密集型服务是非常有利的。

为验证本发明所提出时间感知的自适应深度学习的数据治理服务方案性能，利用MATLAB 进行了物理层联合MAC层的计算机仿真，假设系统中用户接入请求的到达率服从泊松分布。假设用户数据包副本数为两个，数据包长度为200比特，数据帧长度为20000比特，从物理层角度来看，信噪比(SNR)考虑高信噪比和低信噪比两种环境。其具体的仿真参数如表1所示。

表1数据治理服务仿真参数

参数	取值
		数据包长度(比特)	200
帧长度(比特)	20000
		仿真次数	6000
数据包副本数	2
		FEC编码	Turbo编码，1/2码率
学习速率	0.1
		学习帧数	50
信噪比SNR(dB)	4,20

图3和图4分别对比了本仿真环境，2个数据包副本情况下CRA,ECRA和提出的QECRA数据治理服务模式的吞吐量性能和丢包率PLR。如图3可以看出，在物理层有FEC的情况下提出的QECRA-2数据治理服务模式的系统性能均比无FEC情况要好。QECRA-2峰值吞吐量达到了1，在系统负载不超过1比特/符号且Q学习算法使系统达到收敛状态时，QECRA-2的系统负载和吞吐量成线性关系，而CRA-2只能达到0.5,ECRA-2只能达到0.6。图4中可以看出，当系统负载比较小时，CRA-2和ECRA-2协议虽然丢包率比较低，但是还是在随着系统负载的增大而迅速增大，而提出的QECRA-2数据治理服务模式在系统负载不超过1时均为0，即数据帧中的用户全部正确接入。

表2通讨Wilcoxon的测试得到结果

从表2的结果来看，在a＝0.05时时间感知的自适应深度学习算法在测试函数上相较于对比算法均获得了明显的优势。值的说明的是，相较其他算法时间感知的自适应深度学习算法在求解高维问题时具有突出优势。此外，在图5,图6中分别展示了算法在部分函数上收敛情况，从图中可以清晰的观察出时间感知的自适应深度学习算法在收敛速度与收敛精度上均具有显著优势。虽然时间感知的自适应深度学习算法自身也存在不足，当维数增加时，算法的稳定性相比其他算法略显不足，但总的来说，时间感知的自适应深度学习算法与其他算法相比，在优化结果上都大有提升。

为进一步说明时间感知的自适应深度学习算法在寻优速度上的优势，使算法在相同的实验环境下独立运行20次，粒子数均为40，记录算法达到指定收敛精度时的运行时间，如果迭代到200000次后仍达不到要求的精度，则用“一”表示，如表3所示。由表3知，在实验环境相同的情况下，时间感知的自适应深度学习算法达到指定精度要求时所运行的时间要比标准粒子群算法及其改进算法的运行时间更优，从运行时间方面再次验证了时间感知的自适应深度学习算法的有效性。

表3算法达到指定精度的运行时间

函数	CLPSO	SRPSO	自适应深度学习
				F0	1.04E+00	4.94E-01	5.73E-02
F1	1.02E+00	8.17E-01	9.43E-01
				F2	1.23E+00	5.22E-01	1.58E-02
F3	1.16E+00	5.36E-01	1.46E-02
				F4	1.23E+00	5.92E-01	1.42E-02
F5	1.04E+00	-	4.60E-02
				F6	-	-	4.70E-02
F7	-	-	3.77E-01
				F8	-	-	9.25E-O1
F9	-	-	-

为了对比得出本章所提出的方法的有效性与准确性，本发明进行多组对比实验，在这些数据治理服务的对比实验中，从真实数据治理服务的数据集中随机选取部分数据治理服务进行实验，本发明随着数据集的变化改变从每个数据治理服务客户端中所选取的服务的比例，该比例从10％到60％进行变化，且变化的步长为10％，从而更好地比较出时间感知的自适应深度学习数据治理服务方法在处理不同密度数据集矩阵的能力。例如，10％意味着对每个申请数据治理服务的客户端随机选取10％的服务用于预测所有数据治理服务的自适应深度学习评估值的全局排序。如上所述，本发明进行了20组实验，并按照上面所述的两个评价标准进行计算自适应深度学习评估值排序的准确度。此外，对比了传统方法与本章方法的响应时间，进一步说明本发明方法对于不同类型数据治理服务的自适应性。

自适应深度学习算法和时间感知挖掘技术的引入，大大提高了数据治理服务模型的适应性，使得数据治理服务评价系统变成一个自学习、自适应的智能系统。各种算法构建数据治理服务评价模型时各有利弊，通过以上对各种算法分类能力、有效性等方面进行对比分析，综合分析各种算法进行分类的优缺点，将各种数据治理服务评价模型与传统的模糊综合评判方法的对比情况归纳如表4所示。

表4数据治理服务模型对比

由图7可以看出，模糊综合评价训练精度较为理想，但测试精度不甚理想，且提取的分类规则个数较多；而粒子群优化算法的训练精度和测试精度均能达到用户满意的程度，而且提取的级别规则个数少；自适应粒子群优化训练精度和测试精度略高于时间感知的自适应深度学习算法；时间感知的自适应深度学习算法训练精度最高，达到87％以上，且可对输入的连续型属性进行分类学习，测试精度达到84％，这说明时间感知的自适应深度学习算法能较好的学习训练不同类型的数据治理服务。

如图8所示，利用时间感知的自适应深度学习算法进行分类的优点是准确率高、规则透明易理解，通过分析每条规则，计算其有效性发现，所有的6条规则平均有效性仅0.01。且间感知的自适应深度学习算法的数据治理服务由于剔除了无效规则和低效规则，使得规则集合中无效的规则较少，所有的6条规则平均有效性仅0.02.

本发明主要在现有物联网异步随机数据治理服务协议基础上给出了基于适应深度学习的数据治理服务方案。考虑到通信大时延问题，将数据帧分为前半部分帧和后半部分帧，用户只在前半部分(后半部分)帧中接入数据治理服务包。而且将数据帧划分为多个均匀的位置区间，化数据帧内无限个发送位置为有限个位置区间，通过时间感知的自适应深度学习算法将用户在多个前半部分(后半部分)帧中发送数据治理服务包的位置联系起来，每个用户分别对各自发送数据治理服务包在帧内的位置进行学习，很大程度上解决了用户数据包发送位置的随机性导致信道资源利用率不高，进而带来吞吐量较低，丢包率较高的问题。实验结果表明，假设发送端用户数据包采用泊松分布进行接入，在三种仿真环境下对适应深度学习的数据治理服务方案进行计算机仿真，分别从吞吐量、丢包率等方面说明基于时间感知的自适应深度学习算法的数据治理服务方案大大提升了系统性能。在解决高维复杂问题时该算法在收敛速度与收敛精度上都有明显的优势。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于时间感知的自适应深度学习的数据治理服务方法，其特征在于，包括如下步骤：

步骤1、将数据帧划分为前半部分和后半部分：

向每个申请用户广播帧数据治理服务信息，每个数据帧被划分为k个数据治理服务位置区间，位置区间长度与用户数据包时间长度相同，用户发送数据包时数据包首部落在对应的数据治理服务位置区间内；

步骤2、初始时刻用户发送数据治理服务包：

用户根据步骤1收到的广播信息选择数据治理服务信息的前半部分或后半部分，在第一次发送数据包时，所有用户依次经过产生源信号，调制产生传输数据，然后随机选择帧内的两个不同数据治理服务位置区间中的随机位置发送，发送的两个副本功率相同；

步骤3、用户根据检测结果更新各个位置区间的时间感知自适应深度学习评估值，具体的，用户收到数据治理服务检测信息后，会根据检测结果完成各个位置区间评估值更新；

步骤4、所有用户选择自适应深度学习评估值最大的两个位置区间继续发送数据包。

2.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法，其特征在于：

所述步骤3中的数据治理服务检测信息是指对数据资源池中的海量数据资源质量评估、检查和控制，根据规则生成数据质量分析报告，确保数据服务质量；对于不符合质量标准的数据则需要打回重新进行加工处理，直至符合相关质量标准后才可导入整合基础库；

数据治理服务检测是在在数据服务质检规则的基础上，制定数据服务质量标准，首先需要制定完善数据服务的质检方案；数据服务质量检测方案是根据数据质量的标准定义，在数据质检规则中选取相应的质检规则，并配置相关参数，从而形成一套完善的数据服务质检方案；数据服务质检方案主要包括质检方案的创建、数据规则的选取，质检方案的保持等质检方案的基本管理功能。

3.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法，其特征在于：

所述步骤4中，用户更新过自适应深度学习评估值后，在下次传输中会选择自适应深度学习评估值最大的两个位置区间发送数据包副本，如果存在多个位置区间评估值最大，用户会从中随机选取两个数据治理服务位置区间传输；如果数据包副本所在位置区间前一帧和本帧序号相同的话，那么用户保持前一帧所在位置继续发送副本；如果不同的话，那副本在本次选择的数据治理服务位置区间内随机选择一个位置发送。

4.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法，其特征在于，还包括：

对数据资源服务进行建模，包括服务ID和服务行为描述，所述服务ID对数据治理服务进行了全局唯一命名，服务行为描述从数据治理服务的拓扑位置、服务功能和特性方面对数据资源服务进行语义化描述；

在数据治理服务模式中，向用户提供服务的时间由于网络原因造成一定的延迟，从而服务时间即为随机时间；同理用户访问数据治理服务的时间也是随机时间；假设实施时间t为服从τ分布的随机变量，则t的概率密度函数为：

其中α>0β>0均为常数，

θ为数据资源服务网络延迟；

则数据治理服务资源服务模型的层次随机PETRI网具体建模如下：

SPN＝(P，T，D，A，M0，c1，α，β)

1)SPN(P，T，D，A，M0，c1，α，β)是一个随机petri网：

2)P为控制及数据Token的非空有限库所集，是存放数据治理服务节点、数据治理服务申请参数的缓冲区；

3)T为转换状态有限集，T＝{T1，T2，…，Tn}是一个有限变迁集，n>0，且T＝Tt∪Ts，其中Tt为时间变迁的有限集，Ts为瞬时变迁的有限集，与层次随机相关联的平均变迁实施速率集合λ＝{λ1,λ2….λk﹜，k为时间变迁的数量；

4)D＝(P∩T)U(T∩P)为流关系，即有向弧集，P∩T＝ф，P∪T！＝ф；D中允许有禁止弧h，且h∈(P×T)；A:数据治理服务模型的层次关系；

5)M0表示库所有数据治理服务资源有限集初始节点，即数据治理服务的初始节点；

6)c1 T->[0,1]表示每条转换弧的时间代价到[0,1]概率的映射；

7)α:P->[0,1]表示每个库所到[0,1]概率的映射；

8)β：P->D库所到服务器资源的映射函数，其中该转换路径是通过时间感知的自适应深度学习算法的路由拓扑算法的选择决定的。

5.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法，其特征在于，所述步骤1中：

初始时刻评估值均为0，最大学习帧数T＝60，学习速率为a，激活的用户个数为从N_users，位置区间数k＝100。

Images