发明内容
为改善相关技术中存在的技术问题,本发明提供了一种基于工业互联网的数据追踪方法、系统及云平台。
第一方面,本发明实施例提供了一种基于工业互联网的数据追踪方法,应用于数据追踪云平台,所述方法至少包括:获得业务处理流式日志中对应于选定业务数据集的每一目标互联网服务交互项目的项目执行进度文本;依据所述目标互联网服务交互项目的项目执行进度文本,确定所述目标互联网服务交互项目对应的请求响应评分数据;其中,所述请求响应评分数据包括所述目标互联网服务交互项目在所述项目执行进度文本表征的每一数据处理环节的请求响应处理延时;依据所述每一目标互联网服务交互项目对应的请求响应评分数据,确定所述选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个所述携带等候标签的目标互联网服务交互项目的等候周期;依据所述携带等候标签的目标互联网服务交互项目以及每个所述携带等候标签的目标互联网服务交互项目对应的等候周期,确定所述选定业务数据集是否存在服务过载趋势。
可见,借助获得的选定业务数据集内的每个目标互联网服务交互项目的项目执行进度文本,确定该目标互联网服务交互项目对应的请求响应评分数据,该请求响应评分数据包括目标互联网服务交互项目在每一数据处理环节的请求响应处理延时,通过该请求响应评分数据可以精准地反映该目标互联网服务交互项目在选定业务数据集内的项目处理进度。还可以通过每一目标互联网服务交互项目对应的请求响应评分数据,确定选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个携带等候标签的目标互联网服务交互项目的等候周期。进而结合携带等候标签的目标互联网服务交互项目以及每个携带等候标签的目标互联网服务交互项目对应的等候周期,精准及时地确定选定业务数据集是否存在服务过载趋势,能够提高针对互联网服务交互项目的项目跟踪准确性和可信度,以便在选定业务数据集存在服务过载趋势的基础上进行适应性的互联网服务交互项目分流处理,提高互联网服务交互的效率和灵活性。
在一些实施例中,所述方法还包括:基于确定所述选定业务数据集存在服务过载趋势,确定所述选定业务数据集对应的协助优化方案;其中,所述协助优化方案包括:过载提示方案、分流处理方案中的一种或两种。
可见,在确定选定业务数据集存在服务过载趋势时,可以确定选定业务数据集对应的协助优化方案,以便借助该协助优化方案能够对该选定业务数据集的服务过载趋势进行缓解,提高选定业务数据集的应答处理时效性。
在一些实施例中,所述选定业务数据集内的目标互联网服务交互项目通过如下思路获得,包括:获得所述业务处理流式日志包括的每一基础互联网服务交互项目的基础项目执行进度文本;从所述每一基础互联网服务交互项目中,确定所述基础项目执行进度文本表征的数据传输关系网匹配所述选定业务数据集的第一待定互联网服务交互项目;以及从所述每一基础互联网服务交互项目中,确定所述基础项目执行进度文本表征的数据传输关系网、与所述选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目;依据所述第一待定互联网服务交互项目和所述第二待定互联网服务交互项目,确定对应于所述选定业务数据集的目标互联网服务交互项目。
可见,可以从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网匹配选定业务数据集的第一待定互联网服务交互项目和确定基础项目执行进度文本表征的数据传输关系网、与选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目。其中,该第一待定互联网服务交互项目可以包括对应于选定业务数据集内的互联网服务交互项目。第二待定互联网服务交互项目可以包括从预设的第一项目识别模块驶入选定业务数据集的互联网服务交互项目。通过第一待定互联网服务交互项目和第二待定互联网服务交互项目,可以尽可能精准地确定目标互联网服务交互项目,该目标互联网服务交互项目为能够准确表征选定业务数据集状态的互联网服务交互项目。
在一些实施例中,所述从所述每一基础互联网服务交互项目中,确定所述基础项目执行进度文本表征的数据传输关系网、与所述选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目,包括:对于各所述基础互联网服务交互项目,依据所述第一项目识别模块中两个识别单元的第一分布特征向量、和所述基础互联网服务交互项目的所述基础项目执行进度文本表征的任意的连续两个数据处理环节的第二分布特征向量,判断所述基础互联网服务交互项目是否达到与第一项目分析条件相匹配的第一识别要求;响应于没有达到所述第一识别要求,依据所述第一分布特征向量、和所述第二分布特征向量,判断所述基础互联网服务交互项目是否达到与第二项目分析条件相匹配的第二识别要求;响应于达到所述第二识别要求,确定所述基础互联网服务交互项目属于第二待定互联网服务交互项目。
可见,通过使用与第一项目分析条件相匹配的第一识别要求,可以及时地确定基础互联网服务交互项目是否与第一项目识别模块不匹配,比如若达到第一识别要求,则该基础互联网服务交互项目与第一项目识别模块不匹配,并将该基础互联网服务交互项目删除。在没有达到第一识别要求时,该基础互联网服务交互项目可能与第一项目识别模块匹配,也可能不匹配。因此可以使用与第二项目分析条件相匹配的第二识别要求,确定基础互联网服务交互项目是否与第一项目识别模块匹配。比如响应于达到第二识别要求,确定基础互联网服务交互项目属于第二待定互联网服务交互项目。基于此,可以提高第二待定互联网服务交互项目的确定准确性和时效性。
在一些实施例中,所述选定业务数据集包括第一项目识别模块和第二项目识别模块,所述获得业务处理流式日志中对应于选定业务数据集的每一目标互联网服务交互项目的项目执行进度文本,包括:获得所述业务处理流式日志中每一目标互联网服务交互项目的基础项目执行进度文本;从所述目标互联网服务交互项目对应的所述基础项目执行进度文本中,筛选对应于所述第一项目识别模块和第二项目识别模块之间的基础项目执行进度文本,作为所述选定业务数据集内所述目标互联网服务交互项目的项目执行进度文本。
在一些实施例中,所述依据所述目标互联网服务交互项目的项目执行进度文本,确定所述目标互联网服务交互项目对应的请求响应评分数据,包括:对于所述项目执行进度文本表征的每个数据处理环节,确定所述数据处理环节在设定特征空间中的第一分布特征向量、以及确定在先处理环节在设定特征空间中的第二分布特征向量;依据所述第一分布特征向量、所述第二分布特征向量、和所述数据处理环节与所述在先处理环节之间的时序差异,确定所述数据处理环节的请求响应处理延时;依据所述目标互联网服务交互项目上每一所述数据处理环节的请求响应处理延时,确定所述目标互联网服务交互项目对应的请求响应评分数据。
可见,根据数据处理环节的第一分布特征向量、在先处理环节的第二分布特征向量和数据处理环节与在先处理环节之间的时序差异,尽可能精准地确定数据处理环节的请求响应处理延时,进而得到了尽可能准确可信的请求响应评分数据。
在一些实施例中,所述依据所述每一目标互联网服务交互项目对应的请求响应评分数据,确定所述选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个所述携带等候标签的目标互联网服务交互项目的等候周期,包括:对于各所述目标互联网服务交互项目,依据所述目标互联网服务交互项目对应的请求响应评分数据,确定所述目标互联网服务交互项目的请求响应处理延时一直高于设定延时判定值的不少于一个待定时序区间;在所述不少于一个待定时序区间中存在大于设定时间长度值的待定时序区间的基础上,确定所述目标互联网服务交互项目携带等候标签,并将所述大于设定时间长度值的待定时序区间确定为所述目标互联网服务交互项目对应的等候周期。
可见,通过设定延时判定值和设定时间长度值,可以尽可能精准地确定目标互联网服务交互项目对应的等候周期,为后续确定选定业务数据集是否存在服务过载趋势提供分析依据。
在一些实施例中,在所述依据所述目标互联网服务交互项目对应的请求响应评分数据,确定所述目标互联网服务交互项目的请求响应处理延时一直高于设定延时判定值的不少于一个待定时序区间之后,还包括:根据确定的所述目标互联网服务交互项目匹配所述选定业务数据集的第一项目识别模块的第一时间节点,对所述目标互联网服务交互项目对应的不少于一个待定时序区间进行抽取,得到完成抽取的待定时序区间;所述在所述不少于一个待定时序区间中存在大于设定时间长度值的待定时序区间的基础上,确定所述目标互联网服务交互项目携带等候标签,包括:在所述完成抽取的待定时序区间中存在大于设定时间长度值的待定时序区间的基础上,确定所述目标互联网服务交互项目携带等候标签。
可见,通过借助目标互联网服务交互项目匹配选定业务数据集的第一项目识别模块的第一时间节点,对目标互联网服务交互项目对应的不少于一个待定时序区间进行抽取,可以将由于正常处理等候而出现延时的待定时序区间删除,提高了完成抽取的待定时序区间的准确性。进而可以尽可能精准地确定目标互联网服务交互项目是否携带等候标签,以及确定目标互联网服务交互项目对应的等候周期。
在一些实施例中,所述依据所述携带等候标签的目标互联网服务交互项目以及每个所述携带等候标签的目标互联网服务交互项目对应的等候周期,确定所述选定业务数据集是否存在服务过载趋势,包括:根据每一所述携带等候标签的目标互联网服务交互项目对应的所述等候周期的重叠判定结果,得到目标时序区间;确定所述目标时序区间内包括的携带等候标签的目标互联网服务交互项目的目标数目;依据所述目标时序区间对应的所述目标数目,确定所述选定业务数据集在所述目标时序区间是否存在服务过载趋势。
可见,通过根据每一携带等候标签的目标互联网服务交互项目对应的等候周期的重叠判定结果,得到目标时序区间,该目标时序区间为选定业务数据集存在服务过载趋势可能性较高的时序区间;再确定目标时序区间内包括的携带等候标签的目标互联网服务交互项目的目标数目,借助该目标时序区间对应的目标数目,尽可能精准地确定选定业务数据集在目标时序区间是否存在服务过载趋势。
在一些实施例中,依据所述目标时序区间对应的所述目标数目,确定所述选定业务数据集是否存在服务过载趋势,包括:判断所述目标时序区间对应的所述目标数目是否大于预设的数目判定值;如果是,则依据所述目标时序区间内所述选定业务数据集包括的每一目标互联网服务交互项目的请求响应评分数据,确定所述目标时序区间对应的延时变化特征;在所述延时变化特征指示所述选定业务数据集内每一目标互联网服务交互项目属于稳定延时,确定所述选定业务数据集在所述目标时序区间存在服务过载趋势。
可见,鉴于目标互联网服务交互项目存在主动协助其他互联网服务交互项目的情况,基于此,目标互联网服务交互项目的延时可能高于设定延时判定值,但是该场景下不属于服务过载趋势。为了区分以上场景,可以基于目标时序区间内选定业务数据集包括的每一目标互联网服务交互项目的请求响应评分数据,确定目标时序区间对应的延时变化特征。在延时变化特征指示选定业务数据集内每一目标互联网服务交互项目属于稳定延时,确定选定业务数据集在目标时序区间存在服务过载趋势,提高了确定的服务过载趋势的准确性。
第二方面,本发明还提供了一种基于工业互联网的数据追踪系统,包括互相之间通信的数据追踪云平台和业务处理服务器;所述数据追踪云平台用于:通过所述业务处理服务器获得业务处理流式日志中对应于选定业务数据集的每一目标互联网服务交互项目的项目执行进度文本;依据所述目标互联网服务交互项目的项目执行进度文本,确定所述目标互联网服务交互项目对应的请求响应评分数据;其中,所述请求响应评分数据包括所述目标互联网服务交互项目在所述项目执行进度文本表征的每一数据处理环节的请求响应处理延时;依据所述每一目标互联网服务交互项目对应的请求响应评分数据,确定所述选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个所述携带等候标签的目标互联网服务交互项目的等候周期;依据所述携带等候标签的目标互联网服务交互项目以及每个所述携带等候标签的目标互联网服务交互项目对应的等候周期,确定所述选定业务数据集是否存在服务过载趋势。
第三方面,本发明还提供了一种数据追踪云平台,包括处理器和存储器;所述处理器和所述存储器通信连接,所述处理器用于从所述存储器中读取计算机程序并执行,以实现上述所述的方法。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明实施例所提供的方法实施例可以在数据追踪云平台、计算机设备或者类似的运算装置中执行。以运行在数据追踪云平台上为例,数据追踪云平台10可以包括一个或多个处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述数据追踪云平台还可以包括用于通信功能的传输装置106。本领域普通技术人员可以理解,上述结构仅为示意,其并不对上述数据追踪云平台的结构造成限定。例如,数据追踪云平台10还可包括比上述所示更多或者更少的组件,或者具有与上述所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的一种基于工业互联网的数据追踪方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至数据追踪云平台10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括数据追踪云平台10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
基于此,请参阅图1,图1是本发明实施例所提供的一种基于工业互联网的数据追踪方法的流程示意图,该方法应用于数据追踪云平台,进一步可以包括以下内容描述的技术方案。
步骤101,获得业务处理流式日志中对应于选定业务数据集的每一目标互联网服务交互项目的项目执行进度文本。
步骤102,基于目标互联网服务交互项目的项目执行进度文本,确定目标互联网服务交互项目对应的请求响应评分数据。
进一步地,请求响应评分数据包括目标互联网服务交互项目在项目执行进度文本表征的每一数据处理环节的请求响应处理延时。
步骤103,基于每一目标互联网服务交互项目对应的请求响应评分数据,确定选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个携带等候标签的目标互联网服务交互项目的等候周期。
步骤104,基于携带等候标签的目标互联网服务交互项目以及每个携带等候标签的目标互联网服务交互项目对应的等候周期,确定选定业务数据集是否存在服务过载趋势。
应用于步骤101-步骤104,借助获得的选定业务数据集内的每个目标互联网服务交互项目的项目执行进度文本,确定该目标互联网服务交互项目对应的请求响应评分数据,该请求响应评分数据包括目标互联网服务交互项目在每一数据处理环节的请求响应处理延时,通过该请求响应评分数据可以精准地反映该目标互联网服务交互项目在选定业务数据集内的项目处理进度。还可以通过每一目标互联网服务交互项目对应的请求响应评分数据,确定选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个携带等候标签的目标互联网服务交互项目的等候周期。进而结合携带等候标签的目标互联网服务交互项目以及每个携带等候标签的目标互联网服务交互项目对应的等候周期,精准及时地确定选定业务数据集是否存在服务过载趋势,能够提高针对互联网服务交互项目的项目跟踪准确性和可信度,以便在选定业务数据集存在服务过载趋势的基础上进行适应性的互联网服务交互项目分流处理,提高互联网服务交互的效率和灵活性。
对于步骤101-步骤104,以下为示例性的介绍。
就步骤101而言,业务处理流式日志可以为互联网服务(电商服务、办公服务、虚拟服务等)对应的基于时间先后顺序生成的交互数据集。其中,选定业务数据集可以是根据实际需求选择的数据内容集。进一步地,选定业务数据集对应匹配有第一项目识别模块21和第二项目识别模块22。
进一步地,在获得到业务处理流式日志之后,可以获得业务处理流式日志中对应于选定业务数据集的每一目标互联网服务交互项目的项目执行进度文本。其中,项目执行进度文本中包括不少于一个数据处理环节的处理进度数据或者处理状态信息。举例而言,可以包括数据处理环节(比如不同数据处理节点对应的处理阶段或者处理环节)在对应的数据集中的分布特征向量(比如分布位置)、时序特征向量(比如时间信息)。
在本发明实施例中,互联网服务交互项目可以理解为互联网服务交互事件、互联网服务交互事项,比如电商服务中的支付事项、身份验证事项、产品上架事项等。不同的互联网服务交互事项在处理时需要耗费一定时间,如果在短时间内积累了许多互联网服务交互事项,则可能存在事项处理等候情况,也即出现事项处理/应答延时。
在一些可能的实施例中,选定业务数据集对应匹配有多个互联网服务交互项目,也即互联网服务交互项目对应的数据可以是选定业务数据集的一部分,基于此,选定业务数据集内的目标互联网服务交互项目通过如下思路获得。
S1,获得业务处理流式日志包括的每一基础互联网服务交互项目的基础项目执行进度文本。
在本发明实施例中,基础互联网服务交互项目可以理解为初始的互联网服务交互项目,因此相关的“基础”可以作“初始”/“原始”理解。
S2,从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网匹配选定业务数据集的第一待定互联网服务交互项目。
其中,数据传输关系网表征业务交互过程中各类数据的传输轨迹,通过传输轨迹可以确定待定互联网服务交互项目/候选互联网服务交互项目,比如基于传输轨迹中的数据流向确定对应的互联网服务交互项目的交互情况或者处理情况,然后得到待定互联网服务交互项目。
S3,从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网、与选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目。
在本发明实施例中,第一项目识别模块用于识别与选定业务数据集开始建立联系的第二待定互联网服务交互项目,比如第二待定互联网服务交互项目在处理过程中会涉及选定业务数据集的相关内容。
S4,基于第一待定互联网服务交互项目和第二待定互联网服务交互项目,确定对应于选定业务数据集的目标互联网服务交互项目。
进一步地,S2和S3的优先级不限。
本发明实施方式中,可以从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网匹配选定业务数据集的第一待定互联网服务交互项目和确定基础项目执行进度文本表征的数据传输关系网、与选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目。其中,该第一待定互联网服务交互项目可以包括对应于选定业务数据集内的互联网服务交互项目。第二待定互联网服务交互项目可以包括从预设的第一项目识别模块驶入选定业务数据集的互联网服务交互项目。通过第一待定互联网服务交互项目和第二待定互联网服务交互项目,可以尽可能精准地确定目标互联网服务交互项目,该目标互联网服务交互项目为能够准确表征选定业务数据集状态的互联网服务交互项目。
对于S1而言,可以获得业务处理流式日志中包括的每个基础互联网服务交互项目的基础项目执行进度文本。业务处理流式日志中包括多个数据集,对于各数据集,确定该数据集中每个基础互联网服务交互项目的分布标签(比如位置标签),比如得到该基础互联网服务交互项目的一个数据处理环节的分布特征向量,其中该分布标签为基础互联网服务交互项目在该数据集对应的数据特征空间下的分布特征向量;再根据该基础互联网服务交互项目在每一数据集中的分布标签,得到该基础互联网服务交互项目的基础项目执行进度文本。
在一些示例下,可以借助机器学习模型,对业务处理流式日志进行处理,得到该业务处理流式日志中包括的每一基础互联网服务交互项目的基础项目执行进度文本。
其中,基础项目执行进度文本可以包括一系列的处理进度状态等。比如,在获得到基础互联网服务交互项目的基础项目执行进度文本之后,可以对获得的每一基础互联网服务交互项目的基础项目执行进度文本进行前置处理,将没有达到条件的基础互联网服务交互项目的基础项目执行进度文本进行删除,以保证基础互联网服务交互项目的基础项目执行进度文本的信息完好。例如,可以将基础项目执行进度文本存在缺失的基础互联网服务交互项目删除。
此外,如果在选定业务数据集内,基础互联网服务交互项目被其他互联网服务交互项目占用处理资源,则该基础互联网服务交互项目的基础项目执行进度文本可能只有部分项目执行进度文本,进一步地,可以将该基础互联网服务交互项目的基础项目执行进度文本删除,得到删除后的每一基础互联网服务交互项目的基础项目执行进度文本。
进一步地,还可以确定机器学习模型确定出基础互联网服务交互项目的项目捕捉窗口规模,在该项目捕捉窗口规模小于规模判定值时,认为该基础互联网服务交互项目的基础项目执行进度文本的准确度较低,因而可以将项目捕捉窗口规模小于规模判定值的基础互联网服务交互项目的基础项目执行进度文本删除,得到删除后的每一基础互联网服务交互项目的基础项目执行进度文本。之后可以从删除后的每一基础互联网服务交互项目中,确定第一待定互联网服务交互项目和第二待定互联网服务交互项目。
对于S2而言,可以从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网匹配选定业务数据集的第一待定互联网服务交互项目。比如,若互联网服务交互项目item1的基础项目执行进度文本与选定业务数据集之间存在对应关系,则确定该互联网服务交互项目item1属于第一待定互联网服务交互项目。
对于S3而言,可以从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网、与选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目。比如确定的第二待定互联网服务交互项目为匹配第一项目识别模块的已标记互联网服务交互项目。
在另一些可能的示例下,从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网、与选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目,可以包括如下内容。
S31,对于各基础互联网服务交互项目,基于第一项目识别模块中两个识别单元的第一分布特征向量、和基础互联网服务交互项目的所述基础项目执行进度文本表征的任意的连续两个数据处理环节的第二分布特征向量,判断基础互联网服务交互项目是否达到与第一项目分析条件相匹配的第一识别要求。
S32,响应于没有达到第一识别要求,基于第一分布特征向量、和第二分布特征向量,判断基础互联网服务交互项目是否达到与第二项目分析条件相匹配的第二识别要求。
S33,响应于达到第二识别要求,确定基础互联网服务交互项目属于第二待定互联网服务交互项目。
其中,不同的识别要求可以对应不同的检测条件。可以在确定选定业务数据集之后,确定选定业务数据集中的第一项目识别模块和第二项目识别模块。进而可以得到每个数据集中第一项目识别模块的分布标签和第二项目识别模块的分布标签。
进一步地,第二项目识别模块用于识别与选定业务数据集脱离联系的互联网服务交互项目。第一项目识别模块可以是数据接入检测模块,第二项目识别模块可以是数据解耦检测模块。
进一步地,在得到第一项目识别模块的分布标签后,可以从第一项目识别模块中筛选两个项目捕捉窗口,并得到两个识别单元的第一分布特征向量。
对于各基础互联网服务交互项目,可以从该基础互联网服务交互项目的基础项目执行进度文本中依次确定连续的两个数据处理环节的第二分布特征向量。
进一步地,与第一项目分析条件相匹配的第一识别要求可以包括项目之间的资源占用条件,本领域技术人员可以根据实际情况选择。
在第一分布特征向量和第二分布特征向量满足上述第一识别要求时,确定基础互联网服务交互项目达到第一识别要求。在判定出基础互联网服务交互项目达到第一识别要求时,确定该基础互联网服务交互项目的基础数据传输关系网与第一项目识别模块不匹配。比如该基础互联网服务交互项目不属于第二待定互联网服务交互项目。
在基础互联网服务交互项目没有达到第一识别要求时,可以基于第一分布特征向量、和第二分布特征向量,判断基础互联网服务交互项目是否达到与第二项目分析条件相匹配的第二识别要求。其中,与第二项目分析条件相匹配的第二识别要求可以包括:项目之间的资源共用条件,本领域技术人员可以根据实际情况选择。
在第一分布特征向量和第二分布特征向量符合该第二识别要求,确定该基础互联网服务交互项目达到第二识别要求,并确定该基础互联网服务交互项目属于第二待定互联网服务交互项目。若确定基础互联网服务交互项目没有达到第二识别要求,则确定该基础互联网服务交互项目不属于第二待定互联网服务交互项目。
进一步地,在确定第二待定互联网服务交互项目后,可以得到该第二待定互联网服务交互项目的第一时间节点。比如,若基于第一分布特征向量、和连续的第一时间节点的数据处理环节和第二时间节点的数据处理环节的第二分布特征向量,确定该基础互联网服务交互项目不属于第二待定互联网服务交互项目,而在基于第一分布特征向量、和连续的第二时间节点的数据处理环节和第三时间节点的数据处理环节的第二分布特征向量,确定该基础互联网服务交互项目属于第二待定互联网服务交互项目时,则将第二时间节点或第三时间节点确定为该第二待定互联网服务交互项目对应的第一时间节点。
应用于上述实施例,通过使用与第一项目分析条件相匹配的第一识别要求,可以及时地确定基础互联网服务交互项目是否与第一项目识别模块不匹配,比如若达到第一识别要求,则该基础互联网服务交互项目与第一项目识别模块不匹配,并将该基础互联网服务交互项目删除。在没有达到第一识别要求时,该基础互联网服务交互项目可能与第一项目识别模块匹配,也可能不匹配。因而可以使用与第二项目分析条件相匹配的第二识别要求,确定基础互联网服务交互项目是否与第一项目识别模块匹配。比如响应于达到第二识别要求,确定基础互联网服务交互项目属于第二待定互联网服务交互项目。基于此,可以提高第二待定互联网服务交互项目的确定准确性和时效性。
在另一些实施例下,还可以对于各基础互联网服务交互项目,根据第一项目识别模块对应的识别规则信息、和基础项目执行进度文本表征的任意连续数据处理环节构成的进度轨迹信息,确定基础互联网服务交互项目对应的基础数据传输关系网与第一项目识别模块是否具有对应关系;若具有对应关系,则该基础互联网服务交互项目属于第二待定互联网服务交互项目;若不具有对应关系,则该基础互联网服务交互项目不属于第二待定互联网服务交互项目。
对于S4而言,可以基于第一待定互联网服务交互项目和第二待定互联网服务交互项目的重叠项目,得到对应于选定业务数据集的目标互联网服务交互项目。
在一些实施例中,选定业务数据集包括第一项目识别模块和第二项目识别模块,获得业务处理流式日志中对应于选定业务数据集的每一目标互联网服务交互项目的项目执行进度文本,包括:获得业务处理流式日志中每一目标互联网服务交互项目的基础项目执行进度文本;从目标互联网服务交互项目对应的基础项目执行进度文本中,筛选对应于第一项目识别模块和第二项目识别模块之间的基础项目执行进度文本,作为选定业务数据集内目标互联网服务交互项目的项目执行进度文本。
进一步地,在确定了每一目标互联网服务交互项目之后,可以获得每一目标互联网服务交互项目的基础项目执行进度文本。再从目标互联网服务交互项目的基础项目执行进度文本中,筛选对应于第一项目识别模块和第二项目识别模块之间的基础项目执行进度文本,作为选定业务数据集内目标互联网服务交互项目的项目执行进度文本。比如,确定目标互联网服务交互项目匹配第一项目识别模块的第一数据处理环节、和目标互联网服务交互项目匹配第二项目识别模块的第二数据处理环节;从基础项目执行进度文本中,筛选第一数据处理环节至第二数据处理环节之间的项目执行进度文本,得到目标互联网服务交互项目对应的对应于选定业务数据集的项目执行进度文本。
如此设计,通过从目标互联网服务交互项目对应的基础项目执行进度文本中,筛选对应于第一项目识别模块和第二项目识别模块之间的基础项目执行进度文本,作为选定业务数据集内所述目标互联网服务交互项目的项目执行进度文本,以便为后续确定选定业务数据集是否存在服务过载趋势提供分析依据。同时,将对应于选定业务数据集之外的其他项目执行进度文本丢弃,可以减少其他项目执行进度文本带来的额外资源开销,和减少其他项目执行进度文本造成的干扰。
在一些实施例中,对于步骤102而言,在获得到目标互联网服务交互项目的项目执行进度文本之后,可以确定每个目标互联网服务交互项目对应的请求响应评分数据。该请求响应评分数据包括目标互联网服务交互项目对应的每一数据处理环节的请求响应处理延时。其中,请求响应处理延时越高,表明数据处理环节的处理拥堵程度越高,可能需要进行项目分流处理以提高数据处理效率。
在一些可能的实施例中,在步骤102中,基于目标互联网服务交互项目的项目执行进度文本,确定目标互联网服务交互项目对应的请求响应评分数据,可以包括如下内容。
步骤1021,针对项目执行进度文本表征的每个数据处理环节,确定数据处理环节在设定特征空间中的第一分布特征向量、以及确定在先处理环节在设定特征空间中的第二分布特征向量。
其中,设定特征空间可以基于数据处理进程生成的AI特征空间。
步骤1022,基于第一分布特征向量、第二分布特征向量、和数据处理环节与在先处理环节之间的时序差异,确定数据处理环节的请求响应处理延时。
步骤1023,基于目标互联网服务交互项目上每一数据处理环节的请求响应处理延时,确定目标互联网服务交互项目对应的请求响应评分数据。
其中,对于项目执行进度文本中的每个数据处理环节,在先处理环节可以为该数据处理环节之前的任一数据处理环节(数据处理节点)。比如,可以为该数据处理环节之前的第一个数据处理环节,也可以为该数据处理环节之前的第10个数据处理环节等。
进一步地,还可以针对项目执行进度文本中的每个数据处理环节,确定与该数据处理环节匹配的在先处理环节。一种方式中,可以设置间隔环节步长,将对应于数据处理环节对应的当前数据集之前的、相间的环节数等于间隔环节步长的在先数据集中的在先数据处理环节,确定为与数据处理环节匹配的在先处理环节。比如若间隔环节步长为10个,则将当前数据集之前的第10个在先数据集中的在先数据处理环节,确定为与数据处理环节匹配的在先处理环节。
示例性的,针对数据处理环节link1,可以确定该数据处理环节link1对应的在先处理环节his1,以及可以得到该数据传输关系网1在对应的数据集1上的分布标签、和在先处理环节his1在对应的在先数据集1上的分布标签。再借助预先确定的采集模块特征变量,对数据处理环节link1的分布标签和在先处理环节his1的分布标签进行映射,得到数据处理环节link1在设定特征空间下的第一分布特征向量、和在先处理环节his1在设定特征空间下的第二分布特征向量。
确定数据处理环节与在先处理环节之间的时序差异,比如若数据处理环节对应的数据集的时序特征向量为【a1,b1,c1】、在先处理环节对应的数据集的时序特征向量为【a2,b2,c2】时,则确定数据处理环节与在先处理环节之间的时序差异为t秒,然后根据时序差异确定对应的请求响应处理延时。
还可以通过目标互联网服务交互项目上每一数据处理环节的请求响应处理延时,确定目标互联网服务交互项目对应的请求响应评分数据。
进一步地,根据数据处理环节的第一分布特征向量、在先处理环节的第二分布特征向量和数据处理环节与在先处理环节之间的时序差异,尽可能精准地确定数据处理环节的请求响应处理延时,进而得到了尽可能准确可信的请求响应评分数据。
对于步骤103而言,在得到每个目标互联网服务交互项目的请求响应评分数据之后,可以根据每一目标互联网服务交互项目对应的请求响应评分数据,确定选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个携带等候标签(比如处于等候状态或者处于项目处理排队状态)的目标互联网服务交互项目的等候周期。其中,等候标签的目标互联网服务交互项目可以为请求响应处理延时一直小于设定延时判定值的互联网服务交互项目,等候周期可以为请求响应处理延时小于设定延时判定值的保持时长。
在一些可能的实施例中,基于每一目标互联网服务交互项目对应的请求响应评分数据,确定选定业务数据集内携带等候标签的目标互联网服务交互项目、以及每个携带等候标签的目标互联网服务交互项目的等候周期,可以包括如下内容。
PROCESS1,对于各目标互联网服务交互项目,基于目标互联网服务交互项目对应的请求响应评分数据,确定目标互联网服务交互项目的请求响应处理延时一直高于设定延时判定值的不少于一个待定时序区间。
其中,待定时序区间可以理解为候选时间段。
PROCESS2,在不少于一个待定时序区间中存在大于设定时间长度值的待定时序区间的基础上,确定目标互联网服务交互项目携带等候标签,并将大于设定时间长度值的待定时序区间确定为目标互联网服务交互项目对应的等候周期。
可以理解的是,通过设定延时判定值和设定时间长度值,可以尽可能精准地确定目标互联网服务交互项目对应的等候周期,为后续确定选定业务数据集是否存在服务过载趋势提供分析依据。
对于各目标互联网服务交互项目,可以根据目标互联网服务交互项目的请求响应评分数据,确定目标互联网服务交互项目的请求响应处理延时一直高于设定延时判定值的不少于一个待定时序区间。比如,如果目标互联网服务交互项目的数据处理环节link1至数据处理环节link50之间的每个数据处理环节对应的请求响应处理延时均小于设定延时判定值,则确定目标互联网服务交互项目从数据处理环节link1到数据处理环节link50都携带等候标签,并将该数据处理环节link1至数据处理环节link50之间的时序区间,确定为待定时序区间。
又比如,还可以基于目标互联网服务交互项目对应的请求响应评分数据,从目标互联网服务交互项目的项目执行进度文本表征的每一数据处理环节中,确定对应请求响应处理延时一直高于设定延时判定值的连续数据处理环节。若目标互联网服务交互项目的请求响应评分数据指示每一数据处理环节的请求响应处理延时均大于该设定延时判定值,则确定该目标互联网服务交互项目不存在等候标签,比如该目标互联网服务交互项目不存在等候周期。再根据每一请求响应处理延时小于设定延时判定值的连续数据处理环节对应的时间节点,确定目标互联网服务交互项目对应的不少于一个待定时序区间。
鉴于在待定时序区间的时长较短时,该目标互联网服务交互项目在该待定时序区间内可能为临时等候,该目标互联网服务交互项目在该待定时序区间内不携带等候标签。基于此,在得到目标互联网服务交互项目对应的不少于一个待定时序区间之后,可以判断不少于一个待定时序区间中,是否存在时长大于设定时间长度值的待定时序区间,如果存在,则确定该目标互联网服务交互项目携带等候标签,并将设定时间长度值的待定时序区间确定为目标互联网服务交互项目对应的等候周期。如果不存在,确定该目标互联网服务交互项目不携带等候标签,也不存在等候周期。若目标互联网服务交互项目不存在待定时序区间,则确定该目标互联网服务交互项目不携带等候标签。
在一些可能的实施例中,在基于目标互联网服务交互项目对应的请求响应评分数据,确定目标互联网服务交互项目的请求响应处理延时一直高于设定延时判定值的不少于一个待定时序区间之后,还包括:根据确定的目标互联网服务交互项目匹配选定业务数据集的第一项目识别模块的第一时间节点,对目标互联网服务交互项目对应的不少于一个待定时序区间进行抽取,得到完成抽取的待定时序区间。
鉴于目标互联网服务交互项目在匹配第一项目识别模块之前,若存在临时资源占用情况,则该目标互联网服务交互项目会携带等候标签,而该等候标签不是因为服务过载趋势造成的,因此为了将以上情况删除,可以在PROCESS1之后,根据确定的目标互联网服务交互项目匹配选定业务数据集的第一项目识别模块的第一时间节点,对目标互联网服务交互项目对应的不少于一个待定时序区间进行抽取,比如将对应于第一时间节点之前的待定时序区间删除,得到完成抽取的待定时序区间。并在完成抽取的待定时序区间中存在大于设定时间长度值的待定时序区间的基础上,确定目标互联网服务交互项目携带等候标签。
进一步地,通过借助目标互联网服务交互项目匹配选定业务数据集的第一项目识别模块的第一时间节点,对目标互联网服务交互项目对应的不少于一个待定时序区间进行抽取,可以将由于正常处理等候而出现延时的待定时序区间(第一项目识别模块之前的时间节点)删除,提高了完成抽取的待定时序区间的准确性。进而可以尽可能精准地确定目标互联网服务交互项目是否携带等候标签,以及确定目标互联网服务交互项目对应的等候周期。
在一些可能的实施例中,对于步骤104而言,在确定选定业务数据集中携带等候标签的目标互联网服务交互项目和每个携带等候标签的目标互联网服务交互项目对应的等候周期之后,可以确定选定业务数据集是否存在服务过载趋势。比如,可以根据每一携带等候标签的目标互联网服务交互项目的等候周期,统计选定业务数据集对应的存在携带等候标签的目标互联网服务交互项目的目标时序区间;并确定该目标时序区间内目标互联网服务交互项目的数目。再根据该目标时序区间内目标互联网服务交互项目的数目,判断选定业务数据集是否存在服务过载趋势。比如,数目大于判定值,则确定该目标时序区间存在服务过载趋势。
进一步地,在只有一个目标互联网服务交互项目存在对应的等候周期时,可以将该等候周期(等候时间段),确定为选定业务数据集对应的存在携带等候标签的目标互联网服务交互项目的目标时序区间。在有多个目标互联网服务交互项目存在对应的等候周期时,可以将多个目标互联网服务交互项目存在对应的等候周期进行重叠分析,将重叠分析后得到的时序区间,确定为选定业务数据集对应的目标时序区间。
在一些实施例中,基于携带等候标签的目标互联网服务交互项目以及每个携带等候标签的目标互联网服务交互项目对应的等候周期,确定选定业务数据集是否存在服务过载趋势,包括:根据每一携带等候标签的目标互联网服务交互项目对应的等候周期的重叠判定结果,得到目标时序区间;确定目标时序区间内包括的携带等候标签的目标互联网服务交互项目的目标数目;基于目标时序区间对应的目标数目,确定选定业务数据集是否存在服务过载趋势。
进一步地,通过根据每一携带等候标签的目标互联网服务交互项目对应的等候周期的重叠判定结果,得到目标时序区间,该目标时序区间为选定业务数据集存在服务过载趋势可能性较高的时序区间;再确定目标时序区间内包括的携带等候标签的目标互联网服务交互项目的目标数目,借助该目标时序区间对应的目标数目,尽可能精准地确定选定业务数据集是否存在服务过载趋势。
可以理解的是,可以根据每一携带等候标签的目标互联网服务交互项目对应的等候周期的重叠判定结果,得到目标时序区间。在确定了目标时序区间之后,可以确定该目标时序区间内携带等候标签的目标互联网服务交互项目的目标数目。并根据该目标数目,确定选定业务数据集在目标时序区间是否存在服务过载趋势。比如,若目标数目大于预设的数目判定值,则确定选定业务数据集在目标时间段存在服务过载趋势。若目标数目小于或等于预设的数目判定值,则确定选定业务数据集在目标时序区间内不存在服务过载趋势。
在一些可能的实施例中,基于目标时序区间对应的目标数目,确定选定业务数据集是否存在服务过载趋势,可以包括如下内容:判断目标时序区间对应的目标数目是否大于预设的数目判定值;如果是,则基于目标时序区间内选定业务数据集包括的每一目标互联网服务交互项目的请求响应评分数据,确定目标时序区间对应的延时变化特征;在延时变化特征(延时稳定性指标)指示选定业务数据集内每一目标互联网服务交互项目属于稳定延时,确定选定业务数据集在目标时序区间存在服务过载趋势。
鉴于目标互联网服务交互项目存在主动协助其他互联网服务交互项目的情况,基于此,目标互联网服务交互项目的延时可能高于设定延时判定值,但是该场景下不属于服务过载趋势。为了区分以上场景,可以基于目标时序区间内选定业务数据集包括的每一目标互联网服务交互项目的请求响应评分数据,确定目标时序区间对应的延时变化特征。在延时变化特征指示选定业务数据集内每一目标互联网服务交互项目属于稳定延时,确定选定业务数据集在目标时序区间存在服务过载趋势,提高了确定的服务过载趋势的准确性。
举例而言,在确定了目标时序区间内携带等候标签的目标互联网服务交互项目的目标数目之后,确定该目标数目是否大于预设的数目判定值,如果是,则基于目标时序区间内选定业务数据集包括的每一目标互联网服务交互项目的请求响应评分数据,确定目标时序区间对应的延时变化特征。上述情况中,目标互联网服务交互项目的处理延时表示为非稳定延时。因此在延时变化特征指示选定业务数据集内每一目标互联网服务交互项目属于稳定延时,确定选定业务数据集在目标时序区间存在服务过载趋势。
在一些可能的实施例中,所述方法还包括:基于确定所述选定业务数据集存在服务过载趋势,确定所述选定业务数据集对应的协助优化方案;其中,所述协助优化方案包括:过载提示方案、分流处理方案中的一种或两种。
进一步地,在确定选定业务数据集存在服务过载趋势,比如该选定业务数据集所处的处理进程中的互联网服务交互项目较多,则可以确定选定业务数据集对应的协助优化方案。该协助优化方案可以包括过载提示方案和/或分流处理方案。
在协助优化方案包括过载提示方案时,该过载提示方案可以指示选定业务数据集存在项目堆积,比如过载提示方案可以为“XXX数据集存在服务过载趋势,请进行数据处理引导”等。
在协助优化方案包括分流处理方案时,该分流处理方案可以用于对该选定业务数据集进行缓解,比如将部分项目分发到其他服务器或者系统进行处理。
进一步地,在确定选定业务数据集在目标时序区间内存在服务过载趋势时,可以确定选定业务数据集对应的协助优化方案,以便借助该协助优化方案能够对该选定业务数据集的服务过载趋势进行缓解,提高选定业务数据集的应答处理时效性。
在一些可能的示例下,还可以包括如下内容。
STEP1,信息采集。比如获得业务处理流式日志包括的每一基础互联网服务交互项目的基础项目执行进度文本。
STEP2,确定第一待定互联网服务交互项目。比如从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网匹配选定业务数据集的第一待定互联网服务交互项目。
STEP3,确定第二待定互联网服务交互项目。比如从每一基础互联网服务交互项目中,确定基础项目执行进度文本表征的数据传输关系网、与选定业务数据集的第一项目识别模块具有对应关系的第二待定互联网服务交互项目。
STEP4,基于第一待定互联网服务交互项目和第二待定互联网服务交互项目,确定对应于选定业务数据集的目标互联网服务交互项目。同时,获得业务处理流式日志中每一目标互联网服务交互项目的基础项目执行进度文本;从目标互联网服务交互项目对应的基础项目执行进度文本中,筛选对应于第一项目识别模块和第二项目识别模块之间的基础项目执行进度文本,作为选定业务数据集内目标互联网服务交互项目的项目执行进度文本。
STEP5,互联网服务交互项目延时确定。比如基于目标互联网服务交互项目的项目执行进度文本,确定目标互联网服务交互项目对应的请求响应评分数据。
STEP6、项目等候分析。比如基于每个目标互联网服务交互项目对应的请求响应评分数据,确定目标互联网服务交互项目的请求响应处理延时一直高于设定延时判定值的不少于一个待定时序区间;并在不少于一个待定时序区间中存在大于设定时间长度值的待定时序区间的基础上,确定目标互联网服务交互项目携带等候标签,以及将大于设定时间长度值的待定时序区间确定为目标互联网服务交互项目对应的等候周期。
STEP7、互联网服务交互项目同一时序区间停车统计。比如根据每一携带等候标签的目标互联网服务交互项目对应的等候周期的重叠判定结果,得到目标时序区间;确定目标时序区间内携带等候标签的目标互联网服务交互项目的目标数目。
STEP8、目标数目是否大于数目判定值。
STEP9、信息记录。在目标数目大于数目判定值时,则将确定的信息进行记录。比如可以将目标时序区间、选定业务数据集的信息、选定业务数据集内携带等候标签的目标互联网服务交互项目的目标数目、目标互联网服务交互项目的请求响应评分数据等进行记录。
STEP10、判断该目标时序区间已标记互联网服务交互项目是否稳定延时。
STEP11、如果是,则将目标时序区间进行显示。以及还可以将确定出的选定业务数据集存在服务过载趋势的分析报告进行显示。
综上所述,通过对互联网服务交互项目进行数据追踪以及项目等候分析,能够准确确定出选定业务数据集是否存在服务过载趋势,提高针对互联网服务交互项目的项目跟踪准确性和可信度,以便在选定业务数据集存在服务过载趋势的基础上进行适应性的互联网服务交互项目分流处理,提高互联网服务交互的效率和灵活性。
基于上述相同或相似的发明构思,请结合参阅图2,还提供了一种基于工业互联网的数据追踪系统30的架构示意图,包括互相之间通信的数据追踪云平台10和业务处理服务器20,数据追踪云平台10和业务处理服务器20在运行时实现或者部分实现上述方法实施例所描述的技术方案。
进一步地,还提供了一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,媒体业务服务器10,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。