CN115202891A - 基于大数据的跨进程数据采集传输方法、系统及存储介质 - Google Patents

基于大数据的跨进程数据采集传输方法、系统及存储介质 Download PDF

Info

Publication number
CN115202891A
CN115202891A CN202211118439.5A CN202211118439A CN115202891A CN 115202891 A CN115202891 A CN 115202891A CN 202211118439 A CN202211118439 A CN 202211118439A CN 115202891 A CN115202891 A CN 115202891A
Authority
CN
China
Prior art keywords
data
cross
data set
transmission
access bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211118439.5A
Other languages
English (en)
Other versions
CN115202891B (zh
Inventor
郭晨璐
孙琦
廖佳
程傲然
金建华
李进
施晓桐
石丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Keyun Times Information Technology Co ltd
Original Assignee
Beijing Keyun Times Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Keyun Times Information Technology Co ltd filed Critical Beijing Keyun Times Information Technology Co ltd
Priority to CN202211118439.5A priority Critical patent/CN115202891B/zh
Publication of CN115202891A publication Critical patent/CN115202891A/zh
Application granted granted Critical
Publication of CN115202891B publication Critical patent/CN115202891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于大数据的跨进程数据采集传输方法、系统及存储介质，属于数据处理技术领域，解决了现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算的问题，方法包括：获取待传输数据信息；生成数据集优先级队列；获取硬件支持访问位运行信息，获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务；本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。

Description

基于大数据的跨进程数据采集传输方法、系统及存储介质
技术领域
本发明设计数据处理技术领域，具体涉及基于大数据的跨进程数据采集传输方法、系统及存储介质。
背景技术
进程(Process)是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础，跨进程通信的目的在于实现进程间数据的分享以及交互。最典型的跨进程通信的应用场景是剪切板上数据的复制与粘贴，但这种跨进程通信的方式仅限于一些String类数据的传送，在Android系统中，对于进程间数据的传输限于AIDL(Android InterfaceDefinition Language，即Android接口定义语言)方式。
现阶段，跨进程数据采集传输过程中，数据传输的实时性和精准度是数据传输效率的必要保障，但是现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，为了最大程度的提高数据的实时性和精准度，需要对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，基于此，我们提出了基于大数据的跨进程数据采集传输方法、系统及存储介质。
发明内容
本发明的目的在于针对现有技术的不足之处，提供基于大数据的跨进程数据采集传输方法、系统及存储介质，解决了现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算的问题。
现阶段，跨进程数据采集传输过程中，数据传输的实时性和精准度是数据传输效率的必要保障，但是现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，为了最大程度的提高数据的实时性和精准度，需要对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，基于此，我们提出了基于大数据的跨进程数据采集传输方法、系统及存储介质，所述基于大数据的跨进程数据采集传输方法包括：获取待传输数据信息，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；然后识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；获取硬件支持访问位运行信息，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；最终获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
本发明是这样实现的，基于大数据的跨进程数据采集传输方法，所述基于大数据的跨进程数据采集传输方法包括：
获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；
识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；
获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；
获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
优选地，所述获取待传输数据信息的方法，具体包括：
获取数据采集指令；
建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；
构建待传输数据与全局共享数据集的映射架构树；
基于映射架构树将待传输数据转换为全局共享数据集。
优选地，所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体包括：
获取全局共享数据集，将全局共享数据集每个数据集转换为传输业务日志；
基于Jieba分词工具对传输业务日志进行拆分，过滤错误日志，获取拆分结果；
基于GloVe词嵌入模型将拆分结果转换为拆分优先级向量，合并单组传输业务日志的全部拆分优先级向量，得到日志优先级向量。
优选地，所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体还包括：
加载日志优先级向量；
计算日志优先级向量之间的余弦相似度，建立传输业务日志之间相似度矩阵；
基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重，获得传输业务日志的优先级排名，生成数据集优先级队列。
优选地，所述获取硬件支持访问位运行信息的方法，具体包括：
获取硬件支持访问位内存访问信息、业务运行负载、系统进程内存；
基于内存访问信息计算所述支持访问位的内存占比；
校正支持访问位的内存占比。
优选地，所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体包括：
采集硬件支持访问位负载数据，对负载数据进行预处理；
基于预处理后的负载数据，对硬件支持访问进行运行状态分解；
加载运行状态分解结果，基于主成分分析法计算运行状态分解信息熵。
优选地，所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体还包括：
基于运行状态分解信息熵计算跨进程数据处理能力评价值。
一种基于所述基于大数据的跨进程数据采集传输方法的基于大数据的跨进程数据采集传输系统，所述基于大数据的跨进程数据采集传输系统包括：
数据信息获取模块，用于获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；
数据集识别模块，用于识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；
运行信息获取模块，用于获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；
传输任务分配模块，用于获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
优选地，所述数据信息获取模块包括：
采集指令获取单元，用于获取数据采集指令；
连接通道建立单元，用于建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；
映射架构树构件单元，用于构建待传输数据与全局共享数据集的映射架构树；
传输数据转换单元，基于映射架构树将待传输数据转换为全局共享数据集。
一种计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令被执行时实现所述的基于大数据的跨进程数据采集传输方法。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
附图说明
图1是本发明提供的基于大数据的跨进程数据采集传输方法的实现流程示意图。
图2是本发明提供的获取待传输数据信息方法的实现流程示意图。
图3是本发明提供的基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列方法的实现流程示意图。
图4是本发明提供的获取硬件支持访问位运行信息方法的实现流程示意图。
图5是本发明提供的基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力方法的实现流程示意图。
图6是本发明提供的基于大数据的跨进程数据采集传输系统的示意图。
图7是本发明提供的数据信息获取模块的结构示意图。
图中：100-数据信息获取模块、110-采集指令获取单元、120-连接通道建立单元、130-映射架构树构件单元、140-传输数据转换单元、200-数据集识别模块、300-运行信息获取模块、400-传输任务分配模块。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
现阶段，跨进程数据采集传输过程中，数据传输的实时性和精准度是数据传输效率的必要保障，但是现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，为了最大程度的提高数据的实时性和精准度，需要对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，基于此，我们提出了基于大数据的跨进程数据采集传输方法、系统及存储介质，所述基于大数据的跨进程数据采集传输方法包括：获取待传输数据信息，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；然后识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；获取硬件支持访问位运行信息，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；最终获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
本发明实施例提供了基于大数据的跨进程数据采集传输方法，如图1所示，示出了基于大数据的跨进程数据采集传输方法的实现流程示意图，所述基于大数据的跨进程数据采集传输方法，具体包括：
步骤S10，获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集。
步骤S20，识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列。
步骤S30，获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力。
步骤S40，获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
在本实施例中，本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
本发明实施例提供了获取待传输数据信息的方法，如图2所示，示出了获取待传输数据信息方法的实现流程示意图，所述获取待传输数据信息的方法，具体包括：
步骤S101，获取数据采集指令。
步骤S102，建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集。
步骤S103，构建待传输数据与全局共享数据集的映射架构树。
步骤S104，基于映射架构树将待传输数据转换为全局共享数据集。
在本实施例中，获取数据采集指令是通过跨进程服务器与前端进程建立通讯连接实现的，每组进程服务器对应多组前端进程，前端进程分为本地前端进程和异地前端进程。
需要说明的是，构建待传输数据与全局共享数据集的映射架构树，所述映射架构树构建基于收敛的BiLSTM构建，同时，Bi-LSTM神经网络结构模型分为2个独立的LSTM，输入序列分别以正序和逆序输入至2个LSTM神经网络进行特征提取，从而构成初始的映射架构树，本申请中，将传输数据转换为全局共享数据集能够实现数据集的共享，从而方便对跨进程服务的统筹安排。
本发明实施例提供了基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，如图3所示，示出了基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列方法的实现流程示意图，所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体包括：
步骤S201，获取全局共享数据集，将全局共享数据集每个数据集转换为传输业务日志；
步骤S202，基于Jieba分词工具对传输业务日志进行拆分，过滤错误日志，获取拆分结果；
步骤S203，基于GloVe词嵌入模型将拆分结果转换为拆分优先级向量，合并单组传输业务日志的全部拆分优先级向量，得到日志优先级向量。
步骤S204，加载日志优先级向量；
步骤S205，计算日志优先级向量之间的余弦相似度，建立传输业务日志之间相似度矩阵；
步骤S206，基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重，获得传输业务日志的优先级排名，生成数据集优先级队列。
在本实施例中，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列时，还需要对方法可行性进行测试和推断，其中，测试和推断的过程可以为获取标准全局共享数据集，将标准全局共享数据集每个标准数据集转换为标准传输业务日志，基于Jieba分词工具对传输业务日志进行拆分，过滤错误日志，获取拆分结果，加载日志优先级向量，计算日志优先级向量之间的余弦相似度，建立传输业务日志之间相似度矩阵；然后基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重，获得传输业务日志的优先级排名，最终生成数据集优先级队列，经过多次标准样本的推断和测试，保证算法模型的精准度。
需要说明的是，在步骤S205，计算日志优先级向量之间的余弦相似度的公式（1）为：
Figure DEST_PATH_IMAGE001
（1）
在步骤S206中，基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重的公式（2）为：
Figure 723684DEST_PATH_IMAGE002
（2）
其中，
Figure DEST_PATH_IMAGE003
表示各传输业务日志的权重，
Figure 971126DEST_PATH_IMAGE004
表示传输业务日志包含拆分优先级向量a的所有词集合，
Figure DEST_PATH_IMAGE005
是优先级向量b的共现关系中所包含的所有词的集合，
Figure 494380DEST_PATH_IMAGE006
表示优先级向量a与优先级向量b之间的关联度，可以通过优先级向量a和优先级向量b的优先级向量求余弦相似度获得；
Figure DEST_PATH_IMAGE007
表示上次迭代结束后优先级向量b的权重。
Figure 751049DEST_PATH_IMAGE008
是阻尼系数，设定值为0.75。
本发明实施例提供了获取硬件支持访问位运行信息的方法，如图4所示，示出了获取硬件支持访问位运行信息方法的实现流程示意图，所述获取硬件支持访问位运行信息的方法，具体包括：
步骤S301，获取硬件支持访问位内存访问信息、业务运行负载、系统进程内存；
步骤S302，基于内存访问信息计算所述支持访问位的内存占比；
步骤S303，校正支持访问位的内存占比。
在本实施例中，内存访问信息可以为硬件支持访问内置系统的各个内存单元的被访问次数，同时，上述内存单元访问信息还可以包括上述硬件支持访问内置系统的各个内存单元的重用距离。在本申请中，为每个内存单元设置多组访问频次器，可选的，设置两组访问频次器，一组访问频次器用于计算内存单元的被访问次数，另一组访问频次器用于计算内存单元的重用距离，对于内存单元的被访问次数：当访问地址属于该内存单元时，则为该内存单元维护的访问频次器加一，因此，内存单元的被访问次数即为该内存单元维护的访问频次器的值。
示例性的，重用距离是指在两次以上访问同一内存单元的间隔内对其它内存单元的访问次数，当访问地址不属于该内存单元时，则为该内存单元维护的访问频次器加一，当访问地址属于该内存页面时，对访问频次器清零，则在此次清零前的值即为该内存单元的重用距离。
本发明实施例提供了基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，如图5所示，示出了基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力方法的实现流程示意图，所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体包括：
步骤S401，采集硬件支持访问位负载数据，对负载数据进行预处理；
步骤S402，基于预处理后的负载数据，对硬件支持访问进行运行状态分解；
步骤S403，加载运行状态分解结果，基于主成分分析法计算运行状态分解信息熵。
步骤S404，基于运行状态分解信息熵计算跨进程数据处理能力评价值。
在本实施例中，基于主成分分析法计算运行状态分解信息熵的方法包括，从负载数据样本集中利用Bootstrap抽样选出m个样本；然后从负载数据的所有属性中随机选择f个属性，选择最佳分割属性作为节点创建初步决策树；将以上步骤重复n次，即建立n棵CART初步决策树；所述n棵CART形成随机森林，通过投票表决结果决定样本的属性。
本发明实施例提供了基于大数据的跨进程数据采集传输系统，如图6所示，示出了基于大数据的跨进程数据采集传输系统的示意图，所述基于大数据的跨进程数据采集传输系统，具体包括：
数据信息获取模块100，用于获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；
数据集识别模块200，用于识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；
运行信息获取模块300，用于获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；
传输任务分配模块400，用于获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
在本实施例中，本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
本发明实施例提供了数据信息获取模块，如图7所示，示出了数据信息获取模块的示意图，所述数据信息获取模块，具体包括：
采集指令获取单元110，用于获取数据采集指令；
连接通道建立单元120，用于建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；
映射架构树构件单元130，用于构建待传输数据与全局共享数据集的映射架构树；
传输数据转换单元140，基于映射架构树将待传输数据转换为全局共享数据集。
在本实施例中，获取数据采集指令是通过跨进程服务器与前端进程建立通讯连接实现的，每组进程服务器对应多组前端进程，前端进程分为本地前端进程和异地前端进程。
需要说明的是，构建待传输数据与全局共享数据集的映射架构树，所述映射架构树构建基于收敛的BiLSTM构建，同时，Bi-LSTM神经网络结构模型分为2个独立的LSTM，输入序列分别以正序和逆序输入至2个LSTM神经网络进行特征提取，从而构成初始的映射架构树，本申请中，将传输数据转换为全局共享数据集能够实现数据集的共享，从而方便对跨进程服务的统筹安排。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述提供的所述的基于大数据的跨进程数据采集传输方法对应的操作。
具体的，所述基于大数据的跨进程数据采集传输方法的步骤包括：
获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；
识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；
获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；
获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
在本发明的一个典型的配置中，终端、服务网络的设备和计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
在本发明的一个典型的配置中，内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
综上所述，本发明提供了基于大数据的跨进程数据采集传输方法、系统及存储介质，本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
需要说明的是，对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，涉及的动作和模块并不一定是本发明所必须的。
本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或通信连接可以是通过一些接口，装置或单元之间的间接耦合或通信连接，可以是电信或者其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案，而非对发明的保护范围进行限制。显然，所描述的实施例仅仅是本发明部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明所要保护的范围。尽管参照上述实施例对本发明进行了详细的说明，本领域普通技术人员依然可以在不冲突的情况下，不作出创造性劳动对本发明各实施例中的特征根据情况相互组合、增删或作其他调整，从而得到不同的、本质未脱离本发明的构思的其他技术方案，这些技术方案也同样属于本发明所要保护的范围。

Claims (10)

1.基于大数据的跨进程数据采集传输方法，其特征在于，所述基于大数据的跨进程数据采集传输方法包括：
获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；
识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；
获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；
获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
2.如权利要求1所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述获取待传输数据信息的方法，具体包括：
获取数据采集指令；
建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；
构建待传输数据与全局共享数据集的映射架构树；
基于映射架构树将待传输数据转换为全局共享数据集。
3.如权利要求2所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体包括：
获取全局共享数据集，将全局共享数据集每个数据集转换为传输业务日志；
基于Jieba分词工具对传输业务日志进行拆分，过滤错误日志，获取拆分结果；
基于GloVe词嵌入模型将拆分结果转换为拆分优先级向量，合并单组传输业务日志的全部拆分优先级向量，得到日志优先级向量。
4.如权利要求3所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体还包括：
加载日志优先级向量；
计算日志优先级向量之间的余弦相似度，建立传输业务日志之间相似度矩阵；
基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重，获得传输业务日志的优先级排名，生成数据集优先级队列。
5.如权利要求1-4任一所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述获取硬件支持访问位运行信息的方法，具体包括：
获取硬件支持访问位内存访问信息、业务运行负载、系统进程内存；
基于内存访问信息计算所述支持访问位的内存占比；
校正支持访问位的内存占比。
6.如权利要求5所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体包括：
采集硬件支持访问位负载数据，对负载数据进行预处理；
基于预处理后的负载数据，对硬件支持访问进行运行状态分解；
加载运行状态分解结果，基于主成分分析法计算运行状态分解信息熵。
7.如权利要求6所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体还包括：
基于运行状态分解信息熵计算跨进程数据处理能力评价值。
8.一种基于权利要求1-6任一所述基于大数据的跨进程数据采集传输方法的基于大数据的跨进程数据采集传输系统，其特征在于：所述基于大数据的跨进程数据采集传输系统包括：
数据信息获取模块，用于获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；
数据集识别模块，用于识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；
运行信息获取模块，用于获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；
传输任务分配模块，用于获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
9.如权利要求8所述的基于大数据的跨进程数据采集传输系统，其特征在于：所述数据信息获取模块包括：
采集指令获取单元，用于获取数据采集指令；
连接通道建立单元，用于建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；
映射架构树构件单元，用于构建待传输数据与全局共享数据集的映射架构树；
传输数据转换单元，基于映射架构树将待传输数据转换为全局共享数据集。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的基于大数据的跨进程数据采集传输方法。
CN202211118439.5A 2022-09-15 2022-09-15 基于大数据的跨进程数据采集传输方法、系统及存储介质 Active CN115202891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118439.5A CN115202891B (zh) 2022-09-15 2022-09-15 基于大数据的跨进程数据采集传输方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118439.5A CN115202891B (zh) 2022-09-15 2022-09-15 基于大数据的跨进程数据采集传输方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN115202891A true CN115202891A (zh) 2022-10-18
CN115202891B CN115202891B (zh) 2022-11-15

Family

ID=83572243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118439.5A Active CN115202891B (zh) 2022-09-15 2022-09-15 基于大数据的跨进程数据采集传输方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115202891B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853621A (zh) * 2012-12-05 2014-06-11 腾讯科技（深圳）有限公司 一种跨进程交互方法及相关终端设备
US20160112288A1 (en) * 2014-10-17 2016-04-21 Robin Systems, Inc. Providing a data set for tracking and diagnosing datacenter issues
CN107171892A (zh) * 2017-06-08 2017-09-15 中国电子信息产业集团有限公司第六研究所 一种基于qt的跨平台数据通信方法及系统
CN112764946A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 跨进程数据传输方法、装置、电子设备和存储介质
CN113939805A (zh) * 2020-04-29 2022-01-14 华为技术有限公司 一种进程间通信的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853621A (zh) * 2012-12-05 2014-06-11 腾讯科技（深圳）有限公司 一种跨进程交互方法及相关终端设备
US20160112288A1 (en) * 2014-10-17 2016-04-21 Robin Systems, Inc. Providing a data set for tracking and diagnosing datacenter issues
CN107171892A (zh) * 2017-06-08 2017-09-15 中国电子信息产业集团有限公司第六研究所 一种基于qt的跨平台数据通信方法及系统
CN113939805A (zh) * 2020-04-29 2022-01-14 华为技术有限公司 一种进程间通信的方法及系统
CN112764946A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 跨进程数据传输方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115202891B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法
CN108197202B (zh) 众包任务的数据校验方法、装置、服务器及存储介质
CN110362611B (zh) 一种数据库查询方法、装置、电子设备及存储介质
US20130227244A1 (en) Workload-aware distributed data processing apparatus and method for processing large data based on hardware acceleration
CN110347515B (zh) 一种适合边缘计算环境的资源优化分配方法
CN111880911A (zh) 一种任务负载调度方法、装置、设备及可读存储介质
CN111985831A (zh) 云计算资源的调度方法、装置、计算机设备及存储介质
CN116560860B (zh) 一种基于机器学习的资源优先级的实时优化调整方法
CN105094981A (zh) 一种数据处理的方法及装置
CN114780244A (zh) 容器云资源弹性分配方法、装置、计算机设备及介质
CN114462849A (zh) 任务的均衡分配方法以及任务的均衡分配装置
CN115202891B (zh) 基于大数据的跨进程数据采集传输方法、系统及存储介质
CN115033616A (zh) 一种基于多轮采样的数据筛查规则验证方法及其装置
WO2012032799A1 (ja) 計算機システム、データ検索方法及びデータベース管理計算機
CN106020974A (zh) Numa平台的内存缓存方法及系统
CN110826911A (zh) 基于大数据的决策方法、设备及介质
CN113095515A (zh) 业务故障信息处理方法及装置
CN110728118A (zh) 跨数据平台的数据处理方法、装置、设备及存储介质
CN116909695A (zh) 基于区块链的算力网络的算力任务处理方法及系统
CN113795032B (zh) 室分隐形故障的判断方法、装置、存储介质及设备
CN115016890A (zh) 虚拟机资源分配方法、装置、电子设备及存储介质
CN115426221A (zh) 一种物联网网关装置
KR101536423B1 (ko) 철강 공정 미들웨어 시스템 및 시스템 메모리 동적 할당 방법
CN116700999B (zh) 数据处理方法、装置、计算机设备及存储介质
CN111367875B (zh) 一种话单文件处理方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant