CN117896314B - 一种erp数据传输方法、系统及存储介质 - Google Patents

一种erp数据传输方法、系统及存储介质 Download PDF

Info

Publication number
CN117896314B
CN117896314B CN202410257549.2A CN202410257549A CN117896314B CN 117896314 B CN117896314 B CN 117896314B CN 202410257549 A CN202410257549 A CN 202410257549A CN 117896314 B CN117896314 B CN 117896314B
Authority
CN
China
Prior art keywords
data
transmission frequency
transmission
storage unit
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410257549.2A
Other languages
English (en)
Other versions
CN117896314A (zh
Inventor
刘晓鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Lingxiu Technology Co ltd
Original Assignee
Shenyang Lingxiu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Lingxiu Technology Co ltd filed Critical Shenyang Lingxiu Technology Co ltd
Priority to CN202410257549.2A priority Critical patent/CN117896314B/zh
Publication of CN117896314A publication Critical patent/CN117896314A/zh
Application granted granted Critical
Publication of CN117896314B publication Critical patent/CN117896314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及数据传输技术领域,更具体涉及一种ERP数据传输方法、系统及存储介质。包括:通过获取单元从子业务系统分别获取第一数据;计算单元计算目标数据数据量的总值、平均值和各目标数据之间的标准差;调频单元在标准差小于第一阈值时,将每个第一数据的发送频率均设定为第一参考发送频率,在标准差大于等于第一阈值时,分别设定每个第一数据的发送频率;发送单元将第一存储单元中的第一数据以第一数据的发送频率传输至第二存储单元中;监控单元对第二存储单元进行实时监控,并将第二数据传输至主业务系统。本发明有益效果是能高效的利用通信网络资源和系统的负载资源,还能避免不必要的网络拥堵和延迟,确保数据传输的实时性。

Description

一种ERP数据传输方法、系统及存储介质
技术领域
本发明涉及数据传输技术领域,更具体涉及一种ERP数据传输方法、系统及存储介质。
背景技术
随着企业资源计划(ERP)系统在企业运营中的普及和应用,数据的传输与整合成为了实现业务流程一体化的关键环节。ERP数据传输,作为一个关键技术,支撑着企业各个部门间的信息共享和协同工作。ERP系统是一种集成化的企业管理软件,旨在优化企业资源分配,提高运营效率,它涵盖了企业的各个业务领域,包括财务、供应链、人力资源等。随着企业规模的扩大和业务范围的拓展,跨部门、跨地域的数据交换与共享需求日益增强,这就凸显出ERP数据传输的重要性。
类似的现有公开号为CN109240835B的公开文件,提出一种PLM系统与ERP系统之间对接方法,建立PLM系统与ERP系统的API接口服务,数据提供方为PLM系统;通过ERP系统在公共API接口中定义基础配置,通过ERP系统定义物料同步接口、BOM同步接口、异步查询接口、供应商查询接口、物料分类查询接口的数据构成方式以及数据传输参数,数据传输参数包括请求参数、返回参数及响应结果;PLM系统调用公共API接口,查询出业务处理类或参数解析类的代码后,执行相对应接口的数据交换。通过PLM系统与ERP系统的集成,(1)实现数据通过PLM系统及时传递到ERP系统中,(2)实现PLM系统数据变更时自动更新ERP中的数据,(3)实现在PLM系统中对ERP系统中的物料库存信息的有效访问。
类似的还有公开号为CN114862305A的公开文件,提供一种基于ERP的单据处理系统,包括单据录入模块,单据识别分类模块,编码打印模块,数据传输管理模块和统计监督模块;通过单据录入模块和单据识别分类模块可自动的将各类型单据进行录入、识别和整合,便于人员查看,每个客户和管理人通过编码打印模块可查看自己的下单信息,方便沟通,提升企业形象,通过数据传输管理模块,建立物联网和企业ERP系统,可以自动传输业务文件,为企业节省人力物力,便于管理者根据单据整合信息统筹企业生产,统计监督模块可通过单据整合信息并进行统计分析,方便了财务数据的审核,提升监督效率,无需单据一一核算,降低了员工的工作强度。
然而,以上两项发明都没有考虑业务数据量的大小对数据发送频率的影响。因此,本发明提出了一种ERP数据传输方法,旨在根据业务数据量的变化自动调整数据发送频率,从而最大化数据传输效率,并实现通信网络的最优使用状态。通过这样的方法,不仅能高效的利用通信网络资源和系统的负载资源,还能避免不必要的网络拥堵和延迟,确保数据传输的实时性。
发明内容
本发明通过获取单元从子业务系统分别获取第一数据;计算单元计算目标数据数据量的总值、平均值和各目标数据之间的标准差;调频单元在标准差小于第一阈值时,将每个第一数据的发送频率均设定为第一参考发送频率,在标准差大于等于第一阈值时,分别设定每个第一数据的发送频率;发送单元将第一存储单元中的第一数据以第一数据的发送频率传输至第二存储单元中;监控单元对第二存储单元进行实时监控,并将第二数据传输至主业务系统。能高效的利用通信网络资源和系统的负载资源,还能避免不必要的网络拥堵和延迟,确保数据传输的实时性。
为达到上述的发明目的,本发明提供一种ERP数据传输方法,包括如下步骤:
步骤S1:获取单元,以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;
步骤S2:计算单元,将所述第一存储单元中所述子业务系统的所述第一业务数据作为目标数据,计算所述目标数据数据量的总值、平均值和各所述目标数据之间的标准差;
步骤S3:调频单元,将从所述子业务系统中当前所述预设周期获取的所述第一业务数据作为第一数据,在所述标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个所述第一数据的发送频率均设定为所述第一参考发送频率,在所述标准差大于等于所述第一阈值时,建立所述第一参考发送频率与所述目标数据数据量平均值的关系表,基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率;
步骤S4:发送单元,将所述第一存储单元中的所述第一数据以所述第一数据的发送频率传输至第二存储单元中;
步骤S5:监控单元,对所述第二存储单元进行实时监控,定义所述第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将所述第二数据传输至所述主业务系统。
作为本发明的一种优选技术方案,所述步骤S1之前还包括:
步骤S01:所述子业务系统将其新产生的数据按照时间顺序排列,并存储于其当前缓存中形成缓存队列,其中,数据产生的时候越久,数据在所述缓存队列中的次序越靠前,当所述获取单元从所述子业务系统中获取数据时,获取所述缓存队列中第一次序的数据,并在所述第一次序的数据被提取后,将所述第一次序的数据后移至第二次序,以使得原有第二次序的数据前移,同时在提取所述第一次序数据的过程中设置所述第一次序数据的提取标签;
步骤S02:在所述获取单元从所述子业务系统再次获取数据时,判断所述获取单元是否携带所述标签,是的情况下,删除所述子业务系统中所述第二次序的数据,并提取所述缓存队列中的所述第一次序的数据,继续将当前所述第一次序的数据放入至所述第二次序,否的情况下,同时提取所述第一次序和所述第二次序的数据,将所述第一次序和所述第二次序的数据分别后移至所述第二次序和第三次序。
作为本发明的一种优选技术方案,所述步骤S3还包括:
计算预设时间段内所述第二存储单元与所述主业务系统的交互频率,并基于所述交互频率为所述第一数据设置权重,基于每个所述第一数据的权重和所述目标数据的总值计算第二参考发送频率,基于所述第二参考发送频率计算并设定每个所述第一数据的发送频率。
作为本发明的一种优选技术方案,所述步骤S3中的基于第一传输速率和第二传输速率计算第一参考发送频率,包括:
步骤S31:所述第一传输速率等于通信网络的带宽,基于每个所述子业务系统的负载参数和所述第一存储单元的负载参数,计算所述目标数据与所述第一存储单元之间数据传输的第二传输速率;
步骤S32:基于所述第一传输速率和所述第二传输速率,计算所述目标数据的最大传输速率;
步骤S33:所述目标数据的数据量除以所述目标数据的最大传输速率,计算得出第一参考发送频率。
作为本发明的一种优选技术方案,所述步骤S32中,计算所述目标数据的最大传输速率,包括:将所述第一传输速率和所述第二传输速率中传输速率最低的作为所述目标数据的最大传输速率。
作为本发明的一种优选技术方案,所述步骤S3中在所述标准差大于等于所述第一阈值时,还包括:
步骤S34:获取所述目标数据中数据量大于所述平均值N倍的所述第一数据作为第三数据,其中N表示大于1的正整数;
步骤S35:将所述第三数据的数据量与所述第三数据对应的历史数据的数据量进行对比,并获取差值,在所述差值小于等于第二阈值时,建立所述第一参考发送频率与所述平均值的关系表,基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率,在所述差值大于所述第二阈值时,将所述差值大于所述第二阈值的所述第三数据分别对应的所述第一数据移至第三存储单元中,并对移至所述第三存储单元以外的其他所述第一数据重新计算发送频率。
作为本发明的一种优选技术方案,所述步骤S35中的基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率,包括:
将所述第一参考发送频率与所述平均值对应,计算所述第一数据的数据量与所述平均值的比例,在所述比例小于第三阈值或大于第四阈值时,将所述第一参考发送频率除以所述比例,通过计算得出所述第一数据的发送频率,在所述比例大于等于所述第三阈值且小于等于所述第四阈值时,将所述第一数据的发送频率设定为所述第一参考发送频率。
作为本发明的一种优选技术方案,计算并设定每个所述第一数据的发送频率还包括:
计算预设时间段内所述第二存储单元与所述主业务系统的交互频率,并基于所述交互频率为所述第一数据设置权重;
基于每个所述第一数据的权重,通过表达式1计算第二参考发送频率,
(表达式1)
其中,P表示所述第二参考发送频率,Ki表示第i个所述第一数据的权重,Ti表示第i个所述第一数据的数据量,n表示所述第一存储单元中所述第一数据的总个数;
基于所述第二参考发送频率和所述第一数据的权重,通过表达式2计算所述第一数据的发送频率,
(表达式2)
其中,Pi表示第i个所述第一数据的发送频率。
本发明还提供一种如上所述的ERP数据传输系统,包括如下模块:
获取单元,用于以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;
计算单元,用于将所述第一存储单元中所述子业务系统的所述第一业务数据作为目标数据,计算所述目标数据数据量的总值、平均值和各所述目标数据之间的标准差;
调频单元,用于将从所述子业务系统中当前所述预设周期获取的所述第一业务数据作为第一数据,在所述标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个所述第一数据的发送频率均设定为所述第一参考发送频率,在所述标准差大于等于所述第一阈值时,建立所述第一参考发送频率与所述目标数据数据量平均值的关系表,基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率;
发送单元,用于将所述第一存储单元中的所述第一数据以所述第一数据的发送频率传输至第二存储单元中;
监控单元,用于对所述第二存储单元进行实时监控,定义所述第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将所述第二数据传输至所述主业务系统。
本发明还提供一种计算设备,所述设备包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述所述的ERP数据传输方法。
本发明还提供一种存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现上述所述的ERP数据传输方法。
与现有技术相比,本发明的有益效果至少如下所述:
1、本发明的技术方案通过获取单元以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;从而确保数据的实时性。其中,第一存储单元可以是缓存之类的存储器,它具有临时存储业务数据的功能。通过计算单元将第一存储单元中子业务系统的第一业务数据作为目标数据,计算目标数据数据量的总值、平均值和各目标数据之间的标准差;为动态调整数据发送频率提供依据,避免因数据量过大或过小而导致的传输拥堵或延迟。通过调频单元将从子业务系统中当前预设周期获取的第一业务数据作为第一数据,在标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个第一数据的发送频率均设定为第一参考发送频率,在标准差大于等于第一阈值时,建立第一参考发送频率与目标数据数据量平均值的关系表,基于每个第一数据的数据量与平均值之间的关系,设定每个第一数据的发送频率;是为了防止数据传输过程中出现拥堵,对不同的第一数据根据其数据量设置不同的发送频率,以更高效的利用通信网络资源和系统的负载资源。
2、本发明的技术方案通过发送单元将第一存储单元中的第一数据以第一数据的发送频率传输至第二存储单元中;可以动态管理数据传输过程,提高数据传输的效率,还能合理利用负载资源。通过监控单元对第二存储单元进行实时监控,定义第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将第二数据传输至主业务系统,可以减少数据的传输量,通过实时监控和及时更新第二存储单元中的第二数据,可以更好地满足实际业务需求,提高数据的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明中一种ERP数据传输方法的步骤流程图;
图2为本发明中一种ERP数据传输系统的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,且类似地,可将第二xx脚本称为第一xx脚本。
随着企业资源计划(ERP)系统在企业运营中的普及和应用,数据的传输与整合成为了实现业务流程一体化的关键环节。ERP数据传输,作为一个关键技术,支撑着企业各个部门间的信息共享和协同工作。ERP系统是一种集成化的企业管理软件,旨在优化企业资源分配,提高运营效率,它涵盖了企业的各个业务领域,包括财务、供应链、人力资源等。随着企业规模的扩大和业务范围的拓展,跨部门、跨地域的数据交换与共享需求日益增强,这就凸显出ERP数据传输的重要性。然而,现有技术中都没有考虑业务数据量的大小对数据发送频率的影响。
针对上述的技术问题,发明人提出如图1所示的ERP数据传输方法,包括如下步骤:
步骤S1:获取单元,以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;
具体的,在传统的ERP数据传输中,通常会定时或周期性地从各个子业务系统获取数据,然而,这种方法无法适应实际业务数据量的大小变化,可能会导致数据在传输过程中出现延迟或拥堵,也就不能保证数据的实时性。因此,本发明通过以预设周期或根据主业务系统的请求来分别获取各个子业务系统的数据,从而确保数据的实时性。其中,第一存储单元可以是缓存之类的存储器,它具有临时存储业务数据的功能。
步骤S2:计算单元,将第一存储单元中子业务系统的第一业务数据作为目标数据,计算目标数据数据量的总值、平均值和各目标数据之间的标准差;
具体的,计算目标数据数据量的总值可以得到当前存储单元中的数据量的总值,以便进行合理的数据传输。计算目标数据数据量的标准差可以衡量目标数据之间的离散程度,从而针对某一个或几个数据的传输调整发送频率。计算目标数据数据量的平均值可以了解本次获取数据量的平均规模,为动态调整数据发送频率提供依据。通过以上计算,可以根据实际需求动态调整数据发送频率。避免因数据量过大或过小而导致的传输拥堵或延迟,确保数据传输的实时性。
步骤S3:调频单元,将从子业务系统中当前预设周期获取的第一业务数据作为第一数据,在标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个第一数据的发送频率均设定为第一参考发送频率,在标准差大于等于第一阈值时,建立第一参考发送频率与目标数据数据量平均值的关系表,基于每个第一数据的数据量与平均值之间的关系,设定每个第一数据的发送频率;
具体的,为了防止数据传输过程中出现拥堵,本发明提出基于目标数据数据量的各目标数据之间的标准差来动态调整目标数据的发送频率,在同一批次获取的目标数据中如果标准差小,说明来自每个子业务系统的目标数据数据量的大小相差较小,可以采用相同的发送频率,其中,第一阈值可以根据实际业务需求进行设定;如果标准差大,可能存在特殊情况,比如,某一子业务系统突然产生大量的第一数据,则可以根据其数据量设置不同的发送频率。通过这种动态调整发送频率的方法,可以更好地平衡数据传输的实时性和网络资源利用率。对于标准差较小的目标数据,通过上述方法计算它的参考发送频率,具体计算方法将在下文中作详细描述。其中,同一批次目标数据代表一次请求获取的目标数据或一个预设周期获取的目标数据。第一传输速率是通信网络带宽,第二传输速率是临时存储单元之间的传输速率。通过上述方法中计算的参考发送频率,将并其与目标数据数据量的平均值对应,可以判断当第一数据的数据量大于目标数据数据量的平均值时,第一数据的发送频率可以设置的短一些,当第一数据的数据量小于目标数据数据量的平均值时,第一数据的发送频率可以设置的长一些,从而对不同的第一数据根据其数据量设置不同的发送频率,以更高效的利用通信网络资源和系统的负载资源,发送频率的具体设置将在下文中作详细描述。
步骤S4:发送单元,将第一存储单元中的第一数据以第一数据的发送频率传输至第二存储单元中;
具体的,为了避免传统ERP数据传输方法中一次性传输大量数据导致的传输拥堵问题,本发明根据每个第一数据的发送频率发送数据,可以避免一次性传输大量数据而导致的拥堵问题。通过将第一存储单元中的第一数据按照各自的发送频率传输到第二存储单元中,可以动态管理数据传输过程,提高数据传输的效率,还能合理利用负载资源。
步骤S5:监控单元,对第二存储单元进行实时监控,定义第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将第二数据传输至主业务系统。
具体的,为了避免数据传输过程中的拥堵,同时缓解主业务系统接收数据的压力,设置第二存储单元,它也是临时存储单元,具有临时存储数据的功能。通过对第二存储单元进行实时监控,可以及时发现第二存储单元中第一数据的改变。当检测到第一数据发生改变时,从第二存储单元中提取第二数据,并将其传输至主业务系统,这样可以减少数据的传输量,通过实时监控和及时更新第二存储单元中的第二数据,可以更好地满足实际业务需求,提高数据的实时性。
进一步的,上述步骤S1之前还包括:
步骤S01:子业务系统将其新产生的数据按照时间顺序排列,并存储于其当前缓存中形成缓存队列,其中,数据产生的时候越久,数据在缓存队列中的次序越靠前,当获取单元从子业务系统中获取数据时,获取缓存队列中第一次序的数据,并在第一次序的数据被提取后,将第一次序的数据后移至第二次序,以使得原有第二次序的数据前移,同时在提取第一次序数据的过程中设置第一次序数据的提取标签;
步骤S02:在获取单元从子业务系统再次获取数据时,判断获取单元是否携带标签,是的情况下,删除子业务系统中第二次序的数据,并提取缓存队列中的第一次序的数据,继续将当前第一次序的数据放入至第二次序,否的情况下,同时提取第一次序和第二次序的数据,将第一次序和第二次序的数据分别后移至第二次序和第三次序。
具体的,获取单元从每个子业务系统获取数据时,按照时间顺序逐一从缓存队列中提取数据,可以提高数据的获取效率。在第一次序的数据被提取后,将第一次序的数据后移至第二次序,是为数据在传输过程中出现异常时,还能再次快速准确地重新获取到这些数据;通过在提取第一次序数据的过程中设置第一次序数据的提取标签,可以判断数据在传输过程中是否正常。在获取单元再次获取数据时,通过判断其是否携带标签,确定上次提取的数据是否处理完成,首先减少获取单元与子业务系统的交互次数,从而节省数据传输资源,其次通过再次获取原第一次序的数据还保证了数据的完整性。通过从子业务系统有序完整的获取数据,为避免后续数据传输过程中出现数据拥堵和延迟奠定基础。
进一步的,上述步骤S3还包括:
计算预设时间段内第二存储单元与主业务系统的交互频率,并基于交互频率为第一数据设置权重,基于每个第一数据的权重和目标数据的总值计算第二参考发送频率,基于第二参考发送频率计算并设定每个第一数据的发送频率。
具体的,除了按目标数据数据量的大小设置第一数据的发送频率外,还可以根据第一数据的权重设定第一数据的发送频率。在一定时间段内第二存储单元与主业务系统的交互频率越高,说明子业务系统发生变化的业务数据越多,这种变化的数据包括由用户终端新产生的数据和更新的数据等。本发明通过计算预设时间段内第二存储单元与主业务系统的交互频率,并根据交互频率为每个第一数据设置权重,实现了对重要数据的优先传输。基于每个第一数据的权重和目标数据数据量的总值计算第二参考发送频率,可以为每个第一数据设定更加合理的发送频率,通过上述方法,可以确保更重要的数据能够优先传输,因此不仅能高效的利用通信网络资源和系统的负载资源,还能更好地满足实际业务需求。
进一步的,上述步骤S3中的基于第一传输速率和第二传输速率计算第一参考发送频率,包括:
步骤S31:第一传输速率等于通信网络的带宽,基于每个子业务系统的负载参数和第一存储单元的负载参数,计算目标数据与第一存储单元之间数据传输的第二传输速率;
步骤S32:基于第一传输速率和第二传输速率,计算目标数据的最大传输速率;
步骤S33:目标数据的数据量除以目标数据的最大传输速率,计算得出第一参考发送频率。
具体的,为了避免ERP数据在传输过程中出现拥堵和延迟问题,根据第一传输速率和第二传输速率设置第一数据从第一存储单元到第二存储单元的参考发送频率,用以避免向主业务系统传输数据时发生拥堵。其中,第一传输速率表示第一数据从第二存储单元传输至主业务系统的单位时间内的传输速率,即通信网络的带宽,可以直接获取,此处不再赘述;第二传输速率表示目标数据从第一存储单元传输至第二存储单元的单位时间内的传输速率,它取决于系统CPU和存储设备的处理能力,此处不再详细赘述。例如,目标数据的数据量是10G,而计算得到的目标数据的最大传输速率是1G/秒,那么第一参考发送频率就等于10G/(1G/秒)=10秒,关于目标数据的最大传输速率计算方法在下文中详细描述。
进一步的,上述步骤S32中,计算目标数据的最大传输速率,包括:将第一传输速率和第二传输速率中传输速率最低的作为目标数据的最大传输速率。
具体的,将第一传输速率和第二传输速率中传输速率最低的数值被选为目标数据的最大传输速率是为了避免数据在传输过程中出现拥堵的情况。如果所有子业务系统与第一存储单元之间或第二存储单元与主业务系统之间的数据传输速率都很高,但是通信网络的传输速率较低,那么为了确保数据的顺利传输,选择以最低的传输速率为基准,可以避免数据在传输过程中因为速率不匹配而导致的拥堵或延迟,从而保证了数据传输的整体性能和效率。
进一步的,上述步骤S3中在标准差大于等于第一阈值时,还包括:
步骤S34:获取目标数据中数据量大于平均值N倍的第一数据作为第三数据,其中N表示大于1的正整数;
具体的,在标准差大于等于第一阈值时,分为两种情况,假设一般情况下同一预测周期的第一数据,来自每个子业务系统的数据量的大小相差不大,比如,每个子业务系统的数据量相差小于2倍以下,而如果遇到特殊情况,比如某个子业务系统受到攻击,可能会造成来自某个子业务系统的数据量突然增加,又或者确实某个子业务系统的数据量因业务需要而突然增加,这两种情况都需要进行特殊处理,以防止数据在传输过程中出现拥堵或延迟。
步骤S35:将第三数据的数据量与第三数据对应的历史数据的数据量进行对比,并获取差值,在差值小于等于第二阈值时,建立第一参考发送频率与平均值的关系表,基于每个第一数据的数据量与平均值之间的关系,设定每个第一数据的发送频率,在差值大于第二阈值时,将差值大于第二阈值的第三数据分别对应的第一数据移至第三存储单元中,并对移至第三存储单元以外的其他第一数据重新计算发送频率。
具体的,为了区别标准差大于等于第一阈值的两种情况,通过上述方案,获取大于平均值N倍的第三数据,并与对应的历史数据对比,如果第三数据的数据量与历史数据的数据量之间的差值小于等于预设第二阈值,说明是第三数据的数据量是因业务需要而突然增加,对此情况可以分别设定每个第一数据的发送频率,以保证数据量大的第三数据传输的实时性。如果第三数据的数据量与历史数据的数据量之间的差值大于预设第二阈值,可能是对应的第一数据或子业务系统受到攻击,那么将其移至第三存储单元,第三存储单元也是临时存储单元,用于存储相关业务数据,移至第三存储单元的数据可以通过其他处理手段进行处理,比如人工审核等,在此本发明不做限制。之后对移至第三存储单元以外的其他第一数据重新计算其数据量的总值、平均值和各数据之间的标准差,并根据上述方法重新设定第一数据的发送频率,具体计算方法上述方案中已经描述,此处不再重复。其中,第一参考发送频率与平均值的关系表类似于,关系表中每条记录记录着第一参考发送频率及第一参考发送频率对应的平均值,比如第一参考发送频率为1G/秒,对应的平均值是10G,之后会将第一数据的数据量大小与平均值对比,获取第一数据的发送频率。
进一步的,上述步骤S35中的基于每个第一数据的数据量与平均值之间的关系,设定每个第一数据的发送频率,包括:
将第一参考发送频率与平均值对应,计算第一数据的数据量与平均值的比例,在比例小于第三阈值或大于第四阈值时,将第一参考发送频率除以比例,通过计算得出第一数据的发送频率,在比例大于等于第三阈值且小于等于第四阈值时,将第一数据的发送频率设定为第一参考发送频率。
具体的,为了保证数据量大的数据传输的实时性,可以分别设定每个第一数据的发送频率,由于通信网络的传输速率相对是一定的,那么对于数据量比较大的数据来说,减小它的发送频率,可能就会造成其他业务数据的拥堵,因此,在减小数据量的数据的发送频率时,可以相应增加数据量小的数据的发送频率,通过上述方法可以计算出每个第一数据的发送频率,不仅能高效的利用通信网络资源和系统的负载资源,还能避免不必要的网络拥堵和延迟。例如,第三阈值取0.5,第四阈值取2,那么在比例小于0.5或大于2时,将第一参考发送频率除以比例,得出第一数据的发送频率;在比例大于等于0.5且小于等于2时,将第一数据的发送频率设定为第一参考发送频率。
进一步的,计算并设定每个第一数据的发送频率还包括:
计算预设时间段内第二存储单元与主业务系统的交互频率,并基于交互频率为第一数据设置权重;
基于每个第一数据的权重,通过表达式1计算第二参考发送频率,
(表达式1)
其中,P表示第二参考发送频率,Ki表示第i个第一数据的权重,Ti表示第i个第一数据的数据量,n表示第一存储单元中第一数据的总个数;
基于第二参考发送频率和第一数据的权重,通过表达式2计算第一数据的发送频率,
(表达式2)
其中,Pi表示第i个第一数据的发送频率。
具体的,ERP数据在传输过程中,根据业务需要,对于重要的数据需要优先传输,以保证重要数据的实时性。通过上述方案,设定与主业务系统交互频率越高的第二存储单元对应的数据的权重越大,因为与主业务系统交互频率越高,说明子业务系统发生变化的业务数据越多,对主业务系统产生的影响也就较大。基于每个第一数据设置的权重,再通过上述计算方法,可以计算出每个第一数据对应的发送频率。比如:单位时间内第二存储单元中第一数据1与主业务系统的交互频率为12次,设置第一数据1的权重为1.2,单位时间内第二存储单元中第一数据2与主业务系统的交互频率为6次,设置第一数据2的权重为0.6,单位时间内第二存储单元中第一数据3与主业务系统的交互频率为9次,设置第一数据3的权重为0.9,第一数据1的数据量为8G,第一数据2的数据量为10G,第一数据3的数据量为10G,那么这批数据对应的参考发送频率等于(1.2*8+0.6*10+0.9*10)/28≈0.88秒,第一数据1对应的发送频率等于0.88/1.2≈0.73秒,第二数据2对应的发送频率等于0.88/0.6≈1.47秒,第一数据3对应的发送频率等于0.88/0.9≈0.98秒。从而实现了在高效利用通信网络资源和系统负载资源的同时,还能将重要业务数据优先传输。
本发明还提供一种如图2所示的ERP数据传输系统,包括如下模块:
获取单元,用于以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;
计算单元,用于将第一存储单元中子业务系统的第一业务数据作为目标数据,计算目标数据数据量的总值、平均值和各目标数据之间的标准差;
调频单元,用于将从子业务系统中当前预设周期获取的第一业务数据作为第一数据,在标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个第一数据的发送频率均设定为第一参考发送频率,在标准差大于等于第一阈值时,建立第一参考发送频率与目标数据数据量平均值的关系表,基于每个第一数据的数据量与平均值之间的关系,设定每个第一数据的发送频率;
发送单元,用于将第一存储单元中的第一数据以第一数据的发送频率传输至第二存储单元中;
监控单元,用于对第二存储单元进行实时监控,定义第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将第二数据传输至主业务系统。
存储器和处理器;
存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现上述的ERP数据传输方法。
本发明还提供一种计算机存储介质,存储介质存储有程序指令,其中,在程序指令运行时控制计算机存储介质所在设备执行上述的ERP数据传输方法。
综上所述,通过获取单元以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;从而确保数据的实时性。其中,第一存储单元可以是缓存之类的存储器,它具有临时存储业务数据的功能。通过计算单元将第一存储单元中子业务系统的第一业务数据作为目标数据,计算目标数据数据量的总值、平均值和各目标数据之间的标准差;为动态调整数据发送频率提供依据,避免因数据量过大或过小而导致的传输拥堵或延迟。通过调频单元将从子业务系统中当前预设周期获取的第一业务数据作为第一数据,在标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个第一数据的发送频率均设定为第一参考发送频率,在标准差大于等于第一阈值时,建立第一参考发送频率与目标数据数据量平均值的关系表,基于每个第一数据的数据量与平均值之间的关系,设定每个第一数据的发送频率;是为了防止数据传输过程中出现拥堵,对不同的第一数据根据其数据量设置不同的发送频率,以更高效的利用通信网络资源和系统的负载资源。通过发送单元将第一存储单元中的第一数据以第一数据的发送频率传输至第二存储单元中;可以动态管理数据传输过程,提高数据传输的效率,还能合理利用负载资源。通过监控单元对第二存储单元进行实时监控,定义第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将第二数据传输至主业务系统,可以减少数据的传输量,通过实时监控和及时更新第二存储单元中的第二数据,可以更好地满足实际业务需求,提高数据的实时性。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一个非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上上述的实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上上述的实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上上述的仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种ERP数据传输方法,其特征在于,所述方法包括如下步骤:
步骤S1:获取单元,以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;
步骤S2:计算单元,将所述第一存储单元中所述子业务系统的所述第一业务数据作为目标数据,计算所述目标数据数据量的总值、平均值和各所述目标数据之间的标准差;
步骤S3:调频单元,将从所述子业务系统中当前所述预设周期获取的所述第一业务数据作为第一数据,在所述标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个所述第一数据的发送频率均设定为所述第一参考发送频率,在所述标准差大于等于所述第一阈值时,建立所述第一参考发送频率与所述目标数据数据量平均值的关系表,基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率;
步骤S4:发送单元,将所述第一存储单元中的所述第一数据以所述第一数据的发送频率传输至第二存储单元中;
步骤S5:监控单元,对所述第二存储单元进行实时监控,定义所述第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将所述第二数据传输至所述主业务系统;
所述步骤S3中的基于第一传输速率和第二传输速率计算第一参考发送频率,还包括:
步骤S31:所述第一传输速率表示所述第一数据从所述第二存储单元传输至所述主业务系统的单位时间内的传输速率,所述第二传输速率表示所述目标数据从所述第一存储单元传输至所述第二存储单元的单位时间内的传输速率;
步骤S32:基于所述第一传输速率和所述第二传输速率,将所述第一传输速率和所述第二传输速率中传输速率最低的作为所述目标数据的最大传输速率;
步骤S33:所述目标数据的数据量除以所述目标数据的最大传输速率,计算得出第一参考发送频率;
计算并设定每个所述第一数据的发送频率还包括:
计算预设时间段内第二存储单元与所述主业务系统的交互频率,并基于所述交互频率为所述第一数据设置权重,基于每个所述第一数据的权重和所述目标数据的总值计算第二参考发送频率,基于所述第二参考发送频率计算并设定每个所述第一数据的发送频率;
基于每个所述第一数据的权重,通过表达式1计算第二参考发送频率,
(表达式1)
其中,P表示所述第二参考发送频率,Ki表示第i个所述第一数据的权重,Ti表示第i个所述第一数据的数据量,n表示所述第一存储单元中所述第一数据的总个数;
基于所述第二参考发送频率和所述第一数据的权重,通过表达式2计算所述第一数据的发送频率,
(表达式2)
其中,Pi表示第i个所述第一数据的发送频率。
2.根据权利要求1所述的一种ERP数据传输方法,其特征在于,所述步骤S1之前还包括:
步骤S01:所述子业务系统将其新产生的数据按照时间顺序排列,并存储于其当前缓存中形成缓存队列,其中,数据产生的时候越久,数据在所述缓存队列中的次序越靠前,当所述获取单元从所述子业务系统中获取数据时,获取所述缓存队列中第一次序的数据,并在所述第一次序的数据被提取后,将所述第一次序的数据后移至第二次序,以使得原有第二次序的数据前移,同时在提取所述第一次序数据的过程中设置所述第一次序数据的提取标签;
步骤S02:在所述获取单元从所述子业务系统再次获取数据时,判断所述获取单元是否携带所述标签,是的情况下,删除所述子业务系统中所述第二次序的数据,并提取所述缓存队列中的所述第一次序的数据,继续将当前所述第一次序的数据放入至所述第二次序,否的情况下,同时提取所述第一次序和所述第二次序的数据,将所述第一次序和所述第二次序的数据分别后移至所述第二次序和第三次序。
3.根据权利要求1所述的一种ERP数据传输方法,其特征在于,所述步骤S3中在所述标准差大于等于所述第一阈值时,还包括:
步骤S34:获取所述目标数据中数据量大于所述平均值N倍的所述第一数据作为第三数据,其中N表示大于1的正整数;
步骤S35:将所述第三数据的数据量与所述第三数据对应的历史数据的数据量进行对比,并获取差值,在所述差值小于等于第二阈值时,建立所述第一参考发送频率与所述平均值的关系表,基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率,在所述差值大于所述第二阈值时,将所述差值大于所述第二阈值的所述第三数据分别对应的所述第一数据移至第三存储单元中,并对移至所述第三存储单元以外的其他所述第一数据重新计算发送频率。
4.根据权利要求3所述的一种ERP数据传输方法,其特征在于,所述步骤S35中的基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率,包括:
将所述第一参考发送频率与所述平均值对应,计算所述第一数据的数据量与所述平均值的比例,在所述比例小于第三阈值或大于第四阈值时,将所述第一参考发送频率除以所述比例,通过计算得出所述第一数据的发送频率,在所述比例大于等于所述第三阈值且小于等于所述第四阈值时,将所述第一数据的发送频率设定为所述第一参考发送频率。
5.一种ERP数据传输系统,用于实现如权利要求1-4任一项所述的方法,其特征在于,所述系统包括如下模块:
获取单元,用于以预设周期或收到主业务系统的请求,从多个不同子业务系统分别获取多个第一业务数据,并存入第一存储单元中;
计算单元,用于将所述第一存储单元中所述子业务系统的所述第一业务数据作为目标数据,计算所述目标数据数据量的总值、平均值和各所述目标数据之间的标准差;
调频单元配置为:将从所述子业务系统中当前所述预设周期获取的所述第一业务数据作为第一数据,在所述标准差小于第一阈值时,基于第一传输速率和第二传输速率计算第一参考发送频率,将每个所述第一数据的发送频率均设定为所述第一参考发送频率,在所述标准差大于等于所述第一阈值时,建立所述第一参考发送频率与所述目标数据数据量平均值的关系表,基于每个所述第一数据的数据量与所述平均值之间的关系,设定每个所述第一数据的发送频率;
发送单元,用于将所述第一存储单元中的所述第一数据以所述第一数据的发送频率传输至第二存储单元中;
监控单元,用于对所述第二存储单元进行实时监控,定义所述第二存储单元中当前收到的数据不同于上一次收到的数据为第二数据,将所述第二数据传输至所述主业务系统;
所述调频单元中的基于第一传输速率和第二传输速率计算第一参考发送频率,还包括:所述第一传输速率表示所述第一数据从所述第二存储单元传输至所述主业务系统的单位时间内的传输速率,所述第二传输速率表示所述目标数据从所述第一存储单元传输至所述第二存储单元的单位时间内的传输速率;基于所述第一传输速率和所述第二传输速率,将所述第一传输速率和所述第二传输速率中传输速率最低的作为所述目标数据的最大传输速率;所述目标数据的数据量除以所述目标数据的最大传输速率,计算得出第一参考发送频率;
所述调频单元中计算并设定每个所述第一数据的发送频率还包括:
计算预设时间段内第二存储单元与所述主业务系统的交互频率,并基于所述交互频率为所述第一数据设置权重,基于每个所述第一数据的权重和所述目标数据的总值计算第二参考发送频率,基于所述第二参考发送频率计算并设定每个所述第一数据的发送频率;
基于每个所述第一数据的权重,通过表达式1计算第二参考发送频率,
(表达式1)
其中,P表示所述第二参考发送频率,Ki表示第i个所述第一数据的权重,Ti表示第i个所述第一数据的数据量,n表示所述第一存储单元中所述第一数据的总个数;
基于所述第二参考发送频率和所述第一数据的权重,通过表达式2计算所述第一数据的发送频率,
(表达式2)
其中,Pi表示第i个所述第一数据的发送频率。
6.一种计算机存储介质,其特征在于,所述存储介质存储有程序指令,其中在所述程序指令运行时控制所述存储介质所在设备执行权利要求1-4任一项所述的ERP数据传输方法。
CN202410257549.2A 2024-03-07 2024-03-07 一种erp数据传输方法、系统及存储介质 Active CN117896314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410257549.2A CN117896314B (zh) 2024-03-07 2024-03-07 一种erp数据传输方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410257549.2A CN117896314B (zh) 2024-03-07 2024-03-07 一种erp数据传输方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117896314A CN117896314A (zh) 2024-04-16
CN117896314B true CN117896314B (zh) 2024-05-31

Family

ID=90649485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410257549.2A Active CN117896314B (zh) 2024-03-07 2024-03-07 一种erp数据传输方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117896314B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995834A (zh) * 2017-12-30 2019-07-09 中国移动通信集团贵州有限公司 大流量数据处理方法、装置、计算设备及存储介质
CN114979091A (zh) * 2022-07-28 2022-08-30 腾讯科技(深圳)有限公司 一种数据传输的方法、相关装置、设备以及存储介质
CN115396529A (zh) * 2022-08-25 2022-11-25 深圳市元征科技股份有限公司 多通道通信方法、装置、终端设备及存储介质
CN117336796A (zh) * 2023-08-23 2024-01-02 浙江大华技术股份有限公司 一种实时数据的传输方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995834A (zh) * 2017-12-30 2019-07-09 中国移动通信集团贵州有限公司 大流量数据处理方法、装置、计算设备及存储介质
CN114979091A (zh) * 2022-07-28 2022-08-30 腾讯科技(深圳)有限公司 一种数据传输的方法、相关装置、设备以及存储介质
CN115396529A (zh) * 2022-08-25 2022-11-25 深圳市元征科技股份有限公司 多通道通信方法、装置、终端设备及存储介质
CN117336796A (zh) * 2023-08-23 2024-01-02 浙江大华技术股份有限公司 一种实时数据的传输方法

Also Published As

Publication number Publication date
CN117896314A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN107832126B (zh) 一种线程的调整方法及其终端
CN109787908B (zh) 服务器限流方法、系统、计算机设备及存储介质
CN104753994B (zh) 基于集群服务器系统的数据同步方法及其装置
CN110597858A (zh) 任务数据处理方法、装置、计算机设备和存储介质
CN111641563B (zh) 基于分布式场景的流量自适应方法与系统
CN110533286B (zh) 基于区块链的联盟成员管理方法、装置以及计算机设备
CN111490963B (zh) 基于quic协议栈的数据处理方法、系统、设备及存储介质
CN112689007B (zh) 资源分配方法、装置、计算机设备和存储介质
CN112817721B (zh) 基于人工智能的任务调度方法、装置、计算机设备和介质
CN103095824A (zh) 文件上传控制方法及系统
CN115002044B (zh) 控制数据传输的方法、装置、计算机设备及存储介质
CN117896314B (zh) 一种erp数据传输方法、系统及存储介质
CN109670932A (zh) 信贷数据核算方法、装置、系统和计算机存储介质
CN117674957A (zh) 调度方法、装置、计算机设备、存储介质和程序产品
CN112435021A (zh) 基于人工智能的交易请求处理方法、装置、设备和介质
CN111858021B (zh) 交易渠道选择方法、线上交易方法以及相关装置
US9465715B2 (en) Optimizing the number of shared processes executing in a computer system
CN116346740A (zh) 一种负载均衡方法及装置
CN113438678B (zh) 一种为网络切片分配云资源的方法及装置
CN114896086A (zh) 消息处理方法、装置、计算机设备及存储介质
CN114281474A (zh) 一种资源调节方法及装置
CN113326333A (zh) 数据处理方法、系统、计算机设备及计算机存储介质
CN111340368A (zh) 仓库的管理方法及装置
CN112559221A (zh) 智能名单处理方法、系统、设备及存储介质
CN118018562B (zh) 一种分布式云端储存智能手机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant