CN111311014A - 业务数据处理方法、装置、计算机设备和存储介质 - Google Patents
业务数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111311014A CN111311014A CN202010124830.0A CN202010124830A CN111311014A CN 111311014 A CN111311014 A CN 111311014A CN 202010124830 A CN202010124830 A CN 202010124830A CN 111311014 A CN111311014 A CN 111311014A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- time
- real
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 241000219780 Pueraria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2322—Optimistic concurrency control using timestamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
Abstract
本申请涉及一种业务数据处理方法、装置、计算机设备和存储介质。本申请的方法包括:以预设频率定时从上一业务节点获取实时业务数据;当实时业务数据获取失败时,获取缓存的上一时间段获取的实时业务数据;根据上一时间段的实时业务数据预测当前时间段的预测业务数据;对预测业务数据进行处理,得到当前业务节点的业务处理数据;将业务处理数据推送至下一业务节点以在展示终端展示业务情况。采用本方法能够保证业务数据处理和展示过程的稳定性。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种业务数据处理方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的发展,出现了数据处理技术,现有的企业业务数据的处理及展示依赖于各个业务节点的稳定可靠运行,例如每接入一项数据源,由后端采集服务采集实时业务数据,服务器进行汇总计算后,推送到浏览器的前端页面进行展示。然而,当其中任一业务节点出现故障,导致业务数据无法获取时,浏览器的前端页面将完全停滞甚至直接报错奔溃。目前的方法通常是采用自动重试多次或者系统报警由人工进行处理的方法,上述方法都存在稳定性较差的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够保证稳定性的业务数据处理方法、装置、计算机设备和存储介质。
一种业务数据处理方法,所述方法包括:
以预设频率定时从上一业务节点获取实时业务数据;
当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据;
根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据;
对所述预测业务数据进行处理,得到当前业务节点的业务处理数据;
将所述业务处理数据推送至下一业务节点以在展示终端展示业务情况。
在其中一个实施例中,还包括:当所述实时业务数据获取失败时,根据当前时间戳所在时间区间范围,确定预设时间段间隔;根据所述预设时间段间隔,通过数据缓存点获取缓存的上一时间段获取的所述实时业务数据。
在其中一个实施例中,还包括:将所述当前时间戳和上一时间段的所述实时业务数据输入预先训练的数据预测模型,得到当前时间段的预测业务数据。
在其中一个实施例中,还包括:构建初始模型;根据收集到的历史业务数据及其对应的时间戳,得到训练集数据;将所述训练集数据输入所述初始模型,测试不同的模型参数,确定模型参数最优值;根据所述模型参数最优值,得到预先训练的数据预测模型。
在其中一个实施例中,还包括:以预设频率定时从上一业务节点获取实时业务数据;当所述实时业务数据获取成功时,对所述实时业务数据进行处理,得到当前业务节点的业务处理数据;将所述业务处理数据推送至下一节点,并将所述业务处理数据作为新增训练集数据输入所述预先训练的数据预测模型进行模型强化训练,得到强化训练后的数据预测模型。
在其中一个实施例中,还包括:对所述预测业务数据进行格式转换,得到转换后的预测业务数据;对所述转换后的预测业务数据进行校验处理,得到满足校验条件的预测业务数据,将所述满足校验条件的预测业务数据作为当前业务节点的业务处理数据。
在其中一个实施例中,还包括:对所述预测业务数据进行汇总处理,得到当前时间段的汇总数据,将所述汇总数据作为当前业务节点的业务处理数据。
一种业务数据处理装置,所述装置包括:
实时数据获取模块,用于以预设频率定时从上一业务节点获取实时业务数据;
缓存数据获取模块,用于当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据;
数据预测模块,用于根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据;
数据处理模块,用于对所述预测业务数据进行处理,得到当前业务节点的业务处理数据;
数据推送模块,用于将所述业务处理数据推送至下一业务节点以在展示终端展示业务情况。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
以预设频率定时从上一业务节点获取实时业务数据;
当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据;
根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据;
对所述预测业务数据进行处理,得到当前业务节点的业务处理数据;
将所述业务处理数据推送至下一业务节点以在展示终端展示业务情况。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
以预设频率定时从上一业务节点获取实时业务数据;
当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据;
根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据;
对所述预测业务数据进行处理,得到当前业务节点的业务处理数据;
将所述业务处理数据推送至下一业务节点以在展示终端展示业务情况。
上述业务数据处理方法、装置、计算机设备和存储介质,在从上一业务节点获取实时业务数据失败时,通过缓存的上一时间段获取的实时业务数据预测当前时间段的预测业务数据,并对预测业务数据进行处理,得到当前业务节点的业务处理数据并推送至下一业务节点以在展示终端展示业务情况。该方法使得即使任一业务节点出现故障,导致业务数据无法获取时,仍可通过缓存的业务数据进行数据预测,得到预测业务数据,处理后推向下一业务节点以实现展示终端业务情况的正常展示,保证了业务数据处理和展示过程的稳定性。
附图说明
图1为一个实施例中业务数据处理方法的应用环境图;
图2为一个实施例中业务数据处理方法的流程示意图;
图3为一个实施例中预先训练的数据预测模型的训练过程步骤的流程示意图;
图4为另一个实施例中预先训练的数据预测模型的训练过程的流程示意图;
图5为一个实施例中数据预测模型的强化训练过程步骤的流程示意图;
图6为一个实施例中业务数据处理装置的结构框图;
图7为一个实施例中计算机设备的内部结构图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的业务数据处理方法,可以应用于如图1所示的应用环境中的终端102、服务器104以及数据输入组件108,通过数据输入组件108、服务器104和终端102实现业务处理流程。其中,数据输入组件108、服务器104和终端102分别是业务处理流程上的业务节点。本申请的业务数据处理方法可以在上述业务节点中的任一个实施。
具体地,数据输入组件108可以采用消息队列(一个临时的数据容器)和第三方系统110进行交互,获取消费更新数据,也可以采用API(应用程序接口)和第三方系统110进行交互,即提供API供第三方系统110调用,第三方系统110有数据更新时调用API以实现数据更新,或者第三方系统110提供API数据查询接口,数据输入组件108定时调用以更新数据,还可以采用定时任务与第三方系统110进行交互,数据输入组件108和第三方系统110的数据库直接连接,并定时执行查询、远程调用以更新数据,通过各种灵活的数据输入组件,可以兼容多种不同的数据源。数据输入组件108从第三方系统110获取业务更新数据后,存储至数据库106。终端102通过网络与服务器104通过网络进行通信,服务器104可以通过WebSocket协议与终端102建立长时间连接,并基于定时任务定时查询数据库106存储的数据并推送到终端102,终端102将服务器104推送的数据展示到浏览器的前端页面。其中,第三方系统110可以是外部供应商的第三方系统,也可以是集团内部的任意二方业务系统。
其中,终端102可以但不限于是各种数据大屏、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现,数据输入组件108可以但不限于是消息队列、定时任务和API(应用程序接口),数据库106可以用服务器的数据库或者独立的数据库来实现。
在一个实施例中,如图2所示,提供了一种业务数据处理方法,可以运行在业务处理流程的任一个业务节点,如图1的数据输入组件108、服务器104和终端102。以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S202,以预设频率定时从上一业务节点获取实时业务数据。
其中,实时业务数据是从第三方接口的数据源获取的实时的表征业务情况进展的数据,例如页面访问量或者新增用户数等。预设频率当前业务节点主动或者被动从上一业务节点获取实时业务数据的频率,可以是服务器自动设置,也可以是用户设置,根据具体的实际情况确定,例如10分钟/次。上一业务节点可以是数据库,也可以是第三方接口,还可以是服务器,取决于当前业务节点位于系统中的节点位置,例如当前业务节点为服务器时,上一业务节点为数据库。具体地,服务器以预设频率,例如每隔10分钟通过定时器从上一业务节点,即数据库定时获取第三方接口更新的实时业务数据,例如业务APP的下载、打开等日活数、新增用户数以及页面流量等数据。其中,第三方接口可以是外部供应商的第三方系统,也可以是集团内部的任意二方业务系统,外部供应商的第三方系统会有诸如“诸葛IO”与“友盟”等数据采集平台提供的API接口,提供业务APP的下载、打开及日活等数据。集团内部二方业务系统则有内部大数据平台组开发的数据仓库,可以数据表的形式直接提供访问入口,提供用户画像等分析数据。
步骤S204,当实时业务数据获取失败时,获取缓存的上一时间段获取的实时业务数据。
其中,上一时间段为当前时间戳所在时间段的上一个时间段,时间段的具体划分根据具体的业务情况设定,对于不同的时间周期,时间段的划分也不一样。例如,周末和工作日、平时和双十一的时间段划分不同。
具体地,当服务器从数据库获取实时业务数据的结果为失败时,获取服务器的数据缓存点缓存的上一时间段获取的实时业务数据。其中,判断获取结果失败的方法有以下几种:网络连接被断开且无法重连,此时应用将会得到系统的通知;多次到达数据更新时间点而未得到数据更新,例如应每秒更新的数据,已过了5秒仍未得到更新;采用“心跳算法”,定时发送检测心跳信号,当检测心跳信号多次(如采用3次)未得到响应时推断依赖的远程服务失效不可用;远程服务返回了表明自身处理过程存在错误的响应。
在一个实施例中,步骤S204包括以下步骤:当实时业务数据获取失败时,根据当前时间戳所在时间区间范围,确定预设时间段间隔;根据预设时间段间隔,通过数据缓存点获取缓存的上一时间段获取的实时业务数据。
其中,时间区间范围用于定义区分不同的业务时期,诸如节假日和工作日。预设时间段间隔为根据时间区间范围设置的时间段间隔,可由服务器自动设置或者人工设置,缓存数据点用于缓存预设时间段间隔内的实时业务数据。
具体地,当实时业务数据获取失败时,服务器获取当前的时间戳信息,根据当前时间戳所在的时间区间范围,确定选择不同的预设时间段间隔,例如当前时间戳位于双十一当天,则预设时间间隔可以为5秒;服务器根据确定的预设时间间隔,通过数据缓存点获取缓存的上一时间段,即上一个5秒获取的实时业务数据。
本实施例中,根据当前时间戳信息确定不同的时间段间隔,根据不同的时间段间隔获取相应时间段间隔缓存的实时业务数据,提高了获取缓存的上一时间段的实时业务数据的效率,进一步提高了数据预测过程的准确性和有效性。
进一步地,缓存数据的获取方式即缓存数据点因各业务节点而异。具体而言,在一些实施例中,终端即前端展示页面可从浏览器内存、浏览器内建的localStorage对象及IndexedDB数据库获取,服务器和数据输入组件可从服务器内存、所属的数据库及本地文件获取。
步骤S206,根据上一时间段的实时业务数据预测当前时间段的预测业务数据。
其中,预测业务数据是指预测的当前时间段的业务数据。通常而言,当前时间段的预测业务数据是根据当前时间段的实时业务数据得到的。当实时业务获取失败时,根据上一时间段的实时业务数据预测当前时间段的预测业务数据。具体地,服务器将缓存的上一时间段获取的实时业务数据输入数据预测模型,将数据预测模型输出的预测结果作为当前时间段的预测业务数据。
在一个实施例中,步骤S206包括:将当前时间戳和上一时间段的实时业务数据输入预先训练的数据预测模型,得到当前时间段的预测业务数据。
其中,数据预测模型用于根据上一时间段的实时业务数据预测当前时间段的业务数据,每个业务节点的数据预测模型不同,具体根据不同业务节点的业务处理数据生成不同的数据预测模型。具体地,服务器将当前的时间戳和缓存的上一时间段的实时业务数据输入预先训练的数据预测模型,例如作为参数请求TensorFlow引擎并获得预测值,将数据预测模型输出的数据预测结果作为当前时间段的预测业务数据。
本实施例中,将当前的时间戳信息和上一时间段的实时业务数据输入数据预测模型后得到的数据结果作为预测业务数据,便于数据预测模型根据不同的时间周期生成不同时间特质的预测数据,提高了数据预测结果的准确性。
步骤S208,对预测业务数据进行处理,得到当前业务节点的业务处理数据。
其中,业务处理数据为对预测业务数据进行处理后的数据,可以为整数、百分数值或者数据曲线的形式。具体地,服务器对预测业务数据进行处理,处理后得到当前业务节点的业务处理数据,具体的处理方式诸如汇总处理或者校验处理,根据当前业务节点来设置。
在一个实施例中,步骤S208包括:对预测业务数据进行汇总处理,得到当前时间段的汇总数据,将汇总数据作为当前业务节点的业务处理数据。
其中,汇总数据是对当前时间段预测得到的预测业务数据进行汇总计算后的数据,例如新增用户总数、页面总访问量、按钮总点击量等数据。
本实施例中,通过汇总处理可以对大量的预测数据进行统计计算,得到展示终端所需要的数据形式,实现实时业务数据的多样化处理。
在一个实施例中,步骤S208包括:对预测业务数据进行格式转换,得到转换后的预测业务数据;对转换后的预测业务数据进行校验处理,得到满足校验条件的预测业务数据,将满足校验条件的预测业务数据作为当前业务节点的业务处理数据。
具体地,服务器对预测业务数据进行格式转换,例如将整数形式的数据转换成百分数形式的数据,对转换后的预测业务数据,即百分数形式的数据进行校验处理,例如检验该百分数是否小于百分之百,满足该校验条件的百分数即可作为当前业务节点的业务处理数据。
本实施例中,通过对预测业务数据进行格式转换,可以得到满足需要格式要求的业务数据,通过对格式转换后的预测业务数据进行校验处理,可以得到符合校验条件的业务数据,通过上述数据处理可以提高预测业务数据的准确性和展示过程的多样性。
步骤S210,将业务处理数据推送至下一业务节点以在展示终端展示业务情况。
具体地,服务器将处理后的业务处理数据推送至下一业务节点,即展示终端,以在展示终端上展示业务数据的业务情况。
上述业务数据处理方法中,在从上一业务节点获取实时业务数据失败时,通过缓存的上一时间段获取的实时业务数据预测当前时间段的预测业务数据,并对预测业务数据进行处理,得到当前业务节点的业务处理数据并推送至下一业务节点以在展示终端展示业务情况。该方法使得即使任一业务节点出现故障,导致业务数据无法获取时,仍可通过缓存的业务数据进行数据预测,得到预测业务数据,处理后推向下一业务节点以实现展示终端业务情况的正常展示,保证了业务数据处理和展示过程的稳定性。
在一个实施例中,如图3和图4所示,预先训练的数据预测模型的训练过程包括步骤S302至步骤S308:
步骤S302,构建初始模型。
其中,初始模型为数据预测模型的模型骨架,具体可以使用基于人工智能学习框架TensorFlow的开源时间序列数据预测算法Tensorflow.Keras.LSTM进行模型骨架的构建。
步骤S304,根据收集到的历史业务数据及其对应的时间戳,得到训练集数据。
其中,历史业务数据为当前业务节点在当前时间戳之前收集到的实时业务数据。训练集数据为用于进行模型训练的输入数据,包括历史业务数据以及对应的时间戳。
步骤S306,将训练集数据输入初始模型,测试不同的模型参数,确定模型参数最优值。
其中,模型参数最优值为预测效果最佳的模型参数设置。具体地,服务器将每次获取到的实时业务数据及其对应的时间戳信息输入到开源的预先生成的既有模型中,即初始模型,测试比较不同的超参数设置,得到最优值模型参数。
步骤S308,根据模型参数最优值,得到预先训练的数据预测模型。
具体地,服务器根据确定的模型参数最优值,得到预先训练的数据预测模型,用以根据缓存的上一时间段的实时业务数据进行预测。
本实施例中,通过历史业务数据及其对应的时间戳得到训练集数据,从而根据构建的初始模型进行模型训练,并选择最优值的模型参数设置,能够得到高精度的数据预测模型。
优选地,在一些实施例中,当实时业务数据获取成功时,例如网络故障恢复正常后,当前业务节点重新从上一业务节点获取实时业务数据,即重新获取正确的最新数据并推送至下一业务节点,以便对预测业务数据进行修正。
在一个实施例中,如图4和图5所示,预先训练的数据预测模型的强化训练过程包括步骤S502至步骤S506:
步骤S502,以预设频率定时从上一业务节点获取实时业务数据。
步骤S504,当实时业务数据获取成功时,对实时业务数据进行处理,得到当前业务节点的业务处理数据。
其中,处理方式可以包括格式转换处理、检验处理以及汇总处理的至少一种处理方式。
步骤S506,将业务处理数据推送至下一节点,并将业务处理数据作为新增训练集数据输入预先训练的数据预测模型进行模型强化训练,得到强化训练后的数据预测模型。
具体地,服务器基于实时生产数据对数据预测模型进行强化训练,将从上一业务节点获取成功的实时业务数据进行数据处理后,推送至展示终端后,将处理后的业务处理数据作为新增训练集输入TensorFlow引擎使其对预先训练的数据预测模型进行强化训练,得到强化训练后的数据预测模型。
本实施例中,通过将获取成功的实时业务数据处理后得到的处理数据作为新增训练集输入预先训练的数据预测模型,进行模型强化训练,通过不断优化修正数据预测模型,使预测业务数据无限逼近正常获取的实时业务数据,提高了数据预测模型的准确性。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种业务数据处理装置600,包括:实时数据获取模块602、缓存数据获取模块604、数据预测模块606、数据处理模块608和数据推送模块610,其中:
实时数据获取模块602,用于以预设频率定时从上一业务节点获取实时业务数据。
缓存数据获取模块604,用于当实时业务数据获取失败时,获取缓存的上一时间段获取的实时业务数据。
数据预测模块606,用于根据上一时间段的实时业务数据预测当前时间段的预测业务数据。
数据处理模块608,用于对预测业务数据进行处理,得到当前业务节点的业务处理数据。
数据推送模块610,用于将业务处理数据推送至下一业务节点以在展示终端展示业务情况。
在一个实施例中,缓存数据获取模块604还用于当实时业务数据获取失败时,根据当前时间戳所在时间区间范围,确定预设时间段间隔;根据预设时间段间隔,通过数据缓存点获取缓存的上一时间段获取的实时业务数据。
在一个实施例中,数据预测模块606还用于将当前时间戳和上一时间段的实时业务数据输入预先训练的数据预测模型,得到当前时间段的预测业务数据。
在一个实施例中,数据预测模块606还包括模型训练模块,用于构建初始模型;根据收集到的历史业务数据及其对应的时间戳,得到训练集数据;将训练集数据输入初始模型,测试不同的模型参数,确定模型参数最优值;根据模型参数最优值,得到预先训练的数据预测模型。
在一个实施例中,数据预测模块606还包括模型强化训练模块,用于以预设频率定时从上一业务节点获取实时业务数据;当实时业务数据获取成功时,对实时业务数据进行处理,得到当前业务节点的业务处理数据;将业务处理数据推送至下一节点,并将业务处理数据作为新增训练集数据输入预先训练的数据预测模型进行模型强化训练,得到强化训练后的数据预测模型。
在一个实施例中,数据处理模块608还用于对预测业务数据进行格式转换,得到转换后的预测业务数据;对转换后的预测业务数据进行校验处理,得到满足校验条件的预测业务数据,将满足校验条件的预测业务数据作为当前业务节点的业务处理数据。
在一个实施例中,数据处理模块608还用于对预测业务数据进行汇总处理,得到当前时间段的汇总数据,将汇总数据作为当前业务节点的业务处理数据。
关于业务数据处理装置的具体限定可以参见上文中对于业务数据处理方法的限定,在此不再赘述。上述业务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储实时业务数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种业务数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7-8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
以预设频率定时从上一业务节点获取实时业务数据;
当实时业务数据获取失败时,获取缓存的上一时间段获取的实时业务数据;
根据上一时间段的实时业务数据预测当前时间段的预测业务数据;
对预测业务数据进行处理,得到当前业务节点的业务处理数据;
将业务处理数据推送至下一业务节点以在展示终端展示业务情况。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当实时业务数据获取失败时,根据当前时间戳所在时间区间范围,确定预设时间段间隔;根据预设时间段间隔,通过数据缓存点获取缓存的上一时间段获取的实时业务数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将当前时间戳和上一时间段的实时业务数据输入预先训练的数据预测模型,得到当前时间段的预测业务数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:构建初始模型;根据收集到的历史业务数据及其对应的时间戳,得到训练集数据;将训练集数据输入初始模型,测试不同的模型参数,确定模型参数最优值;根据模型参数最优值,得到预先训练的数据预测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:以预设频率定时从上一业务节点获取实时业务数据;当实时业务数据获取成功时,对实时业务数据进行处理,得到当前业务节点的业务处理数据;将业务处理数据推送至下一节点,并将业务处理数据作为新增训练集数据输入预先训练的数据预测模型进行模型强化训练,得到强化训练后的数据预测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对预测业务数据进行格式转换,得到转换后的预测业务数据;对转换后的预测业务数据进行校验处理,得到满足校验条件的预测业务数据,将满足校验条件的预测业务数据作为当前业务节点的业务处理数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对预测业务数据进行汇总处理,得到当前时间段的汇总数据,将汇总数据作为当前业务节点的业务处理数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
以预设频率定时从上一业务节点获取实时业务数据;
当实时业务数据获取失败时,获取缓存的上一时间段获取的实时业务数据;
根据上一时间段的实时业务数据预测当前时间段的预测业务数据;
对预测业务数据进行处理,得到当前业务节点的业务处理数据;
将业务处理数据推送至下一业务节点以在展示终端展示业务情况。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当实时业务数据获取失败时,根据当前时间戳所在时间区间范围,确定预设时间段间隔;根据预设时间段间隔,通过数据缓存点获取缓存的上一时间段获取的实时业务数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将当前时间戳和上一时间段的实时业务数据输入预先训练的数据预测模型,得到当前时间段的预测业务数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:构建初始模型;根据收集到的历史业务数据及其对应的时间戳,得到训练集数据;将训练集数据输入初始模型,测试不同的模型参数,确定模型参数最优值;根据模型参数最优值,得到预先训练的数据预测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:以预设频率定时从上一业务节点获取实时业务数据;当实时业务数据获取成功时,对实时业务数据进行处理,得到当前业务节点的业务处理数据;将业务处理数据推送至下一节点,并将业务处理数据作为新增训练集数据输入预先训练的数据预测模型进行模型强化训练,得到强化训练后的数据预测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对预测业务数据进行格式转换,得到转换后的预测业务数据;对转换后的预测业务数据进行校验处理,得到满足校验条件的预测业务数据,将满足校验条件的预测业务数据作为当前业务节点的业务处理数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对预测业务数据进行汇总处理,得到当前时间段的汇总数据,将汇总数据作为当前业务节点的业务处理数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种业务数据处理方法,所述方法包括:
以预设频率定时从上一业务节点获取实时业务数据;
当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据;
根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据;
对所述预测业务数据进行处理,得到当前业务节点的业务处理数据;
将所述业务处理数据推送至下一业务节点以在展示终端展示业务情况。
2.根据权利要求1所述的方法,其特征在于,所述当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据,包括:
当所述实时业务数据获取失败时,根据当前时间戳所在时间区间范围,确定预设时间段间隔;
根据所述预设时间段间隔,通过数据缓存点获取缓存的上一时间段获取的所述实时业务数据。
3.根据权利要求2所述的方法,其特征在于,所述根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据,包括:
将所述当前时间戳和上一时间段的所述实时业务数据输入预先训练的数据预测模型,得到当前时间段的预测业务数据。
4.根据权利要求3所述的方法,其特征在于,所述预先训练的数据预测模型的训练过程,包括:
构建初始模型;
根据收集到的历史业务数据及其对应的时间戳,得到训练集数据;
将所述训练集数据输入所述初始模型,测试不同的模型参数,确定模型参数最优值;
根据所述模型参数最优值,得到预先训练的数据预测模型。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
以预设频率定时从上一业务节点获取实时业务数据;
当所述实时业务数据获取成功时,对所述实时业务数据进行处理,得到当前业务节点的业务处理数据;
将所述业务处理数据推送至下一节点,并将所述业务处理数据作为新增训练集数据输入所述预先训练的数据预测模型进行模型强化训练,得到强化训练后的数据预测模型。
6.根据权利要求1所述的方法,其特征在于,所述对所述预测业务数据进行处理,得到当前业务节点的业务处理数据,包括:
对所述预测业务数据进行格式转换,得到转换后的预测业务数据;
对所述转换后的预测业务数据进行校验处理,得到满足校验条件的预测业务数据,将所述满足校验条件的预测业务数据作为当前业务节点的业务处理数据。
7.根据权利要求1所述的方法,其特征在于,所述对所述预测业务数据进行处理,得到当前业务节点的业务处理数据,包括:
对所述预测业务数据进行汇总处理,得到当前时间段的汇总数据,将所述汇总数据作为当前业务节点的业务处理数据。
8.一种业务数据处理装置,其特征在于,所述装置包括:
实时数据获取模块,用于以预设频率定时从上一业务节点获取实时业务数据;
缓存数据获取模块,用于当所述实时业务数据获取失败时,获取缓存的上一时间段获取的所述实时业务数据;
数据预测模块,用于根据上一时间段的所述实时业务数据预测当前时间段的预测业务数据;
数据处理模块,用于对所述预测业务数据进行处理,得到当前业务节点的业务处理数据;
数据推送模块,用于将所述业务处理数据推送至下一业务节点以在展示终端展示业务情况。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010124830.0A CN111311014B (zh) | 2020-02-27 | 2020-02-27 | 业务数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010124830.0A CN111311014B (zh) | 2020-02-27 | 2020-02-27 | 业务数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311014A true CN111311014A (zh) | 2020-06-19 |
CN111311014B CN111311014B (zh) | 2024-04-12 |
Family
ID=71145383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010124830.0A Active CN111311014B (zh) | 2020-02-27 | 2020-02-27 | 业务数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311014B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541635A (zh) * | 2020-12-16 | 2021-03-23 | 平安养老保险股份有限公司 | 业务数据统计预测方法、装置、计算机设备及存储介质 |
CN115984002A (zh) * | 2023-02-22 | 2023-04-18 | 上海信宝博通电子商务有限公司 | 用于车辆交易管理的数据处理方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105653521A (zh) * | 2016-01-15 | 2016-06-08 | 杭州数梦工场科技有限公司 | 数据校验方法和装置 |
CN106293977A (zh) * | 2015-05-15 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据校验方法与设备 |
CN107292649A (zh) * | 2016-04-01 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 业务预测数据校正的方法和装置 |
CN107527091A (zh) * | 2016-10-14 | 2017-12-29 | 腾讯科技(北京)有限公司 | 数据处理方法和装置 |
CN110222176A (zh) * | 2019-05-24 | 2019-09-10 | 苏宁易购集团股份有限公司 | 一种文本数据的清洗方法、系统及可读存储介质 |
CN110334246A (zh) * | 2019-07-08 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 一种数据请求处理方法、装置、终端设备及存储介质 |
CN110457117A (zh) * | 2019-07-05 | 2019-11-15 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-02-27 CN CN202010124830.0A patent/CN111311014B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106293977A (zh) * | 2015-05-15 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据校验方法与设备 |
CN105653521A (zh) * | 2016-01-15 | 2016-06-08 | 杭州数梦工场科技有限公司 | 数据校验方法和装置 |
CN107292649A (zh) * | 2016-04-01 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 业务预测数据校正的方法和装置 |
CN107527091A (zh) * | 2016-10-14 | 2017-12-29 | 腾讯科技(北京)有限公司 | 数据处理方法和装置 |
CN110222176A (zh) * | 2019-05-24 | 2019-09-10 | 苏宁易购集团股份有限公司 | 一种文本数据的清洗方法、系统及可读存储介质 |
CN110457117A (zh) * | 2019-07-05 | 2019-11-15 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN110334246A (zh) * | 2019-07-08 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 一种数据请求处理方法、装置、终端设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541635A (zh) * | 2020-12-16 | 2021-03-23 | 平安养老保险股份有限公司 | 业务数据统计预测方法、装置、计算机设备及存储介质 |
CN115984002A (zh) * | 2023-02-22 | 2023-04-18 | 上海信宝博通电子商务有限公司 | 用于车辆交易管理的数据处理方法和装置 |
CN115984002B (zh) * | 2023-02-22 | 2024-01-16 | 上海信宝博通电子商务有限公司 | 用于车辆交易管理的数据处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111311014B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10210036B2 (en) | Time series metric data modeling and prediction | |
CN110166276B (zh) | 一种帧同步异常的定位方法、装置、终端设备和介质 | |
US8712370B2 (en) | Performance metrics processing for anticipating unavailability | |
EP3231199B1 (en) | Notifications on mobile devices | |
US20200356462A1 (en) | Systems and methods for determining performance metrics of remote relational databases | |
CN111405030B (zh) | 一种消息推送方法、装置、电子设备和存储介质 | |
CN105553770B (zh) | 一种数据采集控制方法和装置 | |
CN111311014A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN113821721A (zh) | 基于用户画像的多渠道消息方法、装置和计算机设备 | |
US11416368B2 (en) | Continuous system service monitoring using real-time short-term and long-term analysis techniques | |
CN112051771B (zh) | 多云数据采集方法、装置、计算机设备和存储介质 | |
CN116756522B (zh) | 概率预报方法、装置、存储介质及电子设备 | |
CN112131093A (zh) | 一种基于混沌测试的测试用例自动生成方法和装置 | |
WO2022068280A1 (zh) | 数据处理方法、装置、设备及存储介质 | |
US11954309B2 (en) | Systems for predicting a terminal event | |
CN104937613A (zh) | 量化数据质量的探试 | |
CN107887033B (zh) | 为终端预传输数据的方法、装置及服务器 | |
CN113609202A (zh) | 数据处理方法及装置 | |
CN113362069A (zh) | 风控模型的动态调整方法、装置、设备及可读存储介质 | |
CN113329128A (zh) | 话务数据预测方法及装置、电子设备、存储介质 | |
CN110619541A (zh) | 应用程序管理方法、装置、计算机设备及存储介质 | |
CN113704063B (zh) | 一种云手机的性能监控方法、装置、设备及存储介质 | |
CN112766698B (zh) | 应用业务压力确定方法及装置 | |
US20230252388A1 (en) | Computerized systems and methods for intelligent listening and survey distribution | |
CN116991752A (zh) | 触发信息生成方法、时序模型生成方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |