CN110968483A - 业务数据采集方法、装置及电子设备 - Google Patents
业务数据采集方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110968483A CN110968483A CN201911330562.1A CN201911330562A CN110968483A CN 110968483 A CN110968483 A CN 110968483A CN 201911330562 A CN201911330562 A CN 201911330562A CN 110968483 A CN110968483 A CN 110968483A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- resource occupation
- target
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013480 data collection Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例公开了一种业务数据采集方法、装置及电子设备,其实质方案是,事先预估各业务的资源占用数据,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略,根据所述业务数据采集策略采集所述至少一个目标业务的业务数。
Description
技术领域
本说明书实施例涉及计算机技术领域,尤其涉及一种业务数据采集方法、装置及电子设备。
背景技术
互联网技术可以为用户提供丰富的业务服务,在此过程中也产生了大量业务数据,业务数据承载了用户需求信息。那么,通过对业务数据进行处理及分析,可以更好地挖掘用户需求信息,为用户提供优质服务。这其中,如何高效采集业务数据成为业界面临的一个课题。
发明内容
有鉴于此,本说明书实施例提供了一种高效的业务数据采集方法、装置及电子设备。
本说明书实施例采用下述技术方案:
本说明书实施例提供一种业务数据采集方法,包括:
预估各业务的资源占用数据;
利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
本说明书实施例还提供一种业务数据采集装置,包括:
预估模块,预估各业务的资源占用数据;
选取模块,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
确定模块,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
采集模块,根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
本说明书实施例还提供一种电子设备,包括:
处理器;以及
被配置成存储计算机程序的存储器,所述计算机程序在被执行时使所述处理器执行以下操作:
预估各业务的资源占用数据;
利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
事先预估各业务的资源占用数据,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略,根据所述业务数据采集策略采集所述至少一个目标业务的业务数。利用本说明书实施例记载的方案,以各业务的资源占用数据作为选取待采集的目标业务的参考指标,还可以确定业务数据采集策略,这不仅可以覆盖到更丰富的业务数据,尤其是一些可能被忽略的长尾数据,还可以实现以业务为单位进行业务数据采集,有助于业务数据的有序集中,因此本方案可以实现业务数据高效采集。
附图说明
此处所说明的附图用来提供对本说明书实施例的进一步理解,构成本说明书实施例的一部分,本说明书的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提出的一种业务数据采集方法的流程图;
图2为本说明书实施例提出的一种业务数据采集方法的一个应用示例的流程图;
图3为本说明书实施例提出的一种业务数据采集方法的一个应用示例的流程图;
图4为本说明书实施例提出的一种业务数据采集方法的一个应用示例的流程图;
图5为本说明书实施例提出的一种业务数据采集装置的结构示意图;
图6为本说明书实施例提出的一种业务数据采集装置的一个应用示例的结构示意图。
具体实施方式
对现有技术进行分析发现,现有一种手段是以系统为单位采集业务数据,基于系统中业务数据总量来采集业务数据。不过,在拆分得到的业务数据呈散列状态,通常会忽略掉一些长尾数据,而这些长尾数据很有可能是有用数据。
本说明书实施例提出一种业务数据采集方法、装置及电子设备,其实质方案是,事先预估各业务的资源占用数据,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略,根据所述业务数据采集策略采集所述至少一个目标业务的业务数。
利用本说明书实施例记载的方案,以各业务的资源占用数据作为选取待采集的目标业务的参考指标,还可以确定业务数据采集策略,这不仅可以覆盖到更丰富的业务数据,尤其是一些可能被忽略的长尾数据,还可以实现以业务为单位进行业务数据采集,有助于业务数据的有序集中,因此本方案可以实现业务数据高效采集。
为使本申请的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提出的一种业务数据采集方法的流程图。
步骤101:预估各业务的资源占用数据。
本说明书实施例记载的资源可以是业务运行依赖的资源,如计算资源、内存资源、传输资源中的一种或多种,在此不作具体限定。
其中,资源占用数据可以表征各业务在一定时期内的资源消耗情况。在这种情况下,预估各业务的资源占用数据在于,预测各业务在当前或未来可期时间段内的业务运行情况,进而据此进行有针对性的业务数据采集,从而在一定程度上覆盖到更丰富的业务数据。
在本说明书实施例中,预估各业务的资源占用数据,可以包括:
获取所述各业务的历史业务数据;
对各业务的历史业务数据进行处理,识别出所述各业务的资源占用数据。
在具体应用中,该历史业务数据可以是历史同期业务数据,如每一天的指定时间段、每个月的指定时间段或以其他每个时间单位内的指定时间段,在此不做具体限定。
具体地,获取所述各业务的历史业务数据,包括:
通过各业务接口的类型确定所述各业务的业务标识;
根据所述各业务的业务标识获取所述历史业务数据。
业务接口用来传输特定类业务的业务数据,那么业务接口的类型即对应具体的业务类型。例如,登录接口、注册接口、支付接口,在此不作具体限定。
其中,可以根据业务标识从数据库中查询对应的历史业务数据。
在本说明书实施例中,预估各业务的资源占用数据,可以包括:
监测各类业务接口的流量数据;
基于所述流量数据确定对应的所述各业务的资源占用数据。
其中,流量数据可以反映各业务接口传输的业务数据流量,流量数据可以表征各类业务数据的数据量,进而能够推测各业务的资源占用数据。
在本说明书实施例中,预估各业务的资源占用数据,可以包括:
每隔指定时间区间,利用所述指定区间内的所述述各业务的业务数据确定所述各业务的资源占用数据。
这样,可以保证每次获取的业务数据均是最新的,能够获得最新的资源占用数据,从而能够按时调节业务数据采集策略。
步骤103:利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务。
预估的各类业务的资源占用数据可以反映业务运行过程中可能产生的业务数据量,具有采集价值。因此,利用预估的资源占用数据选取待采集的目标业务,能够覆盖到更丰富的业务数据,尤其是一些业务数据量较大但可能被忽略的业务。
在本说明书实施例中,预设占用条件可以是按照资源占用数据对各业务按照从大到小进行排名,从中选取排名靠前的业务作为目标业务。具体地,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务,可以包括:
利用预估的所述资源占用数据从所述各业务中选取位于资源占用数据位于预设区间内的至少一个目标业务。其中,预设区间和可以是预设的资源占用数据的数值范围。
还可以是,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务,可以包括:
对所述各业务的资源占用数据按照从大到小进行求和,直到求和得到的数值达到预设值时,根据求和所对应的业务确定至少一个目标业务。
步骤105:利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略。
在本说明书实施例中,业务数据采集策略为对各目标业务的采集规则,具体可以包括如下至少一种:
业务数据采集范围,业务数据采集范围可以包括待采集类型的业务、采集时间区间中的一种或两种;
业务数据采集频率。
步骤107:根据业务数据采集策略采集所述至少一个目标业务的业务数据。
利用本说明书实施例记载的方法,以各业务的资源占用数据作为选取待采集的目标业务的参考指标,还可以确定业务数据采集策略,这不仅可以覆盖到更丰富的业务数据,尤其是一些可能被忽略的长尾数据,还可以实现以业务为单位进行业务数据采集,有助于业务数据的有序集中,因此本方案可以实现业务数据高效采集。
图2为本说明书实施例提出的一种业务数据采集方法的一个应用示例的流程图。
本方法中,步骤202参考上文步骤101的内容,步骤204可以参考上文步骤103的内容,步骤206可以参考上文步骤105的内容,在此不再详述。
步骤208:检测资源空闲数据。
资源空闲数据表征当前的资源消耗信息,检测资源空闲数据的目的在于,不仅可以确保在采集业务数据的同时,不会干涉到正常的业务处理进程,造成系统拥堵,还可以用于动态调整业务数据采集策略。
步骤210:利用检测到的所述资源空闲数据调整所述至少一个目标业务的业务数据采集策略。
具体的一种示例中,可以动态调整采集频率、采集范围等。利用这种动态调整方案可以做到定时不间断地采集业务数据,从而能够做到长时间,无人值守的方式,有效的在大流量背景下工作。
步骤212:根据所述业务数据采集策略采集所述至少一个目标业务的业务数据,其实质是根据调整的业务数据采集策略采集目标业务的业务数据。
利用本说明书实施例记载的方案,可以根据当前资源空闲数据,动态选择业务数据采集策略,提升用户体验。
图3为本说明书实施例提出的一种业务数据采集方法的一个应用示例的流程图。
步骤301可以参考上文步骤101的内容,步骤303可以参考上文步骤103的内容,步骤305可以参考上文步骤105的内容,步骤307可以参考上文步骤107的内容。
步骤309:对采集的所述至少一个目标业务的业务数据进行数据清洗。
数据清洗的目的在于清理掉无用数据,保留有用数据,实现释放资源的目的。具体地,数据清洗包括数据降噪,数据归并,形成有用数据。
图4为本说明书实施例提出的一种业务数据采集方法的一个应用示例的流程图。
步骤402:检测各类业务接口的流量数据。
具体地,可以采用流量录制手段检测各类业务接口的流量数据,同时通过检测各类业务接口的流量数据,实质是检测检测各类业务数据的流量数据。
步骤404:根据所述流量数据预估对应的各业务的资源占用数据。
步骤406:根据资源占用数据选取至少一个目标业务。
步骤408:根据资源占用数据确定对该目标业务的业务数据采集策略。
步骤410:利用数据采集策略采集所述目标业务的业务数据;
步骤412:对采集的业务数据进行数据清洗。
步骤414:将清洗后的业务数据存入用例库;并
返回步骤402。
图5为本说明书实施例提出的一种业务数据采集装置的结构示意图。
本装置可以包括:
预估模块501,预估各业务的资源占用数据;
选取模块502,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
确定模块503,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
采集模块504,根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
可选地,预估各业务的资源占用数据,包括:
获取所述各业务的历史业务数据;
对所述各业务的历史业务数据进行处理,识别出所述各业务的资源占用数据。
可选地,获取所述各业务的历史业务数据,包括:
通过各业务接口的类型确定所述各业务的业务标识;
根据所述各业务的业务标识获取所述历史业务数据。
可选地,预估各业务的资源占用数据,包括:
监测各类业务接口的流量数据;
基于所述流量数据预估对应的所述各业务的资源占用数据。
可选地,预估各业务的资源占用数据,包括:
每隔指定时间区间,利用所述指定区间内的所述述各业务的业务数据确定所述各业务的资源占用数据。
利用本说明书实施例提出的装置,可以以各业务的资源占用数据作为选取待采集的目标业务的参考指标,还可以确定业务数据采集策略,这不仅可以覆盖到更丰富的业务数据,尤其是一些可能被忽略的长尾数据,还可以实现以业务为单位进行业务数据采集,有助于业务数据的有序集中,因此本方案可以实现业务数据高效采集。
基于同一个发明构思,本说明书实施例还提供了一种电子设备,包括:
处理器;以及
被配置成存储计算机程序的存储器,所述计算机程序在被执行时使所述处理器执行以下操作:
预估各业务的资源占用数据;
利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
基于同一发明构思,本说明书实施例中还提供了一种计算机可读存储介质,包括与电子设备结合使用计算机程序,所述计算机程序可被处理器执行以完成以下步骤:
预估各业务的资源占用数据;
利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
图6为本说明书实施例提出的一种业务数据采集装置的结构示意图。
本装置可以包括:
预估模块601,预估各业务的资源占用数据;
选取模块602,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
确定模块603,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
检测模块604,在根据所述业务数据采集策略采集所述至少一个目标业务的业务数据之前,检测资源空闲数据;
调整模块605,利用检测到的所述资源空闲数据调整所述至少一个目标业务的业务数据采集策略;
采集模块606,根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (14)
1.一种业务数据采集方法,包括:
预估各业务的资源占用数据;
利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
2.如权利要求1所述的方法,预估各业务的资源占用数据,包括:
获取所述各业务的历史业务数据;
对所述各业务的历史业务数据进行处理,识别出所述各业务的资源占用数据。
3.如权利要求2所述的方法,获取所述各业务的历史业务数据,包括:
通过各业务接口的类型确定所述各业务的业务标识;
根据所述各业务的业务标识获取所述历史业务数据。
4.如权利要求1所述的方法,预估各业务的资源占用数据,包括:
监测各类业务接口的流量数据;
基于所述流量数据预估对应的所述各业务的资源占用数据。
5.如权利要求1所述的方法,预估各业务的资源占用数据,包括:
每隔指定时间区间,利用所述指定区间内的所述述各业务的业务数据预估所述各业务的资源占用数据。
6.如权利要求1所述的方法,在根据所述业务数据采集策略采集所述至少一个目标业务的业务数据之前,还包括:
检测资源空闲数据;
利用检测到的所述资源空闲数据调整所述至少一个目标业务的业务数据采集策略。
7.如权利要求1所述的方法,还包括:
对采集的所述至少一个目标业务的业务数据进行数据清洗。
8.一种业务数据采集装置,包括:
预估模块,预估各业务的资源占用数据;
选取模块,利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
确定模块,利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
采集模块,根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
9.如权利要求8所述的装置,预估各业务的资源占用数据,包括:
获取所述各业务的历史业务数据;
对所述各业务的历史业务数据进行处理,识别出所述各业务的资源占用数据。
10.如权利要求9所述的装置,获取所述各业务的历史业务数据,包括:
通过各业务接口的类型确定所述各业务的业务标识;
根据所述各业务的业务标识获取所述历史业务数据。
11.如权利要求8所述的装置,预估各业务的资源占用数据,包括:
监测各类业务接口的流量数据;
基于所述流量数据预估对应的所述各业务的资源占用数据。
12.如权利要求8所述的装置,预估各业务的资源占用数据,包括:
每隔指定时间区间,利用所述指定区间内的所述述各业务的业务数据确定所述各业务的资源占用数据。
13.如权利要求8所述的装置,还包括:
检测模块,在根据所述业务数据采集策略采集所述至少一个目标业务的业务数据之前,检测资源空闲数据;
调整模块,利用检测到的所述资源空闲数据调整所述至少一个目标业务的业务数据采集策略。
14.一种电子设备,包括:
处理器;以及
被配置成存储计算机程序的存储器,所述计算机程序在被执行时使所述处理器执行以下操作:
预估各业务的资源占用数据;
利用预估的所述资源占用数据从所述各业务中选取资源占用数据达到预设占用条件的至少一个目标业务;
利用预估的所述至少一个目标业务的所述资源占用数据确定所述至少一个目标业务的业务数据采集策略;
根据所述业务数据采集策略采集所述至少一个目标业务的业务数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911330562.1A CN110968483B (zh) | 2019-12-20 | 2019-12-20 | 业务数据采集方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911330562.1A CN110968483B (zh) | 2019-12-20 | 2019-12-20 | 业务数据采集方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110968483A true CN110968483A (zh) | 2020-04-07 |
CN110968483B CN110968483B (zh) | 2023-08-11 |
Family
ID=70035633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911330562.1A Active CN110968483B (zh) | 2019-12-20 | 2019-12-20 | 业务数据采集方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110968483B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680203A (zh) * | 2020-05-07 | 2020-09-18 | 支付宝(杭州)信息技术有限公司 | 数据采集方法、装置和电子设备 |
CN112637085A (zh) * | 2020-12-08 | 2021-04-09 | 广州品唯软件有限公司 | 流量录制方法、装置、计算机设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06242998A (ja) * | 1993-02-19 | 1994-09-02 | Nec Software Ltd | 性能データ採取方式 |
US20160226910A1 (en) * | 2015-01-30 | 2016-08-04 | Ca, Inc. | Seeding of mobile application management policies |
CN107633015A (zh) * | 2017-08-23 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及设备 |
CN108446395A (zh) * | 2018-03-26 | 2018-08-24 | 北京神州泰岳软件股份有限公司 | 一种基于大数据的警务信息处理方法及系统 |
CN108924221A (zh) * | 2018-06-29 | 2018-11-30 | 华为技术有限公司 | 分配资源的方法和装置 |
CN109672579A (zh) * | 2017-10-16 | 2019-04-23 | 蔚来汽车有限公司 | 终端设备监测数据采集策略优化方法及装置 |
CN109697124A (zh) * | 2018-12-12 | 2019-04-30 | 深圳店匠科技有限公司 | 高并发电商网站的网页数据采集方法、系统和介质 |
CN109981744A (zh) * | 2019-02-28 | 2019-07-05 | 东软集团股份有限公司 | 数据的分发方法、装置、存储介质及电子设备 |
-
2019
- 2019-12-20 CN CN201911330562.1A patent/CN110968483B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06242998A (ja) * | 1993-02-19 | 1994-09-02 | Nec Software Ltd | 性能データ採取方式 |
US20160226910A1 (en) * | 2015-01-30 | 2016-08-04 | Ca, Inc. | Seeding of mobile application management policies |
CN107633015A (zh) * | 2017-08-23 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及设备 |
CN109672579A (zh) * | 2017-10-16 | 2019-04-23 | 蔚来汽车有限公司 | 终端设备监测数据采集策略优化方法及装置 |
CN108446395A (zh) * | 2018-03-26 | 2018-08-24 | 北京神州泰岳软件股份有限公司 | 一种基于大数据的警务信息处理方法及系统 |
CN108924221A (zh) * | 2018-06-29 | 2018-11-30 | 华为技术有限公司 | 分配资源的方法和装置 |
CN109697124A (zh) * | 2018-12-12 | 2019-04-30 | 深圳店匠科技有限公司 | 高并发电商网站的网页数据采集方法、系统和介质 |
CN109981744A (zh) * | 2019-02-28 | 2019-07-05 | 东软集团股份有限公司 | 数据的分发方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
SARAH FALLMANN; ISMINI PSYCHOULA; LIMING CHEN; FENG CHEN; JULIE DOYLE; DARPAN TRIBOAN: "Reality and perception: Activity monitoring and data collection within a real-world smart home" * |
李燕霞: "电力应急通信专网分布式数据采集系统的设计与实现" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680203A (zh) * | 2020-05-07 | 2020-09-18 | 支付宝(杭州)信息技术有限公司 | 数据采集方法、装置和电子设备 |
CN111680203B (zh) * | 2020-05-07 | 2023-04-18 | 支付宝(杭州)信息技术有限公司 | 数据采集方法、装置和电子设备 |
CN112637085A (zh) * | 2020-12-08 | 2021-04-09 | 广州品唯软件有限公司 | 流量录制方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110968483B (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6716149B2 (ja) | ブロックチェーンベースのデータ処理方法および装置 | |
US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
CN108243032B (zh) | 一种服务等级信息的获取方法、装置及设备 | |
CN108427737B (zh) | 一种数据清理方法、设备及计算机可读介质 | |
CN109582470B (zh) | 一种数据处理方法及数据处理装置 | |
CN117010571A (zh) | 一种业务量的预测方法、装置及设备 | |
CN111324533B (zh) | A/b测试方法、装置及电子设备 | |
CN110968483B (zh) | 业务数据采集方法、装置及电子设备 | |
US20190295136A1 (en) | Method and device for releasing evaluation information | |
CN111782409B (zh) | 任务处理、风险识别任务处理方法、装置及电子设备 | |
CN112596898A (zh) | 一种任务执行器调度的方法及装置 | |
CN113760658A (zh) | 一种监控方法、装置及设备 | |
CN111753328B (zh) | 隐私数据的泄露风险检测方法及系统 | |
CN116822606A (zh) | 一种异常检测模型的训练方法、装置、设备及存储介质 | |
CN110825943B (zh) | 一种生成用户访问路径树数据的方法、系统及设备 | |
CN108769152B (zh) | 服务刷新策略注册、服务刷新请求方法、装置以及设备 | |
CN111625721B (zh) | 内容推荐方法及装置 | |
CN111026458B (zh) | 一种应用程序退出时间设置方法及装置 | |
CN108628615B (zh) | 一种废弃代码检测方法、装置以及设备 | |
CN113344590A (zh) | 一种模型训练以及投诉率预估的方法及装置 | |
CN112182454A (zh) | 一种网页优化的方法、装置及存储介质、电子设备 | |
CN109426540B (zh) | 元素的点击情况检测方法和装置、存储介质、处理器 | |
US10402226B2 (en) | Media analysis and processing framework on a resource restricted device | |
CN117348999B (zh) | 一种业务执行系统及业务执行方法 | |
CN110502551A (zh) | 数据读写方法、系统及架构组件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240228 Address after: 128 Meizhi Road, Guohao Times City # 20-01, Singapore 189773 Patentee after: Advanced Nova Technology (Singapore) Holdings Ltd. Country or region after: Singapore Address before: 45-01 Anson Building, 8 Shanton Avenue, Singapore Patentee before: Alipay laboratories (Singapore) Ltd. Country or region before: Singapore |