CN109672590A - 数据采集方法、装置、设备及计算机可读存储介质 - Google Patents

数据采集方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109672590A
CN109672590A CN201910025766.8A CN201910025766A CN109672590A CN 109672590 A CN109672590 A CN 109672590A CN 201910025766 A CN201910025766 A CN 201910025766A CN 109672590 A CN109672590 A CN 109672590A
Authority
CN
China
Prior art keywords
time
data acquisition
service data
business datum
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910025766.8A
Other languages
English (en)
Inventor
刘克亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910025766.8A priority Critical patent/CN109672590A/zh
Publication of CN109672590A publication Critical patent/CN109672590A/zh
Priority to PCT/CN2019/116739 priority patent/WO2020143296A1/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/12Network monitoring probes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/067Generation of reports using time frame reporting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services

Abstract

本发明属于大数据技术领域,公开了一种数据采集方法,包括:当检测到业务数据采集指令时,获取上一次业务数据采集的时间;将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。本发明还公开了一种数据采集装置、设备及计算机可读存储介质。本发明提出的数据采集方法,在确定存在漏采集的业务数据时,将当前时间与上一次业务数据采集时间之间对应的业务数据进行一次性采集,避免业务数据漏采,也避免业务人员进行多次采集,提高了业务数据采集的效率。

Description

数据采集方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及大数据技术领域,尤其涉及一种数据采集方法、装置、设备及计算机可读存储介质。
背景技术
上游系统将每天的业务数据推送至下游系统,以供下游系统根据该业务数据开展相应的业务工作,因此,当业务人员上线时,即可采集当天的业务数据。但是,如果遇上节假日或业务人员出差,则该间隔时间段内的业务数据都未能进行采集,当业务人员再次上线时,由于下游系统中只提供当天的业务数据采集,则会导致业务数据采集出现遗漏,从而导致业务人员的工作出现差错。
发明内容
本发明的主要目的在于提供一种数据采集方法、装置、设备及计算机可读存储介质,旨在解决现有的业务数据采集中容易出现数据漏采集的技术问题。
为实现上述目的,本发明提供一种数据采集方法,所述数据采集方法包括:
当检测到业务数据采集指令时,获取上一次业务数据采集的时间;
将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;
若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。
可选地,所述当检测到业务数据采集指令时,获取上一次业务数据采集的时间的步骤之前,还包括:
建立业务数据采集记录表,其中,所述业务数据采集记录表中记载业务数据采集的时间;
其中,所述当检测到业务数据采集指令时,获取上一次业务数据采集的时间的步骤包括:
当检测到业务数据采集指令时,获取所述业务数据采集记录表,并基于所述业务数据采集记录表查询上一次业务数据采集的时间。
可选地,所述将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件的步骤包括:
将所述上一次业务数据采集的时间与当前时间进行比较,判断所述上一次业务数据采集的时间与当前时间的时间差是否大于一天;
若所述上一次业务数据采集的时间与当前时间的时间差大于一天,则判定所述当前时间符合业务数据漏采集的条件。
可选地,所述基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据的步骤包括:
基于所述上一次业务数据采集的时间与当前时间确定业务数据漏采集的时间,并获取所述业务数据漏采集的时间对应的漏采集业务数据;
确定所述当前时间对应的当前业务数据,并采集所述漏采集业务数据和所述当前业务数据。
可选地,所述将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件的步骤之后,还包括:
若所述上一次业务数据采集的时间与当前时间的时间差小于或等于一天,则确定所述当前时间对应的当前业务数据,并采集所述当前业务数据。
可选地,所述若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据的步骤之后,还包括:
获取上游系统的数据更新记录,并判断所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据是否一致;
若不一致,则判定上游系统存在业务数据漏推送,并基于所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据,确定漏推送的业务数据,以便上游系统推送所述漏推送的业务数据。
可选地,所述确定所述当前时间对应的当前业务数据,并采集所述漏采集业务数据和所述当前业务数据的步骤之后,还包括:
将所述漏采集业务数据和所述当前业务数据分配至不同的业务员系统中,以便开展相应的业务工作。
此外,为实现上述目的,本发明还提供一种数据采集装置,所述数据采集装置包括:
时间获取模块,用于当检测到业务数据采集指令时,获取上一次业务数据采集的时间;
时间判断模块,用于将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;
数据采集模块,用于若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。
此外,为实现上述目的,本发明还提供一种数据采集设备,所述数据采集设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序,所述数据采集程序被所述处理器执行时实现如上所述的数据采集方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据采集程序,所述数据采集程序被处理器执行时实现如上所述的数据采集方法的步骤。
本发明提出的一种数据采集方法,当检测到业务数据采集指令时,首先获取上一次业务数据采集的时间,并将获取的上一次业务数据采集的时间与当前时间进行比较,以判断当前时间是否符合业务数据漏采集的条件,若满足,即可基于上一次业务数据采集的时间和当前时间确定本次待采集的业务数据,以便对待采集的业务数据进行采集。本发明提出的数据采集方法,通过将上一次业务数据采集的时间与当前时间进行比较,判断两个时间段之间是否存在漏采集的业务数据,从而在确定存在漏采集的业务数据时,将当前时间与上一次业务数据采集时间之间对应的业务数据进行一次性采集,避免业务数据漏采,也避免业务人员进行多次采集,提高了业务数据采集的效率。
附图说明
图1为本发明实施例方案中涉及的数据采集设备的硬件结构示意图;
图2为本发明数据采集方法第一实施例的流程示意图;
图3为图2中的步骤S20的细化流程示意图;
图4为本发明数据采集方法第二实施例的流程示意图;
图5为本发明数据采集装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:当检测到业务数据采集指令时,获取上一次业务数据采集的时间;将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。通过本发明实施例的技术方案,解决了现有的业务数据采集中容易出现数据漏采集的技术问题。
如图1所示,图1为本发明实施例方案中涉及的数据采集设备的硬件结构示意图。
本发明实施例涉及的数据采集方法主要应用于数据采集设备,该数据采集设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
如图1所示,该数据采集设备可以包括:处理器1001,例如CPU,通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,数据采集设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、Wi-Fi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。当然,数据采集设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的数据采集设备结构并不构成对数据采集设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据采集程序。在图1中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001、存储器1005可以设置在数据采集装置中,所述数据采集装置通过处理器1001调用存储器1005中存储的数据采集程序,并执行本发明实施例提供的数据采集方法。
本实施例提供的方案,当检测到业务数据采集指令时,首先获取上一次业务数据采集的时间,并将获取的上一次业务数据采集的时间与当前时间进行比较,以判断当前时间是否符合业务数据漏采集的条件,若满足,即可基于上一次业务数据采集的时间和当前时间确定本次待采集的业务数据,以便对待采集的业务数据进行采集。本发明提出的数据采集方法,通过将上一次业务数据采集的时间与当前时间进行比较,判断两个时间段之间是否存在漏采集的业务数据,从而在确定存在漏采集的业务数据时,将当前时间与上一次业务数据采集时间之间对应的业务数据进行一次性采集,避免业务数据漏采,也避免业务人员进行多次采集,提高了业务数据采集的效率。
基于上述硬件结构,提出本发明数据采集方法实施例。
参照图2,图2为本发明数据采集方法第一实施例的流程示意图,在该实施例中,所述方法包括:
步骤S10,当检测到业务数据采集指令时,获取上一次业务数据采集的时间;
为了避免出现业务数据漏采集的情况,本发明提出了一种数据采集方法,通过对上一次业务数据采集的时间与当前时间进行比较,判断是否出现数据漏采集,以及当判断出现数据漏采集时,对漏采集的数据以及当前数据进行采集。其中,上一次业务数据采集的时间是指距离检测到业务数据采集指令的时间最近的业务数据采集时间。
具体地,上游系统每天都会产生新的业务数据或是旧业务数据对应的更新数据,这些数据都是上游系统产生的上游业务数据,都需要及时地推送至下游系统,以供下游系统根据上游业务数据对下游系统的业务数据进行更新,并分配给不同的业务员使用,开展相应的业务工作。具体地,业务数据中可以包括帐户、客户、债项、交易信息、地址、电话信息等数据信息。
进一步地,将下游系统中的业务数据分配至不同的业务员,下游系统的业务人员每天登陆系统后进行当天工作所需的业务数据的采集,具体地,在步骤S10之前,还应包括:
步骤a,建立业务数据采集记录表,其中,所述业务数据采集记录表中记载业务数据采集的时间。
对于下游系统的业务数据采集而言,每一次进行业务数据采集时,均需要记录对应的业务数据采集时间,可以理解的是,上游系统每天推送业务数据至下游系统,因此,下游系统中的业务数据也是每天采集一次,为了准确地记录业务人员每天采集业务数据的动作,可以通过建立业务数据采集记录表,在表中记录每次业务人员进行业务数据采集的时间。例如,业务人员进行业务数据采集的时间可以是在每天上班之后,在业务数据采集记录表中可以具体记录到时刻,例如上午9点15分,当然,业务数据采集记录表中所记录的采集时间均对应有日期,如10月12日。
可以理解的是,上游系统每天都推送相应的业务数据信息至下游系统,当业务数据被推送至下游系统后,由下游的业务人员登录系统后下载相应的业务数据,因此,在下游系统中,上游系统每一次推送的业务数据均对应有推送记录,包括推送时间、数据大小等,这些数据同样可以对应地记录在业务数据采集记录表中。同样地,该业务数据还对应有相应的业务数据采集时间,所以,当业务数据存在有对应的数据采集时间时,才可以视为该业务数据已经被分配至相应的业务人员使用。
步骤S20,将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否满足业务数据漏采集的条件;若是,则执行步骤S30;
当通过业务数据采集记录表获取业务人员上一次进行数据采集的时间后,将其与当前时间进行比较,以判断当前时间是否符合业务数据漏采集的条件,具体地,在本实施例中,如图3所示,所述步骤S20具体包括:
步骤S21,将所述上一次业务数据采集的时间与当前时间进行比较,判断所述上一次业务数据采集的时间与当前时间的时间差是否大于一天;
在本实施例中,判断当前时间是否符合业务数据漏采集的条件具体指的是判断上一次业务数据采集的时间与当前时间的时间差是否大于一天,也就是判断两次业务数据采集之间是否存在超过一天及以上的未采集业务数据的情况,例如,通过查询业务数据采集记录表,确定上一次进行业务数据采集的时间为9月12日,而当前检测到业务数据采集指令的时间为9月14日,二者的时间差大于一天,则表明9月13日未进行业务数据的采集。
可以理解的是,在本实施例中,业务数据采集时间的时间差计算是基于日期来确定的,例如上述举例中所说的9月12日和9月14日,则表明两次数据采集之间存在9月13日的业务数据漏采集的情况,若上一次进行业务数据采集的时间为9月12日,而当前检测到业务数据采集指令的时间为9月13日,则表明两次数据采集之间不存在漏采集的情况,是正常的数据连续采集。
步骤S22,若所述上一次业务数据采集的时间与当前时间的时间差大于一天,则判定所述当前时间符合业务数据漏采集的条件。
如果上一次业务数据采集的时间与当前时间的时间差大于一天,则可能是存在节假日或者是业务人员未上班的情况,表明该时间段的业务数据还未采集,即存在数据漏采集。
步骤S30,基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。
进一步地,当确定上一次业务数据采集的时间与当前时间的时间差大于一天之后,基于上一次业务数据采集的时间与当前时间确定业务数据漏采集的时间,再确定该业务数据漏采集的时间所对应的漏采集业务数据。
具体地,在本实施例中,上游系统每天推送至下游系统的业务数据,在业务人员未进行业务数据采集之前,均存储至下游系统中的相应数据库中,可以理解的是,存储至数据库中的业务数据带有时间标签,表征该业务数据从上游系统推送出来的时间或者是在下游系统中应该被进行业务数据采集的时间。因此,当确定数据漏采集所对应的时间信息后,即可确定漏采集时间内所对应的漏采集的业务数据。
进一步地,对漏采集的业务数据和本次业务数据采集指令所对应的当次业务数据进行一次性采集,提高业务数据采集的效率,防止出现业务数据漏采的情况。
可以理解的是,在本实施例的另一实施方式中,还可以通过采取定时任务的方式进行业务数据的采集。首先,当到达定时任务所设定的时间点时,即可视为接收到业务数据采集指令,即获取上一次业务数据采集的时间,并判断上一次业务数据采集的时间与当前时间的时间差是否大于一天,若是,则表明业务数据未被采集。因此,在该实施方式中,可以在当天的定时任务开启且检测到存在业务数据未被采集的情况时,删除数据库中前一天未采集的业务数据,并将前一天未采集的业务数据和当天待采集的业务数据,合并成一个业务数据,存储至数据库中,以供业务人员进行采集。同样地,若第二天业务人员还未进行业务数据的采集,在第三天的定时任务开启时,删除包含第一天和第二天的业务数据,将这三天的业务数据采集出来生成一个新的业务数据,当业务人员上线进行业务数据采集时,只需要进行一次业务数据采集操作,但采集的业务数据中包含多天的交易数据,提高了数据下载的效率。
进一步地,因为业务数据中可以包括帐户、客户、债项、交易信息、地址、电话信息等数据信息,因此,当进行漏采集的时间内的业务数据的一次性采集时,为了进一步地提高数据下载的效率和提高业务人员的工作效率,可以对数据进行分类后再进行下载。例如,对该漏采集时间段内生成的业务数据根据账户或客户进行分类,将同一个客户或账户的交易数据信息分类至同一个业务数据中,即可直接将该业务数据分配至负责该客户或账户的业务人员,提高了业务人员的工作效率。
在本实施例中,当检测到业务数据采集指令时,首先获取上一次业务数据采集的时间,并将获取的上一次业务数据采集的时间与当前时间进行比较,以判断当前时间是否符合业务数据漏采集的条件,若满足,即可基于上一次业务数据采集的时间和当前时间确定本次待采集的业务数据,以便对待采集的业务数据进行采集。本发明提出的数据采集方法,通过将上一次业务数据采集的时间与当前时间进行比较,判断两个时间段之间是否存在漏采集的业务数据,从而在确定存在漏采集的业务数据时,将当前时间与上一次业务数据采集时间之间对应的业务数据进行一次性采集,避免业务数据漏采,也避免业务人员进行多次采集,提高了业务数据采集的效率。
进一步的,参照图4,基于上述实施例,提出本发明数据采集方法第二实施例,在本实施例中,所述步骤S30之后还包括:
步骤S40,获取上游系统的数据更新记录,并判断所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据是否一致;若否,则执行步骤S50;
通过对上一次业务数据采集时间与当前时间进行比较,确定是否存在漏采集业务数据的情况,以便进行业务数据的一次性采集,进一步地,在本实施例中,还可以实现对上、下游数据的监控,防止出现上游系统数据更新后未及时推送到下游系统的情况。
具体地,当完成对漏采集数据和本次数据的采集之后,获取上游系统的数据更新记录,该数据更新记录中包括了产生的新业务数据或是旧业务数据对应的更新数据,该数据更新记录中的业务数据应当被全部推送至下游系统以供下游系统的业务开展,因此,通过对上游系统的数据更新记录和下游系统采集的业务数据进行比较,判断二者是否一致,即可确定上游系统是否存在数据推送不及时的问题。
可以理解的是,在本实施例中,获取的上游系统数据更新记录中的业务数据和下游系统所采集的业务数据,可以是指当前时间之前所有的上游业务数据和下游业务数据,也可以是指预设时间段内的两端数据,在实际应用中,可以是指当前时间之前的预设时间段内的业务数据,如1个月或100天。
步骤S50,判定上游系统存在业务数据漏推送,并基于所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据,确定漏推送的业务数据,以便上游系统推送所述漏推送的业务数据。
进一步地,将获取的上游业务数据和下游业务数据进行比较,判断二者之间是否存在不同,具体地,是判断下游业务数据中是否存在漏采的数据,即该数据只在上游业务数据中,而不在下游业务数据中。例如,上游业务数据的更新数据中显示某客户存在还款交易,而下游业务数据中不存在该客户的还款交易数据,则表明下游系统存在数据漏采。则将上游业务数据中比下游业务数据多出的数据作为漏采数据,重新采集至下游业务数据中,以实现下游业务数据的更新,便于下游业务的开展。
在本实施例中,通过对上游系统所产生的业务数据和上游系统推送至下游系统并被下游系统所采集的业务数据进行比较,判断上游系统是否存在业务数据漏推送的情况,并确定漏推送的业务数据,以便下游系统采集该漏推送的业务数据,方便下游业务的开展。
此外,本发明实施例还提供一种数据采集装置。
参照图5,图5为本发明数据采集装置第一实施例的功能模块示意图。
本实施例中,所述数据采集装置包括:
时间获取模块10,用于当检测到业务数据采集指令时,获取上一次业务数据采集的时间;
时间判断模块20,用于将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;
数据采集模块30,用于若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。
进一步地,所述数据采集装置还包括:
记录表建立单元,用于建立业务数据采集记录表,其中,所述业务数据采集记录表中记载业务数据采集的时间;
其中,所述时间获取模块10具体包括:
时间查询单元,用于当检测到业务数据采集指令时,获取所述业务数据采集记录表,并基于所述业务数据采集记录表查询上一次业务数据采集的时间。
进一步地,所述时间判断模块20具体包括:
时间差判断单元,用于将所述上一次业务数据采集的时间与当前时间进行比较,判断所述上一次业务数据采集的时间与当前时间的时间差是否大于一天;
条件判断单元,用于若所述上一次业务数据采集的时间与当前时间的时间差大于一天,则判定所述当前时间符合业务数据漏采集的条件。
进一步地,所述数据采集模块30具体包括:
业务数据确定单元,用于基于所述上一次业务数据采集的时间与当前时间确定业务数据漏采集的时间,并获取所述业务数据漏采集的时间对应的漏采集业务数据;
业务数据采集单元,用于确定所述当前时间对应的当前业务数据,并采集所述漏采集业务数据和所述当前业务数据。
进一步地,所述数据采集装置还包括:
数据正常采集单元,用于若所述上一次业务数据采集的时间与当前时间的时间差小于或等于一天,则确定所述当前时间对应的当前业务数据,并采集所述当前业务数据。
进一步地,所述数据采集装置还包括:
业务数据比较单元,用于获取上游系统的数据更新记录,并判断所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据是否一致;
漏推送数据确定单元,用于若不一致,则判定上游系统存在业务数据漏推送,并基于所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据,确定漏推送的业务数据,以便上游系统推送所述漏推送的业务数据。
进一步地,所述数据采集装置还包括:
业务数据分配单元,用于将所述漏采集业务数据和所述当前业务数据分配至不同的业务员系统中,以便开展相应的业务工作。
其中,上述数据采集装置中各个模块与上述数据采集方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有数据采集程序,所述数据采集程序被处理器执行时实现如上所述的数据采集方法的步骤。
其中,数据采集程序被执行时所实现的方法可参照本发明数据采集方法的各个实施例,此处不再赘述。
本实施例提供的方案,当检测到业务数据采集指令时,首先获取上一次业务数据采集的时间,并将获取的上一次业务数据采集的时间与当前时间进行比较,以判断当前时间是否符合业务数据漏采集的条件,若满足,即可基于上一次业务数据采集的时间和当前时间确定本次待采集的业务数据,以便对待采集的业务数据进行采集。本发明提出的数据采集方法,通过将上一次业务数据采集的时间与当前时间进行比较,判断两个时间段之间是否存在漏采集的业务数据,从而在确定存在漏采集的业务数据时,将当前时间与上一次业务数据采集时间之间对应的业务数据进行一次性采集,避免业务数据漏采,也避免业务人员进行多次采集,提高了业务数据采集的效率。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据采集方法,其特征在于,所述数据采集方法包括以下步骤:
当检测到业务数据采集指令时,获取上一次业务数据采集的时间;
将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;
若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。
2.如权利要求1所述的数据采集方法,其特征在于,所述当检测到业务数据采集指令时,获取上一次业务数据采集的时间的步骤之前,还包括:
建立业务数据采集记录表,其中,所述业务数据采集记录表中记载业务数据采集的时间;
其中,所述当检测到业务数据采集指令时,获取上一次业务数据采集的时间的步骤包括:
当检测到业务数据采集指令时,获取所述业务数据采集记录表,并基于所述业务数据采集记录表查询上一次业务数据采集的时间。
3.如权利要求2所述的数据采集方法,其特征在于,所述将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件的步骤包括:
将所述上一次业务数据采集的时间与当前时间进行比较,判断所述上一次业务数据采集的时间与当前时间的时间差是否大于一天;
若所述上一次业务数据采集的时间与当前时间的时间差大于一天,则判定所述当前时间符合业务数据漏采集的条件。
4.如权利要求3所述的数据采集方法,其特征在于,所述基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据的步骤包括:
基于所述上一次业务数据采集的时间与当前时间确定业务数据漏采集的时间,并获取所述业务数据漏采集的时间对应的漏采集业务数据;
确定所述当前时间对应的当前业务数据,并采集所述漏采集业务数据和所述当前业务数据。
5.如权利要求4所述的数据采集方法,其特征在于,所述将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件的步骤之后,还包括:
若所述上一次业务数据采集的时间与当前时间的时间差小于或等于一天,则确定所述当前时间对应的当前业务数据,并采集所述当前业务数据。
6.如权利要求1-5中任一项所述的数据采集方法,其特征在于,所述若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据的步骤之后,还包括:
获取上游系统的数据更新记录,并判断所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据是否一致;
若不一致,则判定上游系统存在业务数据漏推送,并基于所述数据更新记录中的业务数据与所述业务数据采集记录表中的业务数据,确定漏推送的业务数据,以便上游系统推送所述漏推送的业务数据。
7.如权利要求4所述的数据采集方法,其特征在于,所述确定所述当前时间对应的当前业务数据,并采集所述漏采集业务数据和所述当前业务数据的步骤之后,还包括:
将所述漏采集业务数据和所述当前业务数据分配至不同的业务员系统中,以便开展相应的业务工作。
8.一种数据采集装置,其特征在于,所述数据采集装置包括:
时间获取模块,用于当检测到业务数据采集指令时,获取上一次业务数据采集的时间;
时间判断模块,用于将所述上一次业务数据采集的时间与当前时间进行比较,判断所述当前时间是否符合业务数据漏采集的条件;
数据采集模块,用于若是,则基于所述上一次业务数据采集的时间和所述当前时间确定待采集的业务数据,并采集所述待采集的业务数据。
9.一种数据采集设备,其特征在于,所述数据采集设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序,所述数据采集程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据采集方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据采集程序,所述数据采集程序被处理器执行时实现如权利要求1至7中任一项所述的数据采集方法的步骤。
CN201910025766.8A 2019-01-10 2019-01-10 数据采集方法、装置、设备及计算机可读存储介质 Pending CN109672590A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910025766.8A CN109672590A (zh) 2019-01-10 2019-01-10 数据采集方法、装置、设备及计算机可读存储介质
PCT/CN2019/116739 WO2020143296A1 (zh) 2019-01-10 2019-11-08 数据采集方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910025766.8A CN109672590A (zh) 2019-01-10 2019-01-10 数据采集方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109672590A true CN109672590A (zh) 2019-04-23

Family

ID=66149426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910025766.8A Pending CN109672590A (zh) 2019-01-10 2019-01-10 数据采集方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109672590A (zh)
WO (1) WO2020143296A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020143296A1 (zh) * 2019-01-10 2020-07-16 平安科技(深圳)有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN114500315A (zh) * 2021-12-31 2022-05-13 深圳云天励飞技术股份有限公司 设备状态监控方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124128A1 (ja) * 2011-03-15 2012-09-20 オムロン株式会社 情報処理装置、センサシステム、プログラム及び記録媒体
CN105743815A (zh) * 2016-04-06 2016-07-06 腾讯科技(深圳)有限公司 抖动缓冲数据处理的方法和装置
CN105893529A (zh) * 2016-03-30 2016-08-24 乐视控股(北京)有限公司 一种数据采集方法以及etl组件
CN106161593A (zh) * 2016-06-21 2016-11-23 北京奇虎科技有限公司 消息轮询方法和服务器、通信系统
CN106789990A (zh) * 2016-12-09 2017-05-31 天脉聚源(北京)传媒科技有限公司 一种新闻推送方法及装置
CN107368360A (zh) * 2017-06-05 2017-11-21 努比亚技术有限公司 一种定时任务执行方法及定时任务服务器
CN107679058A (zh) * 2017-06-26 2018-02-09 平安科技(深圳)有限公司 数据同步方法、装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152189B (zh) * 2011-12-06 2016-06-15 中国科学院声学研究所 一种基于业务关联的数据采集方法及系统
US20160127146A1 (en) * 2012-11-07 2016-05-05 Hewlett-Packard Development Company, L.P. Communicating During Data Extraction Operations
CN107948288B (zh) * 2018-01-08 2020-06-30 中山路得斯空调有限公司 一种节省流量的数据采集及补齐方法
CN109672590A (zh) * 2019-01-10 2019-04-23 平安科技(深圳)有限公司 数据采集方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124128A1 (ja) * 2011-03-15 2012-09-20 オムロン株式会社 情報処理装置、センサシステム、プログラム及び記録媒体
CN105893529A (zh) * 2016-03-30 2016-08-24 乐视控股(北京)有限公司 一种数据采集方法以及etl组件
CN105743815A (zh) * 2016-04-06 2016-07-06 腾讯科技(深圳)有限公司 抖动缓冲数据处理的方法和装置
CN106161593A (zh) * 2016-06-21 2016-11-23 北京奇虎科技有限公司 消息轮询方法和服务器、通信系统
CN106789990A (zh) * 2016-12-09 2017-05-31 天脉聚源(北京)传媒科技有限公司 一种新闻推送方法及装置
CN107368360A (zh) * 2017-06-05 2017-11-21 努比亚技术有限公司 一种定时任务执行方法及定时任务服务器
CN107679058A (zh) * 2017-06-26 2018-02-09 平安科技(深圳)有限公司 数据同步方法、装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020143296A1 (zh) * 2019-01-10 2020-07-16 平安科技(深圳)有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN114500315A (zh) * 2021-12-31 2022-05-13 深圳云天励飞技术股份有限公司 设备状态监控方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2020143296A1 (zh) 2020-07-16

Similar Documents

Publication Publication Date Title
US10932106B2 (en) System, a method and a computer program product for automated remote control
US11038975B2 (en) Information pushing method and device
CN111177222B (zh) 模型测试方法、装置及计算设备、存储介质
CN111897740B (zh) 用户界面的测试方法、装置、电子设备及计算机可读介质
US10630799B2 (en) Method and apparatus for pushing information
CN106095814A (zh) 联系人处理方法及服务器
CN111597388B (zh) 基于分布式系统的样本采集方法、装置、设备及介质
CN110245069A (zh) 页面版本的测试方法和装置、页面的展示方法和装置
CN110457097B (zh) 页面响应控制方法、装置、计算机设备及存储介质
CN109672590A (zh) 数据采集方法、装置、设备及计算机可读存储介质
CN116029719A (zh) 支付服务推荐的方法、电子设备及存储介质
CN106294345A (zh) 应用程序的日志内容的处理方法和装置
CN111008865A (zh) 优惠券同步展示方法、装置、服务器及存储介质
CN109697129A (zh) 一种信息分享方法、设备及计算机可读存储介质
CN111125226B (zh) 一种配置数据采集方法及装置
CN107346323B (zh) 一种标签推荐的方法及标签推荐装置
CN105991744A (zh) 用于同步用户应用数据的方法与设备
CN111813685A (zh) 自动化测试方法和装置
CN107623715B (zh) 一种身份信息获取方法和装置
CN105574115A (zh) 在搜索页面上直接显示搜索结果的方法及系统
CN114428737A (zh) 基于微服务体系的通信方法、装置、设备及存储介质
CN110568976B (zh) 控制应用显示的方法、装置、设备、存储介质
CN104284323B (zh) 一种终端时间的设置方法
CN109992614B (zh) 数据获取方法、装置和服务器
CN112698829A (zh) 异常资源的定位方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423