CN109284194B - 数据采集方法、征信主体设备、计算机设备及存储介质 - Google Patents
数据采集方法、征信主体设备、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109284194B CN109284194B CN201810935020.6A CN201810935020A CN109284194B CN 109284194 B CN109284194 B CN 109284194B CN 201810935020 A CN201810935020 A CN 201810935020A CN 109284194 B CN109284194 B CN 109284194B
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- credit investigation
- message
- credit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011835 investigation Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 57
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 36
- 238000004140 cleaning Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000010453 quartz Substances 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/544—Remote
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据采集方法、征信主体设备、计算机设备及存储介质,该数据采集方法包括:获取定时触发任务;根据定时触发任务生成多线程执行指令和循环调用指令,循环调用指令用于调用M个数据采集任务,多线程执行指令用于执行M个数据采集任务;根据多线程执行指令和循环调用指令并行运行M个数据采集任务,以获取M个主体产品的征信数据;将征信数据组装成报文返回至收集中心。本发明提供的技术方案通过采用循环调用的方式来循环调用多个数据采集任务,并通过多线程执行指令使多个数据采集任务并行运行来采集征信数据,提高了征信数据的采集效率。
Description
技术领域
本发明属于数据处理领域,更具体地说,是涉及一种数据采集方法、征信主体设备、计算机设备及存储介质。
背景技术
在征信系统中,从上层往下层依次是上报主体、主体产品和产品段,其中,上报主体包括多个主体产品,而主体产品包括多个产品段。
目前的征信系统采用串行的方式对征信数据进行采集,例如在主体产品的征信数据的采集中,是按照一定顺序依次采集每个主体产品的征信数据,总的采集时间是所有主体产品采集时间的总和。随着主体产品的复杂度的增加,上报主体采集的时间会越来越长,若某个上报主体采集数据的时间过长就会导致该上报主体不能按时采集数据,以至于会漏报征信,同时采用串行的方式采集征信数据的效率也比较低下,时效性不高。
发明内容
本发明实施例提供一种数据采集方法、征信主体设备、计算机设备及存储介质,以解决征信数据采集的效率不高的问题。
一种数据采集方法,应用于征信主体设备,所述征信主体设备包括M个主体产品,所述数据采集方法包括以下步骤:
获取定时触发任务;
根据所述定时触发任务生成多线程执行指令和循环调用指令,所述循环调用指令用于调用M个数据采集任务,所述多线程执行指令用于执行所述M个数据采集任务;
根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务,以获取所述M个主体产品的征信数据;
将所述征信数据组装成报文返回至所述收集中心。
一种征信主体设备,包括:
获取模块,用于获取定时触发任务;
生成模块,用于根据所述定时触发任务生成多线程执行指令和循环调用指令,所述循环调用指令用于调用M个数据采集任务,所述多线程执行指令用于执行所述M个数据采集任务;
并行运行模块,用于根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务,以获取M个主体产品的征信数据;
返回模块,用于将所述征信数据组装成报文返回至所述收集中心。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据采集方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述数据采集方法的步骤。
上述数据采集方法、征信主体设备、计算机设备及存储介质,征信主体设备通过获取定时触发任务;然后根据定时触发任务生成多线程执行指令和循环调用指令,其中通过循环调用指令调用M个数据采集任务,通过多线程执行指令执行M个数据采集任务,使征信主体设备可以并行运行M个数据采集任务,从而获取M个主体产品的征信数据;最后征信主体设备将征信数据组装起报文返回至收集中心。通过采用循环调用的方式来循环调用多个数据采集任务,并通过多线程执行指令使多个数据采集任务并行运行来采集征信数据,提高了征信数据的采集效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中数据采集方法的一应用环境示意图;
图2是本发明一实施例中数据采集方法的一流程图;
图3是本发明一实施例中数据采集方法的另一流程图;
图4是本发明一实施例中数据采集方法的另一流程图;
图5是本发明一实施例中征信主体设备的一原理框图;
图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的数据采集方法,可应用在如图1所示的征信主体设备中。其中,征信主体设备包括M个主体产品。征信主体设备通过定时触发任务生成多线程执行指令和循环调用指令,然后根据多线程执行指令和循环调用指令并行运行M个数据采集任务来获取M个主体产品的征信数据,最后征信主体设备将征信数据组装成报文返回收集中心。
在一实施例中,如图2所示,提供一种数据采集方法,以该方法应用在图1所示的征信主体设备为例进行说明,包括如下步骤:
S10:获取定时触发任务。
其中,定时触发任务是指征信主体设备中根据预设采集时间触发进行征信数据采集的任务,预设采集时间例如可以是每天8:00,可以根据实际情况进行设定,本实施例不做具体限定。应理解,征信主体设备是包含于征信系统中的,由于征信系统包括N个不同的征信主体设备,每个征信主体设备本身的复杂程度和征信数据采集时间的长短不一样,因此每个征信主体设备可以设置不一样开始采集数据的时间。可选地,可以用调度框架来设置定时触发任务。其中,调度框架可以是Quartz,Quartz是一个完全由java编写的开源作业调度框架,通过配置触发条件,可以使其在设定的时间点触发相应的job开始工作。
具体地,征信系统通过Quartz设置定时触发任务,当到达预设采集时间时,定时触发任务向征信主体设备发送触发指令,当接收到触发指令时,征信主体设备获取到定时触发任务。
S20:根据定时触发任务生成多线程执行指令和循环调用指令,循环调用指令用于调用M个数据采集任务,多线程执行指令用于执行M个数据采集任务。
其中,数据采集任务是指征信主体设备采集主体产品的征信数据的任务,由于每个征信主体设备包括M个主体产品,因此数据采集任务的个数也为M个。应理解,当征信主体设备不同时,M具体代表的个数可能不一样。可选地,数据采集任务可以设置相应的数据采集程序来完成。多线程执行指令是指在征信主体设备中用于创建多线程从而使M个数据采集任务并行执行的指令。循环调用指令是指在征信主体设备中用于循环调用M个数据采集任务的指令。
在一实施例中,当征信主体设备获取到定时触发任务时,通过循环调用语句生成循环调用指令,并采用线程类方法生成多线程执行指令。
可选地,循环调用语句为for语句。其中,for语句是java编程语言中一种循环语句,其一般格式为for(控制变量初始化的表达式;条件表达式;增量表达式),在条件满足的时候被重复执行。可选地,本实施例中是通过数组的形式来定义数据采集任务的,例如以“ZED”数组代表其中一个主体产品,用for语句对数组定义的数据采集任务进行调用,当for语句满足“ZED”数组的调用条件时,调用“ZED”数组对应的数据采集任务以采集“ZED”数组的主体产品的征信数据。由于for语句定义了循环调用的条件,因此可以循环调用所有预先定义的数组,从而达到循环调用M个数据采集任务对采集对应的M个主体产品的征信数据。
其中,线程(Thread)类方法是java中创建多线程的方法之一,包括start方法、run方法、sleep方法、yield方法和join方法等等创建和管理线程的方法。例如start方法的过程为:start()用来启动一个线程,当调用start方法后,系统才会开启一个新的线程来执行用户定义的子任务,在这个过程中,会为相应的线程分配需要的资源。在本实施例中,每当征信数据采集系统中有一个子任务(数据采集任务)产生时,Thread类相应创建一个线程,从而征信数据采集系统为这个线程分配资源以执行该子任务。可选地,可以采用Thread类进行组合使用完成创建多线程的操作。
S30:根据多线程执行指令和循环调用指令并行运行M个数据采集任务,以获取M个主体产品的征信数据。
在一实施例中,循环调用指令包括M个任务调用指令,其中,任务调用指令是指调用一个数据采集任务的指令,如图3所示,步骤S30具体可以包括以下步骤:
S31:通过M个任务调用指令循环调用与M个任务调用指令对应的M个数据采集任务。
由于征信主体设备包括M个主体产品,相应地,征信主体设备通过M个任务调用指令循环调用与M个任务调用指令对应的M个数据采集任务。
具体地,任务调用指令是通过数据采集任务的标识从征信系统的数据库相应的位置获取与数据采集任务对应的存储的过程代码,从而调用该数据采集任务的存储的过程代码来实现征信数据的采集的。例如,任务调用指令调用“ZED”数组对应的数据采集任务,则可以根据“ZED”数组先在征信系统的数据库中的标识来查找到与“ZED”数组对应的数据采集任务对应的存储的过程代码并调用,从而实现对“ZED”数组对应的主体产品的征信数据的采集。通过循环调用语句定义的循环调用条件,就可以相应的循环调用不同的数据采集任务以采集不同的主体产品的征信数据。
S32:每当M个数据采集任务中的其中一个数据采集任务被调用时,通过多线程执行指令创建一线程数。
为了使循环调用指令调用的数据采集任务可以同时运行采集征信数据,提高征信数据的采集效率,需要使用多线程执行指令为每个被调用的数据采集任务分配系统资源,从而使每个被调用的数据采集任务的线程不会被其它线程所影响,同时运行采集征信数据。
具体地,可以采用多线程执行指令(Thread类方法)来每一个被调用的数据采集任务分配系统资源,即每当M个数据采集任务中的其中一个数据采集任务被调用时,征信主体设备就通过多线程执行指令(Thread类方法)相应地多创建一个线程数,使线程之间不会相互影响,以并行地采集征信数据。
S33:当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时,运行M个数据采集任务。
具体地,当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时,同时运行M个数据采集任务,即通过循环调用指令调用M个数据采集任务,并通过多线程执行指令创建相应M个线程,从而在征信主体设备中根据M个线程数分配相应的系统资源来同时运行M个数据采集任务,实现对M个主体产品并行采集征信数据的目的。
在图3对应的实施例中,通过循环调用指令的任务调用指令调用数据采集任务,同时用多线程执行指令为调用的数据采集任务创建线程,分配系统资源,达到并行采集征信数据的目的,提高了征信数据的采集效率。
S40:将征信数据组装成报文返回至收集中心。
其中,收集中心与征信主体设备相连接,用于收集征信数据,征信主体设备获得的征信数据最后是返回到收集中心。
在一实施例中,如图4所示,步骤S40具体可以包括以下步骤:
S41:根据预设配置文件确定征信数据的组装格式。
其中,预设配置文件规定例如字符长度、数据类型、校验码等组装格式。可以理解,从主体产品获取的征信数据可包括多个字段,但可能某些字段并不是必要的,而且可能每个主体产品的字段顺序也不一样,因此,为了使征信数据更加进行有序的管理,可以通过预设配置文件来规定一个组装格式,再按照组装格式组装起来。
具体地,将预设配置文件设置于征信数据采集系统中,征信主体设备通过调用预设配置文件的形式来实现征信数据的报文的组装,相应地,预设配置文件规定了报文的组装格式。
S42:获取征信数据中与组装格式对应的数据段。
其中,数据段是指征信数据中相应字段对应的内容。例如,从征信数据中取“姓名”这一字段对应的字段内容即为数据段,表示从征信数据中抽取姓名这一数据段。
具体地,征信主体设备通过调用预设配置文件,按照预设配置文件规定的组装格式从征信数据库抽取对应的数据段,以形成报文。
S43:将数据段按组装格式组装成报文,并将报文返回至收集中心。
其中,收集中心是征信数据采集系统中用于负责收集征信数据的中心。
具体地,征信主体设备通过调用预设配置文件抽取每个主体产品相应的数据段;然后将每个主体产品的数据段拼接起来,形成该征信主体设备的报文;最后将组装的报文返回至收集中心。可选地,在将每个主体产品的数据段进行拼接时,可以按照数据采集任务完成时间的先后顺序进行拼接,并在相邻的主体产品的数据段间通过添加标识的方式来实现区分,方便后续对组装成的报文作进一步的分折和研究。
可选地,可以根据需要将征信数据组装成TXT文档格式的报文,方便报文的传输、加工和存储。
在图4对应的实施例中,征信主体设备通过预设配置文件规定组装格式,并抽取主体产品中与组装格式对应的数据段,最后将从所有主体产品抽取出来的数据段按组装格式组装成报文,并将报文返回至收集中心,可以使报文的格式统一,方便对征信数据的管理和分析。
可以理解地,在征信主体设备的主体产品中,又可以包括多个产品段,例如,征信主体设备为平安普惠担保,主体产品为车商贷、寿险贷、薪金贷、业主贷、优房贷等等,而产品段为主体产品需要采集的基础数据段表,例如是保险合同信息段、实际在保责任信息段、代偿概况信息段等等。
而在主体产品采集征信数据的过程中,也是通过与步骤S10-S40类似的步骤来实现征信数据的并行采集的,其过程与征信主体设备采集主体产品的征信数据过程相同,在此不再赘述。
在图2对应的实施例中,征信主体设备通过获取定时触发任务;然后根据定时触发任务生成多线程执行指令和循环调用指令,其中通过循环调用指令调用M个数据采集任务,通过多线程执行指令执行M个数据采集任务,使征信主体设备可以并行运行M个数据采集任务,从而获取M个主体产品的征信数据;最后征信主体设备将征信数据组装起报文返回至收集中心。通过采用循环调用的方式来循环调用多个数据采集任务,并通过多线程执行指令使多个数据采集任务并行运行来采集征信数据,提高了征信数据的采集效率。
在一实施例中,步骤S40之前,即在将征信数据组装成报文返回至收集中心的步骤之前,本实施例的数据采集方法还包括:
判断征信数据是否符合预设清洗条件,若是,则对符合清洗条件的征信数据进行清除;
而步骤S10中,将所述征信数据组装成报文返回至收集中心,则包括:将经过清洗的征信数据组装成报文返回至收集中心。
可以理解,征信主体设备获取的征信数据可能有重复值、无效值和缺失值等等,因此需要对征信数据进行清洗,使征信数据更加真实可靠。
其中,清洗条件即判断征信数据中的数据是否符合重复值、无效值和缺失值等的情况从而需要进行数据清洗的条件。
具体地,可以对征信数据预设一些针对征信数据特点的清洗条件,然后对获取的征信数据进行判断,如果满足清洗条件,则对符合清洗条件的征信数据进行清除,获得进行数据清洗后的征信数据。例如,可以用数值化的方式去掉重复值,其中,数值化是指所有数据变为数值的格式,由于基础数据中有多种数据类型,比如字符型、浮点型、对象型等等,数值化是通过调用转换函数将数据统一转换成数值型的数据,然后通过计算数据间的相似度,若某两个数据相似度大于预设阈值时,识别为重复字段,即清洗条件,再对重复字段(清洗条件)进行清除操作,得到清洗后的征信数据,最后将清洗后的征信数据返回至收集中心。
在本实施例中,通过对符合清洗条件的征信数据进行清除,即对征信数据进行数据清洗,使征信数据进行精简,更加真实可靠,同时也提高了征信数据的传输效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种征信主体设备,该征信主体设备与上述实施例中数据采集方法一一对应。如图5所示,该征信主体设备包括获取模块10、生成模块20、并行运行模块30和返回模块40。各功能模块详细说明如下:
获取模块10,用于获取定时触发任务。
生成模块20,用于根据获取模块10获取的定时触发任务生成多线程执行指令和循环调用指令,循环调用指令用于调用M个数据采集任务,多线程执行指令用于执行M个数据采集任务。
并行运行模块30,用于根据生成模块20生成的多线程执行指令和循环调用指令并行运行所述M个数据采集任务,以获取M个主体产品的征信数据。
返回模块40,用于将并行运行模块30获取的所述征信数据组装成报文返回至所述收集中心。
进一步地,生成模块20还用于当获取到定时触发任务时,通过循环调用语句生成循环调用指令,并采用线程类方法生成多线程执行指令。
进一步地,循环调用指令包括M个任务调用指令,并行运行模块30包括调用单元、创建单元和运行单元。
调用单元,用于通过M个任务调用指令循环调用与M个任务调用指令对应的M个数据采集任务。
创建单元,用于每当M个数据采集任务中的其中一个数据采集任务被调用时,通过多线程执行指令创建一线程数。
运行单元,用于当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时,运行M个数据采集任务。
进一步地,返回模块40包括:确定单元、获取单元和返回单元。
确定单元,用于根据预设配置文件确定征信数据的组装格式。
获取单元,用于获取征信数据中与组装格式对应的数据段。
返回单元,用于将数据段按组装格式组装成报文,并将报文返回至收集中心。
进一步地,返回模块40还用于判断征信数据是否符合预设清洗条件,若是,则对符合清洗条件的征信数据进行清除。而返回模块40还用于将经过清洗后的征信数据组装成报文返回至收集中心。
关于征信主体设备的具体限定可以参见上文中对于数据采集方法的限定,在此不再赘述。上述征信主体设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储定时触发任务、多线程执行指令、循环调用指令、数据采集任务和征信数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据采集方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取定时触发任务;
根据定时触发任务生成多线程执行指令和循环调用指令,循环调用指令用于调用M个数据采集任务,多线程执行指令用于执行M个数据采集任务;
根据多线程执行指令和循环调用指令并行运行M个数据采集任务,以获取M个主体产品的征信数据;
将征信数据组装成报文返回至收集中心。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取定时触发任务;
根据定时触发任务生成多线程执行指令和循环调用指令,循环调用指令用于调用M个数据采集任务,多线程执行指令用于执行M个数据采集任务;
根据多线程执行指令和循环调用指令并行运行M个数据采集任务,以获取M个主体产品的征信数据;
将征信数据组装成报文返回至收集中心。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (7)
1.一种数据采集方法,其特征在于,应用于征信主体设备,所述征信主体设备包括M个主体产品,包括以下步骤:
获取定时触发任务;
根据所述定时触发任务生成多线程执行指令和循环调用指令,所述循环调用指令用于调用M个数据采集任务,所述多线程执行指令用于执行所述M个数据采集任务;
根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务,以获取所述M个主体产品的征信数据;
将所述征信数据组装成报文返回至收集中心;
其中,所述循环调用指令包括M个任务调用指令;
所述根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务,包括:
通过所述M个任务调用指令循环调用与所述M个任务调用指令对应的所述M个数据采集任务;
每当所述M个数据采集任务中的其中一个数据采集任务被调用时,通过所述多线程执行指令创建一线程数;
当所述M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时,运行所述M个数据采集任务;
其中,所述将所述征信数据组装成报文返回至收集中心,包括:
根据预设配置文件确定所述征信数据的组装格式;
获取所述征信数据中与所述组装格式对应的数据段;
将所述数据段按所述组装格式组装成报文,并将所述报文返回至所述收集中心。
2.如权利要求1所述的数据采集方法,其特征在于,所述根据所述定时触发任务生成多线程执行指令和循环调用指令,包括:
当获取到所述定时触发任务时,通过循环调用语句生成所述循环调用指令,并采用线程类方法生成所述多线程执行指令。
3.如权利要求1-2任意一项所述的数据采集方法,其特征在于,在所述将所述征信数据组装成报文返回至所述收集中心的步骤之前,所述方法还包括:
判断所述征信数据是否符合预设清洗条件,若是,则对符合所述清洗条件的所述征信数据进行清除;
所述将所述征信数据组装成报文返回至所述收集中心,包括:
将经过所述清洗的所述征信数据组装成报文返回至所述收集中心。
4.一种征信主体设备,其特征在于,包括:
获取模块,用于获取定时触发任务;
生成模块,用于根据所述获取模块获取的所述定时触发任务生成多线程执行指令和循环调用指令,所述循环调用指令用于调用M个数据采集任务,所述多线程执行指令用于执行所述M个数据采集任务;
并行运行模块,用于根据所述生成模块生成的所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务,以获取M个主体产品的征信数据;
返回模块,用于将所述并行运行模块获取的所述征信数据组装成报文返回至收集中心;
其中,所述循环调用指令包括M个任务调用指令;
所述并行运行模块包括调用单元、创建单元和运行单元;
所述调用单元,用于通过所述M个任务调用指令循环调用与所述M个任务调用指令对应的所述M个数据采集任务;
所述创建单元,用于每当所述M个数据采集任务中的其中一个数据采集任务被调用时,通过所述多线程执行指令创建一线程数;
所述运行单元,用于当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时,运行所述M个数据采集任务;
其中,所述返回模块用于:
根据预设配置文件确定所述征信数据的组装格式;
获取所述征信数据中与所述组装格式对应的数据段;
将所述数据段按所述组装格式组装成报文,并将所述报文返回至所述收集中心。
5.如权利要求4所述的征信主体设备,其特征在于,所述生成模块还用于当获取到所述定时触发任务时,通过循环调用语句生成所述循环调用指令,并采用线程类方法生成所述多线程执行指令。
6.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述数据采集方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述数据采集方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810935020.6A CN109284194B (zh) | 2018-08-16 | 2018-08-16 | 数据采集方法、征信主体设备、计算机设备及存储介质 |
PCT/CN2018/122736 WO2020034532A1 (zh) | 2018-08-16 | 2018-12-21 | 数据采集方法、征信主体设备、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810935020.6A CN109284194B (zh) | 2018-08-16 | 2018-08-16 | 数据采集方法、征信主体设备、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109284194A CN109284194A (zh) | 2019-01-29 |
CN109284194B true CN109284194B (zh) | 2024-05-24 |
Family
ID=65183100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810935020.6A Active CN109284194B (zh) | 2018-08-16 | 2018-08-16 | 数据采集方法、征信主体设备、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109284194B (zh) |
WO (1) | WO2020034532A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084467B (zh) * | 2019-03-13 | 2023-07-14 | 中国平安财产保险股份有限公司 | 移动验标方法、装置、计算机设备及存储介质 |
CN110147379B (zh) * | 2019-04-02 | 2023-06-30 | 平安科技(深圳)有限公司 | 基于数据锁的信息采集方法、装置、计算机设备 |
CN110503544A (zh) * | 2019-07-05 | 2019-11-26 | 招联消费金融有限公司 | 征信数据报送方法、装置、系统、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446089A (zh) * | 2010-10-04 | 2012-05-09 | 王子影 | 一种地震前兆多仪器实时数据采集与波形浏览控件技术 |
JP2012194683A (ja) * | 2011-03-15 | 2012-10-11 | Omron Corp | 制御装置およびシステムプログラム |
CN102760086A (zh) * | 2012-07-06 | 2012-10-31 | 北京泛华恒兴科技有限公司 | 基于柔性测试技术的数据检测控制方法和装置 |
CN104158699A (zh) * | 2014-08-08 | 2014-11-19 | 广州新科佳都科技有限公司 | 一种基于优先级和分段的数据采集方法 |
CN104376063A (zh) * | 2014-11-11 | 2015-02-25 | 南京邮电大学 | 基于分类管理的多线程网络爬虫方法和信息实时更新系统 |
CN107179942A (zh) * | 2017-05-16 | 2017-09-19 | 中国电子科技集团公司第四十研究所 | 一种基于多线程的实时数据分析任务分发处理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7657891B2 (en) * | 2005-02-04 | 2010-02-02 | Mips Technologies, Inc. | Multithreading microprocessor with optimized thread scheduler for increasing pipeline utilization efficiency |
CN101719306B (zh) * | 2009-10-30 | 2012-01-04 | 深圳市科陆电子科技股份有限公司 | 并发式电量数据采集方法 |
CN103188088B (zh) * | 2011-12-27 | 2015-11-18 | 北京新媒传信科技有限公司 | 设备信息采集系统及方法 |
CN104111983B (zh) * | 2014-06-30 | 2017-12-19 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
CN106059792B (zh) * | 2016-05-13 | 2019-03-29 | 北京英诺威尔科技股份有限公司 | 一种低延迟的流量解析处理方法 |
-
2018
- 2018-08-16 CN CN201810935020.6A patent/CN109284194B/zh active Active
- 2018-12-21 WO PCT/CN2018/122736 patent/WO2020034532A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446089A (zh) * | 2010-10-04 | 2012-05-09 | 王子影 | 一种地震前兆多仪器实时数据采集与波形浏览控件技术 |
JP2012194683A (ja) * | 2011-03-15 | 2012-10-11 | Omron Corp | 制御装置およびシステムプログラム |
CN102760086A (zh) * | 2012-07-06 | 2012-10-31 | 北京泛华恒兴科技有限公司 | 基于柔性测试技术的数据检测控制方法和装置 |
CN104158699A (zh) * | 2014-08-08 | 2014-11-19 | 广州新科佳都科技有限公司 | 一种基于优先级和分段的数据采集方法 |
CN104376063A (zh) * | 2014-11-11 | 2015-02-25 | 南京邮电大学 | 基于分类管理的多线程网络爬虫方法和信息实时更新系统 |
CN107179942A (zh) * | 2017-05-16 | 2017-09-19 | 中国电子科技集团公司第四十研究所 | 一种基于多线程的实时数据分析任务分发处理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020034532A1 (zh) | 2020-02-20 |
CN109284194A (zh) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109284194B (zh) | 数据采集方法、征信主体设备、计算机设备及存储介质 | |
US9418073B2 (en) | System and method for converting format of jobs associated with a job stream | |
CN110069572A (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
US20160077828A1 (en) | Logical grouping of profile data | |
CN102981904A (zh) | 一种任务调度方法及系统 | |
CN104536819A (zh) | 基于web服务的任务调度方法 | |
CN104516908A (zh) | 一种数据库访问方法和装置 | |
Bocciarelli et al. | BPMN-based business process modeling and simulation | |
US10303558B2 (en) | Checkpointing higher order query operators | |
CN113377668A (zh) | 服务接口的自动化测试方法、装置和计算机设备 | |
Nekrasaite et al. | Discovering responsibilities with dynamic condition response graphs | |
CN109254765A (zh) | 定时任务管理方法、装置、计算机设备及存储介质 | |
CN111240772A (zh) | 一种基于区块链的数据处理方法、装置及存储介质 | |
US11119899B2 (en) | Determining potential test actions | |
CN107045478B (zh) | 一种轻量级线程分析与运行可视化方法 | |
CN113946363A (zh) | 业务数据的执行配置方法、装置、计算机设备及存储介质 | |
CN111143790B (zh) | 代码混淆方法、装置、设备及存储介质 | |
Kail et al. | A novel approach to user-steering in scientific workflows | |
Mouline et al. | Enabling temporal-aware contexts for adaptative distributed systems | |
US9218161B2 (en) | Embedding a software content space for run-time implementation | |
Choi | Automated validation of IoT device control programs through domain-specific model generation | |
Barker et al. | Robust Decision Making for Agile Systems Development Part 1: Exploring the Paradigm | |
CN112883123B (zh) | 组织间从属关系维护方法、装置、计算机设备和存储介质 | |
Medina et al. | High level modeling for Real-time applications with UML & MARTE | |
Bashir et al. | Smart Cities Paradigm with AI-Enabled Effective Requirements Engineering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |