CN108805778A - 电子装置、采集征信数据的方法及存储介质 - Google Patents
电子装置、采集征信数据的方法及存储介质 Download PDFInfo
- Publication number
- CN108805778A CN108805778A CN201810404428.0A CN201810404428A CN108805778A CN 108805778 A CN108805778 A CN 108805778A CN 201810404428 A CN201810404428 A CN 201810404428A CN 108805778 A CN108805778 A CN 108805778A
- Authority
- CN
- China
- Prior art keywords
- time
- collage
- credit data
- acquisition
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000011835 investigation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0609—Buyer or seller confidence or verification
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Economics (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种电子装置、采集征信数据的方法及存储介质，该方法包括：以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据；在第一采集时长截止时，检测该第一采集任务是否已结束；若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；若是，则以该该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，本发明能够准确确定征信数据存量转增量的临界时间点。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种电子装置、采集征信数据的方法及存储介质。
背景技术
征信监管是指：征信监督管理部门对征信机构实施监督管理，规范征信机构经营行为，保障征信活动各方的合法权益，是征信体系建设中一个重要组成部分。监督管理部门在指示征信机构上报征信数据后，征信机构需要将积攒未上报的存量数据及每天新增的增量数据进行上报，在上报至监督管理部门前，征信机构从业务系统中进行采集再上报。
目前，在从业务系统中采集征信数据的过程中，通过较多的人工干预的方式进行采集，导致采集速度较慢，人工手动切换采集存量数据与采集增量数据的临界时间点，无法准确确定临界时间点，容易导致采集得到重复数据或缺少临界数据的情况。
发明内容
本发明的目的在于提供一种电子装置、采集征信数据的方法及存储介质，旨在准确确定征信数据存量转增量的临界时间点。
为实现上述目的，本发明提供一种电子装置，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的处理系统，所述处理系统被所述处理器执行时实现如下步骤：
第一采集步骤，在向监管系统报送征信数据之前，当从业务系统中采集存量的征信数据时，以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动时长为第一采集时长的第一采集任务，并利用该第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据，所述第一时间步长大于所述第一采集时长；
检测步骤，在第一采集时长截止时，检测该第一采集任务是否已结束；
分析步骤，若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；
第二采集步骤，若是，则配置预定的第二时间步长，以该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，并利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，所述第二时间步长小于所述第一时间步长，所述第二时间步长大于等于所述第二采集时长。
优选地，所述处理系统被所述处理器执行时，还实现如下步骤：
若该第一采集任务未结束，则在等待该第一采集任务结束后，确定所述第一时间步长的终点时间，并以第一采集任务结束的结束时间作为当前时间，返回执行所述分析步骤。
优选地，所述处理系统被所述处理器执行时，还实现如下步骤：
若该时间差大于等于所述第一时间步长，则再启动该第一采集任务，并利用该第一采集任务采集以该终点时间为起点时间、该第一时间步长内的征信数据，返回执行所述检测步骤。
优选地，所述以预定的方式确定该存量的征信数据的最早生成时间的步骤包括：自动检测存量的征信数据中最早一笔征信数据的生成时间，以该最早一笔征信数据的生成时间作为该存量的征信数据的最早生成时间，或者，接收配置的时间，以该配置的时间作为该存量的征信数据的最早生成时间。
为实现上述目的，本发明还提供一种采集征信数据的方法，所述采集征信数据的方法包括：
S1，在向监管系统报送征信数据之前，当从业务系统中采集存量的征信数据时，以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动时长为第一采集时长的第一采集任务，并利用该第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据，所述第一时间步长大于所述第一采集时长；
S2，在第一采集时长截止时，检测该第一采集任务是否已结束；
S3，若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；
S4，若是，则配置预定的第二时间步长，以该该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，并利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，所述第二时间步长小于所述第一时间步长，所述第二时间步长大于等于所述第二采集时长。
优选地，所述步骤S2之后，还包括：
若该第一采集任务未结束，则在等待该第一采集任务结束后，确定所述第一时间步长的终点时间，并以第一采集任务结束的结束时间作为当前时间，返回执行所述步骤S3。
优选地，所述步骤S3之后，还包括：
若该时间差大于等于所述第一时间步长，则再启动该第一采集任务，并利用该第一采集任务采集以该终点时间为起点时间、该第一时间步长内的征信数据，返回执行所述步骤S2。
优选地，所述以预定的方式确定该存量的征信数据的最早生成时间的步骤包括：自动检测存量的征信数据中最早一笔征信数据的生成时间，以该最早一笔征信数据的生成时间作为该存量的征信数据的最早生成时间，或者，接收配置的时间，以该配置的时间作为该存量的征信数据的最早生成时间。
优选地，所述步骤S4之后，还包括：
按照征信数据的处理进程划分处理节点，所述处理节点包括征信数据的组装节点、预处理节点及上报节点；
在各个处理节点处理征信数据时，若有处理节点出现异常，则记录该处理节点出现异常一次；
利用预先设置的扫描任务定时扫描各个处理节点，统计各个处理节点对应的异常次数；
若有处理节点的异常次数大于等于预设的阈值数量，则进行预警。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有处理系统，所述处理系统被处理器执行时实现上述的采集征信数据的方法的步骤。
本发明的有益效果是：本发明首先采集较大的第一时间步长的存量的征信数据，以快速采集征信数据，在每次采集结束时，分析第一时间步长的终点时间与当前时间的时间差，如果时间差小于第一时间步长，则可以确定该终点时间为存量的征信数据转增量的征信数据的临界时间点，在该临界时间点之后，采集操作由采集较大的第一时间步长的存量的征信数据转为采集较小的第二时间步长的征信数据，能够准确确定存量转增量的临界时间点，避免采集得到重复的征信数据或缺少临界的征信数据的情况发生。
附图说明
图1为本发明各个实施例一可选的应用环境示意图；
图2为确定存量转增量的临界时间点的一具体示例图；
图3为本发明采集征信数据的方法一实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明采集征信数据的方法的较佳实施例的应用环境示意图。该应用环境示意图包括电子装置1、多个金融机构的业务系统及监管系统。电子装置1可以通过网络、近场通信技术等适合的技术与多个金融机构的业务系统及监管系统进行数据交互。
电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的处理系统。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储设备11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储设备11的可读存储介质通常用于存储安装于电子装置1的操作系统和各类应用软件，例如存储本发明一实施例中的处理系统的程序代码等。此外，存储设备11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与多个金融机构的业务系统或监管系统进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述处理系统等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。本实施例中，网络接口13主要用于将电子装置1与多个金融机构的业务系统及监管系统相连，建立数据传输通道和通信连接。
所述处理系统存储在存储器11中，包括至少一个存储在存储器11中的计算机可读指令，该至少一个计算机可读指令可被处理器器12执行，以实现本申请各实施例的方法；以及，该至少一个计算机可读指令依据其各部分所实现的功能不同，可被划为不同的逻辑模块。
在一实施例中，上述处理系统被所述处理器12执行时实现如下步骤：
第一采集步骤，在向监管系统报送征信数据之前，当从业务系统中采集存量的征信数据时，以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动时长为第一采集时长的第一采集任务，并利用该第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据，所述第一时间步长大于所述第一采集时长；
本实施例中，监管系统例如为中国人民银行的征信系统，业务系统为各个金融机构下的业务系统，例如包括担保系统、贷款系统等等。存量的征信数据为长时间(例如1年)积攒而未上报的征信数据，其数量级别极大，例如为千万级别甚至上亿级别的征信数据。
在一实施例中，以预定的方式确定该存量的征信数据的最早生成时间包括：自动检测存量的征信数据中最早一笔征信数据的生成时间，例如存量的征信数据中最早一笔征信数据的生成时间为2016.10.01，则以该最早一笔征信数据的生成时间2016.10.01作为该存量的征信数据的最早生成时间，或者，由工作人员根据存量的征信数据的数量级别估计一过去的时间，该过去的时间离上一次采集征信数据的时间较近，以该过去的时间作为人工配置的时间，以该配置的时间作为该存量的征信数据的最早生成时间。优选地，为了尽快采集完存量的征信数据，本实施例以第一种自动检测的方式确定该存量的征信数据的最早生成时间。
本实施例中，第一时间步长为一个较大的时间跨度，例如为20天或者1个月等，第一采集时长例如为1星期或者10天等，其中，利用该第一采集任务采集第一时间步长内的征信数据时，基本不需要人工进行干预，配置的第一时间步长大于第一采集时长，即以较短的时间采集较大的时间跨度的存量的征信数据，以便尽快采集完存量的征信数据。
检测步骤，在第一采集时长截止时，检测该第一采集任务是否已结束；
本实施例中，可以预定一检测任务，在第一采集时长截止时，该检测任务启动，检测该第一采集任务是否已结束，第一采集任务结束的标志是不再进行采集征信数据的操作，以此来确定下一步的操作。
在一实施例中，若该第一采集任务已结束，则执行下一步的分析步骤，若该第一采集任务未结束，则等待该第一采集任务结束，在该第一采集任务结束后，确定第一时间步长的终点时间，例如起点时间为2016.10.01，第一时间步长为1个月，则该第一时间步长的终点时间为2016.11.01，并以第一采集任务结束的结束时间作为当前时间，计算当前时间与终点时间之间的时间差，执行下一步的分析步骤。
分析步骤，若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；
其中，在第一采集时长截止时，第一采集任务结束或未结束，对应的第一时间步长的终点时间都相同，所不同的是当前时间：在第一采集时长截止的同时第一采集任务结束，对应的当前时间较早，计算得到的时间差较小；在第一采集时长截止的同时第一采集任务未结束，对应的当前时间较晚，计算得到的时间差较大，将时间差与第一时间步长进行比较，以分析下一步是以较大的第一时间步长来采集征信数据，还是以较小的第二时间步长来采集征信数据。
第二采集步骤，若是，则配置预定的第二时间步长，以该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，并利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，所述第二时间步长小于所述第一时间步长，所述第二时间步长大于等于所述第二采集时长。
本实施例中，如果时间差小于第一时间步长，则以较小的第二时间步长来采集征信数据，配置的第二时间步长例如为1天，以第一时间步长的终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，第二采集时长例如为1天，利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据。
在一实施例中，若该时间差大于等于所述第一时间步长，则仍然以第一采集任务采集来采集较大的第一时间步长的征信数据，以便尽快将存量的征信数据采集完，通过检测第一采集任务是否结束来检测第一时间步长的征信数据是否采集完，并在采集完第一时间步长的征信数据后，再次将时间差与第一时间步长进行比较，依此循环。
在一具体的实例中，如图2所示，图2为确定存量转增量的临界时间点的一具体示例图，确定存量的征信数据的最早生成时间为2016.10.01，第一时间步长为1个月，第一采集时长为10天，第二时间步长为1天，第二采集时长为1天，启动第一采集任务采集2016.10.01-2016.11.01该一个月内的存量的征信数据；
当采集了10天后，检测第一采集任务是否已结束；
若第一采集任务已结束，确定第一时间步长的终点时间为2016.11.01，计算当前时间(例如为2016.11.11或者2017.11.11)与该终点时间2016.11.01之间的时间差；
若第一采集任务未结束，等待第一采集任务结束(例如需要多一天才采集结束)，再执行计算当前时间与该终点时间2016.11.01之间的时间差；
分析该时间差是否小于1个月；
若该时间差大于等于1个月(例如当前时间为2017.11.11)，则以终点时间2016.11.01作为下一起点时间，再次启动采集时间为10天的第一采集任务采集存量的征信数据；
若该时间差小于1个月(例如当前时间为2016.11.11)，以终点时间2016.11.01为起点时间，再次启动另一采集时间为1天的第二采集任务采集征信数据。
与现有技术相比，本发明首先采集较大的第一时间步长的存量的征信数据，以快速采集征信数据，在每次采集结束时，分析第一时间步长的终点时间与当前时间的时间差，如果时间差小于第一时间步长，则可以确定该终点时间为存量的征信数据转增量的征信数据的临界时间点，在该临界时间点之后，采集操作由采集较大的第一时间步长的存量的征信数据转为采集较小的第二时间步长的征信数据，能够准确确定存量转增量的临界时间点，避免采集得到重复的征信数据或缺少临界的征信数据的情况发生。
在一实施例中，在上述实施例的基础上，在将征信数据上报至监管系统前，该电子装置对征信数据进行处理，为了减少人工干预，提高征信数据上报前的处理效率，所述处理系统被所述处理器执行时，还实现如下步骤：
按照征信数据的处理进程划分处理节点，所述处理节点包括征信数据的组装节点、预处理节点及上报节点；在各个处理节点处理征信数据时，若有处理节点出现异常，则记录该处理节点出现异常一次；利用预先设置的扫描任务定时扫描各个处理节点，统计各个处理节点对应的异常次数；若有处理节点的异常次数大于等于预设的阈值数量，则进行预警。
本实施例中，在征信报文上报前的处理阶段，对其按照处理进程分节点，优选地，按照处理的先后顺序可以分为征信数据的组装节点、预处理节点及上报节点。各个处理节点之间可通过网络的形式传送征信数据。征信系统提供FTP、HTTP及SMTP三种数据交换方式。其中，组装节点度将采集的征信数据进行按照预定的征信系统的格式进行组装，预处理节点将组装后的征信数据按照预定的规则引擎进行校验处理，上报节点将校验处理后的征信数据上报至预定的征信系统。
本实施例中，对于每一处理节点，如果处理出现异常，则记录该处理节点出现异常一次，后续统计异常次数sum＝1。该处理节点继续处理征信数据，如果又出现异常，则再次统计异常次数sum＝sum+1，其他处理节点也依照该方法统计异常次数。
本实施例中，利用预先设置的扫描任务定时扫描各个处理节点对应的异常次数，例如每隔1小时扫描各个处理节点对应的异常次数。由于各个处理节点在处理征信数据的过程中有些异常是可以自动处理掉而不需要人工干预的，因此，本实施例在有处理节点的异常次数大于等于预设的数量时才进行人工干预，例如异常次数大于等于5，则生成提醒消息，以进行人工干预，这样能够减少人工干预，提高征信数据上报前的处理效率。
如图3所示，图3为本发明采集征信数据的方法一实施例的流程示意图，该采集征信数据的方法包括以下步骤：
步骤S1，在向监管系统报送征信数据之前，当从业务系统中采集存量的征信数据时，以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动时长为第一采集时长的第一采集任务，并利用该第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据，所述第一时间步长大于所述第一采集时长；
本实施例中，监管系统例如为中国人民银行的征信系统，业务系统为各个金融机构下的业务系统，例如包括担保系统、贷款系统等等。存量的征信数据为长时间(例如1年)积攒而未上报的征信数据，其数量级别极大，例如为千万级别甚至上亿级别的征信数据。
在一实施例中，以预定的方式确定该存量的征信数据的最早生成时间包括：自动检测存量的征信数据中最早一笔征信数据的生成时间，例如存量的征信数据中最早一笔征信数据的生成时间为2016.10.01，则以该最早一笔征信数据的生成时间2016.10.01作为该存量的征信数据的最早生成时间，或者，由工作人员根据存量的征信数据的数量级别估计一过去的时间，该过去的时间离上一次采集征信数据的时间较近，以该过去的时间作为人工配置的时间，以该配置的时间作为该存量的征信数据的最早生成时间。优选地，为了尽快采集完存量的征信数据，本实施例以第一种自动检测的方式确定该存量的征信数据的最早生成时间。
本实施例中，第一时间步长为一个较大的时间跨度，例如为20天或者1个月等，第一采集时长例如为1星期或者10天等，其中，利用该第一采集任务采集第一时间步长内的征信数据时，基本不需要人工进行干预，配置的第一时间步长大于第一采集时长，即以较短的时间采集较大的时间跨度的存量的征信数据，以便尽快采集完存量的征信数据。
步骤S2，在第一采集时长截止时，检测该第一采集任务是否已结束；
本实施例中，可以预定一检测任务，在第一采集时长截止时，该检测任务启动，检测该第一采集任务是否已结束，第一采集任务结束的标志是不再进行采集征信数据的操作，以此来确定下一步的操作。
在一实施例中，若该第一采集任务已结束，则执行下一步的步骤S3，若该第一采集任务未结束，则等待该第一采集任务结束，在该第一采集任务结束后，确定第一时间步长的终点时间，例如起点时间为2016.10.01，第一时间步长为1个月，则该第一时间步长的终点时间为2016.11.01，并以第一采集任务结束的结束时间作为当前时间，计算当前时间与终点时间之间的时间差，执行下一步的步骤S3。
步骤S3，若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；
其中，在第一采集时长截止时，第一采集任务结束或未结束，对应的第一时间步长的终点时间都相同，所不同的是当前时间：在第一采集时长截止的同时第一采集任务结束，对应的当前时间较早，计算得到的时间差较小；在第一采集时长截止的同时第一采集任务未结束，对应的当前时间较晚，计算得到的时间差较大，将时间差与第一时间步长进行比较，以分析下一步是以较大的第一时间步长来采集征信数据，还是以较小的第二时间步长来采集征信数据。
步骤S4，若是，则配置预定的第二时间步长，以该该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，并利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，所述第二时间步长小于所述第一时间步长，所述第二时间步长大于等于所述第二采集时长。
本实施例中，如果时间差小于第一时间步长，则以较小的第二时间步长来采集征信数据，配置的第二时间步长例如为1天，以第一时间步长的终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，第二采集时长例如为1天，利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据。
在一实施例中，若该时间差大于等于所述第一时间步长，则仍然以第一采集任务采集来采集较大的第一时间步长的征信数据，以便尽快将存量的征信数据采集完，通过检测第一采集任务是否结束来检测第一时间步长的征信数据是否采集完，并在采集完第一时间步长的征信数据后，再次将时间差与第一时间步长进行比较，依此循环。
与现有技术相比，本发明首先采集较大的第一时间步长的存量的征信数据，以快速采集征信数据，在每次采集结束时，分析第一时间步长的终点时间与当前时间的时间差，如果时间差小于第一时间步长，则可以确定该终点时间为存量的征信数据转增量的征信数据的临界时间点，在该临界时间点之后，采集操作由采集较大的第一时间步长的存量的征信数据转为采集较小的第二时间步长的征信数据，能够准确确定存量转增量的临界时间点，避免采集得到重复的征信数据或缺少临界的征信数据的情况发生。
在一实施例中，在上述实施例的基础上，在将征信数据上报至监管系统前，该电子装置对征信数据进行处理，为了减少人工干预，提高征信数据上报前的处理效率，所述步骤S4之后，还包括：
按照征信数据的处理进程划分处理节点，所述处理节点包括征信数据的组装节点、预处理节点及上报节点；在各个处理节点处理征信数据时，若有处理节点出现异常，则记录该处理节点出现异常一次；利用预先设置的扫描任务定时扫描各个处理节点，统计各个处理节点对应的异常次数；若有处理节点的异常次数大于等于预设的阈值数量，则进行预警。
本实施例中，在征信报文上报前的处理阶段，对其按照处理进程分节点，优选地，按照处理的先后顺序可以分为征信数据的组装节点、预处理节点及上报节点。各个处理节点之间可通过网络的形式传送征信数据。征信系统提供FTP、HTTP及SMTP三种数据交换方式。其中，组装节点度将采集的征信数据进行按照预定的征信系统的格式进行组装，预处理节点将组装后的征信数据按照预定的规则引擎进行校验处理，上报节点将校验处理后的征信数据上报至预定的征信系统。
本实施例中，对于每一处理节点，如果处理出现异常，则记录该处理节点出现异常一次，后续统计异常次数sum＝1。该处理节点继续处理征信数据，如果又出现异常，则再次统计异常次数sum＝sum+1，其他处理节点也依照该方法统计异常次数。
本实施例中，利用预先设置的扫描任务定时扫描各个处理节点对应的异常次数，例如每隔1小时扫描各个处理节点对应的异常次数。由于各个处理节点在处理征信数据的过程中有些异常是可以自动处理掉而不需要人工干预的，因此，本实施例在有处理节点的异常次数大于等于预设的数量时才进行人工干预，例如异常次数大于等于5，则生成提醒消息，以进行人工干预，这样能够减少人工干预，提高征信数据上报前的处理效率。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有处理系统，所述处理系统被处理器执行时实现上述的采集征信数据的方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种电子装置，其特征在于，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的处理系统，所述处理系统被所述处理器执行时实现如下步骤：
第一采集步骤，在向监管系统报送征信数据之前，当从业务系统中采集存量的征信数据时，以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动时长为第一采集时长的第一采集任务，并利用该第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据，所述第一时间步长大于所述第一采集时长；
检测步骤，在第一采集时长截止时，检测该第一采集任务是否已结束；
分析步骤，若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；
第二采集步骤，若是，则配置预定的第二时间步长，以该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，并利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，所述第二时间步长小于所述第一时间步长，所述第二时间步长大于等于所述第二采集时长。
2.根据权利要求1所述的电子装置，其特征在于，所述处理系统被所述处理器执行时，还实现如下步骤：
若该第一采集任务未结束，则在等待该第一采集任务结束后，确定所述第一时间步长的终点时间，并以第一采集任务结束的结束时间作为当前时间，返回执行所述分析步骤。
3.根据权利要求1或2所述的电子装置，其特征在于，所述处理系统被所述处理器执行时，还实现如下步骤：
若该时间差大于等于所述第一时间步长，则再启动该第一采集任务，并利用该第一采集任务采集以该终点时间为起点时间、该第一时间步长内的征信数据，返回执行所述检测步骤。
4.根据权利要求1所述的电子装置，其特征在于，所述以预定的方式确定该存量的征信数据的最早生成时间的步骤包括：自动检测存量的征信数据中最早一笔征信数据的生成时间，以该最早一笔征信数据的生成时间作为该存量的征信数据的最早生成时间，或者，接收配置的时间，以该配置的时间作为该存量的征信数据的最早生成时间。
5.一种采集征信数据的方法，其特征在于，所述采集征信数据的方法包括：
S1，在向监管系统报送征信数据之前，当从业务系统中采集存量的征信数据时，以预定的方式确定该存量的征信数据的最早生成时间，配置预定的第一时间步长，启动时长为第一采集时长的第一采集任务，并利用该第一采集任务采集以该最早生成时间为起点时间、该第一时间步长内的征信数据，所述第一时间步长大于所述第一采集时长；
S2，在第一采集时长截止时，检测该第一采集任务是否已结束；
S3，若是，则确定所述第一时间步长的终点时间，获取当前时间与该终点时间之间的时间差，并分析该时间差是否小于所述第一时间步长；
S4，若是，则配置预定的第二时间步长，以该该终点时间作为存量的征信数据转增量的征信数据的临界时间点，启动时长为第二采集时长的第二采集任务，并利用该第二采集任务采集以该临界时间点为起点时间、该第二时间步长内的征信数据，所述第二时间步长小于所述第一时间步长，所述第二时间步长大于等于所述第二采集时长。
6.根据权利要求5所述的采集征信数据的方法，其特征在于，所述步骤S2之后，还包括：
若该第一采集任务未结束，则在等待该第一采集任务结束后，确定所述第一时间步长的终点时间，并以第一采集任务结束的结束时间作为当前时间，返回执行所述步骤S3。
7.根据权利要求5或6所述的采集征信数据的方法，其特征在于，所述步骤S3之后，还包括：
若该时间差大于等于所述第一时间步长，则再启动该第一采集任务，并利用该第一采集任务采集以该终点时间为起点时间、该第一时间步长内的征信数据，返回执行所述步骤S2。
8.根据权利要求5所述的采集征信数据的方法，其特征在于，所述以预定的方式确定该存量的征信数据的最早生成时间的步骤包括：自动检测存量的征信数据中最早一笔征信数据的生成时间，以该最早一笔征信数据的生成时间作为该存量的征信数据的最早生成时间，或者，接收配置的时间，以该配置的时间作为该存量的征信数据的最早生成时间。
9.根据权利要求5所述的采集征信数据的方法，其特征在于，所述步骤S4之后，还包括：
按照征信数据的处理进程划分处理节点，所述处理节点包括征信数据的组装节点、预处理节点及上报节点；
在各个处理节点处理征信数据时，若有处理节点出现异常，则记录该处理节点出现异常一次；
利用预先设置的扫描任务定时扫描各个处理节点，统计各个处理节点对应的异常次数；
若有处理节点的异常次数大于等于预设的阈值数量，则进行预警。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有处理系统，所述处理系统被处理器执行时实现如权利要求5至9中任一项所述的采集征信数据的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810404428.0A CN108805778B (zh) | 2018-04-28 | 2018-04-28 | 电子装置、采集征信数据的方法及存储介质 |
| PCT/CN2018/102199 WO2019205382A1 (zh) | 2018-04-28 | 2018-08-24 | 电子装置、采集征信数据的方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810404428.0A CN108805778B (zh) | 2018-04-28 | 2018-04-28 | 电子装置、采集征信数据的方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805778A true CN108805778A (zh) | 2018-11-13 |
| CN108805778B CN108805778B (zh) | 2023-11-24 |
Family
ID=64093120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810404428.0A Active CN108805778B (zh) | 2018-04-28 | 2018-04-28 | 电子装置、采集征信数据的方法及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108805778B (zh) |
| WO (1) | WO2019205382A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113760972B (zh) * | 2020-06-11 | 2024-05-17 | 北京沃东天骏信息技术有限公司 | 一种数据查找方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598551A (zh) * | 2014-12-31 | 2015-05-06 | 华为软件技术有限公司 | 一种数据统计方法及装置 |
| CN104917639A (zh) * | 2015-06-10 | 2015-09-16 | 北京奇虎科技有限公司 | 基于集群监控分配数据业务方法及装置 |
| WO2016018210A1 (en) * | 2014-07-28 | 2016-02-04 | Hewlett-Packard Development Company, L.P. | Detection of abnormal transaction loops |
| CN105610915A (zh) * | 2015-12-15 | 2016-05-25 | 深圳市慧动创想科技有限公司 | 数据上报方法和系统 |
| CN105843935A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 一种数据采集方法以及etl组件 |
| CN107453831A (zh) * | 2016-05-31 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 分布式交易系统的时间同步方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469303A (zh) * | 2015-12-24 | 2016-04-06 | 安徽融信金模信息技术有限公司 | 一种针对中小企业的征信方法 |
| CN107705149A (zh) * | 2017-09-22 | 2018-02-16 | 平安科技（深圳）有限公司 | 数据实时监控方法、装置、终端设备及存储介质 |
| CN107657057A (zh) * | 2017-10-19 | 2018-02-02 | 河北省科学院应用数学研究所 | 一种企业征信信息融合图形化方法 |
-
2018
- 2018-04-28 CN CN201810404428.0A patent/CN108805778B/zh active Active
- 2018-08-24 WO PCT/CN2018/102199 patent/WO2019205382A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016018210A1 (en) * | 2014-07-28 | 2016-02-04 | Hewlett-Packard Development Company, L.P. | Detection of abnormal transaction loops |
| CN104598551A (zh) * | 2014-12-31 | 2015-05-06 | 华为软件技术有限公司 | 一种数据统计方法及装置 |
| CN104917639A (zh) * | 2015-06-10 | 2015-09-16 | 北京奇虎科技有限公司 | 基于集群监控分配数据业务方法及装置 |
| CN105610915A (zh) * | 2015-12-15 | 2016-05-25 | 深圳市慧动创想科技有限公司 | 数据上报方法和系统 |
| CN105843935A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 一种数据采集方法以及etl组件 |
| CN107453831A (zh) * | 2016-05-31 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 分布式交易系统的时间同步方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019205382A1 (zh) | 2019-10-31 |
| CN108805778B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104765689B (zh) | 一种接口性能数据实时监制方法和装置 | |
| CN109377389A (zh) | 一种缴费提醒方法、服务器及计算机可读存储介质 | |
| CN109933504B (zh) | 一种硬盘延迟测试方法、装置、终端及存储介质 | |
| CN101246444B (zh) | 一种模块测试方法及系统 | |
| CN107590016A (zh) | 掉电重启识别方法及装置 | |
| CN112783725A (zh) | 指标采集方法及装置 | |
| CN111813635A (zh) | 一种区块链智能合约的监控方法、系统及装置 | |
| CN111552635A (zh) | 一种数据检测方法、设备、服务器及可读存储介质 | |
| CN108805778A (zh) | 电子装置、采集征信数据的方法及存储介质 | |
| CN108924002B (zh) | 一种性能数据文件的解析方法、装置、设备及存储介质 | |
| CN107193721B (zh) | 一种生成日志的方法和装置 | |
| CN116303320A (zh) | 基于日志文件的实时任务管理方法、装置、设备及介质 | |
| CN113343577B (zh) | 一种基于机器学习的参数优化方法、装置、设备及介质 | |
| CN109257256A (zh) | 设备监控方法、装置、计算机设备及存储介质 | |
| CN113655958A (zh) | 应用数据的存储方法 | |
| CN112054926B (zh) | 集群管理方法、装置、电子设备及存储介质 | |
| CN112395321A (zh) | 用户id关联方法、系统及批式、流式数据处理方法 | |
| CN116841815A (zh) | 运行监控方法、装置、电子设备和存储介质 | |
| CN115081233B (zh) | 一种流程仿真方法及电子设备 | |
| CN108896068A (zh) | 计步的方法、服务器、移动终端及存储介质 | |
| CN113009407B (zh) | 双芯智能电表的电压事件记录方法、装置和双芯智能电表 | |
| CN115309597B (zh) | 一种服务器集群测试的方法、装置、存储介质及电子设备 | |
| CN116932551A (zh) | 数据表的处理方法、装置、电子设备及存储介质 | |
| CN115564322B (zh) | 一种业务处理方法、装置、电子设备及存储介质 | |
| CN113284003B (zh) | 基于双芯智能电表的电力交易数据处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |