CN104112228B - 用于小额贷款公司的监管数据采集系统及方法 - Google Patents
用于小额贷款公司的监管数据采集系统及方法 Download PDFInfo
- Publication number
- CN104112228B CN104112228B CN201410379861.5A CN201410379861A CN104112228B CN 104112228 B CN104112228 B CN 104112228B CN 201410379861 A CN201410379861 A CN 201410379861A CN 104112228 B CN104112228 B CN 104112228B
- Authority
- CN
- China
- Prior art keywords
- packet
- module
- data
- bag
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种用于小额贷款公司的监管数据采集系统及方法,涉及监管数据采集领域。该系统包括信息采集模块、数据包组合模块、数据包关联算法模块、数据采集模块、数据包校验模块和数据包分离模块;信息采集模块、数据包组合模块和数据包关联算法模块顺次首尾相连,信息采集模块与数据采集模块相连,数据采集模块、数据包校验模块和数据包分离模块顺次首尾相连。本发明不仅工作效率较高,能够有效放置多数据包传递时数据遗失,不仅能够提高监管结论的正确率,而且使用比较安全,适用范围比较广泛。
Description
技术领域
本发明涉及监管数据采集领域,具体涉及一种用于小额贷款公司的监管数据采集系统及方法。
背景技术
小贷公司(即小额贷款公司)是由自然人、企业法人与其他社会组织投资设立的一种不吸收公众存款、且经营小额贷款业务的有限责任公司或股份有限公司。
小贷公司进行行业监管时,数据完整性要求非常高,如果发生数据遗漏会导致监管结论的根本改变。目前,小贷公司一般通过人工采集和监管数据,不仅工作效率较低,而且数据容易发生遗漏,数据监管的完整性较差,未形成行业规范和标准。小贷行业监管时,对数据完整性的要求非常高,发生数据遗漏会导致监管结论的根本改变。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种用于小额贷款公司的监管数据采集系统及方法,不仅工作效率较高,能够有效放置多数据包传递时数据遗失,不仅能够提高监管结论的正确率,而且使用比较安全,适用范围比较广泛。
为达到以上目的,本发明采取的技术方案是:一种用于小额贷款公司的监管数据采集系统,包括信息采集模块、数据包组合模块、数据包关联算法模块、数据采集模块、数据包校验模块和数据包分离模块;信息采集模块、数据包组合模块和数据包关联算法模块顺次首尾相连,信息采集模块与数据采集模块相连,数据采集模块、数据包校验模块和数据包分离模块顺次首尾相连;
所述监管数据采集系统采集数据时,初始化监管数据采集系统,信息采集模块获取监管业务数据;信息采集模块将监管业务数据发送至数据包组合模块,数据包组合模块将监管业务数据中的所有小额贷款业务数据资料形成若干数据包;每一笔小贷业务数据对应1个数据包,每个数据包均包含相应小贷业务的全部数据;
数据包组合模块将所有数据包发送至数据包关联算法模块,数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,数据包关联算法模块将哈希数据包返回至信息采集模块;
信息采集模块将哈希数据包,通过数据采集模块发送至数据包校验模块;数据包校验模块对哈希数据包进行交叉校验;数据包校验模块将校验通过后的当前哈希数据包发送至数据包分离模块,数据包分离模块对当前哈希数据包进行解析,生成与当前哈希数据包对应小贷业务的数据信息、并将当前数据信息返回至数据采集模块,结束。
一种基于上述系统的用于小额贷款公司的监管数据采集方法,包括以下步骤:
A、初始化监管数据采集系统,信息采集模块获取监管业务数据;
B、信息采集模块将监管业务数据发送至数据包组合模块,数据包组合模块将监管业务数据中的所有小额贷款业务数据资料形成若干数据包;每一笔小贷业务数据对应1个数据包,每个数据包均包含相应小贷业务的全部数据;
C、数据包组合模块将所有数据包发送至数据包关联算法模块,数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,数据包关联算法模块将哈希数据包返回至信息采集模块;
D、信息采集模块将哈希数据包,通过数据采集模块发送至数据包校验模块;数据包校验模块对哈希数据包进行交叉校验;
E、数据包校验模块将校验通过后的当前哈希数据包发送至数据包分离模块,数据包分离模块对当前哈希数据包进行解析,生成与当前哈希数据包对应小贷业务的数据信息、并将当前数据信息返回至数据采集模块,结束。
在上述技术方案的基础上,步骤A中所述信息采集模块从外部的客户业务数据系统获取监管业务数据。
在上述技术方案的基础上,步骤A中所述初始化监管数据采集系统之后,还包括以下步骤:在数据包组合模块中预设数据包的组合方式;步骤B所述中数据包组合模块将监管业务数据中的所有小额贷款业务数据资料形成若干数据包,包括以下步骤:数据包组合模块按照预设数据包的组合方式,对所述业务数据资料进行混合组包,形成若干数据包。
在上述技术方案的基础上,步骤B中每个数据包均包括文字、图片和电子表格中的至少一种。
在上述技术方案的基础上,步骤D中所述数据包校验模块对哈希数据包进行交叉校验后,若校验未通过,数据包校验模块提示错误信息,结束。
在上述技术方案的基础上,步骤C中数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,包括以下步骤:
C1、数据包关联算法模块生成先入先出的数据包缓存列表,预设数据包缓存列表的缓存空间;
C2、数据包关联算法模块将数据包依次缓存至数据包缓存列表、并进行次序编号;数据包关联算法模块获取数据包缓存列表中所有数据包的原始内容数据、并对每个数据包的原始内容数据进行哈希运算,得到1个128位长的哈希值;将每个哈希值添加至对应数据包的尾端;
C3、判断缓存至数据包缓存列表的数据包容量是否大于缓存空间的容量,若是,转到步骤C4,否则继续执行步骤C2;
C4、数据包关联算法模块随机生成3个缓存列表已有数据包的编号,将缓存列表首端数据包的哈希值分别记录在与3个编号对应数据包的尾端;缓存列表首端的数据包及其尾端的哈希值,形成带有计算结果的哈希数据包,将哈希数据包发送至信息采集模块,结束。
在上述技术方案的基础上,步骤C1中所述缓存空间为5~30数据包的容量。
在上述技术方案的基础上,步骤C1中所述数据包关联算法模块生成先入先出的数据包缓存列表之后,还包括以下步骤:预设数据包存储空间;步骤C4中所述将哈希数据包发送至信息采集模块包括以下步骤:将哈希数据包缓存至数据包存储空间,当所有哈希数据包均存储至存储空间后,将所有的哈希数据包发送至信息采集模块。
在上述技术方案的基础上,步骤C4之后还包括以下步骤:数据包关联算法模块释放数据包缓存列表的队列编号和数据,结束。
与现有技术相比,本发明的优点在于:
(1)本发明采集数据时,能够对所有数据包添加哈希值、并进行关联计算;数据包关联算法模块随机生成3个缓存列表已有数据包的编号,将缓存列表首端的数据包的哈希值记录在与3个编号对应数据包的尾端,缓存列表首端的数据包和其尾端的哈希值,形成带有计算结果的哈希数据包。
本发明采集数据时,若数据包集合出现缺失,数据包进行关联计算会出现2种情况:1、关联计算的哈希值存储的次数低于3次,2、某数据包不存在,但是存在针对该包的校验值;上述任何一种情况出现,均能够判断数据包集合内的数据包出现缺失。因此,本发明能够判断数据包集合内的数据包出现缺失,便于用户实时查找或添加缺失的数据包,能够解决数据遗失的问题;与现有技术中人工采集和监管数据相比,本发明不仅工作效率较高,而且能够有效防止多数据包传递时数据遗失,提高监管结论的正确率。
(2)本发明利用哈希值对计算结果的分布式存储来实现数据包采集,由于哈希值的基础算法是一种非常成熟,数据采集精度较高的算法,因此,本发明基于标准的哈希算法来实现数据包内一致性检查,基于交叉验证来实现多数据包完整性检查,比较安全。
(3)本发明使用在常规环境下均可使用,对操作系统、硬件平台和传递的网络结构均没有任何限制,适用范围比较广泛。
(4)本发明主要用于小贷监管数据采集,但同时也为其他金融机构监管数据采集方式提供支持,应用比较广泛。
附图说明
图1为本发明实施例中用于小额贷款公司的监管数据采集系统的结构框图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示,本发明实施例中的用于小额贷款公司的监管数据采集系统,包括信息采集模块、数据包组合模块、数据包关联算法模块、数据采集模块、数据包校验模块和数据包分离模块。
信息采集模块、数据包组合模块和数据包关联算法模块顺次首尾相连,信息采集模块与数据采集模块相连,数据采集模块、数据包校验模块和数据包分离模块顺次首尾相连。
本发明实施例中基于上述系统的用于小额贷款公司的监管数据采集方法,包括以下步骤:
S1:初始化监管数据采集系统,在数据包组合模块中预设数据包组合方式。
S2:信息采集模块从外部的客户业务数据系统获取监管业务数据。
S3:信息采集模块将监管业务数据发送至数据包组合模块,数据包组合模块按照预设数据包的组合方式,对监管业务数据中的所有小额贷款(以下简称小贷)业务数据资料进行混合组包,形成若干数据包,每一笔小贷业务数据对应1个数据包。每个数据包均包含相应小贷业务的全部数据,每个数据包均包括文字、图片和电子表格中的至少一种。
S4:数据包组合模块将所有数据包发送至数据包关联算法模块,数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,数据包关联算法模块将哈希数据包返回至信息采集模块。
S5:信息采集模块将哈希数据包发送至数据采集模块,数据采集模块将哈希数据包发送至数据包校验模块。数据包校验模块对哈希数据包进行交叉校验,若校验通过,转到步骤S6,否则数据包校验模块提示错误信息,结束。
S6:数据包校验模块将校验通过后的当前哈希数据包发送至数据包分离模块,数据包分离模块对当前哈希数据包进行解析,生成与当前哈希数据包对应小贷业务的数据信息、并将当前数据信息返回至数据采集模块,结束。
步骤S4中数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,包括以下步骤:
S401:数据包关联算法模块生成先入先出的数据包缓存列表,预设数据包缓存列表的缓存空间为5~30(本实施例中为10个)数据包的容量,以保证数据包算法插入的随机性和插入空间;预设数据包存储空间。
S402:数据包关联算法模块将数据包依次缓存至数据包缓存列表、并进行次序编号。
S403:数据包关联算法模块获取数据包缓存列表中所有数据包的原始内容数据、并对每个数据包的原始内容数据进行哈希运算,得到1个128位长的哈希值;将每个哈希值添加至对应数据包的尾端。
S404:判断缓存至数据包缓存列表的数据包容量是否大于缓存空间的容量,若是,转到步骤S405,否则继续执行步骤S403。
S405:数据包关联算法模块随机生成3个缓存列表已有数据包的编号,将缓存列表首端数据包的哈希值分别记录在与3个编号对应数据包的尾端。缓存列表首端的数据包及其尾端的哈希值,形成带有计算结果的哈希数据包,将哈希数据包发送至信息采集模块。
将哈希数据包发送至信息采集模块时,可以将哈希数据包缓存至数据包存储空间,当所有哈希数据包均存储至存储空间后,将所有的哈希数据包发送至信息采集模块。
S406:数据包关联算法模块释放数据包缓存列表的队列编号和数据,结束。
本发明不局限于上述实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种用于小额贷款公司的监管数据采集系统,其特征在于:包括信息采集模块、数据包组合模块、数据包关联算法模块、数据采集模块、数据包校验模块和数据包分离模块;信息采集模块、数据包组合模块和数据包关联算法模块顺次首尾相连,信息采集模块与数据采集模块相连,数据采集模块、数据包校验模块和数据包分离模块顺次首尾相连;
所述监管数据采集系统采集数据时,初始化监管数据采集系统,信息采集模块获取监管业务数据;信息采集模块将监管业务数据发送至数据包组合模块,数据包组合模块将监管业务数据中的所有小额贷款业务数据资料形成若干数据包;每一笔小贷业务数据对应1个数据包,每个数据包均包含相应小贷业务的全部数据;
数据包组合模块将所有数据包发送至数据包关联算法模块,数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,数据包关联算法模块将哈希数据包返回至信息采集模块;
信息采集模块将哈希数据包,通过数据采集模块发送至数据包校验模块;数据包校验模块对哈希数据包进行交叉校验;数据包校验模块将校验通过后的当前哈希数据包发送至数据包分离模块,数据包分离模块对当前哈希数据包进行解析,生成与当前哈希数据包对应小贷业务的数据信息、并将当前数据信息返回至数据采集模块,结束。
2.一种基于权利要求1所述系统的用于小额贷款公司的监管数据采集方法,其特征在于,包括以下步骤:
A、初始化监管数据采集系统,信息采集模块获取监管业务数据;
B、信息采集模块将监管业务数据发送至数据包组合模块,数据 包组合模块将监管业务数据中的所有小额贷款业务数据资料形成若干数据包;每一笔小贷业务数据对应1个数据包,每个数据包均包含相应小贷业务的全部数据;
C、数据包组合模块将所有数据包发送至数据包关联算法模块,数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,数据包关联算法模块将哈希数据包返回至信息采集模块;
D、信息采集模块将哈希数据包,通过数据采集模块发送至数据包校验模块;数据包校验模块对哈希数据包进行交叉校验;
E、数据包校验模块将校验通过后的当前哈希数据包发送至数据包分离模块,数据包分离模块对当前哈希数据包进行解析,生成与当前哈希数据包对应小贷业务的数据信息、并将当前数据信息返回至数据采集模块,结束。
3.如权利要求2所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤A中所述信息采集模块从外部的客户业务数据系统获取监管业务数据。
4.如权利要求2所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤A中所述初始化监管数据采集系统之后,还包括以下步骤:在数据包组合模块中预设数据包的组合方式;步骤B中所述数据包组合模块将监管业务数据中的所有小额贷款业务数据资料形成若干数据包,包括以下步骤:数据包组合模块按照预设数据包的组合方式,对所述业务数据资料进行混合组包,形成若干数据包。
5.如权利要求2所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤B中每个数据包均包括文字、图片和电子表格中的至少一种。
6.如权利要求2所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤D中所述数据包校验模块对哈希数据包进行交叉校验后,若校验未通过,数据包校验模块提示错误信息,结束。
7.如权利要求2至6任一项所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤C中数据包关联算法模块通过哈希值为所有数据包添加哈希值、进行关联计算,生成带有计算结果的哈希数据包,包括以下步骤:
C1、数据包关联算法模块生成先入先出的数据包缓存列表,预设数据包缓存列表的缓存空间;
C2、数据包关联算法模块将数据包依次缓存至数据包缓存列表、并进行次序编号;数据包关联算法模块获取数据包缓存列表中所有数据包的原始内容数据、并对每个数据包的原始内容数据进行哈希运算,得到1个128位长的哈希值;将每个哈希值添加至对应数据包的尾端;
C3、判断缓存至数据包缓存列表的数据包容量是否大于缓存空间的容量,若是,转到步骤C4,否则继续执行步骤C2;
C4、数据包关联算法模块随机生成3个缓存列表已有数据包的编号,将缓存列表首端数据包的哈希值分别记录在与3个编号对应数据包的尾端;缓存列表首端的数据包及其尾端的哈希值,形成带有计算结果的哈希数据包,将哈希数据包发送至信息采集模块,结束。
8.如权利要求7所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤C1中所述缓存空间为5~30数据包的容量。
9.如权利要求7所述的用于小额贷款公司的监管数据采集方法,其特征在于:步骤C1中所述数据包关联算法模块生成先入先出的数据包缓存列表之后,还包括以下步骤:预设数据包存储空间;步骤 C4中所述将哈希数据包发送至信息采集模块包括以下步骤:将哈希数据包缓存至数据包存储空间,当所有哈希数据包均存储至存储空间后,将所有的哈希数据包发送至信息采集模块。
10.如权利要求7所述的用于小额贷款公司的监管数据采集方法,其特征在于,步骤C4之后还包括以下步骤:数据包关联算法模块释放数据包缓存列表的队列编号和数据,结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410379861.5A CN104112228B (zh) | 2014-08-04 | 2014-08-04 | 用于小额贷款公司的监管数据采集系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410379861.5A CN104112228B (zh) | 2014-08-04 | 2014-08-04 | 用于小额贷款公司的监管数据采集系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104112228A CN104112228A (zh) | 2014-10-22 |
CN104112228B true CN104112228B (zh) | 2017-07-14 |
Family
ID=51709009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410379861.5A Active CN104112228B (zh) | 2014-08-04 | 2014-08-04 | 用于小额贷款公司的监管数据采集系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104112228B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481129B (zh) * | 2017-09-29 | 2023-10-13 | 台州保镖电子有限公司 | 用于财务咨询公司的财务数据管理系统 |
CN107644344B (zh) * | 2017-09-29 | 2018-10-02 | 翟羽 | 财务数据处理方法 |
CN108388616B (zh) * | 2018-02-09 | 2020-08-28 | 深圳壹账通智能科技有限公司 | 数据收集装置、方法、系统及计算机可读存储介质 |
CN110276680B (zh) * | 2019-05-24 | 2021-05-07 | 国家计算机网络与信息安全管理中心 | 一种应用于互联网金融的真实数据获取方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001088859A3 (en) * | 2000-05-18 | 2002-03-21 | Schrijver Stefaan De | Smartchip biometric device |
CN101212299A (zh) * | 2007-12-20 | 2008-07-02 | 熊猫电子集团有限公司 | 矿产资源产量税务监控方法 |
CN101547184A (zh) * | 2008-03-24 | 2009-09-30 | 突触计算机系统(上海)有限公司 | 一种用于对网络传输的数据块进行验证的方法和装置 |
CN102271043A (zh) * | 2011-08-26 | 2011-12-07 | 四川长虹电器股份有限公司 | 数据传输保护方法 |
CN102684999A (zh) * | 2012-04-20 | 2012-09-19 | 中兴通讯股份有限公司南京分公司 | 数据包处理方法及装置 |
CN103401930A (zh) * | 2013-08-05 | 2013-11-20 | 北京邮电大学 | 一种基于Web Service的工业监控方法及装置 |
CN103595590A (zh) * | 2013-11-28 | 2014-02-19 | 成都科来软件有限公司 | 一种数据包篡改检测方法、装置及系统 |
-
2014
- 2014-08-04 CN CN201410379861.5A patent/CN104112228B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001088859A3 (en) * | 2000-05-18 | 2002-03-21 | Schrijver Stefaan De | Smartchip biometric device |
CN101212299A (zh) * | 2007-12-20 | 2008-07-02 | 熊猫电子集团有限公司 | 矿产资源产量税务监控方法 |
CN101547184A (zh) * | 2008-03-24 | 2009-09-30 | 突触计算机系统(上海)有限公司 | 一种用于对网络传输的数据块进行验证的方法和装置 |
CN102271043A (zh) * | 2011-08-26 | 2011-12-07 | 四川长虹电器股份有限公司 | 数据传输保护方法 |
CN102684999A (zh) * | 2012-04-20 | 2012-09-19 | 中兴通讯股份有限公司南京分公司 | 数据包处理方法及装置 |
CN103401930A (zh) * | 2013-08-05 | 2013-11-20 | 北京邮电大学 | 一种基于Web Service的工业监控方法及装置 |
CN103595590A (zh) * | 2013-11-28 | 2014-02-19 | 成都科来软件有限公司 | 一种数据包篡改检测方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104112228A (zh) | 2014-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104112228B (zh) | 用于小额贷款公司的监管数据采集系统及方法 | |
CN104794170B (zh) | 基于指纹多重哈希布隆过滤器的网络取证内容溯源方法和系统 | |
CN105337991B (zh) | 一种一体化的报文流查找与更新方法 | |
CN110245956A (zh) | 一种基于异步多链的区块链交易确认方法及系统 | |
CN103763383B (zh) | 一体化云存储系统及其存储方法 | |
CN103959722B (zh) | 改进以太网网络的系统 | |
CN114285758B (zh) | 基于opnet的通信网络优化仿真系统、方法和装置 | |
CN103973801B (zh) | 一种无线传感器网络溯源追踪方法 | |
CN105491011B (zh) | 一种数据安全单向导出系统及方法 | |
CN106162219A (zh) | 视频云存储方法及系统、预览云存储的视频的方法及系统 | |
CN110096220A (zh) | 一种分布式存储系统、数据处理方法和存储节点 | |
CN108600161A (zh) | 一种公平高效的区块链共识方法 | |
CN108287905A (zh) | 一种网络流特征的提取与存储方法 | |
CN101447862A (zh) | 安全交换系统及其安全交换方法 | |
CN112766740A (zh) | 一种基于侧链的公共安全应急情报区块链共享模型及方法 | |
CN102420831A (zh) | 一种多域网包分类方法 | |
CN103685224A (zh) | 网络入侵检测方法 | |
CN104639390B (zh) | 系统的测试方法和装置 | |
CN101834763B (zh) | 高速网络环境下多类型大流并行测量方法 | |
CN109150550A (zh) | 一种电子数据动态哈希链共识存储系统及方法 | |
CN105530243B (zh) | 一种网络攻击事件定量分级算法的实现方法 | |
CN104461774B (zh) | 异步复制方法、装置与系统 | |
CN107608821A (zh) | 一种基于纠删码的数据读取方法、装置、设备 | |
CN104601583B (zh) | 一种ip流数据在线实时匿名化系统和方法 | |
CN106790057B (zh) | 一种基于节点可信度的ccn概率校验机制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |