CN110807025A - 一种基于自动化数据质量分析与稽核系统 - Google Patents

一种基于自动化数据质量分析与稽核系统 Download PDF

Info

Publication number
CN110807025A
CN110807025A CN201911014842.1A CN201911014842A CN110807025A CN 110807025 A CN110807025 A CN 110807025A CN 201911014842 A CN201911014842 A CN 201911014842A CN 110807025 A CN110807025 A CN 110807025A
Authority
CN
China
Prior art keywords
service
data
business
elements
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911014842.1A
Other languages
English (en)
Inventor
薛小朋
万洋
何坚
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Jiexin Information Technology Co Ltd
Original Assignee
Beijing Zhongke Jiexin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Jiexin Information Technology Co Ltd filed Critical Beijing Zhongke Jiexin Information Technology Co Ltd
Priority to CN201911014842.1A priority Critical patent/CN110807025A/zh
Publication of CN110807025A publication Critical patent/CN110807025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于自动化数据质量分析与稽核系统，该基于自动化数据质量分析与稽核系统包括数据分类单元，用于对业务元素按照业务种类进行分类，按照业务元素对应业务种类的方式存在在数据库中；数据核对单元，用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行核对，将业务元素对应的新的业务数据更新在所述数据库中；数据稽查单元，用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行稽查，按照设定时长删除历史业务数据。本发明的有益效果是：本申请能够将银行业务数据统一分类，并能对历史业务数据进行清除定期清除，避免商业银行的IT系统数据量高速膨胀。

Description

一种基于自动化数据质量分析与稽核系统
技术领域
本发明涉及到数据治理技术领域，尤其涉及到一种基于自动化数据质量分析与稽核系统。
背景技术
随着“大智移云链”等新技术的快速发展与深入应用，整个经济社会迎来了一场数字化的变革。银行业作为技术高度敏感的行业，历次重大技术创新都会对其运作模式产生深刻影响。近十年来，商业银行的IT系统数据量高速膨胀，这些海量的、散落在各处的异构数据导致数据资源的价值低、应用难度大等问题。加之外部数据难以自然地与内部数据进行有机融合，在这种背景下，数据治理成为商业银行无法回避的焦点话题。
发明内容
本发明的目的在于提供一种基于自动化数据质量分析与稽核系统，以解决上述背景技术中提出的问题。
本发明是通过以下技术方案实现：
本发明提供了一种基于自动化数据质量分析与稽核系统，该基于自动化数据质量分析与稽核系统包括数据分类单元，用于对业务元素按照业务种类进行分类，按照业务元素对应业务种类的方式存在在数据库中；
数据核对单元，用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行核对，将业务元素对应的新的业务数据更新在所述数据库中；
数据稽查单元，用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行稽查，按照设定时长删除历史业务数据。
优选的，所述数据分类单元包括：
定义模块，用于根据业务需要定义业务种类及业务种类下的业务元素；
存储模块，用于输入所定义的业务种类下的业务元素的业务数据，将所述业务数据、所述业务元素及所述业务种类按照树结构存贮在所述数据库中，所述业务元素及所述业务种类均作为所述树结构的节点。
优选的，所述数据核对单元包括：
数据导入模块，用于向对应业务种类下的业务元素中导入新的业务数据；
数据核对模块，用于对导入的新的业务数据与对应业务种类下的业务元素的历史业务数据进行比对，与历史业务数据不同时，将新的业务数据更新在所述数据库中对应业务种类下的业务元素中。
优选的，所述数据稽查单元包括：
数据稽查模块，用于对所述数据库中对应业务种类下的业务元素的历史业务数据的历史更新时间进行稽查，计算历史业务数据的历史存在时长；
稽查比较模块，用于将历史业务数据的历史存在时长与所述设定时长比较，得出比较阀值，所述比较阀值为历史业务数据的历史存在时长与所述设定时长的比值；
数据清除模块，用于在所述比较阀值大于1时，对所述数据库中对应业务种类下的业务元素的历史业务数据进行清除。
优选的，所述业务种类按业务复杂程度和对网点依赖程度包括：
传统业务，包括如下业务元素，分别为一般贷款、简单外汇买卖、贸易融资；
复杂业务，包括如下业务元素，分别为衍生产品、结构性融资、租赁、引进战略投资者、收购兼并上市。
优选的，所述业务种类按资产负债表的构成包括：
负债业务，为商业银行形成资金来源的业务，包括的业务元素为负债业务；
资产业务，包括如下业务元素，分别为贷款业务、证券投资业务、现金资产业务；
中间业务，包括如下业务元素，分别为交易业务、清算业务、支付结算业务、银行卡业务、代理业务、托管业务、担保业务、承诺业务、理财业务、电子银行业务。
在上述实施例中，本申请能够将银行业务数据统一分类，并能对历史业务数据进行清除定期清除，避免商业银行的IT系统数据量高速膨胀。
附图说明
图1是本发明实施例提供的基于自动化数据质量分析与稽核系统的结构框图。
图中：1-数据分类单元；11-定义模块；12-存储模块；2-数据核对单元；21-数据导入模块；22-数据核对模块；3-数据稽查单元；31-数据稽查模块；32-稽查比较模块；33-数据清除模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例提供的基于自动化数据质量分析与稽核系统，首先说明一下本发明实施例提供的基于自动化数据质量分析与稽核系统的应用场景，该基于自动化数据质量分析与稽核系统用于商业银行的IT 系统数据治理，以避免出现商业银行的IT系统数据量高速膨胀。下面结合具体的实施例对其进行详细说明。
请参考图1，图1是本发明实施例提供的基于自动化数据质量分析与稽核系统的结构框图。
如图1所示，该基于自动化数据质量分析与稽核系统包括数据分类单元1、数据核对单元2和数据稽查单元3，数据分类单元1、数据核对单元 2和数据稽查单元3三个单元配合以对商业银行的IT系统数据进行治理，以避免出现商业银行的IT系统数据量高速膨胀的想象。下面对三个单元各自的作用进行详细描述。
首先来说明数据分类单元1的作用，数据分类单元1是用于对业务元素按照业务种类进行分类，按照业务元素对应业务种类的方式存在在数据库中。通过数据分类单元1可以将商业银行的IT系统数据进行分类统计。
具体的，数据分类单元1包括定义模块11和存储模块12，其中，定义模块11用于根据业务需要定义业务种类及业务种类下的业务元素；存储模块12用于输入所定义的业务种类下的业务元素的业务数据，将所述业务数据、所述业务元素及所述业务种类按照树结构存贮在所述数据库中。所述业务元素及所述业务种类均作为所述树结构的节点。
所述业务元素根据所述业务种类划分的不同而又有不同的划分，具体有如下两种划分方式，具体如下：
第一种划分方式：所述业务种类(即银行业务，就是银行办理的业务) 按业务复杂程度和对网点依赖程度进行划分，所述业务种类可包括两大类，分别为传统业务和复杂业务。其中，所述传统业务包括如下业务元素，分别为一般贷款、简单外汇买卖、贸易融资，主要是靠大量分行网络、业务量来支持；所述复杂业务包括如下业务元素，分别为衍生产品、结构性融资、租赁、引进战略投资者、收购兼并上市，这些并不是非常依赖分行网络，是高技术含量、高利润的业务领域。
第二种划分方式：所述业务种类按资产负债表的构成进行划分，所述业务种类可包括三大类，分别为负债业务、资产业务和中间业务。所述负债业务为商业银行形成资金来源的业务，包括的业务元素同为负债业务；所述资产业务为商业银行运用资金的业务，包括如下业务元素，分别为贷款业务、证券投资业务、现金资产业务；所述中间业务是指不构成商业银行表内资产、表内负债形成银行非利息收入的业务，包括如下业务元素，分别为交易业务、清算业务、支付结算业务、银行卡业务、代理业务、托管业务、担保业务、承诺业务、理财业务、电子银行业务。
在对数据分类单元1对应存储到数据库中的业务种类及业务元素详细介绍后，下面来介绍数据核对单元2的作用。
数据核对单元2是用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行核对，将业务元素对应的新的业务数据更新在所述数据库中。通过数据核对单元2可以实时对商业银行的IT系统数据进行分类更新。
具体而言，数据核对单元2包括数据导入模块21和数据核对模块22，数据导入模块21用于向对应业务种类下的业务元素中导入新的业务数据；数据核对模块22用于对导入的新的业务数据与对应业务种类下的业务元素的历史业务数据进行比对，与历史业务数据不同时，将新的业务数据更新在所述数据库中对应业务种类下的业务元素中。
本申请具备了分类及更新功能后，还要对商业银行的IT系统中高速膨胀的数据进行分析稽查清除，数据稽查单元3就是用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行稽查，按照设定时长删除历史业务数据。通过数据稽查单元3，能够将存留的实效的历史业务数据清除，避免IT系统中数据量的高速膨胀。
进一步的，数据稽查单元3包括数据稽查模块31、稽查比较模块32和数据清除模块33，数据稽查模块31用于对所述数据库中对应业务种类下的业务元素的历史业务数据的历史更新时间进行稽查，计算历史业务数据的历史存在时长；稽查比较模块32用于将历史业务数据的历史存在时长与所述设定时长比较，得出比较阀值，所述比较阀值为历史业务数据的历史存在时长与所述设定时长的比值；数据清除模块33用于在所述比较阀值大于 1时，对所述数据库中对应业务种类下的业务元素的历史业务数据进行清除。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于自动化数据质量分析与稽核系统，其特征在于，包括：
数据分类单元，用于对业务元素按照业务种类进行分类，按照业务元素对应业务种类的方式存在在数据库中；
数据核对单元，用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行核对，将业务元素对应的新的业务数据更新在所述数据库中；
数据稽查单元，用于对存储在所述数据库中的对应业务种类下的业务元素的业务数据进行稽查，按照设定时长删除历史业务数据。
2.根据权利要求1所述的基于自动化数据质量分析与稽核系统，其特征在于，所述数据分类单元包括：
定义模块，用于根据业务需要定义业务种类及业务种类下的业务元素；
存储模块，用于输入所定义的业务种类下的业务元素的业务数据，将所述业务数据、所述业务元素及所述业务种类按照树结构存贮在所述数据库中，所述业务元素及所述业务种类均作为所述树结构的节点。
3.根据权利要求1所述的基于自动化数据质量分析与稽核系统，其特征在于，所述数据核对单元包括：
数据导入模块，用于向对应业务种类下的业务元素中导入新的业务数据；
数据核对模块，用于对导入的新的业务数据与对应业务种类下的业务元素的历史业务数据进行比对，与历史业务数据不同时，将新的业务数据更新在所述数据库中对应业务种类下的业务元素中。
4.根据权利要求1所述的基于自动化数据质量分析与稽核系统，其特征在于，所述数据稽查单元包括：
数据稽查模块，用于对所述数据库中对应业务种类下的业务元素的历史业务数据的历史更新时间进行稽查，计算历史业务数据的历史存在时长；
稽查比较模块，用于将历史业务数据的历史存在时长与所述设定时长比较，得出比较阀值，所述比较阀值为历史业务数据的历史存在时长与所述设定时长的比值；
数据清除模块，用于在所述比较阀值大于1时，对所述数据库中对应业务种类下的业务元素的历史业务数据进行清除。
5.根据权利要求1所述的基于自动化数据质量分析与稽核系统，其特征在于，所述业务种类按业务复杂程度和对网点依赖程度包括：
传统业务，包括如下业务元素，分别为一般贷款、简单外汇买卖、贸易融资；
复杂业务，包括如下业务元素，分别为衍生产品、结构性融资、租赁、引进战略投资者、收购兼并上市。
6.根据权利要求1所述的基于自动化数据质量分析与稽核系统，其特征在于，所述业务种类按资产负债表的构成包括：
负债业务，为商业银行形成资金来源的业务，包括的业务元素为负债业务；
资产业务，包括如下业务元素，分别为贷款业务、证券投资业务、现金资产业务；
中间业务，包括如下业务元素，分别为交易业务、清算业务、支付结算业务、银行卡业务、代理业务、托管业务、担保业务、承诺业务、理财业务、电子银行业务。
CN201911014842.1A 2019-10-24 2019-10-24 一种基于自动化数据质量分析与稽核系统 Pending CN110807025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911014842.1A CN110807025A (zh) 2019-10-24 2019-10-24 一种基于自动化数据质量分析与稽核系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911014842.1A CN110807025A (zh) 2019-10-24 2019-10-24 一种基于自动化数据质量分析与稽核系统

Publications (1)

Publication Number Publication Date
CN110807025A true CN110807025A (zh) 2020-02-18

Family

ID=69489072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911014842.1A Pending CN110807025A (zh) 2019-10-24 2019-10-24 一种基于自动化数据质量分析与稽核系统

Country Status (1)

Country Link
CN (1) CN110807025A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887546A (zh) * 2010-06-28 2010-11-17 深圳市拜特科技股份有限公司 实现稽核对账的方法、稽核对账系统及营收稽核系统
CN102724108A (zh) * 2012-05-22 2012-10-10 库柏资讯软体股份有限公司 网络封包及数据库封包稽核系统及其关联性稽核装置
CN103473672A (zh) * 2013-09-30 2013-12-25 国家电网公司 企业级数据中心的元数据质量稽核系统、方法及平台
CN105761010A (zh) * 2016-02-24 2016-07-13 国网山东省电力公司 基于实时数据采集的集团企业稽核实时监控方法及系统
CN108470228A (zh) * 2017-02-22 2018-08-31 国网能源研究院 财务数据稽核方法及稽核系统
CN109254893A (zh) * 2018-08-20 2019-01-22 彩讯科技股份有限公司 一种业务数据稽核方法、装置、服务器和存储介质
US20190080398A1 (en) * 2017-09-12 2019-03-14 Pramod Jain Automated collateral risk and business performance assessment system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887546A (zh) * 2010-06-28 2010-11-17 深圳市拜特科技股份有限公司 实现稽核对账的方法、稽核对账系统及营收稽核系统
CN102724108A (zh) * 2012-05-22 2012-10-10 库柏资讯软体股份有限公司 网络封包及数据库封包稽核系统及其关联性稽核装置
CN103473672A (zh) * 2013-09-30 2013-12-25 国家电网公司 企业级数据中心的元数据质量稽核系统、方法及平台
CN105761010A (zh) * 2016-02-24 2016-07-13 国网山东省电力公司 基于实时数据采集的集团企业稽核实时监控方法及系统
CN108470228A (zh) * 2017-02-22 2018-08-31 国网能源研究院 财务数据稽核方法及稽核系统
US20190080398A1 (en) * 2017-09-12 2019-03-14 Pramod Jain Automated collateral risk and business performance assessment system
CN109254893A (zh) * 2018-08-20 2019-01-22 彩讯科技股份有限公司 一种业务数据稽核方法、装置、服务器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马恒山等: "工行河北省分行非现场稽核监督系统的设计和实现", 《金融电子化》 *

Similar Documents

Publication Publication Date Title
Huang et al. Deep learning in finance and banking: A literature review and classification
Sadok et al. Artificial intelligence and bank credit analysis: A review
CN110458693A (zh) 一种企业贷款自动审批方法、装置、存储介质及电子设备
CN111985937A (zh) 交易商价值信息评估方法、系统、存储介质、计算机设备
CN110264342A (zh) 一种基于机器学习的业务审核方法及装置
CN110796539A (zh) 一种征信评估方法及装置
KR20210137604A (ko) 인공지능 데이터 자동 분석 방법 및 분석 시스템
CN115545886A (zh) 逾期风险识别方法、装置、设备及存储介质
CN115526700A (zh) 风险的预测方法、装置及电子设备
Milani et al. Decomposition driven consolidation of process models
CN114862110A (zh) 商业银行业务中台构建方法、装置、电子设备及存储介质
CN109767333A (zh) 选基方法、装置、电子设备及计算机可读存储介质
Nguyen et al. CORPORATE GOVERNANCE AND BANK PERFORMANCE: A CASE OF VIETNAM BANKING SECTOR.
Soltan et al. A hybrid model using decision tree and neural network for credit scoring problem
CN112950290A (zh) 经济依存客户的挖掘方法、装置、存储介质及电子设备
CN111221855B (zh) 一种数据处理方法和装置
Yang et al. The extraction of early warning features for predicting financial distress based on XGBoost model and shap framework
CN110807025A (zh) 一种基于自动化数据质量分析与稽核系统
CN102393945B (zh) 一种用于风险加权资产计算的数据处理方法和系统
US10235719B2 (en) Centralized GAAP approach for multidimensional accounting to reduce data volume and data reconciliation processing costs
CN115034685A (zh) 客户价值评估方法、装置和计算机可读存储介质
Krumrey et al. A cash-flow-based optimization model for corporate cash management: a Monte-Carlo simulation approach
Niknya et al. Financial distress prediction of Tehran Stock Exchange companies using support vector machine
CN114418736A (zh) 一种银行零售信贷客户分层方法、存储介质和服务器
CN114004699A (zh) 基于人工智能的风险管控方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200218

WD01 Invention patent application deemed withdrawn after publication