CN106227776A - 一种支撑智慧金融的数据预处理方法和装置 - Google Patents

一种支撑智慧金融的数据预处理方法和装置 Download PDF

Info

Publication number
CN106227776A
CN106227776A CN201610563824.9A CN201610563824A CN106227776A CN 106227776 A CN106227776 A CN 106227776A CN 201610563824 A CN201610563824 A CN 201610563824A CN 106227776 A CN106227776 A CN 106227776A
Authority
CN
China
Prior art keywords
data
finance
goal systems
file
wisdom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610563824.9A
Other languages
English (en)
Inventor
曾立军
吴永才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Junyi Digital Technology Co Ltd
Original Assignee
Sichuan Junyi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Junyi Digital Technology Co Ltd filed Critical Sichuan Junyi Digital Technology Co Ltd
Priority to CN201610563824.9A priority Critical patent/CN106227776A/zh
Publication of CN106227776A publication Critical patent/CN106227776A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了一种支撑智慧金融的数据预处理方法和装置，所述方法包括：获取金融数据，并将所述金融数据存储在源系统的第一数据库；将所述第一数据库中的金融数据迁移到目标系统；将目标系统中的金融数据进行分类。本发明对获得的原始金融数据进行预处理，将金融数据迁移到目标系统中，并将金融数据转换为统一格式，然后再根据金融数据的类型将金融数据进行分类，有利于提高金融数据的后续处理效率。

Description

一种支撑智慧金融的数据预处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别是涉及一种支撑智慧金融的数据预处理方法和装置。
背景技术
金融就是资金的流通，智慧金融就是资金更迅速、更高效、更安全的流通。智慧金融在信息社会伴随着社会化网络、物联网和云计算等技术在金融领域的伸入应用，带来的金融体系和商业模式的变革；这种金融变革，推动资金更顺畅的流通，更合理的配置，更安全的使用。在智慧金融的运转中，需要对大量数据进行处理，如何提高对数据的处理效率显得尤为重要。
发明内容
本发明的目的在于克服现有技术的不足，提供一种支撑智慧金融的数据预处理方法和装置，对金融数据进行预处理，有利于提高后续对金融数据的处理效率。
本发明的目的是通过以下技术方案来实现的：一种支撑智慧金融的数据预处理方法，包括：获取金融数据，并将所述金融数据存储在源系统的第一数据库；将所述第一数据库中的金融数据迁移到目标系统；将目标系统中的金融数据进行分类。
将源系统中的金融数据迁移到目标系统中，包括以下步骤：将所述第一数据库中的金融数据进行格式转换得到第一标准数据文件；接收源系统发送的第一标准数据文件；将所述第一标准数据文件转换为符合第二数据库结构的数据库数据；基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射，得到目标数据；所述映射关系表中记录有所述源系统与目标系统的数据映射关系；将所述目标数据进行格式转换，得到第二标准数据文件；将所述第二标准数据文件发送至所述目标系统，由所述目标系统对第二标准数据文件进行格式转换，得到符合所述目标系统中的第三数据库结构的数据库数据。
目标系统对第二标准数据文件进行格式转换之后，还包括：对第二标准数据文件中的缺失数据进行填补，空缺值用该属性平均值替代。
所述第二标准数据文件为CSV格式文档。
所述金融数据包括银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据。
一种支撑智慧金融的数据预处理装置，包括：金融数据获取模块，用于获取金融数据；第一数据存储模块，用于存储金融数据；数据迁移模块，用于将第一数据存储模块中的金融数据迁移到第二数据存储模块；第二数据存储模块，用于存储从第一数据存储模块中迁移过来的金融数据；数据分类模块，用于将第二数据存储模块中的金融数据进行分类。
所述金融数据包括银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据。
本发明的有益效果是：本发明对获得的原始金融数据进行预处理，将金融数据迁移到目标系统中，并将金融数据转换为统一格式，然后再根据金融数据的类型将金融数据进行分类，有利于提高金融数据的后续处理效率。
附图说明
图1为支撑智慧金融的数据预处理方法的流程图；
图2为支撑智慧金融的数据预处理装置的示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种支撑智慧金融的数据预处理方法，包括以下步骤：
步骤一、获取金融数据，并将所述金融数据存储在源系统的第一数据库。
步骤二、将所述第一数据库中的金融数据迁移到目标系统。
将源系统中的金融数据迁移到目标系统中，包括以下步骤：将所述第一数据库中的金融数据进行格式转换得到第一标准数据文件；接收源系统发送的第一标准数据文件；将所述第一标准数据文件转换为符合第二数据库结构的数据库数据；基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射，得到目标数据；所述映射关系表中记录有所述源系统与目标系统的数据映射关系；将所述目标数据进行格式转换，得到第二标准数据文件；将所述第二标准数据文件发送至所述目标系统，由所述目标系统对第二标准数据文件进行格式转换，得到符合所述目标系统中的第三数据库结构的数据库数据。
所述第二数据库的结构与第一数据库的结构可能相同，也可能不同。
所述映射关系表由相关人员填写映射关系表模板得到，然后将填写好的映射关系表导入数据迁移模块。
目标系统对第二标准数据文件进行格式转换之后，还包括：对第二标准数据文件中的缺失数据进行填补，空缺值用该属性平均值替代。
所述第二标准数据文件为CSV格式文档。
步骤三、将目标系统中的金融数据进行分类。
所述金融数据包括银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据。
所述将目标系统中的金融数据进行分类的方法包括以下两种：方法一，将目标系统中的金融数据按照数据类型进行分类，即将金融数据分为银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据等；方法二，将目标系统中的金融数据按照数据来源账户进行分类。
如图2所示，一种支撑智慧金融的数据预处理装置，包括：金融数据获取模块，用于获取金融数据；第一数据存储模块，用于存储金融数据；数据迁移模块，用于将第一数据存储模块中的金融数据迁移到第二数据存储模块；第二数据存储模块，用于存储从第一数据存储模块中迁移过来的金融数据；数据分类模块，用于将第二数据存储模块中的金融数据进行分类。
所述金融数据包括银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种支撑智慧金融的数据预处理方法，其特征在于：包括：
获取金融数据，并将所述金融数据存储在源系统的第一数据库；
将所述第一数据库中的金融数据迁移到目标系统；
将目标系统中的金融数据进行分类。
2.根据权利要求1所述的一种支撑智慧金融的数据预处理方法，其特征在于：将源系统中的金融数据迁移到目标系统中，包括以下步骤：
将所述第一数据库中的金融数据进行格式转换得到第一标准数据文件；
接收源系统发送的第一标准数据文件；
将所述第一标准数据文件转换为符合第二数据库结构的数据库数据；
基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射，得到目标数据；所述映射关系表中记录有所述源系统与目标系统的数据映射关系；
将所述目标数据进行格式转换，得到第二标准数据文件；
将所述第二标准数据文件发送至所述目标系统，由所述目标系统对第二标准数据文件进行格式转换，得到符合所述目标系统中的第三数据库结构的数据库数据。
3.根据权利要求2所述的一种支撑智慧金融的数据预处理方法，其特征在于：目标系统对第二标准数据文件进行格式转换之后，还包括：对第二标准数据文件中的缺失数据进行填补，空缺值用该属性平均值替代。
4.根据权利要求2所述的一种支撑智慧金融的数据预处理方法，其特征在于：所述第二标准数据文件为CSV格式文档。
5.根据权利要求1所述的一种支撑智慧金融的数据预处理方法，其特征在于：所述金融数据包括银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据。
6.一种支撑智慧金融的数据预处理装置，其特征在于：包括：
金融数据获取模块，用于获取金融数据；
第一数据存储模块，用于存储金融数据；
数据迁移模块，用于将第一数据存储模块中的金融数据迁移到第二数据存储模块；
第二数据存储模块，用于存储从第一数据存储模块中迁移过来的金融数据；
数据分类模块，用于将第二数据存储模块中的金融数据进行分类。
7.根据权利要求6所述的一种支撑智慧金融的数据预处理装置，其特征在于：所述金融数据包括银行卡交易记录数据、信用卡交易记录数据、理财产品交易记录数据、不动产估值数据和贷款数据。
CN201610563824.9A 2016-07-18 2016-07-18 一种支撑智慧金融的数据预处理方法和装置 Pending CN106227776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610563824.9A CN106227776A (zh) 2016-07-18 2016-07-18 一种支撑智慧金融的数据预处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610563824.9A CN106227776A (zh) 2016-07-18 2016-07-18 一种支撑智慧金融的数据预处理方法和装置

Publications (1)

Publication Number Publication Date
CN106227776A true CN106227776A (zh) 2016-12-14

Family

ID=57519625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610563824.9A Pending CN106227776A (zh) 2016-07-18 2016-07-18 一种支撑智慧金融的数据预处理方法和装置

Country Status (1)

Country Link
CN (1) CN106227776A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271971A (zh) * 2018-11-02 2019-01-25 广东工业大学 一种用于时序金融数据的降噪方法
CN111061793A (zh) * 2019-12-18 2020-04-24 中国建设银行股份有限公司 一种数据处理系统和方法
CN111062794A (zh) * 2019-12-25 2020-04-24 中国建设银行股份有限公司 一种金融审计数据交换标准模型
US20210064569A1 (en) * 2019-08-30 2021-03-04 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214099A1 (en) * 2006-03-09 2007-09-13 Miten Marfatia Pattern abstraction engine
CN102135963A (zh) * 2010-01-21 2011-07-27 深圳市智骏数据科技有限公司 数据迁移的方法和系统
CN102156699A (zh) * 2010-02-11 2011-08-17 陈巍 一种基于jdom解析技术的数据迁移方法
CN103559642A (zh) * 2013-11-04 2014-02-05 同济大学 基于云计算的金融数据挖掘方法
CN105335886A (zh) * 2014-05-28 2016-02-17 华为技术有限公司 处理金融数据的方法和设备
CN105354314A (zh) * 2015-11-10 2016-02-24 中国建设银行股份有限公司 数据迁移方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214099A1 (en) * 2006-03-09 2007-09-13 Miten Marfatia Pattern abstraction engine
CN102135963A (zh) * 2010-01-21 2011-07-27 深圳市智骏数据科技有限公司 数据迁移的方法和系统
CN102156699A (zh) * 2010-02-11 2011-08-17 陈巍 一种基于jdom解析技术的数据迁移方法
CN103559642A (zh) * 2013-11-04 2014-02-05 同济大学 基于云计算的金融数据挖掘方法
CN105335886A (zh) * 2014-05-28 2016-02-17 华为技术有限公司 处理金融数据的方法和设备
CN105354314A (zh) * 2015-11-10 2016-02-24 中国建设银行股份有限公司 数据迁移方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271971A (zh) * 2018-11-02 2019-01-25 广东工业大学 一种用于时序金融数据的降噪方法
US20210064569A1 (en) * 2019-08-30 2021-03-04 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
CN111061793A (zh) * 2019-12-18 2020-04-24 中国建设银行股份有限公司 一种数据处理系统和方法
CN111061793B (zh) * 2019-12-18 2023-10-31 中国建设银行股份有限公司 一种数据处理系统和方法
CN111062794A (zh) * 2019-12-25 2020-04-24 中国建设银行股份有限公司 一种金融审计数据交换标准模型

Similar Documents

Publication Publication Date Title
CN106227776A (zh) 一种支撑智慧金融的数据预处理方法和装置
CN110533018B (zh) 一种图像的分类方法及装置
CN112365355B (zh) 实时计算基金估值和风险指标的方法、装置及可读介质
Bedeley Big Data opportunities and challenges: the case of banking industry
Yuan et al. Electric power investment risk assessment for Belt and Road Initiative nations
TWI673617B (zh) 使用者背景資訊的收集方法及裝置
CN106293541A (zh) 一种存储系统的日志管理方法和系统
CN104281697A (zh) 一种基于语义的大数据分析系统
Bhatnagar et al. Can Industry 4.0 revolutionize the Wave of green finance adoption: A bibliometric analysis
CN107679544A (zh) 数据自动匹配方法、电子设备及计算机可读存储介质
CN107066532A (zh) 一种生成企业横纵向关系图的方法及系统
US10997129B1 (en) Data set virtual neighborhood characterization, provisioning and access
CN111061870A (zh) 文章的质量评价方法及装置
CN112633898B (zh) 一种粮食产品信息溯源方法、装置及计算机设备
CN106776654B (zh) 一种数据搜索方法及装置
Sulova Big data processing in the logistics industry
Singh The iot applications and consideration for nosql database
CN113762158A (zh) 无边框表格复原模型训练方法、装置、计算机设备和介质
CN107885806A (zh) 板块智能划分方法与装置、计算设备和存储介质
Balakrishnan The Role of Data Science in Big Data Analysis-Overview
CN105447719A (zh) 一种适用于大数据分析的数据处理方法
CN113051484A (zh) 确定热点社交类信息的方法及装置
CN104765777B (zh) 一卡通rfid数据转化为过程事件日志的方法和系统
Fang et al. A Detailed Examination of China’s Clean Energy Mineral Consumption: Footprints, Trends, and Drivers
CN105243063A (zh) 信息推荐的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161214