CN111581210A - 数据的导入方法及系统 - Google Patents

数据的导入方法及系统 Download PDF

Info

Publication number
CN111581210A
CN111581210A CN202010360274.7A CN202010360274A CN111581210A CN 111581210 A CN111581210 A CN 111581210A CN 202010360274 A CN202010360274 A CN 202010360274A CN 111581210 A CN111581210 A CN 111581210A
Authority
CN
China
Prior art keywords
data
template
target
import
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010360274.7A
Other languages
English (en)
Inventor
李恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010360274.7A priority Critical patent/CN111581210A/zh
Publication of CN111581210A publication Critical patent/CN111581210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能,提供一种数据的导入方法,方法包括:获取用户于终端上传的多个Excel格式的数据模板,根据多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中;获取所述用户上传的目标数据包及与目标所述数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板;根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。此外,本发明还涉及区块链技术,相关数据可存储于区块链节点中。本发明加快了ABS产品基础资产数据导入到数据库的速度,在导入的过程对数据进行校验,保证了导入到数据库中的数据的合规性。

Description

数据的导入方法及系统
技术领域
本发明实施例涉及人工智能领域,尤其涉及一种数据的导入方法、系统、计算机设备及存储介质。
背景技术
资产证券化(Asset-backed Securities,ABS)是指以基础资产未来所产生的现金流为偿付支持,通过结构化设计进行信用增级,在此基础上发行资产支持证券的过程。智能ABS系统平台的作用是实现资产穿透,包装底层资产,其中非常关键的一个功能即需要导入底层基础资产。而ABS产品的基础资产种类繁多,每一类基础资产涉及的资产要素也各不相同,在基础资产数据导入的过程中,由于数据来源本身存在的问题,可能导致数据不合规,一旦资产导入数据有问题,用户又很难在海量资产数据中找到问题所在。
故,本发明旨在解决ABS产品基础资产数据的导入速度慢和数据的合规性校验的问题。
发明内容
有鉴于此,本发明实施例提供了一种数据的导入方法、系统、计算机设备及计算机可读存储介质,能够加快ABS产品基础资产数据导入到数据库的速度,并在导入的过程对数据进行校验,保证了导入到数据库中的数据的合规性。
本发明实施例是通过下述技术方案来解决上述技术问题:
一种数据的导入方法,包括:
获取用户于终端上传的多个Excel格式的数据模板,其中,每个所述数据模板包括多个原始字段及与所述多个原始字段对应的多个属性,根据所述多个数据模板多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中,其中,每个数据导入模板至少包括:数据类型代码、数据类型名称、多个模板字段及每个模板字段的字段属性;
获取所述用户上传的目标数据包及与所述目标数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,其中,所述目标数据包为Excel格式,且所述目标数据包包括多个目标字段及与每个目标字段对应的数据;
根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。
进一步地,所述
根据所述多个原始字段及所述多个属性多个数据模板在预设的数据库中配置对应的多个数据导入模板之后,还包括:
根据每个数据导入模板中每个模板字段的字段属性,生成与所述数据导入模板对应的数据包中数据格式的校验规则,其中,所述校验规则用于在将所述与所述数据导入模板对应的数据包导入到所述数据库中时,对所述与所述数据导入模板对应的数据包中数据的格式进行校验。
进一步地,所述根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板的步骤,包括:
将所述目标数据类型名称与所述多个数据导入模板中的多个数据类型名称进行匹配,以根据匹配结果获取与所述目标数据类型名称对应的目标数据导入模板。
进一步地,所述获取与所述目标数据类型名称对应的目标数据导入模板的步骤之后,还包括:
将所述目标数据包的多个目标字段与所述目标数据导入模板中对应的多个模板字段进行匹配;
当所述目标数据包的目标多个字段与所述目标数据导入模板的多个模板字段不完全匹配时,生成模板错误提示信息,并将所述模板错误提示信息发送给所述终端。
进一步地,所述根据所述目标数据导入模板将所述目标数据包导入到所述数据库中的步骤,包括:
将所述目标数据包由Excel格式转换成List格式,以得到导入数据包;
遍历所述导入数据包中的数据,并根据Java反射机制在所述数据库中生成与所述导入数据包对应的数据模型;
根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中。
进一步地,所述将所述目标数据包由Excel格式转换成List格式的步骤之后,还包括:
根据所述校验规则对所述导入数据包中的数据格式进行校验;
当所述导入数据包中存在校验不合格的数据格式时,将所述导入数据包中与所述校验不合格的数据格式对应的数据进行标记,以得到标记数据包,并将所述标记数据包反馈给所述终端。
进一步地,所述根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中的步骤,包括:
根据所述导入数据包所占存储空间的大小,将所述导入数据包中的数据分成多部分,并存储到所述数据库中。
为了实现上述目的,本发明实施例还提供一种数据的导入系统,包括:
配置模块,用于获取用户于终端上传的多个Excel格式的数据模板,其中,每个所述数据模板包括多个原始字段及与所述多个原始字段对应的多个属性,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中,其中,每个数据导入模板至少包括:数据类型代码、数据类型名称、多个模板字段及每个模板字段的字段属性;
筛选模块,用于获取所述用户上传的目标数据包及与所述目标数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,其中,所述目标数据包为Excel格式,且所述目标数据包包括多个目标字段及与每个目标字段对应的数据;
导入模块,用于根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。
为了实现上述目的,本发明实施例还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述数据的导入方法的步骤。
为了实现上述目的,本发明实施例还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有计算机程序,其中,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如上所述的数据的导入方法的步骤。
本发明实施例提供的数据的导入方法、系统、计算机设备及计算机可读存储介质,能够加快ABS产品基础资产数据的导入速度,并在导入的过程中对数据进行校验,保证了数据的合规性。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为本发明实施例一之数据的导入方法的步骤流程图;
图2为本发明实施例二之数据的导入系统的程序模块示意图;
图3为本发明实施例三之计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
实施例一
请参阅图1,示出了本发明实施例一之数据的导入方法的步骤流程图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述,具体如下:
步骤S100,获取用户于终端上传的多个Excel格式的数据模板,其中,每个所述数据模板包括多个原始字段及与所述多个原始字段对应的多个属性,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中,其中,每个数据导入模板至少包括:数据类型代码、数据类型名称、多个模板字段及每个模板字段的字段属性。
具体的,每一个数据模板对应一种数据类型,以ABS产品基础资产数据为例,一个数据模板则对应一种资产类型。所述资产类型至少包括:房产抵押贷款、汽车抵押贷款、个人消费贷款、融资租赁(个人)、CMBS、政府补贴、信用卡、企业贷款、融资租赁(企业)、票据、应收账款、住房租赁、收费权、信托收益权、REITS、供应链资产和汽车供应链。所述数据模板为Excel格式文件,分为两个sheet页。其中,第一个sheet页是关于数据模板中的字段的填写说明,第二个sheet页是所述字段以及每一个所述字段的填写范例,所述填写说明是对所述字段的填写要求的说明。以政府补贴类型资产数据为例,所述字段有:资产编号、合同编号、客户编号、补贴权人全称、付款人全称、项目全称、项目所在区域、补贴款余额(元)、财务确认日、封包日、到期日、预期付款日、补贴余额(元)等等,待分析的数据模型、数据类型还可以对应宏观经济相关数据等。
根据所述填写说明及所述字段,在数据库中生成数据导入模板,所述数据导入模板包括模板标识、与所述数据模板对应的字段以及每一字段的属性。具体的,所述模板标识包括模板类型名称和类型代码,所述属性至少包括所述字段的中文标识、字段的英文标识、值类型、是否可下拉选值、字段长度、是否必填和显示格式。将所述数据导入模板与需要上传的数据进行匹配,当匹配成功时,将所述数据导入到数据库中。
示例性地,用户通过终端上传了资产类型为“政府补贴”的数据模板,所述数据模板以Excel文件的格式上传。其中,所述Excel文件有两个sheet页,第一个sheet页是关于模板内容的填写说明:“资产编号”的值类型为string、“项目所在地”字段可下拉选值、“到期日”字段为非必填、“补贴款余额(元)”的值类型为number、“项目全称”的字段长度为100、“预期到款日”显示格式为yyyy-mm-dd等等。第二个sheet页是政府补贴类型资产的字段以及每一个字段的填写范例,所述字段包括资产编号、合同编号、客户编号、补贴权人全称、付款人全称、项目全称、项目所在区域、补贴款余额(元)、财务确认日、封包日、到期日、预期付款日、补贴余额(元)。
在一较佳实施例中,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板之后,还根据每个数据导入模板中每个模板字段的字段属性,生成与所述数据导入模板对应的数据包中数据格式的校验规则,其中,所述校验规则用于在将所述与所述数据导入模板对应的数据包导入到所述数据库中时,对所述与所述数据导入模板对应的数据包中数据的格式进行校验。
示例性的,“政府补贴”类型资产的数据导入模板中有字段“预期到款日”,其字段属性为:显示格式2020-02-02。则根据该属性,设置该字段格式对应的校验规则为:\\d {4}-\\d{2}-\\d{2}
在另一较佳实施例中,将所述多个数据导入模板保存于所述数据库中之后,还根据所述多个模板字段确定与所述多个模板字段对应的多个维度,并根据所述多个维度建立对应的统计分析模型。
具体地,根据数据导入模板中的多个字段,确定与所述多个字段对应的多个维度,并根据所述多个维度建立与该数据导入模板对应的统计分析模型,并配置所述统计分析模型中的基础分析模块、现金流分析模块、维度分析模块。
示例性地,以“应收账款”类型资产数据为例,根据该资产类型建立的统计分析模型中,配置有基础分析模块、现金流分析模块、维度分析模块。其中,维度分析模块设有下拉框,可以下拉选择合同金额、合同期限、还款方式、应收账款余额、业务区域、债务人地区等维度。当键选了“合同金额”维度,所述统计分析模型可以根据该维度对资产数据进行分析,并生成要素分析结果。例如根据“合同金额”维度将合同金额分成“30-50万”、“50-100万”、“100-1000万”、“1000万以上”四个数值段,然后分别统计每个数值段的未偿本金余额及其占比、借据笔数及其占比、平均每笔余额(万元)、加权平均期限(月),同时将所述占比以统计图的形式展示(例如扇形统计图)。需要注意的是,合同金额的数值段和单位(万元)可以任意配置,例如:合同金额的单位可以配置为百万元。
步骤S102,获取所述用户上传的目标数据包及与所述目标数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,其中,所述目标数据包为Excel格式,且所述目标数据包包括多个目标字段及与每个目标字段对应的数据。
具体地,所述数据包指的是需要上传的数据的集合,通常是Excel文件的形式。用户在上传数据包时,需要从预设的多个数据类型名称中勾选与该数据包对应的数据类型名称。然后所述计算机设备将用户勾选的所述数据类型名称,与数据库中多个数据导入模板的多个数据类型名称进行匹配;当匹配成功时,则获取包括所述数据类型名称的数据导入模板。
示例性地,用户上传“政府补贴”类型资产数据时勾选了预设的数据类型名称“政府补贴”,则所述计算机设备根据所述数据类型名称“政府补贴”,与数据库多个数据导入模板的多个数据类型名称进行匹配。当匹配到数据类型名称为“政府补贴”的数据导入模板时,则确定该数据导入模板为目标数据导入模板。
在一较佳实施例中,获取与所述目标数据类型名称对应的目标数据导入模板之后,还将所述目标数据包的多个目标字段与所述目标数据导入模板中对应的多个模板字段进行匹配。当所述目标数据包的多个目标字段与所述目标数据导入模板的多个模板字段不完全匹配时,生成模板错误提示信息,并将所述模板错误提示信息发送给所述终端。
示例性的,用户上传了“政府补贴”类型数据包时,所述计算机设备通过将数据包中的表头字段与“政府补贴”数据导入模板的模板字段进行匹配,当所述表头字段与所述模板字段不完全匹配时,则生成模板错误提示信息“error:导入的数据类型不匹配”,并将所述模板错误提示信息发送给所述终端。
步骤S104,根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。
在一较佳实施例中,根据所述目标数据导入模板将所述目标数据包导入到所述数据库中时,将所述目标数据包由Excel格式转换成List格式,以得到导入数据包。然后遍历所述导入数据包中的数据,并根据Java反射机制在所述数据库中生成与所述导入数据包对应的数据模型;根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中。
具体的,Java反射机制是Java语言的一种特征,通过在运行Java程序时候动态加载类,从而对于任意一个类,都能够知道这个类的所有属性和方法,不需要提前在编译期解析运行的对象,并且可以操作类或对象内部属性。在本实施例中,通过Java反射机制,可以获取目标数据包中数据的字符类型和格式等属性,进而可以根据这些属性在数据库中生成对应的数据模型,并通过数据模型将数据包中的数据导入到数据库中。
在另一较佳实施例中,将所述目标数据包由Excel格式转换成List格式之后,还根据所述校验规则对所述导入数据包中的数据格式进行校验。当所述导入数据包中存在校验不合格的数据格式时,则将所述导入数据包中与所述校验不合格的数据格式对应的数据进行标记,以得到标记数据包,并将所述标记数据包反馈给所述终端。
示例性的,以检验“政府补贴”类型数据中“资产编号”字段为例。首先,从“政府补贴”数据导入模板中获取的“资产编号”字段的检验规则为:字段值为必填、值类型为string、字段长度为32。接着,将list数据中对应“资产编号”字段的值全部根据所述校验规则进行校验,例如:检验该字段中的值是否为空值、值类型是否为string、字段长度是否为32。当存在校验不合格的数值,则在Excel文件中进行标记,然后将所述标记后的Excel文件发送给终端。
在另一较佳实施例中,在根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中时,还根据所述导入数据包所占存储空间的大小,将所述导入数据包中的数据分成多部分,并分别存储到所述数据库中。
具体的,根据所述导入数据包的数据量大小计算出偏移量,根据所述偏移量将所述数据包等值地切分成多个数据组。然后根据所述偏移量计算出java可提供的线程数,通过多线程同时对所述多个数据组进行处理,以将所述多个数据组同时存储到所述数据库中。处理完成的线程进行释放,对正在排队的后续数据组继续处理。所述偏移量用于表征单次处理数据量的大小。
示例性地,用户上传的“政府补贴”类型数据包中共有10万条数据,逐条插入数据库效率极慢,但是一次性将10万条数据批量插入可能导致数据库崩溃。在本实施例中,根据导入的数据包的数据量大小,把一批数据切割成几部分,开多线程同时分批处理,既保证了数据库的稳定又保证了数据读写的效率。
本发明实施例通过在数据库中配置数据导入模板和数据校验规则,能够加快ABS产品基础资产数据导入到数据库的速度,并在导入的过程对数据进行校验,保证了导入到数据库中的数据的合规性。
实施例二
请参阅图2,示出了本发明实施例二之数据的导入系统的程序模块示意图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。在本实施例中,数据的导入系统20可以包括或被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本发明,并可实现上述数据的导入方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述数据的导入系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能:
配置模块200,用于获取用户于终端上传的多个Excel格式的数据模板,其中,每个所述数据模板包括多个原始字段及与所述多个原始字段对应的多个属性,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中,其中,每个数据导入模板至少包括:数据类型代码、数据类型名称、多个模板字段及每个模板字段的字段属性。
具体的,每一个数据模板对应一种数据类型,以ABS产品基础资产数据为例,一个数据模板则对应一种资产类型。所述资产类型至少包括:房产抵押贷款、汽车抵押贷款、个人消费贷款、融资租赁(个人)、CMBS、政府补贴、信用卡、企业贷款、融资租赁(企业)、票据、应收账款、住房租赁、收费权、信托收益权、REITS、供应链资产和汽车供应链。所述数据模板为Excel格式文件,分为两个sheet页。其中,第一个sheet页是关于数据模板中的字段的填写说明,第二个sheet页是所述字段以及每一个所述字段的填写范例,所述填写说明是对所述字段的填写要求的说明。以政府补贴类型资产数据为例,所述字段有:资产编号、合同编号、客户编号、补贴权人全称、付款人全称、项目全称、项目所在区域、补贴款余额(元)、财务确认日、封包日、到期日、预期付款日、补贴余额(元)等等。
所述配置模块200根据所述填写说明及所述字段,在数据库中生成数据导入模板,所述数据导入模板包括模板标识、与所述数据模板对应的字段以及每一字段的属性。具体的,所述模板标识包括模板类型名称和类型代码,所述属性至少包括所述字段的中文标识、字段的英文标识、值类型、是否可下拉选值、字段长度、是否必填和显示格式。将所述数据导入模板用于与需要上传的数据进行匹配,当匹配成功时,将所述数据导入到数据库中。
示例性地,用户通过终端上传了资产类型为“政府补贴”的数据模板,所述数据模板以Excel文件的格式上传。其中,所述Excel文件有两个sheet页,第一个sheet页是关于模板内容的填写说明:“资产编号”的值类型为string、“项目所在地”字段可下拉选值、“到期日”字段为非必填、“补贴款余额(元)”的值类型为number、“项目全称”的字段长度为100、“预期到款日”显示格式为yyyy-mm-dd等等。第二个sheet页是政府补贴类型资产的字段以及每一个字段的填写范例,所述字段包括资产编号、合同编号、客户编号、补贴权人全称、付款人全称、项目全称、项目所在区域、补贴款余额(元)、财务确认日、封包日、到期日、预期付款日、补贴余额(元)。
在一较佳实施例中,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板之后,所述配置模块200还根据每个数据导入模板中每个模板字段的字段属性,生成与所述数据导入模板对应的数据包中数据格式的校验规则,其中,所述校验规则用于在将所述与所述数据导入模板对应的数据包导入到所述数据库中时,对所述与所述数据导入模板对应的数据包中数据的格式进行校验。
示例性的,“政府补贴”类型资产的数据导入模板中有字段“预期到款日”,其字段属性为:显示格式2020-02-02。则所述配置模块200根据该属性,设置该字段格式对应的校验规则为:\\d{4}-\\d{2}-\\d{2}
在另一较佳实施例中,将所述多个数据导入模板保存于所述数据库中之后,所述配置模块200还根据所述多个模板字段确定与所述多个模板字段对应的多个维度,并根据所述多个维度建立对应的统计分析模型。
具体地,所述配置模块200根据数据导入模板中的多个字段,确定与所述多个字段对应的多个维度,并根据所述多个维度建立与该数据导入模板对应的统计分析模型,并配置所述统计分析模型中的基础分析模块、现金流分析模块、维度分析模块。
示例性地,以“应收账款”类型资产数据为例,根据该资产类型建立的统计分析模型中,配置有基础分析模块、现金流分析模块、维度分析模块。其中,维度分析模块设有下拉框,可以下拉选择合同金额、合同期限、还款方式、应收账款余额、业务区域、债务人地区等维度。当键选了“合同金额”维度,所述统计分析模型可以根据该维度对资产数据进行分析,并生成要素分析结果。例如根据“合同金额”维度将合同金额分成“30-50万”、“50-100万”、“100-1000万”、“1000万以上”四个数值段,然后分别统计每个数值段的未偿本金余额及其占比、借据笔数及其占比、平均每笔余额(万元)、加权平均期限(月),同时将所述占比以统计图的形式展示(例如扇形统计图)。需要注意的是,合同金额的数值段和单位(万元)可以任意配置,例如:合同金额的单位可以配置为百万元。
筛选模块202,用于获取所述用户上传的目标数据包及与所述目标数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,其中,所述目标数据包为Excel格式,且所述目标数据包包括多个目标字段及与每个目标字段对应的数据。
具体地,所述数据包指的是需要上传的数据的集合,通常是Excel文件的形式。用户在上传数据包时,需要从预设的多个数据类型名称中勾选与该数据包对应的数据类型名称。然后所述筛选模块202将用户勾选的所述数据类型名称,与数据库中多个数据导入模板的多个数据类型名称进行匹配;当匹配成功时,则获取包括所述数据类型名称的数据导入模板。
示例性地,用户上传“政府补贴”类型资产数据时勾选了预设的数据类型名称“政府补贴”,则所述筛选模块202根据所述数据类型名称“政府补贴”,与数据库多个数据导入模板的多个数据类型名称进行匹配。当匹配到数据类型名称为“政府补贴”的数据导入模板时,则确定该数据导入模板为目标数据导入模板。
在一较佳实施例中,获取与所述目标数据类型名称对应的目标数据导入模板之后,所述筛选模块202还将所述目标数据包的多个目标字段与所述目标数据导入模板中对应的多个模板字段进行匹配。当所述目标数据包的多个目标字段与所述目标数据导入模板的多个模板字段不完全匹配时,生成模板错误提示信息,并将所述模板错误提示信息发送给所述终端。
示例性的,用户上传了“政府补贴”类型数据包时,所述筛选模块202通过将数据包中的表头字段与“政府补贴”数据导入模板的模板字段进行匹配,当所述表头字段与所述模板字段不完全匹配时,则生成模板错误提示信息“error:导入的数据类型不匹配”,并将所述模板错误提示信息发送给所述终端。
导入模块204,用于根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。
在一较佳实施例中,所述导入模块204根据所述目标数据导入模板将所述目标数据包导入到所述数据库中时,将所述目标数据包由Excel格式转换成List格式,以得到导入数据包。然后遍历所述导入数据包中的数据,并根据Java反射机制在所述数据库中生成与所述导入数据包对应的数据模型。最后根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中。
具体的,Java反射机制是Java语言的一种特征,通过在运行Java程序时候动态加载类,从而对于任意一个类,都能够知道这个类的所有属性和方法,不需要提前在编译期解析运行的对象,并且可以操作类或对象内部属性。在本实施例中,通过Java反射机制,可以获取目标数据包中数据的字符类型和格式等属性,进而可以根据这些属性在数据库中生成对应的数据模型,并通过数据模型将数据包中的数据导入到数据库中。
在另一较佳实施例中,将所述目标数据包由Excel格式转换成List格式之后,所述导入模块204还根据所述校验规则对所述导入数据包中的数据格式进行校验。当所述导入数据包中存在校验不合格的数据格式时,则将所述导入数据包中与所述校验不合格的数据格式对应的数据进行标记,以得到标记数据包,并将所述标记数据包反馈给所述终端。
示例性的,以检验“政府补贴”类型数据中“资产编号”字段为例。首先,从“政府补贴”数据导入模板中获取的“资产编号”字段的检验规则为:字段值为必填、值类型为string、字段长度为32。接着,将list数据中对应“资产编号”字段的值全部根据所述校验规则进行校验,例如:检验该字段中的值是否为空值、值类型是否为string、字段长度是否为32。当存在校验不合格的数值,则在Excel文件中进行标记,然后将所述标记后的Excel文件发送给终端。
在另一较佳实施例中,在根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中时,所述导入模块204还根据所述导入数据包所占存储空间的大小,将所述导入数据包中的数据分成多部分,并分别存储到所述数据库中。
具体的,所述导入模块204根据所述导入数据包的数据量大小计算出偏移量,根据所述偏移量将所述数据包等值地切分成多个数据组。然后根据所述偏移量计算出java可提供的线程数,通过多线程同时对所述多个数据组进行处理。处理完成的线程进行释放,对正在排队的后续数据组继续处理。所述偏移量用于表征单次处理数据量的大小。
示例性地,用户上传的“政府补贴”类型数据包中共有10万条数据,逐条插入数据库效率极慢,但是一次性将10万条数据批量插入可能导致数据库崩溃。在本实施例中,根据导入的数据包的数据量大小,把一批数据切割成几部分,开多线程同时分批处理,既保证了数据库的稳定又保证了数据读写的效率。
本发明实施例通过在数据库中配置数据导入模板和数据校验规则,能够加快ABS产品基础资产数据导入到数据库的速度,并在导入的过程对数据进行校验,保证了导入到数据库中的数据的合规性。
实施例三
参阅图3,是本发明实施例三之计算机设备的硬件架构示意图。本实施例中,所述计算机设备2是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图3所示,所述计算机设备2至少包括,但不限于,可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据的导入系统20。其中:
本实施例中,存储器21至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备2的内部存储单元,例如该计算机设备2的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备2的外部存储设备,例如该计算机设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件,例如实施例二的数据的导入系统20的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行数据的导入系统20,以实现实施例一的数据的导入方法。
所述网络接口23可包括无线网络接口或有线网络接口,该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如,所述网络接口23用于通过网络将所述计算机设备2与外部终端相连,在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,GSM)、宽带码分多址(WidebandCode Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图3仅示出了具有部件20-23的计算机设备2,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器21中的所述数据的导入系统20还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器21中,并由一个或多个处理器(本实施例为处理器22)所执行,以完成本发明。
例如,图2示出了所述数据的导入系统20的程序模块示意图,该实施例中,所述数据的导入系统20可以被划分为配置模块200、筛选模块202和导入模块204。其中,本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序更适合于描述所述数据的导入系统20在所述计算机设备2中的执行过程。所述程序模块200-204的具体功能在实施例二中已有详细描述,在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储数据的导入系统20,被处理器执行时实现实施例一的数据的导入方法。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据的导入方法,其特征在于,包括:
获取用户于终端上传的多个Excel格式的数据模板,其中,每个所述数据模板包括多个原始字段及与所述多个原始字段对应的多个属性,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中,其中,每个数据导入模板至少包括:数据类型代码、数据类型名称、多个模板字段及每个模板字段的字段属性;
获取所述用户上传的目标数据包及与所述目标数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,其中,所述目标数据包为Excel格式,且所述目标数据包包括多个目标字段及与每个目标字段对应的数据;
根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。
2.根据权利要求1所述的数据的导入方法,其特征在于,所述根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板之后,还包括:
根据每个数据导入模板每个模板字段的字段属性,生成与所述数据导入模板对应的数据包中数据格式的校验规则,其中,所述校验规则用于在将所述与所述数据导入模板对应的数据包导入到所述数据库中时,对所述与所述数据导入模板对应的数据包中数据的格式进行校验。
3.根据权利要求1所述的数据的导入方法,其特征在于,所述根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,包括:
将所述目标数据类型名称与所述多个数据导入模板中的多个数据类型名称进行匹配,以根据匹配结果获取与所述目标数据类型名称对应的目标数据导入模板。
4.根据权利要求3所述的数据的导入方法,其特征在于,所述获取与所述目标数据类型名称对应的目标数据导入模板之后,还包括:
将所述目标数据包的多个目标字段与所述目标数据导入模板中对应的多个模板字段进行匹配;
当所述目标数据包的多个目标字段与所述目标数据导入模板的多个模板字段不完全匹配时,生成模板错误提示信息,并将所述模板错误提示信息发送给所述终端。
5.根据权利要求1所述的数据的导入方法,其特征在于,所述根据所述目标数据导入模板将所述目标数据包导入到所述数据库中,包括:
将所述目标数据包由Excel格式转换成List格式,以得到导入数据包;
遍历所述导入数据包中的数据,并根据Java反射机制在所述数据库中生成与所述导入数据包对应的数据模型;
根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中。
6.根据权利要求5所述的数据的导入方法,其特征在于,所述将所述目标数据包由Excel格式转换成List格式之后,还包括:
根据所述校验规则对所述导入数据包中的数据格式进行校验;
当所述导入数据包中存在校验不合格的数据格式时,将所述导入数据包中与所述校验不合格的数据格式对应的数据进行标记,以得到标记数据包,并将所述标记数据包反馈给所述终端。
7.根据权利要求5所述的数据的导入方法,其特征在于,所述根据所述数据模型将所述导入数据包中的数据映射并存储到所述数据库中,包括:
根据所述导入数据包所占存储空间的大小,将所述导入数据包中的数据分成多部分,并存储到所述数据库中。
8.一种数据的导入系统,其特征在于,包括:
配置模块,用于获取用户于终端上传的多个Excel格式的数据模板,其中,每个所述数据模板包括多个原始字段及与所述多个原始字段对应的多个属性,根据所述多个原始字段及所述多个属性在预设的数据库中配置对应的多个数据导入模板,并将所述多个数据导入模板保存于所述数据库中,其中,每个数据导入模板至少包括:数据类型代码、数据类型名称、多个模板字段及每个模板字段的字段属性;
筛选模块,用于获取所述用户上传的目标数据包及与所述目标数据包对应的目标数据类型名称,并根据所述目标数据类型名称从所述多个数据导入模板中筛选得到目标数据导入模板,其中,所述目标数据包为Excel格式,且所述目标数据包包括多个目标字段及与每个目标字段对应的数据;导入模块,用于根据所述目标数据导入模板将所述目标数据包导入到所述数据库中。
9.一种计算机设备,所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据的导入方法的步骤。
10.一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有计算机程序,其特征在于,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如权利要求1至7中任一项所述的数据的导入方法的步骤。
CN202010360274.7A 2020-04-30 2020-04-30 数据的导入方法及系统 Pending CN111581210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010360274.7A CN111581210A (zh) 2020-04-30 2020-04-30 数据的导入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010360274.7A CN111581210A (zh) 2020-04-30 2020-04-30 数据的导入方法及系统

Publications (1)

Publication Number Publication Date
CN111581210A true CN111581210A (zh) 2020-08-25

Family

ID=72111938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010360274.7A Pending CN111581210A (zh) 2020-04-30 2020-04-30 数据的导入方法及系统

Country Status (1)

Country Link
CN (1) CN111581210A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986030A (zh) * 2020-09-02 2020-11-24 河北幸福消费金融股份有限公司 数据处理方法、装置、存储介质以及计算机设备
CN112699252A (zh) * 2021-03-25 2021-04-23 成都数联铭品科技有限公司 应用于知识图谱的属性数据的处理方法及电子设备
CN112988868A (zh) * 2021-03-17 2021-06-18 首钢京唐钢铁联合有限责任公司 一种钢铁实验室数据处理方法及系统
CN113094345A (zh) * 2021-04-15 2021-07-09 浪潮通用软件有限公司 一种表格数据文件的导入方法及设备
CN113127428A (zh) * 2021-04-30 2021-07-16 深圳壹账通智能科技有限公司 数据批量导入方法、装置及相关设备
CN113779953A (zh) * 2021-11-10 2021-12-10 航天宏图信息技术股份有限公司 一种文档自动化生成方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657214A (zh) * 2018-09-27 2019-04-19 深圳壹账通智能科技有限公司 报表生成方法、装置、终端及存储介质
CN110147402A (zh) * 2019-05-22 2019-08-20 北大方正集团有限公司 Excel文件导入方法及设备、导出方法及设备
WO2019169693A1 (zh) * 2018-03-08 2019-09-12 平安科技(深圳)有限公司 数据快速批量导入方法、电子装置及计算机可读存储介质
WO2019205415A1 (zh) * 2018-04-22 2019-10-31 平安科技(深圳)有限公司 数据导入管理方法、装置、移动终端和存储介质
CN110781231A (zh) * 2019-09-19 2020-02-11 平安科技(深圳)有限公司 基于数据库的批量导入方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169693A1 (zh) * 2018-03-08 2019-09-12 平安科技(深圳)有限公司 数据快速批量导入方法、电子装置及计算机可读存储介质
WO2019205415A1 (zh) * 2018-04-22 2019-10-31 平安科技(深圳)有限公司 数据导入管理方法、装置、移动终端和存储介质
CN109657214A (zh) * 2018-09-27 2019-04-19 深圳壹账通智能科技有限公司 报表生成方法、装置、终端及存储介质
CN110147402A (zh) * 2019-05-22 2019-08-20 北大方正集团有限公司 Excel文件导入方法及设备、导出方法及设备
CN110781231A (zh) * 2019-09-19 2020-02-11 平安科技(深圳)有限公司 基于数据库的批量导入方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王彦飞;: "基于Arcgis Engine实现Excel数据采集与批量入库", 信息技术与信息化, no. 03 *
陈严纯;梁立;: "大数据导入数据库的方法与实现", 电脑编程技巧与维护, no. 18 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986030A (zh) * 2020-09-02 2020-11-24 河北幸福消费金融股份有限公司 数据处理方法、装置、存储介质以及计算机设备
CN111986030B (zh) * 2020-09-02 2023-09-08 河北幸福消费金融股份有限公司 数据处理方法、装置、存储介质以及计算机设备
CN112988868A (zh) * 2021-03-17 2021-06-18 首钢京唐钢铁联合有限责任公司 一种钢铁实验室数据处理方法及系统
CN112988868B (zh) * 2021-03-17 2022-12-13 首钢京唐钢铁联合有限责任公司 一种钢铁实验室数据处理方法及系统
CN112699252A (zh) * 2021-03-25 2021-04-23 成都数联铭品科技有限公司 应用于知识图谱的属性数据的处理方法及电子设备
CN112699252B (zh) * 2021-03-25 2021-07-23 成都数联铭品科技有限公司 应用于知识图谱的属性数据的处理方法及电子设备
CN113094345A (zh) * 2021-04-15 2021-07-09 浪潮通用软件有限公司 一种表格数据文件的导入方法及设备
CN113127428A (zh) * 2021-04-30 2021-07-16 深圳壹账通智能科技有限公司 数据批量导入方法、装置及相关设备
CN113779953A (zh) * 2021-11-10 2021-12-10 航天宏图信息技术股份有限公司 一种文档自动化生成方法和系统

Similar Documents

Publication Publication Date Title
CN111581210A (zh) 数据的导入方法及系统
CN109767212B (zh) 基于区块链的资产兑换方法、系统、终端及存储介质
CN108768929B (zh) 电子装置、征信反馈报文的解析方法及存储介质
WO2021042747A1 (zh) 发票图片识别及验真方法、系统、设备及可读存储介质
CN109657215A (zh) 基于模板的文档生成方法、设备、存储介质及装置
CN110147402A (zh) Excel文件导入方法及设备、导出方法及设备
CN110597511B (zh) 一种页面自动生成方法、系统、终端设备及存储介质
CN112650533B (zh) 接口文档的生成方法、装置和终端设备
CN107862425B (zh) 风控数据采集方法、设备、系统及可读存储介质
CN110727580A (zh) 响应数据生成、全流程接口数据处理方法及相关设备
CN110766545A (zh) 一种银行会计分录生成方法
CN113505580A (zh) 表格文件的解析方法和装置
CN112507212A (zh) 智能回访方法、装置、电子设备及可读存储介质
CN110309099A (zh) 接口管理方法、装置、设备及计算机可读存储介质
CN112785411A (zh) 征信数据处理方法、系统、设备及计算机可读存储介质
CN112115107A (zh) 合同文本自动生成方法及装置
CN111984674A (zh) 结构化查询语言的生成方法及系统
CN111405027B (zh) 区块链共识结果筛选方法、装置、计算机设备和存储介质
CN111177099A (zh) 业务系统的数据处理方法及装置、电子设备及存储介质
CN109324963B (zh) 自动测试收益结果的方法及终端设备
CN116360769A (zh) 代码生成方法、装置、设备及存储介质
CN113836145B (zh) 请求数据的方法、装置、电子设备及计算机可读存储介质
CN113051257B (zh) 一种业务数据清洗方法及装置
CN112950154B (zh) 流程信息匹配方法、装置、设备及存储介质
CN110610343A (zh) 业务流程的生成方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination