CN110941593B - 一种文件入库系统及方法 - Google Patents

一种文件入库系统及方法 Download PDF

Info

Publication number
CN110941593B
CN110941593B CN201911220829.1A CN201911220829A CN110941593B CN 110941593 B CN110941593 B CN 110941593B CN 201911220829 A CN201911220829 A CN 201911220829A CN 110941593 B CN110941593 B CN 110941593B
Authority
CN
China
Prior art keywords
file
warehousing
data
data file
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911220829.1A
Other languages
English (en)
Other versions
CN110941593A (zh
Inventor
唐旋
谢传家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaozhou Zhuoshu Big Data Industry Development Co Ltd
Original Assignee
Chaozhou Zhuoshu Big Data Industry Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaozhou Zhuoshu Big Data Industry Development Co Ltd filed Critical Chaozhou Zhuoshu Big Data Industry Development Co Ltd
Priority to CN201911220829.1A priority Critical patent/CN110941593B/zh
Publication of CN110941593A publication Critical patent/CN110941593A/zh
Application granted granted Critical
Publication of CN110941593B publication Critical patent/CN110941593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/116Details of conversion of file system types or formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种文件入库系统及方法。该文件入库系统,包括数据文件检测子系统、数据文件测量子系统、数据文件规则校验子系统、数据文件处理转换子系统、入库脚本生成子系统和入库执行子系统六个部分。文件入库系统及方法,将数据文本文件入库前、入库中、入库后需要人工手动入库实施的各项工作转化为计算机自动化入库实施装置,同时解决了数据入库时数据跳出、数据入库乱码等数据质量问题,保证了数据文件高质量自动入库。

Description

一种文件入库系统及方法
技术领域
本发明涉及文本文件处理技术和数据库技术领域,特别涉及一种文件入库系统及方法。
背景技术
数据文本文件是一种常用的数据格式,在数据迁移、数据交换、数据ETL过程中都是一种非常常见的数据格式,同时将这种常见的数据文件高质量入库实施操作也是非常任务。
尽管在很多数据库工具里已经有一些常见的数据加载工作,但是对于数据文件本身的测量、了解和处理转换工作都是需要人工实施的,这样在对数据入库时难免会存在部分数据跳出、部分数据入库后乱码等各种质量问题。另外,在做对数据文件测量、了解过程中由于人的主观性,对数据文件的测量维度、文件结构和处理方法不一致,导致数据文件没有一个统一的测量和处理规范和标准,导致数据文件入库不但耗费大量的人力,还不能保证数据入库后的高质量,重复的工作大量产生。
在通过计算机技术的发展和对数据文本文件处理的各种工具的出现,文本文本格式转换、自动测量、处理转换等一系列的工作都可以用计算机实现,同时各类数据库的数据表标准和规范都已经建立和成熟。
基于以上情况,本发明提出了一种文件入库系统及方法,旨在建立一套完整的文件入库装置,从而实现文本文件高质量地自动化入库。
发明内容
本发明为了弥补现有技术的缺陷,提供了一种简单高效的文件入库系统及方法。
本发明是通过如下技术方案实现的:
一种文件入库系统,其特征在于:包括数据文件检测子系统、数据文件测量子系统、数据文件规则校验子系统、数据文件处理转换子系统、入库脚本生成子系统和入库执行子系统六个部分;
所述数据文件检测子系统负责对待入库的数据文件做基本检测,检测合格的数据文件即可直接进行自动化入库,不符合检测规则的数据文件则认为检测不合格,将检测不合格的数据文件对用户进行提示;
所述数据文件测量子系统负责对数据文件进行结构测量,了解文件的基本总量和结构特征;
所述数据文件规则校验子系统负责将数据文件测量的结果信息与目标库表预制的表结果规则约束信息进行字段比对,并保存比对结果信息;
所述数据文件处理转换子系统负责对数据文件的数据内容进行处理以及对数据格式进行转换操作,使数据文件满足目标表约束的条件,以达到成功入库目标。
所述入库脚本生成子系统负责根据预先预制的模板信息自动生成数据文件对应目标库表的各类脚本;所述模板信息包括各类数据库建表脚本以及数据加载控制脚本;
所述入库执行子系统负责根据所述入库脚本生成子系统生成的脚本自动执行数据文件入库,并将入库产生的错误日志保存。
所述数据文件检测子系统对待入库的数据文件做基本检测,用于实现以下功能:
(1)文件路径检测
对文件路径进行记录,检测是否存在此文件;
(2)文件格式检测
对文本文件格式进行检测,txt、csv、sql等文件格式进行判断,判断文件格式是否满足自动化入库的格式需求;
(3)文件编码检测
获取文件编码格式,并检测编码格式是否符合要求,如utf-8,ascii、gbk等编码;
(4)乱码检测
对文件内容进行批量扫描,检查是否存在乱码或不能识别的字符;
(5)文件读写权限检测
对文件的读写权限进行检查,确定文件是否具有编写及处理的权限。
所述数据文件测量子系统对数据文件进行结构测量,用于实现以下功能:
(1)行列数量统计,对数据文件行数和列数进行统计并记录;
(2)行列分隔符数量统计
自动统计文件行分隔符数量和列分隔符数据,通过行列分隔相除判断文件内容是否含有行列分隔符,影响数据质量;
(3)列值最大长度测量,自动统计文件每列每行值最大长度;
(4)列值类型测量
自动对文件每列类型进行判断是字符串、数值还是其他类型;
(5)小数位测量
对列值类型为数值的列进行小数位测量,自动检测出最长小数据位。
所述数据文件规则校验子系统,用于实现以下功能:
(1)库表规则预制
将各类数据库建表规则约束设置到数据文件规则校验子系统里,包括字段命令规则、字段类型、字段最长长度及字段最大数量约束;
(2)库表类型映射
设置库表类型与测量的文件的类型的映射对应关系,将整数对应int,将字符型对应nvarchar;
(3)列值长度校验
将测量的列最长字符串长度与目标表约束规则的最长长度进行校验,判断是否超长需要进行字段切分;
(4)小数位校验
对数值型的数据,对小数位与目标表各数值小数位进行校验。
所述数据文件处理转换子系统,用于实现以下功能:
(1)长字段切分,对超长字段进行拆分,如某列最长长度为30000,目标表要求字符串长度不能超过12000,故该列需要拆分为3个字符串字段;
(2)文件编码转换
对非UTF-8编码格式的数据文件进行转码,使其转码为UTF-8格式;
(3)行列删除,对文件行列进行删除操作,如删除空行、空列、删除第一行字段名等。
(4)格式转换,对数据文件格式进行转换,如将EXCEL格式的文件或者XML格式的数据文件需要转换为TXT格式的数据文件。
(5)小文件合并,可以将多个小文件按列合拼到一个文件里,或者按行合拼到一个文件里,形成一个大文件;
(6)大文件拆分,可以将大数据文件进行拆分成小文件,可以按行拆分、按列拆分或按文件大小拆分。
所述入库脚本生成子系统,用于实现以下功能:
(1)入库脚本模板库
对各类数据库的入库脚本预制一套模板,包括建表脚本模板、控制脚本模板和执行脚本模板;cle数据库、SQLserver数据库、MySQL数据库等。
(2)建表脚本生成,按照入库目标表模板自动生成数据文件对应的建表脚本;
(3)控制脚本生成,按照入库目标表模板自动生成数据文件对应的控制脚本;
(4)执行脚本生成,按照入库目标表模板自动生成数据文件对应的执行脚本;
(5)脚本验证测试,对生成的脚本进行测试。
所述入库执行子系统,用于实现以下功能:
(1)入库访问配置,配置目标库的类型和访问地址、方式;
(2)入库自动执行,系统自动执行建表脚本和入库执行脚本;
(3)入库错误日志,日志记录入库时跳出的数据或者其他错误;
(4)入库数据检验,对入库的数据可以调取查询。
基于本发明文件入库系统的文件入库方法,包括以下步骤:
第一步,数据文件通过输入数据文件检测子系统进行文件检测,检测合格的数据文件即可直接进行自动化入库,不符合检测规则的数据文件则认为检测不合格,将检测不合格的数据文件对用户进行提示;
第二步,利用数据文件测量子系统对数据文件字段、行列数以及行列分隔符进行自动测量,了解文件的基本总量和结构特征;
第三步,利用数据文件规则校验子系统将数据文件测量的结果与目标库表的建表规则约束进行比对校验,数据文件处理转换子系统依据规则校验结果对数据文件进行处理和转换,如长字段切分、格式转换等操作;
第四步,对处理和转换的文件进行再次测量和规则校验,依据第二次测量结果通过入库脚本生成子系统自动创建入库脚本、数据加载控制脚本和执行脚本;
第五步,入库执行子系统自动执行数据文件入库工作。
本发明的有益效果是:该文件入库系统及方法,将数据文本文件入库前、入库中、入库后需要人工手动入库实施的各项工作转化为计算机自动化入库实施装置,同时解决了数据入库时数据跳出、数据入库乱码等数据质量问题,保证了数据文件高质量自动入库。
附图说明
附图1为本发明文件入库系统示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚,完整的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
该文件入库系统,包括数据文件检测子系统、数据文件测量子系统、数据文件规则校验子系统、数据文件处理转换子系统、入库脚本生成子系统和入库执行子系统六个部分;
所述数据文件检测子系统负责对待入库的数据文件做基本检测,检测合格的数据文件即可直接进行自动化入库,不符合检测规则的数据文件则认为检测不合格,将检测不合格的数据文件对用户进行提示;
所述数据文件测量子系统负责对数据文件进行结构测量,了解文件的基本总量和结构特征;
所述数据文件规则校验子系统负责将数据文件测量的结果信息与目标库表预制的表结果规则约束信息进行字段比对,并保存比对结果信息;
所述数据文件处理转换子系统负责对数据文件的数据内容进行处理以及对数据格式进行转换操作,使数据文件满足目标表约束的条件,以达到成功入库目标。
所述入库脚本生成子系统负责根据预先预制的模板信息自动生成数据文件对应目标库表的各类脚本;所述模板信息包括各类数据库建表脚本以及数据加载控制脚本;
所述入库执行子系统负责根据所述入库脚本生成子系统生成的脚本自动执行数据文件入库,并将入库产生的错误日志保存。
所述数据文件检测子系统对待入库的数据文件做基本检测,用于实现以下功能:
(1)文件路径检测
对文件路径进行记录,检测是否存在此文件;
(2)文件格式检测
对文本文件格式进行检测,txt、csv、sql等文件格式进行判断,判断文件格式是否满足自动化入库的格式需求;
(3)文件编码检测
获取文件编码格式,并检测编码格式是否符合要求,如utf-8,ascii、gbk等编码;
(4)乱码检测
对文件内容进行批量扫描,检查是否存在乱码或不能识别的字符;
(5)文件读写权限检测
对文件的读写权限进行检查,确定文件是否具有编写及处理的权限。
所述数据文件测量子系统对数据文件进行结构测量,用于实现以下功能:
(1)行列数量统计,对数据文件行数和列数进行统计并记录;
(2)行列分隔符数量统计
自动统计文件行分隔符数量和列分隔符数据,通过行列分隔相除判断文件内容是否含有行列分隔符,影响数据质量;
(3)列值最大长度测量,自动统计文件每列每行值最大长度;
(4)列值类型测量
自动对文件每列类型进行判断是字符串、数值还是其他类型;
(5)小数位测量
对列值类型为数值的列进行小数位测量,自动检测出最长小数据位。
所述数据文件规则校验子系统,用于实现以下功能:
(1)库表规则预制
将各类数据库建表规则约束设置到数据文件规则校验子系统里,包括字段命令规则、字段类型、字段最长长度及字段最大数量约束;
(2)库表类型映射
设置库表类型与测量的文件的类型的映射对应关系,将整数对应int,将字符型对应nvarchar;
(3)列值长度校验
将测量的列最长字符串长度与目标表约束规则的最长长度进行校验,判断是否超长需要进行字段切分;
(4)小数位校验
对数值型的数据,对小数位与目标表各数值小数位进行校验。
所述数据文件处理转换子系统,用于实现以下功能:
(1)长字段切分,对超长字段进行拆分,如某列最长长度为30000,目标表要求字符串长度不能超过12000,故该列需要拆分为3个字符串字段;
(2)文件编码转换
对非UTF-8编码格式的数据文件进行转码,使其转码为UTF-8格式;
(3)行列删除,对文件行列进行删除操作,如删除空行、空列、删除第一行字段名等。
(4)格式转换,对数据文件格式进行转换,如将EXCEL格式的文件或者XML格式的数据文件需要转换为TXT格式的数据文件。
(5)小文件合并,可以将多个小文件按列合拼到一个文件里,或者按行合拼到一个文件里,形成一个大文件;
(6)大文件拆分,可以将大数据文件进行拆分成小文件,可以按行拆分、按列拆分或按文件大小拆分。
所述入库脚本生成子系统,用于实现以下功能:
(1)入库脚本模板库
对各类数据库的入库脚本预制一套模板,包括建表脚本模板、控制脚本模板和执行脚本模板;cle数据库、SQLserver数据库、MySQL数据库等。
(2)建表脚本生成,按照入库目标表模板自动生成数据文件对应的建表脚本;
(3)控制脚本生成,按照入库目标表模板自动生成数据文件对应的控制脚本;
(4)执行脚本生成,按照入库目标表模板自动生成数据文件对应的执行脚本;
(5)脚本验证测试,对生成的脚本进行测试。
所述入库执行子系统,用于实现以下功能:
(1)入库访问配置,配置目标库的类型和访问地址、方式;
(2)入库自动执行,系统自动执行建表脚本和入库执行脚本;
(3)入库错误日志,日志记录入库时跳出的数据或者其他错误;
(4)入库数据检验,对入库的数据可以调取查询。
基于该文件入库系统的文件入库方法,包括以下步骤:
第一步,数据文件通过输入数据文件检测子系统进行文件检测,检测合格的数据文件即可直接进行自动化入库,不符合检测规则的数据文件则认为检测不合格,将检测不合格的数据文件对用户进行提示;
第二步,利用数据文件测量子系统对数据文件字段、行列数以及行列分隔符进行自动测量,了解文件的基本总量和结构特征;
第三步,利用数据文件规则校验子系统将数据文件测量的结果与目标库表的建表规则约束进行比对校验,数据文件处理转换子系统依据规则校验结果对数据文件进行处理和转换,如长字段切分、格式转换等操作;
第四步,对处理和转换的文件进行再次测量和规则校验,依据第二次测量结果通过入库脚本生成子系统自动创建入库脚本、数据加载控制脚本和执行脚本;
第五步,入库执行子系统自动执行数据文件入库工作。
以上对本发明实例中的一种文件入库系统及方法进行了详细的介绍。本部分采用具体实例对发明的原理及实施方式进行了阐述,以上实例仅用于帮助理解本发明的核心思想,在不脱离本发明原理的情况下,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

Claims (2)

1.一种文件入库系统,其特征在于:包括数据文件检测子系统、数据文件测量子系统、数据文件规则校验子系统、数据文件处理转换子系统、入库脚本生成子系统和入库执行子系统六个部分;
所述数据文件检测子系统负责对待入库的数据文件做基本检测,检测合格的数据文件即可直接进行自动化入库,不符合检测规则的数据文件则认为检测不合格,将检测不合格的数据文件对用户进行提示;
所述数据文件检测子系统对待入库的数据文件做基本检测,用于实现以下功能:
(1)文件路径检测
对文件路径进行记录,检测是否存在此文件;
(2)文件格式检测
对文本文件格式进行检测,判断文件格式是否满足自动化入库的格式需求;
(3)文件编码检测
获取文件编码格式,并检测编码格式是否符合要求;
(4)乱码检测
对文件内容进行批量扫描,检查是否存在乱码或不能识别的字符;
(5)文件读写权限检测
对文件的读写权限进行检查,确定文件是否具有编写及处理的权限;
所述数据文件测量子系统负责对数据文件进行结构测量,了解文件的基本总量和结构特征;用于实现以下功能:
(1)行列数量统计,对数据文件行数和列数进行统计并记录;
(2)行列分隔符数量统计
自动统计文件行分隔符数量和列分隔符数据,通过行列分隔相除判断文件内容是否含有行列分隔符,影响数据质量;
(3)列值最大长度测量,自动统计文件每列每行值最大长度;
(4)列值类型测量
自动对文件每列类型进行判断是字符串、数值还是其他类型;
(5)小数位测量
对列值类型为数值的列进行小数位测量,自动检测出最长小数据位;
所述数据文件规则校验子系统负责将数据文件测量的结果信息与目标库表预制的表结果规则约束信息进行字段比对,并保存比对结果信息;
所述数据文件规则校验子系统,用于实现以下功能:
(1)库表规则预制
将各类数据库建表规则约束设置到数据文件规则校验子系统里,包括字段命令规则、字段类型、字段最长长度及字段最大数量约束;
(2)库表类型映射
设置库表类型与测量的文件的类型的映射对应关系,将整数对应int,将字符型对应nvarchar;
(3)列值长度校验
将测量的列最长字符串长度与目标表约束规则的最长长度进行校验,判断是否超长需要进行字段切分;
(4)小数位校验
对数值型的数据,对小数位与目标表各数值小数位进行校验;
所述数据文件处理转换子系统负责对数据文件的数据内容进行处理以及对数据格式进行转换操作,使数据文件满足目标表约束的条件,以达到成功入库目标;
所述数据文件处理转换子系统,用于实现以下功能:
(1)长字段切分,对超长字段进行拆分;
(2)文件编码转换
对非UTF-8编码格式的数据文件进行转码,使其转码为UTF-8格式;
(3)行列删除,对文件行列进行删除操作;
(4)格式转换,对数据文件格式进行转换;
(5)小文件合并,将多个小文件按列合拼到一个文件里,或者按行合拼到一个文件里,形成一个大文件;
(6)大文件拆分,将大数据文件进行拆分成小文件,分为按行拆分、按列拆分或按文件大小拆分;
所述入库脚本生成子系统负责根据预先预制的模板信息自动生成数据文件对应目标库表的各类脚本;
所述入库脚本生成子系统,用于实现以下功能:
(1)入库脚本模板库
对各类数据库的入库脚本预制一套模板,包括建表脚本模板、控制脚本模板和执行脚本模板;
(2)建表脚本生成,按照入库目标表模板自动生成数据文件对应的建表脚本;
(3)控制脚本生成,按照入库目标表模板自动生成数据文件对应的控制脚本;
(4)执行脚本生成,按照入库目标表模板自动生成数据文件对应的执行脚本;
(5)脚本验证测试,对生成的脚本进行测试;
所述入库执行子系统负责根据所述入库脚本生成子系统生成的脚本自动执行数据文件入库,并将入库产生的错误日志保存;
所述入库执行子系统,用于实现以下功能:
(1)入库访问配置,配置目标库的类型和访问地址、方式;
(2)入库自动执行,系统自动执行建表脚本和入库执行脚本;
(3)入库错误日志,日志记录入库时跳出的数据或者其他错误;
(4)入库数据检验,对入库的数据调取查询。
2.一种基于权利要求1所述的文件入库系统的文件入库方法,其特征在于,包括以下步骤:
第一步,数据文件通过输入数据文件检测子系统进行文件检测,检测合格的数据文件即可直接进行自动化入库,不符合检测规则的数据文件则认为检测不合格,将检测不合格的数据文件对用户进行提示;
第二步,利用数据文件测量子系统对数据文件字段、行列数以及行列分隔符进行自动测量,了解文件的基本总量和结构特征;
第三步,利用数据文件规则校验子系统将数据文件测量的结果与目标库表的建表规则约束进行比对校验,数据文件处理转换子系统依据规则校验结果对数据文件进行处理和转换;
第四步,对处理和转换的文件进行再次测量和规则校验,依据第二次测量结果通过入库脚本生成子系统自动创建入库脚本、数据加载控制脚本和执行脚本;
第五步,入库执行子系统自动执行数据文件入库工作。
CN201911220829.1A 2019-12-03 2019-12-03 一种文件入库系统及方法 Active CN110941593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911220829.1A CN110941593B (zh) 2019-12-03 2019-12-03 一种文件入库系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911220829.1A CN110941593B (zh) 2019-12-03 2019-12-03 一种文件入库系统及方法

Publications (2)

Publication Number Publication Date
CN110941593A CN110941593A (zh) 2020-03-31
CN110941593B true CN110941593B (zh) 2022-07-26

Family

ID=69909409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220829.1A Active CN110941593B (zh) 2019-12-03 2019-12-03 一种文件入库系统及方法

Country Status (1)

Country Link
CN (1) CN110941593B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522815A (zh) * 2020-04-15 2020-08-11 山东爱城市网信息技术有限公司 一种企业基本信息入库的方法
CN111507066B (zh) * 2020-04-21 2024-01-12 北京思特奇信息技术股份有限公司 一种上传加载文件并解析入库方法及系统
CN111984432A (zh) * 2020-07-31 2020-11-24 青岛百洋智能科技股份有限公司 一种基于netty框架的多类型文件解析上报系统
CN112035355A (zh) * 2020-08-28 2020-12-04 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备和存储介质
CN112951355B (zh) * 2021-02-25 2023-05-02 武汉大学 一种海量医疗数据入库的质检功能方法及装置
CN113111116B (zh) * 2021-05-12 2022-10-18 国家海洋信息中心 海洋综合数据库的海洋水体环境数据整合方法
CN113689192B (zh) * 2021-08-24 2024-05-31 卡斯柯信号有限公司 一种基于通信的列车控制系统数据生成方法
CN114328413A (zh) * 2021-12-30 2022-04-12 中国民航信息网络股份有限公司 数据处理方法及装置、存储介质及电子设备
CN114911760A (zh) * 2022-04-06 2022-08-16 中银金融科技有限公司 用于批量作业的特殊文件自动化处理方法
CN116644035B (zh) * 2023-07-21 2024-01-26 中邮消费金融有限公司 文件批量入库方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049550A (zh) * 2012-12-27 2013-04-17 北京思特奇信息技术股份有限公司 一种公用文件导入数据库的方法及系统
CN103678423A (zh) * 2012-09-26 2014-03-26 深圳市世纪光速信息技术有限公司 数据文件导入系统、装置及方法
CN106407407A (zh) * 2016-09-22 2017-02-15 江苏通付盾科技有限公司 一种文件标注系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678423A (zh) * 2012-09-26 2014-03-26 深圳市世纪光速信息技术有限公司 数据文件导入系统、装置及方法
CN103049550A (zh) * 2012-12-27 2013-04-17 北京思特奇信息技术股份有限公司 一种公用文件导入数据库的方法及系统
CN106407407A (zh) * 2016-09-22 2017-02-15 江苏通付盾科技有限公司 一种文件标注系统及方法

Also Published As

Publication number Publication date
CN110941593A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110941593B (zh) 一种文件入库系统及方法
CN107807982B (zh) 一种异构数据库的一致性校验方法及装置
CN111367886A (zh) 数据库中数据迁移的方法及装置
CN104268073A (zh) 一种批量生成测试用例的方法
CN101515289A (zh) 一种对通用数据文件进行检查的装置及方法
CN112199302A (zh) 测试数据生成方法、系统及相应设备和存储介质
CN111813653B (zh) 一种字段内容相关的数据异常测试方法及自动化测试工具
CN111679979A (zh) 破坏性测试方法及装置
CN111815162A (zh) 一种数字化审计工具及方法
CN112668292B (zh) 一种从系统配置规则中自动提取追踪矩阵的方法及其应用
CN117271478A (zh) 数据迁移方法、装置、存储介质以及电子设备
CN108388589B (zh) 一种数据库sql查询语句自动生成的装置
CN103164526B (zh) 测试报告的生成方法及装置
CN201374063Y (zh) 一种对通用数据文件进行检查的装置
CN115422180A (zh) 数据校验方法及系统
CN114676049A (zh) 一种用例测试方法、装置、电子设备及存储介质
CN113962205A (zh) 电子表格内容的粘贴方法、装置、电子设备及存储介质
CN115774745A (zh) 一种针对大容量Excel文件数据的抽取方法及系统
CN107436728A (zh) 规则分析结果存储方法、规则回溯方法及装置
CN114253989A (zh) 一种数据修改方案检测方法、装置及电子设备
CN112765250B (zh) 一种支持json数据转化为关系型数据库的方法和装置
CN116450586B (zh) 火箭数据解析方法、系统、电子设备及计算机存储介质
CN114238210A (zh) 一种文件处理方法、装置、设备及可读存储介质
CN116795725B (zh) 一种临床电子数据采集系统的自动验库方法和系统
CN110109809B (zh) 根据syslog测试日志审计功能的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant