CN108628872A - 基因分析数据库批量数据导入方法和系统 - Google Patents

Abstract

本发明涉及一种基因分析数据库批量数据导入方法，该方法包括上传包括多个数据组的第一Excel文件；根据预设规则验证数据组每个数据的合法性；存储通过验证的数据组至数据库；以及生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。本发明还提供一种基因分析数据库批量数据导入系统，本发明的基因分析数据库批量数据导入方法和系统方便用户及时修改验证错误的数据并重新上传数据库。

Description

基因分析数据库批量数据导入方法和系统

技术领域

本发明涉及基因测序领域，更具体地说，本发明涉及一种基因分析数据库批量数据导入方法和系统。

背景技术

基因测序需要处理大量的数据，现有数据库通常根据实验结果人工导入相关数据，或者使用Excel文件批量导入数据库需要录入的数据同时现有技术一般会对数据导入的情况进行统计和显示以方便用户了解数据导入的问题。虽然使用Excel文件导入数据解决了用户批量导入的问题，但是当导入数据的错误较多时，庞大的数据使用户很难根据导入统计信息及时更正和重新导入验证出错的数据，因此有必要提供一种基因分析数据库批量数据导入方法或系统，用于方便用户及时修改验证错误的数据并重新上传数据库。

发明内容

本发明的目的在于提供一种基因分析数据库批量数据导入方法和系统，旨在解决用户修改验证错误的数据并重新上传数据库不方便的问题。

一种基因分析数据库批量数据导入方法包括：

上传包括多个数据组的第一Excel文件；

根据预设规则验证数据组每个数据的合法性；

存储通过验证的数据组至数据库；以及

生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。

进一步地，所述第二Excel文件的表头栏位包括第一Excel文件的表头栏位以及失败原因栏位。

进一步地，所述基因分析数据库批量数据导入方法还包括将验证出错的行序、出错数据栏位名称及错误原因或修改建议写入数组并缓存。

进一步地，所述基因分析数据库批量数据导入方法还校验通过验证的数据组是否已经存在于数据库内，并将行序和存在原因存储在缓存的数组中。

进一步地，所述生成第二Excel文件包括：根据缓存数据遍历第一Excel文件将缓存行序对应的数据组写入第二Excel文件并在失败原因栏位写入行序对应的出错数据栏位名称及错误原因或修改建议或存在原因。

进一步地，上传包括多个数据组的第一Excel文件之前，进一步生成模板Excel文件，所述模板Excel文件定义对应数据库的多个栏位的名称及数据类型。

进一步地，所述预设规则包括验证第一Excel文件的大小、第一Excel文件的名称和/或第一Excel文件的格式。

进一步地，所述基因分析数据库批量数据导入方法还包括显示数据组的验证信息的统计结果。

一种基因分析数据库批量数据导入系统包括：

上传模块,用于控制上传包括多个数据组的第一Excel文件；

验证模块，用于根据预设规则验证数据组每个数据的合法性；

存储模块，用于存储通过验证的数据组至数据库；以及

错误提示模块，用于生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。

进一步地，所述第二Excel文件的表头栏位包括第一Excel文件的表头栏位以及失败原因栏位。

进一步地，所述基因分析数据库批量数据导入系统还包括缓存模块，用于将验证出错的行序、出错数据栏位名称及错误原因或修改建议写入数组并缓存。

进一步地，所述验证模块进一步校验通过验证的数据组是否已经存在于数据库内，缓存模块还将行序和存在原因存储在缓存的数组中。

进一步地，所述错误提示模块根据缓存数据遍历第一Excel文件将缓存行序对应的数据组写入第二Excel文件并在失败原因栏位写入行序对应的出错数据栏位名称及错误原因或修改建议或存在原因。

进一步地，所述基因分析数据库批量数据导入系统还包括模板生成模块，用于生成模板Excel文件，所述模板Excel文件定义对应数据库的多个栏位的名称及数据类型。

进一步地，所述基因分析数据库批量数据导入系统还包括验证显示模块，用于控制显示数据组的验证信息的统计结果。

相对于现有技术，本发明的基因分析数据库批量数据导入方法和系统根据上传数据的验证结果将验证出错的一个或多个数据组写入第二Excel文件并提供每个验证出错的数据组的失败原因，用户根据失败原因能够非常方便的修改错误数并重新上传数据库，整个过程无需重新建立Excel模板填写数据，尤其面对大量重复的修改非常简单实用，由于本发明的第二Excel文件还提供了修改说明，使得用户体验得到很大的提高。另外，本发明的基因分析数据库批量数据导入方法和系统在导入数据库前还进步一验证数据组是否已经存在于数据库内，防止了重复数据的录入，进一步提高了大量数据录入的准确性。

附图说明

图1为本发明第一实施方式基因分析数据库批量数据导入方法的流程示意图。

图2为图1基因分析数据库批量数据导入方法数据上传控制页面的示意图。

图3为图1基因分析数据库批量数据导入方法数据上传控制页面的应用示意图。

图4为图1基因分析数据库批量数据导入方法数据上传验证失败的提示窗口。

图5为图1基因分析数据库批量数据导入方法生成的第二Excel文件的示例。

图6为图1基因分析数据库批量数据导入方法生成的模板Excel文件的示例。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进行进一步详细说明。

请参考图1，本发明第一实施方式提供一种基因分析数据库批量数据导入方法，其包括步骤S11-S14。

步骤S11, 上传包括多个数据组的第一Excel文件。本实施例中所述第一Excel文件包括多个表头栏位，每个表头栏位的名称和基因分析数据库中数据的名称相同，本实施例中，所述多个数据组包括多个用于基因分析的数据，例如基因名称、基因位点名称、基因型、相关表型名称、表型相关系数等。所述上传通过服务器或个人电脑在网页提供对应的上传功能实现，本实施例中，一并参考图2，所述网页包括至少一个上传按钮21，文件显示窗口22、导入按钮。具体地，用户准备好第一Excel文件后点击上传按钮21调用系统文件目录查找并选择第一Excel文件，文件显示窗口22显示所选择的第一Excel文件名称如图3所示。

步骤S12, 根据预设规则验证数据组每个数据的合法性。本实施例中，用户输入第一Excel文件的存储路径后可点击网页的导入按钮，此时服务器根据预设规则验证数据组每个数据的合法性。本实施例中，所述预设规则包括验证第一Excel文件的大小、第一Excel文件是否存在、第一Excel文件的名称和第一Excel文件的格式。例如第一Excel文件的大小不得大于8M；如果第一Excel文件的大小为0则表明所述第一Excel文件被删除或修改了名称；上传的文件不可为非xls、xlsx后缀名文件。本实施例中，所述预设规则还包括验证每个表头栏位对应数据类型，例如文字或数字或符号，和/或验证每个表头栏位对应数据需要满足的条件，例如是否可以为空、数据长度或呈现规则等。本实施中呈现规则可以是文字、数字、和/或符号按预设长度和顺序排列的方式，也可以是多个预设数值之一。服务器根据预设规则验证第一Excel文件的合法性、以及数据组每个数据的合法性，并将验证出错的行序、出错数据栏位名称及错误原因或修改建议写入数组并缓存。所述预设规则还用于校验通过验证的数据组是否已经存在于数据库内，并将验证存在于数据库的数据组的行序和存在原因存储在缓存的数组中。

步骤S13, 存储通过验证的数据组至数据库。本实施例中，服务器根据预设规则验证数据组每个数据的合法性后，将验证通过且数据库不存在的数据组存储至数据库中。本实施例中，当新数据组存储至数据库后，服务器进一步在网页前端显示数据组的验证信息的统计结果以及数据存入的统计结果，例如上传数据组100条，验证错误共50条，导入数据库50条。较佳地，服务器还刷新显示存入数据库的最后几个数据组供用户参考。

步骤S14, 生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。步骤S13执行后，服务器自动生成第二Excel文件, 并且将步骤S12中验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。具体地，根据上述缓存数据遍历第一Excel文件将缓存行序对应的数据组写入第二Excel文件并在失败原因栏位写入行序对应的出错数据栏位名称及错误原因或修改建议或存在原因，图5为第二Excel文件的失败原因栏位的一个实施例。本实施方式中，验证和上传结束后，服务器显示验证失败统计结果并生成第二Excel文件供用户选择下载，一实施例验证失败的提示窗口如图4所示。

替代实施例中，步骤S11前,进一步生成模板Excel文件，所述模板Excel文件定义对应数据库的多个栏位的名称及数据类型,用于方便用户根据模板格式准备录入数据库的多组数据。图6为模板Excel文件的一实施例，和图5中第二Excel文件相比较，模板Excel文件中不包括失败原因栏位。

相对于现有技术，本发明的基因分析数据库批量数据导入方法根据上传数据的验证结果将验证出错的一个或多个数据组写入第二Excel文件并提供每个验证出错的数据组的失败原因，用户根据失败原因能够非常方便的修改错误数并重新上传数据库，整个过程无需重新建立Excel模板填写数据，尤其面对大量重复的修改非常简单实用，由于本发明的第二Excel文件还提供了修改说明，使得用户无需人工判断错误原因就可直接修改数据，使用户体验得到很大的提高。另外，本发明的基因分析数据库批量数据导入方法在导入数据库前还进步一验证数据组是否已经存在于数据库内，防止了重复数据的录入，进一步提高了大量数据录入的准确性。

本发明第三实施方式提供一种基因分析数据库批量数据导入系统，所述基因分析数据库批量数据导入系统包括上传模块、验证模块、存储模块以及错误提示模块。本实施方式中，本实施例中所述基因分析数据库批量数据导入系统的运行环境可以是服务器系统或电脑系统。所述模块或系统可以是执行特定功能的集成电路，也可以是存储在存储器中并通过服务器或电脑处理器执行完成特定功能的软件程序。

所述上传模块用于控制上传包括多个数据组的第一Excel文件。本实施例中所述第一Excel文件包括多个表头栏位，每个表头栏位的名称和基因分析数据库中数据的名称相同，本实施例中，所述多个数据组包括多个用于基因分析的数据，例如基因名称、基因位点名称、基因型、相关表型名称、表型相关系数等。所述上传模块包括可以进行网页操作的至少一个上传按钮21，文件显示窗口22、导入按钮23。具体地，用户准备好第一Excel文件后点击上传按钮，调用系统文件目录查找并选择第一Excel文件，文件显示窗口22显示所选择的第一Excel文件名称如图3所示。

验证模块用于根据预设规则验证数据组每个数据的合法性。本实施例中，用户输入第一Excel文件的存储路径后可点击网页的导入按钮，此时服务器的处理器调用存储的预设规则验证数据组每个数据的合法性。本实施例中，所述预设规则包括验证第一Excel文件的大小、第一Excel文件是否存在、第一Excel文件的名称和第一Excel文件的格式。例如第一Excel文件的大小不得大于8M；如果第一Excel文件的大小为0则表明所述第一Excel文件被删除或修改了名称；上传的文件不可为非xls、xlsx后缀名文件。本实施例中，所述预设规则还包括验证每个表头栏位对应数据类型，例如文字或数字或符号，和/或验证每个表头栏位对应数据需要满足的条件，例如数据长度或呈现规则等。本实施中呈现规则可以是文字、数字、和/或符号按预设长度和顺序排列的方式。本实施方式中，基因分析数据库批量数据导入系统进一步包括缓存模块，服务器根据预设规则验证第一Excel文件的合法性、以及数据组每个数据的合法性，所述缓存模块将验证出错的行序、出错数据栏位名称及错误原因或修改建议写入数组并缓存。所述预设规则还用于校验通过验证的数据组是否已经存在于数据库内，并将验证存在于数据库的数据组的行序和存在原因存储在缓存的数组中。

存储模块用于控制存储通过验证的数据组至数据库。本实施例中，服务器的处理器根据预设规则验证数据组每个数据的合法性后，将验证通过且数据库不存在的数据组存储至数据库中。本实施例中，当新数据组存储至数据库后，服务器进一步在网页前端显示数据组的验证信息的统计结果以及数据存入的统计结果，例如“上传数据组100条，验证错误共50条，导入数据库50条”。较佳地，服务器还刷新显示存入数据库的最后几个数据组供用户参考。

所述错误提示模块用于生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。在通过验证的数据组存储至数据库后，根据所述验证模块的验证结果，服务器自动生成第二Excel文件,将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。具体地，所述错误提示模块控制服务器的处理器根据上述缓存数据遍历第一Excel文件将缓存行序对应的数据组写入第二Excel文件并在失败原因栏位写入行序对应的出错数据栏位名称及错误原因或修改建议或存在原因，然后提示用户选择第二Excel文件的存储位置以输出第二Excel文件供用户参考。本实施方式中，验证和上传结束后，服务器显示验证失败统计结果并生成第二Excel文件供用户选择下载导入失败记录表，对应提示窗口如图4所示。

替代实施例中，基因分析数据库批量数据导入系统还进一步包括模板生成模块，用于生成模板Excel文件，所述模板Excel文件定义对应数据库的多个栏位的名称及数据类型,用于方便用户根据模板格式准备录入数据库的多组数据。图6为模板Excel文件的一实施例，和图5中第二Excel文件相比较，模板Excel文件中不包括失败原因栏位。

替代实施例中，基因分析数据库批量数据导入系统还进一步包括验证显示模块，用于控制显示数据组的验证信息的统计结果。

相对于现有技术，本发明的基因分析数据库批量数据导入系统根据上传数据的验证结果将验证出错的一个或多个数据组写入第二Excel文件并提供每个验证出错的数据组的失败原因，用户根据失败原因能够非常方便的修改错误数并重新上传数据库，整个过程无需重新建立Excel模板填写数据，尤其面对大量重复的修改非常简单实用，由于本发明的第二Excel文件还提供了修改说明，使得用户无需人工判断错误原因就可直接修改数据，使用体验得到很大的提高。另外，本发明的基因分析数据库批量数据导入系统在导入数据库前还进步一验证数据组是否已经存在于数据库内，防止了重复数据的录入，进一步提高了大量数据录入的准确性。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种基因分析数据库批量数据导入方法，其特征在于包括：

上传包括多个数据组的第一Excel文件；

根据预设规则验证数据组每个数据的合法性；

存储通过验证的数据组至数据库；以及

生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。

2.根据权利要求1所述的基因分析数据库批量数据导入方法，其特征在于，所述第二Excel文件的表头栏位包括第一Excel文件的表头栏位以及失败原因栏位。

3.根据权利要求2所述的基因分析数据库批量数据导入方法，其特征在于，进一步包括将验证出错的行序、出错数据栏位名称及错误原因或修改建议写入数组并缓存。

4.根据权利要求3所述的基因分析数据库批量数据导入方法，其特征在于，进一步校验通过验证的数据组是否已经存在于数据库内，并将行序和存在原因存储在缓存的数组中。

5.根据权利要求4所述的基因分析数据库批量数据导入方法，其特征在于，所述生成第二Excel文件包括：根据缓存数据遍历第一Excel文件将缓存行序对应的数据组写入第二Excel文件并在失败原因栏位写入行序对应的出错数据栏位名称及错误原因或修改建议或存在原因。

6.根据权利要求1所述的基因分析数据库批量数据导入方法，其特征在于，上传包括多个数据组的第一Excel文件之前，进一步生成模板Excel文件，所述模板Excel文件定义对应数据库的多个栏位的名称及数据类型。

7.根据权利要求1所述的基因分析数据库批量数据导入方法，其特征在于，所述预设规则包括验证第一Excel文件的大小、第一Excel文件的名称和/或第一Excel文件的格式。

8.根据权利要求1所述的基因分析数据库批量数据导入方法，其特征在于，进一步包括显示数据组的验证信息的统计结果。

9.一种基因分析数据库批量数据导入系统，其特征在于包括：

上传模块,用于控制上传包括多个数据组的第一Excel文件；

验证模块，用于根据预设规则验证数据组每个数据的合法性；

存储模块，用于存储通过验证的数据组至数据库；以及

错误提示模块，用于生成第二Excel文件，将验证出错的一个或多个数据组写入所述第二Excel文件并提供每个出错的数据组的失败原因。

10.根据权利要求9所述的基因分析数据库批量数据导入系统，其特征在于，所述第二Excel文件的表头栏位包括第一Excel文件的表头栏位以及失败原因栏位。

11.根据权利要求10所述的基因分析数据库批量数据导入系统，其特征在于，进一步包括缓存模块，用于将验证出错的行序、出错数据栏位名称及错误原因或修改建议写入数组并缓存。

12.根据权利要求11所述的基因分析数据库批量数据导入系统，其特征在于，所述验证模块进一步校验通过验证的数据组是否已经存在于数据库内，缓存模块还将行序和存在原因存储在缓存的数组中。

13.根据权利要求12所述的基因分析数据库批量数据导入系统，其特征在于，所述错误提示模块根据缓存数据遍历第一Excel文件将缓存行序对应的数据组写入第二Excel文件并在失败原因栏位写入行序对应的出错数据栏位名称及错误原因或修改建议或存在原因。

14.根据权利要求9所述的基因分析数据库批量数据导入系统，其特征在于，进一步包括模板生成模块，用于生成模板Excel文件，所述模板Excel文件定义对应数据库的多个栏位的名称及数据类型。

15.根据权利要求9所述的基因分析数据库批量数据导入系统，其特征在于，进一步包括验证显示模块，用于控制显示数据组的验证信息的统计结果。