CN117009422B - 便利业务人员进行数据导入的实现方法 - Google Patents
便利业务人员进行数据导入的实现方法 Download PDFInfo
- Publication number
- CN117009422B CN117009422B CN202310512551.5A CN202310512551A CN117009422B CN 117009422 B CN117009422 B CN 117009422B CN 202310512551 A CN202310512551 A CN 202310512551A CN 117009422 B CN117009422 B CN 117009422B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- item
- service data
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008676 import Effects 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 238000012795 verification Methods 0.000 claims abstract description 34
- 238000005516 engineering process Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000013506 data mapping Methods 0.000 claims description 23
- 238000013515 script Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 16
- 238000013499 data model Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 abstract description 19
- 230000004048 modification Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域，提供了一种便利业务人员进行数据导入的实现方法，包括：获取数据库中业务人员提供的各个历史业务数据，确定各个历史业务数据的业务类型；利用java技术对历史业务数据进行解析，通过解析构建相应业务类型的业务规则，并与相应业务类型一同存储到对应的业务规则库；采用vue技术中的窗体组件和表格组件绘制工具，构建数据展示及编辑窗体；根据业务规则库的各项业务规则，建立数据展示及编辑窗体与各个历史业务数据的第一关联关系；对新的业务数据进行业务规则匹配和解析，将新的业务数据推送到数据展示及编辑窗体进行属性校验及可视化显示，实现导入数据库。本发明能够有效地解决数据修改导入的繁琐和效率低问题。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种便利业务人员进行数据导入的实现方法。
背景技术
在企业的日常生产和经营中，会涉及大量的数据处理工作。常常出现需要将存放于excel中的数据导入到数据库中用于各种应用系统的业务展示，关于excel数据的导入通常的做法是根据现有的excel数据或者是通过事先置于业务系统中的数据导入模板(用于业务人员收集整理数据)并开发一套读取数据的程序来完成。
然而，用户的需求是经常变化的，随着用户需求的变化，excel数据文件格式也是会时常修改，如果没有一套完善的处理业务变化的机制，每次格式的变化都会带来自数据准备到实现程序自下而上的修改，由此产生的工作量是巨大的。在实际应用中，由于数据来源的多样性和数据格式的不统一，业务人员在进行数据导入以及数据查询等工作时，往往面临着很多困难，需要耗费大量的时间和精力来适应不同的数据格式和数据处理方式，这给企业的生产经营带来了极大的不便。因此，需要一种便利业务人员进行数据导入的实现，能够有效地解决数据导入和数据处理中的种种难题。
发明内容
为了解决上述技术问题，本发明提供了一种便利业务人员进行数据导入的实现方法，具体包括：
步骤S100：获取数据库中业务人员提供的各个历史业务数据，确定各个历史业务数据的业务类型；
步骤S200：利用java技术对历史业务数据进行解析，通过解析构建相应业务类型的业务规则，并与相应业务类型一同存储到对应的业务规则库；
步骤S300：采用vue技术中的窗体组件和表格组件绘制工具，构建数据展示及编辑窗体；
步骤S400：根据业务规则库的各项业务规则，建立数据展示及编辑窗体与各个历史业务数据的第一关联关系；
步骤S500：对新的业务数据进行业务规则匹配和解析，将新的业务数据推送到数据展示及编辑窗体进行属性校验及可视化显示，实现导入数据库。
可选地，步骤S200，利用java技术对历史业务数据进行解析，包括：
步骤S210：获取excel格式的历史业务数据；
步骤S220：基于excel格式的历史业务数据配置excel数据模型映射文件。
可选地，步骤S200，业务规则包含条目信息和规则内容，条目信息包括项目编号、项目名称和各个数据项，规则内容包括与每个条目信息对应设定的条目属性。
可选地，步骤S500，业务规则匹配，包括：
提取新的业务数据的内部名称；
将内部名称与业务规则库中存储的业务类型进行对比，计算相似度数值；
根据相似度数值由大到小排序，选择排序最前的业务类型所对应的业务规则库作为匹配的业务规则库。
可选地，步骤S500，属性校验及可视化显示，包括：
步骤S510：根据匹配的业务规则库存储的业务规则，对新的业务数据进行解析；
步骤S520：根据解析结果，得到新的业务数据与数据展示及编辑窗体的第二关联关系；
步骤S530：根据第二关联关系，对新的业务数据中的各项数据进行属性校验；
步骤S540：将新的业务数据推送渲染到数据展示及编辑窗体中进行显示。
可选地，步骤S530：属性校验，包括：
步骤S531：根据第二关联关系，确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系；
步骤S532：根据对应关系将新的业务数据中各项数据与对应业务类型的历史业务数据的对应项数据进行比对，比对一致的数据项作为第一业务数据，比对不一致的数据项作为第二业务数据；
步骤S533：根据第二关联关系，对推送到数据展示及编辑窗体中显示的第二业务数据进行标记；
步骤S534：在数据展示及编辑窗体中，通过鼠标移入带标记的第二业务数据的各项数据，查看数据项的问题详情，并根据问题详情对第二业务数据的对应数据项进行修正，对修正后的第二业务数据的数据项再次与对应业务类型的历史业务数据的对应项数据进行比对，比对一致后并入第一业务数据，直至第二业务数据全部通过修正后且并入第一业务数据，完成属性校验。
可选地，步骤S220，包括：
步骤S221：读取Excel中的历史业务数据，对Excel中的历史业务数据中的逻辑信息进行解析，获得结构化的条目信息和各条目信息对应的结构化的数据项；其中，逻辑信息包括项名称、参数名称和附加信息，通过逻辑信息中的项名称解析得到SQL语句的操作关键字，通过逻辑信息中的参数名称解析得到与操作关键字对应的操作参数，通过逻辑信息中的附加信息解析得到附加文本；操作关键字、操作参数和附加文本拼接得到条目信息；
步骤S222：从各条目信息对应的结构化数据项中提取相应的条目属性，建立条目信息与相应的条目属性的关联关系，形成业务规则；
步骤S223：通过条目信息拼接生成SQL语句，通过获取数据映射脚本模板，将SQL语句嵌入到数据映射脚本模板内生成嵌入有SQL语句的数据映射脚本，数据映射脚本被执行时能够实现数据映射；
步骤S224：将业务规则和数据映射脚本合并形成excel数据模型映射文件。
可选地，步骤S500，实现导入数据库，包括：
在完成属性校验后，将第一业务数据根据第一关联关系存储到数据库内，替换对应业务类型的历史业务数据。
可选地，步骤S531：在确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系时，若存在无法在对应业务类型的历史业务数据中找到对应关系的新增数据项，则对新增数据项进行解析，通过解析得到新增条目信息和相应的新增条目属性，并建立新增条目信息与相应的新增条目属性的关联关系，添加入业务规则中。
可选地，步骤S540，业务数据的渲染，包括：
从业务数据中解耦单元格并将单元格采用矩阵方式进行存储，根据每个单元格在矩阵中的相互位置确定关联维度；
通过格式化命令将业务数据的表格输出到数据展示及编辑窗体；
通过执行命令定义业务数据在数据展示及编辑窗体上输出单元格的尺寸参数；
若存在新单元格的插入导致与一个或多个现有单元格的布局冲突时，通过渲染引擎对数据展示及编辑窗体界面内的一个或多个现有单元格重新定位。
本发明的便利业务人员进行数据导入的实现方法，通过利用java技术对历史业务数据进行解析，构建并存储相应业务类型的业务规则；采用vue技术中的窗体组件和表格组件绘制工具构建并提供一种数据展示及编辑窗体，并建立数据展示及编辑窗体与各个历史业务数据的第一关联关系；在存在新的业务数据时，根据新的业务数据的业务类型进行业务规则匹配，采用匹配的业务规则进行解析，并住所解析将新的业务数据推送到数据展示及编辑窗体进行属性校验及可视化显示，完成属性校验后，将新的业务数据导入数据库，实现数据库的更新。本发明能够自动识别不同的业务数据格式，采用的导入方式可以在数据展示及编辑窗体通过进行属性校验方式实现相关数据的关联性修改，大大减少业务人员的工作量和成本；数据导入的过程中，能够严格控制业务数据的准确性、完整性和一致性，避免了数据的错误和重复；具有高度的灵活性和扩展性，可以快速适应不同的业务数据处理需求；本发明具有很好的应用前景和市场价值。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种便利业务人员进行数据导入的实现方法的流程图；
图2本发明的便利业务人员进行数据导入的实现方法实施例中利用java技术对历史业务数据进行解析的流程图；
图3为本发明的便利业务人员进行数据导入的实现方法实施例中采用的属性校验及可视化显示方式流程图；
图4为本发明的便利业务人员进行数据导入的实现方法实施例中采用的属性校验方式流程图；
图5为本发明的便利业务人员进行数据导入的实现方法实施例中采用的基于excel格式的历史业务数据配置excel数据模型映射文件流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种便利业务人员进行数据导入的实现方法，具体包括：
步骤S100：获取数据库中业务人员提供的各个历史业务数据，确定各个历史业务数据的业务类型；
步骤S200：利用java技术对历史业务数据进行解析，通过解析构建相应业务类型的业务规则，并与相应业务类型一同存储到对应的业务规则库；
步骤S300：采用vue技术中的窗体组件和表格组件绘制工具，构建数据展示及编辑窗体；
步骤S400：根据业务规则库的各项业务规则，建立数据展示及编辑窗体与各个历史业务数据的第一关联关系；
步骤S500：对新的业务数据进行业务规则匹配和解析，将新的业务数据推送到数据展示及编辑窗体进行属性校验及可视化显示，实现导入数据库。
上述技术方案的工作原理为：本方案通过利用java技术对历史业务数据进行解析，构建并存储相应业务类型的业务规则；采用vue技术中的窗体组件和表格组件绘制工具构建并提供一种数据展示及编辑窗体，并建立数据展示及编辑窗体与各个历史业务数据的第一关联关系；在存在新的业务数据时，根据新的业务数据的业务类型进行业务规则匹配，采用匹配的业务规则进行解析，并住所解析将新的业务数据推送到数据展示及编辑窗体进行属性校验及可视化显示，完成属性校验后，将新的业务数据导入数据库，实现数据库的更新。
上述技术方案的有益效果为：能够自动识别不同的业务数据格式，采用的导入方式可以在数据展示及编辑窗体通过进行属性校验方式实现相关数据的关联性修改，大大减少业务人员的工作量和成本；数据导入的过程中，能够严格控制业务数据的准确性、完整性和一致性，避免了数据的错误和重复；具有高度的灵活性和扩展性，可以快速适应不同的业务数据处理需求；本发明具有很好的应用前景和市场价值。
在一个实施例中，如图2所示，步骤S200，利用java技术对历史业务数据进行解析，包括：
步骤S210：获取excel格式的历史业务数据；
步骤S220：基于excel格式的历史业务数据配置excel数据模型映射文件。
上述技术方案的工作原理为：本方案通过获取业务人员上传的excel版本的业务数据源文件，分析业务数据源文件中定义的数据项和目标数据库表中的字段，确定各个数据项应该映射到哪些表字段上，将excel文件中的数据项逐一匹配到目标数据库表中的相应字段上，完成自动映射的功能，从而配置excel业务数据源文件的excel数据模型映射文件。
上述技术方案的有益效果为：能够自动完成数据项到目标数据库表字段的映射，并且在数据解析过程中能够根据预定义的excel数据模型映射文件进行数据类型和格式的自动识别和转换，提高了数据导入的效率和准确度。
在一个实施例中，步骤S200，业务规则包含条目信息和规则内容，条目信息包括项目编号、项目名称和各个数据项，规则内容包括与每个条目信息对应设定的条目属性。
上述技术方案的工作原理和有益效果为：本方案对于业务规则主要包含条目信息和规则内容，条目信息包括项目编号、项目名称和各个数据项，规则内容包括与每个条目信息对应设定的条目属性；对于业务类型为合同的业务规则，会存放一个具有合同名称、合同编号、合同金额等条目信息的规则条件，对于合同金额的条目信息，其条目属性包括类型、小数位等。
在一个实施例中，步骤S500，业务规则匹配，包括：
提取新的业务数据的内部名称；
将内部名称与业务规则库中存储的业务类型进行对比，计算相似度数值；
根据相似度数值由大到小排序，选择排序最前的业务类型所对应的业务规则库作为匹配的业务规则库。
上述技术方案的工作原理和有益效果为：本方案在业务规则匹配时，提取新的业务数据的内部名称；将内部名称与业务规则库中存储的业务类型进行对比，计算相似度数值；根据相似度数值由大到小排序，选择排序最前的业务类型所对应的业务规则库作为匹配的业务规则库，后续可以采用业务规则库内的业务规则对新的业务数据进行解析，从而方案实施业务数据的对照以及关联修改。
在一个实施例中，如图3所示，步骤S500，属性校验及可视化显示，包括：
步骤S510：根据匹配的业务规则库存储的业务规则，对新的业务数据进行解析；
步骤S520：根据解析结果，得到新的业务数据与数据展示及编辑窗体的第二关联关系；
步骤S530：根据第二关联关系，对新的业务数据中的各项数据进行属性校验；
步骤S540：将新的业务数据推送渲染到数据展示及编辑窗体中进行显示。
上述技术方案的工作原理为：本方案通过业务规则对新的业务数据进行解析后，得到新的业务数据与数据展示及编辑窗体的第二关联关系，根据第二关联关系实施新的业务数据中各项数据的属性校验，并将新的业务数据推送渲染到数据展示及编辑窗体中进行显示。
上述技术方案的有益效果为：由于业务规则是通过对历史业务数据的解析得到的，使得业务规则与相关业务类型的业务数据存在映射关系；因此，采用同业务类型的业务规则对新的业务数据进行解析可以实现新的业务数据与原历史业务数据的对照关联；其中，采用同业务类型的业务规则对新的业务数据进行的解析方式，与步骤S200利用java技术对历史业务数据进行解析相比，属于反向解析过程，通过反向解析形成的对照关联，可以使得在数据展示及编辑窗体中进行数据项修改时，实现关联修改，减少修改操作的重复，提高业务数据更新效率；可以避免人为疏漏的影响，保障业务数据的一致性。
在一个实施例中，如图4所示，步骤S530：属性校验，包括：
步骤S531：根据第二关联关系，确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系；
步骤S532：根据对应关系将新的业务数据中各项数据与对应业务类型的历史业务数据的对应项数据进行比对，比对一致的数据项作为第一业务数据，比对不一致的数据项作为第二业务数据；
步骤S533：根据第二关联关系，对推送到数据展示及编辑窗体中显示的第二业务数据进行标记；
步骤S534：在数据展示及编辑窗体中，通过鼠标移入带标记的第二业务数据的各项数据，查看数据项的问题详情，并根据问题详情对第二业务数据的对应数据项进行修正，对修正后的第二业务数据的数据项再次与对应业务类型的历史业务数据的对应项数据进行比对，比对一致后并入第一业务数据，直至第二业务数据全部通过修正后且并入第一业务数据，完成属性校验。
上述技术方案的工作原理为：本方案在对新的业务数据反向解析得到的第二关联关系的基础上，得到并确定了新的业务数据中各项数据与对应业务类型的历史业务数据对应关系；然后进行对应项数据进行比对区分，比对一致的作为第一业务数据，比对不一致的作为第二业务数据，再支持在数据展示及编辑窗体中对第二业务数据进行修正(修改)，根据关联关系自动实现关联修改，从而完成属性校验。
上述技术方案的有益效果为：本方案通过在数据展示及编辑窗体中对第二业务数据进行修正，同时自动实现关联修改，可以使得在数据展示及编辑窗体中进行数据项修改时，实现关联修改，减少修改操作的重复，提高业务数据更新效率；可以避免人为疏漏的影响，保障业务数据的一致性。
在一个实施例中，在步骤S500中，将内部名称与业务规则库中存储的业务类型进行对比，计算相似度数值，包括：
根据内部名称X与业务规则库中存储的业务类型Y分别构建第一语义树和第二语义树，分别表示为Tx＝STree(D,X)，Ty＝STree(D,Y)；Tx＝root(Tx),，Ty＝root(Ty)，root(Tx)和root(Ty)表示Tx和Ty的根节点，也就是整个语义树的最上层节点，这些根节点代表了数据项X和Y在语义层面上的共性特征；通过将数据项映射到语义空间中，我们可以利用这些共性特征来比较数据项之间的相似度；则X和Y基于语义树的相似度为：
W(Tx,Ni)、W(Ty,Ni)分别是节点分别是节点Ni在树Tx和Ty中的权；设N为语义树T中的任意一个节点，以N为根的子树记为sub(N)，N的子节点数为n，N的第i个子节点记为child(N,i)，节点N的权记为W(T,N)，子树sub(N)的权记为W(sub(N))；语义树中节点的权分配规则如下：
(1)W(T)＝1；
(3)W(T,N)＝1/2W(sub(N))；
(4) W(sub(child(N,1))＝W(sub(child(N,2))＝…＝W(sub(child(N,n)))；
∩是两个树的交集运算，Tx∩Ty定义如下：
当且仅当Nx与Ny满足以下条件之一时，称Nx与Ny相等,记为Nx＝Ny：
(1)root(Tx)＝Nx，root(Ty)＝Ny,Nx与Ny的名字相同；
(2)Nx与Ny均为概念节点,Nx与Ny的名字相同，Nx的父节点与Ny的父节点相等；
(3)Nx与Ny均为规则节点,且正则表达式等价。
上述技术方案的工作原理为：本方案通过对语义树之间相似度计算能很好地完成业务规则的匹配，根据匹配结果，业务规则匹配模块会选择对应的业务规则库类型，并将其推送到业务规则解析程序中。业务规则解析程序会对应类型的业务规则进行解析，并将其推送到页面渲染至表格组件的属性校验中，以进行后续的校验和验证工作。当用户进行数据编辑时，表格组件会根据属性校验中的业务规则进行数据校验和验证。如果数据不符合业务规则，表格组件会提示错误信息；如果数据符合业务规则，则可以正常保存至数据库。
上述技术方案的有益效果为：本方案可以根据业务规则库中的规则对用户输入的数据进行校验和验证，从而保证数据的合法性和准确性。同时，采用业务规则匹配模块的方式，可以更加灵活地适应不同的业务需求，提高了系统的可扩展性和适应性。
在一个实施例中，步骤S500，实现导入数据库，包括：
在完成属性校验后，将第一业务数据根据第一关联关系存储到数据库内，替换对应业务类型的历史业务数据。
上述技术方案的工作原理和有益效果为：本方案对将新的业务数据导入数据库，是在完成属性校验后进行的；具体方式是将第一业务数据根据第一关联关系存储到数据库内，覆盖并替换对应业务类型的历史业务数据；采用本方案可以实现更高效的数据库更新。
在一个实施例中，如图5所示，步骤S220，包括：
步骤S221：读取Excel中的历史业务数据，对Excel中的历史业务数据中的逻辑信息进行解析，获得结构化的条目信息和各条目信息对应的结构化的数据项；其中，逻辑信息包括项名称、参数名称和附加信息，通过逻辑信息中的项名称解析得到SQL语句的操作关键字，通过逻辑信息中的参数名称解析得到与操作关键字对应的操作参数，通过逻辑信息中的附加信息解析得到附加文本；操作关键字、操作参数和附加文本拼接得到条目信息；
步骤S222：从各条目信息对应的结构化数据项中提取相应的条目属性，建立条目信息与相应的条目属性的关联关系，形成业务规则；
步骤S223：通过条目信息拼接生成SQL语句，通过获取数据映射脚本模板，将SQL语句嵌入到数据映射脚本模板内生成嵌入有SQL语句的数据映射脚本，数据映射脚本被执行时能够实现数据映射；
步骤S224：将业务规则和数据映射脚本合并形成excel数据模型映射文件。
上述技术方案的工作原理为：本方案在读取Excel中的历史业务数据后，通过对Excel中的历史业务数据中的逻辑信息进行解析，获得结构化的条目信息和各条目信息对应的结构化的数据项，通过提取的条目属性，建立条目信息与相应的条目属性的关联关系，形成业务规则；通过拼接生成的SQL语句，在获取数据映射脚本模板后，将SQL语句嵌入到数据映射脚本模板内生成嵌入有SQL语句的数据映射脚本，将业务规则和数据映射脚本合并，形成excel数据模型映射文件。
上述技术方案的有益效果为：本方案提供了一种对Excel中的历史业务数据进行解析的可选方式，在解析后形成的excel数据模型映射文件中，包含有业务规则和数据映射脚本，从而可以用于新的业务数据导入过程中实现关联修改，减少修改操作的重复，提高业务数据更新效率；可以避免人为疏漏的影响，保障业务数据的一致性。
在一个实施例中，步骤S531：在确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系时，若存在无法在对应业务类型的历史业务数据中找到对应关系的新增数据项，则对新增数据项进行解析，通过解析得到新增条目信息和相应的新增条目属性，并建立新增条目信息与相应的新增条目属性的关联关系，添加入业务规则中。
上述技术方案的工作原理和有益效果为：本方案在确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系时，如果存在无法在对应业务类型的历史业务数据中找到对应关系的新增数据项，则对新增数据项进行解析，通过解析得到新增条目信息和相应的新增条目属性，并建立新增条目信息与相应的新增条目属性的关联关系，添加入业务规则中，通过该方案，可以实现对应业务类型的业务规则的更新，提高业务规则的业务适应性和灵活性。
在一个实施例中，步骤S540，业务数据的渲染，包括：
从业务数据中解耦单元格并将单元格采用矩阵方式进行存储，根据每个单元格在矩阵中的相互位置确定关联维度；
通过格式化命令将业务数据的表格输出到数据展示及编辑窗体；
通过执行命令定义业务数据在数据展示及编辑窗体上输出单元格的尺寸参数；
若存在新单元格的插入导致与一个或多个现有单元格的布局冲突时，通过渲染引擎对数据展示及编辑窗体界面内的一个或多个现有单元格重新定位。
上述技术方案的工作原理和有益效果为：本方案在对业务数据进行渲染时，通过解耦单元格并采用矩阵方式进行存储，根据每个单元格在矩阵中的相互位置确定关联维度，以格式化命令将业务数据的表格输出到数据展示及编辑窗体，采用执行命令定义业务数据在数据展示及编辑窗体上输出单元格的尺寸参数，从而保障的渲染过程中业务数据的对应性和一致性，在存在布局冲突时，通过渲染引擎对数据展示及编辑窗体界面内的一个或多个现有单元格重新定位，现有单元格的重新定位不会覆盖任何单元格中的信息，也不会破坏受影响单元格中包含的任何公式，能够提交渲染的准确性，防止渲染导致的业务数据错位误差的发生，提高渲染后业务数据的安全性和可靠性。
本发明使用Java、vue等相关技术开发：通过一种excel数据解析技术加上展示动态调整修改的方式excel数据文件；既可以方面开发人员方便的解析excel数据，也可以实现业务人员对已经导入的数据进行针对性的可视化修改，最终实现数据快速导入。
本发明利用java技术实现数据的解析：本发明提供一种excel数据解析方法，其中，该方法包括：接收用户提交的excel数据文件；基于所提交的excel数据文件配置excel数据模型映射文件；以及基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析。
利用VUE技术实现数据的可视化精准编辑：本发明提供一种数据展示及编辑窗体，利用vue技术相关组件中的窗体、表格等组件绘制相关的工具。数据可以在表格中进行可视化的展示，且可以在表格中对数据实现在线编辑。
业务规则匹配：每个项目会默认有一个业务规则库，项目建立之初业务人员需要提供一些业务规则的初始化数据，业务规则库通过类型来区分每一类业务规则，例如：类型为CONTRACT_RULE_LAB表示合同规则库，此类规则会存放一个合同编号、合同金额等的规则条件，如合同名称的类型、组成规则；合同金额的类型、小数位等等。业务人员在操作业务数据导入时只要选择对应的业务规则库类型，业务规则解析程序会对应类型的业务规则进行解析推送到页面渲染至表格组件的校验属性中，完成业务规则的匹配。
基于业务标注错误数据：完成业务规则的匹配后，在数据进行可视化显示的同时，对展示出来的数据进行针对性的标记，鼠标移入的时候可以看到数据对应的问题详情，便于更快的修正数据。
利用该专利的解析加数据可视化及在线编辑，降低了业务人员整理核对数据的工作强度，提升了数据导入操作的体验。该专利实现的导入组件可以很方便的集成到各个需要数据导入操作的项目中，提升了开发人员的工作效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种便利业务人员进行数据导入的实现方法，其特征在于，具体包括：
步骤S100：获取数据库中业务人员提供的各个历史业务数据，确定各个历史业务数据的业务类型；
步骤S200：利用java技术对历史业务数据进行解析，通过解析构建相应业务类型的业务规则，并与相应业务类型一同存储到对应的业务规则库；其中，利用java技术对历史业务数据进行解析，包括：
步骤S210：获取excel格式的历史业务数据；
步骤S220：基于excel格式的历史业务数据配置excel数据模型映射文件；
步骤S300：采用vue技术中的窗体组件和表格组件绘制工具，构建数据展示及编辑窗体；
步骤S400：根据业务规则库的各项业务规则，建立数据展示及编辑窗体与各个历史业务数据的第一关联关系；
步骤S500：对新的业务数据进行业务规则匹配和解析，将新的业务数据推送到数据展示及编辑窗体进行属性校验及可视化显示，实现导入数据库；其中，属性校验及可视化显示，包括：
步骤S510：根据匹配的业务规则库存储的业务规则，对新的业务数据进行解析；
步骤S520：根据解析结果，得到新的业务数据与数据展示及编辑窗体的第二关联关系；
步骤S530：根据第二关联关系，对新的业务数据中的各项数据进行属性校验；其中，属性校验，包括：
步骤S531：根据第二关联关系，确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系；
步骤S532：根据对应关系将新的业务数据中各项数据与对应业务类型的历史业务数据的对应项数据进行比对，比对一致的数据项作为第一业务数据，比对不一致的数据项作为第二业务数据；
步骤S533：根据第二关联关系，对推送到数据展示及编辑窗体中显示的第二业务数据进行标记；
步骤S534：在数据展示及编辑窗体中，通过鼠标移入带标记的第二业务数据的各项数据，查看数据项的问题详情，并根据问题详情对第二业务数据的对应数据项进行修正，对修正后的第二业务数据的数据项再次与对应业务类型的历史业务数据的对应项数据进行比对，比对一致后并入第一业务数据，直至第二业务数据全部通过修正后且并入第一业务数据，完成属性校验；
步骤S540：将新的业务数据推送渲染到数据展示及编辑窗体中进行显示。
2.根据权利要求1所述的便利业务人员进行数据导入的实现方法，其特征在于，步骤S200，业务规则包含条目信息和规则内容，条目信息包括项目编号、项目名称和各个数据项，规则内容包括与每个条目信息对应设定的条目属性。
3.根据权利要求1所述的便利业务人员进行数据导入的实现方法，其特征在于，步骤S500，业务规则匹配，包括：
提取新的业务数据的内部名称；
将内部名称与业务规则库中存储的业务类型进行对比，计算相似度数值；
根据相似度数值由大到小排序，选择排序最前的业务类型所对应的业务规则库作为匹配的业务规则库。
4.根据权利要求1所述的便利业务人员进行数据导入的实现方法，其特征在于，步骤S220，包括：
步骤S221：读取Excel中的历史业务数据，对Excel中的历史业务数据中的逻辑信息进行解析，获得结构化的条目信息和各条目信息对应的结构化的数据项；其中，逻辑信息包括项名称、参数名称和附加信息，通过逻辑信息中的项名称解析得到SQL语句的操作关键字，通过逻辑信息中的参数名称解析得到与操作关键字对应的操作参数，通过逻辑信息中的附加信息解析得到附加文本；操作关键字、操作参数和附加文本拼接得到条目信息；
步骤S222：从各条目信息对应的结构化数据项中提取相应的条目属性，建立条目信息与相应的条目属性的关联关系，形成业务规则；
步骤S223：通过条目信息拼接生成SQL语句，通过获取数据映射脚本模板，将SQL语句嵌入到数据映射脚本模板内生成嵌入有SQL语句的数据映射脚本，数据映射脚本被执行时能够实现数据映射；
步骤S224：将业务规则和数据映射脚本合并形成excel数据模型映射文件。
5.根据权利要求1所述的便利业务人员进行数据导入的实现方法，其特征在于，步骤S500，实现导入数据库，包括：
在完成属性校验后，将第一业务数据根据第一关联关系存储到数据库内，替换对应业务类型的历史业务数据。
6.根据权利要求1所述的便利业务人员进行数据导入的实现方法，其特征在于，步骤S531：在确定新的业务数据中各项数据与对应业务类型的历史业务数据对应关系时，若存在无法在对应业务类型的历史业务数据中找到对应关系的新增数据项，则对新增数据项进行解析，通过解析得到新增条目信息和相应的新增条目属性，并建立新增条目信息与相应的新增条目属性的关联关系，添加入业务规则中。
7.根据权利要求1所述的便利业务人员进行数据导入的实现方法，其特征在于，步骤S540，业务数据的渲染，包括：
从业务数据中解耦单元格并将单元格采用矩阵方式进行存储，根据每个单元格在矩阵中的相互位置确定关联维度；
通过格式化命令将业务数据的表格输出到数据展示及编辑窗体；
通过执行命令定义业务数据在数据展示及编辑窗体上输出单元格的尺寸参数；
若存在新单元格的插入导致与一个或多个现有单元格的布局冲突时，通过渲染引擎对数据展示及编辑窗体界面内的一个或多个现有单元格重新定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310512551.5A CN117009422B (zh) | 2023-05-09 | 2023-05-09 | 便利业务人员进行数据导入的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310512551.5A CN117009422B (zh) | 2023-05-09 | 2023-05-09 | 便利业务人员进行数据导入的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117009422A CN117009422A (zh) | 2023-11-07 |
| CN117009422B true CN117009422B (zh) | 2024-04-12 |
Family
ID=88571709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310512551.5A Active CN117009422B (zh) | 2023-05-09 | 2023-05-09 | 便利业务人员进行数据导入的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117009422B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117688915A (zh) * | 2023-11-28 | 2024-03-12 | 中国人寿保险股份有限公司江苏省分公司 | 一种基于数据展示与分离技术实现结果自动生成的方法 |
| CN117829117B (zh) * | 2023-12-29 | 2024-07-23 | 佛山众陶联供应链服务有限公司 | 一种通过Android pda定位加模版匹配收集磅单信息的方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870979A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、提取数据表的数据的方法及存储介质 |
| CN107943835A (zh) * | 2017-10-26 | 2018-04-20 | 中国南方电网有限责任公司 | 一种用于电力系统的报送数据自动分析与归类系统 |
| CN108491510A (zh) * | 2018-03-22 | 2018-09-04 | 平安科技（深圳）有限公司 | Excel数据导入数据库的方法、装置、计算机设备及存储介质 |
| CN109299074A (zh) * | 2018-10-30 | 2019-02-01 | 珠海伟诚科技股份有限公司 | 一种基于模板化数据库视图的数据校验方法及系统 |
| CN109818962A (zh) * | 2019-01-31 | 2019-05-28 | 泰康保险集团股份有限公司 | 业务数据处理方法及装置、电子设备、存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7299223B2 (en) * | 2003-07-16 | 2007-11-20 | Oracle International Corporation | Spreadsheet to SQL translation |
| US8140362B2 (en) * | 2005-08-30 | 2012-03-20 | International Business Machines Corporation | Automatically processing dynamic business rules in a content management system |
-
2023
- 2023-05-09 CN CN202310512551.5A patent/CN117009422B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870979A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、提取数据表的数据的方法及存储介质 |
| CN107943835A (zh) * | 2017-10-26 | 2018-04-20 | 中国南方电网有限责任公司 | 一种用于电力系统的报送数据自动分析与归类系统 |
| CN108491510A (zh) * | 2018-03-22 | 2018-09-04 | 平安科技（深圳）有限公司 | Excel数据导入数据库的方法、装置、计算机设备及存储介质 |
| CN109299074A (zh) * | 2018-10-30 | 2019-02-01 | 珠海伟诚科技股份有限公司 | 一种基于模板化数据库视图的数据校验方法及系统 |
| CN109818962A (zh) * | 2019-01-31 | 2019-05-28 | 泰康保险集团股份有限公司 | 业务数据处理方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117009422A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117009422B (zh) | 便利业务人员进行数据导入的实现方法 | |
| US7921367B2 (en) | Application generator for data transformation applications | |
| CN111444293B (zh) | 一种多源异构安全监测数据的报表智能生成方法 | |
| US20050183002A1 (en) | Data and metadata linking form mechanism and method | |
| US20050144166A1 (en) | Method for assisting in automated conversion of data and associated metadata | |
| CN111813802A (zh) | 一种基于自然语言生成结构化查询语句的方法 | |
| US20060218160A1 (en) | Change control management of XML documents | |
| JP2018516420A (ja) | 自然言語により機能アーキテクチャ文書及びソフトウェア設計・解析仕様書を自動的に生成するプロセス及びシステム | |
| US9141393B2 (en) | Business content authoring and distribution | |
| CN113678118A (zh) | 数据提取系统 | |
| CN112651218A (zh) | 一种标书自动生成方法、管理方法、介质以及计算机 | |
| CN112883692A (zh) | 一种ppt数据报告的自动生成方法 | |
| CN105260300A (zh) | 基于会计准则通用分类标准应用平台的业务测试方法 | |
| CN116258131A (zh) | 基于模板引擎的方案编制方法及系统 | |
| JP2007527058A (ja) | データおよびメタ・データをリンクさせるためのフォームの構成メカニズムおよびその方法 | |
| US9207917B2 (en) | Application generator for data transformation applications | |
| CN116303641B (zh) | 一种支持多数据源可视化配置的实验室报告管理方法 | |
| US11222174B2 (en) | Systems and methods for generating logical documents for a document evaluation system | |
| CN117608656A (zh) | 一种基于ast和llm的混合式前端框架迁移方法 | |
| CN108228688B (zh) | 一种基于xbrl的模板生成方法、系统及服务器 | |
| CN115934716A (zh) | 一种基于元数据定义和实现的Excel表格数据导入数据库的方法 | |
| US8719693B2 (en) | Method for storing localized XML document values | |
| CN116450717B (zh) | 一种跨业务模块的数据整合方法及信息管理系统 | |
| CN115563941B (zh) | 复合文档处理方法、装置、存储介质及计算机设备 | |
| CN117472737A (zh) | 面向增量代码的质量检测方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |