CN109885571A - 一种基于可配置规则的物料数据查重方法和系统 - Google Patents
一种基于可配置规则的物料数据查重方法和系统 Download PDFInfo
- Publication number
- CN109885571A CN109885571A CN201910122124.XA CN201910122124A CN109885571A CN 109885571 A CN109885571 A CN 109885571A CN 201910122124 A CN201910122124 A CN 201910122124A CN 109885571 A CN109885571 A CN 109885571A
- Authority
- CN
- China
- Prior art keywords
- data
- duplicate checking
- allocation list
- configurable rule
- checking method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008676 import Effects 0.000 claims abstract description 37
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 abstract description 3
- 238000004321 preservation Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于可配置规则的物料数据查重方法和系统和系统，属于计算机技术领域，利用配置表来动态配置物料过滤字段，检测出物料的重复数据；通过查重方法中的配置表，配置不允许重复的字段，在物料数据导入时自动进行检测，保证物料数据的唯一性。一种基于可配置规则的物料数据查重系统，包括配置表、物料设置模块和查重模块，配置表在信息系统数据库中建立；物料设置模块将设置的物料属性字段存储于创建的配置表中；查重模块在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选。本发明能够在大批量新增或导入物料数据时自动检测物料的重复数据，保证物料数据的唯一性，提高工作效率和准确性。
Description
技术领域
本发明涉及计算机技术领域，具体地说是一种基于可配置规则的物料数据查重方法和系统。
背景技术
项目初期都是通过人工检索物料数据是否存在重复，随着企业信息化程度的深入，不同行业的企业均部署了信息化软件。在信息化软件的使用过程中，不同行业的物料属性字段均不相同，导致查重方法无法复用，逻辑结构臃肿；并且随着物料数据的增多，人工检索物料数据是否存在重复的工作越来越繁琐，不能满足信息化软件的需求。
发明内容
本发明的技术任务是针对以上不足之处，提供一种基于可配置规则的物料数据查重方法和系统，能够自动检测物料的重复数据，保证物料数据的唯一性，提高工作效率和准确性。
本发明解决其技术问题所采用的技术方案是：
一种基于可配置规则的物料数据查重方法，利用配置表来动态配置物料过滤字段，检测出物料的重复数据；
通过查重方法中的配置表，配置不允许重复的字段，在物料数据导入时自动进行检测，保证物料数据的唯一性。
通过该方法，在大批量新增或导入物料数据时，能够检测出物料的重复数据，自动控制并保证物料的唯一性。
优选的，该方法的实现方式如下：
1)、首先在信息系统数据库中建立相关数据表，提供可视化操作界面，利用WINFORM窗体设计配置界面，整体一目了然，操作简单易用，不需要客户拥有很高的计算机技术即可使用；
2)、物料设置，将设置的物料属性字段存储于创建的表格中；
3)、在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选。
该实现方法操作简化，只需配置所需的物料查重属性字段，即可在导入时自动检查是否存在重复的属性字段数据。
客户在配置界面中选择需要校验的字段，运用计算符号连接字段，查重方法会根据选择的属性字段与计算符号，在数据库中组合成查询SQL语句，select(1)from**Where(校验字段)。新增物料，或者利用EXCEl导入物料时，查重方法会根据配置表中设置的不允许重复的物料字段在数据库中进行条件查询，如果在该Where条件下，数据库中已经存在数据，则给出提示，并且该条数据不会录入数据库中，避免出现重复物料，利用这种方法，客户可以随意增删改需要校验的字段，并且适用于大批量物料导入，简化代码逻辑，可复用性，校验速度快。
进一步的，上述步骤1)中所述的数据表包括上报关系表和汇总关系表。
进一步的，上述步骤2)中所述的物料设置包括集团物料设置和公司物料设置。
具体的，所述数据表在信息系统数据库安装时或版本升级时对其进行初始化创建。
进一步的，在该方法中，物料新增方式为：
1)、设置物料唯一性索引字段；
2)、新增或导入物料；
3)、判断是否满足唯一性校验：是，则保存到数据库；否，则弹出提示消息，不存在后续保存。
具体的，该方法的具体实施过程如下：
1)、首先获取唯一索引定义的内容存储于DATASET中；
2)、其次获取实体列名称存储于DATASET中；
3)、获取上述存储于DATASET中的内容并处理实体列，为其赋上新增物料或导入物料对应的列值，并将其作为查询条件进行数据库查询；如果数据库中存在列值，新增物料则弹出提示信息，提示违反唯一索引，过程不再执行。
进一步的，导入物料，重复行通过界面提示并不再导入，合法数据则会继续导入。
本发明还提供了一种基于可配置规则的物料数据查重系统，包括配置表、物料设置模块和查重模块，
配置表在信息系统数据库中建立，包括上报关系表和汇总关系表，在信息系统数据库安装时或版本升级时对其进行初始化创建；
物料设置模块将设置的物料属性字段存储于创建的配置表中，包括
首先获取唯一索引定义的内容存储于DATASET中，
其次获取实体列名称存储于DATASET中；
查重模块在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选，获取上述存储于DATASET中的内容并处理实体列，为其赋上新增物料或导入物料对应的列值，并将其作为查询条件进行数据库查询；如果数据库中存在列值，新增物料则弹出提示信息，提示违反唯一索引，过程不再执行。导入物料，重复行通过界面提示并不再导入，合法数据则会继续导入。
具体的，物料设置模块包括集团物料设置和公司物料设置。
该系统中，物料新增方式为：1、设置物料唯一性索引字段；2、新增或导入物料；3、判断是否满足唯一性校验：是，则保存到数据库；否，则弹出提示消息，不存在后续保存。
配置方法简单，支持用户根据自身需要，自由搭配校验规则，支持多重关系运算，包括&，or，＝，＞，＜等，该方法适用性广，扩展性强，具有很好的推广应用价值。
本发明的一种基于可配置规则的物料数据查重方法和系统和现有技术相比，具有以下有益效果：
利用查重方法中的配置表，在物料数据大批量导入或大批量新增物料数据时，能够进行自动检测，检测出物料的重复数据，保证物料数据的唯一性，提高工作效率和准确性。
该方法配置方便、简单，可根据用户自身需要，自由搭配物料属性字段进行校验，支持多重关系运算，包括&，or，＝，>,<等，最大化满足不同行业对物料重复性校验的需求，具有适用性广、扩展性强等特点，具有很好的推广应用价值。
附图说明
图1是本发明的基于可配置规则的物料数据查重方法原理流程图；
图2是本发明的基于可配置规则的物料数据查重方法具体实施流程图；
图3是物料导入或新增流程图。
具体实施方式
一种基于可配置规则的物料数据查重方法，利用配置表来动态配置物料过滤字段，从而检测出物料的重复数据。
通过查重方法中的配置表，配置不允许重复的字段，在物料数据导入时自动进行检测，保证物料数据的唯一性。
在大批量新增或导入物料数据时，能够检测出物料的重复数据，自动控制并保证物料的唯一性。
在实际的业务场景下，该方法具体实施方式如下：
1、首先在信息系统数据库中建立相关数据表，数据表包括上报关系数据表和汇总关系表，在安装时或版本升级时对其进行初始化创建；
2、具体业务操作时，分为集团物料设置和公司物料设置，将设置的物料属性字段存储于创建的表格中；
3、在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选。
提供可视化操作界面，利用WINFORM窗体设计配置界面，整体一目了然，操作简单易用，不需要客户拥有很高的计算机技术即可使用。客户在配置界面中选择需要校验的字段，运用计算符号连接字段，查重方法会根据选择的属性字段与计算符号，在数据库中组合成查询SQL语句，select(1)from**Where(校验字段)。新增物料，或者利用EXCEl导入物料时，查重方法会根据配置表中设置的不允许重复的物料字段在数据库中进行条件查询，如果在该Where条件下，数据库中已经存在数据，则给出提示，并且该条数据不会录入数据库中，避免出现重复物料，利用这种方法，客户可以随意增删改需要校验的字段，并且适用于大批量物料导入，简化代码逻辑，可复用性，校验速度快。
物料新增或物料导入方式为：
S1：设置物料唯一性索引字段；
S2：新增或导入物料；
S3：判断是否满足唯一性校验：是，则保存到数据库；否，则弹出提示消息，不存在后续保存。
配置表的数据结构如下：
表1定义内容表(UniqValidKeys)
| 名称 | 类型 | 可为空 | 默认 | 注释 |
| UNIQVALIDNM | char(20) | |||
| TABLENAME | VARchar2(30) | 是 | ||
| CLASSSETCODE | VARchar2(30) | 是 | ||
| UNIQKEYID | VARchar2(4) | 是 | ||
| UNIQKEYCODE | VARchar2(3000) | 是 | ||
| UNIQKEYNAME | VARchar2(255) | 是 | ||
| ORDERBYNO | INTEGER | 是 |
表2列实体表(UniqValidKeyEntityLinks)
| 名称 | 类型 | 可为空 | 默认 | 注释 |
| CLASSSETCODE | VARchar2(30) | 是 | ||
| TABLENAME | VARchar2(30) | 是 | ||
| KEYCOLUMNNAME | VARchar2(30) | 是 | ||
| KEYCOLUMNDESC | VARchar2(100) | 是 | ||
| ENTITYNAME | VARchar2(100) | 是 |
具体的，该方法的具体事项过程如下：
a、首先获取唯一索引定义的内容存储于DATASET中；
select UniqKeyCode,UniqKeyName from UniqValidKeys where ClassSetCode＝'Materials'order by OrderByNo
b、其次获取实体列名称存储于DATASET中；
select KeyColumnName,EntityName from UniqValidKeyEntityLinks whereClassSetCode＝'Materials'
c、获取上述存储于DATASET中的内容并处理实体列，为其赋上新增物料或导入物料对应的列值，并将其作为查询条件进行数据库查询；如果数据库中存在列值，新增物料则弹出提示信息，提示违反唯一索引，过程不再执行。导入物料，重复行通过界面提示并不再导入，合法数据则会继续导入。
本方法/系统通过运算符组合各种属性，SQL Where条件查询，实现数据库物料查重校验，实现配置操作可视化，利用WINFORM窗体设计配置界面，整体一目了然，操作简单易用，不需要客户拥有很高的计算机技术即可使用，操作简单化，只需配置所需的物料查重属性字段，即可在导入时自动检查是否存在重复的属性字段数据。
客户在配置界面中选择需要校验的字段，运用计算符号连接字段，查重方法会根据选择的属性字段与计算符号，在数据库中组合成查询SQL语句，select(1)from**Where(校验字段)。新增物料，或者利用EXCEl导入物料时，查重方法会根据配置表中设置的不允许重复的物料字段在数据库中进行条件查询，如果在该Where条件下，数据库中已经存在数据，则给出提示，并且该条数据不会录入数据库中，避免出现重复物料，利用这种方法，客户可以随意增删改需要校验的字段，并且适用于大批量物料导入，简化代码逻辑，可复用性，校验速度快等。
具体实现代码如下：
一种基于可配置规则的物料数据查重系统，包括配置表、物料设置模块和查重模块，
配置表在信息系统数据库中建立，包括上报关系表和汇总关系表，在信息系统数据库安装时或版本升级时对其进行初始化创建；
物料设置模块分为集团物料设置和公司物料设置，将设置的物料属性字段存储于创建的配置表中，包括
首先获取唯一索引定义的内容存储于DATASET中，
其次获取实体列名称存储于DATASET中；
查重模块在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选，获取上述存储于DATASET中的内容并处理实体列，为其赋上新增物料或导入物料对应的列值，并将其作为查询条件进行数据库查询；如果数据库中存在列值，新增物料则弹出提示信息，提示违反唯一索引，过程不再执行。导入物料，重复行通过界面提示并不再导入，合法数据则会继续导入。
物料新增方式为：1、设置物料唯一性索引字段；2、新增或导入物料；3、判断是否满足唯一性校验：是，则保存到数据库；否，则弹出提示消息，不存在后续保存。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (10)
1.一种基于可配置规则的物料数据查重方法，其特征在于利用配置表来动态配置物料过滤字段，检测出物料的重复数据；
通过查重方法中的配置表，配置不允许重复的字段，在物料数据导入时自动进行检测，保证物料数据的唯一性。
2.根据权利要求1所述的一种基于可配置规则的物料数据查重方法，其特征在于该方法的实现方式如下：
1)、首先在信息系统数据库中建立相关数据表；
2)、物料设置，将设置的物料属性字段存储于创建的表格中；
3)、在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选。
3.根据权利要求2所述的一种基于可配置规则的物料数据查重方法，其特征在于步骤1)中所述数据表包括上报关系表和汇总关系表。
4.根据权利要求2所述的一种基于可配置规则的物料数据查重方法，其特征在于步骤2)中所述物料设置包括集团物料设置和公司物料设置。
5.根据权利要求2所述的一种基于可配置规则的物料数据查重方法，其特征在于所述数据表在信息系统数据库安装时或版本升级时对其进行初始化创建。
6.根据权利要求1或2所述的一种基于可配置规则的物料数据查重方法，其特征在于在该方法中，物料新增方式为：
1)、设置物料唯一性索引字段；
2)、新增或导入物料；
3)、判断是否满足唯一性校验，是，则保存到数据库；否，则弹出提示消息，不保存。
7.根据权利要求6所述的一种基于可配置规则的物料数据查重方法，其特征在于该方法的具体实施过程如下：
1)、首先获取唯一索引定义的内容存储于DATASET中；
2)、其次获取实体列名称存储于DATASET中；
3)、获取上述存储于DATASET中的内容并处理实体列，为其赋上新增物料或导入物料对应的列值，并将其作为查询条件进行数据库查询；如果数据库中存在列值，新增物料则弹出提示信息，提示违反唯一索引，过程不再执行。
8.根据权利要求7所述的一种基于可配置规则的物料数据查重方法，其特征在于导入物料，重复行通过界面提示并不再导入，合法数据则会继续导入。
9.一种基于可配置规则的物料数据查重系统，其特征在于包括配置表、物料设置模块和查重模块，
配置表在信息系统数据库中建立；
物料设置模块将设置的物料属性字段存储于创建的配置表中；
查重模块在物料新增或导入时，通过SQL组合成where条件查重，进行数据的自动筛选。
10.根据权利要求9所述的一种基于可配置规则的物料数据查重系统，其特征在于物料设置模块包括集团物料设置和公司物料设置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122124.XA CN109885571A (zh) | 2019-02-19 | 2019-02-19 | 一种基于可配置规则的物料数据查重方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122124.XA CN109885571A (zh) | 2019-02-19 | 2019-02-19 | 一种基于可配置规则的物料数据查重方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109885571A true CN109885571A (zh) | 2019-06-14 |
Family
ID=66928353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910122124.XA Pending CN109885571A (zh) | 2019-02-19 | 2019-02-19 | 一种基于可配置规则的物料数据查重方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109885571A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111258998A (zh) * | 2020-01-16 | 2020-06-09 | 北京字节跳动网络技术有限公司 | 一种数据校验的方法、装置、介质和电子设备 |
| CN111598535A (zh) * | 2020-05-09 | 2020-08-28 | 西安精雕软件科技有限公司 | 一种基础物料的导入方法、系统、计算机设备 |
| CN111858717A (zh) * | 2020-07-29 | 2020-10-30 | 广州易行信息技术有限公司 | 一种物料创建的实时智能推荐方法 |
| CN113033738A (zh) * | 2021-04-14 | 2021-06-25 | 深圳一道创新技术有限公司 | 一种基于mes系统的物料防错管理方法、系统、电子设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809146A (zh) * | 2014-01-28 | 2015-07-29 | 远升科技股份有限公司 | 用于确定对象在对象序列中的索引的系统和方法 |
| CN106920060A (zh) * | 2017-03-13 | 2017-07-04 | 上海龙腾科技股份有限公司 | 一种仓库管理系统 |
| CN107908759A (zh) * | 2017-11-23 | 2018-04-13 | 中国银行股份有限公司 | 重复业务判断方法及系统 |
| CN109284323A (zh) * | 2018-09-18 | 2019-01-29 | 武汉裕量信息科技有限公司 | 检测数据的管理方法及装置 |
-
2019
- 2019-02-19 CN CN201910122124.XA patent/CN109885571A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809146A (zh) * | 2014-01-28 | 2015-07-29 | 远升科技股份有限公司 | 用于确定对象在对象序列中的索引的系统和方法 |
| CN106920060A (zh) * | 2017-03-13 | 2017-07-04 | 上海龙腾科技股份有限公司 | 一种仓库管理系统 |
| CN107908759A (zh) * | 2017-11-23 | 2018-04-13 | 中国银行股份有限公司 | 重复业务判断方法及系统 |
| CN109284323A (zh) * | 2018-09-18 | 2019-01-29 | 武汉裕量信息科技有限公司 | 检测数据的管理方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111258998A (zh) * | 2020-01-16 | 2020-06-09 | 北京字节跳动网络技术有限公司 | 一种数据校验的方法、装置、介质和电子设备 |
| CN111598535A (zh) * | 2020-05-09 | 2020-08-28 | 西安精雕软件科技有限公司 | 一种基础物料的导入方法、系统、计算机设备 |
| CN111598535B (zh) * | 2020-05-09 | 2023-06-13 | 西安精雕软件科技有限公司 | 一种基础物料的导入方法、系统、计算机设备 |
| CN111858717A (zh) * | 2020-07-29 | 2020-10-30 | 广州易行信息技术有限公司 | 一种物料创建的实时智能推荐方法 |
| CN111858717B (zh) * | 2020-07-29 | 2024-04-09 | 广州易行数字技术有限公司 | 一种物料创建的实时智能推荐方法 |
| CN113033738A (zh) * | 2021-04-14 | 2021-06-25 | 深圳一道创新技术有限公司 | 一种基于mes系统的物料防错管理方法、系统、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109885571A (zh) | 一种基于可配置规则的物料数据查重方法和系统 | |
| US9558230B2 (en) | Data quality assessment | |
| US11055307B2 (en) | Automatic modeling method and classifier for OLAP data model | |
| CN104991975A (zh) | 电力业务系统的数据查询方法及其系统 | |
| CN105653554A (zh) | 一种文件数据比对方法和系统 | |
| CN101651576A (zh) | 告警信息处理方法和系统 | |
| CN104750496A (zh) | 一种模型变更影响度自动检查方法 | |
| WO2010120465A2 (en) | Testing efficiency and stability of a database query engine | |
| CN109885689A (zh) | 一种基于规则引擎的实时分类统计日志的方法及系统 | |
| CN109033322A (zh) | 一种多维数据的测试方法和装置 | |
| CN108694108A (zh) | 一种iOS崩溃数据分类与统计的方法和装置 | |
| CN110335641B (zh) | 一种四个体组合亲缘关系鉴定方法及装置 | |
| CN107609179A (zh) | 一种数据处理方法及设备 | |
| CN102486772A (zh) | 一种数据的导出方法及装置 | |
| CN109582286A (zh) | 基于Freemarker技术的数据规范性校验方法及其装置 | |
| CN104794234A (zh) | 用于同业对标的数据处理方法和装置 | |
| CN106383914B (zh) | 基于云呼叫平台实现多数据源配置的方法及其系统 | |
| CN112634004A (zh) | 征信数据的血缘图谱分析方法与系统 | |
| CN111522819A (zh) | 一种树型结构数据汇总的方法及系统 | |
| CN102855300A (zh) | 一种报表的快速查看方法和装置 | |
| CN115982166A (zh) | 数据资产标准化治理方法及装置 | |
| CN108521527B (zh) | 话单差异检测方法、系统、计算机存储介质及计算机设备 | |
| US9183317B1 (en) | System and method for exporting report results from a reporting system | |
| CN110750512A (zh) | 一种数据库性能评价管理方法及装置 | |
| CN105590224A (zh) | 确定交易流程中失效节点的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |