CN112965967A - 批量修改时的数据唯一性校验方法及装置 - Google Patents
批量修改时的数据唯一性校验方法及装置 Download PDFInfo
- Publication number
- CN112965967A CN112965967A CN202110184039.3A CN202110184039A CN112965967A CN 112965967 A CN112965967 A CN 112965967A CN 202110184039 A CN202110184039 A CN 202110184039A CN 112965967 A CN112965967 A CN 112965967A
- Authority
- CN
- China
- Prior art keywords
- data
- uniqueness
- pseudo
- modified
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012986 modification Methods 0.000 title claims abstract description 82
- 230000004048 modification Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 58
- 238000012795 verification Methods 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 11
- 230000007547 defect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于大数据技术领域，本发明提供了一种批量修改时的数据唯一性校验方法及装置，建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。本发明克服了现有的数据唯一性校验方案的弊端，能基本覆盖现有的业务场景，满足数据唯一性校验要求；减少了业务人员在批量操作时的操作步骤，从而节约了业务人员在批量操作时的操作时间。
Description
技术领域
本申请涉及大数据技术领域，具体涉及一种批量修改时的数据唯一性校验方法及装置。
背景技术
随着互联网应用的日益发展，数据量快速膨胀，传统的关系型数据库已经无法满足这种膨胀后的数据量的存储要求。而非关系型数据库的出现弥补了这一缺点，但无论是关系型数据库还是非关系型数据库，都会面临数据唯一性校验的问题。现有技术为了保证数据的唯一性，是通过设置唯一索引的方式来进行校验的。唯一索引可分为隐式唯一和显式唯一，隐式唯一索引即不在界面上显示，也不可维护的，一般来说是设置为UUID；显式唯一索引，即在界面上显示，可维护，一般设置为名称、简称或编码等一个字段或多个字段的组合。而UUID一般来说不会重复，所以不用进行校验，需要进行唯一校验的是显式唯一索引，现有技术中唯一性校验规则包括：
1、获取一条需要校验的数据；
2、获取现有的数据；
3、根据设置的唯一性索引，将需要校验的数据与现有的数据比较，判断是否唯一；
但当进行批量修改数据时，即当串行的执行上述步骤时。这种校验规则在以下几种场景中，会将数据判定为不唯一：
1、批量修改，修改的数据集中有唯一索引内容交换的；
2、批量修改，修改的数据集中，有删除的数据，也有新增的数据，新增的数据的唯一索引内容与删除的数据的唯一索引内容一致；
3、批量修改，修改的数据集中，有删除的数据，也有修改的数据，修改的数据的修改后的唯一索引内容与删除数据的唯一索引内容一致；
可以理解的是，以上场景在实际应用中确实存在，其按照业务要求也是合理的，修改后的唯一索引内容并不重复。如果按照原有的校验规则，要实现上述场景，只能分批进行修改，加大了操作难度，也延长了操作时间。
发明内容
本发明属于大数据技术领域，本发明克服了现有的数据唯一性校验方案的弊端，提供了较为完善的校验方法，具体地：能基本覆盖现有的业务场景，满足数据唯一性校验要求；减少了业务人员在批量操作时的操作步骤，从而节约了业务人员在批量操作时的操作时间。
为解决上述技术问题，本发明提供以下技术方案：
建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
一实施例中，所述根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性包括：
若所述修改后的伪列数据与其对应的所述索引数据符合所述映射，则批量修改后的数据唯一；
若所述修改后的伪列数据与其对应的所述索引数据不符合所述映射，则所述批量修改后的数据不唯一。
一实施例中，批量修改时的数据唯一性校验方法还包括：
在所述待进行唯一性校验数据中设置所述伪列数据。
一实施例中，所述在所述待进行唯一性校验数据中设置所述伪列数据包括：
根据所述待进行唯一性校验数据中的至少一个索引数据生成伪列数据。
第二方面，本发明提供一种批量修改时的数据唯一性校验装置，该装置包括：
映射建立模块，用于建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
伪列数据修改模块，用于根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
唯一性检验模块，用于根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
一实施例中，所述唯一性检验模块包括：
数据唯一判断单元，用于若所述修改后的伪列数据与其对应的所述索引数据符合所述映射，则批量修改后的数据唯一；
数据不唯一判断单元，用于若所述修改后的伪列数据与其对应的所述索引数据不符合所述映射，则所述批量修改后的数据不唯一。
一实施例中，批量修改时的数据唯一性校验装置还包括：
伪列数据设置模块，用于在所述待进行唯一性校验数据中设置所述伪列数据。
一实施例中，所述伪列数据设置模块具体用于根据所述待进行唯一性校验数据中的至少一个索引数据生成伪列数据。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现批量修改时的数据唯一性校验方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现批量修改时的数据唯一性校验方法的步骤。
从上述描述可知，本发明实施例提供一种批量修改时的数据唯一性校验方法及装置，首先建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；接着，根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；最后根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。本发明可弥补现有的数据唯一性校验方式在批量操作时的特殊场景下不能满足业务要求的问题，同时具有以下有益效果：
1、具有可扩展性。此方案在关系型数据库和非关系型数据库中均可使用，对数据库类型不挑剔，具有良好的扩展性。且根据本方案，可设置多个伪列，只需要伪列与实际的唯一索引进行对应即可，可满足大部分场景的使用。
2、代码统一性。此方案是在数据库层面实现，不涉及代码的大面积修改。如果发生数据库更换的情况，唯一性校验的代码可不做核心修改，减少了因代码修改而产生的问题。
3、减少了业务人员操作难度。如果在大批量操作的情况下，业务人员可对数据一次性校验，一次性修改，而不用根据情况对数据进行拆包，多次进行校验和修改，减少了业务人员的操作难度，也减少了因为拆包导致的数据不完整情况的发生概率。
4、保证数据完整性。因本方案是分步骤进行的，在校验阶段不会对原有数据进行操作，避免了数据错乱的情况。且本方案支持只校验不修改数据的场景，以及对数据会进行后续处理，最大限度的保证了数据的完整性和真实性。
5、简单易行。本方案对数据库的修改不大，只是增加了冗余存储的字段，在现有的硬件条件下完全可以支撑这样的冗余数据；对代码改造量不大，可通过通用校验类实现，降低了程序员的修改成本，也降低了因实施本方案而产生问题的概率。
6、便于维护。当数据库唯一性发生改变时，只需维护对应的伪列组成规则即可。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中批量修改时的数据唯一性校验方法的流程示意图一；
图2为本发明实施例中步骤300的流程示意图；
图3为本发明实施例中批量修改时的数据唯一性校验方法的流程示意图二；
图4为本发明实施例中步骤400的流程示意图；
图5为本发明具体应用实例中的批量修改时的数据唯一性校验方法的流程示意图；
图6为本发明的实施例中批量修改时的数据唯一性校验装置的结构示意图一；
图7为本发明的实施例中唯一性检验模块30的结构示意图；
图8为本发明的实施例中批量修改时的数据唯一性校验装置的结构示意图一；
图9为本发明的实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供一种批量修改时的数据唯一性校验方法的具体实施方式，参见图1，其具体包括如下内容：
步骤100：建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系。
具体地，可以通过数据中显示索引的一个或者多个设置对应的伪列数据。可以理解的是，伪列数据是一个数据库术语，在物理上这个列并不存在，只是在查询或者校验时才构造出来，用户无法执行修改等操作。比如Oracle中的RowID字段、RowNum以及Level，使用RowID可以快速地定位到某个对应的数据，因为它标记了记录所对应的物理地址，是唯一的。也是Oracle中常见的伪列。
步骤200：根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改。
具体地，根据待进行唯一性校验数据的操作类型(如修改、新增以及删除等)对伪列数据重新赋值。
步骤300：根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
具体检验方法如下：当修改后的伪列数据与其对应的所述索引数据仍符合所述映射(仍为修改前的一一对应关系)，则批量修改后的数据唯一，即数据唯一性通过；反之，若所述修改后的伪列数据与其对应的所述索引数据之间的关系发生改变，不符合修改前映射，则所述批量修改后的数据不唯一。
从上述描述可知，本发明实施例提供一种批量修改时的数据唯一性校验方法，首先建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；接着，根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；最后根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。本发明克服了现有的数据唯一性校验方案的弊端，提供了中较为完善的校验方案，能基本覆盖现有的业务场景，满足数据唯一性校验要求；减少了业务人员在批量操作时的操作步骤；节约了业务人员在批量操作时的操作时间。
一实施例中，参见图2，步骤300进一步包括：
步骤301：若所述修改后的伪列数据与其对应的所述索引数据符合所述映射，则批量修改后的数据唯一；
步骤302：若所述修改后的伪列数据与其对应的所述索引数据不符合所述映射，则所述批量修改后的数据不唯一。
针对步骤301以及步骤302，具体地，对批量操作的数据进行串行校验，将涉及到的索引数据与伪列数据进行比较，当修改后的伪列数据与其对应的所述索引数据仍符合所述映射(即修改后伪列数据与其对应的索引数据仍为一一对应的关系，且特定的伪列数据与其修改后的伪列数据扔对应于同一索引数据)，则唯一性校验通过，且真正入库，并且伪列数据不变；反之，若所述修改后的伪列数据与其对应的所述索引数据之间的关系发生改变，不符合修改前映射，唯一性校验不通过(不入库)，并且伪列的数据恢复为原有的数据。
一实施例中，参见图3，批量修改时的数据唯一性校验方法还包括：
步骤400：在所述待进行唯一性校验数据中设置所述伪列数据。
优选地，索引数据为隐式唯一索引；
下面通过一例子对步骤400进行解释，参见表1，为现有的一类资产(属性参数)的数据结构(已经转换为结构化数据)。其中，UUID为隐式唯一索引，在全局唯一，自动生成且不可修改的，此字段作为一条数据真正的唯一索引；paramCode(参数代码)和paramName(参数名称)为联合索引，是显式索引，可以在界面上对paramCode和paramName进行修改。在此基础上，如附表2，设置一个伪列virtualValue，用于存放联合索引涉及字段修改后的值。
表1
| UUID | paramCode | paramName | |
表2
| UUID | paramCode | paramName | virtualValue | |
一实施例中，参见图4，步骤400进一步包括：
步骤401：根据所述待进行唯一性校验数据中的至少一个索引数据生成伪列数据。
具体地，设置一个伪列virtualValue，用于存放联合索引涉及字段修改后的值，伪列的值的内容可以通过多个显式索引计算后得到，并且此伪列在界面上不显式。仍以步骤400中的例子为例，伪列的值的内容为paramCode+paramName修改后的值。
为进一步地说明本方案，本发明以mongoDB数据库为例，提供批量修改时的数据唯一性校验定方法的具体应用实例，参见图5。
本具体应用实例是基于冗余存储数据来进行数据的唯一性校验。在数据库表中设置伪列来存储修改后的值，通过伪列的数据来进行校验。下面将结合实际应用中的案例对本方案进行详细的阐述，案例中的数据库为mongoDB数据库。
如表1中，为现有的一类资产(属性参数)的数据结构(已经转换为结构化数据)。其中，UUID为隐式唯一索引，在全局唯一，自动生成且不可修改的，此字段作为一条数据真正的唯一索引；paramCode(参数代码)和paramName(参数名称)为联合索引，是显式索引，可以在界面上对paramCode和paramName进行修改。
在此基础上，如表2，设置一个伪列virtualValue，用于存放联合索引涉及字段修改后的值，在本案例中，伪列的值的内容为paramCode+paramName修改后的值。此伪列在界面上不显式。现有以下场景，已包含了批量操作时所有场景，本方案将按照下列步骤进行数据校验：
S1：数据初始化。
如表3，根据数据库中现有的数据对virtualValue列的数据进行初始化；
表3
| UUID | paramCode | paramName | virtualValue | |
| 1 | 00007B1C0B5CEB1BE053051118503CF3 | L00001 | 开户金额 | L00001开户金额 |
| 2 | 0001080E01C603BDE05305111850182D | R03541 | 可交易金额 | R03541可交易金额 |
| 3 | 00020C8DA08E2F12E053051118507098 | L00543 | 交易金额 | L00543交易金额 |
| 4 | 00025F8ED1723EADE0530511185076E9 | W00010 | 交易重量 | W00010交易重量 |
| 5 | 0002B662D294108EE053051118507267 | W00011 | 交易数量 | W00011交易数量 |
| 6 | 0004F3B412757144E05305111850F335 | R09961 | 基本额度 | R09961基本额度 |
S2：根据需要校验的数据的操作类型对virtualValue列重新赋值。
表4为批量操作的需要校验的数据，其中operType列为该行数据的操作类型，U：修改、I：新增、D：删除)，赋值内容为修改后的值；
表4
| UUID | paramCode | paramName | operType | |
| 1 | 00007B1C0B5CEB1BE053051118503CF3 | R03541 | 可交易金额 | U |
| 2 | 0001080E01C603BDE05305111850182D | L00001 | 开户金额 | U |
| 3 | 00020C8DA08E2F12E053051118507098 | L00543 | 交易金额 | D |
| 4 | 000598BCB4248DF0E05305111850C03B | L00543 | 交易金额 | I |
| 5 | 0002B662D294108EE053051118507267 | W00011 | 交易数量 | |
| 6 | 0004F3B412757144E05305111850F335 | L48360 | 约定保留金额 | U |
| 7 | 0007E1554BA3F3D4E053051118507355 | R09961 | 基本额度 | I |
经对比可发现，批量操作的数据中，第1行和第2行的数据的唯一索引数值发生了交换；第3行数据进行了删除，第4行的数据的唯一索引数值为第三行数据的唯一索引数值；第5行的数据的唯一索引数值发生了改变，第6行数据的唯一索引数值为第5行原有的唯一索引数值。故需要对批量操作后的数据进行修改，修改后的数据如表5。
表5
| UUID | paramCode | paramName | operType | |
| 1 | 00007B1C0B5CEB1BE053051118503CF3 | R03541 | 可交易金额 | R03541可交易金额 |
| 2 | 0001080E01C603BDE05305111850182D | L00001 | 开户金额 | L00001开户金额 |
| 3 | 00020C8DA08E2F12E053051118507098 | L00543 | 交易金额 | |
| 4 | 000598BCB4248DF0E05305111850C03B | L00543 | 交易金额 | L00543交易金额 |
| 5 | 0002B662D294108EE053051118507267 | W00011 | 交易数量 | W00011交易数量 |
| 6 | 0004F3B412757144E05305111850F335 | L48360 | 约定保留金额 | L48360约定保留金额 |
| 7 | 0007E1554BA3F3D4E053051118507355 | R09961 | 基本额度 | R09961基本额度 |
S3：唯一性校验。
对批量操作的数据进行串行校验，将涉及到的列的数据与virtualValue列的数据进行比较。经校验，修改后的数据唯一性校验通过。
数据后续处理：如果唯一性校验通过，且真正入库，则virtualValue列的数据不变；如果唯一性校验不通过或者不入库，则virtualValue列的数据恢复为原有的数据。
从上述描述可知，本发明具体应用实例所提供一种批量修改时的数据唯一性校验方法，无需人工的介入，通过分析在版本制品构建过程中使用到的开源软件Jar包的指纹码与开源软件制品仓库中的指纹码进行匹配，从而实现自动登记注册各应用使用的开源软件信息。支持企业级应用海量开源软件使用登记、支持构建过程中进行比对登记、支持对构建无侵入的工作模式。
基于同一发明构思，本申请实施例还提供了一种批量修改时的数据唯一性校验装置，可以用于实现上述实施例所描述的方法，如下面的实施例。由于批量修改时的数据唯一性校验装置解决问题的原理与批量修改时的数据唯一性校验方法相似，因此批量修改时的数据唯一性校验装置的实施可以参见批量修改时的数据唯一性校验方法实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明的实施例提供一种能够实现批量修改时的数据唯一性校验方法的批量修改时的数据唯一性校验装置的具体实施方式，参见图6，批量修改时的数据唯一性校验装置具体包括如下内容：
映射建立模块10，用于建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
伪列数据修改模块20，用于根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
唯一性检验模块30，用于根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
一实施例中，参见图7，所述唯一性检验模块30包括：
数据唯一判断单元301，用于若所述修改后的伪列数据与其对应的所述索引数据符合所述映射，则批量修改后的数据唯一；
数据不唯一判断单元302，用于若所述修改后的伪列数据与其对应的所述索引数据不符合所述映射，则所述批量修改后的数据不唯一。
一实施例中，参见图8，批量修改时的数据唯一性校验装置还包括：
伪列数据设置模块40，用于在所述待进行唯一性校验数据中设置所述伪列数据。
一实施例中，所述伪列数据设置模块具体用于根据所述待进行唯一性校验数据中的至少一个索引数据生成伪列数据。
从上述描述可知，本发明实施例提供一种批量修改时的数据唯一性校验装置，首先建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；接着，根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；最后根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。本发明可弥补现有的数据唯一性校验方式在批量操作时的特殊场景下不能满足业务要求的问题，同时具有以下有益效果：
1、具有可扩展性。此方案在关系型数据库和非关系型数据库中均可使用，对数据库类型不挑剔，具有良好的扩展性。且根据本方案，可设置多个伪列，只需要伪列与实际的唯一索引进行对应即可，可满足大部分场景的使用。
2、代码统一性。此方案是在数据库层面实现，不涉及代码的大面积修改。如果发生数据库更换的情况，唯一性校验的代码可不做核心修改，减少了因代码修改而产生的问题。
3、减少了业务人员操作难度。如果在大批量操作的情况下，业务人员可对数据一次性校验，一次性修改，而不用根据情况对数据进行拆包，多次进行校验和修改，减少了业务人员的操作难度，也减少了因为拆包导致的数据不完整情况的发生概率。
4、保证数据完整性。因本方案是分步骤进行的，在校验阶段不会对原有数据进行操作，避免了数据错乱的情况。且本方案支持只校验不修改数据的场景，以及对数据会进行后续处理，最大限度的保证了数据的完整性和真实性。
5、简单易行。本方案对数据库的修改不大，只是增加了冗余存储的字段，在现有的硬件条件下完全可以支撑这样的冗余数据；对代码改造量不大，可通过通用校验类实现，降低了程序员的修改成本，也降低了因实施本方案而产生问题的概率。
6、便于维护。当数据库唯一性发生改变时，只需维护对应的伪列组成规则即可。
本申请的实施例还提供能够实现上述实施例中的批量修改时的数据唯一性校验方法中全部步骤的一种电子设备的具体实施方式，参见图9，电子设备具体包括如下内容：
处理器(processor)1201、存储器(memory)1202、通信接口(CommunicationsInterface)1203和总线1204；
其中，处理器1201、存储器1202、通信接口1203通过总线1204完成相互间的通信；通信接口1203用于实现服务器端设备以及客户端设备等相关设备之间的信息传输；
处理器1201用于调用存储器1202中的计算机程序，处理器执行计算机程序时实现上述实施例中的批量修改时的数据唯一性校验方法中的全部步骤，例如，处理器执行计算机程序时实现下述步骤：
步骤100：建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
步骤200：根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
步骤300：根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
本申请的实施例还提供能够实现上述实施例中的批量修改时的数据唯一性校验方法中全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的批量修改时的数据唯一性校验方法的全部步骤，例如，处理器执行计算机程序时实现下述步骤：
步骤100：建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
步骤200：根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
步骤300：根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。
Claims (10)
1.一种批量修改时的数据唯一性校验方法，其特征在于，包括：
建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
2.如权利要求1所述的批量修改时的数据唯一性校验方法，其特征在于，所述根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性包括：
若所述修改后的伪列数据与其对应的所述索引数据符合所述映射，则批量修改后的数据唯一；
若所述修改后的伪列数据与其对应的所述索引数据不符合所述映射，则所述批量修改后的数据不唯一。
3.如权利要求1所述的批量修改时的数据唯一性校验方法，其特征在于，还包括：
在所述待进行唯一性校验数据中设置所述伪列数据。
4.如权利要求3所述的批量修改时的数据唯一性校验方法，其特征在于，所述在所述待进行唯一性校验数据中设置所述伪列数据包括：
根据所述待进行唯一性校验数据中的至少一个索引数据生成伪列数据。
5.一种批量修改时的数据唯一性校验装置，其特征在于，包括：
映射建立模块，用于建立待进行唯一性校验数据中的索引数据与伪列数据的映射；所述映射为一一对应关系；
伪列数据修改模块，用于根据所述待进行唯一性校验数据所进行的批量修改类型，对所述伪列数据进行修改；
唯一性检验模块，用于根据所述映射以及修改后的伪列数据检验批量修改后的数据的唯一性。
6.如权利要求5所述的批量修改时的数据唯一性校验装置，其特征在于，所述唯一性检验模块包括：
数据唯一判断单元，用于若所述修改后的伪列数据与其对应的所述索引数据符合所述映射，则批量修改后的数据唯一；
数据不唯一判断单元，用于若所述修改后的伪列数据与其对应的所述索引数据不符合所述映射，则所述批量修改后的数据不唯一。
7.如权利要求5所述的批量修改时的数据唯一性校验装置，其特征在于，还包括：
伪列数据设置模块，用于在所述待进行唯一性校验数据中设置所述伪列数据。
8.如权利要求7所述的批量修改时的数据唯一性校验装置，其特征在于，所述伪列数据设置模块具体用于根据所述待进行唯一性校验数据中的至少一个索引数据生成伪列数据。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述批量修改时的数据唯一性校验方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述批量修改时的数据唯一性校验方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184039.3A CN112965967B (zh) | 2021-02-10 | 2021-02-10 | 批量修改时的数据唯一性校验方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184039.3A CN112965967B (zh) | 2021-02-10 | 2021-02-10 | 批量修改时的数据唯一性校验方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112965967A true CN112965967A (zh) | 2021-06-15 |
| CN112965967B CN112965967B (zh) | 2024-01-26 |
Family
ID=76284835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110184039.3A Active CN112965967B (zh) | 2021-02-10 | 2021-02-10 | 批量修改时的数据唯一性校验方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112965967B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344151A (zh) * | 2018-08-08 | 2019-02-15 | 航天信息股份有限公司 | 批量注册和修改用户信息的方法 |
| CN109710237A (zh) * | 2019-01-10 | 2019-05-03 | 厦门商集网络科技有限责任公司 | 一种基于自定义二维报表的在线修改校验方法及设备 |
-
2021
- 2021-02-10 CN CN202110184039.3A patent/CN112965967B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344151A (zh) * | 2018-08-08 | 2019-02-15 | 航天信息股份有限公司 | 批量注册和修改用户信息的方法 |
| CN109710237A (zh) * | 2019-01-10 | 2019-05-03 | 厦门商集网络科技有限责任公司 | 一种基于自定义二维报表的在线修改校验方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112965967B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104392B (zh) | 一种数据库迁移方法、装置、电子设备及存储介质 | |
| CN112488855B (zh) | 一种基于规则模板的业务校验方法及设备 | |
| CN104866599B (zh) | 可视化报表的生产方法和系统 | |
| US20100280990A1 (en) | Etl for process data warehouse | |
| CN102236672A (zh) | 一种数据导入方法及装置 | |
| CN104462169A (zh) | 将数据导入到数据库表中的方法和系统 | |
| US20150378828A1 (en) | Test data management | |
| CN112948473A (zh) | 数据仓库的数据处理方法、装置、系统及存储介质 | |
| CN115145943A (zh) | 多数据源元数据快速比对方法、系统、设备和存储介质 | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| CN115237444A (zh) | 基于版本号的并发控制方法、装置、设备及存储介质 | |
| CN114969215A (zh) | 数据仓库贴源层自动批量装载数据的方法及相关设备 | |
| CN112965967B (zh) | 批量修改时的数据唯一性校验方法及装置 | |
| CN113495831B (zh) | 基于关键字生成测试用例的方法、系统、设备及介质 | |
| US20180129822A1 (en) | Pattern-less private data detection on data sets | |
| CN113961448A (zh) | 测试用例的校验方法、装置、设备和存储介质 | |
| US11831490B1 (en) | Systems, methods, and media for performing information technology service management correlation for infrastructure environment functions | |
| CN113342681B (zh) | 一种回归测试方法及装置 | |
| CN118505390B (zh) | 贸易分析报告生成方法、装置、电子设备及存储介质 | |
| CN117573199B (zh) | 一种模型差异对比分析方法、装置、设备及介质 | |
| CN115269660A (zh) | 缓存数据处理方法、装置、电子设备及存储介质 | |
| US20130218875A1 (en) | Table-driven enterprise-wide data integration | |
| CN117435635A (zh) | 一种数据库版本查询方法及装置 | |
| CN115496048A (zh) | 基于大数据的报表生成方法及装置 | |
| CN116402559A (zh) | 基于等级保护安全测评数据的供应商安全评价方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |