CN114238349A - 数据校验方法、装置、设备及介质 - Google Patents
数据校验方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114238349A CN114238349A CN202111490879.9A CN202111490879A CN114238349A CN 114238349 A CN114238349 A CN 114238349A CN 202111490879 A CN202111490879 A CN 202111490879A CN 114238349 A CN114238349 A CN 114238349A
- Authority
- CN
- China
- Prior art keywords
- data
- network management
- resource
- identifier
- management equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013524 data verification Methods 0.000 title claims abstract description 54
- 238000007726 management method Methods 0.000 claims abstract description 167
- 238000012795 verification Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种数据校验方法、装置、设备及介质,该方法包括:获取资源管理系统中数据库存储的资源数据以及网管设备配置数据;按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同;输出校验结果。本发明的数据校验方法,通过获取资源管理系统中数据库存储的资源数据以及网管设备配置数据,并按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同,从而输出校验结果。相比人工校验的方式,校验效率更高。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据校验方法、装置、设备及介质。
背景技术
随着科技的不断发展,大数据成为了目前主要研究方向。通过大数据的资源管理系统,可以管理管道、光缆、电缆等户外设施,以及传输、交换、数据等专业设备物理资源和逻辑资源,应用面非常广泛。
然而,在资源管理系统建设中,由于基础数据量大、积累时间长,使用过程中如何保证资源管理系统的数据与网管的生产数据之间的一致性成为资源管理系统建设的难点。
目前在校验网管数据与资源数据之间的一致性时,比如Oracle数据库的资源数据的校验,主要通过人工方式,校验效率较低。
发明内容
本发明提供一种数据校验方法、装置、设备及介质,用以解决目前校验网管数据与资源数据之间的一致性时,校验效率较低的问题。
本发明第一方面提供一种数据校验方法,包括:
获取资源管理系统中数据库存储的资源数据以及网管设备配置数据;
按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同;
输出校验结果。
进一步地,如上所述的方法,所述数据库为Oracle数据库;
所述获取资源管理系统中数据库存储的资源数据以及网管设备配置数据,包括:
采集资源管理系统中Oracle数据库存储的资源数据以及网管设备配置数据并都存储于校验数据库;所述校验数据库为非关系型数据库。
进一步地,如上所述的方法,所述按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同,包括:
确定所述资源数据的第一标识和所述网管设备配置数据的第二标识;
对所述第一标识和所述第二标识进行字符识别,以生成对应多个字符;
将所述第一标识的各字符与所述第二标识对应的各字符进行比对;
根据比对结果确定所述资源数据和所述网管设备配置数据是否相同。
进一步地,如上所述的方法,所述根据比对结果确定所述资源数据和所述网管设备配置数据是否相同,包括:
若比对结果为第一标识的各字符与第二标识的各字符都相同,则确定所述资源数据和所述网管设备配置数据相同;
若比对结果为第一标识的各字符与第二标识的各字符不都相同,则确定所述资源数据和所述网管设备配置数据不同。
进一步地,如上所述的方法,所述字符为中文字符、英文字符或数字字符;
所述根据比对结果确定所述资源数据和所述网管设备配置数据是否相同,包括:
根据中文字符的比对结果、英文字符的比对结果、数字字符的比对结果以及预设字符权值确定第一标识和第二标识的相似系数;
判断所述相似系数是否大于或等于预设系数阈值;
若确定所述相似系数大于或等于预设系数阈值,则确定所述资源数据和所述网管设备配置数据相同;
若确定所述相似系数小于预设系数阈值,则确定所述资源数据和所述网管设备配置数据不同。
进一步地,如上所述的方法,所述资源数据和所述网管设备配置数据都包括网元数据;网元数据包括至少一个机房设备中的机框数据;所述机框数据至少包括一个机槽数据;所述机槽数据至少对应一个板卡数据;所述板卡数据至少对应一个端口数据;
所述确定所述资源数据的第一标识和所述网管设备配置数据的第二标识,包括:
确定所述资源数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第一标识;
确定所述网管设备配置数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第二标识;
所述将所述第一标识的各字符与所述第二标识的各字符进行比对,包括:
采用Spark计算引擎按照预设比对顺序对各第一标识的各字符与对应第二标识的各字符进行比对;所述预设比对顺序为按照端口数据、板卡数据、机槽数据、机框数据以及网元数据的顺序依次比对。
进一步地,如上所述的方法,所述输出校验结果之后,还包括:
输出校验结果为所述资源数据和所述网管设备配置数据不同时对应的资源数据以及网管设备配置数据。
本发明第二方面提供一种数据校验装置,包括:
获取模块,用于获取资源管理系统中数据库存储的资源数据以及网管设备配置数据;
校验模块,用于按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同;
结果输出模块,用于输出校验结果。
进一步地,如上所述的装置,所述数据库为Oracle数据库;
所述获取模块具体用于:
采集资源管理系统中Oracle数据库存储的资源数据以及网管设备配置数据并都存储于校验数据库;所述校验数据库为非关系型数据库。
进一步地,如上所述的装置,所述校验模块具体用于:
确定所述资源数据的第一标识和所述网管设备配置数据的第二标识;对所述第一标识和所述第二标识进行字符识别,以生成对应多个字符;将所述第一标识的各字符与所述第二标识对应的各字符进行比对;根据比对结果确定所述资源数据和所述网管设备配置数据是否相同。
进一步地,如上所述的装置,所述校验模块在根据比对结果确定所述资源数据和所述网管设备配置数据是否相同时,具体用于:
若比对结果为第一标识的各字符与第二标识的各字符都相同,则确定所述资源数据和所述网管设备配置数据相同;若比对结果为第一标识的各字符与第二标识的各字符不都相同,则确定所述资源数据和所述网管设备配置数据不同。
进一步地,如上所述的装置,所述字符为中文字符、英文字符或数字字符;
所述校验模块在根据比对结果确定所述资源数据和所述网管设备配置数据是否相同时,具体用于:
根据中文字符的比对结果、英文字符的比对结果、数字字符的比对结果以及预设字符权值确定第一标识和第二标识的相似系数;判断所述相似系数是否大于或等于预设系数阈值;若确定所述相似系数大于或等于预设系数阈值,则确定所述资源数据和所述网管设备配置数据相同;若确定所述相似系数小于预设系数阈值,则确定所述资源数据和所述网管设备配置数据不同。
进一步地,如上所述的装置,所述资源数据和所述网管设备配置数据都包括网元数据;网元数据包括至少一个机房设备中的机框数据;所述机框数据至少包括一个机槽数据;所述机槽数据至少对应一个板卡数据;所述板卡数据至少对应一个端口数据;
所述校验模块在确定所述资源数据的第一标识和所述网管设备配置数据的第二标识时,具体用于:
确定所述资源数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第一标识;确定所述网管设备配置数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第二标识;
所述校验模块在将所述第一标识的各字符与所述第二标识的各字符进行比对时,具体用于:
采用Spark计算引擎按照预设比对顺序对各第一标识的各字符与对应第二标识的各字符进行比对;所述预设比对顺序为按照端口数据、板卡数据、机槽数据、机框数据以及网元数据的顺序依次比对。
进一步地,如上所述的装置,所述装置还包括:
数据输出模块,用于输出校验结果为所述资源数据和所述网管设备配置数据不同时对应的资源数据以及网管设备配置数据。
本发明第三方面提供一种电子设备,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为由所述处理器执行第一方面任一项所述的数据校验方法。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的数据校验方法。
本发明第五方面提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面任一项所述的数据校验方法。
本发明提供的一种数据校验方法、装置、设备及介质,该方法包括:获取资源管理系统中数据库存储的资源数据以及网管设备配置数据;按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同;输出校验结果。本发明的数据校验方法,通过获取资源管理系统中数据库存储的资源数据以及网管设备配置数据,并按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同,从而输出校验结果。相比人工校验的方式,校验效率更高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为可以实现本发明实施例的数据校验方法的场景图;
图2为本发明第一实施例提供的数据校验方法的流程示意图;
图3为本发明第二实施例提供的数据校验方法的流程示意图;
图4为本发明第三实施例提供的数据校验装置的结构示意图;
图5为本发明第四实施例提供的数据校验装置的结构示意图;
图6为本发明第五实施例提供的电子设备的结构示意图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
为了清楚理解本申请的技术方案,首先对现有技术的方案进行详细介绍。在大数据的逐渐发展中,如何对数据进行更好的管理成为了目前大数据的一个研究方向。资源管理系统一般用于存储和管理数据,比如可以管理管道、光缆、电缆等户外设施数据,以及传输、交换、数据等专业设备物理资源和逻辑资源。网管主要对应生成数据,比如网管设备的各种参数、运行数据。由于网管设备可能在不断更新,更新的时候并不一定会在资源管理系统中备案,因而,资源管理系统中的数据和网管数据不一定相同,需要阶段性的校验两者数据是否相同。目前主要的校验方式为人工对每个数据进行一一校验,校验效率较低。
所以针对现有技术中目前校验网管数据与资源数据之间的一致性时,校验效率较低的问题,发明人在研究中发现,为了解决该问题,可以预设多个校验策略,以自动化的形式校验策略校验资源数据和网管设备配置数据,从而提升校验效率。
具体的,首先通过获取资源管理系统中数据库存储的资源数据以及网管设备配置数据,并按照预设的校验策略校验资源数据和网管设备配置数据是否相同,从而输出校验结果。相比人工校验的方式,校验效率更高。
发明人基于上述的创造性发现,提出了本申请的技术方案。
下面对本发明实施例提供的数据校验方法的应用场景进行介绍。如图1所示,其中,1为第一电子设备,2为第二电子设备,3为第三电子设备。本发明实施例提供的数据校验方法对应的应用场景的网络架构中包括:第一电子设备1、第二电子设备2和第三电子设备3。第二电子设备2存储有网管设备配置数据,第三电子设备3存储有资源管理系统中的资源数据。
在需要进行数据校验时,第一电子设备1获取第二电子设备2存储的网管设备配置数据和第三电子设备3存储资源数据。获取的方式可以是每预设时间段获取一次,比如设置一天、一周、一个月等。电子设备1在获取了资源数据以及网管设备配置数据后,按照预设的校验策略校验资源数据和网管设备配置数据是否相同。最后输出校验结果,该校验结果可以输出至其他电子设备以进行统计或分析处理,也可以输出至显示设备以供用户知晓校验结果。
下面结合说明书附图对本发明实施例进行介绍。
图2为本发明第一实施例提供的数据校验方法的流程示意图,如图2所示,本实施例中,本发明实施例的执行主体为数据校验装置,该数据校验装置可以集成在电子设备中。则本实施例提供的数据校验方法包括以下几个步骤:
步骤S101,获取资源管理系统中数据库存储的资源数据以及网管设备配置数据。
本实施例中,获取资源管理系统中数据库存储的资源数据以及网管设备配置数据的频率可以是一次性获取全部数据,也可以分为多次获取。
资源管理系统中数据库一般采用关系型数据库,网管设备配置数据可以存放在数据库中。若想对资源数据和网管设备配置数据进行校验,又不影响双方的正常运作,则需要将资源数据以及网管设备配置数据拿出来校验。
若存放数据的是关系型数据库,则需要在获取数据后,存放于非关系型数据库,从而方便数据的校验。
步骤S102,按照预设的校验策略校验资源数据和网管设备配置数据是否相同。
本实施例中,预设的校验策略包括基于资源数据和网管设备配置数据的每个字符的比对校验、数据关系校验等。
判断资源数据和网管设备配置数据是否相同,一般情况下需要保证资源数据和网管设备配置数据在字符层面上都相同,比如字符数量、字符排序等。
步骤S103,输出校验结果。
本实施例中,校验结果在输出后,可以根据该校验结果进行相应数据分析、更新数据等处理。
本发明实施例提供的一种数据校验方法,该方法包括:获取资源管理系统中数据库存储的资源数据以及网管设备配置数据。按照预设的校验策略校验资源数据和网管设备配置数据是否相同。输出校验结果。本发明的数据校验方法,通过获取资源管理系统中数据库存储的资源数据以及网管设备配置数据,并按照预设的校验策略校验资源数据和网管设备配置数据是否相同,从而输出校验结果。相比人工校验的方式,校验效率更高。
图3为本发明第二实施例提供的数据校验方法的流程示意图,如图3所示,本实施例提供的数据校验方法,是在本发明上一实施例提供的数据校验方法的基础上,对各个步骤进行了进一步的细化。则本实施例提供的数据校验方法包括以下步骤。
步骤S201,采集资源管理系统中Oracle数据库存储的资源数据以及网管设备配置数据并都存储于校验数据库。校验数据库为非关系型数据库。
本实施例中,资源管理系统中一般采用关系型数据库存储资源数据,Oracle数据库即甲骨文数据库是一种常用的关系型数据库,适用性较广。
校验数据库可以采用Hive数据库,Hive是一种数据仓库工具,用来进行数据提取、转化、加载,可以方便数据存储、查询,可以提高校验效率。与之对应的,采集资源管理系统中Oracle数据库存储的资源数据的方式,可以是采用Sqoop工具来进行采集,Sqoop工具是一款开源的工具,主要用于数据库之间的数据传递。
而在数据库之间进行数据传递时,还可以考虑数据传输之间的安全性,通过采用Kerbos工具可以在采集数据时,验证密钥和采集权限,提高采集数据的安全性。
同时,采用的上述工具可以基于大数据开源处理平台Hadoop运行,以提高各个工具之间的协调性和校验整个流程的效率。
步骤S202,确定资源数据的第一标识和网管设备配置数据的第二标识。
本实施例中,资源数据的第一标识和网管设备配置数据的第二标识可以是数据名称、标识符号等。
可选的,本实施例中,资源数据和网管设备配置数据都包括网元数据。网元数据包括至少一个机房设备中的机框数据。机框数据至少包括一个机槽数据。机槽数据至少对应一个板卡数据。板卡数据至少对应一个端口数据。
确定资源数据的第一标识和网管设备配置数据的第二标识,包括:
确定资源数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第一标识。
确定网管设备配置数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第二标识。
将第一标识的各字符与第二标识的各字符进行比对,包括:
采用Spark计算引擎按照预设比对顺序对各第一标识的各字符与对应第二标识的各字符进行比对。预设比对顺序为按照端口数据、板卡数据、机槽数据、机框数据以及网元数据的顺序依次比对。
本实施例的网管设备配置数据中,端口数据从属于板卡数据,板卡数据从属于机槽数据,机槽数据从属于机框数据,机框数据从属于网元数据。在校验资源数据和网管设备配置数据时,由于数据的从属关系,需要校验比对资源数据和网管设备配置数据的网元数据、机框数据、机槽数据、板卡数据以及端口数据。
同时,由于网元数据、机框数据、机槽数据、板卡数据以及端口数据层级较多,采用Spark计算引擎可以提高对该多样数据的校验比对效率。
步骤S203,对第一标识和第二标识进行字符识别,以生成对应多个字符。
本实施例中,第一标识和第二标识由多个字符组成,因而,可以对第一标识和第二标识进行字符识别以确定第一标识和第二标识的组成。
步骤S204,将第一标识的各字符与第二标识对应的各字符进行比对。
本实施例中,为了校验第一标识和第二标识是否相同,可以将第一标识的各字符与第二标识对应的各字符进行比对,根据字符的比对结果即可以确定第一标识和第二标识是否相同。
步骤S205,根据比对结果确定资源数据和网管设备配置数据是否相同。
本实施例中,结合比对结果可以以多种方式确定资源数据和网管设备配置数据是否相同,本实施例以两种方式来举例说明。
第一种方式:
若比对结果为第一标识的各字符与第二标识的各字符都相同,则确定资源数据和网管设备配置数据相同。
若比对结果为第一标识的各字符与第二标识的各字符不都相同,则确定资源数据和网管设备配置数据不同。
当第一标识的各字符与第二标识的各字符都相同时,才认为资源数据和网管设备配置数据相同,该相同可以为字符顺序相同、字符也相同的情况。
第二种方式:
从字符的构成来进行判断。对于网管设备配置数据,标识可能会由中文字符、英文字符和/或数字字符组成。因而,标识的字符可以为中文字符、英文字符或数字字符。
根据比对结果确定资源数据和网管设备配置数据是否相同,包括:
根据中文字符的比对结果、英文字符的比对结果、数字字符的比对结果以及预设字符权值确定第一标识和第二标识的相似系数。
判断相似系数是否大于或等于预设系数阈值。
若确定相似系数大于或等于预设系数阈值,则确定资源数据和网管设备配置数据相同。
若确定相似系数小于预设系数阈值,则确定资源数据和网管设备配置数据不同。
本实施例中,可以将中文字符相同的权值设为0.5,英文字符相同的权值设为0.3,数字字符的权值设为0.2,从而以中文字符占比更大的方式适用于大部分使用场景。
预设系数阈值可以按照需求进行设置,比如对校验准确性有更高要求,可以直接设为1。
步骤S206,输出校验结果。
本实施例中,步骤206的实现方式与本发明上一实施例中的步骤103的实现方式类似,在此不再一一赘述。
步骤S207,输出校验结果为资源数据和网管设备配置数据不同时对应的资源数据以及网管设备配置数据。
本实施例中,可以在校验结果为资源数据和网管设备配置数据不同时,输出不同的数据,从而方便统计两者之间的区别数据。比如存在某些数据是资源数据中不包含的,而网管设备配置数据包含的,则可以将该数据存储入资源数据中。
为了更好的理解本实施例的数据校验方法,下面将以实际应用场景为例,进行详细说明。本实施例中资源数据使用Oracle数据库存储,本实施例的校验方法通过开发基于大数据开源处理平台Hadoop、Spark分布式计算引擎、Hive数据库、Sqoop工具、Kerbos开源工具的应用程序及比对算法,实现对Oracle数据库存储的传输网和机房设备资源数据的差异计算比对,同时满足数据处理高可用、高并发、低时延、安全可靠的要求,解决Oracle资源数据手动更新不及时带来的数据一致性问题。
本实施例中,通过每日定时任务通过Sqoop自动化程序调度将Oracle数据库资源数据抽取至Hive数据仓库。同时,将网管设备配置数据入库至Hive数据仓库。
读取预先设置好的数据校验策略,并通过基于Spark高性能计算引擎的应用程序进行自动化的数据的校验比对,根据比对结果分类生成数据并存储在Hive仓库中。
然后将比对结果分类输出至Oracle数据库中,以支撑校验结果的查询。比如可以根据比对结果确定差异数据,同时,提高基于Oracle数据比对的效率。
具体的数据比对涉及传输网中的网元、机房设备中的机框、机槽、板卡、端口数据的分别比对,不同类型的数据比对匹配不同的规则。
在初始状态因资源库原始数据与设备数据缺少对应关系,需要通过设备中文命名名称进行匹配,计算资源库设备名称与网管数据设备之间的名称的相似系数,根据资源库中设备名称数据集{s1,s2,s3,...,sn}中每个名称s,与所有网管设备名称数据{t1,t2,t3,...,tn}中设备名称t的相似系数,找到相似系数最高的数据行,作为匹配候选数据。
s与t相似系数计算方法:将s中每个字符与t中每个字符进行比对,确定s与t的相同字符,同时按照匹配中文字符权值为0.5,匹配英文字符权值为0.3,匹配数字字符权值为0.2,不匹配权值为0的方式计算出相交系数值V,交集系数/字符数量length(s)作为相似系数I。相似系数算法如下:
其中,Vn指第n个字符的相交系数值,length(s)为字符数量。
依次根据从属关系,机框从属于网元,机槽从属于机框,板卡从属于机槽,端口从属于板卡,依次进行校验。
经验证该校验方式综合准确率达到73%,计算效率借助spark分布式计算引擎,由原先在Oracle数据库环境校验需执行4小时,缩短为1小时,提高了校验效率。
图4为本发明第三实施例提供的数据校验装置的结构示意图,如图4所示,本实施例中,该数据校验装置300包括:
获取模块301,用于获取资源管理系统中数据库存储的资源数据以及网管设备配置数据。
校验模块302,用于按照预设的校验策略校验资源数据和网管设备配置数据是否相同。
结果输出模块303,用于输出校验结果。
本实施例提供的数据校验装置可以执行图2所示方法实施例的技术方案,其实现原理和技术效果与图2所示方法实施例类似,在此不再一一赘述。
同时,图5为本发明第四实施例提供的数据校验装置的结构示意图,如图5所示,本发明提供的数据校验装置在上一实施例提供的数据校验装置的基础上,对数据校验装置进行了进一步的细化,为了与上一实施例进行区分,本实施例的数据校验装置以数据校验装置400来描述。
可选的,本实施例中,数据库为Oracle数据库。
获取模块301具体用于:
采集资源管理系统中Oracle数据库存储的资源数据以及网管设备配置数据并都存储于校验数据库。校验数据库为非关系型数据库。
可选的,本实施例中,校验模块302具体用于:
确定资源数据的第一标识和网管设备配置数据的第二标识。对第一标识和第二标识进行字符识别,以生成对应多个字符。将第一标识的各字符与第二标识对应的各字符进行比对。根据比对结果确定资源数据和网管设备配置数据是否相同。
可选的,本实施例中,校验模块302在根据比对结果确定资源数据和网管设备配置数据是否相同时,具体用于:
若比对结果为第一标识的各字符与第二标识的各字符都相同,则确定资源数据和网管设备配置数据相同。若比对结果为第一标识的各字符与第二标识的各字符不都相同,则确定资源数据和网管设备配置数据不同。
可选的,本实施例中,字符为中文字符、英文字符或数字字符。
校验模块302在根据比对结果确定资源数据和网管设备配置数据是否相同时,具体用于:
根据中文字符的比对结果、英文字符的比对结果、数字字符的比对结果以及预设字符权值确定第一标识和第二标识的相似系数。判断相似系数是否大于或等于预设系数阈值。若确定相似系数大于或等于预设系数阈值,则确定资源数据和网管设备配置数据相同。若确定相似系数小于预设系数阈值,则确定资源数据和网管设备配置数据不同。
可选的,本实施例中,资源数据和网管设备配置数据都包括网元数据。网元数据包括至少一个机房设备中的机框数据。机框数据至少包括一个机槽数据。机槽数据至少对应一个板卡数据。板卡数据至少对应一个端口数据。
校验模块302在确定资源数据的第一标识和网管设备配置数据的第二标识时,具体用于:
确定资源数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第一标识。确定网管设备配置数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第二标识。
校验模块302在将第一标识的各字符与第二标识的各字符进行比对时,具体用于:
采用Spark计算引擎按照预设比对顺序对各第一标识的各字符与对应第二标识的各字符进行比对。预设比对顺序为按照端口数据、板卡数据、机槽数据、机框数据以及网元数据的顺序依次比对。
可选的,本实施例中,数据校验装置400还包括:
数据输出模块401,用于输出校验结果为资源数据和网管设备配置数据不同时对应的资源数据以及网管设备配置数据。
本实施例提供的数据校验装置可以执行图2-图3所示方法实施例的技术方案,其实现原理和技术效果与图2-图3所示方法实施例类似,在此不再一一赘述。
根据本发明的实施例,本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
如图6所示,图6是本发明第五实施例提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示,该电子设备包括:处理器501、存储器502。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
存储器502即为本发明所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本发明所提供的数据校验方法。本发明的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本发明所提供的数据校验方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本发明实施例中的数据校验方法对应的程序指令/模块(例如,附图4所示的获取模块301、校验模块302和结果输出模块303)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据校验方法。
同时,本实施例还提供一种计算机产品,当该计算机产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述实施例一至二的数据校验方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明实施例的真正范围和精神由下面的权利要求书指出。
应当理解的是,本发明实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种数据校验方法,其特征在于,包括:
获取资源管理系统中数据库存储的资源数据以及网管设备配置数据;
按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同;
输出校验结果。
2.根据权利要求1所述的方法,其特征在于,所述数据库为Oracle数据库;
所述获取资源管理系统中数据库存储的资源数据以及网管设备配置数据,包括:
采集资源管理系统中Oracle数据库存储的资源数据以及网管设备配置数据并都存储于校验数据库;所述校验数据库为非关系型数据库。
3.根据权利要求2所述的方法,其特征在于,所述按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同,包括:
确定所述资源数据的第一标识和所述网管设备配置数据的第二标识;
对所述第一标识和所述第二标识进行字符识别,以生成对应多个字符;
将所述第一标识的各字符与所述第二标识对应的各字符进行比对;
根据比对结果确定所述资源数据和所述网管设备配置数据是否相同。
4.根据权利要求3所述的方法,其特征在于,所述根据比对结果确定所述资源数据和所述网管设备配置数据是否相同,包括:
若比对结果为第一标识的各字符与第二标识的各字符都相同,则确定所述资源数据和所述网管设备配置数据相同;
若比对结果为第一标识的各字符与第二标识的各字符不都相同,则确定所述资源数据和所述网管设备配置数据不同。
5.根据权利要求3所述的方法,其特征在于,所述字符为中文字符、英文字符或数字字符;
所述根据比对结果确定所述资源数据和所述网管设备配置数据是否相同,包括:
根据中文字符的比对结果、英文字符的比对结果、数字字符的比对结果以及预设字符权值确定第一标识和第二标识的相似系数;
判断所述相似系数是否大于或等于预设系数阈值;
若确定所述相似系数大于或等于预设系数阈值,则确定所述资源数据和所述网管设备配置数据相同;
若确定所述相似系数小于预设系数阈值,则确定所述资源数据和所述网管设备配置数据不同。
6.根据权利要求4或5所述的方法,其特征在于,所述资源数据和所述网管设备配置数据都包括网元数据;网元数据包括至少一个机房设备中的机框数据;所述机框数据至少包括一个机槽数据;所述机槽数据至少对应一个板卡数据;所述板卡数据至少对应一个端口数据;
所述确定所述资源数据的第一标识和所述网管设备配置数据的第二标识,包括:
确定所述资源数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第一标识;
确定所述网管设备配置数据中网元数据、机框数据、机槽数据、板卡数据以及端口数据的第二标识;
所述将所述第一标识的各字符与所述第二标识的各字符进行比对,包括:
采用Spark计算引擎按照预设比对顺序对各第一标识的各字符与对应第二标识的各字符进行比对;所述预设比对顺序为按照端口数据、板卡数据、机槽数据、机框数据以及网元数据的顺序依次比对。
7.根据权利要求5所述的方法,其特征在于,所述输出校验结果之后,还包括:
输出校验结果为所述资源数据和所述网管设备配置数据不同时对应的资源数据以及网管设备配置数据。
8.一种数据校验装置,其特征在于,包括:
获取模块,用于获取资源管理系统中数据库存储的资源数据以及网管设备配置数据;
校验模块,用于按照预设的校验策略校验所述资源数据和所述网管设备配置数据是否相同;
结果输出模块,用于输出校验结果。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7任一项所述的数据校验方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的数据校验方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111490879.9A CN114238349A (zh) | 2021-12-08 | 2021-12-08 | 数据校验方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111490879.9A CN114238349A (zh) | 2021-12-08 | 2021-12-08 | 数据校验方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114238349A true CN114238349A (zh) | 2022-03-25 |
Family
ID=80754081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111490879.9A Pending CN114238349A (zh) | 2021-12-08 | 2021-12-08 | 数据校验方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114238349A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174344A (zh) * | 2022-06-15 | 2022-10-11 | 武汉烽火技术服务有限公司 | 一种适用于网管系统的OneID生成方法及生成器 |
-
2021
- 2021-12-08 CN CN202111490879.9A patent/CN114238349A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174344A (zh) * | 2022-06-15 | 2022-10-11 | 武汉烽火技术服务有限公司 | 一种适用于网管系统的OneID生成方法及生成器 |
CN115174344B (zh) * | 2022-06-15 | 2023-05-23 | 武汉烽火技术服务有限公司 | 一种适用于网管系统的OneID生成方法及生成器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795455B (zh) | 依赖关系解析方法、电子装置、计算机设备及可读存储介质 | |
CN106980623B (zh) | 一种数据模型的确定方法及装置 | |
CN109766349B (zh) | 任务防重方法、装置、计算机设备及存储介质 | |
CN110019116B (zh) | 数据追溯方法、装置、数据处理设备及计算机存储介质 | |
CN109783385B (zh) | 一种产品测试方法和装置 | |
CN115203435A (zh) | 基于知识图谱的实体关系生成方法及数据查询方法 | |
US20160261541A1 (en) | Prioritizing log messages | |
US8650180B2 (en) | Efficient optimization over uncertain data | |
US11880703B2 (en) | Optimization of multi-layered images | |
CN109241163B (zh) | 电子凭证的生成方法及终端设备 | |
CN114238349A (zh) | 数据校验方法、装置、设备及介质 | |
US11163801B2 (en) | Execution of queries in relational databases | |
CN109800147A (zh) | 一种测试案例生成方法及终端设备 | |
US9092472B1 (en) | Data merge based on logical segregation | |
CN113220530B (zh) | 数据质量监控方法及平台 | |
CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
CN114155578A (zh) | 人像聚类方法、装置、电子设备和存储介质 | |
CN111143456B (zh) | 基于Spark的Cassandra数据导入方法、装置、设备及介质 | |
CN111563250A (zh) | 权限管理方法、装置、计算机设备和存储介质 | |
CN113553320B (zh) | 数据质量监控方法及装置 | |
CN111221847A (zh) | 监控数据存储方法、装置及计算机可读存储介质 | |
CN112286970B (zh) | 信息处理方法、系统、计算机设备及计算机可读存储介质 | |
CN108509328B (zh) | 数据库校验方法及装置 | |
CN118429113A (zh) | 基于b+树模型和多线程编程技术的个税计算方法及装置 | |
CN115168049A (zh) | 资源分配方法、装置、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |