CN103414601A - 用于通信资源管理系统的数据检测方法和系统 - Google Patents
用于通信资源管理系统的数据检测方法和系统 Download PDFInfo
- Publication number
- CN103414601A CN103414601A CN2013103073724A CN201310307372A CN103414601A CN 103414601 A CN103414601 A CN 103414601A CN 2013103073724 A CN2013103073724 A CN 2013103073724A CN 201310307372 A CN201310307372 A CN 201310307372A CN 103414601 A CN103414601 A CN 103414601A
- Authority
- CN
- China
- Prior art keywords
- data
- detection
- resource
- index
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种用于通信资源管理系统的数据检测方法和系统,其方法包括步骤:通过数据采集接口从通信资源管理系统中采集原始数据;对所述原始数据进行过滤、重构、分类存储获得多个资源数据集;接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;根据资源实体类型将所述问题数据集中的资源数据进行汇总;分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示,可以提高检测效率,且可以避免检测过程中的失误。
Description
技术领域
本发明涉及通信技术领域,特别是涉及一种用于通信资源管理系统的数据检测方法和系统。
背景技术
随着各通信行业(诸如电力、运营商、广电等)的迅猛发展,通信资源的数量和类型也随之飞速发展,使得各通信行业都面临着海量通信资源的管理。一般地,各通信行业是通过通信资源管理系统对通信资源进行统一管理、调配、维护等等,通信资源管理系统的数据是通信资源管理系统在实际运行维护中的一个极其重要构成,数据的准确性是通信资源管理系统能否完成高质量决策最为依赖的因素。保障高质量、高标准、高安全性的情况下,高质量的数据是保障通信网实现正确决策的主要因素,不正确或不完善的数据可能会导致错误决策甚至断业务、断网、安全生产的严重事故,因而,通信资源管理系统中的资源数据的准确性检测就显得尤为重要。
尽管通信资源管理系统在建设过程中,会对部分资源数据的属性采取必要的检查控制,但这并不能有效的保证通信资源管理系统的资源数据的质量,对资源数据的质量缺乏客观的监控。现有的用于通信资源管理系统的数据检测方式还局限于人为核查与手工匹配,这种检测方式往往要依赖人工的方式对资源数据进行逐条地检测,一般包括资源数据的采集、梳理、登记、录入、检查、审核等步骤,由于耗时长、工作量大,导致检测效率极低,且由于人的大脑对数据处理的注意力持续时间是有限的,也会在对资源数据检测的过程中产生不可避免的失误。
发明内容
本发明的目的在于提供一种用于通信资源管理系统的数据检测方法和系统,可以提高检测效率,且可以避免检测过程中的失误。
本发明的目的通过如下技术方案实现:
一种用于通信资源管理系统的数据检测方法,包括如下步骤:
通过数据采集接口从通信资源管理系统中采集原始数据;
对所述原始数据进行过滤、重构、分类存储获得多个资源数据集;
接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;
检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;
根据资源实体类型将所述问题数据集中的资源数据进行汇总;
分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示。
一种用于通信资源管理系统的数据检测系统,包括:
采集模块,用于通过数据采集接口从通信资源管理系统中采集原始数据;
处理模块,用于对所述原始数据进行过滤、重构、分类存储获得多个资源数据集;
选取模块,用于接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;
检测模块,用于检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;
汇总模块,用于根据资源实体类型将所述问题数据集中的资源数据进行汇总;
显示模块,用于分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示。
依据本发明的方案,其是通过数据采集接口从通信资源管理系统中采集原始数据,对该原始数据进行过滤、重构、分类存储获得多个资源数据集,接收选择指令,基于该选择指令从所述多个资源数据集中获取待测数据集,并基于该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标,检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集,根据资源实体类型将所述问题数据集中的资源数据进行汇总,分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示,由于是根据选出的检测指标判断测数据集中的资源数据是否符合选出的检测指标对应的检测规则,即每次检测可以对多条的资源数据进行判断,只需要根据接收到的选择指令确定好待测数据集以及检测目标,就可以自动实现资源数据的检测,可以大大提高检测效率,也可以避免人工检测过程造成的失误,同时,由于预先设置好了的检测指标及其对应的检测规则,在进行数据检测时,可以基于选择指令选择检测指标,方便快捷,也提高了检测效率,另外,由于根据资源实体类型对所述问题数据集中的资源数据进行汇总后,显示与各资源实体类型相对应的问题数据的相关信息,便于用户对各资源实体类型对应的问题数据做出更改或者进一步完善,以保证通信网运行的可靠性和稳定性。
附图说明
图1为本发明的用于通信资源管理系统的数据检测方法实施例的流程示意图;
图2为本发明的用于通信资源管理系统的数据检测系统一个实施例的结构示意图;
图3为本发明的用于通信资源管理系统的数据检测系统另一个实施例的结构示意图;
图4为图2或者图3中的处理模块的细化结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步阐述,但本发明的实现方式不限于此。
参见图1所示,为本发明的用于通信资源管理系统的数据检测方法实施例的流程示意图。如图1所示,该实施例中的通信资源管理系统的数据准确性检测方法包括如下步骤:
步骤S101:通过数据采集接口从通信资源管理系统中采集原始数据;
原始数据的采集,是数据准确性检测的数据准备工作之一;在实际应用中,可以采用任意可以实现的方式通过数据采集接口从通信资源管理系统中采集原始数据,另外,也可以根据实际需要对数据采集接口进行配置,例如,数据采集接口可以是Web Service动态接口,采用基于JSON((Java Script Object Notation,一种轻量级的数据交换格式)封装方式的Web Service技术实现远程采集通信资源管理系统中的原始数据;
具体进行时,可以根据用户的操作指令触发原始数据的采集,例如,用户可以通过人机交互界面发出采集指令,进行原始数据的采集,也可以设定采集周期,即每隔相同时间后进行一次原始数据的采集,该采集周期还可以根据通信资源管理系统忙闲状况进行适当的调整等;
在本步骤中,是通过数据采集接口从通信资源管理系统中采集数据,将采集到的数据作为原始数据用于后续处理;
步骤S102:对所述原始数据进行过滤、重构、分类存储获得多个资源数据集;
一般,从通信资源管理系统中采集数据得到的原始数据包括了一些非资源数据,要先将这些非资源数据从原始数据中剔除掉,原始数据的过滤可以采用现有的任意可以实现的方式,例如,通过设置过滤器的方式实现,在此不予详细赘述;
进行数据重构可以统一原始数据的数据格式,便于实现后续的数据检测,数据重构包括结构转换、格式变化、类型替换等,以实现空间数据在结构、格式和类型上的统一,实现多源和异构数据的联接与融合;
由于考虑到在进行数据检测时,往往并不是对通信资源管理系统中的所有数据进行检测,这是因为一方面通信资源管理系统中的数据量庞大,往往超过几十GB,或者上百GB,另一方面对所有数据进行检测也缺乏针对性,因此,往往先将数据进行分类存储,例如,按照资源实体类型对重构后的数据分类为管杆、光缆、传输、数据、业务等专业的数据,再分别存储各专业数据;
本步骤是数据准确性检测的另一数据准备工作;
在具体实现时,本步骤可以具体包括步骤:首先过滤所述原始原始数据中的非资源数据获得资源数据组,再根据预先建立的通用资源模型对所述资源数据组进行重构和分类存储获得多个资源实体数据集,其中,通用资源模型可以是根据各通信行业的通信特征属性建立了,例如包括管杆、光缆、传输、数据、业务等专业的通用资源模型,采用本实施例中的方式,可以便于实现数据的分类;需要说明的是,对所述原始数据进行过滤、重构、分类存储获得多个资源数据集的方式也不限于这种具体的方式,例如,对资源数据组进行分类存储的方式也可以采取其他可以实现的方式;
步骤S103:接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;
在上述步骤S102中对经过过滤、重构的数据进行了分类存储获得了多个资源数据集,本步骤中的待测数据集可以包括一个或者多个上述的数据资源集;
可以预先设定好一些检测指标,每一检测指标对应着一些检测规则,可以根据实际需要从这些检测指标中选择出用于当前检测的检测指标,被选出的检测指标可以是一个,也可以是多个;
根据选择指令获取待测数据集的方式可以多种多样,例如选择指令包括数据集标识,根据这些数据集标识从所述多个资源数据集中获取待测数据集,也可以在人机交互界面上提供数据集标识列表,用户通过点选该数据集标识列表中的选项的方式确定获取待测数据集,也可以是根据选择指令中的关键字获取待测数据集,或者采用其他可以实现的方式,根据选择指令选出检测指标的方式类似,在此不予赘述;
步骤S104:检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;
检测指标对应的检测规则一般是根据通信运行规范或者通信网资源编码命名规范设定的,例如,对于电力行业,可以是根据电网通信运行管控系统技术规范或电网通信网资源编码命名规范设定;
通过检测可以将待测数据集归类为合格数据集和问题数据集,合格数据集一般是指符合各选出的检测指标对应的检测规则的资源数据构成的集合,问题数据一般是指不符合任意一个或多个选出的检测指标的资源数据构成的集合
步骤S105:根据资源实体类型将所述问题数据集中的资源数据进行汇总;
根据资源实体类型将所述问题数据集中的资源数据进行汇总,一般包括对问题数据集中的资源数据按照资源实体类型进行分类,以及各资源实体类型对问题数据集中的资源数据的问题所在;
步骤S106:分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示;
其中,相关信息可以包括资源数据的各属性信息、各问题数据不符合的检测指标,或者资源数据存在的问题点,而且,还可以对问题数据存在的问题点进行突出显示,例如,问题数据存在的问题点是必填数据为空,可以对该问题点进行突出显示。
据此,依据上述本实施例中的方案,其是通过数据采集接口从通信资源管理系统中采集原始数据,对该原始数据进行过滤、重构、分类存储获得多个资源数据集,接收选择指令,基于该选择指令从所述多个资源数据集中获取待测数据集,并基于该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标,检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集,根据资源实体类型将所述问题数据集中的资源数据进行汇总,分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示,由于是根据选出的检测指标判断测数据集中的资源数据是否符合选出的检测指标对应的检测规则,即每次检测可以对多条的资源数据进行判断,只需要根据接收到的选择指令确定好待测数据集以及检测目标,就可以自动实现资源数据的检测,可以大大提高检测效率,也可以避免人工检测过程造成的失误,同时,由于预先设置好了的检测指标及其对应的检测规则,在进行数据检测时,可以基于选择指令选择检测指标,方便快捷,也提高了检测效率,另外,由于根据资源实体类型对所述问题数据集中的资源数据进行汇总后,显示与各资源实体类型相对应的问题数据的相关信息,便于用户对各资源实体类型对应的问题数据做出更改或者进一步完善,以保证通信网运行的可靠性和稳定性。
考虑到有时需要对数据准确性有一个整体的评估,为此,在其中一个实施例中,在上述步骤S103之后还可以包括步骤:设定选出的检测指标对应的权值、期望值;检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得选出的检测指标对应的评判结果;根据所述评判结果、所述权值、所述期望值获得数据检测结果;
权值(大于0的百分比数),描述了检测指标在所有检测指标中所占的比重;
期望值(介于0到100%之间的实数),是在评估之前对各检测指标所期望得到的结果;
例如,选出的检测指标分别为I、I2、......、In,这些检测指标对应的检测规则分别是R1、R2、......、Rn,这些检测指标对应的权值分别是W1、W2、......、Wn,这些检测指标对应的期望值分别是E1、E2、......、En,这些检测指标对应的评判结果分别是S1、S2、......、Sn,其中,评判结果为符合对应检测规则的资源数据的比例,数据检测结果可以包括数据准确性绝对量化值SA和数据准确性相对量化值SR,其中:
SA反映了待测数据集的真实的数据准确性状况,SR反映了待测数据集相对于其期望值的数据准确性状况,SR的计算符号(正或者负)反映了预期与实际情况的对比,如果计算符号为正则说明数据准确性比预期的要好,如果计算符号为负则说明数据准确性比预期的要差,同时,SR的计算数值范围介于0%~100%之间,它直接反映了期望与结果之间的差距,数值越大,说明结果离预期越远,否则,结果与期望接近。
此外,本实施例中的数据检测结果还可以包括资源数据的质量排名,例如根据各资源实体类型对应的数据准确性绝对量化值SA和数据准确性相对量化值SR对各资源实体类型对应的资源数据进行排名等。
上述实施例中的检测指标具体可以包括规范性指标、有效性指标、完整性指标、一致性指标、唯一性指标、逻辑性指标、时效性指标中的一个或者多个,其中:
若选出的检测指标包括所述规范性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则可以包括步骤:检测所述待测数据集中的资源数据中的资源编码、命名属性是否满足预设规范,例如,对于电力行业,所述规范性指标可以用于检测资源编码、命名属性是否满足预设要求电网的相关规范;
若选出的检测指标包括所述有效性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则可以包括步骤:检测所述待测数据集中的资源数据中的资源属性是否在预设范围内;资源属性包括资源数据的格式、资源数据的数值等,数据格式在满足一定的要求的资源数据才是有效的,如设备维护人移动电话或者固定电话号码应该符合特定的位数,日期格式要包含年月日信息,日期格式为01.33或2007132都是无效的,数值有效性可从两个方面来考查,第一个是数值/日期在规定的范围之内,如人的年龄应该在1一150之间,第二个是在参数表中。如广东各地市应该在广东21个地市的参数表中;
若选出的检测指标包括所述有效性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则可以包括步骤:检测所述待测数据集中的资源数据中的资源时效属性是否在预设时限内;资源数据的时效性主要是指考察资源数据的时间特性对应用的满足程度,资源数据从规划、设计、建设、运维到退网均具有资源生命周期,不同类型的应用对数据的时间特性有不同的要求,例如,实时应用系统中的数据有效期较短,用于检测资源数据中的资源时效属性是否在预设时限内主要包括需求数据时效性以及过期数据,需求数据时效性是指资源数据在需要时间是否有效或在规定的时间内是否执行完成,过期数据是指数据在系统中是否从未使用且不再使用,通常,比较容易发现对于一个确定的应用,需要哪些数据支持,但是,当资源系统运行很长时间后,会产生很多废弃的表和字段,留下大量垃圾数据;
若选出的检测指标包括所述完整性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则可以包括步骤:检测所述待测数据集中的资源数据对应的资源必填属性是否非空;
若选出的检测指标包括所述一致性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据间业务属性对应关系是否满足预设要求;主要包括关联一致性的检测和内容一致性的检测,关联一致性主要是指资源数据存储着各种专业资源间的数据的关联一致性,譬如光口资源数据与光路资源数据、传输段资源数据与光路资源数据、业务资源数据与通道资源数据等,内容一致性,在资源系统中各种专业资源间的关联数据内容应保持一致,譬如光口资源与光路资源间的逻辑关联内容应该是保持一致性的内容;
若选出的检测指标包括所述一致性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据中的业务编码、ID属性是否满足唯一性要求;主要包括属性值唯一性检测和记录唯一性检测,其中,属性值唯一性检测一方面是资源数据中的主键值要符合值唯一性原则,另一方面是指部分字段属性的取值也是不能重复的,出现重复值就为错误数据,例如,业务调单号、光路编码等,记录唯一性检测用于查验是否有重复记录的情况,一般在满足主键唯一性的数据库中并不会存在两条一摸一样的数据,但是会有近似重复记录,所谓近似重复记录就是一个现实实体可能由多个完全不同的记录来表示,产生近似重复记录的原因有很多,包括拼写错误、不同的缩写、自由格式的文本串及数据的变迁等;
若选出的检测指标包括所述逻辑性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中资源数据对应的资源属性间的对应关系是否满足预设的逻辑要求;主要包括对象模型逻辑性检测和数据模型辑性检测,以电力行业为例进行说明,对象模型逻辑性检测:各类资源对象的模型应首先严格满足南网对各类资源对象模型的定义,并可按需优化资源模型,譬如通信机房的资源模型至少应包括编码、名称、类型、楼层、房间号、长、宽、高、平面图、所在站点等,并根据部分个性化需求,还可优化通信机房的模型为编码、名称、类型、楼层、房间号、长、宽、高、平面图、所在站点、机房用途、机房标识、机房净高、机房类型、走线方式、接地母线;数据模型辑性检测:各专业资源对象的数据模型应首先严格满足对各类资源数据逻辑模型的定义,并可按需优化资源数据逻辑模型,譬如区域、变电站、机房、机架之间的数据逻辑模型应满足区域与变电站满足1:N、变电站与机房满足1:N、机房与机架应满足1:N的逻辑关系,并且,为满足区域与子区域存在的需要应满足区域的1:N自关联关系。
根据上述本发明的用于通信资源管理系统的数据检测方法,本发明还提供一种用于通信资源管理系统的数据检测系统,以下就本发明的用于通信资源管理系统的数据检测系统的具体示例进行详细说明。图2中示出了本发明的用于通信资源管理系统的数据检测系统实施例的结构示意图。为了便于说明,在图2中只示出了与本发明相关的部分。
参见图2所示,本实施例中的用于通信资源管理系统的数据检测系统包括采集模块201、处理模块202、选取模块203、检测模块204、汇总模块205、显示模块206,其中:
采集模块201,用于通过数据采集接口从通信资源管理系统中采集原始数据;
处理模块202,用于对所述原始数据进行过滤、重构、分类存储获得多个资源数据集203;
选取模块203,用于接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;
检测模块204,用于检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;
汇总模块205,用于根据资源实体类型将所述问题数据集中的资源数据进行汇总;
显示模块206,用于分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示。
如图3所示,在其中一个实施例中,本发明的用于通信资源管理系统的数据检测系统,还可以包括设定模块207,设定模块207用于设定选出的检测指标对应的权值、期望值;
检测模块204还用于检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得选出的检测指标对应的评判结果,根据所述评判结果、所述权值、所述期望值获得数据检测结果。
在其中一个实施例中,如图4所示,处理模块202可以包括过滤单元2021、重构与分类单元2022,其中:
过滤单元2021,用于过滤所述原始原始数据中的非资源数据获得资源数据组;
重构与分类单元2022,用于根据预先建立的通用资源模型对所述资源数据组进行重构和分类存储获得多个资源实体数据集。
上述检测指标可以包括规范性指标、有效性指标、完整性指标、一致性指标、唯一性指标、逻辑性指标、时效性指标中的一种或者多种;
若选出的检测指标包括所述规范性指标,则检测模块204可以检测所述待测数据集中的资源数据中的资源编码、命名属性是否满足预设规范;
若选出的检测指标包括所述有效性指标,则检测模块204可以检测所述待测数据集中的资源数据中的资源属性是否在预设范围内;
若选出的检测指标包括所述有效性指标,则检测模块204可以检测所述待测数据集中的资源数据中的资源时效属性是否在预设时限内;
若选出的检测指标包括所述完整性指标,则检测模块204可以检测所述待测数据集中的资源数据对应的资源必填属性是否非空;
若选出的检测指标包括所述一致性指标,则检测模块204可以检测所述待测数据集中的资源数据间业务属性对应关系是否满足预设要求;
若选出的检测指标包括所述一致性指标,则检测模块204可以检测所述待测数据集中的资源数据中的业务编码、ID属性是否满足唯一性要求;
若选出的检测指标包括所述逻辑性指标,则检测模块204可以检测所述待测数据集中资源数据对应的资源属性间的对应关系是否满足预设的逻辑要求。
本发明的用于通信资源管理系统的数据检测系统与本发明的用于通信资源管理系统的数据检测方法一一对应,在上述用于通信资源管理系统的数据检测方法的实施例阐述的技术特征及其有益效果均适用于用于通信资源管理系统的数据检测系统的实施例中,特此声明。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种用于通信资源管理系统的数据检测方法,其特征在于,包括如下步骤:
通过数据采集接口从通信资源管理系统中采集原始数据;
对所述原始数据进行过滤、重构、分类存储获得多个资源数据集;
接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;
检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;
根据资源实体类型将所述问题数据集中的资源数据进行汇总;
分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示。
2.根据权利要求1所述的用于通信资源管理系统的数据检测方法,其特征在于,在接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标步骤之后还包括步骤:
设定选出的检测指标对应的权值、期望值;
检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得选出的检测指标对应的评判结果;
根据所述评判结果、所述权值、所述期望值获得数据检测结果。
3.根据权利要求1或2所述的用于通信资源管理系统的数据检测方法,其特征在于,所述对所述原始资源数据进行过滤、重构、分类存储获得多个资源实体数据集包括步骤:
过滤所述原始原始数据中的非资源数据获得资源数据组;
根据预先建立的通用资源模型对所述资源数据组进行重构和分类存储获得多个资源实体数据集。
4.根据权利要求3所述的用于通信资源管理系统的数据检测方法,其特征在于,所述检测指标包括规范性指标、有效性指标、完整性指标、一致性指标、唯一性指标、逻辑性指标、时效性指标中的一种或者多种;
若选出的检测指标包括所述规范性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据中的资源编码、命名属性是否满足预设规范;
若选出的检测指标包括所述有效性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据中的资源属性是否在预设范围内;
若选出的检测指标包括所述有效性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据中的资源时效属性是否在预设时限内;
若选出的检测指标包括所述完整性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据对应的资源必填属性是否非空;
若选出的检测指标包括所述一致性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据间业务属性对应关系是否满足预设要求;
若选出的检测指标包括所述一致性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中的资源数据中的业务编码、ID属性是否满足唯一性要求;
若选出的检测指标包括所述逻辑性指标,则所述检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则包括步骤:检测所述待测数据集中资源数据对应的资源属性间的对应关系是否满足预设的逻辑要求。
5.一种用于通信资源管理系统的数据检测系统,其特征在于,包括:
采集模块,用于通过数据采集接口从通信资源管理系统中采集原始数据;
处理模块,用于对所述原始数据进行过滤、重构、分类存储获得多个资源数据集;
选取模块,用于接收选择指令,根据该选择指令从所述多个资源数据集中获取待测数据集,并根据该选择指令从预设的检测指标中选出与所述待测数据集对应的检测指标;
检测模块,用于检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得问题数据集;
汇总模块,用于根据资源实体类型将所述问题数据集中的资源数据进行汇总;
显示模块,用于分别对汇总后的与各资源实体类型相对应的问题数据的相关信息进行显示。
6.根据权利要求5所述的用于通信资源管理系统的数据检测系统,其特征在于:
还包括设定模块,所述设定模块用于设定选出的检测指标对应的权值、期望值;
所述检测模块还用于检测所述待测数据集中的资源数据是否符合选出的检测指标对应的检测规则获得选出的检测指标对应的评判结果,根据所述评判结果、所述权值、所述期望值获得数据检测结果。
7.根据权利要求5或6所述的用于通信资源管理系统的数据检测系统,其特征在于,所述处理模块包括:
过滤单元,用于过滤所述原始原始数据中的非资源数据获得资源数据组;
重构与分类单元,用于根据预先建立的通用资源模型对所述资源数据组进行重构和分类存储获得多个资源实体数据集。
8.根据权利要求3所述的用于通信资源管理系统的数据检测方法,其特征在于,所述检测指标包括规范性指标、有效性指标、完整性指标、一致性指标、唯一性指标、逻辑性指标、时效性指标中的一种或者多种;
若选出的检测指标包括所述规范性指标,则检测模块检测所述待测数据集中的资源数据中的资源编码、命名属性是否满足预设规范;
若选出的检测指标包括所述有效性指标,则检测模块检测所述待测数据集中的资源数据中的资源属性是否在预设范围内;
若选出的检测指标包括所述有效性指标,则检测模块检测所述待测数据集中的资源数据中的资源时效属性是否在预设时限内;
若选出的检测指标包括所述完整性指标,则检测模块检测所述待测数据集中的资源数据对应的资源必填属性是否非空;
若选出的检测指标包括所述一致性指标,则检测模块检测所述待测数据集中的资源数据间业务属性对应关系是否满足预设要求;
若选出的检测指标包括所述一致性指标,则检测模块检测所述待测数据集中的资源数据中的业务编码、ID属性是否满足唯一性要求;
若选出的检测指标包括所述逻辑性指标,则检测模块检测所述待测数据集中资源数据对应的资源属性间的对应关系是否满足预设的逻辑要求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013103073724A CN103414601A (zh) | 2013-07-19 | 2013-07-19 | 用于通信资源管理系统的数据检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013103073724A CN103414601A (zh) | 2013-07-19 | 2013-07-19 | 用于通信资源管理系统的数据检测方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103414601A true CN103414601A (zh) | 2013-11-27 |
Family
ID=49607587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013103073724A Pending CN103414601A (zh) | 2013-07-19 | 2013-07-19 | 用于通信资源管理系统的数据检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103414601A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550511A (zh) * | 2015-12-11 | 2016-05-04 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评系统及方法 |
CN105589784A (zh) * | 2014-12-19 | 2016-05-18 | 中国银联股份有限公司 | 数据交互信息判异系统及方法 |
CN105989073A (zh) * | 2015-02-10 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种信息选定方法及装置 |
CN106019120A (zh) * | 2016-05-12 | 2016-10-12 | 中国电子科技集团公司第四十研究所 | 基于可扩展器件测试库的测试管理方法 |
CN106874483A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据质量评测的装置及方法 |
CN107358334A (zh) * | 2017-05-25 | 2017-11-17 | 全球能源互联网研究院 | 数据准确性判定方法、装置、终端及计算机可读存储介质 |
CN107395331A (zh) * | 2017-09-05 | 2017-11-24 | 国网四川省电力公司内江供电公司 | 一种电力设备通信数据异常报警系统 |
CN108986875A (zh) * | 2018-08-01 | 2018-12-11 | 中国人民解放军第二军医大学 | 一种医疗数据质量确定方法及系统 |
CN109688125A (zh) * | 2018-12-20 | 2019-04-26 | 广东电网有限责任公司 | 一种网络安全合规性自动化检测方法及装置 |
CN111404982A (zh) * | 2019-11-14 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 数据重构方法和装置 |
CN111858646A (zh) * | 2020-07-21 | 2020-10-30 | 国网浙江省电力有限公司营销服务中心 | 一种电能表质量数据格式核查方法及系统 |
CN112948375A (zh) * | 2021-02-01 | 2021-06-11 | 吉林大学 | 县市级尺度生态保护红线数据库逻辑一致性检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110185196A1 (en) * | 2010-01-25 | 2011-07-28 | Tomoyuki Asano | Power Management Apparatus, Electronic Appliance, and Method of Managing Power |
CN102495908A (zh) * | 2011-12-23 | 2012-06-13 | 宁波电业局 | 电网性能检测方法及系统 |
CN102609537A (zh) * | 2012-02-17 | 2012-07-25 | 广东电网公司电力科学研究院 | 一种基于数据库模式下的数据质量审计方法 |
-
2013
- 2013-07-19 CN CN2013103073724A patent/CN103414601A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110185196A1 (en) * | 2010-01-25 | 2011-07-28 | Tomoyuki Asano | Power Management Apparatus, Electronic Appliance, and Method of Managing Power |
CN102495908A (zh) * | 2011-12-23 | 2012-06-13 | 宁波电业局 | 电网性能检测方法及系统 |
CN102609537A (zh) * | 2012-02-17 | 2012-07-25 | 广东电网公司电力科学研究院 | 一种基于数据库模式下的数据质量审计方法 |
Non-Patent Citations (2)
Title |
---|
杨青云等: "数据质量评估方法研究", 《计算机工程与应用》 * |
黄心宇: "数据质量评价模型的建立和实现", 《商场现代化》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105589784A (zh) * | 2014-12-19 | 2016-05-18 | 中国银联股份有限公司 | 数据交互信息判异系统及方法 |
CN105589784B (zh) * | 2014-12-19 | 2018-08-07 | 中国银联股份有限公司 | 数据交互信息判异系统及方法 |
CN105989073A (zh) * | 2015-02-10 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种信息选定方法及装置 |
CN105550511B (zh) * | 2015-12-11 | 2018-02-09 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评系统及方法 |
CN105550511A (zh) * | 2015-12-11 | 2016-05-04 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评系统及方法 |
CN106019120A (zh) * | 2016-05-12 | 2016-10-12 | 中国电子科技集团公司第四十研究所 | 基于可扩展器件测试库的测试管理方法 |
CN106019120B (zh) * | 2016-05-12 | 2018-12-04 | 中国电子科技集团公司第四十一研究所 | 基于可扩展器件测试库的测试管理方法 |
CN106874483A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据质量评测的装置及方法 |
CN107358334A (zh) * | 2017-05-25 | 2017-11-17 | 全球能源互联网研究院 | 数据准确性判定方法、装置、终端及计算机可读存储介质 |
CN107358334B (zh) * | 2017-05-25 | 2021-02-09 | 全球能源互联网研究院有限公司 | 数据准确性判定方法、装置、终端及计算机可读存储介质 |
CN107395331A (zh) * | 2017-09-05 | 2017-11-24 | 国网四川省电力公司内江供电公司 | 一种电力设备通信数据异常报警系统 |
CN108986875A (zh) * | 2018-08-01 | 2018-12-11 | 中国人民解放军第二军医大学 | 一种医疗数据质量确定方法及系统 |
CN109688125A (zh) * | 2018-12-20 | 2019-04-26 | 广东电网有限责任公司 | 一种网络安全合规性自动化检测方法及装置 |
CN111404982A (zh) * | 2019-11-14 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 数据重构方法和装置 |
CN111404982B (zh) * | 2019-11-14 | 2023-04-07 | 杭州海康威视系统技术有限公司 | 数据重构方法和装置 |
CN111858646A (zh) * | 2020-07-21 | 2020-10-30 | 国网浙江省电力有限公司营销服务中心 | 一种电能表质量数据格式核查方法及系统 |
CN111858646B (zh) * | 2020-07-21 | 2023-11-07 | 国网浙江省电力有限公司营销服务中心 | 一种电能表质量数据格式核查方法及系统 |
CN112948375A (zh) * | 2021-02-01 | 2021-06-11 | 吉林大学 | 县市级尺度生态保护红线数据库逻辑一致性检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103414601A (zh) | 用于通信资源管理系统的数据检测方法和系统 | |
US10652633B2 (en) | Integrated solutions of Internet of Things and smart grid network pertaining to communication, data and asset serialization, and data modeling algorithms | |
CN102143507A (zh) | 一种业务质量监测方法、系统、以及分析方法和系统 | |
CN110333402B (zh) | 一种基于边缘计算的用户电压异常感知方法及系统 | |
CN107798395A (zh) | 一种电网事故信号自动诊断方法及系统 | |
US11063998B2 (en) | System and method for energy management information system reliability assurance | |
CN109977188A (zh) | 一种渐进式电网多专业数据关联融合方法及装置 | |
CN104574207A (zh) | 一种地区电网电量分析统计系统 | |
CN101931986B (zh) | 网络能效指示方法、指示器及系统 | |
CN107506422A (zh) | 一种多数据源的分布式日志处理系统及方法 | |
CN113469488B (zh) | 配电网设备拓扑结构在线诊断分析系统 | |
Ju et al. | The use of edge computing-based internet of things big data in the design of power intelligent management and control platform | |
CN109165203A (zh) | 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 | |
CN104243218A (zh) | 一种基于多调度约束的电力系统通信方式单编制方法 | |
CN115765153A (zh) | 电力一次设备物联网与在线监测数据融合监测方法及系统 | |
CN104502647A (zh) | 电能表远程抄表自动计量系统 | |
CN110727667B (zh) | 一种电力设备一致性管理系统 | |
CN111478340A (zh) | 一种配网线路无功补偿情况分析方法 | |
CN105631606A (zh) | 一种基于能量计量网络图的能源数据管理系统及方法 | |
CN106488480A (zh) | 一种工单引擎实现方法及装置 | |
CN104242310B (zh) | 一种输电线路电力负荷平衡方法 | |
LU500121B1 (en) | A method, device and equipment for electric meter detecting | |
CN203858294U (zh) | 一种低压用电信息采集现场校核系统 | |
CN117312293B (zh) | 一种面向电力多源异构的数据治理与智能分析方法及系统 | |
CN102624580A (zh) | 企业网络计算机硬件信息集中监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20131127 |
|
RJ01 | Rejection of invention patent application after publication |