CN111897889A - 一种面向电力行业业务系统的数据表完整性评价方法 - Google Patents

一种面向电力行业业务系统的数据表完整性评价方法 Download PDF

Info

Publication number
CN111897889A
CN111897889A CN202010827745.0A CN202010827745A CN111897889A CN 111897889 A CN111897889 A CN 111897889A CN 202010827745 A CN202010827745 A CN 202010827745A CN 111897889 A CN111897889 A CN 111897889A
Authority
CN
China
Prior art keywords
data table
field
data
proportion
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010827745.0A
Other languages
English (en)
Other versions
CN111897889B (zh
Inventor
胡楠
乔林
顾海林
刘晓强
冉冉
胡畔
薄珏
高强
刘育博
夏雨
曲睿婷
齐俊
白亮
胡非
李季洋
钟弓贺
刘祉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Priority to CN202010827745.0A priority Critical patent/CN111897889B/zh
Publication of CN111897889A publication Critical patent/CN111897889A/zh
Application granted granted Critical
Publication of CN111897889B publication Critical patent/CN111897889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种面向电力行业业务系统的数据表完整性评价方法，包括调用Oracle数据库dbms_stats功能模块；从user_tables表中读取num_row字段；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；计算各个评价指标，对所述数据表的数据完整性进行评价。本发明以数据库系统表做为评价的基础，对数据表的完整性进行评价；评价过程中降低了对数据库业务表的读取频次和工作量，同时提高了评估的效率；搜索数据表的空格、空列、空行等属性时，具有较高的发现率和准确性。

Description

一种面向电力行业业务系统的数据表完整性评价方法
技术领域
本发明的实施例一般涉及计算机数据处理领域，并且更具体地，涉及一种面向电力行业业务系统的数据表完整性评价方法。
背景技术
对于数据完整性评估方法的研究，关键在于解决关系数据完整性度量问题。现有的数据完整性评估方法大多通过提出抽象的数据完整性度量框架，然后在框架基础上实现函数依赖对数据完整性的影响，并提出具体的关系数据完整性度量指标及体系方案。在当前环境下，对数据完整性研究的重点集中在完整性的定义、保证技术、保证模型及其应用，而对数据完整性评估方法的研究多集中在对数据的校验上，然而这对于数据量巨大的电力行业业务系统来说工作效率极慢。
对于数据表完整性评估存在以下问题：
1)没有量化形式地去评估数据表完整性；
2)随着数据量的快速增长，根据数据表进行完整性评估效率低，开销大；
3)未给出具体的数据表完整性评价方法。
发明内容
根据本发明的实施例，提供了一种面向电力行业业务系统的数据表完整性评价方案。
在本发明的第一方面，提供了一种面向电力行业业务系统的数据表完整性评价方法。该方法包括：
调用Oracle数据库dbms_stats功能模块；
从user_tables表中读取num_row字段；所述num_row字段为数据表中包含的总记录数；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；所述table_name字段表示用户可见的字段所属的数据表的名称；所述num_null字段为数据表中每个字段包含的空值数；
从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；
计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例，对所述数据表的数据完整性进行评价。
进一步地，所述计算去除全空字段的none值数量，包括：
Q＝P-M*N
其中，Q为数据表中去除全空字段的none值数量；P为数据表中none值数量；M为数据表中全空字段数量；N为数据表中总记录数。
进一步地，所述满字段记录数为：
K＝N-F
其中，K为数据表中满字段记录数；N为数据表中总记录数；F为数据表中非满字段记录数；所述非满字段记录数为数据表中包含空值的字段中的总记录数。
进一步地，所述计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例，包括：
所述数据表全空字段比例为数据表全空字段数与数据表总字段数的比值；
所述数据表满字段记录比例为数据表满字段记录数与数据表总记录数的比值；
所述数据表none值比例为数据表none值数量与数据表数值总数的比值；
所述数据表去除全空字段的none值比例为数据表去除全空字段none值数量与数据表去除全空字段后的数值的比值。
进一步地，所述数据表去除全空字段后的数值为：
H＝(R-M)*N
其中，H为数据表中去除全空字段后的数值；R为数据表中的字段数；M为数据表中全空字段数量；N为数据表中总记录数。
进一步地，所述对所述数据表的数据完整性进行评价，包括：
所述数据表的数据完整性与所述数据表全空字段比例、所述数据表none值比例、所述数据表去除全空字段的none值比例呈负相关；
所述数据表的数据完整性与所述数据表满字段记录比例呈正相关。
在本发明的第二方面，提供了一种面向电力行业业务系统的数据表完整性评价装置。该装置包括：
调用模块，用于调用Oracle数据库dbms_stats功能模块；
读取模块，用于从user_tables表中读取num_row字段；所述num_row字段为数据表中包含的总记录数；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；所述table_name字段表示用户可见的字段所属的数据表的名称；所述num_null字段为数据表中每个字段包含的空值数；
第一计算模块，用于从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；
第二计算模块，用于计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例；
评价模块，用于对所述数据表的数据完整性进行评价。
在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
本发明以数据库系统表做为评价的基础，通过分析数据表中存在空属性的记录数占总记录数的比例和数据表中存在空值的属性数占总属性数量的比例，对数据表的合理性和完整性进行评价，评价过程中降低了对数据库业务表的读取频次和工作量，同时提高了评估的效率；搜索数据表的空格、空列、空行等属性时，具有较高的发现率和准确性。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本发明的实施例的面向电力行业业务系统的数据完整性评价方法的流程图；
图2示出了根据本发明的实施例的面向电力行业业务系统的数据完整性评价装置的方框图；
图3示出了能够实施本发明的实施例的示例性电子设备的方框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明中，通过Oracle数据库自带的dbms_stats模块，进行数据库基础信息统计，对基础信息进行处理和加工，并对数据表进行检测，搜索数据表的空格、空列、空行等属性时，具有较高的发现率和准确性，分析表中存在空属性的记录数占总记录数的比例和表中存在空值的属性数占总属性数量的比例，计算数据表的数据完整性，在将数据表的评价值进行累加，从而对数据表的合理性和完整性进行评价。
图1示出了本发明实施例的面向电力行业业务系统的数据完整性评价方法的流程图。
该方法包括：
S110、调用Oracle数据库dbms_stats功能模块。
Oracle数据库是甲骨文公司的一款关系数据库管理系统，是美国ORACLE公司(甲骨文)提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如SilverStream就是基于数据库的一种中间件。ORACLE数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。但它的所有知识，只要在一种机型上学习了ORACLE知识，便能在各种类型的机器上使用它。
dbms_stats功能模块作为Oracle数据库中的一个功能包，从Oracle 8.1.5版本后开始引入，用于对信息进行分析统计。
S120、从user_tables表中读取num_row字段；所述num_row字段为数据表中包含的总记录数；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；所述table_name字段表示用户可见的字段所属的数据表的名称；所述num_null字段为数据表中每个字段包含的空值数；
作为本发明的一种实施例，通过在Oracle数据库中调用dbms_stats功能模块，在调用dbms_stats功能模块后，从user_tables表中读取num_row字段；所述user_tables表，表示当前用户可见表；所述num_row字段表示数据表中包含的总记录数。所述user_tab_columns表，表示当前用户可见字段，即当前用户能看到的字段；第table_name字段，表示用户可见的字段所属的数据表的名称；num_null字段，表示数据表中每个字段包含的空值数。根据table_name字段建立数据表与数据字段的所属关系。
本实施例中，利用了Oracle自带的dbms_stats功能模块实现数据表基础数据收集，降低了完整性方法开发的难度和工作量，比提高了准确性。
S130、从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量。
所述从数据库中读取到的数据表表示为A表，累加A表中的num_null字段的值，得到A表的none值数量；其中num_null字段为A表各字段包含的空值数，例如，如果num_null等于num_row，则说明该字段为全空字段，其中num_row为A表包含总记录数；如果num_null为0，则说明该字段中无空值，该字段为满数据字段。none值数量为A表中的各字段num_null值的累加之和。
S140、计算去除全空字段的none值数量。
所述去除全空字段的none值数量为A表none值数量-A表全空字段数量*A表总记录数，即所述去除全空字段的none值数量Q为：
Q＝P-M*N
其中，Q为数据表中去除全空字段的none值数量；P为数据表中none值数量；M为数据表中全空字段数量；N为数据表中总记录数。
S150、计算满字段记录数。
所述计算满字段记录数，通过sql语句实现下述逻辑：先令集合{a1,a2,...,an}为A表的各字段，分别判断每个集合元素是否为none，如果是，则将记录数+1，遍历整个集合后，得到非满字段记录数。计算方式为：
K＝N-F
其中，K为数据表中满字段记录数；N为数据表中总记录数；F为数据表中非满字段记录数；所述非满字段记录数为数据表中包含空值的字段中的总记录数。
上述S110～S150，通过Oracle数据库自带的dbms_stats模块，进行单个数据表基础信息统计，统计得到了数据表的字段数、记录数、全空字段数、none值数量、去除全空字段的none值数量、满字段记录数等数据指标值。
S160、计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例；
所述数据表全空字段比例为全空字段数/数据表总字段数；
所述数据表满字段记录比例为满字段记录总数/数据表记录总数；
所述数据表none值比例为none值数量/数据表数值总数；
所述数据表去除全空字段的none值比例为去除全空字段后none值数量/数据表去除全空字段后数值总数。
进一步地，所述数据表去除全空字段后的数值为：
H＝(R-M)*N
其中，H为数据表中去除全空字段后的数值；R为数据表中的字段数；M为数据表中全空字段数量；N为数据表中总记录数。
S170、对所述数据表的数据完整性进行评价。
通过上述四项评价指标可以对数据表的完整性进行评价，包括：
所述数据表的数据完整性与所述数据表全空字段比例呈负相关，即所述数据表全空字段比例越高，则所述数据表的完整性越差；反之，所述数据表全空字段比例越低，则所述数据表的完整性越好。
所述数据表的数据完整性与所述数据表none值比例呈负相关，即所述数据表none值比例越高，则所述数据表的完整性越差；反之，所述数据表none值比例越低，则所述数据表的完整性越好。
所述数据表的数据完整性与所述数据表去除全空字段的none值比例呈负相关，即所述数据表去除全空字段的none值比例越高，则所述数据表的完整性越差；反之，所述数据表去除全空字段的none值比例越低，则所述数据表的完整性越好。
所述数据表的数据完整性与所述数据表满字段记录比例呈正相关；即所述数据表满字段记录比例越高，则所述数据表的完整性越好；反之，所述数据表满字段记录比例越低，则所述数据表的完整性越差。
通过上述指标评价可以从数据质量的量化评估角度对数据表的数据完整性进行评价。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图2所示，装置200包括：
调用模块201，用于调用Oracle数据库dbms_stats功能模块；
读取模块202，用于从user_tables表中读取num_row字段；所述num_row字段为数据表中包含的总记录数；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；所述table_name字段表示用户可见的字段所属的数据表的名称；所述num_null字段为数据表中每个字段包含的空值数；
第一计算模块203，用于从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；
进一步地，还包括去除全空字段的none值数量计算模块，用于计算所述去除全空字段的none值数量，包括：
Q＝P-M*N
其中，Q为数据表中去除全空字段的none值数量；P为数据表中none值数量；M为数据表中全空字段数量；N为数据表中总记录数。
进一步地，还包括满字段记录数计算模块，用于计算所述满字段记录数，包括：
K＝N-F
其中，K为数据表中满字段记录数；N为数据表中总记录数；F为数据表中非满字段记录数；所述非满字段记录数为数据表中包含空值的字段中的总记录数。
第二计算模块204，用于计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例。
所述数据表全空字段比例为数据表全空字段数与数据表总字段数的比值；
所述数据表满字段记录比例为数据表满字段记录数与数据表总记录数的比值；
所述数据表none值比例为数据表none值数量与数据表数值总数的比值；
所述数据表去除全空字段的none值比例为数据表去除全空字段none值数量与数据表去除全空字段后的数值的比值。所述去除全空字段后的数值为：
H＝(R-M)*N
其中，H为数据表中去除全空字段后的数值；R为数据表中的字段数；M为数据表中全空字段数量；N为数据表中总记录数。
评价模块205，用于对所述数据表的数据完整性进行评价；具体包括：
所述数据表的数据完整性与所述数据表全空字段比例、所述数据表none值比例、所述数据表去除全空字段的none值比例呈负相关；
所述数据表的数据完整性与所述数据表满字段记录比例呈正相关。即：
所述数据表的数据完整性与所述数据表全空字段比例呈负相关，即所述数据表全空字段比例越高，则所述数据表的完整性越差；反之，所述数据表全空字段比例越低，则所述数据表的完整性越好。
所述数据表的数据完整性与所述数据表none值比例呈负相关，即所述数据表none值比例越高，则所述数据表的完整性越差；反之，所述数据表none值比例越低，则所述数据表的完整性越好。
所述数据表的数据完整性与所述数据表去除全空字段的none值比例呈负相关，即所述数据表去除全空字段的none值比例越高，则所述数据表的完整性越差；反之，所述数据表去除全空字段的none值比例越低，则所述数据表的完整性越好。
所述数据表的数据完整性与所述数据表满字段记录比例呈正相关；即所述数据表满字段记录比例越高，则所述数据表的完整性越好；反之，所述数据表满字段记录比例越低，则所述数据表的完整性越差。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图3所示，电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
电子设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理，例如方法S110～S170。例如，在一些实施例中，方法S110～S170可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S110～S170的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S110～S170。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (9)

1.一种面向电力行业业务系统的数据表完整性评价方法，其特征在于，包括：
调用Oracle数据库dbms_stats功能模块；
从user_tables表中读取num_row字段；所述num_row字段为数据表中包含的总记录数；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；所述table_name字段表示用户可见的字段所属的数据表的名称；所述num_null字段为数据表中每个字段包含的空值数；
从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；
计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例，对所述数据表的数据完整性进行评价。
2.根据权利要求1所述的方法，其特征在于，所述计算去除全空字段的none值数量，包括：
Q＝P-M*N
其中，Q为数据表中去除全空字段的none值数量；P为数据表中none值数量；M为数据表中全空字段数量；N为数据表中总记录数。
3.根据权利要求1所述的方法，其特征在于，所述满字段记录数为：
K＝N-F
其中，K为数据表中满字段记录数；N为数据表中总记录数；F为数据表中非满字段记录数；所述非满字段记录数为数据表中包含空值的字段中的总记录数。
4.根据权利要求1所述的方法，其特征在于，所述计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例，包括：
所述数据表全空字段比例为数据表全空字段数与数据表总字段数的比值；
所述数据表满字段记录比例为数据表满字段记录数与数据表总记录数的比值；
所述数据表none值比例为数据表none值数量与数据表数值总数的比值；
所述数据表去除全空字段的none值比例为数据表去除全空字段none值数量与数据表去除全空字段后的数值的比值。
5.根据权利要求1所述的方法，其特征在于，所述数据表去除全空字段后的数值为：
H＝(R-M)*N
其中，H为数据表中去除全空字段后的数值；R为数据表中的字段数；M为数据表中全空字段数量；N为数据表中总记录数。
6.根据权利要求1所述的方法，其特征在于，所述对所述数据表的数据完整性进行评价，包括：
所述数据表的数据完整性与所述数据表全空字段比例、所述数据表none值比例、所述数据表去除全空字段的none值比例呈负相关；
所述数据表的数据完整性与所述数据表满字段记录比例呈正相关。
7.一种面向电力行业业务系统的数据表完整性评价装置，其特征在于，包括：
调用模块，用于调用Oracle数据库dbms_stats功能模块；
读取模块，用于从user_tables表中读取num_row字段；所述num_row字段为数据表中包含的总记录数；从user_tab_columns表中读取table_name字段和num_null字段，根据table_name字段建立数据表与数据字段的所属关系；所述table_name字段表示用户可见的字段所属的数据表的名称；所述num_null字段为数据表中每个字段包含的空值数；
第一计算模块，用于从数据库中读取一数据表，累加所述数据表的num_null字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；
第二计算模块，用于计算数据表全空字段比例、数据表满字段记录比例、数据表none值比例和数据表去除全空字段的none值比例；
评价模块，用于对所述数据表的数据完整性进行评价。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN202010827745.0A 2020-08-17 2020-08-17 一种面向电力行业业务系统的数据表完整性评价方法 Active CN111897889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010827745.0A CN111897889B (zh) 2020-08-17 2020-08-17 一种面向电力行业业务系统的数据表完整性评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010827745.0A CN111897889B (zh) 2020-08-17 2020-08-17 一种面向电力行业业务系统的数据表完整性评价方法

Publications (2)

Publication Number Publication Date
CN111897889A true CN111897889A (zh) 2020-11-06
CN111897889B CN111897889B (zh) 2023-10-20

Family

ID=73230407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010827745.0A Active CN111897889B (zh) 2020-08-17 2020-08-17 一种面向电力行业业务系统的数据表完整性评价方法

Country Status (1)

Country Link
CN (1) CN111897889B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023376A (ko) * 2002-09-11 2004-03-18 한국과학기술정보연구원 실시간 서지데이터베이스 평가 방법
CN105976120A (zh) * 2016-05-17 2016-09-28 全球能源互联网研究院 一种电力运营监控数据质量评估系统及方法
CN111008192A (zh) * 2019-11-14 2020-04-14 泰康保险集团股份有限公司 一种数据管理方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023376A (ko) * 2002-09-11 2004-03-18 한국과학기술정보연구원 실시간 서지데이터베이스 평가 방법
CN105976120A (zh) * 2016-05-17 2016-09-28 全球能源互联网研究院 一种电力运营监控数据质量评估系统及方法
CN111008192A (zh) * 2019-11-14 2020-04-14 泰康保险集团股份有限公司 一种数据管理方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李登道, 苏娜: "关于数据表中字段属性"NULL"的理解与使用", 计算机应用与软件, no. 12 *

Also Published As

Publication number Publication date
CN111897889B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US9734202B2 (en) Systems and methods for rapid data analysis
US9600559B2 (en) Data processing for database aggregation operation
WO2015155561A1 (en) Accessing non-relational data stores using structured query language queries
WO2022252782A1 (zh) 云计算索引推荐方法及系统
CN114461644A (zh) 一种数据采集方法、装置、电子设备及存储介质
CN115238815A (zh) 异常交易数据获取方法、装置、设备、介质和程序产品
CN110737673B (zh) 一种数据处理的方法及系统
CN111897803B (zh) 一种面向电力行业业务系统的数据库完整性评价方法
US20240177077A1 (en) Attribution analysis method, electronic device, and storage medium
CN110955547B (zh) 一种接口异常信息的管理方法、系统、设备及可读存储介质
CN112596851A (zh) 仿真平台的多源异构数据批量抽取方法和分析方法
CN110765100B (zh) 标签的生成方法、装置、计算机可读存储介质及服务器
CN112231311A (zh) 整合跨平台商品数据的方法、系统和计算机可读介质
CN111897889B (zh) 一种面向电力行业业务系统的数据表完整性评价方法
CN111949644B (zh) 一种面向电力行业业务系统的数据质量评价方法和设备
CN116881219A (zh) 数据库的优化处理方法、装置、电子设备及存储介质
EP4174678A1 (en) Cloud analysis scenario-based hybrid query method and system, and storage medium
CN104657388A (zh) 一种数据处理方法和装置
CN112559490B (zh) 一种数据分层汇总设计方法及数据自动分层汇总方法
CN110427558B (zh) 资源处理事件的推送方法及装置
CN111782691A (zh) 指标关联性确定方法、装置、电子设备及存储介质
CN112882854B (zh) 一种请求异常的处理方法及装置
CN109617734B (zh) 网络运营能力分析方法及装置
CN107153651A (zh) 一种多维交叉数据处理方法及装置
CN112307050A (zh) 一种重复关联计算的识别方法、装置及计算机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant