CN114547018B - 一种sis实时数据库自动清洗废弃点的方法及系统 - Google Patents

一种sis实时数据库自动清洗废弃点的方法及系统 Download PDF

Info

Publication number
CN114547018B
CN114547018B CN202210451551.4A CN202210451551A CN114547018B CN 114547018 B CN114547018 B CN 114547018B CN 202210451551 A CN202210451551 A CN 202210451551A CN 114547018 B CN114547018 B CN 114547018B
Authority
CN
China
Prior art keywords
label
criterion
points
waste
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210451551.4A
Other languages
English (en)
Other versions
CN114547018A (zh
Inventor
罗睿
王毅
何新
田晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Thermal Power Research Institute Co Ltd
Original Assignee
Xian Thermal Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Thermal Power Research Institute Co Ltd filed Critical Xian Thermal Power Research Institute Co Ltd
Priority to CN202210451551.4A priority Critical patent/CN114547018B/zh
Publication of CN114547018A publication Critical patent/CN114547018A/zh
Application granted granted Critical
Publication of CN114547018B publication Critical patent/CN114547018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种SIS实时数据库自动清洗废弃点的方法及系统,属于能源行业的数据库应用领域,旨在解决现有技术中数据库的废弃点与正常测点不易人为区分,通过人工剔除方式效率极低,并且存在误删现象的问题。本发明通过对数据库内标签点的定期自动扫描,获取各数据标签的特征信息,建立数据库废弃点的判据,自动判断生成废弃点表,并执行数据库废弃点的清除工作。本发明能够根据数据库已有标签点的标签属性及数据特征,建立废弃点判据策略,形成自动清洗废弃点的自动化方法,适应于SIS系统的各类实时数据库的废弃点清洗需要,替代运维人员及用户的人工低效的删除清理工作,为数据库标签容量的有效利用提供重要支持。

Description

一种SIS实时数据库自动清洗废弃点的方法及系统
技术领域
本发明属于能源行业的数据库应用技术领域,涉及一种SIS实时数据库自动清洗废弃点的方法及系统。
背景技术
SIS实时数据库是电厂厂级监控信息系统的核心软件,用来存储全厂的实时生产数据。实时数据库的标签点容量,需要满足电厂所有生产数据的存储要求。电厂新建机组、技术改造、和其他数据系统的接入会不断占用数据库标签容量,同时也在不断产生无价值的废弃标签点。这些废弃标签点占据了有限的数据库标签容量,同时增加了数据库及通讯软件的读写扫描和管理负担。数据库内的废弃点会随着标签点创建、修改、系统改造、测点故障及更换等多种情况而增加。但是,始终缺少能够从数据库内海量的标签点进行筛选识别和清洗的有效方法。现有技术和手段主要通过数据库的标签容量扩充、使用人员的主观判断及手动删除实现。因此,数据库的废弃点与正常测点不易人为区分,通过人工剔除方式效率极低,并且存在误删现象。
发明内容
本发明的目的在于解决现有技术中的问题,提供一种SIS实时数据库自动清洗废弃点的方法及系统,旨在解决现有技术中数据库的废弃点与正常测点不易人为区分,通过人工剔除方式效率极低,并且存在误删现象的缺陷性技术问题。
为达到上述目的,本发明采用以下技术方案予以实现:
本发明提出的一种SIS实时数据库自动清洗废弃点的方法,包括如下步骤:
获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率和最新样本数据的质量码Q i
统计标签类型为原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,kk是周期所包含的小时数;
根据最新样本值V i、最新样本对应的时间戳T i、最新样本数据的质量码Q i、样本数量N i和分布值N i,1~N i,k,建立废弃点的判据;
根据标签压缩率、废弃点的判据和原始测点标签的数据类型得到废弃判据策略,将符合废弃判据策略的所有标签点进行标记,统一导出标记的标签点,实现标记的标签点的清洗处理。
优选地,建立废弃点的判据具体包括:
判据1:最新样本值V i与上一历史周期的样本平均值V i,0的相对偏差大于阈值1,阈值1表示为Tv1
Figure 232415DEST_PATH_IMAGE001
(1)
判据2:最新样本对应的时间戳T i与当前时间戳T t的偏差大于阈值2,阈值2表示为T v2
Figure 610307DEST_PATH_IMAGE002
(2)
判据3:在以日、月、年的周期内样本数据的质量码发生变化,并且最新样本数据的质量码Q i异常;
Figure 742211DEST_PATH_IMAGE003
(3)
Figure 205553DEST_PATH_IMAGE004
(4)
其中,Q i,t是数据标签i在扫描周期内各时刻t的样本值,Q i,avg是数据标签i在扫描周期内的样本值平均值,Q 0是数据正常状态下的质量码;
判据4:在以日、月、年的周期内进行扫描的样本数量N i与上一历史周期的样本数量N i,0之间的相对偏差大于阈值3,阈值3表示为T v3
Figure 959401DEST_PATH_IMAGE005
(5)
判据5:在以日、月、年的周期内样本数量的小时分布,最新1小时内样本数量的分布值N i,k和最早1小时内样本数量的分布值N i,1之间相对偏差大于阈值4,阈值4表示为T v4
Figure 191800DEST_PATH_IMAGE006
(6)
其中,k是周期所包含的小时数。
优选地,原始测点标签的数据类型包括开关量和模拟量。
优选地,原始测点标签的数据类型是开关量,选择的废弃判据策略如下:
若扫描的原始测点标签同时符合判据2和判据3,则扫描的原始测点标签标记为废弃点;
若扫描的原始测点标签不符合判据2和判据3,则执行下一数据标签的扫描。
优选地,在扫描到开关量标签时,通过不同周期的扫描结果进行验证和确认。
优选地,原始测点标签的数据类型是模拟量,选择的废弃判据策略如下:
根据原始测点标签的标签压缩率来决策:
原始测点标签的属性为不压缩的模拟量标签,则以判据2和判据3为第一判据,若不满足第一判据则实现下一数据标签的扫描;若满足第一判据,则继续以判据1或判据5为第二判据,满足第一判据或第二判据,则扫描的原始测点标签标记为废弃点;
原始测点标签的属性为压缩的模拟量标签,依次用判据3、判据1和判据4作为判断条件,若不同时满足判据3、判据1和判据4则实现下一数据标签的扫描;若同时满足判据3、判据1和判据4,则扫描的原始测点标签标记为废弃点。
优选地,将标记的标签点统一导出,删除至数据库回收站,经过人工确认后直接删除;
若人工未确认,在7天内支持随时恢复;
若人工未确认,也未恢复,7天后再次对数据库回收站的标记的标签点进行扫描,直至清洗完标记的标签点。
本发明提出的一种SIS实时数据库自动清洗废弃点的系统,包括:
数据获取模块,所述数据获取模块用于获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率和最新样本数据的质量码Q i
样本数量及分布值的确定模块,所述样本数量及分布值的确定模块用于统计标签类型为原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,k
废弃点的判据建立模块,所述废弃点的判据建立模块用于根据最新样本值V i、最新样本对应的时间戳T i、最新样本数据的质量码Q i、样本数量N i和分布值N i,1~N i,k,建立废弃点的判据;
标签点清洗模块,所述标签点的清洗模块用于根据标签压缩率、废弃点的判据和原始测点标签的数据类型得到废弃判据策略,将符合废弃判据策略的所有标签点进行标记,统一导出标记的标签点,实现标记的标签点的清洗处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行计算机程序时实现SIS实时数据库自动清洗废弃点的方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现SIS实时数据库自动清洗废弃点的方法的步骤。
与现有技术相比,本发明具有以下有益效果:
本发明提出的一种SIS实时数据库自动清洗废弃点的方法,获取所有标签点的特征信息,建立数据库废弃点的判据,自动判断废弃点,并执行数据库废弃点的清除工作。通过上述方案解决了现有技术中数据库的废弃点与正常测点不易人为区分,通过人工剔除方式效率极低,并且存在误删现象的问题。本发明提出的一种SIS实时数据库自动清洗废弃点的方法降低了用户运维工作量,提升了数据库使用效率和标签点的精准管理能力。
进一步地,在扫描到开关量标签时,通过不同周期的扫描结果进行验证和确认。因为更长的周期,比如周、月、季度、年等的扫描结果进行验证和确认,可以避免将临时的故障点误诊为废弃点而删除。
本发明提出的一种SIS实时数据库自动清洗废弃点的系统,通过将系统划分为数据获取模块、样本数量及分布值的确定模块、废弃点的判据建立模块和标签点清洗模块,采用模块化思想使各个模块之间相互独立,方便对各模块进行统一管理。
附图说明
为了更清楚的说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的SIS实时数据库自动清洗废弃点的方法流程图。
图2为本发明的SIS实时数据库自动清洗废弃点的方法详细流程图。
图3为本发明的SIS实时数据库自动清洗废弃点的系统图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中,需要说明的是,若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
此外,若出现术语“水平”,并不表示要求部件绝对水平,而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平,并不是表示该结构一定要完全水平,而是可以稍微倾斜。
在本发明实施例的描述中,还需要说明的是,除非另有明确的规定和限定,若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述:
如图1所示,本发明提出的一种SIS实时数据库自动清洗废弃点的方法,包括如下步骤:
获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率和最新样本数据的质量码Q i
统计标签类型为原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,kk是周期所包含的小时数;
根据最新样本值V i、最新样本对应的时间戳T i、最新样本数据的质量码Q i、样本数量N i和分布值N i,1~N i,k,建立废弃点的判据;
根据标签压缩率、废弃点的判据和原始测点标签的数据类型得到废弃判据策略,将符合废弃判据策略的所有标签点进行标记,统一导出标记的标签点,实现标记的标签点的清洗处理。
本发明提出的一种SIS实时数据库自动清洗废弃点的方法,如图2所示,具体包括如下步骤:
步骤一、依次对数据库所有标签点以日、月、年的周期进行整体或分批扫描,获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率、最新样本数据的质量码Q i
标签类型分为原始测点标签和非原始测点标签;其中,非原始测点标签包括计算标签、人工录入标签等。
步骤二、统计原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,kk是周期所包含的小时数。
步骤三、建立废弃点的判据,具体包括:
判据1:最新样本值V i与上一历史周期的样本平均值V i,0的相对偏差大于阈值1,阈值1表示为Tv1
Figure 760184DEST_PATH_IMAGE007
(1)
判据2:最新样本对应的时间戳T i与当前时间戳T t的偏差大于阈值2,阈值2表示为T v2
Figure 445243DEST_PATH_IMAGE008
(2)
判据3:在以日、月、年的周期内样本数据的质量码发生变化,并且最新样本数据的质量码Q i异常;
Figure 999853DEST_PATH_IMAGE009
(3)
Figure 86757DEST_PATH_IMAGE010
(4)
式中,Q i,t是数据标签i在扫描周期内各时刻t的样本值,Q i,avg是数据标签i在扫描周期内的样本值平均值,Q 0是数据正常状态下的质量码。
判据4:在以日、月、年的周期内进行扫描的样本数量N i与上一历史周期的样本数量N i,0之间的相对偏差大于阈值3,阈值3表示为T v3
Figure 826043DEST_PATH_IMAGE011
(5)
判据5:在以日、月、年的周期内样本数量的小时分布,最新1小时内样本数量的分布值N i,k和最早1小时内样本数量的分布值N i,1之间相对偏差大于阈值4,阈值4表示为T v4
Figure 263978DEST_PATH_IMAGE012
(6)
其中,k是周期所包含的小时数,各阈值可以根据实际灵活设置。
步骤四、根据标签压缩率、废弃点的判据和当前扫描的原始测点标签的数据类型,得到废弃判据策略,选择合适的废弃判据策略。
如果当前扫描的原始测点标签的数据类型是开关量,选择的废弃判据策略如下:
考虑到当前扫描的原始测点标签的数据类型的标签数据变化频率较低,扫描周期内的样本值本身较少,因此选择步骤四的判据2和判据3来判断。
当前扫描的原始测点标签如果同时符合判据2和判据3,则扫描的原始测点标签标记为废弃点。若扫描的原始测点标签不符合判据2和判据3,则执行下一数据标签的扫描。
如果当前扫描的原始测点标签的数据类型是模拟量,选择的废弃判据策略如下:
根据该原始测点标签的标签压缩率来决策:
(1)原始测点标签的属性为不压缩的模拟量标签,则以判据2和判据3为第一判据,如果不满足判据2和判据3则跳过,实现下一数据标签的扫描;如果同时满足判据2和判据3,则继续以判据1或判据5为第二判据,满足第一判据或第二判据,则扫描的原始测点标签标记为废弃点;
(2)原始测点标签的属性为压缩的模拟量标签,依次用判据3、判据1、判据4作为判断条件,一旦不同时满足判据3、判据1和判据4则跳过,进入下一数据标签的扫描;如果最终同时满足判据3、判据1和判据4,则扫描的原始测点标签标记为废弃点。
需要补充的是,步骤四中,扫描到开关量标签时,建议通过不同周期的扫描结果进行验证和确认,可以避免将临时的故障点误诊为废弃点而删除。
步骤五、将本次扫描后符合废弃判据策略的所有标签点进行标记。
步骤六、统一导出步骤五标记的标签点,可以删除至数据库回收站,经过人工确认后可直接删除;
若人工未确认,在7天内支持随时恢复。
若人工未确认,也没有恢复,那么7天后再次对数据库回收站的标记的标签点进行扫描,重复步骤一至步骤五,若再次被标记为废弃点,直接清除;没有标记为废弃点的,恢复正常状态。
本发明提出的一种SIS实时数据库自动清洗废弃点的系统,如图3所示,包括:
数据获取模块,所述数据获取模块用于获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率和最新样本数据的质量码Q i
样本数量及分布值的确定模块,所述样本数量及分布值的确定模块用于统计标签类型为原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,k
废弃点的判据建立模块,所述废弃点的判据建立模块用于根据最新样本值V i、最新样本对应的时间戳T i、最新样本数据的质量码Q i、样本数量N i和分布值N i,1~N i,k,建立废弃点的判据;
标签点清洗模块,所述标签点的清洗模块用于根据标签压缩率、废弃点的判据和原始测点标签的数据类型得到废弃判据策略,将符合废弃判据策略的所有标签点进行标记,统一导出标记的标签点,实现标记的标签点的清洗处理。
本发明一实施例提供的终端设备,该实施例的终端设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器、存储器。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述终端设备的各种功能。
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本发明能够提供一种数据库自动识别废弃点及清洗的方法,避免了通过数据库标签容量扩充带来的企业投入成本、磁盘容量限制问题,也降低了用户运维工作量,提升了数据库使用效率和标签点的精准管理能力。本发明提出的一种SIS实时数据库自动清洗废弃点的方法,能够根据数据库已有标签点的标签属性及数据特征,建立废弃点判据策略,形成自动清洗废弃点的自动化方法,能够适应于SIS系统的各类实时数据库的废弃点清洗需要,替代运维人员及用户的人工低效的删除清理工作,为数据库标签容量的有效利用提供重要支持。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种SIS实时数据库自动清洗废弃点的方法,其特征在于,包括如下步骤:
获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率和最新样本数据的质量码Q i
统计标签类型为原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,kk是周期所包含的小时数;
根据最新样本值V i、最新样本对应的时间戳T i、最新样本数据的质量码Q i、样本数量N i和分布值N i,1~N i,k,建立废弃点的判据;
根据标签压缩率、废弃点的判据和原始测点标签的数据类型得到废弃判据策略,将符合废弃判据策略的所有标签点进行标记,统一导出标记的标签点,实现标记的标签点的清洗处理。
2.根据权利要求1所述的SIS实时数据库自动清洗废弃点的方法,其特征在于,建立废弃点的判据具体包括:
判据1:最新样本值V i与上一历史周期的样本平均值V i,0的相对偏差大于阈值1,阈值1表示为Tv1
Figure 450997DEST_PATH_IMAGE001
(1)
判据2:最新样本对应的时间戳T i与当前时间戳T t的偏差大于阈值2,阈值2表示为T v2
Figure 939747DEST_PATH_IMAGE002
(2)
判据3:在以日、月、年的周期内样本数据的质量码发生变化,并且最新样本数据的质量码Q i异常;
Figure 348862DEST_PATH_IMAGE003
(3)
Figure 606668DEST_PATH_IMAGE004
(4)
其中,Q i,t是数据标签i在扫描周期内各时刻t的样本值,Q i,avg是数据标签i在扫描周期内的样本值平均值,Q 0是数据正常状态下的质量码;
判据4:在以日、月、年的周期内进行扫描的样本数量N i与上一历史周期的样本数量N i,0之间的相对偏差大于阈值3,阈值3表示为T v3
Figure 36513DEST_PATH_IMAGE005
(5)
判据5:在以日、月、年的周期内样本数量的小时分布,最新1小时内样本数量的分布值N i,k和最早1小时内样本数量的分布值N i,1之间相对偏差大于阈值4,阈值4表示为T v4
Figure 74876DEST_PATH_IMAGE006
(6)
其中,k是周期所包含的小时数。
3.根据权利要求2所述的SIS实时数据库自动清洗废弃点的方法,其特征在于,原始测点标签的数据类型包括开关量和模拟量。
4.根据权利要求3所述的SIS实时数据库自动清洗废弃点的方法,其特征在于,原始测点标签的数据类型是开关量,选择的废弃判据策略如下:
若扫描的原始测点标签同时符合判据2和判据3,则扫描的原始测点标签标记为废弃点;
若扫描的原始测点标签不符合判据2和判据3,则执行下一数据标签的扫描。
5.根据权利要求4所述的SIS实时数据库自动清洗废弃点的方法,其特征在于,在扫描到开关量标签时,通过不同周期的扫描结果进行验证和确认。
6.根据权利要求4所述的SIS实时数据库自动清洗废弃点的方法,其特征在于,原始测点标签的数据类型是模拟量,选择的废弃判据策略如下:
根据原始测点标签的标签压缩率来决策:
原始测点标签的属性为不压缩的模拟量标签,则以判据2和判据3为第一判据,若不满足第一判据则实现下一数据标签的扫描;若满足第一判据,则继续以判据1或判据5为第二判据,满足第一判据或第二判据,则扫描的原始测点标签标记为废弃点;
原始测点标签的属性为压缩的模拟量标签,依次用判据3、判据1和判据4作为判断条件,若不同时满足判据3、判据1和判据4则实现下一数据标签的扫描;若同时满足判据3、判据1和判据4,则扫描的原始测点标签标记为废弃点。
7.根据权利要求6所述的SIS实时数据库自动清洗废弃点的方法,其特征在于,将标记的标签点统一导出,删除至数据库回收站,经过人工确认后直接删除;
若人工未确认,在7天内支持随时恢复;
若人工未确认,也未恢复,7天后再次对数据库回收站的标记的标签点进行扫描,直至清洗完标记的标签点。
8.一种SIS实时数据库自动清洗废弃点的系统,其特征在于,包括:
数据获取模块,所述数据获取模块用于获取数据库所有标签点的最新样本值V i、标签类型、数据类型、最新样本对应的时间戳T i、标签压缩率和最新样本数据的质量码Q i
样本数量及分布值的确定模块,所述样本数量及分布值的确定模块用于统计标签类型为原始测点标签在以日、月、年的周期内进行存储的样本数量N i,以及样本数量在以日、月、年的周期内每个小时的分布值N i,1~N i,k
废弃点的判据建立模块,所述废弃点的判据建立模块用于根据最新样本值V i、最新样本对应的时间戳T i、最新样本数据的质量码Q i、样本数量N i和分布值N i,1~N i,k,建立废弃点的判据;
标签点清洗模块,所述标签点的清洗模块用于根据标签压缩率、废弃点的判据和原始测点标签的数据类型得到废弃判据策略,将符合废弃判据策略的所有标签点进行标记,统一导出标记的标签点,实现标记的标签点的清洗处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行计算机程序时实现权利要求1至7中任意一项所述的SIS实时数据库自动清洗废弃点的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的SIS实时数据库自动清洗废弃点的方法的步骤。
CN202210451551.4A 2022-04-24 2022-04-24 一种sis实时数据库自动清洗废弃点的方法及系统 Active CN114547018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210451551.4A CN114547018B (zh) 2022-04-24 2022-04-24 一种sis实时数据库自动清洗废弃点的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210451551.4A CN114547018B (zh) 2022-04-24 2022-04-24 一种sis实时数据库自动清洗废弃点的方法及系统

Publications (2)

Publication Number Publication Date
CN114547018A CN114547018A (zh) 2022-05-27
CN114547018B true CN114547018B (zh) 2022-08-16

Family

ID=81667386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210451551.4A Active CN114547018B (zh) 2022-04-24 2022-04-24 一种sis实时数据库自动清洗废弃点的方法及系统

Country Status (1)

Country Link
CN (1) CN114547018B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609501A (zh) * 2012-02-02 2012-07-25 北京华电天仁电力控制技术有限公司 一种基于实时历史数据库的数据清洗方法
CN104616124A (zh) * 2015-03-06 2015-05-13 重庆大学 一种火力发电厂安全经济运行状态的实时发布方法及系统
CN105353669A (zh) * 2014-08-21 2016-02-24 中兴通讯股份有限公司 数据处理方法及装置
CN109144689A (zh) * 2018-06-29 2019-01-04 华为技术有限公司 任务调度方法、装置及计算机程序产品
CN110659271A (zh) * 2019-08-29 2020-01-07 福建天泉教育科技有限公司 一种数据删除的优化方法及终端
CN110825798A (zh) * 2019-10-29 2020-02-21 深圳供电局有限公司 一种电力应用数据维护方法及装置
CN110879799A (zh) * 2019-11-15 2020-03-13 北京明略软件系统有限公司 管理技术元数据的方法和装置
EP3674912A1 (en) * 2018-12-28 2020-07-01 Harman International Industries, Incorporated Data stitching and harmonization for machine learning
CN113961393A (zh) * 2021-10-12 2022-01-21 西安热工研究院有限公司 实时数据库测点删除回收方法、系统、存储介质及服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061705B (zh) * 2019-11-05 2023-03-24 广州文冲船厂有限责任公司 一种有效数据清洗方法、装置、介质及终端设备
CN111241074B (zh) * 2019-12-27 2023-07-04 冶金自动化研究设计院 基于时序数据和关系数据的钢铁企业数据中心应用系统
CN113051253A (zh) * 2021-04-15 2021-06-29 广州云族佳科技有限公司 一种构建标签数据库的方法和装置
CN113220716B (zh) * 2021-05-08 2023-03-03 西安热工研究院有限公司 一种提高实时数据库数据处理性能的装置及处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609501A (zh) * 2012-02-02 2012-07-25 北京华电天仁电力控制技术有限公司 一种基于实时历史数据库的数据清洗方法
CN105353669A (zh) * 2014-08-21 2016-02-24 中兴通讯股份有限公司 数据处理方法及装置
CN104616124A (zh) * 2015-03-06 2015-05-13 重庆大学 一种火力发电厂安全经济运行状态的实时发布方法及系统
CN109144689A (zh) * 2018-06-29 2019-01-04 华为技术有限公司 任务调度方法、装置及计算机程序产品
EP3674912A1 (en) * 2018-12-28 2020-07-01 Harman International Industries, Incorporated Data stitching and harmonization for machine learning
CN110659271A (zh) * 2019-08-29 2020-01-07 福建天泉教育科技有限公司 一种数据删除的优化方法及终端
CN110825798A (zh) * 2019-10-29 2020-02-21 深圳供电局有限公司 一种电力应用数据维护方法及装置
CN110879799A (zh) * 2019-11-15 2020-03-13 北京明略软件系统有限公司 管理技术元数据的方法和装置
CN113961393A (zh) * 2021-10-12 2022-01-21 西安热工研究院有限公司 实时数据库测点删除回收方法、系统、存储介质及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电站 SIS 系统框架及应用;石峰;《化工设计》;20190331;第29卷(第3期);第45-47页 *

Also Published As

Publication number Publication date
CN114547018A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN112529061B (zh) 一种光伏功率异常数据的识别方法、装置及终端设备
CN111242464A (zh) 一种基于spc的陶瓷卫浴质量管理方法
CN111400288A (zh) 数据质量检查方法及系统
CN115549313B (zh) 基于人工智能的用电监测方法及系统
US20120016823A1 (en) Data compression method for a classifier
CN110142940B (zh) 应用于注塑模具的良品检测方法及装置
CN114547018B (zh) 一种sis实时数据库自动清洗废弃点的方法及系统
CN106130929B (zh) 基于图论算法的互联网保险领域的业务报文自动处理方法和系统
CN113377696A (zh) 一种基于计算机设备的总线数据处理方法
CN111046038B (zh) 时序数据存储的方法及终端设备
CN114429256A (zh) 数据监测方法、装置、电子设备及存储介质
CN111597510A (zh) 一种输变电运检数据质量评估方法及系统
CN113780906A (zh) 机台管理方法、装置及计算机可读存储介质
CN113641705B (zh) 一种基于计算引擎的营销处置规则引擎方法
CN114756722A (zh) 一种多元数据集中管理控制系统及方法
CN114969187A (zh) 数据分析系统及方法
CN115128986A (zh) 基于SaaS级的工业互联网产量实时监控系统及方法
CN115344495A (zh) 批量任务测试的数据分析方法、装置、计算机设备及介质
CN108170825A (zh) 基于云平台的分布式能源数据监控清洗方法
CN115083570A (zh) 一种基于数据共享的医疗影像管理系统
CN110727667B (zh) 一种电力设备一致性管理系统
CN113238911A (zh) 告警处理方法及装置
CN113934789B (zh) 基于电子元器件的数据仓库构建方法及系统
CN116052798B (zh) 一种用于生产执行系统的电子配方管理方法、系统和存储介质
CN115033764A (zh) 一种元数据采集方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant