CN117112609B - 一种使用关键元素矩阵提高监控历史数据检索效率的方法 - Google Patents

一种使用关键元素矩阵提高监控历史数据检索效率的方法 Download PDF

Info

Publication number
CN117112609B
CN117112609B CN202310786996.2A CN202310786996A CN117112609B CN 117112609 B CN117112609 B CN 117112609B CN 202310786996 A CN202310786996 A CN 202310786996A CN 117112609 B CN117112609 B CN 117112609B
Authority
CN
China
Prior art keywords
matrix
key
key element
condition
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310786996.2A
Other languages
English (en)
Other versions
CN117112609A (zh
Inventor
经玉健
郝勇
祁皓冉
姜万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sac Rail Traffic Engineering Co ltd
Original Assignee
Nanjing Sac Rail Traffic Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sac Rail Traffic Engineering Co ltd filed Critical Nanjing Sac Rail Traffic Engineering Co ltd
Priority to CN202310786996.2A priority Critical patent/CN117112609B/zh
Publication of CN117112609A publication Critical patent/CN117112609A/zh
Application granted granted Critical
Publication of CN117112609B publication Critical patent/CN117112609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

一种使用关键元素矩阵提高监控历史数据检索效率的方法，涉及工业自动化领域大型监控系统软件历史故障报警数据多条件检索，对待检索的多个条件一一进行逻辑预解析，提取关键元素，按条件按次序排列形成关键元素矩阵。通过对关键元素矩阵赋值来完成对历史数据记录的多条件检索，对矩阵赋值即对每个元素进行单独检索，赋值以行为单位，从左往右进行，碰到负值的元素跳转到下一行重新开始赋值，相同的元素仅需检索一次，直到某行值为均为非负值则表明该条历史数据记录满足条件，如整个矩阵赋值完毕没有行满足，则该条历史数据记录不满足条件。

Description

一种使用关键元素矩阵提高监控历史数据检索效率的方法
技术领域
本发明涉及工业自动化领域监控系统软件，尤其涉及大型监控系统集成平台中多条件历史数据查询检索、筛选匹配等相关技术。涵盖综合监控、电力监控、环境与设备监控系统、火灾监控、煤矿、冶金、石油等自动化工业监控行业。
背景技术
随着大型工业监控系统平台的集成化程度越来越高，其所管理的数据量和逻辑复杂度也水涨船高，对系统运行所产生的历史数据筛选检索的难度也显著增加。以地铁综合监控系统为例，每个地下车站各控制专业大约一天合计产生2千条报警，一条20个车站的地铁线每天约产生4万条报警。这样的集成监控系统每月仅报警历史数据就有超过一百万条，这样庞大的历史数据，如果我们还沿用过去的普通数据检索方式(纯字符串检索方式)效率将会非常低。尤其某些基于对历史数据分析计算的高阶应用模块，提出了对历史数据筛选检索更高的要求。以地铁运营的行车可用性指标计算模块为例，该模块需要从每月百万计的报警数据中把真正影响行车的故障报警数据筛选出来，以计算每月的系统行车可用性比例。这就需要地铁运营人员把可能影响到行车的几十类故障报警描述列出来，一条一条按次序交给计算模块去海量的报警数据库中匹配检索，找出每类故障报警发生过的历史记录再综合计算。
我们用Atotal来表示历史故障报警数据集，用Mtemplate来表示运营人员整理出的可能影响行车可用性的故障报警全集(待检索条件全集，检索条件之间为“逻辑或”的关系，数据记录满足条件之一即可)，Re为检索匹配的结果集。
假设库中一条故障报警描述的长度为m，历史报警数目为k，可能影响到行车的故障类型关键描述长度为n，可能影响行车的故障类型数目为l，普通的检索算法为：
从上述算法可以看出，要知道每条历史故障报警是否影响到行车可用性，需要按次序遍历每条报警记录，用行车可用性故障报警的所有可能性故障去一一匹配，这样算法的时间复杂度为O(mnkl)。(说明：底层字符串的查找算法已经非常成熟，不在本设计的讨论范围之内，为了说明方便，本文统一使用最基本的朴素搜索算法来说明算法复杂度。)
从算法复杂度可以看出，随着故障报警历史数据量的增加，尤其是有多条待检索条件(多条待检索条件为或的关系)时，原有的算法会变得非常低效。为了提高效率，根据工业监控历史故障报警数据的特点出发，找到了一种利用逻辑预解析关键元素矩阵来进行多条件历史报警数据检索的设计。
发明内容
本发明的目的是：利用工业监控故障报警数据的特殊性，通过对历史报警数据内容的经验和理解，把待检索条件一一进行预解析提取，形成关键元素矩阵，把完整的多条件检索模板信息化整为零，从而避免重复检索和不必要的检索工作提高检索效率。
为了实现上述目的，本发明所采用的技术方案为：一种使用关键元素矩阵提高监控历史数据检索效率的方法，利用工业监控故障报警数据的特殊性(工业监控故障报警数据是一般是由模板组态定义好的格式文本，诸如“XX设备/系统发生了XX故障”此类)从待检索条件里提取检索关键元素，关键元素以条目为纵向，以次序为横向排列形成关键元素矩阵，通过对关键元素矩阵里关键元素的检索获得最终检索结果，具体包括：
步骤一：逻辑分析，对待检索条件信息一一进行逻辑分析，抽象提取共通性的关键信息，如XX设备/系统名称，XX故障内容或原因等。
假设某历史报警检索条件为“MVB与#1端手动控制器DX或AX模块的通信失败或手动控制器信号超限”，从中可提取出5项关键信息，其中三项设备信息分别是“MVB”、“手动控制器”、“AX模块”，另两项是故障信息：“通信失败”和“信号超限”。
步骤二：创建关键元素矩阵，按照关键信息在原检索条件中出现的位置从左往右排列，将一条条原待检索条件逻辑重构成一行行独立分离的有序信息元素集，这样多行有序的元素集合就形成了关键元素矩阵；
步骤三：赋值，对关键元素矩阵进行赋值，从第一行第一列的关键元素开始，以从左往右，从上往下的顺序依次从历史故障报警记录中检索关键元素，找出满足检索条件的历史记录。
所述关键元素矩阵的赋值过程包括：
对每一个关键元素单独进行find操作，该元素在当前这条故障报警记录中首次出现的位置即为矩阵对应元素位置的值，若未在当前故障报警记录中找到该元素，则值为-1；从第一行最左边第一个元素Element0,0开始赋值，遵循从左往右、从上往下的顺序，每行第一个元素从历史数据记录最左侧开始检索，当它被检索到，则将该结果序号(历史记录中关键元素被查找到的位置序号)记录到矩阵对应的元素位置上，并以该序号为同行下一个元素的查找起点，继续检索同行下一个的关键元素，若某个关键元素未被找到，则放弃继续检索该行剩余元素，转向下一行第一个元素开始检索，若矩阵某行所有值均大于0，则说明该条历史故障报警记录为满足检索条件的历史记录，保存结果，结束后续查找；若整个矩阵赋值完成，也没有非负值行，则该条历史记录不满足检索条件。
从矩阵的第二行元素开始检索时，首先检查本列是否有相同元素已经存在，若有，则直接复制它的值，若不存在，再进行继续后续赋值过程。
若矩阵元素空缺，分两种情况处理，第一种情况是最左侧元素空缺，矩阵该处值填0；第二种情况为非最左侧元素空缺，此时复制相邻左侧元素值即可。
与现有技术相比，本发明所采用的技术方案具有以下有益效果：
1、本发明把n长度的待查询条件转化为短小有限数目的关键元素，不仅避免了对关键信息的重复查询，一旦发现左侧元素检索结果为否定情况，则及时放弃该条件，避免了不必要的后续检索操作，大大节约了系统资源。
2、本发明中由于关键元素长度可控，单个元素的查找效率为O(m)，这样整个设计的时间复杂度为O(mkl)，相比传统方法的效率大大提高。
3、本发明为大型工业监控系统历史故障报警数据的多条件检索问题提供了高效可靠的解决方案，通过对历史报警数据内容的经验和理解，把待检索条件一一进行预解析提取，形成了关键元素矩阵，把完整的多条件检索模板信息化整为零，避免了重复检索和不必要的检索工作，从而大大提高了检索效率。
附图说明
图1为本实施例中关键元素矩阵转化示意图。
图2为本实施例中关键元素矩阵赋值过程示意图。
图3为本实施例中关键元素矩阵赋值结果举例示意图。
图4为本实施例中步骤流程图。
具体实施方式
为了更好地体现本发明的创造性，下面结合附图和具体实施例对本发明的技术方案做进一步的解释。
本实施例使用了一种使用关键元素矩阵提高监控历史数据检索效率的方法，包括：
逻辑预解析步骤：利用工业监控故障报警数据处理的经验，对待检索故障报警条件进行逻辑分析和预解析，从中提取关键数据元素：如待检索故障模板信息(待检索条件)一般均包含报警/故障主体，报警/故障动作，报警/故障描述……等；
创建关键元素矩阵步骤：对每条待检索故障报警条件的检索需求就转为了对一定数量的关键数据元素的检索结果并集，根据对工业监控故障报警数据高阶应用的理解，这种转化保留了检索条件的全部关键信息，能满足检索结果的需求。同时，通过转化还能把检索结果化整为零，找到看似独立的各个检索条件之间的联系。
进一步的，待检索的多个查询条件经过预解析转化的过程如图1所示，一般故障报警历史数据的关键元素为【报警/故障主体，报警/故障动作，报警/故障描述……】，以n来表示检索条件的数目，m表示待检索故障报警条件最大可提取关键数据元素数目，这样查询条件经过解析抽取，就形成了由关键元素构成的m*n的二维矩阵。该矩阵的横向元素为每条待检索故障报警条件抽取的关键待检索元素，而纵向元素在历史故障报警数据里承担完全相同的逻辑角色，例如，第一列均为每条待检索故障报警条件的报警主体/设备。
进一步的，由于故障报警数据的特殊性，每个待检索故障报警条件虽然互不相同，但它们的关键元素却有极高的重合概率，例如下面的三条与地铁行车可用性相关的待检索故障报警条件：
条件1：“ATC转速表故障”→【ATC转速表故障】
条件2：“手动控制器通信故障”→【手动控制器通信故障】
条件3：“ATC在车站扣车”→【ATC扣车】
检索条件1与检索条件3的报警主体相同，均为“ATC”，而检索条件1与检索条件2的报警原因相同，均为“故障”，这样的关键元素重合就给检索提供了提高效率的空间。
进一步的，某些检索条件提取的关键元素较少，如上述例子中条件3缺少列3，此处矩阵值仅需复制相邻左侧元素值即可。
给关键元素矩阵赋值步骤：关键元素矩阵的赋值从第一行第一列的关键元素开始，以从左往右，从上往下的顺序依次从一条历史故障报警记录中检索关键元素。当某行的第一列元素在记录中被检索到，则将该结果序号(历史记录中关键元素被查找到的位置序号)记录到矩阵对应的元素位置上，并以该序号为报警记录起点，检索同行下一列的关键元素，如某一列关键元素未被找到，则放弃继续检索该行剩余元素，转向下一行第一个元素开始检索，如矩阵某行均大于0(全部关键元素均能在历史记录中被找到)，则说明该条历史故障报警记录为满足检索条件的历史记录，保存结果，结束后续查找。如整个矩阵检索完成，也没有整行数值大于1，则该条历史记录不满足检索条件需求。
进一步的，从矩阵的第二行元素开始检索时，第一步先查找本列已查找过的关键元素，如有相同的元素已经存在，则直接记录它的检索结果，继续后续检索。
完整的伪代码如下：
说明：我们用Atotal来表示历史故障报警数据集，用Mmatrix来表示待检索故障报警条件集(条件集中的条件为或的关系，即历史记录满足其中的一个条件即可)，ResultSetfinal为检索匹配的结果集。
假设库中一条故障报警描述的长度为m，历史报警数目为k，待检索的故障报警条件长度为n，待检索条件数目为l。
本实施例把n长度的待查询条件转化为短小有限数目的关键元素，不仅避免了对关键信息的重复查询，一旦发现左侧元素检索结果为否定情况，则及时放弃该条件，避免了不必要的后续检索操作，大大节约了系统资源。由于关键元素长度可控，单个元素的查找效率为O(m)，这样整个设计的时间复杂度为O(mkl)。相比传统方法的效率大大提高。
与现有技术相比，本实施例为大型工业监控系统历史故障报警数据的多条件检索问题提供了高效可靠的解决方案，通过对历史报警数据内容的经验和理解，把待检索条件一一进行预解析提取，形成了关键元素矩阵，把完整的多条件检索模板信息化整为零，避免了重复检索和不必要的检索工作，从而大大提高了检索效率。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种使用关键元素矩阵提高监控历史数据检索效率的方法，其特征在于：利用工业监控故障报警数据的特殊性，从待检索条件里提取检索关键元素，关键元素以条目为纵向，以次序为横向排列形成关键元素矩阵，通过对关键元素矩阵里关键元素的检索获得最终检索结果，具体包括：
步骤一：逻辑分析，对待检索条件信息一一进行逻辑分析，抽取待检索条件中具有共性/重复频率高的关键信息；
步骤二：创建关键元素矩阵，按照关键信息在原检索条件中出现的位置从左往右排列，将一条条原待检索条件逻辑重构成一行行独立分离的有序信息元素集，这样多行有序的元素集合就形成了关键元素矩阵；
步骤三：赋值，对关键元素矩阵进行赋值，从第一行第一列的关键元素开始，以从左往右，从上往下的顺序依次从历史故障报警记录中检索关键元素，找出满足检索条件的历史记录；
所述关键元素矩阵的赋值过程包括：
对每一个关键元素单独进行find操作，该元素在当前这条故障报警记录中首次出现的位置即为矩阵对应元素位置的值，若未在当前故障报警记录中找到该元素，则值为-1；从第一行最左边第一个元素Element0,0开始赋值，遵循从左往右、从上往下的顺序，每行第一个关键元素从历史数据记录最左侧开始检索，当它被检索到，则将结果序号记录到矩阵对应的元素位置上，并以该序号为同行下一个元素的查找起点，继续检索同行下一个的关键元素，若某个关键元素未被找到，则放弃继续检索该行剩余元素，转向下一行第一个元素开始检索，若矩阵某行所有值均大于0，则说明该条历史故障报警记录为满足检索条件的历史记录，保存结果，结束后续查找；若整个矩阵赋值完成，也没有非负值行，则该条历史记录不满足检索条件；
所述结果序号为历史记录中关键元素被查找到的位置序号。
2.根据权利要求1所述的一种使用关键元素矩阵提高监控历史数据检索效率的方法，其特征在于：所述关键信息包括报警/故障主体，报警/故障动作和报警/故障描述。
3.根据权利要求1所述的一种使用关键元素矩阵提高监控历史数据检索效率的方法，其特征在于：所述步骤二中，以n来表示检索条件的数目，m表示待检索故障报警条件最大可提取关键数据元素数目，这样查询条件经过解析抽取，就形成了由关键元素构成的m*n的二维矩阵。
4.根据权利要求1所述的一种使用关键元素矩阵提高监控历史数据检索效率的方法，其特征在于：
从矩阵的第二行元素开始检索时，首先检查本列是否有相同元素已经存在，若有，则直接复制它的值，若不存在，再进行继续后续赋值过程。
5.根据权利要求4所述的一种使用关键元素矩阵提高监控历史数据检索效率的方法，其特征在于：若矩阵元素空缺，分两种情况处理，第一种情况是最左侧元素空缺，矩阵该处值填0；第二种情况为非最左侧元素空缺，此时复制相邻左侧元素值即可。
CN202310786996.2A 2023-06-29 2023-06-29 一种使用关键元素矩阵提高监控历史数据检索效率的方法 Active CN117112609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310786996.2A CN117112609B (zh) 2023-06-29 2023-06-29 一种使用关键元素矩阵提高监控历史数据检索效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310786996.2A CN117112609B (zh) 2023-06-29 2023-06-29 一种使用关键元素矩阵提高监控历史数据检索效率的方法

Publications (2)

Publication Number Publication Date
CN117112609A CN117112609A (zh) 2023-11-24
CN117112609B true CN117112609B (zh) 2024-05-10

Family

ID=88800953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310786996.2A Active CN117112609B (zh) 2023-06-29 2023-06-29 一种使用关键元素矩阵提高监控历史数据检索效率的方法

Country Status (1)

Country Link
CN (1) CN117112609B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351924A (ja) * 2001-05-22 2002-12-06 Nippon Gijutsu Joho:Kk 情報検索システム及び情報検索方法
CN1470047A (zh) * 2000-11-20 2004-01-21 ���չ�˾ 用于文档的向量分析方法
CN105117385A (zh) * 2015-09-09 2015-12-02 北京中润普达信息技术有限公司 一种以矩阵计算为基础进行舆论信息抽取的方法及系统
CN107153692A (zh) * 2017-05-03 2017-09-12 上海上讯信息技术股份有限公司 一种字符串匹配的方法及设备
CN108009427A (zh) * 2017-11-29 2018-05-08 北京安华金和科技有限公司 一种针对数据库漏洞规则的快速检索方法
CN109102146A (zh) * 2018-06-29 2018-12-28 清华大学 基于多参数线性规划的电力系统风险评估加速方法
CN114840525A (zh) * 2022-05-10 2022-08-02 中国工商银行股份有限公司 工单处理方法及装置
CN115169336A (zh) * 2022-07-04 2022-10-11 中国航天科工集团第二研究院 一种基于人工智能的知识检索方法、装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526565B2 (en) * 2019-04-05 2022-12-13 Ovh Method of and system for clustering search queries

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1470047A (zh) * 2000-11-20 2004-01-21 ���չ�˾ 用于文档的向量分析方法
JP2002351924A (ja) * 2001-05-22 2002-12-06 Nippon Gijutsu Joho:Kk 情報検索システム及び情報検索方法
CN105117385A (zh) * 2015-09-09 2015-12-02 北京中润普达信息技术有限公司 一种以矩阵计算为基础进行舆论信息抽取的方法及系统
CN107153692A (zh) * 2017-05-03 2017-09-12 上海上讯信息技术股份有限公司 一种字符串匹配的方法及设备
CN108009427A (zh) * 2017-11-29 2018-05-08 北京安华金和科技有限公司 一种针对数据库漏洞规则的快速检索方法
CN109102146A (zh) * 2018-06-29 2018-12-28 清华大学 基于多参数线性规划的电力系统风险评估加速方法
CN114840525A (zh) * 2022-05-10 2022-08-02 中国工商银行股份有限公司 工单处理方法及装置
CN115169336A (zh) * 2022-07-04 2022-10-11 中国航天科工集团第二研究院 一种基于人工智能的知识检索方法、装置和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSRS: Code Search with Relevance Matching and Semantic Matching;Yi Cheng 等;《2022 IEEE/ACM 30th International Conference on Program Comprehension (ICPC)》;20220622;533-542 *
王彦林.R树动态索引在基于内容的图像检索中的应用.《计算机光盘软件与应用》.第16卷(第4期),150、152. *

Also Published As

Publication number Publication date
CN117112609A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN109446344B (zh) 一种基于大数据的智能分析报告自动生成系统
US10521441B2 (en) System and method for approximate searching very large data
EP2724269B1 (en) System, method and data structure for fast loading, storing and access to huge data sets in real time
CN107704539B (zh) 大规模文本信息批量结构化的方法及装置
CN109471929B (zh) 一种基于图谱匹配进行设备维修记录语义搜索的方法
CN101183387A (zh) 一种增量数据捕获方法和系统
CN104731945A (zh) 一种基于HBase的全文检索方法及装置
CN108009290B (zh) 一种轨道交通指挥中心线网大数据的数据建模和存储方法
US7676487B2 (en) Method and system for formatting and indexing data
Jiang et al. xLightFM: Extremely memory-efficient factorization machine
CN117112609B (zh) 一种使用关键元素矩阵提高监控历史数据检索效率的方法
CN112148830A (zh) 一种基于最大区域网格的语义数据存储与检索的方法及装置
CN102831146A (zh) 数据库子串过滤索引系统及其构建、查询方法
CN112398481B (zh) 反馈式匹配预测多级实时压缩系统及方法
CN101576906B (zh) 一种数据库模式重构系统和方法
CN110413602B (zh) 一种分层清洗式大数据清洗方法
Deniziak et al. The scalable distributed two-layer content based image retrieval data store
CN114218347A (zh) 多个文件内容的快速索引查找方法
RU2417424C1 (ru) Способ компрессии многомерных данных для хранения и поиска информации в системе управления базами данных и устройство для его осуществления
CN117194410B (zh) 一种人工智能语言模型生成业务报表的方法及系统
CN117811588B (zh) 一种基于霍夫曼编码与lz77的日志压缩存取方法、系统、设备及可读存储介质
KEAWPIBAL et al. Optimizing range query processing for Dual bitmap index
CN118446201A (zh) 一种rag中文本召回多来源知识的去重方法
CN117931804A (zh) 一种HBase多条件过滤查询方法
Hu et al. Fast Incremental Data Recognition Method Based on TCN Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant