CN112417141A - 一种国产工控系统曲线数据查询处理方法 - Google Patents
一种国产工控系统曲线数据查询处理方法 Download PDFInfo
- Publication number
- CN112417141A CN112417141A CN202011316070.XA CN202011316070A CN112417141A CN 112417141 A CN112417141 A CN 112417141A CN 202011316070 A CN202011316070 A CN 202011316070A CN 112417141 A CN112417141 A CN 112417141A
- Authority
- CN
- China
- Prior art keywords
- data
- curve
- retrieval
- abnormal
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Feedback Control In General (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种国产工控系统曲线数据查询处理方法，包括用户自定义检索条件设置，多线程同步增量数据检索，异常数据检测，正常工况数据采样优化展示。具体来讲，用户首先在数据检索界面输入检索条件；然后根据用户输入的检索条件，通过TF‑IDF算法建立数据索引表，并利用多线程同步增量查询；随后，通过Isolation Forest算法进行异常数据检测；最后，通过局部采样算法，动态偏移增量优化曲线绘制效果；本发明从海量现场工控数据中，优化数据查询方法，对获取数据进行异常数据检测与优化分析筛选展示，从而快速高效准确展示用户关心的数据，降低系统运行压力，提高数据展示效率，快速展示真实现场运行情况的曲线数据。
Description
技术领域
本发明属于工控系统曲线查询技术领域，具体涉及一种国产工控系统曲线数据查询处理方法。
背景技术
随着信息化技术水平的不断进步，国内工业控制领域数据分析需求不断发展，需要将现场设备运行数据曲线及时高效展示在用户面前。目前，主流工控系统通过网络采集工业现场设备的实时数据进行存储，工控系统曲线大多采用全数据绘制方法，即对于每次数据查询，全量进行指定时段数据查询，并绘制在曲线上面。由于现场硬件水平的提高，实时数据采样间隔不断缩短，目前已经达到毫秒级数据存储，系统单测点年数据存储量为千万量级。目前的数据检索方式给系统数据库极大压力的同时，曲线绘制也将出现长延时，卡顿等反应，大大影响用户的数据分析效率和系统的安全稳定性。
发明内容
为了克服上述现有技术存在的问题，本发明的目的在于提供一种国产工控系统曲线数据查询处理方法，从数据查询和数据处理进行多线程优化，提高用户的分析效率和系统的运行速度。
为了达到上述目的，本发明的技术方案是：
一种国产工控系统曲线数据查询处理方法，包括如下步骤：
1)用户在自定义检索界面输入测点查询条件信息，包括：查询时段、测点类型、统计类型等信息以及采用间隔。
2)利用步骤1)输入的测点查询条件信息，通过词频-逆文本频率(TermFrequency-Inverse Document Frequency,TF-IDF)算法从海量工业数据中建立数据检索表，利用多线程同步增量检索方法快速检索出与所给查询条件有关的曲线数据；
3)利用步骤2)所查询到的曲线数据，通过Isolation Forest算法进行异常数据检测，计算异常数据的影响因子，并将异常数据从步骤2)查询到的曲线数据中排除，得到正常工况下的曲线数据；
4)将步骤3)得到的正常工况下的曲线数据进行优化后再进行可视化展示，优化原理主要是对由海量数据点组成的曲线进行局部特征展示，通过设置历史时间间隔，采样间隔实现；并且对于重叠曲线通过设置动态偏移量实现分层可视化效果。
在步骤1)中，提供用户自定义条件检索界面，支持用户设置检索时间，提供统计数据展示方式，用户能够配置挑点、均值、最大值、最小值方式进行检索展示，并且提供测点类型选择进行展示。
在步骤2)中，通过TF-IDF数学函数建立数据检索表，以此在实际数据检索过程中提升检索速度，具体如下：
TF-IDF(x)＝TF(x)*IDF(x)
其中，N代表语料库中文本的总数，N(x)代表语料库中包含词x的文本总数，IDF(x)代表词x在所有文本中出现的频率，TF指文本中每个词出现的频率，TF(x)指词x在当前文本中的词频。
在步骤3)中，建立Isolation Forest算法函数模型，对异常数据进行检测分析，计算异常数据的影响因子，具体如下：
其中，E(h(y))表示数据y在多棵二叉树的路径长度的均值,ψ表示单棵二叉树的训练样本的样本数，C(ψ)表示用ψ条样本数构建的二叉树的平均路径长度；其中，能够人为设置异常点的阈值，source(y)表示数据y的影响因子，当source(y)的影响因子大于阈值时，即将其分类为异常数据点，当source(y)影响因子小于阈值时，则视其为非异常数据点。
在步骤4)中，对于正常工况下的曲线数据，由于其数据量巨大，若将其全部进行展示会造成数据失真及曲线分辨率低下情况；因此，在步骤4)中，引入历史数据统计分析功能，通过设置数据点的采样间隔时间以及数据展示时间段对所需要展示的测点值进行曲线绘制以适应屏幕分辨率；另外，针对不同测点数值重合情况，步骤4)引入动态偏移，对数值重合的不同测点值乘以不同的权重以此来使得绘图区上的趋势形成分层显示的情况。
本发明上述方案中：正常运行工况数据优化展示，具体是指，对于正常运行工况数据，展示数据量过大情况，根据所展示数据的时间间隔自动生成对应的采样间隔，以使得绘制的曲线自适应屏幕分辨率，避免大数据量下趋势卡顿和失真的情况。例如，规定绘图区最多显示3600个测点值进行展示，假设需要绘制时间间隔为8小时的测点数据，则系统自动生成的采用间隔为8秒。另外，对于数值完全重合的测点绘制，此情况常见于绘制开关量测点的情形，本发明引入动态偏移方法，通过对重合测点值乘以不同的权重实现在绘制区域自动分层显示的效果。
本发明从海量现场工控数据中，优化数据查询方法，对获取数据进行优化分析筛选展示，从而快速高效准确展示用户关心的数据，降低系统运行压力，提高数据展示效率，快速展示真实现场运行情况的曲线数据。
附图说明
图1为本发明所述一种国产工控系统曲线数据查询处理方法示意图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，本发明一种国产工控系统曲线数据查询处理方法，包括如下步骤：
1)用户在自定义检索界面输入测点查询条件信息，包括：查询时段、测点类型、统计类型等信息以及采用间隔。
2)利用步骤1)输入的测点查询条件信息，通过词频-逆文本频率(TermFrequency-Inverse Document Frequency,TF-IDF)算法从海量工业数据中建立数据检索表，利用多线程同步增量检索方法快速检索出与所给查询条件有关的曲线数据；
3)利用步骤2)所查询到的曲线数据，通过Isolation Forest算法进行异常数据检测，计算异常数据的影响因子，并将异常数据从步骤2)查询到的曲线数据中排除，得到正常工况下的曲线数据；
4)将步骤3)得到的正常工况下的曲线数据进行优化后再进行可视化展示，优化原理主要是对由海量数据点组成的曲线进行局部特征展示，通过设置历史时间间隔，采样间隔实现；并且对于重叠曲线通过设置动态偏移量实现分层可视化效果。
在步骤1)中，提供用户自定义条件检索界面，支持用户设置检索时间，提供统计数据展示方式，用户能够配置挑点、均值、最大值、最小值方式进行检索展示，并且提供测点类型选择进行展示。例如，用户可以选择仅展示开关量或模拟量的测点信息也可以选择将开关量和模拟量的测点进行混合展示。
在步骤2)中，通过TF-IDF数学函数建立数据检索表，以此在实际数据检索过程中提升检索速度，具体如下：
TF-IDF(x)＝TF(x)*IDF(x)
其中，N代表语料库中文本的总数，N(x)代表语料库中包含词x的文本总数，IDF(x)代表词x在所有文本中出现的频率，TF指文本中每个词出现的频率，TF(x)指词x在当前文本中的词频。
在步骤3)中，建立Isolation Forest算法函数模型，对异常数据进行检测分析，计算异常数据的影响因子，具体如下：
其中，E(h(y))表示数据y在多棵二叉树的路径长度的均值,ψ表示单棵二叉树的训练样本的样本数，C(ψ)表示用ψ条样本数构建的二叉树的平均路径长度；其中，能够人为设置异常点的阈值，source(y)表示数据y的影响因子，当source(y)的影响因子大于阈值时，即将其分类为异常数据点，当source(y)影响因子小于阈值时，则视其为非异常数据点。
在步骤4)中，对于正常工况下的曲线数据，由于其数据量巨大，若将其全部进行展示会造成数据失真及曲线分辨率低下情况；因此，在步骤4)中，引入历史数据统计分析功能，通过设置数据点的采样间隔时间以及数据展示时间段对所需要展示的测点值进行曲线绘制以适应屏幕分辨率；例如，规定绘图区最多显示3600个测点值进行展示，因此针对不同的时间间隔都会自动生成一个采样间隔，以使得绘制的曲线避免卡顿和数据失真。另外，针对不同测点数值重合情况，步骤4)引入动态偏移，对数值重合的不同测点值乘以不同的权重以此来使得绘图区上的趋势形成分层显示的情况。
通过本发明方法的实施，大容量曲线数据点能够快速进行数据查询，同时对查询获取的曲线数据点进行分析，展示出异常点和正常趋势点，对于无效点能够做到高效筛除，大大提高了系统运行效率和曲线展示效果，对于监视人员的工作效率有显著提高，减轻了系统运行压力。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种国产工控系统曲线数据查询处理方法，其特征在于，包括如下步骤：
1)用户在自定义检索界面输入测点查询条件信息，包括：查询时段、测点类型、统计类型等信息以及采用间隔。
2)利用步骤1)输入的测点查询条件信息，通过词频-逆文本频率TF-IDF算法从海量工业数据中建立数据检索表，利用多线程同步增量检索方法快速检索出与所给查询条件有关的曲线数据；
3)利用步骤2)所查询到的曲线数据，通过Isolation Forest算法进行异常数据检测，计算异常数据的影响因子，并将异常数据从步骤2)查询到的曲线数据中排除，得到正常工况下的曲线数据；
4)将步骤3)得到的正常工况下的曲线数据进行优化后再进行可视化展示，优化原理主要是对由海量数据点组成的曲线进行局部特征展示，通过设置历史时间间隔，采样间隔实现；并且对于重叠曲线通过设置动态偏移量实现分层可视化效果。
2.根据权利要求1所述的一种国产工控系统曲线数据查询处理方法，其特征在于：在步骤1)中，提供用户自定义条件检索界面，支持用户设置检索时间，提供统计数据展示方式，用户能够配置挑点、均值、最大值、最小值方式进行检索展示，并且提供测点类型选择进行展示。
3.根据权利要求1所述的一种国产工控系统曲线数据查询处理方法，其特征在于：在步骤2)中，通过TF-IDF数学函数建立数据检索表，以此在实际数据检索过程中提升检索速度，具体如下：
TF-IDF(x)＝TF(x)*IDF(x)
其中，N代表语料库中文本的总数，N(x)代表语料库中包含词x的文本总数，IDF(x)代表词x在所有文本中出现的频率，TF指文本中每个词出现的频率，TF(x)指词x在当前文本中的词频。
4.根据权利要求1所述的一种国产工控系统曲线数据查询处理方法，其特征在于：在步骤3)中，建立Isolation Forest算法函数模型，对异常数据进行检测分析，计算异常数据的影响因子，具体如下：
其中，E(h(y))表示数据y在多棵二叉树的路径长度的均值,ψ表示单棵二叉树的训练样本的样本数，C(ψ)表示用ψ条样本数构建的二叉树的平均路径长度；其中，能够人为设置异常点的阈值，source(y)表示数据y的影响因子，当source(y)的影响因子大于阈值时，即将其分类为异常数据点，当source(y)影响因子小于阈值时，则视其为非异常数据点。
5.根据权利要求1所述的一种国产工控系统曲线数据查询处理方法，其特征在于：在步骤4)中，对于正常工况下的曲线数据，由于其数据量巨大，若将其全部进行展示会造成数据失真及曲线分辨率低下情况；因此，在步骤4)中，引入历史数据统计分析功能，通过设置数据点的采样间隔时间以及数据展示时间段对所需要展示的测点值进行曲线绘制以适应屏幕分辨率；另外，针对不同测点数值重合情况，步骤4)引入动态偏移，对数值重合的不同测点值乘以不同的权重以此来使得绘图区上的趋势形成分层显示的情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011316070.XA CN112417141B (zh) | 2020-11-22 | 2020-11-22 | 一种国产工控系统曲线数据查询处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011316070.XA CN112417141B (zh) | 2020-11-22 | 2020-11-22 | 一种国产工控系统曲线数据查询处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112417141A true CN112417141A (zh) | 2021-02-26 |
| CN112417141B CN112417141B (zh) | 2023-05-16 |
Family
ID=74777124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011316070.XA Active CN112417141B (zh) | 2020-11-22 | 2020-11-22 | 一种国产工控系统曲线数据查询处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112417141B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536050A (zh) * | 2021-07-06 | 2021-10-22 | 贵州电网有限责任公司 | 一种配网监控系统曲线数据查询处理方法 |
| CN113568961A (zh) * | 2021-09-26 | 2021-10-29 | 西安热工研究院有限公司 | 通过时标选取测点并集成告警信息的曲线生成方法及设备 |
| CN117792960A (zh) * | 2024-02-23 | 2024-03-29 | 中国电子科技集团公司第三十研究所 | 一种基于国产多核处理器的历史流量统计方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100332503A1 (en) * | 2009-06-30 | 2010-12-30 | Brad Buckley | System and Method for Using an Exemplar Document to Retrieve Relevant Documents from an Inverted Index of a Large Corpus |
| CN101982820A (zh) * | 2010-11-22 | 2011-03-02 | 北京航空航天大学 | 一种大数据量的曲线显示查询方法 |
| CN103955192A (zh) * | 2014-04-29 | 2014-07-30 | 安徽中科大国祯信息科技有限责任公司 | 一种用于污水处理厂的曲线报表数据采样方法 |
| CN103955508A (zh) * | 2014-04-29 | 2014-07-30 | 安徽中科大国祯信息科技有限责任公司 | 一种工控系统曲线图的数据分层存储查询方法 |
| TW201727514A (zh) * | 2015-10-14 | 2017-08-01 | 薩摩林根 沙庫那拿加 | 用於在3d可視化空間中顯示多格式資料之裝置及方法 |
-
2020
- 2020-11-22 CN CN202011316070.XA patent/CN112417141B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100332503A1 (en) * | 2009-06-30 | 2010-12-30 | Brad Buckley | System and Method for Using an Exemplar Document to Retrieve Relevant Documents from an Inverted Index of a Large Corpus |
| CN101982820A (zh) * | 2010-11-22 | 2011-03-02 | 北京航空航天大学 | 一种大数据量的曲线显示查询方法 |
| CN103955192A (zh) * | 2014-04-29 | 2014-07-30 | 安徽中科大国祯信息科技有限责任公司 | 一种用于污水处理厂的曲线报表数据采样方法 |
| CN103955508A (zh) * | 2014-04-29 | 2014-07-30 | 安徽中科大国祯信息科技有限责任公司 | 一种工控系统曲线图的数据分层存储查询方法 |
| TW201727514A (zh) * | 2015-10-14 | 2017-08-01 | 薩摩林根 沙庫那拿加 | 用於在3d可視化空間中顯示多格式資料之裝置及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536050A (zh) * | 2021-07-06 | 2021-10-22 | 贵州电网有限责任公司 | 一种配网监控系统曲线数据查询处理方法 |
| CN113536050B (zh) * | 2021-07-06 | 2023-12-01 | 贵州电网有限责任公司 | 一种配网监控系统曲线数据查询处理方法 |
| CN113568961A (zh) * | 2021-09-26 | 2021-10-29 | 西安热工研究院有限公司 | 通过时标选取测点并集成告警信息的曲线生成方法及设备 |
| CN117792960A (zh) * | 2024-02-23 | 2024-03-29 | 中国电子科技集团公司第三十研究所 | 一种基于国产多核处理器的历史流量统计方法及装置 |
| CN117792960B (zh) * | 2024-02-23 | 2024-04-30 | 中国电子科技集团公司第三十研究所 | 一种基于国产多核处理器的历史流量统计方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112417141B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112417141A (zh) | 一种国产工控系统曲线数据查询处理方法 | |
| CN109711659B (zh) | 一种工业生产的良率提升管理系统和方法 | |
| CN104217004B (zh) | 一种交易系统的数据库热点的监控方法及装置 | |
| CN104050289A (zh) | 一种异常事件检测方法及系统 | |
| CN113420162B (zh) | 一种基于知识图谱的设备运行链状态监测方法 | |
| CN110247474B (zh) | 一种基于d5000系统电网运行状态的统计汇总方法及系统 | |
| CN107679715A (zh) | 一种基于spc的电能表综合误差过程能力评价方法及评价系统 | |
| CN117194919A (zh) | 一种生产数据分析系统 | |
| CN114997313B (zh) | 一种海洋在线监测数据的异常检测方法 | |
| CN115755614A (zh) | 基于碳排监测的用能优化调控方法及装置 | |
| CN111123873A (zh) | 一种基于流处理技术的生产数据采集方法及系统 | |
| CN116777114A (zh) | 一种离散车间可视化生产管理方法 | |
| CN112015711A (zh) | 一种模型监控方法、装置和电子设备 | |
| CN115983582A (zh) | 一种数据分析方法和能耗管理系统 | |
| CN110738423B (zh) | 一种卷接设备综合效能评价方法 | |
| CN112433909A (zh) | 一种基于kafka的实时监控数据的处理方法 | |
| CN114970928A (zh) | 一种电力数据能耗分析预测方法 | |
| CN110956340A (zh) | 工程试验检测数据管理预警决策方法 | |
| CN111209158A (zh) | 服务器集群的挖矿监控方法及集群监控系统 | |
| CN111178790B (zh) | 一种电力检测系统 | |
| CN116910681B (zh) | 一种基于物联网的电力数据分析方法及系统 | |
| CN116307407B (zh) | 一种基于云计算的企业数据可视化处理系统及方法 | |
| KR101511991B1 (ko) | 플랜트 필드 데이터 처리 장치 및 방법 | |
| CN116975041B (zh) | Ab实验分流及分析系统 | |
| Li et al. | Research on Data Cleaning Method of Metal Material Corrosion Fatigue Test Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |