CN116800517A - 一种基于数据分析的数据采集智能管理系统 - Google Patents
一种基于数据分析的数据采集智能管理系统 Download PDFInfo
- Publication number
- CN116800517A CN116800517A CN202310857016.3A CN202310857016A CN116800517A CN 116800517 A CN116800517 A CN 116800517A CN 202310857016 A CN202310857016 A CN 202310857016A CN 116800517 A CN116800517 A CN 116800517A
- Authority
- CN
- China
- Prior art keywords
- value
- risk
- data
- preset
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 100
- 238000007726 management method Methods 0.000 claims abstract description 78
- 238000013523 data management Methods 0.000 claims abstract description 50
- 238000005265 energy consumption Methods 0.000 claims abstract description 39
- 238000010606 normalization Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 238000012502 risk assessment Methods 0.000 claims description 82
- 230000005540 biological transmission Effects 0.000 claims description 61
- 230000007613 environmental effect Effects 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 230000005611 electricity Effects 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 101100366710 Arabidopsis thaliana SSL12 gene Proteins 0.000 claims description 4
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 3
- 101100366707 Arabidopsis thaliana SSL11 gene Proteins 0.000 claims description 2
- 101100366562 Panax ginseng SS12 gene Proteins 0.000 claims description 2
- 101100366563 Panax ginseng SS13 gene Proteins 0.000 claims description 2
- 238000013500 data storage Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据管理技术领域,尤其涉及一种基于数据分析的数据采集智能管理系统,包括管理平台、数据采集单元、能耗分析单元、有效分析单元、存储分析单元、管理优化单元、外风险单元、内风险单元、存储管理单元以及归一化单元;本发明通过从数据采集端和数据管理端两个角度进行分析,判断数据采集端是否正常运行,以保证数据采集端数据采集的工作效率,而在数据采集端正常运行前提下,判断数据采集是否存在延误风险,同时通过信息反馈的方式,以便及时的对数据采集端做出调整,以提高数据采集的准确性和有效性,而通过采集数据管理端的存储风险数据并分析,有助于提高存储网络环境和储设备的安全性,避免出现篡改和丢失的情况。
Description
技术领域
本发明涉及数据管理技术领域,尤其涉及一种基于数据分析的数据采集智能管理系统。
背景技术
随着物联网的发展,越来越多的传感器接入网络,一方面通过这些传感器的接入为我们的生活提供了许多的便利,如智能气表、水表和电表等,另一方面在工业当中也有越来越多的传感器接入网络,通过这些传感器的数据能实时了解设备的运行状态,以便及时的进行管理;
但是,现有的数据在管理的过程中,存储数据丢失和失效的问题,即无法保证数据采集端所采集数据的有效性和准确性,且无法对异常的数据采集端进行及时的预警维护,以避免数据的失效,且对所采集的数据进行传输存储管理,但现有的存储管理过程中,无法对存储管理环境进行监管预警,进而存储数据丢失和篡改的风险,不利于数据的存储管理,进而影响数据管理的安全性;
针对上述的技术缺陷,现提出一种解决方案。
发明内容
本发明的目的在于提供一种基于数据分析的数据采集智能管理系统,去解决上述提出的技术缺陷,本发明通过从数据采集端和数据管理端两个角度进行分析,判断数据采集端是否正常运行,以保证数据采集端数据采集的工作效率,而在数据采集端正常运行前提下,判断数据采集是否存在延误风险,同时通过信息反馈的方式,以便及时的对数据采集端做出调整,以提高数据采集的准确性和有效性,而通过采集数据管理端的存储风险数据并分析,有助于提高存储网络环境的安全性,同时有助于提高存储设备的安全性,而通过平均内风险评估系数、丢失风险值以及中断风险值三个维度进行评估分析,有助于提高分析结果的准确性,以提高数据存储的安全性和管理效果,避免出现篡改和丢失的情况。
本发明的目的可以通过以下技术方案实现:一种基于数据分析的数据采集智能管理系统,包括管理平台、数据采集单元、能耗分析单元、有效分析单元、存储分析单元、管理优化单元、外风险单元、内风险单元、存储管理单元以及归一化单元;
当管理平台生成运管指令时,并将运管指令发送至数据采集单元,数据采集单元在接收到运管指令时,立即采集数据采集端的能耗数据和工作数据,能耗数据包括数据采集端的平均单位时间用电量和无功功率值,工作数据包括采集延迟值和环境干扰值,并将能耗数据和工作数据发送至能耗分析单元和有效分析单元,能耗分析单元在接收到能耗数据时,立即对能耗数据进行运行能耗评估分析,将得到的正常信号发送至有效分析单元,将得到的风险信号发送至管理优化单元;
有效分析单元在接收到正常信号和工作数据后,立即对工作数据进行影响风险评估分析,将得到的存储信号发送至存储分析单元,将得到的维护信号发送至管理优化单元;
存储分析单元在接收到存储信号后,立即采集数据管理端的存储风险数据,存储风险数据包括内风险数据和外风险数据,内风险数据包括响应时长、传输带宽值以及读写次数,外风险数据包括传输受损值和传输风险值,并将内风险数据和外风险数据分别发送至外风险单元和内风险单元,内风险单元在接收到内风险数据后,并对内风险数据进行内存储环境风险评估分析,将得到的平均内风险评估系数发送至归一化单元,将得到的优化信号发送至存储管理单元;
外风险单元在接收到外风险数据后,并对外风险数据进行外存储环境风险评估分析,将得到的丢失风险值和中断风险值发送至归一化单元,将得到的异常信号发送至存储管理单元;
归一化单元在接收到平均内风险评估系数、丢失风险值以及中断风险值后,并对平均内风险评估系数、丢失风险值以及中断风险值进行结合式评估分析,将得到的管控信号发送至存储管理单元。
优选的,所述能耗分析单元的运行能耗评估分析过程如下:
采集到数据采集端开始运行时刻到结束运行时刻之间的时长,并将其标记为时间阈值,将时间阈值划分为i个子时间段,i为大于零的自然数,获取到各个子时间段内数据采集端的平均单位时间用电量和无功功率值,以此构建平均单位时间用电量的集合A,获取到集合A的最大值和最小值,同时获取到集合A的最大值和最小值之间的差值的平均值,进而将集合A的最大值和最小值之间的差值的平均值标记为平均浮动值;
以时间为X轴,以无功功率值为Y轴建立直角坐标系,通过描点的方式绘制无功功率值曲线,从无功功率值曲线中获取到所有上升段、下降段以及水平段两个端点之间的差值,将上升段两个端点之间的差值标记为正值,将下降段两个端点之间的差值标记为负值,以此获取到所有上升段、下降段以及水平段两个端点之间的差值的和值,并将其标记为趋势变化值,同时将趋势变化值与预设趋势变化值阈值进行比对分析,若趋势变化值大于预设趋势变化值阈值,则将趋势变化值大于预设趋势变化值阈值的部分标记为趋势影响值,将平均浮动值和趋势影响值与其内部录入存储的预设平均浮动值阈值和预设趋势影响值阈值进行比对分析:
若平均浮动值小于预设平均浮动值阈值,且趋势影响值小于预设趋势影响值阈值,则生成正常信号;
若平均浮动值大于等于预设平均浮动值阈值,或趋势影响值大于等于预设趋势影响值阈值,则生成风险信号。
优选的,所述有效分析单元的影响风险评估分析过程如下:
SS1:获取到各个子时间段内数据采集端的采集延迟值,采集延迟值表示数据采集端间隔采集时长超出预设时长的部分与间隔采集时长的比值,将采集延迟值与预设采集延迟值阈值进行比对分析,若采集延迟值大于预设采集延迟值阈值,则将采集延迟值大于预设采集延迟值阈值所对应子时间段的总个数与子时间段的总个数之比标记为延迟倍率值YB;
SS12:获取到各个子时间段内数据采集端的环境干扰值,环境干扰值指的是环境高频干扰值超出预设环境高频干扰值的部分与环境温度值超出预设环境温度值的部分经数据归一化处理后得到的积值,以此获取到环境干扰值的最大值和最小值,将环境干扰值的最大值和最小值之间的差值标记为干扰跨度值GK;
SS13:根据公式得到延误风险评估系数W,并将延误风险评估系数W与其内部录入存储的预设延误风险评估系数阈值进行比对分析:
若延误风险评估系数W小于预设延误风险评估系数阈值,则生成存储信号;
若延误风险评估系数W大于等于预设延误风险评估系数阈值,则生成维护信号。
优选的,所述内风险单元的内存储环境风险评估分析过程如下:
采集到数据管理端开始存储时刻到结束时刻之间的时长,并将其标记为分析时长,将分析时长划分为k个子时间节点,k为大于零的自然数,获取到各个子时间节点内数据管理端的响应时长、传输带宽值以及读写次数,并将各个自时间节点内数据管理端的响应时长、传输带宽值以及读写次数分别标号为XCk、SCk以及DXk,其中响应时长表示处理单个读写次数所需要的时长,根据公式得到各个自时间节点内的内风险评估系数Nk,以此获取到分析时长内数据管理端的平均内风险评估系数,将平均内风险评估系数与其内部录入存储的预设平均内风险评估系数阈值进行比对分析:
若平均内风险评估系数与预设平均内风险评估系数阈值的比值小于一,则不生成任何信号;
若平均内风险评估系数与预设平均内风险评估系数阈值的比值大于等于一,则生成优化信号。
优选的,所述外风险单元的外存储环境风险评估分析过程如下:
获取到分析时长内数据管理端的传输受损值和传输风险值,将传输受损值和传输风险值分别与预设传输受损值阈值和预设传输风险值阈值进行比对分析,若传输受损值大于预设传输受损值阈值,传输风险值大于预设传输风险值阈值,则将传输受损值大于预设传输受损值阈值的部分、传输风险值大于预设传输风险值阈值的部分分别标记为丢失风险值和中断风险值,将丢失风险值和中断风险值发送至归一化单元,其中,传输受损值指的是数据采集端到数据管理端之间的数据线路的总长度与数据线路表面受损总面积经数据归一化处理后得到的积值,传输风险值指的是数据管理端内部电气元件过压运行的数量超出预设数量的部分与数据管理端平均运动电压经数据归一化处理后得到的积值;
将丢失风险值和中断风险值与其内部录入存储的预设丢失风险值阈值和预设中断风险值阈值进行比对分析:
若丢失风险值小于预设丢失风险值阈值,且中断风险值小于预设中断风险值阈值,则不生成任何信号;
若丢失风险值大于等于预设丢失风险值阈值,或中断风险值大于等于预设中断风险值阈值,则生成异常信号。
优选的,所述归一化单元的结合式评估分析过程如下:
第一步:获取到分析时长内数据管理端的平均内风险评估系数、丢失风险值以及中断风险值,将平均内风险评估系数、丢失风险值以及中断风险值分别标号为PN、DS和ZD;
第二步:根据公式得到环境评估风险系数,其中,α、β以及ε的平均内风险评估系数、丢失风险值以及中断风险值的预设比例系数,α、β以及ε均为大于零的正数,G为环境评估风险系数,将环境评估风险系数G与其内部录入存储的预设环境评估风险系数阈值进行比对分析:
若环境评估风险系数小于预设环境评估风险系数阈值,则不生成任何信号;
若环境评估风险系数大于等于预设环境评估风险系数阈值,则生成管控信号。
本发明的有益效果如下:
(1)本发明通过从数据采集端和数据管理端两个角度进行分析,即采集数据采集端的能耗数据并进行运行能耗评估分析,判断数据采集端是否正常运行,以保证数据采集端数据采集的工作效率,而在数据采集端正常运行前提下,采集数据采集端的工作数据并进行影响风险评估分析,判断数据采集是否存在延误风险,同时通过信息反馈的方式,以便及时的对数据采集端做出调整,以提高数据采集的准确性和有效性;
(2)本发明通过采集数据管理端的存储风险数据并分析,即对内风险数据进行内存储环境风险评估分析,以判断数据管理端的网络存储环境是否合格,以便及时的进行优化存储,有助于提高存储网络环境的安全性,而对外风险数据进行外存储环境风险评估分析,以判断数据管理端的外存储环境是否合格,以便对数据存储设备进行安全管理,有助于提高存储设备的安全性,而通过平均内风险评估系数、丢失风险值以及中断风险值三个维度进行评估分析,有助于提高分析结果的准确性,以提高数据存储的安全性和管理效果,避免出现篡改和丢失的情况。
附图说明
下面结合附图对本发明作进一步的说明;
图1是本发明系统流程框图;
图2是本发明实施例2中局部参考图;
图3是本发明局部分析参考图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
请参阅图1至图3所示,本发明为一种基于数据分析的数据采集智能管理系统,包括管理平台、数据采集单元、能耗分析单元、有效分析单元、存储分析单元、管理优化单元、外风险单元、内风险单元、存储管理单元以及归一化单元,管理平台与数据采集单元呈单向通讯连接,数据采集单元与能耗分析单元和有效分析单元均呈单向通讯连接,能耗分析单元与管理优化单元和有效分析单元均呈单向通讯连接,有效分析单元与管理优化单元和存储分析单元均呈单向通讯连接,存储分析单元与外风险单元和内风险单元均呈单向通讯连接,外风险单元和内风险单元均与归一化单元和存储管理单元均呈单向通讯连接,归一化单元与存储管理单元呈单向通讯连接;
当管理平台生成运管指令时,并将运管指令发送至数据采集单元,数据采集单元在接收到运管指令时,立即采集数据采集端的能耗数据和工作数据,能耗数据包括数据采集端的平均单位时间用电量和无功功率值,工作数据包括采集延迟值和环境干扰值,并将能耗数据和工作数据发送至能耗分析单元和有效分析单元,能耗分析单元在接收到能耗数据时,立即对能耗数据进行运行能耗评估分析,判断数据采集端是否正常运行,以保证数据采集端数据的工作效率,具体的运行能耗评估分析过程如下:
采集到数据采集端开始运行时刻到结束运行时刻之间的时长,并将其标记为时间阈值,将时间阈值划分为i个子时间段,i为大于零的自然数,获取到各个子时间段内数据采集端的平均单位时间用电量和无功功率值,以此构建平均单位时间用电量的集合A,获取到集合A的最大值和最小值,同时获取到集合A的最大值和最小值之间的差值的平均值,进而将集合A的最大值和最小值之间的差值的平均值标记为平均浮动值,需要说明的是,平均浮动值是一个反映数据采集端运行状态的影响参数;
以时间为X轴,以无功功率值为Y轴建立直角坐标系,通过描点的方式绘制无功功率值曲线,从无功功率值曲线中获取到所有上升段、下降段以及水平段两个端点之间的差值,将上升段两个端点之间的差值标记为正值,将下降段两个端点之间的差值标记为负值,以此获取到所有上升段、下降段以及水平段两个端点之间的差值的和值,并将其标记为趋势变化值,同时将趋势变化值与预设趋势变化值阈值进行比对分析,若趋势变化值大于预设趋势变化值阈值,则将趋势变化值大于预设趋势变化值阈值的部分标记为趋势影响值,需要说明的是,趋势影响值的数值越大,则数据采集端的异常风险越大;
将平均浮动值和趋势影响值与其内部录入存储的预设平均浮动值阈值和预设趋势影响值阈值进行比对分析:
若平均浮动值小于预设平均浮动值阈值,且趋势影响值小于预设趋势影响值阈值,则生成正常信号,并将正常信号发送至有效分析单元;
若平均浮动值大于等于预设平均浮动值阈值,或趋势影响值大于等于预设趋势影响值阈值,则生成风险信号,并将风险信号发送至管理优化单元,管理优化单元在接收到的风险信号后,立即显示风险信号所对应的预警文字,以便提高数据采集端的监管预警效果;
有效分析单元在接收到正常信号和工作数据后,立即对工作数据进行影响风险评估分析,判断数据采集是否存在延误风险,以便及时的对数据采集端做出调整,以提高数据采集的准确性和有效性,具体的影响风险评估分析过程如下:
获取到各个子时间段内数据采集端的采集延迟值,采集延迟值表示数据采集端间隔采集时长超出预设时长的部分与间隔采集时长的比值,将采集延迟值与预设采集延迟值阈值进行比对分析,若采集延迟值大于预设采集延迟值阈值,则将采集延迟值大于预设采集延迟值阈值所对应子时间段的总个数与子时间段的总个数之比标记为延迟倍率值YB,需要说明的是,延迟倍率值YB是一个反映数据采集延误的影响参数;
获取到各个子时间段内数据采集端的环境干扰值,环境干扰值指的是环境高频干扰值超出预设环境高频干扰值的部分与环境温度值超出预设环境温度值的部分经数据归一化处理后得到的积值,以此获取到环境干扰值的最大值和最小值,将环境干扰值的最大值和最小值之间的差值标记为干扰跨度值GK,需要说明的是,干扰跨度值GK的数值越大,则数据采集端的数据延误风险越大;
根据公式得到延误风险评估系数,其中,a1和a2分别延迟倍率值和干扰跨度值的预设比例因子系数,比例因子系数用于修正各项参数在公式计算过程中出现的偏差,从而使得计算结果更加准确,a1和a2均为大于零的正数,a3为预设补偿因子系数,a3取值为1.442,W为延误风险评估系数,并将延误风险评估系数W与其内部录入存储的预设延误风险评估系数阈值进行比对分析:
若延误风险评估系数W小于预设延误风险评估系数阈值,则生成存储信号,并将存储信号发送至存储分析单元;
若延误风险评估系数W大于等于预设延误风险评估系数阈值,则生成维护信号,并将维护信号发送至管理优化单元,管理优化单元在接收到维护信号后,立即显示维护信号所对应的预警文字,进而提醒运管人员及时的对数据采集端进行维护管理,以保证数据采集端的有效性和准确性。
实施例2:
存储分析单元在接收到存储信号后,立即采集数据管理端的存储风险数据,存储风险数据包括内风险数据和外风险数据,内风险数据包括响应时长、传输带宽值以及读写次数,外风险数据包括传输受损值和传输风险值,并将内风险数据和外风险数据分别发送至外风险单元和内风险单元,内风险单元在接收到内风险数据后,并对内风险数据进行内存储环境风险评估分析,以判断数据管理端的网络存储环境是否合格,以便及时的进行优化存储,有助于提高存储环境的安全性,具体的内存储环境风险评估分析过程如下:
采集到数据管理端开始存储时刻到结束时刻之间的时长,并将其标记为分析时长,将分析时长划分为k个子时间节点,k为大于零的自然数,获取到各个子时间节点内数据管理端的响应时长、传输带宽值以及读写次数,并将各个自时间节点内数据管理端的响应时长、传输带宽值以及读写次数分别标号为XCk、SCk以及DXk,其中响应时长表示处理单个读写次数所需要的时长,响应时长的数值越大,则数据管理端的内存储环境异常的风险越大,数据安全性风险越大;
根据公式得到各个自时间节点内的内风险评估系数,其中,f1、f2以及f3分别响应时长、传输带宽值以及读写次数的预设权重因子系数,f4为预设容错因子系数,f1、f2、f3以及f4均为大于零的正数,Nk为各个自时间节点内的内风险评估系数,以此获取到分析时长内数据管理端的平均内风险评估系数,将平均内风险评估系数发送至归一化单元,同时将平均内风险评估系数与其内部录入存储的预设平均内风险评估系数阈值进行比对分析:
若平均内风险评估系数与预设平均内风险评估系数阈值的比值小于一,则不生成任何信号;
若平均内风险评估系数与预设平均内风险评估系数阈值的比值大于等于一,则生成优化信号,将优化信号发送至存储管理单元,存储管理单元在接收到优化信号后,立即控制数据管理端上的预警灯为黄灯,以提醒运管人员及时的对存储环境进行优化处理,以提高数据存储的安全性,避免出现篡改和丢失的情况;
外风险单元在接收到外风险数据后,并对外风险数据进行外存储环境风险评估分析,以判断数据管理端的外存储环境是否合格,以便对数据存储设备进行安全管理,有助于提高存储设备的安全性,具体的外存储环境风险评估分析过程如下:
获取到分析时长内数据管理端的传输受损值和传输风险值,将传输受损值和传输风险值分别与预设传输受损值阈值和预设传输风险值阈值进行比对分析,若传输受损值大于预设传输受损值阈值,传输风险值大于预设传输风险值阈值,则将传输受损值大于预设传输受损值阈值的部分、传输风险值大于预设传输风险值阈值的部分分别标记为丢失风险值和中断风险值,将丢失风险值和中断风险值发送至归一化单元,其中,传输受损值指的是数据采集端到数据管理端之间的数据线路的总长度与数据线路表面受损总面积经数据归一化处理后得到的积值,传输风险值指的是数据管理端内部电气元件过压运行的数量超出预设数量的部分与数据管理端平均运动电压经数据归一化处理后得到的积值,丢失风险值和中断风险值的数值越大,则数据传输存储过程受到的外环境影响风险越大;
将丢失风险值和中断风险值与其内部录入存储的预设丢失风险值阈值和预设中断风险值阈值进行比对分析:
若丢失风险值小于预设丢失风险值阈值,且中断风险值小于预设中断风险值阈值,则不生成任何信号;
若丢失风险值大于等于预设丢失风险值阈值,或中断风险值大于等于预设中断风险值阈值,则生成异常信号,将异常信号发送至存储管理单元,存储管理单元在接收到异常信号后,立即显示异常信号所对应预警文字,以便提高数据管理端的传输存储安全性;
归一化单元在接收到平均内风险评估系数、丢失风险值以及中断风险值后,并对平均内风险评估系数、丢失风险值以及中断风险值进行结合式评估分析,判断数据传输是否受到影响,以便及时的进行优化管理,以提高数据存储管理的安全性,具体的结合式评估分析过程如下:
获取到分析时长内数据管理端的平均内风险评估系数、丢失风险值以及中断风险值,将平均内风险评估系数、丢失风险值以及中断风险值分别标号为PN、DS和ZD;
根据公式得到环境评估风险系数,其中,α、β以及ε的平均内风险评估系数、丢失风险值以及中断风险值的预设比例系数,α、β以及ε均为大于零的正数,G为环境评估风险系数,将环境评估风险系数G与其内部录入存储的预设环境评估风险系数阈值进行比对分析:
若环境评估风险系数小于预设环境评估风险系数阈值,则不生成任何信号;
若环境评估风险系数大于等于预设环境评估风险系数阈值,则生成管控信号,将管控信号发送至存储管理单元,存储管理单元在接收到管控信号后,立即控制数据管理端上的预警灯为红灯,以提醒运管人员及时的对存储环境进行维护管理,以提高数据存储的安全性和管理效果;
综上所述,本发明通过从数据采集端和数据管理端两个角度进行分析,即采集数据采集端的能耗数据并进行运行能耗评估分析,判断数据采集端是否正常运行,以保证数据采集端数据采集的工作效率,而在数据采集端正常运行前提下,采集数据采集端的工作数据并进行影响风险评估分析,判断数据采集是否存在延误风险,同时通过信息反馈的方式,以便及时的对数据采集端做出调整,以提高数据采集的准确性和有效性,而通过采集数据管理端的存储风险数据并分析,即对内风险数据进行内存储环境风险评估分析,以判断数据管理端的网络存储环境是否合格,以便及时的进行优化存储,有助于提高存储网络环境的安全性,而对外风险数据进行外存储环境风险评估分析,以判断数据管理端的外存储环境是否合格,以便对数据存储设备进行安全管理,有助于提高存储设备的安全性,而通过平均内风险评估系数、丢失风险值以及中断风险值三个维度进行评估分析,有助于提高分析结果的准确性,以提高数据存储的安全性和管理效果,避免出现篡改和丢失的情况。
阈值的大小的设定是为了便于比较,关于阈值的大小,取决于样本数据的多少及本领域技术人员对每一组样本数据设定基数数量;只要不影响参数与量化后数值的比例关系即可。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式,公式中的系数是由本领域技术人员根据实际情况进行设置,以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于数据分析的数据采集智能管理系统,其特征在于,包括管理平台、数据采集单元、能耗分析单元、有效分析单元、存储分析单元、管理优化单元、外风险单元、内风险单元、存储管理单元以及归一化单元;
当管理平台生成运管指令时,并将运管指令发送至数据采集单元,数据采集单元在接收到运管指令时,立即采集数据采集端的能耗数据和工作数据,能耗数据包括数据采集端的平均单位时间用电量和无功功率值,工作数据包括采集延迟值和环境干扰值,并将能耗数据和工作数据发送至能耗分析单元和有效分析单元,能耗分析单元在接收到能耗数据时,立即对能耗数据进行运行能耗评估分析,将得到的正常信号发送至有效分析单元,将得到的风险信号发送至管理优化单元;
有效分析单元在接收到正常信号和工作数据后,立即对工作数据进行影响风险评估分析,将得到的存储信号发送至存储分析单元,将得到的维护信号发送至管理优化单元;
存储分析单元在接收到存储信号后,立即采集数据管理端的存储风险数据,存储风险数据包括内风险数据和外风险数据,内风险数据包括响应时长、传输带宽值以及读写次数,外风险数据包括传输受损值和传输风险值,并将内风险数据和外风险数据分别发送至外风险单元和内风险单元,内风险单元在接收到内风险数据后,并对内风险数据进行内存储环境风险评估分析,将得到的平均内风险评估系数发送至归一化单元,将得到的优化信号发送至存储管理单元;
外风险单元在接收到外风险数据后,并对外风险数据进行外存储环境风险评估分析,将得到的丢失风险值和中断风险值发送至归一化单元,将得到的异常信号发送至存储管理单元;
归一化单元在接收到平均内风险评估系数、丢失风险值以及中断风险值后,并对平均内风险评估系数、丢失风险值以及中断风险值进行结合式评估分析,将得到的管控信号发送至存储管理单元。
2.根据权利要求1所述的一种基于数据分析的数据采集智能管理系统,其特征在于,所述能耗分析单元的运行能耗评估分析过程如下:
采集到数据采集端开始运行时刻到结束运行时刻之间的时长,并将其标记为时间阈值,将时间阈值划分为i个子时间段,i为大于零的自然数,获取到各个子时间段内数据采集端的平均单位时间用电量和无功功率值,以此构建平均单位时间用电量的集合A,获取到集合A的最大值和最小值,同时获取到集合A的最大值和最小值之间的差值的平均值,进而将集合A的最大值和最小值之间的差值的平均值标记为平均浮动值;
以时间为X轴,以无功功率值为Y轴建立直角坐标系,通过描点的方式绘制无功功率值曲线,从无功功率值曲线中获取到所有上升段、下降段以及水平段两个端点之间的差值,将上升段两个端点之间的差值标记为正值,将下降段两个端点之间的差值标记为负值,以此获取到所有上升段、下降段以及水平段两个端点之间的差值的和值,并将其标记为趋势变化值,同时将趋势变化值与预设趋势变化值阈值进行比对分析,若趋势变化值大于预设趋势变化值阈值,则将趋势变化值大于预设趋势变化值阈值的部分标记为趋势影响值,将平均浮动值和趋势影响值与其内部录入存储的预设平均浮动值阈值和预设趋势影响值阈值进行比对分析:
若平均浮动值小于预设平均浮动值阈值,且趋势影响值小于预设趋势影响值阈值,则生成正常信号;
若平均浮动值大于等于预设平均浮动值阈值,或趋势影响值大于等于预设趋势影响值阈值,则生成风险信号。
3.根据权利要求1所述的一种基于数据分析的数据采集智能管理系统,其特征在于,所述有效分析单元的影响风险评估分析过程如下:
SS1:获取到各个子时间段内数据采集端的采集延迟值,采集延迟值表示数据采集端间隔采集时长超出预设时长的部分与间隔采集时长的比值,将采集延迟值与预设采集延迟值阈值进行比对分析,若采集延迟值大于预设采集延迟值阈值,则将采集延迟值大于预设采集延迟值阈值所对应子时间段的总个数与子时间段的总个数之比标记为延迟倍率值YB;
SS12:获取到各个子时间段内数据采集端的环境干扰值,环境干扰值指的是环境高频干扰值超出预设环境高频干扰值的部分与环境温度值超出预设环境温度值的部分经数据归一化处理后得到的积值,以此获取到环境干扰值的最大值和最小值,将环境干扰值的最大值和最小值之间的差值标记为干扰跨度值GK;
SS13:根据公式得到延误风险评估系数W,并将延误风险评估系数W与其内部录入存储的预设延误风险评估系数阈值进行比对分析:
若延误风险评估系数W小于预设延误风险评估系数阈值,则生成存储信号;
若延误风险评估系数W大于等于预设延误风险评估系数阈值,则生成维护信号。
4.根据权利要求1所述的一种基于数据分析的数据采集智能管理系统,其特征在于,所述内风险单元的内存储环境风险评估分析过程如下:
采集到数据管理端开始存储时刻到结束时刻之间的时长,并将其标记为分析时长,将分析时长划分为k个子时间节点,k为大于零的自然数,获取到各个子时间节点内数据管理端的响应时长、传输带宽值以及读写次数,并将各个自时间节点内数据管理端的响应时长、传输带宽值以及读写次数分别标号为XCk、SCk以及DXk,其中响应时长表示处理单个读写次数所需要的时长,根据公式得到各个自时间节点内的内风险评估系数Nk,以此获取到分析时长内数据管理端的平均内风险评估系数,将平均内风险评估系数与其内部录入存储的预设平均内风险评估系数阈值进行比对分析:
若平均内风险评估系数与预设平均内风险评估系数阈值的比值小于一,则不生成任何信号;
若平均内风险评估系数与预设平均内风险评估系数阈值的比值大于等于一,则生成优化信号。
5.根据权利要求1所述的一种基于数据分析的数据采集智能管理系统,其特征在于,所述外风险单元的外存储环境风险评估分析过程如下:
获取到分析时长内数据管理端的传输受损值和传输风险值,将传输受损值和传输风险值分别与预设传输受损值阈值和预设传输风险值阈值进行比对分析,若传输受损值大于预设传输受损值阈值,传输风险值大于预设传输风险值阈值,则将传输受损值大于预设传输受损值阈值的部分、传输风险值大于预设传输风险值阈值的部分分别标记为丢失风险值和中断风险值,将丢失风险值和中断风险值发送至归一化单元,其中,传输受损值指的是数据采集端到数据管理端之间的数据线路的总长度与数据线路表面受损总面积经数据归一化处理后得到的积值,传输风险值指的是数据管理端内部电气元件过压运行的数量超出预设数量的部分与数据管理端平均运动电压经数据归一化处理后得到的积值;
将丢失风险值和中断风险值与其内部录入存储的预设丢失风险值阈值和预设中断风险值阈值进行比对分析:
若丢失风险值小于预设丢失风险值阈值,且中断风险值小于预设中断风险值阈值,则不生成任何信号;
若丢失风险值大于等于预设丢失风险值阈值,或中断风险值大于等于预设中断风险值阈值,则生成异常信号。
6.根据权利要求1所述的一种基于数据分析的数据采集智能管理系统,其特征在于,所述归一化单元的结合式评估分析过程如下:
第一步:获取到分析时长内数据管理端的平均内风险评估系数、丢失风险值以及中断风险值,将平均内风险评估系数、丢失风险值以及中断风险值分别标号为PN、DS和ZD;
第二步:根据公式得到环境评估风险系数,其中,α、β以及ε的平均内风险评估系数、丢失风险值以及中断风险值的预设比例系数,α、β以及ε均为大于零的正数,G为环境评估风险系数,将环境评估风险系数G与其内部录入存储的预设环境评估风险系数阈值进行比对分析:
若环境评估风险系数小于预设环境评估风险系数阈值,则不生成任何信号;
若环境评估风险系数大于等于预设环境评估风险系数阈值,则生成管控信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310857016.3A CN116800517A (zh) | 2023-07-13 | 2023-07-13 | 一种基于数据分析的数据采集智能管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310857016.3A CN116800517A (zh) | 2023-07-13 | 2023-07-13 | 一种基于数据分析的数据采集智能管理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116800517A true CN116800517A (zh) | 2023-09-22 |
Family
ID=88043696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310857016.3A Pending CN116800517A (zh) | 2023-07-13 | 2023-07-13 | 一种基于数据分析的数据采集智能管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116800517A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117057720A (zh) * | 2023-10-12 | 2023-11-14 | 米烁网络科技(广州)有限公司 | 一种基于互联网的商品存储管理系统 |
CN117105098A (zh) * | 2023-10-24 | 2023-11-24 | 山东朝辉自动化科技有限责任公司 | 基于多传感器融合的门机抓斗控制系统和方法 |
CN117291316A (zh) * | 2023-11-24 | 2023-12-26 | 山东朝辉自动化科技有限责任公司 | 基于激光扫描仪的卸船机用船舱定位系统 |
CN117353436A (zh) * | 2023-10-07 | 2024-01-05 | 山东探越物联网技术有限公司 | 一种基于物联网监控的太阳能供电系统 |
CN117408641A (zh) * | 2023-12-11 | 2024-01-16 | 无锡芯感智半导体有限公司 | 基于数据分析的压力传感器产线加工运行监管系统 |
CN117473533A (zh) * | 2023-11-10 | 2024-01-30 | 上海创芯致锐互联网络有限公司 | 一种磁控溅射冷却腔内反应数据传输管理系统 |
CN118233945A (zh) * | 2024-05-27 | 2024-06-21 | 南京傲屹电子有限公司 | 数据智能无线采集系统 |
CN118274554A (zh) * | 2024-05-31 | 2024-07-02 | 南通市埃姆福制冷科技有限公司 | 一种螺旋冷冻机的智能控制方法及系统 |
CN118312111A (zh) * | 2024-06-11 | 2024-07-09 | 深圳市领德创科技有限公司 | 一种固态硬盘数据存储管理系统 |
CN118394721A (zh) * | 2024-06-21 | 2024-07-26 | 威海海洋职业学院 | 一种基于计算机系统资源使用数据的分析管理系统 |
CN118520472A (zh) * | 2024-07-24 | 2024-08-20 | 福建中信网安信息科技有限公司 | 一种基于大数据技术的计算机数据安全监测方法及系统 |
-
2023
- 2023-07-13 CN CN202310857016.3A patent/CN116800517A/zh active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117353436B (zh) * | 2023-10-07 | 2024-04-30 | 山东探越物联网技术有限公司 | 一种基于物联网监控的太阳能供电系统 |
CN117353436A (zh) * | 2023-10-07 | 2024-01-05 | 山东探越物联网技术有限公司 | 一种基于物联网监控的太阳能供电系统 |
CN117057720A (zh) * | 2023-10-12 | 2023-11-14 | 米烁网络科技(广州)有限公司 | 一种基于互联网的商品存储管理系统 |
CN117057720B (zh) * | 2023-10-12 | 2024-02-02 | 米烁网络科技(广州)有限公司 | 一种基于互联网的商品存储管理系统 |
CN117105098A (zh) * | 2023-10-24 | 2023-11-24 | 山东朝辉自动化科技有限责任公司 | 基于多传感器融合的门机抓斗控制系统和方法 |
CN117105098B (zh) * | 2023-10-24 | 2024-02-09 | 山东朝辉自动化科技有限责任公司 | 基于多传感器融合的门机抓斗控制系统和方法 |
CN117473533A (zh) * | 2023-11-10 | 2024-01-30 | 上海创芯致锐互联网络有限公司 | 一种磁控溅射冷却腔内反应数据传输管理系统 |
CN117473533B (zh) * | 2023-11-10 | 2024-05-28 | 上海创芯致锐互联网络有限公司 | 一种磁控溅射冷却腔内反应数据传输管理系统 |
CN117291316A (zh) * | 2023-11-24 | 2023-12-26 | 山东朝辉自动化科技有限责任公司 | 基于激光扫描仪的卸船机用船舱定位系统 |
CN117291316B (zh) * | 2023-11-24 | 2024-02-02 | 山东朝辉自动化科技有限责任公司 | 基于激光扫描仪的卸船机用船舱定位系统 |
CN117408641A (zh) * | 2023-12-11 | 2024-01-16 | 无锡芯感智半导体有限公司 | 基于数据分析的压力传感器产线加工运行监管系统 |
CN117408641B (zh) * | 2023-12-11 | 2024-02-20 | 无锡芯感智半导体有限公司 | 基于数据分析的压力传感器产线加工运行监管系统 |
CN118233945A (zh) * | 2024-05-27 | 2024-06-21 | 南京傲屹电子有限公司 | 数据智能无线采集系统 |
CN118274554A (zh) * | 2024-05-31 | 2024-07-02 | 南通市埃姆福制冷科技有限公司 | 一种螺旋冷冻机的智能控制方法及系统 |
CN118312111A (zh) * | 2024-06-11 | 2024-07-09 | 深圳市领德创科技有限公司 | 一种固态硬盘数据存储管理系统 |
CN118312111B (zh) * | 2024-06-11 | 2024-08-30 | 深圳市领德创科技有限公司 | 一种固态硬盘数据存储管理系统 |
CN118394721A (zh) * | 2024-06-21 | 2024-07-26 | 威海海洋职业学院 | 一种基于计算机系统资源使用数据的分析管理系统 |
CN118520472A (zh) * | 2024-07-24 | 2024-08-20 | 福建中信网安信息科技有限公司 | 一种基于大数据技术的计算机数据安全监测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116800517A (zh) | 一种基于数据分析的数据采集智能管理系统 | |
CN117060594B (zh) | 一种基于物联网的配电运行监测系统 | |
CN117092578B (zh) | 一种基于数据采集处理的线束导通智能检测系统 | |
CN116934303B (zh) | 新能源汽车电池封装用耐温湿聚氨酯粘合剂性能检测系统 | |
CN117474318B (zh) | 一种基于移动式红外测温技术的换流站阀厅运行监管系统 | |
CN117454114B (zh) | 基于多点位分布的地铁隧道掘进爆破振动安全监测装置 | |
CN115102290A (zh) | 一种智能电网实时安全预警系统 | |
CN117706413B (zh) | 一种基于数据分析的标准电源模块运行自检系统 | |
CN116614525A (zh) | 一种基于大数据分析的地块土壤环境快速监测系统 | |
CN117279017B (zh) | 一种基于5g网络的无线通讯智能监测预警系统 | |
CN111669123A (zh) | 用于对光伏组串进行故障诊断的方法和装置 | |
CN115528810A (zh) | 一种基于电力设备的测温数据运检分析管理系统 | |
CN117268455B (zh) | 一种工程建筑施工质量检测设备的监测系统 | |
CN116522096B (zh) | 基于动作捕捉的三维数字孪生内容智能制作方法 | |
CN115473331B (zh) | 一种基于动态建模的数字孪生电网用电量监管系统 | |
CN109149776A (zh) | 应用于智能电网的输电线路可靠监测系统 | |
CN117034194A (zh) | 基于人工智能的核电仪表设备运维管理系统、方法及设备 | |
CN116993329A (zh) | 一种基于数据分析的通讯设备运行维修决策管理系统 | |
CN117031381B (zh) | 一种电源检测设备的故障检测系统和方法 | |
CN117113157B (zh) | 一种基于人工智能的台区用电故障检测系统 | |
CN116582775A (zh) | 一种基于智能楼宇的电气集成控制系统 | |
CN114814578A (zh) | 超大型灯泡贯流式水轮机发电机组运行监测系统 | |
CN113705992A (zh) | 一种基于5g+人工神经网络的边缘控制算法及系统 | |
CN112684403A (zh) | 一种基于数据检测的智能电表的故障检测方法 | |
CN118144614B (zh) | 一种基于数据分析的停车场充电桩供电管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |