CN116756136B - 鱼塘监测设备数据自动化处理方法、装置、设备及介质 - Google Patents
鱼塘监测设备数据自动化处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116756136B CN116756136B CN202311031249.4A CN202311031249A CN116756136B CN 116756136 B CN116756136 B CN 116756136B CN 202311031249 A CN202311031249 A CN 202311031249A CN 116756136 B CN116756136 B CN 116756136B
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- value
- dissolved oxygen
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 159
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 35
- 241000251468 Actinopterygii Species 0.000 claims abstract description 33
- 238000012217 deletion Methods 0.000 claims abstract description 23
- 230000037430 deletion Effects 0.000 claims abstract description 23
- 238000009499 grossing Methods 0.000 claims abstract description 17
- 230000002776 aggregation Effects 0.000 claims abstract description 15
- 238000004220 aggregation Methods 0.000 claims abstract description 15
- 238000007405 data analysis Methods 0.000 claims abstract description 14
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 77
- 229910052760 oxygen Inorganic materials 0.000 claims description 77
- 239000001301 oxygen Substances 0.000 claims description 77
- 230000005856 abnormality Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000013499 data model Methods 0.000 claims description 30
- 230000008439 repair process Effects 0.000 claims description 24
- 238000012806 monitoring device Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 238000013139 quantization Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims 2
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009372 pisciculture Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Abstract
本发明涉及一种鱼塘监测设备数据自动化处理方法、装置、设备及介质，采集预部署的监测设备输入的监测数据；对监测数据进行数据异常判断，以基于数据异常判断得到对应的异常数据，数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；对异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在监测数据上消除异常数据后的数据序列；通过数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报；以提高数据质量、节省时间和精力，提升生产效率，并提供数据分析和决策支持。
Description
技术领域
本发明涉及数据处理的技术领域，特别涉及一种鱼塘监测设备数据自动化处理方法、装置、设备及介质。
背景技术
鱼塘监测设备通常用于监测鱼塘环境的各项指标，例如PH值、温度和溶氧量等。这些监测设备会定期采集相关数据，以提供给养鱼人员进行鱼塘管理和调整。然而，在采集过程中可能会存在一些问题，例如传感器故障、数据传输错误或其他干扰因素，导致采集到的数据存在异常。在传统的处理方法中，异常数据通常由人工检测和修复，这需要耗费大量的时间和精力。另外，由于鱼塘监测设备数据量庞大，人工处理也容易引入新的错误。
发明内容
本发明的主要目的为提供一种鱼塘监测设备数据自动化处理方法、装置、设备及介质，以提高数据质量、节省时间和精力，提升生产效率，并提供数据分析和决策支持。
为实现上述目的，本发明提供了一种鱼塘监测设备数据自动化处理方法，包括以下步骤：
采集预部署的监测设备输入的监测数据；
对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；
对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；
通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报。
进一步地，采集预部署的监测设备输入的监测数据的步骤，包括：
在同时刻下，基于预部署的PH检测仪获取鱼塘当前时间戳的PH值；
在同时刻下，基于预部署的温度检测仪获取鱼塘当前时间戳的温度值；
在同时刻下，基于预部署的溶氧仪获取鱼塘当前时间戳的溶氧量。
进一步地，对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据的步骤，包括：
缺失率识别为：识别所采集的字段与预设评估量相比是否缺失率>5%，若是，则得到缺失率数据异常，其中，所述预设评估量为历史采集对应字段的需求量；
枚举值格式识别为：识别出所采集字段中不为数值型的字段，将所述不为数值型的字段认定为格式数据异常；
枚举取值识别为：识别所采集字段中相同的一项枚举值占比>=70%、且监测设备相邻两次采集参数波动值>=50%，认定为枚举值数据异常；
字段两两校验异常：识别所采集字段之间对应关系波动值>=40%，则认定为关系链数据异常。
进一步地，对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列的步骤，包括：
基于所采集的字段在历史所有相同条件下对应的自动平均波动值，对存在任一项的所述缺失率数据异常、格式数据异常、枚举值数据异常和关系链数据异常的字段进行插值填补校正，所述插值填补校正的填补值计算规则为：D0+[∑(S1+S2+S3...Sn)/n]×D0；
其中D0为上一次采集字段值、S1-Sn为历史相同条件下波动值、n为波动值次数，波动值Sn=（Sn-1-D0）/Sn-1*100%，针对采集到的异常数据完成自动化校正及填补，得到完整和连续的数据序列。
进一步地，通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报的步骤，包括：
基于所述数据序列和历史采集数据建立PH值、温度、溶氧量三者的监测关系表；
通过所述监测关系表绑定PH值、温度、溶氧量的中间阈值，以通过所述中间阈值作为出现数据异常后的自动修复基础；
当产生自动修复出现后的修复记录时，将所述修复记录上报至预关联的设备终端。
进一步地，对所述监测数据进行数据异常判断的步骤之前，包括：
将所述监测数据输入至预部署的IMP系统中；
通过携带于所述监测数据上的拓扑结构信息，指令所述IMP系统内形成与拓扑结构信息对应的imp网络数据模型；
生成基于所述imp网络数据模型处理监测数据的信号。
进一步地，imp网络数据模型设置于IMP系统中，通过imp网络数据模型处理监测数据的异常数据识别和自动校正处理的步骤，包括：
接收所述监测数据，将当前时间戳下的监测数据进行镜像，得到第一PH值、第一温度、第一溶氧量以及对应镜像后的第二PH值、第二温度、第二溶氧量；
生成网络信息量矩阵，并将六项数据值表定于网络信息量矩阵的六个角点上，同时，将历史采集数据对应标值在第二PH值、第二温度、第二溶氧量上；
imp网络数据模型在异常数据识别的时刻下，利用所述网络信息量矩阵的中心点与角点连接创建量化标尺，并将缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别的评估参数添加于量化标尺上，以对应调整所述量化标尺的结构长度，由所述结构长度确定监测数据中是否存在异常数据；
imp网络数据模型在自动校正处理的时刻下，通过所述网络信息量矩阵中的第二PH值、第二温度、第二溶氧量对应的角点，加载填补值计算规则对第一PH值、第一温度、第一溶氧量对应的角点进行反补；
结构图像识别反补后的第一PH值、第一温度、第一溶氧量对应的角点、与第二PH值、第二温度、第二溶氧量对应的角点，在所述网络信息量矩阵中的对称阈值，并识别所述对称阈值是否小于预设的标准阈值；
若是，则基于所述网络信息量矩阵生成执行监测数据修复记录上报的指令。
本发明还提出一种鱼塘监测设备数据自动化处理装置，包括：
采集单元，用于采集预部署的监测设备输入的监测数据；
识别单元，用于对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；
校正单元，用于对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；
监听单元，用于通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述鱼塘监测设备数据自动化处理方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的鱼塘监测设备数据自动化处理方法的步骤。
本发明提供的鱼塘监测设备数据自动化处理方法、装置、设备及介质，具有以下有益效果：
（1）提高数据质量：可以快速识别和修复异常数据，消除了传统人工处理所带来的错误风险。修复后的数据序列更完整和连续，提高了数据的准确性和可靠性。
（2）节省时间和精力：与传统的人工处理相比，自动化处理方法能够快速处理大量数据，节省了人工检测异常和手动修复的时间和精力。养鱼人员可以将更多精力放在其他重要的鱼塘管理任务上。
（3）提升生产效率：通过自动化处理异常数据，监测设备可以更准确地提供有关鱼塘环境的数据。这使得养鱼人员能够更好地了解鱼塘的健康状况，及时采取适当的措施，提高生产效率和鱼类健康水平。
（4）数据分析和决策支持：自动化处理方法可以创建监测关系表，记录修复的数据以及监测指标之间的关系。这为进一步的数据分析和决策提供了有用的信息，帮助养鱼人员更好地了解鱼塘的特性和趋势。
附图说明
图1是本发明一实施例中鱼塘监测设备数据自动化处理方法的流程示意图；
图2是本发明一实施例中鱼塘监测设备数据自动化处理方法的监测关系表示意图；
图3是本发明一实施例中鱼塘监测设备数据自动化处理方法的imp网络数据模型处理监测数据的异常数据识别和自动校正处理的步骤流程图；
图4是本发明一实施例中鱼塘监测设备数据自动化处理装置的结构框图；
图5是本发明一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1为本发明提出的一种鱼塘监测设备数据自动化处理方法的流程示意图，包括以下步骤：
S1，采集预部署的监测设备输入的监测数据；
在S1中，在同一时刻下，基于预部署的PH检测仪获取鱼塘当前时间戳的PH值、基于预部署的温度检测仪获取鱼塘当前时间戳的温度值以及基于预部署的溶氧仪获取鱼塘当前时间戳的溶氧量，该获取到的PH值、温度值以及溶氧量即为监测数据。
S2，对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；
在S2中，
缺失率识别为：识别所采集的字段（PH值、温度、溶氧量）与预设评估量相比是否缺失率>5%，若是，则得到缺失率数据异常，其中，所述预设评估量为历史采集对应字段的需求量；
枚举值格式识别为：识别出所采集字段（PH值、温度、溶氧量）中不为数值型的字段，将所述不为数值型的字段认定为格式数据异常；
枚举取值识别为：识别所采集字段（PH值、温度、溶氧量）中相同的一项枚举值占比>=70%、且监测设备相邻两次采集参数波动值>=50%，认定为枚举值数据异常；
字段两两校验异常：识别所采集字段（PH值、温度、溶氧量）之间对应关系波动值>=40%，则认定为关系链数据异常；如温度20℃时采集到PH值为7.2、溶氧量为4mg/L，但溶氧量正常值应为7.5mg/L，波动值>=40%.即溶氧量采集数据异常。
具体的，缺失率识别：对于每个采集字段（如PH值、温度、溶氧量），该步骤将比较采集到的数据与预设的需求量。如果某个字段的缺失率超过了5%，则将其识别为缺失率数据异常。预设的需求量是基于历史采集到的相应字段的需求进行预估的。枚举值格式识别：该步骤将检查所采集字段（如PH值、温度、溶氧量）中是否存在非数值型的数据。如果发现某个字段不是数值型的，那么认定该字段为格式数据异常。枚举取值识别：该步骤会识别采集到的字段（如PH值、温度、溶氧量）中是否存在大量相同的枚举值，且占比超过了70%。同时还会检查相邻两次采集参数之间的波动值是否超过了50%。如果上述条件满足，那么认定该字段为枚举值数据异常。字段两两校验异常：该步骤将检查所采集字段（如PH值、温度、溶氧量）之间的关系，涉及波动值的计算。如果某个字段与其他字段之间的对应关系波动值超过了40%，则认定该关系链为数据异常。举例来说，如果温度为20°C时，采集到的PH值为7.2，溶氧量为4mg/L，但正常情况下溶氧量应该是7.5mg/L，而波动值超过了40%，则认定溶氧量采集数据异常。
S3，对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；
在S3中，基于所采集的字段（PH值、温度、溶氧量）在历史所有相同条件下对应的自动平均波动值，对存在任一项的所述缺失率数据异常、格式数据异常、枚举值数据异常和关系链数据异常的字段进行插值填补校正，所述插值填补校正的填补值计算规则为：D0+[∑(S1+S2+S3...Sn)/n]×D0；
其中D0为上一次采集字段值、S1-Sn为历史相同条件下波动值、n为波动值次数，波动值Sn=（Sn-1-D0）/Sn-1*100%，针对采集到的异常数据完成自动化校正及填补，得到完整和连续的数据序列。
具体的，利用已有的实验数据和历史数据进行分析，以便确定对异常数据的校正方法。这些数据可以提供有关采集字段（如PH值、温度、溶氧量）在不同条件下的平均波动值。对于存在缺失率数据异常、格式数据异常、枚举值数据异常和关系链数据异常的字段，采用自动校正处理方法进行修复。这包括数据聚合（使用已有数据进行汇总统计）、插值填补（根据历史平均波动值计算填补值）、以及数据平滑（对修复后的数据进行平滑处理）。插值填补校正中的填补值计算规则为D0 + [∑(S1+S2+S3...Sn) / n] × D0。其中，D0表示上一次采集到的字段值，S1-Sn表示历史相同条件下的波动值，n表示波动值的次数。波动值Sn的计算公式为(Sn-1– D0) / Sn-1× 100%。
数据聚合：
方法1：基于聚类分析进行数据聚合。可以使用聚类算法（如k-means、DBSCAN等）将相似的数据点聚集在一起，从而得到更具代表性的聚合结果。
方法2：基于时间窗口进行数据聚合。将数据按照固定的时间窗口（如每小时、每天）进行分段，然后在每个时间窗口内对数据进行统计，可以得到更有意义的聚合结果。
插值填补：
方法1：使用回归分析进行插值填补。通过建立监测数据的回归模型，将异常数据点作为待预测的目标变量，利用其他相关变量进行预测，从而得到更准确的插值填补数值。
方法2：利用时序模型进行插值填补。可以采用ARIMA (AutoregressiveIntegrated Moving Average)、LSTM (Long Short-Term Memory)等时序模型，基于历史数据的趋势和周期性，来填补异常数据点。
数据平滑：
方法1：指数平滑法。选择适当的平滑系数，通过对历史数据进行指数加权平均，使得较近的数据对平滑结果的影响较大，从而降低噪音和波动。
方法2：移动平均法。采用滑动窗口，计算窗口内数据的平均值作为平滑后的数值。可以根据数据的周期性和趋势来选择合适的窗口大小。
S4，通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报。
在S4中，基于所述数据序列和历史采集数据建立PH值、温度、溶氧量三者的监测关系表（参考图2）；
通过所述监测关系表绑定PH值、温度、溶氧量的中间阈值，以通过所述中间阈值作为出现数据异常后的自动修复基础；
当产生自动修复出现后的修复记录时，将所述修复记录上报至预关联的设备终端。
具体的，基于数据序列创建一个监测关系表。这个关系表将包含PH值、温度和溶氧量之间的相关信息，例如它们之间的相互影响关系以及阈值范围。通过这个监测关系表，进行监测数据的自动修复。当监测数据出现异常时，将使用监测关系表中设定的中间阈值作为修复的基准。会根据这些阈值自动进行数据修复，使其恢复到正常范围内。每次进行自动修复后，会生成一条修复记录。这个记录会包含所使用的修复方法、修复的数据点以及修复后的结果等信息。这些修复记录将被上报给预先关联的设备终端，以供相关人员查看和分析。这样的上报可以帮助监测设备操作人员了解数据修复的情况，并采取进一步的行动。通过这种方式，S4可以基于监测关系表完成监测数据的自动修复，并将修复记录上报给相关设备终端，以便跟踪和了解修复情况。
在一个实施例中，对所述监测数据进行数据异常判断的步骤之前，包括：
将所述监测数据输入至预部署的IMP系统中；
通过携带于所述监测数据上的拓扑结构信息，指令所述IMP系统内形成与拓扑结构信息对应的imp网络数据模型；
生成基于所述imp网络数据模型处理监测数据的信号。
在具体实施的过程中，
将监测数据输入预先部署的IMP系统中：
将监测设备采集到的数据输入到预先部署的IMP（Intelligent Monitoring andProcessing）系统中。这些数据包括PH值、温度和溶氧量等监测参数。
形成与拓扑结构信息对应的IMP网络数据模型：
通过携带在监测数据上的拓扑结构信息，指导IMP系统内形成与该拓扑结构信息对应的imp网络数据模型。
拓扑结构信息可以包含监测设备之间的连接关系、数据传输路径等信息。IMP系统利用这些信息来构建数据模型，帮助系统理解数据之间的关联性和依赖关系。
生成处理监测数据的信号：
基于IMP网络数据模型，系统可以生成与监测数据处理相关的信号。这些信号包括异常检测、数据平滑、数据插值填补。
参考附图3，imp网络数据模型设置于IMP系统中，通过imp网络数据模型处理监测数据的异常数据识别和自动校正处理的步骤，包括：
S101，接收所述监测数据，将当前时间戳下的监测数据进行镜像，得到第一PH值、第一温度、第一溶氧量以及对应镜像后的第二PH值、第二温度、第二溶氧量；
在S101中，第一组数据包括了当前时间戳下的PH值、温度和溶氧量，称之为第一PH值、第一温度和第一溶氧量。通过镜像处理，生成第二组数据，也就是第一组数据的镜像版本。交换第一组数据中各个参数的取值，并得到了第二PH值、第二温度和第二溶氧量。
S102，生成网络信息量矩阵，并将六项数据值表定于网络信息量矩阵的六个角点上，同时，将历史采集数据对应标值在第二PH值、第二温度、第二溶氧量上；
在S102中，生成了网络信息量矩阵，并将这六个数据值分别放置在矩阵的六个角点上。同时还将历史采集数据对应的标记值填充在第二PH值、第二温度和第二溶氧量的位置上。网络信息量矩阵是一个以六个角点为基准的矩阵。其中的每一个角点都对应着一个数据值，即第一PH值、第一温度、第一溶氧量、第二PH值、第二温度和第二溶氧量。除了这六个数据值之外，将历史采集数据对应的标记值填充在第二PH值、第二温度和第二溶氧量的位置上。
S103，imp网络数据模型在异常数据识别的时刻下，利用所述网络信息量矩阵的中心点与角点连接创建量化标尺，并将缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别的评估参数添加于量化标尺上，以对应调整所述量化标尺的结构长度，由所述结构长度确定监测数据中是否存在异常数据；
在S103中，在异常数据识别的时刻，imp网络数据模型利用网络信息量矩阵的中心点与角点之间的连接，创建了一个量化标尺。这个标尺用于评估监测数据中的异常情况。为了调整量化标尺的结构长度，将缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别的评估参数添加到了量化标尺上。通过这些评估参数，根据标尺的结构长度来确定监测数据中是否存在异常数据。较大的结构长度可能意味着数据中存在更多的异常情况，而较小的结构长度则可能表示数据的正常性更高。imp网络数据模型利用这个量化标尺来判断监测数据中是否存在异常数据，并作出相应的处理。
S104，imp网络数据模型在自动校正处理的时刻下，通过所述网络信息量矩阵中的第二PH值、第二温度、第二溶氧量对应的角点，加载填补值计算规则对第一PH值、第一温度、第一溶氧量对应的角点进行反补；
在S104,中，在自动校正处理的时刻，imp网络数据模型利用网络信息量矩阵中的第二PH值、第二温度和第二溶氧量所对应的角点，根据加载的填补值计算规则，对第一PH值、第一温度和第一溶氧量所对应的角点进行反补。通过网络信息量矩阵中第二PH值、第二温度和第二溶氧量的角点与第一PH值、第一温度和第一溶氧量的角点之间的对应关系，可以对第一组数据中的缺失数据进行补充。通过加载的填补值计算规则，根据已有数据的相关性和模式，从第二组数据中推断出第一组数据中相应位置的缺失值，并进行补充。
S105，结构图像识别反补后的第一PH值、第一温度、第一溶氧量对应的角点、与第二PH值、第二温度、第二溶氧量对应的角点，在所述网络信息量矩阵中的对称阈值，并识别所述对称阈值是否小于预设的标准阈值；
在S105中，对结构图像进行识别。结构图像是指通过反补操作得到的第一PH值、第一温度和第一溶氧量对应的角点，以及第二PH值、第二温度和第二溶氧量对应的角点。在所述网络信息量矩阵中，将结构图像的对称阈值与预设的标准阈值进行比较。对称阈值是指网络信息量矩阵中相互对应的角点之间的相似性度量。检查结构图像的对称阈值是否小于预设的标准阈值，以判断是否存在异常情况。如果对称阈值小于标准阈值，说明结构图像之间的相似性较高，数据较为一致，没有异常情况。
S106，若是，则基于所述网络信息量矩阵生成执行监测数据修复记录上报的指令。
参考图4，为本发明提出的一种鱼塘监测设备数据自动化处理装置的结构框图，包括：
采集单元1，用于采集预部署的监测设备输入的监测数据；
识别单元2，用于对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；
校正单元3，用于对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；
监听单元4，用于通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报。
在本实施例中，上述装置实施例中的各个单元的具体实现，请参照上述方法实施例中所述，在此不再进行赘述。
参照图5，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、显示屏、输入装置、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储本实施例中对应的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定。
本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，采集预部署的监测设备输入的监测数据；对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报；以提高数据质量、节省时间和精力，提升生产效率，并提供数据分析和决策支持。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种鱼塘监测设备数据自动化处理方法，其特征在于，包括以下步骤：
采集预部署的监测设备输入的监测数据；
对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；
对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；
通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报；
对所述监测数据进行数据异常判断的步骤之前，包括：
将所述监测数据输入至预部署的IMP系统中；
通过携带于所述监测数据上的拓扑结构信息，指令所述IMP系统内形成与拓扑结构信息对应的imp网络数据模型；
生成基于所述imp网络数据模型处理监测数据的信号；
imp网络数据模型设置于IMP系统中，通过imp网络数据模型处理监测数据的异常数据识别和自动校正处理，包括：
接收所述监测数据，将当前时间戳下的监测数据进行镜像，得到第一PH值、第一温度、第一溶氧量以及对应镜像后的第二PH值、第二温度、第二溶氧量；
生成网络信息量矩阵，并将六项数据值标定于网络信息量矩阵的六个角点上，同时，将历史采集数据对应标值在第二PH值、第二温度、第二溶氧量上；
imp网络数据模型在异常数据识别的时刻下，利用所述网络信息量矩阵的中心点与角点连接创建量化标尺，并将缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别的评估参数添加于量化标尺上，以对应调整所述量化标尺的结构长度，由所述结构长度确定监测数据中是否存在异常数据；
imp网络数据模型在自动校正处理的时刻下，通过所述网络信息量矩阵中的第二PH值、第二温度、第二溶氧量对应的角点，加载填补值计算规则对第一PH值、第一温度、第一溶氧量对应的角点进行反补；
结构图像识别反补后的第一PH值、第一温度、第一溶氧量对应的角点、与第二PH值、第二温度、第二溶氧量对应的角点，在所述网络信息量矩阵中的对称阈值，并识别所述对称阈值是否小于预设的标准阈值；结构图像是指通过反补操作得到的第一PH值、第一温度和第一溶氧量对应的角点，以及第二PH值、第二温度和第二溶氧量对应的角点；对称阈值是指网络信息量矩阵中相互对应的角点之间的相似性度量；
若是，则基于所述网络信息量矩阵生成执行监测数据修复记录上报的指令。
2.根据权利要求1所述的鱼塘监测设备数据自动化处理方法，其特征在于，采集预部署的监测设备输入的监测数据的步骤，包括：
在同时刻下，基于预部署的PH检测仪获取鱼塘当前时间戳的PH值；
在同时刻下，基于预部署的温度检测仪获取鱼塘当前时间戳的温度值；
在同时刻下，基于预部署的溶氧仪获取鱼塘当前时间戳的溶氧量。
3.根据权利要求1所述的鱼塘监测设备数据自动化处理方法，其特征在于，对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据的步骤，包括：
缺失率识别为：识别所采集的字段与预设评估量相比是否缺失率>5%，若是，则得到缺失率数据异常，其中，所述预设评估量为历史采集对应字段的需求量；
枚举值格式识别为：识别出所采集字段中不为数值型的字段，将所述不为数值型的字段认定为格式数据异常；
枚举取值识别为：识别所采集字段中相同的一项枚举值占比>=70%、且监测设备相邻两次采集参数波动值>=50%，认定为枚举值数据异常；
字段两两校验异常：识别所采集字段之间对应关系波动值>=40%，则认定为关系链数据异常。
4.根据权利要求3所述的鱼塘监测设备数据自动化处理方法，其特征在于，对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列的步骤，包括：
基于所采集的字段在历史所有相同条件下对应的自动平均波动值，对存在任一项的所述缺失率数据异常、格式数据异常、枚举值数据异常和关系链数据异常的字段进行插值填补校正，所述插值填补校正的填补值计算规则为：D0+[∑(S1+S2+S3...Sn)/n]×D0；
其中D0为上一次采集字段值、S1-Sn为历史相同条件下波动值、n为波动值次数，波动值Sn=（Sn-1-D0）/Sn-1*100%，针对采集到的异常数据完成自动化校正及填补，得到完整和连续的数据序列。
5.根据权利要求4所述的鱼塘监测设备数据自动化处理方法，其特征在于，通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报的步骤，包括：
基于所述数据序列和历史采集数据建立PH值、温度、溶氧量三者的监测关系表；
通过所述监测关系表绑定PH值、温度、溶氧量的中间阈值，以通过所述中间阈值作为出现数据异常后的自动修复基础；
当产生自动修复出现后的修复记录时，将所述修复记录上报至预关联的设备终端。
6.一种鱼塘监测设备数据自动化处理装置，其特征在于，包括：
采集单元，用于采集预部署的监测设备输入的监测数据；
识别单元，用于对所述监测数据进行数据异常判断，以基于所述数据异常判断得到对应的异常数据，所述数据异常判断包括缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别；
校正单元，用于对所述异常数据进行自动校正处理，基于实际实验数据和历史数据分析，自动对所述异常数据进行数据聚合、插值填补和数据平滑的校正处理，进而得到在所述监测数据上消除异常数据后的数据序列；
监听单元，用于通过所述数据序列创建对应的监测关系表，基于监测关系表完成监测数据自动修复，并将监测数据修复记录进行上报；
对所述监测数据进行数据异常判断的之前，包括：
将所述监测数据输入至预部署的IMP系统中；
通过携带于所述监测数据上的拓扑结构信息，指令所述IMP系统内形成与拓扑结构信息对应的imp网络数据模型；
生成基于所述imp网络数据模型处理监测数据的信号；
imp网络数据模型设置于IMP系统中，通过imp网络数据模型处理监测数据的异常数据识别和自动校正处理，包括：
接收所述监测数据，将当前时间戳下的监测数据进行镜像，得到第一PH值、第一温度、第一溶氧量以及对应镜像后的第二PH值、第二温度、第二溶氧量；
生成网络信息量矩阵，并将六项数据值标定于网络信息量矩阵的六个角点上，同时，将历史采集数据对应标值在第二PH值、第二温度、第二溶氧量上；
imp网络数据模型在异常数据识别的时刻下，利用所述网络信息量矩阵的中心点与角点连接创建量化标尺，并将缺失率识别、枚举值格式识别、枚举取值识别和字段两两识别的评估参数添加于量化标尺上，以对应调整所述量化标尺的结构长度，由所述结构长度确定监测数据中是否存在异常数据；
imp网络数据模型在自动校正处理的时刻下，通过所述网络信息量矩阵中的第二PH值、第二温度、第二溶氧量对应的角点，加载填补值计算规则对第一PH值、第一温度、第一溶氧量对应的角点进行反补；
结构图像识别反补后的第一PH值、第一温度、第一溶氧量对应的角点、与第二PH值、第二温度、第二溶氧量对应的角点，在所述网络信息量矩阵中的对称阈值，并识别所述对称阈值是否小于预设的标准阈值；结构图像是指通过反补操作得到的第一PH值、第一温度和第一溶氧量对应的角点，以及第二PH值、第二温度和第二溶氧量对应的角点；对称阈值是指网络信息量矩阵中相互对应的角点之间的相似性度量；
若是，则基于所述网络信息量矩阵生成执行监测数据修复记录上报的指令。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述鱼塘监测设备数据自动化处理方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的鱼塘监测设备数据自动化处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311031249.4A CN116756136B (zh) | 2023-08-16 | 2023-08-16 | 鱼塘监测设备数据自动化处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311031249.4A CN116756136B (zh) | 2023-08-16 | 2023-08-16 | 鱼塘监测设备数据自动化处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116756136A CN116756136A (zh) | 2023-09-15 |
| CN116756136B true CN116756136B (zh) | 2023-10-31 |
Family
ID=87959461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311031249.4A Active CN116756136B (zh) | 2023-08-16 | 2023-08-16 | 鱼塘监测设备数据自动化处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756136B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050080194A (ko) * | 2002-11-18 | 2005-08-12 | 차희원 | 하수관거 모니터링 데이터의 보정방법 및 그 장치 {a method and an apparatus for real-time filtering of monitoring data in a sewer flow monitoring} |
| CN107423435A (zh) * | 2017-08-04 | 2017-12-01 | 电子科技大学 | 多维时空数据的多层次异常检测方法 |
| CN107688658A (zh) * | 2017-09-05 | 2018-02-13 | 北京奇艺世纪科技有限公司 | 一种异常数据的定位方法及装置 |
| CN108345574A (zh) * | 2017-01-23 | 2018-07-31 | 无锡市计量测试院 | 相关双数据流异常检测与修正的方法 |
| CN113760880A (zh) * | 2021-09-07 | 2021-12-07 | 天津大学 | 一种水质自动监测数据的预处理方法 |
| CN114118245A (zh) * | 2021-11-19 | 2022-03-01 | 国网湖北省电力有限公司经济技术研究院 | 一种电网设备资产台账异常数据自动修复系统及方法 |
| KR102555505B1 (ko) * | 2023-03-15 | 2023-07-13 | 주식회사 에이치코비 | pH 전극을 활용한 회전 전극방식의 전기화학식 잔류염소센서를 장착한 수질다항목 측정시스템 |
-
2023
- 2023-08-16 CN CN202311031249.4A patent/CN116756136B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050080194A (ko) * | 2002-11-18 | 2005-08-12 | 차희원 | 하수관거 모니터링 데이터의 보정방법 및 그 장치 {a method and an apparatus for real-time filtering of monitoring data in a sewer flow monitoring} |
| CN108345574A (zh) * | 2017-01-23 | 2018-07-31 | 无锡市计量测试院 | 相关双数据流异常检测与修正的方法 |
| CN107423435A (zh) * | 2017-08-04 | 2017-12-01 | 电子科技大学 | 多维时空数据的多层次异常检测方法 |
| CN107688658A (zh) * | 2017-09-05 | 2018-02-13 | 北京奇艺世纪科技有限公司 | 一种异常数据的定位方法及装置 |
| CN113760880A (zh) * | 2021-09-07 | 2021-12-07 | 天津大学 | 一种水质自动监测数据的预处理方法 |
| CN114118245A (zh) * | 2021-11-19 | 2022-03-01 | 国网湖北省电力有限公司经济技术研究院 | 一种电网设备资产台账异常数据自动修复系统及方法 |
| KR102555505B1 (ko) * | 2023-03-15 | 2023-07-13 | 주식회사 에이치코비 | pH 전극을 활용한 회전 전극방식의 전기화학식 잔류염소센서를 장착한 수질다항목 측정시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116756136A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086876B (zh) | 设备的运行状态检测方法、装置、计算机设备和存储介质 | |
| CN112284440B (zh) | 一种传感器数据偏差自适应修正方法 | |
| JP6540531B2 (ja) | 監視装置及び監視装置の制御方法 | |
| CN111104736B (zh) | 基于时间序列的异常数据检测方法、装置、介质和设备 | |
| KR101953558B1 (ko) | 스마트 기기 결함 관리 장치 및 방법 | |
| CN110738346A (zh) | 一种基于威布尔分布的批次电能表可靠度预测方法 | |
| CN114255784A (zh) | 一种基于声纹识别的变电站设备故障诊断方法及相关装置 | |
| CN115618273A (zh) | 一种基于并行图卷积神经网络的铁路轨道状态评估方法及系统 | |
| CN116306806A (zh) | 故障诊断模型确定方法、装置及非易失性存储介质 | |
| CN114691521A (zh) | 一种基于人工智能的软件测试平台 | |
| CN111371647A (zh) | 数据中心监控数据预处理方法及装置 | |
| CN108363024B (zh) | 一种充电桩故障点定位的方法和装置 | |
| CN116756136B (zh) | 鱼塘监测设备数据自动化处理方法、装置、设备及介质 | |
| CN115114124A (zh) | 主机风险的评估方法及评估装置 | |
| US20140301276A1 (en) | Method and system for evaluation of sensor observations | |
| CN116954624A (zh) | 基于软件开发包的编译方法、软件开发系统及服务器 | |
| CN112345972A (zh) | 基于停电事件的配电网线变关系异常诊断方法、装置及系统 | |
| CN115964361B (zh) | 一种数据增强方法、系统、设备及计算机可读存储介质 | |
| CN116907772A (zh) | 桥梁结构监测传感器的自诊断与故障源鉴别方法及系统 | |
| CN112380073A (zh) | 一种故障位置的检测方法、装置及可读存储介质 | |
| CN116611953A (zh) | 基于物联网的电能表生产制造实时数据管理方法和系统 | |
| CN115659271A (zh) | 传感器异常检测方法、模型训练方法、系统、设备及介质 | |
| CN114021744A (zh) | 设备的剩余使用寿命的确定方法、装置和电子设备 | |
| CN112152968B (zh) | 网络威胁检测方法和装置 | |
| CN113807743A (zh) | 一种电网调度自动化软件可靠性评估方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |