CN117851953A - 用水异常检测方法、装置、电子设备及存储介质 - Google Patents
用水异常检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117851953A CN117851953A CN202410196921.3A CN202410196921A CN117851953A CN 117851953 A CN117851953 A CN 117851953A CN 202410196921 A CN202410196921 A CN 202410196921A CN 117851953 A CN117851953 A CN 117851953A
- Authority
- CN
- China
- Prior art keywords
- abnormality detection
- water use
- data
- detection model
- water
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 288
- 238000001514 detection method Methods 0.000 title claims abstract description 228
- 230000005856 abnormality Effects 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 230000007787 long-term memory Effects 0.000 claims abstract description 18
- 230000006403 short-term memory Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 66
- 230000006870 function Effects 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 25
- 230000007774 longterm Effects 0.000 abstract description 9
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 210000004027 cell Anatomy 0.000 description 11
- 230000004913 activation Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请适用于水表监测技术领域，提供了用水异常检测方法、装置、电子设备及存储介质，包括：获取水表设备上报的当前用水数据；通过用水异常检测模型处理所述当前用水数据，获得异常检测结果；其中，所述用水异常检测模型包括自动编码器，所述自动编码器包括长短期记忆神经网络层；本申请可以实现在处理大规模时间序列数据时，能够在编解码阶段更好地识别和提取数据的时序特征，有效处理长期时序数据的依赖关系，对异常的用水情况进行识别，提高了用水异常检测的准确性和效率。
Description
技术领域
本申请属于水表监测技术领域，尤其涉及用水异常检测方法、装置、电子设备及存储介质。
背景技术
随着物联网和智能设备的发展，智能水表已广泛应用于现代城市基础设施中。它们能自动记录水的使用量，生成详细的时间序列数据。这些数据不仅用于计量和计费，还为水资源管理提供了丰富的信息。通过分析这些数据，可以实现更高效的水资源管理、检测漏水、识别异常用水模式等。
早期的水表数据异常检测方法主要依赖简单的阈值判断或人工经验监测。但这些方法存在多项局限性。首先依靠定期人工抄表和定期检查，这不仅耗时而且无法实时监控，导致异常情况难以及时发现和处理。其次，这些传统方法在准确性方面存在不足，简单的阈值判断很难准确反映所有异常情况，尤其是对微小变化或逐渐发展的问题。
目前一些在水表监测系统中引入的基于机器学习技术的检测方法，比如利用决策树、支持向量机等算法来分析数据的方法，在处理大规模时间序列数据时无法有效提取时序特征，导致其模型对用水异常检测的准确性和效率偏低。
发明内容
本申请实施例提供了用水异常检测方法、装置、电子设备及存储介质，可以实现在处理大规模时间序列数据时，能够在编解码阶段更好地识别和提取数据的时序特征，提高了用水异常检测的准确性和效率。
第一方面，本申请实施例提供了一种用水异常检测方法，包括：
获取水表设备上报的当前用水数据；
通过用水异常检测模型处理所述当前用水数据，获得异常检测结果；其中，所述用水异常检测模型包括自动编码器，所述自动编码器包括长短期记忆神经网络层。
在第一方面的一种可能的实现方式中，所述自动编码器包括一编码器层和一解码器层；所述编码器层和所述解码器层均包括多个长短期记忆神经网络层。
在第一方面的一种可能的实现方式中，所述编码器层包括多个Dropout层，所述多个Dropout层与所述多个长短期记忆神经网络层一一对应，所述多个Dropout层中任意两个Dropout层之间连接有一个长短期记忆神经网络层，所述多个长短期记忆神经网络层中的一个与输入层连接。
在第一方面的一种可能的实现方式中，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
获取预设历史周期内的历史用水数据；
根据拉依达准则识别所述历史用水数据中的显著离群值并剔除所述显著离群值，得到第一数据集；
对所述第一数据集进行对数变换，得到第二数据集；
根据所述第二数据集中的至少部分数据，对用水异常检测模型进行训练，得到训练后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
在第一方面的一种可能的实现方式中，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
在所述用水异常检测模型完成训练后，确定训练过程中的极限损失值；
将所述极限损失值确定为异常检测阈值；
对完成训练的所述用水异常检测模型进行测试，当测试过程中对应的损失函数值小于所述异常检测阈值时，获得测试后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述测试后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
在第一方面的一种可能的实现方式中，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
对用水异常检测模型进行训练，且训练过程中采用早停止回调函数确定最大停止训练周期；
当当前训练周期达到所述最大停止训练周期，且对应的损失函数值满足预设条件，则停止训练，得到训练后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
在第一方面的一种可能的实现方式中，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
对所述用水异常检测模型进行训练，并在训练过程中采用网格搜索方式确定所述用水异常检测模型的目标模型参数组合，得到训练后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
第二方面，本申请实施例提供了一种用水异常检测装置，包括：
当前用水数据获取模块，获取水表设备上报的当前用水数据；
当前用水数据处理模块，通过用水异常检测模型处理所述当前用水数据，获得异常检测结果；其中，所述用水异常检测模型包括自动编码器，所述自动编码器包括长短期记忆神经网络层。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的用水异常检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的用水异常检测方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例基于长短期记忆神经网络层和自动编码器结合构建用水异常检测模型，将上述模型应用于用水量异常监测的场景，对水表设备上报的当前用水数据进行异常检测，该检测模型在处理大规模时间序列数据时，能够在编解码阶段更好地识别和提取数据的时序特征，有效处理长期时序数据的依赖关系，对异常的用水情况进行识别，提高了用水异常检测的准确性和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的用水异常检测方法的流程示意图；
图2是本申请另一实施例提供的用水异常检测模型的架构示意图；
图3是本申请另一实施例提供的用水异常检测方法的流程示意图；
图4是本申请另一实施例提供的用水异常检测方法的流程示意图；
图5是本申请另一实施例提供的用水异常检测模型在训练过程中的损失分布图；
图6是本申请另一实施例提供的异常检测结果图；
图7是本申请另一实施例提供的用水异常检测方法的流程示意图；
图8示出了用水异常检测模型在训练过程和测试过程中的损失函数曲线图；
图9是本申请另一实施例提供的用水异常检测方法的流程示意图；
图10是本申请实施例提供的用水异常检测装置的结构示意图；
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
如图1所示，本发明一实施例公开了一种用水异常检测方法。该检测方法包括如下步骤：
S110，获取水表设备上报的当前用水数据。
S120，通过用水异常检测模型处理当前用水数据，获得异常检测结果。其中，用水异常检测模型包括自动编码器(auto encoder,AE)，自动编码器包括长短期记忆(LongShort-Term Memory,LSTM)神经网络层。自动编码器(AE)包括一编码器层和一解码器层。上述编码器层包括多个长短期记忆神经网络层。上述解码器层包括多个长短期记忆神经网络层。
具体来说，本实施例提供的用水异常检测方法主要针对一场所内的用水量是否异常进行监测，比如监测一栋楼或者一个工厂、一个学校等。上述当前用水数据是对应当前预设周期内的用水数据，比如当前日期前30天的用水数据。
本实施例中，当将当前预设周期内的当前用水数据输入用水异常检测模型之后，用水异常检测模型可以预测得到当前预设周期中各时间段（比如每一日期）对应的预测用水量并输出，比如输出形式为根据该当前预设周期对应的预测用水量绘制的时序折线图，根据预测用水量和真实值计算损失函数值。将损失函数值和预设阈值比较，即可判断该时间段的用水量是否异常。异常检测结果即为异常或者正常。
作为示例而非限定，当损失函数值小于预设阈值，那么检测结果即为正常。如果损失函数值大于等于预设阈值，那么检测结果即为异常。当用水量异常时，原因可能为水表计量异常或者管道漏水等，这样就能及时发现问题及时预警。
可选地，在利用用水异常检测模型处理当前用水数据之前，可以对该用水异常检测模型基于历史数据集进行训练，或者对该用水异常检测模型基于历史数据集进行训练和测试，或者对该用水异常检测模型基于历史数据集进行训练、测试和验证。
本实施例中，用水异常检测模型包括一个输入层、一个输出层、一个编码器层、一个解码器层和一个重复向量层（Repeat Vector）。作为示例而非限定，编码器层包括3个LSTM层，解码器层包括3个LSTM层，编码器层中的LSTM层的神经元数量分别为16、8、4。每个神经元采用ReLU激活函数，输出整个序列的结果，ReLU激活函数如公式（1）所示：
其中，x表示输入向量。
编码器层通过上下文向量捕获输入数据的主要特征。对于每个时间步t的输入向量xt，编码器的LSTM层通过以下公式（2）至公式（7），更新其隐藏状态ht和细胞状态 Ct：
其中表示sigmoid激活函数，*表示元素乘法。/>表示遗忘门的激活值，/>表示输入门的激活值，/>表示输出门的激活值，/>表示候选细胞状态。
W和b为对应门的权重和偏置函数，也即表示遗忘门的权重，/>表示遗忘门的偏置函数。/>表示输入门的权重，/>表示输入门的偏置函数。/>表示输出门的权重，/>表示输出门的偏置函数。/>表示前一个时间步的隐藏状态。/>表示细胞内部本身的权重，/>表示细胞内部本身的偏置函数。/>表示前一个时间步的细胞状态。
重复向量层将编码器最后一个时间步的隐藏状态ht复制n次以匹配解码器期望输入的时间步，这可以表示为公式（8）：
其中，n times表示n次。
解码器的目标是从编码器提供的向量数据，重构原始输入序列。解码器通过如下公式逐步生成输出：
其中表示sigmoid激活函数，*表示元素乘法。/>表示遗忘门的激活值，/>表示输入门的激活值，/>表示输出门的激活值。/>是解码器的隐藏状态。/>是解码器的细胞状态。表示解码器的候选细胞状态。
是解码器前一个时间步的隐藏状态。/>是解码器前一个时间步长的细胞状态。/>是解码器前一个时间步长生成的输出。/>表示遗忘门的权重，/>表示遗忘门的偏置函数。/>表示输入门的权重，/>表示输入门的偏置函数。/>表示输出门的权重，/>表示输出门的偏置函数。/>表示解码器细胞内部本身的权重，/>表示解码器细胞内部本身的偏置函数。
在输出层通过一个全连接层，将解码器的最后一个隐藏状态转换成重构的输出序列/>。
本申请实施例基于长短期记忆神经网络层和自动编码器结合构建用水异常检测模型，将上述模型应用于用水量异常监测的场景，对水表设备上报的当前用水数据进行异常检测，该检测模型在处理大规模时间序列数据时，能够在编解码阶段更好地识别和提取数据的时序特征，有效处理长期时序数据的依赖关系，对异常的用水情况进行识别，提高了用水异常检测的准确性和效率。
与传统机器学习方法如决策树或支持向量机等相比，本申请采用的LSTM-AE结构在捕捉和学习数据的长期依赖关系方面表现出显著的优势。本申请通过结合长短期记忆网络(LSTM)和自编码器(AE)，能够有效地处理和分析大规模的时间序列数据，从而识别出细微的异常变化。LSTM部分负责学习和理解用水模式的长期依赖关系，而AE则用于重构输入数据即重构整个输入序列，辅助识别那些不符合学习到的正常模式的数据点，能够更精准地识别细微的异常模式。这样不仅提高了异常检测的准确性和效率，还赋予了系统更好的预测能力，能够基于历史数据预测未来的趋势和潜在问题。
本发明提供的用水异常检测模型不仅适用于异常检测，还可以用于预测最近的用水量或瞬时流量数据，并结合最近一个月的用水趋势进行用水走向分析。作为示例而非限定，瞬时流量数据比如可以为每5分钟的水流量。
本发明的模型经过一次训练后，便能够实现全自动化的异常识别和检测任务。对于检测后的正常数据，本模型还能将其重新用于训练，以提高对正常用水模式的识别能力，从而使得对异常情况的判断更加精确。对于被检测为异常的数据，则可作为验证数据，用以评估模型在加强训练后的识别精度。此外，该模型还会在积累一定量的数据后，通过再训练来强化模型的异常识别精度，从而提高整体的检测效果。
由于上述实施例中提供的用水异常检测模型采用堆叠式LSTM层，虽然可以捕捉数据中更复杂的模式和长期依赖关系，但也导致模型比较复杂，容易产生过拟合风险。
因此，在一些可选实施例中，参考图2，编码器层包括多个Dropout层，多个Dropout层与多个长短期记忆神经网络层一一对应，多个Dropout层中任意两个Dropout层之间连接有一个长短期记忆神经网络层，多个长短期记忆神经网络层中的一个与输入层连接。也即，在编码器层中的每个LSTM层后都连接了一个Dropout层，有效地降低了过拟合的风险，提高了LSTM-AE模型的稳定性和可靠性。Dropout层可以应用于隐藏状态ht，在训练期间随机将一些单元的输出置零，以防止过拟合。
作为示例而非限定，参考图2，其示出的编码器层包括3个LSTM层和3层Dropout层，本申请不以此为限。其他结构与上述实施例相同，本申请在此不再赘述。
本申请实施例提供的长短期记忆网络-自编码器（LSTM-AE）模型采用堆叠式LSTM层与Dropout层的组合，可以在有效学习用水模式中的长期序列规律的同时，有效避免因网络结构过深而导致的过拟合问题。
在一些可选实施例中，在上述图1对应实施例的基础上，在步骤S120之前，还包括步骤：
获取预设历史周期内的历史用水数据。
基于历史用水数据，对用水异常检测模型进行训练、测试和验证。
然后，在步骤S120中，利用验证后的用水异常检测模型，处理当前用水数据，获得异常检测结果。其中，上述历史用水数据全部为正常用水量数据，不存在异常数据，以保证模型训练结果的准确性。
在一种可能的实现方式中，将历史用水数据按照7:2:1的比例划分为训练集、测试集和验证集，分别用于模型的训练、测试和验证任务。本申请不以此为限。
本发明的另一实施例公开了另一种用水异常检测方法。如图3所示，该实施例在上述图1对应实施例的基础上，在步骤S120之前，还包括步骤：
S210，获取预设历史周期内的历史用水数据。
S220，根据拉依达准则识别历史用水数据中的显著离群值并剔除显著离群值，得到第一数据集。该拉依达准则即为3σ准则。
S230，对第一数据集进行对数变换，得到第二数据集。第二数据集全部是用水量正常的数据。
S240，根据第二数据集中的至少部分数据，对用水异常检测模型进行训练，得到训练后的用水异常检测模型。
并且，将上述步骤S120替换为步骤S121：通过训练后的用水异常检测模型处理当前用水数据，获得异常检测结果。
该实施例即为对数据集进行预处理，对含有空值和显著异常值（利用3σ准则检测显著离群值）的水表设备进行剔除，保证水表设备最近一个月每日都有数据。以及，对数据进行标准化处理，由于水表设备大小和安装位置的不同，每个水表记录的用水量数据或瞬时流量数据，跨度差异较大。因此，为了缩小数据范围，方便后续模型的训练，对数据进行对数变换，使数据更加集中。本实施例利于提高模型训练过程中的收敛效率和预测准确性。
在一种可能的实现方式中，对数变换可以基于如下公式实现：X=log(x+1)。其中，x为原始数据，X为对数变换后的数据。对原始数据加1再取对数，可以避免对数函数中的存在负无穷大的问题出现。
在其他实施例中，也可以继续对训练后的用水异常检测模型继续进行测试，或者依次进行测试和验证，然后利用测试后的或者依次进行测试和验证后的用水异常检测模型处理当前用水数据，获得异常检测结果。本申请对此不作限制。
需要说明的是，本实施例附图3示出的上述步骤S210至步骤S240是位于上述步骤S110和步骤S121之间，并且是在图1对应实施例基础上进行绘制。但是在其他实施例中上述步骤S210至步骤S240也可以位于步骤S110之前，并且也可以结合其他实施例基础上进行绘制，本申请对此不作限制。
本发明的另一实施例公开了另一种用水异常检测方法。如图4所示，该实施例在上述图1对应实施例的基础上，在步骤S120之前，还包括步骤：
S310，在用水异常检测模型完成训练后，确定训练过程中的极限损失值。
S320，将极限损失值确定为异常检测阈值。
S330，对完成训练的用水异常检测模型进行测试，当测试过程中对应的损失函数值小于异常检测阈值时，获得测试后的用水异常检测模型。
并且，将上述步骤S120替换为步骤S122：通过测试后的用水异常检测模型处理当前用水数据，获得异常检测结果。
具体来说，参考图5所示的用水异常检测模型在训练过程中的损失分布图，也即将所有样本或者部分样本的损失值展示在损失分布图中，然后观察所有损失值的分布情况以及分布区间，根据损失分布图可以看出误差呈现出泊松分布，其分布区间上最大的损失值也即极限损失值为2。也即，最大的误差（MSE）分布在2左右，因此本实施例利用2作为异常识别的阈值，可以对异常值进行准确的检测，以防止误检事件发生。
当测试过程中对应的损失函数值小于异常检测阈值，说明该模型测试合格，可以输出作为测试后的用水异常检测模型。否则说明该模型不合格，需要继续进行调整。
本实施例通过对基于训练集实施的训练过程损失分布的详细分析，个性化地确定异常检测阈值，从而实现对异常情况的更精确识别，并显著减少误报和漏报的发生。
需要说明的是，本实施例中损失值是以MSE(Mean Square Error,均方误差)的形式计算的。但本申请不以此为限，在其他实施例中，也可以根据需要选择其他的损失计算方式。
在其他实施例中，也可以继续对测试后的用水异常检测模型继续进行验证，然后利用验证后的用水异常检测模型处理当前用水数据，获得异常检测结果。本申请对此不作限制。
需要说明的是，本实施例附图4示出的上述步骤S310至步骤S330是位于上述步骤S110和步骤S122之间，并且是在图1对应实施例基础上进行绘制。但是在其他实施例中上述步骤S310至步骤S330也可以位于步骤S110之前，并且也可以结合其他实施例基础上进行绘制，本申请对此不作限制。
可选地，在确定异常阈值之后，本发明另一实施例在上述实施例的基础上，获取预设历史周期内的历史用水数据，将历史用水数据中的部分数据确定为验证数据集，利用训练完成的模型对验证数据集进行预测分析。本实施例计算预测值与实际值之间的均方误差，根据既定的异常阈值对数据进行异常检测。
参考图6所示的异常检测结果图中的虚线用于指示异常点。图中结果表明，该模型能有效识别出设备用水量突降至零或接近零的异常事件，这些异常情况在历史用水数据中极为罕见。值得注意的是，这类异常数据通过传统的3σ法则难以检测出来。尽管人工判断可能可行，但在设备数量众多的情况下，依靠人工检查将变得不切实际。因此，本申请提供的方法在自动化和准确性方面均具有优势。
本发明的另一实施例公开了另一种用水异常检测方法。如图7所示，该实施例在上述图1对应实施例的基础上，在步骤S120之前，还包括步骤：
S410，对用水异常检测模型进行训练，且训练过程中采用早停止回调函数确定最大停止训练周期。
S420，当当前训练周期达到所述最大停止训练周期，且对应的损失函数值满足预设条件，则停止训练，得到训练后的用水异常检测模型。
并且，将上述步骤S120替换为步骤S123：通过训练后的用水异常检测模型处理当前用水数据，获得异常检测结果。
其中，上述预设条件比如可以为：连续20个训练周期内，损失函数值均不再发生变化。也即，损失函数值保持一恒定值。上述早停止回调函数即为Early Stopping回调函数。
本实施例在模型训练过程中，通过采用Early Stopping回调函数来决定模型停止训练的时机，这样不仅节约了计算资源，也进一步防止了模型的过拟合。
图8示出了模型在训练过程和测试过程中的损失函数曲线图。图8中的虚线表示测试过程损失函数值，实线表示训练过程损失函数值。参考图8可知，训练过程损失函数值和测试过程损失函数值之间较为吻合，说明本实施例中测试的用水异常检测模型是合格的。
需要说明的是，本实施例附图7示出的上述步骤S410至步骤S420是位于上述步骤S110和步骤S123之间，并且是在图1对应实施例基础上进行绘制。但是在其他实施例中上述步骤S410至步骤S420也可以位于步骤S110之前，并且也可以结合其他实施例基础上进行绘制，本申请对此不作限制。
本发明的另一实施例公开了另一种用水异常检测方法。如图9所示，该实施例在上述图1对应实施例的基础上，在步骤S120之前，还包括步骤：
S510，对用水异常检测模型进行训练，并在训练过程中采用网格搜索方式确定用水异常检测模型的目标模型参数组合，得到训练后的用水异常检测模型。
并且，将上述步骤S120替换为步骤S124：通过训练后的用水异常检测模型处理当前用水数据，获得异常检测结果。
本实施例中，在超参数优化阶段，本发明采用网格搜索方法对超参数进行精确调优，以确保模型参数达到最佳状态。也即，为了使模型的精度达到最佳，采用网格搜索(GridSearch)遍历多种超参数组合，包括网络层数、批大小、学习率、Dropout率等，从而得到目标模型参数组合。
其中，网格搜索过程可以包括以下步骤：
1)定义超参数空间H，其中,每个hi是一个超参数向量。
2) 定义评估函数E，该函数接受超参数向量并返回模型的性能指标。
3) 执行搜索：
其中h*是评估函数E的最大化超参数向量。模型训过程中采用的损失函数为MSE，公式如下：
式中n为样本数量，为第i个真实值，/>是第i个预测值。精度最佳参数也即目标模型参数组合如下：
需要说明的是，本实施例附图9示出的上述步骤S510是位于上述步骤S110和步骤S124之间，并且是在图1对应实施例基础上进行绘制。但是在其他实施例中上述步骤S510也可以位于步骤S110之前，并且也可以结合其他实施例基础上进行绘制，本申请对此不作限制。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
需要说明的是，本申请公开的上述各个方法实施例可以进行自由组合，且自由组合后得到的技术方案也在本申请的保护范围之内。
对应于上文实施例所述的用水异常检测方法，图10示出了本申请实施例提供的用水异常检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图10，该用水异常检测装置包括：
当前用水数据获取模块101，获取水表设备上报的当前用水数据。
当前用水数据处理模块102，通过用水异常检测模型处理当前用水数据，获得异常检测结果。其中，用水异常检测模型包括自动编码器，自动编码器包括长短期记忆神经网络层。
本申请实施例基于长短期记忆神经网络层和自动编码器结合构建用水异常检测模型，将上述模型应用于用水量异常监测的场景，对水表设备上报的当前用水数据进行异常检测，该检测模型在处理大规模时间序列数据时，能够在编解码阶段更好地识别和提取数据的时序特征，有效处理长期时序数据的依赖关系，对异常的用水情况进行识别，提高了用水异常检测的准确性和效率。
在一些可选实施例中，所述自动编码器包括一编码器层和一解码器层；所述编码器层和所述解码器层均包括多个长短期记忆神经网络层。
在一些可选实施例中，编码器层包括多个Dropout层，多个Dropout层与多个长短期记忆神经网络层一一对应，多个Dropout层中任意两个Dropout层之间连接有一个长短期记忆神经网络层，多个长短期记忆神经网络层中的一个与输入层连接。也即，在编码器层中的每个LSTM层后都连接了一个Dropout层，有效地降低了过拟合的风险，提高了LSTM-AE模型的稳定性和可靠性。Dropout层可以应用于隐藏状态ht，在训练期间随机将一些单元的输出置零，以防止过拟合。
本申请实施例提供的长短期记忆网络-自编码器（LSTM-AE）模型采用堆叠式LSTM层与Dropout层的组合，可以在有效学习用水模式中的长期序列规律的同时，有效避免因网络结构过深而导致的过拟合问题。
在一些可选实施例中，上述用水异常检测装置还包括：
历史用水数据获取模块，获取预设历史周期内的历史用水数据。
第一数据处理模块，根据拉依达准则识别历史用水数据中的显著离群值并剔除显著离群值，得到第一数据集。该拉依达准则即为3σ准则。
第二数据处理模块，对第一数据集进行对数变换，得到第二数据集。第二数据集全部是用水量正常的数据。
第一模型训练模块，根据第二数据集中的至少部分数据，对用水异常检测模型进行训练，得到训练后的用水异常检测模型。
当前用水数据处理模块102用于通过训练后的用水异常检测模型处理当前用水数据，获得异常检测结果。
在一些可选实施例中，上述用水异常检测装置还包括：
极限损失值确定模块，在用水异常检测模型完成训练后，确定训练过程中的极限损失值。
异常检测阈值确定模块，将极限损失值确定为异常检测阈值。
第一模型测试模块，对完成训练的用水异常检测模型进行测试，当测试过程中对应的损失函数值小于异常检测阈值时，获得测试后的用水异常检测模型。
当前用水数据处理模块102用于通过测试后的用水异常检测模型处理当前用水数据，获得异常检测结果。
在一些可选实施例中，上述用水异常检测装置还包括：
第二模型训练模块，对用水异常检测模型进行训练，且训练过程中采用早停止回调函数确定最大停止训练周期。
第一模型输出模块，当当前训练周期达到所述最大停止训练周期，且对应的损失函数值满足预设条件，则停止训练，得到训练后的用水异常检测模型。
当前用水数据处理模块102用于通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
在一些可选实施例中，上述用水异常检测装置还包括：
第二模型输出模块，对用水异常检测模型进行训练，并在训练过程中采用网格搜索方式确定用水异常检测模型的目标模型参数组合，得到训练后的用水异常检测模型。
当前用水数据处理模块102用于通过训练后的用水异常检测模型处理当前用水数据，获得异常检测结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种电子设备，如图11所示，该电子设备80包括：至少一个处理器801、存储器802以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序803，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种用水异常检测方法，其特征在于，包括：
获取水表设备上报的当前用水数据；
通过用水异常检测模型处理所述当前用水数据，获得异常检测结果；其中，所述用水异常检测模型包括自动编码器，所述自动编码器包括长短期记忆神经网络层。
2.如权利要求1所述的用水异常检测方法，其特征在于，所述自动编码器包括一编码器层和一解码器层；所述编码器层和所述解码器层均包括多个长短期记忆神经网络层。
3.如权利要求2所述的用水异常检测方法，其特征在于，所述编码器层包括多个Dropout层，所述多个Dropout层与所述多个长短期记忆神经网络层一一对应，所述多个Dropout层中任意两个Dropout层之间连接有一个长短期记忆神经网络层，所述多个长短期记忆神经网络层中的一个与输入层连接。
4.如权利要求1-3中任一项所述的用水异常检测方法，其特征在于，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
获取预设历史周期内的历史用水数据；
根据拉依达准则识别所述历史用水数据中的显著离群值并剔除所述显著离群值，得到第一数据集；
对所述第一数据集进行对数变换，得到第二数据集；
根据所述第二数据集中的至少部分数据，对用水异常检测模型进行训练，得到训练后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
5.如权利要求1-3中任一项所述的用水异常检测方法，其特征在于，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
在所述用水异常检测模型完成训练后，确定训练过程中的极限损失值；
将所述极限损失值确定为异常检测阈值；
对完成训练的所述用水异常检测模型进行测试，当测试过程中对应的损失函数值小于所述异常检测阈值时，获得测试后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述测试后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
6.如权利要求1-3中任一项所述的用水异常检测方法，其特征在于，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
对用水异常检测模型进行训练，且训练过程中采用早停止回调函数确定最大停止训练周期；
当当前训练周期达到所述最大停止训练周期，且对应的损失函数值满足预设条件，则停止训练，得到训练后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
7.如权利要求1-3中任一项所述的用水异常检测方法，其特征在于，在所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果之前，所述方法包括：
对所述用水异常检测模型进行训练，并在训练过程中采用网格搜索方式确定所述用水异常检测模型的目标模型参数组合，得到训练后的用水异常检测模型；
所述通过用水异常检测模型处理所述当前用水数据，获得异常检测结果，包括：
通过所述训练后的用水异常检测模型处理所述当前用水数据，获得异常检测结果。
8.一种用水异常检测装置，其特征在于，包括：
当前用水数据获取模块，获取水表设备上报的当前用水数据；
当前用水数据处理模块，通过用水异常检测模型处理所述当前用水数据，获得异常检测结果；其中，所述用水异常检测模型包括自动编码器，所述自动编码器包括长短期记忆神经网络层。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410196921.3A CN117851953B (zh) | 2024-02-22 | 2024-02-22 | 用水异常检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410196921.3A CN117851953B (zh) | 2024-02-22 | 2024-02-22 | 用水异常检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117851953A true CN117851953A (zh) | 2024-04-09 |
| CN117851953B CN117851953B (zh) | 2024-07-12 |
Family
ID=90534496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410196921.3A Active CN117851953B (zh) | 2024-02-22 | 2024-02-22 | 用水异常检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117851953B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036668A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用水量预测方法、装置、电子设备以及计算机可读介质 |
| CN113469247A (zh) * | 2021-06-30 | 2021-10-01 | 广州天懋信息系统股份有限公司 | 网络资产异常检测方法 |
| US20220092432A1 (en) * | 2020-08-28 | 2022-03-24 | Tata Consultancy Services Limited | Detection of abnormal behaviour of devices from associated unlabeled sensor observations |
| CN115375205A (zh) * | 2022-10-25 | 2022-11-22 | 埃睿迪信息技术（北京）有限公司 | 一种用水用户画像的确定方法、装置及设备 |
| KR20230023227A (ko) * | 2021-08-10 | 2023-02-17 | 한국과학기술원 | 심층학습 기반 초단기 강수 예측 및 추정을 위한 효과적인 훈련 방법 및 장치 |
| CN115905823A (zh) * | 2022-11-18 | 2023-04-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种时序数据异常检测的去噪方法及系统 |
-
2024
- 2024-02-22 CN CN202410196921.3A patent/CN117851953B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220092432A1 (en) * | 2020-08-28 | 2022-03-24 | Tata Consultancy Services Limited | Detection of abnormal behaviour of devices from associated unlabeled sensor observations |
| CN112036668A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用水量预测方法、装置、电子设备以及计算机可读介质 |
| CN113469247A (zh) * | 2021-06-30 | 2021-10-01 | 广州天懋信息系统股份有限公司 | 网络资产异常检测方法 |
| KR20230023227A (ko) * | 2021-08-10 | 2023-02-17 | 한국과학기술원 | 심층학습 기반 초단기 강수 예측 및 추정을 위한 효과적인 훈련 방법 및 장치 |
| CN115375205A (zh) * | 2022-10-25 | 2022-11-22 | 埃睿迪信息技术（北京）有限公司 | 一种用水用户画像的确定方法、装置及设备 |
| CN115905823A (zh) * | 2022-11-18 | 2023-04-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种时序数据异常检测的去噪方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘雅亭: "基于水力模型和遗传算法的二次供水优化调度研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 February 2024 (2024-02-15), pages 038 - 1295 * |
| 毛凯舟 等: "《航天器环境工程》", 25 June 2021, pages: 263 - 270 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117851953B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lindemann et al. | Anomaly detection in discrete manufacturing using self-learning approaches | |
| CN108241901B (zh) | 一种基于预测数据的变压器预警评估方法及装置 | |
| CN112414694B (zh) | 基于多元状态估计技术的设备多级异常状态识别方法及装置 | |
| CN112257263B (zh) | 基于自注意力机制的设备剩余寿命预测系统 | |
| CN109598052B (zh) | 基于相关系数分析的智能电表寿命周期预测方法及装置 | |
| CN112735541A (zh) | 一种基于简单循环单元神经网络的污水处理水质预测方法 | |
| CN113988210A (zh) | 结构监测传感网失真数据修复方法、装置及存储介质 | |
| CN112348290A (zh) | 河流水质预测方法、装置、存储介质及设备 | |
| CN113409166A (zh) | 基于XGBoost模型的用户异常用电行为检测方法及装置 | |
| CN112926636A (zh) | 牵引变流器柜体温度异常检测方法和装置 | |
| CN114742183A (zh) | 基于深度学习的水污染预警方法、系统、设备及存储介质 | |
| CN115526265A (zh) | 一种基于递进式学习结构的非侵入式负荷分解方法 | |
| CN114547145A (zh) | 一种时序数据异常检测方法、系统、存储介质及设备 | |
| CN116128690B (zh) | 一种碳排放量成本值计算方法、装置、设备及介质 | |
| CN113835947B (zh) | 一种基于异常识别结果确定异常原因的方法和系统 | |
| CN117851953B (zh) | 用水异常检测方法、装置、电子设备及存储介质 | |
| CN116823067A (zh) | 管网水质清污状态的确定方法、装置及电子设备 | |
| CN112128950A (zh) | 一种基于多种模型对比的机房温湿度预测方法及系统 | |
| CN116737681A (zh) | 一种实时异常日志检测方法、装置、计算机设备和存储介质 | |
| CN113780356B (zh) | 基于集成学习模型的水质预测方法及系统 | |
| CN116226770A (zh) | 一种时间序列数据异常检测方法及装置 | |
| CN116736174B (zh) | 电池剩余寿命预测方法、装置、计算机设备和存储介质 | |
| CN116610973A (zh) | 一种传感器故障监测及失效信息重构方法及系统 | |
| CN116068479A (zh) | 燃料电池耐久试验中输出性能信号的异常检测方法与装置 | |
| CN117970182A (zh) | 一种基于dtw算法的漏电预警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |