ES2703573T3 - Procedure to detect anomalies in a distribution network, in particular drinking water - Google Patents
Procedure to detect anomalies in a distribution network, in particular drinking water Download PDFInfo
- Publication number
- ES2703573T3 ES2703573T3 ES15762729T ES15762729T ES2703573T3 ES 2703573 T3 ES2703573 T3 ES 2703573T3 ES 15762729 T ES15762729 T ES 15762729T ES 15762729 T ES15762729 T ES 15762729T ES 2703573 T3 ES2703573 T3 ES 2703573T3
- Authority
- ES
- Spain
- Prior art keywords
- network
- current vector
- vectors
- anomaly
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/26—Investigating fluid-tightness of structures by using fluid or vacuum by measuring rate of loss or gain of fluid, e.g. by pressure-responsive devices, by flow detectors
- G01M3/28—Investigating fluid-tightness of structures by using fluid or vacuum by measuring rate of loss or gain of fluid, e.g. by pressure-responsive devices, by flow detectors for pipes, cables or tubes; for pipe joints or seals; for valves ; for welds
- G01M3/2807—Investigating fluid-tightness of structures by using fluid or vacuum by measuring rate of loss or gain of fluid, e.g. by pressure-responsive devices, by flow detectors for pipes, cables or tubes; for pipe joints or seals; for valves ; for welds for pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Alarm Systems (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Emergency Alarm Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
Procedimiento para detectar anomalías en una red de distribución, en particular la distribución de un fluido newtoniano, más particularmente una red de suministro de agua potable, estando la red de distribución equipada con sensores, en cuyo procedimiento se adquiere para cada sensor una serie temporal de medidas físicas separadas por intervalos de tiempo, caracterizado por las etapas siguientes: - definir ventanas temporales que correspondan cada una a varios intervalos de tiempo, - extraer características operacionales de cada serie temporal en cada ventana temporal, - formar para cada ventana temporal al menos un vector actual cuyas coordenadas son las características operacionales, datos estructurales relacionados con la red y características coyunturales específicas de la ventana temporal, - comparar el vector actual con vectores anteriores, correspondientes a ventanas temporales anteriores, y cuyas características coyunturales y datos estructurales son similares a los del vector actual, y - señalar una anomalía en los casos en que el vector actual sea significativamente diferente de los vectores anteriores.Procedure for detecting anomalies in a distribution network, in particular the distribution of a Newtonian fluid, more particularly a drinking water supply network, the distribution network being equipped with sensors, in which procedure a time series is acquired for each sensor physical measurements separated by time intervals, characterized by the following steps: - define time windows that correspond each to several time intervals, - extract operational characteristics of each time series in each time window, - form for each time window at least one Current vector whose coordinates are the operational characteristics, structural data related to the network and specific temporary characteristics of the time window, - compare the current vector with previous vectors, corresponding to previous temporary windows, and whose short-term characteristics and structural data are similar to thoseof the current vector, and - indicate an anomaly in cases where the current vector is significantly different from the previous vectors.
Description
DESCRIPCIÓNDESCRIPTION
Procedimiento para detectar anomalías en una red de distribución, en particular de agua potableProcedure to detect anomalies in a distribution network, in particular drinking water
Campo de la invenciónField of the invention
La presente invención se refiere a un procedimiento para detectar anomalías en una red de distribución, en particular de distribución de un fluido newtoniano, más particularmente una red de suministro de agua potable.The present invention relates to a method for detecting anomalies in a distribution network, in particular distribution of a Newtonian fluid, more particularly a drinking water supply network.
El rendimiento operacional está en el corazón de la gestión de los sistemas de suministro de agua potable. El nivel de rendimiento puede mejorarse significativamente mediante herramientas de detección y localización de anomalías hidráulicas en las redes de transporte y de distribución de agua potable.Operational performance is at the heart of the management of drinking water supply systems. The level of performance can be significantly improved by tools for detecting and locating hydraulic anomalies in the transport and distribution networks of drinking water.
La invención se puede utilizar para todas las redes de fluidos newtonianos, por ejemplo, las redes urbanas de calefacción y de climatización.The invention can be used for all networks of Newtonian fluids, for example, urban heating and air conditioning networks.
Para la detección de anomalías, se conocen procedimientos de detección de anomalías basados en técnicas estadísticas, tales como el análisis del flujo mínimo de un sector de la red, ampliamente utilizado por los operadores de redes de agua potable. Estos procedimientos no permiten siempre caracterizar ni localizar la anomalía.For the detection of anomalies, anomaly detection procedures based on statistical techniques are known, such as the analysis of the minimum flow of a sector of the network, widely used by drinking water network operators. These procedures do not always allow to characterize or locate the anomaly.
También se conocen procedimientos de detección basados en modelos hidráulicos. Estos procedimientos basados en ecuaciones hidráulicas utilizan una modelización de la red, que no siempre está disponible. La detección y la localización de anomalías combinan herramientas matemáticas y mediciones físicas, lo que implica el establecimiento de una densidad de instrumentación adecuada.Detection procedures based on hydraulic models are also known. These procedures based on hydraulic equations use a modeling of the network, which is not always available. The detection and localization of anomalies combine mathematical tools and physical measurements, which implies the establishment of an adequate instrumentation density.
La patente EP2477020 da un ejemplo de procedimiento de detección de anomalías conocido de la técnica anterior. El objetivo de la invención es proponer un procedimiento de detección de anomalías que sea eficiente y que sea poco exigente en datos de entrada y relativamente económico en términos de potencia de tratamiento informático. De acuerdo con la invención, el procedimiento para detectar anomalías en una red de distribución, en particular la distribución de un fluido newtoniano, más particularmente una red de suministro de agua potable, estando la red de distribución equipada con sensores, procedimiento en el que, para cada sensor, se adquiere una serie temporal de mediciones físicas separadas por intervalos de tiempo, se caracteriza por las etapas siguientes:Patent EP2477020 gives an example of an anomaly detection method known from the prior art. The aim of the invention is to propose an anomaly detection method which is efficient and which is not very demanding in input data and relatively inexpensive in terms of computing processing power. According to the invention, the method for detecting anomalies in a distribution network, in particular the distribution of a Newtonian fluid, more particularly a drinking water supply network, the distribution network being equipped with sensors, the method in which, For each sensor, a time series of physical measurements separated by time intervals is acquired, characterized by the following stages:
- definir ventanas temporales correspondientes cada una a varios intervalos de tiempo,- define corresponding temporary windows each at several time intervals,
- extraer características operacionales de cada serie temporal en cada ventana temporal,- extract operational characteristics of each time series in each time window,
- formar al menos un vector actual para cada ventana temporal cuyas coordenadas tienen las características operacionales, datos estructurales relacionados con la red y características coyunturales específicas de la ventana temporal,- form at least one current vector for each time window whose coordinates have the operational characteristics, structural data related to the network and specific conjunctural characteristics of the time window,
- comparar el vector actual con los vectores anteriores, correspondientes a las ventanas temporales anteriores, y cuyas características coyunturales y cuyos datos estructurales son similares a los del vector actual, - señalar una anomalía en los casos donde el vector actual es significativamente diferente de dichos vectores anteriores.- compare the current vector with the previous vectors, corresponding to the previous temporal windows, and whose conjunctural characteristics and whose structural data are similar to those of the current vector, - indicate an anomaly in the cases where the current vector is significantly different from said vectors previous
Para la comparación del vector actual con los vectores anteriores, se define un parámetro de sensibilidad correspondiente a un grado mínimo de disimilitud fuera del cual el vector actual se describe como significativamente diferente.For the comparison of the current vector with the previous vectors, a sensitivity parameter corresponding to a minimum degree of dissimilarity is defined out of which the current vector is described as significantly different.
El intervalo de tiempo entre dos mediciones de una serie temporal es, por ejemplo, de unos pocos minutos, por ejemplo 3 minutos.The time interval between two measurements of a time series is, for example, a few minutes, for example 3 minutes.
Una ventana temporal es típicamente de un día o de una semana. De este modo, una serie temporal comprende típicamente muchas mediciones. El procedimiento puede implementarse ventajosamente simultáneamente para ventanas temporales de diferentes duraciones.A temporary window is typically one day or one week. Thus, a time series typically comprises many measurements. The method can be advantageously implemented simultaneously for temporary windows of different durations.
Durante una ventana temporal, los parámetros medidos por los sensores, y que constituyen las series temporales, sufren variaciones, por ejemplo, en función de parámetros coyunturales tales como la hora, el día de la semana, la estación, la meteorología, etc., y datos estructurales de la red, como por ejemplo el cierre de una válvula, la detención de una bomba y también en función de una o más anomalías en la red.During a time window, the parameters measured by the sensors, which constitute the time series, suffer variations, for example, depending on circumstantial parameters such as time, day of the week, season, weather, etc., and structural data of the network, such as closing a valve, stopping a pump and also depending on one or more anomalies in the network.
De acuerdo con la invención, se forma un vector que tiene dimensiones representativas de las series temporales, de las dimensiones representativas de los parámetros coyunturales y de las dimensiones representativas de los datos estructurales. According to the invention, a vector having dimensions representative of the time series, of the representative dimensions of the conjunctural parameters and of the representative dimensions of the structural data is formed.
La idea subyacente de la invención es que, si las dimensiones representativas de los parámetros coyunturales y los datos estructurales se han elegido de manera apropiada, los vectores que tienen sustancialmente las mismas coordenadas para las dimensiones coyunturales y estructurales también deberían tener sustancialmente las mismas coordenadas para las dimensiones operacionales. De lo contrario, se señala una anomalía.The underlying idea of the invention is that, if the representative dimensions of the conjunctural parameters and the structural data have been chosen appropriately, the vectors having substantially the same coordinates for the conjunctural and structural dimensions should also have substantially the same coordinates for the operational dimensions. Otherwise, an anomaly is signaled.
Dado el número típicamente grande de valores numéricos en cada serie de tiempo, el procedimiento debería procesar vectores que tengan un número muy grande de dimensiones si todos estos valores numéricos se convierten en una coordenada de una dimensión respectiva del vector. De este modo, otra idea subyacente de la invención consiste en extraer características de cada serie temporal y luego utilizar estas características para coordenadas vectoriales.Given the typically large number of numerical values in each time series, the procedure should process vectors that have a very large number of dimensions if all these numerical values are converted into a coordinate of a respective dimension of the vector. In this way, another underlying idea of the invention is to extract features from each time series and then use these characteristics for vector coordinates.
Las características extraídas de las series temporales pueden incluir máximos, mínimos y/o medios, y/o incluso frecuencias elementales, obtenidas en particular por descomposición de las series temporales en series de Fourier. Ciertos parámetros coyunturales o datos estructurales, por ejemplo, la temperatura ambiente o el estado de una válvula, pueden estar disponibles igualmente en forma de serie temporal que se procesa para extraer de los mismos características que constituirán coordenadas vectoriales en lugar de mediciones o de datos en bruto.The characteristics extracted from the time series can include maximum, minimum and / or means, and / or even elementary frequencies, obtained in particular by decomposition of time series in Fourier series. Certain conjunctural parameters or structural data, for example, the ambient temperature or the state of a valve, may also be available in the form of a time series that is processed to extract the same characteristics that will constitute vector coordinates instead of measurements or data in stupid.
Para la extracción de características, incluso se pueden agregar series temporales de mediciones. Por ejemplo, es posible añadir los consumos conocidos de la lectura remota, y obtener de este modo una medición total única, o una serie temporal de los consumos totales, por ejemplo, una medición por día en el caso de una ventana temporal de una semana.You can even add time series of measurements to extract features. For example, it is possible to add the known consumption of the remote reading, and thus obtain a single total measurement, or a time series of the total consumption, for example, one measurement per day in the case of a one-week time window .
Ventajosamente, ciertas características coyunturales se basan al menos en parte en hipótesis derivadas de la experiencia. Por ejemplo, pueden disponerse tendencias en el consumo de agua por parte de un individuo en función de la hora, del día de la semana, de la estación, de la temperatura exterior, de la lluvia, del número de ocupantes de la vivienda, etc.Advantageously, certain conjunctural characteristics are based at least in part on hypotheses derived from experience. For example, trends in the consumption of water by an individual can be arranged depending on the time, day of the week, season, outside temperature, rainfall, number of occupants of the home, etc. .
En un modo de implementación ventajoso, en caso de anomalía, el vector actual se compara con al menos un vector anterior que tenga características coyunturales y datos estructurales similares, y características operacionales lo más cercanas posible del vector actual, y se señala al menos una característica operacional para la cual el vector actual presenta una gran desviación de dicho al menos un vector anterior.In an advantageous implementation mode, in the case of an anomaly, the current vector is compared to at least one previous vector having conjunctural characteristics and similar structural data, and operational characteristics as close as possible to the current vector, and at least one characteristic is signaled operational for which the current vector has a large deviation from said at least one previous vector.
Preferentemente, las situaciones que han dado lugar a la señalización de al menos una anomalía se procesan mediante un software de caracterización de anomalías. Dicho software funciona de manera mucho más efectiva cuando solo se trata de situaciones clasificadas como anormales con información adicional ya disponible en los parámetros (o coordenadas vectoriales) que presentan un valor anormal.Preferably, the situations that have given rise to the signaling of at least one anomaly are processed by an anomaly characterization software. This software works much more effectively when only situations classified as abnormal with additional information already available in the parameters (or vector coordinates) that have an abnormal value.
El resultado, una anomalía vectorial o una anomalía de red determinada después del procesamiento por un software de caracterización como se indicó anteriormente, se proporciona preferentemente por referencia a una escala de gravedad de la anomalía. Habiendo cuantificado la gravedad de la anomalía, en caso de varias anomalías simultáneas, se pueden priorizar las anomalías relativas entre sí en función de su urgencia y/o en función del grado de la intervención correctiva correspondiente.The result, a vector anomaly or a network anomaly determined after processing by a characterization software as indicated above, is preferably provided by reference to a scale of severity of the anomaly. Having quantified the severity of the anomaly, in the case of several simultaneous anomalies, the relative anomalies can be prioritized relative to each other according to their urgency and / or depending on the degree of the corresponding corrective intervention.
En un modo de implementación preferido, un vector libre de anomalías se clasifica en un mismo compartimiento de memoria que otros vectores sustancialmente equipolentes, y, cada vez que se ha calculado un vector actual, se busca el compartimiento de memoria que contiene los vectores anteriores que más se le parecen, y el vector actual solo se compara con los vectores anteriores de este compartimiento. Se reducen de este modo la potencia de procesamiento requerida y el tiempo requerido para obtener los resultados.In a preferred implementation mode, an anomaly-free vector is classified in the same memory compartment as other substantially computerized vectors, and, whenever a current vector has been calculated, the memory compartment containing the previous vectors is searched for. more resemble it, and the current vector is only compared to the previous vectors in this compartment. In this way, the required processing power and the time required to obtain the results are reduced.
Se crea un nuevo compartimiento de memoria para un vector cuyas coordenadas coyunturales y/o coordenadas correspondientes a los datos estructurales de la red no corresponden a ningún compartimiento existente. Por ejemplo, una meteorología inusualmente fresca para un mes de verano puede dar lugar a la creación de un nuevo compartimento.A new memory compartment is created for a vector whose conjunctural coordinates and / or coordinates corresponding to the structural data of the network do not correspond to any existing compartment. For example, an unusually cool weather for a summer month can lead to the creation of a new compartment.
Es ventajoso analizar la evolución a lo largo del tiempo de los vectores del mismo compartimento y proporcionar información sobre la evolución de la red. Por ejemplo, se pueden revelar las fugas que inicialmente son bajas pero que tienden a empeorar y que pueden llegar a ser grandes, mientras que la búsqueda simple del vector más similar en el compartimiento no revelará el aumento de la fuga, puesto que el vector anterior más reciente parecerá muy similar y llevará a la conclusión de que no hay anomalía.It is advantageous to analyze the evolution over time of the vectors of the same compartment and provide information on the evolution of the network. For example, leaks may be revealed that are initially low but tend to worsen and may become large, while simple search of the most similar vector in the compartment will not reveal the leak increase, since the previous vector Most recent will look very similar and will lead to the conclusion that there is no anomaly.
En una versión aún más perfeccionada, se comparan las evoluciones en los diferentes compartimentos y se proporciona información que diferencia la evolución del estado de la red y la evolución de las consecuencias de los parámetros coyunturales en la red. Por ejemplo, un consumo que solo aumenta en los días calurosos indica una evolución en los hábitos de los consumidores en lugar de una red cada vez más permeable.In an even more advanced version, the evolutions in the different compartments are compared and information is provided that differentiates the evolution of the state of the network and the evolution of the consequences of the cyclical parameters in the network. For example, a consumption that only increases on hot days indicates an evolution in the habits of consumers instead of an increasingly permeable network.
Para aligerar el procesamiento y refinar los resultados, es muy ventajoso proporcionar para cada ventana temporal varios vectores correspondientes a una subred respectiva que forme parte de la red. De este modo, se tratan los vectores más pequeños y se dan oportunidades adicionales para localizar una anomalía más fácilmente. To lighten the processing and refine the results, it is very advantageous to provide for each time window several vectors corresponding to a respective subnet that is part of the network. In this way, the smaller vectors are treated and additional opportunities are given to locate an anomaly more easily.
En caso de detección de una anomalía, el vector actual se analiza comparativamente con vectores recientes comparativamente anómalos, para proporcionar indicaciones sobre la velocidad de evolución de la anomalía y/o un enlace de la anomalía con al menos un parámetro coyuntural y/o un dato estructural.In case of detection of an anomaly, the current vector is analyzed comparatively with comparatively anomalous recent vectors, to provide indications on the speed of evolution of the anomaly and / or a link of the anomaly with at least one conjunctural parameter and / or a data structural.
En caso de anomalía, también es posible buscar en los vectores anteriores anomalías comparables que hayan dado lugar a un diagnóstico, para proporcionar un diagnóstico previo de la causa de la anomalía actual.In case of anomaly, it is also possible to look for comparable anomalies in the previous vectors that have led to a diagnosis, in order to provide a previous diagnosis of the cause of the current anomaly.
Durante una etapa de inicialización, se puede cargar, de acuerdo con la invención, ventajosamente una memoria con vectores reconstituidos según archivos relacionados con la red.During an initialization stage, a memory with vectors reconstituted according to files related to the network can advantageously be loaded according to the invention.
Los componentes de un vector incluyen preferentemente al menos un componente relativo a las quejas de los consumidores atendidos por la red, por ejemplo sobre el flujo, la presión, el sabor, etc.The components of a vector preferably include at least one component related to the complaints of consumers served by the network, for example on the flow, pressure, taste, etc.
Otras características y ventajas de la invención surgirán también de la siguiente descripción, relativa a ejemplos no limitativos, y con referencia a la Figura 1 que muestra un diagrama de flujo de las etapas principales en el ejemplo descrito.Other characteristics and advantages of the invention will also arise from the following description, relating to non-limiting examples, and with reference to Figure 1 which shows a flow chart of the main steps in the described example.
Observación preliminarPreliminary observation
La siguiente descripción es una descripción de cualquier particularidad que contenga, ya sea que se tome por separado de las otras características, incluso si forman parte del mismo párrafo o de la misma frase, y es una descripción de cualquier combinación de dichas particularidades, siempre que dicha particularidad o combinación de características sea distintiva del estado de la técnica y ofrezca un efecto técnico, ya sea solo o en combinación con los conceptos presentados anteriormente, y que esta característica se expresa en los términos mismos de esta descripción o en términos más o menos generalizados.The following description is a description of any particularity it contains, whether taken separately from the other characteristics, even if they are part of the same paragraph or the same sentence, and is a description of any combination of those particularities, provided that said particularity or combination of characteristics is distinctive from the state of the art and offers a technical effect, either alone or in combination with the concepts presented above, and that this characteristic is expressed in the terms of this description or in more or less generalized
DefinicionesDefinitions
Entidad: Red de agua potable o componente del sistema de suministro de agua potable, por ejemplo, sectores hidráulicos o aparatos de medición/sensores. Una entidad está asociada con una o más series temporales.Entity: Drinking water network or component of the drinking water supply system, for example, hydraulic sectors or measuring devices / sensors. An entity is associated with one or more time series.
Serie temporal: secuencia finita de datos escalares indexados por el tiempo, generalmente espaciados por una duración constante.Temporal series: finite sequence of scalar data indexed by time, generally spaced by a constant duration.
Clasificación: Sin otra precisión, designa el proceso que lleva a asignar a un estado de una entidad una clase conocida que da lugar a acciones predeterminadas por parte del operador de la red.Classification: Without other precision, it designates the process that leads to assigning to a state of an entity a known class that gives rise to predetermined actions on the part of the operator of the network.
Generación de clasificación ("Agrupamiento"): Sin otra precisión, se designa el proceso que lleva a asociar un grupo de estados anteriores con un estado de una entidad para determinar la anomalía o novedad. Medición: Es la estimación del valor de una cantidad en la unidad correspondiente, estos valores forman una serie de tiempo proporcionada por un sistema de adquisición de datos. Una medición está asociada con un componente elemental particular de la red de agua potable (arco o sección para una medición de flujo, nodo para una medición de presión, depósito para una medición de nivel).Generation of classification ("Grouping"): Without another precision, it is designated the process that leads to associate a group of previous states with a state of an entity to determine the anomaly or novelty. Measurement: It is the estimation of the value of a quantity in the corresponding unit, these values form a series of time provided by a data acquisition system. A measurement is associated with a particular elementary component of the drinking water network (arc or section for a flow measurement, node for a pressure measurement, reservoir for a level measurement).
Datos de lectura remota: serie de índice de consumo para un medidor, mediciones en una periodicidad dada, y TV transmitida, por ejemplo, al menos una vez al día.Remote reading data: series of consumption index for a meter, measurements at a given periodicity, and transmitted TV, for example, at least once a day.
Característica: ("feature") escalar o vector que constituye información significativa para el proceso estudiado, aquí el estado de la red en una ventana temporal determinada.Feature: ("feature") scalar or vector that constitutes significant information for the process studied, here the state of the network in a given time window.
PrincipiosBeginning
En este modo de realización, la invención implementa los siguientes principios:In this embodiment, the invention implements the following principles:
• El pretratamiento de la señal por los procedimientos del estado de la técnica para completar y limpiar el ruido.• The pretreatment of the signal by the procedures of the state of the art to complete and clean the noise.
• La producción de un vector de características del estado operativo de una entidad para una ventana temporal dada. Esto se hace por agregación:• The production of a feature vector of the operating state of an entity for a given time window. This is done by aggregation:
° características extraídas principalmente de las series temporales de la entidad por procedimientos de descomposición/procesamiento de la señal,° characteristics extracted mainly from the time series of the entity by decomposition / signal processing procedures,
° características derivadas de los indicadores de rendimiento empresarial y de los datos coyunturales.° characteristics derived from the business performance indicators and the conjunctural data.
• El uso de algoritmos de clasificación y de agrupamiento, derivados de las técnicas de aprendizaje automático ("machine learning"), se aplica a los vectores de entidades para una ventana temporal determinada. Esto permite luego la transcripción de los estados de las entidades (tales como los representados por los vectores característicos) en categorías conocidas por los operadores de redes, para clasificar las situaciones y priorizar las acciones correctivas que se llevarán a cabo. Los algoritmos de dasificación/"agrupaiTiiento" se basan en funciones-objetivos y restricciones operacionales de administración de red, por ejemplo, la cantidad de personal disponible para una simple operación de mantenimiento, el tiempo necesario para disponer de un equipo para una operación más compleja, el tiempo entre la fecha de apariencia de una anomalía y la fecha de detección, etc.• The use of classification and grouping algorithms, derived from machine learning techniques, is applied to entity vectors for a specific time window. This then allows the transcription of the states of the entities (such as those represented by the vectors characteristic) in categories known by network operators, to classify situations and prioritize the corrective actions that will be carried out. The "grouping" algorithms are based on functions-objectives and operational restrictions of network management, for example, the amount of personnel available for a simple maintenance operation, the time needed to have a computer for a more complex operation , the time between the appearance date of an anomaly and the date of detection, etc.
• La utilización opcional de datos de contexto que influyen en el funcionamiento de la entidad, para especificar la descripción de su estado.• The optional use of context data that influence the operation of the entity, to specify the description of its state.
• La utilización de algoritmos de detección/evaluación ("detection/scoring") de anomalías resultantes de las técnicas de aprendizaje automático ("machine learning"), calibradas/optimizadas con la ayuda de criterios que satisfacen las restricciones operacionales de los operadores de redes. Estos algoritmos se aplican a los vectores de características.• The use of detection / scoring algorithms for anomalies resulting from automatic learning techniques ("machine learning"), calibrated / optimized with the help of criteria that satisfy the operational restrictions of network operators . These algorithms are applied to feature vectors.
Datos de entrada y configuración: tres conjuntos de datos:Input and configuration data: three data sets:
Los datos estructurales se constituyen de datos descriptivos de la infraestructura de red y de equipos instalados (válvulas, sensores, bombas, etc.).The structural data are constituted by descriptive data of the network infrastructure and installed equipment (valves, sensors, pumps, etc.).
Los parámetros de implementación del procedimiento se calibran automáticamente en una fase preparatoria, y se automatizan con el fin de permitir un recalibrado cuando el sistema detecte una pérdida de rendimiento o una evolución de su infraestructura.The procedure implementation parameters are automatically calibrated in a preparatory phase, and are automated in order to allow a recalibration when the system detects a loss of performance or an evolution of its infrastructure.
Los datos operacionales provienen del conjunto de sistemas de medición presentes en la red. Cuando estén disponibles, estos datos incluirán, entre otras cosas, datos del consumidor de telecomunicaciones, quejas de los clientes e intervenciones que afectan el comportamiento de la red.The operational data comes from the set of measurement systems present in the network. When available, these data will include, among other things, telecommunications consumer data, customer complaints and interventions that affect the behavior of the network.
Procedimientos básicos (véase la Figura 1) Basic procedures (see Figure 1)
Pretratamiento de las series temporales de las medicionesPretreatment of time series of measurements
Estos procedimientos permiten obtener series temporales de las mediciones posiblemente completadas, suavizadas/limpiadas del ruido. Las series temporales resultantes se preparan luego para utilizarse como datos de entrada de algoritmos de extracción de características.These procedures make it possible to obtain temporary series of measurements possibly completed, smoothed / cleaned of the noise. The resulting time series are then prepared to be used as input data for feature extraction algorithms.
Igualmente, se realizan combinaciones de las series en señales agregadas. Por ejemplo, la suma algebraica de las series temporales de flujos de entrada/salida de un sector hidráulico se convierte en una serie de consumos del sector hidráulico.Likewise, combinations of the series in aggregate signals are made. For example, the algebraic sum of the time series of input / output flows of a hydraulic sector becomes a series of consumptions of the hydraulic sector.
Las series también se pueden transformar (por ejemplo, centrarse y reducirse) para los fines de algunos de los algoritmos utilizados en las fases de extracción de características.The series can also be transformed (for example, focus and reduce) for the purposes of some of the algorithms used in the phases of feature extraction.
Extracción de las características resultantes de la descomposición de la señalExtraction of the characteristics resulting from the decomposition of the signal
Este procedimiento consiste en utilizar las series temporales limpiadas/suavizadas anteriormente como se describió anteriormente, para de las mismas información relevante que permita caracterizar de manera operacional el estado de una entidad. Se trata de producir las informaciones que resuman la estructura de las series (descomposición de Fourier, en ondículas, componentes principales, ...) mientras disminuye la dimensión con el fin de concentrar la parte relevante de las señales.This procedure consists of using the time series cleaned / smoothed previously as described above, for the same relevant information that allows to operationally characterize the state of an entity. It is about producing the information that summarizes the structure of the series (Fourier decomposition, in wavelets, main components, ...) while decreasing the dimension in order to concentrate the relevant part of the signals.
Las diferentes bases de descomposición se evalúan periódicamente con el fin de seguir los rendimientos de los algoritmos y actualizar las bases cuando se consideren demasiado poco parsimoniosas (supervisión).The different decomposition bases are evaluated periodically in order to follow the performance of the algorithms and update the bases when they are considered too parsimonious (supervision).
Las salidas de estos algoritmos son, por lo tanto, vectores de características que resumen cada señal en una ventana temporal definida por el operador de redes.The outputs of these algorithms are, therefore, feature vectors that summarize each signal in a time window defined by the network operator.
Extracción de las características especializadasExtraction of specialized characteristics
La construcción de las características especializadas de un sitio está automatizada y se basa en:The construction of the specialized features of a site is automated and is based on:
• un depósito de características establecidas a partir de la experiencia de redes de diferentes tipos,• a deposit of characteristics established from the experience of networks of different types,
• una observación de la estructura y del comportamiento de la red objetivo.• an observation of the structure and behavior of the target network.
La construcción se puede basar, por ejemplo, en un cálculo de los mínimos de un parámetro en una ventana temporal dada, en la observación de la periodicidad de los ciclos de llenado/vaciado de los depósitos, en el nivel de consumo promedio de los medidores leídos de forma remota en función de su segmento de consumo, etc.The construction can be based, for example, on a calculation of the minimums of a parameter in a given time window, in the observation of the periodicity of the filling / emptying cycles of the deposits, in the average consumption level of the meters read remotely according to your consumption segment, etc.
Algoritmos para evaluar el estado de funcionamiento de la entidad - régimen de funcionamiento Algorithms to evaluate the state of operation of the entity - operating regime
De acuerdo con una característica importante de la invención, para describir el estado de funcionamiento de la red, los datos de la experiencia en la materia se combinan con los datos de los procedimientos de descomposición de la señal. Estos se enriquecen mutuamente al dar a cada entidad un vector que caracteriza completamente el estado de funcionamiento de esta entidad para la red considerada.According to an important characteristic of the invention, to describe the operating state of the network, the data of the experience in the matter are combined with the data of the decomposition procedures of the signal. These enrich each other by giving each entity a vector that completely characterizes the state of operation of this entity for the network under consideration.
Con la ayuda de los vectores de características, se puede caracterizar el estado de funcionamiento de la entidad considerada en un momento dado en una ventana temporal determinada, o "régimen". Luego puede compararse con los estados anteriores o con los estados de las otras entidades, y clasificarse de acuerdo con los criterios operacionales que impliquen acciones que se vayan a tomar. Para realizar esta clasificación, se pueden implementar herramientas de aprendizaje automático tales como la clasificación y el "agrupamiento".With the help of the feature vectors, one can characterize the operating state of the entity considered at a given moment in a given time window, or "regime". Then it can be compared with the previous states or with the states of the other entities, and classified according to the operational criteria that imply actions that are going to be taken. To carry out this classification, automatic learning tools such as classification and "grouping" can be implemented.
En el caso de la clasificación, un proceso de aprendizaje habrá permitido previamente, por medio de datos históricos marcados con los diferentes estados posibles y que constituyen grupos, dar lugar a una función discriminatoria ("clasificar"), lo que permite dar automáticamente el grupo al que pertenece el nuevo estado.In the case of classification, a learning process will have previously allowed, through historical data marked with the different possible states and constituting groups, to give rise to a discriminatory function ("classify"), which allows the group to be automatically given to which the new state belongs.
Esta función discriminatoria se puede obtener optimizando un criterio de calidad, por ejemplo una función inercial en modo no supervisado o el proxy de un error de clasificación en modo supervisado.This discriminatory function can be obtained by optimizing a quality criterion, for example an inertial function in unsupervised mode or the proxy of a classification error in supervised mode.
En el caso de la falta de datos históricos marcados, las técnicas de generación de clasificación («agrupamiento») permiten agrupar los estados de acuerdo con criterios de similitud y de este modo discriminar a aquellos que pertenezcan a las categorías menos representadas.In the case of the lack of marked historical data, classification generation techniques ("grouping") allow grouping the states according to similarity criteria and thus discriminating those that belong to the less represented categories.
Estos presentan un interés para el operador de red, ya que indican un comportamiento fuera de lo común. El operador puede centrar entonces su atención en esta entidad.These are of interest to the network operator, as they indicate unusual behavior. The operator can then focus his attention on this entity.
Algoritmos para la detección de anomalíasAlgorithms for the detection of anomalies
A los vectores de caracterización de estado se aplican algoritmos de detección de anomalías. Se trata de caracterizar un evento en curso o recientemente completado. El tipo de evento corresponde a una categoría de eventos supervisados por los operadores de redes de agua potable (fugas, caída de presión, falla del sensor, anomalía de consumo, etc.).Fault detection algorithms are applied to the state characterization vectors. It is about characterizing an event in progress or recently completed. The type of event corresponds to a category of events supervised by drinking water network operators (leakage, pressure drop, sensor failure, consumption anomaly, etc.).
Los algoritmos de detección se ejecutan en paralelo y sus resultados se agregan para la discriminación de entidades que presentan un comportamiento anormal. Se calibraron previamente en conjuntos de datos históricos, con el fin de adaptar sus configuraciones a las restricciones operacionales de la red.The detection algorithms are executed in parallel and their results are added for the discrimination of entities that exhibit abnormal behavior. They were previously calibrated in historical data sets, in order to adapt their configurations to the operational constraints of the network.
Particularidades corolariasCorollary peculiarities
El conjunto constituido por los componentes expuestos anteriormente se puede conectar al sistema de información técnica del operador de un sistema de suministro de agua potable. Cada fuente de datos disponible se conecta luego al algoritmo de extracción de características dedicado a la misma. El conjunto se puede activar regularmente, de acuerdo con la frecuencia de adquisición de los datos. La ventana temporal en la que se realiza el análisis es ajustable por el usuario. Sin embargo, es relevante utilizar en primer lugar ventanas temporales 24 horas y 7 días. En estas condiciones, la caracterización del estado de funcionamiento de la red y la detección de anomalías asociadas son mucho más relevantes que con los procedimientos utilizados habitualmente, y la eficiencia operacional se mejora considerablemente.The assembly consisting of the components discussed above can be connected to the technical information system of the operator of a drinking water supply system. Each available data source is then connected to the feature extraction algorithm dedicated to it. The set can be activated regularly, according to the frequency of data acquisition. The time window in which the analysis is performed is adjustable by the user. However, it is important to first use temporary windows 24 hours and 7 days. Under these conditions, the characterization of the operating status of the network and the detection of associated anomalies are much more relevant than with the procedures normally used, and the operational efficiency is considerably improved.
En la fase de diagnóstico de los eventos pasados de una red, por ejemplo, para propósitos de balance operativo, el procedimiento permite ahorrar un tiempo considerable al discriminar eventos pasados.In the diagnostic phase of past events of a network, for example, for operational balance purposes, the procedure saves considerable time by discriminating past events.
La combinación de características de señal y de características de negocio mejora la robustez de la detección de anomalías.The combination of signal characteristics and business characteristics improves the robustness of anomaly detection.
El ajuste de la sensibilidad del algoritmo, es decir, el equilibrio entre el número de detecciones correctas y el número de anomalías para cada entidad, permite, por ejemplo, adaptar la detección de cada tipo de anomalía en la capacidad del operador para planificar e iniciar acciones correctoras.The adjustment of the sensitivity of the algorithm, that is, the balance between the number of correct detections and the number of anomalies for each entity, allows, for example, to adapt the detection of each type of anomaly in the operator's ability to plan and initiate corrective actions.
Ejemplo de modo de realización: Ejemplo de cloro y descomposición de señalesExample of embodiment: Example of chlorine and decomposition of signals
La utilización de un procedimiento de descomposición de la señal, tal como la descomposición en ondículas o de Fourier, en señales relacionadas con una red de agua potable, permite aislar los diversos componentes (intra e interdía) de estas señales. Un algoritmo para el análisis cognitivo de estos componentes, en relación con la experiencia de la materia, lleva a identificar el dominio de definición del funcionamiento normal de la red. Esto permite, cuando hay nuevas señales disponibles, detectar cambios significativos en la naturaleza de estos componentes.The use of a signal decomposition process, such as wavelet or Fourier decomposition, in signals related to a drinking water network, allows isolating the various components (intra and interday) of these signals. An algorithm for the cognitive analysis of these components, in relation to the experience of the matter, leads to identify the domain of definition of the normal functioning of the network. This allows, when there are new signals available, to detect significant changes in the nature of these components.
De este modo, una diferencia significativa observada puede interpretarse como un indicador de comportamiento anormal. Entonces se puede ejecutar un segundo conjunto de algoritmos de búsqueda. Por ejemplo, un algoritmo de clasificación basado en vectores de características (incluidas las quejas de los clientes, por ejemplo) puede ayudar a definir el nivel de riesgo alcanzado.In this way, a significant difference observed can be interpreted as an indicator of abnormal behavior. Then a second set of search algorithms can be executed. For example, an algorithm Classification based on feature vectors (including customer complaints, for example) can help define the level of risk achieved.
Este enfoque se puede aplicar para la supervisión de la calidad del agua utilizando todos los puntos de medición disponibles en un sistema de agua potable para identificar estructuras ocultas y detectar, por ejemplo, anomalías en la concentración residual de cloro en conjunción o no con otros parámetros de calidad. Las quejas de los clientes utilizadas son entonces relativas al sabor del agua. This approach can be applied to water quality monitoring using all available measurement points in a drinking water system to identify hidden structures and detect, for example, anomalies in the residual concentration of chlorine in conjunction or not with other parameters quality. The complaints of the clients used are then related to the taste of the water.
Claims (15)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1457209A FR3024260B1 (en) | 2014-07-25 | 2014-07-25 | METHOD FOR DETECTING ANOMALIES IN A DISTRIBUTION NETWORK, ESPECIALLY DRINKING WATER |
| PCT/IB2015/055583 WO2016012972A1 (en) | 2014-07-25 | 2015-07-23 | Method for detecting anomalies in a distribution network, in particular for drinking water |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2703573T3 true ES2703573T3 (en) | 2019-03-11 |
Family
ID=51610353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES15762729T Active ES2703573T3 (en) | 2014-07-25 | 2015-07-23 | Procedure to detect anomalies in a distribution network, in particular drinking water |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US10571358B2 (en) |
| EP (1) | EP3172548B1 (en) |
| CN (1) | CN106796157A (en) |
| AU (1) | AU2015293548B9 (en) |
| BR (1) | BR112017000076B1 (en) |
| CA (1) | CA2954812C (en) |
| CL (1) | CL2017000173A1 (en) |
| ES (1) | ES2703573T3 (en) |
| FR (1) | FR3024260B1 (en) |
| MX (1) | MX2017001102A (en) |
| WO (1) | WO2016012972A1 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3128758A1 (en) | 2013-03-15 | 2014-09-25 | Mueller International, Llc | System for measuring properties of water in a water distribution system |
| US11041839B2 (en) | 2015-06-05 | 2021-06-22 | Mueller International, Llc | Distribution system monitoring |
| FR3071920B1 (en) * | 2017-09-29 | 2020-11-06 | Suez Groupe | IMPROVED DETECTION AND CHARACTERIZATION OF ANOMALIES IN A WATER CONTINUUM |
| WO2019063648A1 (en) | 2017-09-29 | 2019-04-04 | Suez Groupe | Improved detection and characterization of anomalies in a continuum of water |
| CN113228006A (en) * | 2018-12-17 | 2021-08-06 | 华为技术有限公司 | Apparatus and method for detecting anomalies in successive events and computer program product thereof |
| FR3110724B1 (en) * | 2020-05-25 | 2024-03-01 | Suez Groupe | Improved detection of changes in the physicochemical composition of a liquid |
| US11725366B2 (en) | 2020-07-16 | 2023-08-15 | Mueller International, Llc | Remote-operated flushing system |
| US11815388B2 (en) | 2020-12-01 | 2023-11-14 | Honeywell International Inc. | Method and system for timely detecting gas pressure irregularities using a gas meter in a power efficient manner |
| US11761807B2 (en) | 2020-12-01 | 2023-09-19 | Honeywell International Inc. | Gas meter architecture |
| CN113077357B (en) * | 2021-03-29 | 2023-11-28 | 国网湖南省电力有限公司 | Power time sequence data anomaly detection method and filling method thereof |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2863827B2 (en) * | 1995-12-28 | 1999-03-03 | 工業技術院長 | Gas leak detection system |
| EP2270461A1 (en) * | 2004-03-22 | 2011-01-05 | Rubicon Research, Pty.Ltd. | Loss detection system for open channel networks |
| JP4822990B2 (en) * | 2006-09-07 | 2011-11-24 | 株式会社東芝 | Water leakage monitoring system |
| US7920983B1 (en) * | 2010-03-04 | 2011-04-05 | TaKaDu Ltd. | System and method for monitoring resources in a water utility network |
| CN101871834A (en) * | 2010-04-23 | 2010-10-27 | 北京中科通视科技有限公司 | Wireless remote water leakage detection device and system |
| EP2477020A1 (en) * | 2011-01-17 | 2012-07-18 | Clevergas Holding S.A. | System for detecting a fluid leak |
| ITRM20110151A1 (en) * | 2011-03-28 | 2012-09-29 | Giovanni Gregori | METHOD FOR THE DYNAMIC QUANTITATIVE CHARACTERIZATION OF THE AGING OF A SOLID MATERIAL. |
| US8341106B1 (en) * | 2011-12-07 | 2012-12-25 | TaKaDu Ltd. | System and method for identifying related events in a resource network monitoring system |
| JP5756767B2 (en) * | 2012-02-29 | 2015-07-29 | 株式会社日立製作所 | Water leak detection device |
-
2014
- 2014-07-25 FR FR1457209A patent/FR3024260B1/en active Active
-
2015
- 2015-07-23 BR BR112017000076-8A patent/BR112017000076B1/en active IP Right Grant
- 2015-07-23 MX MX2017001102A patent/MX2017001102A/en active IP Right Grant
- 2015-07-23 ES ES15762729T patent/ES2703573T3/en active Active
- 2015-07-23 CA CA2954812A patent/CA2954812C/en active Active
- 2015-07-23 US US15/328,520 patent/US10571358B2/en active Active
- 2015-07-23 CN CN201580039816.8A patent/CN106796157A/en active Pending
- 2015-07-23 AU AU2015293548A patent/AU2015293548B9/en active Active
- 2015-07-23 WO PCT/IB2015/055583 patent/WO2016012972A1/en active Application Filing
- 2015-07-23 EP EP15762729.0A patent/EP3172548B1/en active Active
-
2017
- 2017-01-23 CL CL2017000173A patent/CL2017000173A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| AU2015293548A1 (en) | 2017-02-02 |
| CA2954812C (en) | 2022-08-16 |
| AU2015293548B9 (en) | 2020-03-26 |
| BR112017000076B1 (en) | 2022-05-24 |
| US10571358B2 (en) | 2020-02-25 |
| MX2017001102A (en) | 2017-09-29 |
| EP3172548B1 (en) | 2018-09-26 |
| CN106796157A (en) | 2017-05-31 |
| BR112017000076A2 (en) | 2017-11-14 |
| AU2015293548B2 (en) | 2020-03-12 |
| WO2016012972A1 (en) | 2016-01-28 |
| EP3172548A1 (en) | 2017-05-31 |
| FR3024260B1 (en) | 2016-07-29 |
| CL2017000173A1 (en) | 2018-01-05 |
| CA2954812A1 (en) | 2016-01-28 |
| FR3024260A1 (en) | 2016-01-29 |
| US20170212003A1 (en) | 2017-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2703573T3 (en) | Procedure to detect anomalies in a distribution network, in particular drinking water | |
| CN105042339B (en) | One kind is based on nondimensional leakage of finished oil pipeline amount estimating system and method | |
| ES2420865T3 (en) | System and method for monitoring resources in a water supply network | |
| CN105376260B (en) | A kind of exception flow of network monitoring system based on density peaks cluster | |
| CN103620363B (en) | Leak detection by means of a stochastic mass balance | |
| MX2015001105A (en) | Electric submersible pump operations. | |
| WO2017179049A1 (en) | A method and system for hvac malfunction and inefficiency detection over smart meters data | |
| ES2332741T3 (en) | USE OF SEQUENTIAL GROUPING FOR SELECTION OF INSTALLATIONS IN MONITORING OF MACHINE STATES. | |
| Millán-Roures et al. | Detection of anomalies in water networks by functional data analysis | |
| CN109858140B (en) | Fault diagnosis method for water chilling unit based on information entropy discrete Bayesian network | |
| Romano et al. | Evolutionary algorithm and expectation maximization strategies for improved detection of pipe bursts and other events in water distribution systems | |
| CN104636999A (en) | Detection method for building abnormal energy consumption data | |
| CN109508745A (en) | The detection method of gas turbine gascircuit fault based on Bayesian network model | |
| CN103345593A (en) | Gathering abnormity detection method for single sensor data flow | |
| CN105717888B (en) | A kind of intelligent early-warning system | |
| AU2015315838A1 (en) | Apparatus and method for ensembles of kernel regression models | |
| US20220082409A1 (en) | Method and system for monitoring a gas distribution network operating at low pressure | |
| US11971280B2 (en) | Metering and correcting methods and systems for ultrasonic gas meters based on smart gas internet of things | |
| CN105740989B (en) | A kind of water supply network anomalous event method for detecting based on VARX model | |
| ES2900473T3 (en) | Improved procedure and system for estimating water flows at the boundaries of a subnetwork of a water distribution network | |
| CN104950873B (en) | The online test method of process control loops intermittent oscillation | |
| JP2017002554A (en) | Conduit failure detection device and method | |
| JP2014054151A (en) | Graph structure building device of transport network, graph structure building system, graph structure building method and graph structure building program | |
| CN109072721A (en) | Water supply suitable for power generating plants circuit pumps management | |
| KR101672097B1 (en) | Real-Time Collection and Processing Method of Stream Water Flow Data |