ES2555630B2

ES2555630B2 - Artificial vision system and procedure for the detection of anomalous objects (pedestrians or animals) on highways or highways

Info

Publication number: ES2555630B2
Application number: ES201401055A
Authority: ES
Inventors: Ezequiel LÓPEZ RUBIO; Rafael Marcos LUQUE BAENA; Esteban José PALOMO FERRER
Original assignee: Universidad de Malaga; Universidad de Extremadura
Current assignee: Universidad de Malaga; Universidad de Extremadura
Priority date: 2014-12-23
Filing date: 2014-12-23
Publication date: 2016-10-06
Anticipated expiration: 2034-12-23
Also published as: ES2555630A1; WO2016102733A1

Abstract

Sistema de visión artificial y procedimiento para la detección de objetos anómalos (peatones o animales) en autovías o autopistas. La invención refiere un sistema que comprende una cámara digital (1) que suministra imágenes a una CPU (2) que implementa un detector de objetos en movimiento (3) que envía la información de los objetos presentes en cada fotograma a un módulo de seguimiento de objetos (4) que identifica las trayectorias y velocidades de los objetos presentes en cada fotograma y que suministra dicha información a un detector de anomalías (5) que clasifica los objetos en normales y anómalos y que, alternativamente, envía la información de objetos anómalos a un módulo de comunicaciones (6) que permite informar sobre dichos objetos. La invención refiere asimismo un procedimiento para la detección de dichos objetos anómalos que comprende las etapas de captación de imágenes, detección de objetos, seguimiento de objetos y detección de objetos anómalos.Artificial vision system and procedure for the detection of anomalous objects (pedestrians or animals) on highways or motorways. The invention relates to a system comprising a digital camera (1) that supplies images to a CPU (2) that implements a moving object detector (3) that sends the information of the objects present in each frame to a tracking module of objects (4) that identifies the trajectories and speeds of the objects present in each frame and that supplies this information to an anomaly detector (5) that classifies the objects into normal and anomalous and that, alternatively, sends the information of anomalous objects to a communications module (6) that allows information about said objects. The invention also relates to a method for detecting said anomalous objects comprising the steps of image acquisition, object detection, object tracking and anomalous object detection.

Description

DESCRIPCIÓN DESCRIPTION

Sistema de visión artificial y procedimiento para la detección de objetos anómalos (peatones o animales) en autovías o autopistas. Artificial vision system and procedure for the detection of anomalous objects (pedestrians or animals) on highways or motorways.

5 5

Sector técnico Technical sector

La presente invención se engloba dentro del campo de los Sistemas de Seguridad en Infraestructuras de Transporte y Tráfico. En concreto, se centra en la detección y posterior aviso de la presencia de elementos no habituales en carreteras y autovías, 10 como son peatones, animales y obstáculos inertes, que pueden poner en riesgo la vida de los ocupantes de los vehículos que circulan por estas vías y de los peatones y animales. The present invention falls within the field of Security Systems in Transportation and Traffic Infrastructure. Specifically, it focuses on the detection and subsequent warning of the presence of unusual elements on roads and highways, 10 such as pedestrians, animals and inert obstacles, which can endanger the lives of the occupants of the vehicles that circulate on them. Roads and pedestrians and animals.

Estado de la técnica 15 State of the art 15

El control del tráfico en vías públicas mediante sistemas de vigilancia automatizada está extendiéndose progresivamente debido al coste cada vez menor del hardware asociado a este tipo de sistemas. Existen ya numerosos productos comerciales que se enfocan al problema de detectar vehículos que circulan a velocidad excesiva y al de descubrir 20 vehículos que se han saltado un semáforo. Este tipo de productos se aplican en muchos casos a la imposición de sanciones económicas a los vehículos infractores. Sin embargo, no se ha dedicado tanta atención a la detección de situaciones que, siendo infrecuentes, pueden representar un importante peligro para la vida de las personas que circulan por las vías. Entre estas situaciones se encuentra el cruce de autovías o autopistas por 25 personas o animales, lo cual además de no estar autorizado tiene una alta probabilidad de ocasionar un grave accidente. Traffic control on public roads through automated surveillance systems is progressively spreading due to the decreasing cost of hardware associated with these types of systems. There are already numerous commercial products that focus on the problem of detecting vehicles traveling at excessive speed and discovering 20 vehicles that have skipped a traffic light. These types of products apply in many cases to the imposition of economic sanctions on offending vehicles. However, not so much attention has been devoted to the detection of situations that, being infrequent, can represent a significant danger to the lives of people on the roads. Among these situations is the crossing of highways or motorways for 25 people or animals, which in addition to not being authorized has a high probability of causing a serious accident.

En el documento ES 2377802 ("Sistema sensor para la detección de objetos/obstáculos en puntos críticos de líneas férreas") se resuelve un problema relacionado con el que nos 30 ocupa, pero en el caso de vías férreas. Aparte de la diferencia evidente de que son tipos de vías distintos, el problema de las vías férreas es mucho mas fácil de solucionar porque cualquier objeto sobre las vías antes de la llegada del tren representa un peligro. Por este motivo, dicha invención no necesita ni realiza un seguimiento individualizado de los objetos, con lo cual solo puede distinguir entre una situación con objetos y otra sin 35 objetos, sin poder determinar el sistema si un objeto es anómalo o no. Esta capacidad es insuficiente para las autovías y autopistas, en las que coexisten objetos normales y anómalos. In document ES 2377802 ("Sensor system for the detection of objects / obstacles at critical points of railway lines") a problem related to the one in question is solved, but in the case of railways. Apart from the obvious difference that they are different types of tracks, the problem of railways is much easier to solve because any object on the tracks before the arrival of the train represents a danger. For this reason, said invention does not need or perform an individual tracking of the objects, whereby it can only distinguish between a situation with objects and another without 35 objects, without being able to determine the system if an object is anomalous or not. This capacity is insufficient for highways and highways, where normal and anomalous objects coexist.

El documento WO 9516252 describe un sistema de seguimiento de vehículos que no 40 daría un buen rendimiento para seguir personas o animales, ya que se basa en calcular los bordes de los objetos presentes en la escena y caracterizar los objetos a partir de ellos (horizontal and vertical edge element intensity data, ver pág. 6 del citado documento). Esto no funcionaría bien para personas o animales, ya que su pequeño tamaño y su cambio de forma a medida que se mueven hacen que los bordes de estos 45 objetos vayan cambiando de apariencia continuamente. La morfología de los objetos no es un criterio robusto para determinar que un objeto no es un coche porque la aparición y desaparición de sombras, los defectos de los algoritmos de separación entre fondo y primer plano y los defectos de compresión del vídeo ocasionan que los coches parezcan cambiar de morfología desde el punto de vista del algoritmo. 50 WO 9516252 describes a vehicle tracking system that would not give a good performance to follow people or animals, since it is based on calculating the edges of the objects present in the scene and characterizing the objects from them (horizontal and vertical edge element intensity data, see page 6 of the aforementioned document). This would not work well for people or animals, since their small size and shape change as they move cause the edges of these 45 objects to change their appearance continuously. The morphology of the objects is not a robust criterion to determine that an object is not a car because the appearance and disappearance of shadows, the defects of the algorithms of separation between background and foreground and the defects of compression of the video cause that the cars they seem to change morphology from the point of view of the algorithm. fifty

El documento WO 9622588 se circunscribe a la detección de vehículos, y por ello el sistema está diseñado para detectar únicamente objetos que se muevan a lo largo de los carriles de la vía (ver pág. 5 del citado documento, al principio), no siendo aplicable por tanto al problema objeto de la invención que aquí se propone, debido a que los objetos que nos proponemos detectar no cumplen con las condiciones que dicha patente 5 necesita para funcionar correctamente. WO 9622588 is limited to the detection of vehicles, and therefore the system is designed to detect only objects that move along the lanes of the road (see page 5 of the aforementioned document, at the beginning), not being therefore applicable to the problem object of the invention proposed here, because the objects we intend to detect do not meet the conditions that said patent 5 needs to function properly.

En el documento ES 2155017 ("Sistema de visión artificial para la detección de vehículos en sentido contrario en una autovía"), enfocado a la detección de vehículos en sentido contrario, el objetivo del sistema es distinto. Además de nuevo el problema es mas 10 sencillo porque los vehículos son objetos grandes, rígidos y de trayectoria aproximadamente rectilínea, con lo cual son más fáciles de detectar que las personas y animales, que son más pequeños, flexibles y cuyo movimiento es lento y errático. El documento no especifica el procedimiento para seguir los objetos, citando los documentos WO 9516252 y WO 9622588 que como hemos mencionado antes no 15 servirían para resolver el problema objeto de la presente invención. In document ES 2155017 ("Artificial vision system for the detection of vehicles in the opposite direction on a highway"), focused on the detection of vehicles in the opposite direction, the objective of the system is different. In addition, the problem is more simple because vehicles are large, rigid objects with an approximately rectilinear trajectory, which are easier to detect than people and animals, which are smaller, more flexible and whose movement is slow and erratic. . The document does not specify the procedure for following the objects, citing documents WO 9516252 and WO 9622588 which, as we have mentioned before, would not serve to solve the problem object of the present invention.

En el documento US 8078349, la detección de ciertos elementos (por ejemplo, líneas que delimitan el carril de conducción) se determina mediante cámaras en movimiento dentro del vehículo. 20 In US 8078349, the detection of certain elements (for example, lines that delimit the driving lane) is determined by cameras moving inside the vehicle. twenty

Descripción de la invención Description of the invention

La invención aquí propuesta resuelve el problema técnico de localizar e identificar objetos anómalos (peatones y animales) en un entorno no controlado como es el de una vía 25 pública. The invention proposed here solves the technical problem of locating and identifying anomalous objects (pedestrians and animals) in an uncontrolled environment such as that of a public highway.

En particular, la invención pretende detectar peatones y animales que deambulen por la calzada de autovías o autopistas, o sus proximidades. Mediante su uso se podría alertar a las autoridades de tráfico o directamente a los conductores mediante teléfono móvil u 30 otros sistemas de comunicación, de tal manera que la seguridad en este tipo de vías se vería aumentada. El sistema comprende la utilización de una cámara fija, situándose el dispositivo en diferentes puntos de la autovía o carretera. Esto permite que la perspectiva de la escena sea siempre la misma, lo cual conlleva grandes ventajas a la hora de detectar objetos con respecto a la perspectiva dinámica de las cámaras situadas dentro 35 de un vehículo. Es decir, que un sistema basado en cámaras fijas tendrá en términos generales un mejor rendimiento que otro basado en cámaras móviles situadas dentro de los vehículos. In particular, the invention aims to detect pedestrians and animals that roam the highway or highway, or its vicinity. Through its use, traffic authorities or directly drivers could be alerted by mobile phone or other communication systems, so that safety on these types of roads would be increased. The system includes the use of a fixed camera, the device being located at different points of the highway or road. This allows the perspective of the scene to always be the same, which entails great advantages when it comes to detecting objects with respect to the dynamic perspective of the cameras located inside a vehicle. That is, a system based on fixed cameras will generally have a better performance than another based on mobile cameras located within vehicles.

De forma más particular, el sistema comprende una cámara digital que suministra las 40 imágenes a una CPU que implementa un detector de objetos en movimiento. Dicho detector de objetos envía a un módulo de seguimiento de objetos la información de los objetos presentes en cada fotograma. A partir de esta información el módulo de seguimiento identifica las trayectorias y velocidades de los objetos presentes, y suministra esta información a un detector de anomalías, que clasifica los objetos en 45 normales y anómalos. En caso de detectarse algún objeto anómalo (peatón o animal) se envía esta información a un módulo de comunicaciones, que permite alertar, por ejemplo, a las autoridades de tráfico o a los conductores. More particularly, the system comprises a digital camera that supplies the 40 images to a CPU that implements a moving object detector. Said object detector sends to an object tracking module the information of the objects present in each frame. From this information, the tracking module identifies the trajectories and speeds of the present objects, and supplies this information to an anomaly detector, which classifies the objects into normal and anomalous ones. If an anomalous object (pedestrian or animal) is detected, this information is sent to a communications module, which allows, for example, to alert traffic authorities or drivers.

Este entorno tendrá unas características especiales que modelar, como son los cambios 50 de iluminación tanto graduales como repentinos, la aparición de sombras proyectadas en This environment will have special characteristics to model, such as the 50 gradual and sudden lighting changes, the appearance of shadows cast in

el asfalto que pueden provocar una variación en la forma de los objetos si no son evitadas o el solapamiento de varios objetos en movimiento debido a su cercanía en el espacio. Así, la construcción de un modelo de fondo robusto que resuelva estas dificultades hace que se requieran técnicas de aprendizaje probabilísticas diferentes de las convencionales en inteligencia computacional. En concreto, se emplea un algoritmo 5 de aproximación estocástica que es capaz de estimar en tiempo real la media y la matriz de covarianzas del color observado de cada píxel del vídeo. Además, se hace uso de un modelo de seguimiento dinámico que incorpora información de los objetos en movimiento registrados en la escena, eliminándolos cuando desaparezcan de la escena y añadiendo nuevos tras su aparición en la misma. Dicho modelo estima las posiciones y velocidades 10 de los objetos registrados, y almacena los instantes de tiempo previos en los que se han identificado estos objetos, con el fin de eliminarlos del modelo a medida que vayan saliendo de la escena grabada. the asphalt that can cause a variation in the shape of the objects if they are not avoided or the overlapping of several moving objects due to their proximity in space. Thus, the construction of a robust background model that solves these difficulties means that probabilistic learning techniques different from conventional computational intelligence techniques are required. Specifically, a stochastic approximation algorithm 5 is used that is able to estimate in real time the mean and covariance matrix of the observed color of each pixel of the video. In addition, use is made of a dynamic tracking model that incorporates information of moving objects registered in the scene, eliminating them when they disappear from the scene and adding new ones after their appearance in the scene. This model estimates the positions and speeds 10 of the registered objects, and stores the previous instants of time in which these objects have been identified, in order to eliminate them from the model as they leave the recorded scene.

A lo largo de la descripción y las reivindicaciones la palabra "comprende" y sus variantes 15 no pretenden excluir otras características técnicas, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención. Los siguientes ejemplos y figuras se proporcionan a modo de ilustración, y no se pretende que sean limitativos de la presente invención. 20 Throughout the description and the claims the word "comprises" and its variants 15 are not intended to exclude other technical characteristics, components or steps. For those skilled in the art, other objects, advantages and features of the invention will be derived partly from the description and partly from the practice of the invention. The following examples and figures are provided by way of illustration, and are not intended to be limiting of the present invention. twenty

Descripción de las figuras Description of the figures

Figura 1. Esquema global del sistema. Cámara (1), CPU (2), detector de objetos (3), sistema de seguimiento de objetos (4), detector de anomalías (5), módulo de 25 comunicaciones (6). Figure 1. Global scheme of the system. Camera (1), CPU (2), object detector (3), object tracking system (4), anomaly detector (5), 25 communications module (6).

Figura 2. Esquema del detector de objetos. Fotograma (3.1), modelo de fondo (3.2), objetos de primer plano (3.3), características de los objetos (3.4). Figure 2. Scheme of the object detector. Frame (3.1), background model (3.2), foreground objects (3.3), characteristics of objects (3.4).

30 30

Figura 3. Esquema del subsistema de seguimiento de objetos. Asignación de regiones a objetos (4.1), estimación de velocidad y dirección de los objetos (4.2). Figure 3. Scheme of the object tracking subsystem. Assignment of regions to objects (4.1), estimation of speed and direction of objects (4.2).

Modos de realización de la invención Embodiments of the invention

35 35

La constitución y características de la invención se comprenderán mejor con ayuda de la siguiente descripción de ejemplos de realización, debiendo entenderse que la invención no queda limitada a estas realizaciones, sino que la protección abarca todas aquellas realizaciones alternativas que puedan incluirse dentro del contenido y del alcance de las reivindicaciones. Asimismo, el presente documento refiere diversos documentos como 40 estado de la técnica, entendiéndose incorporado por referencia el contenido de todos estos documentos, así como de el contenido completo de los documentos a su vez referidos en dichos documentos, con objeto de ofrecer una descripción lo más completa posible del estado de la técnica en el que la presente invención se encuadra. La terminología utilizada a continuación tiene por objeto la descripción de los ejemplos de 45 modos de realización que siguen y no debe ser interpretada de forma limitante o restrictiva. The constitution and characteristics of the invention will be better understood with the aid of the following description of embodiments, it being understood that the invention is not limited to these embodiments, but that the protection encompasses all those alternative embodiments that may be included within the content and content. scope of the claims. Likewise, the present document refers to various documents such as the state of the art, being understood by reference the content of all these documents, as well as the complete content of the documents referred to in said documents, in order to offer a description of as complete as possible of the state of the art in which the present invention fits. The terminology used below is intended to describe the examples of 45 embodiments that follow and should not be construed as limiting or restrictive.

El esquema global del sistema se representa en la figura 1. El sistema se basa en una cámara digital (1) que suministra las imágenes a una CPU (2) que tiene implementado en 50 hardware un detector de objetos en movimiento (3). Dicho detector de objetos le envía al The overall scheme of the system is represented in Figure 1. The system is based on a digital camera (1) that supplies the images to a CPU (2) that has a moving object detector (3) implemented in 50 hardware. Said object detector sends you to the

módulo de seguimiento de objetos (4) la información de los objetos presentes en cada fotograma. A partir de esta información el módulo de seguimiento identifica las trayectorias y velocidades de los objetos presentes, y suministra esta información al detector de anomalías (5), que clasifica los objetos en normales y anómalos. En caso de detectarse algún objeto anómalo (peatón o animal) se envía esta información al módulo 5 de comunicaciones (6), que mediante una conexión de telefonía móvil da la alerta a las autoridades de tráfico o a los conductores. object tracking module (4) the information of the objects present in each frame. From this information, the tracking module identifies the trajectories and speeds of the present objects, and supplies this information to the anomaly detector (5), which classifies the objects as normal and anomalous. If an anomalous object (pedestrian or animal) is detected, this information is sent to the communications module 5 (6), which, by means of a mobile telephone connection, alerts traffic authorities or drivers.

El esquema del detector de objetos (3) se representa en la figura 2. Dado un fotograma de entrada (3.1) se actualiza el modelo de fondo (3.2) y se estiman los píxeles que 10 pertenecen a objetos de primer plano (3.3), para posteriormente calcular las características de dichos objetos (3.4). The scheme of the object detector (3) is represented in Figure 2. Given an input frame (3.1) the background model (3.2) is updated and the pixels that 10 belong to foreground objects (3.3) are estimated, to later calculate the characteristics of said objects (3.4).

El esquema del subsistema de seguimiento de objetos (4) se representa en la figura 3. Dadas las regiones del fotograma actual que se corresponden con el primer plano, se 15 asignan dichas regiones a los objetos que se están siguiendo (4.1), y después se estiman las velocidades y direcciones de dichos objetos (4.2). The scheme of the object tracking subsystem (4) is represented in Figure 3. Given the regions of the current frame that correspond to the foreground, these regions are assigned to the objects that are being followed (4.1), and then the speeds and directions of said objects are estimated (4.2).

A continuación se procede a una descripción más detallada de la invención: A more detailed description of the invention follows:

20 twenty

• A partir de una cámara integrada en el sistema se tomarán imágenes en tiempo real de la vía analizada. Inicialmente, se construirá un modelo del fondo basado en mixturas probabilísticas que establezca las características de color habituales en cada píxel de la escena, tomando para ello un conjunto inicial de fotogramas. A partir de este conjunto inicial de fotogramas se calcula una estimación inicial de la media y 25 la matriz de covarianzas del color observado en cada píxel. • Real-time images of the analyzed path will be taken from a camera integrated in the system. Initially, a background model based on probabilistic mixtures will be constructed that establishes the usual color characteristics in each pixel of the scene, taking for this an initial set of frames. From this initial set of frames, an initial estimate of the mean and the covariance matrix of the color observed in each pixel is calculated.

• Por cada fotograma de la escena observada procederemos a realizar las siguientes tareas a fin de actualizar el modelo de fondo (3.2) y usarlo para la detección de objetos (3): 30 • For each frame of the observed scene we will proceed to perform the following tasks in order to update the background model (3.2) and use it for object detection (3): 30

o Dado un fotograma de entrada (3.1), se llevará a cabo la detección de los objetos de primer plano (3.3). Dichos objetos serán modelados mediante una distribución uniforme sobre el volumen del espacio tridimensional que representa los posibles colores observables, para poder detectar objetos de cualquier color con la misma 35 eficacia. Se calculará la probabilidad de que cada píxel pertenezca a un objeto de primer plano, y se combinará la información de píxeles próximos para determinar que regiones tienen una alta probabilidad de corresponderse con objetos. La salida tras esta detección será una máscara binaria donde los píxeles activos se corresponderán con los píxeles pertenecientes a objetos en movimiento (3.3). 40 o Given an input frame (3.1), the detection of foreground objects (3.3) will be carried out. These objects will be modeled by a uniform distribution on the volume of the three-dimensional space that represents the possible observable colors, in order to detect objects of any color with the same efficiency. The probability that each pixel belongs to a foreground object will be calculated, and the information of nearby pixels will be combined to determine which regions have a high probability of corresponding with objects. The output after this detection will be a binary mask where the active pixels will correspond to the pixels belonging to moving objects (3.3). 40

o Actualización del modelo de fondo (3.2) mediante el algoritmo de aproximación estocástica de Robbins-Monro, adecuado cuando los datos de entrada se obtienen consecutivamente (fotograma a fotograma) y no por bloques. La información de cada fotograma (3.1) se descartará tras su análisis en cada 45 iteración del algoritmo. Para cada fotograma captado se vuelven a estimar la media y las covarianzas de cada píxel aplicando una tasa de aprendizaje adaptativa que es directamente proporcional a la probabilidad de que el píxel observado sea de fondo. o Update of the background model (3.2) using the Robbins-Monro stochastic approximation algorithm, suitable when the input data is obtained consecutively (frame by frame) and not by blocks. The information of each frame (3.1) will be discarded after its analysis in each iteration of the algorithm. For each frame captured, the mean and covariance of each pixel are re-estimated by applying an adaptive learning rate that is directly proportional to the probability that the observed pixel is in the background.

50 fifty

o Extracción de las características o descriptores fundamentales de los objetos detectados (tamaño, posición y forma) mediante operadores que analizan imágenes binarias (3.4). Se trata de operadores morfológicos que, dada una imagen de ceros y unos que contiene ceros para los píxeles del fondo y unos para los píxeles del primer plano, determinan el número de objetos conexos presentes 5 y sus características anteriormente mencionadas. o Extraction of the fundamental characteristics or descriptors of the detected objects (size, position and shape) by operators that analyze binary images (3.4). These are morphological operators that, given an image of zeros and ones that contain zeros for the background pixels and ones for the foreground pixels, determine the number of related objects present 5 and their aforementioned characteristics.

• Tras detectar las regiones de primer plano se pasará a realizar el seguimiento de los objetos (4) de esta manera: • After detecting the foreground regions, objects (4) will be tracked in this way:

10 10

o Aplicación de un algoritmo de asignación para ver que regiones se corresponden con objetos detectados en el fotograma anterior (4.1). El algoritmo consiste en asignar cada región al objeto registrado cuyo centroide esté mas cerca del centroide de la región. Estos objetos que ya están registrados como objetos en movimiento se incorporarán al modelo de seguimiento basado en un filtro de 15 Kalman con múltiples objetos. Aquellos objetos que aparezcan por primera vez en la escena se registrarán en el modelo, mientras que los que desaparezcan y no vuelvan a aparecer en varios fotogramas consecutivos serán eliminados. o Application of an allocation algorithm to see which regions correspond to objects detected in the previous frame (4.1). The algorithm consists in assigning each region to the registered object whose centroid is closer to the centroid of the region. These objects that are already registered as moving objects will be incorporated into the tracking model based on a 15 Kalman filter with multiple objects. Those objects that appear for the first time in the scene will be registered in the model, while those that disappear and do not appear again in several consecutive frames will be eliminated.

o Cálculo de la velocidad y dirección de los objetos comparando la posición anterior 20 y actual (3.2). Se añadirá esta información a una base de datos de posiciones, tamaños y trayectorias registradas. A partir de dicha base de datos se entrenará una red neuronal artificial para aprender las características habituales de los objetos. Dicha red neuronal será de tipo perceptrón multicapa, cuyas entradas serán las posiciones en el fotograma y las salidas serán las velocidades aparentes 25 habituales de los objetos. El entrenamiento de dicha red se realizará durante un periodo de varias horas anterior a la puesta en funcionamiento definitiva del sistema. o Calculation of the speed and direction of the objects comparing the previous position 20 and current (3.2). This information will be added to a database of registered positions, sizes and trajectories. From this database an artificial neural network will be trained to learn the usual characteristics of the objects. Said neural network will be of the multilayer perceptron type, whose inputs will be the positions in the frame and the outputs will be the usual apparent velocities of the objects. The training of said network will be carried out during a period of several hours prior to the definitive commissioning of the system.

• La detección de anomalías tendrá lugar como sigue (5): 30 • The anomaly detection will take place as follows (5): 30

o Todo objeto que en un instante dado tenga unas características que difieran en una cantidad prefijada de las predichas por la red neuronal será declarado anómalo. Esta cantidad será determinada tras el proceso de entrenamiento y antes de la puesta en funcionamiento del sistema, dependiendo de las 35 características de la escena. En esta parte del sistema no es necesario mantener el seguimiento del objeto durante varios fotogramas, dado que la creación de la base de datos y la detección de anomalías se hace con la información correspondiente a dos fotogramas sucesivos. Por tanto, no se sigue el procedimiento habitual de analizar la trayectoria de un objeto a lo largo de muchos 40 fotogramas, lo cual redunda en una mayor robustez del sistema a la hora de detectar personas o animales que por sus cambios de apariencia y de trayectoria son fáciles de perder durante algunos fotogramas. o Any object that at any given time has characteristics that differ in a predetermined amount from those predicted by the neural network will be declared anomalous. This amount will be determined after the training process and before the system is put into operation, depending on the characteristics of the scene. In this part of the system it is not necessary to keep track of the object for several frames, since the creation of the database and the detection of anomalies is done with the information corresponding to two successive frames. Therefore, the usual procedure of analyzing the trajectory of an object over many 40 frames is not followed, which results in a greater robustness of the system when it comes to detecting people or animals than by their changes in appearance and trajectory They are easy to lose during some frames.

• En caso de que el sistema detecte un comportamiento anómalo, como ejemplo el 45 caminar por el arcén de un peatón o animal, será comunicado a un agente exterior al sistema (6). • In the event that the system detects an abnormal behavior, as an example of walking on the sidewalk of a pedestrian or animal, it will be communicated to an agent outside the system (6).

Como ejemplo final, a continuación se indican las especificaciones técnicas de una realización concreta de la invención: 50 As a final example, the technical specifications of a specific embodiment of the invention are indicated below:

• El sistema propuesto consta de una cámara digital de resolución 640 x 480 píxeles, que captura 50 fotogramas por segundo en RGB. La CPU es una Raspberry Pi de 512 MB de memoria RAM que está montada en una caseta adecuadamente cerrada para protegerla de la intemperie, y que es alimentada a 5 V por un módulo solar ubicado en el mismo lugar. Dicha CPU recibe las imágenes de la cámara mediante 5 un interfaz CSI. Como almacenamiento no volátil la CPU dispone de una tarjeta SDHC de 64 GB, en el que se almacenan los fotogramas durante su procesamiento y se almacena el software necesario, incluyendo un sistema operativo Linux. La detección de objetos está implementada mediante aceleración de gráficos por hardware (GPU). El módulo de comunicaciones se implementa mediante un teléfono 10 móvil conectado a la Raspberry Pi por USB. El teléfono móvil se conecta a su vez con una antena direccional tipo Yagi-Uda instalada en el exterior de la caseta. • The proposed system consists of a 640 x 480 pixel resolution digital camera, which captures 50 frames per second in RGB. The CPU is a Raspberry Pi of 512 MB of RAM that is mounted in a properly enclosed booth to protect it from the weather, and that is powered at 5 V by a solar module located in the same place. This CPU receives the images from the camera through a CSI interface. As non-volatile storage, the CPU has a 64 GB SDHC card, in which the frames are stored during processing and the necessary software is stored, including a Linux operating system. Object detection is implemented by hardware graphics acceleration (GPU). The communications module is implemented by a mobile phone 10 connected to the Raspberry Pi via USB. The mobile phone is connected in turn with a Yagi-Uda type directional antenna installed outside the booth.

Claims

1. Procedure for detecting anomalous objects (pedestrians or animals) on highways or motorways characterized by:

5

to. An image capture stage in which images are taken in real time from the path analyzed by a camera (1);

b. An object detection stage in which, by means of an object detection module (3), given an input frame (3.1), the background model 10 (3.2) is updated and the pixels belonging to objects of foreground (3.3) to later calculate the characteristics of said objects (3.4);

C. An object tracking stage in which, by means of an object tracking module (4), a dynamic tracking model is implemented that incorporates 15 information of moving objects registered in the scene, assigning regions to objects (4.1), eliminating them when they disappear from the scene and adding new objects after their appearance on the scene, estimating the positions and speeds of the registered objects (4.2); Y

twenty

d. An anomalous object detection stage which, by means of an anomalous object detection module (5), classifies the detected objects as normal or anomalous according to the information recorded.

2. Method according to the preceding claim characterized in that the step of detecting objects comprises

to. the generation of a background model (3.2) based on probabilistic mixtures that establish the usual color characteristics in each pixel of the scene, taking for this an initial set of frames (3.1) from which an initial estimate of the mean and covariance matrix of the color observed in each pixel of each frame (3.1);

b. the detection of the foreground objects (3.3) for each input frame (3.1), the detected objects being modeled by a uniform distribution 35 on the volume of the three-dimensional space that represents the possible observable colors to be able to detect objects of any color with the same efficiency, calculating the probability that each pixel belongs to a foreground object, and combining the information of nearby pixels to later determine which regions have a high probability of corresponding with 40 objects (4.1), generating a binary mask where Active pixels will correspond to the pixels belonging to moving objects.

C. The background model (3.2) is updated by means of a stochastic approximation algorithm, discarding the information of each frame (3.1) after its analysis in each iteration of the algorithm, so that for each captured frame the average is re-estimated and covariance of each pixel by applying an adaptive learning rate that is directly proportional to the probability that the observed pixel is in the background;

fifty

d. The extraction of the fundamental characteristics or descriptors of the detected objects (size, position and shape) by operators that analyze binary images (3.4).

3. Method according to the preceding claim characterized in that the update 5 of the background model (3.2) is performed by the Robbins-Monro stochastic approximation algorithm, suitable when the input data is obtained consecutively (frame by frame) and not by blocks

Method according to any one of claims 1 to 3, characterized in that the operators that analyze the binary images are morphological operators that, given an image of zeros and ones that contain zeros for the background pixels and some for the foreground pixels , determine the number of related objects present and their characteristics mentioned above.

fifteen

5. Method according to any of claims 1 to 4 characterized in that the object tracking stage comprises

o The assignment of regions to objects (4.1) by applying an allocation algorithm to see which regions correspond to objects detected in the previous 20 frame, said algorithm assigning each region to the registered object whose centroid is closer to the centroid of the region;

o And the calculation of the speed and direction of the objects (3.2) comparing the previous and current position. 25

Method according to the preceding claim characterized in that the objects that are already registered as moving objects are incorporated into the tracking model based on a Kalman filter with multiple objects, so that those objects that appear for the first time in the scene are will be registered in the model, 30 while those that disappear and do not appear again in several consecutive frames will be eliminated.

Method according to any one of claims 1 to 6, characterized in that the anomaly detection step comprises classifying as anomalous any object that at a given time has characteristics that differ in a predetermined amount from the characteristics predicted from the information. generated in the object tracking stage.

Method according to any one of claims 6 or 7, characterized by the speed and direction calculated for the objects (3.2) are stored in a database of registered positions, sizes and trajectories.

9. Method according to the preceding claim characterized in that a multilayer perceptron type artificial neural network is trained from the database to learn the usual characteristics of the objects, whose inputs are the positions in the frame and the outputs are the speeds usual apparent objects, and which aims to predict the characteristics against which the observed characteristics of the objects are confronted to determine if they differ by a predetermined amount. fifty

Method according to any one of the preceding claims, characterized in that it also comprises a communication stage, by means of a communications module, which allows to inform, notify or alert about the presence of an anomalous object.

5