ES2930674T3 - Método y sistema para detectar una señal ferroviaria - Google Patents
Método y sistema para detectar una señal ferroviaria Download PDFInfo
- Publication number
- ES2930674T3 ES2930674T3 ES19179792T ES19179792T ES2930674T3 ES 2930674 T3 ES2930674 T3 ES 2930674T3 ES 19179792 T ES19179792 T ES 19179792T ES 19179792 T ES19179792 T ES 19179792T ES 2930674 T3 ES2930674 T3 ES 2930674T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- signal
- railway
- train
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 9
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 244000097202 Rathbunia alamosensis Species 0.000 description 1
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0058—On-board optimisation of vehicle or vehicle train operation
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
Método para detectar una señal ferroviaria, que está asociada con la vía férrea que utiliza un tren, a) tomando al menos una imagen bidimensional (It) de un tren con un sensor de imagen ubicado en o sobre el tren que genera una imagen de las vías del tren y las señales que se aproximan, b) usando un método de clasificación para identificar las regiones de la imagen (Tt) correspondientes a las vías del tren y las regiones de la imagen (St) correspondientes a las señales dentro de la imagen (It), c) entre dicha imagen identificada regiones (Tt) correspondientes a las vías del tren, seleccionando la región de la imagen (Tc), que corresponde a la vía del tren que utiliza el tren, en particular mediante la identificación de la vía del tren, que pasa por una región predefinida de la imagen, y/o - tener el área máxima o el tamaño de píxel entre las vías férreas identificadas en el paso b),d) para cada una de las regiones de la imagen (St) correspondientes a una señal:- estimar los puntos proyectados de las señales y/o la trayectoria proyectada de la vía férrea seleccionada (TC) en un plano de proyección común, en particular un plano de tierra, preferiblemente estimar la posición de un punto de tierra (Gt) de la señal respectiva dentro de la imagen (It),e) estimar una transformación de perspectiva (R) para transformar la imagen (It) en el plano de proyección común, preferiblemente en una imagen a vista de pájaro (IB), en base a las propiedades visuales de la imagen y/o las propiedades de montaje del sensor de imagen, f) aplicar la transformación de perspectiva a la región de imagen seleccionada (TC) o partes de la misma, en particular una ruta central dentro de la vía férrea, y- a los puntos proyectados,yg) determinar uno o más puntos proyectados (Gt) que tienen una distancia mínima y/o una distancia inferior a una distancia umbral predefinida y/o ubicación relativa a la región de imagen seleccionada (TC) bajo dicha transformación de perspectiva (R) e identificar las señales y/o regiones de imagen (St) correspondientes a señales asociadas con estos puntos proyectados dentro de la imagen (It). (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Método y sistema para detectar una señal ferroviaria
Sector de la técnica
La invención se refiere a un método y un sistema para la detección de señales ferroviarias relevantes para la vía férrea que usa un tren en ese momento.
Más particularmente, la invención se refiere a un método y sistema para detectar automáticamente si una señal está presente y es relevante para la vía férrea que está usando, en realidad, un tren. Si fuera necesario, la determinación del estado real de la señal, por ejemplo, una parada (habitualmente roja), una marcha (habitualmente verde) u otro estado es posible después de que se haya detectado la señal relevante.
Estado de la técnica
Para los fines de esta solicitud el término “señal” se define y se entenderá como señal ferroviaria.
El método general puede usarse para ayudar a un conductor de tren a encontrar la señal relevante para el tren respectivo y para evitar fallos humanos debidos a una interpretación errónea de las señales. Tal interpretación errónea puede producirse en particular en las redes ferroviarias que tienen muchas señales para diferentes vías férreas que son visibles al mismo tiempo. Alternativamente, el método también puede usarse para proporcionar información de señal relevante y derivada para el funcionamiento automático del tren.
Al conducir un tren a través de una región de una red ferroviaria con múltiples vías férreas paralelas, existe una mayor probabilidad de que el conductor del tren identifique erróneamente una señal, que es relevante para la vía férrea actual del tren. Tal interpretación errónea puede dar lugar a paradas innecesarias del tren, a la aplicación de un frenado de emergencia o incluso a accidentes cuando, por ejemplo, se ignora una señal de parada.
La identificación de la posición relativa de la señal con respecto a la vía férrea, así como la determinación del estado de la señal también es de gran importancia para el funcionamiento automático del tren.
Por este motivo, un objetivo de la invención es detectar automáticamente las señales asociadas a la vía férrea real que está usando el tren en ese momento, en particular para ayudar al conductor o para el funcionamiento automático del tren.
Actualmente, en el campo de la invención existen muchos tipos diferentes de métodos disponibles para proporcionar información sobre vías férreas usando imágenes tridimensionales de la escena que rodea al tren. Tales métodos tienen el inconveniente de que requieren, por ejemplo, sensores de obtención de imágenes estereoscópicas; el uso de tales sensores implica además un proceso de instalación y calibración complejo y, por tanto, propenso a errores que debe llevarse a cabo durante el montaje. Además, los sistemas de sensores tridimensionales pierden sus beneficios a medida que la distancia de los objetos representados a partir de los sensores aumenta más allá de un límite específico; sin embargo, estar más allá de tales límites podría ser el caso para la aplicación práctica de la invención.
Sin embargo, para el uso de la invención, es suficiente con disponer de una cámara bidimensional estándar, por ejemplo, una cámara de exploración de área como sensor de imagen, que produce imágenes bidimensionales. Tales sensores de imagen se encuentran ampliamente disponibles, son fáciles de ensamblar y, en general, son más sencillos y fiables que otros sistemas para la percepción ambiental tridimensional, por ejemplo, los sensores LIDAR. Sina Aminmansour: “Video Analytics for the Detection of Nearmiss Incidents at Railway Level Crossings and Signal Passed at Danger Events”, Universidad Tecnológica de Queensland, 10 de octubre de 2017, disponible en: https://eprints.qut.edu.au/112765/1/Sina_Aminmansour_Thesis.pdf (último acceso el 18 de marzo de 2021) da a conocer un método y un sistema para detectar señales ferroviarias asociadas con vías férreas usadas por un tren en ese momento en base a imágenes bidimensionales tomadas por una cámara instalada en el tren. Se identifican la vía férrea que usa el tren en ese momento y las señales en la imagen y se identifica la colocación de las señales con respecto a las vías férreas. En base a la información, si se coloca una señal a la izquierda o a la derecha de las vías férreas se decide si la señal pertenece a la vía relevante del tren.
Objeto de la invención
Por tanto, el objetivo de la invención es proporcionar un método sencillo y robusto para la identificación de señales que están asociadas con la vía férrea usada por un tren en ese momento, en particular solo en base a una imagen generada por un sensor de imagen monocular.
La invención resuelve este problema usando un método de la reivindicación 1 para detectar una señal, que está asociada con la vía férrea que usa un tren; este método comprende las siguientes etapas:
a) tomar al menos una imagen bidimensional del tren con un sensor de imagen que está ubicado dentro de o en el tren que genera una imagen de las vías férreas y señales que se aproximan,
en donde el sensor de imagen está montado dentro de o en el tren de manera que su eje y está alineado de manera sustancialmente vertical, y su eje x está alineado de manera sustancialmente horizontal,
b) usar un método de clasificación para identificar regiones de imagen correspondientes a vías férreas y regiones de imagen correspondientes a señales dentro de la imagen,
c) entre dichas regiones de imagen identificadas correspondientes a las vías férreas, seleccionar la región de imagen que corresponde a la vía férrea que está usando el tren, en particular mediante la identificación de la vía férrea
- que pasa por una región predefinida de la imagen, y/o
- que tiene el área o tamaño de píxel máximos entre las vías férreas identificadas en la etapa b),
d) para cada una de las regiones de imagen correspondientes a una señal:
- estimar los puntos proyectados de las señales y la trayectoria proyectada de la vía férrea seleccionada en un plano de proyección común, en particular un plano de tierra,
en donde el punto proyectado de la señal se estima como la posición de un punto de tierra de la señal respectiva dentro de la imagen,
- en donde el punto de tierra es el punto dentro de la imagen que representa un punto de superficie, que está directamente debajo de la señal respectiva, y
- en donde la altura y la anchura de los paneles de la señal (S) respectiva son conocidos o estimados por la forma y/o el contenido de la región de imagen de la señal,
en donde la determinación del punto de tierra de la señal (S) comprende las siguientes etapas:
- determinar una altura ht de píxel y una anchura wt de píxel de la región de imagen de la señal de la siguiente manera:
- contar un número de píxeles A correspondientes a la región de imagen de la señal
- determinar la anchura wt de píxel de la región de imagen de la señal usando la relación:
- determinar la altura ht de píxel de dicha región de imagen de la señal usando una relación r conocida entre la altura y la anchura del panel de la señal,
- calcular una distancia dt de y desde el borde inferior de la región de imagen de la señal hasta el punto de tierra respectivo desde la altura ht de píxel que corresponde a la altura conocida de la señal usando la relación:
dt = altura de montaje * ht / altura de señal
- definir las coordenadas del punto de tierra en base al borde inferior de la región de imagen de la señal así como un centro horizontal de la región de imagen de la señal de la siguiente manera:
Gt = [ x ffl/t; y i , t - d t ]
- en donde la posición y1,t de borde inferior de la región de imagen de la señal se define como la posición de y más alta o más baja, dependiendo de la orientación del eje y del sensor de imagen, y
- en donde el centro xm,t horizontal de la región (St) de imagen de la señal se define como la coordenada x del centroide de la región de imagen de la señal,
e) estimar una transformación de perspectiva para transformar la imagen en el plano de proyección común, preferiblemente en una imagen a vista de pájaro, en base a las propiedades visuales de la imagen y/o las propiedades de montaje del sensor de imagen,
f) aplicar la transformación de perspectiva
- a la región de imagen seleccionada o a partes de la misma, en particular una trayectoria central dentro de la vía férrea, y
- a los puntos proyectados, y
g) determinar uno o más puntos proyectados que tengan una distancia mínima y/o una distancia inferior a una distancia umbral predefinida y/o colocación relativa a la región de imagen seleccionada bajo dicha transformación de perspectiva e identificar las señales y/o regiones de imagen correspondientes a señales asociadas con estos puntos proyectados dentro de la imagen. Los criterios para determinar dicha asociación pueden estar regidos por restricciones normativas y/o restricciones definidas por el operario de la red ferroviaria.
La invención resuelve adicionalmente este problema usando un sistema de la reivindicación 3.
Un sistema de este tipo está diseñado para detectar una señal ferroviaria que está asociada con la vía férrea que usa un tren. El sistema comprende:
- un sensor de imagen montado o que puede montarse dentro de o en el tren que está dispuesto para tomar al menos una imagen bidimensional de las vías férreas y señales que se aproximan, en donde el sensor de imagen está montado dentro de o en el tren de manera que su eje y está alineado de manera sustancialmente vertical, y su eje x está alineado de manera sustancialmente horizontal, y
- una unidad de procesamiento que está conectada al sensor de imagen que está programado para ejecutar las siguientes etapas:
b) usar un método de clasificación para identificar regiones de imagen correspondientes a vías férreas y regiones de imagen correspondientes a señales dentro de la imagen,
c) entre dichas regiones de imagen identificadas correspondientes a vías férreas, seleccionar la región de la imagen que corresponde a la vía férrea que usa el tren, en particular mediante la identificación de la vía férrea
- que pasa por una región predefinida de la imagen, y/o
- que tiene el área o tamaño de píxel máximos entre las vías férreas identificadas en la etapa b),
d) para cada una de las regiones de imagen correspondientes a una señal:
- estimar los puntos proyectados de las señales y la trayectoria proyectada de la vía férrea seleccionada en un plano de proyección común, en particular un plano de tierra, en donde el punto proyectado de la señal se estima como la posición de un punto de tierra de la señal respectiva dentro de la imagen,
- en donde el punto de tierra es el punto dentro de la imagen que representa un punto de superficie, que está directamente debajo de la señal respectiva, y
- en donde la altura y la anchura de los paneles de la señal respectiva son conocidos o estimados por la forma y/o el contenido de la región de imagen de la señal,
- en donde la determinación del punto de tierra de la señal (S) comprende las siguientes etapas:
- determinar una altura ht de píxel y una anchura wt de píxel de la región de imagen de la señal de la siguiente manera:
- contar un número de píxeles A correspondientes a la región de imagen de la señal
- determinar la anchura wt de píxel de la región (St) de imagen de la señal usando la relación:
- determinar la altura ht de píxel de dicha región de imagen de la señal usando una relación r conocida entre la altura y la anchura del panel de la señal,
- calcular una distancia dt de y desde el borde inferior de la región de imagen de la señal hasta el punto de tierra respectivo desde la altura ht de píxel que corresponde a la altura conocida de la señal (S) usando la relación:
dt = altura de montaje * ht / altura de señal
- definir las coordenadas del punto (Gt) de tierra en base al borde inferior de la región de imagen de la señal así como un centro horizontal de la región de imagen de la señal de la siguiente manera:
Gt = [ x m, t ; y i , t - d t ]
- en donde la posición y1,t de borde inferior de la región de imagen de la señal se define como la posición de y más alta o más baja, dependiendo de la orientación del eje y del sensor de imagen, y
- en donde el centro xm,t horizontal de la región de imagen de la señal se define como la coordenada x del centroide de la región de imagen de la señal,
e) estimar una transformación de perspectiva para transformar la imagen en el plano de proyección común, preferiblemente en una imagen a vista de pájaro, en base a las propiedades visuales de la imagen y/o las propiedades de montaje del sensor de imagen,
f) aplicar la transformación de perspectiva
- a la región de imagen seleccionada o a partes de la misma, en particular una trayectoria central dentro de la vía férrea, y
- a los puntos proyectados, y
g) determinar uno o más puntos proyectados que tengan una distancia mínima y/o una distancia inferior a una distancia umbral predefinida y/o colocación relativa a la región de imagen seleccionada bajo dicha transformación de perspectiva e identificar las señales y/o regiones de imagen correspondientes a señales asociadas con estos puntos proyectados dentro de la imagen.
Los criterios para determinar dicha asociación pueden estar regidos por restricciones normativas y/o restricciones definidas por el operario de la red ferroviaria.
La invención puede usarse cuando un tren está en una vía férrea. Las señales que están asignadas o asociadas con la vía férrea respectiva normalmente se colocan en posiciones predefinidas con respecto a la vía férrea. Estas posiciones generalmente están determinadas por las normas de una regulación de señales y/o el operario de la red ferroviaria. Por ejemplo, estas posiciones predefinidas de las señales pueden estar en el lado a mano derecha de dicha vía férrea. Por tanto, los estados respectivos de estas señales que se encuentran en esta posición predefinida con respecto a la vía férrea son válidos para el tren respectivo.
Adicionalmente, las señales que no se colocan en posiciones predefinidas y que no coinciden con otros criterios de asociación definidos en las normas vigentes para una vía férrea dada, no son relevantes para los trenes en esta vía férrea. Mediante el uso de la invención se evita o minimiza el fallo humano. En particular, pueden evitarse situaciones en las que el conductor ignora una señal relevante para el tren, o en las que el conductor considera incorrectamente relevante la señal de otra vía férrea. Además, la información de señal relevante y derivada de la región de imagen que contiene la señal es de uso particular para la operación automática del tren.
Las siguientes etapas pueden usarse para evitar adicionalmente detecciones de falsos positivos de señales que no son relevantes para la vía férrea real. Estas etapas comprenden:
- proporcionar un mapa de la red ferroviaria que incluya las posiciones de las vías férreas y las señales, en donde cada señal está asociada con una vía férrea, y
- localizar la posición del tren en el mapa ferroviario y, en particular, la vía férrea que está usando,
- usar el mapa para determinar la posición de la señal que se aproxima asociada con la vía férrea que se está usando, y
- solo si la señal que se aproxima está dentro de una región predeterminada frente al tren tomar una imagen y realizar las etapas a) a g) de la reivindicación 1.
Por la misma razón, el sistema según la invención puede mejorarse mediante una unidad de geolocalización conectada a la unidad de procesamiento, en la que
- la unidad de procesamiento comprende además una memoria para un mapa de la red ferroviaria que incluye las posiciones de las vías férreas y las señales, en donde cada señal está asociada con una vía férrea, y
- la unidad de procesamiento está programada adicionalmente para ejecutar las siguientes etapas:
- encontrar la posición del tren proporcionada por la unidad de geolocalización dentro del mapa ferroviario y, en particular, la vía férrea que está usando,
- usar el mapa para determinar la posición de la señal que se aproxima asociada con la vía férrea que está usando, y
- solo si la señal que se aproxima está dentro de una región predeterminada frente al tren tomar una imagen y ejecutar las etapas b) a g) de la reivindicación 3.
La siguiente descripción detallada de realizaciones preferidas de la invención tiene una naturaleza meramente a modo de ejemplo y no pretende limitar la invención o la aplicación y los usos de la invención. La invención se describirá con referencia a las siguientes figuras que se proporcionan únicamente a modo de explicación. El alcance de protección se define por las reivindicaciones.
Descripción de las figuras
La figura 1 muestra una imagen típica tomada desde un tren.
La figura 2 muestra esquemáticamente la detección de vías férreas y señales.
La figura 3 muestra esquemáticamente un ejemplo para el cálculo de la posición de los puntos de tierra de las señales dentro de la imagen.
La figura 4 representa esquemáticamente una transformación de imagen en perspectiva de la imagen de la figura 1 en una imagen a vista de pájaro.
La figura 5 muestra un mapa tal como se usa en una segunda realización ventajosa de la invención que usa información de geolocalización del tren y las señales.
Descripción detallada de la invención
En una primera etapa (a) un sensor de imagen, que está ubicado dentro de o en el tren y que está al menos parcialmente dirigido en la dirección de marcha del tren, es decir, la dirección de desplazamiento o movimiento del tren, toma imágenes It bidimensionales del área circundante, en particular de la vía férrea y de las señales. Tales sensores de imagen pueden montarse simplemente en la parte frontal del tren.
Un ejemplo de tal imagen It se muestra en la figura 1. La imagen contiene regiones T1, ..., T4 de vía férrea, cada una de las cuales representa una vía férrea. Además, la imagen It contiene regiones S1, ..., S4 de señal, cada una de las cuales muestra una señal.
La imagen del sensor de imagen se transmite a una unidad de procesamiento, que se usa para ejecutar además las siguientes etapas (b) a (g).
En una segunda etapa (b) se usa un método de clasificación para detectar automáticamente las regiones T1, ..., T4 de vía férrea y las regiones S1, ..., S4 de señal. Las vías férreas pueden detectarse o bien usando enfoques clásicos, por ejemplo, mostrados en Rui Fan y Naim Dahnoun “Real-Time Stereo Vision-Based Lane Detection System”, 2018 o Han Ma et al. “Multiple Lane Detection Algorithm Based on Optimised Dense Disparity Map Estimation”, 2018. Los enfoques clásicos generalmente extraen primero los bordes o las líneas de las regiones de vías férreas y luego aplican ajuste de curvas para refinar las vías férreas.
Alternativamente, también es posible usar algoritmos de aprendizaje automático, que, por ejemplo, forman a una red neuronal de extremo a extremo para segmentar las vías férreas desde el fondo; tales métodos se conocen por la técnica anterior, en particular por Davy Neven, Bert De Brabandere, Stamatios Georgoulis, Marc Proesmans y Luc Van Gool “Towards End-to-End Lane Detection: an Instance Segmentation Approach”, 2018 o Min Bai et al. “Deep Multi-Sensor Lane Detection”, 2018.
En ambos casos se usa un método de clasificación para identificar las regiones Tt correspondientes a las vías férreas y las regiones St correspondientes a las señales en la imagen It tomada por el sensor de imagen. Sin embargo, a partir de este resultado todavía no es posible determinar qué señales son relevantes para el conductor o para la vía férrea que se usa realmente.
Para determinar las señales relevantes, se determina la posición de la vía férrea real dentro de la imagen. Por tanto, se identifican las regiones de la vía férrea actual, es decir, la vía Tc férrea que se usa realmente por el tren.
La vía Tc férrea usada por el tren y la región respectiva de la vía Tc férrea dentro de la imagen It pueden encontrarse buscando una de las regiones Tt de vía férrea que contiene vías férreas ya identificadas en la etapa (b) que atraviesa o se superpone con un área Ap de imagen predefinida tal como se muestra en la figura 2. Esta área Ap de imagen normalmente depende de la orientación del sensor de imagen dentro del tren. Si un sensor de imagen se dirige directamente en la dirección del movimiento, el área Ap de imagen predefinida está en el centro de la parte inferior de la imagen It. El área Ap de imagen puede definirse fácilmente después de montar el sensor de imagen dentro de o en el tren buscando una región de la imagen que esté cerca del tren y que muestre una parte de la vía férrea, independientemente de la curvatura de la vía férrea.
Alternativamente, también es posible buscar las regiones Tt que tengan el área máxima o que contengan el máximo de píxeles entre las vías férreas identificadas en la etapa (b). Como la vía férrea usada en este momento está cerca del sensor de imagen, normalmente cubre una región más grande dentro de la imagen It que las otras regiones de vía férrea.
En esta realización preferida de la invención, la vía férrea identificada en la etapa (c) está representada por una trayectoria Pc central.
Para determinar las señales relevantes para la vía Tc férrea identificada en la etapa (d) se estiman las posiciones de los puntos G1, ..., G4 de tierra de las señales St con respecto a la imagen It. Como muchas señales están montadas en postes, el punto G1, ..., G4 de tierra es el punto dentro de la imagen que muestra el punto base del poste. Más generalmente, el punto de tierra es el punto dentro de la imagen It que representa un punto de superficie, que está directamente debajo de la señal S respectiva, incluso si la señal no está montada en un poste sino, por ejemplo, montada en una infraestructura elevada.
Para determinar el punto G1, ..., G4 de tierra, normalmente se necesitan los siguientes requisitos previos. En primer lugar, se conoce el tamaño, es decir, la altura y la anchura, de los paneles de las señales. Si hay diferentes tipos de señales disponibles, primero debe estimarse dicho tipo por la forma y/o el contenido de la región de imagen de la señal.
Por ejemplo, un tipo habitual de señal podría tener un panel rectangular de 1,4 metros de alto y 0,7 metros de ancho. Además, la señal normalmente podría montarse a una altura de 4,85 metros a 6,95 metros (véase la figura 3).
Además, se asume que el sensor de imagen está montado en el tren de manera que su eje y está alineado verticalmente, al menos de manera aproximada, y su eje x está alineado horizontalmente, al menos de manera aproximada.
La altura ht y la anchura wt de la región de imagen de la señal pueden obtenerse mediante diferentes métodos, tales como la detección de un cuadro delimitador paralelo al eje, etc.
La altura ht de píxel y la anchura wt de la región St de imagen de la señal se determinan de la siguiente manera: como ya se mencionó, la relación r entre la altura y la anchura del panel de la señal se conocen inicialmente, por ejemplo en el caso anterior 2:1. A continuación, se cuenta el número de píxeles A correspondientes a la región St de imagen de la señal. Usando la relación A = wt*ht = wt*wt*r, la anchura wt de píxel de la región St de imagen de la señal puede determinarse fácilmente. En consecuencia, puede determinarse la altura ht de píxel de dicha región St de señal.
Como la altura ht de píxel corresponde a la altura ht conocida de la señal, puede calcularse fácilmente la distancia dt de y desde el borde inferior de una región St de imagen hasta el punto Gt de tierra respectivo. Dado que la región St de imagen tiene una altura de píxel de 56 px, además de las especificaciones anteriores para las señales, la distancia dt de y entre el borde inferior de la región St de imagen y el punto Gt de tierra se calcula de la siguiente manera:
dt = [4,85, 6,95] m * 56 px / 1,4 m = [194, 278] px.
Esto significa que el punto de tierra está en una posición entre 194 px y 278 px debajo del borde inferior de la región St de imagen de la señal. Para simplificar los cálculos, puede usarse una altura de poste promedio, por ejemplo, de 6 metros, lo que conllevaría una distancia dt de y de 240 px.
Para definir las coordenadas del punto de tierra, debe encontrarse el borde inferior de la región de señal, así como el centro horizontal de la región de señal. La posición yl,t de borde inferior se define como la posición de y más alta o más baja, dependiendo de la orientación del eje y del sensor de imagen. El centro xm,t horizontal de la región de
señal se define como la coordenada x del centroide de la región de señal. La posición del punto Gt de tierra se define de la siguiente manera:
Gt = [ x m, t ; Y i , t - d t ]
En general, el punto Gt de tierra puede determinarse calculando una desviación desde una posición de imagen dentro de la región de la señal St, en donde la desviación se define por el tamaño, en particular por una longitud en la región de señal St. Por ejemplo, el punto Gt de tierra puede determinarse calculando la anchura y la altura de un cuadro delimitador rectangular que es paralelo a los ejes de la imagen.
Incluso si los puntos Gt de tierra se determinaron dentro de la imagen It, todavía no es posible determinar la señal que está más cerca de la vía férrea real directamente a partir de la imagen, porque la imagen tomada por el sensor de imagen está distorsionada, es decir, las distancias dentro de la imagen no están directamente relacionados con las distancias de los objetos representados en la imagen.
Tal como se muestra, la posición de un punto Gt de tierra debajo de la señal se estimó a partir de la imagen mediante la proyección de la señal dentro de la imagen It al plano de tierra.
En lugar de una proyección a un plano de tierra, también es posible usar cualquier otro plano como plano de proyección. En este caso, la trayectoria Pc de la vía férrea seleccionada y la posición de las señales se proyectan en este plano.
Por este motivo, en una etapa (e) posterior se determina una transformación R de perspectiva, mediante la cual es posible transformar la imagen It de sensor en el plano de proyección; dado que este plano de proyección es, en este mismo ejemplo, paralelo al plano de tierra, la transformación devuelve una imagen Ib a vista de pájaro. La transformación R es una transformación de perspectiva, que se basa en las propiedades visuales de la imagen y/o las propiedades de montaje del sensor de imagen. Un método particular para determinar la transformación R es encontrar una región Rt trapezoidal dentro de la región Tc de la vía férrea real. Basándose en las propiedades de montaje del sensor de imagen y la suposición de un lecho de vía suficientemente plano y uniforme, está claro que esta región Rt trapezoidal normalmente cubre una región Rr rectangular dentro de una imagen Ib a vista de pájaro. Incluso si la vía férrea es curva, existe una región cerca del tren, que es lo suficientemente recta para obtener una estructura trapezoidal aproximada. La transformación de perspectiva se define de tal manera que transforma al menos una parte trapezoidal de la región Tc de la vía férrea real en una región rectangular dentro de la imagen Ib a vista de pájaro.
Incluso si no se requiere transformar la imagen It global en la imagen Ib a vista de pájaro, dicha imagen Ib se muestra por motivos de claridad en la figura 4. Para determinar las señales que se asignan a la vía férrea real que se usa por el tren, la transformación R de perspectiva se aplica en una etapa (f) adicional a la vía férrea seleccionada, en particular a una trayectoria P1,..., P4 central dentro de la vía férrea, y a los puntos de tierra que se determinaron en la etapa (d). A partir de estos datos, es posible determinar las distancias del mundo real, o al menos es posible comparar las distancias de los puntos de tierra con la vía férrea real.
Para encontrar las señales relevantes, que están asociadas con la vía férrea usada, puede detectarse el punto Gt de tierra que tiene la menor distancia en comparación con los otros puntos Gt de tierra bajo dicha transformación R de perspectiva. Alternativa o adicionalmente, un punto Gt de tierra y su señal St respectiva deben asociarse con la vía férrea real solo si la distancia desde el punto Gt de tierra hasta la región, en particular la trayectoria Pc, de la vía St férrea seleccionada bajo dicha transformación R de perspectiva está por debajo de una distancia umbral predefinida. En general, también es posible que una normativa establezca reglas más complicadas relacionadas con la asociación de señales con vías férreas. Estas normativas pueden basarse en las distancias determinadas y/o la colocación relativa, por ejemplo, a la derecha o a la izquierda de la vía férrea, únicamente. Sin embargo, también es posible que existan normas más complejas relacionadas con la asociación de vías férreas y señales que se basan en una secuencia de detecciones o la posición del tren y la señal en la red ferroviaria. Estas normas pueden basarse en distancias, colocación relativa y secuencias de señales en la vía férrea.
Una segunda realización avanzada de la invención usa el método descrito anteriormente para determinar imágenes de señales que están asociadas con la vía férrea real. Además, esta realización también se basa en un mapa de geolocalización, que contiene la ubicación de las vías tA, ..., tG férreas, así como la posición Sa, ..., Sl de las señales (figura 5).
Para esta segunda realización se usa una unidad de geolocalización, estando la unidad de geolocalización conectada o integrada en la unidad de procesamiento. La unidad de geolocalización proporciona la geolocalización real del tren que se procesa adicionalmente por la unidad de procesamiento de la siguiente manera.
Cuando el tren está en la vía Te férrea, en particular se mueve en la vía férrea, sus posiciones geográficas (representadas por puntos en la figura 5) se determinan usando métodos de geolocalización, tal como el sistema de navegación por satélite global (GNSS) o la localización y mapeo simultáneos (SLAM). Como resultado, la posición real del tren, que se especifica mediante coordenadas, se conoce en cada momento. Mediante el uso de dichas coordenadas así como del mapa que contiene la información de ubicación de la red ferroviaria, es posible determinar la vía férrea real independientemente del método visual mostrado en la primera realización de la invención. El mapa de la red ferroviaria se almacena preferiblemente en una memoria conectada al sistema de procesamiento. Sin embargo, para localizar con precisión la señal así como el estado de la señal, se usa la invención de la primera realización. Una vez que el tren inicia su desplazamiento hacia su destino, su ruta o dirección DD de marcha, representada por una flecha en la figura 5, ya está definida y rastreada en tiempo real usando la unidad de geolocalización.
Si se conocen el mapa de las vías férreas, las señales y la dirección DD de marcha, es posible determinar las posiciones Sa, ..., Sl de las señales asociadas con la vía férrea respectiva. Por tanto, también es posible determinar si dentro de una región Ei , ... E3 predefinida calculada a partir de la posición real del tren ei , ..., e3 se espera que se vea una señal en la imagen. Una señal de este tipo también se conoce como señal que se aproxima.
El método para detectar regiones de imagen de señales, que están asociadas con la vía férrea real tal como se muestra en la primera realización de la invención, solo necesita llevarse a cabo si se espera una señal de este tipo en base al método de geolocalización tal como se explicó anteriormente. Si, como en el caso de la posición e3 , no hay ninguna señal que se aproxima dentro de la región E3 asociada, la búsqueda visual de señales se desactiva para reducir la probabilidad de falsas coincidencias positivas.
Para la posición ei , la región Ei asociada contiene muchos puntos Sf, Sg, Si, Sj de tierra. Sin embargo, ninguno de estos puntos de tierra está asociado con la vía te férrea real, de modo que no hay ninguna señal que se aproxima; el método para detectar regiones de imagen de señales se desactiva.
Como la posición e2 y su región E2 asociada contienen una señal Sd que está asociada con la vía te férrea real, es de esperar que haya una señal Sd que se aproxima. Por tanto, el método de detección de regiones de imagen de señales se lleva a cabo para encontrar una representación visual de dicha señal en la imagen It .
Alternativa o adicionalmente, la información relativa a las posiciones de las señales en el mapa puede usarse para evitar detecciones de señales falsas positivas con respecto a las dos realizaciones descritas adicionalmente de la invención. Se usa un algoritmo de coincidencia para hacer coincidir las vías tA , ..., tG férreas del mapa con las vías férreas contenidas en la imagen Ib a vista de pájaro. Si un punto Gt de tierra seleccionado coincide con la geolocalización de una señal del mapa predefinido, que está asociado con la trayectoria real determinada por la geolocalización, se incrementará la fiabilidad global del resultado.
Para todas las realizaciones preferidas de la invención, es posible mostrar la región de imagen que contiene una imagen de la señal identificada al conductor del tren. Alternativamente, también es posible destacar dicha región de imagen cuando se muestra la imagen general al conductor. Normalmente, el procedimiento descrito anteriormente se repite regularmente para proporcionar un video para informar al conductor del tren sobre las señales relevantes que se aproximan.
Alternativa o adicionalmente, cualquier otro evento puede desencadenarse por la información recuperada automáticamente de la imagen, tal como una simple advertencia auditiva, visual o háptica.
Por supuesto, también es posible alimentar los datos de imagen de la región de imagen identificada de la señal relevante a un algoritmo de procesamiento de imágenes para extraer el estado de la señal. Este estado puede usarse para ayudar al conductor del tren, por ejemplo, a frenar el tren en consecuencia, cuando se identifica una señal de parada o incluso para el funcionamiento automático del tren.
Claims (4)
1. Método para detectar una señal ferroviaria, que está asociada con la vía férrea que se usa por un tren, a) tomar al menos una imagen (It) bidimensional del tren con un sensor de imagen que está ubicado dentro de o en el tren que genera una imagen de las vías férreas y las señales que se aproximan, en donde el sensor de imagen está montado dentro de o en el tren de manera que su eje y esté alineado de manera sustancialmente vertical, y su eje x esté alineado de manera sustancialmente horizontal,
b) usar un método de clasificación para identificar regiones (Tt) de imagen correspondientes a vías férreas y regiones (St) de imagen correspondientes a señales dentro de la imagen (It),
c) entre dichas regiones (Tt) de imagen identificadas correspondientes a las vías férreas, seleccionar la región (Tc) de imagen, que corresponde a la vía férrea que se usa por el tren, en particular mediante la identificación de la vía férrea
- que pasa por una región predefinida de la imagen, y/o
- que tiene el área o el tamaño de píxel máximos entre las vías férreas identificadas en la etapa b),
d) para cada una de las regiones (St) de imagen correspondientes a una señal (S):
- estimar los puntos proyectados de las señales y la trayectoria proyectada de la vía (Tc) férrea seleccionada en un plano de proyección común, en particular un plano de tierra, en donde el punto proyectado de la señal se estima como la posición de un punto (Gt) de tierra de la señal respectiva dentro de la imagen (lt),
- en donde el punto (Gt) de tierra es el punto dentro de la imagen (It) que representa un punto de superficie, que está directamente debajo de la señal (S) respectiva, y
- en donde la altura y la anchura de los paneles de la señal (S) respectiva son conocidos o estimados por la forma y/o el contenido de la región (St) de imagen de la señal (S), en donde la determinación del punto (Gt) de tierra de la señal (S) comprende las siguientes etapas:
- determinar una altura ht de píxel y una anchura wt de píxel de la región (St) de imagen de la señal de la siguiente manera:
- contar un número de píxeles A correspondientes a la región (St) de imagen de la señal
- determinar la anchura wt de píxel de la región (St) de imagen de la señal usando la relación:
- determinar la altura ht de píxel de dicha región (St) de imagen de la señal usando una relación r conocida entre la altura y la anchura del panel de la señal (S),
- calcular una distancia dt de y desde un borde inferior de la región (St) de imagen de la señal hasta el punto (Gt ) de tierra respectivo desde la altura ht de píxel que corresponde a la altura conocida de la señal (S) usando la relación:
dt = altura de montaje * ht / altura de señal
- definir las coordenadas del punto (Gt) de tierra basándose en el borde inferior de la región (St) de imagen de la señal así como un centro horizontal de la región (St) de imagen de la señal de la siguiente manera:
Gt = [ x m,t ; y i, t - d t l
- en donde la posición y1,t de borde inferior de la región (St) de imagen de la señal se define como la posición de y más alta o más baja, dependiendo de la orientación del eje y del sensor de imagen, y
- en donde el centro xm,t horizontal de la región (St) de imagen de la señal se define como la coordenada x del centroide de la región (St) de imagen de la señal,
e) estimar una transformación (R) de perspectiva para transformar la imagen (It) en el plano de proyección común, preferiblemente en una imagen (Ib) a vista de pájaro, en base a las propiedades visuales de la imagen y/o las propiedades de montaje del sensor de imagen,
f) aplicar la transformación de perspectiva
- a la región (Tc) de imagen seleccionada o a partes de la misma, en particular una trayectoria central dentro de la vía férrea, y
- a los puntos proyectados, y
g) determinar uno o más puntos (Gt) proyectados que tengan una distancia mínima y/o una distancia inferior a una distancia umbral predefinida y/o colocación relativa a la región (Tc) de imagen seleccionada bajo dicha transformación (R) de perspectiva e identificar las señales y/o regiones (St) de imagen correspondientes a señales asociadas con estos puntos proyectados dentro de la imagen (It).
2. Método según la reivindicación 1, caracterizado por las siguientes etapas:
- proporcionar un mapa de la red ferroviaria que incluye las posiciones de las vías férreas y señales, en donde cada señal está asociada con una vía férrea,
- localizar la posición del tren en el mapa ferroviario y la vía férrea que está usando,
- usar el mapa para determinar la posición de la señal que se aproxima asociada con la vía férrea que está usando, - solo si la señal que se aproxima está dentro de una región predeterminada frente al tren tomar una imagen y realizar el método de la reivindicación 1.
3. Sistema de detección de una señal ferroviaria, que está asociada a la vía férrea que se usa por un tren, que comprende
- un sensor de imagen montado o que puede montarse dentro de o en el tren que está dispuesto para tomar al menos una imagen (It) bidimensional de las vías férreas y señales que se aproximan, en donde el sensor de imagen está montado dentro de o en el tren en una manera que su eje y esté alineado de manera sustancialmente vertical, y su eje x esté alineado de manera sustancialmente horizontal, y
- una unidad de procesamiento que está conectada al sensor de imagen que está programada para ejecutar las siguientes etapas:
b) usar un método de clasificación para identificar regiones (Tt) de imagen correspondientes a vías férreas y regiones (St) de imagen correspondientes a señales dentro de la imagen (It),
c) entre dichas regiones (Tt) de imagen identificadas correspondientes a las vías férreas, seleccionar la región (Tc) de imagen, que corresponde a la vía férrea que se usa por el tren, en particular mediante la identificación de la vía férrea
- que pasa por una región predefinida de la imagen, y/o
- que tiene el área o el tamaño de píxel máximos entre las vías férreas identificadas en la etapa b),
d) para cada una de las regiones (St) de imagen correspondientes a una señal (S):
- estimar los puntos proyectados de las señales y la trayectoria proyectada de la vía (Tc) férrea seleccionada en un plano de proyección común, en particular un plano de tierra, en donde el punto proyectado de la señal se estima como la posición de un punto (Gt) de tierra de la señal respectiva dentro de la imagen (It),
- en donde el punto (Gt) de tierra es el punto dentro de la imagen (It) que representa un punto de superficie, que está directamente debajo de la señal (S) respectiva, y
- en donde la altura y la anchura de los paneles de la señal (S) respectiva son conocidos o estimados por la forma y/o el contenido de la región (St) de imagen de la señal (S), en donde la determinación del punto (Gt) de tierra de la señal (S) comprende las siguientes etapas:
- determinar una altura ht de píxel y una anchura wt de píxel de la región (St) de imagen de la señal de la siguiente manera:
- contar un número de píxeles A correspondientes a la región (St) de imagen de la señal
- determinar la anchura wt de píxel de la región (St) de imagen de la señal usando la relación:
- determinar la altura ht de píxel de dicha región (St) de imagen de la señal usando una relación r conocida entre la altura y la anchura del panel de la señal (S),
- calcular una distancia dt de y desde un borde inferior de la región (St) de imagen de la señal hasta el punto (Gt ) de tierra respectivo desde la altura ht de píxel que corresponde a la altura conocida de la señal (S) usando la relación:
dt = altura de montaje * ht / altura de señal
- definir las coordenadas del punto (Gt) de tierra basándose en el borde inferior de la región (St) de imagen de la señal así como un centro horizontal de la región (St) de imagen de la señal como:
Gt = [ x m, t ; y i , t - d t ]
- en donde la posición del borde y1,t inferior de la región (St) de imagen de la señal se define como la posición de y más alta o más baja, dependiendo de la orientación del eje y del sensor de imagen, y
- en donde el centro xm,t horizontal de la región (St) de imagen de la señal se define como la coordenada x del centroide de la región (St) de imagen de la señal,
e) estimar una transformación (R) de perspectiva para transformar la imagen (It) en el plano de proyección común, preferiblemente en una imagen (IB ) a vista de pájaro, en base a las propiedades visuales de la imagen y/o las propiedades de montaje del sensor de imagen,
f) aplicar la transformación de perspectiva
- a la región (Tc) de imagen seleccionada o a partes de la misma, en particular una trayectoria central dentro de la vía férrea, y
- a los puntos proyectados, y
g) determinar uno o más puntos (Gt) proyectados que tengan una distancia mínima y/o una distancia inferior a una distancia umbral predefinida y/o colocación relativa a la región (Tc) de imagen seleccionada bajo dicha transformación (R) de perspectiva e identificar las señales y/o regiones (St) de imagen correspondientes a señales asociadas con estos puntos proyectados dentro de la imagen (It).
4. Sistema según la reivindicación 3, caracterizado además por una unidad de geolocalización conectada a la unidad de procesamiento, en donde
- la unidad de procesamiento comprende además una memoria para un mapa de la red ferroviaria que incluye las posiciones de las vías férreas y señales, en donde cada señal está asociada a una vía férrea, y
- la unidad de procesamiento está programada además para ejecutar las siguientes etapas:
- encontrar la posición del tren proporcionada por la unidad de geolocalización dentro del mapa ferroviario y la vía férrea que está usando,
- usar el mapa para determinar la posición de la señal que se aproxima asociada con la vía férrea que está usando, y
- solo si la señal que se aproxima está dentro de una región predeterminada frente al tren tomar una imagen y ejecutar las etapas b) a g) de la reivindicación 3.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19179792.7A EP3750776B1 (en) | 2019-06-12 | 2019-06-12 | Method and system for detecting a railroad signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2930674T3 true ES2930674T3 (es) | 2022-12-20 |
Family
ID=66857677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES19179792T Active ES2930674T3 (es) | 2019-06-12 | 2019-06-12 | Método y sistema para detectar una señal ferroviaria |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3750776B1 (es) |
| ES (1) | ES2930674T3 (es) |
| IL (1) | IL288651A (es) |
| WO (1) | WO2020249558A1 (es) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9796400B2 (en) * | 2013-11-27 | 2017-10-24 | Solfice Research, Inc. | Real time machine vision and point-cloud analysis for remote sensing and vehicle control |
| EP3048559A1 (en) * | 2015-01-21 | 2016-07-27 | RindInvest AB | Method and system for detecting a rail track |
-
2019
- 2019-06-12 ES ES19179792T patent/ES2930674T3/es active Active
- 2019-06-12 EP EP19179792.7A patent/EP3750776B1/en active Active
-
2020
- 2020-06-09 WO PCT/EP2020/065968 patent/WO2020249558A1/en active Application Filing
-
2021
- 2021-12-02 IL IL288651A patent/IL288651A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP3750776A1 (en) | 2020-12-16 |
| IL288651A (en) | 2022-02-01 |
| WO2020249558A1 (en) | 2020-12-17 |
| EP3750776B1 (en) | 2022-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
| US11972022B2 (en) | Systems and methods for anonymizing navigation information | |
| CN109643367B (zh) | 用于自主车辆导航的众包和分发稀疏地图以及车道测量的方法、系统和可读介质 | |
| CN112902975B (zh) | 自主车辆导航的方法、可读设备、服务器、车辆及系统 | |
| US20210110171A9 (en) | Barrier and guardrail detection using a single camera | |
| US10597053B2 (en) | Operations monitoring in an area | |
| JP2023509468A (ja) | 車両ナビゲーション用のシステムおよび方法 | |
| CN111727413A (zh) | 用于访问来自其他车辆的补充感知数据的方法 | |
| ES2704503T3 (es) | Procedimiento de control de un sistema de vigilancia de tráfico | |
| ES2945310T3 (es) | Método y sistema para determinar la disponibilidad de una vía para un vehículo guiado | |
| BR112015001865B1 (pt) | Dispositivo de detecção de objetos tridimensionais | |
| CN106462727A (zh) | 用于车道尽头识别的系统和方法 | |
| CN110443819B (zh) | 一种单轨列车的轨道检测方法和装置 | |
| KR101700681B1 (ko) | 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치 | |
| US20210208282A1 (en) | Detection device and detection system | |
| EP3806061A1 (en) | Detection device and detection system | |
| US20180330172A1 (en) | Indoor Navigation Method and System | |
| BR112015001711B1 (pt) | Dispositivo de detecção de objeto tridimensional e método de detecção de um objeto tridimensional | |
| ES2930674T3 (es) | Método y sistema para detectar una señal ferroviaria | |
| JP6629009B2 (ja) | 走行路附属物検出装置、走行路附属物および走行路検出方法 | |
| KR102316818B1 (ko) | 도로 네트워크를 갱신하는 방법 및 장치 | |
| ES2927769T3 (es) | Sistema para la determinación de la posición y procedimiento para el funcionamiento de un sistema para la determinación de la posición para una unidad móvil | |
| JP2016049907A (ja) | 列車通過方向判定方法およびその装置並びに列車停止位置判定方法およびその装置 | |
| JP2016049908A (ja) | ホーム検知方法および装置ならびに列車の開扉支援装置 | |
| US11945478B2 (en) | High-integrity object detection system and method |