ES2478700A1

ES2478700A1 - Sistema y método para la detección de obstáculos

Info

Publication number: ES2478700A1
Application number: ES201330063A
Authority: ES
Inventors: Albert PUIG CASTELLO
Original assignee: Idneo Technologies SA
Current assignee: Comsa SA
Priority date: 2013-01-21
Filing date: 2013-01-21
Publication date: 2014-07-22
Anticipated expiration: 2033-01-21
Also published as: ES2478700B1

Abstract

Sistema y método para la detección de obstáculos. La presente invención describe un método de detección de obstáculos en las inmediaciones de una máquina, que comprende la adquisición de (10) un par de imágenes por medio de unas cámaras estereoscópicas, el procesamiento de dichas imágenes y la determinación de la existencia de obstáculos (46) en una zona de interés de la escena en base al mapa tridimensional elaborado. El procesamiento de dichas imágenes (40) comprende diversas subetapas. También se provee un sistema de detección de obstáculos adaptado para llevar a cabo las etapas del método.

Description

DESCRIPCIÓN

Sistema y método para la detección de obstáculos

OBJETO DE LA INVENCIÓN

La presente invención está dirigida a un sistema y un método para la detección de obstáculos en los alrededores de una máquina en la que se instala dicho sistema. Es aplicable a cualquier maquinaria industrial cuya actuación pueda afectar a personas u otros obstáculos que se encuentren a su alrededor.

ANTECEDENTES DE LA INVENCIÓN

El sector de la construcción se considera entre los más peligrosos en la industria, con tasas de mortalidad muy altas. Los trabajadores pueden ser golpeados por maquinaria mientras realizan tareas de mantenimiento ya que los campos de visión son limitados. De manera habitual el personal debe realizar tareas en la maquinaria desde los extremos de la misma e incluso debajo de ella.

Esta situación se plantea en muy diversos campos, desde la maquinaria industrial, pasando por vehículos pesados con poca visibilidad, el sector ferroviario, etc. En cierto modo, el sector ferroviario ofrece además otros condicionantes que no suelen darse de manera conjunta en otros sectores. Por una parte, los vehículos presentan diversos elementos en sus extremos que pueden interferir, ocultar o falsear los sistemas de detección. Por otra parte, se suelen encadenar diferentes maquinas en forma de convoy para traslados desde la zona de aparcamiento hasta la zona de trabajo, por lo que debe de permitirse que dos máquinas se acerquen hasta tocarse sin que salte ninguna parada de emergencia. Además, la maquinaria tan solo puede desplazarse a lo largo de la vía, por lo que la presencia de elementos al margen de la vía tampoco debe ser considerada como peligro de seguridad. El límite entre lo que se debe considerar como obstáculo susceptible de ser arrollado y lo que se debe de considerar como elemento marginal, es muy estrecho. Esta consideración condicionará de manera importante las tecnologías utilizables en este dispositivo.

Para maquinaria muy pesada en canteras y otros entornos existen detectores radar como el descrito en DE 1997 07465. Estos sistemas de detección se apoyan en la mayoría de casos de pantallas de imagen en el puesto de conducción para que el operario verifique la naturaleza del obstáculo. Si bien cumplen su misión en los entornos en los que se aplican, poseen varias limitaciones: por una parte, no es funcional para distancias inferiores a 70 cm, debido la propia condición del pulso de radar. Por otra parte, el detector debe situarse de manera que el haz de emisión sea paralelo al plano del suelo, dejando sin cubrir la zona más próxima al vehículo y extendiéndose más allá del margen de la vía, lo que provocaría falsos positivos. Por último, la ubicación del detector en la zona inferior del vehículo interferiría con los dispositivos funcionales propios del vehículo.

Otro tipo de sistemas, usados sobre todo en automoción, son los sistemas de ultrasonidos. No obstante, estos sistemas deben situarse igualmente en la zona inferior de la maquinaria y direccionarse en sentido horizontal, por lo que incurren en parte de los problemas que sufren los detectores radar. Su característica de radiación hace necesaria la distribución de un determinado número de sensores a lo largo del área a cubrir, dificultando aún más su instalación.

DESCRIPCIÓN DE LA INVENCIÓN

La presente invención propone una solución particular a los problemas anteriores mediante un método según la reivindicación 1 y un sistema según la reivindicación 8 para la detección de obstáculos en las inmediaciones de una máquina. En las reivindicaciones dependientes se definen realizaciones preferidas de la invención.

En un primer aspecto inventivo, la invención presenta un método de detección de obstáculos en las inmediaciones de una máquina, que comprende las siguientes etapas:

a) adquirir un par de imágenes de una escena por medio de unos medios de adquisición de imágenes configuradas para obtener imágenes estereoscópicas;

b) procesar las imágenes adquiridas, comprendiendo la etapa de procesamiento:

b1) corregir la distorsión de lentes en las imágenes capturadas;

b2) realizar un alineamiento de la línea epipolar de las imágenes;

b3) calcular la disparidad de los puntos de las imágenes y construir un mapa de

disparidad; y

b4) elaborar un mapa tridimensional a partir del mapa de disparidad, mediante la

transformación de la disparidad de cada punto en una distancia de dicho punto al

plano que contiene a los medios de adquisición de imágenes; y

c) determinar si existen obstáculos en una zona de interés de la escena en base al mapa tridimensional elaborado.

El plano que contiene los medios de adquisición de imágenes se define como un plano que pasa por el foco de la lente y es paralelo a dicha lente.

En una realización particular, el método comprende adicionalmente la etapa de seleccionar una pluralidad de puntos relevantes (43) de las imágenes después de la etapa b2), de modo que el cálculo de disparidad (44) de la etapa b3) se lleva a cabo sólo con dichos puntos relevantes.

A lo largo de la descripción, se entenderán como “puntos relevantes” aquellos puntos de las imágenes en los que haya suficiente información como para realizar correlaciones.

Ventajosamente, llevar a cabo el método sólo con puntos relevantes, agiliza el proceso de determinación de obstáculos, disminuyendo el tiempo y la posibilidad de errores de procesado.

En una realización particular, la etapa c) de determinar si existen obstáculos en una zona de interés comprende:

c1) caracterizar una pluralidad de puntos con la posición espacial de cada uno de ellos,

c2) identificar agrupaciones de puntos, y

c3) determinar las tres dimensiones y la posición de las agrupaciones de puntos identificadas.

En una realización particular, la identificación de agrupaciones de puntos comprende:

determinar para cada punto cuántos puntos vecinos existen, siendo un punto vecino aquel que se encuentra a una distancia menor o igual que una distancia d predefinida, e

identificar las agrupaciones, siendo una agrupación un conjunto de puntos tal que cada uno de ellos tiene un número de puntos vecinos pertenecientes a la misma agrupación mayor o igual que un número de puntos vecinos predefinido a una distancia menor o igual que la distancia d predefinida.

En una realización particular, el método comprende valorar si alguna de las agrupaciones de puntos identificadas supone un riesgo, en base a su posición espacial en la escena y a sus dimensiones.

En una realización particular, el método comprende una etapa de actuación sobre la máquina en caso de que la determinación de la existencia de al menos un obstáculo en una zona de interés de la escena haya resultado positiva.

En una realización particular, el método comprende pre-procesar las imágenes adquiridas antes de la etapa b) de procesamiento.

En una realización particular, el método comprende transmitir las imágenes pre-procesadas desde unos medios de pre-procesamiento a unos medios de procesamiento.

En un segundo aspecto inventivo, la invención presenta un sistema para la detección de obstáculos en las inmediaciones de una máquina, que comprende:

medios de captura de imagen destinados a disponerse en la máquina y que comprenden dos cámaras configuradas para obtener imágenes estereoscópicas, y

medios de procesamiento adaptados para llevar a cabo las etapas b) y c) del método de la reivindicación 1-7.

En una realización particular, el sistema comprende medios de control para controlar unos parámetros de actuación de los medios de captura.

En una realización particular, el sistema comprende medios de pre-procesamiento para preprocesar las imágenes adquiridas.

En una realización particular, el sistema comprende medios de transmisión para transmitir las imágenes pre-procesadas desde los medios de pre-procesamiento a los medios de procesamiento, comprendiendo los medios de transmisión un serializador, un cable de par trenzado y un deserializador.

En una realización particular, el sistema comprende adicionalmente medios de actuación adaptados para actuar sobre la máquina.

En una realización particular, el sistema comprende adicionalmente medios de alerta adaptados para emitir una señal de alerta.

Estos sistemas pueden ser empleados en cualquier tipo de maquinaria industrial cuyo movimiento, o el de algunas de sus partes, pueda afectar a obstáculos o personas que se encuentren a su alrededor.

Todas las características y/o las etapas de métodos descritas en esta memoria (incluyendo las reivindicaciones, descripción y dibujos) pueden combinarse en cualquier combinación, exceptuando las combinaciones de tales características mutuamente excluyentes.

DESCRIPCIÓN DE LOS DIBUJOS

Estas y otras características y ventajas de la invención, se pondrán más claramente de manifiesto a partir de la descripción detallada que sigue de una forma preferida de realización, dada únicamente a título de ejemplo ilustrativo y no limitativo, con referencia a las figuras que se acompañan.

Figura 1 En esta figura se muestra un dibujo esquemático de un sistema según la invención. Figura 2 En esta figura se muestra un esquema de un método según la invención.

EXPOSICIÓN DETALLADA DE LA INVENCIÓN

La Figura 1 muestra un esquema de un sistema para la detección de obstáculos para ser situado en una máquina, según la invención. En esta realización, el sistema para la detección de obstáculos incluye:

•: medios de captura (1) que comprenden cámaras de estereovisión,

•: medios de control (2) para dichos medios de captura (1),

•: medios de pre-procesamiento (3) de la información proveniente de dichos medios de captura (1),

•: sistema de transmisión (4) de los datos preprocesados por los medios de preprocesamiento (3), y

•: medios de procesamiento (5) de los datos preprocesados,

•: medios de alerta (6)

•: medios de actuación (7) sobre la máquina

En un ejemplo particular de realización, los medios de captura (1) comprenden unas cámaras de estereovisión. Este tipo de cámaras no necesitan ser montadas en la parte baja de la máquina, como ocurre en los sistemas del estado de la técnica que utilizan infrarrojos

o radar. Ventajosamente, esta posición permite que el sistema de detección de obstáculos no interfiera con los mecanismos que se encuentran en esa parte baja de la maquinaria, evitando los falsos positivos producidos por dichos mecanismos o por el acercamiento de una segunda máquina que deba unirse a la máquina en la que está instalado el sistema.

En un ejemplo particular de realización, los medios de captura (1) comprenden dos cámaras convencionales junto con unos medios de configuración que convierten la información obtenida por las cámaras en información de estereovisión.

En una realización particular, estos medios de captura (1) cuentan con unos medios de control (2) para llevar a cabo el control de parámetros de actuación de los medios de captura (1), tal como los parámetros del sistema de exposición de la cámara, la ganancia, la iluminación y el control de la iluminación infrarroja.

En una realización particular, los medios de pre-procesamiento (3) de la información obtenida por los medios de captura (1) son un procesador que convierte las imágenes en datos que pueden ser procesados por los medios de procesamiento (5).

El sistema de transmisión (4) transmite los datos pre-procesados por los medios de preprocesamiento (3), a los medios de procesamiento (5). En una realización particular, el sistema de transmisión (4) comprende un serializador, un cable de transmisión de par trenzado y un deserializador. Ventajosamente, esta realización del sistema de transmisión

(4) permite transmitir la información incluso en ambientes con elevado ruido electromagnético y situaciones ambientales potencialmente extremas.

La Figura 2 muestra un esquema de un ejemplo particular de un método según la invención.

El método comienza con la adquisición (10) de un par de imágenes de una escena por medio de los medios de captura (1). Estas imágenes son pre-procesadas (20) y posteriormente transmitidas (30) desde los medios de pre-procesamiento (3) a los medios de procesamiento (5).

A continuación, se procesan las imágenes adquiridas (40), comprendiendo la etapa de procesamiento las siguientes subetapas: corregir la distorsión de lentes (41) en las imágenes capturadas; realizar un alineamiento de la línea epipolar (42) de las imágenes; seleccionar una pluralidad de puntos relevantes (43) de las imágenes; calcular la disparidad (44) de los puntos relevantes seleccionados en la etapa b3) y

construir un mapa de disparidad; y elaborar un mapa tridimensional (45) a partir del mapa de disparidad, mediante la

transformación de la disparidad de cada punto en una distancia de dicho punto al plano

que contiene a los medios de adquisición de imágenes.

La corrección de la distorsión de las lentes (41) de los medios de captura es necesaria para poder extraer datos utilizables en una triangulación estereoscópica, ya que es preciso que las imágenes adquiridas correspondan a una proyección plana perfecta. Para ello se parametriza la distorsión de cada unidad de lente, por ejemplo mediante cartas tipo “checker board”, del tipo de las que se conocen en el estado de la técnica. A partir de esta caracterización se compensa la distorsión de cada lente en cada una de las imágenes capturadas, aplicando por ejemplo un algoritmo de corrección anamórfica, del tipo de las que se conocen en el estado de la técnica.

A continuación se realiza el alineamiento de la línea epipolar (42). Como es conocido, la estereovisión consiste en la captura de una primera imagen y de una segunda imagen; la línea epipolar es la línea de la segunda imagen que corresponde a una línea en la primera imagen. Para esta alineación, se realiza una transformación proyectiva de la imagen para conseguir que todos los puntos de una línea en la primera imagen y los puntos en la misma línea de la segunda imagen correspondan a la misma línea epipolar.

Para la aplicación de los pasos sucesivos, es preferible que este alineamiento de la línea epipolar tenga un error muy pequeño, inferior al tamaño de un pixel de imagen.

A continuación se lleva a cabo la selección de los datos relevantes (43).

El cálculo de la disparidad (44) comprende un rastreo de las imágenes obtenidas por los medios de captura (1) para encontrar las correspondencias entre los puntos de ambas imágenes. Debido a que se ha producido el alineamiento forzado en al menos una de las

líneas epipolares en las dos imágenes, el rastreo se restringe preferentemente en una dimensión. Para el cálculo de estas correspondencias se utilizan preferentemente técnicas de correlación cruzada. Se emplean diferentes tipos de correlación: correlación por suma de las diferencias cuadradas, correlación normalizada, correlación normalizada con media cero u otras similares.

A partir del mapa de disparidad se calculan las distancias asociadas a cada punto y se crea un mapa tridimensional (45) del la zona a analizar. Para esta etapa se utilizan los datos de posicionamiento de los medios de captura (1) respecto del área real a detectar: la altura concreta a que se encuentran las cámaras respecto del plano del suelo y el ángulo que dichas cámaras forman con dicho plano.

A continuación, se lleva a cabo la comprobación de la existencia o no de obstáculos (46) en una zona de interés de la escena en base al mapa tridimensional elaborado. La zona de interés estará definida en función de las características de la máquina donde se vaya a montar el sistema.

En una realización, la etapa de comprobación de la existencia de obstáculos comprende a su vez las siguientes subetapas: caracterizar una pluralidad de puntos (47) con la posición espacial de cada uno de ellos, identificar agrupaciones de puntos (48), y determinar las tres dimensiones y la posición de las agrupaciones de puntos (49)

identificadas.

La identificación de las agrupaciones de puntos (48) se lleva a cabo preferentemente de la siguiente manera: en primer lugar, se determina para cada punto cuántos puntos vecinos existen (50),

siendo un punto vecino aquel que se encuentra a una distancia menor o igual que una distancia d predefinida, y

a continuación, se identifican las agrupaciones (51), siendo una agrupación un conjunto de puntos tal que cada uno de ellos tiene un número de puntos vecinos pertenecientes a la misma agrupación mayor o igual que un número de puntos vecinos predefinido a una distancia menor o igual que la distancia d predefinida.

Una vez que se tienen identificadas las dimensiones y la posición de las agrupaciones de puntos que están situadas en la zona de interés, se procede a la valoración del riesgo (52) que suponen, en base a su posición espacial en la escena y a sus dimensiones.

En una realización particular de la invención, en caso de que la determinación de la

5 existencia de al menos un obstáculo (46) en una zona de interés de la escena haya resultado positiva, se lleva a cabo una actuación sobre la máquina (60). Esta actuación puede ser por ejemplo el accionamiento de los frenos, el corte del suministro eléctrico o cualquier acción similar para ejecutar una parada de emergencia y/o la activación de una alarma.

10

Claims

REIVINDICACIONES

1.-Método de detección de obstáculos en las inmediaciones de una máquina, que comprende las siguientes etapas:

a) adquirir (10) un par de imágenes de una escena por medio de unos medios de adquisición de imágenes configuradas para obtener imágenes estereoscópicas;

b) procesar las imágenes adquiridas (40), comprendiendo la etapa de procesamiento:

b1) corregir la distorsión de lentes (41) en las imágenes capturadas;

b2) realizar un alineamiento de la línea epipolar (42) de las imágenes;

b3) calcular la disparidad (44) de los puntos de las imágenes y construir un mapa

de disparidad; y

b4) elaborar un mapa tridimensional (45) a partir del mapa de disparidad,

mediante la transformación de la disparidad de cada punto en una distancia de dicho

punto al plano que contiene a los medios de adquisición de imágenes; y

c) determinar si existen obstáculos (46) en una zona de interés de la escena en base al mapa tridimensional elaborado.
2.-Método de detección de obstáculos en las inmediaciones de una máquina según la reivindicación anterior, que comprende adicionalmente la etapa de seleccionar una pluralidad de puntos relevantes (43) de las imágenes después de la etapa b2), de modo que el cálculo de disparidad (44) de la etapa b3) se lleva a cabo sólo con dichos puntos relevantes.
3.-Método de detección de obstáculos según cualquiera de las reivindicaciones 1 o 2, donde la etapa c) de determinar si existen obstáculos (46) en una zona de interés comprende:

c1) caracterizar una pluralidad de puntos (47) con la posición espacial de cada uno de ellos,

c2) identificar agrupaciones de puntos (48), y

c3) determinar las tres dimensiones y la posición de las agrupaciones de puntos (48) identificadas.
4.-Método de detección de obstáculos según la reivindicación 3, donde la identificación de agrupaciones de puntos (48) comprende:

determinar para cada punto cuántos puntos vecinos existen, siendo un punto vecino

11

aquel que se encuentra a una distancia menor o igual que una distancia d predefinida, e

identificar las agrupaciones (51), siendo una agrupación un conjunto de puntos tal que cada uno de ellos tiene un número de puntos vecinos pertenecientes a la misma agrupación mayor o igual que un número de puntos vecinos predefinido a una distancia menor o igual que la distancia d predefinida.
5.-Método de detección de obstáculos según cualquiera de las reivindicaciones 3 ó 4, que comprende valorar si alguna de las agrupaciones de puntos identificadas supone un riesgo (50), en base a su posición espacial en la escena y a sus dimensiones.
6.-Método de detección de obstáculos según cualquiera de las reivindicaciones anteriores, que comprende una etapa de actuación sobre la máquina (60) en caso de que la determinación de la existencia de al menos un obstáculo (46) en una zona de interés de la escena haya resultado positiva.
7.-Método de detección de obstáculos según cualquiera de las reivindicaciones anteriores, que comprende pre-procesar (20) las imágenes adquiridas antes de la etapa b) de procesamiento.
8.-Método de detección de obstáculos según la reivindicación 7, que comprende transmitir

(30) las imágenes pre-procesadas (40) desde unos medios de pre-procesamiento a unos medios de procesamiento.
9.-Sistema para la detección de obstáculos en las inmediaciones de una máquina, que comprende:

medios de captura de imagen (1) destinados a disponerse en la máquina y que comprenden dos cámaras configuradas para obtener imágenes estereoscópicas, y

medios de procesamiento (5) adaptados para llevar a cabo las etapas b) y c) de un método según cualquiera de las reivindicaciones 1 a 8.
10.-Sistema para la detección de obstáculos según la reivindicación 9, que comprende medios de control (2) para controlar unos parámetros de actuación de los medios de captura (1).
11.-Sistema para la detección de obstáculos según cualquiera de las reivindicaciones 9 a

12

10, que comprende medios de pre-procesamiento (3) para pre-procesar las imágenes adquiridas.
12.- Sistema para la detección de obstáculos según la reivindicación 11, que comprende

5 medios de transmisión (4) para transmitir las imágenes pre-procesadas desde los medios de pre-procesamiento a los medios de procesamiento, comprendiendo los medios de transmisión un serializador, un cable de par trenzado y un deserializador.
13.-Sistema para la detección de obstáculos según cualquiera de las reivindicaciones 9 a 10 12, que comprende adicionalmente medios de actuación (6) adaptados para actuar sobre la máquina.
14.-Sistema para la detección de obstáculos según cualquiera de las reivindicaciones 9 a 13, que comprende adicionalmente medios de alerta adaptados para emitir una señal de 15 alerta.

13