ES2549962T3

ES2549962T3 - Procedimiento de calibrado de un sistema de visión por ordenador de a bordo en un móvil

Info

Publication number: ES2549962T3
Application number: ES12769446.1T
Authority: ES
Inventors: Michel Dhome; Eric Royer; Maxime Lhuillier; Datta RAMADASAN; Nadir KARAM; Clément DEYMIER; Vadim LITVINOV; Hicham HADJ ABDELKADER; Thierry Chateau; Jean-Marc Lavest; François MARMOITON; Serge ALIZON; Laurent Malaterre; Pierre LEBRALY
Original assignee: Centre National de la Recherche Scientifique CNRS; Universite Blaise Pascal Clermont Ferrand II; Universite Clermont Auvergne
Current assignee: Centre National de la Recherche Scientifique CNRS; Universite Blaise Pascal Clermont Ferrand II; Universite Clermont Auvergne
Priority date: 2011-10-10
Filing date: 2012-10-09
Publication date: 2015-11-03
Anticipated expiration: 2032-10-09
Also published as: US9728005B2; AU2012323096A1; FR2981185B1; CN103988231B; EP2766872B1; WO2013053701A1; EP2766872A1; CN103988231A; FR2981185A1; CA2851750C; JP6165745B2; JP2015501471A; US20140267608A1; AU2012323096B2; CA2851750A1

Abstract

Procedimiento de calibrado de un sistema de visión por ordenador (10) de a bordo en un móvil (2), que comprende un conjunto de cámaras que poseen unos parámetros extrínsecos y unos parámetros intrínsecos, comprendiendo el procedimiento la reconstrucción de una cartografía 3D de marcas 3D de un entorno a partir de imágenes numéricas del entorno capturadas por el sistema de visión por ordenador (10) durante el desplazamiento del móvil (2) a lo largo de una trayectoria, correspondiendo cada imagen a una colocación del sistema de visión por ordenador (10), comprendiendo la cartografía 3D unas coordenadas 3D de marca 3D y unos parámetros de cada colocación, comprendiendo la etapa de reconstrucción unas etapas de reconstrucción de cartografía 3D de secuencias de imágenes y de optimización de estas cartografías 3D por aplicación de algoritmos de ajuste de haces, comprendiendo el procedimiento de calibrado la optimización de al menos una cartografía 3D correspondiente a una primera secuencia de imágenes considerando al menos un parámetro extrínseco y/o al menos un parámetro intrínseco y/o al menos un parámetro de colocación y/o una coordenada 3D de marca 3D como constante y la optimización de al menos una cartografía 3D correspondiente a una segunda secuencia de imágenes más larga que la primera secuencia de imágenes y que incluye la primera secuencia de imágenes, considerando al menos uno de dichos parámetros extrínsecos y/o al menos uno de dichos parámetros intrínsecos y/o al menos uno de dichos parámetros de colocación y/o al menos una de dichas coordenadas 3D de marca 3D como variables de manera que se estime.

Description

E12769446

09-10-2015

DESCRIPCIÓN

Procedimiento de calibrado de un sistema de visión por ordenador de a bordo en un móvil

5 [0001] La presente invención y el trabajo correspondiente se han beneficiado de una ayuda del estado gestionada por la Agencia Nacional de Investigación (Agence Nationale de la Recherche) a título del programa Inversiones de futuro en el marco del proyecto LabEx IMobS3 (ANR-10-LABX-16-01), de una ayuda de la Unión Europea a título del Programa Competitividad Regional y Empleo 2007-2013 (FEDER – Región de Auvernia) y de una ayuda de la Región de Auvernia.

10 [0002] La presente invención se refiere a un procedimiento de calibrado de un sistema de visión por ordenador de a bordo en un móvil, que comprende un conjunto rígido de cámaras que poseen unos parámetros extrínsecos y unos parámetros intrínsecos.

15 [0003] Es posible utilizar un sistema de visión por ordenador que comprende un conjunto rígido de cámaras sincronizadas para determinar una reconstrucción 3D de un entorno en el cual evoluciona un móvil.

[0004] Es posible utilizar tal sistema de visión por ordenador para el guiado de un móvil autoguiado, concebido para servirse de las imágenes tomadas por el sistema de visión por ordenador para desplazarse, por

20 ejemplo a lo largo de una trayectoria de referencia aprendida.

[0005] Para ello, es posible utilizar un procedimiento de reconstrucción 3D a partir de imágenes tomadas por el sistema de visión por ordenador en movimiento («Structure From Motion» en inglés designado por el acrónimo «SFM»).

25 [0006] En tal procedimiento, en una etapa de aprendizaje, un operador puede controlar el desplazamiento del móvil a lo largo de una trayectoria de referencia. El móvil puede estar controlado igualmente automáticamente sin operador ejecutando unos movimientos prerregistrados. Durante el desplazamiento, el sistema de visión por ordenador captura unas imágenes del entorno, correspondiendo cada imagen a una colocación del sistema de visión

30 por ordenador. Cada imagen comprende una matriz de puntos 2D o píxeles, definido cada uno por su posición en la matriz y otros parámetros tales como el color o la intensidad. Una colocación define la posición y la orientación del sistema de visión por ordenador en una referencia euclidiana que puede ser global o local (relativamente a una colocación próxima) así como su traslación en dicha referencia euclidiana. La posición se expresa por tres parámetros de traslación que corresponden a las coordenadas que siguen los ejes de dicha referencia y la

35 orientación se expresa por ejemplo por tres ángulos (ángulos de Euler) con respecto a dicha referencia.

[0007] El sistema de visión por ordenador identifica unas marcas 2D características en cada imagen, empareja unas marcas 2D características entre las imágenes («template matching» en inglés) y reconstruye a partir de las marcas 2D emparejadas una cartografía 3D que comprende los parámetros de las marcas 3D del entorno que

40 corresponden a las marcas 2D emparejadas y los parámetros de colocaciones del sistema de visión por ordenador que corresponden a las imágenes utilizadas para la reconstrucción, asociadas a unas marcas 3D potencialmente visibles por el sistema de visión por ordenador cuando está en esta colocación. La cartografía 3D puede asociar igualmente a cada punto 3D una zona de interés que rodea el punto.

45 [0008] Las marcas 3D y las marcas 2D pueden ser especialmente unos puntos 3D y unos puntos 2D (procedentes de las imágenes). Los parámetros de los puntos 3D son las coordenadas de posición de los puntos 3D, que permiten localizar cada punto 3D en el espacio.

[0009] Los parámetros de colocaciones son para cada colocación los parámetros de traslación y los 50 parámetros de rotación que definen la colocación.

[0010] El conjunto de cámaras comprende unos parámetros extrínsecos que son los parámetros de las transformaciones rígidas que permiten pasar de la referencia de una cámara a la referencia de otra cámara del conjunto de cámaras. La transformación rígida que permite pasar de una cámara a otra cámara puede estar definida

55 por tres parámetros de traslación y tres parámetros de rotación en la referencia euclidiana, o sea seis parámetros.

[0011] El conjunto de cámaras comprende unos parámetros intrínsecos propios de cada cámara. En un modelo estenopeico de cámara, los parámetros intrínsecos pueden comprender especialmente la distancia focal, la posición del punto principal, el centro de la imagen y los coeficientes de distorsión.

E12769446

09-10-2015

[0012] El documento MOURAGNON et al, «3D reconstruction of complex structures with bundle adjustment: an incremental approach», PROCESSING IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, ICRA.ORLANDO, FL, USA, May 15-19, 2006, PISCATAWAY, NJ, USA, IEEE, 15 mai 2006, pages

5 3055-3061, DOI: 10.1109/ROBOT.2006.1642166, ISBN: 978-0-7803-9505-3, divulga, para un sistema de visión monocular, un algoritmo de reconstrucción que trata las imágenes obtenidas por una cámara calibrada, es decir cuyos parámetros son considerados como constantes durante la reconstrucción.

[0013] El documento FRAUNDORFER et al, «A constricted bundle adjustment parametrization for relative scale

10 estimation in visual odometry», IEEE INTERNATIONAL CONFERENCE ON ROBOTICS ANS AUTOMATION, ICRA 2010, ANCHORAGE, ALASKA, USA, 3 -8 May 2010, IEEE, PISCATAWAY, NJ, USA, 3 mai 2010, pages 1899 1904, ISBN: 978-1-4244-5038-1, divulga un procedimiento de estimación del parámetro intrínseco de escala de una cámara, a partir de un modelo en el cual los parámetros de desplazamiento están separados del parámetro intrínseco de escala y que constan de una primera etapa de estimación de los parámetros de desplazamiento y una

15 segunda etapa de estimación del parámetro intrínseco de escala, haciendo intervenir esta última una etapa de optimización por ajuste de haz.

[0014] No obstante, la precisión de la cartografía 3D y del guiado del móvil a partir de la cartografía 3D depende del conocimiento preciso de los parámetros extrínsecos y de los parámetros intrínsecos.

20 [0015] Uno de los objetivos de la invención es, por tanto, proporcionar un procedimiento de calibrado que permita estimar con precisión los parámetros extrínsecos y/o los parámetros intrínsecos del conjunto de cámaras, que sea rápido de aplicar.

25 [0016] A tal efecto, la invención propone un procedimiento de calibrado de un sistema de visión por ordenador de a bordo en un móvil, un producto y un dispositivo, conformes a las reivindicaciones.

[0017] La invención y sus ventajas se comprenderán mejor con la lectura de la descripción que se muestra a continuación, dada únicamente a título de ejemplo y realizada en referencia a los dibujos anexos, en los cuales:

30 -la figura 1 es una vista esquemática de lado de un móvil autoguiado que comprende un sistema de visión por ordenador con dos cámaras que permiten la aplicación del procedimiento según la invención;

-la figura 2 es una vista esquemática de un modelo del sistema de visión; y

35 -la figura 3 es un diagrama de bloques que ilustra una etapa de agregación de cartografía 3D de secuencias elementales por fusión jerárquica ascendente para una cartografía 3D de la secuencia completa que incluye todas las secuencias elementales;

40 [0018] El móvil 2 ilustrado en la figura 1 es un móvil autoguiado («autoguided vehicle» en inglés designado por el acrónimo «AGV»). Comprende unas ruedas 4, que incluyen al menos una rueda directriz, un sistema de dirección 6 para controlar el giro de cada rueda directriz, un sistema de accionamiento 8 acoplado al menos a una de las ruedas 4 para hacer avanzar o retroceder el móvil 2 y un sistema de visión por ordenador 10 para controlar el sistema de dirección 6 y el motor 8 de manera que se controle el desplazamiento del móvil, de tal manera que el móvil pueda

45 desplazarse de manera autónoma.

[0019] El sistema de visión por ordenador 10 comprende un conjunto de cámaras C1, C2 sincronizadas de manera que capturen imágenes simultáneamente. El conjunto de cámaras es rígido: las cámaras C1, C2 están unidas rígidamente entre ellas y son, por tanto, inmóviles unas con respecto a otras.

50 [0020] Las cámaras C1, C2 están dispuestas en el móvil 2 de manera que tomen imágenes del entorno del móvil. Las cámaras C1, C2 están orientadas de tal manera que sus campos de visión estén separados o que no se solapen: la escena visible por cada cámara es invisible por la otra cámara en una colocación dada del conjunto de cámaras.

55 [0021] En el ejemplo ilustrado, el sistema de visión por ordenador 10 comprende dos cámaras: una cámara C1 delantera fijada en el móvil 2 de manera que tome unas imágenes hacia la parte delantera del móvil 2 y una cámara trasera C2 fijada en el móvil 2 de manera que tome unas imágenes hacia la parte trasera del móvil 2.

[0022] El sistema de visión por ordenador 10 comprende un módulo de tratamiento de información 16 apto para

E12769446

09-10-2015

recibir y tratar las imágenes numéricas capturadas por el sistema de visión por ordenador 10 para determinar la posición del móvil 2 y para controlar el sistema de dirección 6 y el sistema de accionamiento 8 de forma que se desplace el móvil 2.

5 [0023] El módulo de tratamiento de información 16 está programado para la aplicación de un procedimiento según la invención. El módulo de tratamiento de información 16 comprende un calculador y una memoria en la cual se almacena un producto programa de ordenador que comprende unas instrucciones de software que cuando son aplicadas por el módulo de tratamiento de información, aplican un procedimiento de calibrado de la invención.

10 [0024] Tras la descripción, salvo precisión contraria, una imagen designa una imagen del entorno proporcionada por el sistema de visión por ordenador 10 y que reagrupa las imágenes proporcionadas individualmente por cada cámara C1, C2 y una colocación designa una colocación del sistema de visión por ordenador 10.

[0025] Cada cámara C1, C2 posee unos parámetros intrínsecos. Los parámetros intrínsecos influyen en la

15 correspondencia entre el entorno real y la imagen correspondiente proporcionada por la cámara C1, C2. Los parámetros intrínsecos de una cámara pueden comprender especialmente la distancia focal, la posición del punto principal, el centro de la imagen y los coeficientes de distorsión.

[0026] El conjunto de cámara comprende unos parámetros extrínsecos. Estos parámetros extrínsecos determinan 20 la relación entre las colocaciones de las cámaras C1, C2 que están unidas rígidamente entre ellas.

[0027] Como se ilustra en la figura 2, cada cámara C1, C2 está unida a una referencia individual y, de manera general, para cada colocación del sistema de visión por ordenador 10, existe una transformación rígida ΔTi,j que permite pasar de la referencia de la cámara Ci a la de la cámara Cj.

25 [0028] En el caso ilustrado de dos cámaras C1, C2, existe una transformación rígida ΔT1,2 que permite pasar de la referencia de la cámara C1 a la de la cámara C2.

[0029] Cada transformación rígida ΔTi,j entre dos cámaras puede estar definida por una traslación Δti,j que permite

30 pasar de una cámara a otra y de una rotación ΔRi,j que permite pasar de la orientación de una cámara a otra. La traslación Δti,j está determinada por tres parámetros que corresponden a las traslaciones según los tres ejes de una referencia euclidiana unida a la cámara Ci y la rotación ΔRi,j está determinada por tres parámetros que corresponden a las rotaciones alrededor de los tres ejes de la referencia euclidiana unida a la cámara Ci.

35 [0030] El procedimiento de calibrado comprende una reconstrucción de una cartografía 3D del entorno del móvil 2 en movimiento («Structure From Motion» en inglés designado por el acrónimo «SFM»).

[0031] Según el procedimiento de calibrado, se adquieren unas imágenes numéricas capturadas por el sistema de visión por ordenador 10 durante el desplazamiento del móvil 2 a lo largo de una trayectoria, correspondiendo cada

40 imagen a una colocación del sistema de visión por ordenador 10 a lo largo de la trayectoria. En un modo de realización, un operador controla el desplazamiento del móvil 2 a lo largo de la trayectoria y, durante el desplazamiento, el sistema de visión por ordenador 10 captura unas imágenes numéricas del entorno.

[0032] Cada imagen capturada por el sistema de visión por ordenador 10 comprende una matriz de píxeles o 45 puntos 2D. Cada punto 2D está definido especialmente por su posición en la matriz.

[0033] El procedimiento de calibrado comprende una etapa de reconstrucción de una cartografía 3D, que comprende unas marcas 3D del entorno, unas colocaciones del sistema de visión por ordenador 10, asociando a cada colocación un conjunto de marcas 3D potencialmente visibles por el sistema de visión por ordenador 10. Las

50 marcas potencialmente visibles pueden estar asociadas a cada cámara de manera que se determine qué marcas 3D son potencialmente visibles por cuál cámara en cada colocación del sistema de visión por ordenador.

[0034] En un modo de realización, como se ilustra en la figura 3, se reagrupan las imágenes en secuencias elementales Si, comprendiendo cada secuencia elemental Si un número X de imágenes li próximas con un

55 solapamiento de Y imágenes entre dos secuencias elementales sucesivas (dos secuencias elementales sucesivas poseen Y imágenes en común). En un modo de realización, cada secuencia elemental comprende X = 3 imágenes li con un solapamiento de Y = 2 imágenes.

[0035] Por «imágenes próximas», se entienden unas imágenes que corresponden a unas colocaciones cercanas

E12769446

09-10-2015

al sistema de visión por ordenador 10, de tal manera que estas imágenes se solapen y puedan poseer unas marcas 2D que se puedan emparejar.

[0036] El procedimiento de calibrado comprende la reconstrucción de una cartografía 3D a partir de cada 5 secuencia elemental Si.

[0037] En un modo de aplicación posible, se calcula la cartografía 3D de la primera secuencia elemental S1 por cálculo de geometría epipolar y triangulación de marcas, después se calculan las cartografías 3D de las secuencias elementales Si (i>1) siguientes gradualmente a partir de la de la primera secuencia elemental S1.

10 [0038] El cálculo de geometría epipolar permite determinar las colocaciones del sistema de visión por ordenador 10 que corresponden a las imágenes de la primera secuencia elemental S1. Una colocación está definida por tres parámetros de traslación y tres parámetros de rotación en la referencia euclidiana global o local (relativamente a una colocación próxima). La triangulación permite determinar los parámetros de las marcas 3D (es decir, las

15 coordenadas tridimensionales para unas marcas 3D) que corresponden a las marcas 2D emparejadas entre las imágenes de la primera secuencia elemental S1. Los parámetros de un punto 3D son los parámetros de traslación en la referencia euclidiana global o local relativamente a una colocación de donde se ha observado el punto.

[0039] El cálculo de la geometría epipolar se efectúa de manera conocida, por ejemplo por identificación de

20 marcas 2D características en las imágenes de la secuencia, por ejemplo por el método de esquinas de Harris, emparejamiento de las marcas 2D características entre las imágenes de la secuencia, calcula unas colocaciones del sistema de visión por ordenador 10, por ejemplo por aplicación de un algoritmo de tipo RANSAC en dos colocaciones y extrapolación de la tercera colocación.

25 [0040] El cálculo de la triangulación de las marcas 2D emparejadas se efectúa de manera conocida, por ejemplo por un método del punto medio. La triangulación permite obtener unas marcas 3D, es decir determinar para unas marcas 2D emparejadas un punto 3D del entorno con sus coordenadas tridimensionales en la referencia euclidiana global.

30 [0041] Para la reconstrucción de la cartografía 3D de una secuencia elemental a partir de la secuencia elemental precedente, se detectan unas marcas 2D características en la imagen suplementaria de la secuencia elemental, se determina la colocación correspondiente del sistema de visión por ordenador 10 sobre la base de estas marcas 2D características emparejadas con unas marcas 2D características de las colocaciones del sistema de visión por ordenador 10 ya calculadas en la cartografía 3D de la secuencia elemental precedente, después se triangulan las

35 marcas 2D emparejadas suplementarias.

[0042] Todas las secuencias elementales se reconstruyen así gradualmente.

[0043] Cada cartografía 3D de cada secuencia elemental Si se optimiza por la aplicación de un algoritmo de ajuste

40 de haces. Un algoritmo de ajuste de haces es un algoritmo iterativo que permite optimizar los diferentes parámetros que entran en el cálculo de la cartografía 3D, por convergencia de un criterio que es generalmente la minimización de una función de coste. Los parámetros que entran en el cálculo de una cartografía 3D a partir de imágenes tomadas por un conjunto de cámaras comprenden los parámetros de marcas 3D, los parámetros de las colocaciones del sistema de visión por ordenador, los parámetros extrínsecos del sistema de visión por ordenador y los

45 parámetros intrínsecos del sistema de visión por ordenador. Un parámetro considerado como variable durante la optimización será estimado y un parámetro considerado como constante o fijo no será optimizado o estimado.

[0044] El procedimiento de calibrado comprende la optimización de la cartografía 3D de cada secuencia elemental Si por ajuste de haces considerando los parámetros extrínsecos como constantes.

50 [0045] El procedimiento de calibrado comprende la agregación de las cartografías 3D de las secuencias elementales Si para obtener la cartografía 3D de la secuencia completa S.

[0046] En un modo de realización, como se ilustra en la figura 3, la agregación se realiza por la aplicación de un

55 procedimiento de agregación jerárquica ascendente partiendo de las secuencias elementales Si que definen un primer nivel. El paso de un nivel al nivel superior se efectúa por fusión de las cartografías 3D del nivel por par y optimización por ajuste de haces de cada cartografía 3D resultante de la fusión, de tal manera que el número de cartografía 3D esté dividido por 2 pasando de un nivel al nivel superior. Esta etapa elemental de agregación se aplica a cada nivel hasta reconstruir la secuencia completa S.

E12769446

09-10-2015

[0047] La optimización por ajuste de haces de cada cartografía 3D que resulta de una fusión de dos cartografías 3D del nivel inferior se efectúa considerando los parámetros extrínsecos constantes.

5 [0048] Los algoritmos aplicados para la reconstrucción de las cartografías 3D incluyen de manera ventajosa un procedimiento de minimización de la influencia de las marcas anómalas. En un modo de realización, si el error reproyección de una marca 3D visible en una colocación por una cámara es superior a un umbral, la marca 2D correspondiente es rechazada. Las marcas 2D características se clasifican así selectivamente en marcas anómalas («outliers» en inglés) y en marcas válidas («inliers» en inglés).

10 [0049] La cartografía 3D de la secuencia completa S se optimiza por ajuste de haces considerando al menos uno de los parámetros extrínsecos variables. La cartografía 3D de la secuencia completa se optimiza así optimizando los parámetros extrínsecos, las marcas 3D y las colocaciones del sistema de visión por ordenador 10. La optimización se efectúa por ejemplo por aplicación de un algoritmo de ajuste de haces basado en una técnica de optimización del

15 tipo Levenberg-Marquardt.

[0050] De manera ventajosa, el procedimiento de calibrado comprende una etapa de detección de cierre de bucle, para detectar y reducir unas desviaciones en las reconstrucciones de las cartografías 3D.

20 [0051] La detección de cierre de bucle permite detectar unas marcas 3D características observadas en una primera colocación y en una segunda colocación del sistema de visión por ordenador, con o sin permutación de las cámaras.

[0052] En el caso de dos cámaras C1, C2 orientadas en unas direcciones opuestas, un cierre de bucle sin

25 permutación corresponde a una rotación a 360º, por ejemplo debido al desplazamiento del móvil 2 siguiendo un círculo y un cierre de bucle con permutación corresponde a una rotación 180º, por ejemplo debido a una media vuelta.

[0053] Para tener en cuenta un cierre de bucle con permutación, las imágenes de cada cámara y las colocaciones 30 de las cámaras son tratadas individualmente.

[0054] Para detectar un cierre de bucle, para una colocación de una cámara determinada, se verifica la existencia de una colocación precedente (de esta cámara determinada o de otra cámara) verificando un criterio de proximidad que indica que la colocación precedente es suficientemente próxima. Para ello, se puede verificar si la distancia

35 entre las posiciones de dos colocaciones de cámara es inferior a un umbral de distancia y si el ángulo de rotación para pasar de la orientación de una colocación a la orientación de otra es inferior a un umbral de ángulo.

[0055] Cuando una colocación de cámara próxima existe, se emparejan las marcas 2D características de las imágenes asociadas a estas colocaciones de cámara y si el número de punto 2D emparejados es superior a un

40 número determinado, se añade una observación asociada a las marcas 2D emparejadas. La observación es por ejemplo la adición de las marcas 2D emparejadas con las colocaciones precedentes de la cámara determinada, lo que aumenta el número de marcas 2D emparejadas con unas marcas 2D emparejadas fiables. En un modo de realización, las marcas 2D pueden ser emparejadas por aplicación de un algoritmo de tipo RANSAC.

45 [0056] En un modo de realización, la detección de bucle se efectúa para cada colocación de cada cámara.

[0057] En el modo de aplicación descrito precedentemente, los parámetros extrínsecos son considerados como constantes durante la optimización de las cartografías 3D de las secuencias elementales Si y de su agregación para obtener la cartografía 3D de la secuencia completa S y solo están considerados como variables y, por tanto,

50 optimizados durante la optimización por ajuste de haces de la cartografía 3D de la secuencia completa S.

[0058] Así, se optimizan las cartografías 3D de las secuencias elementales considerando al menos un parámetro extrínseco como constante y se optimiza la cartografía 3D de la secuencia completa más larga que cada secuencia elemental y que incluye cada secuencia elemental, considerando al menos dicho parámetro extrínseco como

55 variable de manera que se estime.

[0059] Por otro lado, las secuencias elementales Si y las secuencias intermedias son unas secuencias parciales que comprenden cada una solamente una parte de las imágenes de la secuencia completa S. Cada cartografía 3D de una secuencia parcial se optimiza considerando los parámetros extrínsecos como constantes.

E12769446

09-10-2015

[0060] Como variante, es posible considerar al menos ciertos parámetros extrínsecos como variables durante la agregación de las cartografías 3D de las secuencias elementales.

5 [0061] Así, se optimiza al menos una cartografía 3D de una secuencia intermedia más larga y que engloba una secuencia elemental considerando al menos un parámetro extrínseco o cada parámetro extrínseco como variable de manera que se estime.

[0062] Es posible efectuar unas optimizaciones de cartografía 3D de varias secuencias de longitud creciente que

10 engloban cada una de las precedentes considerando al menos un parámetro extrínseco constante, después de efectuar la optimización de una cartografía 3D de la secuencia siguiente que engloba las precedentes considerando dicho parámetro extrínseco como variable de manera que se estime.

[0063] La optimización por ajuste de haces de los parámetros extrínsecos será eficaz y podrá converger 15 rápidamente hacia una solución precisa en función de los movimientos del sistema de visión por ordenador 10.

[0064] En un modo de realización posible, si la reconstrucción de una cartografía 3D de una secuencia pone de manifiesto un movimiento del sistema de visión por ordenador 10, la optimización de la cartografía 3D de dicha secuencia se efectúa considerando unos parámetros extrínsecos como variables en función del movimiento

20 detectado.

[0065] Se pueden aplicar los criterios siguientes.

[0066] Si el movimiento detectado es un movimiento en línea recta, los parámetros extrínsecos de traslación son

25 considerados constantes en el valor inicial o en un valor estimado previamente, y al menos un parámetro extrínseco de rotación es considerado como constante durante la optimización de la cartografía 3D. En un modo de aplicación, el parámetro de la rotación alrededor de la dirección de desplazamiento en línea recta se considera como constante.

[0067] Si el movimiento detectado es un movimiento en un plano horizontal no rectilíneo, los parámetros

30 extrínsecos de traslación salvo la traslación vertical, son considerados como variables y los parámetros extrínsecos de rotación son considerados como variables durante la optimización de la cartografía 3D.

[0068] Si los movimientos detectados son unos atornillados de ejes paralelos (con al menos dos ejes distintos), los parámetros extrínsecos de traslación salvo la traslación según la dirección de los atornillados, son considerados

35 como variables y los parámetros extrínsecos de rotación son considerados como variables durante la optimización de la cartografía 3D.

[0069] Si el movimiento detectado es un movimiento tridimensional, los parámetros extrínsecos de traslación son considerados constantes en el valor inicial o en un valor estimado previamente y los parámetros extrínsecos de

40 rotación son considerados como variables durante la optimización de la cartografía 3D.

[0070] Además, a fin de limitar las optimizaciones de cartografías 3D, es posible optimizar o no los parámetros extrínsecos en función de la longitud de las secuencias consideradas.

45 [0071] Se pueden aplicar los criterios siguientes.

[0072] Si la secuencia posee una longitud inferior a un umbral determinado, la secuencia se optimiza considerando los parámetros extrínsecos constantes. Los parámetros extrínsecos solo se optimizan por tanto para las cartografías 3D de las secuencias que poseen una longitud mínima.

50 [0073] Si la secuencia posee una longitud inferior a la secuencia más larga optimizada considerando un parámetro extrínseco variable, entonces la cartografía 3D de dicha secuencia se optimiza considerando dicho parámetro extrínseco como constante.

55 [0074] Los criterios de movimiento del sistema de visión y de longitud de secuencia se pueden combinar.

[0075] El procedimiento de calibrado se puede aplicar secuencialmente: el tratamiento de las imágenes por el módulo de tratamiento 16 se puede aplicar después de haber capturado la secuencia completa de imágenes. La captura de las imágenes y la reconstrucción de la cartografía 3D se efectúan secuencialmente.

E12769446

09-10-2015

[0076] El procedimiento de calibrado se puede aplicar a medida del desplazamiento del móvil 2 a lo largo de la trayectoria. La reconstrucción de la cartografía 3D se puede efectuar al mismo tiempo basándose en los criterios de movimiento y los criterios de longitud de secuencia para la optimización de las cartografías 3D considerando los

5 parámetros extrínsecos como variables o constante.

[0077] En un modo de aplicación posible, la reconstrucción de la cartografía 3D comienza en las secuencias elementales ya disponibles. Cada parámetro extrínseco se considera como fijo o variable en función de los criterios de movimiento citados anteriormente, para la optimización de la cartografía 3D de cada secuencia elemental y de

10 cada secuencia de longitud superior reconstruida por fusión de cartografías 3D reconstruidas previamente.

[0078] Preferentemente, las cartografías 3D de las secuencias elementales se optimizan con unos parámetros extrínsecos constantes, estando optimizadas solo unas cartografías 3D de secuencias más largas que engloban las secuencias elementales con al menos un parámetro extrínseco considerado como variable.

15 [0079] Para una nueva colocación que genera una nueva secuencia elemental, la cartografía 3D de la nueva secuencia elemental es reconstruida, optimizada considerando los parámetros extrínsecos como constantes y agregada con las secuencias elementales precedentes.

20 [0080] La detección de bucle se aplica a cada nueva colocación que genera una nueva secuencia elemental.

[0081] La optimización de las nuevas cartografías 3D reconstruidas a partir de la nueva secuencia elemental se efectúa en función de los criterios de movimiento y de longitud, en la medida en que se puede esperar una estimación fiable de un parámetro extrínseco si se ha efectuado un movimiento suficiente para estimar este

25 parámetro extrínseco y en la medida en que se puede esperar mejorar la estimación del parámetro extrínseco si se dispone de una secuencia más larga que aquella a partir de la cual ya se ha optimizado.

[0082] Con este procedimiento de calibrado efectuado al mismo tiempo, se obtiene después de la agregación una cartografía 3D optimizada de la secuencia completa. Esta secuencia, siendo la más larga, y si la trayectoria de 30 calibrado está seleccionada correctamente, la cartografía 3D de la secuencia completa de imagen se optimizará considerando los parámetros extrínsecos como variables.

[0083] El procedimiento de calibrado se ha descrito en relación con un sistema de visión por ordenador con dos cámaras de campos no solapado. El procedimiento de calibrado es generalizable a un sistema de visión por 35 ordenador que comprende más de dos cámaras.

[0084] El procedimiento de calibrado se ha descrito para la estimación de los parámetros extrínsecos. Se aplica igualmente a los parámetros intrínsecos del sistema de visión por ordenador, a los parámetros de puntos 3D y/o a los parámetros de colocación.

40 [0085] Así, de manera general, la invención trata de un procedimiento de calibrado en el cual se optimiza por ajuste de haz una cartografía 3D de una primera secuencia considerando al menos un parámetro entre los parámetros extrínsecos y/o los parámetros intrínsecos y/o los parámetros de marcas 3D y/o los parámetros de las colocaciones, como constante, y se considera al menos un parámetro como variable para la optimización de una

45 cartografía 3D de al menos una segunda secuencia más larga que la primera secuencia y que engloba la primera secuencia.

[0086] Para la optimización de cada cartografía 3D, unos parámetros extrínsecos y/o unos parámetros intrínsecos considerados constantes y no optimizados se mantienen fijos con un valor inicial aproximativo (en la ausencia de 50 optimización previa) o con un valor estimado durante la optimización de otra cartografía 3D realizada previamente durante el procedimiento de calibrado.

[0087] Para la optimización de cada cartografía 3D, unos parámetros de las marcas 3D y/o unos parámetros de las colocaciones considerados constantes y no optimizados se mantienen fijos con el valor determinado en el cálculo de 55 la cartografía 3D que se optimiza.

[0088] El procedimiento de calibrado es particularmente ventajoso para los sistemas de visión por ordenador con cámaras con campos no solapados, pero se aplica también a los sistemas de visión por ordenador con cámara con campos solapados y de manera general a unos sistemas de cámara que poseen unas cámaras con campos

E12769446

09-10-2015

solapados y/o unas cámaras con campos no solapados.

[0089] Las cámaras del sistema de visión por ordenador están preferentemente sincronizadas para garantizar que las imágenes capturadas por las cámaras correspondan casi a la misma colocación del sistema de visión por

5 ordenador, en particular en las aplicaciones en las cuales el móvil se desplaza rápidamente. En otras aplicaciones que no requieren un desplazamiento rápido del móvil, las cámaras no están necesariamente sincronizadas, desplazándose el móvil poco entre las capturas de imágenes por las diferentes cámaras.

[0090] Gracias a la invención, es posible determinar una cartografía 3D del entorno a lo largo de una trayectoria

10 seguida por un móvil que lleva un sistema de visión por ordenador. La cartografía 3D es precisa y determinada de manera eficaz y rápida, con un tiempo de cálculo reducido, lo que permite tener en cuenta una reconstrucción en tiempo real.

[0091] El procedimiento de calibrado según la invención permite reducir la desviación del factor de escala durante

15 la reconstrucción de la cartografía 3D. Esto obedece especialmente al hecho de que unos parámetros constantes para la optimización de un conjunto de cartografías 3D se optimizan a continuación para una cartografía 3D que reagrupa dichas cartografías 3D.

[0092] Por otro lado, el móvil 2 calibrado según el procedimiento de calibrado muestra una capacidad mejorada

20 para volver a encontrar la trayectoria aprendida incluso cuando esté alejado de esta trayectoria. El procedimiento de calibrado permite un guiado preciso del móvil 2 calibrado de este modo.

[0093] El móvil 2 puede aprender una trayectoria sin calibrado en este caso, el procedimiento de aprendizaje es análogo al de calibrado salvo que los parámetros extrínsecos y/o intrínsecos son considerados como constantes.

25 [0094] El móvil 2 se puede desplazar de manera autónoma a lo largo de una trayectoria aprendida, idéntica o diferente de la trayectoria utilizada para el calibrado. Para ello, la imagen actual capturada por el sistema de visión por ordenador es tratada por búsqueda de marcas 2D características y comparación con las marcas de la cartografía 3D de la trayectoria aprendida para determinar la colocación del móvil 2. Desplazándose el móvil 2 a lo largo de la

30 trayectoria, es posible estimar de forma aproximativa su colocación cuando se conoce la colocación precedente y por ejemplo unas informaciones sobre el desplazamiento del sistema, como los controles de desplazamiento y de dirección dados por el módulo de tratamiento 16. Es por tanto posible determinar las colocaciones de referencias de la cartografía 3D próximas a la colocación actual y comparar la imagen actual a las marcas 3D asociadas a estas colocaciones. Esto permite determinar rápidamente la posición del móvil 2, en tiempo real.

35 [0095] En el marco de la visión por ordenador, la expresión «tiempo real» significa que el tratamiento de cada imagen capturada por el sistema de visión por ordenador es tratado por el módulo de tratamiento 16 antes de la regeneración de la imagen capturada. En el ámbito de los sistemas de visión por ordenador, el tiempo de regeneración es en general de aproximadamente 40 ms, lo que es inferior al tiempo de regeneración de la retina

40 humana.

[0096] El procedimiento de calibrado según la invención no necesita conocer a priori la trayectoria de calibrado. Necesita conocer de forma aproximativa los parámetros extrínsecos y/o los parámetros intrínsecos del sistema de cámara múltiples, permitiendo el procedimiento de calibrado determinar los parámetros extrínsecos y/o intrínsecos

45 de manera más precisa.

[0097] Así, el procedimiento de calibrado se puede aplicar a distancia o de manera desviada. En tal caso, el móvil se desplaza según un trayecto de calibrado y unas imágenes son capturadas por el sistema de cámara múltiple. A continuación, las imágenes capturadas son enviadas y tratadas por un módulo de tratamiento distante que devuelve

50 los valores estimados de los parámetros extrínsecos y/o de los parámetros intrínsecos y/o de los parámetros de las colocaciones del sistema de visión por ordenador y/o de los parámetros de las marcas 3D.

[0098] El procedimiento de calibrado se puede utilizar para determinar los parámetros extrínsecos y/o los parámetros intrínsecos cuando se pueda producir una modificación de estos parámetros. Por ejemplo, tal

55 procedimiento de calibrado se aplica en caso de reemplazo de una de las cámaras del sistema de visión por ordenador, lo que es susceptible de modificar los parámetros intrínsecos de la cámara cambiada y los parámetros extrínsecos del conjunto de cámara.

[0099] El procedimiento de calibrado se puede utilizar para clasificar un sistema de guiado de móvil o de un móvil

E12769446

09-10-2015

autoguiado, o para clasificar un sistema de cámaras múltiples de un sistema de asistencia a la conducción, tales como los utilizados en los automóviles modernos (mantenimiento del móvil en línea, asistencia en maniobras, circulación de móviles en convoy,…).

Claims

REIVINDICACIONES

1. Procedimiento de calibrado de un sistema de visión por ordenador (10) de a bordo en un móvil (2), que comprende un conjunto de cámaras que poseen unos parámetros extrínsecos y unos parámetros intrínsecos, 5 comprendiendo el procedimiento la reconstrucción de una cartografía 3D de marcas 3D de un entorno a partir de imágenes numéricas del entorno capturadas por el sistema de visión por ordenador (10) durante el desplazamiento del móvil (2) a lo largo de una trayectoria, correspondiendo cada imagen a una colocación del sistema de visión por ordenador (10), comprendiendo la cartografía 3D unas coordenadas 3D de marca 3D y unos parámetros de cada colocación, comprendiendo la etapa de reconstrucción unas etapas de reconstrucción de cartografía 3D de 10 secuencias de imágenes y de optimización de estas cartografías 3D por aplicación de algoritmos de ajuste de haces, comprendiendo el procedimiento de calibrado la optimización de al menos una cartografía 3D correspondiente a una primera secuencia de imágenes considerando al menos un parámetro extrínseco y/o al menos un parámetro intrínseco y/o al menos un parámetro de colocación y/o una coordenada 3D de marca 3D como constante y la optimización de al menos una cartografía 3D correspondiente a una segunda secuencia de imágenes más larga que

15 la primera secuencia de imágenes y que incluye la primera secuencia de imágenes, considerando al menos uno de dichos parámetros extrínsecos y/o al menos uno de dichos parámetros intrínsecos y/o al menos uno de dichos parámetros de colocación y/o al menos una de dichas coordenadas 3D de marca 3D como variables de manera que se estime.

20 2. Procedimiento según la reivindicación 1, en el cual se optimiza una cartografía 3D correspondiente a la secuencia completa de las imágenes tomadas durante el desplazamiento a lo largo de la trayectoria considerando cada parámetro extrínseco y/o cada parámetro intrínseco y/o cada parámetro de colocación y/o cada coordenada 3D de marca 3D como variable.

25 3. Procedimiento según la reivindicación 1 ó 2, en el cual se reconstruyen unas cartografías 3D que corresponden a unas secuencias parciales que comprenden solamente una parte de las imágenes tomadas durante el desplazamiento a lo largo de la trayectoria considerando al menos un parámetro extrínseco y/o al menos un parámetro intrínseco y/o al menos un parámetro de colocación y/o al menos una coordenada 3D de marca 3D como constante.

30
4. Procedimiento según la reivindicación 3, en el cual se optimiza cada cartografía 3D correspondiente a una secuencia parcial considerando cada parámetro extrínseco y/o cada parámetro intrínseco y/o cada parámetro de colocación del sistema de visión por ordenador y/o cada coordenada 3D de marca 3D constante.

35 5. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual la etapa de reconstrucción comprende las etapas siguientes:

-reagrupar las imágenes en secuencias elementales de imágenes, solapando cada secuencia elemental la secuencia elemental siguiente; 40 -determinar unas cartografías 3D correspondientes a las secuencias elementales,

-optimizar cada cartografía 3D correspondiente a una secuencia elemental por ajuste de haces,

45 -agregar las cartografías 3D correspondientes a las secuencias elementales para obtener la cartografía 3D de la secuencia completa de imágenes.
6. Procedimiento según la reivindicación 5, en el cual la agregación se realiza por fusión jerárquica ascendente partiendo de las cartografías 3D de las secuencias elementales que constituyen el nivel inferior, hasta

50 obtener la cartografía 3D de la secuencia completa, estando optimizada cada cartografía 3D obtenida por fusión de cartografías por ajuste de haces.
7. Procedimiento según la reivindicación 6, en el cual al menos una cartografía 3D de una secuencia intermedia, que engloba una secuencia elemental y más larga que la secuencia elemental, es optimizada

55 considerando al menos un parámetro extrínseco y/o un parámetro intrínseco y/o un parámetro de colocación del sistema de visión por ordenador y/o una coordenada 3D de marca 3D como constante.
8. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual si un movimiento en línea recta del sistema de visión por ordenador es detectado durante la reconstrucción de una cartografía 3D de una

11

secuencia, los parámetros extrínsecos de traslación son considerados constantes y al menos un parámetro extrínseco de rotación se considera como variable durante la optimización de la cartografía 3D.
9. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual si un movimiento en

5 un plano horizontal no rectilíneo del sistema de visión por ordenador es detectado durante la reconstrucción de una cartografía 3D de una secuencia, los parámetros extrínsecos de traslación salvo la traslación vertical, son considerados como variables y los parámetros extrínsecos de rotación son considerados como variables durante la optimización de la cartografía 3D.

10 10. Procedimiento según cualquiera de las reivindicaciones precedentes en el cual, si unos movimientos de atornillado de ejes paralelos con al menos dos ejes distintos son detectados durante la reconstrucción de una cartografía 3D de una secuencia, los parámetros extrínsecos de traslación salvo la traslación según la dirección de los atornillados, son considerados como variables y los parámetros extrínsecos de rotación son considerados como variables durante la optimización de la cartografía 3D.

15
11. Procedimiento según cualquiera de las reivindicaciones precedentes en el cual, si un movimiento tridimensional es detectado durante la reconstrucción de una cartografía 3D de una secuencia, los parámetros extrínsecos de traslación son considerados variables y los parámetros extrínsecos de rotación son considerados como variables durante la optimización de la cartografía 3D.

20
12. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual, si una secuencia posee una longitud inferior a un umbral determinado, la secuencia se optimiza considerando los parámetros extrínsecos y/o los parámetros intrínsecos y/o los parámetros de colocaciones y/o las coordenadas 3D de marcas 3D como constantes.

25
13. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual, si la secuencia posee una longitud inferior a la secuencia más larga optimizada considerando un parámetro extrínseco variable, entonces la cartografía 3D de dicha secuencia se optimiza considerando dicho parámetro extrínseco como constante.

30 14. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual se detecta un cierre de bucle y, en caso de detección de cierre de bucle a partir de una colocación de una cámara, se añaden unas marcas 2D emparejadas a las colocaciones precedentes de la cámara a lo largo del trayecto.
15. Procedimiento según la reivindicación 14 en el cual para detectar un cierre de bucle, se determinan

35 unos emparejamientos de marcas 2D entre dos imágenes tomadas en dos colocaciones de cámaras que verifican un criterio de proximidad y se considera que un bucle se ha cerrado si el número de emparejamientos de marcas 2D es superior a un umbral.
16. Procedimiento según cualquiera de las reivindicaciones precedentes, en el cual se optimiza la 40 cartografía 3D de la secuencia completa utilizando un algoritmo del tipo Levenberg-Marquardt.
17. Procedimiento según cualquiera de las reivindicaciones precedentes, que comprende una etapa de adquisición de las imágenes.

45 18. Producto programa de ordenador que comprende unas instrucciones de software que cuando son aplicadas por un módulo de tratamiento de información, aplican un procedimiento de calibrado según cualquiera de las reivindicaciones precedentes.
19. Dispositivo de calibrado que comprende un módulo de tratamiento de información programado para la 50 aplicación de un procedimiento de calibrado según cualquiera de las reivindicaciones de 1 a 17.

12