ES2561732B2 - Multi-resolution calibration device for artificial vision systems - Google Patents
Multi-resolution calibration device for artificial vision systems Download PDFInfo
- Publication number
- ES2561732B2 ES2561732B2 ES201531330A ES201531330A ES2561732B2 ES 2561732 B2 ES2561732 B2 ES 2561732B2 ES 201531330 A ES201531330 A ES 201531330A ES 201531330 A ES201531330 A ES 201531330A ES 2561732 B2 ES2561732 B2 ES 2561732B2
- Authority
- ES
- Spain
- Prior art keywords
- calibration
- calibration device
- fiduciary
- fiduciary markers
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/32—Fiducial marks and measuring scales within the optical system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Prostheses (AREA)
Abstract
Superficie plana o tridimensional, a modo de placa de calibración, que se caracteriza porque sobre ella se han dibujado con precisión un conjunto de marcadores fiduciarios de distinto tamaño, que no se solapan y cuya posición relativa sobre la superficie es conocida con gran exactitud. Opcionalmente, los marcadores fiduciarios tienen forma de cuadriculas regulares compuestas de celdas cuadradas que están coloreadas en dos tonos de diferente luminosidad, tienen el mismo número de filas y columnas, pero distinto tamaño de celda.Flat or three-dimensional surface, as a calibration plate, characterized in that a set of fiduciary markers of different sizes have been drawn on it, which do not overlap and whose relative position on the surface is known with great accuracy. Optionally, the fiduciary markers are in the form of regular grids composed of square cells that are colored in two shades of different brightness, have the same number of rows and columns, but different cell size.
Description
DISPOSITIVO DE CALIBRACIÓN MULTIRRESOLUCIÓN PARA SISTEMAS DE VISIÓN ARTIFICIAL MULTIRRESOLUTION CALIBRATION DEVICE FOR ARTIFICIAL VISION SYSTEMS
El objeto de la presente invención tal y como se expresa en el enunciado de esta memoria descriptiva consiste en un objeto sobre el que se han impreso unos motivos geométricos en forma de códigos reconocibles a distintas escalas. Dichos motivos pueden ser interpretados como marcas fiduciarias únicas lo que, unido a su peculiar disposición y escala en esta invención, permite estimar la orientación y posición relativa del objeto independientemente de la cercanía del sistema óptico a calibrar. The object of the present invention as expressed in the statement of this specification consists of an object on which geometric motifs have been printed in the form of codes recognizable at different scales. Said motives can be interpreted as unique fiduciary marks which, together with their peculiar disposition and scale in this invention, allows to estimate the orientation and relative position of the object regardless of the proximity of the optical system to be calibrated.
La presente invención se encuadra en el área técnica de los sistemas de medida fotométricos, más concretamente en la de las placas de calibrado que permiten determinar con precisión parámetros de sistemas de adquisición de imagen mediante técnicas de visión artificial, tales como la distancia focal, alineamiento de las lentes, distorsión geométrica, posición y orientación. The present invention falls within the technical area of photometric measurement systems, more specifically in that of the calibration plates that allow to precisely determine parameters of image acquisition systems by means of artificial vision techniques, such as focal length, alignment of the lenses, geometric distortion, position and orientation.
Generalmente se asume que la imagen se forma en los instrumentos ópticos de acuerdo con el modelo simplificado 'pin-hole', de manera que cada punto en 3D de la escena a fotografiar se proyecta en un punto en la imagen. Cuando se trata de sistemas de adquisición y visualización en tiempo real y la imagen obtenida no es geométricamente consistente con este modelo paraxial ideal, en lugar de aplicar modelos más complejos, se añaden algunos términos de corrección para considerar el efecto de las desviaciones, también conocidas como aberraciones. It is generally assumed that the image is formed in the optical instruments according to the simplified 'pin-hole' model, so that each 3D point of the scene to be photographed is projected at a point in the image. When it comes to real-time acquisition and visualization systems and the image obtained is not geometrically consistent with this ideal paraxial model, instead of applying more complex models, some correction terms are added to consider the effect of deviations, also known as aberrations
La aberración más fácil de caracterizar es la distorsión geométrica, muy común en cámaras de gran angular y lentes de bajo coste. Tal y como indica su nombre, al distorsionar la imagen, los píxeles de una cámara en perspectiva pueden sufrir notables desplazamientos a lo largo de las direcciones radiales, lo que degrada las medidas de profundidad en sistemas estéreo. Por ello se han ideado en los últimos 50 años numerosos métodos y aparatos de calibración para determinar los parámetros del modelo de formación de la imagen considerando este tipo de aberración. The easiest aberration to characterize is geometric distortion, very common in wide-angle cameras and low-cost lenses. As the name implies, when distorting the image, the pixels of a perspective camera can suffer significant displacements along the radial directions, which degrades the depth measurements in stereo systems. Therefore, numerous calibration methods and devices have been devised in the last 50 years to determine the parameters of the image formation model considering this type of aberration.
En la década de 1960, Duane C. Brown, que trabajaba en el ámbito de la fotogrametría, propuso un método para determinar la distorsión geométrica de las lentes basado en el axioma por el que las líneas rectas son invariantes a la transformación en perspectiva (aunque dejan de ser paralelas). Esta técnica, publicada en (Brown, 1971), y con añadidos posteriores en (Fryer y Brown, 1986), se conoce popularmente como el método de la 'plomada'. Se puede encontrar una revisión histórica exhaustiva en Clarke y Fryer (1998). Dicha técnica fue adoptada por la comunidad de visión artificial, donde se publicaron versiones simplificadas que han sido protegidas en forma de patentes, como por ejemplo como la estadounidense US6002525. In the 1960s, Duane C. Brown, who worked in the field of photogrammetry, proposed a method to determine the geometric distortion of the lenses based on the axiom by which straight lines are invariant to perspective transformation (although stop being parallel). This technique, published in (Brown, 1971), and with subsequent additions in (Fryer and Brown, 1986), is popularly known as the 'plumb method'. An exhaustive historical review can be found in Clarke and Fryer (1998). This technique was adopted by the artificial vision community, where simplified versions were published that have been protected in the form of patents, such as the US US6002525.
El método de la "plomada" requiere que la optimización para la búsqueda de parámetros se realice simultáneamente respecto a los parámetros asociados a las líneas rectas (que se desconocen) y a los parámetros de distorsión (que son también desconocidos). Por ello numerosos autores han presentado enfoques alternativos. Ejemplos muy conocidos son los trabajos de Devernay y Faugeras (2001) y Bing (1999), que fue registrado como la patente estadounidense US6101288. Estos métodos tratan de ajustar iterativamente los parámetros de distorsión con el fin de reducir al mínimo el error de distorsión provocado en las líneas. The "plumb" method requires that the optimization for the parameter search be carried out simultaneously with respect to the parameters associated with the straight lines (which are unknown) and the distortion parameters (which are also unknown). Therefore, numerous authors have presented alternative approaches. Well-known examples are the works of Devernay and Faugeras (2001) and Bing (1999), which was registered as US patent US6101288. These methods try to iteratively adjust the distortion parameters in order to minimize the distortion error caused in the lines.
Desafortunadamente, exhiben una lenta convergencia y pueden llegar a ser inestables con los niveles de distorsión elevados; a menos que se tomen medidas especiales, como en Swaminathan y Nayar (2000). Unfortunately, they exhibit a slow convergence and can become unstable with high distortion levels; unless special measures are taken, as in Swaminathan and Nayar (2000).
Actualmente, se tienden a estimar simultáneamente los parámetros extrínsecos (posición y orientación) e intrínsecos (distancia focal, descentrado del sensor, distorsión geométrica...) de una cámara. La gran mayoría de las implementaciones software de estos artículos, se diseñan de manera que sean capaces de trabajar con formas geométricas regulares y repetitivas que son fácilmente detectables por algoritmos básicos de procesado de imagen, de ahí la popularidad del uso de cuadriculas perfectamente regulares como objetos de referencia en el proceso de calibración de las cámaras. Típicamente se recurre a tableros de ajedrez o dameros bicolores, cuyas esquinas son identificadas como puntos característicos. Currently, the extrinsic parameters (position and orientation) and intrinsic parameters (focal distance, sensor offset, geometric distortion ...) of a camera tend to be estimated simultaneously. The vast majority of software implementations of these articles are designed so that they are capable of working with regular and repetitive geometric shapes that are easily detectable by basic image processing algorithms, hence the popularity of using perfectly regular grids as objects. of reference in the process of calibration of the cameras. Typically, chess boards or two-colored dameros are used, whose corners are identified as characteristic points.
Así, los parámetros del modelo de cámara se obtienen mediante el análisis de la posición de un objeto de dimensiones determinadas de antemano, con un patrón fácilmente identificable. Los métodos más populares son el de Tsai (1987) que puede apoyarse en objetos de referencia 3D, y el de Zhang (2000), especialmente pensado para placas de calibración planas. Thus, the camera model parameters are obtained by analyzing the position of an object of predetermined dimensions, with an easily identifiable pattern. The most popular methods are that of Tsai (1987) that can be supported by 3D reference objects, and that of Zhang (2000), specially designed for flat calibration plates.
El método de calibración de Tsai presupone que algunos parámetros físicos de la cámara son proporcionados por el fabricante, lo cual reduce la dificultad del proceso de optimización y permite acotar el valor inicial de la estimación. Requiere un conjunto mínimo de puntos característicos (n>8) en cada una de las imágenes y resuelve un sistema de n ecuaciones lineales sobre la base de la restricción de alineamiento radial. El modelo de distorsión radial es de segundo orden, si no se consideran términos que afecten al centrado de la imagen y la distorsión. El método es lo suficientemente flexible para ser aplicado en imágenes estáticas o en secuencias de vídeo, siempre que se conozcan con precisión las coordenadas relativas de cada uno de los puntos distinguibles sobre la superficie del objeto de calibración. The Tsai calibration method assumes that some physical parameters of the camera are provided by the manufacturer, which reduces the difficulty of the optimization process and allows you to limit the initial value of the estimate. It requires a minimum set of characteristic points (n> 8) in each of the images and solves a system of n linear equations based on the radial alignment constraint. The radial distortion model is second order, if terms that affect image centering and distortion are not considered. The method is flexible enough to be applied to static images or video sequences, provided that the relative coordinates of each of the distinguishable points on the surface of the calibration object are precisely known.
El método de calibración de Zhang es más genérico, por lo que puede abordarse la estimación de todos los parámetros del modelo de cámara, sin que el fabricante o el operador tenga que proporcionar pistas iníciales. Tal y como se detalla en el artículo de Remondino, F., y Fraser, C. (2006), el procedimiento requiere capturar previamente imágenes de una cuadrícula en forma de tablero de ajedrez plano que se coloca frente a la cámara en diferentes orientaciones (al menos 3), a modo de placa de calibración bidimensional. Una vez identificada la posición 2D de las esquinas de cada celda del tablero en las imágenes, se utilizan dichas capturas junto con el patrón de tablero de ajedrez para calcular una transformación proyectiva en el conjunto de las imágenes. A partir de estos datos, se obtiene una estimación de los parámetros extrínsecos (para cada posición del tablero) e intrínsecos de la cámara incluyendo los coeficientes que describen la distorsión geométrica del sistema óptico, mediante una serie de estrategias numéricas. Zhang's calibration method is more generic, so the estimation of all camera model parameters can be addressed, without the manufacturer or operator having to provide initial clues. As detailed in the article by Remondino, F., and Fraser, C. (2006), the procedure requires previously capturing images of a grid in the form of a flat chess board that is placed in front of the camera in different orientations ( at least 3), as a two-dimensional calibration plate. Once the 2D position of the corners of each cell of the board in the images has been identified, these captures are used together with the chess board pattern to calculate a projective transformation in the set of images. From this data, an estimate of the extrinsic parameters (for each board position) and intrinsic of the camera is obtained including the coefficients that describe the geometric distortion of the optical system, by means of a series of numerical strategies.
Todos estos métodos, y sus variantes, se apoyan en el uso de objetos de referencia o calibración, cuyas características geométricas son determinantes en la correcta estimación de los parámetros del modelo de cámara. All these methods, and their variants, are supported by the use of reference or calibration objects, whose geometric characteristics are decisive in the correct estimation of the camera model parameters.
El uso de placas de calibración con un patrón en forma de tablero de ajedrez se ha llegado a convertir en el estándar de la industria, en parte debido a su sencillez (se puede adquirir en cualquier tienda de juguetes) y en parte porque la práctica totalidad de los paquetes software y librerías de calibración (como OpenCV) están preparados para utilizar imágenes con este patrón. The use of calibration plates with a chessboard-shaped pattern has become the industry standard, partly because of its simplicity (it can be purchased at any toy store) and partly because practically all Software packages and calibration libraries (such as OpenCV) are prepared to use images with this pattern.
Sin embargo, el patrón en forma de damero presenta importantes inconvenientes. However, the checker-shaped pattern has significant drawbacks.
El tablero de ajedrez es una figura simétrica, por lo que no es posible distinguir si el tablero ha rotado 180º a partir de los puntos característicos que forman las esquinas de las celdas. Lo cual da lugar a una indefinición respecto a la posición y, por tanto, no permite estimar bien los parámetros extrínsecos de la cámara (relacionados con la posición y la orientación de la misma). The chess board is a symmetrical figure, so it is not possible to distinguish whether the board has rotated 180º from the characteristic points that form the corners of the cells. This results in an uncertainty regarding the position and, therefore, does not allow to estimate the extrinsic parameters of the chamber (related to its position and orientation).
Debido a la regularidad del patrón, tampoco es posible distinguir exactamente qué celdas son visibles y cuáles no cuando una parte del tablero está ocluida por objeto o simplemente se sale del campo de visión de la cámara (si no se hace un seguimiento de los puntos a lo largo de una secuencia, tan sólo se pueden identificar las celdas de forma relativa). Este factor tiene como consecuencia que las implementaciones actuales de los algoritmos de calibración requieren que el damero sea completamente visible en las imágenes que se utilizan para la calibración. Due to the regularity of the pattern, it is also not possible to distinguish exactly which cells are visible and which are not when a part of the board is occluded by object or simply leaves the field of view of the camera (if points are not tracked throughout a sequence, only cells can be identified in a relative way). This factor has the consequence that the current implementations of the calibration algorithms require that the checkerboard be completely visible in the images used for calibration.
Si el tablero de ajedrez se encuentra en un ángulo con cierta inclinación respecto a la cámara, los algoritmos de detección de esquinas tienden a fallar en algunas de las celdas (especialmente en las más alejadas), por lo que las imágenes en esas posiciones no pueden ser utilizadas, al no ser posible determinar la correspondencia con las celdas cuyas esquinas no han sido detectadas, de forma similar al caso anterior. If the chess board is at an angle with a certain inclination with respect to the camera, the corner detection algorithms tend to fail in some of the cells (especially in the farthest ones), so the images in those positions cannot be used, as it is not possible to determine the correspondence with the cells whose corners have not been detected, similar to the previous case.
Además, en configuraciones ópticas como el modo macro o aquellas en las que la apertura de la cámara es grande y, por tanto, la zona de enfoque se reduce, puede llegar a ser necesario un damero de muy pequeñas dimensiones para que no se emborrone parte de su superficie al tomar las imágenes. Ya que el efecto de desenfoque provoca también fallos en la detección de los puntos característicos del tablero, y dado que el algoritmo no funciona si no se captan todas las esquinas del damero, un tablero de tamaño estándar no es útil en este caso (bien porque no cabe, debido a la cercanía en modo macro, o por la estrechez del plano de enfoque si la apertura es grande). El segundo tipo de configuración, con una apertura grande, es muy habitual en el uso de cámaras de alta velocidad, donde el tiempo de exposición es especialmente corto y como consecuencia es necesario captar tanta luz como sea posible para evitar imágenes con altos niveles de ruido. El uso de minúsculos tableros de ajedrez para asegurar la diversidad de orientaciones que requieren los algoritmos basados en los métodos propuestos por Zhang y Tsai resulta poco conveniente, ya que no es sencillo mantenerlos en la zona de enfoque y además es necesario cubrir todo el área de la imagen. Así el patrón del damero requiere la toma de imágenes cuya captura es particularmente compleja en estos casos. In addition, in optical configurations such as the macro mode or those in which the camera's aperture is large and, therefore, the focus area is reduced, a very small size checkerboard may become necessary so that part is not blurred of its surface when taking the images. Since the blur effect also causes errors in the detection of the characteristic points of the board, and since the algorithm does not work if all the corners of the checkerboard are not captured, a standard-sized board is not useful in this case (well because it does not fit, due to the proximity in macro mode, or because of the narrowness of the focus plane if the aperture is large). The second type of configuration, with a large aperture, is very common in the use of high-speed cameras, where the exposure time is especially short and as a result it is necessary to capture as much light as possible to avoid images with high noise levels . The use of tiny chess boards to ensure the diversity of orientations required by the algorithms based on the methods proposed by Zhang and Tsai is inconvenient, since it is not easy to keep them in the focus area and it is also necessary to cover the entire area of the picture. Thus the pattern of the checker requires the taking of images whose capture is particularly complex in these cases.
La presente invención ofrece una solución alternativa a estos problemas que facilita el proceso de calibración mediante un objeto de caras planas sobre las que se han impreso unos motivos geométricos en forma de códigos reconocibles a distintas escalas. Dichos motivos pueden ser interpretados como marcas fiduciarias únicas lo que, unido a su peculiar disposición y escala, en esta invención, permite estimar con gran precisión los parámetros del modelo de cámara descrito, en un amplio rango de orientaciones y distancias a la cámara. The present invention offers an alternative solution to these problems that facilitates the calibration process by means of an object with flat faces on which geometric patterns have been printed in the form of recognizable codes at different scales. Said motives can be interpreted as unique fiduciary marks which, together with their peculiar disposition and scale, in this invention, allows to estimate with great precision the parameters of the described camera model, in a wide range of orientations and distances to the camera.
Referencias: References:
Brown, D.C., 1971: Close-range camera calibration. PE&RS, Vol. 37(8), pp.855-866 Brown, D.C., 1971: Close-range camera calibration. PE&RS, Vol. 37 (8), pp. 855-866
Clarke, T.A. and Fryer, J.G., 1998: The development of camera calibration methods and models. The Photogrammetric Record, Vol. 16(91), pp. 51-66 Clarke, T.A. and Fryer, J.G., 1998: The development of camera calibration methods and models. The Photogrammetric Record, Vol. 16 (91), pp. 51-66
Devernay, F., y Faugeras, O., 2001: Straight lines have to be straight. Machine vision and applications, 13(1), 14-24. Devernay, F., and Faugeras, O., 2001: Straight lines have to be straight. Machine vision and applications, 13 (1), 14-24.
Fryer, J. and Brown, D., 1986: Lens distortion for close-range photogrammetry. PE&RS, Vol. 52(1), pp.51-58 Fryer, J. and Brown, D., 1986: Lens distortion for close-range photogrammetry. PE&RS, Vol. 52 (1), pp. 51-58
Remondino, F., y Fraser, C. (2006). Digital camera calibration methods: considerations and comparisons. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36(5), 266-272. Remondino, F., and Fraser, C. (2006). Digital camera calibration methods: considerations and comparisons. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36 (5), 266-272.
Swaminathan, R., y Nayar, S. K., 2000: Nonmetric calibration of wide-angle lenses and polycameras. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 22(10), 1172-1178. Swaminathan, R., and Nayar, S. K., 2000: Nonmetric calibration of wide-angle lenses and polycameras. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 22 (10), 1172-1178.
Tsai, R.Y., 1987: A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Int. Journal Robotics and Automation, Vol. 3(4), pp. 323-344 Tsai, R.Y., 1987: A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Int. Journal Robotics and Automation, Vol. 3 (4), pp. 323-344
Zhang, Z., 2000: A flexible new technique for camera calibration. IEEE Trans. on PAMI, Vol. 22(11), pp. 1330-1334 Zhang, Z., 2000: A flexible new technique for camera calibration. IEEE Trans. on PAMI, Vol. 22 (11), pp. 1330-1334
La mayor parte de los métodos de calibración requieren tomar un buen número de fotografías de un objeto, cuya geometría es bien conocida, en diferentes orientaciones. Most calibration methods require taking a good number of photographs of an object, whose geometry is well known, in different orientations.
Los objetos más utilizados para este fin son los dameros planos cuyas celdas están coloreadas alternadamente en blanco y negro, de forma similar a un tablero de ajedrez. La regularidad de la cuadrícula reduce el coste computacional de los algoritmos de detección de puntos característicos y la estimación de la curvatura que provoca la óptica en las líneas percibidas del tablero. Sin embargo, como ya se ha comentado, la sencillez de este patrón de calibración conlleva una ambigüedad respecto a posibles giros y una reducción en la precisión de la estimación al tener que descartar imágenes en las que el tablero sólo aparece parcialmente o tiene una inclinación mayor a 60°respecto del plano de imagen. Estos problemas se agravan cuando la cámara tiene que enfocar una zona muy cercana (modo macro) o se configura con una gran apertura (como suele suceder en escenas poco iluminadas o cuando el tiempo de exposición es muy pequeño). The most commonly used objects for this purpose are flat dameros whose cells are alternately colored in black and white, similar to a chess board. The regularity of the grid reduces the computational cost of the algorithms of detection of characteristic points and the estimation of the curvature caused by the optics in the perceived lines of the board. However, as already mentioned, the simplicity of this calibration pattern implies an ambiguity regarding possible turns and a reduction in the accuracy of the estimate by having to discard images in which the board only appears partially or has a greater inclination at 60 ° with respect to the image plane. These problems are aggravated when the camera has to focus on a very close area (macro mode) or is configured with a large aperture (as is usually the case in dimly lit scenes or when the exposure time is very small).
Por ello, en esta invención se propone un objeto de calibración que comprende un patrón no simétrico con elementos que pueden ser identificados de forma independiente. De manera que pueda determinarse la orientación y la posición del objeto respecto de la cámara sin importar cual sea ésta, incluso cuando el objeto es sólo parcialmente visible. Therefore, in this invention a calibration object is proposed comprising a non-symmetrical pattern with elements that can be independently identified. So that the orientation and position of the object with respect to the camera can be determined no matter what it is, even when the object is only partially visible.
El objeto de calibración puede ser tridimensional, preferiblemente con caras planas en las que se impresiona el patrón con precisión. Por simplicidad los ejemplos de esta descripción se ciñen al caso bidimensional, con un tablero plano, que pueden ser fácilmente extrapolados a las caras de un objeto tridimensional más complejo. The calibration object can be three-dimensional, preferably with flat faces in which the pattern is impressed with precision. For simplicity, the examples in this description are based on the two-dimensional case, with a flat board, which can be easily extrapolated to the faces of a more complex three-dimensional object.
En lugar de formar un tablero regular con celdas cuadradas, el conjunto de motivos sobre la superficie del objeto de calibración está compuesto por marcadores o marcas fiduciarias de distintos tamaños, cada una de ellas con un patrón diferente que permite identificarlas individualmente. Instead of forming a regular board with square cells, the set of motifs on the surface of the calibration object is composed of markers or fiduciary marks of different sizes, each with a different pattern that allows them to be identified individually.
De esta forma, los puntos característicos, que se extraen de las imágenes en distintos ángulos, están asociadas a las marcas fiduciarias en esta invención. In this way, the characteristic points, which are extracted from the images at different angles, are associated with the fiduciary marks in this invention.
El hecho de que no se pueda extraer una parte de los puntos característicos, no implica que se tengan que rechazar esas imágenes en el proceso de calibración. Ya que el resto de puntos se pueden utilizar al reconocer las marcas fiduciarias de las que forman parte y, por tanto, es posible distinguirlos y determinar sus posiciones relativas sobre la superficie cuya imagen se captura. The fact that a part of the characteristic points cannot be extracted does not imply that these images have to be rejected in the calibration process. Since the rest of the points can be used when recognizing the fiduciary marks of which they are part and, therefore, it is possible to distinguish them and determine their relative positions on the surface whose image is captured.
Las marcas fiduciarias deben ser únicas y representar un símbolo en un diccionario cuyo diseño no coincida con otro que sólo suponga una rotación de 90°, 180°o 270°. De esta forma, al reconocer el código también se puede deducir su orientación respecto a la cámara. Por tanto, quedan descartadas las formas semejantes a los tableros de ajedrez donde no se cumple esta condición. Fiduciary marks must be unique and represent a symbol in a dictionary whose design does not coincide with another that only involves a rotation of 90 °, 180 ° or 270 °. In this way, by recognizing the code you can also deduce its orientation towards the camera. Therefore, forms similar to chess boards where this condition is not met are ruled out.
Sin embargo, se pueden aprovechar algunas características de los dameros que facilitan y abaratan el coste computacional de la detección de esquinas y líneas en los algoritmos de procesado de imagen, como por ejemplo su regularidad y el hecho de estar formados por cuadrículas de colores. However, some features of the dameros that facilitate and reduce the computational cost of the detection of corners and lines in the image processing algorithms, such as their regularity and the fact of being made up of colored grids, can be exploited.
Por ello, las marcas fiduciarias del ejemplo de realización preferente de esta invención se han realizado a modo de pequeñas cuadrículas, cuyas celdas están coloreadas para representar el símbolo del diccionario con una cierta codificación. La codificación más simple es la binaria, que puede representarse con sólo dos colores, lo que permite mantener una gran separación en luminancia entre éstos, al igual que suele hacerse al colorear las celdas de los tableros de ajedrez tradicionales. Therefore, the fiduciary marks of the preferred embodiment of this invention have been made as small grids, whose cells are colored to represent the dictionary symbol with a certain coding. The simplest coding is the binary, which can be represented with only two colors, which allows to maintain a large separation in luminance between them, as is usually done by coloring the cells of traditional chess boards.
A mayor distancia de Hamming entre las representaciones de los símbolos en el diccionario, menor será la posibilidad de interpretar erróneamente alguna de las marcas fiduciarias dibujadas en la superficie del objeto. The greater the distance of Hamming between the representations of the symbols in the dictionary, the lower the possibility of misinterpreting some of the fiduciary marks drawn on the surface of the object.
Otro aspecto que facilita el proceso de detección, es la colocación de un marco alrededor de cada marca fiduciaria, de un grosor uniforme y un color distintivo respecto al resto de la superficie del objeto, que puede ser, por ejemplo, del color de menor luminosidad si el código es binario. Another aspect that facilitates the detection process is the placement of a frame around each fiduciary mark, of a uniform thickness and a distinctive color with respect to the rest of the surface of the object, which can be, for example, the color of less light If the code is binary.
Resulta conveniente que las marcas fiduciarias tengan forma cuadrada, ya que es suficiente con extraer los puntos correspondientes a las esquinas de cada marca fiduciaria identificada para calcular la homografía de cada vista y con ellas, se calculan a su vez, los parámetros extrínsecos de la cámara. It is convenient that fiduciary marks have a square shape, since it is sufficient to extract the points corresponding to the corners of each fiduciary mark identified to calculate the homography of each view and with them, the extrinsic parameters of the chamber are calculated .
Al cubrir la superficie del objeto de calibración con multitud de marcas fiduciarias de distintos tamaños, se mejora la capacidad del sistema de calibración para obtener información en situaciones adversas, como la presencia de oclusiones (al quedar parcialmente tapado el objeto de calibración durante la captura), las tomas en las que algún extremo del objeto se sale del encuadre o cuando sólo una porción está en el plano de enfoque. By covering the surface of the calibration object with a multitude of fiduciary marks of different sizes, the ability of the calibration system to obtain information in adverse situations, such as the presence of occlusions, is improved (when the calibration object is partially covered during capture) , the shots in which some end of the object leaves the frame or when only a portion is in the focus plane.
La diversidad en el tamaño de las marcas fiduciarias es clave en dicha mejora. Ya que permite que al menos una parte de las marcas fiduciarias pueda ser reconocida con independencia de la distancia y el ángulo entre la cámara y el objeto de calibración. De esta forma los puntos característicos asociados a las marcas fiduciarias reconocidas se utilizan como datos de entrada en algoritmos como el de Zhang y Tsai para estimar la posición y orientación de la cámara, así como su distancia focal y los factores de corrección de la distorsión geométrica. Diversity in the size of fiduciary marks is key to such improvement. Since it allows at least part of the fiduciary marks to be recognized regardless of the distance and angle between the camera and the object of calibration. In this way the characteristic points associated with the recognized fiduciary marks are used as input data in algorithms such as that of Zhang and Tsai to estimate the position and orientation of the chamber, as well as its focal length and the correction factors of geometric distortion .
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente: To complement the description that is being made and in order to help a better understanding of the characteristics of the invention, a set of drawings is attached as an integral part of said description, where illustrative and non-limiting nature has been represented. next:
La figura 1 muestra un ejemplo de arte previo. El epígrafe 1a se corresponde con una vista frontal de un damero de calibración típico, compuesto por celdas de color blanco y negro. El dibujo 2a se corresponde con una representación de una captura de imagen de dicho damero en uno de los casos patológicos, dado que una porción del mismo está más allá de la zona de encuadre de la cámara. Dada la simetría y regularidad del tablero, no es posible determinar a qué celdas pertenecen los puntos característicos que están más allá de los límites de la imagen. Figure 1 shows an example of prior art. Heading 1a corresponds to a front view of a typical calibration checkerboard, composed of black and white cells. Drawing 2a corresponds to a representation of an image capture of said checkerboard in one of the pathological cases, since a portion thereof is beyond the framing area of the chamber. Given the symmetry and regularity of the board, it is not possible to determine to which cells the characteristic points that are beyond the limits of the image belong.
La figura 2 representa una vista frontal de una marca fiduciaria de ejemplo (1), que se asocia con un código único. La marca fiduciaria está compuesta por una cuadrícula en la que se ha coloreado cada una de las celdas (2) en dos posibles tonos de diferente valor de luminosidad, blanco en las celdas tipo (2) y gris oscuro en las celdas tipo (3). La marca fiduciaria, sirve a su vez como elemento constructivo del patrón que se imprime sobre la superficie de la placa de calibración multirresolución. Cada una de estas marcas es identificada de forma independiente por el sistema óptico. Figure 2 represents a front view of an example fiduciary mark (1), which is associated with a unique code. The fiduciary mark is composed of a grid in which each of the cells (2) has been colored in two possible shades of different brightness value, white in type cells (2) and dark gray in type cells (3) . The fiduciary mark, in turn, serves as a constructive element of the pattern that is printed on the surface of the multi-resolution calibration plate. Each of these marks is independently identified by the optical system.
La figura 3 representa una vista frontal de un ejemplo de realización del dispositivo de calibración multirresolución, donde se distingue el conjunto de motivos geométricos que forman las distintas marcas fiduciarias de ejemplo (1), que son reconocidas por el sistema óptico de forma individual y global (al conocer su posición relativa). La disposición en rectángulos (o anillos) concéntricos con marcadores de distintos tamaños favorece la detección de los puntos característicos de un conjunto próximo de marcadores; incluso en configuraciones extremas, cuando sólo una porción de la placa es visible desde la cámara o cuando la placa de calibración está muy cerca de la cámara. Figure 3 represents a front view of an embodiment example of the multi-resolution calibration device, where the set of geometric patterns that form the different example fiduciary marks (1), which are recognized by the optical system individually and globally, is distinguished (knowing their relative position). The arrangement in concentric rectangles (or rings) with markers of different sizes favors the detection of the characteristic points of a nearby set of markers; even in extreme configurations, when only a portion of the plate is visible from the camera or when the calibration plate is very close to the camera.
La figura 4 ilustra una captura de la placa de calibración representada en la figura 3 bajo condiciones en las que la zona de enfoque es muy estrecha. El emborronamiento, producido por las limitaciones físicas del sistema óptico de captura, hace que una parte de los puntos característicos no pueda ser recuperado. Sin embargo, en la zona central las marcas fiduciarias de menor tamaño se pueden aprovechar para la calibración, al estar bien enfocadas y reconocerse esas marcas (y sus puntos característicos) de forma independiente al resto. Figure 4 illustrates a capture of the calibration plate depicted in Figure 3 under conditions where the focus area is very narrow. The blurring, produced by the physical limitations of the optical capture system, means that part of the characteristic points cannot be recovered. However, in the central zone, fiduciary marks of smaller size can be used for calibration, being well focused and recognizing those marks (and their characteristic points) independently of the rest.
En la figura 3 se muestra una realización particular de la invención, cuyo patrón puede estar impreso sobre una placa plana de metacrilato. A particular embodiment of the invention is shown in Figure 3, the pattern of which may be printed on a flat methacrylate plate.
Cada una de las marcas fiduciarias está formada por una cuadrícula de 5 × 5 celdas cuadradas cuyo color depende de la codificación binaria de un símbolo en un diccionario. En este caso se ha coloreado el valor 0 en negro y el valor 1 en blanco. Each of the fiduciary marks is formed by a grid of 5 × 5 square cells whose color depends on the binary coding of a symbol in a dictionary. In this case, the value 0 has been colored in black and the value 1 in white.
Cada una de las marcas está rodeada por un marco de una celda de grosor. Por lo que se puede considerar que cada una de las marcas fiduciarias forman una pequeña cuadrícula de 7 × 7 celdas, en la que la primera y última de las filas, y la primera y la última de las columnas están coloreadas siempre del mismo tono para componer el marco. Así, la regularidad de la zona exterior favorece la detección, mientras que la zona interna de cada marca fiduciaria se utiliza para la identificación. Each of the marks is surrounded by a thick cell frame. So it can be considered that each of the fiduciary marks form a small grid of 7 × 7 cells, in which the first and last of the rows, and the first and last of the columns are always colored in the same tone for Compose the frame. Thus, the regularity of the outer zone favors detection, while the inner zone of each fiduciary mark is used for identification.
La codificación binaria empleada incluye bits redundantes que permiten la detección y corrección de errores. Además sólo son válidos aquellos marcadores fiduciarios que son invariantes a rotaciones de 90, 180 y 270 grados. The binary coding used includes redundant bits that allow error detection and correction. In addition, only those fiduciary markers that are invariant to 90, 180 and 270 degree rotations are valid.
En este ejemplo, cada marcador tiene un código interno de 5 palabras de 5 bits cada una. La codificación empleada es una ligera modificación del código Hamming. En total, cada palabra solo tiene 2 bits de información de los 5 bits empleados. Los otros 3 son empleados para detección de errores. Como consecuencia, puede llegar a utilizarse hasta 1024 identificadores diferentes. In this example, each marker has an internal code of 5 words of 5 bits each. The coding used is a slight modification of the Hamming code. In total, each word only has 2 bits of information from the 5 bits used. The other 3 are used for error detection. As a result, up to 1024 different identifiers can be used.
La principal diferencia entre el código Hamming estándar y el que se ha aplicado en este caso es que el primer bit se han invertido. De esta manera se evita utilizar un rectángulo completamente negro como marcador válido para poder reducir falsos positivos con los objetos del entorno. The main difference between the standard Hamming code and the one that has been applied in this case is that the first bit has been inverted. This avoids using a completely black rectangle as a valid marker to reduce false positives with the surrounding objects.
Los marcadores mantienen la misma orientación y están separados unos de otros por una distancia inferior a la mitad del lado de la marca fiduciaria para cada posible tamaño The markers maintain the same orientation and are separated from each other by a distance less than half the side of the fiduciary mark for each possible size
5 de celda. Cuando están agrupados por tamaños, como los rectángulos concéntricos del ejemplo de la figura 3, se puede introducir una separación que favorezca la regularidad conjunto, y con ella la detección de las regiones correspondientes a las marcas fiduciarias y sus esquinas. 5 cell. When they are grouped by size, such as the concentric rectangles of the example in Figure 3, a separation can be introduced that favors joint regularity, and with it the detection of regions corresponding to fiduciary marks and their corners.
La reducción en el tamaño de la celda de los marcadores en la zona central permite que The reduction in the cell size of the markers in the central zone allows
10 sus puntos característicos sean detectados y asociados a las marcas fiduciarias correspondientes incluso cuando el objeto de calibración está muy cerca y tiene una notable inclinación frente a la cámara, como se muestra en la captura de la figura 4. 10 its characteristic points are detected and associated with the corresponding fiduciary marks even when the calibration object is very close and has a noticeable inclination in front of the camera, as shown in the capture of figure 4.
Son posibles, e igualmente efectivos, muchos otros muchos patrones de disposición de los marcadores (o marcas fiduciarias) de distintos tamaños. Como, por ejemplo, en filas Many other many disposition patterns of markers (or fiduciary marks) of different sizes are possible, and equally effective. Like, for example, in rows
15 alternando el tamaño de los mismos. 15 alternating their size.
Una vez descrita suficientemente la naturaleza del presente invento, así como un ejemplo de realización preferente, solamente queda por añadir que dicha invención pude sufrir ciertas variaciones en forma y materiales, siempre y cuando dichas alteraciones no varíen sustancialmente las características que se reivindican a continuación. Once the nature of the present invention has been sufficiently described, as well as a preferred embodiment, it only remains to be added that said invention could undergo certain variations in form and materials, as long as said alterations do not substantially vary the characteristics claimed below.
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201531330A ES2561732B2 (en) | 2015-09-18 | 2015-09-18 | Multi-resolution calibration device for artificial vision systems |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201531330A ES2561732B2 (en) | 2015-09-18 | 2015-09-18 | Multi-resolution calibration device for artificial vision systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2561732A1 ES2561732A1 (en) | 2016-02-29 |
| ES2561732B2 true ES2561732B2 (en) | 2016-10-07 |
Family
ID=55359280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201531330A Active ES2561732B2 (en) | 2015-09-18 | 2015-09-18 | Multi-resolution calibration device for artificial vision systems |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2561732B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10432912B2 (en) | 2017-09-29 | 2019-10-01 | Waymo Llc | Target, method, and system for camera calibration |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2055606U (en) * | 1989-06-20 | 1990-04-04 | 中国科学院遥感应用研究所 | Micro-stereo measuration mould |
| US6396569B2 (en) * | 1999-09-02 | 2002-05-28 | Texas Instruments Incorporated | Image displacement test reticle for measuring aberration characteristics of projection optics |
| US6778275B2 (en) * | 2002-02-20 | 2004-08-17 | Micron Technology, Inc. | Aberration mark and method for estimating overlay error and optical aberrations |
| US6963390B1 (en) * | 2002-07-19 | 2005-11-08 | Litel Instruments | In-situ interferometer arrangement |
| US8717673B2 (en) * | 2011-05-28 | 2014-05-06 | Board Of Trustees Of The University Of Illinois | Simple ultra-stable stage with built-in fiduciary markers for fluorescence nanoscopy |
-
2015
- 2015-09-18 ES ES201531330A patent/ES2561732B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| ES2561732A1 (en) | 2016-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2708274T3 (en) | System and approach method of stadium lighting | |
| ES2313036T3 (en) | PROCEDURE AND SYSTEM FOR THE RECONSTRUCTION OF THE THREE-DIMENSIONAL SURFACE OF AN OBJECT. | |
| KR102247409B1 (en) | Targets, methods, and systems for camera calibration | |
| US6985183B2 (en) | Method for exploring viewpoint and focal length of camera | |
| KR102236297B1 (en) | Calibration device and method for calibrating a dental camera | |
| Gschwandtner et al. | Infrared camera calibration for dense depth map construction | |
| Fiala et al. | Self-identifying patterns for plane-based camera calibration | |
| JP2016167229A (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
| JP2018507407A5 (en) | ||
| US10027954B2 (en) | Registering cameras in a multi-camera imager | |
| US20170221224A1 (en) | Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space | |
| US10339662B2 (en) | Registering cameras with virtual fiducials | |
| JP2012189551A (en) | Perimeter field for calibration of multi-camera | |
| KR102546346B1 (en) | Apparatus and method for omni-directional camera calibration | |
| KR101785202B1 (en) | Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof | |
| CN105513074B (en) | A kind of scaling method of shuttlecock robot camera and vehicle body to world coordinate system | |
| ES2733651T3 (en) | Measurement of the angular position of a lenticular lens sheet | |
| ES2561732B2 (en) | Multi-resolution calibration device for artificial vision systems | |
| CN116843748A (en) | Remote two-dimensional code and object space pose acquisition method and system thereof | |
| JP4166988B2 (en) | Stereo image processing apparatus and method | |
| Huiyang et al. | Calibration of camera with small FOV and DOF telecentric lens | |
| Beauvisage et al. | Low cost and low power multispectral thermal-visible calibration | |
| CN114494316A (en) | Corner marking method, parameter calibration method, medium, and electronic device | |
| JP3704494B2 (en) | How to check camera viewpoint and focal length | |
| CN113506347B (en) | Camera internal reference processing method and system based on single picture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2561732 Country of ref document: ES Kind code of ref document: B2 Effective date: 20161007 |