ES2249131A1 - Automatic image point arrangement involves calculating transformation between points in image and three-dimensional original points of image to determine position of each point within image and position of points hidden in image - Google Patents
Automatic image point arrangement involves calculating transformation between points in image and three-dimensional original points of image to determine position of each point within image and position of points hidden in imageInfo
- Publication number
- ES2249131A1 ES2249131A1 ES200401160A ES200401160A ES2249131A1 ES 2249131 A1 ES2249131 A1 ES 2249131A1 ES 200401160 A ES200401160 A ES 200401160A ES 200401160 A ES200401160 A ES 200401160A ES 2249131 A1 ES2249131 A1 ES 2249131A1
- Authority
- ES
- Spain
- Prior art keywords
- points
- image
- scene
- homographies
- circ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims description 44
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000000844 transformation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G06T7/0018—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
Procedimiento para la ordenación automática de un conjunto de puntos en una imagen.Procedure for automatic sorting of a set of points in an image.
La invención se encuadra en el sector técnico del procesamiento de imágenes y del reconocimiento de patrones.The invention falls within the technical sector of the Image processing and pattern recognition.
Las técnicas que se utilizan actualmente para determinar cómo están distribuidos los puntos en una imagen, suelen requerir la interacción con el usuario, con el fin de seleccionar algunos puntos específicos que faciliten la tarea de identificar en qué posición está el patrón y, posteriormente, ordenar el conjunto completo de puntos. Un ejemplo de este tipo de técnicas es la que se utiliza en el "Camera Calibration Toolbox for Matlab" que contiene algunas herramientas para el calibrado de imágenes. En este caso, se seleccionan de forma manual las cuatro esquinas del plano que contiene las figuras geométricas. Una aplicación que también utiliza la selección manual de puntos es el "CalibStereo2Pattern".The techniques that are currently used to determine how the points are distributed in an image, usually require interaction with the user, in order to select some specific points that facilitate the task of identifying in what position is the pattern and then order the set full of points. An example of this type of techniques is the one used in the "Camera Calibration Toolbox for Matlab" that It contains some tools for image calibration. In In this case, the four corners of the plane containing the geometric figures. An application that also uses manual point selection is the "CalibStereo2Pattern".
En muchas técnicas sobre calibración de cámaras se han utilizado patrones como los de las figuras 1 y 2. El objetivo de esas técnicas es el de obtener directamente la matriz de proyección de la cámara, o sus parámetros intrínsecos o extrínsecos, estudiando cómo se transforman las figuras geométricas obtenidas por dicha cámara. Estas técnicas suelen depender de un tipo específico de patrón y en muchos casos suelen necesitar la interacción con el usuario. Algunos trabajos relacionados son:In many camera calibration techniques patterns such as those in figures 1 and 2 have been used. objective of these techniques is to obtain the matrix directly projection of the camera, or its intrinsic parameters or extrinsic, studying how geometric figures are transformed obtained by said camera. These techniques usually depend on a specific type of pattern and in many cases usually need the user interaction Some related works are:
\bullet Z. Zhang. "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000 Z. Zhang . "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11): 1330-1334, 2000
\bullet Xiaoqiao Meng, Hua Li and Zhanyi Hu. "A New Easy Camera Calibration Technique Based on Circular Points".Xiaoqiao Meng , Hua Li and Zhanyi Hu . "A New Easy Camera Calibration Technique Based on Circular Points".
\bullet Vincent Fremont, Ryad Chellali. "Direct Camera Calibration using Two Concentric Circles from a Single View".Vincent Fremont , Ryad Chellali . "Direct Camera Calibration using Two Concentric Circles from a Single View".
\bullet Luc Robert. "Camera calibration without feature extraction". Computer Vision and Image Understanding. Volume 63. Elsevier Science. 1996 Luc Robert . "Camera calibration without feature extraction". Computer Vision and Image Understanding. Volume 63. Elsevier Science . nineteen ninety six
\bullet Janne Heikkila. "Geometric Camera Calibration Using Circular Control Points". IEEE Transactions on Pattern Análisis and Machine Intelligence. Vol. 22, N°10. 2000 Janne Heikkila . "Geometric Camera Calibration Using Circular Control Points". IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, No. 10. 2000
También se han publicado algunos trabajos sobre mallados de puntos que se obtienen a partir de patrones de calibración. Un ejemplo es:Some works have also been published on point meshes that are obtained from patterns of calibration. An example is:
\bulletShu, C., Brunton, A., Fiala, M. "Automatic Grid Finding in Calibration Patterns using Delaunay Triangulation". NRC 46497. NRC/ERB-1104.2003 Shu , C., Brunton , A., Fiala , M. "Automatic Grid Finding in Calibration Patterns using Delaunay Triangulation". NRC 46497. NRC / ERB-1104. 2003
La presente invención se refiere a un nuevo procedimiento para la ordenación automática de un conjunto de puntos detectados en una imagen.The present invention relates to a new procedure for automatic sorting of a set of points detected in an image.
Se obtiene una imagen, a través de una cámara, de un patrón compuesto por un conjunto de figuras geométricas situadas sobre distintos planos. Suponemos que conocemos las posiciones en el espacio de algunos puntos relacionados con dichas figuras geométricas.An image is obtained, through a camera, of a pattern composed of a set of geometric figures located on different planes. We assume that we know the positions in the space of some points related to these figures geometric
El procedimiento de ordenación necesita un conjunto de puntos sobre la imagen que deben ser obtenidos previamente a través de un procedimiento de detección. Este procedimiento detectará las figuras geométricas que se encuentren en la imagen y asignará a cada una, uno o más puntos que la identifiquen.The sorting procedure needs a set of points on the image that must be obtained previously through a detection procedure. This procedure will detect the geometric figures that are in the image and assign each one, one or more points than the identify.
El procedimiento se caracteriza porque todos los pasos del mismo se realizan de forma completamente automática. En algunos procedimientos parecidos a éste, la ordenación necesita de la interacción con el usuario con el fin de localizar inicialmente algunos puntos determinados. Una de las aplicaciones de esta invención es en la calibración de cámaras. En la mayoría de los métodos de calibración de cámaras no se presta mucha atención al procedimiento de ordenación sino a la propia calibración, por lo que la mayoría de los métodos de este tipo necesitan que se realice la selección de los puntos de forma manual o semi-automática, además de restringirse únicamente al uso de patrones concretos compuestos de figuras geométricas determinadas y en posiciones específicas.The procedure is characterized because all Steps are performed completely automatically. In some procedures similar to this one, the management needs interaction with the user in order to initially locate Some specific points. One of the applications of this invention is in the calibration of cameras. In most of the camera calibration methods do not pay much attention to sorting procedure but to the calibration itself, so most methods of this type need the point selection manually or semi-automatic, in addition to restricting only to the use of concrete patterns composed of geometric figures determined and in specific positions.
En las figuras 1 y 2 podemos ver dos tipos de patrones diferentes con figuras elípticas y rectangulares, respectivamente. Estos tipos de patrones se suelen utilizar con bastante frecuencia en el problema de la calibración de cámaras. Antes de realizar la ordenación de los puntos es necesario que se ejecute un procedimiento de detección a partir del cual se obtenga un conjunto de puntos que describan las figuras geométricas. Por ejemplo, en el caso de que las figuras fueran elipses, se podría utilizar el centro de las mismas como puntos característicos y utilizar un método como la transformada de Hough para calcularlos. Si las figuras fueran cuadrados o rectángulos se pueden tomar las esquinas de los mismos para describirlos, utilizando para esto algún método de detección de esquinas como el método de Harris. Después de la detección puede ser necesario realizar un paso adicional para descartar algunos puntos que no se hayan detectado correctamente.In figures 1 and 2 we can see two types of different patterns with elliptical and rectangular shapes, respectively. These types of patterns are often used with quite often in the problem of camera calibration. Before ordering the points it is necessary that execute a detection procedure from which it is obtained a set of points that describe the geometric figures. By For example, if the figures were ellipses, you could use their center as characteristic points and use a method like the Hough transform to calculate them. If the figures were squares or rectangles you can take the corners of them to describe them, using for this some corner detection method like Harris's method. After detection it may be necessary to perform a step additional to discard some points that have not been detected correctly.
El procedimiento de ordenación es independiente del procedimiento de detección y, por tanto, de las figuras de que se componga el patrón. Este procedimiento se puede aplicar a cualquier tipo de figura siempre que a éstas se les pueda asociar uno o más puntos diferenciados.The sorting procedure is independent. of the detection procedure and, therefore, of the figures that The pattern is made up. This procedure can be applied to any type of figure as long as they can be associated with them one or more differentiated points.
Para ordenar los puntos de cada plano, lo que se hace es seleccionar conjuntos de al menos cuatro puntos por cada uno y encontrar la transformación que habría entre ese plano de la imagen y el plano original de la escena. Desde que se encuentre esa transformación, entonces se pueden poner los puntos de la imagen (puntos 2D) en correspondencia con los puntos de la escena (puntos 3D) y, como conocemos cómo están ordenados los puntos 3D, entonces podemos ordenar los puntos de la imagen.To order the points of each plane, what does is select sets of at least four points for each one and find the transformation that would be between that plane of the image and the original plan of the scene. Since that is found transformation, then you can put the points of the image (2D points) in correspondence with the points of the scene (points 3D) and, as we know how the 3D points are sorted, then We can order the points of the image.
Se seleccionan grupos de al menos cuatro puntos. Estos grupos de puntos se pueden formar tomando cuatro puntos que sean vecinos entre sí, es decir, aquellos que estén más cerca entre sí en la imagen. Para encontrar esos puntos se puede buscar de forma exhaustiva calculando distancias entre puntos y formando los grupos con los que estén a menor distancia. Otra forma de obtener esa relación de vecindad es a través de la construcción de algún tipo de grafo conectado en donde los nodos son los puntos 2D. Estos grafos pueden ser triangulaciones (por ejemplo triangulaciones de Delaunay) o mallas rectangulares. Se puede limitar el número de grupos de puntos para reducir el tiempo de ejecución del proceso. Una estrategia para limitarlos puede ser la de seleccionar el conjunto de puntos compuesto por los cuatro puntos que se encuentran más próximos a las esquinas del plano original. Otra estrategia puede ser la de seleccionar los conjuntos de cuatro puntos que se encuentran situados más próximos de cada una de las cuatro esquinas de cada plano. También se pueden aplicar estrategias iterativas en las que se selecciona un solo conjunto de puntos cada vez y se sigue con el resto del proceso; si la ordenación no es satisfactoria, entonces se vuelve a seleccionar otro conjunto de puntos y se vuelve a ordenar, procediendo de esta manera hasta que la ordenación sea correcta o sea la mejor que se ha encontrado en un tiempo determinado o después de un número de intentos determinado.Groups of at least four points are selected. These groups of points can be formed by taking four points that be neighbors to each other, that is, those closest to each other Yes in the picture. To find those points you can search for exhaustive way calculating distances between points and forming groups with those who are at a smaller distance. Another way to get that neighborhood relationship is through the construction of some type of graph connected where the nodes are 2D points. These graphs can be triangulations (for example triangulations of Delaunay) or rectangular meshes. You can limit the number of groups of points to reduce the execution time of the process. A strategy to limit them may be to select the set of points composed of the four points that they find closer to the corners of the original plane. Other strategy can be to select the sets of four points that are located closest to each of the Four corners of each plane. Can also be applied iterative strategies in which a single set of points each time and you continue with the rest of the process; yes the sorting is not satisfactory, then it is selected again another set of points and reordered, proceeding from this way until the ordering is correct or the best found at a certain time or after a number of Attempts determined.
Una vez que se han seleccionado los conjuntos de puntos, el siguiente paso es el de encontrar para cada uno de esos conjuntos la mejor transformación que existe entre esos puntos y los puntos 3D del patrón. Esta transformación - denominada generalmente homografia - se puede representar a través de una matriz de dimensión 3 por 3 y establece cómo convertir los puntos de un plano al otro plano, o lo que es lo mismo, establece qué punto de un plano se transforma en qué punto del otro. Esta transformación se puede calcular a través de algún método de estimación lineal o no lineal, como por ejemplo el método DLT (Direct Linear Transformation). Para cada conjunto de puntos de la imagen se encuentra el conjunto de puntos de la escena con el que se corresponde. Este conjunto de puntos de la escena es aquel con el que se obtiene la mejor homografia. Se entiende como mejor homografia aquella que, aplicándosela a todos los puntos de la imagen, se obtiene el mayor número de puntos en correspondencias con los puntos de la escena.Once the sets of points, the next step is to find for each of those sets the best transformation that exists between those points and 3D dots of the pattern. This transformation - called generally homography - can be represented through a 3 by 3 dimension matrix and set how to convert points from one plane to the other plane, or what is the same, establishes what point of one plane is transformed into what point of the other. This transformation can be calculated through some method of linear or nonlinear estimation, such as the DLT method (Direct Linear Transformation). For each set of points in the image is the set of points of the scene with which It corresponds. This set of points of the scene is the one with the one who gets the best homography. It is understood as better homography that which, applying it to all points of the image, you get the highest number of points in correspondences with the points of the scene.
De esta manera, después de este paso se habrán seleccionado una serie de conjuntos de puntos de la imagen (de al menos cuatro puntos cada uno) y para cada conjunto se tendrá asociado una homografia que representa la mejor transformación entre esos puntos y los puntos de la escena.In this way, after this step they will have selected a series of sets of points of the image (from to minus four points each) and for each set you will have associated a homography that represents the best transformation between those points and the points of the scene.
A efectos prácticos este paso se puede simplificar si a priori se ha establecido algún criterio para encontrar los conjuntos de puntos en la imagen dependiendo de su distribución en la escena, por ejemplo, se pueden buscar en la imagen conjuntos de puntos que estén situados en las esquinas de tal forma que también sea fácil identificar esos puntos en la escena.For practical purposes this step can be simplify if a priori has established some criteria to find the sets of points in the image depending on your distribution in the scene, for example, you can search the image sets of points that are located in the corners of such that it is also easy to identify those points in the scene.
El siguiente paso consiste en, dados los conjuntos de puntos de la imagen y las homografias, seleccionar para cada uno de los planos la mejor homografia. De los conjuntos seleccionados, habrán varios que coincidan en el mismo plano, por lo tanto, se detectan cuáles son esos conjuntos para cada plano y luego se obtiene la mejor homografia. Para detectar los conjuntos que coinciden en un mismo plano, lo que se hace es aplicar la homografia del conjunto a los puntos de la imagen y agrupar aquellos conjuntos que proporcionen un número determinado de coincidencias en los puntos de la escena. Cuando se han agrupado los conjuntos, se selecciona la mejor homografia. Esta homografia es la de aquel conjunto que al aplicarla sobre los puntos de la imagen se obtiene el mayor número de puntos en correspondencias con los puntos de la escena. Si varios conjuntos tienen el mismo número de correspondencias, entonces se selecciona el que tenga el menor error de transformación, es decir, la menor distancia entre los puntos de la escena y los puntos transformados.The next step consists of, given the sets of image points and homographies, select for each of the plans the best homography. Of the sets selected, there will be several that match on the same plane, so both, what are those sets for each plane and Then you get the best homography. To detect the sets that coincide in the same plane, what is done is to apply the homography of the set to the points of the image and group those sets that provide a certain number of coincidences in the points of the scene. When the sets, the best homography is selected. This homography is the of that set that when applied on the points of the image obtains the highest number of points in correspondence with the points of the scene. If several sets have the same number of correspondences, then select the one with the smallest transformation error, that is, the shortest distance between scene points and transformed points.
Al final de este paso, se ha asociado a cada plano una homografia, por lo que se conoce cómo transformar ese plano a un plano de la escena. Esta forma de calcular las transformaciones es bastante robusta ya que se consigue descartar grupos de puntos que no se corresponden correctamente con los de la escena.At the end of this step, it has been associated with each flat a homography, so it is known how to transform that plane to a plane of the scene. This way of calculating transformations is quite robust since it is possible to discard groups of points that do not correspond correctly with those of the scene.
Después de haber encontrado las homografias para cada plano, se hace un refinamiento de las mismas. Para refinar las homografias lo que se hace ahora es calcularlas al igual que se hacía antes, pero en vez de con un grupo reducido de puntos, con todos los puntos del plano, con lo que la transformación será más precisa. Este paso es opcional, aunque se recomienda que se realice si se desea que el método sea más robusto. También se recomienda si se desean recuperar los puntos que hayan podido quedar ocultos, ya que se incrementa la precisión del método y se puede recuperar con una buena precisión la posición de los puntos en la imagen.Having found the homographies for each plane, a refinement is made of them. To refine the homographies what is done now is to calculate them as well as it was before, but instead of with a small group of points, with all points of the plane, so that the transformation will be more accurate. This step is optional, although it is recommended that it be performed if you want the method to be more robust. It is also recommended if you want to recover the points that may have been hidden, since that the accuracy of the method is increased and can be recovered with a good precision the position of the points in the image.
Desde que se han obtenido las homografias ya se pueden ordenar los puntos dentro de cada plano. Esto se realiza de forma sencilla poniendo en relación los puntos de la imagen con los de la escena (a través de la homografia) y ordenando los primeros de acuerdo a como están ordenados los segundos. Si el patrón original tuviese más de un plano, gracias a las homografias de todos los planos se pondrían en correspondencia todos los puntos de cada plano de la imagen con los de la escena y luego se ordenarían de acuerdo a como estén ordenados en el patrón.Since the homographies have been obtained, They can sort the points within each plane. This is done from simple way by relating the points of the image with the of the scene (through the homography) and ordering the first according to how the seconds are ordered. Yes the pattern original had more than one plane, thanks to the homographies of all planes would correspond all points of each plane of the image with those of the scene and then they would be sorted according to how they are ordered in the pattern.
En el caso de que hubiese algunos puntos ocultos en la imagen, es posible recuperar sus posiciones utilizando la información que nos suministran las homografias. Para esto basta con calcular la homografia inversa (invirtiendo la matriz por algún método numérico), seleccionar los puntos de la escena que estén ocultos, que son aquellos para los cuales no se ha encontrado su correspondiente en la imagen, y aplicarle la inversa de la homografia del plano correspondiente para calcular su posición en la imagen.In case there were some hidden points in the image, it is possible to recover their positions using the information provided by the homographies. For this enough with calculating the inverse homography (inverting the matrix by some numerical method), select the points of the scene that are hidden, which are those for which your corresponding in the image, and apply the inverse of the Homography of the corresponding plane to calculate its position in the picture.
Generalmente, con la información suministrada por las homografias es suficiente para ordenar todos los puntos de la imagen, sin embargo, dependiendo de cómo se haya diseñado inicialmente el patrón, puede que sea necesario realizar un paso adicional. Esto ocurre cuando el patrón es de alguna manera regular, es decir, cuando las figuras geométricas del mismo se colocan de forma muy regular en los planos (por ejemplo, distribuidos de forma rectangular), o se sitúan a una distancia fija entre sí o cuando distintos planos están diseñados de igual forma. Esto suele ser una práctica común ya que resulta más fácil diseñarlo de esta manera (ver figuras 1 y 2), al igual que es más sencillo calcular cuáles son las posiciones de los puntos en la escena. También suele ser habitual que las figuras tengan igual tamaño y color, aunque esto no afecta al procedimiento de ordenación sino al de la detección.Generally, with the information provided by the homographies is enough to order all the points of the image, however, depending on how it was designed initially the pattern, it may be necessary to take a step additional. This occurs when the pattern is somehow regular, that is, when the geometric figures of the same are placed very regularly in the plans (for example, distributed in a way rectangular), or are located at a fixed distance from each other or when Different planes are designed in the same way. This is usually a common practice since it is easier to design it this way (see figures 1 and 2), as it is easier to calculate which are the positions of the points in the scene. It is also usually usual that the figures have the same size and color, although this it does not affect the management procedure but that of the detection.
Para abordar este problema, hay que añadir un paso antes del paso en que se refinan las homografias y se utilizan para ordenar.To address this problem, you must add a step before the step in which the homographies are refined and used to order.
El problema con el que nos encontramos aquí es que no podemos seleccionar una única homografia que sea la mejor por cada plano, sino que hay que manejar varias por cada uno. Esto se ve fácilmente si observamos la figura 1 y nos damos cuenta de que no se puede discernir si el patrón está al derecho o al revés, ya que si lo pusiésemos boca abajo seguiría estando igual. Esto significa que cada plano va a tener varias homografias pero que se corresponden a orientaciones distintas del patrón.The problem we encountered here is that we cannot select a single homography that is the best for each plane, but you have to manage several for each. This It is easy to see if we look at figure 1 and realize that one cannot discern whether the pattern is upside down or the other way around, since if we turned it upside down it would still be the same. This it means that each plane will have several homographies but that correspond to orientations other than the pattern.
Este nuevo paso consiste en seleccionar aquellas
homografias que tengan la misma orientación tanto en los planos de
la imagen como en los planos de la escena, y luego en ordenar los
planos dependiendo de su posición relativa con respecto al resto de
los planos. Para determinar la orientación de las homografias se
toman los planos de dos en dos y utilizando los vectores
Se seleccionan las homografias que tengan la orientación más parecida a la de los planos en la escena. Si el coseno está próximo a 1 significa que las orientaciones son parecidas, mientras que si está próximo a -1 significa que las orientaciones de los planos están en sentido contrario.Homographs are selected that have the orientation more similar to that of the planes in the scene. If he cosine is close to 1 means that the orientations are similar, while if it is close to -1 it means that the Orientations of the planes are in the opposite direction.
Para determinar la ordenación de los planos se toma el primer punto de cada uno y se ordenan de igual forma que están ordenados los de los planos de la escena. Al ordenar estos puntos, conseguimos poner en correspondencia los planos de la imagen con los planos de la escena uno a uno.To determine the arrangement of the plans, take the first point of each one and they are sorted in the same way as The plans of the scene are ordered. When ordering these points, we managed to match the plans of the image with the plans of the scene one by one.
Al final de este paso se ha encontrado la mejor homografia para cada plano y se ha determinado qué plano de la imagen se corresponde con qué plano de la escena, con lo que quedaría por realizar el refinamiento de las transformaciones y ordenar todos los puntos utilizando las homografias y, en este caso, utilizando también la información de la ordenación de los planos.At the end of this step the best one has been found homography for each plane and it has been determined which plane of the image corresponds to which plane of the scene, with what it would remain to perform the refinement of the transformations and sort all the points using the homographies and, in this case, also using the information of the management of blueprints.
La presente invención se ilustra adicionalmente mediante el siguiente ejemplo, el cual no pretende ser limitativo de su alcance.The present invention is further illustrated. by the following example, which is not intended to be limiting of its reach.
Cuando el patrón es regular (como el de la figura 1) y está compuesto por dos planos, cada uno con 20 círculos del mismo color y distribuidos de forma regular e igual en los dos planos, el proceso se puede definir por los siguientes pasos:When the pattern is regular (like the one in the figure 1) and consists of two planes, each with 20 circles of the same color and distributed regularly and equally in both planes, the process can be defined by the following steps:
- --
- Se obtiene una imagen del patrón con una cámaraBe get an image of the pattern with a camera
- --
- Se detectan los centros de las elipses utilizando la transformada de Hough con reducción de parámetros y se seleccionan las elipses atendiendo a su área y color.Be detect the centers of the ellipses using the transform of Hough with parameter reduction and ellipses are selected attending to its area and color.
- --
- Se establece relación de vecindad entre los puntos por medio de una triangulación de DelaunayBe establishes neighborhood relationship between points by means of a Delaunay triangulation
- --
- Se seleccionan los cuatro puntos más próximos a cada una de las cuatro esquinas de cada plano (8 conjuntos de 4 puntos cada uno).Be select the four closest points to each of the four corners of each plane (8 sets of 4 points each).
- --
- Se calculan las homografias por el método DLT para los conjuntos.Be calculate the homographies by the DLT method for sets.
- --
- Se seleccionan las dos mejores homografias (una por cada plano) que tengan la misma orientación que los planos del patrón en la escena y se ordenan de igual forma.Be select the two best homographies (one for each plane) that have the same orientation as the pattern planes in the scene and they are ordered in the same way.
- --
- Se refinan las dos homografias teniendo en cuenta todos los puntos de cada plano.Be they refine the two homographies taking into account all the points of each plane
- --
- Se ordenan todos los puntos de la imagen.Be Sort all points in the image.
- --
- Se calcula la homografia inversa y se recuperan las posiciones de las elipses que hayan podido quedar ocultas.Be calculates the inverse homography and the positions of the ellipses that may have been hidden.
Figura 1: Ejemplo de un calibrador con un patrón compuesto de círculos. Este patrón está compuesto por dos planos de 20 círculos negros cada uno. Este patrón es regular: los círculos están situados a la misma distancia entre sí, están colocados de forma rectangular en el plano y los dos planos están diseñados de igual manera. Los puntos que se suelen detectar para este tipo de figuras geométricas es el centro de las elipses.Figure 1: Example of a gauge with a pattern composed of circles This pattern is composed of two planes of 20 black circles each. This pattern is regular: the circles are located at the same distance from each other, are placed from rectangular shape in the plane and the two planes are designed of same way. The points that are usually detected for this type of Geometric figures is the center of the ellipses.
Figura 2: Ejemplo de un calibrador con un patrón compuesto de cuadrados. Este patrón está compuesto por dos planos con 12 cuadrados negros cada uno. Este patrón es regular: los cuadrados están situados a la misma distancia entre sí, están colocados de forma rectangular en el plano y los dos planos están diseñados de igual manera. Los puntos que se suelen detectar para este tipo de figuras geométricas son las esquinas de los cuadrados.Figure 2: Example of a gauge with a pattern composed of squares. This pattern is composed of two planes with 12 black squares each. This pattern is regular: squares are located at the same distance from each other, are placed rectangular in the plane and the two planes are designed in the same way. The points that are usually detected for this type of geometric figures are the corners of the squares.
Figura 3: Diagrama que representa los distintos pasos y alternativas dentro del procedimiento de ordenación.Figure 3: Diagram representing the different steps and alternatives within the management procedure.
Esta invención es aplicable al problema de la calibración de cámaras proyectivas o digitales. Para calibrar una cámara se puede utilizar un conjunto de puntos 3D y sus correspondientes puntos 2D en la imagen. El procedimiento descrito suministra este tipo de correspondencias de forma automática.This invention is applicable to the problem of projective or digital camera calibration. To calibrate a camera you can use a set of 3D points and their corresponding 2D points in the image. The described procedure It supplies this type of correspondence automatically.
La calibración de cámaras es fundamental para resolver muchos tipos de problemas en visión por ordenador. Entre estos problemas cabe destacar el de la reconstrucción tridimensional de escenas, la inserción de objetos en secuencias de imágenes, estimación de la posición de los objetos en la escena o la creación de mapas para la planificación de trayectorias en robótica.Camera calibration is essential for solve many types of problems in computer vision. Between These problems include the reconstruction three-dimensional scenes, the insertion of objects in sequences of images, estimation of the position of objects in the scene or the creation of maps for trajectory planning in robotics
Claims (9)
- \circ\ circ
- Búsqueda y selección de conjuntos de al menos 4 puntosSearch and selection of sets of at least 4 points
- \circ\ circ
- Estimación de las homografias entre los conjuntos de puntos y de sus correspondientes en la escenaEstimation of the homographies between the sets of points and their corresponding in the scene
- \circ\ circ
- Refinamiento y selección de las mejores homografias.Refinement and selection of Better homographies.
- \circ\ circ
- Ordenación de los puntos de la imagenOrdering the points of the image
- \circ\ circ
- Recuperación de la posición de los puntos ocultosRecovery of the position of hidden points
- --
- Selección de las homografias que tengan la misma orientación que los planos de la escena.Selection of the homographies that have the same orientation as the plans of the scene.
- --
- Ordenación de los planos atendiendo a su posición relativa en la escena.Planning of the plans according to their relative position in the scene.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200401160A ES2249131B1 (en) | 2004-05-13 | 2004-05-13 | PROCEDURE FOR THE AUTOMATIC ORDERING OF A SET OF POINTS ON AN IMAGE. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200401160A ES2249131B1 (en) | 2004-05-13 | 2004-05-13 | PROCEDURE FOR THE AUTOMATIC ORDERING OF A SET OF POINTS ON AN IMAGE. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2249131A1 true ES2249131A1 (en) | 2006-03-16 |
| ES2249131B1 ES2249131B1 (en) | 2006-12-16 |
Family
ID=36101223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200401160A Expired - Fee Related ES2249131B1 (en) | 2004-05-13 | 2004-05-13 | PROCEDURE FOR THE AUTOMATIC ORDERING OF A SET OF POINTS ON AN IMAGE. |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2249131B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137491A (en) * | 1998-06-05 | 2000-10-24 | Microsoft Corporation | Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes |
| US20020167537A1 (en) * | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
| US20030086602A1 (en) * | 2001-11-05 | 2003-05-08 | Koninklijke Philips Electronics N.V. | Homography transfer from point matches |
| US6608923B1 (en) * | 1999-06-19 | 2003-08-19 | Microsoft Corporation | System and method for rectifying images of three dimensional objects |
-
2004
- 2004-05-13 ES ES200401160A patent/ES2249131B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137491A (en) * | 1998-06-05 | 2000-10-24 | Microsoft Corporation | Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes |
| US6608923B1 (en) * | 1999-06-19 | 2003-08-19 | Microsoft Corporation | System and method for rectifying images of three dimensional objects |
| US20020167537A1 (en) * | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
| US20030086602A1 (en) * | 2001-11-05 | 2003-05-08 | Koninklijke Philips Electronics N.V. | Homography transfer from point matches |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2249131B1 (en) | 2006-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10176554B2 (en) | Camera calibration using synthetic images | |
| CN104848858B (en) | Quick Response Code and be used for robotic vision-inertia combined navigation system and method | |
| CN107993263B (en) | Automatic calibration method for panoramic system, automobile, calibration device and storage medium | |
| US11042973B2 (en) | Method and device for three-dimensional reconstruction | |
| WO2016026349A1 (en) | Highly robust mark point decoding method and system | |
| CN108470361A (en) | A kind of angle point automatic identification camera calibration method | |
| JP2015056057A (en) | Method of estimating posture and robot | |
| KR20130026741A (en) | Method and apparatus for providing automated detection of calibration | |
| CN111123242A (en) | Combined calibration method based on laser radar and camera and computer readable storage medium | |
| CN108286970A (en) | Mobile robot positioning system, method and device based on DataMatrix code bands | |
| JP6451858B2 (en) | Step detecting device and step detecting method | |
| CN107767330B (en) | Image splicing method | |
| ES2249131B1 (en) | PROCEDURE FOR THE AUTOMATIC ORDERING OF A SET OF POINTS ON AN IMAGE. | |
| Rosebrock et al. | Generic camera calibration and modeling using spline surfaces | |
| Mičušík et al. | Omnidirectional camera model and epipolar geometry estimation by ransac with bucketing? | |
| JP6477340B2 (en) | Road boundary detection device, self-position estimation device, and road boundary detection method | |
| CN111179347B (en) | Positioning method, positioning equipment and storage medium based on regional characteristics | |
| JP7006847B2 (en) | Mobile positioning device and mobile positioning system | |
| Bevilacqua et al. | Automatic perspective camera calibration based on an incomplete set of chessboard markers | |
| JP5782766B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2006145419A (en) | Image processing method | |
| Li et al. | Lane detection and road surface reconstruction based on multiple vanishing point & symposia | |
| US10890918B2 (en) | Performance arena for robots with position location system | |
| CN116912334B (en) | Phase mapping high-precision projector calibration method based on grating fringe projection | |
| RU2773554C1 (en) | Method for assembly of a demonstration arena (options), a system of assembly of a demonstration arena, a way to determine the position and orientation of the device within the environment, a system of demonstration arena for vehicles operating in the demonstration space (options), a system of demonstration arena (options) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EC2A | Search report published |
Date of ref document: 20060316 Kind code of ref document: A1 |
|
| FG2A | Definitive protection |
Ref document number: 2249131B1 Country of ref document: ES |
|
| FD2A | Announcement of lapse in spain |
Effective date: 20240524 |