ES2529068B1

ES2529068B1 - Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales

Info

Publication number: ES2529068B1
Application number: ES201300678A
Authority: ES
Inventors: Said David PERTUTZ ARROYO; Doménec SAVI PUIG VALLS; Miguel Ángel García García
Original assignee: Universidad Autonoma de Madrid; Universitat Rovira i Virgili URV
Current assignee: Universidad Autonoma de Madrid; Universitat Rovira i Virgili URV
Priority date: 2013-07-16
Filing date: 2013-07-16
Publication date: 2015-12-22
Anticipated expiration: 2033-07-16
Also published as: WO2015007927A8; WO2015007927A1; ES2529068A1

Abstract

Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales.#Método caracterizado por comprender una primera etapa de colocar un patrón de calibración enfrente de la cámara; en una segunda etapa capturar una secuencia de imágenes enfocando la cámara a diferentes distancias alrededor de la posición del patrón; extraer de cada imagen del patrón de calibración un perfil de intensidad de los niveles de gris; para cada perfil, I(x) obtenido se estima un valor del radio de desenfoque {rh} ajustando la ecuación (1) al perfil correspondiente:#****IMAGEN-01****#en donde erf es la función error:#****IMAGEN-02****#y obtener el valor de la constante de la cámara ajustando la curva de los valores del radio de desenfoque {rh} en función los valores de u, según la siguiente ecuación:#****IMAGEN-03****#

Description

DESCRIPCION

Metodo de calibracion para mejorar la velocidad de autoenfoque en camaras digitales

Campo de la tecnica

5 La presente invencion consiste en un metodo de calibracion que tiene como

objetivo reducir la duration del tiempo de busqueda en el autoenfoque de camaras digitales, es decir que dicho metodo permite acelerar el proceso de autoenfoque o muestreado de foco (focus sampling) resolviendolo de una manera muy eficiente.

La invencion permite encontrar la constante de la camara por medio de un 10 proceso de calibracion simple y robusto, sin necesidad de conocer parametros fisicos de la camara tales como longitud focal, diametro de la lente y tamano de pixel.

Antecedentes de la invencion

Segun el modelo de la lente fino existe un intervalo para determinar la profundidad de campo de camaras convencionales de lente gruesa. Asf en A.Hornberg 15 en Wiley-VCH “Handbook of machine visidn” de publicado el ano 2006 utilizando la variable v que es la distancia entre el dispositivo sensor (CCD) y el primer punto nodal de la lente.

En fotografia y a partir del modelo de lente fino y de las ecuaciones de estimation de la profundidad de campo DOF, es posible determinar aproximadamente 20 los limites proximo y lejano del DOF, y en consecuencia generar unas tablas de consulta que dependen del modelo de camara. El modelo de camara se utiliza para determinar el tamafio aproximado del circulo de desenfoque como una funcidn del tamano del sensor y del numero real de pixeles.

En M.Muhammad i T.S. Choi “Sampling for shape from focus in optical 25 microscopy”en IEEE Trans. Image Process., vol.34 no. 3, pp.564-573 publicado el ano 2012 se desarrollo un criterio de enfoque a partir de forma, aplicable a microscopia.

Sin embargo estos metodos requieren conocer de forma exacta algunos parametros de la camara, tales como la longitud focal, la apertura numerica, el tamano real del pixel y el circulo de confusion 30

Existen mecanismos para la calibration manual exhaustiva que requieren la realization de cuidadosas medidas en todo el rango de enfoque de la camara (
http://www.edmundoptics.com/technical-resources-center/testing-targets/gauging- depth-of-field-in-your-imaging-system/). En la practica estos metodos son de aplicacion 5 muy limitada en camaras de foco variable. La ventaja del metodo de calibracion propuesto, respecto al citado, es que permite realizar la calibracion de todo el rango de enfoque de forma rapida y eficiente. Por otro lado el desenfoque maximo admisible pmax es un parametro empirico definido de acuerdo con las dimensiones en pixeles reales y la resolution del sistema. Como resultado de ello se han disehado algunos 10 metodos para estimar los llmites del DOF y el circulo de desenfoque experimentalmente, pudiendo citar por ejemplo M. Subbarao et al. “Depth recovery from blurred edges” in proc. IEEE Conference on "Computer Vision and Pattern Recognition Jun 1998, pp. 498-503.

En la solicitud US2009202235A1 cambia la estrategia de busqueda de foco 15 dependiendo de si la escena a capturar consiste en una escena interior (indoor) o exterior (outdoor). No se hace ninguna estimacion de los parametros de foco de la camara ni de su comportamiento.

La patente US8339463B2 involucra una plataforma de calibracion especialmente disenada y esta pensada para utilizarse con lentes (no con camaras ya ensambladas). 20 El objetivo es calibrar la calidad de la imagen a lo largo del campo de vision y no tiene como objetivo facilitar o acelerar el proceso de enfoque.

Son conocidas tambien las estrategias descritas en las patentes US8366001B2 y US8416317B2 que implican la utilization de elementos activos para la estimacion de la distancia del objeto de interes.

25 Es evidente la necesidad de un metodo de calibracion que sea independiente

del conocimiento de los parametros de la camara, y tal es la finalidad de la propuesta de esta invencion.

Exposition de la invencion

En el metodo de calibracion de esta invencion se obtienen los parametros del 30 conjunto camara-lente implicitamente, permitiendo una precisa description de los limites de la profundidad de campo DOF (deptf of field) sin ningun conocimiento explicito de los parametros de la camara. A partir de la obtencion de la constante de la camara se aplica dicho parametro para realizar un eficiente muestreo del rango de enfoque (focus sampling), en operaciones tales como autofoco y generation de

5

10

15

20

25

30

35

imagenes multi-focales. En particular el muestreo de enfoque minimiza el numero de tomas necesarias para cubrir un cierto rango o intervalo de enfoque.

El metodo consiste en capturar una secuencia de imagenes de un patron de calibration cambiando el foco de la camara en cada imagen capturada mientras el patron y la camara se mantienen en una misma position. A partir de las imagenes capturadas, es posible estimar una constante que caracteriza a la camara y permite predecir el comportamiento del foco para la camara que es objeto de la calibracion. Con esta constante es posible restringir el espacio de busqueda dentro del rango de enfoque reduciendo asl el numero de posiciones en las que es necesario hacer la busqueda del foco ideal. De esta forma, es posible reducir el tiempo de autoenfoque en cualquiera de las tecnicas anteriormente mencionadas (activas, pasivas o hlbridas) sin conocimiento expllcito de parametros flsicos de la camara (tales como la longitud focal, la apertura, el tamano del pixel, etc.) basados solo en el resultado de la calibracion. Ademas del autoenfoque, el metodo de calibracion propuesto tambien se puede explotar para la captura eficiente de secuencias de imagenes para la generacion de imagenes de campo de profundidad extendido (extended depth-of-field images).

Breve description de los dibujos

Las anteriores y otras ventajas y caracterlsticas se comprenderan mas plenamente a partir de la siguiente descripcion detallada de un ejemplo de realization con referencia a los dibujos adjuntos, en los que:

la Fig. 1 es una vista en perspectiva del montaje para la calibracion de la camara, donde la referencia 1 indica una llnea de separation, la 2 un patron de calibracion y la 3 una camara;

la Fig. 2 es una secuencia de imagenes del patron de calibracion 2 con diferentes niveles de enfoque;

la Fig. 3 es una vista de los perfiles correspondientes a cada imagen de la secuencia;

la Fig. 4 es un grafico sobre la constante de camara se obtiene ajustando la curva r vs. u; y

la Fig. 5 es un grafico sobre el metodo que consiste en limitar las posiciones focales (barras verticales) admisibles.

la Fig. 6 ilustra los principios del modelo de lente delgada (thin lens model), donde la referencia 4 indica una lente y la 5 un sensor.

Description detallada de un eiemplo de realization

Con el fin de desarrollar el metodo de calibration de esta invention se ha partido del modelo teorico de la lente delgada (thin lens model) que es el modelo teorico de 5 camara mas comun, adaptandolo para que cumpla dos condiciones:

- la amplitud de desenfoque (blur width) no debe depender de parametros internos geometricos (tales como el sensor de position v); en su lugar debe de depender de parametros externos medibles tales como la position de foco u;

10 - el modelo tiene en cuenta implicitamente los efectos de los parametros del

sistema (longitud focal y numero f [f-number]) sin necesidad de conocer o estimarlos explicitamente, permitiendo as! inmediatamente una eficiente calibration a lo largo de todo el rango de enfoque.

La Fig. 6 es una figura descriptiva de los elementos utilizados en el modelo de 15 lente delgada (thin lens). La medida de la radiancia de un punto P a una distancia particular ux se extiende por el efecto de la lente en un tirculo de desenfoque (blurring tide) de radio p. La maxima distancia de enfoque u para un tirculo de desenfoque dado de radio p se puede computar como:

fv

U = -------!■------rr

v — f — pN

20 La position interna de la lente v es a menudo desconocida o diflcil de determinar

en sistemas de lentes compuestas. En consecuencia es preferible tratar con la distancia entre el objeto y la position de enfoque (ux - u). A partir de la ecuacidn anterior y despejando, resulta:

P =

N

25 De acuerdo con la ecuacion de la ecuacion de lente delgada (thin lens equation)

se conoce que 1/f = 1fz + 1/u. En consecuencia:

« = Uf/(u - f) y v - / = f2/(u - f)

Reemplazando el valor de v en la ecuacion anterior resulta:

f2 {ux - u)

N ux(u - f)

Esta ultima ecuacion p no depende de la posicion de la lente v sino de la posicion de enfoque u. En camaras digitales convencionales el grosor de la lente se 5 puede despreciar cuando se compara con la posicion del foco al ser muy inferior. En consecuencia la ultima ecuacion tambi§n se puede aplicar a una lente gruesa. Dicha ecuacion es valida para u £ ux y las unidades del circulo de desenfoque se corresponden con aquellas de u, ux y f, por ejemplo milimetros. Esta ecuacion tambien es valida para u > ux simplemente tomando el valor absoluto. Ademas por razones 10 practicas, el circulo de desenfoque se puede escalar con la resolution del sensor de la camara s (medido en pixeles por milimetro) con el fin de medir el radio de desenfoque en pixeles:

^[pixels] =

Sf2 |«~«a|

N ux(u - f)

La diferencia entre las dos ultimas ecuaciones que expresan p, son las unidades 15 de medida del circulo de desenfoque (unidades metricas y pixeles, respectivamente debido al facto de escala s. Esta formula se puede simplificar toda via mas asumiendo que u es muy superior a f. Esto es valido en particular para camaras convencionales puesto que, debido a limitaciones mecanicas el sistema de camara-lente, la minima distancia de enfoque resulta incrementada con longitudes focales mayores. Por ultimo 20 el radio de desenfoque se puede computar como:

U-«x

O « K-----------L.

UXU

que como se vera sera la ecuacion utilizada en el metodo de calibracion para calcular la constante de camara, despejando de la expresion.

El metodo de calibracion consiste en los siguientes pasos:

1) Colocar el patron de calibracion a una distancia fija u1 en frente y de forma paralela a la camara, tal como se ilustra en la figura 1. El patron de calibracion consiste en un piano con al menos dos regiones de alto contraste separadas por una llnea recta.

5 2) Capturar una secuencia ordenada de imagenes enfocando la camara a

diferentes distancias alrededor de la posicion del patron. En la secuencia de imagenes, el patron se observa con diferentes niveles de enfoque tal como se ilustra en la figura 2. Cada una de las imagenes capturadas tendra asociada una posicion de foco

determinada. Asi, la imagen 1 corresponde a la posicion focal M| , la imagen 2,

10 corresponde a la posicion focal “2 , y asi sucesivamente.

3) De cada imagen del patron de calibracion se extrae un perfil de intensidad de los niveles de gris, tal como se ilustra en la figura 3.

15

4) Para cada perfil, l(x) , obtenido se estima un valor del radio de desenfoque (blur radius) ajustando la ecuacion (1) al perfil correspondiente. De esta forma se obtiene un valor de radio de desenfoque para cada posicion de focal de la camara. Asi,

el radio Pl corresponde a la posicion focal M> , el radio Pz corresponde a la posicion 20 focal “2 , y asi sucesivamente.

imagen1

v'2p 2

Ecuacion (1)

Donde erf es la funcidn de error.

erf(x)

2 f*

V* Jo

lit

25 5) El valor de la constante de camara, k, se obtiene ajustando la curva de los

valores de r vs. u segun la ecuacion (2), tal como se ilustra en la figura 4.

\u — ux\

p=K----------- Ecuacion (2)

Uxll

10

15

20

25

La aplicacion del metodo para un muestreado de foco (captura de imageries de una misma escena con diferentes ajustes de enfoque) eficiente consiste en restringir el numero de posiciones de foco posibles para realizar la busqueda. Normalmente, las diferentes tecnicas de autoenfoque mueven el foco de la camara a determinadas posiciones basadas en alguna estrategia de busqueda. La clave del metodo propuesto consiste en limitar el numero de posiciones posibles a un conjunto determinado de posiciones de tal forma que si la estrategia de busqueda sugiere ir a una posicion que no se encuentre dentro de este conjunto, entonces el foco es forzado a ir a la posicion focal mas cercana que si se encuentre dentro del conjunto. Esto evita que se exploren innecesariamente posiciones que esten muy cerca entre si o de las que no se espera que induzcan un cambio en el nivel de foco lo suficientemente apreciable. Este principio se ilustra en la figura 5.

En la figura 5 se muestran dos curvas correspondientes al nivel de foco de dos objetos. El primero colocado a 2.1 m de la camara y el segundo colocado a 6.1 m. Dependiendo de la estrategia de busqueda utilizada, el autoenfoque consisten en encontrar el pico de la curva del objeto que nos interese (ya sea el primero o el segundo). Segun el metodo propuesto, en lugar de buscar los maximos en cualquier posicion de foco, esta busqueda se restringe a las posiciones que se encuentran dentro de un determinado conjunto U (barras verticales en el eje x). Si es necesario, la busqueda se puede perfeccionar mediante una busqueda fina una vez se ha determinado el punto de enfoque optimo dentro del conjunto U.

El conjunto de posiciones permitidas:

U= ukll= 1,2,3,...

se calcula de forma iterativa mediante las ecuaciones (3) y (4).

Uk* 1 Uk+^k A - 2P max

* K-2pmfl,M

k

Ecuacion (3) Ecuacion (4)

La primera posicion del conjunto, para k = 1, corresponde a la distancia minima de enfoque de la camara y el parametro sugerido para max viene determinado por la ecuacion (5):

P

max-

Slog (2)

Ecuacion (5)

Claims

REIVINDICACIONES

1Metodo de calibracidn para mejorar la velocidad autoenfoque en camaras digitales, caracterizado por comprender las siguientes etapas:

5

10

15

20

a) colocar un patron de calibration a una distancia fija ux enfrente y de forma paralela a la camara;

b) capturar una secuencia ordenada de imagenes enfocando la camara a diferentes distancias alrededor de la posicion del patron, de manera que cada una de las imagenes capturadas, observada con un diferente nivel de enfoque, tiene asociada una posicion de foco u determinada;

c) extraer de cada imagen del patron de calibracion un perfil de intensidad de los niveles de gris;

d) para cada perfil, l(x) obtenido se estima un valor del radio de desenfoque p ajustando la ecuacion (1) al perfil correspondiente:

imagen1

.r x 1

-F=— ) + —

V 2p 2

(1)

en donde erf() es la funcion error:

erf(x) = -4= f e~l*dt

St JO y

e) obtener el valor de la constante de la camara ajustando la curva de los valores del radio de desenfoque p en funcion los valores de u, segun la siguiente ecuacion:

// — uJ

P = K-----------

Wx« (2)
2.- Metodo segun la reivindicacion 1, caracterizado porque dicho patron de calibracion comprende un piano con al menos dos regiones de alto contraste.

25 3.- Metodo segun la reivindicacion 2, caracterizado por que dichas dos regiones de alto

contraste estan separadas por una linea recta.
4.- Metodo segun la reivindicacion 1, caracterizado por que dicho ajuste de la curva de los valores de p en funcion de u se realiza por un metodo de regresion no lineal.
5.- Metodo segun la reivindicacion 1, caracterizado por que para reducir el tiempo de busqueda se propone limitar el numero de posiciones de enfoque posibles a un conjunto determinado y por que el conjunto de posiciones permitidas U = uk I k= 0 1, 2, 3,.. se calcula de forma iterativa mediante las ecuaciones:

5

tlk*l~ tlk+^k

(3)

A* —

^ P max ^ k

K~2Pm*xUk

(4)

10

correspondiendo la primera posicion del conjunto, para k = 1 a la distancia minima de

P

enfoque de la camara y max es el radio de desenfoque maximo.
6.- Metodo segun reivindicacion 5 caracterizado por que comprende calcular el valor de Pmax mediante la siguiente equacion:

\81og(2)

(5)
7.- Metodo segun reivindicacion 5 caracterizado por que comprende introducir el valor de Pmax manualmente por parte del usuario.