ES2779044T3

ES2779044T3 - Dispositivo y procedimiento de imágenes, y procedimiento de procesamiento de imágenes para dispositivo de imágenes

Info

Publication number: ES2779044T3
Application number: ES11741990T
Authority: ES
Inventors: Yasunori Ishii; Yusuke Monobe
Original assignee: Dolby International AB
Current assignee: Dolby International AB
Priority date: 2010-02-12
Filing date: 2011-01-25
Publication date: 2020-08-13
Anticipated expiration: 2031-01-25
Also published as: CN102369722B; US8520081B2; WO2011099239A1; EP2536125A1; JP5237978B2; JP2011166588A; EP2536125B1; US20120033094A1; EP2536125A4; CN102369722A; PL2536125T3

Abstract

Un dispositivo de captura de imágenes, que comprende: un primer elemento de captura de imagen (10A) y un segundo elemento de captura de imagen (10B); un sistema óptico que comprende un divisor de haces (40) configurado para dividir una luz procedente de un objeto fotográfico en dos partes para formar una primera imagen que está dentro de foco en un plano de captura de imagen del primer elemento de captura de imagen (10A) y para formar una segunda imagen que está fuera de foco en un plano de captura de imagen del segundo elemento de captura de imagen (10B); una sección de procesamiento de imagen (220) configurada para procesar una señal obtenida del primer elemento de captura de imagen (10A) y una señal obtenida del segundo elemento de captura de imagen (10B); y una memoria (240) configurada para almacenar una función de dispersión de puntos que define una borrosidad fuera de foco en el segundo elemento de captura de imagen (10B), en el que la sección de procesamiento de imagen (220) está configurada para formar una agregación o una agregación ponderada de las señales obtenidas del primer y segundo elementos de captura de imagen (10A, 10B) para generar una señal de una imagen degradada, recuperar de la memoria (240) la función de dispersión de puntos que define la borrosidad fuera de foco, y producir una imagen restaurada a partir de la señal de la imagen degradada por de-convolución de la imagen degradada utilizando una agregación de la función de dispersión de puntos recuperada y una función de dispersión de puntos estimada para borrosidad por sacudida de cámara en la imagen degradada, teniendo la imagen restaurada una borrosidad por sacudida de cámara reducida y una borrosidad fuera de foco reducida.

Description

DESCRIPCIÓN

Dispositivo y procedimiento de imágenes, y procedimiento de procesamiento de imágenes para dispositivo de imágenes

CAMPO TÉCNICO

La presente invención se refiere a un dispositivo de procesamiento de imágenes y a un procedimiento de procesamiento de imágenes para eliminar artefactos de anillo.

TÉCNICA ANTERIOR

En el caso de capturar una imagen por parte de una cámara digital, a veces se puede añadir ruido a la imagen a causa de las características de un Dispositivo de Acoplamiento de Carga (CCD: Charge-Coupled Device) o un circuito de lectura para CMOS o las características de rutas de transmisión. Además, se produce borrosidad de una imagen a causa de una condición de fuera de foco o desenfoque en la captura de la imagen o borrosidad de una imagen a causa de una sacudida de la cámara. De esta manera, la imagen capturada tiene una borrosidad que se atribuye a la manipulación de la cámara por parte del usuario en la fotografía, además de al ruido que se atribuye a las características específicas de la imagen capturada, con lo que la imagen se degrada. Entre dichos tipos de "borrosidad", una borrosidad de una imagen que se atribuye a un movimiento de una cámara durante una fotografía (exposición) se denomina en el presente documento "borrosidad por movimiento", de modo que es distinguible de una borrosidad que se atribuye a una condición de fuera de foco (borrosidad fuera de foco).

En los últimos años, especialmente, está aumentando la demanda de fotografía altamente sensible y, por lo tanto, es necesario restaurar una imagen degradada por borrosidad (en lo sucesivo, "imagen degradada") en forma de una imagen que sea lo más cercana posible a una imagen original (en lo sucesivo, "imagen ideal"). Para realizar una imagen brillante y sin ruido ni borrosidad, tal como una imagen que se demanda en la fotografía de alta sensibilidad, las soluciones se dividen generalmente en dos ideas: aumentar la sensibilidad y prolongar el tiempo de exposición.

Sin embargo, el aumento de la sensibilidad lleva a una amplificación del ruido, lo que es una desventaja. Como resultado, una señal queda ocultada en el ruido, de modo que, en muchos casos, gran parte de la imagen resultante está formada por ruido. Por otro lado, prolongando el tiempo de exposición se permite una acumulación de una mayor cantidad de luz que se produce en ese lugar, lo que da como resultado una imagen que incluye un menor ruido. En este caso, una señal no quedaría ocultada en el ruido, pero existe un problema de generación de borrosidad por movimiento en la imagen debido vibraciones de la cámara.

Según la técnica anterior, hay dos contramedidas contra el problema que resulta del tiempo de exposición prolongado. Una es la compensación de sacudida de la cámara óptica, tal como un desplazamiento de lente, un desplazamiento de sensor, o similar. La otra es obtener la dirección/magnitud de la borrosidad por movimiento de una imagen resultante y realizar un procesamiento de señal basado en la dirección/magnitud obtenida de la borrosidad para restaurar la imagen (un procedimiento de restauración basado en procesamiento de señal). El procedimiento de restauración basado en procesamiento de señal se divulga, por ejemplo, en el Documento de Patente 1, el Documento de Patente 2 y los Documentos que no son de Patente 1 a 5.

LISTA DE CITAS

LITERATURA DE PATENTE

Documento de patente 1: Publicación de patente japonesa pendiente No. 2006-129236

Documento de patente 2: Publicación de fase nacional japonesa de PCT pendiente No. 2009-522825

LITERATURA NO DE PATENTE

Documento no de patente n° 1: Qi Shan, Jiaya Jia y Aseem Agarwala, "High-quality Motion Deblurring from a Single Image", SIGGRAPH 2008

Documento no de patente n° 2: Yoneji, Tanaka y Okutomi, "PSF Parameter Estimation for Restoration of Linear Motion Blurred Image", IPSJ SIG Technical Report, Vol. 2005, No. 38, pp. 47-52, 2005 Documento no de patente n° 3: J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 4, págs. 937 - 951, abril de 2006

Documento no de patente n° 4: Levin, "Blind Motion Deblurring Using Image Statistics", Advances in Neural Information Processing Systems (NIPS), Diciembre 2006

Documento no de patente n° 5: Rob Fergus et al., "Removing camera shake from a single image", Barun Singh Aaron Hertzmann, SIGGRAPH 2006

SUMARIO DE LA INVENCIÓN

PROBLEMA TÉCNICO

La compensación de sacudida de cámara óptica tiene un límite en el alcance de compensación. Por lo tanto, cuando se pretende recoger una cantidad suficiente de luz en un entorno más oscuro que uno convencional, se necesita que el alcance efectivo sea grande. Sin embargo, a medida que se hace más grande, se produce un retraso de tiempo en el movimiento. Además, el aumento de las dimensiones encuentra un límite físico en cuanto al tamaño.

El procedimiento de restauración de una imagen ideal basada en una imagen degradada mediante un procesamiento de señal tiene el problema de que la imagen restaurada incluye ruido, tal como artefactos de anillo. "Anillo" se refiere al ruido que hace que una parte de luminosidad uniforme de una imagen (parte plana) aparezca desigual.

La Figura 1(a) es una vista en planta que muestra una imagen en la que la luminosidad cambia de forma escalonada (una imagen ideal cerca de un borde). La Figura 1(b) es un gráfico que muestra de forma esquemática la distribución de la luminosidad de la imagen. La Figura 2(a) es una vista en planta que muestra una imagen degradada (imagen borrosa) obtenida fotografiando la imagen de la Figura 1(a) con una cámara. La Figura 2(b) es un gráfico que muestra de forma esquemática la distribución de la luminosidad de la imagen. Se asume en el presente documento que esto es un resultado de una sacudida de cámara horizontal hacia un lado al fotografiar con un cámara. La imagen degradada de la Figura 2(a) carece de nitidez en el borde a causa de borrosidad por sacudida de cámara (borrosidad por movimiento). La Figura 3(a) es una vista en planta que muestra una imagen restaurada mediante un procesamiento de señal basado en la imagen degradada de la Figura 2(a). La Figura 3(b) es un gráfico que muestra de forma esquemática la distribución de la luminosidad de la imagen restaurada. La imagen restaurada de la Figura 3(a) incluye una parte en la que la luminosidad varía periódicamente. Dicha variación en la luminosidad es un ruido denominado "anillo".

En el procedimiento divulgado en el Documento de patente 1, para evitar la aparición de un artefacto de anillo cerca de un borde, se utilizan datos de una imagen borrosa cerca del borde, en lugar de utilizar un resultado recuperado o restaurado. En este procedimiento, el peso para el uso de los datos de la imagen borrosa se determina en base a la intensidad del borde en la pantalla. Sin embargo, la intensidad del borde no se puede determinar sin determinar la cantidad de sacudida de la cámara. Si no se puede determinar la intensidad del borde, tampoco se puede determinar el peso para el uso de los datos de la imagen borrosa. Esto conduce a un problema de que no se pueden eliminar los artefactos de anillo.

La presente invención fue concebida con el fin de resolver los problemas anteriores. Uno de los objetos de la presente invención es proporcionar un dispositivo de captura de imágenes que realiza un procesamiento de imagen para reducir los artefactos de anillo en una parte plana de una imagen con consideración para las características de sensibilidad humana.

SOLUCIÓN AL PROBLEMA

Se define un dispositivo de captura de imágenes de la presente invención en la reivindicación 1.

En una forma de realización preferida, el sistema óptico incluye una lente de foco y un divisor de haces divide la luz transmitida a través de la lente de foco en dos haces que siguen trayectorias en direcciones diferentes.

En una forma de realización preferida, una distancia óptica desde la lente de foco hasta el primer elemento de captura de imagen es diferente de una distancia óptica desde la lente de foco hasta el segundo elemento de captura de imagen.

En una forma de realización preferida, el sistema óptico incluye una primera lente de foco para condensar uno de los haces divididos en el primer elemento de captura de imagen, y una segunda lente de foco para condensar el otro de los haces divididos en el segundo elemento de captura de imagen.

En una forma de realización preferida, el dispositivo de captura de imágenes incluye además una sección de visualización, en la que se muestra una imagen obtenida por el primer elemento de captura de imagen en la sección de visualización.

Un programa definido en la reivindicación 6 de la presente invención es para controlar una operación de un dispositivo de captura de imágenes.

Un procedimiento de procesamiento de imágenes definido en la reivindicación 7 de la presente invención es para un dispositivo de captura de imágenes.

EFECTOS VENTAJOSOS DE LA INVENCIÓN

Según la presente invención, se pueden reducir los artefactos de anillo que se producen particularmente en una parte plana de una imagen.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La Figura 1(a) es una vista en planta que muestra una imagen en la que la luminosidad cambia de forma gradual (una imagen ideal cerca de un borde). La Figura 1(b) es un gráfico que muestra de forma esquemática la distribución de la luminosidad de la imagen.

La Figura 2(a) es una vista en planta que muestra una imagen degradada (imagen borrosa) obtenida fotografiando la imagen de la Figura 1(a) con una cámara. La Figura 2(b) es un gráfico que muestra de forma esquemática la distribución de la luminosidad de la imagen.

La Figura 3(a) es una vista en planta que muestra una imagen restaurada mediante un procesamiento de señal a partir de la imagen degradada de la Figura 2(a). La Figura 3(b) es un gráfico que muestra de forma esquemática la distribución de la luminosidad de la imagen restaurada.

La Figura 4(a) es un diagrama que muestra de forma esquemática una imagen en la que un píxel específico tiene una luminosidad distinta de cero, mientras que los otros píxeles tienen una luminosidad igual a cero (imagen de punto). La Figura 4(b) es un diagrama que muestra la función de dispersión de puntos PSF (point spread function) de borrosidad fuera de foco. La Figura 4(c) es un diagrama que muestra una imagen obtenida realizando una convolución de la función de dispersión de puntos PSF de borrosidad fuera de foco en la imagen de la Figura 4(a).

La Figura 5(a) es un diagrama de haces en el que una lente de foco alcanza una condición dentro de foco. La Figura 5(b) es un diagrama de haces en el que la lente de foco alcanza una condición de fuera de foco. La Figura 6 es un diagrama que muestra la configuración de una sección de captura de imagen 100. Las Figuras 7(a) hasta 7(c) son diagramas que muestran cada uno de ellos un ejemplo específico de la configuración de la sección de captura de imagen 100.

La Figura 8 es un diagrama de bloques que muestra una configuración general del dispositivo de captura de imágenes de la presente forma de realización.

La Figura 9(a) es un diagrama que muestra un patrón que tiene un pequeño punto brillante en el centro sobre un fondo negro. La Figura 9(b) es un diagrama que muestra una imagen que está dentro de foco en un plano de captura de imagen de un elemento de captura de imagen 10A. La Figura 9(c) es un diagrama que muestra una imagen que está fuera de foco en un plano de captura de un elemento de captura de imagen 10B.

La Figura 10 es un bloque que muestra un ejemplo de configuración de la sección de procesamiento de imágenes 220 que se muestra en la Figura 8.

La Figura 11 es un diagrama de flujo que ilustra un ejemplo de un proceso de restauración que se realiza en una forma de realización de la presente invención.

DESCRIPCIÓN DE FORMAS DE REALIZACIÓN

Antes de describir formas de realización de la presente invención, se describe el principio básico de la presente invención.

En esta especificación, la distribución de la luminosidad de una imagen formada en un plano de captura de la imagen se expresa mediante i(x, y). Las coordenadas (x, y) son coordenadas bidimensionales que indican la posición de un píxel (célula foto sensible) en el plano de captura de la imagen. En el caso de una imagen formada, por ejemplo, por M * N píxeles que se disponen en filas y columnas, suponiendo que x e y son números enteros que satisfacen las relaciones de 0 < x < M-1 y 0 < y < N-1, respectivamente, la posición de cada uno de los píxeles que forman la imagen puede ser especificada por las coordenadas (x, y). En este caso se supone que el origen del sistema de coordenadas, (0,0), está en la esquina superior izquierda de la imagen. El eje x se extiende en una dirección vertical. El eje y se extiende en una dirección horizontal. Téngase en cuenta que la disposición de las coordenadas es arbitraria.

Cuando la distribución de la luminosidad de una imagen no borrosa (imagen ideal o imagen original) es s(x, y) y la función de dispersión de puntos PSF (Point Spread Function) que define la borrosidad es la función f(x, y), se satisface la Fórmula 1 que se muestra a continuación:

[

(Fórmula 1)

en la que el símbolo "*" significa convolución. En general, la Fórmula 1 se expresa mediante la Fórmula 2 que se muestra a continuación.

[Expresión

s(x,y)

^{(Fórmula 2)}

Cuando la imagen está formada por M * N píxeles, la Fórmula 2 mostrada anteriormente se expresa mediante la Fórmula 3 que se muestra a continuación.

[Expresión 3]

j ^u-1 ⁿ-i

S(x,y)*f(x,y) ^{= X 2} s{ j ,k)f(x- j ,y-k) ^{(Fórmula 3)}

M x N p0 Xo

Si se conoce la función f(x, y) que es la función de dispersión de puntos PSF de borrosidad, la imagen no borrosa s(x, y) se puede restaurar por medio de una de-convolución de una imagen i(x, y) que es fotografiada por una cámara. Si la función f(x, y) no es conocida, es necesario estimar la función f(x, y) a partir de la imagen antes de obtener s(x, y).

En general, la transformada de Fourier de la convolución de dos funciones se expresa por medio del producto de las transformaciones de Fourier de las respectivas funciones. Por lo tanto, cuando las transformadas de Fourier de i(x, y), s(x, y) y f(x, y) se expresan por medio de I(u, v), S(u, v) y F(u, v), respectivamente, la Fórmula 4 que se muestra a continuación se deriva a partir de la Fórmula 1. Téngase en cuenta que (u, v) representa las coordenadas en un espacio de frecuencias, que corresponden respectivamente a las frecuencias espaciales de la dirección x y la dirección y en una imagen real.

[Expresión 4]

I(u,v) = S(u,v)*F(u,v) (Fórmula 4)

en la que el símbolo significa "multiplicación" de las funciones en el espacio de frecuencias.

La Fórmula 4 se puede deformar para obtener la Fórmula 5 que se muestra a continuación.

[Expresión

S ( w ,v

(Fórmula 5)

Esta Fórmula 5 significa que una función obtenida dividiendo I(u, v), que es la transformada de Fourier de la imagen i(x, y) fotografiada por una cámara, por F(u, v), que es la transformada de Fourier de la función de dispersión de puntos PSF f(x, y), equivale a la transformada de Fourier S(u, v) de la imagen ideal s(x, y). En resumen, si se determinan I(u, v) y f(u, v), también se determinará S(u, v). Dado que I(u, v) es la transformada de Fourier de una imagen fotografiada por una cámara (imagen degradada), es posible restaurar una imagen en base a la imagen degradada (para hacer que la imagen degradada se aproxime a su imagen real) mediante un procesamiento de señal siempre que se determine la función f(x, y) que representa la función de dispersión de puntos PSF de borrosidad.

La función f(x, y) que representa la función de dispersión de puntos PSF de borrosidad depende de la trayectoria de sacudida de la cámara durante la fotografía (exposición). En otras palabras, la trayectoria de sacudida de la cámara varía entre las tomas de fotografía con una cámara, de modo que la función f(x, y) también varía entre las tomas de fotografía con una cámara. La estimación de la función f(x, y) se puede realizar no sólo mediante la estimación de una o más imágenes fotografiadas por una cámara, sino también mediante el uso de un sensor para detectar un movimiento de una cámara (una trayectoria de sacudida de la cámara) durante una fotografía (exposición). Sin embargo, la función f(x, y) se obtiene simplemente por estimación o medición y por lo tanto incluye algunos errores. Por lo tanto, es difícil restaurar perfectamente la imagen ideal s(x, y).

El documento no de patente n° 2 divulga que la trayectoria de sacudida de la cámara dentro de un pequeño tiempo de exposición se asume como "un movimiento lineal uniforme", y la transformada de Fourier de su función de dispersión de puntos PSF es aproximada por medio de una función sinc o seno cardinal. Suponiendo que el ancho de la sacudida de la cámara es W y la dirección de la sacudida de la cámara es la dirección del eje x, F(u, v), que es el denominador de la Fórmula 5, se expresa mediante la Fórmula 6 que se muestra a continuación:

[Expresión 6]

(Fórmula 6)

El lado derecho de la Fórmula 6 es una función seno cardinal. La amplitud de la función seno cardinal llega periódicamente a un valor cero (0). Este período es el inverso del ancho de la sacudida de la cámara W, es decir, 1/W. Si la dirección de la sacudida de la cámara forma un ángulo 0 con el eje x, F(u, v) es una rotación en el ángulo 0 de la función de la Fórmula 6. Dado que una sacudida de cámara real muestra una trayectoria complicada, la suposición de "un movimiento lineal uniforme" no es lo suficientemente cierta en algunos casos.

El presente inventor observó que F(u, v) que es el denominador de la Fórmula 5 alcanza periódicamente el cero en una región de baja frecuencia y esto es una causa importante de los artefactos de anillo en una parte plana de una imagen, y completó la presente invención. En este caso, la "región de baja frecuencia" se refiere a una región del espacio de frecuencias cercana al origen o a una región de una imagen en la que la frecuencia espacial de la distribución de la luminosidad es relativamente baja. Esta región de baja frecuencia corresponde a una parte plana de la imagen (una parte que tiene una pequeña variación de luminosidad).

De acuerdo con la presente invención, la captura de imágenes se realiza de tal manera que F(u, v) no alcanzaría un valor cero en la región de baja frecuencia. Por lo tanto, en la reparación de una imagen degradada que se atribuye a una sacudida de la cámara o similar, se pueden reducir los artefactos de anillo en una parte plana de la imagen (una región de frecuencia espacial baja). Para el ojo humano, los artefactos de anillo en una parte plana de una imagen son visibles, y por lo tanto, se puede mejorar enormemente la calidad de la imagen reduciendo los artefactos de anillo en la parte plana.

En una forma de realización preferida de la presente invención, fotografiando con una cámara, se añade borrosidad fuera de foco a la imagen de forma intencionada. En una forma de realización preferida, según se describirá más adelante, se utiliza un elemento de captura de imagen para obtener una imagen que no tiene borrosidad fuera de foco, y se utiliza otro elemento de captura de imágenes para obtener una imagen que tiene borrosidad fuera de foco añadida de forma intencionada. Luego, se sintetizan las señales de imagen obtenidas a partir de estos elementos de captura de imagen para producir una sola imagen degradada. Si se produce una sacudida de la cámara durante la fotografía, esta imagen degradada tiene tanto una borrosidad por sacudida de cámara como una borrosidad fuera de foco, que se superponen entre sí. Téngase en cuenta que, en una forma de realización preferida, la función de dispersión de puntos PSF, que representa borrosidad fuera de foco, es conocida.

En esta especificación, la función de dispersión de puntos PSF de borrosidad por sacudida de cámara se expresa con f-i(x, y), y la función de dispersión de puntos PSF de borrosidad fuera de foco se expresa con f2(x, y). En este caso, la Fórmula 1, la Fórmula 4 y la Fórmula 5 se pueden deformar produciendo la Fórmula 7, la Fórmula 8 y la Fórmula 9, respectivamente:

[Expresión 7]

i(x,y) ⁼ s(x,y)*(f1(x,y) f 2(x,y)) ^{(Fórmula 7)}

[Expresión 8]

7 (w ,v ) = 5 '( u , v) « ( F , ( w, v) jF2( u , v ) ) (Fórmula 8)

[

(Fórmula 9)

en las que F-i(u, v) y F2(u, v) son las transformadas de Fourier de f-i(x, y) y f2(x, y), respectivamente.

En una forma de realización preferida de la presente invención, la función de dispersión de puntos PSF de borrosidad fuera de foco que se añade de forma intencionada a una imagen, es decir, f2(x, y), es conocida. En general, la función de dispersión de puntos PSF de borrosidad fuera de foco se puede expresar con una función de sombrero (pillbox function) o una función gaussiana. La transformada de Fourier de dicha función no alcanzaría un valor cero en la proximidad de la frecuencia cero, es decir, en la región de baja frecuencia, siempre y cuando se controle de forma adecuada el grado de la condición de fuera de foco.

En una forma de realización de la presente invención, la función F2(u, v) que no alcanzaría un valor cero en la región de baja frecuencia es añadida a la función F-i(u, v), con lo que se impide que el denominador de la Fórmula 9 llegue a ser igual a cero al menos en la región de baja frecuencia. Como resultado, se reduce el ruido del anillo en una "parte plana" de una imagen, de modo que se puede realizar la restauración de una imagen de alta calidad en la que los artefactos de anillo no son visibles. De aquí en adelante, se describe la razón por la que la creación de una condición de fuera de foco habilita una reducción de artefactos de anillo en una "parte plana" de una imagen.

La Figura 4(a) es un diagrama que muestra de forma esquemática una imagen en la que un píxel específico tiene una luminosidad distinta de cero mientras que los otros píxeles tienen una luminosidad igual a cero (imagen de punto). La Figura 4(b) es un diagrama que muestra la función de dispersión de puntos PSF de borrosidad fuera de foco. La gráfica de la parte izquierda de la Figura 4(b) muestra un ejemplo de una función de sombrero (pillbox function). La gráfica de la parte derecha de la Figura 4(b) muestra un ejemplo de una función gaussiana. La Figura 4(c) es un diagrama que muestra una imagen obtenida realizando una convolución de la función de dispersión de puntos PSF de borrosidad fuera de foco en la imagen de la Figura 4(a). La imagen de la Figura 4(c) tiene una borrosidad fuera de foco. En contraste con la borrosidad por sacudida de cámara, esta borrosidad fuera de foco tiene una distribución de luminosidad que se dispersa simétricamente con respecto al centro. El grado de la borrosidad es definido, estrictamente, por la función de dispersión de puntos PSF pero, en general, puede ser evaluado por la extensión (diámetro o radio) de la imagen de punto.

A continuación, se describen detalles de borrosidad fuera de foco.

La Figura 5(a) es un diagrama de haces en el que una lente de foco alcanza una condición dentro de foco. La Figura 5(b) es un diagrama de haces en el que la lente de foco alcanza una condición de fuera de foco. En el ejemplo de la Figura 5(a), el punto S que está separado de la lente por una distancia A forma una imagen del punto s en un plano de captura de la imagen que está separado de la lente por la distancia B. En la Figura 5(a), la distancia B es igual a la distancia focal C de la lente. Por otro lado, en la Figura 5(b), la distancia B no es igual a la distancia focal C de la lente, de modo que una imagen formada en el plano de captura de la imagen es una imagen borrosa, y su distribución de luminosidad tiene una extensión de diámetro igual a b.

La extensión de la borrosidad (diámetro b) puede ser expresada de forma aproximada por la Fórmula 10 según se muestra a continuación:

[Expresión

b oc y ^f

(Fórmula 10)

en la que y es el diámetro de apertura de la lente.

Según se observa en la Fórmula 10, la dimensión de b varía dependiendo de la distancia A entre la lente y un objeto fotográfico en el momento de la captura de la imagen, la distancia B entre la lente y el plano de captura de la imagen, la distancia focal C y el diámetro de apertura de la lente y.

La distribución de la luminosidad de una imagen de punto en el plano de captura de la imagen se puede expresar de forma aproximada mediante, por ejemplo, una función de sombrero (pillbox function) o una función gaussiana según la función de dispersión de puntos PSF que representa la borrosidad fuera de foco.

Cuando la función de dispersión de puntos PSF es aproximada por medio de una función de sombrero (pillbox function), la función de dispersión de puntos PSF, es decir, f2(x, y), se expresa mediante la fórmula 11 que se muestra a continuación:

[Expresión 11]

(Fórmula 11)

en la que circ(X) es una función circular que tiene un valor igual a 1 si el valor absoluto de X no es superior a 1/2 pero que, en caso contrario, tiene un valor igual a 0. Por otra parte, cuando la función de dispersión de puntos PSF de borrosidad fuera de foco es aproximada por medio de una función gaussiana, f2(x, y) se expresa mediante la fórmula 12 que se muestra a continuación:

[

(Fórmula 12)

a es la desviación estándar de la distribución gaussiana, que puede tener un valor que es, por ejemplo, generalmente equivalente a la extensión de la borrosidad de la imagen de punto (radio: b/2). De este modo, la función de dispersión de puntos PSF de borrosidad fuera de foco, es decir, f2(x, y), se puede obtener a través de una medición de la imagen en el plano de captura de la imagen que se muestra en la Figura 5(b). Téngase en cuenta que, a medida que disminuye la aberración de la lente de foco, mejora la aproximación de la función de dispersión de puntos PSF mediante una función de sombrero (pillbox function).

La transformada de Fourier de una función de sombrero (pillbox function) es la función de Bessel de orden cero del primer tipo, Jo. La transformada de Fourier de una función gaussiana es una función gaussiana. Las funciones F2(u, v) de dichas características alcanzan el máximo en (u, v) = (0, 0) y tienen valores relativamente grandes en la región de baja frecuencia. La función de Bessel alcanza un valor cero a una frecuencia específica, mientras que la función gaussiana nunca alcanzaría un valor cero. Por lo tanto, en la región de baja frecuencia, F-i(u, v) y F2(u, v) no alcanzarían un valor cero en la misma frecuencia, y F-i(u, v) F2(u, v) tienen un valor diferente de cero.

Según se observa en la descripción anterior, según la presente invención, el denominador de la Fórmula 9 no alcanzaría un valor cero al menos en la región de baja frecuencia. Como resultado, se puede reducir el ruido de anillo (ringing noise) en una "parte plana" de una imagen y, por lo tanto, se puede realizar la restauración de una imagen de alta calidad en la que los artefactos de anillo no son visibles.

La Figura 6 es un diagrama que muestra de forma esquemática la configuración de una sección de captura de imagen de un elemento de captura de imagen de la presente invención. En la presente forma de realización, la luz de un objeto fotográfico es dividida por una sección de división de haz 60 en dos partes. La sección de división de haz 60 incluye una lente y un divisor de haces para dividir la luz transmitida a través de la lente en dos haces que siguen trayectorias en diferentes direcciones. Uno de los haces divididos por la sección de división de haz 60 entra en un primer elemento de captura de imagen 10A, y el otro haz entra en un segundo elemento de captura de imagen 10B. Uno de entre el elemento de captura de imagen 10A y el elemento de captura de imagen 10B es proporcionado en una posición en la que se produce el punto focal de la lente, y el otro es proporcionado en una posición en la que no se produce el punto focal de la lente. Esta disposición se realiza, por ejemplo, estableciendo la distancia óptica desde la lente hasta el primer elemento de captura de imagen 10A y la distancia óptica desde la lente hasta el segundo elemento de captura de imagen 10B iguales a valores diferentes. Una disposición típica que consigue distancias ópticas diferentes se puede realizar cambiando las distancias físicas, aunque la presente invención no se limita a dicho ejemplo.

La Figura 7(a) es un diagrama que muestra un ejemplo de configuración en el que la luz transmitida a través de una lente 20 es dividida por un divisor de haces 40 en dos haces que siguen trayectorias en diferentes direcciones. En este ejemplo de configuración, la distancia desde la lente 20 hasta el primer elemento de captura de imagen 10A es mayor que la distancia desde la lente 20 hasta el segundo elemento de captura de imagen 10B. La Figura 7(b) es un diagrama que muestra otro ejemplo de configuración. En este ejemplo de configuración, la distancia desde la lente 20 hasta el primer elemento de captura de imagen 10A y la distancia desde la lente 20 hasta el segundo elemento de captura de imagen 10B son iguales entre sí. Sin embargo, hay un elemento óptico 45 entre la lente 20 y el primer elemento de captura de imagen 10A. El elemento óptico 45 está hecho de un material transparente que tiene un índice de refracción diferente al del aire. Con la intervención del elemento óptico 45 que tiene dicha propiedad, la distancia óptica desde la lente 20 hasta el primer elemento de captura de imagen 10A y la distancia óptica desde la lente 20 hasta el segundo elemento de captura de imagen 10B son diferentes entre sí. Por lo tanto, la condición dentro de foco es diferente entre el primer elemento de captura de imagen 10A y el segundo elemento de captura de imagen 10B. El elemento óptico proporcionado en el medio de la trayectoria óptica puede tener cualquiera de entre una forma de una lente cóncava, una lente convexa y una placa plana, o una forma compleja de la misma, siempre y cuando el elemento óptico pueda producir una diferencia en la condición dentro de foco en los planos de captura de imagen de los elementos de captura de imagen 10A, 10B.

La Figura 7(c) es un diagrama que muestra otro ejemplo de configuración. En este ejemplo de configuración, la luz es dividida por el divisor de haces 40 en dos haces que siguen trayectorias en direcciones diferentes, y los dos haces son condensados por diferentes lentes 20A y 20B, respectivamente. Cuando las lentes 20A y 20B tienen distancias focales iguales, el sistema está configurado de tal manera que la distancia desde la lente 20A hasta el primer elemento de captura de imagen 10A y la distancia desde la lente 20B hasta el segundo elemento de captura de imagen 10B son diferentes entre sí. Téngase en cuenta que las características de lente, tal como la distancia focal, pueden ser diferentes entre la lente 20A y la lente 20B. Incluso cuando se adopta dicha configuración, la función de dispersión de puntos que define la borrosidad fuera de foco que se genera de forma intencionada en el segundo elemento de captura de imagen 10B se puede obtener de forma anticipada bajo diversas condiciones de fotografía.

De este modo, de acuerdo con una forma de realización preferida de la presente invención, se obtiene una señal de una imagen que está dentro de foco por medio de uno de los dos elementos de captura de imagen 10A, 10B, y se obtiene una señal de una imagen que está fuera de foco por medio del otro elemento de captura de imágenes. Estas señales se agregan conjuntamente para generar una señal de una imagen degradada. La imagen degradada obtenida de este modo es sometida a un proceso de restauración, mediante el cual se puede evitar la aparición de un artefacto de anillo.

De aquí en adelante, se describe una forma de realización de un dispositivo de captura de imágenes de la presente invención.

El dispositivo de captura de imágenes de la presente forma de realización es una cámara electrónica digital, a la que no se limita la presente invención. El dispositivo de captura de imágenes de la presente forma de realización incluye, según se muestra en la Figura 8, una sección de captura de imagen 100, una sección de procesamiento de señales 200 para realizar diversos procesamientos de señal, una sección de visualización de imágenes capturadas 300 para visualizar una imagen obtenida por medio de una captura de imagen, una sección de almacenamiento 400 para almacenar datos de imágenes, y una sección de control del sistema 500 para controlar las respectivas secciones. Las diferencias principales del dispositivo de captura de imágenes de la presente forma de realización con respecto a dispositivos de captura de imágenes conocidos residen en la configuración de la sección de captura de imagen 100 y en la operación de la sección de procesamiento de señales 200. Por lo tanto, en la descripción que se proporcionará a continuación, principalmente se describen en detalle la sección de captura de imagen 100 y la sección de procesamiento de señales 200.

La sección de captura de imagen 100 de la presente forma de realización incluye una lente de fotografía 20, un obturador 15 que tiene la función de un tope de lente, un divisor de haces 40 para dividir la luz transmitida a través de la lente de fotografía 20 en dos haces, y dos elementos de captura de imagen 10A, 10B para recibir los haces divididos por el divisor de haces 40. Los elementos de captura de imagen 10A, 10B incluyen una pluralidad de células foto sensibles (foto diodos) dispuestas sobre el plano de captura de imagen. Un ejemplo típico de los elementos de captura de imagen 10A, 10B es un CCD o un sensor CMOS. La lente de fotografía 20 tiene una configuración conocida y puede ser, en la actualidad, una unidad de lente que está formada por una pluralidad de lentes. El obturador 15 y la lente de fotografía 20 son controlados por un mecanismo que no se muestra para realizar operaciones que son necesarias para zoom óptico, Exposición Automática (AE: Auto Exposure) y Enfoque Automático (AF: Auto Focus).

La sección de captura de imagen 100 incluye además una sección de control de elementos de captura de imagen 30 para controlarlos elementos de captura de imagen 10A, 10B. La sección de control de elementos de captura de imagen 30 se puede realizar, por ejemplo, por medio de un circuito integrado semiconductor, tal como un controlador de CCD. La sección de control de elementos de captura de imagen 30 controla los elementos de captura de imagen 10A, 10B para leer una señal analógica (señal convertida fotoeléctricamente) procedente de los elementos de captura de imagen 10A, 10B y convertir la señal analógica en una señal digital. De acuerdo con la presente forma de realización, la función del divisor de haces 40 permite una captura simultánea de imágenes del mismo objeto por parte de los elementos de captura de imagen 10A, 10B. Uno de los elementos de captura de imagen, 10A, realiza una captura de imagen en una condición dentro de foco, mientras que el otro elemento de captura de imágenes, 10B, realiza una captura de imagen en una condición de fuera de foco. Por lo tanto, la sección de control de elementos de captura de imagen 30 lee señales convertidas fotoeléctricamente procedentes de ambos dos elementos de captura de imagen 10A, 10B y luego agrega las señales para generar una señal de imagen. Una imagen expresada por una señal de imagen de este tipo es una imagen degradada que incluye una borrosidad fuera de foco producida de forma intencionada. Los datos de esta imagen degradada son suministrados a la sección de procesamiento de señales 200.

Téngase en cuenta que, en la presente forma de realización, la diferencia entre la distancia real desde la lente de fotografía 20 hasta el primer elemento de captura de imagen 10A y la distancia real desde la lente de fotografía 20 hasta el segundo elemento de captura de imagen 10B es constante. Cuando la imagen está dentro de foco en el primer elemento de captura de imagen 10A, la función de dispersión de puntos que define la borrosidad fuera de foco que se produce en el segundo elemento de captura de imagen 10B es conocida. Esta función de dispersión de puntos se puede obtener a partir de una tabla existente según los parámetros de fotografía, tales como la distancia focal de la lente de fotografía 20 y el diámetro de apertura del tope de la lente.

La sección de procesamiento de señales 200 de la presente forma de realización incluye una sección de procesamiento de imágenes (procesador de imágenes) 220, una memoria 240 y una sección de interfaz (IF) 260. La sección de procesamiento de señales 200 está acoplada a la sección de visualización 300, tal como un panel de visualización de cristal líquido, y a un medio de almacenamiento 400, tal como una tarjeta de memoria.

La sección de procesamiento de imágenes 220 realiza diversos procesamientos de señal, tales como una corrección de tono de color, un cambio de resolución y una compresión de datos, así como el proceso inventivo de restauración en una imagen degradada. La sección de procesamiento de imágenes 220 es realizada preferiblemente por medio de una combinación de hardware, tal como un procesador de señal digital (DSP: digital signal processor) conocido, y software para la ejecución del procesamiento de imagen. La memoria 240 puede estar formada por una DRAM o similar. La memoria 240 almacena datos de imagen obtenidos procedentes de la sección de captura de imagen 100 y, mientras tanto, almacena temporalmente datos de imagen que han sido sometidos a diversos procesamientos de imagen o datos de imagen que han sido comprimidos en la sección de procesamiento de imágenes 220. Los datos de imagen son convertidos en señales analógicas y posteriormente se visualizan en la sección de visualización 300. Alternativamente, los datos de imagen que permanecen en forma de señales digitales son almacenados en el medio de almacenamiento 400 a través de la sección de interfaz 260. Los datos de la imagen pueden ser transmitidos a otro aparato (que no se muestra) a través de un dispositivo de comunicación inalámbrico o alámbrico que no se muestra.

Cuando un usuario apunta su cámara a un objeto fotográfico, es preferible que una imagen obtenida por el primer elemento de captura de imagen 10A sea visualizada en la sección de visualización 300. Esto le permite al usuario realizar la fotografía mientras observa una imagen que no tiene borrosidad fuera de foco.

Los componentes anteriores son controlados por la sección de control del sistema 500 que incluye una unidad central de procesamiento (CPU) que no se muestra y una memoria flash. Téngase en cuenta que el dispositivo de captura de imágenes de la presente forma de realización puede incluir otros componentes conocidos, tales como un visor óptico, una fuente de alimentación (batería) y una linterna. Sin embargo, las descripciones de dichos componentes no son particularmente necesarias para la comprensión de la presente invención y, por lo tanto, han sido omitidas.

Como se ha descrito anteriormente, según el dispositivo de captura de imágenes 100 de la presente forma de realización, se puede formar una imagen dentro de foco en el plano de captura de imagen del elemento de captura de imagen 10A, mientras que se puede formar una imagen, que se mantiene fuera de foco de forma intencionada, en el elemento de captura de imagen 10B. Téngase en cuenta que la imagen que está dentro de foco en el plano de captura de imagen del elemento de captura de imagen 10A se puede formar fácilmente utilizando una técnica común de auto enfoque.

Supóngase que, fotografiando una imagen que se mantiene fuera de foco de forma intencionada, se produce una borrosidad por movimiento a causa de una sacudida de cámara durante la exposición. La función de dispersión de puntos PSF de borrosidad producida de este modo de la imagen es, según se ha descrito anteriormente, igual a la agregación de la función fi(x, y) y la función f2(x, y).

A continuación se describe cómo determinar la función de dispersión de puntos PSF de borrosidad fuera de foco, es decir, la función f2(x, y).

En primer lugar, según se muestra en la Figura 9(a), se fotografía un patrón que tiene un punto brillante en el centro sobre un fondo negro. En este caso, en el primer elemento de captura de imagen 10A, una imagen formada se encuentra dentro de foco según se muestra en la Figura 9(b). Mientras tanto, en el segundo elemento de captura de imagen 10B, una imagen formada se encuentra fuera de foco según se muestra en la Figura 9(c).

Cuando la función de dispersión de puntos PSF de borrosidad fuera de foco es aproximada por medio de una función de sombrero (pillbox function) en la que el punto se extiende en forma de cilindro, la extensión de la imagen del punto en el plano de captura de la imagen (diámetro b) es equivalente al diámetro del cilindro. De este modo, midiendo la extensión de la imagen del punto, se puede determinar la función de dispersión de puntos PSF (función de sombrero - pillbox function) que representa la borrosidad fuera de foco. La extensión de la imagen del punto se puede expresar con el número de píxeles en el plano de captura de imagen y puede ser detectada fácilmente por un elemento de captura de imagen.

En algunos casos, la luminosidad en el plano de la imagen del punto exhibe una distribución gaussiana a causa de la forma de la lente, por ejemplo, a causa de la aberración. En esos casos, es preferible que la función de dispersión de puntos PSF de borrosidad fuera de foco sea aproximada por medio de una función gaussiana. Dado que la distribución de la luminosidad de la imagen del punto que se dispersa sobre el plano de captura de la imagen es medida por un elemento de captura de imagen, la desviación estándar a de una función gaussiana correspondiente se puede determinar a partir de la distribución de la luminosidad medida.

De este modo, la función de dispersión de puntos PSF que define la borrosidad fuera de foco (f2(x, y)) se determina de forma anticipada por medición y se almacena, por ejemplo, en una tabla de una memoria incorporada en el dispositivo de captura de imágenes. Esta función de dispersión de puntos PSF (f2(x, y)) también depende de los parámetros de fotografía, tales como la distancia focal de la lente de fotografía 20 y el diámetro de apertura del tope de la lente. Específicamente, si la distancia respecto al objeto fotográfico varía, la distancia focal de la lente de fotografía 20 también varía. Si el diámetro de la apertura varía, la profundidad de campo también varía. Por lo tanto, es preferible que un gran número de funciones de dispersión de puntos PSF (f2(x, y)) sean medidas y almacenadas en la memoria en asociación con posibles combinaciones de valores de parámetros de fotografía. Con estos datos preparados, en la fotografía real, se puede obtener la función de dispersión de puntos PSF de borrosidad fuera de foco (f2(x, y)) según los parámetros de fotografía.

A continuación se describe la operación del usuario en la captura de imágenes con el uso del dispositivo de captura de imágenes de la presente forma de realización.

En primer lugar, como en la fotografía habitual con una cámara digital, el usuario apunta su cámara a un objeto fotográfico y pulsa un botón disparador a medio camino, con lo que se ajusta el enfoque al objeto mediante una operación de auto enfoque, de modo que se forma una imagen dentro de foco en el primer elemento de captura de imagen 10A. En este momento, se forma la imagen dentro de foco en el plano de captura de imagen del primer elemento de captura de imagen 10A, mientras que una imagen formada en el plano de captura de imagen del segundo elemento de captura de imagen 10B tiene una borrosidad a causa de una condición de fuera de foco.

A continuación, cuando el usuario pulsa completamente el botón disparador, se inicia el proceso de "exposición" de los elementos de captura de imagen 10A, 10B. Si el dispositivo de captura de imágenes es movido de forma inestable por un usuario durante el proceso de exposición, las imágenes se deslizan sobre los planos de captura de imagen de los elementos de captura de imagen 10A, 10B. Como resultado, se añade una borrosidad por sacudida de cámara a cada una de las imágenes.

La sección de procesamiento de señales 200 recibe una señal obtenida por la sección de captura de imagen 100. La imagen obtenida de este modo es una imagen degradada que se expresa por medio de i(x, y) en el lado izquierdo de la Fórmula 7. En la presente forma de realización, i(x, y) se obtiene agregando conjuntamente las señales de imagen de salida de los elementos de captura de imagen 10A, 10B. Las salidas de los elementos de captura de imagen 10A, 10B pueden ser simplemente agregadas conjuntamente. Alternativamente, una y la otra de las salidas pueden ser ponderadas de modo diferente antes de ser agregadas. Dicha ponderación se realiza preferiblemente cuando los elementos de captura de imagen 10A, 10B son diferentes en al menos cualquiera de entre el tamaño, la resolución, el número de píxeles y la relación de apertura, o cuando los haces de luz que inciden en los elementos de captura de imagen 10A, 10B tienen intensidades diferentes.

En la sección de procesamiento de señales 200, la sección de procesamiento de imágenes 220 realiza un proceso para restaurar s(x, y) en base a i(x, y). El algoritmo de este proceso de restauración no se limita a uno en particular, sino que puede ser cualquiera de entre los procesos de restauración de imágenes conocidos.

De aquí en adelante, se describe con referencia a la Figura 10 y la Figura 11 un ejemplo del proceso de restauración que se puede realizar en la presente forma de realización. La Figura 10 es un bloque que muestra un ejemplo de configuración de la sección de procesamiento de imágenes 220 que se muestra en la Figura 8. La Figura 11 es un diagrama de flujo que ilustra un ejemplo del proceso de restauración.

En primer lugar, consúltese la Figura 10. La sección de procesamiento de imágenes 220 que se muestra en la Figura 10 incluye una sección de configuración de función de dispersión de puntos PSF inicial 222, una sección de restauración de imagen 224, una sección de configuración de la función PSF 226 y una sección de actualización de parámetros 228. La sección de procesamiento de imágenes 220 recibe una imagen degradada como entrada y produce un resultado de restauración como salida. La sección de estimación de función de dispersión de puntos PSF inicial 222 configura una función de dispersión de puntos PSF inicial que es necesaria para la operación de la sección de restauración de imagen 224. La función de dispersión de puntos PSF inicial se puede determinar en base al movimiento (trayectoria) de una cámara que es detectado por un sensor, tal como un sensor giroscópico. Alternativamente, la función de dispersión de puntos PSF inicial puede ser introducida manualmente por un usuario. Téngase en cuenta que, desde el punto de vista de reducir el tiempo que se requiere para el procesamiento de la imagen, la función de dispersión de puntos PSF inicial se encuentra preferiblemente más cerca de la verdadera función de dispersión de puntos PSF. Por lo tanto, preferiblemente se establece como función PSF inicial una función de dispersión de puntos PSF obtenida agregando la función PSF de borrosidad fuera de foco a la función PSF que se determina a partir de la trayectoria de la cámara detectada por el sensor.

La sección de restauración de imagen 224 produce una imagen restaurada a partir de una imagen degradada en base a la función de dispersión de puntos PSF inicial. La sección de estimación de la función PSF 226 realiza una estimación de la función de dispersión de puntos PSF en base a la imagen degradada y a la imagen restaurada producida por la sección de restauración de imagen 224. La sección de actualización de parámetros 228 actualiza la función de dispersión de puntos PSF inicial (una función de dispersión de puntos PSF utilizada para la restauración de la imagen anterior) con una función de dispersión de puntos PSF obtenida por la sección de estimación de la función de dispersión de puntos 226 (función PSF estimada). La función de dispersión de puntos PSF actualizada es suministrada a la sección de restauración de imagen 224 y se realiza repetidamente el procedimiento anterior.

La configuración que se muestra en la Figura 10 es un ejemplo del bloque de funciones de la sección de procesamiento de imágenes 220. La sección de procesamiento de imágenes 220 se puede dividir en otros bloques de funciones. La sección de procesamiento de imagen 220 es preferiblemente realizada, por ejemplo, incorporando software de procesamiento de imagen a un hardware conocido.

A continuación, se describe un procedimiento general del proceso de restauración con referencia a la Figura 11.

En primer lugar, en la etapa S1, se recupera una imagen degradada. En concreto, la sección de procesamiento de imágenes 220 recupera de la memoria 240 de la Figura 8 una imagen degradada que se va a utilizar como base del proceso de restauración. La imagen degradada es una imagen obtenida por la sección de captura de imagen 100 de la Figura 8. En la presente forma de realización, la imagen degradada tiene borrosidad fuera de foco añadida de forma intencionada. En general, una imagen degradada presenta borrosidad por sacudida (borrosidad por movimiento) de la cámara a causa de una sacudida (movimiento) de la sección de captura de imagen 100 que es provocada por un usuario.

En la etapa S2, la sección de configuración de la función PSF inicial 222 establece la función PSF inicial. En la etapa S3, la sección de restauración de imagen 224 realiza un proceso de restauración de imagen utilizando la imagen degradada obtenida en la etapa S1 y la función PSF inicial establecida en la etapa S2. Este proceso de restauración de imagen se puede realizar en la sección de restauración de imagen 224 de la Figura 10 según un algoritmo de restauración conocido. La sección de restauración de imagen 224 almacena temporalmente una imagen restaurada resultante en la memoria 240. En la etapa S4, la sección de estimación de la función PSF 226 realiza una estimación de la función de dispersión de puntos PSF a partir de la imagen restaurada, y la sección de actualización de parámetros 228 actualiza la función de dispersión de puntos PSF actual con la función PSF estimada.

En la etapa S5, se determina si un cambio de la función de dispersión de puntos PSF causado por la actualización y un cambio de la imagen restaurada causado por la actualización son o no son más pequeños que unos umbrales predeterminados. Si son más pequeños, se determina que el proceso ha convergido. En la etapa S6, se almacena un resultado de la restauración en la memoria 240.

De ahora en adelante, se describen detalles de la estimación de la función de dispersión de puntos PSF y la restauración de la imagen en las etapas S2 - S3.

Aquí se describe un proceso que se realiza según un procedimiento de procesamiento de señales divulgado en el Documento no de patente n° 1. De acuerdo con el procedimiento de procesamiento de señales del Documento no de patente n° 1, en primer lugar, es necesario proporcionar la función de dispersión de puntos PSF inicial. Esta función PSF inicial se proporciona manualmente o por medio de un dispositivo de detección de sacudidas de la cámara (un dispositivo externo, tal como un sensor giroscópico). En base a esta función de dispersión de puntos PSF inicial, se realiza la primera restauración de imagen. Aunque la función de dispersión de puntos PSF en esta fase no es necesariamente idéntica a una función PSF verdadera (respuesta correcta), el resultado de la restauración está más cerca de la imagen original que de la imagen degradada.

A continuación, se estima la función de dispersión de puntos PSF a partir de la primera imagen restaurada que es el resultado de la primera restauración de la imagen. Dado que la primera imagen restaurada está más cerca de la imagen original que la imagen degradada, la función de dispersión de puntos PSF estimada se aproxima a la respuesta correcta. La función de dispersión de puntos PSF estimada en este documento se utiliza para realizar la segunda restauración de la imagen. Es decir, se actualiza la función de dispersión de puntos PSF inicial con la función de dispersión de puntos PSF subsiguiente, y se utiliza la función PSF inicial actualizada para realizar la segunda restauración de la imagen. Este proceso se repite hasta que el cambio de la función de dispersión de puntos PSF y el cambio del resultado de la restauración de la imagen alcanzan un valor igual a cero, por lo que la estimación de la función de dispersión de puntos PSF y la restauración de la imagen se realizan de forma simultánea.

A continuación, se describe un procedimiento más específico del proceso de restauración de la imagen.

En primer lugar, la sección de configuración de la función PSF inicial 222 proporciona la función de dispersión de puntos PSF inicial antes de la restauración de la imagen. De acuerdo con el procedimiento divulgado en el Documento no de patente n° 1, la función PSF inicial se proporciona manualmente, mientras que en la presente forma de realización, el valor inicial de la función PSF se establece en base a datos de movimiento obtenidos por un sensor giroscópico.

La sección de restauración de imagen 224 realiza la restauración de una imagen en base a la función de dispersión de puntos PSF determinada (el valor inicial del primer ciclo, valores actualizados de ciclos subsiguientes) y una imagen degradada. La fórmula de evaluación El para uso en este proceso se muestra como la Fórmula 13:

[Expresión 13]

en la que I es la imagen degradada, L es una imagen que no tiene borrosidad por movimiento o borrosidad fuera de foco, y f es la función de dispersión de puntos PSF. Las variables wk, A1 y A2 son los "pesos" que se establecen manualmente. © es un conjunto de operadores que definen qué diferenciación se va a realizar en la imagen. En concreto, el conjunto de operadores incluye seis parámetros diferenciales en total, el diferencial de orden cero, los diferenciales de primer orden (un diferencial que es diferenciado una vez para la dirección x y un diferencial que es diferenciado una vez para la dirección y), y los diferenciales de segundo orden (un diferencial que es diferenciado dos veces para la dirección x, un diferencial que es diferenciado dos veces para la dirección y, y un diferencial que es diferenciado una vez para la dirección x y una vez para la dirección y). d* es un operador diferencial. Una expresión de © con el uso de d* es ©= {d⁰, d^x, d^y, d^{x x}, d^{x y}, d^{y y}}. d* permite un proceso que utiliza tanto los datos de luminosidad como los datos de borde. Por lo tanto, es posible obtener datos que no se obtendrían sólo con la luminosidad. M es una máscara bidimensional que tiene elementos '1' en píxeles incluidos en una región plana de la imagen, es decir, en una región lisa local (O), y elementos '0' en los otros píxeles. || ||^pes un operador de norma P. O(x) es una función que representa aproximadamente la relación entre el gradiente de luminosidad x en una imagen observada naturalmente y su densidad de distribución (representación logarítmica).

El primer término del lado derecho de la Fórmula 13 representa la diferencia (distancia) entre una imagen obtenida por convolución de la imagen restaurada L y la función de dispersión de puntos f y una imagen degradada I. Realizando una operación sobre la imagen con los seis parámetros diferenciales, se puede evaluar el grado de aproximación de la imagen en base a datos distintos de la luminosidad.

El segundo término del lado derecho de la Fórmula 13 representa la propiedad del gradiente de luminosidad de la imagen (el cual se denomina "cola pesada" - “heavy tail”). O(d^xL) y O(d^yL) tienen una propiedad estadística de modo que, cuando se pone el gradiente de luminosidad de la imagen restaurada en una representación de histograma, se produce un pico agudo de la frecuencia cerca del gradiente cero, y la frecuencia disminuye a medida que aumenta el gradiente. En el segundo término, para cada uno de entre el gradiente en la dirección x y el gradiente en la dirección y, se calcula la distancia con respecto a una distribución que representa la propiedad estadística anterior. Esta propiedad estadística también se utiliza en los procedimientos divulgados en los documentos que no son de patente n° 3 - 5.

El tercer término del lado derecho de la Fórmula 13 es un término para la evaluación del grado de planitud con el uso de la máscara M, la imagen degradada diferenciada y la imagen restaurada diferenciada. En una región plana, los valores de gradiente de luminosidad de la imagen degradada y de la imagen restaurada están cerca entre sí. Por lo tanto, se utilizan los errores de los valores del gradiente en las direcciones x, y como los valores de evaluación.

Obteniendo un valor para L que minimiza el lado derecho de la Fórmula 13, se puede obtener la imagen restaurada L (optimización de L). Un procedimiento de cálculo específico para la optimización de L se divulga en el Documento no de patente n° 1.

A continuación se describe de forma detallada un proceso realizado por la sección de estimación de la función PSF 226, que se realiza después de haber obtenido la imagen restaurada L.

La estimación de la función PSF es el problema de estimar la función de dispersión de puntos f con la utilización de la imagen restaurada L que se ha obtenido en la sección de restauración de imagen 224 y la imagen degradada I. La función f se determina de tal manera que se minimiza el lado derecho de la Fórmula 14 que se muestra a continuación, con lo que se puede obtener la función de dispersión de puntos f (optimización de f).

[Expresión 14]

El primer término del lado derecho de la Fórmula 14 es equivalente al primer término del lado derecho de la Fórmula 13 y sirve como una referencia para la evaluación que representa si la convolución de la imagen restaurada L y la función de dispersión de puntos f está o no está cerca de la imagen degradada I. El segundo término del lado derecho de la Fórmula 14 es una norma de la función de dispersión de puntos f. El segundo término se basa en un concepto denominado “codificación dispersa” (“sparse coding”). Este término de optimización se utiliza porque gran parte de los elementos en la matriz de la función de dispersión de puntos f son iguales a cero (inactivos). En la presente forma de realización, la optimización se realiza según el "procedimiento de puntos interiores" como en el Documento no de patente n° 1, con lo que se puede realizar la optimización total.

El procedimiento de restauración de imágenes no se limita al ejemplo descrito anteriormente. Por ejemplo, se puede utilizar el procedimiento de Richardson-Lucy (LR) o el procedimiento de filtrado de Wiener.

El punto importante en la restauración de imágenes de la presente forma de realización es que la función de dispersión de puntos PSF de borrosidad fuera de foco añadida de forma intencionada es conocida. Dado que los datos de movimiento pueden ser obtenidos por un sensor giroscópico, incluso en el caso de que se produzca una condición de fuera de foco, la restauración de una imagen se puede realizar aplicando un procedimiento conveniente conocido tradicionalmente, tal como el procedimiento de LR, siempre y cuando se conozca la función de dispersión de puntos PSF de borrosidad fuera de foco. Por lo tanto, se puede reducir la carga en el procesamiento de señal.

En la presente forma de realización, la restauración de la imagen se realiza por de-convolución ciega, en la que una función PSF que define una borrosidad por sacudida de la cámara es también un objeto de estimación. Sin embargo, la presente invención no se limita a este ejemplo. Si se puede detectar con gran precisión una "trayectoria de sacudida de cámara" mediante un sensor giroscópico acoplado al dispositivo de captura de imágenes, la función PSF obtenida en base a la trayectoria de la sacudida de la cámara detectada se puede utilizar no sólo como el valor inicial para el proceso de restauración de la imagen, sino también como la función PSF final que define la borrosidad por sacudida de cámara. En este caso, también es conocida una función de dispersión de puntos PSF que define la borrosidad fuera de foco, y son conocidas todas las funciones de dispersión de puntos de borrosidad, de modo que lo que se debe estimar es sólo la imagen restaurada.

De acuerdo con la presente forma de realización, se agrega una borrosidad fuera de foco de forma intencionada a una imagen degradada con independencia del tipo de procedimiento de restauración. Por lo tanto, incluso cuando la restauración de imagen se realiza en una imagen degradada debida a borrosidad por sacudida de la cámara (borrosidad por movimiento), se obtiene el efecto de hacer que los artefactos de anillo en una parte plana de la imagen no sean visibles.

En la forma de realización que se ha descrito anteriormente, cuando una imagen está dentro de foco en el primer elemento de captura de imagen 10A, se conoce una función de dispersión de puntos que define la borrosidad fuera de foco producida en el segundo elemento de captura de imagen 10B.

Téngase en cuenta que existe una probabilidad de que ambas imágenes obtenidas por los dos elementos de captura de imagen 10A, 10B tengan una borrosidad fuera de foco. En una forma de realización de ejemplo, incluso en este caso, es posible estimar una función de dispersión de puntos PSF que define la borrosidad total de una imagen degradada sintetizada y obtener una imagen restaurada. Dado que la imagen sintetizada producida a partir de las imágenes obtenidas por los dos elementos de captura de imagen 10A, 10B no necesita estar enfocada, existe una ventaja de que no es necesario ajustar el foco.

Por ejemplo, cuando un paisaje que tiene cierta profundidad es un objeto fotográfico, el foco no se encuentra necesariamente en el objeto. En una forma de realización de ejemplo, cuando se produce una condición de fuera de foco en ambos de los dos elementos de captura de imagen 10A, 10B, las funciones de dispersión de puntos que definen las respectivas borrosidades fuera de foco son diferentes entre sí. En este caso, ninguna de las transformadas de Fourier de las dos funciones de dispersión de puntos que definen las borrosidades fuera de foco alcanza un valor cero a una frecuencia espacial específica. Por lo tanto, creando una condición de fuera de foco en ambos de los dos elementos de captura de imagen 10A, 10B, se mejora aún más el efecto de evitar un anillo.

El primer elemento de captura de imagen 10A y el segundo elemento de captura de imagen 10B no necesitan tener resoluciones iguales. Por ejemplo, cuando uno de los dispositivos tiene una resolución más pequeña que el otro, la resolución de una de las imágenes se puede aumentar usando la técnica de súper resolución (por ejemplo, Wei, Tanaka, Okutomi, "Real-time Video Super Resolution Processing System," Proceedings of the 15th Image Sensing Symposium (SSII2009), pp. DS2-01-1-1, 2009). Se pueden convertir imágenes de diferentes resoluciones para que tengan resoluciones iguales antes de someter a las imágenes convertidas al proceso de restauración de imagen que se ha descrito anteriormente para reducir la borrosidad por movimiento y la oscuridad.

El número de elementos de captura de imagen incluidos en la presente invención no se limita a dos, sino que puede ser igual a tres o más.

APLICABILIDAD INDUSTRIAL

Un dispositivo de captura de imágenes de la presente invención es capaz de restaurar una imagen que tiene pequeños artefactos de anillo en una parte plana y por lo tanto es aplicable a, por ejemplo, cámaras fijas electrónicas.

LISTA DE SIGNOS DE REFERENCIA

10A primer elemento de captura de imagen

10B segundo elemento de captura de imagen

15 obturador con función de tope de lente

20 lente de fotografía

30 sección de control de elemento de captura de imagen

40 divisor de haces

45 elemento óptico

60 sección de división de haces

100 sección de captura de imagen

200 sección de procesamiento de señal

220 sección de procesamiento de imágenes

222 sección de configuración de función de dispersión de puntos PSF inicial

224 sección de restauración de imagen

226 sección de estimación de función PSF

228 sección de actualización de parámetros

240 memoria

260 interfaz (IF)

300 sección de visualización

400 sección de almacenamiento

500 sección de control del sistema

Claims

REIVINDICACIONES

1. Un dispositivo de captura de imágenes, que comprende:

un primer elemento de captura de imagen (10A) y un segundo elemento de captura de imagen (10B); un sistema óptico que comprende un divisor de haces (40) configurado para dividir una luz procedente de un objeto fotográfico en dos partes para formar una primera imagen que está dentro de foco en un plano de captura de imagen del primer elemento de captura de imagen (10A) y para formar una segunda imagen que está fuera de foco en un plano de captura de imagen del segundo elemento de captura de imagen (10B);

una sección de procesamiento de imagen (220) configurada para procesar una señal obtenida del primer elemento de captura de imagen (10A) y una señal obtenida del segundo elemento de captura de imagen (10B); y

una memoria (240) configurada para almacenar una función de dispersión de puntos que define una borrosidad fuera de foco en el segundo elemento de captura de imagen (10B),

en el que la sección de procesamiento de imagen (220) está configurada para

formar una agregación o una agregación ponderada de las señales obtenidas del primer y segundo elementos de captura de imagen (10A, 10B) para generar una señal de una imagen degradada, recuperar de la memoria (240) la función de dispersión de puntos que define la borrosidad fuera de foco, y

producir una imagen restaurada a partir de la señal de la imagen degradada por de-convolución de la imagen degradada utilizando una agregación de la función de dispersión de puntos recuperada y una función de dispersión de puntos estimada para borrosidad por sacudida de cámara en la imagen degradada, teniendo la imagen restaurada una borrosidad por sacudida de cámara reducida y una borrosidad fuera de foco reducida.

2. El dispositivo de captura de imágenes de la reivindicación 1, en el que el sistema óptico incluye una lente de foco (20), en el que

el divisor de haces (40) está configurado para dividir una luz transmitida a través de la lente de foco (20) en dos haces que siguen trayectorias en unas direcciones, y

uno de los haces divididos entra en el primer elemento de captura de imagen (10A) mientras que el otro entra en el segundo elemento de captura de imagen (10B).

3. El dispositivo de captura de imágenes de la reivindicación 2, en el que una distancia óptica desde la lente de foco (20) hasta el primer elemento de captura de imagen (10A) es diferente de una distancia óptica desde la lente de foco (20) hasta el segundo elemento de captura de imagen (10B).

4. El dispositivo de captura de imágenes de la reivindicación 1, en el que el sistema óptico incluye una primera lente de foco (20A) para condensar uno de los haces divididos en el primer elemento de captura de imagen (10A), y

una segunda lente de foco (20B) para condensar el otro de los haces divididos en el segundo elemento de captura de imagen (10B).

5. El dispositivo de captura de imágenes de cualquiera de las reivindicaciones 1 a 3, que comprende además una sección de visualización (300),

en el que una imagen obtenida por el primer elemento de captura de imagen (10A) es visualizada en la sección de visualización (300).

6. Un programa para controlar una operación de un dispositivo de captura de imágenes, incluyendo el dispositivo de captura de imágenes un primer elemento de captura de imagen (10A) y un segundo elemento de captura de imagen (10B), un sistema óptico que comprende un divisor de haces (40) configurado para dividir una luz procedente de un objeto fotográfico en dos partes para formar una primera imagen que está dentro de foco en un plano de captura de imagen del primer elemento de captura de imagen (10A) y una segunda imagen que está fuera de foco en un plano de captura de imagen del segundo elemento de captura de imagen (10B), una sección de procesamiento de imagen (220) para procesar una señal obtenida del primer elemento de captura de imagen (10A) y una señal obtenida del segundo elemento de captura de imagen (10B) y una memoria (240) configurada para almacenar una función de dispersión de puntos que define una borrosidad fuera de foco en el segundo elemento de captura de imagen (10B), comprendiendo el programa las etapas de:

controlar el sistema óptico para formar una primera imagen que está dentro de foco en el plano de captura de imagen del primer elemento de captura de imagen (10A) y una segunda imagen que está fuera de foco en el plano de captura de imagen del segundo elemento de captura de imagen (10B);

dar instrucciones a la sección de procesamiento de imágenes (220)

para formar una agregación o una agregación ponderada de las señales obtenidas del primer y segundo elementos de captura de imagen (10A, 10B) para generar una señal de una imagen degradada, para recuperar de la memoria (240) la función de dispersión de puntos que define la borrosidad fuera de foco, y

para producir una imagen restaurada a partir de la señal de la imagen degradada por de-convolución de la imagen degradada utilizando una agregación de la función de dispersión de puntos recuperada y una función de dispersión de puntos estimada para borrosidad por sacudida de cámara en la imagen degradada, teniendo la imagen restaurada una borrosidad por sacudida de cámara reducida y una borrosidad fuera de foco reducida.

7. Un procedimiento de procesamiento de imagen para un dispositivo de captura de imágenes, incluyendo el dispositivo de captura de imágenes un primer elemento de captura de imagen (10A) y un segundo elemento de captura de imagen (10B), un sistema óptico que comprende un divisor de haces (40) configurado para dividir una luz procedente de un objeto fotográfico en dos partes para formar una primera imagen que está dentro de foco en un plano de captura de imagen del primer elemento de captura de imagen (10A) y una segunda imagen que está fuera de foco en un plano de captura de imagen del segundo elemento de captura de imagen (10B), una sección de procesamiento de imagen (220) para procesar una señal obtenida del primer elemento de captura de imagen (10A) y una señal obtenida del segundo elemento de captura de imagen (10B), una memoria (240) configurada para almacenar una función de dispersión de puntos que define una borrosidad fuera de foco en el segundo elemento de captura de imagen (10B), comprendiendo el procedimiento las etapas de:

dar instrucciones a la sección de procesamiento de imágenes (220)