ES2330619T3

ES2330619T3 - Procedimiento y aparato para captar imagenes utilizando sensores defectuosos.

Info

Publication number: ES2330619T3
Application number: ES02028847T
Authority: ES
Inventors: Stanley Barkan
Original assignee: Kodak IL Ltd
Current assignee: Kodak IL Ltd
Priority date: 2002-03-18
Filing date: 2002-12-23
Publication date: 2009-12-14
Anticipated expiration: 2022-12-23
Also published as: EP1347635B1; US7120315B2; EP1347635A2; EP1347635A3; US20030174902A1; DK1347635T3; DE60232492D1

Abstract

Aparato para la captación de imágenes por medio de un sensor defectuoso, que comprende: un sensor de imágenes (10), comprendiendo dicho sensor de imágenes (10) unos píxeles y que puede ser accionado para desplazarse entre al menos una primera posición de captación de imágenes y una segunda posición de captación de imágenes, en el que dicho sensor (10) es sustancialmente cuadrangular y puede ser accionado alrededor de dos ejes separados (50, 52) que son diagonales respectivas de dicho sensor (10), un controlador de la captación de imágenes para controlar dicho sensor (10) para su desplazamiento entre dichas posiciones de captación de imágenes durante una operación de captación de imágenes para tomar de esta forma una subimagen de cada una de dichas posiciones para que las partes de una imagen objeto sean captadas por al menos dos píxeles separados de dicho sensor (10), un calibrador que puede ser accionado para calibrar dicho aparato mediante la determinación de dichas posiciones de captación de imágenes, de manera que un mínimo de píxeles defectuosos se superponga sobre los píxeles defectuosos para todas las posiciones de dicha captación de imágenes, un integrador, asociado con dicho sensor (10) para integrar dichas subimágenes en una imagen completa única, caracterizado porque dicho calibrador puede ser accionado para llevar a cabo una prueba de defectos (44) sobre dicho sensor (10) para determinar las posiciones de los píxeles defectuosos y, utilizando dichas posiciones determinadas para calcular un desplazamiento de dicho sensor (10) para reducir al mínimo el número de posiciones defectuosas que se superponen con dicho desplazamiento del sensor.

Description

Procedimiento y aparato para captar imágenes utilizando sensores defectuosos.

La presente invención se refiere a un procedimiento y un aparato para captar imágenes utilizando sensores defectuosos.

Las cámaras digitales y otros dispositivos de captación de imágenes tienen unos sensores a base de píxeles. En el caso de una cámara digital el sensor es parte del respaldo de la cámara digital, en adelante designada simplemente como el respaldo.

El sensor se presenta en dos tipos, los que sustancialmente cubren la totalidad de la captación de la imagen de manera que solo se necesita una sola operación de captación de imagen, y aquéllos en los cuales el tamaño de la imagen es una fracción del área total de captación de la imagen, de manera que el sensor necesita ser desplazado para obtener captaciones separadas sobre el área de captación. Los primeros son designados en la presente memoria como sensores de gran área. En el estado de la técnica de las cámaras digitales o de las cámaras con respaldos de la cámara digital con sensores de gran área, el componente más costoso es generalmente el sensor de imagen. Esto se debe sobre todo al rendimiento de fabricación, que es la proporción de los sensores fabricados que se han aprobado para su uso, es aproximadamente proporcional al área. Típicamente, para sensores mayores de 16 mm x 24 mm, menos de la mitad de los sensores fabricados pasan la prueba como apropiados para la formación de imágenes. Los sensores que son apropiados como no considerados para la formación de imágenes son generalmente rechazados porque tienen defectos que no pueden ser corregidos utilizando medios convencionales. Los defectos son zonas de uno o más píxeles no fiables. En general, los defectos de un solo píxel, o casi de un solo píxel, pueden ser compensados mediante la utilización de medios convencionales. Sin embargo, determinados tipos de defectos, como por ejemplo agrupaciones de más de 2 x 2 píxeles no fiables, o defectos de múltiples filas o de múltiples columnas adyacentes no pueden ser compensados mediante la utilización de medios convencionales y los sensores que presentan dichos defectos son típicamente rechazados.

Un ejemplo de compensación de defectos convencional se divulga en el documento JP32963675A2, el cual divulga un circuito de corrección de defectos para implementar un procesamiento de corrección de defectos mediante la sustracción de una señal en un nivel indicativo de los datos del nivel de los defectos a partir de una señal de salida de un píxel. La patente estadounidense 5,159,457 transferida a Sony Corporation, divulga un modo operacional de ajuste en el cual un dispositivo acoplado por carga (CCD) con unos píxeles con un defecto dependiente de la temperatura, es accionado para que el CCD acumule N veces tanta carga como en un modo operacional ordinario. Una tensión de desplazamiento correspondiente es suministrada a un sensor de la temperatura para que una señal de compensación de defectos procedente de un generador de señal de compensación de defectos pueda ser ajustada con gran precisión. En el modo de ajuste, la temperatura del CCD se eleva, para que el nivel del componente defectuoso de la salida de la señal procedente del CCD sea lo suficientemente grande para ser ajustado con precisión. En un modo operacional ordinario, la señal de compensación procedente del generador de señal de compensación de defectos cuyo nivel ha sido ajustado con gran precisión en el modo operacional de ajuste es añadido a una señal de salida de toma de imagen del CCD para producir una señal compensada defectuosa ajustada con gran precisión. El sistema expuesto no es apropiado, sin embargo, para la mayoría de los tipos de defectos de fabricación.

Determinados respaldos están diseñadas para captar una imagen completa en 3 operaciones o instantáneas de captación de imágenes separadas. Un ejemplo es el respaldo de la cámara Leaf Volare el cual implementa la captación de imágenes en color tomando cada instantánea a través de un filtro coloreado diferente. Otro ejemplo de captación de imágenes con instantáneas múltiples es el del respaldo de la cámara Leaf Cantare XY, y dispositivos similares, los cuales utilizan un sensor de matriz de filtros de color. El respaldo está diseñado para captar la imagen en dos o tres instantáneas desplazándose el sensor mediante un desplazamiento de píxel exacta entre las instantáneas con el fin de obtener un muestreo a todo color. Dichos respaldos de cámaras utilizan en general un sensor de pequeño tamaño, el cual no cubre toda el área de formación de imágenes, dado que el sensor más pequeño produce un rendimiento de fabricación más alto y, por tanto, es más barato de fabricar. Los sensores de área grande, los cuales cubren el área de formación de imágenes son prohibitivamente costosos.

El documento JP 06 189318 divulga un dispositivo de toma de color que posibilita que un elemento de toma de imágenes sea vibrado a lo largo de una dirección de una diagonal del dispositivo de toma de imágenes con el fin de mejorar un número efectivo de píxeles del dispositivo de toma de imágenes. La vibración del dispositivo de toma de imágenes proporciona así mismo un número aparentemente incrementado de píxeles. La vibración impide así mismo una señal de color falsa, incluso si un componente de alta frecuencia de una imagen óptica está en consonancia con el paso de una matriz de filtros de color.

El documento US 4 581 649 divulga un sistema de toma de imágenes que comprende un sensor de imágenes y un vibrador para hacer vibrar la imagen situada sobre el sensor de imágenes para hacer oscilar los datos fotográficos. Un escáner está dispuesto para que opere en sincronización con la vibración de la imagen para cambiar los datos fotográficos oscilados a los datos para una imagen fija. Una memoria está dispuesta para almacenar los datos de la imagen fija y un circuito lógico mayoritario está dispuesto para seleccionar los datos más fiables a partir de los datos almacenados en la memoria y para producir unos datos pictóricos para la imagen existente en el sensor de imágenes.

El documento US 4 748 507 divulga un sistema de formación de imágenes y un procedimiento para compensar una pluralidad de elementos de imagen defectuosos dentro de una pluralidad de elementos de formación de imágenes del sistema de formación de imágenes. El documento divulga así mismo el empleo de un montaje electroóptico con el fin de reducir una fatiga incrementada de los elementos de formación de imágenes. El montaje electroóptico reduce así mismo los zumbidos en el momento del desplazamiento de los elementos de formación de imágenes. Con la propuesta sugerida en este documento ya no es necesario el desplazamiento de los elementos de formación de imágenes al compensar la pluralidad de elementos de imagen defectuosos dentro del sistema de formación de
imágenes.

Sería ventajoso contar con un residuo de cámara con un sensor cuyo tamaño de área fuera más próximo al tamaño del área de la formación de imágenes ópticas, y a un coste reducido.

De acuerdo con un primer aspecto de la presente invención, se proporciona de este modo un aparato de captación de imagen por medio de un sensor defectuoso, que comprende:

: un sensor de imagen, comprendiendo dicho sensor de imagen unos píxeles y que puede ser accionado para desplazarse entre al menos una primera posición de captación de imagen y una segunda posición de captación de imagen, en el que dicho sensor es sustancialmente cuadrangular y dichos dos ejes separados son diagonales respectivas de dicho sensor

: un controlador de captación de imagen para controlar dicho sensor para su desplazamiento entre dichas posiciones de captación de imagen durante una operación de captación de imagen para con ello tomar una subimagen en cada una de dichas posiciones para que las partes de dicha imagen objeto sean captadas por al menos dos píxeles separados de dicho sensor,

: un calibrador que puede ser accionado para calibrar dicho aparato mediante la determinación de dichas posiciones de captación de imagen de manera que un mínimo de píxeles defectuosos resulten superpuestos sobre otros píxeles defectuosos para la totalidad de dichas posiciones de captación de imagen, caracterizado porque dicho calibrador puede ser accionado para desarrollar una prueba de defectos sobre dicho sensor para determinar las posiciones de los píxeles defectuosos y utilizando dichas posiciones determinadas para calcular un desplazamiento de dicho sensor para reducir al mínima el número de posiciones defectuosas que se superponen con dicho desplazamiento del sensor, y

: un integrador, asociado con dicho sensor, para integrar dichas subimágenes en una sola imagen total.

\vskip1.000000\baselineskip

De modo preferente, dicha prueba de defectos comprende el análisis de una imagen de prueba de un área iluminada de manera uniforme captada por dicho sensor.

El aparato puede así mismo comprender un dispositivo de registro para registrar una posición de dicho sensor.

El dispositivo de registro puede así mismo comprender dos unidades de proyección para proyectar unos haces detectables sobre puntos predeterminados alrededor de dicho sensor, para posibilitar con ello la determinación de la posición del sensor.

De modo preferente, dicho sensor puede ser accionado para tomar una imagen de dichas unidades de proyección antes de una operación de captación de subimágenes, para posibilitar que su posición se determine a partir de
aquella.

De modo preferente, dichas unidades de proyección son diodos de emisión de luz.

De modo preferente, dicho integrador puede ser accionado para tomar una primera subimagen y para insertar sobre unas posiciones de píxel defectuosas de ésta, unos datos de imagen provinentes de las posiciones de píxeles correspondientes de otras subimágenes.

De modo preferente, dicho integrador puede ser accionado para promediar conjuntamente datos de imagen de las respectivas posiciones de píxeles no defectuosos de cada subimagen.

De modo preferente, una distancia entre las respectivas posiciones de captación de imagen no es un número entero de píxeles, pudiendo dicho integrador ser accionado para interpolar con el fin de producir los datos de los píxeles correspondientes.

De modo preferente, dichos datos de imagen son captados en una pluralidad de canales de color separados y los defectos resultan generalmente restringidos a un solo canal de color. En dicho caso, el integrador puede ser accionado en cada defecto para utilizar los datos procedentes de cada canal de color completo y rodear los datos de cada canal de color dañado para interpolar cada canal de color dañado.

\newpage

De acuerdo con un segundo aspecto de la presente invención se proporciona un procedimiento de adaptación de los píxeles defectuosos en un sensor de imagen pixelada que comprende fas etapas de:

: la captación de una primera subimagen en una primera posición del sensor, el análisis de dicho sensor para determinar las posiciones de los píxeles defectuosos, y la utilización de dichas posiciones determinadas para calcular el desplazamiento de dicho sensor para reducir al mínimo el número de posiciones defectuosas que se superpongan con dicho desplazamiento del sensor,

: el desplazamiento de dicho sensor,

: la captación de una segunda subimagen de una segunda posición del sensor, y

: la integración de los datos procedentes de los píxeles correspondientes de dicha primera subimagen y dicha segunda subimagen para formar una imagen completa, en el que

: dicho desplazamiento se lleva a cabo alrededor de dos ejes separados (50, 52) que son diagonales respectivas de dicho sensor de manera que un mínimo de píxeles defectuosos se superponga sobre otros píxeles defectuosos para todas las posiciones de captación de la imagen.

\vskip1.000000\baselineskip

De modo preferente, dicha integración comprende la toma de una subimagen y la adición a ella de datos procedentes de otra de dichas subimágenes para cada posición defectuosa de dicha primera subimagen.

De modo preferente, dicha integración comprende la promediación de todos los datos disponibles procedentes de las posiciones de los píxeles no defectuosos de cada subimagen.

De modo preferente, si dicho desplazamiento no es un número entero de posiciones de píxeles, entonces, dicha integración comprende la utilización de la interpolación para proporcionar los datos de los píxeles en una posición no integral.

De modo preferente, los datos de color son recogidos por medio de canales de color separados y en el que los defectos son por color, de manera que al menos un canal de color está completo en una posición defectuosa y al menos un canal de color está incompleto en dicha posición defectuosa, comprendiendo el procedimiento la determinación de los datos de color en dicha posición defectuosa mediante la interpolación de los datos de usuario de dichos canales completos en dicha posición defectuosa junto con los datos de dichos canales incompletos que rodean dicha posición defectuosa.

Para una mejor compresión de la invención y para mostrar cómo la invención puede llevarse a efecto, a continuación se hará referencia, simplemente a modo de ejemplo, a los dibujos que se acompañan.

A continuación, con referencia específica y detallada a los dibujos, debe insistirse en que los pormenores mostrados lo son únicamente a modo de ejemplo y con fines de exposición ilustrativa en las formas de realización preferentes de la presente invención, y se presentan para ofrecer lo que se considera la descripción de los principios y de los aspectos conceptuales de la invención más útiles y más fácilmente comprensibles. En este sentido, no se ha pretendido mostrar detalles estructurales de la invención con mayor detalle del necesario para una comprensión fundamental de la invención, resultando evidente para los expertos en la materia que la descripción, tomada en combinación con los dibujos, es la manera en que las diversas formas de la invención pueden llevarse a la práctica. En los dibujos que se acompañan:

la Fig. 1 es un diagrama simplificado que muestra un sensor con los defectos del tipo que no pueden ser compensados mediante la utilización de medios convencionales, sensor cuyo uso es en la actualidad rechazado,

la Fig. 2 es un a ilustración esquemática simplificada que muestra una imagen tomada con un sensor que presenta defectos del tipo mostrado en la Fig. 1,

la Fig. 3 es una ilustración esquemática simplificada que muestra la imagen de la Fig. 2 tomada por el sensor de la Fig. 1, en el que el sensor de la Fig. 1 ha sido desplazado, desde la posición de captación de la imagen de la Fig. 2 hasta una nueva posición de captación de la imagen, para compensar de esta forma los defectos, de acuerdo con una primera forma de realización de la presente invención,

la Fig. 4 es un diagrama de flujo simplificado que muestra esquemáticamente un esquema para la obtención del desplazamiento para compensar los defectos de acuerdo con una forma de realización preferente de la presente invención,

la Fig. 5 es un diagrama de flujo simplificado que muestra la calibración de la etapa de la Fig. 4,

la Fig. 6 es un diagrama esquemático simplificado que muestra los ejes de desplazamiento de un sensor de acuerdo con una forma de realización preferente de la presente invención,

la Fig. 7 es una vista esquemática simplificada desde arriba de una cámara que muestra el aparato de proyección para el registro entre imágenes desplazadas, de acuerdo con una forma de realización preferente de la presente invención,

la Fig. 8 es una vista esquemática simplificada del aparato mostrado en la Fig. 7 mostrado en una vista lateral,

la Fig. 9 es un diagrama de flujo simplificado que muestra una primera forma de realización del procedimiento de captación de imágenes de la Fig. 4, y

la Fig. 10 es un diagrama de flujo simplificado que muestra una segunda forma de realización del procedimiento de captación de imágenes de la Fig. 4.

\vskip1.000000\baselineskip

Las presentes formas de realización divulgan un procedimiento y un aparato para captar imágenes utilizando un sensor de área completa defectuoso mediante la toma de al menos dos captaciones de imágenes y el desplazamiento del sensor entre las captaciones de las imágenes de manera que la subsecuente superposición de las imágenes conduzca a la cancelación de los defectos.

Más concretamente, la finalidad de las presentes formas de realización consiste en proporcionar unas imágenes de calidad satisfactoria mediante unos sensores que tienen defectos que en la actualidad suponen el rechazo del sensor. Más concretamente, se desea producir imágenes de buena calidad incluso en los casos en los que los sensores tengan defectos de agrupaciones mayores de 2 x 2 y/o defectos de columnas múltiples o de filas múltiples de hasta varias filas y columnas.

Antes de explicar al menos una forma de realización de la invención con detalle, debe entenderse que la invención no está limitada en su aplicación a los detalles de estructura y disposición de los componentes expuestos en la descripción que sigue o ilustrados en los dibujos. La invención es aplicable a otras formas de realización o puede ser puesta en práctica o desarrollada de diversas maneras. Así mismo, debe entenderse que la fraseología y la terminología empleadas en la presente memoria tienen finalidad descriptiva y no deben considerarse como limitativas.

A continuación, se hace referencia a la Fig. 1, la cual es un diagrama simplificado que muestra un sensor de gran área con defecto en él. El sensor de gran área 10 tiene los defectos 12, 14 y 16. El defecto 12 es un defecto de columna. El defecto 14 es un defecto de fila y el defecto 16 es un defecto de agrupamiento. En general, si el sensor 10 es utilizado para captar una imagen, entonces se registrarán datos de la imagen no fiables en las posiciones de píxeles defectuosos.

A continuación se hace referencia a la Fig. 2, la cual muestra una imagen que va a ser captada, la cual se superpone sobre el sensor 10. En la Fig. 2, los píxeles negros 17 se corresponden con las posiciones defectuosas, y habitualmente, no se registran datos de imagen útiles para las posiciones de los píxeles defectuosos, reduciendo sustancialmente la calidad de la imagen.

A continuación se hace referencia a la Fig. 3 la cual ilustra la forma en que puede llevarse a cabo la compensación de las posiciones de los píxeles defectuosos de la Fig. 2, de acuerdo con una forma de realización preferente de la presente invención. En la Fig. 3, la misma imagen es captada por el sensor 10, como se muestra en la Fig. 2, sin embargo, el sensor ha sido desplazado a lo largo de la línea de la flecha 20 de manera que las posiciones de la imagen correspondientes a los píxeles defectuosos de la Fig. 2 ya no se corresponden con los píxeles defectuosos de la Fig. 3, con la excepción de dos puntos de coincidencia fila - columna. Como se expondrá más adelante en la presente memoria, es posible determinar las posiciones defectuosas y, de esta manera, calcular un desplazamiento apropiado para reducir al mínimo las posiciones de los píxeles defectuosos en la imagen final.

A continuación se hace referencia a la Fig. 4, la cual es un diagrama de flujo simplificado que muestra dos etapas en la realización del desplazamiento de la Fig. 3. Una primera etapa 30 es una etapa de calibración, la cual calcula un desplazamiento apropiado del sensor y una segunda etapa 32 es una etapa de captación de imagen la cual utiliza el desplazamiento calculado en un proceso de captación de imágenes. La etapa de calibración se lleva a cabo, de modo preferente, solo una vez por el sensor, dado que los defectos son generalmente defectos de fabricación. La etapa de captación de imágenes se lleva a cabo, de modo preferente, cada vez que el sensor se utiliza para captar una imagen.

A continuación se hace referencia a la Fig. 5, la cual es un diagrama de flujo simplificado que muestra la etapa de calibración 30 con mayor detalle. En la etapa de calibración 30 los defectos son primeramente cartografiados, en una etapa 40. El cartografiado puede efectuarse mediante efectos visuales. Como alternativa, el cartografiado puede llevarse a cabo mediante el análisis de una imagen de prueba efectuada utilizando el sensor sobre un área iluminada de manera uniforme. Sobre la base del cartografiado, en la etapa 42, se selecciona una primera posición de desplazamiento y una distancia con la propiedad de que ningún punto de la escena cae por debajo de un defecto en dos instantáneas, si la segunda instantánea está desplazada con respecto a la primera, excepción mencionada anteriormente con respecto a defectos coincidentes en filas y columnas donde determinados puntos de las filas de una imagen se cartografían sobre puntos de columnas de la otra imagen. La superposición de los defectos de este tipo se resuelve de modo preferente mediante el cálculo de un tercer desplazamiento. En general, dos o tres posiciones de desplazamiento son suficientes pero se prevén cuatro o más posiciones de desplazamiento para situaciones de defectos graves.

La selección de las distancias y de las direcciones de desplazamiento puede efectuarse, por ejemplo, mediante simple enumeración y comprobación, y etapa 44, de direcciones diagonales posibles desde un píxel hacia abajo y un píxel transversal, hasta, digamos 50 píxeles hacia abajo y 50 píxeles transversales. Dicha extensión proporciona un total de 50 x 50 = 2500 posibilidades de prueba. Si se prueba cada dirección diagonal del cuadrante entonces se consiguen unas posibilidades de prueba totales de 4 x 2500 = 10000. Debe apreciarse que pueden así mismo emplearse procedimientos de investigación más refinados. De modo preferente, un criterio de prueba utilizado para cada distancia y dirección seleccionadas puede así mismo ser utilizado, etapa 46, para rechazar errores potenciales dentro de la tolerancia física de la disposición de desplazamiento. Por ejemplo, si se ha seleccionado una distancia de N píxeles, ningún defecto de columna debe coincidir sobre el mismo emplazamiento en dos instantáneas cuando las instantáneas son desplazadas mediante un número entre N - T y N + T píxeles, siendo T un umbral apropiado en base a la tolerancia de desplazamiento conocida.

Con respecto a la etapa de calibración, y para que sea posible el subsecuente desplazamiento, es necesario proporcionar una capacidad de accionamiento con el fin de conseguir un rápido y preciso desplazamiento del sensor. Así mismo, es necesario contar con la necesidad de efectuar una determinación precisa de la posición del sensor. A continuación se hace referencia a la Fig. 6, la cual es un diagrama simplificado que muestra un sensor 10 con dos ejes de movimiento 50 y 52 definido a lo largo de sus diagonales. De modo preferente, dos accionadores se disponen para desplazar el sensor a lo largo de sus diagonales en cualquier combinación deseada. El uso de diagonales es preferente dado que los defectos de fila y columna son relativamente habituales y el movimiento diagonal es útil para gestionar el movimiento combinado de filas y columnas.

Más concretamente, el aparato requerido para la utilización de sensores defectuosos comprende una característica funcional para desplazar el sensor 10 o la placa electrónica que contiene el sensor 10 a una distancia determinada en el plano focal trasero, en dirección diagonal. De modo preferente, el aparato comprende dos motores, posibilitando cada uno que el sensor o la placa sean desplazados en una dirección diagonal diferente. Como se mencionó con anterioridad, las diagonales son preferentes en cuanto que esta es la mejor forma de tratar con los defectos de filas y columnas. No se requiere una precisión extrema del desplazamiento, como se mencionó con anterioridad con respecto a la tolerancia física de la posición del desplazamiento. El límite de tolerancia de los accionadores necesita solo que sea el suficiente para asegurar que, después de la etapa de calibración descrita con anterioridad, la instantánea desplazada pueda llevarse a cabo para no situar un defecto por encima de otro.

A continuación se hace referencia a la Fig. 7, la cual es un diagrama de bloques simplificado que muestra un sistema de registro para la alineación del sensor 10 para confirmar los desplazamientos que han sido aplicados para que las imágenes resultantes puedan ser integradas de forma correcta entre sí. El sensor 10 es situado dentro de la cámara 60. La cámara 60 tiene un cuerpo 62 de la cámara y un respaldo 64 de la máquina, y el sensor 10 está situado en el respaldo 64 de la máquina. Dos dispositivos de proyección, de modo preferente los diodos láser 66 y 68, están situados en las inmediaciones del sensor 10 para proyectar luz sobre dos esquinas opuestas en diagonal del sensor. La Figura 8 muestra la misma disposición observada desde el lateral.

En uso, los dos dispositivos de proyección 66 y 68, proyectan una imagen, como por ejemplo un punto láser o un haz de cuchilla sobre el sensor en dos emplazamientos, de modo preferente los dos emplazamientos diagonalmente opuestos referidos con anterioridad. La luz es proyectada y la imagen de calibración es captada justo antes de la toma de cada imagen real. La imagen de calibración registra fielmente el desplazamiento rotativo del sensor entre cada imagen. Existen procedimientos sencillos para computar el desplazamiento y la rotación sobre la base de estas imágenes de calibración. Los procedimientos se relacionan en el trabajo de Lisa Gottesfeld Brown, "Informe sobre Técnicas de Registro de Imágenes" ["A Survey of Image Registration Techniques"], ACM Computing Surveys, 1992, cuyo contenido se incorpora por este medio por referencia.

Las mismas imágenes pueden también ser analizadas y utilizadas para computar el desplazamiento y la rotación.

Volviendo ahora a la Fig. 4, y, en la segunda etapa 32, los resultados de la calibración son utilizados para filmar y procesar imágenes. Para cada fotografía o imagen captada, se toman dos o más instantáneas, donde cada instantánea es desplazada con respecto a la primera utilizando las distancias ofrecidas y las direcciones determinadas en la etapa de calibración.

A continuación se hacer referencia a la Fig. 9, la cual es un diagrama de flujo simplificado de una primera forma de realización preferente del proceso de captación de imágenes. El número de instantáneas requerido par la captación de imágenes, y la forma en que las instantáneas son procesadas se describe a continuación.

En los párrafos que siguen, el término "filmar" se utiliza para indicar la toma de una sola imagen una sola vez en una única posición del sensor. El término "captación de imágenes" se utiliza para describir el proceso completo que implica la toma de múltiples instantáneas en múltiples posiciones del sensor implicadas en la obtención de una imagen compensada defectuosa. En el caso de sensores mosaico, como por ejemplo los que se encuentran en el Leaf Cantare XY, se requiere solo una instantánea para cada emplazamiento no defectuoso de la imagen. Para cada punto de la escena es posible, utilizando el desplazamiento calibrado descrito con anterioridad, asegurar que hay al menos una instantánea en la que cualquier punto determinado no ha caído sobre un defecto. Es fácil apreciar que, para los defectos tipo agrupación, dos instantáneas son suficientes. Sin embargo, si el sensor tiene defectos tanto de columna como de fila, entonces para cada unión de fila - columna generalmente habrá un punto que forme parte de la columna en una posición de desplazamiento y parte de la fila en otro. Estos puntos coincidentes pueden solo ser muestreados de forma adecuada con una tercera instantánea que utilice una dirección y una distancia de desplazamiento diferentes.

Una serie de instantáneas son tomadas en posiciones del sensor desplazadas en las etapas 80, 82 y 84. Típicamente, el número de instantáneas es dos, pero si hay defectos de fila y columna, entonces el número es, de modo preferente tres, de acuerdo con lo expuesto con anterioridad.

En la etapa 86, las imágenes son geométricamente registradas con el fin de que se fundan en una imagen final sin defectos. El registro entre dos instantáneas puede llevarse a cabo mediante el empleo de múltiples formas diversas. Una forma preferente de obtener desplazamientos ha sido ya descrita con respecto a las Figs. 7 y 8 anteriores. En base a los desplazamientos obtenidos de esta o de otra forma, las imágenes son registradas, de modo preferente utilizando desplazamiento de píxeles totales. Así mismo, cuando el desplazamiento afecta a un número total de píxeles, es posible utilizar una interpolación de subpíxeles para obtener valores de datos precisos. En una etapa 88, las instantáneas individuales son normalizadas en mayor medida para compensar las diferencias de la intensidad de la luz entre instantáneas. Un proceso de normalización preferente comporta la normalización de forma multiplicativa de todas las instantáneas para obtener el mismo valor medio en cada canal, donde las medias son tomadas respecto de todos los píxeles de la escena comunes. Para la captación de imágenes en color, el término "canal" se refiere a la captación de imágenes por color.

Como se muestra en la Fig. 9, a continuación se compone una captación de imagen final mediante la selección, en la etapa 90, de una primera instantánea registrada, normalizada, como imagen principal y a continuación, en la etapa 92, la sustitución de muestras de datos a partir de otras instantáneas en emplazamientos que son defectuosos en la imagen principal.

A continuación se hace referencia a la Fig. 10, la cual es un diagrama de flujo simplificado que muestra un procedimiento alternativo de captación de imágenes. Las etapas coincidentes con las de la Fig. 9 se ofrecen con las mismas referencias numerales y no se exponen de nuevo excepto cuando resulten necesarias para la compresión de la presente forma de realización de la invención. Una vez que todas las instantáneas han sido normalizadas en la etapa 88, se constituye una captación de imagen final tomando una media de todas las muestras de píxeles normalizadas válidas disponibles para cada posición final de los píxeles de la imagen.

En el caso de respaldos, como por ejemplo el Leaf Volare, en las cuales se toman tres instantáneas mediante diferentes filtros coloreados, tres veces cuantas sean las instantáneas tomadas para formar la imagen final, esto es, tres en lugar de una para cada localización desplazada. Así, se constituye una imagen separada para cada color en cada emplazamiento del sensor.

Como alternativa, es posible interpolar canales de color que falten sobre la base de canales de color conocidos. La mayoría aunque no todos, los defectos son defectos de un solo color. De esta forma, para tres instantáneas de canal de un solo color, la mayoría de los defectos tienen dos canales completos y un canal que falta, de forma que el canal que falta puede ser interpolado utilizando valores circundantes conocidos en el canal que falta y la información completa en los otros dos canales. Por el contrario, las posibilidades son que defectos de filas y columnas separadas sean de diferentes colores. Por consiguiente, para puntos de unión de filas y columnas a partir de instantáneas desplazadas, las posibilidades son que, de tres, habrá dos canales que falten. En general, sin embargo, dichos puntos de unión son únicamente pequeñas agrupaciones, y esto puede asegurarse poniendo un límite permitido en el número de columnas y filas defectuosas o adyacentes, antes de que el sensor sea rechazado.

En una forma de realización preferente adicional, es posible llevar a cabo una adicional, digamos una cuarta, instantánea en un desplazamiento diagonal adicional del sensor. En la cuarta instantánea es posible añadir un canal extra sin filtro. Como alternativa, puede ser utilizado un cuarto canal coloreado, o puede tomarse una instantánea de repetición, digamos, el canal verde. En general, las uniones de fila/columna a partir de dos instantáneas de acuerdo con lo descrito con anterioridad tienen n - 2 (n menos 2) muestras donde n es el número total de instantáneas. Canales de color adicionales pueden incrementar la información en los emplazamientos defectuosos y reducir la posibilidad de errores de interpolación. Un procedimiento de interpolación apropiado para datos omitidos en un canal de color se describe en el trabajo de R. Kimmel, Desenmosaicado: reconstrucción de imágenes a partir de muestras de CCD en color [Demosaicing: Imagen reconstruction from color CDD simples IEEE Trans. on Image Processing, 8(9): 1221-8, Sept. 1999], cuyo contenido se incorpora en la presente memoria por referencia.

Una ventaja concreta de las formas de realización preferentes es que es posible obtener sensores muy grandes para cámaras multiinstantánea en un volumen de producción eficaz considerablemente incrementado, dado que aumentan la tolerancia a los defectos.

Aunque las formas de realización expuestas se han concentrado en la captación de imágenes por medio de una cámara, debe apreciarse que los principios de la invención se aplican igualmente a otros dispositivos en los cuales la captación de imágenes se efectúa sobre sensores pixelados susceptibles de defectos, incluyendo microscopios, telescopios, videocámaras, dispositivos de infrarrojos, de microondas y de visión nocturna.

Podrá apreciarse que determinados rasgos distintivos de la invención, los cuales, por razones de claridad, se han descrito en el contexto de formas de realización separadas, pueden así mismo disponerse combinados en una sola forma de realización. Al revés, diversos rasgos distintivos de la invención los cuales, por razones de brevedad, se han descrito en el contexto de una sola forma de realización, pueden así mismo disponerse de forma separada o en cualquier subcombinación apropiada.

A menos que se exprese lo contrario, todos los términos técnicos y científicos utilizados en la presente memoria tienen los mismos significados que los habitualmente empleados por la persona experta en la materia a la que pertenece la presente invención. Aunque pueden utilizarse procedimientos similares o equivalentes a los descritos en la presente memoria en la puesta en práctica o en el ensayo de la presente invención, en la presente memoria se describen procedimientos apropiados.

Debe apreciarse por parte de expertos en la materia que la presente invención no está limitada a lo que se ha mostrado y descrito en las líneas anteriores de forma concreta. Por el contrario, el alcance de la presente invención se define por las reivindicaciones adjuntas e incluye tanto combinaciones como subcombinaciones de los distintos rasgos distintivos descritos en las líneas anteriores, así como variantes y modificaciones de ellas las cuales serán sin duda advertidas por las personas expertas en la materia tras la lectura de la descripción precedente.

Claims

```
\global\parskip0.960000\baselineskip
```
1. Aparato para la captación de imágenes por medio de un sensor defectuoso, que comprende:

un sensor de imágenes (10), comprendiendo dicho sensor de imágenes (10) unos píxeles y que puede ser accionado para desplazarse entre al menos una primera posición de captación de imágenes y una segunda posición de captación de imágenes, en el que dicho sensor (10) es sustancialmente cuadrangular y puede ser accionado alrededor de dos ejes separados (50, 52) que son diagonales respectivas de dicho sensor (10), un controlador de la captación de imágenes para controlar dicho sensor (10) para su desplazamiento entre dichas posiciones de captación de imágenes durante una operación de captación de imágenes para tomar de esta forma una subimagen de cada una de dichas posiciones para que las partes de una imagen objeto sean captadas por al menos dos píxeles separados de dicho sensor (10),

un calibrador que puede ser accionado para calibrar dicho aparato mediante la determinación de dichas posiciones de captación de imágenes, de manera que un mínimo de píxeles defectuosos se superponga sobre los píxeles defectuosos para todas las posiciones de dicha captación de imágenes,

un integrador, asociado con dicho sensor (10) para integrar dichas subimágenes en una imagen completa única,

caracterizado porque

dicho calibrador puede ser accionado para llevar a cabo una prueba de defectos (44) sobre dicho sensor (10) para determinar las posiciones de los píxeles defectuosos y, utilizando dichas posiciones determinadas para calcular un desplazamiento de dicho sensor (10) para reducir al mínimo el número de posiciones defectuosas que se superponen con dicho desplazamiento del sensor.
2. El aparato de la reivindicación 1 en el que dicha prueba de defectos (44) comprende un análisis de una imagen de prueba de un área iluminada de manera uniforme captada por dicho sensor (10).
3. El aparato de cualquier reivindicación precedente, que comprende así mismo un dispositivo de registro para registrar una posición de dicho sensor (10).
4. El aparato de la reivindicación 3, en el que dicho dispositivo de registro comprende dos unidades de proyección (66, 68) para proyectar unos haces detectables sobre puntos predeterminados alrededor de dicho sensor (10), para de esta forma permitir la determinación de la posición de dicho sensor (10).
5. El aparato de la reivindicación 4, en el que dicho sensor (10) puede ser accionado para tomar una imagen de dichas unidades de proyección (66, 68) antes de una operación de captación de subimágenes, para posibilitar a partir de éstas que la posición del sensor sea determinada.
6. El aparato de la reivindicación 4, en el que dichas unidades de proyección (66, 68) son diodos emisores de
luz (66, 68).
7. El aparato de cualquier reivindicación precedente, en el que dicho integrador puede ser accionado para tomar una primera subimagen y para insertar sobre las posiciones de píxeles defectuosos de aquella, unos datos de imágenes procedentes de las posiciones de los píxeles correspondientes de las otras subimágenes.
8. El aparato de cualquier reivindicación precedente, en el que dicho integrador puede ser accionado para promediar conjuntamente los datos de las imágenes de las respectivas posiciones de los píxeles no defectuosos de cada subimagen.
9. El aparato de cualquier reivindicación precedente, en el que una distancia entre unas posiciones de captación de imágenes respectivas no es un número entero de píxeles, pudiendo dicho integrador ser accionado para interpolar con el fin de producir los correspondientes datos de los píxeles.
10. El aparato de cualquier reivindicación precedente, siendo dichos datos de imágenes captados en una pluralidad de canales de color separados y estando los defectos genéricamente restringidos a un solo canal de color, en el que dicho integrador puede ser accionado en cada defecto para utilizar los datos procedentes de cada canal de color completo y de los datos que rodean a cada canal de color dañado para interpolar para cada canal de color dañado.
11. Un procedimiento de adaptación de píxeles defectuosos en un sensor de imágenes (10) pixeladas sustancialmente cuadrangular que comprende las etapas de:

la captación (80) de una primera subimagen en una primera posición del sensor,

la probatura (44) de dicho sensor (10) para determinar las posiciones de los píxeles defectuosos, y la utilización de dichas posiciones determinadas para calcular un desplazamiento de dicho sensor (10) para reducir la mínimo el número de posiciones defectuosas que se superponen con dicho desplazamiento del sensor,
```
\global\parskip1.000000\baselineskip
```
el desplazamiento (82) de dicho sensor (10),

la captación (84) de una segunda subimagen en una segunda posición del sensor, y

la integración de los datos procedentes de los píxeles correspondientes de dicha primera subimagen y dicha segunda subimagen para formar una imagen completa, en el que dicho desplazamiento (82) se lleva a cabo alrededor de dos ejes separados (50, 52) que son diagonales respectivas de dicho sensor (10), de manera que un mínimo de píxeles defectuosos se superponga sobre otros píxeles defectuosos para todas las posiciones de captación de imágenes.
12. El procedimiento de la reivindicación 11, en el que dicha integración comprende la toma de una subimagen y la adición a ella de los datos procedentes de otra de dichas subimágenes para cada posición defectuosa en dicha primera subimagen.
13. El procedimiento de la reivindicación 11, en el que dicha integración comprende la promediación de todos los datos disponibles provinentes de las posiciones de los píxeles no defectuosos a partir de cada subimagen.
14. El procedimiento de una cualquiera de las reivindicaciones 11 a 13, en el que, si dicho desplazamiento no es un número completo de posiciones de los píxeles, entonces dicha integración comprende la utilización de una interpolación para proporcionar unos datos de los píxeles en una posición no integral.
15. El procedimiento de una cualquiera de las reivindicaciones 11 a 14, en los que los datos de color son recogidos por medio de canales de color separados y en el que los defectos son por color, de manera que al menos un canal de color está completo en una posición defectuosa y al menos un canal de color está completo en dicha posición defectuosa, y comprendiendo el procedimiento la determinación de los datos de color en dicha posición defectuosa mediante interpolación utilizando los datos de dichos canales completos en dicha posición defectuosa junto con los datos de dichos canales incompletos que rodean dicha posición defectuosa.