ES2599174T3 - Vídeo de rango dinámico alto - Google Patents

Abstract

Un método de obtener datos de imagen usando un sensor de formación de imágenes digitales (200) incluyendo una matriz de elementos de imagen (202) de filas y columnas, incluyendo el método: usar una pluralidad de elementos de imagen en la matriz de elementos de imagen (202) para capturar luz correspondiente a una primera imagen en un primer nivel de exposición; usar la pluralidad de elementos de imagen en la matriz de elementos de imagen (202) para capturar luz correspondiente a una segunda imagen en un segundo nivel de exposición diferente del primer nivel de exposición; convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales; y convertir la luz capturada por la pluralidad de elementos de imagen para la segunda imagen a mediciones digitales, donde elementos de imagen para la segunda imagen son capturados después de capturar los mismos elementos de imagen para la primera imagen; donde además el paso de usar la pluralidad de elementos de imagen en la matriz de elementos de imagen (202) para capturar luz correspondiente a la segunda imagen en el segundo nivel de exposición comienza antes de la terminación del paso de convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales, y caracterizado porque el método incluye: almacenar la primera imagen en un dispositivo de memoria (114); almacenar la segunda imagen en un dispositivo de memoria (114); donde además el paso de convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales se completa sustancialmente antes del inicio del paso de convertir la luz capturada por la pluralidad de elementos de imagen para la segunda imagen a mediciones digitales; y donde además las imágenes primera y segunda son capturadas y almacenadas en el dispositivo de memoria (114) para una pluralidad de cuadros vídeo para crear una primera pista de primeras imágenes y para crear una segunda pista de segundas imágenes, donde se crean imágenes combinadas para la pluralidad de cuadros vídeo.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

V^deo de rango dinamico alto Antecedentes

La presente descripcion se refiere a dispositivos para crear imagenes de rango dinamico mejorado, tal como a partir de imagenes de escenas fijas o en movimiento detectadas con una camara digital.

El rango dinamico de una imagen digital se puede caracterizar como la relacion en intensidad entre los valores medidos de mas brillo y mas oscuridad en la imagen. Asf, una imagen que tiene un rango dinamico amplio representa mas exactamente el amplio rango de niveles de intensidad hallados en escenas reales.

Resumen

Las camaras y las tecnicas digitales convencionales producen de ordinario imagenes de rango dinamico relativamente bajo y proporcionan flexibilidad limitada al controlar el rango dinamico. El rango dinamico puede ser limitado por factores que incluyen el nivel de brillo detectable por cada elemento sensor (por ejemplo, la anchura de bit de cada pixel) y el nivel de exposicion. Por ejemplo, una imagen capturada puede representar exactamente la intensidad de regiones relativamente oscuras de la escena, pero no regiones relativamente brillantes de la misma escena, o viceversa.

US 6.278.490 describe un aparato de captacion de imagenes con control de exposicion al usar un flash electronico. Este documento describe un sistema en que se obtienen exposiciones corta y larga para cada lmea de elementos de imagen mediante exposicion simultanea.

US2003/117386 describe un aparato de formacion de imagenes de estado solido y un metodo para activarlo. Este documento describe la mezcla de dos senales de salida para obtener una imagen con un rango dinamico grande.

Se puede usar diferentes tecnicas para mejorar el rango dinamico de imagenes. Sin embargo, en particular para imagenes en movimiento, las tecnicas existentes son por lo general sumamente complejas, proporcionan una calidad de imagen inferior a la optima, o permiten una flexibilidad creativa limitada. Por ejemplo, algunas tecnicas producen artefactos de movimiento incontrolado, relativamente grandes (por ejemplo, desenfoque u oscilacion). Por estas y otras razones, algunas camaras y sistemas aqrn descritos producen imagenes de rango dinamico mejorado que tambien tienen artefactos de movimiento controlado o reducido. Ademas, segun algunos aspectos, el sistema proporciona una interfaz que permite a los usuarios sintonizar el rango dinamico y/o los artefactos de movimiento para lograr un efecto cinematografico deseado.

La presente descripcion proporciona un metodo de obtener datos de imagen como el definido en las reivindicaciones 1 a 14 y un sistema de formacion de imagenes como el definido en la reivindicacion 15.

Breve descripcion de los dibujos

La figura 1 es un diagrama de bloques que ilustra un sistema ejemplar de formacion de imagenes segun realizaciones aqrn descritas.

La figura 2 es un diagrama de bloques que ilustra una arquitectura de sensor ejemplar capaz de generar multiples exposiciones proximas en el tiempo segun algunas realizaciones.

Las figuras 3A-3D son diagramas de tiempo que representan la operacion de sensores ejemplares que registran multiples exposiciones proximas en el tiempo para multiples cuadros de video registrado segun algunas realizaciones.

La figura 3E es un diagrama de tiempo que representa la operacion de un sensor que opera sin registrar exposiciones proximas en el tiempo.

Las figuras 4A-4C son diagramas de tiempo que representan la operacion de realizaciones de sensores que registran exposiciones proximas en el tiempo para varias filas de un sensor de imagen.

La figura 5 es un diagrama de bloques que ilustra un proceso ejemplar para mezclar pistas de exposiciones proximas en el tiempo que tienen diferentes niveles de exposicion segun algunas realizaciones.

Las figuras 6A-6B ilustran operaciones ejemplares para mezclar pistas de exposiciones proximas en el tiempo que tienen diferentes niveles de exposicion segun algunas realizaciones.

La figura 7 ilustra otro proceso ejemplar para mezclar pistas que tienen diferentes niveles de exposicion segun

5

10

15

20

25

30

35

40

45

50

55

60

65

algunas realizaciones.

La figura 8 ilustra una realizacion de un proceso para mezclar pistas de exposiciones proximas en el tiempo que tienen diferentes niveles de exposicion para controlar artefactos de movimiento.

Descripcion detallada

Segun algunos aspectos, se facilita un sistema de camara que tiene un sensor capaz de capturar y enviar secuencialmente una primera y una segunda imagen o imagenes que tiene(n) diferentes niveles de exposicion. Ademas, el sistema comienza capturando la primera y segunda (o mas) imagenes dentro de un solo penodo de cuadro, proporcionando artefactos de movimiento controlables o reducidos, entre otras ventajas.

Por ejemplo, las imagenes primera y segunda estan proximas en el tiempo una con respecto a otra. Ademas, aunque puede haber cierta separacion en el tiempo entre cuando el sistema captura pfxeles para la primera imagen y captura pfxeles correspondientes para la segunda imagen, las imagenes primera y segunda se pueden denominar, no obstante, “conjuntas” una con otra en el tiempo porque la separacion no da lugar a artefactos visualmente significativos cuando se combinan las imagenes. Para lograr este efecto, los tiempos de exposicion para al menos algunas porciones de las imagenes primera y segunda se solapan uno con otro, en algunas configuraciones. Al registrar imagenes video, algunos sensores aqrn descritos envfan al menos flujos de imagenes primero y segundo proximos en el tiempo (o “conjuntos”) (tambien denominados aqrn “pistas”). Segun aspectos adicionales, los sistemas y metodos aqrn descritos procesan los flujos de imagenes primero y segundo (por ejemplo, en camara o durante el post-procesado) para crear un flujo de salida combinado.

Por ejemplo, para cada cuadro video, el sistema de formacion de imagenes captura exposiciones individuales en una segunda pista (por ejemplo, exposicion relativamente alta) muy poco despues de capturar exposiciones correspondientes en la primera pista (por ejemplo, exposicion relativamente baja). De esta manera, algunas tecnicas aqrn descritas reducen o quitan la posibilidad de separacion visual entre objetos en una pista de imagen que tiene un primer nivel de exposicion en comparacion con los mismos objetos en una pista o pistas de imagen que tiene(n) un nivel de exposicion diferente. De otro modo podnan surgir niveles de separacion visual indeseables entre objetos entre los objetos en la primera imagen y objetos correspondientes en la segunda imagen, debido a movimiento de los objetos en la escena o de la camara, por ejemplo.

Ademas, el sistema adquiere las imagenes individuales del sensor de forma relativamente rapida. Donde el sistema incorpora un obturador rodante, por ejemplo, el penodo de retardo entre iniciar la exposicion para las primeras filas del sensor para una imagen concreta e iniciar la exposicion para las ultimas filas del sensor para la imagen es relativamente corto. Igualmente, el penodo de retardo de entre la lectura de las primeras filas para una imagen y la lectura de las ultimas filas del sensor para la imagen tambien es relativamente corto. De esta manera, el sistema limita la cantidad de artefacto de movimiento (por ejemplo, inestabilidad, inclinacion, deformacion) introducido por el obturador rodante. Esto contrasta con configuraciones donde la cantidad de tiempo que tarda en capturar y leer una exposicion completa consume un penodo de tiempo mas grande.

Ademas, los sistemas aqrn descritos segun algunos aspectos explotan el intervalo mmimo entre las imagenes primera y segunda, limitados artefactos de obturador rodante, y otros aspectos de las tecnicas aqrn descritas para lograr varios efectos creativos deseables. Por ejemplo, el sistema puede mezclar o combinar selectivamente los flujos de imagenes proximos en el tiempo para regular el rango dinamico, el caracter del efecto de movimiento (por ejemplo, la cantidad o la calidad del desenfoque), u otra caractenstica.

En algunos casos, la mezcla de los flujos de imagenes esta adaptada para lograr un efecto de movimiento sustancialmente similar a como el movimiento es percibido por el ojo humano. En algunos casos, la mezcla se ajusta de tal manera que el efecto de desenfoque sea similar al de una camara tradicional. El usuario puede controlar ventajosamente la cantidad o la calidad de la mezcla de flujos de imagenes, proporcionando adicionalmente poder y flexibilidad creativos. Ademas, tales procesos pueden ser parcial o completamente automatizados.

Asf, las tecnicas aqrn descritas proporcionan varios beneficios. En concreto, en el ambito de registrar video en movimiento, algunas realizaciones proporcionan registros que tienen un rango dinamico mejorado, movimiento personalizado u otros efectos visuales, y sus combinaciones.

Aunque las tecnicas aqrn descritas se explican primariamente con respecto a camaras de movimiento digitales que registran video continuo, se entendera que varios aspectos de las invenciones aqrn descritas son compatibles con camaras fijas, asf como camaras digitales fijas y de movimiento (DSMC).

Vision general del sistema

La figura 1 es un diagrama de bloques de un sistema ejemplar 100 que detecta datos opticos y procesa los datos detectados. El sistema 100 puede incluir un dispositivo de formacion de imagenes 101 que puede incluir un modulo optico 110, y un sensor de imagen 112, que puede incluir ademas un generador de exposiciones multiples 113. El

5

10

15

20

25

30

35

40

45

50

55

60

65

dispositivo 101 tambien puede incluir una memoria 114 y un modulo de procesado de imagen 116. A su vez, el modulo de procesado de imagen 116 puede incluir un modulo de mezcla 117 que esta configurado en general para regular el rango dinamico de una imagen o flujo de imagenes de salida. El modulo de mezcla 117 tambien puede estar configurado para regular el efecto de movimiento en el flujo de salida.

El dispositivo de formacion de imagenes 101 puede ser un sistema de camara, por ejemplo, y el modulo optico 110, el sensor de imagen 112, la memoria 114 y el modulo de procesado de imagen 116 o porciones del mismo pueden estar alojados en el alojamiento de camara o ser soportados por el. Ademas, porciones del sistema 100 pueden estar incluidas en un dispositivo separado. Por ejemplo, como se representa, el modulo de mezcla 117 o porciones del mismo en algunas configuraciones residen en un dispositivo informatico separado 102, tal como un ordenador personal u otro.

El modulo optico 110 enfoca una imagen en el sensor de imagen 112. Los sensores 112 pueden incluir, por ejemplo, una serie de dispositivos de acoplamiento de carga (CCD) o celulas de sensor de imagen de Metal Oxido Semiconductor Complementario (CMOS) tal como celulas de sensor de pfxeles activos. Tales sensores de imagen se forman tfpicamente en chips de silicio y pueden contener millones de celulas de sensor de imagen. Cada celula de sensor detecta la luz que llega a su superficie y envfa una senal que corresponde a la intensidad de la luz detectada. La luz detectada es digitalizada despues.

Dado que estos sensores de imagen son sensibles a un amplio espectro de longitudes de onda de luz, se puede disponer una serie de filtros de color sobre la superficie fotosensible de tales sensores. Un tipo de serie de filtros de color es una serie de filtros de color de configuracion Bayer, que pasa selectivamente longitudes de onda roja, azul, o verde a elementos sensores. Sin embargo, la salida de tal sensor es una imagen mosaico. Esta imagen mosaico esta formada por las matrices de solapamiento de pfxeles rojos, verdes y azules. Por lo general, la imagen mosaico es desmosaicada despues, de modo que cada elemento de imagen enga un conjunto completo de datos de imagen en color. Los datos de imagen en color pueden expresarse en el formato de colores RGB o cualquier otro formato de colores.

Algunas de las realizaciones aqrn descritas se describen en el contexto de una videocamara que tiene un solo dispositivo sensor con un filtro de configuracion Bayer. Sin embargo, las realizaciones y las invenciones aqrn descritas tambien pueden aplicarse a camaras que tienen otros tipos de sensores de imagen (por ejemplo, cMy Bayer asf como otras configuraciones no Bayer), otros numeros de sensores de imagen, que operan en diferentes tipos de formato de imagen, y que estan configuradas para imagenes fijas y/o en movimiento. Se ha de entender que las realizaciones aqrn descritas son realizaciones ejemplares, pero no limitadoras, y las invenciones aqrn descritas no se limitan a las realizaciones ejemplares descritas, excepto por el alcance de las reivindicaciones.

El hardware optico 110 puede tener forma de un sistema de lentes que tiene al menos una lente configurada para enfocar una imagen entrante sobre el sensor de imagen 112. Opcionalmente, el hardware optico 110 puede tener forma de un sistema de lentes multiples que proporciona zoom, apertura y enfoque variables. Adicionalmente, el hardware optico 110 puede tener forma de un casquillo de lente soportado por un alojamiento de camara y configurado para recibir una pluralidad de diferentes tipos de sistemas de lentes; por ejemplo, aunque sin limitacion, el hardware optico 110 incluye un casquillo configurado para recibir varios tamanos de sistemas de lentes incluyendo una lente zoom de 50-100 milfmetros (T3), una lente zoom de 50-150 milfmetros (T3), una lente zoom de 18-50 milfmetros (T3), una lente zoom de 18-85 milfmetros (T2,9), una lente de 300 milfmetros (T2,8), una lente de 18 milfmetros (T2,9), una lente de 25 milfmetros (T1,8), una lente de 35 milfmetros (T1,8), una lente de 50 milfmetros (T1,8), una lente de 85 milfmetros (T1,8), una lente de 85 milfmetros (T1,8), una lente de 100 milfmetros (T1,8) y/o cualquier otra lente. En algunas realizaciones, una lente zoom de 50-100 milfmetros (F2,8), una lente zoom de 18-50 milfmetros (F2,8), una lente zoom de 300 milfmetros (F2,8), una lente zoom de 15 milfmetros (F2,8), una lente zoom de 25 milfmetros (F1,9), una lente zoom de 35 milfmetros (F1,9), una lente zoom de 50 milfmetros (F1,9), una lente zoom de 85 milfmetros (F1,9), y/o cualquier otra lente. Como se ha indicado anteriormente, el hardware optico 110 puede estar configurado de tal manera que, a pesar de que la lente este montada en el, las imagenes pueden ser enfocadas sobre una superficie fotosensible del sensor de imagen 112.

El sensor de imagen 112 puede ser cualquier tipo de dispositivo detector de imagen, incluyendo, por ejemplo, aunque sin limitacion, CCD, CMOS, dispositivos CMOS apilados verticalmente tal como el sensor Foveon®, o una matriz de multiples sensores que utilice una prisma para dividir la luz entre los sensores. En algunas realizaciones, el sensor de imagen 112 puede incluir un dispositivo CMOS que tenga aproximadamente 12 millones de fotocelulas. Sin embargo, tambien se puede usar sensores de otro tamano. En algunas configuraciones, la camara 10 puede estar configurada para emitir video a “5k” (por ejemplo, 5120 x 2700), Quad HD (por ejemplo, 3840 x 2160 pfxeles), resolucion “4,5k” (por ejemplo, 4.520 x 2540), “4k” (por ejemplo, 4.096 x 2.540 pfxeles), “2k” (por ejemplo, 2048 x 1152 pfxeles) u otras resoluciones. En el sentido en que se usa aqrn, en los terminos expresados en el formato de xk (tal como 2k y 4k indicados anteriormente), la cantidad “x” se refiere a la resolucion horizontal aproximada. Como tal, resolucion “4k” corresponde a aproximadamente 4000 o mas pfxeles horizontales y “2k” corresponde a aproximadamente 2000 o mas pfxeles.

La camara tambien puede estar configurada para submuestrear y posteriormente procesar la salida del sensor 112

5

10

15

20

25

30

35

40

45

50

55

60

65

para obtener salida v^deo a 2K, 1080p, 720p, o cualquier otra resolucion. Por ejemplo, los datos de imagen del sensor 112 puede ser “puestos en ventanas”, reduciendo por ello el tamano de la imagen de salida y permitiendo velocidades de lectura mas altas. Sin embargo, tambien se puede usar sensores de otro tamano. Adicionalmente, la camara puede estar configurada para sobremuestrear la salida del sensor 112 para obtener salida video a resoluciones mas altas. Ademas, la camara puede estar configurada para capturar y registrar video a 10, 20, 24, 30, 60, y 120 cuadros por segundo, o cualquier otra frecuencia de cuadros. Adicionalmente, las tecnicas de mezcla aqrn descritas son generalmente compatibles con varias resoluciones y frecuencias de cuadros, incluyendo las enumeradas anteriormente.

La memoria 114 puede tener forma de cualquier tipo de almacenamiento digital, tal como, por ejemplo, aunque sin limitacion, discos duros, discos de estado solido, memoria flash, discos opticos, o cualquier otro tipo de dispositivo de memoria. En algunas realizaciones, el tamano de la memoria 114 puede ser suficientemente grande para almacenar datos de imagen procedentes del modulo de compresion correspondientes a al menos aproximadamente 30 minutos de video a una resolucion de 12 megapfxeles, resolucion de color de 12 bits, y a 60 cuadros por segundo. Sin embargo, la memoria 114 puede tener cualquier tamano.

En algunas realizaciones, la memoria 114 puede ir montada fuera de un alojamiento de camara. Ademas, en algunas realizaciones, la memoria puede estar conectada a los otros componentes a traves de puertos de comunicaciones estandar o personalizados, incluyendo, por ejemplo, aunque sin limitacion, Ethernet, USB, USB2, USB3, IEEE 1394 (incluyendo aunque sin limitacion FireWire 400, FireWire 800, FireWire S3200, FireWire S800T, i.LINK, DV), SATA y SCSI. Ademas, en algunas realizaciones, la memoria 114 puede incluir una pluralidad de discos duros, tal como los que operan bajo un protocolo RAID. Sin embargo, se puede usar cualquier tipo de dispositivo de almacenamiento.

El modulo de procesado de imagen 116 puede operar, por ejemplo, en datos almacenados en la memoria 114. Alternativamente, el modulo de procesado de imagen puede operar en datos cuando vienen del sensor de imagen 112, y los datos procesados puede ser almacenados despues en la memoria 114. El modulo de procesado de imagen 116 puede realizar varias operaciones en los datos. Dependiendo de la operacion, el modulo de procesado 116 puede realizar la operacion en los flujos de imagenes primero y segundo individuales, antes de la mezcla, o alternativamente, en el flujo de salida HDR mezclado.

Por ejemplo, el modulo de procesado de imagen 116 puede comprimir los datos procedentes del sensor de imagen, realizar preparacion de datos por precompresion (por ejemplo, preenfasis y/o reduccion de entropfa), formatear los datos comprimidos, y analogos. Se describen ejemplos de tales tecnicas con mas detalle en la Patente de Estados Unidos numero 7.830.967 titulada “VIDEO CAMERA” (la patente '967), que se incorpora por referencia aqrn en su totalidad. En algunos casos, el modulo de procesado de imagen 116 procesa el flujo de imagenes individuales (o el flujo de imagenes combinadas) para sintonizar los flujos de imagenes al espacio perceptual, como se describira con detalle mas adelante con respecto a la figura 8A. Las tecnicas compatibles adicionales incluyen procesos de modificacion de datos verdes y pre-enfasis mostrados y descritos en toda la patente '967 (por ejemplo, con respecto a las figuras 8-11 y las columnas 11-13). En general, algunas realizaciones aqrn descritas son compatibles con y/o son componentes de realizaciones descritas en la patente '967. Asf, algunas o todas las caractensticas aqrn descritas pueden ser usadas o combinadas de otro modo con varias caractensticas descritas en la patente '967, incluyendo caractensticas descritas en la patente '967 que no se explican explfcitamente aqrn.

El sensor 112 puede estar configurado para capturar y enviar secuencialmente al menos flujos de imagenes primero y segundo (o pistas) que tienen diferentes niveles de exposicion. Por ejemplo, el generador de exposiciones multiples 113 puede incluir logica de control de tiempo de diseno especial que controle el sensor 112 para enviar los flujos de imagenes. En algunos casos, el sensor 112 puede enviar mas de dos pistas (por ejemplo, un total de 3, 4, 5, 10 o mas) que tengan varios niveles de exposicion.

Donde hay una cantidad significativa de retardo entre exposiciones o porciones de exposiciones en una primera pista y exposiciones correspondientes o porciones de exposiciones en una segunda pista, pueden surgir artefactos de movimiento indeseables. Por ejemplo, tales artefactos pueden surgir donde un objeto en la escena registrada (por ejemplo, un actor u otro sujeto fotografico) se mueve una distancia visualmente significativa entre el tiempo en que se toma el primer cuadro del flujo de imagenes y el tiempo en que se toma el segundo cuadro del flujo de imagenes. En tales casos, puede surgir separacion visual o “intervalos” entre objetos en una pista en comparacion con el mismo objeto en otra pista. Tales problemas pueden ser diffciles de corregir o controlar en el post-procesado.

Por estas y otras razones, el sensor 112 segun algunos aspectos esta configurado para enviar secuencialmente al menos flujos de imagenes primero y segundo que tienen diferentes niveles de exposicion y que estan proximos en el tiempo uno con respecto a otro. Por ejemplo, el generador de exposiciones multiples 113 puede controlar una matriz de pfxeles y circuitena de salida del sensor 112 para hacer que el sensor 112 envfe flujos de imagenes primero y segundo. Cada flujo de imagenes puede tener multiples cuadros que estan proximos en el tiempo y/o al menos se solapan parcialmente en el tiempo con cuadros correspondientes del otro flujo de imagenes. Por ejemplo, la cantidad de tiempo entre cuando el sistema convierte los datos capturados para elementos de imagen en las imagenes del primer flujo a valores digitales y comienza a exponer los mismos elementos de imagen para imagenes

5

10

15

20

25

30

35

40

45

50

55

60

65

correspondientes en el segundo flujo de imagenes es relativamente corto. Ademas, en algunos casos, el generador de exposiciones multiples 113 captura al menos algunos de los elementos de imagen para las imagenes en el segundo flujo mientras que captura otros elementos de imagen para las imagenes correspondientes en el primer flujo, durante penodos de tiempo de solapamiento. De esta manera, la separacion visual entre objetos en movimiento en el primer flujo de imagenes y los mismos objetos en movimiento en el segundo flujo de imagenes puede ser relativamente insignificante, o de otro modo se puede reducir sustancialmente. El generador de exposiciones multiples 113 puede ser en general un generador de tiempo especializado acoplado al sensor 112, y se describe con mas detalle con respecto a la figura 2.

Dado que puede no haber separacion visual significativa entre objetos en un cuadro en el primer cuadro de pista de imagen y los objetos correspondientes en un cuadro capturado posteriormente en la segunda pista de imagen, tambien se puede decir que las pistas de imagen primera y segunda no tienen “intervalos” una con respecto a otra, o que “se tocan” sustancialmente. Por ejemplo, aunque puede haber cierto retardo sustancialmente entre la captura de elementos de imagen para las primeras imagenes y la captura de elementos de imagen en las segundas imagenes, el retardo puede ser tan pequeno que haya separacion visual de objetos reducida o sustancialmente nula a plena resolucion del sensor, a una o varias resoluciones de escala inferior, o su combinacion. Debido a la naturaleza de proximidad en el tiempo de las pistas, los artefactos de movimiento en la pista de salida combinada se reducen sustancialmente, eliminan o pueden ser controlados de la forma deseada.

De los sensores aqrn descritos se dice que tienen capacidad de “lectura adyacente” o “exposicion conjunta”. Adicionalmente, de las pistas de imagenes se puede decir que son “adyacentes”, “proximas en el tiempo”, “conjuntas” o analogos.

Ademas, como se ha descrito anteriormente, las exposiciones individuales segun algunas realizaciones son capturadas y/o enviadas de manera compacta, haciendo un uso eficiente del penodo de cuadro.

El modulo de mezcla 117 segun algunas realizaciones combina selectivamente las pistas proximas en el tiempo para producir una pista de salida que tiene un efecto visual deseado. Por ejemplo, el flujo de salida video puede tener un rango dinamico mejorado con relacion al rango dinamico de las pistas de imagen primera y segunda individuales. Como ejemplo, el primer flujo de imagenes puede tener un nivel de exposicion relativamente bajo (por ejemplo, corto tiempo de integracion), proporcionando datos utiles en regiones relativamente brillantes de una escena capturada, tal como un detalle resaltado. El segundo flujo de imagenes puede tener un nivel de exposicion relativamente mas alto (por ejemplo, un tiempo de integracion mas largo), proporcionando datos utiles en regiones relativamente mas oscuras de la escena, tal como detalle en las sombras.

Ademas, en algunos casos donde el sensor 112 envfa mas de dos pistas, el modulo de mezcla 117 es capaz de combinar un numero correspondiente de pistas. Donde el modulo de mezcla 117 o porciones del mismo residen en el dispositivo informatico externo 102, el procesado de rango dinamico y/o movimiento se puede hacer en el post- procesado. Adicionalmente, dependiendo de la implementacion, el modulo de mezcla 117 puede operar en datos almacenados en la memoria 114, en datos tal como salen del sensor de imagen 112, o en datos almacenados en el dispositivo informatico externo 102.

Como se ha explicado, el flujo de salida combinado se puede crear en la camara o alternativamente fuera de la camara, durante el post-procesado. En una configuracion, el usuario puede seleccionar creacion en camara o fuera de camara del flujo de salida, a voluntad. Ademas, como se describira con mas detalle mas adelante con respecto a las figuras 5-9, en varias realizaciones el modulo de mezcla 117 puede combinar las pistas proximas en el tiempo segun varios algoritmos. Los algoritmos pueden ser fijos o seleccionables o ajustables por el usuario. Por ejemplo, en una realizacion, los flujos de imagenes se combinan en camara segun un algoritmo fijo. En otra configuracion, el usuario selecciona de entre una variedad de algoritmos, dependiendo del efecto creativo deseado.

Generacion de pistas de imagenes proximas en el tiempo que tienen multiples niveles de exposicion

La figura 2 es un diagrama de bloques que ilustra un sensor de imagen ejemplar 200 capaz de generar exposiciones proximas en el tiempo segun realizaciones aqrn descritas. Con referencia a la figura 2, el sensor de imagen 200 incluye una matriz de pfxeles 202, circuitena de salida 204, y un generador de exposiciones multiples 206. Como se describira con mas detalle, el generador de exposiciones multiples 206 controla en general los varios componentes del sensor 200 para proporcionar exposiciones proximas en el tiempo en el bus de salida 212 del sensor 200 para almacenamiento y procesado adicionales.

El sensor de imagen 200 puede ser similar al sensor de imagen 12 descrito anteriormente con respecto a la figura 1, por ejemplo, y la matriz de pfxeles 202 incluye una pluralidad de pfxeles (por ejemplo, fotocelulas) dispuestos en una matriz incluyendo “M” filas y “N” columnas. Aunque es posible una amplia variedad de valores para “M” y “N”, un sensor ejemplar de “5k” incluye 5.120 filas y 2.700 columnas, un sensor ejemplar Quad HD incluye 3.840 y 2.160 pfxeles, un sensor ejemplar de “4,5k” de resolucion incluye 4.520 filas y 2.540 columnas, un sensor ejemplar de “4k” incluye 4.096 filas y 2.540 columnas, y un sensor ejemplar de “2k” incluye 2.048 y 1.152 columnas.

5

10

15

20

25

30

35

40

45

50

55

60

65

En el ejemplo ilustrado, el sensor 200 esta configurado para enviar una sola fila en un tiempo dado, y el sensor 200 incluye un ejemplo de circuitena de salida 204 que esta configurada para procesar y enviar informacion de imagen para una sola fila. En otra realizacion, tal como donde se usa un sensor de configuracion Bayer, el sensor envfa dos filas a la vez y puede incluir dos casos de la circuitena de salida 204. En otras configuraciones, el sensor 200 envfa otros numeros de filas durante un intervalo de tiempo dado (por ejemplo, 2, 3, 4, 5, 10 o mas filas), y puede incluir un numero correspondiente de ejemplos de la circuitena de salida 204.

Durante la operacion, el generador de exposiciones multiples 206 proporciona informacion de seleccion de fila mediante el bus de entrada 208 a logica de descodificacion de fila (no representada) de la matriz de pfxeles 202. Por cada una de las filas seleccionadas, la matriz de pfxeles 202 proporciona los valores almacenados para los N pfxeles correspondientes a las columnas de la fila seleccionada (o subconjunto de filas) a la circuitena de salida 204.

La circuitena de salida 204 del sensor ejemplar 200 tambien recibe senales de control de tiempo en el bus 210 del generador de exposiciones multiples 206, y esta configurado en general para procesar y digitalizar los valores de pixel analogicos recibidos de la matriz de pfxeles. La circuitena de salida 204 del sensor ejemplar 200 incluye conjuntos de amplificadores de ganancia programable (PGAs) y convertidores analogico a digital (ADCs), aunque se puede usar varios componentes en varias implementaciones. A su vez, la circuitena de salida 204 presenta los valores digitalizados procesados de la fila actualmente seleccionada en el bus de salida 212. Por ejemplo, el sensor 200 puede transmitir los valores a la memoria 114, el modulo de procesado de imagen 116, u otros componentes del sistema de la figura 1 para almacenamiento y procesado. En algunos casos, el sensor pone en memoria intermedia los valores para una o mas filas antes de la transmision en el bus de salida 212.

Como se representa en la figura 2, el generador de exposiciones multiples 206 puede residir fuera del paquete 214. Por ejemplo, el paquete 214 es un paquete de circuitos integrados y la matriz de pfxeles 202 y la circuitena de salida 204 estan formadas en un circuito integrado alojado en el paquete 214. Por otra parte, el generador de exposiciones multiples 206 puede formar una parte de un circuito integrado separado que se aloja en un paquete separado. En otra realizacion, el generador de exposiciones multiples 206 esta incluido en el mismo circuito integrado que los otros componentes, y se aloja en el paquete de sensor 214.

En algunos casos, el generador de exposiciones multiples 206 incluye logica implementada en una matriz de puertas programable in situ (FPGA), aunque el generador de exposiciones multiples 206 se puede implementar de varias formas, y puede incluir hardware, software, circuitena analogica y/o digital, tal como circuitena personalizada, un microprocesador, un circuito integrado espedfico de aplicacion (ASIC), sus combinaciones y analogos.

La figura 3A es un diagrama de tiempo ejemplar 300 que ilustra dos cuadros consecutivos de video para una camara que registra dos pistas de imagenes proximas en el tiempo (tambien denominados flujos de imagenes) segun una realizacion. Se toman dos exposiciones proximas en el tiempo 302, 304 dentro de cada cuadro video, una por cada pista de imagen. Asf, una primera pista de imagen corresponde a las primeras exposiciones 302 tomadas en una serie de cuadros video registrados y una segunda pista de imagen 304 corresponde a segundas exposiciones 304 tomadas en la misma serie de cuadros video.

La camara expone la primera exposicion 302 por cada cuadro durante un primer penodo de integracion 306, y expone la segunda exposicion 304 por cada cuadro durante un segundo penodo de integracion 308. El diagrama de tiempo 300 puede ser representativo de la operacion de los sensores 112, 200 de las figuras 1 y 2, por ejemplo. Ademas, aunque el diagrama representa la operacion de solamente dos cuadros a efectos de ilustracion, se apreciara que la camara puede registrar cualquier numero de cuadros, dependiendo de la longitud del registro.

Como se representa, la camara del ejemplo ilustrado expone las filas 0^M del sensor en forma de solapamiento. De esta manera, la primera fila (o subconjunto de filas) se expone durante un primer penodo de integracion que comienza en el tiempo t0 y que termina en el tiempo t-i. Las filas restantes (o subconjuntos de filas) se exponen en sucesivos intervalos de tiempo de solapamiento, y el primer penodo de integracion para la ultima fila se extiende desde el tiempo t2 al tiempo t3. Este esquema de exposicion general, donde filas sucesivas (o subconjuntos de filas) se exponen en sucesivos intervalos de tiempo de solapamiento, se puede denominar en general una tecnica de “obturador rodante”.

Los elementos de imagen para la segunda exposicion 304 son capturados ventajosamente relativamente poco despues de capturar los mismos elementos de imagen para la primera exposicion 302. Por ejemplo, el retardo entre exposiciones 312 entre el final del primer penodo de exposicion 306 para cada fila (o subconjunto de filas) y el inicio del segundo penodo de exposicion 308 para la misma fila es relativamente mrnimo. Por ejemplo, como se explica con mas detalle con respecto a la figura 4a mas adelante, el retardo entre exposiciones 312 puede depender en un ejemplo del tiempo de reseteo para una o mas filas del sensor. En otros casos, el retardo entre exposiciones 312 puede depender de algun o algunos otros parametros. Con referencia de nuevo al sensor 200 de la figura 2, el generador de exposiciones multiples 206 esta configurado para generar senales de control para operar la matriz de pfxeles 202 y la circuitena de salida 204 para generar las exposiciones proximas en el tiempo 302, 304.

Ademas, el sesgo entre filas para las exposiciones individuales 302, 304 introducido por el obturador rodante es

5

10

15

20

25

30

35

40

45

50

55

60

65

relativamente mmimo. Esto da lugar a un tiempo general mas corto de adquisicion de imagenes, y ayuda a controlar cualesquiera artefactos de movimiento que el obturador rodante pueda introducir de otro modo. Como se explicara mejor con respecto a la figura 4A, el sesgo entre filas y el tiempo de adquisicion de imagen pueden estar relacionados con el tiempo de lectura de una fila (o subconjunto de filas).

Como se representa, el sistema hace ademas un uso eficiente del hardware de sensor y el penodo de cuadro solapando algunas porciones de las exposiciones primera y segunda en el tiempo. Por ejemplo, el sistema comienza a exponer al menos algunas filas (o subconjuntos de filas) para la segunda exposicion 304 antes de que todas las filas hayan sido convertidas y/o lefdas para la primera exposicion 302. Ademas, al menos algunas filas se exponen para la primera exposicion 302 simultaneamente con otras filas para la segunda exposicion 304.

Ademas, en algunas realizaciones el sistema completa sustancialmente la conversion y/o la lectura de las filas de sensor (o subconjuntos de filas) para la primera exposicion 302 antes de comenzar a convertir y/o leer las filas para la segunda exposicion 304. Dedicando la circuitena de conversion y lectura a cada una de las respectivas exposiciones hasta que se completen, el sistema ayuda a mantener un tiempo de adquisicion general compacto para las exposiciones individuales 302, 304. En la realizacion ilustrada, el sistema completa la conversion y/o la lectura del 100 por ciento de las filas de sensor para la primera exposicion 302 antes de comenzar a convertir y/o leer alguna de las filas para la segunda exposicion 304. En otros casos, el sistema completa la conversion y/o la lectura de al menos 80 por ciento, al menos 90 por ciento, al menos 95 por ciento, al menos 96 por ciento, al menos 97 por ciento, al menos 98 por ciento o al menos 99 por ciento de las filas de sensor para la primera exposicion 302 antes de comenzar a convertir y/o leer las filas para la segunda exposicion 304. En otros casos, el sistema completa sustancialmente la conversion y/o la lectura de las filas para la primera exposicion 302 antes de leer alguna de las filas para la segunda exposicion 304, o antes de leer mas de 1 por ciento, mas de 2 por ciento, mas de 3 por ciento, mas de 4 por ciento, mas de 5 por ciento, mas de 10 por ciento, o mas de 20 por ciento de las filas para la segunda exposicion 304, dependiendo de la realizacion. Otros detalles acerca de la especificidad del tiempo de sensor se exponen mas adelante con respecto a las figuras 4A-4C.

Dependiendo de la configuracion particular, la duracion de los varios penodos de tiempo representados en la figura 3A puede variar en gran medida, incluyendo el penodo de cuadro 312, los tiempos de integracion de primera y segunda exposicion 302, 304, el retardo entre exposiciones 312 y el tiempo de sensor inactivo 310. El tiempo de sensor inactivo 310 puede referirse a un penodo donde elementos sensores estan sustancialmente inactivos y no estan expuestos. Por ejemplo, al capturar las exposiciones primera y segunda, el sensor activa electronicamente los elementos de imagen apropiados segun la tecnica de obturador rodante de manera que sean sensibles a la luz incidente y la capturen. En contraposicion, los elementos de pixel apropiados son desactivados electronicamente y por lo tanto no son sensibles a luz incidente durante el penodo de sensor inactivo 310. En otras implementaciones, donde se usa un obturador ffsico, el obturador ffsico se abre/cierra en lugar de la activacion/desactivacion electronica. El penodo de sensor inactivo tambien puede definirse en su lugar como el penodo de tiempo entre t7, cuando se completa la exposicion de la ultima fila en la segunda exposicion 304, al final del penodo de cuadro, inmediatamente antes de que la primera fila en la primera exposicion 302 comience la exposicion para el cuadro siguiente.

Las figuras 3B-3D ilustran diagramas de tiempo para varias configuraciones ejemplares. Para mayor claridad, el retardo entre exposiciones 312 no se representa en las figuras 3B-3D. En una realizacion, la figura 3B ilustra un escenario donde el penodo de cuadro es aproximadamente 41,7 milisegundos (24 fps), el primer tiempo de integracion 306 es aproximadamente 2,6 milisegundos, el segundo tiempo de integracion 308 es aproximadamente 20,8 milisegundos, el retardo entre exposiciones 312 es aproximadamente 15,6 microsegundos, y el tiempo de obturador cerrado es aproximadamente 18,2 milisegundos. El segundo tiempo de integracion 308 es aproximadamente la mitad del penodo de cuadro, y asf corresponde en general a un tiempo de integracion para un sensor que implementa un obturador de 180 grados. En otro caso ejemplar, la figura 3C representa un escenario donde el penodo de cuadro 312 es aproximadamente 41,7 milisegundos (24 fps), el primer tiempo de integracion 306 es aproximadamente 2,6 milisegundos, el segundo tiempo de integracion 308 es aproximadamente 31,6 milisegundos, el retardo entre exposiciones 312 es aproximadamente 15,6 microsegundos, y el tiempo de obturador cerrado 310 es aproximadamente 7,4 milisegundos. En este caso, el segundo tiempo de integracion 308 corresponde a un tiempo de integracion para un sensor que implementa un obturador de 273 grado. En otro ejemplo, la figura 3D ilustra un caso donde el penodo de cuadro 312 es aproximadamente 41,7 milisegundos (24 fps), el primer tiempo de integracion 306 es aproximadamente 0,65 milisegundos, el segundo tiempo de integracion 308 es aproximadamente 5,2 milisegundos, el retardo entre exposiciones 312 es aproximadamente 15,6 microsegundos, y el tiempo de obturador cerrado 310 es aproximadamente 35,75 milisegundos. Aqrn, el segundo tiempo de integracion 308 corresponde a un tiempo de integracion para un obturador de 45 grados.

Para comparacion, la figura 3E ilustra un diagrama de tiempo para otra camara ejemplar que captura multiples exposiciones que tienen diferentes niveles de exposicion. Sin embargo, a diferencia de las realizaciones representadas en las figuras 3A-3D, la camara de la figura 3E captura las exposiciones largas 304 y las exposiciones cortas 306 en diferentes cuadros alternos. Asf, las exposiciones 304 y 306 no estan proximas en el tiempo, y puede haber artefactos de movimiento indeseables significativos. Por ejemplo, puede haber intervalos de separacion visual relativamente grandes entre objetos de escena de imagen en las exposiciones largas 304 en

5

10

15

20

25

30

35

40

45

50

55

60

65

comparacion con objetos de escena de imagen en la exposicion corta 306 en el cuadro siguiente. As^ puede ser diffcil en tales casos combinar las exposiciones corta y larga 304, 306 para crear imagenes de rango dinamico alto con artefactos de movimiento controlados.

La figura 4A representa un diagrama de tiempo 400 que ilustra exposiciones primera y segunda proximas en el tiempo 402, 404 para un cuadro de video registrado. Para claridad, el diagrama de tiempo se representa solamente con respecto a las tres primeras filas R1, R2, R3 (o subconjuntos de filas) de un sensor de imagen. Por ejemplo, el diagrama 400 puede corresponder a una realizacion de una ilustracion mas detallada del tiempo de exposicion para las tres primeras filas del sensor cuya operacion se ilustra en alguna de las figuras 3A-3D. Con referencia a la primera fila R1, antes de que comience la primera exposicion 402, la fila R1 se resetea inicialmente, como indica la flecha vertical etiquetada “RST”.

Despues de transcurrir un penodo de reseteo 410 correspondiente a la cantidad de tiempo que tarda en resetear los pfxeles en la fila R1, las fotocelulas en la fila R1 comienzan a acumular carga durante el primer penodo de integracion 406. Despues del primer penodo de integracion 406, los pfxeles en la primera fila Rl han acumulado carga correspondiente al primer nivel de exposicion. Entonces se inicia un ciclo de lectura para la fila R1, junto con otro ciclo de reseteo, como indica la flecha vertical etiquetada “RO/RST”. Con referencia a la figura 2, al final del penodo de lectura 412, la fila R1 es lefda de la matriz de pfxeles 202 por la circuitena de salida 204, y se dispone en la salida 212 para almacenamiento y/o procesado.

Ademas, una vez que la fila R1 ha completado el segundo ciclo de reseteo, comienza la segunda exposicion 404. Como tal, el retardo entre exposiciones 410 entre las exposiciones primera y segunda en una realizacion depende del tiempo de reseteo 410 para una fila de pfxeles (o subconjunto de filas donde se lee mas de una fila de una vez). Por ejemplo, el retardo entre exposiciones 410 puede corresponder, sustancialmente corresponder, o ser aproximadamente igual al tiempo de reseteo 410 para una fila (o subconjunto de filas). En otros casos, el retardo entre exposiciones 410 es menor o igual a aproximadamente uno, aproximadamente 2, aproximadamente 5, aproximadamente 10, aproximadamente 20, aproximadamente 50 o aproximadamente 100 tiempos de reseteo 410 para una fila (o subconjunto de filas). En otros casos, el retardo entre exposiciones 410 es algun valor entre aproximadamente un tiempo de reseteo 410 para una fila (o subconjunto de filas) y aproximadamente 2, aproximadamente 5, aproximadamente 10, aproximadamente 20, aproximadamente 50 o aproximadamente 100 tiempos de reseteo, dependiendo de la realizacion. Como se describe con mas detalle mas adelante, el tiempo de reseteo 410 puede ser ventajosamente relativamente corto, dando lugar a exposiciones primera y segunda proximas en el tiempo 402, 404.

En otras configuraciones, el retardo entre las exposiciones primera y segunda 402, 404 puede corresponder a varios valores distintos del tiempo de reseteo 410. Por ejemplo, el retardo entre exposiciones 410 puede corresponder, sustancialmente corresponder o depender de otro modo del tiempo de lectura 412, tal como donde el tiempo de lectura es mayor o igual al tiempo de reseteo. En una realizacion, el retardo entre exposiciones 410 es aproximadamente igual al tiempo de lectura 412. En otros casos, dependiendo de la implementacion espedfica, el retardo entre exposiciones 410 es menor o igual a aproximadamente uno, aproximadamente 2, aproximadamente 5, aproximadamente 10, aproximadamente 20, aproximadamente 50 o aproximadamente 100 tiempos de lectura 412 para una fila (o subconjunto de filas). Segun otras realizaciones, el retardo entre exposiciones 410 es algun valor entre aproximadamente un tiempo de lectura 412 para una fila (o subconjunto de filas) y aproximadamente 2, aproximadamente 5, aproximadamente 10, aproximadamente 20, aproximadamente 50 o aproximadamente 100 tiempos de lectura 412. En otros casos, el retardo 410 entre las exposiciones primera y segunda 402, 404 depende tanto del tiempo de lectura como del tiempo de reseteo. Por ejemplo, la operacion de reseteo en una realizacion se inicia solamente despues de la terminacion de la operacion de lectura. En este caso, el retardo entre las exposiciones primera y segunda 402, 404 puede corresponder o corresponder sustancialmente a la suma del tiempo de lectura 412 y el tiempo de reseteo. En tales casos, el retardo entre exposiciones 410 puede ser menor o igual a aproximadamente la suma del tiempo de reseteo 410 y el tiempo de lectura 412 para una fila (o subconjunto de filas), o alternativamente puede ser menor o igual a aproximadamente la suma del tiempo de reseteo 410 y el tiempo de lectura 412, multiplicado por un factor de 2, 5, 10, 20, 50 o 100. En otras realizaciones, el retardo entre exposiciones 410 puede ser algun valor entre aproximadamente la suma del tiempo de reseteo 410 y el tiempo de lectura 412 para una fila (o subconjunto de filas) y aproximadamente la suma del tiempo de reseteo 410 y el tiempo de lectura 412, multiplicado por un factor de 2, 5, 10, 20, 50 o 100.

Como se representa, el sensor inicia una secuencia similar de operaciones para las otras filas R2, R3 ...RM. Sin embargo, como se ha descrito anteriormente, con respecto a la figura 2, el sensor puede estar configurado para enviar solamente una fila (o un subconjunto de dos o mas filas) a la vez. Asf, para cada fila posterior, el generador de exposiciones multiples 206 espera al menos un penodo de lectura 412 antes de iniciar el ciclo de reseteo inicial. Como tal, el tiempo de exposicion para cada fila se escalona en el tiempo con respecto a las otras filas. En el ejemplo ilustrado, cada fila posterior se retarda el penodo de lectura 412 con respecto a la fila precedente. Como tal, cuando se completa un penodo de integracion 402, 404 para una fila particular, la circuitena de salida 204 estara en general inmediatamente disponible. De esta manera, la utilizacion de la circuitena de lectura (por ejemplo, la circuitena de salida 204 de la figura 2) es relativamente alta. Con referencia de nuevo a la figura 2, el generador de exposiciones multiples 206 puede enviar las senales de control apropiadas a la matriz de pfxeles mediante el bus

5

10

15

20

25

30

35

40

45

50

55

208 y a la circuitena de salida 204 mediante el bus 210, iniciando el reseteo y la lectura de las filas R1, R2, R3 ...RM de la manera descrita.

Aunque varios valores son posibles, un sensor ejemplar 200 tiene 2740 filas de pfxeles configuradas para ser lefdas dos filas a la vez, y el tiempo de lectura 412 para las dos filas del sensor ejemplar 200 es aproximadamente 7,4 microsegundos. En este ejemplo, el tiempo de reseteo 410 para resetear un subconjunto de dos filas es aproximadamente 15,6 microsegundos. Asf, el tiempo entre las exposiciones primera y segunda 402, 404 y el tiempo entre los flujos de imagenes proximos en el tiempo es aproximadamente 15,6 microsegundos, o aproximadamente 0,03 por ciento del penodo de cuadro para una frecuencia de cuadros de 24 fps, y aproximadamente 0,05, 0,08, 0,09, y 0,16 por ciento del penodo de cuadro para frecuencias de cuadros de 30, 50, 59,94, y 100 fps, respectivamente. En otra configuracion, por ejemplo, el sensor 200 produce flujos de imagenes primero y segundo que estan temporalmente espaciados no mas de aproximadamente 7 microsegundos. Como tal, por cada cuadro el sensor 200 captura la exposicion subsiguiente 404 (correspondiente al segundo flujo de imagenes) no mas de aproximadamente 7 microsegundos despues de capturar la exposicion precedente 402 para dicho cuadro (correspondiente al primer flujo de imagenes). En otras realizaciones, las exposiciones primera y segunda 402, 404 y los flujos de imagenes correspondientes estan temporalmente espaciados no mas de aproximadamente 4 microsegundos, no mas de aproximadamente 2 microsegundos, o no mas de aproximadamente 1 microsegundo. En otras realizaciones, las exposiciones primera y segunda 402, 404 estan espaciadas no mas de aproximadamente 1 milisegundo, no mas de aproximadamente 100 microsegundos, no mas de aproximadamente 50 microsegundos, no mas de aproximadamente 25 microsegundos, no mas de aproximadamente 20 microsegundos, no mas de aproximadamente 16 microsegundos, no mas de 15,6 microsegundos, no mas de aproximadamente 15 microsegundos, o no mas de aproximadamente 10 microsegundos. Como se ha indicado anteriormente, en algunas realizaciones hay mas de dos exposiciones dentro de cada cuadro. En tales casos, el retardo entre cualesquiera dos exposiciones adyacentes puede corresponder a cualquiera de los valores o rangos de valores enumerados anteriormente. En varias realizaciones, el retardo entre exposiciones es menos de aproximadamente 0,01, 0,02, 0,03, 0,04, 0,05, 0,1, 0,2, 0,5, 1, 2, 5, 10, 20, o 30 por ciento del penodo de cuadro.

Adicionalmente, como se ha mencionado previamente, dado que la adquisicion de cada fila (o subconjunto de filas) esta escalonada en el tiempo de la fila inmediatamente precedente una cantidad relativamente minima, se reducen el sesgo y los artefactos de movimiento resultantes introducidos por el obturador rodante. Por ejemplo, el sesgo de adquisicion entre filas entre el tiempo en que el sistema comienza a adquirir datos de imagen para una fila (o subconjunto de filas) y comienza a adquirir datos de imagen para la fila inmediatamente posterior corresponde al tiempo de lectura 412 para una fila (o subconjunto de filas) en la realizacion ilustrada. Igualmente, un sesgo de lectura entre filas entre el tiempo en que el sistema completa la lectura de datos de imagen adquiridos para una fila (o subconjunto de filas) y completa la lectura de datos de imagen adquiridos para la fila posterior (o subconjunto de filas) corresponde al tiempo de lectura 412 para una fila (o subconjunto de filas). En varias realizaciones, el sesgo de adquisicion entre filas y/o el sesgo de lectura entre filas es aproximadamente igual a un tiempo de lectura 412 para una fila o subconjunto de filas, o es menor o igual a aproximadamente uno, aproximadamente 1,5, aproximadamente 2, aproximadamente 2,5, o aproximadamente 3 tiempos de lectura 412.

Extendiendo el sesgo entre filas a traves de todas las filas para la figura 4A, el sesgo de adquisicion intra-exposicion total a traves de toda la imagen entre el tiempo en que el sistema comienza a adquirir una primera fila (o subconjunto de filas) y comienza a adquirir todas las filas o sustancialmente todas (por ejemplo, al menos 90, 95 o 99 por ciento) las filas viene dado aproximadamente por:

imagen1

(Ec. 1)

Igualmente, el sesgo de lectura intra-exposicion entre el tiempo en que el sistema completa la lectura de una primera fila y completa la lectura de sustancialmente todas las filas puede corresponder a la misma cantidad. Como un ejemplo espedfico, para el sensor de 2740 filas descrito anteriormente, los sesgos de adquisicion y lectura intra- exposicion son iguales a aproximadamente 10,1 milisegundos ((2740/2-1)*7,4 microsegundos).

Ademas, el tiempo de adquisicion para una exposicion completa, entre el tiempo en que el sistema comienza a adquirir una primera de las filas (o subconjuntos de filas) y completa la lectura de sustancialmente todas las filas para la exposicion viene dado aproximadamente por:

exposure _ time+[(M -1) * read _ out _ time].

(Ec. 2)

En otras realizaciones compatibles, el tiempo de adquisicion de imagen es menor o igual a uno de los siguientes:

5

10

15

20

25

30

35

40

45

50

imagen2

exposure _ time + [(M -1) * 1,5 * read _out_ time],

imagen3

exposure_time+[{M -1) * 2.5* read_out _ time], o exp osure _ time+[(M -1) * 3 * read _ out _ time].

(Ec. 3)

(Ec. 4) (Ec. 5)

(Ec. 6) (Ec. 7)

Los sistemas en cada uno de los ejemplos espedficos antes descritos registran una primera exposicion relativamente inferior (por ejemplo, exposicion corta) seguida de una segunda exposicion relativamente mas alta (por ejemplo, exposicion larga) por cada cuadro. Sin embargo, el numero y el orden de las exposiciones entre cuadros puede variar, y se puede personalizar a voluntad. Por ejemplo, en un ejemplo, cada cuadro incluye una pista larga seguida de una pista corta. Adicionalmente, el dispositivo puede estar configurado para capturar mas de dos exposiciones por cuadro, tal como 3, 4, 5, 10 o mas exposiciones. Como unos pocos ejemplos ilustrativos, son posibles las configuraciones de captura siguientes incluyendo mas de dos exposiciones por cuadro: (1) larga, corta, larga; (2) corta, larga, corta; (3) corta, corta+x, corta+x*2, ..., corta+x*k; (4) larga, larga-x, larga-x*2, ..., larga-x*k; (4) corta, media, larga; (5) larga, media, corta; (6) media, larga, corta.

Los diagramas 300, 400 de las figuras 3A-3D y 4A corresponden a configuraciones en las que el sensor envfa las exposiciones en el mismo orden para cada fila. Por ejemplo, con referencia a la figura 4, cada una de las filas R1 ... RN envfa la exposicion corta 402 seguida de la exposicion larga 404 por cada cuadro. Sin embargo, en algunos casos, el generador de exposiciones multiples 206 esta configurado para hacer que el sensor 200 envfe las exposiciones primera y segunda en un orden diferente dependiendo de la fila, proporcionando una mayor flexibilidad creativa.

La figura 4B representa tal ejemplo, donde el orden de las exposiciones corta y larga 402, 404 alterna de una fila a otra (o de un subconjunto de filas a otro). Consiguientemente, la primera fila R1 envfa la exposicion corta 402 seguida de la exposicion larga 404, la segunda fila R2 envfa la exposicion larga 404 seguida de la exposicion corta, la tercera fila envfa la exposicion corta 402 seguida de la exposicion larga 404, y asf sucesivamente. En otra realizacion similar, uno o varios tiempos de integracion para la exposicion corta y la exposicion larga para las filas impares son diferentes de la exposicion corta y la exposicion larga para las filas pares.

En otros casos, una o varias filas capturan solamente una sola exposicion por cuadro, mientras que las filas restantes capturan multiples exposiciones. Por ejemplo, la figura 4C representa el caso donde las filas impares envfan una sola exposicion larga 402 por cuadro, mientras que las filas pares envfan tres exposiciones proximas en el tiempo (por ejemplo, corta, media, corta) 404, 406, 408 por cuadro. Asi, se puede apreciar que hay una amplia variedad de posibilidades para crear exposiciones proximas en el tiempo.

A efectos de claridad, los terminos “corta” y “larga” se usan aqrn para distinguir diferentes exposiciones, tal como donde una exposicion tiene un tiempo de integracion relativamente mas corto que otra(s) exposicion(es), o una velocidad de obturador que es asf relativamente mas larga que la(s) otra(s) exposicion(es). Sin embargo, las tecnicas antes descritas son compatibles con realizaciones donde se manipulan otros parametros en lugar de, o ademas de, el tiempo de integracion, y que afectan al grado de exposicion. Tales parametros pueden incluir ganancia (por ejemplo, ganancia analogica), apertura e ISO, por ejemplo. Asi, dependiendo de la realizacion, donde las exposiciones se denominan “cortas” o “largas” se apreciara que se pueden denominar realmente mas exactamente “bajas” o “altas”. En el sentido en que se usa aqrn, los terminos “tiempo de reseteo de elemento de imagen” y “tiempo de lectura de elemento de imagen” pueden referirse a uno o varios de la cantidad de tiempo que tarda en leer una fila de elementos de imagen (por ejemplo, pfxeles), un subconjunto de mas de una fila de elementos de imagen, un solo elemento de imagen, o algun otro agrupamiento no fila de elementos de pixel, tal como una o varias columnas de elementos de imagen. En algunos casos, tal como donde multiples elementos de pixel son lefdos en paralelo, por ejemplo, el tiempo de lectura para un grupo concreto (por ejemplo, fila o subconjunto de filas de elementos de pixel) corresponde a la misma cantidad de tiempo que el de un solo elemento de imagen.

5

10

15

20

25

30

35

40

45

50

55

60

65

Generar pistas de imaaenes proximas en el tiempo que tienen multiples niveles de exposicion

La figura 5 es un diagrama de flujo que ilustra un proceso ejemplar 500 para crear una pista de salida mezclada a partir de multiples pistas de cuadros de exposicion proximos en el tiempo. Como se describira, segun el proceso 500 y otras tecnicas aqu descritas, el modulo de mezcla 117 recibe en general y procesa pistas de cuadros de exposicion proximos en el tiempo. El modulo de mezcla 117 puede recibir y/o procesar las pistas en base de cuadro a cuadro, o puede operar en cualquier porcion de las pistas (por ejemplo, 5, 10, 100, 1000 o mas cuadros, o todas las pistas) en cualquier tiempo dado.

En el bloque 502, el modulo de mezcla 117 recibe multiples pistas (o porciones de ellas) de cuadros video que tienen exposiciones proximas en el tiempo (por ejemplo, espaciadas no mas de aproximadamente 20, 16, 7, 4, o 2 microsegundos). El modulo de mezcla 117 puede recibir las pistas de varias formas. Como un ejemplo, el modulo de mezcla 117 reside en software que se ejecuta en un dispositivo informatico externo. La camara 100 registra las pistas de exposicion proximas en el tiempo en el dispositivo de memoria 114 y las pistas son transferidas desde el dispositivo de memoria 114 al dispositivo informatico externo, que envfa las pistas registradas al modulo de mezcla 117 para procesado. Como otro ejemplo, el modulo de mezcla 117 reside en software o hardware en la camara 100 y recibe las pistas registradas directamente del dispositivo de memoria 114 o el sensor 112.

En el bloque 504, el modulo de mezcla 117 procesa las exposiciones recibidas segun el algoritmo deseado (por ejemplo, fijo o seleccionable por el usuario). El modulo de mezcla 117 puede mezclar conjuntamente las pistas primera y segunda segun el algoritmo, generando la pista de salida en base a las pistas primera y segunda (o mas). Algunas tecnicas de mezcla ejemplares se muestran y describen con respecto a las figuras 6A-9.

En el bloque 506, el modulo de mezcla 117 proporciona la pista de salida mezclada. Por ejemplo, donde el modulo de mezcla 117 reside en camara, puede proporcionar el cuadro de flujo de imagen de salida a la memoria 114 para almacenamiento. Alternativamente, la camara puede dirigir la pista de imagen mezclada al dispositivo informatico 102 para procesado y/o almacenamiento externos. Donde el modulo de mezcla 117 opera solamente en un cuadro u otra porcion de cada pista a la vez, el proceso 500 puede volver entonces al bloque 502, donde el modulo de mezcla 117 recibe las exposiciones primera y segunda para el cuadro siguiente o grupo de cuadros en la pista respectiva.

Las figuras 6A-6B ilustran operaciones de mezcla ejemplares. Por ejemplo, el modulo de mezcla 117 puede ser capaz de implementar las tecnicas de mezcla representadas en las figuras 6A-6B. En general, usando estas y otras tecnicas de mezcla, el modulo de mezcla 117 es capaz de proporcionar una pista de salida que incorpora contenido deseado de las respectivas imagenes al mismo tiempo que desecha contenido de imagen no deseado. El contenido de imagen desechado puede incluir porciones con ruido de una o varias pistas, asf como otras porciones que no son necesarias para proporcionar el efecto estetico deseado. Ademas, en algunos casos el usuario puede seleccionar que contenido incluir en la pista de salida, proporcionando mayor flexibilidad creativa.

Con referencia a la figura 6A, la operacion de mezcla 600 representa un escenario en el que la camara captura exposiciones proximas en el tiempo primera (por ejemplo, larga) 604 y segunda (por ejemplo, corta) 606, respectivamente, por cada cuadro video. La anchura de las barras que representan las exposiciones largas y cortas 604, 606 corresponde en general al rango dinamico del sensor, que, a su vez, puede corresponder al rango de posibles valores de pixel para el sensor 112 (por ejemplo, de 0 a 1023 para un sensor de 10 bits, de 0 a 4095 para un sensor de 12 bits, de 0 a 65.535 para un sensor de 16 bits, etc). La figura 6A corresponde a una configuracion en la que la pista de salida tiene una profundidad de bit expandida en comparacion con el sensor 112, y tiene un rango dinamico mejorado en comparacion con cualquiera de las pistas individuales 604, 606 debido a la inclusion selectiva de contenido de las dos pistas 604, 606.

Como se representa, con respecto a cada una de las exposiciones corta y larga 604, 606 un cierto numero de valores capturados seran relativamente ruidosos, teniendo una relacion de senal a ruido (SNR) relativamente mas baja. Por ejemplo, la SNR es relativamente baja para valores de pixel mas bajos y aumenta gradualmente cuando los valores de pixel medidos aumentan. Ademas, la escena sujeto puede incluir claros en algunas regiones mas brillantes. Como se ha indicado, la exposicion corta 606 puede capturar una porcion significativa de los claros a causa del tiempo de integracion mas corto, reduciendo la posibilidad de que los claros sean eliminados. Por otra parte, como se ilustra, la exposicion larga 604 en algunos casos no captura mucho detalle resaltado debido al tiempo de integracion relativamente mas largo, lo que puede dar lugar a eliminacion.

La escena tambien puede incluir regiones mas oscuras incluyendo sombras, que a menudo pueden estar yuxtapuestas con regiones mas brillantes. Como se representa, la exposicion larga 604 puede capturar relativamente mas detalle en estas regiones debido al tiempo de integracion largo. A la inversa, la exposicion corta 606 puede capturar menos detalle en estas regiones debido al tiempo de integracion mas corto.

Ademas, como se representa, las exposiciones corta y larga 604, 606 tambien pueden incluir contenido que corresponde a porciones “normales” de la escena de imagen. Estas porciones puede no ser especialmente oscuras o brillantes, por ejemplo, y pueden tener un nivel de brillo generalmente normal o medio. Las etiquetas usadas con respecto a las figuras 6A-6B (“sombras”, “normal”, “claros”) se usan solamente a los efectos de ilustrar los conceptos

5

10

15

20

25

30

35

40

45

50

55

60

65

de mezcla, y no son limitativos. Por ejemplo, se apreciara que la exposicion mas corta puede capturar en algunos casos cierta cantidad de contenido de sombra de la escena de imagen. Igualmente, la exposicion mas larga en algunos casos registrara algun detalle resaltado.

En el ejemplo ilustrado, el modulo de mezcla 117 corresponde a los niveles de luz entre las dos exposiciones 604, 606. Por ejemplo, el modulo de mezcla 117 puede desplazar las exposiciones una con respecto a otra N bits (por ejemplo, 1, 2, 4, 8, o mas bits) antes de la mezcla, o realizar alguna otra operacion matematica en una o varias exposiciones. En el ejemplo ilustrado, la exposicion corta 606 se ha desplazado hacia arriba N bits, y por lo tanto se ha multiplicado por un factor de 2N En tales casos, la exposicion larga 604 puede estar mas expuesta que la exposicion corta 606 un factor de 2N Como tal, despues del desplazamiento, los niveles de luz entre las dos exposiciones 604, 606 para regiones de escena de imagen correspondientes concuerdan mas estrechamente. Ademas, como se representa, el contenido mas ruidoso en la exposicion corta 606 se desecha en algunos casos.

Son posibles otros varios procesos para ajustar las exposiciones 604, 606 una con respecto a otra antes de la mezcla. Por ejemplo, en algunos casos, la exposicion larga 604 se desplaza o ajusta de otro modo en lugar de la exposicion mas corta 606. En un ejemplo, la exposicion larga 604 se desplaza hacia abajo N bits en lugar de desplazar la exposicion mas corta 606 hacia arriba N bits. La figura 3B, explicada mas adelante, representa tal realizacion. En otras realizaciones se desplazan ambas exposiciones 604, 606. Por ejemplo, las exposiciones 604, 606 pueden ser desplazadas en direcciones iguales y opuestas. En otros casos, el sistema desplaza las exposiciones 604, 606 en direcciones opuestas pero valores diferentes. Por ejemplo, donde la primera exposicion 604 se expone un factor de 2N superior a la segunda exposicion 606, y donde N = X+Y, la primera exposicion 604 puede ser desplazada hacia abajo X bits, y la segunda exposicion puede ser desplazada hacia arriba Y bits. Otras varias realizaciones son posibles. Por ejemplo, en lugar de multiplicar o dividir los valores de pixel para las exposiciones 604, 606, se puede usar una resta, suma u otra operacion apropiada.

Despues de la correspondencia de los niveles de luz, el modulo de mezcla mezcla conjuntamente las exposiciones 604, 606. Tres algoritmos de mezcla (i)-(iv) se muestran a efectos de ilustracion.

Con referencia al primer algoritmo (i), en una realizacion, el modulo de mezcla 117 selecciona el contenido de imagen de la exposicion larga 604 que corresponde al segmento de lmea A-B para inclusion en la pista de salida. En un ejemplo, el sensor es un sensor de 12 bits, la exposicion corta se desplaza hacia arriba 2 bits, y el segmento de lmea A-B corresponde a valores de pixel de entre 0 y 2048. El modulo de mezcla 117 usa los valores medidos de exposicion larga como una referencia para determinar que valores de pixel incluir en la pista de salida mezclado. Por ejemplo, el modulo de mezcla 117 determina que pfxeles medidos en la exposicion larga 604 tienen valores de 0 a 2048, e incorpora dichos valores de pixel a los pfxeles correspondientes en la imagen de salida mezclada. Los valores de la exposicion larga 604 son incorporados de forma sustancialmente directa, no modificados, a la pista de salida mientras que, en algunas configuraciones alternativas, el modulo de mezcla 117 realiza alguna operacion matematica en los valores antes de la incorporacion, tal como un escalamiento, desplazamiento o redondeo.

Los graficos 608, 610 mostrados con respecto a las exposiciones corta y larga 604, 606, respectivamente, indican el porcentaje de cada pista incluido en la pista de salida segun el algoritmo de mezcla (i). Por ejemplo, para valores de pixel entre los puntos A y B, 100% de la pista de salida esta compuesto por el contenido de la exposicion larga 604.

El modulo de mezcla 117 puede usar alternativamente la exposicion corta 606 como referencia para determinar que valores de pixel medidos de la exposicion larga 604 incluir en la pista de salida para la porcion A-B. En el ejemplo caso, por ejemplo, el modulo de mezcla 117 determina que pfxeles en la exposicion corta 606 tienen valores medidos de entre 0 y 2048, y selecciona los valores medidos para los pfxeles correspondientes en la exposicion larga 604 a incluir en la pista de salida. En otros casos, el modulo de mezcla 117 usa otros tipos de referencias. Por ejemplo, el modulo de mezcla 117 puede calcular alguna combinacion (por ejemplo, una media) de los valores medidos para la exposicion larga y corta 606, 604 para cada pixel, y usar el valor calculado como una referencia para determinar que pfxeles de la exposicion larga 604 incluir en la pista de salida. Igualmente, aunque se describe que las operaciones de mezcla restantes (por ejemplo, las de a lo largo de las lmeas B-C, CD, y las de los otros esquemas de mezcla ejemplares (ii)-(iv)) usan la exposicion larga 604 como una referencia, en dichos casos tambien se puede emplear la exposicion corta 606, alguna combinacion de la exposicion larga y corta 606, 604, o algun otro tipo de referencia.

Dicho contenido de imagen procedente de la exposicion larga 604 a lo largo del segmento de lmea A-B puede incluir detalle relativamente bueno en las sombras. En algunos otros casos, el modulo de mezcla 117 mezcla conjuntamente las exposiciones corta y larga 604, 606 en cierto grado con respecto a valores a lo largo de la lmea A-B. La cantidad de mezcla puede ser relativamente constante, independientemente de los valores de pixel introducidos. Ademas, la mezcla se puede desviar en favor de una de las pistas, por ejemplo, la pista larga 604. Por ejemplo, el modulo de mezcla 117 puede realizar una media ponderada de valores introducidos de la pista larga 604 y la pista corta 606, donde la pista larga tiene una ponderacion mas alta que la pista corta 606. En algunos casos, el grado de desviacion o ponderacion es controlable por un usuario, o se regula automaticamente dependiendo del modo de operacion concreto. El algoritmo de mezcla (iv) descrito mas adelante muestra un ejemplo donde se usan medias ponderadas para generar parte del contenido de imagen en la pista de salida mezclada.

5

10

15

20

25

30

35

40

45

50

55

Con referencia todav^a al algoritmo (i), la porcion siguiente de la pista de salida corresponde a una combinacion del contenido de imagen de ambas exposiciones corta y larga 604, 606 a lo largo de la lmea inclinada B-C. Ademas, el grado en el que las respectivas exposiciones 604, 606 se incluyen en la exposicion de salida vana en base a los valores introducidos medidos. Esto puede contrastar con las porciones de la imagen de salida correspondiente a los segmentos de lmea A-B y C-D (explicados mas adelante). Por ejemplo, con respecto a los segmentos A-B y C-D, se seleccionan pfxeles de solamente una pista para inclusion en la pista de salida, o la cantidad de mezcla es generalmente constante (por ejemplo, media ponderada), e independiente de los valores introducidos medidos.

Varias operaciones son posibles para la mezcla de las exposiciones 604, 606 con respecto al segmento B-C. Por ejemplo, en algunas realizaciones, la cantidad de la pista larga 604 incluida en la pista de salida es mayor en el punto B. A la inversa, la cantidad de la pista corta 606 usada en la operacion de mezcla es menos en el punto B. Ademas, para incrementar los valores de pixel x entre B y C, la cantidad de la pista larga 604 incluida en la pista de salida disminuye gradualmente. A la inversa, la cantidad de la segunda pista 606 incluida en la pista de salida aumenta, llegando a un maximo en el punto C. Esto se ilustra en el grafico 608, que representa que el porcentaje de la exposicion larga 604 en la pista de salida disminuye linealmente de 100 por ciento a 0 por ciento para valores de pixel crecientes B a C. A la inversa, el grafico 610 representa el porcentaje de la exposicion corta 606 en la pista de salida incrementando linealmente de 0 por ciento a 100 por ciento de B a C. En un caso ejemplar, el sensor es un sensor de 12 bits, la exposicion corta 606 se ha desplazado hacia arriba 2 bits, B corresponde a un valor de pixel de 2048, y C corresponde a un valor de pixel de 4094. Tomando como ejemplo un punto a mitad de camino entre B y C correspondiente a un valor de pixel de 3071, el modulo de mezcla 117 determina que pfxeles en la exposicion larga 604 (la referencia exposicion) tienen un valor de 3071. Dado que el punto esta a mitad de camino entre B y C, el modulo de mezcla 117 calcula los valores para pfxeles correspondientes en la pista de salida segun la ecuacion siguiente:

imagen4

(Ec. 8)

Se usa una interpolacion lineal para la porcion B-C en algunos casos, y en un caso el interpolante viene dado por:

(Ec. 9)

donde x corresponde a valores de pixel introducidos medidos entre B y C, de tal manera que B < x < C, por ejemplo. A su vez, el interpolante puede ser usado para calcular el valor de pixel de salida interpolado para cada valor de x. Por ejemplo, los valores de salida de pixel se pueden calcular segun la ecuacion siguiente:

out _ pixel _val = y* long _ pixel _ val + (1 - _y) * short _ pixel _ val

(Ec. 10)

Se puede usar otros tipos de mezcla para valores de pixel correspondientes al segmento de lmea B-C. En algunos casos, y a diferencia de la tecnica de interpolacion lineal, la cantidad de las respectivas exposiciones 604, 606 incluida en la exposicion mezclada puede no depender de los valores introducidos. Por ejemplo, para esta porcion de la pista de salida, el modulo de mezcla 117 puede calcular una media del contenido de imagen a partir de la exposicion larga 604 y el contenido de imagen de la exposicion corta 606, e incluir la media en la pista de salida. Se pueden usar otras varias operaciones en lugar de una media, incluyendo, sin limitacion, una suma, diferencia, media ponderada, o analogos. El algoritmo de mezcla (iii) descrito mas adelante incorpora una funcion de mezcla curvada.

En una realizacion, el modulo de mezcla 117 selecciona el contenido de imagen de la exposicion corta 606 correspondiente a la lmea C-D para completar la pista de salida, y no mezcla las exposiciones para esta porcion de la pista de salida. Por ejemplo, con referencia al ejemplo del sensor de 12 bits, el punto C puede corresponder a un valor de pixel de 4095, que corresponde a un valor saturado para la exposicion larga 604. Por lo tanto, el modulo de mezcla 117 puede determinar que pfxeles en la exposicion larga 604 tienen un valor saturado de 4095 e incorporar a la imagen de salida los valores de los pfxeles correspondientes en la exposicion corta 606. Como se ha indicado, el contenido de imagen a lo largo de la lmea C-D incluye detalle resaltado relativamente bueno. En otros casos, se puede usar algun grado de mezcla para la porcion de la pista de salida correspondiente al segmento C-D. Por ejemplo, para la porcion C-D, el modulo de mezcla 117 puede realizar una media ponderada u otra operacion que sea similar a las descritas anteriormente con respecto al segmento A-B. Sin embargo, la media ponderada puede ser sesgada en favor de la pista corta 606 en lugar de la pista larga 604 para la porcion C-D, a diferencia de con respecto a la porcion A-B. El algoritmo (iv) descrito mas adelante incorpora una funcion de mezcla a lo largo de estas lmeas.

imagen5

5

10

15

20

25

30

35

40

45

50

55

60

65

As^ segun tales tecnicas de mezcla, el modulo de mezcla 117 usa la exposicion corta 606 para conservar los claros en la pista de salida resultante, corrigiendo cualquier posible perdida de detalle resaltado. Por lo tanto, la pista formada por los cuadros de exposicion corta se puede denominar una “pista de proteccion de claro” o “pista de correccion de claro”, por ejemplo.

Como indican las flechas, uno o varios puntos A, B, C y D pueden ser ajustados para ajustar el perfil de mezcla. Esto puede afectar en gran medida tanto al rango dinamico como a la caractenstica de movimiento de la pista de salida resultante. Por ejemplo, las longitudes de los segmentos A-B y C-D pueden alterar de forma significativa el rango dinamico de la imagen. Ademas, el efecto de movimiento se puede sintonizar ajustando la longitud del segmento B-C o la operacion de mezcla concreta (por ejemplo, interpolacion lineal, media ponderada, etc) que se use en esta porcion. Se describen operaciones espedficas de control de movimiento con mas detalle mas adelante con respecto a la figura 8.

El algoritmo de mezcla (ii) es similar al algoritmo de mezcla (i), a excepcion de que, como indica el segmento de lmea mas corto B-C, el modulo de mezcla 117 mezcla conjuntamente las exposiciones corta y larga 604, 606 en una porcion mucho menor de la pista de salida. Ademas, como indica el segmento de lmea relativamente largo A-B, se incluye una porcion mayor de la pista larga 604 directamente en la pista de salida en comparacion con el algoritmo (i).

Como muestran los graficos 608, 610 para el algoritmo (iii), un modulo de mezcla 117 que implementa el algoritmo (iii) aplica una curva a los valores introducidos medidos para generar la pista de salida. Aunque son posibles varias curvas diferentes, el modulo de mezcla 117 en el ejemplo ilustrado aplica una curva “S” sobre la porcion de la pista de salida correspondiente a los valores de pixel entre los puntos B y C. La curva puede ser una curva sigmoide, o algun otro tipo de curva. Como en los ejemplos anteriores, se puede ajustar uno o varios puntos A, B, C, y D para cambiar la longitud de los varios segmentos y el perfil de mezcla correspondiente. En un ejemplo, la curva se aplica sobre toda la pista de salida.

Puede haber adicionalmente mas de tres porciones (A-B, B-C, C-D) de la pista de salida que tienen perfiles de mezcla discretos. El algoritmo (iv) muestra ese caso donde hay perfiles de mezcla separados para cinco porciones diferentes de la pista de salida: (1) A-B - incorporacion directa de la pista larga 604; (2) B-C - media ponderada, donde la pista larga 604 es ponderada como de mas peso que la pista corta 606; (3) C-D - interpolacion lineal entre la pista larga 604 y la pista corta 606; (4) D-E - media ponderada, donde la pista corta 606 es ponderada como de mas peso que la pista larga 604; y (5) E-F - incorporacion directa de la pista corta 606.

Con referencia ahora a la figura 6B, la operacion de mezcla ilustrada es similar a la de la figura 6A en que el sistema de nuevo captura y mezcla conjuntamente exposiciones proximas en el tiempo primera (por ejemplo, larga) y segunda (por ejemplo, larga) 604, 606. Sin embargo, a diferencia de la operacion mostrada en la figura 6A, la figura 6B representa una configuracion donde el modulo de mezcla 117 no expande la anchura de bit de la pista de salida en comparacion con las pistas de entrada. Mas bien, la anchura de bit sigue siendo la misma. Como ejemplo, el sensor 112 es un sensor de 12 bits y asf envfa exposiciones larga y corta de 12 bits 604, 606, aunque otras anchuras de bits son posibles. El modulo de mezcla 117 realiza correspondencia de nivel de luz desplazando la exposicion larga 604 hacia abajo un numero (por ejemplo, 2, 4, 8, etc) de bits con respecto a la exposicion larga 604. Sin embargo, a diferencia de la operacion mostrada en la figura 4A, la porcion desplazada se conserva en la realizacion de la figura 6B. Las pistas primera y segunda 604, 606 se mezclan entonces conjuntamente segun el algoritmo seleccionado, creando una pista de salida de 16 bits. Se muestran tres algoritmos de mezcla ejemplares (i), (ii) y (iii), aunque hay una amplia variedad de otras posibilidades. Como se representa, el contenido mas ruidoso en la exposicion larga 604 se desecha en algunos casos, mientras que todavfa se conserva cierto detalle en las sombras.

Aunque se ha descrito con respecto a varios ejemplos espedficos en las figuras 6A-6B, la mezcla puede tener lugar de varias maneras adicionales. Por ejemplo, la mezcla se puede basar en niveles de contraste, como se describe mas adelante con respecto a la figura 9.

La figura 7 representa un proceso de mezcla 700 para crear una exposicion de salida de multiples exposiciones proximas en el tiempo. Aunque se ha descrito con respecto a exposiciones primera y segunda unicas a efectos de ilustracion, las operaciones descritas mas adelante con respecto al proceso 700 se pueden realizar en cambio en pistas completas de las exposiciones primera y segunda o porciones de las mismas.

En los bloques 702A, 702B, el sensor 112 captura exposiciones primera (por ejemplo, larga) y segunda (por ejemplo, larga). En el bloque 704A, 704B, el modulo de mezcla 117 u otro componente procesa las exposiciones capturadas.

Por ejemplo, con referencia a las figuras 6A-6B, en algunos casos se ajustan una o varias exposiciones 604, 606 antes de la mezcla, por ejemplo, para la correspondencia de los niveles de luz entre las dos exposiciones. En algunos de estos casos, el modulo de mezcla 117 desplaza una o ambas exposiciones 604, 606 y por lo tanto multiplica o divide los valores de pixel por un factor correspondiente de dos. Sin embargo, los pfxeles de sensor en

5

10

15

20

25

30

35

40

45

50

55

60

65

algunos casos envfan valores no cero incluso cuando no incide luz en los p^xeles (por ejemplo, cuando el capuchon de lente esta sobre el sensor), creando valores “negro no cero”. Puede ser deseable tener esto en cuenta antes de la mezcla. Por ejemplo, multiplicar estos valores “negro no cero” en el proceso de correspondencia de luz puede complicar etapas de procesado posteriores o producir otros resultados indeseables.

Asf, en una realizacion el modulo 117 resta una desviacion (por ejemplo, una desviacion de negro) de las exposiciones primera y/o segunda antes de la correspondencia de luz. El modulo 117 realiza entonces la correspondencia de luz u otra(s) operacion(es) matematica(s) en las exposiciones, por ejemplo, multiplicando cada una de las exposiciones por un factor predeterminado. Finalmente, el modulo de mezcla 117 puede anadir una desviacion a las exposiciones primera y segunda, tal como una desviacion de negro que tenga la misma magnitud que el valor que se resto antes de la correspondencia de luz.

En algunas configuraciones, en el bloque 704A, 704B el modulo de mezcla realiza uno o varias operaciones en las exposiciones primera y segunda para mejorar la compresion de los datos de imagen. Por ejemplo, en un ejemplo, el modulo de procesado de imagen 116 combina componentes de frecuencia seleccionada (por ejemplo, baja) de onditas de ambas exposiciones primera y segunda para mejorar la eficiencia de compresion. El modulo de procesado de imagen 116 tambien puede implementar una curva de pre-enfasis en una o varias exposiciones (por ejemplo, la exposicion mas corta mas oscura). Se describen funciones pre-enfasis ejemplares con mas detalle en la patente '967 (por ejemplo, con respecto a las figuras 8, 8A, 11 y las columnas 11-12 de la patente '967) y se incorporan aqu por referencia. Tales tecnicas pueden mejorar la eficiencia u otra calidad de la compresion. Por ejemplo, en algunos casos, las tecnicas de pre-enfasis u otras pueden evitar o reducir la cantidad de compresion que tiene lugar en bits mas bajos de la(s) exposicion(es) concreta(s).

En el bloque 706, el modulo de mezcla 117 recibe parametros para uso en la operacion de mezcla. Por ejemplo, los parametros de mezcla definen en general como se combinaran las exposiciones primera y segunda. En algunos casos, por ejemplo, el sistema 100 proporciona una interfaz para poner uno o varios parametros de mezcla. Por ejemplo, el sistema 100 presenta al usuario una interfaz grafica de usuario (GUI) con la que el usuario puede interactuar para poner el (los) parametro(s). La GUI u otra interfaz se pueden facilitar mediante software en una pantalla de un ordenador externo, o se puede disponer en cambio en la camara, dependiendo de la configuracion.

En un ejemplo, la GUI incluye un cursor o uno o mas iconos distintos que el usuario puede manipular para regular los parametros de mezcla. El grafico 707 es similar a los representados con respecto a los algoritmos de las figuras 6A-6B. Consiguientemente, las posiciones de “A,” “B,” “C,” y “D” definen en general como mezclar las exposiciones primera y segunda (“EXP. 1”, “EXP. 2”). Como se ha indicado en la figura 7, el usuario puede ajustar en algunos casos la posicion de “B” y “C” usando la interfaz, estableciendo por ello cuanto de las exposiciones primera y segunda (o mas) incluir en la pista de salida resultante, y que porciones de las pistas se deberan mezclar conjuntamente. En algunos casos el usuario puede ajustar la posicion de “A” y/o “D” en lugar o ademas de “B” y “C”. Ademas del ejemplo ilustrado, otras varias interfaces compatibles son posibles. Ademas, la interfaz puede permitir a los usuarios ajustar otros varios parametros.

En otra configuracion, el usuario puede seleccionar un valor de “proteccion de claro”, que determina la cantidad de proteccion de claro a emplear. Con referencia a las figuras 6A-6B, el valor de “proteccion de claro” seleccionado puede ser en general la exposicion (por ejemplo, tiempo de integracion) de las exposiciones 606 en la pista corta. En una realizacion, el usuario puede seleccionar un numero de topes (por ejemplo, 2, 3, 4, 5, o 6 para) de proteccion de claro a incluir. Por ejemplo, si el usuario selecciona 2 topes de proteccion de claro, la exposicion para la pista de exposicion corta 606 seran 2 topes menos que el de la pista larga 604. Por ejemplo, donde el valor de exposicion de pista larga 604 es 1/48 segundos, la exposicion para la pista corta 606 se pondra a 1/192 segundos.

En otra configuracion, el sistema proporciona al usuario un menu de algoritmos preestablecidos, cada uno de los cuales tiene un efecto creativo concreto. Cada uno de los algoritmos preestablecidos tiene parametros de mezcla predeterminados (por ejemplo, valores “B” y “C”). Los algoritmos preestablecidos concretos tambien pueden determinar que tipo de procesado tiene lugar en los bloques 704A, 704B (por ejemplo, interpolacion lineal, media ponderada, curva “S”, etc) en algunos casos.

En el bloque 708, el modulo de mezcla 117 realiza la operacion de mezcla en base a los parametros de mezcla seleccionados. Por ejemplo, el modulo de mezcla 117 puede realizar la mezcla en general de la manera descrita anteriormente con respecto a las figuras 5-6B. Finalmente, en el bloque 710, el modulo de mezcla 117 envfa la exposicion mezclada (o pista de exposiciones). Por ejemplo, las exposiciones mezcladas se le proporcionan al usuario para almacenamiento y/o reproduccion.

En algunas realizaciones, el sistema 100 proporciona al usuario realimentacion generalmente en tiempo real. Por ejemplo, cuando el usuario cambia uno o mas parametros de mezcla o selecciona un algoritmo de mezcla preestablecido diferente, el sistema reproduce la pista de salida mezclada o una porcion de la misma para revision por parte del usuario en una camara o monitor de ordenador. Asf, el usuario puede hacer ajustes al vuelo para lograr el efecto visual deseado.

5

10

15

20

25

30

35

40

45

50

55

60

65

Volviendo al bloque 708, en algunas realizaciones el modulo de mezcla 117 mezcla las pistas proximas en el tiempo determinando, segun el algoritmo seleccionado, que porciones de cada pista se exponen adecuadamente. Por ejemplo, para cada exposicion, el modulo de mezcla 117 senaliza los pfxeles adecuadamente expuestos para inclusion en la imagen de salida combinada. Segun otra realizacion, el modulo de mezcla 117 compara pfxeles de una exposicion con pfxel(es) correspondiente(s) en la(s) otra(s) exposicion(es), y segun un algoritmo predeterminado, calcula el valor de pixel correspondiente en la salida mezclada.

Como se ha descrito, cualquiera de las tecnicas de mezcla se puede implementar en general en base de cuadro a cuadro, por ejemplo, o en alguna otra granularidad, y es posible una amplia variedad de tecnicas de mezcla compatibles. En algunas configuraciones, se compara mas de un cuadro de las pistas primera y/o segunda (o mas) o se analiza de otro modo al generar la pista de salida. Por ejemplo, en tales casos el modulo de mezcla 117 compara cuadros n-w, ...,n, ..., n+x de la primera pista en cuadros n-y, ...,n, ...,n+z de la segunda pista para generar el cuadro n en el flujo de imagenes de salida, donde n es el cuadro de pista de salida actual.

Controlar el efecto de movimiento

Como se ha explicado, las tecnicas de captura de imagen aqrn descritas utilizan eficientemente el penodo de cuadro para proporcionar pistas que tienen diferentes niveles de exposiciones dentro de cuadros individuales. El retardo entre exposiciones es relativamente pequeno, dando lugar a un intervalo temporal sustancialmente reducido o nulo entre las pistas expuestas de forma diferente. Por ejemplo, puede no haber sustancialmente separacion visual entre objetos en una pista en comparacion con los mismos objetos en otra pista. Ademas, como se ha explicado, el sesgo entre exposiciones para las pistas individuales es relativamente mmimo. Segun algunos aspectos, el sistema explota estos y otros aspectos para controlar el efecto de movimiento en la pista de salida combinada, tal como la cantidad o calidad de desenfoque, ademas de proporcionar los beneficios de rango dinamico aqrn descritos. Por ejemplo, los artefactos de movimiento en el flujo de salida combinado se pueden reducir sustancialmente, quitar o controlar de la forma deseada. Ademas, algunas tecnicas aqrn descritas reducen o eliminan la cantidad de deteccion y procesado de artefactos de movimiento que pueda ser necesaria en algunos acercamientos convencionales.

La figura 8 representa un proceso 800 de proporcionar una pista de imagen de salida que tiene efecto de movimiento controlado. En el bloque 802, el modulo de mezcla 117 recibe al menos dos pistas proximas en el tiempo, que pueden ser registradas segun alguna de las tecnicas aqrn descritas. Por ejemplo, las pistas pueden ser alguna de las representadas y descritas en las figuras 3A-6B. En el bloque 804, el modulo de mezcla 117 recibe un conjunto de parametros de control de movimiento. Estos parametros definen en general el algoritmo de control de movimiento que el modulo de mezcla 117 realiza cuando combina selectivamente pistas. Como con los parametros de mezcla de rango dinamico (por ejemplo, la cantidad de “proteccion de claro”) descritos anteriormente, los parametros de control de movimiento pueden ser seleccionables por el usuario o fijos, dependiendo de la implementacion. En algunos casos, al usuario se le proporciona un menu que tiene una lista de varias tecnicas de control de movimiento entre las que elegir. Estas pueden ser alguna de las tecnicas descritas mas adelante con respecto al bloque 806, o alguna(s) otra(s) tecnica(s).

En el bloque 806, el proceso 800 combina las pistas de imagenes proximas en el tiempo creando un flujo de imagenes de salida que tiene el efecto de movimiento deseado. Son posibles varias tecnicas de control de movimiento.

Donde se registran multiples pistas de imagenes proximas en el tiempo en diferentes niveles de exposicion, una de las pistas puede ser relativamente borrosa, similar a las grabaciones video convencionales. Por ejemplo, puede haber un desenfoque significativo en pistas de tiempo de integracion relativamente largo, tal como las representadas en las figuras 3A-4C y 6A-6B. Sin embargo, otras pistas pueden ser mas nftidas e incluir desenfoque reducido o mmimo. Por ejemplo, las exposiciones de tiempo de integracion corto representadas en las figuras 3A-4C y 6A-6B pueden ser relativamente mas nftidas. Las grabaciones video tfpicas (por ejemplo, 24 fps con un obturador de 180 grados) muestran un desenfoque generalmente constante con respecto a los objetos en movimiento, sin referencias mas nftidas. Sin embargo, lo que el ojo humano ve al observar la escena en persona esta mas proximo a una combinacion de referencias borrosas a los objetos asf como referencias discretas mas nftidas a los objetos en movimiento.

Para imitar este efecto, en algunas realizaciones, el modulo de mezcla 117 usa tanto la(s) pista(s) mas borrosa(s) como la(s) pista(s) mas nftida(s) para controlar el efecto de movimiento, creando una pista de salida que incluye referencias tanto borrosas como nftidas a objetos en movimiento. Por ejemplo, con referencia de nuevo a las figuras 6A-6B, la cantidad o la calidad del efecto de movimiento incluido en la pista de salida puede ser controlada ajustando los parametros de mezcla, tal como las posiciones de A, B, C, D o el tipo de operaciones de mezcla usados. Como ejemplo, el usuario puede controlar la cantidad de referencias borrosas y nftidas representadas en la pista de salida ajustando la posicion de B y C, ajustando por ello la longitud y la posicion de los segmentos de lmea A-B, B-C, y C-D. En particular, con referencia al algoritmo (i) representado en la figura 6A, para incrementar valores de pixel medidos a lo largo de la lmea B-C donde el modulo de mezcla 117 implementa una funcion de interpolacion, la pista de salida tendera a incluir una mezcla variable de referencias borrosas y referencias mas nftidas. Espedficamente, la pista de salida a lo largo de la lmea B-C incluye una porcion crecientemente significativa de

5

10

15

20

25

30

35

40

45

50

55

60

65

contenido de imagen de la pista corta 606 y una porcion correspondientemente menor de la pista larga 604. Como tales, las porciones de la pista de salida correspondientes al segmento de lmea B-C incluiran una mezcla variable de referencias relativamente mas borrosas a objetos de escena de imagen de la pista larga 604 y referencias relativamente mas mtidas a los mismos objetos de escena de imagen de la pista corta 606. De esta manera, el modulo de mezcla 117 puede crear una pista de salida que imita mejor lo que el ojo humano vena si observase la escena en persona. El sistema o el usuario pueden ajustar adicionalmente las posiciones de B y C para modificar el efecto.

Ademas, desplazar gradualmente las contribuciones relativas de la pista mas grande 604 y la pista mas corta 606 (o viceversa) de manera incremental, tal como usando interpolacion lineal o una funcion de curva, puede ayudar a limitar o evitar cualquier efecto de banda u otros artefactos visuales indeseables que pueden producirse a partir de un cambio mas brusco en las contribuciones relativas de las dos pistas. En algunos casos, el desplazamiento gradual tambien puede ayudar a reducir la cantidad de contenido de imagen SNR mas bajo que se incorpora a la pista de salida (por ejemplo, desde la pista mas corta 606), mejorando la calidad de imagen.

En otro ejemplo, el modulo de mezcla 117 implementa una media ponderada de las exposiciones corta y larga 604, 606 con respecto a porciones de la pista de salida a lo largo de la lmea B-C. Por ejemplo, una media ponderada de 50/50 puede dar lugar a una pista de salida que tenga una mezcla generalmente uniforme de contenido mas nftido de la pista corta 606 y contenido borroso de la pista mas larga 604. Las ponderaciones se pueden ajustar para personalizar el efecto. En una realizacion, el sistema proporciona al usuario una interfaz para controlar cuanto efecto de movimiento de cada pista incluir en la pista de salida resultante. En general, el sistema puede emplear una amplia variedad de otras funciones en lugar de o en combinacion con las ilustradas.

En otras configuraciones, el modulo de mezcla 117 puede establecer la ponderacion relativa de las pistas corta y larga 604, 606 en la pista de salida en base a un nivel de contraste. Por ejemplo, el modulo de mezcla 117 procesa valores introducidos medidos de la pista larga 604, la pista corta 606, o su combinacion para determinar un nivel de contraste en regiones concretas de la imagen, y usa el nivel de contraste determinado para seleccionar la ponderacion relativa entre la pista larga 604 y la pista corta 606 para pfxeles dentro de dichas regiones de imagen. Por ejemplo, el modulo de mezcla 117 aplica un filtro de paso alto en los datos de imagen para la pista corta 606 (y/o pista larga 606) para determinar regiones de contraste alto. Para regiones de contraste relativamente alto, el modulo de mezcla 117 pondera la pista corta 606 mas pesada que la pista larga 604 en la pista de salida. Para regiones de contraste relativamente mas bajo, el modulo de mezcla 117 puede ponderar la pista larga 604 mas alta, o ponderar las dos pistas igualmente. De esta manera, la pista de salida resultante puede incluir tanto referencias nftidas a objetos en movimiento (de las regiones de contraste alto de la pista corta 606) como referencias borrosas a objetos en movimiento (de regiones de contraste relativamente mas bajo adyacentes de la pista larga 604). El modulo de mezcla 117 puede identificar regiones de contraste mas bajo en lugar de, o ademas de, regiones de contraste mas alto, realizando un filtro de paso bajo en las exposiciones larga y/o corta 604, 606, por ejemplo.

Ademas, con respecto a porciones de la pista de salida correspondiente a los segmentos de lmea A-B y/o C-D, en algunas realizaciones el usuario regula el efecto de movimiento controlando la cantidad de cada imagen a incluir en la pista de salida. Por ejemplo, el usuario puede ajustar el valor de desviacion en una operacion de mezcla de media ponderada para controlar el peso que se da a cada pista de entrada en la operacion de mezcla. Por ejemplo, el sistema puede proporcionar un cursor, otra GUI u otro mecanismo de entrada para que el usuario pueda personalizar el efecto.

En otra realizacion, el modulo de mezcla 117 esta configurado para mezclar las pistas conjuntamente de una manera que corresponda mas estrechamente al efecto de movimiento de una camara tradicional (por ejemplo, 24 fps con un obturador de 180 grados). Por ejemplo, un algoritmo de estimacion de movimiento personalizado puede ser usado para adaptar el desenfoque de movimiento de una o varias pistas al de una camara tradicional. Por ejemplo, con referencia a la figura 3A, el desenfoque en la pista de tiempo de integracion mas corto 302 se puede incrementar para adaptacion al de la pista de tiempo de integracion mas largo 304. En una realizacion, la adaptacion de movimiento se realiza antes de la mezcla de las exposiciones, aunque se puede hacer posteriormente en otras implementaciones.

En el bloque 908, el modulo de mezcla 117 envfa la pista de movimiento ajustado para reproduccion o procesado adicional.

Terminologia/Realizaciones adicionales

Se han descrito realizaciones en conexion con los dibujos acompanantes. Sin embargo, se debera entender que las figuras no se han dibujado a escala. Las distancias, los angulos, etc, son simplemente ilustrativos y no tienen necesariamente una relacion exacta con las dimensiones y disposicion reales de los dispositivos ilustrados. Ademas, las realizaciones anteriores se han descrito con un nivel de detalle que permite a los expertos en la tecnica hacer y usar los dispositivos, los sistemas, etc, aqrn descritos. Es posible una amplia variedad de variacion. Los componentes, los elementos y/o los pasos se pueden alterar, anadir, quitar o redisponer. Aunque algunas realizaciones se han descrito explfcitamente, otras realizaciones seran evidentes a los expertos en la tecnica en

5

10

15

20

25

30

35

40

45

50

55

base a esta descripcion.

Las expresiones condicionales aqrn usadas, tales como, entre otras, “puede”, “pod^a”, “podna”, “es posible”, “por ejemplo” y analogos, a no ser que se indique espedficamente lo contrario, o se entienda de otro modo dentro del contexto en que se usen, tienen la finalidad general de indicar que algunas realizaciones incluyen, mientras que otras realizaciones no incluyen, algunas caractensticas, elementos y/o estados. Asf, dichas expresiones condicionales no tienen la finalidad general de implicar que las caractensticas, los elementos y/o los estados son necesarios de alguna forma para una o mas realizaciones o que una o mas realizaciones incluyen necesariamente logica para decidir, con o sin entrada o indicacion del autor, si estas caractensticas, elementos y/o estados se incluyen o se han de realizar en alguna realizacion particular.

Dependiendo de la realizacion, algunos hechos, eventos o funciones de alguno de los metodos aqrn descritos se pueden realizar en una secuencia diferente, se pueden anadir, mezclar o excluir todos conjuntamente (por ejemplo, no todos los hechos o eventos descritos son necesarios para la practica del metodo). Ademas, en algunas realizaciones, los hechos o eventos pueden ser realizados simultaneamente, por ejemplo, a traves de procesado multihilo, procesado de interrupcion o multiples procesadores o nucleos de procesador, mas bien que secuencialmente. En algunas realizaciones, los algoritmos aqrn descritos pueden ser implementados como rutinas almacenadas en un dispositivo de memoria. Ademas, un procesador puede estar configurado para ejecutar las rutinas. En algunas realizaciones, se puede usar circuitena personalizada.

Los varios bloques logicos ilustrativos, modulos, circuitos, y pasos de algoritmo descritos en conexion con las realizaciones aqrn descritas pueden implementarse como hardware electronico, software de ordenador, o combinaciones de ambos. Para ilustrar claramente esta intercambiabilidad de hardware y software, varios componentes, bloques, modulos, circuitos, y pasos ilustrativos se han descrito anteriormente en general en terminos de su funcionalidad. Si tal funcionalidad se implementa como hardware o software depende de la aplicacion concreta y las limitaciones de diseno impuestas al sistema general. La funcionalidad descrita se puede implementar de formas variables para cada aplicacion concreta, pero tales decisiones de implementacion no deberan ser interpretadas como alejamiento del alcance de la descripcion.

Los varios bloques logicos ilustrativos, modulos y circuitos descritos en conexion con las realizaciones aqrn descritas pueden implementarse o realizarse con un procesador de tipo general, un procesador de senales digitales (DSP), un circuito integrado espedfico de aplicacion (ASIC), una matriz de puertas programable in situ (FPGA) u otro dispositivo logico programable, logica discreta de puerta o transistor, componentes discretos de hardware, o cualquier combinacion de los mismos disenada para realizar las funciones aqrn descritas. Un procesador de tipo general puede ser un microprocesador, pero, como alternativa, el procesador puede ser cualquier procesador, controlador, microcontrolador, o maquina de estado convencional. Un procesador tambien se puede implementar como una combinacion de dispositivos de calculo, por ejemplo, una combinacion de un DSP y un microprocesador, una pluralidad de microprocesadores, uno o mas microprocesadores en union con un nucleo DSP, o cualquier otra configuracion analoga.

Los bloques de los metodos y algoritmos descritos en conexion con las realizaciones aqrn descritas pueden realizarse directamente en hardware, en un modulo de software ejecutado por un procesador, o en una combinacion de los dos. Un modulo de software puede residir en memoria RAM, memoria flash, memoria ROM, memoria EPROM, memoria EEPROM, registros, un disco duro, un disco extrafble, un CD-ROM, o cualquier otra forma de medio de almacenamiento legible por ordenador conocido en la tecnica. Un medio de almacenamiento ejemplar esta acoplado a un procesador de tal manera que el procesador pueda leer informacion, y escribir informacion, del/en el medio de almacenamiento. En alternativa, el medio de almacenamiento puede ser integral con el procesador. El procesador y el medio de almacenamiento pueden residir en un ASIC. El ASIC puede residir en un terminal de usuario. En alternativa, el procesador y el medio de almacenamiento pueden residir como componentes discretos en un terminal de usuario.

El alcance de algunas invenciones aqrn descritas se indica por las reivindicaciones anexas mas bien que por la descripcion anterior. Todos los cambios que caigan dentro del significado y rango de equivalencia de las reivindicaciones quedaran incluidos dentro de su alcance.

Claims (15)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55

   60

   65

   REIVINDICACIONES

   1. Un metodo de obtener datos de imagen usando un sensor de formacion de imagenes digitales (200) incluyendo una matriz de elementos de imagen (202) de filas y columnas, incluyendo el metodo:

   usar una pluralidad de elementos de imagen en la matriz de elementos de imagen (202) para capturar luz correspondiente a una primera imagen en un primer nivel de exposicion;

   usar la pluralidad de elementos de imagen en la matriz de elementos de imagen (202) para capturar luz correspondiente a una segunda imagen en un segundo nivel de exposicion diferente del primer nivel de exposicion;

   convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales; y

   convertir la luz capturada por la pluralidad de elementos de imagen para la segunda imagen a mediciones digitales,

   donde elementos de imagen para la segunda imagen son capturados despues de capturar los mismos elementos de imagen para la primera imagen;

   donde ademas el paso de usar la pluralidad de elementos de imagen en la matriz de elementos de imagen (202) para capturar luz correspondiente a la segunda imagen en el segundo nivel de exposicion comienza antes de la terminacion del paso de convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales, y caracterizado porque el metodo incluye:

   almacenar la primera imagen en un dispositivo de memoria (114);

   almacenar la segunda imagen en un dispositivo de memoria (114);

   donde ademas el paso de convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales se completa sustancialmente antes del inicio del paso de convertir la luz capturada por la pluralidad de elementos de imagen para la segunda imagen a mediciones digitales; y

   donde ademas las imagenes primera y segunda son capturadas y almacenadas en el dispositivo de memoria (114) para una pluralidad de cuadros video para crear una primera pista de primeras imagenes y para crear una segunda pista de segundas imagenes, donde se crean imagenes combinadas para la pluralidad de cuadros video.
2. 2. El metodo de la reivindicacion 1, donde la pluralidad de elementos de imagen forman subconjuntos de una o mas filas de pfxeles, y donde los pfxeles en cada uno de los subconjuntos son capturados y convertidos como un grupo.
3. 3. El metodo de la reivindicacion 1, donde, para un elemento de imagen, hay un retardo entre exposiciones de menos de aproximadamente 100 tiempos de reseteo de elemento de imagen entre convertir la luz capturada por el elemento de imagen para la primera imagen y comenzar a capturar luz correspondiente a la segunda imagen en el segundo nivel de exposicion por el elemento de imagen.
4. 4. El metodo de la reivindicacion 3, donde el retardo entre exposiciones es menos de aproximadamente 10 tiempos de reseteo de elemento de imagen.
5. 5. El metodo de la reivindicacion 4, donde el retardo entre exposiciones es aproximadamente un tiempo de reseteo de elemento de imagen.
6. 6. El metodo de la reivindicacion 1, donde las imagenes primera y segunda son capturadas usando una tecnica de obturador rodante, donde la captura de luz por cada subconjunto de una o mas filas de elementos de imagen comienza despues de comenzar la captura de luz por el subconjunto precedente de una o mas filas de elementos de imagen.
7. 7. El metodo de la reivindicacion 6, donde un retardo de elemento entre imagenes desde cuando comienza la captura de luz por un subconjunto particular de una o mas filas de elementos de imagen y cuando comienza la captura de luz por el subconjunto posterior de una o mas filas de elementos de imagen es menos de aproximadamente dos tiempos de lectura de elemento de imagen.
8. 8. El metodo de la reivindicacion 7, donde el retardo de elemento entre imagenes es aproximadamente un tiempo de lectura de elemento de imagen.
9. 9. El metodo de la reivindicacion 1, incluyendo ademas combinar selectivamente la primera imagen y la segunda imagen para crear una imagen combinada que tiene un rango dinamico mas amplio que el de la primera imagen o la segunda imagen.

   5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55
10. 10. El metodo de la reivindicacion 9, donde un tiempo de exposicion para la segunda imagen es mas largo que un tiempo de exposicion para la primera imagen, y donde la primera imagen proporciona proteccion de claro.
11. 11. El metodo de la reivindicacion 9, incluyendo ademas incorporar selectivamente valores de elemento de imagen de la primera imagen y valores de elemento de imagen de la segunda imagen a la imagen combinada.
12. 12. El metodo de la reivindicacion 11, donde dicha incorporacion selectiva incluye mezclar conjuntamente valores de elemento de imagen de la primera imagen con valores de elemento de imagen de la segunda imagen para al menos parte de la imagen combinada, donde porciones de la escena de imagen capturada representada por los valores de elemento de imagen mezclados incluyen primeras referencias de la primera imagen a uno o mas objetos de escena de imagen y segundas referencias de la segunda imagen a los mismos objetos de escena de imagen, ilustrando de forma significativa las segundas referencias mas desenfoque de movimiento que las primeras referencias.
13. 13. El metodo de la reivindicacion 12, donde dicha mezcla de valores de elemento de imagen de la primera imagen y la segunda imagen incluye variar las cantidades relativas de valores de elemento de imagen de primera imagen y valores de elemento de imagen de segunda imagen incluidos en los valores de elemento de imagen mezclados en respuesta a magnitudes de valores de elemento de imagen de una o varias de la primera imagen y la segunda imagen.
14. 14. El metodo de la reivindicacion 13, donde dicha variacion incluye realizar una funcion de interpolacion lineal o una funcion de promedio ponderado.
15. 15. Un sistema de formacion de imagenes, incluyendo:

    una pluralidad de elementos de imagen dispuestos en una matriz (202); y circuitena de control configurada para:

    capturar luz correspondiente a una primera imagen en un primer nivel de exposicion con la pluralidad de elementos de imagen en la matriz de elementos de imagen (202);

    capturar luz correspondiente a una segunda imagen en un segundo nivel de exposicion diferente del primer nivel de exposicion con la pluralidad de elementos de imagen en la matriz de elementos de imagen (202);

    convertir la luz capturada por la pluralidad de elementos de imagen para la primera imagen a mediciones digitales; y convertir luz capturada por la pluralidad de elementos de imagen para la segunda imagen a mediciones digitales,

    controlar elementos de imagen donde los elementos de imagen para la segunda imagen son capturados despues de capturar los mismos elementos de imagen para la primera imagen;

    comenzar la captura de la luz correspondiente a la segunda imagen en el segundo nivel de exposicion antes de la terminacion de la conversion de la luz capturada para la primera imagen a mediciones digitales, y caracterizado porque el sistema de formacion de imagenes incluye ademas un dispositivo de memoria (114) y porque la circuitena de control esta configurada para:

    almacenar la primera imagen en el dispositivo de memoria (114);

    almacenar la segunda imagen en el dispositivo de memoria (114);

    completar sustancialmente la conversion de la luz para la primera imagen a la conversion de la luz para la segunda imagen a mediciones digitales; y

    crear una primera pista de primeras imagenes y crear una segunda pista primera y segunda capturadas almacenadas en el dispositivo de memoria donde se crean imagenes combinadas para la pluralidad de cuadros video.

    mediciones digitales antes del inicio de

    de segundas imagenes con imagenes (114) para una pluralidad de cuadros,