ES2684521B1 - Sensor de imagenes - Google Patents

Sensor de imagenes Download PDF

Info

Publication number
ES2684521B1
ES2684521B1 ES201730285A ES201730285A ES2684521B1 ES 2684521 B1 ES2684521 B1 ES 2684521B1 ES 201730285 A ES201730285 A ES 201730285A ES 201730285 A ES201730285 A ES 201730285A ES 2684521 B1 ES2684521 B1 ES 2684521B1
Authority
ES
Spain
Prior art keywords
linked
transistor
pixel
column
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
ES201730285A
Other languages
English (en)
Other versions
ES2684521A1 (es
Inventor
Marco Trevisi
Galán Ricardo Carmona
Vázquez Angel Rodríguez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Consejo Superior de Investigaciones Cientificas CSIC
Universidad de Sevilla
Original Assignee
Consejo Superior de Investigaciones Cientificas CSIC
Universidad de Sevilla
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Consejo Superior de Investigaciones Cientificas CSIC, Universidad de Sevilla filed Critical Consejo Superior de Investigaciones Cientificas CSIC
Priority to ES201730285A priority Critical patent/ES2684521B1/es
Priority to PCT/ES2018/070149 priority patent/WO2018158482A1/es
Publication of ES2684521A1 publication Critical patent/ES2684521A1/es
Application granted granted Critical
Publication of ES2684521B1 publication Critical patent/ES2684521B1/es
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

SENSOR DE IMÁGENES
DESCRIPCIÓN
OBJETO DE LA INVENCIÓN
El objeto de la invención es un sensor de imágenes con muestreo compresivo "on-chip” para la captura y transmisión de imágenes completas comprimidas.
ANTECEDENTES DE LA INVENCIÓN
Los sensores de imágenes comprenden una matriz de pixeles, con filas y columnas, en donde cada pixel a su vez comprende un elemento fotosensible, tal como un fotodiodo polarizado inversamente, para convertir la luz incidente en una señal eléctrica. El nivel de iluminación que recibe cada pixel se determina integrando la corriente eléctrica producida por el elemento fotosensible, ya que el número de electrones generado durante la integración es proporcional a la cantidad de luz incidente.
Actualmente, los sensores de imágenes se dividen principalmente en dos grupos, sensores CMOS (Complementary Metal Oxide Semiconductor) y sensores CCD (Charge Coupled Device). Generalmente, estos se diferencian entre sí porque el sensor CMOS comprende un amplificador de la señal eléctrica para cada elemento fotosensible, mientras que el sensor CCD envía la señal eléctrica producida por cada elemento fotosensible al exterior del pixel para ser amplificada.
Ambos tipos de sensores de imágenes digitalizan la señal eléctrica generada por los elementos fotosensibles y la transmiten a memorias, generalmente off-chip, es decir memorias que no forman parte del sensor de imágenes. En estas memorias es donde se almacenan las imágenes en forma de datos digitales. Habitualmente, para disminuir la cantidad de datos almacenados estos datos digitales son comprimidos generando una imagen comprimida de menor tamaño y almacenada en dicha memoria.
Estas imágenes comprimidas requieren un menor ancho de banda a la hora de ser transmitidas a expensas de un esfuerzo computacional para su reconstrucción. Debido a este menor ancho de banda, actualmente diferentes métodos de compresión se aplican en fotografía, tomografía, resonancia magnética y radioastronomía, con el fin de obtener la máxima información en las imágenes comprimidas y por tanto de menor tamaño.
Los métodos más comunes que se utilizan para comprimir estas señales eléctricas digitalizadas y obtener las imágenes comprimidas presentan una serie de inconvenientes. Entre estos inconvenientes se encuentra un tiempo elevado para adquirir la imagen digitalizada completa debido a que es necesario un elevado número de muestras de la imagen digitalizada, un consumo eléctrico elevado de los convertidores analógico/digital que digitalizan la imagen y una complejidad elevada del propio método de compresión que puede llegar a necesitar de un procesador completamente dedicado a implementar dicha compresión.
Actualmente, con tal de reducir estos inconvenientes se ha comenzado a implementar en sensores de imágenes técnicas de muestreo compresivo, obteniendo los primeros sensores de imágenes con muestreo compresivo. La característica principal de las técnicas de muestreo compresivo está contenida en la siguiente ecuación:
y=ΦΨα (1)
donde "y” son las muestras de la señal eléctrica comprimidas, “Φ ” es la estrategia de compresión, “Ψ ” es el diccionario de dispersión (“sparsification”), y “α” son los coeficientes de la señal eléctrica original.
El requisito fundamental para un muestreo compresivo exitoso es que la señal a sea suficientemente dispersa (“sparse”). Una señal dispersa es la que tiene un pequeño número de componentes distintos de cero en comparación con su longitud total. Esta propiedad puede darse bien en el dominio original o bien con respecto a otra base. Por ejemplo, es posible expresar una imagen, en el dominio de Fourier, o en forma de wavelets. La estrategia de compresión Φ es el método mediante el cual se forman combinaciones lineales de los coeficientes de la señal expresada en un dominio en el cual resulta especialmente dispersa. El diccionario de dispersión 0 es una matriz que multiplicada por una señal original devuelve un vector que contiene los coeficientes de la transformación de la señal original de dicho dominio.
Una aplicación del muestreo compresivo en sensores de imágenes es la implementación de una estrategia compresiva 0 dentro del propio sensor, de modo que cada una de las muestras obtenidas sea la combinación lineal de un grupo de píxeles de la imagen original. Para incorporar esta estrategia compresiva en el sensor de imágenes existen en la actualidad dos metodologías: seleccionar los elementos de 0 de una distribución aleatoria, o bien reorganizar de forma aleatoria las filas de una matriz que constituya una base ortonormal incoherente. Cada uno de estos métodos resulta en una implementación física diferente. Hasta la fecha, el uso de una base ortonormal incoherente está detrás de las intervenciones en los elementos ópticos del sensor, mientras que el uso de distribuciones aleatorias se ha utilizado para diseñar elementos ópticos o electrónicos específicos para la implementación de la estrategia de compresión.
Un ejemplo de sensor de imágenes con muestreo compresivo realizado por elementos ópticos es la cámara de un solo píxel descrita en "An Architecture for Compressive Imaging” por M. B. Wakin, et al., en donde se describe un primer intento de implementación de una estrategia de muestreo compresivo. Más concretamente, la luz se proyecta sobre una matriz de micro-espejos cuya posición está controlada por un patrón pseudo-aleatorio. Los espejos seleccionados proyectan la intensidad luminosa sobre un fotosensor que integra todas las contribuciones resultando en una muestra comprimida consistente en la combinación lineal de las intensidades luminosas incidentes en todos los micro-espejos seleccionados por el patrón.
Sin embargo, los de sensor de imágenes con muestreo compresivo por elementos ópticos presentan un coste muy elevado de producción debido a que requieren dispositivos micro-electromecánicos, tal como micro-espejos que son muy caros de fabricar. Otra desventaja, es que estas partes son móviles con lo cual requiere de actuadores de alta precisión que consumen electricidad y ocupan un espacio importante en el sensor. Adicionalmente, al haber partes móviles requieren un mantenimiento preventivo de estas para asegurar el corrector funcionamiento.
Debido a esto, se han desarrollaron sensores de imágenes con muestreo compresivo realizado por elementos electrónicos. El primero de estos sensores de imágenes fue descrito por en V. Majidzadeh et al en "A (256x256) Pixel 76.7mW CMOS Imager/Compressor Based on Real-Time In-Pixel Compressive Sensing”. Este sensor de imágenes comprende un píxel en modo de corriente y elementos de selección in-pixel, y mediante una técnica de codificación bidimensional programable garantiza la aleatoriedad de los coeficientes utilizados en las sucesivas muestras. Estos patrones aleatorios se generan utilizando una fuente externa y se distribuyen a cada píxel mediante el uso de registros de desplazamiento. Las corrientes generadas por todos los píxeles que contribuyen a la muestra se agregan con un amplificador de transimpedancia. A continuación la muestra es digitalizada mediante un convertidor de 11 bits. Esto produce una pérdida de información debido a la baja resolución de la cuantización realizada durante el procesado de la imagen.
Otro ejemplo de sensor de imágenes con muestreo compresivo por medios electrónicos es descrito por Y. Oike et al. en "CMOS Image Sensor With Per-Column IA ADC and Programmable Compressed Sensing (DOI: 10.1109/JSSC.2012.2214851)” donde emplea un modulador IA por columna. La selección de los bloques de píxeles y las columnas se realiza mediante un generador de patrones externo. La estrategia de compresión se realiza a bloques de 16^16 píxeles. Para hacer la suma de las contribuciones dentro de cada bloque se realiza un promediado, lo que resulta en una pérdida de resolución y una reconstrucción posterior más pobre de la imagen comprimida.
También es conocido otro de sensor de imágenes con muestreo compresivo que opera sobre sub-imágenes, tal y como se describe en "A Low Power CMOS Imager Based on Distributed Compressed Sensing (DOI: 10.1109/VLSID.2014.99) ” por B. Kaliannan, et al. Este sensor de imágenes opera en bloques de 8x8 píxeles. Más concretamente, el muestreo del bloque se realiza de acuerdo a una secuencia binaria pseudo-aleatoria que está almacenada en un chip. La combinación lineal se realiza mediante el promediado de los píxeles seleccionados. Con el fin de reducir el rango dinámico necesario para la suma de contribuciones, los píxeles son seleccionados mediante una matriz de Rademacher, de modo que hay contribuciones positivas y negativas. Estas últimas se obtienen cambiando la polaridad de los condensadores empleados para realizar el promediado mediante redistribución de carga.
Cabe destacar que la solución óptima para el problema de la reconstrucción de una imagen a partir de las muestras comprimidas se obtiene cuando cada una de estas muestras ha sido obtenida mediante la combinación lineal de todos los píxeles de la imagen multiplicados cada uno de ellos por un peso aleatorio. Actualmente, las estrategias implementadas son una simplificación de este procedimiento que desemboca en una reconstrucción sub-óptima. Habitualmente dicha reconstrucción se realiza mediante métodos de reconstrucción tal como el algoritmo de Nesterov que es un método de reconstrucción de imágenes basado en la aceleración del método de gradiente descendente o algoritmo del descenso rápido.
Adicionalmente, también estos sensores de imagen con muestreo compresión están limitados en la práctica por la necesidad de compartir la estrategia de compresión entre el sensor de imagen y los mecanismos de reconstrucción de la imagen. Para ello es necesario generar dicha estrategia en el sensor y retransmitirla a los mecanismos de reconstrucción, o bien tenerla almacenada de antemano. En ambos casos, las limitaciones prácticas de la implementación conducen a la aplicación de las estrategias de compresión a bloques de píxeles de tamaño reducido, resultando en una reconstrucción sub-óptima
Otro problema recurrente en la aplicación de estrategias de muestreo compresivo a una matriz de píxeles es el rango dinámico de las muestras compresivas. Formalmente el rango dinámico de las muestras compresivas necesario será tantas veces mayor que el rango dinámico de una muestra original como píxeles contenga la imagen. Es decir ya que una muestra compresiva se obtiene a partir de la combinación lineal de los valores de los píxeles, es bastante habitual que el valor de una muestra compresiva sea más grande que el valor de un único píxel, pero no se puede descartar que la muestra compresiva sea muy pequeña, entonces el rango dinámico que necesitamos para expresar una muestra compresiva (comprimida) es bastante mayor que el que necesitamos para expresar un único píxel.
En la práctica esto significa que para representar las muestras comprimidas correspondientes a la imagen completa necesitaríamos demasiados recursos. Debido a esto, actualmente se trabaja con bloques de la imagen, cuyas muestras comprimidas cubren un rango dinámico más asequible.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención describe un sensor de imágenes con muestreo compresivo que comprende una matriz de pixeles con filas y columnas, en donde cada pixel a su vez comprende un elemento fotosensible para convertir la luz incidente en una señal eléctrica. Más concretamente, el sensor de imágenes comprende:
- un bus de columna para cada columna de la matriz de pixeles, en donde cada bus de columna está vinculado con todos los pixeles de su correspondiente columna, y en donde cada bus de columna a su vez comprende dos líneas de trasmisión de pulsos, una para pulsos positivos y otra para pulsos negativos, - un primer circuito, para generar una secuencia pseudo-aleatoria de números binarios, que comprende respectivamente un elemento vertical y un elemento horizontal, por cada fila y columna de la matriz de pixeles; en donde los elementos verticales y horizontales están conectados entre sí en anillo, cada elemento vertical está vinculado con todos los pixeles de su correspondiente fila, cada elemento horizontal está vinculado con todos los pixeles de su correspondiente columna; y cada elemento vertical y horizontal genera una señal de selección de pixeles, que selecciona los pixeles que contribuyen a la compresión,
- un segundo circuito que recibe la señal de selección de pixeles para establecer por cual línea de trasmisión de pulsos, positiva o negativa, se trasmite la contribución de cada pixel,
- un tercer circuito para generar en cada pixel una codificación en frecuencia de pulsos del valor del pixel y trasmitirla a la línea de transmisión seleccionada por el segundo circuito de su bus de columna correspondiente, y
- un cuarto circuito vinculado con al menos el tercer circuito, a través de un bus de columna, para cada columna de la matriz de pixeles para recibir la codificación en frecuencia de pulsos del valor del pixel de cada pixel comprimido, para obtener una señal digital comprimida de la imagen completa.
Dicho primer circuito es un circuito digital que implementa un autómata celular de clase III para generar, a partir de una semilla inicial, la secuencia pseudo-aleatoria de números binarios.
De este modo, las filas y columnas de la matriz de píxeles se seleccionan de manera pseudo-aleatoria, sin necesidad de almacenar nada más allá de la semilla inicial, y sin necesidad de retransmitir la secuencia pseudo-aleatoria. Esto es debido a que esta secuencia pseudo-aleatoria se reproduce en un dispositivo de descompresión mediante un circuito digital similar que partirá desde la misma semilla.
En la presente descripción se considera como un autómata celular a un modelo matemático de un sistema dinámico que evoluciona y que genera patrones complejos pseudo-aleatorios a partir de una regla lógica. Este autómata celular comprende células que están implementadas por electrónica digital y vinculadas entre sí. A lo largo de la descripción también nos referimos al autómata celular como el primer circuito o circuito digital que lo implementa, así como a las células o como la electrónica digital que las implementa.
Cada elemento del primer circuito es un elemento digital, a modo de célula del autómata celular, que comprende tres entradas: L, C, R y una salida de estado actual S, en donde dicha salida de estado actual S se realimenta a través de la entrada C y se transmite a las dos células vecinas anterior y posterior a través de sus entradas R y L respectivamente para que el autómata celular de clase III que siga la regla 30.
Al presentar una topología de conexión en anillo, preferentemente la célula vecina anterior de la primera célula de la columna es la última célula de la fila y la célula vecina posterior de la última célula de la fila es la última célula de la columna.
Más concretamente cada elemento digital, o célula, comprende:
- una puerta OR que recibe las entradas C y L,
- una primera puerta XOR que recibe la salida de la puerta OR y la entrada R, y cuya salida es igual al próximo estado NS de la célula, y
- un flip-flop tipo D que recibe la salida de la puerta XOR y una entrada de reloj CLK; y cuya salida, que es la señal de selección de pixel, no pasará a ser igual al próximo estado NS hasta el siguiente flanco del reloj CLK.
De este modo, la regla lógica, concretamente la regla 30, relaciona el próximo estado de cada una de las células con su estado actual y los estados actuales de sus células vecinas más próximas para cada ciclo de reloj, resultando en una tabla de verdad fácilmente obtenible a partir de la semilla inicial, y por tanto es posible descomprimir la imagen comprimida mediante mecanismos de reconstrucción que invierten la regla lógica aplicada.
Preferentemente, el reloj es una señal eléctrica externa a la matriz de pixeles que en cada ciclo reloj permite al sensor de imágenes generar una nueva muestra comprimida. Concretamente una FPGA ("Field Programmable Gate Array”) previamente programada para generar esta señal, o un temporizador IC 555.
Preferentemente, cada elemento fotosensible es un fotodiodo y el tercer circuito para cada fotodiodo comprende:
- un primer transistor,
- un segundo transistor,
- un nudo vinculado con el fotodiodo para recibir la corriente fotogenerada en el fotodiodo,
- un amplificador operacional que comprende una entrada positiva y una entrada negativa, estando la entrada negativa vinculada con dicho nudo,con la entrada positiva vinculada con un voltaje de referencia y la salida vinculada con el primer y el segundo transistor,
- un transistor de reset vinculado con el nudo y activado por la salida del amplificador operacional, y
- en donde dicha salida del amplificador operacional es un tren de pulsos cuya frecuencia es proporcional a la intensidad luminosa incidente sobre el fotodiodo.
También el segundo circuito para cada fotodiodo comprende: una segunda puerta XOR, un inversor, un tercer transistor y un cuarto transistor, de modo que:
- las dos entradas de la segunda puerta XOR están vinculadas con la señales de selección generadas en la célula vertical y por la célula horizontal correspondiente a este pixel, y su salida está vinculada con la entrada del inversor y con la puerta del tercer transistor,
- la salida del inversor está vinculada con la puerta del cuarto transistor, - la salida del amplificador operacional está vinculada con la puerta del primer y del segundo transistor, el drenador del tercer transistor está vinculado con la línea positiva del bus de columna y su fuente con el drenador del primer transistor que a su vez tiene conectada su fuente a tierra, y
- el drenador del cuarto transistor está vinculado con la línea negativa del bus de columna y su fuente con el drenador del segundo transistor que a su vez tiene conectado su fuente a tierra, y
- cuando se genera el tren de pulsos, la segunda puerta XOR combina a nivel de píxel las señales de selección por columna y por fila, para contabilizar la contribución del este píxel como positiva, activando el tercer transistor, o como negativa activando el cuarto transistor, y transmitirlos a través del bus de columna para formar la codificación en frecuencia de pulsos del valor del pixel
Por otro lado que el cuarto circuito comprende:
- una batería de contadores para cada columna vinculada con su correspondiente bus de columna para acumular las contribuciones que el bus de columna transporta durante un periodo de integración, es decir el periodo de exposición de la matriz de pixel a la luz que viene determinado por las condiciones de iluminación de la escena, y
- una cascada de sumadores vinculados con las baterías de contadores para sumar las contribuciones de cada columna y comprimir la imagen captada por el sensor.
De este modo se obtiene un sensor de imágenes que comprime una imagen completa sin necesidad de descomponer la imagen en bloques y manteniendo el rango dinámico de la imagen. Adicionalmente, este sensor de imágenes permite implementar una estrategia de compresión para la imagen completa sin necesitada de retrasmitir o almacenar dicha estrategia.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra un diagrama de la arquitectura del sensor.
Figura 2.- Muestra una vista de la arquitectura del autómata celular en la que se muestra el conexionado de cada célula del autómata celular.
Figura 3.- Muestra una representación gráfica de la aplicación de la regla 30 sobre las células del autómata celular.
Figura 4.- Muestra un diagrama esquemático de una implementación preferente de cada una de las células del autómata celular.
Figura 5.- Muestra un diagrama esquemático de uno de los píxeles de la matriz de pixeles.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Una realización preferente de la invención, tal y como se muestra en la figura 1, es un sensor de imágenes (100) con muestreo compresivo generado "on-chip”, en donde la compresión se realiza sobre la imagen completa y se realiza una adecuación del rango dinámico para una codificación precisa de las muestras comprimidas.
Más concretamente, el sensor de imágenes (100) comprende una matriz de píxeles (5) con filas y columnas, un autómata celular (1) vinculado con los dicha matriz de píxeles (5), un bus de columna (10) para cada columna de la matriz de pixeles (5), una batería de contadores (21) vinculada con cada bus de columna (10) y una cascada de sumadores (22) vinculados con las baterías de contadores (21).
Este autómata celular (1) sigue la regla 30 por lo que tiene un comportamiento de clase III y comprende una pluralidad de células (3). Concretamente una célula vertical (3v) por cada columna y una célula horizontal (3h) por cada fila de la matriz de pixeles (5), de modo que cada célula vertical (3v) está vinculada con cada pixel de su columna y cada célula horizontal (3h) está vinculada con cada pixel de la fila para generar unas señales de selección (4). Estas células tienen una estructura de anillo que implementa un comportamiento aperiódico para generar una secuencia pseudo-aleatoria de número binarios con tantos dígitos como la suma de las filas y las columnas de la matriz de píxeles (5). De este modo, a partir de la secuencia pseudo-aleatoria, las señales de selección (4) seleccionan los pixeles de las filas y columnas para comprimir su información.
Es decir, cada célula vertical y horizontal (3v, 3h) genera una señal de selección (4) que comprende un bit de selección para seleccionar, o no, el pixel y de este modo comprimir la imagen completa.
Adicionalmente, la salida de cada uno de los píxeles de una de las columnas está conectada a uno de los buses de columna (10). Cada bus de columna (10) comprende dos líneas de trasmisión de pulsos, una para pulsos positivos y otra para los negativos. Los pulsos de cada bus de columna (10) son acumulados, durante un periodo de integración, por la batería de contadores (21) a la que este se encuentre vinculada. Al final del periodo de integración, la cascada de sumadores (22), agregará las cuentas realizadas en cada columna para conformar la muestra comprimida.
Destacar que el periodo de integración es la ventana de tiempo durante la cual la cascada de sumadores (22) cuenta los pulsos. Es decir, en ese tiempo se cuentan todos los pulsos, es decir las contribuciones positivas o negativas de los píxeles, y el resultado es la suma de todos los pulsos que se han recibido en la cascada de sumadores (22) formando la muestra comprimida.
Más concretamente, las conexiones en anillo de cada célula (3) del autómata celular (1) se muestran en la figura 2. Cada célula (3) está implementada por un elemento digital que comprende tres entradas: L, C, R y una salida de estado actual S, en donde dicha salida de estado actual S se realimenta a través de la entrada C y se transmite a las dos células vecinas anterior (3a) y posterior (3p) a través de sus entradas R y L respectivamente. Estas entradas L, C R se emplean para generar el próximo estado de la salida de estado actual S siguiendo una tabla de verdad (8) tal y como se muestra en la figura 3.
Más concretamente, en la figura 3 se muestra la representación gráfica de la aplicación de la regla 30 sobre las células (3) del autómata celular (1) y el estado actual de cada célula (3) y de sus células (3) vecinas inmediatamente anterior y posterior. En donde, para cada célula (3) la entrada C representa su estado actual de la entrada L representa el valor actual de su la célula (3) anterior y la entrada R representa el valor actual de su la célula (3) posterior. Estas entradas L, C y R respectivamente, están representadas por los primeros cuadrados (7), y a partir de ellos y siguiendo la tabla de verdad (8), teniendo en cuenta que un cuadro en negro equivale a un "1” lógico y un cuadro en blanco a un "0”, se obtienen los próximos estados, NS, de cada célula (3), representados por los segundos cuadrados (6).
Por otro lado, en la figura 2 puede verse una representación gráfica de una posible semilla inicial (2) que iniciaría al autómata celular (1) para generar una pseudoaleatoria que si inicia con los valores de bit de dicha semilla inicial (2).
Preferente, tal y como se muestra en la figura 4, cada una de las células (3) del autómata celular (1) comprende una puerta OR (23), una primera puerta XOR (24) y un flip-flop tipo D (25). De este modo la tabla de verdad (8) puede realizarse mediante dicha puerta OR (23) vinculada con la puerta XOR (24) con las que se combinan las entradas correspondientes a los vecinos anterior y posterior, L y R, y la propia realimentación del estado S a través de C. Con el fin de separar el próximo estado, NS, del estado actual S, se utiliza la flip-flop tipo D (25) de forma que el próximo estado NS no pasará a ser el actual hasta el siguiente flanco del reloj CLK.
Por otro lado cada, la figura 5 muestra el diagrama esquemático de uno de los píxeles de la matriz (5). De este modo, cada pixel comprende un fotodiodo (19) cuya corriente fotogenerada se descarga en un nudo (18).
Adicionalmente, tal y como se muestra dicha figura 5, el sensor de imágenes (100) comprende un amplificador operacional (13) y un transistor de reset (20), por cada pixel, en donde amplificador operacional (13) comprende una entrada positiva y una entrada negativa, estando la entrada negativa vinculada con dicho nudo (18) y con la entrada positiva vinculada con un voltaje de referencia (Vref). De este modo, cuando la tensión en este nudo (18) pasa a estar por debajo del voltaje de referencia (Vref), el amplificador operacional (13) que hace las veces de comparador, pondrá su salida en alto. Esto hará que el transistor de reset (20) entre en conducción, restableciendo la tensión en el nudo (18) al valor de reset. Por efecto de esto, el amplificador operacional (13) volverá a ofrecer un valor de tensión bajo en la salida. Este ciclo se repetirá mientras que se ilumine el fotodiodo (19), generándose así un tren de pulsos cuya frecuencia será proporcional a la intensidad luminosa incidente sobre el fotodiodo (19).
Adicionalmente, sensor de imágenes (100) comprende una segunda puerta XOR (9), un inversor (16), un primer transistor (11), un segundo transistor (12), un tercer transistor (14) y un cuarto transistor (15), de modo que:
- las dos entradas de la segunda puerta XOR (9) están vinculadas con la señales de selección (4) generada la célula (3) vertical y por la célula (3) horizontal correspondiente a este pixel, y su salida está vinculada con la entrada del inversor (16) y con la puerta del tercer transistor (14),
- la salida del inversor (16) está vinculada con la puerta del cuarto transistor (15), - la salida del amplificador operacional (13) está vinculada con la puerta del primer y del segundo transistor (11, 12), el drenador del tercer transistor (14) está vinculado con la línea positiva del bus de columna (10) y su fuente con el drenador del primer transistor (11) que a su vez tiene conectada su fuente a tierra, y
- el drenador del cuarto transistor (15) está vinculado con la línea negativa del bus de columna (10) y su fuente con el drenador del segundo transistor (12) que a su vez tiene conectada su fuente a tierra.
De este modo, mientras se genera el tren de pulsos la segunda puerta XOR (9) combina a nivel de píxel las señales de selección (4) por columna y por fila, de modo que decide si la contribución del píxel va a contabilizarse como positiva, activando el tercer transistor (14) o negativa, activando el cuarto transistor (15), de modo que los pulsos generados por el amplificador operacional (13) son reproducidos por el primer y el segundo transistor (11, 12) y transmitidos como contribuciones positivas o negativas a través de una sus respectiva líneas positiva o negativa del bus de columna (10). Los pulsos activos en alto generados se transmiten como pulsos activos en bajo por la estructura de las líneas, que tienen unas resistencias “pull-up” (17) para que la tensión esté en alto si ninguno de los píxeles de la columna está emitiendo un pulso.

Claims (8)

REIVINDICACIONES
1. - Sensor de imágenes (100) con muestreo compresivo que comprende una matriz de pixeles (5) con filas y columnas, en donde cada pixel a su vez comprende un elemento fotosensible para convertir la luz incidente en una señal eléctrica, caracterizado por que el sensor de imágenes (100) comprende:
- un bus de columna (10) para cada columna de la matriz de pixeles (5), en donde cada bus de columna (10) está vinculado con todos los pixeles de su correspondiente columna, y en donde cada bus de columna (10) a su vez comprende dos líneas de trasmisión de pulsos, una para pulsos positivos y otra para pulsos negativos,
- un primer circuito, para generar una secuencia pseudo-aleatoria de números binarios, que comprende respectivamente un elemento vertical y un elemento horizontal por cada fila y columna de la matriz de pixeles (5) conectados entre sí en anillo; en donde cada elemento vertical está vinculado con cada uno de los pixeles de su correspondiente fila, y cada elemento horizontal está vinculado con cada uno de los pixeles de su correspondiente columna; de modo que cada elemento vertical y horizontal genera una señal de selección (4) de pixeles que selecciona los pixeles que contribuyen a la compresión, - un segundo circuito que recibe la señal de selección (4) de pixeles para establecer por cual línea de trasmisión de pulsos, positiva o negativa, se trasmite la contribución de cada pixel,
- un tercer circuito para generar en cada pixel una codificación en frecuencia de pulsos del valor del pixel y trasmitirla a la línea de transmisión seleccionada por el segundo circuito de su bus de columna correspondiente, y
- un cuarto circuito vinculado con al menos el tercer circuito, a través de un bus de columna (10), para cada columna de la matriz de pixeles (5) para recibir la codificación en frecuencia de pulsos del valor del pixel de cada pixel comprimido, para obtener una señal digital comprimida de la imagen completa.
2. - Sensor de imágenes (100) según la reivindicación 1, caracterizado por que el primer circuito es un circuito digital que implementa un autómata celular (1) de clase III para generar, a partir de una semilla inicial (2), la secuencia pseudo-aleatoria de números binarios.
3. - Sensor de imágenes (100) según la reivindicación 2, caracterizado por que cada elemento del primer circuito es un elemento digital, a modo de célula (3) del autómata celular (1), que comprende tres entradas: L, C, R y una salida de estado actual S, en donde dicha salida de estado actual S se realimenta a través de la entrada C y se transmite a las dos células vecinas anterior (3a) y posterior (3p) a través de sus entradas R y L respectivamente para que el autómata celular (1) de clase III que siga la regla 30.
4. - Sensor de imágenes (100) según la reivindicación 3, caracterizado por que cada elemento digital comprende:
- una puerta OR (23) que recibe las entradas C y L,
- una primera puerta XOR (24) que recibe la salida de la puerta OR (23) y la entrada R, y cuya salida es igual al próximo estado NS de la célula (3) y
- un flip-flop tipo D (25) que recibe la salida de la puerta XOR (24) y una entrada de reloj CLK; y cuya salida, que es la señal de selección (4) de pixel, no pasará a ser igual al próximo estado NS hasta el siguiente flanco del reloj CLK.
5. - Sensor de imágenes (100) según la reivindicación 1, caracterizado por que cada elemento fotosensible es un fotodiodo (19).
6. - Sensor de imágenes (100) según la reivindicación 5, caracterizado por que el tercer circuito para cada fotodiodo (19) comprende:
- un primer transistor (11),
- un segundo transistor (12),
- un nudo (18) vinculado con el fotodiodo (19) para recibir la corriente fotogenerada en el fotodiodo (19),
- un amplificador operacional (13) que comprende una entrada positiva y una entrada negativa, estando la entrada negativa vinculada con dicho nudo (18), la entrada positiva vinculada con un voltaje de referencia (Vref) y la salida vinculada con el primer y el segundo transistor (11, 12), y
- un transistor de reset (20) vinculado con el nudo (18) y activado por la salida del amplificador operacional (13),
- en donde dicha salida del amplificador operacional (13) es un tren de pulsos cuya frecuencia es proporcional a la intensidad luminosa incidente sobre el fotodiodo (19).
7. - Sensor de imágenes (100) según la reivindicación 6, caracterizado por que el segundo circuito para cada fotodiodo (19) comprende: una segunda puerta XOR (9), un inversor (16), un tercer transistor (14) y un cuarto transistor (15), de modo que:
- las dos entradas de segunda puerta XOR (9) están vinculadas a la señales de selección (4) generadas en la célula vertical (3v) y por la célula horizontal (3h) correspondiente a este pixel, y su salida está vinculada con la entrada del inversor (16) y con la puerta del tercer transistor (14),
- la salida del inversor (16) está vinculada con la puerta del cuarto transistor (15), - la salida del amplificador operacional (13) está vinculada con la puerta del primer y el segundo transistor (11, 12), el drenador del tercer transistor (14) está vinculado con la línea positiva del bus de columna (10) y su fuente con el drenador del primer transistor (11) que a su vez tiene conectada su fuente a tierra, y
- el drenador del cuarto transistor (15) está vinculado con la línea negativa del bus de columna (10) y su fuente con el drenador del segundo transistor (12) que su vez tiene conectada su fuente a tierra, y
- cuando se genera el tren de pulsos, la segunda puerta XOR (9) combina a nivel de píxel las señales de selección (4) por columna y por fila, para contabilizar la contribución del este píxel como positiva, activando el tercer transistor (14), o como negativa activando el cuarto transistor (15), y transmitirlos a través del bus de columna (10) para formar la codificación en frecuencia de pulsos del valor del pixel.
8. - Sensor de imágenes (100) según la reivindicación 7, caracterizado por que el cuarto circuito comprende:
- una batería de contadores (21) para cada columna vinculada con su correspondiente bus de columna (10) para acumular las contribuciones que el bus de columna (10) transporta durante un periodo de integración o periodo de exposición determinado por las condiciones de iluminación de la escena, y - una cascada de sumadores (22) vinculados con las baterías de contadores para sumar las contribuciones de cada columna y comprimir la imagen captada por el sensor.
ES201730285A 2017-03-02 2017-03-02 Sensor de imagenes Expired - Fee Related ES2684521B1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201730285A ES2684521B1 (es) 2017-03-02 2017-03-02 Sensor de imagenes
PCT/ES2018/070149 WO2018158482A1 (es) 2017-03-02 2018-02-28 Sensor de imágenes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201730285A ES2684521B1 (es) 2017-03-02 2017-03-02 Sensor de imagenes

Publications (2)

Publication Number Publication Date
ES2684521A1 ES2684521A1 (es) 2018-10-03
ES2684521B1 true ES2684521B1 (es) 2019-07-12

Family

ID=63370772

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201730285A Expired - Fee Related ES2684521B1 (es) 2017-03-02 2017-03-02 Sensor de imagenes

Country Status (2)

Country Link
ES (1) ES2684521B1 (es)
WO (1) WO2018158482A1 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11877079B2 (en) 2020-12-22 2024-01-16 Samsung Electronics Co., Ltd. Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3010603A1 (fr) * 2013-09-10 2015-03-13 Commissariat Energie Atomique Dispositif d'acquisition compressive d'une image
FR3010602B1 (fr) * 2013-09-10 2015-10-02 Commissariat Energie Atomique Dispositif et procede d'acquisition compressive d'images

Also Published As

Publication number Publication date
WO2018158482A1 (es) 2018-09-07
ES2684521A1 (es) 2018-10-03

Similar Documents

Publication Publication Date Title
Chen et al. Pulse-modulation imaging—Review and performance analysis
TWI596931B (zh) 用於擷取混合的結構光影像和正常影像的單一影像感測器
ES2714161T3 (es) Sensor de imagen de salidas de imagines entrelazadas
JP6029286B2 (ja) 光電変換装置および撮像システム
US9041579B2 (en) Analog-to-digital conversion in pixel arrays
TWI648989B (zh) 用於減少垂直固定圖案雜訊之設備、成像系統及將隨機雜訊添加至斜坡電壓之方法
CN106561047A (zh) 具有改良读出的高动态范围成像像素
US20060268137A1 (en) System and method for reducing read-out noise in a pixel array
TWI615029B (zh) 圖像感測器及終端與成像方法
Sonoda et al. High-speed imaging using CMOS image sensor with quasi pixel-wise exposure
WO1999027708A1 (en) Strobe compatible digital image sensor with low device count per pixel analog-to-digital conversion
JP2015056902A (ja) Cmos固体撮像素子及び圧縮センシング方法
El-Desouki et al. CMOS active-pixel sensor with in-situ memory for ultrahigh-speed imaging
JP2015056903A (ja) Cmos固体撮像素子
CN105049753A (zh) 图像传感器和摄像设备
JP6461429B2 (ja) 画像センサ、制御方法及び電子機器
JP2018061183A5 (es)
ES2684521B1 (es) Sensor de imagenes
KR20160145217A (ko) 카운팅 회로, 그 카운팅 회로를 포함하는 이미지 센싱 장치 및 그 이미지 센싱 장치의 리드아웃 방법
KR20160119587A (ko) 카운팅 마스크를 이용한 dds 글로벌 카운팅 장치 및 그에 따른 씨모스 이미지 센서
KR102424155B1 (ko) 이미지 센싱 장치
JP2023053350A (ja) 光電変換装置および撮像システム
TW202020848A (zh) 用於時間遞色取樣之互補式金氧半導體感測器架構
US9706143B2 (en) Readout circuit and method of using the same
KR100339248B1 (ko) 씨모스이미지센서

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2684521

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20181003

FG2A Definitive protection

Ref document number: 2684521

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20190712

FD2A Announcement of lapse in spain

Effective date: 20230726