ES2868075T3 - Procedimiento de control, aparato de control, dispositivo de formación de imágenes y dispositivo electrónico - Google Patents

Abstract

Un procedimiento de control, aplicado a un dispositivo de formación de imágenes, donde el dispositivo de formación de imágenes comprende una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles, comprendiendo el procedimiento de control: controlar los píxeles fotosensibles de la matriz de unidades de píxeles para medir valores de luminosidad ambiental (101, 201); estando caracterizado por que el procedimiento de control comprende, además: determinar si una escena actual es una escena de retroiluminación de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles (102, 202), que comprende: generar un histograma de grises en base a valores de gris correspondientes a valores de luminosidad ambiental medidos por los píxeles fotosensibles de la matriz de unidades de píxeles, y determinar si la escena actual es la escena de retroiluminación en base a la proporción del número de píxeles fotosensibles en cada rango de escala de grises del histograma de grises; cuando la escena actual es la escena de retroiluminación, determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles, que comprende: dividir los píxeles fotosensibles con valores de luminosidad ambiental similares en la matriz de unidades de píxeles en una misma zona, comprendiendo la zona por lo menos un píxel fotosensible (103, 203); y controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad de un objeto de imagen en la zona (104), que comprende: obtener un valor de índice de ganancia de la zona de acuerdo con el valor de luminosidad ambiental de la zona y un valor de luminosidad objetivo preestablecido (204); cuando el valor de índice de ganancia es menor que un valor de índice de ganancia preestablecido, determinar si el objeto de imagen es estable (205); cuando el objeto de imagen es inestable, controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de alto rango dinámico de un solo cuadro (207); y cuando el objeto de imagen es estable, controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de alto rango dinámico de múltiples cuadros (206).

Description

DESCRIPCIÓN

Procedimiento de control, aparato de control, dispositivo de formación de imágenes y dispositivo electrónico

CAMPO TÉCNICO

La presente invención se refiere al campo de la tecnología de dispositivos electrónicos, y más particularmente, a un procedimiento de control, un aparato de control, un dispositivo de formación de imágenes, un dispositivo electrónico y un medio de almacenamiento legible.

ESTADO DE LA TÉCNICA ANTERIOR

A medida que se desarrolla la tecnología de los terminales, cada vez más usuarios utilizan dispositivos electrónicos para capturar imágenes. En la escena de retroiluminación, cuando el usuario utiliza la cámara frontal del dispositivo electrónico para hacer selfis, dado que el usuario está situado entre la fuente de luz y el dispositivo electrónico, es probable que la exposición de la cara sea insuficiente. Si se ajusta la exposición para aumentar la luminosidad de la cara, la zona del fondo estará sobreexpuesta, y ni siquiera se visualizará con claridad la escena de toma de fotografías.

En la técnica relacionada, la tecnología de alto rango dinámico (HDR, high dynamic range) se utiliza para controlar la matriz de píxeles para exponer secuencialmente con diferentes tiempos de exposición y entregar una serie de imágenes, y a continuación fusionar la serie de imágenes para obtener la imagen de alto rango dinámico, con el fin de mejorar el efecto de formación de imágenes sobre la zona facial y la zona del fondo.

Sin embargo, los inventores han descubierto que las calidades de formación de imágenes de las imágenes de alto rango dinámico capturadas de este modo varían con las escenas de toma de fotografías. En algunas escenas de toma de fotografías, la calidad de la imagen no es alta. Por lo tanto, este modo de toma de fotografías único no es adaptativo a múltiples escenas de toma de fotografías.

Las patentes CN108200354A y EP3537710A1 se refieren a un procedimiento de control de formación de imágenes. El procedimiento de control de formación de imágenes incluye: obtener un primer valor de índice de ganancia de acuerdo con un valor de luminancia del entorno, de un entorno de toma de fotografías, y un valor de luminancia objetivo preestablecido; y determinar un modo de toma de fotografías para toma de fotografías de acuerdo con el primer valor de índice de ganancia y con información de condición de conmutación preestablecida, incluyendo el modo de toma de fotografías un modo de luz brillante y un modo de luz oscura.

La patente WO2012110894A1 se refiere a extensión del rango dinámico combinando imágenes adquiridas por un dispositivo portátil con diferente exposición. En detalle, dos o más imágenes digitales de una misma escena son capturadas con diferentes niveles de exposición. Se generan pares de imágenes que tienen un mismo nivel de exposición, a partir de los datos de imagen de imágenes con diferente nivel de exposición, ajustando la exposición de por lo menos una del par de imágenes. Se genera un mapa de imagen fantasma en base a las diferencias entre el par de imágenes ajustadas a la misma exposición. Se genera un mapa borroso de imagen fantasma y se lleva a cabo composición alfa.

COMPENDIO

Las realizaciones de la presente invención se refieren a un procedimiento de control según la reivindicación independiente 1, a un aparato de control según la reivindicación independiente 7 y a un dispositivo de formación de imágenes según la reivindicación 13. Se definen otros aspectos de la presente solicitud mediante las reivindicaciones dependientes.

Las realizaciones de un primer aspecto de la presente invención dan a conocer un procedimiento de control. El procedimiento de control se aplica a un dispositivo de formación de imágenes. El dispositivo de formación de imágenes incluye una matriz de unidades de píxeles compuesto de una serie de píxeles fotosensibles, y el procedimiento de control incluye:

controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental;

determinar si una escena actual es una escena de retroiluminación según los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles;

cuando la escena actual es la escena de retroiluminación, determinar el valor de luminosidad ambiental de una zona de acuerdo con los valores de luminosidad ambiental medidos por píxeles fotosensibles en la matriz de unidades de píxeles, donde la zona incluye por lo menos un píxel fotosensible; y

controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y con la estabilidad de un objeto de imagen en la zona.

Las realizaciones de un segundo aspecto de la presente invención dan a conocer un aparato de control. El aparato de control se aplica a un dispositivo de formación de imágenes. El dispositivo de formación de imágenes incluye una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles. El aparato de control incluye un módulo de medición, un módulo de estimación, un módulo de determinación y un módulo de control.

El módulo de medición está configurado para controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental. El módulo de estimación está configurado para determinar si una escena actual es una escena de retroiluminación, según los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles. El módulo de determinación está configurado para determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con valores de luminosidad ambiental medidos por píxeles fotosensibles en la matriz de unidades de píxeles cuando la escena actual es la escena de retroiluminación, donde la zona incluye por lo menos un píxel fotosensible. El módulo de control está configurado para controlar los píxeles fotosensibles en la zona a fotografiar en un correspondiente modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad de un objeto de imagen en la zona.

Las realizaciones de un tercer aspecto de la presente invención dan a conocer un dispositivo de formación de imágenes. El dispositivo de formación de imágenes incluye una matriz de unidades de píxeles compuesto de una serie de píxeles fotosensibles, y el dispositivo de formación de imágenes incluye además un procesador.

El procesador está configurado para: controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental, determinar si una escena actual es una escena de retroiluminación según los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles; cuando la escena actual es la escena de retroiluminación, determinar el valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la matriz de unidades de píxeles, donde la zona incluye por lo menos un píxel fotosensible; y controlar los píxeles fotosensibles en la zona a fotografiar en un correspondiente modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y con la estabilidad de un objeto de imagen en la zona.

Las realizaciones de un cuarto aspecto de la presente invención dan a conocer un dispositivo electrónico que incluye una memoria, un procesador y un programa informático almacenado en la memoria, y ejecutable por el procesador. Cuando el procesador ejecuta el programa, se implementa el procedimiento de control mostrado en las anteriores realizaciones de la presente invención.

Las realizaciones de un quinto aspecto de la presente invención dan a conocer un medio de almacenamiento legible por ordenador, que tiene un programa informático almacenado, donde el programa está configurado para ser ejecutado por un procesador para implementar un procedimiento de control, tal como se muestra en las anteriores realizaciones de la presente invención.

En la presente invención, seleccionando el modo de toma de fotografías adecuado de acuerdo con el valor de luminosidad ambiental medido en cada zona y con la estabilidad del objeto de imagen en cada zona, es decir, adoptando el correspondiente modo de toma de fotografías según diferentes escenas de toma de fotografías, se puede resolver el problema de que la imagen capturada sea imprecisa cuando el objeto de imagen es inestable, mejorar el efecto de formación de imágenes y la calidad de formación de imágenes, y mejorar la experiencia del usuario en la toma de fotografías.

Otros aspectos y ventajas de la presente invención se proporcionarán en parte en las siguientes descripciones, resultarán evidentes en parte a partir de las siguientes descripciones o se aprenderán de la práctica de las realizaciones de la presente invención.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Estos y otros aspectos y/o ventajas de realizaciones de la presente invención resultarán evidentes y se apreciarán más claramente a partir de las siguientes descripciones, realizadas haciendo referencia a los dibujos adjuntos, en los que:

La figura 1 es un diagrama de flujo esquemático de un procedimiento de control, de acuerdo con la realización 1 de la presente invención.

La figura 2 es un diagrama esquemático de un histograma de grises correspondiente a una escena de retroiluminación, de acuerdo con realizaciones de la presente invención.

La figura 3 es un diagrama de flujo esquemático de un procedimiento de control según la realización 2 de la presente invención.

La figura 4 es un diagrama de flujo esquemático de un procedimiento de control según la realización 3 de la presente invención.

La figura 5 es un diagrama de flujo esquemático de un procedimiento de control según la realización 4 de la presente invención.

La figura 6 es un diagrama de flujo esquemático de un procedimiento de control según la realización 5 de la presente invención.

La figura 7 es un diagrama de flujo esquemático de un procedimiento de control según la realización 6 de la presente invención.

La figura 8 es un diagrama de bloques esquemático de un aparato de control, de acuerdo con la realización 7 de la presente invención.

La figura 9 es un diagrama de bloques esquemático de un aparato de control, de acuerdo con la realización 8 de la presente invención.

La figura 10 es un diagrama esquemático de un dispositivo electrónico, de acuerdo con realizaciones de la presente invención.

La figura 11 es un diagrama esquemático de un circuito de procesamiento de imágenes, de acuerdo con realizaciones de la presente invención.

DESCRIPCIÓN DETALLADA

Se describirán en detalle realizaciones de la presente invención y en los dibujos se muestran ejemplos de realizaciones. Los elementos iguales o similares, y los elementos que tienen funciones iguales o similares se denotan por numerales de referencia análogos en todas las descripciones. Las realizaciones descritas en la presente memoria haciendo referencia a los dibujos son explicativas, sirven para explicar la presente invención y no están concebidas para limitar las realizaciones de la presente invención.

Actualmente, una imagen HDR se implementa en general componiendo una serie de imágenes, por ejemplo, componiendo tres imágenes (una imagen de exposición larga, una imagen de exposición media y una imagen de exposición corta). De este modo, cuando el dispositivo electrónico es inestable o la velocidad de movimiento del objeto de imagen en la imagen es alta, es fácil que se genere un problema de mala calidad de la imagen HDR compuesta (por ejemplo, “doble imagen”, “imagen fantasma”) debido a un cambio en la escena de toma de fotografías.

La presente invención da a conocer un procedimiento de control dirigido principalmente al problema técnico de mala calidad de imágenes HDR en la técnica relacionada.

Con el procedimiento de control de las realizaciones de la presente invención, se controla la matriz de unidades de píxeles para medir valores de luminosidad ambiental, se determina si una escena actual es una escena de retroiluminación en función de los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles y, si la escena actual es la escena de retroiluminación, se determina el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles de acuerdo con el valor de luminosidad ambiental medido por respectivos píxeles fotosensibles en la matriz de unidades de píxeles, y los píxeles fotosensibles en cada zona se controlan para fotografiar en el correspondiente modo de toma de fotografías según el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona. En la presente invención, seleccionando el modo de toma de fotografías adecuado para tomar fotografías de acuerdo con el valor de luminosidad ambiental de cada zona y la estabilidad del objeto de imagen en cada zona, es decir, adoptando el correspondiente modo de toma de fotografías para tomar fotografías según las diferentes escenas de toma de fotografías, se puede resolver el problema de que la imagen capturada sea imprecisa cuando el objeto de imagen es inestable, mejorar el efecto de formación de imágenes y la calidad de formación de imágenes, y mejorar la experiencia del usuario en la toma de fotografías.

El procedimiento de control, el aparato de control, el dispositivo de formación de imágenes, el dispositivo electrónico y el medio de almacenamiento legible, de las realizaciones de la presente invención, se describen a continuación haciendo referencia a los dibujos adjuntos.

La figura 1 es un diagrama de flujo esquemático de un procedimiento de control, según una realización 1 de la presente invención.

El procedimiento de control de esta realización de la presente invención se aplica a un dispositivo de formación de imágenes. El dispositivo de formación de imágenes incluye una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles.

Tal como se muestra en la figura 1, el procedimiento de control incluye lo siguiente.

En el bloque 101, una matriz de unidades de píxeles se controla para medir valores de luminosidad ambiental.

En realizaciones de la presente invención, la matriz de unidades de píxeles se controla para medir los valores de luminosidad ambiental. En detalle, los píxeles fotosensibles en la matriz de unidades de píxeles se controlan para medir los valores de luminosidad ambiental, de manera que se pueden obtener los valores de luminosidad ambiental medidos por los respectivos píxeles fotosensibles.

En el bloque 102, se determina si una escena actual es una escena de retroiluminación, de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles.

Se entiende que, generalmente, cuando la escena actual es la escena de retroiluminación, los valores de luminosidad ambiental medidos por los respectivos píxeles fotosensibles en la matriz de unidades de píxeles tienen una diferencia significativa. Por lo tanto, como una posible implementación de la realización de la presente invención, el valor de luminosidad del objeto de imagen y el valor de luminosidad de la zona de fondo se pueden determinar de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles, y se puede determinar si la diferencia entre el valor de luminosidad del objeto de imagen y el valor de luminosidad de la zona de fondo es mayor que un umbral preestablecido. Cuando la diferencia entre el valor de luminosidad del objeto de imagen y el valor de luminosidad de la zona de fondo es mayor que el umbral preestablecido, se determina que la escena actual es la escena de retroiluminación, y cuando la diferencia entre el valor de luminosidad del objeto de imagen y el valor de luminosidad de la zona de fondo es menor o igual que el umbral preestablecido, se determina que la escena actual no es una escena de retroiluminación.

El umbral preestablecido puede estar preestablecido en el programa incorporado en el dispositivo electrónico, o puede ser ajustado por el usuario, lo cual no se limita. El objeto de imagen es un objeto que un dispositivo electrónico tiene que capturar, tal como una persona (o una cara humana), un animal, un objeto, una escena y similares.

Como otra posible implementación de la realización de la presente invención, el histograma de grises puede ser generado de acuerdo con los valores de grises correspondientes a los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles, y se puede determinar si la escena actual es la escena de retroiluminación de acuerdo con la proporción del número de píxeles fotosensibles en cada rango de escala de grises.

Por ejemplo, cuando de acuerdo con el histograma de grises, la proporción grayRatio del número de píxeles fotosensibles cuyos valores de escala de grises correspondientes a los valores de luminosidad ambiental en la matriz de unidades de píxeles están en el rango de escala de grises [0, 20], frente al número de todos los píxeles fotosensibles en la matriz de unidades de píxeles es mayor que un primer umbral, por ejemplo, que puede ser de 0,135, y la proporción grayRatio del número de píxeles fotosensibles cuyos valores de escala de grises correspondientes a los valores de luminosidad ambiental medidos están en el rango de escala de grises [200, 256), frente al número de todos los píxeles fotosensibles en la matriz de unidades de píxeles es mayor que un segundo umbral, por ejemplo, que puede ser de 0,0899, se determina que la escena actual es la escena de retroiluminación.

Alternativamente, cuando de acuerdo con el histograma de grises, la proporción grayRatio del número de píxeles fotosensibles cuyos valores de escala de grises correspondientes a los valores de luminosidad ambiental medidos en la matriz de unidades de píxeles están en el rango de escala de grises [0, 50], frente al número de todos los píxeles fotosensibles en la matriz de unidades de píxeles es mayor que un tercer valor umbral, por ejemplo, que puede ser de 0,3, y la proporción grayRatio del número de los píxeles fotosensibles cuyos valores de escala de grises correspondientes a los valores de luminosidad ambiental medidos están en el rango de escala de grises [200, 256), frente al número de todos los píxeles fotosensibles en la matriz de unidades de píxeles es mayor que un cuarto umbral, por ejemplo, que puede ser de 0,003, se determina que la escena actual es la escena de retroiluminación.

Alternativamente, cuando de acuerdo con el histograma de grises, la proporción grayRatio del número de píxeles fotosensibles cuyos valores de escala de grises correspondientes a los valores de luminosidad ambiental medidos en la matriz de unidades de píxeles están en el rango de escala de grises [0, 50], frente al número de todos los píxeles fotosensibles en la matriz de unidades de píxeles es mayor que un quinto umbral, por ejemplo, que puede ser de 0,005, y la proporción grayRatio del número de los píxeles fotosensibles cuyos valores de escala de grises correspondientes a los valores de luminosidad ambiental medidos están en el rango de escala de grises [200, 256), frente al número de todos los píxeles fotosensibles en la matriz de unidades de píxeles es mayor que un sexto umbral, por ejemplo, que puede ser de 0,25, se determina que la escena actual es la escena de retroiluminación.

Como un ejemplo, el histograma de grises correspondiente a la escena de retroiluminación puede ser tal como se muestra en la figura 2.

En el bloque 103, cuando la escena actual es la escena de retroiluminación, el valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles se determina de acuerdo con los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles, donde la zona incluye por lo menos un píxel fotosensible.

Se puede comprender que se utilizan diferentes píxeles fotosensibles para medir los valores de luminosidad ambiental de diferentes zonas en el actual entorno de toma de fotografías, y los valores de luminosidad ambiental medidos mediante píxeles fotosensibles diferentes pueden ser diferentes. Para mejorar el efecto de procesamiento de la imagen capturada, en la presente invención, la matriz de unidades de píxeles se puede dividir en zonas para obtener respectivas zonas en la matriz de unidades de píxeles, de manera que se puede llevar a cabo un procesamiento subsiguiente para cada zona utilizando una correspondiente estrategia de procesamiento de imágenes.

Como una posible implementación de la realización de la presente invención, la matriz de unidades de píxeles se puede dividir en zonas de acuerdo con los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles. En detalle, los píxeles fotosensibles con valores de luminosidad ambiental similares medidos en la matriz de unidades de píxeles se pueden dividir en la misma zona, en este caso, los valores de luminosidad ambiental medido por los píxeles fotosensibles pertenecientes a la misma zona son similares. Después de determinar zonas en la matriz de unidades de píxeles, para cada zona, el valor de luminosidad ambiental de la zona se puede determinar de acuerdo con los valores de luminosidad ambiental medidos por píxeles fotosensibles en la zona. Por ejemplo, se puede calcular un valor promedio de los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la zona, y el valor promedio puede ser utilizado como el valor de luminosidad ambiental de la zona. O, dado que los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la zona son similares, el valor máximo o mínimo de los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la zona puede ser utilizado como el valor de luminosidad ambiental de la zona, sin limitarse a este supuesto.

Como otra posible implementación de la realización de la presente invención, la matriz de unidades de píxeles puede ser dividida previamente de manera fija en zonas, y a continuación el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles se determina de acuerdo con los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la misma zona. Por ejemplo, para cada zona, se puede calcular un valor promedio de los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la zona, y el valor promedio puede ser utilizado como el valor de luminosidad ambiental de la zona. O se pueden adoptar otros algoritmos para determinar el valor de luminosidad ambiental de la zona, sin limitarse a esto.

En el bloque 104, los píxeles fotosensibles en la zona se controlan para fotografiar en el correspondiente modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona.

En las realizaciones de la presente invención, cuando la escena actual es la escena de retroiluminación, esto indica que los valores de luminosidad ambiental medidos por píxeles fotosensibles en la matriz de unidades de píxeles tienen una diferencia significativa. Por lo tanto, es necesario componer una imagen de alto rango dinámico, de manera que la imagen de alto rango dinámico pueda mostrar con claridad la escena de toma de fotografías actual.

En detalle, para cada zona en la matriz de unidades de píxeles, cuando los valores de luminosidad ambiental medidos en la zona son altos, la señal eléctrica obtenida por cada píxel fotosensible en la zona es fuerte, con menos ruido, para entregar por separado la información de píxeles originales, de manera que la resolución de la imagen objetivo capturada es alta; y cuando los valores de luminosidad ambiental medidos en la zona son bajos, la señal eléctrica obtenida por cada píxel fotosensible en la zona es débil, con más ruido, en este caso, la imagen objetivo se puede capturar conmutando al modo oscuro (el funcionamiento por defecto es el modo de luz brillante cuando está activado el dispositivo de formación de imágenes). El modo oscuro corresponde a un entorno oscuro, y se puede entender que el efecto de imagen de la imagen objetivo tomada en el modo oscuro en el entorno oscuro es mejor.

Además, cuando los valores de luminosidad ambiental medidos en la zona son altos, es posible asimismo determinar si el objeto de imagen en la zona es estable. Cuando el objeto de imagen en la zona es inestable, una imagen de alto rango dinámico puede estar compuesta por una imagen para impedir que aparezca el fenómeno de "imagen fantasma”; cuando el objeto de imagen en la zona es estable, una imagen de alto rango dinámico puede estar compuesta de una serie de imágenes, de manera que la escena de toma de fotografías actual se puede mostrar con claridad a través de la imagen de alto rango dinámico, y el efecto de formación de imágenes y la calidad de formación de imágenes se pueden mejorar.

Con el procedimiento de control de realizaciones de la presente invención, la matriz de unidades de píxeles se controla para medir el valor de luminosidad ambiental, se determina si la escena actual es la escena de retroiluminación de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles, y si la escena actual es la escena de retroiluminación, el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles se determina de acuerdo con los valores de luminosidad ambiental medidos por píxeles fotosensibles en la matriz de unidades de píxeles, y los píxeles fotosensibles en cada zona se controlan para fotografiar en el correspondiente modo de toma de fotografías de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona. En la presente invención, seleccionando el modo de toma de fotografías adecuado para tomar fotografías de acuerdo con el valor de luminosidad ambiental de cada zona y la estabilidad del objeto de imagen en cada zona, es decir, adoptando el correspondiente modo de toma de fotografías para tomar fotografías según las diferentes escenas de toma de fotografías, se puede resolver el problema de que la imagen capturada sea imprecisa cuando el objeto de imagen es inestable, mejorar el efecto de formación de imágenes y la calidad de formación de imágenes, y mejorar la experiencia del usuario en la toma de fotografías.

Para mostrar con claridad la realización anterior, esta realización da a conocer otro procedimiento de control. La figura 3 es un diagrama de flujo esquemático de un procedimiento de control según la realización 2 de la presente invención.

Tal como se muestra en la figura 3, el procedimiento de control puede incluir lo siguiente.

En el bloque 201, una matriz de unidades de píxeles se controla para medir valores de luminosidad ambiental.

En el bloque 202, se determina si la escena actual es la escena de retroiluminación, de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles.

En el bloque 203, cuando la escena actual es la escena de retroiluminación, el valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles se determina de acuerdo con los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la matriz de unidades de píxeles, donde la zona incluye por lo menos un píxel fotosensible.

Para la implementación de las acciones en los bloques 201 a 203, se puede hacer referencia a la implementación de las acciones en los bloques 101 a 103 en la realización anterior, que no se detallan en este caso.

El en el bloque 204 se obtiene un valor de índice de ganancia de la zona, de acuerdo con el valor de luminosidad ambiental y con el valor de luminosidad objetivo preestablecido.

En realizaciones de la presente invención, para cada zona en la matriz de unidades de píxeles, el valor de luminosidad ambiental de la zona se puede comparar con un valor de luminosidad objetivo preestablecido, para obtener el valor de índice de ganancia de la zona, donde el valor de índice de ganancia se utiliza para representar la luminosidad del entorno medida por los píxeles fotosensibles en cada zona, y el valor de índice de ganancia corresponde al valor de ganancia del dispositivo de formación de imágenes. Cuando el valor de luminosidad ambiental medido de la zona es menor que el valor de luminosidad objetivo, esto indica que es necesario proporcionar un valor de ganancia mayor para el dispositivo de formación de imágenes y, en consecuencia, también es necesario que sea grande el valor de índice de ganancia. En este caso, el píxel fotosensible detecta menos luz, y genera una señal de pequeño nivel, y se requiere un valor de ganancia mayor para aumentar la señal de nivel para el subsiguiente cálculo de la imagen objetivo. Por lo tanto, cuando el valor de índice de ganancia es grande, esto indica que el entorno medido por los píxeles fotosensibles en la zona es oscuro; cuando el valor de luminosidad ambiental es mayor que el valor de luminosidad objetivo, esto indica que el dispositivo de formación de imágenes tiene que recibir un valor de ganancia pequeño y, en consecuencia, el valor de índice de ganancia es pequeño, y en este caso el píxel fotosensible detecta más luz, la señal de nivel generada es grande asimismo, y se requiere solamente un valor de ganancia pequeño para aumentar la señal de nivel para el cálculo subsiguiente de la imagen objetivo. Por lo tanto, cuando el valor de índice de ganancia es pequeño, esto indica que el entorno medido por el píxel fotosensible en la zona es brillante.

En una realización específica de la presente invención, el valor diferencial entre el valor de luminosidad ambiental y el valor de luminosidad objetivo, el valor de ganancia y el valor de índice de ganancia tienen una correspondencia uno a uno, y la relación de correspondencia está almacenada previamente en la tabla de exposición. Después de obtenerse el valor de luminosidad ambiental, el valor de índice de ganancia que se corresponde se puede encontrar en la tabla de exposición según el valor diferencial entre el valor de luminosidad ambiental y el valor de luminosidad objetivo.

En el bloque 205, cuando el valor de índice de ganancia es menor que el valor de índice de ganancia preestablecido, se determina si el objeto de imagen es estable. Cuando el objeto de imagen es estable, se ejecuta la acción del bloque 206. Cuando el objeto de imagen es inestable, se ejecuta la acción del bloque 207.

En el procedimiento de control de realizaciones de la presente invención, puede estar preestablecido un valor de índice de ganancia preestablecido. En una realización de la presente invención, el valor de índice de ganancia preestablecido es 460. Por supuesto, en otras realizaciones, el valor de índice de ganancia preestablecido puede tener asimismo otros valores. Para cada zona en la matriz de unidades de píxeles, cuando el valor de índice de ganancia correspondiente a la zona es menor que el valor de índice de ganancia preestablecido, esto indica que el valor de luminosidad ambiental medido de cada zona es alto, y la señal eléctrica obtenida por cada píxel fotosensible en la zona es fuerte, con menos ruido. En este momento, se puede determinar además la estabilidad del objeto de imagen.

Como una posible implementación, se lee la imagen objetivo capturada en las últimas n ocasiones de toma de fotografías, y se determinan las posiciones del objeto de imagen en las imágenes objetivo capturadas en las últimas n ocasiones de toma de fotografías y, a continuación, se determina si el objeto de imagen es estable en base al cambio de posición del objeto de imagen en las imágenes objetivo capturadas en las últimas n ocasiones de toma de fotografías.

Alternativamente, se puede utilizar la técnica de procesamiento de imágenes basada en aprendizaje profundo para determinar la posición del objeto de imagen en la imagen objetivo. En detalle, se puede identificar una característica de imagen en la zona de formación de imágenes del objeto de imagen en la imagen objetivo, y a continuación la característica de imagen identificada es introducida en el modelo de reconocimiento de características de imagen entrenado previamente, para determinar la posición del objeto de imagen en la imagen objetivo. La imagen de muestra se puede seleccionar, y a continuación se etiquetan objetos respectivos en la imagen de muestra, en base a la característica de imagen de la imagen de muestra, y se marca la posición de cada objeto en la imagen de muestra, y a continuación se entrena el modelo de reconocimiento de características de imagen utilizando la imagen de muestra etiquetada. Después de entrenarse el modelo de reconocimiento, la imagen objetivo puede ser identificada por el modelo de reconocimiento entrenado, para determinar la posición del objeto de imagen en la imagen objetivo.

Como otra posible implementación, cuando el dispositivo de formación de imágenes es inestable, ocurre asimismo un fenómeno de “imagen fantasma” en la imagen capturada. Por lo tanto, en la presente invención, si el objeto de imagen es estable se puede determinar en función de la estabilidad del dispositivo de formación de imágenes. En detalle, se determina si el dispositivo de formación de imágenes es estable, utilizando un sensor dispuesto en el dispositivo de formación de imágenes, y cuando el dispositivo de formación de imágenes es inestable, se determina que el objeto de imagen es inestable. De este modo, es innecesario entrenar el modelo de reconocimiento y utilizar a continuación el modelo de reconocimiento para determinar la estabilidad del objeto de imagen, lo que puede reducir la dificultad y el coste del desarrollo. Además, utilizando un sensor con mayor sensibilidad para determinar la estabilidad del objeto de imagen se puede mejorar la precisión del resultado de la estimación.

Por ejemplo, el dispositivo de formación de imágenes puede estar dotado de un sensor de movimiento, tal como un sensor giroscópico. Cuando el sensor giroscópico detecta que el desplazamiento del dispositivo de formación de imágenes en cada dirección es menor o igual que un intervalo preestablecido, se considera que el dispositivo de formación de imágenes es estable. Cuando el sensor giroscópico detecta que el desplazamiento del dispositivo de formación de imágenes en alguna dirección es mayor que el intervalo preestablecido, se considera que el dispositivo de formación de imágenes es inestable. El intervalo preestablecido puede estar preestablecido en el programa incorporado del dispositivo electrónico, o puede ser ajustado por el usuario, lo que no se limita. Por ejemplo, el intervalo preestablecido puede ser de 0,08.

Alternativamente, el dispositivo de formación de imágenes puede estar dotado de un sensor de velocidad para detectar la velocidad de desplazamiento del dispositivo de formación de imágenes. Cuando la velocidad de desplazamiento del dispositivo de formación de imágenes es mayor que la velocidad predeterminada, se determina que el dispositivo de formación de imágenes es inestable, y cuando la velocidad de desplazamiento del dispositivo de formación de imágenes es menor o igual que la velocidad predeterminada, se determina que el dispositivo de formación de imágenes es estable. La velocidad predeterminada puede estar preestablecida en un programa incorporado en el dispositivo electrónico, o puede ser ajustada por un usuario, de manera no limitativa.

En el bloque 206, se lleva a cabo toma de fotografías en un modo de toma de fotografías de alto rango dinámico de múltiples cuadros.

En realizaciones de la presente invención, cuando el objeto de imagen es estable, el modo de toma de fotografías de alto rango dinámico de múltiples cuadros se puede utilizar para tomar fotografías, es decir, la imagen de alto rango dinámico se compone de la serie de imágenes, de manera que la imagen de alto rango dinámico puede mostrar con claridad la escena de toma de fotografías actual, lo que mejora el efecto de formación de imágenes y la calidad de formación de imágenes.

En el bloque 207, se lleva a cabo toma de fotografías utilizando un modo de toma de fotografías de alto rango dinámico de un solo cuadro.

En realizaciones de la presente invención, cuando el objeto de imagen es inestable, el modo de toma de fotografías de alto rango dinámico de un solo cuadro se puede utilizar para tomar fotografías. En otras palabras, la imagen de alto rango dinámico está compuesta por una imagen para impedir el fenómeno de “imagen fantasma”.

En el bloque 208, cuando el valor de índice de ganancia es mayor que el valor de índice de ganancia preestablecido, la imagen objetivo es capturada en el modo oscuro.

En realizaciones de la presente invención, cuando el valor de índice de ganancia es mayor que el valor de índice de ganancia preestablecido, esto indica que el valor de luminosidad ambiental de la zona es bajo. En este momento, la señal eléctrica obtenida por cada píxel fotosensible en la zona es débil, con más ruido. Por lo tanto, la imagen objetivo se puede capturar conmutando al modo oscuro (el funcionamiento por defecto es en el modo de luz brillante cuando el dispositivo de formación de imágenes está activado).

Con el procedimiento de control de la realización de la presente invención, cuando la escena actual es la escena de retroiluminación, esto indica que los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles tienen una diferencia significativa. Por lo tanto, es necesario componer una imagen de alto rango dinámico para permitir que la imagen de alto rango dinámico muestre con claridad la escena de toma de fotografías actual. Cuando el objeto de imagen es estable, se utiliza el modo de toma de fotografías de alto rango dinámico de múltiples cuadros, en otras palabras, la imagen de alto rango dinámico se compone de la serie de imágenes, de tal modo que la imagen de alto rango dinámico puede mostrar con claridad la escena de toma de fotografías actual, lo que mejora el efecto de formación de imágenes y la calidad de formación de imágenes. Cuando el objeto de imagen es inestable, se utiliza el modo de toma de fotografías de alto rango dinámico de un solo cuadro para tomar fotografías, es decir, la imagen de alto rango dinámico se compone de una imagen, de tal modo que se impide el fenómeno de “imagen fantasma”.

Como una posible implementación, tal como se muestra en la figura 4, en base a la realización mostrada en la figura 3, la acción en el bloque 207 puede incluir específicamente lo siguiente.

En el bloque 301, la matriz de unidades de píxeles se controla para entregar una serie de informaciones de píxeles originales respectivamente a diferentes tiempos de exposición.

En realizaciones de la presente invención, el píxel fotosensible puede incluir una serie de píxeles de exposición larga, una serie de píxeles de exposición media y una serie de píxeles de exposición corta. El píxel de exposición larga se refiere a que el tiempo de exposición correspondiente al píxel fotosensible es un tiempo de exposición larga, y el píxel de exposición media se refiere a que el tiempo de exposición correspondiente al píxel fotosensible es un tiempo de exposición media, y el píxel de exposición corta se refiere a que el tiempo de exposición correspondiente al píxel fotosensible es un tiempo de exposición corta. El tiempo de exposición larga > el tiempo de exposición media > el tiempo de exposición corta, en otras palabras, el tiempo de exposición larga del píxel de exposición larga es mayor que el tiempo de exposición media del píxel de exposición media, y el tiempo de exposición media del píxel de exposición media es mayor que el tiempo de exposición corta del píxel de exposición corta. Cuando el dispositivo de formación de imágenes está en funcionamiento, los píxeles de exposición larga, los píxeles de exposición media y los píxeles de exposición corta se exponen simultáneamente. La exposición simultánea se refiere a que el tiempo de exposición de los píxeles de exposición media y los píxeles de exposición corta está dentro del tiempo de exposición de los píxeles de exposición larga.

En detalle, el píxel de exposición larga puede controlarse primero para iniciar la exposición en primer lugar, y durante la exposición del píxel de exposición larga, el píxel de exposición media y el píxel de exposición corta se controlan para ser expuestos, donde el tiempo límite de exposición del píxel de exposición media y del píxel de exposición corta debería ser igual o menor que el tiempo límite de exposición de los píxeles de exposición larga. O el píxel de exposición larga, el píxel de exposición media y el píxel de exposición corta se controlan para iniciar la exposición simultáneamente, en otras palabras, el tiempo de inicio de la exposición en el píxel de exposición larga, el píxel de exposición media y el píxel de exposición corta son idénticos. En este caso, es innecesario controlar la matriz de unidades de píxeles para llevar a cabo exposición larga, exposición media y exposición corta en secuencia, lo que puede reducir el tiempo de toma de fotografías de la imagen objetivo.

Cuando el objeto de imagen es inestable, el dispositivo de formación de imágenes controla primero los píxeles de exposición larga, los píxeles de exposición media y los píxeles de exposición corta en cada píxel fotosensible en la matriz de unidades de píxeles para exponerlos simultáneamente, donde el tiempo de exposición correspondiente a los píxeles de exposición larga es el tiempo de exposición larga inicial, el tiempo de exposición correspondiente a los píxeles de exposición media es el tiempo de exposición media inicial y el tiempo de exposición correspondiente a los píxeles de exposición corta es el tiempo de exposición corta inicial, y el tiempo de exposición larga inicial, el tiempo de exposición media inicial y el tiempo de exposición corta inicial están todos preestablecidos. Después de que se complete la exposición, cada uno de los píxeles fotosensibles en la matriz de unidades de píxeles entrega una serie de informaciones de píxeles originales respectivamente a diferentes tiempos de exposición.

En el bloque 302, se obtiene una información de píxeles fusionados calculando la información de píxeles originales con el mismo tiempo de exposición en el mismo píxel fotosensible.

En el bloque 303, se entrega la imagen objetivo de acuerdo con la información de píxeles fusionados.

Por ejemplo, cuando cada uno de los píxeles fotosensibles incluye un píxel de exposición larga, dos píxeles de exposición media y un píxel de exposición corta, la información de píxeles originales del único píxel de exposición larga es la información de píxeles fusionados de exposición larga, y una suma de la información de píxeles originales de los dos píxeles de exposición media es la información de píxeles fusionados de exposición media, la información de píxeles originales del único píxel de exposición corta es la información de píxeles fusionados de exposición corta. Cuando cada píxel fotosensible incluye 2 píxeles de exposición larga, 4 píxeles de exposición media y 2 píxeles de exposición corta, la suma de la información de píxeles originales de los dos píxeles de exposición larga es la información de píxeles fusionados de exposición larga, y la suma de la información de píxeles originales de los cuatro píxeles de exposición media es la información de píxeles fusionados de exposición media y la suma de la información de píxeles originales de los dos píxeles de exposición corta es la información de píxeles fusionados de exposición corta. De este modo, se pueden obtener una serie de informaciones de píxeles fusionados de exposición larga, una serie de informaciones de píxeles fusionados de exposición media y una serie de informaciones de píxeles fusionados de exposición corta de toda la matriz de unidades de píxeles.

A continuación, la imagen secundaria de exposición larga se calcula de acuerdo con la interpolación de la serie de informaciones de píxeles fusionados de exposición larga, la imagen secundaria de exposición media se calcula de acuerdo con la interpolación de la serie de informaciones de píxeles fusionados de exposición media, la imagen secundaria de exposición corta se calcula de acuerdo con la interpolación de la serie de informaciones de píxeles fusionados de exposición corta. Finalmente, la imagen secundaria de exposición larga, la imagen secundaria de exposición media y la imagen secundaria de exposición corta son fusionadas y procesadas para obtener la imagen objetivo de alto rango dinámico, donde la imagen secundaria de exposición larga, la imagen secundaria de exposición media y la imagen secundaria de exposición corta no son tres imágenes en el sentido tradicional, sino partes de la imagen formadas por las correspondientes zonas de los píxeles de exposición larga, corta y media en la misma imagen.

Alternativamente, después de que se complete la exposición de la matriz de unidades de píxeles, en base a la información de píxeles originales entregada por los píxeles de exposición larga, la información de píxeles originales de los píxeles de exposición corta y la información de píxeles originales de los píxeles de exposición media se pueden superponer con la información de píxeles originales de los píxeles de exposición larga. En detalle, para el mismo píxel fotosensible, la información de píxeles originales de los tres diferentes tiempos de exposición puede recibir respectivamente diferentes ponderaciones, y después de que la información de píxeles originales correspondiente a cada tiempo de exposición se multiplique por la ponderación, la información de píxeles originales obtenida multiplicada por la ponderación se suma como información de píxeles fusionados de un píxel fotosensible. A continuación, dado que cambia el nivel de gris de cada información de píxeles fusionados calculado de acuerdo con la información de píxeles originales de los tres diferentes tiempos de exposición, es necesario llevar a cabo compresión de un nivel de gris de cada información de píxeles fusionados después de obtener la información de píxeles fusionados. Una vez se completa la compresión, la imagen objetivo se puede obtener llevando a cabo un cálculo de interpolación en base a la información de píxeles fusionados obtenida después de la serie de compresiones. De este modo, la parte oscura de la imagen objetivo ha sido compensada por la información de píxeles originales entregada por los píxeles de exposición larga, y la parte brillante ha sido comprimida por la información de píxeles originales entregada por los píxeles de exposición corta. Por lo tanto, la imagen objetivo no tiene una zona sobreexpuesta y una zona infraexpuesta, y tiene un mayor rango dinámico y un mejor efecto de formación de imágenes.

Además, para mejorar más la calidad de formación de imágenes de la imagen objetivo, después de que los píxeles de exposición larga, los píxeles de exposición media y los píxeles de exposición corta se expongan simultáneamente de acuerdo con el tiempo de exposición larga inicial, el tiempo de exposición media inicial y el tiempo de exposición corta inicial respectivamente, se puede calcular un histograma de exposición larga en base a la información de píxeles originales entregada por los píxeles de exposición larga, se puede calcular un histograma de exposición corta en base a la información de píxeles originales entregada por los píxeles de exposición corta, y el tiempo de exposición larga inicial se corrige de acuerdo con el histograma de exposición larga para obtener el tiempo de exposición larga corregido, el tiempo de exposición corta inicial se corrige de acuerdo con el histograma de exposición corta para obtener el tiempo de exposición corta corregido. A continuación, los píxeles de exposición larga, los píxeles de exposición media y los píxeles de exposición corta se controlan para ser expuestos simultáneamente de acuerdo con el tiempo de exposición larga corregido, el tiempo de exposición media inicial y el tiempo de exposición corta inicial, respectivamente.

El proceso de corrección no es en una etapa, sino que el dispositivo de formación de imágenes tiene que llevar a cabo múltiples exposiciones simultáneas de los píxeles de exposición larga, media y corta. Después de cada exposición simultánea, el dispositivo de formación de imágenes sigue corrigiendo el tiempo de exposición larga y el tiempo de exposición corta de acuerdo con el histograma de exposición larga y el histograma de exposición corta generados, y la siguiente exposición simultánea se lleva a cabo de acuerdo con el último tiempo de exposición larga corregido, el tiempo de exposición media inicial y el último tiempo de exposición corta corregido, para seguir obteniendo el histograma de exposición larga y el histograma de exposición corta. Este procedimiento se repite hasta que no haya ninguna zona infraexpuesta de la imagen correspondiente al histograma de exposición larga y ninguna zona sobreexpuesta en la imagen correspondiente al histograma de exposición corta y, en este momento, el tiempo de exposición larga corregido y el tiempo de exposición corta corregido son el tiempo de exposición larga corregido final y el tiempo de exposición corta corregido final. Una vez se completa la exposición, la imagen objetivo se calcula de acuerdo con la salida de los píxeles de exposición larga, los píxeles de exposición media y los píxeles de exposición corta. El procedimiento de cálculo es el mismo que en la realización anterior, que no se detalla en este caso.

Pueden existir uno o varios histogramas de exposición larga. Cuando existe un histograma de exposición larga, el histograma de exposición larga se puede generar en base a la información de píxeles originales de todos los píxeles de exposición larga. Cuando existen una serie de histogramas de exposición larga, los píxeles de exposición larga se pueden dividir en zonas, y se genera un histograma de exposición larga de acuerdo con la información de píxeles originales de la serie de imágenes de exposición larga en cada zona, de manera que la serie de zonas corresponden a la serie de histogramas de exposición larga. La función de dividir zonas es mejorar la precisión de cada tiempo de exposición larga corregido y acelerar el proceso de corrección del tiempo de exposición larga. De manera similar, pueden existir uno o varios histogramas de exposición corta. Cuando existe un histograma de exposición corta, el histograma de exposición corta se puede generar en base a la información de píxeles originales de todos los píxeles de exposición corta. Cuando existen una serie de histogramas de exposición corta, los píxeles de exposición corta se pueden dividir en zonas, y se genera un histograma de exposición corta de acuerdo con la información de píxeles originales de la serie de píxeles de exposición corta en cada zona, de manera que la serie de zonas corresponden a la serie de histogramas de exposición corta. La función de dividir zonas es mejorar la precisión de cada tiempo de exposición corta corregido con el fin de acelerar el proceso de corrección del tiempo de exposición corta.

Como una posible implementación, tal como se muestra en la figura 5, en base a la realización mostrada en la figura 4, la acción en el bloque 302 puede incluir específicamente lo siguiente.

En el bloque 401, en el mismo píxel fotosensible, se selecciona información de píxeles originales de píxeles de exposición larga, información de píxeles originales de píxeles de exposición corta o información de píxeles originales de píxeles de exposición media.

En realizaciones de la presente invención, en el mismo píxel fotosensible, se selecciona la información de píxeles originales de los píxeles de exposición larga, la información de píxeles originales de los píxeles de exposición corta o la información de píxeles originales de los píxeles de exposición media, en otras palabras, se selecciona una información de píxeles originales a partir de la información de píxeles originales de los píxeles de exposición larga, la información de píxeles originales de los píxeles de exposición corta y la información de píxeles originales de los píxeles de exposición media.

Por ejemplo, cuando un píxel fotosensible incluye un píxel de exposición larga, dos píxeles de exposición media y un píxel de exposición corta, y cuando la información de píxeles originales del píxel de exposición larga es 80, la información de píxeles originales de los dos píxeles de exposición media es 255, y la información de píxeles originales del píxel de exposición corta es 255, dado que 255 es el límite superior de la información de píxeles originales, la información de píxeles originales del píxel de exposición larga se puede seleccionar como 80.

En el bloque 402, se calcula la información de píxeles fusionados de acuerdo con la información de píxeles originales seleccionada y la relación de exposición entre el tiempo de exposición larga, el tiempo de exposición media y el tiempo de exposición corta.

Tomando también el ejemplo anterior, suponiendo que la relación de exposición entre el tiempo de exposición larga, el tiempo de exposición media y el tiempo de exposición corta es 16:4:1, la información de píxeles fusionados es entonces: 80*16=1280.

Dado que límite superior de la información de píxeles originales en la técnica relacionada es de 255, calculando la información de píxeles fusionados de acuerdo con la información de píxeles originales seleccionada y la relación de exposición entre el tiempo de exposición larga, el tiempo de exposición media y el tiempo de exposición corta, el rango dinámico se puede extender para obtener una imagen de alto rango dinámico, mejorando de ese modo el efecto de formación de imágenes de la imagen objetivo.

Como una posible implementación, tal como se muestra en la figura 6, en base a la realización mostrada en la figura 3, la acción en el bloque 206 puede específicamente incluir lo siguiente.

En el bloque 501, la matriz de unidades de píxeles se controla para llevar a cabo una serie de exposiciones con diferentes grados de exposición.

En la realización de la presente solicitud, la matriz de unidades de píxeles se controla para llevar a cabo una serie de exposiciones con diferentes grados de exposición, es decir, diferente tiempo de exposición. Por ejemplo, la matriz de unidades de píxeles se puede controlar para llevar a cabo 3 exposiciones con un tiempo de exposición larga, un tiempo de exposición media y un tiempo de exposición corta. El grado de exposición, es decir, el tiempo de exposición, puede estar preestablecido en un programa incorporado del dispositivo electrónico, o puede ser ajustado por el usuario, para mejorar la flexibilidad y aplicabilidad del procedimiento de control.

En el bloque 502, se genera una imagen original de acuerdo con la información de píxeles originales entregada por respectivos píxeles fotosensibles de la matriz de unidades de píxeles a la misma exposición.

En realizaciones de la presente invención, para diferentes grados de exposición, por ejemplo, el tiempo de exposición larga, el tiempo de exposición media o el tiempo de exposición corta, la información de píxeles originales entregada por respectivos píxeles fotosensibles es diferente. Para la misma exposición, se genera una imagen original de acuerdo con la información de píxeles originales entregada por respectivos píxeles fotosensibles. Por ejemplo, se genera una imagen original de exposición larga, una imagen original de exposición media y una imagen original de exposición corta para la misma imagen original, el tiempo de exposición de diferentes píxeles fotosensibles en la matriz de unidades de píxeles es idéntico, es decir, el tiempo de exposición de diferentes píxeles fotosensibles de la imagen original de exposición larga es idéntico, el tiempo de exposición de diferentes píxeles fotosensibles de la imagen original de exposición media es idéntico y el tiempo de exposición de diferentes píxeles fotosensibles de la imagen original de exposición corta es idéntico.

En el bloque 503, la imagen objetivo se obtiene componiendo las imágenes originales generadas mediante exposición con diferentes grados de exposición.

En realizaciones de la presente invención, después de que se obtengan imágenes originales generadas con diferentes grados de exposición, las imágenes originales generadas con diferentes grados de exposición se pueden componer para obtener la imagen objetivo. Por ejemplo, para las imágenes originales generadas con diferentes grados de exposición, se pueden asignar respectivamente diferentes ponderaciones, y a continuación las imágenes originales generadas mediante exposición con diferentes grados de exposición se pueden componer para obtener la imagen objetivo. Las ponderaciones correspondientes a las imágenes originales generadas con diferentes grados de exposición pueden estar preestablecidas en el programa incorporado del dispositivo electrónico, o pueden ser ajustadas por el usuario, de forma no limitativa.

Por ejemplo, cuando la matriz de unidades de píxeles se controla para llevar a cabo tres exposiciones con un tiempo de exposición larga, un tiempo de exposición media y un tiempo de exposición corta respectivamente, se genera una imagen original de exposición larga, una imagen original de exposición media y una imagen original de exposición corta, de acuerdo con información de píxeles originales entregada por respectivos píxeles fotosensibles. A continuación, la imagen original de exposición larga, la imagen original de exposición media y la imagen original de exposición corta se componen de acuerdo con las ponderaciones preestablecidas correspondientes a la imagen original de exposición larga, la imagen original de exposición media y la imagen original de exposición corta, y se puede obtener una imagen objetivo de alto rango dinámico.

Se debe observar que el procedimiento anterior en el que la imagen objetivo de alto rango dinámico se compone utilizando tres imágenes originales es solamente un ejemplo. En otras realizaciones, el número de imágenes originales puede ser asimismo de dos, cuatro, cinco, seis, sin limitación específica. Por ejemplo, cuando el número de imágenes originales es de dos, la matriz de unidades de píxeles se puede controlar para llevar a cabo dos exposiciones con un tiempo de exposición larga y un tiempo de exposición corta, respectivamente, o la matriz de unidades de píxeles se puede controlar para llevar a cabo dos exposiciones con un tiempo de exposición media y un tiempo de exposición corta, respectivamente, o la matriz de unidades de píxeles se puede controlar para llevar a cabo dos exposiciones con un tiempo de exposición larga y un tiempo de exposición media, respectivamente.

Como una posible implementación, tal como se muestra en la figura 7, en base a la realización mostrada en la figura 3, la acción en el bloque 208 puede específicamente incluir lo siguiente.

En el bloque 601, la matriz de unidades de píxeles se controla para llevar a cabo una serie de exposiciones con diferente tiempo de exposición para obtener una serie de imágenes fusionadas, donde la imagen fusionada incluye los píxeles fusionados dispuestos en una matriz, y la serie de píxeles de exposición larga, la serie de píxeles de exposición media y la serie de píxeles de exposición corta en el mismo píxel fotosensible se fusionan para producir un píxel fusionado, y el tiempo de exposición de diferentes píxeles fotosensibles en la misma imágenes fusionadas es idéntico.

En realizaciones de la presente invención, cuando el valor de índice de ganancia es mayor que el valor de índice de ganancia preestablecido, esto indica que el valor de luminosidad ambiental correspondiente a la zona es bajo. En este momento, la señal eléctrica obtenida por cada píxel fotosensible en la zona es débil, con menos ruido. Una serie de píxeles de exposición larga, una serie de píxeles de exposición media y una serie de píxeles de exposición corta en un píxel fotosensible se pueden fusionar para producir un píxel fusionado, reduciendo de ese modo el ruido de la imagen fusionada.

En realizaciones de la presente invención, la matriz de unidades de píxeles se controla para llevar a cabo una serie de exposiciones con diferente tiempo de exposición para obtener una serie de imágenes fusionadas. La imagen fusionada incluye píxeles fusionados dispuestos en una matriz, y la serie de píxeles de exposición larga, la serie de píxeles de exposición media y la serie de píxeles de exposición corta en el mismo píxel fotosensible se fusionan para entregar un píxel fusionado. La serie de imágenes fusionadas pueden ser, por ejemplo, tres imágenes fusionadas, y las tres imágenes fusionadas incluyen una imagen fusionada de exposición larga, una imagen fusionada de exposición media y una imagen fusionada de exposición corta, y el tiempo de exposición de las tres imágenes fusionadas es diferente. En detalle, el tiempo de exposición de la imagen fusionada de exposición larga es mayor que el tiempo de exposición de la imagen fusionada de exposición media, y el tiempo de exposición de la imagen fusionada de exposición media es mayor que el tiempo de exposición de la imagen fusionada de exposición corta. El valor de cada tiempo de exposición puede estar preestablecido en el programa incorporado del dispositivo electrónico, o puede ser ajustado por el usuario, de forma no limitativa. El tiempo de exposición de diferentes píxeles fotosensibles de la misma imagen fusionada es idéntico, es decir, los tiempos de exposición de diferentes píxeles fotosensibles de la imagen fusionada de exposición larga son idénticos, los tiempos de exposición de diferentes píxeles fotosensibles de la imagen fusionada de exposición media son idénticos, y los tiempos de exposición de diferentes píxeles fotosensibles de la imagen fusionada de exposición corta son idénticos.

En el bloque 602, se obtiene una imagen de alto rango dinámico, de acuerdo con la serie de imágenes fusionadas.

Finalmente, la imagen de alto rango dinámico se puede obtener componiendo la serie de imágenes fusionadas. Por ejemplo, las tres imágenes fusionadas procesadas mediante diferentes ponderaciones se componen para obtener una imagen de alto rango dinámico, donde la ponderación correspondiente a la imagen fusionada puede estar preestablecida en el programa incorporado del dispositivo electrónico, o puede ser ajustada por el usuario, de forma no limitativa.

Se debe observar que el procedimiento anterior en el que la imagen de alto rango dinámico se compone utilizando tres imágenes fusionadas es solamente un ejemplo. En otras realizaciones, el número de imágenes fusionadas puede asimismo ser de dos, cuatro, cinco, seis, de forma no limitativa.

Para implementar las realizaciones anteriores, la presente invención da a conocer asimismo un aparato de control.

La figura 8 es un diagrama de bloques esquemático de un aparato de control, de acuerdo con la realización 7 de la presente invención.

El aparato de control de realizaciones de la presente invención se aplica a un dispositivo de formación de imágenes, y el dispositivo de formación de imágenes incluye una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles.

Tal como se muestra en la figura 8, el aparato de control 100 incluye: un módulo de medición 101, un módulo de estimación 102, un módulo de determinación 103 y un módulo de control 104.

El módulo de medición 101 está configurado para controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental.

El módulo de estimación 102 está configurado para determinar si una escena actual es una escena de retroiluminación, según los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles.

Como una posible implementación, el módulo de estimación 102 está configurado específicamente para: generar un histograma de grises en base a los valores de gris correspondientes a los valores de luminosidad ambiental medidos de la matriz de unidades de píxeles; y determinar si la escena actual es la escena de retroiluminación de acuerdo con la proporción del número de píxeles fotosensibles en cada rango de grises.

El módulo de determinación 103 está configurado para determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles, cuando la escena actual es la escena de retroiluminación, donde la zona incluye por lo menos un píxel fotosensible.

Como una posible implementación, el módulo de determinación 103 está configurado para: llevar a cabo división de zonas en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles, donde los valores de luminosidad ambiental de los píxeles fotosensibles que pertenecen a la misma zona son similares; y determinar el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la misma zona.

Como otra posible implementación, el módulo de determinación 103 está configurado para determinar respectivas zonas en la matriz de unidades de píxeles que está previamente dividida de manera fija; y determinar el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por píxeles fotosensibles en la misma zona.

El módulo de control 104 está configurado para controlar los píxeles fotosensibles en la zona a fotografiar en un correspondiente modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental medido en la zona y con la estabilidad de un objeto de imagen en la zona.

Además, en una posible implementación de las realizaciones de la presente invención, tal como se muestra en la figura 9, en base a la realización mostrada en la figura 8, el aparato de control 100 incluye además lo siguiente. Como una posible implementación, el módulo de control 104 incluye un módulo secundario de obtención 1041, un módulo secundario de determinación 1042, un módulo secundario de toma de fotografías de un solo cuadro 1043, un módulo secundario de toma de fotografías de múltiples cuadros 1044 y un módulo secundario de toma de fotografías en modo oscuro 1045.

El módulo secundario de obtención 1041 está configurado para obtener un valor de índice de ganancia en la zona de acuerdo con el valor de luminosidad ambiental y con un valor de luminosidad objetivo preestablecido.

El módulo secundario de determinación 1042 está configurado para determinar si el objeto de imagen es estable cuando el valor de índice de ganancia es menor que el valor de índice de ganancia preestablecido.

Como una posible implementación, el módulo secundario de determinación 1042 está configurado específicamente para: leer las imágenes objetivo capturadas en las últimas n ocasiones de toma de fotografías, y determinar las posiciones del objeto de imagen en las imágenes objetivo capturadas en las últimas n ocasiones de toma de fotografías; y determinar si el objeto de imagen es estable en base al cambio de posición del objeto de imagen en las imágenes objetivo capturadas en las últimas n ocasiones de toma de fotografías.

Como otra posible implementación, el módulo secundario de determinación 1042 está configurado específicamente para: determinar si el dispositivo de formación de imágenes es estable utilizando un sensor dispuesto en el dispositivo de formación de imágenes; y determinar que el objeto de imagen es inestable cuando el dispositivo de formación de imágenes es inestable.

El módulo secundario de toma de fotografías de un solo cuadro 1043 está configurado para fotografiar utilizando un modo de toma de fotografías de alto rango dinámico de un solo cuadro, cuando el objeto de imagen es inestable. El módulo secundario de toma de fotografías de múltiples cuadros 1044 está configurado para fotografiar utilizando un modo de toma de fotografías de alto rango dinámico de múltiples cuadros cuando el objeto de imagen es estable. El módulo secundario de toma de fotografías en modo oscuro 1045 está configurado para capturar la imagen objetivo en el modo oscuro cuando el valor de índice de ganancia es mayor que el valor de índice de ganancia preestablecido.

Como una posible implementación, el píxel fotosensible incluye una serie de píxeles de exposición larga, una serie de píxeles de exposición media y una serie de píxeles de exposición corta, y el módulo secundario de toma de fotografías de un solo cuadro 1043 incluye una primera unidad de control 10431, una unidad de cálculo 10432 y una unidad de salida 10433.

La primera unidad de control 10431 está configurada para controlar la matriz de unidades de píxeles para entregar una serie de informaciones de píxeles originales a diferentes tiempos de exposición, donde el tiempo de exposición larga del píxel de exposición larga es mayor que el tiempo de exposición media del píxel de exposición media, y el tiempo de exposición media de los píxeles de exposición media es mayor que el tiempo de exposición de los píxeles de exposición corta.

La unidad de cálculo 10432 está configurada para calcular la información de píxeles fusionados de acuerdo con la información de píxeles originales con el mismo tiempo de exposición en el mismo píxel fotosensible.

Como una posible implementación, la unidad de cálculo 10432 está configurada para: seleccionar información de píxeles originales de los píxeles de exposición larga, información de píxeles originales de los píxeles de exposición corta, o información de píxeles originales de los píxeles de exposición media en el mismo píxel fotosensible; y calcular y obtener la información de píxeles fusionados de acuerdo con la información de píxeles originales seleccionada, y la relación de exposición entre el tiempo de exposición larga, el tiempo de exposición media y el tiempo de exposición corta.

La unidad de salida 10433 está configurada para entregar una imagen objetivo de acuerdo con la información de píxeles fusionados.

Como una posible implementación, el módulo secundario de toma de fotografías de múltiples cuadros 1044 incluye una segunda unidad de control 10441, una unidad de generación 10442 y una unidad de composición 10443

La segunda unidad de control 10441 está configurada para controlar la matriz de unidades de píxeles para llevar a cabo una serie de exposiciones con diferentes grados de exposición.

La unidad de generación 10442 está configurada para generar una imagen original de acuerdo con la información de píxeles originales entregada por los respectivos píxeles fotosensibles de la matriz de unidades de píxeles a la misma exposición.

La unidad de composición 10443 está configurada para componer las imágenes originales generadas utilizando diferentes grados de exposición para obtener la imagen objetivo.

Como una posible implementación, el módulo secundario de toma de fotografías en modo oscuro 1045 incluye una tercera unidad de control 10451 y una unidad de obtención 10452.

La tercera unidad de control 10451 está configurada para controlar la matriz de unidades de píxeles para llevar a cabo una serie de exposiciones con diferente tiempo de exposición para obtener una serie de imágenes fusionadas, donde la imagen fusionada incluye píxeles fusionados dispuestos en una matriz, y la serie de píxeles de exposición larga, la serie de píxeles de exposición media y la serie de píxeles de exposición corta en el mismo píxel fotosensible se fusionan para entregar un píxel fusionado, y los tiempos de exposición de los diferentes píxeles fotosensibles de la misma imagen fusionada son idénticos.

La unidad de obtención 10452, configurada para obtener una imagen de alto rango dinámico de acuerdo con la serie de imágenes fusionadas.

Se debe observar que la explicación anterior de las realizaciones del procedimiento de control es aplicable asimismo al aparato de control 100 de la realización, y no se desarrollan los detalles en este caso.

Con el aparato de control de realizaciones de la presente invención, la matriz de unidades de píxeles se controla para medir los valores de luminosidad ambiental, se determina si la escena actual es la escena de retroiluminación de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles, y si la escena actual es la escena de retroiluminación, el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles se determina de acuerdo con los valores de luminosidad ambiental medidos por píxeles fotosensibles en la matriz de unidades de píxeles, y los píxeles fotosensibles en cada zona se controlan para fotografiar en el correspondiente modo de toma de fotografías de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona. En la presente invención, seleccionando el modo de toma de fotografías adecuado de acuerdo con el valor de luminosidad ambiental medido en cada zona y la estabilidad del objeto de imagen en cada zona, es decir, adoptando el correspondiente modo de toma de fotografías para tomar fotografías de acuerdo con diferentes escenas de toma de fotografías, se puede resolver el problema de que la imagen capturada es imprecisa cuando el objeto de imagen es inestable, mejorar el efecto de formación de imágenes y la calidad de formación de imágenes, y mejorar la experiencia de toma de fotografías del usuario.

Para implementar las realizaciones anteriores, la presente invención da a conocer además un dispositivo de formación de imágenes. El dispositivo de formación de imágenes incluye una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles. El dispositivo de formación de imágenes incluye además un procesador.

El procesador está configurado para: controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental; determinar si una escena actual es una escena de retroiluminación, de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles; cuando la escena actual es la escena de retroiluminación, determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por los píxeles fotosensibles en la matriz de unidades de píxeles, donde la zona incluye por lo menos un píxel fotosensible; y controlar los píxeles fotosensibles en la zona a fotografiar en un correspondiente modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona.

Se debe observar que la explicación anterior de las realizaciones del procedimiento de control es aplicable asimismo al dispositivo de formación de imágenes de la realización, y no se desarrollan los detalles en este caso.

Con el dispositivo de formación de imágenes de las realizaciones de la presente invención, la matriz de unidades de píxeles se controla para medir los valores de luminosidad ambiental, se determina si la escena actual es la escena de retroiluminación de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles, y si la escena actual es la escena de retroiluminación, el valor de luminosidad ambiental de cada zona en la matriz de unidades de píxeles se determina de acuerdo con los valores de luminosidad ambiental medidos por píxeles fotosensibles en la matriz de unidades de píxeles, y los píxeles fotosensibles en cada zona se controlan para fotografiar en el correspondiente modo de toma de fotografías de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona. En la presente invención, seleccionando el modo de toma de fotografías adecuado de acuerdo con el valor de luminosidad ambiental medido en cada zona y la estabilidad del objeto de imagen en cada zona, es decir, adoptando el correspondiente modo de toma de fotografías para tomar fotografías de acuerdo con diferentes escenas de toma de fotografías, se puede resolver el problema de que la imagen capturada es imprecisa cuando el objeto de imagen es inestable, mejorar el efecto de formación de imágenes y la calidad de formación de imágenes, y mejorar la experiencia de toma de fotografías del usuario.

Para implementar las realizaciones anteriores, la presente invención da a conocer además un dispositivo electrónico. El dispositivo electrónico incluye una memoria, un procesador y un programa informático almacenado en la memoria y ejecutable por el procesador. Cuando el procesador ejecuta el programa, se implementa el procedimiento de control dado a conocer en la realización anterior.

Para implementar las realizaciones anteriores, la presente invención da a conocer además un medio de almacenamiento legible por ordenador, que tiene un programa informático almacenado, donde, cuando el procesador ejecuta el programa, se implementa el procedimiento de control dado a conocer en la anterior realización de la presente invención.

Tal como se muestra en la figura 10, la presente invención da a conocer además un dispositivo electrónico 200. El dispositivo electrónico 200 incluye una memoria 50 y un procesador 60. Las instrucciones legibles por ordenador se almacenan en la memoria 50. Cuando las instrucciones legibles por ordenador son ejecutadas por el procesador 60, se hace que el procesador 60 lleve a cabo el procedimiento de control de cualquiera de las realizaciones anteriores.

La figura 10 es un diagrama esquemático que muestra la estructura interna del dispositivo electrónico 200 en una realización. El dispositivo electrónico 200 incluye un procesador 60, una memoria 50 (por ejemplo, un medio de almacenamiento no volátil), una memoria interna 82, una pantalla de visualización 83 y un dispositivo de entrada 84, que están acoplados por medio de un bus del sistema 81. La memoria 50 del dispositivo electrónico 200 almacena un sistema operativo e instrucciones legibles por ordenador. Las instrucciones legibles por ordenador son ejecutables por el procesador 60 para implementar el procedimiento de control de realizaciones de la presente invención. El procesador 60 está configurado para proporcionar capacidades informáticas y de control para soportar el funcionamiento de todo el dispositivo electrónico 200. La memoria interna 50 del dispositivo electrónico 200 proporciona un entorno para el funcionamiento de instrucciones legibles por ordenador en la memoria 52. La pantalla de visualización 83 del dispositivo electrónico 200 puede ser una pantalla de visualización de cristal líquido o una pantalla de visualización de tinta electrónica. El dispositivo de entrada 84 puede ser una capa táctil que recubre la pantalla de visualización 83, o puede ser un botón, una bola de seguimiento o un panel táctil dispuesto en el alojamiento del dispositivo electrónico 200, o un teclado externo, un panel de seguimiento o un ratón. El dispositivo electrónico 200 puede ser un teléfono móvil, un ordenador de tableta, un ordenador de libro de notas, un asistente digital personal o un dispositivo que se puede llevar puesto (por ejemplo, un brazalete inteligente, un reloj inteligente, un casco inteligente, gafas inteligentes). Los expertos en la materia comprenderán que la estructura mostrada en la figura 10 es solamente un diagrama esquemático de una parte de la estructura relacionada con la solución de la presente invención, y no constituye una limitación del dispositivo electrónico 200 al que se aplica la solución de la presente invención y, específicamente, el dispositivo electrónico 200 puede incluir más o menos componentes respecto de los mostrados en las figuras, o algunos componentes se pueden combinar, o el dispositivo electrónico 200 puede tener una diferente disposición de componentes.

Tal como se muestra en la figura 11, el dispositivo electrónico 200 de realizaciones de la presente invención incluye un circuito de procesamiento de imágenes 90. El circuito de procesamiento de imágenes 90 se puede implementar utilizando componentes de hardware y/o software, incluyendo varios tipos de unidad de procesamiento que definen conductos de ISP (Image Signal Processing, procesamiento de señales de imagen). La figura 11 es un diagrama esquemático de un circuito de procesamiento de imágenes 90 en una realización. Tal como se muestra en la figura 11, por comodidad de la explicación, se muestran solamente algunos aspectos de la técnica de procesamiento de imágenes relacionada con realizaciones de la presente invención.

Tal como se muestra en la figura 11, el circuito de procesamiento de imágenes 90 incluye un procesador ISP 91 (el procesador ISP 91 puede ser el procesador 60) y una lógica de control 92. Los datos de imagen capturados por una cámara 93 son procesados primero por el procesador ISP 91, que analiza los datos de imagen para capturar información de estadísticas de imagen, que puede ser utilizada para determinar uno o varios parámetros de control de la cámara 93. La cámara 93 puede incluir una o varias lentes 932 y un sensor de imagen 934. El sensor de imagen 934 puede incluir una matriz de filtro de color (por ejemplo, un filtro Bayer), y el sensor de imagen 934 puede tener información de la intensidad y la longitud de onda de la luz, capturada por cada píxel de formación de imágenes, y proporcionar un conjunto de datos de imagen originales que pueden ser procesados por el procesador ISP 91. Un sensor 94, tal como un giróscopo, puede proporcionar parámetros de procesamiento de imágenes adquiridos (tal como parámetros anti-vibración) al procesador ISP 91 en base a un tipo de interfaz del sensor 94. La interfaz del sensor 94 puede ser una interfaz SMIA (Standard Mobile Imaging Architecture, arquitectura estándar de formación de imágenes en móvil), otra interfaz de cámara en serie o en paralelo, o una combinación de las anteriores.

Además, el sensor de imagen 934 puede también transmitir los datos de imagen originales al sensor 94. El sensor 94 puede proporcionar los datos de imagen originales al procesador ISP 91 en base al tipo de interfaz del sensor 94, o puede almacenar los datos de imagen originales en la memoria de imagen 95.

El procesador ISP 91 procesa los datos de imagen originales píxel a píxel en una serie de formatos. Por ejemplo, cada píxel imagen puede tener una profundidad de bits de 8, 10, 12 o 14 bits, y el procesador ISP 91 puede llevar a cabo una o varias operaciones de procesamiento de imágenes sobre los datos de imagen originales, y reunir información estadística sobre los datos de imagen. Las operaciones de procesamiento de imágenes se pueden llevar a cabo con una precisión de profundidad de bits igual o diferente.

El procesador ISP 91 puede asimismo recibir datos de imagen desde la memoria de imagen 95. Por ejemplo, el sensor 94 transmite datos de imagen originales a la memoria de imagen 95 por medio de la interfaz, y los datos de imagen originales en la memoria de imagen 95 se proporcionan al procesador ISP 91 para su procesamiento. La memoria de imagen 95 puede ser la memoria 50, una parte de la memoria 50, un dispositivo de almacenamiento o una memoria dedicada independiente dentro de un dispositivo electrónico, y puede incluir características DMA (Direct Memory Access, acceso directo a memoria).

Cuando se reciben los datos de imagen originales desde el sensor de imagen 934 o el sensor 94 o la memoria de imagen 95, el procesador ISP 91 puede llevar a cabo una o varias operaciones de procesamiento de imágenes, tal como un filtrado en el dominio de tiempo. Los datos de imagen procesados pueden ser enviados a la memoria de imagen 95 para procesamiento adicional antes de ser mostrados. El procesador ISP 91 recibe los datos procesados desde la memoria de imagen 95, y lleva a cabo un procesamiento de datos de imagen sobre los datos procesados, en el dominio original y en los espacios de color RGB y YCbCr. Los datos de imagen procesados por el procesador ISP 91 pueden ser entregados a la pantalla 97 (la pantalla 97 puede incluir la pantalla de visualización 83) para su inspección por el usuario y/o procesamiento posterior mediante un motor de gráficos o una GPU (Graphics Processing Unit, unidad de procesamiento de gráficos). Además, la salida del procesador ISP 91 puede asimismo ser enviada a la memoria de imagen 95, y la pantalla 97 puede leer los datos de imagen desde la memoria de imagen 95. En una realización, la memoria de imagen 95 puede estar configurada para implementar una o varias memorias tampón de cuadros. Adicionalmente, la salida del procesador ISP 91 puede ser enviada a un codificador/descodificador 96 para codificar/descodificar datos de imagen. Los datos de imagen codificados pueden ser grabados y descomprimidos antes de ser mostrados en la pantalla 97. El codificador/descodificador 96 puede estar implementado por una CPU o una GPU o un coprocesador.

Los datos estadísticos determinados por el procesador ISP 91 pueden ser enviados a la lógica de control 92. Por ejemplo, los datos estadísticos pueden incluir información estadística del sensor de imagen 934, tal como autoexposición, auto-balance de blanco, autoenfoque, detección de parpadeo, compensación del nivel de negro, corrección de sombreado de la lente 932, y similares. La lógica de control 92 puede incluir elementos de procesamiento y/o microcontroladores que ejecutan una o varias rutinas (tal como software inalterable), y una o varias rutinas pueden determinar los parámetros de control de la cámara 93 y los parámetros de control del procesador ISP 91 en base a datos estadísticos recibidos. Por ejemplo, los parámetros de control de la cámara 93 pueden incluir los parámetros de control del sensor 94 (por ejemplo, ganancia, tiempo de integración para control de exposición, parámetros anti­ vibración), parámetros de control del flash de la cámara, parámetros de control (por ejemplo, longitud focal para enfoque o zum) de la lente 932, o la combinación de estos parámetros. Los parámetros de control ISP pueden incluir niveles de ganancia y matrices de corrección de color para equilibrio automático de blanco y ajuste de color (por ejemplo, durante procesamiento RGB), así como parámetros de corrección de sombreado de la lente 932.

Por ejemplo, las etapas siguiente se ejecutan utilizando el procesador 60 de la figura 10 o el circuito de procesamiento de imágenes 90 (específicamente, el procesador ISP 91) de la figura 11 para implementar el procedimiento de control:

controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental;

determinar si la escena actual es una escena de retroiluminación según los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles;

cuando la escena actual es una escena de retroiluminación, determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por los respectivos píxeles fotosensibles en la matriz de unidades de píxeles, donde la zona incluye por lo menos un píxel fotosensible;

controlar los píxeles fotosensibles en la zona a fotografiar en el correspondiente modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad del objeto de imagen en la zona.

Como otro ejemplo, se ejecutan las etapas siguientes utilizando el procesador de la figura 10 o utilizando el circuito de procesamiento de imágenes 90 (específicamente, un procesador ISP) de la figura 11 para implementar el procedimiento de control:

obtener un valor de índice de ganancia de la zona de acuerdo con el valor de luminosidad ambiental y el valor de luminosidad objetivo preestablecido.

cuando el valor de índice de ganancia es menor que el valor de índice de ganancia preestablecido, determinar si el objeto de imagen es estable;

cuando el objeto de imagen es inestable, tomar fotografías en un modo de toma de fotografías de alto rango dinámico de un solo cuadro;

cuando el objeto de imagen es estable, tomar fotografías en un modo de toma de fotografías de alto rango dinámico de múltiples cuadros.

En la descripción de la presente invención, la referencia en toda esta memoria descriptiva a “una realización”, “algunas realizaciones”, “un ejemplo”, “un ejemplo específico” o “algunos ejemplos” significa que un aspecto, estructura, material o característica particular descrita en relación con la realización o ejemplo está incluida en, por lo menos, una realización o ejemplo de la presente invención. Por lo tanto, las apariciones de las expresiones en varios lugares en toda esta memoria descriptiva no se refieren necesariamente a la misma realización o ejemplo de la presente invención. Además, los aspectos, estructuras, materiales o características particulares se pueden combinar de cualquier manera adecuada en una o varias realizaciones o ejemplos. Sin contradicción, las diferentes realizaciones o ejemplos y las características de las diferentes realizaciones o ejemplos pueden ser combinadas por los expertos en la materia.

Además, términos como “primero” y “segundo” se utilizan en la presente memoria con propósitos descriptivos y no pretenden indicar o implicar importancia o significado relativo. Además, la característica definida con “primero” y “segundo” puede comprender una o varias de esta característica de manera explícita o implícita. En la descripción de la presente invención, “una serie de” significa dos o más de dos, salvo que se indique otra cosa.

El diagrama de flujo o cualquier proceso o procedimiento descrito en la presente memoria de otros modos puede representar un módulo, segmento o porción de código que comprende una o varias instrucciones ejecutables para implementar la función o funciones de lógica específica o que comprende una o varias instrucciones ejecutables de las etapas del progreso. Aunque el diagrama de flujo muestra un orden de ejecución específico, se comprende que el orden de ejecución puede diferir del representado. Por ejemplo, el orden de ejecución de dos o más cajas se puede aleatorizar con respecto al orden mostrado.

La lógica y/o etapa descrita de otros modos en la presente memoria o mostrada en el diagrama de flujo, por ejemplo, una tabla de secuencia particular de instrucciones ejecutables para realizar la función lógica, se puede conseguir específicamente en cualquier medio legible por ordenador a utilizar por el sistema, dispositivo o equipo de ejecución de instrucciones (tal como el sistema basado en ordenadores, el sistema que comprende procesadores u otros sistemas que puedan obtener la instrucción desde el sistema, dispositivo y equipo de ejecución de instrucciones, y ejecutar la instrucción), o utilizar en combinación con el sistema, dispositivo y equipo de ejecución de instrucciones. En lo que se refiere a la memoria descriptiva, “el medio legible por ordenador” puede ser cualquier dispositivo que pueda incluir, almacenar, comunicar, propagar o transferir programas a utilizar por, o en combinación con el sistema, dispositivo o equipo de ejecución de instrucciones. Más ejemplos específicos del medio legible por ordenador comprenden, de forma no limitativa: una conexión electrónica (un dispositivo electrónico) con uno o varios cables, un mueble de ordenador portátil (un dispositivo magnético), una memoria de acceso aleatorio (RAM), una memoria de sólo lectura (ROM), una memoria de sólo lectura programable borrable (EPROM o una memoria flash), un dispositivo de fibra óptica y una memoria de sólo lectura de disco compacto (CDROM) portátil . Además, el medio legible por ordenador puede incluso ser un papel u otro medio apropiado en el que se pueden imprimir programas, esto debido, por ejemplo, a que el papel o el otro medio apropiado puede ser escaneado ópticamente y a continuación editado, descifrado o procesado con otros procedimientos adecuados cuando sea necesario para obtener los programas de manera electrónica, y a continuación los programas pueden ser almacenados en las memorias informáticas

Se comprenderá que cada parte de la presente invención puede ser implementada mediante hardware, software, software inalterable o la combinación de los mismos. En las realizaciones anteriores, una serie de etapas o procedimientos pueden ser implementados por el software o el software inalterable almacenado en la memoria y ejecutado por el sistema apropiado de ejecución de instrucciones. Por ejemplo, si se implementa mediante el hardware, tal como en otra realización, las etapas o procedimientos pueden ser implementados por una, o una combinación de las siguientes técnicas conocidas: un circuito de lógica discreta que tiene un circuito de puertas lógicas para realizar una función lógica de una señal de datos, un circuito integrado de aplicación específica que tiene un circuito de puertas lógicas de combinación apropiada, una matriz de puertas programable (PGA, programmable gate array), una matriz de puertas programables in situ (FPGA, field programmable gate array), etc.

Los expertos en la materia comprenderán que la totalidad, o partes de las etapas del anterior procedimiento a modo de ejemplo de la presente invención, se pueden conseguir dando órdenes con programas al hardware relacionado. Los programas pueden ser almacenados en un medio de almacenamiento legible por ordenador, y los programas comprenden una, o una combinación de las etapas de las realizaciones de procedimiento de la presente invención, cuando se ejecutan en un ordenador.

Además, cada célula funcional de las realizaciones de la presente invención se puede integrar en un módulo de procesamiento, o estas células pueden tener existencia física independiente, o dos o más células estar integradas en un módulo de procesamiento. El módulo integrado se puede realizar en forma de hardware o en forma de módulos de función de software. Cuando el módulo integrado se realiza en forma de módulo de función de software y es vendido o utilizado como un producto independiente, el módulo integrado puede ser almacenado en un medio de almacenamiento legible por ordenador.

El medio de almacenamiento mencionado anteriormente pueden ser memorias de sólo lectura, discos magnéticos, CD, etc.

Claims (13)

REIVINDICACIONES

1. Un procedimiento de control, aplicado a un dispositivo de formación de imágenes, donde el dispositivo de formación de imágenes comprende una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles, comprendiendo el procedimiento de control:

controlar los píxeles fotosensibles de la matriz de unidades de píxeles para medir valores de luminosidad ambiental (101,201);

estando caracterizado por que el procedimiento de control comprende, además:

determinar si una escena actual es una escena de retroiluminación de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles (102, 202), que comprende: generar un histograma de grises en base a valores de gris correspondientes a valores de luminosidad ambiental medidos por los píxeles fotosensibles de la matriz de unidades de píxeles, y determinar si la escena actual es la escena de retroiluminación en base a la proporción del número de píxeles fotosensibles en cada rango de escala de grises del histograma de grises;

cuando la escena actual es la escena de retroiluminación, determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con los valores de luminosidad ambiental medidos por respectivos píxeles fotosensibles en la matriz de unidades de píxeles, que comprende: dividir los píxeles fotosensibles con valores de luminosidad ambiental similares en la matriz de unidades de píxeles en una misma zona, comprendiendo la zona por lo menos un píxel fotosensible (103, 203); y

controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad de un objeto de imagen en la zona (104), que comprende: obtener un valor de índice de ganancia de la zona de acuerdo con el valor de luminosidad ambiental de la zona y un valor de luminosidad objetivo preestablecido (204); cuando el valor de índice de ganancia es menor que un valor de índice de ganancia preestablecido, determinar si el objeto de imagen es estable (205); cuando el objeto de imagen es inestable, controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de alto rango dinámico de un solo cuadro (207); y cuando el objeto de imagen es estable, controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de alto rango dinámico de múltiples cuadros (206).

2. El procedimiento de control según la reivindicación 1, que comprende además:

cuando el valor de índice de ganancia es mayor que el valor de índice de ganancia preestablecido, controlar los píxeles fotosensibles en la zona para capturar una imagen objetivo en un modo oscuro (208).

3. El procedimiento de control según la reivindicación 1 o 2, en el que el píxel fotosensible comprende una serie de píxeles de exposición larga, una serie de píxeles de exposición media y una serie de píxeles de exposición corta, en el que controlar los píxeles fotosensibles en la zona a fotografiar en el modo de toma de fotografías de alto rango dinámico de un solo cuadro (207) comprende:

controlar la matriz de unidades de píxeles para entregar una serie de informaciones de píxeles originales respectivamente a diferentes tiempos de exposición (301), donde un tiempo de exposición larga del píxel de exposición larga es mayor que un tiempo de exposición media del píxel de exposición media, y el tiempo de exposición media de los píxeles de exposición media es mayor que un tiempo de exposición corta de los píxeles de exposición corta;

calcular una información de píxeles fusionados de acuerdo con la información de píxeles originales que tiene el mismo tiempo de exposición en el mismo píxel fotosensible (302); y

entregar la imagen objetivo de acuerdo con la información de píxeles fusionados (303).

4. El procedimiento de control según la reivindicación 3, en el que calcular la información de píxeles fusionados de acuerdo con la información de píxeles originales que tiene el mismo tiempo de exposición en el mismo píxel fotosensible (302), comprende:

en el mismo píxel fotosensible, seleccionar la información de píxeles originales de los píxeles de exposición larga, la información de píxeles originales de los píxeles de exposición corta o la información de píxeles originales de los píxeles de exposición media (401); y

calcular la información de píxeles fusionados en base a la información de píxeles originales seleccionada, y una relación de exposición entre el tiempo de exposición larga, el tiempo de exposición media y el tiempo de exposición corta (402).

5. El procedimiento de control según cualquiera de las reivindicaciones 1 a 4, en el que controlar los píxeles fotosensibles en la zona a fotografiar en el modo de toma de fotografías de alto rango dinámico de múltiples cuadros (206) comprende:

controlar la matriz de unidades de píxeles para llevar a cabo una serie de exposiciones en diferentes grados de exposición (501);

generar una imagen original de acuerdo con la información de píxeles originales entregada por respectivos píxeles fotosensibles de la matriz de unidades de píxeles a la misma exposición (502); y

obtener la imagen objetivo componiendo las imágenes originales generadas mediante exposición en diferentes grados de exposición (503).

6. El procedimiento de control según la reivindicación 2, en el que capturar la imagen objetivo en el modo oscuro (208) comprende:

controlar la matriz de unidades de píxeles para llevar a cabo una serie de exposiciones con diferente tiempo de exposición para obtener una serie de imágenes fusionadas, donde la imagen fusionada comprende píxeles fusionados dispuestos en una matriz, y la serie de píxeles de exposición larga, la serie de píxeles de exposición media y la serie de píxeles de exposición corta en el mismo píxel fotosensible se fusionan para entregar un píxel fusionado, y el tiempo de exposición de diferentes píxeles fotosensibles en la misma imagen fusionada es idéntico (601); y

obtener una imagen de alto rango dinámico a partir de la serie de imágenes fusionadas (602).

7. Un aparato de control (100), aplicado a un dispositivo de formación de imágenes, donde el dispositivo de formación de imágenes comprende una unidad de píxeles compuesta de una serie de píxeles fotosensibles, comprendiendo el aparato de control (100):

un módulo de medición (101), configurado para controlar los píxeles fotosensibles de la matriz de unidades de píxeles para medir valores de luminosidad ambiental;

estando caracterizado por que el aparato de control (100) comprende además:

un módulo de estimación (102), configurado para determinar si una escena actual es una escena de retroiluminación de acuerdo con los valores de luminosidad ambiental medidos por la matriz de unidades de píxeles, generando un histograma de grises en base a valores de gris correspondientes a los valores de luminosidad ambiental medidos por los píxeles fotosensibles de la matriz de unidades de píxeles, y determinar si la escena actual es la escena de retroiluminación en base a la proporción del número de píxeles fotosensibles en cada rango de escala de grises del histograma de grises;

un módulo de determinación (103), configurado para, cuando la escena actual es la escena de retroiluminación, determinar un valor de luminosidad ambiental de una zona en la matriz de unidades de píxeles de acuerdo con el valor de luminosidad ambiental medido por los píxeles fotosensibles en la matriz de unidades de píxeles, dividiendo los píxeles fotosensibles con valores de luminosidad ambiental similares en la matriz de unidades de píxeles en una misma zona, comprendiendo la zona por lo menos un píxel fotosensible; y

un modo de control (104), configurado para controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías, de acuerdo con el valor de luminosidad ambiental de la zona y la estabilidad de un objeto de imagen en la zona,

donde el módulo de control (104) comprende:

un módulo secundario de obtención (1041), configurado para obtener un valor de índice de ganancia de la zona, de acuerdo con el valor de luminosidad ambiental de la zona y un valor de luminosidad objetivo preestablecido;

un módulo secundario de determinación (1042), configurado para determinar si el objeto de imagen es estable cuando el valor de índice de ganancia es menor que un valor de índice de ganancia preestablecido;

un módulo secundario de toma de fotografías de un solo cuadro (1043), configurado para controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de alto rango dinámico de un solo cuadro cuando el objeto de imagen es inestable; y

un módulo secundario de toma de fotografías de múltiples cuadros (1044), configurado para controlar los píxeles fotosensibles en la zona a fotografiar en un modo de toma de fotografías de alto rango dinámico de múltiples cuadros cuando el objeto de imagen es estable.

8. El aparato de control (100) según la reivindicación 7, en el que el módulo de control (104) comprende además:

un módulo secundario de toma de fotografías en modo oscuro (1045), configurado para controlar los píxeles fotosensibles en la zona para capturar una imagen objetivo en un modo oscuro cuando el valor de índice de ganancia es mayor que el valor de índice de ganancia preestablecido.

9. El aparato de control (100) según la reivindicación 7 u 8, en el que el píxel fotosensible comprende una serie de píxeles de exposición larga, una serie de píxeles de exposición media y una serie de píxeles de exposición corta, y el módulo secundario de toma de fotografías de un solo cuadro (1043) comprende:

una primera unidad de control (10431), configurada para controlar la matriz de unidades de píxeles para entregar una serie de informaciones de píxeles originales respectivamente a diferentes tiempos de exposición, donde un tiempo de exposición larga de los píxeles de exposición larga es mayor que un tiempo de exposición media de los píxeles de exposición media, y el tiempo de exposición media de los píxeles de exposición media es mayor que un tiempo de exposición corta de los píxeles de exposición corta;

una unidad de cálculo (10432), configurada para calcular una información de píxeles fusionados de acuerdo con la información de píxeles originales que tiene el mismo tiempo de exposición en el mismo píxel fotosensible; y una unidad de salida (10433), configurada para entregar la imagen objetivo de acuerdo con la información de píxeles fusionados.

10. El aparato de control (100) según la reivindicación 9, en el que la unidad de cálculo (10432) está configurada para: en el mismo píxel fotosensible, seleccionar la información de píxeles originales de los píxeles de exposición larga, la información de píxeles originales de los píxeles de exposición corta o la información de píxeles originales de los píxeles de exposición media; y

calcular la información de píxeles fusionados en base a la información de píxeles originales seleccionada, y una relación de exposición entre el tiempo de exposición larga, el tiempo de exposición media y el tiempo de exposición corta.

11. El aparato de control (100) según cualquiera de las reivindicaciones 8 a 10, en el que el módulo secundario de toma de fotografías de múltiples cuadros (1044) comprende:

una segunda unidad de control (10441), configurada para controlar la matriz de unidades de píxeles para llevar a cabo una serie de exposiciones en diferentes grados de exposición;

una unidad de generación (10442), configurada para generar una imagen original de acuerdo con la información de píxeles originales entregada por respectivos píxeles fotosensibles de la matriz de unidades de píxeles a la misma exposición; y

una unidad de composición (10443), configurada para obtener la imagen objetivo componiendo las imágenes originales generadas mediante exposición a diferentes grados de exposición.

12. El aparato de control (100) según la reivindicación 8, en el que el módulo secundario de toma de fotografías en modo oscuro (1045) comprende:

una tercera unidad de control (10451), configurada para controlar la matriz de unidades de píxeles para llevar a cabo una serie de exposiciones con diferente tiempo de exposición para obtener una serie de imágenes fusionadas, donde la imagen fusionada comprende píxeles fusionados dispuestos en una matriz, y la serie de píxeles de exposición larga, la serie de píxeles de exposición media y la serie de píxeles de exposición corta en el mismo píxel fotosensible son fusionados para entregar un píxel fusionado, y el tiempo de exposición de diferentes píxeles fotosensibles en la misma imagen fusionada es idéntico; y

una unidad de obtención (10452), configurada para obtener una imagen de alto rango dinámico a partir de la serie de imágenes fusionadas.

13. Un dispositivo de formación de imágenes, que comprende:

una matriz de unidades de píxeles compuesta de una serie de píxeles fotosensibles; y

un procesador, configurado para controlar la matriz de unidades de píxeles para medir valores de luminosidad ambiental, y para llevar a cabo el procedimiento de control de cualquiera de las reivindicaciones 1 a 6 en base a los valores de luminosidad ambiental.