ES2752655T3

ES2752655T3 - Procedimiento y aparato de procesamiento de imágenes, y dispositivo electrónico

Info

Publication number: ES2752655T3
Application number: ES17198762T
Authority: ES
Inventors: Cheng Tang
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2016-11-29
Filing date: 2017-10-27
Publication date: 2020-04-06
Anticipated expiration: 2037-10-27
Also published as: CN106604001A; US10438320B2; EP3328075A1; WO2018099011A1; US20190087934A1; EP3328075B1; US20180150933A1; CN106604001B; US10249021B2

Abstract

Un procedimiento de procesamiento de imágenes, configurado para procesar una imagen de bloque de color generada mediante un sensor de imagen (200), en el que el sensor de imagen (200) comprende una matriz (210) de unidades de píxeles fotosensibles (210a) y una matriz (220) de unidades de filtro (220a) dispuestas en la matriz (210) de unidades de píxeles fotosensibles (210a), cada unidad de filtro (220a) corresponde a una unidad de píxeles fotosensibles (210a), cada unidad de píxeles fotosensibles (210a) comprende múltiples píxeles fotosensibles (212), la imagen del bloque de color comprende unidades de píxeles de imagen dispuestas en una matriz predeterminada, en el que la matriz predeterminada comprende un mosaico de Bayer, cada unidad de píxeles de imagen comprende múltiples píxeles originales, cada unidad de píxeles fotosensibles (210a) corresponde a una unidad de píxeles de imagen, cada píxel fotosensible (212) corresponde a un píxel original, y el procedimiento de procesamiento de imágenes comprende: identificar (!0) un área frontal de la imagen del bloque de color; convertir (20) una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación, en el que la primera imagen de simulación comprende los primeros píxeles de simulación dispuestos en una matriz predeterminada, en el que la matriz predeterminada comprende un mosaico de Bayer, y cada píxel fotosensible (212) corresponde a un primer píxel de simulación; convertir (30) una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación, en el que, la segunda imagen de simulación comprende segundos píxeles de simulación dispuestos en una matriz preestablecida, en el que la matriz preestablecida comprende un mosaico de Bayer, y cada píxel fotosensible (212) corresponde a un segundo píxel de simulación, determinándose los valores de los segundos píxeles de simulación como un valor promedio de píxeles fotosensibles de una unidad de píxeles fotosensible respectiva, y una complejidad del segundo algoritmo de interpolación es menor a la del primer algoritmo de interpolación; y fusionar (40) la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

Description

DESCRIPCIÓN

Procedimiento y aparato de procesamiento de imágenes, y dispositivo electrónico

Campo

La presente divulgación se refiere al campo de la tecnología de imágenes, y más particularmente a un procedimiento de procesamiento de imágenes, un aparato de procesamiento de imágenes y a un dispositivo electrónico.

Antecedentes

Cuando es procesada una imagen utilizando un procedimiento de procesamiento de imagen convencional, la imagen obtenida tiene, ya sea, una baja resolución o se necesita mucho tiempo y demasiados recursos para obtener una imagen con alta resolución, ambas situaciones son un inconveniente para los usuarios.

El documento US2015 / 312537A divulga un sensor de imagen con dos modos de lectura, uno por el que se lee cada píxel por separado, el otro por el que se lee un bloque de píxeles a la vez utilizando una difusión flotante común.

Divulgación

La presente divulgación tiene como objetivo resolver, en la medida de lo posible, al menos uno de los problemas existentes en la técnica relacionada. Por consiguiente, la presente divulgación proporciona un procedimiento de procesamiento de imágenes de acuerdo con la reivindicación 1, un aparato de procesamiento de imágenes de acuerdo con la reivindicación 8 y un dispositivo electrónico de acuerdo con la reivindicación 15.

Las realizaciones de la presente divulgación proporcionan un procedimiento de procesamiento de imágenes. El procedimiento de procesamiento de imagen está configurado para procesar una imagen en bloque de color generada mediante un sensor de imagen. El sensor de imagen incluye una matriz de unidades de píxeles fotosensibles y una matriz de unidades de filtro dispuesta en la matriz de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde a una unidad de píxeles fotosensibles, y cada unidad de píxeles fotosensibles incluye múltiples píxeles fotosensibles. La imagen de bloques de color incluye unidades de píxeles de imagen dispuestas en una matriz preestablecida, y cada unidad de píxeles de imagen incluye múltiples píxeles originales. Cada unidad de píxel fotosensible corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible corresponde a un píxel original. El procedimiento de procesamiento de imágenes incluye: identificar un área frontal de la imagen del bloque de color; convertir una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación, en el que la primera imagen de simulación incluye los primeros píxeles de simulación dispuestos en una matriz preestablecida, y cada píxel fotosensible corresponde a un primer píxel de simulación; convertir una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación, en el que, la segunda imagen de simulación incluye segundos píxeles de simulación dispuestos en una matriz preestablecida, y cada píxel fotosensible corresponde a un segundo píxel de simulación, y una complejidad del segundo algoritmo de interpolación es menor que la del primer algoritmo de interpolación; y fusionar la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

En al menos una realización, la conversión de una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación incluye: determinar si un color de un primer píxel de simulación es idéntico al de un píxel original en un misma posición que el primer píxel de simulación; cuando el color del primer píxel de simulación es idéntico al del píxel original en la misma posición que el primer píxel de simulación, determinar un valor de píxel del píxel original como un valor de píxel del primer píxel de simulación; y cuando el color del primer píxel de simulación es diferente del píxel original en la misma posición que el primer píxel de simulación, determinar el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación, en el que el píxel de asociación se selecciona de una unidad de píxeles de imagen con el mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original.

En al menos una realización, la determinación del valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación incluye: calcular un cambio del color del primer píxel de simulación en cada dirección de al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación; calcular un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio; y calcular el valor de píxel del primer píxel de simulación de acuerdo con el peso y el valor de píxel del píxel de asociación.

En al menos una realización, la conversión de una parte de la imagen de bloques de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación incluye: calcular un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen de bloque de color dentro del área frontal; determinar si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el segundo píxel de simulación; cuando el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación, determinar un valor de píxel promedio de una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación; y cuando el color del segundo píxel de simulación es diferente del píxel original en la misma posición que el segundo píxel de simulación, determinar un valor de píxel promedio de una unidad de píxeles de imagen con un mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación.

En al menos una realización, la matriz preestablecida incluye un mosaico de Bayer.

En al menos una realización, la unidad de píxeles de imagen incluye píxeles originales dispuestos en una matriz de 2 por 2.

En al menos una realización, el procedimiento de procesamiento de imágenes incluye, además: realizar una compensación del balance de blancos en la imagen de bloques de color; y realizar una compensación del balance de blancos inversa en la primera imagen de simulación.

En al menos una realización, el procedimiento de procesamiento de imágenes incluye, además: realizar al menos una compensación de punto malo y una compensación de diafonía en la imagen del bloque de color.

En al menos una realización, el procedimiento de procesamiento de imágenes incluye, además: realizar al menos una corrección de la forma del lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen de simulación.

Las realizaciones de la presente divulgación proporcionan además un aparato de procesamiento de imágenes. El aparato de procesamiento de imágenes está configurado para procesar una una imagen en bloque de color generada mediante de un sensor de imagen. El sensor de imagen incluye una matriz de unidades de píxeles fotosensibles y una matriz de unidades de filtro dispuesta en la matriz de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde a una unidad de píxeles fotosensibles, y cada unidad de píxeles fotosensibles incluye múltiples píxeles fotosensibles. La imagen de bloques de color incluye unidades de píxeles de imagen dispuestas en una matriz preestablecida, y cada unidad de píxeles de imagen incluye múltiples píxeles originales. Cada unidad de píxel fotosensible corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible corresponde a un píxel original. El aparato de procesamiento de imágenes incluye un medio no transitorio legible por ordenador que incluye instrucciones legibles por ordenador almacenadas en él, y un sistema de ejecución de instrucciones que está configurado por las instrucciones para implementar al menos un módulo de identificación, un primer módulo de conversión, un segundo módulo de conversión y un módulo de fusión. El módulo de identificación está configurado para identificar un área frontal de la imagen del bloque de color. El primer módulo de conversión está configurado para convertir una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación, en el que la primera imagen de simulación incluye los primeros píxeles de simulación dispuestos en una matriz preestablecida y cada píxel fotosensible corresponde a un primer píxel de simulación. El segundo módulo de conversión está configurado para convertir una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación, en el que la segunda imagen de simulación incluye segundos píxeles de simulación dispuestos en una matriz predeterminada, y cada píxel fotosensible corresponde a un segundo píxel de simulación, y la complejidad del segundo algoritmo de interpolación es menor que la del primer algoritmo de interpolación. El módulo de fusión está configurado para fusionar la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

En al menos una realización, el primer módulo de conversión incluye: una primera unidad de determinación, configurada para determinar si un color de un primer píxel de simulación es idéntico al de un píxel original en la misma posición que el primer píxel de simulación; una segunda unidad de determinación, configurada para determinar un valor de píxel del píxel original como un valor de píxel del primer píxel de simulación, cuando el color del primer píxel de simulación es idéntico al del píxel original en la misma posición que el primer píxel de simulación; y una tercera unidad de determinación, configurada para determinar el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación cuando el color del primer píxel de simulación es diferente del del píxel original en la misma posición que el primer píxel de simulación, en el que el píxel de asociación se selecciona de una unidad de píxeles de imagen con un mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original.

En al menos una realización, la tercera unidad de determinación incluye: una primera sub-unidad de cálculo, configurada para calcular un cambio del color del primer píxel de simulación en cada dirección de las al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación; una segunda sub-unidad de cálculo, configurada para calcular un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio; y una tercera sub unidad de cálculo, configurada para calcular el valor de píxel del primer píxel de simulación de acuerdo con el peso y el valor de píxel del píxel de asociación.

En al menos una realización, el segundo módulo de conversión incluye: una primera unidad de cálculo, configurada para calcular un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen de bloques de color dentro del área frontal; una cuarta unidad de determinación, configurada para determinar si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el segundo píxel de simulación; una quinta unidad de determinación, configurada para determinar un valor de píxel promedio de una unidad de píxeles de imagen que incluye el píxel original como valor de píxel del segundo píxel de simulación, si el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación; y una sexta unidad de determinación, configurada para determinar un valor de píxel promedio de una unidad de píxeles de imagen con el mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación, si el color del segundo píxel de simulación es diferente del del píxel original en la misma posición que el segundo píxel de simulación.

En al menos una realización, el conjunto preestablecido incluye un mosaico de Bayer.

En al menos una realización, el primer módulo de conversión incluye, además: una primera unidad de compensación, configurada para realizar una compensación del balance de blancos en la imagen del bloque de color; y una unidad de restauración, configurada para realizar una compensación inversa del balance de blancos en la primera imagen de simulación.

En al menos una realización, el primer módulo de conversión incluye además al menos una segunda unidad de compensación y una tercera unidad de compensación; en la que la segunda unidad de compensación está configurada para realizar una compensación de punto malo en la imagen del bloque de color; y la tercera unidad de compensación está configurada para realizar una compensación de diafonía en la imagen del bloque de color.

En al menos una realización, el primer módulo de conversión incluye, además: una unidad de procesamiento, configurada para realizar al menos una corrección de la forma del lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen.

Las realizaciones de la presente divulgación proporcionan un dispositivo electrónico. El dispositivo electrónico incluye una carcasa, un procesador, una memoria, una placa de circuito impreso, un circuito de suministro de energía y un aparato de imágenes. La placa de circuito impreso se encuentra dentro de la carcasa. El procesador y la memoria están ubicados en la placa de circuito impreso. El circuito de suministro de energía está configurado para proveer de energía a los respectivos circuitos o componentes del dispositivo electrónico. El aparato de imágenes incluye un sensor de imagen configurado para generar una imagen de bloque de color. El sensor de imagen incluye un conjunto de unidades de píxeles fotosensibles y un conjunto de unidades de filtro dispuesto en el conjunto de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde a una unidad de píxeles fotosensibles, y cada unidad de píxeles fotosensibles incluye múltiples píxeles fotosensibles. La imagen de bloques de color incluye unidades de píxeles de imagen dispuestas en una matriz preestablecida. Cada unidad de píxeles de imagen incluye múltiples píxeles originales. Cada unidad de píxel fotosensible corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible corresponde a un píxel original. La memoria está configurada para almacenar códigos de programa ejecutables. El procesador está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria, para realizar el procedimiento de procesamiento de imágenes de acuerdo con las realizaciones anteriores de la presente divulgación.

Los aspectos y ventajas adicionales de las realizaciones de la presente divulgación se darán en parte en las siguientes descripciones, se harán evidentes en parte a partir de las siguientes descripciones, o se aprenderán de la práctica de las realizaciones de la presente divulgación.

Breve descripción de los dibujos

Estos y otros aspectos y ventajas de las realizaciones de la presente divulgación se harán evidentes y se apreciarán más fácilmente a partir de las siguientes descripciones hechas con referencia a los dibujos.

Fig. 1 es un diagrama de flujo de un procedimiento de procesamiento de imágenes de acuerdo con una realización de la presente divulgación.

Fig. 2 es un diagrama de bloques de un sensor de imagen de acuerdo con una realización de la presente divulgación. Fig. 3 es un diagrama esquemático de un sensor de imagen de acuerdo con una realización de la presente divulgación. Fig. 4 es un diagrama de flujo de un procedimiento de procesamiento de imágenes de acuerdo con otra realización de la presente divulgación.

Fig. 5 es un diagrama esquemático que ilustra un circuito de un sensor de imagen de acuerdo con una realización de la presente divulgación.

Fig. 6 es un diagrama esquemático de una matriz de unidades de filtro de acuerdo con una realización de la presente divulgación.

Fig. 7 es un diagrama esquemático de una imagen fusionada de acuerdo con una realización de la presente divulgación. Fig. 8 es un diagrama esquemático de una imagen de bloques de color de acuerdo con una realización de la presente divulgación.

Fig. 9 es un diagrama esquemático que ilustra un proceso de conversión de una parte de una imagen de bloque de color en una primera imagen de simulación de acuerdo con una realización de la presente divulgación.

Fig. 10 es un diagrama de flujo de un proceso de conversión de una parte de una imagen de bloque de color en una primera imagen de simulación de acuerdo con una realización de la presente divulgación.

Fig. 11 es un diagrama de flujo de un proceso de conversión de una parte de una imagen de bloque de color en una segunda imagen de acuerdo con una realización de la presente divulgación.

Fig. 12 es un diagrama esquemático que ilustra un proceso de conversión de una parte de una imagen de bloque de color en una segunda imagen de simulación de acuerdo con una realización de la presente divulgación.

Fig. 13 es un diagrama de flujo de un proceso de conversión de una parte de una imagen de bloque de color en una primera imagen de simulación de acuerdo con una realización de la presente divulgación.

Fig. 14 es un diagrama esquemático que muestra una unidad de píxeles de imagen de una imagen de bloques de color de acuerdo con una realización de la presente divulgación.

Fig. 15 es un diagrama de flujo de un proceso de conversión de una parte de una imagen de bloque de color en una primera imagen de simulación de acuerdo con una realización de la presente divulgación.

Fig. 16 es un diagrama de bloques de un aparato de procesamiento de imágenes de acuerdo con una realización de la presente divulgación.

Fig. 17 es un diagrama de bloques de un primer módulo de conversión de acuerdo con una realización de la presente divulgación.

Fig. 18 es un diagrama de bloques de una tercera unidad de determinación de acuerdo con una realización de la presente divulgación.

Fig. 19 es un diagrama de bloques de un segundo módulo de conversión de acuerdo con una realización de la presente divulgación.

Fig. 20 es un diagrama de bloques de un primer módulo de conversión de acuerdo con una realización de la presente divulgación.

Fig. 21 es un diagrama de bloques de un primer módulo de conversión de acuerdo con una realización de la presente divulgación.

Fig. 22 es un diagrama de bloques de un dispositivo electrónico de acuerdo con una realización de la presente divulgación.

Realizaciones de la presente divulgación

Ahora se hará referencia en detalle a realizaciones ejemplares, ejemplos que se ilustran en los dibujos adjuntos, en los que los mismos o similares números de referencia a lo largo de los dibujos representan los mismos elementos o elementos que tienen funciones iguales o similares. Las realizaciones descritas a continuación con referencia a los dibujos son meramente a modo de ejemplo y se usan para explicar la presente divulgación, y no deben entenderse como una limitación de la presente divulgación.

Debe entenderse que la fraseología y la terminología utilizadas en el presente documento con referencia a la orientación del dispositivo o elemento (como, por ejemplo, términos como "centro", "longitudinal", "lateral", "largo", "ancho", "alto", "arriba", "abajo", "anterior", "posterior", "izquierdo", "derecho", "vertical", "horizontal", "superior" "inferior», "dentro ", "fuera", "en sentido horario", "en sentido antihorario", "axial", "radial", "circunferencial") solo se utilizan para simplificar la descripción de la presente invención, y no indican ni implica que el dispositivo o elemento mencionado debe tener u operar en una orientación particular. Estos no pueden verse como limitantes a la presente divulgación.

Además, los términos "primero" y "segundo" solo se utilizan para la descripción y no pueden verse como indicativos o implicados de relativa importancia o que indiquen o impliquen el número de las características técnicas indicadas. Por lo tanto, las características definidas con "primero" y "segundo" pueden comprender o implicar al menos una de estas características. En la descripción de la presente divulgación, "múltiples" significa dos o más de dos, a menos que se especifique lo contrario.

En la presente divulgación, a menos que se especifique o se limite de otra manera, los términos "montado", "conectado", "acoplado", "fijado" y similares son usados ampliamente, y pueden ser, por ejemplo, conexiones fijas, conexiones desmontables o conexiones integrales; también pueden ser conexiones mecánicas o eléctricas; también pueden ser conexiones directas o conexiones indirectas a través de estructuras intermedias; También pueden ser comunicaciones internas de dos elementos o interacciones de dos elementos, que pueden ser comprendidas por los expertos en la materia de acuerdo con situaciones específicas.

En la presente divulgación, a menos que se especifique o limite lo contrario, una estructura en la que una primera característica esté "en" una segunda característica puede incluir una realización en la que la primera característica contacta directamente con la segunda característica, y también puede incluir una realización en la que la primera característica contacta indirectamente con la segunda característica a través de un elemento intermedio. Además, una estructura en la que una primera característica esté "en", "sobre" o "encima" de una segunda característica puede indicar que la primera característica está justo encima de la segunda característica u oblicuamente por encima de la segunda característica, o simplemente indicar que un nivel horizontal de la primera característica es más alta que la segunda característica. Una estructura en la que una primera característica está "debajo" o "abajo" de una segunda característica puede indicar que la primera característica está justo debajo de la segunda característica u oblicuamente por debajo de la segunda característica, o simplemente indicar que un nivel horizontal de la primera característica es inferior a la segunda característica.

Se proporcionan diversas realizaciones y ejemplos en la siguiente descripción para implementar diferentes estructuras de la presente divulgación. Para simplificar la presente divulgación, se describirán ciertos elementos y configuraciones. Sin embargo, estos elementos y configuraciones son solo ejemplos y no pretenden limitar la presente divulgación. Además, los números de referencia pueden repetirse en diferentes ejemplos en la divulgación. Esta repetición tiene el propósito de simplificar y aclarar, y no se refiere a relaciones entre diferentes realizaciones y/o configuraciones. Además, se proporcionan ejemplos de diferentes procesos y materiales en la presente divulgación. Sin embargo, los expertos en la materia observarán que también se pueden aplicar otros procesos y/o materiales.

En la técnica relacionada, un sensor de imagen incluye una matriz de unidades de píxeles fotosensibles y una matriz de unidades de filtro dispuestas en la matriz de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde a y cubre una unidad de píxeles fotosensibles, y cada unidad de píxeles fotosensibles incluye múltiples píxeles fotosensibles. Cuando funciona, el sensor de imagen puede ser controlado para generar una imagen fusionada, que puede convertirse en una imagen en color verdadero fusionada a través de un procedimiento de procesamiento de imagen y guardarse. La imagen fusionada incluye una matriz de píxeles fusionados, y múltiples píxeles fotosensibles en una misma unidad de píxeles fotosensibles se generan de forma colectiva como un píxel fusionado. Por lo tanto, se incrementa la relación señal / ruido de la imagen fusionada. Sin embargo, se reduce la resolución de la imagen fusionada.

Ciertamente, el sensor de imagen también se puede controlar para generar una imagen de bloque de color con más número de píxeles. La imagen del bloque de color incluye una matriz de píxeles originales, y cada píxel fotosensible corresponde a un píxel original. Sin embargo, dado que múltiples píxeles originales correspondientes a una misma unidad de filtro tienen el mismo color, la resolución de la imagen del bloque de color todavía no puede aumentarse. Por lo tanto, la imagen del bloque de color debe convertirse en una imagen de simulación de píxeles altos a través de un algoritmo de interpolación, en el que la imagen de simulación puede incluir píxeles de simulación dispuestos en un mosaico de Bayer. Entonces, la imagen de simulación puede convertirse en una imagen de color verdadero de simulación a través de un procedimiento de procesamiento de imagen y guardarse. La resolución de la imagen en color verdadero puede mejorarse utilizando el algoritmo de interpolación. Sin embargo, el algoritmo de interpolación consume recursos y tiempo, y la imagen de color verdadero de simulación no es necesaria en todas las escenas.

Por lo tanto, las realizaciones de la presente divulgación proporcionan un nuevo procedimiento de procesamiento de imágenes.

Con referencia a la Fig. 1 se ilustra un procedimiento de procesamiento de imágenes. El procedimiento de procesamiento de imágenes está configurado para procesar una imagen en bloque de color generada mediante un sensor de imagen. Como se ilustra en la Fig. 2, el sensor de imagen 200 incluye una matriz 210 de unidades de píxeles fotosensibles y una matriz 220 de unidades de filtro dispuestas en la matriz 210 de unidades de píxeles fotosensibles. Como se ilustra en la Fig. 3, la matriz 220 incluye múltiples unidades de filtro 220a y una matriz 210 incluye múltiples unidades de píxeles fotosensibles 210a. Cada unidad de filtro 220a corresponde a y cubre una unidad de píxeles fotosensibles 210a, y cada unidad de píxeles fotosensibles 210a incluye múltiples píxeles fotosensibles 212 adyacentes entre sí. La imagen de bloques de color incluye unidades de píxeles de imagen dispuestas en una matriz preestablecida. Cada unidad de píxeles de imagen incluye múltiples píxeles originales. Cada unidad de píxel fotosensible 210a corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible 212 corresponde a un píxel original. El procedimiento de procesamiento de imágenes incluye lo siguiente.

En el bloque 10, se identifica un área frontal de la imagen del bloque de color.

En el bloque 20, una parte de la imagen del bloque de color más allá del área frontal es convertida en una primera imagen de simulación utilizando un primer algoritmo de interpolación.

La primera imagen de simulación incluye los primeros píxeles de simulación dispuestos en una matriz preestablecida y cada píxel fotosensible 212 corresponde a un primer píxel de simulación.

En el bloque 30, una parte de la imagen del bloque de color dentro del área frontal es convertida en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación.

La segunda imagen de simulación incluye los segundos píxeles de simulación dispuestos en una matriz preestablecida y cada píxel fotosensible 212 corresponde a un segundo píxel de simulación. Una complejidad del segundo algoritmo de interpolación es menor a la del primer algoritmo de interpolación.

En el bloque 40, la primera imagen de simulación y la segunda imagen de simulación se fusionan en una imagen de simulación correspondiente a la imagen del bloque de color.

Con el procedimiento de procesamiento de imágenes de acuerdo con las realizaciones de la presente divulgación, el sensor de imagen 200 puede controlarse para generar una imagen adecuada al identificar el área frontal. De esta manera, la parte de la imagen del bloque de color más allá del área frontal se procesa con el primer algoritmo de interpolación capaz de mejorar la capacidad de distinción y la resolución de la imagen, y de este modo, mejorar la capacidad de distinción y la resolución de la imagen, mientras que la parte de la imagen del bloque de color dentro del área frontal se procesa con el segundo algoritmo de interpolación que tiene una menor complejidad que el primer algoritmo de interpolación, de modo que la SNR (relación señal / ruido), la resolución y la capacidad de distinción de la imagen se mejoran, mientras que los datos y el tiempo para el procesamiento de imágenes se reduce, y de este modo se mejora la experiencia del usuario.

En algunas implementaciones, la complejidad del algoritmo incluye la complejidad del tiempo y la complejidad del espacio, y tanto la complejidad del tiempo como la complejidad del espacio del segundo algoritmo de interpolación son menores que aquellas del primer algoritmo de interpolación. La complejidad del tiempo se configura para medir el tiempo consumido por el algoritmo, y la complejidad del espacio se configura para medir el espacio de almacenamiento consumido por el algoritmo. Si la complejidad del tiempo es pequeña, esto indica que el algoritmo consume poco tiempo. Si la complejidad del espacio es pequeña, esto indica que el algoritmo consume poco espacio de almacenamiento. Por lo tanto, es ventajoso mejorar la velocidad de cálculo utilizando el segundo algoritmo de interpolación, de modo que el proceso de toma sea fluido, y de este modo, mejorar la experiencia del usuario.

En un ejemplo, la acción en el bloque 120 puede implementarse al ingresar la imagen del bloque de color a una biblioteca de algoritmos de identificación de superficies para detectar si hay una superficie en la imagen del bloque de colores. El procedimiento de detección de superficies puede implementarse al realizarse lo siguiente. Se extraen los datos de características de la imagen del bloque de color. Se buscan los modelos de características almacenados en la biblioteca en función de los datos de características extraídos. Se establece un umbral para determinar que hay una superficie en la imagen del bloque de color cuando una similitud entre los datos de características y el modelo de características excede el umbral. Los rangos de coordenadas de la superficie son remitidos para ejecutar bloques de seguimiento.

Con referencia a la Fig. 4, en algunas implementaciones, la acción en el bloque 20 incluye lo siguiente.

En el bloque 21, se determina si un color de un primer píxel de simulación es idéntico al de un píxel original en la misma posición que el primer píxel de simulación; en caso afirmativo, se ejecuta una acción en el bloque 22; de lo contrario, se ejecuta una acción en el bloque 23.

En el bloque 22, un valor de píxel del píxel original se determina como un valor de píxel del primer píxel de simulación. En el bloque 23, un valor de píxel del primer píxel de simulación se determina de acuerdo con un valor de píxel de un píxel de asociación.

El píxel de asociación se selecciona de una unidad de píxeles de imagen con el mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original.

La Fig. 5 es un diagrama esquemático que ilustra un circuito de un sensor de imagen de acuerdo con una realización de la presente divulgación. La Fig. 6 es un diagrama esquemático de una matriz de unidades de filtro de acuerdo con una realización de la presente divulgación. Las Figs. 2-3 y 5-6 se observan mejor juntos.

Con referencia a las Figs. 2-3 y 5-6, el sensor de imagen 200 de acuerdo con una realización de la presente divulgación incluye una matriz 210 de unidades de píxeles fotosensibles y una matriz 220 de unidades de filtro dispuestas en la matriz 210 de unidades de píxeles fotosensibles.

Además, la matriz 210 de unidades de píxeles fotosensibles incluye múltiples unidades de píxeles fotosensibles 210a. Cada unidad de píxeles fotosensibles 210a incluye múltiples píxeles fotosensibles adyacentes 212. Cada píxel fotosensible 212 incluye un elemento fotosensible 2121 y un tubo de transmisión 2122. El elemento fotosensible 2121 puede ser un fotodiodo, y el tubo de transmisión 2122 puede ser un transistor MOS.

La matriz 220 de unidades de filtro incluye múltiples unidades de filtro 220a. Cada unidad de filtro 220a corresponde a una unidad de píxeles fotosensibles 210a.

En detalle, en algunos ejemplos, las unidades de filtro 220a están dispuestas en un mosaico de Bayer. En otras palabras, cuatro unidades de filtro adyacentes 220a incluyen una unidad de filtro roja, una unidad de filtro azul y dos unidades de filtro verdes.

Cada unidad de píxel fotosensible 210a corresponde a una unidad de filtro 220a con el mismo color. Si una unidad de píxeles fotosensibles 210a incluye n elementos fotosensibles adyacentes 2121, una unidad de filtro 220a cubre n elementos fotosensibles 2121 en una unidad de píxeles fotosensibles 210a. La unidad de filtro 220a puede formarse integralmente, o puede formarse al ensamblar n sub-filtros separados.

En algunas implementaciones, cada unidad de píxeles fotosensibles 210a incluye cuatro píxeles fotosensibles adyacentes 212. Dos píxeles fotosensibles adyacentes 212 forman de forma colectiva una sub-unidad de píxeles fotosensibles 2120. La sub-unidad de píxeles fotosensibles 2120 incluye además un seguidor de fuente 2123 y un convertidor de señal analógico a digital 2124. La unidad de píxeles fotosensibles 210a incluye además un sumador 213. Un primer electrodo de cada tubo de transmisión 2122 en la sub-unidad de píxeles fotosensible 2120 está acoplado a un electrodo de cátodo de un elemento fotosensible 2121 correspondiente. Los segundos electrodos de todos los tubos de transmisión 2122 en la sub-unidad de píxeles fotosensibles 2120 se acoplan de forma colectiva a un electrodo de puerta del seguidor de fuente 2123 y se acoplan a un convertidor de señal analógico a digital 2124 a través del electrodo de fuente del seguidor de fuente 2123. El seguidor de fuente 2123 puede ser un transistor MOS. Dos sub-unidades de píxeles fotosensibles 2120 están acopladas al sumador 213 a través de los respectivos seguidores de fuente 2123 y los respectivos convertidores de señal analógico a digital 2124.

En otras palabras, cuatro elementos adyacentes fotosensibles 2121 en una unidad de píxeles fotosensibles 210a del sensor de imagen 200 de acuerdo con una realización de la presente divulgación usan de forma colectiva una unidad de filtro 220a con el mismo color que la unidad de píxeles fotosensibles 210a. Cada elemento fotosensible 2121 está acoplado a un tubo de transmisión 2122 correspondientemente. Dos elementos fotosensibles adyacentes 2121 usan de forma colectiva un seguidor de fuente 2123 y un convertidor de señal analógico a digital 2124. Cuatro elementos fotosensibles adyacentes 2121 usan de forma colectiva un sumador 213.

Además, cuatro elementos fotosensibles adyacentes 2121 están dispuestos en una matriz de 2 por 2. Dos elementos fotosensibles 2121 en una sub-unidad de píxeles fotosensibles 2120 pueden estar en una misma hilera.

Durante un proceso de obtención de imágenes, cuando dos sub-unidades de píxeles fotosensibles 2120 o cuatro elementos fotosensibles 2121 cubiertos por una misma unidad de filtro 220a se exponen de forma simultánea, los píxeles pueden fusionarse y puede generarse la imagen fusionada.

En detalle, el elemento fotosensible 2121 está configurado para convertir la luz en carga, y la carga es proporcional a una intensidad de iluminación. El tubo de transmisión 2122 está configurado para controlar un circuito para encender o apagar de acuerdo con una señal de control. Cuando se enciende el circuito, el seguidor de fuente 2123 está configurado para convertir la carga generada a través de la iluminación de la luz en una señal de voltaje. El convertidor de señal analógico a digital 2124 está configurado para convertir la señal de voltaje en una señal digital. El sumador 213 está configurado para agregar dos señales digitales a la generación.

Con referencia a la Fig. 7, se toma como ejemplo un sensor de imagen 200 de 16M. El sensor de imagen 200 de acuerdo con una realización de la presente divulgación puede fusionar píxeles fotosensibles 212 de 16M en píxeles fotosensibles de 4M, es decir, el sensor de imagen 200 genera la imagen fusionada. Después de la fusión, el píxel fotosensible 212 se cuadruplica en tamaño, de tal modo que aumenta la fotosensibilidad del píxel fotosensible 212. Además, dado que la mayor parte del ruido en el sensor de imagen 200 es aleatorio, puede haber puntos de ruido en uno o dos píxeles antes de la fusión. Después de que cuatro píxeles fotosensibles 212 se fusionan en un gran píxel fotosensible 212, se reduce el efecto de los puntos de ruido en el gran píxel fotosensible, es decir, el ruido se debilita y se mejora la SNR (relación señal / ruido).

Sin embargo, cuando aumenta el tamaño del píxel fotosensible, disminuye el número de píxeles y, por lo tanto, disminuye la resolución de la imagen fusionada.

Durante un proceso de obtención de imágenes, cuando cuatro elementos fotosensibles 2121 cubiertos por una misma unidad de filtro 220a se exponen a la luz en secuencia, puede generarse una imagen de bloque de color después de un procesamiento de la imagen.

En detalle, el elemento fotosensible 2121 está configurado para convertir la luz en carga, y la carga es proporcional a una intensidad de iluminación. El tubo de transmisión 2122 está configurado para controlar un circuito para encender o apagar de acuerdo con una señal de control. Cuando se enciende el circuito, el seguidor de fuente 2123 está configurado para convertir la carga generada a través del elemento fotosensible 2121 bajo iluminación de la luz en una señal de voltaje. El convertidor de señal analógico a digital 2124 está configurado para convertir la señal de voltaje en una señal digital para ser procesada.

Con referencia a la Fig. 8, se toma como ejemplo un sensor de imagen 200 de 16M. El sensor de imagen 200 de acuerdo con una realización de la presente divulgación puede generar píxeles fotosensibles 212 de 16M, es decir, el sensor de imagen 200 genera la imagen de bloques de color. La imagen de bloques de color incluye unidades de píxeles de imagen. La unidad de píxeles de imagen incluye píxeles originales dispuestos en una matriz de 2 por 2. El tamaño del píxel original es el mismo que el del píxel fotosensible 212. Sin embargo, dado que la unidad de filtro 220a que cubre cuatro elementos fotosensibles adyacentes 2121 tiene un mismo color (es decir, aunque cuatro elementos fotosensibles 2121 estén expuestos respectivamente a la luz, la unidad de filtro 220a que cubre los cuatro elementos fotosensibles 2121 tiene un mismo color), cuatro píxeles originales adyacentes en cada unidad de píxeles de imagen de la imagen de generación tienen el mismo color y, por lo tanto, no puede aumentarse la resolución de la imagen.

El procedimiento de procesamiento de imágenes de acuerdo con una realización de la presente divulgación es capaz de procesar la imagen del bloque de color de generación para obtener una imagen de simulación.

En algunas realizaciones, cuando se genera una imagen fusionada, pueden generarse cuatro píxeles fotosensibles adyacentes 212 con el mismo color que un píxel fusionado. En consecuencia, cuatro píxeles fusionados adyacentes en la imagen fusionada pueden considerarse como dispuestos en un mosaico de Bayer típico, y pueden procesarse directamente para generar una imagen fusionada de color verdadero. Cuando se genera una imagen de bloque de color, cada píxel fotosensible 212 se genera por separado. Dado que cuatro píxeles fotosensibles adyacentes 212 tienen el mismo color, cuatro píxeles originales adyacentes en una unidad de píxeles de imagen tienen un mismo color, que forman un mosaico de Bayer atípico. Sin embargo, los píxeles con el mosaico de Bayer atípico no pueden procesarse directamente. En otras palabras, cuando el sensor de imagen 200 adopta un mismo aparato para procesar la imagen, a fin de obtener una compatibilidad de las generaciones de imagen en color verdadero en dos modos (es decir, la imagen en color verdadero fusionada en un modo fusionado y la imagen de simulación de color verdadero en un modo de bloque de color), es necesario convertir la imagen de bloque de color en la imagen de simulación, o convertir la unidad de píxeles de la imagen en un mosaico de Bayer atípico en píxeles dispuestos en el mosaico de Bayer típico.

La imagen de simulación incluye píxeles de simulación dispuestos en el mosaico de Bayer. Cada píxel fotosensible corresponde a un píxel de simulación. Un píxel de simulación en la imagen de simulación corresponde a un píxel original ubicado en la misma posición que el píxel de simulación y en la imagen del bloque de color. De acuerdo con las realizaciones de la presente divulgación, la imagen de simulación se fusiona a través de la primera imagen de simulación y la segunda imagen de simulación.

Utilizando el primer algoritmo de interpolación, la parte de la imagen del bloque de color más allá del área frontal puede convertirse en la primera imagen de simulación. La primera imagen de simulación incluye los primeros píxeles de simulación dispuestos en una matriz y cada píxel fotosensible corresponde a un primer píxel de simulación. La Fig. 9 es un diagrama esquemático que ilustra un proceso de conversión de una parte de una imagen de bloque de color en una primera imagen de simulación de acuerdo con una realización de la presente divulgación.

Con referencia a la Fig. 9, se ilustra el primer algoritmo de interpolación. Para los primeros píxeles de simulación R3'3 'y R5'5', los píxeles originales correspondientes son R33 y B55.

Cuando se obtiene el primer píxel de simulación R3'3', dado que el primer píxel de simulación R3'3' tiene el mismo color que el píxel original R33 correspondiente, el valor de píxel del píxel original R33 se determina directamente como el valor de Cuando se obtiene el primer píxel de simulación R5'5', dado que el primer píxel de simulación R5'5' tiene un color diferente al del píxel original B55 correspondiente, el valor de píxel del píxel original B55 no puede determinarse directamente como el valor de píxel del primer píxel de simulación R5'5', y se requiere calcular el valor de píxel del primer píxel de simulación R5'5' de acuerdo con un píxel de asociación del primer píxel de simulación R5'5' a través de un primer algoritmo de interpolación. píxel del primer píxel de simulación R3'3' durante la conversión.

Cabe señalar que, un valor de píxel de un píxel mencionado en el contexto debe entenderse en un sentido amplio como un valor de atributo de color del píxel, como un valor de color.

Puede haber más de una unidad de píxel de asociación por cada primer píxel de simulación, por ejemplo, puede haber cuatro unidades de píxel de asociación, en las que las unidades de píxel de asociación tienen el mismo color que el primer píxel de simulación y son adyacentes a la unidad de píxeles de imagen, lo que incluye el píxel original en la misma posición que el primer píxel de simulación.

Cabe señalar que, "adyacente" en el presente documento debe entenderse en un sentido amplio. Si se toma la Fig. 9 como ejemplo, el primer píxel de simulación R5'5‘ corresponde al píxel original B55. Las unidades de píxeles de imagen 400, 500, 600 y 700 se seleccionan como unidades de píxel de asociación, pero otras unidades de píxeles de imagen rojas lejos de la unidad de píxeles de imagen donde se encuentra el píxel original B55 no se seleccionan como unidades de píxel de asociación. En cada unidad de píxel de asociación, el píxel original rojo más cercano al píxel original B55 se selecciona como píxel de asociación, lo que significa que los píxeles de asociación del primer píxel de simulación R5'5‘ incluyen los píxeles originales R44, R74, R47 y R77. El primer píxel de simulación R5'5‘ es adyacente a y tiene el mismo color que los píxeles originales R44, R74, R47 y R77.

En diferentes casos, los píxeles originales pueden ser convertidos en los primeros píxeles de simulación de diferentes maneras, y de este modo se convierte la imagen del bloque de color en la primera imagen. Dado que los filtros en el mosaico de Bayer se adoptan al tomar la imagen, se mejora la SNR de la imagen. Durante el procedimiento de procesamiento de imagen, el primer algoritmo de interpolación realiza el procesamiento de interpolación en la parte de la imagen de bloques de color más allá del área frontal, de tal modo que puede mejorarse la distinción y la resolución de la imagen.

Con referencia a la figura 10, en algunas implementaciones, la acción en el bloque 23 (es decir, determinar el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación) incluye lo siguiente. En el bloque 231, se calcula un cambio del color del primer píxel de simulación en cada dirección de al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación.

En el bloque 232, se calcula un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio. En el bloque 233, el valor de píxel del primer píxel de simulación se calcula de acuerdo con el peso y el valor de píxel del píxel de asociación.

En detalle, el primer procesamiento de interpolación se realiza de la siguiente manera: con referencia a los cambios de energía de la imagen en diferentes direcciones y de acuerdo con los pesos de los píxeles de asociación en diferentes direcciones, el valor de píxel del primer píxel de simulación se calcula a través de una interpolación lineal. Desde la dirección que tiene un cambio de energía más pequeño, puede obtenerse un valor de referencia más alto, es decir, el peso para esta dirección en la primera interpolación es alto.

En algunos ejemplos, por conveniencia, solo se consideran la dirección horizontal y la dirección vertical.

El valor de píxel del primer píxel de simulación R5'5' se obtiene a través de un primer algoritmo de interpolación basado en los píxeles originales R44, R74, R47 y R77. Dado que no hay un píxel original con el mismo color que el primer píxel de simulación (es decir, R) en dirección horizontal y en dirección vertical del píxel original R55 correspondiente al primer píxel de simulación R5'5', un componente de este color (es decir, R) en cada una de las direcciones horizontal y vertical se calcula de acuerdo con los píxeles de asociación. Los componentes en la dirección horizontal son R45 y R75, y los componentes en la dirección vertical son R54 y R57. Todos los componentes pueden calcularse de acuerdo con los píxeles originales R44, R74, R47 y R77.

En detalle, R45=R44*2/3+R47*1/3, R75=2/3*R74+1/3*R77, R54=2/3*R44+1/3*R74, R57= 2/3*R47+1/3*R77.

Se calculan respectivamente el cambio de color y el peso en cada una de las direcciones horizontal y vertical. En otras palabras, de acuerdo con el cambio de color en cada dirección, se determina el peso de referencia en cada dirección utilizada en el primer algoritmo de interpolación. El peso en la dirección con un pequeño cambio es alto, mientras que el peso en la dirección con un gran cambio es bajo. El cambio en la dirección horizontal es X1=|R45-R75|.El cambio en la dirección vertical es X2=|R54-R57|, W1=X1/ (X1+X2), W2=X2/ (X1+X2).

Después del cálculo anterior, el valor de píxel del primer píxel de simulación R5'5' puede calcularse como R5'5'=(2/3*R45+1/3*R75)*W2+(2/3*R54+1/3*R57)*W1. Puede entenderse que, si X1>X2, entonces W1>W2. El peso en la dirección horizontal es W2, y el peso en la dirección vertical es W1, y viceversa.

En consecuencia, el valor de píxel del primer píxel de simulación puede ser calculado a través del primer algoritmo de interpolación. Después de los cálculos en los píxeles de asociación, los píxeles originales pueden convertirse en los primeros píxeles de simulación dispuestos en el mosaico de Bayer típico. En otras palabras, cuatro primeros píxeles de simulación adyacentes dispuestos en la matriz de 2 por 2 incluyen un primer píxel de simulación rojo, dos primeros píxeles de simulación verdes y un primer píxel de simulación azul.

Cabe señalar que, el primer procesamiento de interpolación no se limita al procedimiento mencionado anteriormente, en el que solo se consideran los valores de píxel de píxeles con un mismo color que el primer píxel de simulación en la dirección vertical y en la dirección horizontal durante el cálculo del valor de píxel del primer píxel de simulación. En otras realizaciones, también pueden considerarse valores de píxeles de píxeles con otros colores.

La Fig. 11 es un diagrama de flujo de un proceso de conversión de una parte de una imagen de bloques de color en una segunda imagen de simulación de acuerdo con una realización de la presente divulgación.

Con referencia a la Fig. 11, en algunas realizaciones, la acción en el bloque 30 incluye lo siguiente.

En el bloque 31, se calcula un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen del bloque de color dentro del área frontal.

En el bloque 32, se determina si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el segundo píxel de simulación; en caso afirmativo, se ejecuta una acción en el bloque 33; de lo contrario, se ejecuta una acción en el bloque 34.

En el bloque 33, se determina un valor de píxel promedio de una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación; y

En el bloque 34, se determina un valor de píxel promedio de una unidad de píxeles de imagen con el mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación.

Para la parte de la imagen del bloque de color dentro del área frontal, se requiere que el bloque de color se procese por medio de utilizar el segundo algoritmo de interpolación. El segundo algoritmo de interpolación puede implementarse como sigue. Se calcula el valor de píxel promedio de los píxeles originales incluidos en una unidad de píxeles de imagen de la pieza. Se determina si el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación. Cuando los dos colores son iguales, se determina el valor de píxel promedio correspondiente al píxel original como el valor de píxel del segundo píxel de simulación. Si los dos colores son diferentes entre sí, el valor de píxel del segundo píxel de simulación se determina de acuerdo con el valor de píxel de un píxel asociado que tenga el mismo color con el segundo píxel de simulación y adyacente a la unidad de píxeles de imagen, que incluye el píxel original.

Con referencia a la Fig. 12, un valor de píxel promedio de cada unidad de píxeles de imagen se calcula como Ravg=(R1+R2+R3+R4)/4,

Gravg=(Gr1 Gr2+Gr3+Gr4)/4,

Gbavg=(Gb1+Gb2+Gb3+Gb4)/4 y

Bavg=(B1+B2+B3+B4)/4.

Los valores de píxel de los píxeles originales R11, R12, R13 y R14 son todos iguales a Ravg. Los valores de píxel de los píxeles originales Gr31, Gr32, Gr41 y Gr42 son todos iguales a Gravg. Los valores de píxel de los píxeles originales Gb13, Gb14, Gb23 y Gb24 son todos iguales a Gbave. Los valores de píxel de los píxeles originales B33, B34, B43 y B44 son todos iguales a Bavg. Si se toma como ejemplo el segundo píxel de simulación B22, el píxel original correspondiente tiene la misma posición que el segundo píxel de simulación B22 es R22. Dado que el color del segundo píxel de simulación B22 es diferente del píxel original correspondiente R22, se determina el valor de píxel promedio Bavg de la unidad de píxeles de imagen (incluidos los píxeles originales B33, B34, B43 y B44) con el mismo color (azul) que B22 y adyacente a la unidad de píxeles de la imagen que incluye B22 como el valor de píxel de B22. De manera similar, el valor de píxel de cada segundo píxel de simulación con otros colores puede determinarse utilizando el segundo algoritmo de interpolación.

Utilizando el segundo algoritmo de interpolación, la complejidad de convertir la imagen del bloque de color en el mosaico de Bayer atípico en la segunda imagen de simulación en la matriz típica es relativamente menor que el primer algoritmo de interpolación. Con el segundo algoritmo de interpolación, la capacidad de distinción de la segunda imagen de simulación también puede aumentarse con respecto a la imagen del bloque de color, pero el efecto de la segunda imagen de simulación es menor que la primera imagen de simulación obtenida con el primer algoritmo de interpolación. Por lo tanto, la parte de la imagen del bloque de color más allá del área frontal se procesa utilizando el primer algoritmo de interpolación y la parte de la imagen del bloque de color dentro del área frontal se procesa utilizando el segundo algoritmo de interpolación, la capacidad de distinción y el efecto de la imagen de simulación puede aumentarse, de modo que se mejora la experiencia del usuario y se reduce el tiempo que tarda en el procesamiento de la imagen. Con referencia a la figura 13, en algunas realizaciones, antes de la acción en el bloque 23, el procedimiento incluye además realizar una compensación de balance de blancos en la imagen del bloque de color, como se ilustra en el bloque 24.

En consecuencia, después de la acción en el bloque 23, el procedimiento incluye además realizar una compensación inversa del balance de blancos en la primera imagen de simulación, como se ilustra en el bloque 25.

En detalle, en algunos ejemplos, al convertir la imagen del bloque de color en la primera imagen de simulación en el primer algoritmo de interpolación, los primeros píxeles de simulación rojos y azules no solo se refieren a los pesos de color de los píxeles originales que tienen el mismo color que los primeros píxeles de simulación, sino también se refieren a los pesos de color de los píxeles originales con el color verde. Por lo tanto, se requiere realizar la compensación del balance de blancos antes de la interpolación para excluir un efecto del balance de blancos en el primer cálculo de la interpolación. Para evitar dañar el balance de blancos de la imagen del bloque de color, se requiere realizar la compensación inversa del balance de blancos en la primera imagen de simulación después de la primera interpolación de acuerdo con los valores de ganancia de los colores rojo, verde y azul en la compensación.

De esta forma, puede excluirse el efecto del balance de blancos en el cálculo de la interpolación, y la imagen de simulación obtenida después de la interpolación puede mantener el balance de blancos de la imagen del bloque de color.

Con referencia a la Fig. 13 nuevamente, en algunas implementaciones, antes de la acción en el bloque 23, el procedimiento incluye además realizar una compensación de punto malo en la imagen del bloque de color, como se ilustra en el bloque 26.

Puede entenderse que, limitado por el proceso de fabricación, puede haber puntos malos en el sensor de imagen 200. El punto malo presenta un mismo color todo el tiempo sin variar con la fotosensibilidad, lo que afecta la calidad de la imagen. Para garantizar una precisión de la interpolación y evitar el efecto de los puntos malos, es necesario realizar la compensación de puntos malos antes de la interpolación.

En detalle, durante la compensación del punto malo, se detectan los píxeles originales. Cuando se detecta un píxel original como el punto malo, se realiza la compensación del punto malo de acuerdo con los valores de píxel de otros píxeles originales en la unidad de píxeles de la imagen donde se encuentra el píxel original.

De esta forma, puede evitarse el efecto del punto malo en la interpolación, y de este modo se mejora la calidad de la imagen.

Con referencia a la Fig. 13 nuevamente, en algunas implementaciones, antes de la acción en el bloque 23, el procedimiento incluye realizar una compensación de diafonía en la imagen del bloque de color, como se ilustra en el bloque 27.

En detalle, cuatro píxeles 212 fotosensibles en una unidad de píxeles fotosensibles 210a están cubiertos por los filtros con el mismo color, y los píxeles fotosensibles 212 tienen diferentes fotosensibilidades, de tal modo que puede producirse ruido de espectro fijo en áreas de color puro en la imagen de simulación en color verdadero generada después de convertir la imagen de simulación y la calidad de la imagen pueden verse afectada. Por lo tanto, es necesario realizar la compensación de diafonía en la imagen del bloque de color.

Como se describió anteriormente, para realizar la compensación de diafonía, es necesario obtener los parámetros de compensación durante el proceso de fabricación del sensor de imagen 200 de un aparato de imagen y almacenar los parámetros relacionados con la compensación de diafonía en el almacenamiento del aparato de imágenes o dispositivo electrónico provisto con el aparato de imágenes, como el teléfono móvil o la tableta electrónica.

El entorno luminoso preestablecido, por ejemplo, puede incluir una placa LED uniforme que tenga una temperatura de color de aproximadamente 5000K y un brillo de aproximadamente 1000 lux. Los parámetros de imagen pueden incluir un valor de ganancia, un valor de obturador y una ubicación de una lente. Después de configurar los parámetros relacionados, pueden obtenerse los parámetros de compensación de diafonía.

Durante el proceso, se obtienen múltiples imágenes de bloques de color utilizando los parámetros de imagen preestablecidos en el entorno luminoso preestablecido, y se combinan en una imagen de combinación de bloques de color, de tal modo que pueda reducirse el efecto del ruido causado por el uso de una sola imagen de bloque de color como referencia.

Con referencia a la Fig. 14, se toma como ejemplo la unidad de píxeles de la imagen Gr. La unidad de píxeles de la imagen Gr incluye los píxeles originales Gr1, Gr2, Gr3 y Gr4. El propósito de la compensación de diafonía es ajustar los píxeles fotosensibles que pueden tener diferentes fotosensibilidades para tener la misma fotosensibilidad. Un valor de píxel promedio de la unidad de píxeles de la imagen es Gr_avg=(Gr1+Gr2+Gr3+Gr4)/4, que representa un nivel promedio de fotosensibilidad de los cuatro píxeles fotosensibles. Al configurar el valor promedio como un valor de referencia, se calculan las relaciones de Gr1/Gr_avg,Gr2/Gr_avg, Gr3/Gr_avg y Gr4/Gr_avg. Puede entenderse que, al calcular una relación del valor de píxel de cada píxel original al valor de píxel promedio de la unidad de píxeles de la imagen, puede reflejarse una desviación entre cada píxel original y el valor de referencia. Pueden registrarse cuatro relaciones en un almacenamiento de un dispositivo relacionado como parámetros de compensación, y pueden recuperarse durante el proceso de obtención de imágenes para compensar cada píxel original, y de este modo reducir la diafonía y mejorar la calidad de la imagen.

En general, después de establecer los parámetros de compensación de diafonía, se realiza una verificación de los parámetros para determinar la precisión de los parámetros.

Durante la verificación, se obtiene una imagen de bloque de color con el mismo entorno luminoso y los mismos parámetros de imagen que el entorno luminoso predeterminado y los parámetros de imagen predeterminados, y la compensación de diafonía se realiza en la imagen de bloque de color de acuerdo con los parámetros de compensación calculados para calcular la compensación Gr'_avg, Gr'1/Gr'_avg,Gr'2/Gr'_avg, Gr'3/Gr'_avg and Gr'4/Gr'_avg. La precisión de los parámetros puede determinarse de acuerdo con los resultados del cálculo desde una perspectiva macro y una perspectiva micro. Desde la micro perspectiva, cuando cierto píxel original después de la compensación todavía tiene una gran desviación que es fácil de detectar por el usuario después del proceso de obtención de imagen, esto significa que los parámetros no son precisos. Desde la macro perspectiva, cuando hay demasiados píxeles originales con desviaciones después de la compensación, el usuario puede detectar las desviaciones en su conjunto, incluso si un solo píxel original tiene una pequeña desviación, y en este caso, los parámetros tampoco son preciso. Por lo tanto, puede establecerse un umbral de relación para la micro perspectiva, y puede establecerse otro umbral de relación y un umbral de número para la macro perspectiva. De esta manera, la verificación puede realizarse en los parámetros de compensación de diafonía para garantizar la precisión de los parámetros de compensación y reducir el efecto de la diafonía en la calidad de la imagen.

Con referencia a la Fig. 15, en algunas implementaciones, después de la acción en el bloque 23, el procedimiento incluye además realizar al menos una corrección de la forma de la lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen de simulación, como se ilustra en el bloque 28.

Puede entenderse que, después de que la imagen del bloque de color es convertida en la primera imagen de simulación, los primeros píxeles de simulación se disponen en el mosaico de Bayer típico. Puede procesarse la primera imagen de simulación, durante la cual se incluyen la corrección de la forma de la lente, el procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes.

En otro aspecto, la presente divulgación también proporciona un aparato de procesamiento de imágenes.

Fig. 16 es un diagrama de bloques de un aparato de procesamiento de imágenes de acuerdo con una realización de la presente divulgación. Con referencia a la Fig. 16 y a las Figs. 2-3, y 5-6, se ilustra un aparato de procesamiento de imágenes 300.El aparato de procesamiento de imágenes 300 está configurado para procesar una salida de imagen en bloque de color a través de un sensor de imagen 200.Como se ilustra anteriormente, el sensor de imagen 200 incluye una matriz 210 de unidades de píxeles fotosensibles y una matriz 220 de unidades de filtro dispuestas en la matriz 210 de unidades de píxeles fotosensibles. Cada unidad de filtro 220a corresponde a una unidad de píxeles fotosensibles 210a, y cada unidad de píxeles fotosensibles 210a incluye múltiples píxeles fotosensibles 212.La imagen de bloques de color incluye unidades de píxeles de imagen dispuestas en una matriz preestablecida. Cada unidad de píxeles de imagen incluye múltiples píxeles originales. Cada unidad de píxel fotosensible 210a corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible 212 corresponde a un píxel original. El aparato de procesamiento de imágenes 300 incluye un medio no transitorio legible por ordenador 3600 y un sistema de ejecución de instrucciones 3800. El medio no transitorio legible por ordenador 3600 incluye instrucciones ejecutables por ordenador almacenadas en él. Como se ilustra en la Fig.16, el medio no transitorio legible por ordenador 3600 incluye múltiples módulos de programa, que incluyen un módulo de identificación 310, un primer módulo de conversión 320, un segundo módulo de conversión 330 y un módulo de fusión 340. El sistema de ejecución de instrucciones 3800 está configurado por las instrucciones almacenadas en el medio 3600 para implementar los módulos del programa.

El módulo de identificación 310 está configurado para identificar un área frontal de la imagen del bloque de color. El primer módulo de conversión 320 está configurado para convertir una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación. La primera imagen de simulación incluye los primeros píxeles de simulación dispuestos en una matriz preestablecida y cada píxel fotosensible 212 corresponde a un primer píxel de simulación. El segundo módulo de conversión 330 está configurado para convertir una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación. La segunda imagen de simulación incluye los segundos píxeles de simulación dispuestos en una matriz preestablecida y cada píxel fotosensible 212 corresponde a un segundo píxel de simulación. Una complejidad del segundo algoritmo de interpolación es menor a la del primer algoritmo de interpolación. El módulo de fusión 340 está configurado para fusionar la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

En otras palabras, la acción en el bloque 10 puede implementarse a través del módulo de identificación 310. La acción en el bloque 20 puede implementarse a través del primer módulo de conversión 320. La acción en el bloque 30 puede implementarse a través del segundo módulo de conversión 330. La acción en el bloque 40 puede implementarse a través del módulo de fusión 340.

Con el aparato de procesamiento de imágenes de acuerdo con las realizaciones de la presente divulgación, el sensor de imagen 200 puede controlarse para generar una imagen adecuada al identificar el área frontal. De esta manera, la parte de la imagen del bloque de color más allá del área frontal se procesa con el primer algoritmo de interpolación capaz de mejorar la capacidad de distinción y la resolución de la imagen, y de este modo mejorar la capacidad de distinción y la resolución de la imagen, mientras que la parte de la imagen del bloque de color dentro del área frontal se procesa con el segundo algoritmo de interpolación que tiene una menor complejidad que el primer algoritmo de interpolación, de tal modo que se mejoran la ^sN^r(relación señal / ruido), la resolución y la capacidad de distinción de la imagen, mientras que los datos y el tiempo para el procesamiento de imágenes se reduce, y de este modo se mejora la experiencia del usuario.

Con referencia a la Fig. 17, en algunas implementaciones, el primer módulo de conversión 320 incluye una primera unidad de determinación 321, una segunda unidad de determinación 322 y una tercera unidad de determinación 323. La primera unidad de determinación 3302 está configurada para determinar si un color de un primer píxel de simulación es idéntico al de un píxel original en la misma posición que el primer píxel de simulación. La segunda unidad de determinación 332 está configurada para determinar un valor de píxel del píxel original como un valor de píxel del primer píxel de simulación, cuando el color del primer píxel de simulación es idéntico al del píxel original en la misma posición que el primer píxel de simulación. La tercera unidad de determinación 333 está configurada para determinar el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación cuando el color del primer píxel de simulación es diferente del del píxel original en la misma posición que el primer píxel de simulación, en el que el píxel de asociación se selecciona de una unidad de píxeles de imagen con el mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original. En otras palabras, la acción en el bloque 21 puede implementarse a través de la primera unidad de determinación 321. La acción en el bloque 22 puede implementarse a través de la primera unidad de procesamiento 322. La acción en el bloque 23 puede implementarse a través de la segunda unidad de procesamiento 323.

Con referencia a la Fig. 18, la tercera unidad de determinación 323 incluye una primera sub-unidad de cálculo 3231, una segunda sub-unidad de cálculo 3232 y una tercera sub-unidad de cálculo 3233. La primera sub-unidad de cálculo 3231 está configurada para calcular un cambio del color del primer píxel de simulación en cada dirección de al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación. La segunda sub-unidad de cálculo 3232 está configurada para calcular un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio. La tercera sub-unidad de cálculo 3233 está configurada para calcular el valor de píxel del primer píxel de simulación de acuerdo con el peso y el valor de píxel del píxel de asociación. En otras palabras, la acción en el bloque 231 puede implementarse a través de la primera sub-unidad de cálculo 3231. La acción en el bloque 232 puede implementarse a través de la segunda unidad de cálculo 3232. La acción en el bloque 233 puede implementarse a través de la tercera unidad de cálculo 3233.

Con referencia a la Fig. 19, en algunas implementaciones, el segundo módulo de conversión 330 incluye una primera unidad de cálculo 331, una cuarta unidad de determinación 332, una quinta unidad de determinación 333 y una sexta unidad de determinación 334.La acción en el bloque 31 puede implementarse a través de la primera unidad de cálculo 331. La acción en el bloque 32 puede implementarse a través de la cuarta unidad de determinación 332. La acción en el bloque 33 puede implementarse a través de la quinta unidad de determinación 333.La acción en el bloque 34 puede implementarse a través de la sexta unidad de determinación 334. En otras palabras, la primera unidad de cálculo 331 está configurada para calcular un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen de bloques de color dentro del área frontal. La cuarta unidad de determinación 332 está configurada para determinar si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el segundo píxel de simulación. La quinta unidad de determinación 333 está configurada para determinar un valor de píxel de una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación, cuando el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación. La sexta unidad de determinación 334 está configurada para determinar un valor de píxel promedio de una unidad de píxeles de imagen con el mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación cuando el color del segundo píxel de simulación es diferente al del píxel original en la misma posición que el segundo píxel de simulación.

Con referencia a la Fig. 20, en algunas implementaciones el primer módulo de conversión 320 incluye además una unidad de compensación 324 y una unidad de restauración 325. La acción en el bloque 24 puede implementarse a través de la primera unidad de compensación 324. La acción en el bloque 25 puede implementarse a través de una unidad de restauración 325.En otras palabras, la primera unidad de compensación 324 está configurada para realizar una compensación del balance de blancos en la imagen del bloque de color. La unidad de restauración 325 está configurada para realizar una compensación del balance de blancos inversa en la primera imagen de simulación.

Con referencia a la Fig. 20 nuevamente, en algunas implementaciones el primer módulo de conversión 320 incluye además una segunda unidad de compensación 326. La acción en el bloque 26 puede implementarse a través de la segunda unidad de compensación 326. En otras palabras, la segunda unidad de compensación 326 está configurada para realizar una compensación del punto malo en la imagen del bloque de color.

En algunas implementaciones, el primer módulo de conversión 320 incluye además una tercera unidad de compensación 327. La acción en el bloque 27 puede implementarse a través de la tercera unidad de compensación 327. En otras palabras, la tercera unidad de compensación 327 está configurada para realizar una compensación de diafonía en la imagen del bloque de color.

Con referencia a la Fig. 21, en algunas implementaciones el primer módulo de conversión 320 incluye además una unidad de procesamiento 328. La acción en el bloque 28 puede implementarse a través de la unidad de procesamiento 328. En otras palabras, la unidad de procesamiento 328 está configurada para realizar al menos una corrección de la forma del lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen de simulación.

La presente divulgación proporciona también un dispositivo electrónico.

La Fig. 22 es un diagrama de bloques de un dispositivo electrónico 1000 de acuerdo con una realización de la presente divulgación. Con referencia a la Fig. 22, el dispositivo electrónico 1000 de la presente divulgación incluye una carcasa 1001, un procesador 1002, una memoria 1003, una placa de circuito impreso 1006, un circuito de suministro de energía 1007 y un aparato de imágenes 100. La placa de circuito impreso 1006 se encuentra dentro de la carcasa 1001. El procesador 1002 y la memoria 1003 están ubicados en la placa de circuito impreso 1006. El circuito de suministro de energía 1007 está configurado para proveer de energía a los respectivos circuitos o componentes del dispositivo electrónico 1000. La memoria 1003 está configurada para almacenar códigos de programa ejecutables. El aparato de imágenes 100 incluye un sensor de imagen 200. Como se ilustra anteriormente, el sensor de imagen 200 incluye una matriz 210 de unidades de píxeles fotosensibles y una matriz 220 de unidades de filtro dispuestas en la matriz 210 de unidades de píxeles fotosensibles. Cada unidad de filtro 220a corresponde a una unidad de píxeles fotosensibles 210a, y cada unidad de píxeles fotosensibles 210a incluye múltiples píxeles fotosensibles 212. La imagen de bloques de color incluye unidades de píxeles de imagen dispuestas en una matriz preestablecida. Cada unidad de píxeles de imagen incluye múltiples píxeles originales. Cada unidad de píxel fotosensible 210a corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible 212 corresponde a un píxel original.

El procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar las siguientes operaciones: identificar un área frontal de la imagen del bloque de color; convertir una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación, en el que la primera imagen de simulación incluye los primeros píxeles de simulación dispuestos en una matriz preestablecida y cada píxel fotosensible corresponde a un primer píxel de simulación; convertir una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación, en el que, la segunda imagen de simulación incluye segundos píxeles de simulación dispuestos en una matriz preestablecida, y cada píxel fotosensible corresponde a un segundo píxel de simulación, y una complejidad del segundo algoritmo de interpolación es menor que la del primer algoritmo de interpolación; y fusionar la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

En algunas implementaciones, el dispositivo electrónico 1000 es un teléfono o una tableta electrónica.

El teléfono y la tableta electrónica tienen una cámara (es decir, un aparato de imágenes 100), de modo que cuando se usa el teléfono o la tableta electrónica, puede obtenerse una imagen con una alta capacidad de distinción al adoptar el procedimiento de procesamiento de imágenes de acuerdo con las realizaciones de la presente divulgación.

Ciertamente, el dispositivo electrónico 1000 puede ser además otro dispositivo electrónico que tenga una capacidad de generación de imágenes.

En algunas implementaciones, el dispositivo electrónico 1000 incluye una cámara frontal o una cámara trasera.

Puede entenderse que las variedades del dispositivo electrónico 1000 incluyen tanto la cámara frontal como la cámara trasera. La imagen capturada por la cámara frontal o la cámara trasera puede ser procesada al adoptarse el procedimiento de procesamiento de imágenes de acuerdo con las realizaciones de la presente divulgación, y de este modo mejorar la experiencia del usuario.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar la determinación de si un color de un primer píxel de simulación es idéntico al de un píxel original en la misma posición que el primer píxel de simulación; cuando el color del primer píxel de simulación es idéntico al del píxel original en la misma posición que el primer píxel de simulación, determinar un valor de píxel del píxel original como un valor de píxel del primer píxel de simulación; y cuando el color del primer píxel de simulación es diferente del del píxel original en la misma posición que el primer píxel de simulación, determinar el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación, en el que el píxel de asociación se selecciona de una unidad de píxeles de imagen con el mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar el cálculo de un cambio del color del primer píxel de simulación en cada dirección de al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación; calcular un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio; y calcular el valor de píxel del primer píxel de simulación de acuerdo con el peso y el valor de píxel del píxel de asociación.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar el cálculo de un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen de bloque de color dentro del área frontal; determinar si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el segundo píxel de simulación; cuando el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación, determinar un valor de píxel promedio de una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación; y cuando el color del segundo píxel de simulación es diferente del del píxel original en la misma posición que el segundo píxel de simulación, determinar un valor de píxel promedio de una unidad de píxeles de imagen con un mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar las siguientes operaciones: realizar una compensación del balance de blancos en la imagen del bloque de color; y realizar una compensación inversa del balance de blancos en la primera imagen de simulación.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar una compensación de punto malo y una compensación de diafonía en la imagen del bloque de color.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables al leer los códigos de programa ejecutables almacenados en la memoria 1003, para realizar al menos una corrección de la forma del lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen de simulación.

En algunas implementaciones, el dispositivo electrónico puede ser un equipamiento electrónico provistos de un aparato de imágenes, como, por ejemplo, un teléfono móvil o una tableta electrónica, pero no está limitada a ello.

El dispositivo electrónico 1000 también puede incluir un componente de entrada (no ilustrado en la Fig. 22). Debe entenderse que el componente de entrada puede incluir además uno o más de los siguientes: una interfaz de entrada, un botón físico del dispositivo electrónico 1000, un micrófono, etc.

Debe entenderse que el dispositivo electrónico 1000 puede incluir además uno o más de los siguientes componentes (no ilustrados en la Fig. 22): un componente de audio, una interfaz de entrada/salida (E/S), un componente de sensor y un componente de comunicación. El componente de audio está configurado para emitir y/o recibir señales de audio, por ejemplo, el componente de audio incluye un micrófono. La interfaz de E/S está configurada para proporcionar una interfaz entre el procesador 1002 y los módulos de interfaz periféricos. El componente del sensor incluye uno o más sensores para proporcionar evaluaciones de estado de varios aspectos del dispositivo electrónico 1000. El componente de comunicación está configurado para facilitar la comunicación, por cable o inalámbrica, entre el dispositivo electrónico 1000 y otros dispositivos.

La referencia a lo largo de esta memoria descriptiva a "una realización", "algunas realizaciones", "un ejemplo", "un ejemplo específico" o "algunos ejemplos" significa que una propiedad, estructura, material o característica particular descrita en relación con la realización o el ejemplo se incluye en al menos una realización o un ejemplo de la presente divulgación. En esta memoria descriptiva, las descripciones ejemplares de los términos mencionados no se refieren necesariamente a la misma realización o ejemplo. Además, las propiedades, estructuras, materiales o características particulares pueden combinarse de cualquier manera adecuada en una o más realizaciones o ejemplos. Además, los expertos en la técnica podrían combinar diferentes realizaciones o diferentes características en realizaciones o ejemplos descritos en la presente divulgación.

Puede entenderse que cualquier proceso o procedimiento descrito en un diagrama de flujo o descrito en este documento de otras maneras incluye uno o más módulos, segmentos o porciones de códigos de instrucciones ejecutables para lograr funciones o pasos lógicos específicos en el proceso, y el ámbito de un procedimiento preferente de la realización de la presente divulgación incluye otras implementaciones, en las que el orden de ejecución puede diferir del que se describe o discute, incluso de acuerdo con la función involucrada, al ejecutarse concurrentemente o con concurrencia parcial o en el orden contrario para realizar la función, lo que debe entenderse por los expertos en la materia.

La lógica y/o el paso descritos de otras maneras en el presente documento o mostrados en el diagrama de flujo, por ejemplo, una tabla de secuencia particular de instrucciones ejecutables para realizar la función lógica, se puede lograr específicamente en cualquier medio legible por ordenador para ser utilizado a través del sistema, dispositivo o equipo de ejecución de instrucciones (como el sistema basado en ordenadores, el sistema que comprende procesadores u otros sistemas capaces de adquirir la instrucción del sistema, dispositivo y equipo de ejecución de instrucciones y ejecutar las instrucciones), o para ser usado en combinación con el sistema, dispositivo y equipo de ejecución de instrucciones. En cuanto a la memoria descriptiva, "el medio legible por ordenador" puede ser cualquier dispositivo adaptable para incluir, almacenar, comunicar, propagar o transferir programas para ser utilizados por o en combinación con el sistema, dispositivo o equipo de ejecución de instrucciones. Los ejemplos más específicos del medio legible por ordenador comprenden, pero no se limitan a: una conexión electrónica (un dispositivo electrónico) con uno o más cables, una cabina para ordenador portátil (un dispositivo magnético), una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), memoria sólo de lectura, programable y borrable (EPROM o una memoria flash), un dispositivo de fibra óptica y una memoria portátil de solo lectura de disco compacto (CDROM). Además, el medio legible por ordenador puede ser incluso un papel u otro medio apropiado capaz de imprimir programas sobre el mismo, esto es porque, por ejemplo, el papel u otro medio apropiado puede ser escaneado ópticamente y luego editarse, descifrarse o procesarse con otros procedimientos cuando sea necesario para obtener los programas de manera eléctrica, y luego los programas pueden almacenarse en las memorias del ordenador.

Debe entenderse que cada parte de la presente divulgación puede realizarse a través de hardware, software, firmware o su combinación. En las realizaciones anteriores, el software o firmware almacenado en la memoria y ejecutado por el sistema de ejecución de instrucciones apropiado puede realizar múltiples pasos o procedimientos. Por ejemplo, si se realiza a través del hardware, del mismo modo en otra realización, los pasos o procedimientos pueden realizarse a través de una técnica o una combinación de las siguientes técnicas conocidas en el campo: un circuito lógico discreto que tiene un circuito de puertas lógicas para realizar una función lógica de una señal de datos, un circuito integrado de aplicación específica que tiene un circuito de puertas lógicas de combinación apropiada, una matriz programable de puertas lógicas (PGA), matriz programable de puertas lógicas sobre el terreno (FPGA), etc.

Los expertos en la materia comprenderán que todos o parte de los pasos en el procedimiento ejemplificado anterior para la presente divulgación pueden lograrse al ordenar al hardware relacionado con programas, los programas pueden almacenarse en un medio de almacenamiento legible por ordenador y los programas comprenden uno o una combinación de los pasos en las realizaciones del procedimiento de la presente divulgación cuando se ejecuta en un ordenador.

Además, cada celda de función de las realizaciones de la presente divulgación puede integrarse en un módulo de procesamiento, o estas celdas pueden ser una existencia física separada, o dos o más celdas están integradas en un módulo de procesamiento. El módulo integrado puede realizarse en forma de hardware o en forma de módulos de función de software. Cuando el módulo integrado se realiza en forma de un módulo de función de software y se vende o utiliza como un producto independiente, el módulo integrado puede almacenarse en un medio de almacenamiento legible por ordenador.

El medio de almacenamiento mencionado anteriormente puede ser memorias de solo lectura, discos magnéticos, CD, etc.

Claims

REIVINDICACIONES

1. Un procedimiento de procesamiento de imágenes, configurado para procesar una imagen de bloque de color generada mediante un sensor de imagen (200), en el que el sensor de imagen (200) comprende una matriz (210) de unidades de píxeles fotosensibles (210a) y una matriz (220) de unidades de filtro (220a) dispuestas en la matriz (210) de unidades de píxeles fotosensibles (210a), cada unidad de filtro (220a) corresponde a una unidad de píxeles fotosensibles (210a), cada unidad de píxeles fotosensibles (210a) comprende múltiples píxeles fotosensibles (212), la imagen del bloque de color comprende unidades de píxeles de imagen dispuestas en una matriz predeterminada, en el que la matriz predeterminada comprende un mosaico de Bayer, cada unidad de píxeles de imagen comprende múltiples píxeles originales, cada unidad de píxeles fotosensibles (210a) corresponde a una unidad de píxeles de imagen, cada píxel fotosensible (212) corresponde a un píxel original, y el procedimiento de procesamiento de imágenes comprende: identificar (!0) un área frontal de la imagen del bloque de color;

convertir (20) una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación, en el que la primera imagen de simulación comprende los primeros píxeles de simulación dispuestos en una matriz predeterminada, en el que la matriz predeterminada comprende un mosaico de Bayer,

y cada píxel fotosensible (212) corresponde a un primer píxel de simulación;

convertir (30) una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación, en el que, la segunda imagen de simulación comprende segundos píxeles de simulación dispuestos en una matriz preestablecida,

en el que la matriz preestablecida comprende un mosaico de Bayer, y cada píxel fotosensible (212) corresponde a un segundo píxel de simulación, determinándose los valores de los segundos píxeles de simulación como un valor promedio de píxeles fotosensibles de una unidad de píxeles fotosensible respectiva, y una complejidad del segundo algoritmo de interpolación es menor a la del primer algoritmo de interpolación; y

fusionar (40) la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

2. El procedimiento de procesamiento de imágenes según la reivindicación 1, en el que convertir (20) una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación comprende:

determinar (21) si un color de un primer píxel de simulación es idéntico al de un píxel original en una misma posición que el primer píxel de simulación; cuando el color del primer píxel de simulación es idéntico al del píxel original en la misma posición que el primer píxel de simulación, determinar (22) un valor de píxel del píxel original como un valor de píxel del primer píxel de simulación; y

cuando el color del primer píxel de simulación es diferente al del píxel original en la misma posición que el primer píxel de simulación, determinar (23) un valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación, en el que el píxel de asociación se selecciona de una unidad de píxeles de imagen con el mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que comprende el píxel original.

3. El procedimiento de procesamiento de imágenes según la reivindicación 2, en el que determinar (23) el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación comprende:

calcular (231) un cambio del color del primer píxel de simulación en cada dirección de al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación.

calcular (232) un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio; y

calcular (233) el valor de píxel del primer píxel de simulación de acuerdo con el peso y el valor de píxel del píxel de asociación.

4. El procedimiento según una cualquiera de las reivindicaciones 1 a 3, en el que convertir (30) una parte de la imagen del bloque de color dentro del área frontal en una segunda imagen de simulación utilizando un segundo algoritmo de interpolación comprende:

calcular (31) un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen de bloque de color dentro del área frontal;

determinar (32) si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el segundo píxel de simulación.

cuando el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación, determinar (33) un valor de píxel promedio de una unidad de píxeles de imagen que comprende el píxel original como un valor de píxel del segundo píxel de simulación; y

cuando el color del segundo píxel de simulación es diferente al del píxel original en la misma posición que el segundo píxel de simulación, determinar (34) un valor de píxel promedio de una unidad de píxeles de imagen con un mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original como un valor de píxel del segundo píxel de simulación.

5. El procedimiento de procesamiento de imágenes según una cualquiera de las reivindicaciones 1 a 4, en el que la unidad de píxeles de imagen comprende píxeles originales dispuestos en una matriz de 2 por 2.

6. El procedimiento de procesamiento de imágenes según una cualquiera de las reivindicaciones 1 a 5, que además comprende:

realizar (24) una compensación del balance de blancos en la imagen del bloque de color; y realizar (25) una compensación inversa del balance de blancos en la primera imagen de simulación; y/o

realizar (26, 27) al menos una de una compensación de punto malo y una compensación de diafonía en la imagen del bloque de color.

7. El procedimiento de procesamiento de imágenes según una cualquiera de las reivindicaciones 1 a 6, que además comprende:

realizar (28) al menos uno de una corrección de la forma del lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen de simulación.

8. Un aparato de procesamiento de imágenes (300), configurado para procesar una imagen de bloque de color generada por medio de un sensor de imagen (200), en el que el sensor de imagen (200) comprende una matriz (210) de unidades de píxeles fotosensibles (210a) y una matriz (220) de unidades de filtro (220a) dispuestas en la matriz (210) de unidades de píxeles fotosensibles (210a), cada unidad de filtro (22a) corresponde a una unidad de píxeles fotosensibles (210a), y cada unidad de píxeles fotosensibles (210a) comprende múltiples píxeles fotosensibles (212), la imagen del bloque de color comprende unidades de píxeles de imagen dispuestas en una matriz predeterminada, en el que la matriz predeterminada comprende un mosaico de Bayer, cada unidad de píxeles de imagen comprende múltiples píxeles originales, cada unidad de píxeles fotosensibles (210a) corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible (212) corresponde a un píxel original; el aparato de procesamiento de imágenes (300) comprende un medio no transitorio legible por ordenador (3600) que incluye instrucciones ejecutables por ordenador almacenadas en él, y un sistema de ejecución de instrucciones (3800) que está configurado por las instrucciones para implementar al menos uno de:

módulo de identificación (310), configurado para identificar un área frontal de la imagen del bloque de color;

un primer módulo de conversión (320) configurado para convertir una parte de la imagen del bloque de color más allá del área frontal en una primera imagen de simulación utilizando un primer algoritmo de interpolación, en el que la primera imagen de simulación comprende primeros píxeles de simulación dispuestos en una matriz preestablecida, en el que la matriz preestablecida comprende un mosaico de Bayer, y cada píxel fotosensible (212) corresponde a un primer píxel de simulación;

un segundo módulo de conversión (330), configurado para convertir una parte de la imagen del bloque de color dentro del área frontal dentro de una segunda imagen de simulación utilizando un segundo algoritmo de interpolación, en el que la segunda imagen de simulación comprende segundos píxeles de simulación dispuestos en una matriz preestablecida, en el que la matriz preestablecida comprende un mosaico de Bayer, y cada píxel fotosensible (212) corresponde a un segundo píxel de simulación, determinándose los valores de los segundos píxeles de simulación como un valor promedio de píxel fotosensible de una unidad de píxel fotosensible respectiva, y una complejidad del segundo algoritmo de interpolación es menor que la del primer algoritmo de interpolación; y un módulo de fusión (340) configurado para fusionar la primera imagen de simulación y la segunda imagen de simulación en una imagen de simulación correspondiente a la imagen del bloque de color.

9. El aparato de procesamiento de imágenes según la reivindicación 8, en el que el primer módulo de conversión (320) comprende:

una primera unidad de determinación (321), configurada para determinar si un color de un primer píxel de simulación es idéntico al de un píxel original en la misma posición que el primer píxel de simulación;

una segunda unidad de determinación (322), configurada para determinar un valor de píxel del píxel original como un valor de píxel del primer píxel de simulación; cuando el color del primer píxel de simulación es idéntico al del píxel original en la misma posición que el primer píxel de simulación; y

una tercera unidad de determinación (323), configurada para determinar el valor de píxel del primer píxel de simulación de acuerdo con un valor de píxel de un píxel de asociación cuando el color del primer píxel de simulación es diferente al del píxel original en la misma posición que el primer píxel de simulación, en el que el píxel de asociación se selecciona de una unidad de píxeles de imagen con un mismo color que el primer píxel de simulación y adyacente a una unidad de píxeles de imagen que comprende el píxel original.

10. El aparato de procesamiento de imágenes según la reivindicación 9, en el que la tercera unidad de determinación (323) comprende:

una primera sub-unidad de cálculo (3231) configurada para calcular un cambio del color del primer píxel de simulación en cada dirección de al menos dos direcciones de acuerdo con el valor de píxel del píxel de asociación; una segunda sub-unidad de cálculo (3232) configurada para calcular un peso en cada dirección de las al menos dos direcciones de acuerdo con el cambio; y

una tercera sub-unidad de cálculo (3233) configurada para calcular el valor de píxel del primer píxel de simulación de acuerdo con el peso y el valor de píxel del píxel de asociación.

11. El aparato de procesamiento de imágenes según la reivindicación 8, en el que el segundo módulo de conversión (330) comprende:

una primera unidad de cálculo (331), configurada para calcular un valor de píxel promedio de cada unidad de píxeles de imagen de la parte de la imagen de bloque de color dentro del área frontal;

una cuarta unidad de determinación (332), configurada para determinar si un color de un segundo píxel de simulación es idéntico al de un píxel original en la misma posición que el primer píxel de simulación;

una quinta unidad de determinación (333), configurada para determinar un valor de píxel promedio de una unidad de píxeles de imagen que comprende el píxel original como un valor de píxel del segundo píxel de simulación, cuando el color del segundo píxel de simulación es idéntico al del píxel original en la misma posición que el segundo píxel de simulación; y

una sexta unidad de determinación (334), configurada para determinar un valor de píxel promedio de una unidad de píxeles de imagen con el mismo color que el segundo píxel de simulación y adyacente a una unidad de píxeles de imagen que comprende el píxel original como un valor de píxel del segundo píxel de simulación, cuando el color del segundo píxel de simulación es diferente al del píxel original en la misma posición que el segundo píxel de simulación.

12. El aparato de procesamiento de imágenes según una cualquiera de las reivindicaciones 8 a 11, en el que la unidad de píxeles de imagen comprende píxeles originales dispuestos en una matriz de 2 por 2.

13. El aparato de procesamiento de imágenes según una cualquiera de las reivindicaciones 8 a 12, en el que el primer módulo de conversión (320) comprende además:

una primera unidad de compensación (324) configurada para realizar una compensación del balance de blancos en la imagen del bloque de color y

una unidad de restauración (325) configurada para realizar una compensación inversa del balance de blancos en la primera imagen de simulación.; y/o

al menos una de una segunda unidad de compensación (326) y una tercera unidad de compensación (327); en la que la segunda unidad de compensación (326) está configurada para realizar una compensación de punto malo en la imagen del bloque de color; y la tercera unidad de compensación (327) está configurada para realizar una compensación de diafonía en la imagen del bloque de color.

14. El aparato de procesamiento de imágenes según una cualquiera de las reivindicaciones 8 a 13, en el que el primer módulo de conversión (320) además comprende:

una unidad de procesamiento, (328) configurada para realizar al menos uno de una corrección de la forma de lente, un procesamiento de interpolación cromática, un procesamiento de eliminación de ruido y un procesamiento de afilado de bordes en la primera imagen.

15. Un dispositivo electrónico (1000), que comprende una carcasa (1001), un procesador (1002), una memoria (1003), una placa de circuito impreso (1006), un circuito de suministro de energía (1007) y un aparato de imágenes (100), en el que,

la placa de circuito impreso (1006) se encuentra dentro de la carcasa (1001);

el procesador (1002) y la memoria (1003) están ubicados en la placa de circuito impreso (1006);

el circuito de suministro de energía (1007) está configurado para proveer de energía a los respectivos circuitos o componentes del dispositivo electrónico (1000);

el aparato de imágenes (100) comprende un sensor de imagen (200) configurado para generar una imagen de bloque de color, en el que el sensor de imagen (200) comprende una matriz (210) de unidades de píxeles fotosensibles (210a) y una matriz (220) de unidades de filtro (220a) dispuestas en la matriz (210) de unidades de píxeles fotosensibles (210a), cada unidad de filtro (220a) corresponde a una unidad de píxeles fotosensibles (210a), cada unidad de píxeles fotosensibles (210a) comprende múltiples píxeles fotosensibles (212), la imagen de bloques de color comprende unidades de píxeles de imagen dispuestas en una matriz preestablecida, cada unidad de píxeles de imagen comprende una pluralidad de píxeles originales, cada unidad de píxeles fotosensibles (210a) corresponde a una unidad de píxeles de imagen, y cada píxel fotosensible (212) corresponde a un píxel original;

la memoria (1003) está configurada para almacenar códigos de programa ejecutables; y

el procesador (1002) está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables leyendo los códigos de programa ejecutables almacenados en la memoria (1003), para realizar el procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 7.