ES2367636T3 - Procesado de imágenes para el balance de blancos. - Google Patents

Abstract

Método de procesado de imágenes que comprende las etapas siguientes: calcular (S501) una diferencia de imágenes (d) o una relación de imágenes basándose en valores de píxel correspondientes de unos primeros datos de imagen y unos segundos datos de imagen que tienen valores de píxel diferentes; calcular (S506) valores estimados de la diferencia de imágenes o la relación de imágenes en un área particular que comprende píxeles correspondientes de los primeros y los segundos datos de imagen; y generar (S507) datos de imagen corregidos en el área particular basándose en los valores estimados de la diferencia de imágenes o la relación de imágenes en el área particular, que se han calculado en la etapa de cálculo de valores estimados, y los segundos datos de imagen; en el que: una imagen ajustada en balance de blancos (R) consta de dichos primeros datos de imagen, habiéndose sometido la imagen ajustada en balance de blancos a un ajuste de valores de píxel sobre la base de una imagen capturada sin asistencia de flash (I1) y una imagen capturada con asistencia de flash (I2), constando, la imagen capturada con asistencia de flash (I2), de dichos segundos datos de imagen, y siendo el área particular un área con presencia de movimiento (550) en la que se detecta un movimiento de un motivo; la diferencia de imágenes d(x, y) comprende un vector calculado como: d (x, y) = R (x, y) - I2 (x, y) en la que R(x, y) indica un vector de valor de píxel de cada píxel de la imagen ajustada en balance de blancos R, e I2 (x, y) indica un vector de valor de píxel del píxel correspondiente de la imagen capturada con asistencia de flash I2; la relación de imágenes d (x, y) es: en la que e es un valor fijo; d (x, y) = R (x, y)/(I2(x, y) +e) la etapa de cálculo de valores estimados (S506) comprende calcular valores de píxel en el área con presencia de movimiento por interpolación de la diferencia de imágenes o la relación de imágenes desde un área (551) en la que hay ausencia de movimiento y que es periférica al área particular que comprende el área con presencia de movimiento; y la etapa de generación de imágenes corregidas (S507) comprende una etapa de generación de datos de imagen corregidos para el área con presencia de movimiento de la imagen ajustada en balance de blancos (R) sobre la base de los valores estimados de la diferencia de imágenes o la relación de imágenes en el área con presencia de movimiento.

Description

Campo técnico

La presente invención se refiere a un método de procesado de imágenes y a un dispositivo de procesado de imágenes así como a un programa de ordenador, y más específicamente, a un método de procesado de imágenes y a un dispositivo de procesado de imágenes así como a un programa de ordenador, destinado cada uno de ellos a permitir el ajuste de imágenes para evitar el problema de la diferencia de la temperatura de color entre la luz ambiente y la luz de flash usando una pluralidad de imágenes, y que permite un procesado eficaz de corrección de alta velocidad incluso en el caso en el que se produzca una vibración de imagen entre una pluralidad de imágenes usadas para el ajuste de la imagen.

Antecedentes de la técnica

Los flashes (flashes eléctricos o estroboscopios) se usan como fuentes de luz auxiliares durante el uso de las cámaras fotográficas. En los últimos años, se están extendiendo rápidamente las DSC (Cámaras Fotográficas Digitales), y con frecuencia la fotografía con flash se realiza también con DSC. Los flashes se pueden usar para realizar varios tipos de fotografía, tales como luz de relleno (una técnica para debilitar una sombra que aparece extremadamente fuerte en la cara de una persona o similar), la compensación de contraluz (una técnica para evitar que la cara de una persona pierda detalle de la sombra cuando se fotografía dicha persona de pie con el sol detrás), la luz de ojos (una técnica para realizar hermosas fotografías de la pupila de un ojo con un “punto de luz” centelleante reflejado en la pupila), y el flash sincronizado con la luz del día (sincronización con luz de día (daylight synchro), una técnica que usa el flash como rayos de luz auxiliares durante el día o al atardecer). Por otro lado, cuando se realiza una fotografía con flash, existe un caso en el que se deteriora el balance de color o se produce una pérdida de detalle de las altas luces. Un objetivo de la presente invención es proporcionar medios apropiados capaces de corregir fenómenos no deseables que se producen durante la fotografía con flash.

En general, en las cámaras digitales, el balance de blancos (WB) se realiza de manera que se pueda tomar una imagen de un motivo blanco con luz blanca. Por ejemplo, el ajuste del balance de blancos se realiza de tal manera que cuando se va a tomar una imagen en un entorno con componentes de luz, tales como la luz natural, la luz de iluminación o un flash (estroboscopio), en el que la temperatura de color de la luz irradiada hacia un motivo es alta y la luz azul (B) es intensa, se suprime la sensibilidad a la luz azul, mientras que cuando se va a tomar una imagen en un entorno con componentes de luz en el que la temperatura de color de la luz irradiada hacia un motivo es baja y la luz roja (B) es intensa, se suprime la sensibilidad a la luz roja y se hace que la sensibilidad a la luz azul (B) sea relativamente alta.

El ajuste del balance de blancos ejecuta en general un procesado de ajuste en el que se fijan parámetros de ajuste de acuerdo con las fuentes de luz que se van a usar durante la captura de la imagen. Por ejemplo, cuando se realiza una captura de imagen con flash, el ajuste del balance de blancos se realiza de acuerdo con parámetros correspondientes a componentes de luz de la luz de flash usada.

No obstante, si la captura de la imagen con flash se realiza cuando hay una luz ambiente diferente a la luz del flash, se irradian dos tipos de luces, es decir, luz de flash y luz ambiente, hacia un motivo, y la luz reflejada desde el mismo llega al elemento de captación de imágenes de la cámara, con lo cual se realiza la captura de la imagen. En el caso de la captura de esta imagen, si el ajuste del balance de blancos se lleva a cabo de acuerdo con la luz del flash, la sección del motivo que se irradia con una gran cantidad de luz de flash se ajusta al color natural. No obstante, si se realiza un ajuste de balance de blancos de acuerdo con valores de fijación de parámetros coincidentes con los componentes de luz de la luz de flash sobre un área que queda fuera del alcance de la luz de flash y la misma se captura con luz reflejada solamente de la luz ambiente, por ejemplo, un área de una imagen de fondo, no se ejecuta un ajuste apropiado del balance de blancos y se da salida al área en forma de un área que presenta un color no natural.

Por el contrario, si se ejecuta sobre la imagen capturada completa un ajuste de balance de blancos en correspondencia con una sección de fondo, es decir, un ajuste de balance de blancos basado en la consideración de que la imagen se toma solamente con luz ambiente, la sección irradiada con una gran cantidad de la luz de flash se ajusta a un color no natural.

Para hacer frente a este problema, se han propuesto varias construcciones. Por ejemplo, el Documento de Patente 1 (publicación de solicitud de patente japonesa JP-A-08-051632) da a conocer una construcción que adquiere una imagen tomada sin flash y una imagen tomada con flash, divide cada una de estas dos imágenes capturadas en bloques, realizando una comparación entre sus valores de luminancia en unidades de un bloque, y realiza un ajuste diferente de balance de blancos sobre cada bloque de la imagen tomada con flash sobre la base del resultado de la comparación entre los valores de luminancia.

Durante el ajuste del balance de blancos, se selecciona uno cualquiera de entre el ajuste de balance de blancos en correspondencia con la luz del flash, el ajuste de balance de blancos en correspondencia con una luz intermedia entre la luz del flash y la luz ambiente y el ajuste de balance de blancos en correspondencia con la luz ambiente, y se ejecuta el mismo. No obstante, esta construcción necesita realizar el procesado en unidades de bloques, lo cual da como resultado problemas tales como la aparición de distorsión de bloques y el problema de que no se puede efectuar un procesado correcto cuando un motivo se mueve.

El Documento de Patente 2 (publicación de solicitud de patente japonesa JP-A-2000-308068) da a conocer la siguiente construcción de procesado. A saber, se toma una imagen con flash con una apertura totalmente abierta y un tiempo de exposición corto, y después de esto, se toma una imagen sin flash con las condiciones de exposición deseadas originalmente. A esta primera y a esta última es les denomina respectivamente primera imagen y segunda imagen. Adicionalmente, en la primera imagen, los píxeles que no presentan un nivel menor que uno predeterminado se registran como área de motivo principal, y los otros píxeles se registran como área de fondo. Después de esto, la primera imagen se somete a un ajuste de balance de blancos en correspondencia con la luz de flash y la segunda imagen se somete a un ajuste de balance de blancos en correspondencia con la luz ambiente, y el área del motivo principal de la primera imagen y el área de fondo de la segunda área se combinan para generar una imagen grabada final.

No obstante, en esta construcción, es imposible efectuar correctamente un ajuste de balance de blancos de un motivo irradiado tanto con luz ambiente como con luz de flash.

El Documento de Patente 3 (publicación de solicitud de patente japonesa JP-A-2000-307940) da a conocer una construcción en la que, a la construcción mencionada anteriormente del Documento de Patente 2, se le adicionan unos medios de detección de vibración de imágenes. En esta construcción, si se determina que se ha producido una vibración, la primera imagen mencionada anteriormente se usa como imagen grabada, sin modificación, y no se ejecuta el procesado de combinación de la primera imagen y la segunda imagen. Por consiguiente, si se detecta una vibración, no se puede resolver la falta de naturalidad debida a la diferencia de la temperatura de color entre la luz de flash y la luz ambiente.

El Documento de Patente 4 (publicación de solicitud de patente japonesa JP-A-08-340542) da a conocer una construcción que realiza una división sobre la luminancia de cada píxel de una imagen tomada con flash y la luminancia del píxel correspondiente de una imagen tomada sin flash para hallar la contribución de la luz de flash, y realiza un ajuste de balance de blancos sobre la imagen tomada con flash, basándose en esta contribución.

En esta construcción, una imagen tomada con luces reflejadas mezcladas de la luz del flash y la luz ambiente simplemente se interpola con parámetros del balance de blancos para la luz de flash y la luz ambiente sobre la base de la contribución de la luz de flash, generando de este modo una imagen final. No obstante, si se tiene en cuenta un modelo físico de reflexión de la luz, los componentes que se originan a partir de la luz de flash y los componentes que se originan a partir de la luz ambiente se deberían procesar independientemente, y es imposible generar una imagen resultante óptima simplemente procesando la imagen tomada con luces reflejadas, mezcladas, de la luz de flash y la luz ambiente.

[Documento de Patente 1] Publicación de solicitud de patente japonesa JP-A-8-51632

[Documento de Patente 2] Publicación de solicitud de patente japonesa JP-A-2000-308068

[Documento de Patente 3] Publicación de solicitud de patente japonesa JP-A-2000-307940

[Documento de Patente 4] Publicación de solicitud de patente japonesa JP-A-8-340542

Exposición de la invención

[Problema a resolver por la invención]

La presente invención se ha concedido considerando los problemas de la técnica relacionada mencionada anteriormente, y proporciona un método de procesado de imágenes y un dispositivo de procesado de imágenes así como un programa de ordenador, cada uno de los cuales es capaz de realizar un ajuste óptimo de la imagen sobre una imagen tomada bajo un entorno en el que se mezclan la luz ambiente y la luz del flash, y es capaz de realizar una corrección de valores de los píxeles, tal como un ajuste óptimo de balance de blancos de manera eficaz, a una velocidad elevada, sin fallos, incluso cuando se detecta una vibración de la imagen.

El documento JP-A 2001358986 da a conocer un sistema en el que, en la etapa S51, se discrimina si se ha presionado o no completamente un obturador, en la etapa S52 se adquieren datos de detección de una luz externa, y cuando no se requiere una iluminación estroboscópica, en la etapa S54 se fija un parámetro para captación de imágenes sin luz estroboscópica, y, en la etapa S55, se capta un objeto, y se capturan datos de imagen. Cuando se discrimina una necesidad de iluminación estroboscópica, en la etapa S56 se realiza una iluminación preliminar y en la etapa S57 se adquieren datos de detección. En la etapa S58 se fija un parámetro para la captación de imágenes con iluminación estroboscópica, en la etapa S59 se capta un objeto, y se capturan datos de imagen. En las etapas S60, S61 se efectúa un procesado similar al de las etapas S54, S55. En la etapa S62 se sintetizan los datos de imagen que se ponderan en respuesta a una relación de intensidad de la luz estroboscópica con respecto a una luz externa reflejada, y en la etapa S63 se comprimen los datos de imagen, y se graban en la etapa S64.

El documento US nº 7.002.625 (un miembro de la familia del JP 2001078202) da a conocer un aparato de captación de imágenes, que es un dispositivo para grabar un archivo de imagen en un soporte de grabación de acuerdo con un sistema de archivos que tiene una pluralidad de directorios que incluyen atributos asociados a una posición de fotografiado de datos de imagen y un fotógrafo. El sistema detecta la posición de fotografiado de unos datos de una imagen fotografiada y del fotógrafo y graba el archivo de imagen en el directorio de los atributos correspondientes a la posición de fotografiado detectada y al fotógrafo de entre dicha pluralidad de directorios.

El documento EP-A-1 549 080, que constituye técnica anterior según el Artículo 54 (3) CPE, da a conocer un proceso preciso de ajuste de balance de blancos para una imagen capturada en un entorno en el que se mezclan componentes de color diferentes, tales como una luz ambiente y una luz de flash. Con respecto a una imagen que va a ser capturada bajo una pluralidad de tipos diferentes de luz de irradiación, tal como una luz ambiente, y una luz de flash, la imagen se captura o genera en un entorno de irradiación de una sola luz. El ajuste de balance de blancos según el parámetro establecido sobre la base del componente de color (temperatura de color) de cada tipo de luz de irradiación se lleva a cabo con respecto a la imagen en cada entorno de la irradiación de una sola luz, para sintetizarlas. Además, con respecto a la parte movida del propio motivo, la presente invención está dispuesta de tal manera que el valor del píxel se compensa y se establece basándose en valores de píxeles adyacentes de la parte sin movimiento, resulta posible generar unos datos de imagen naturales con cambios suaves entre píxeles.

El documento EP-A-1 558 025, que constituye técnica anterior según el Artículo 54 (3) CPE, da a conocer un método y un aparato de procesado de imágenes que realizan un cálculo de datos de imagen con un componente de flash basándose en una primera imagen capturada sin emisión de flash y una segunda imagen capturada con emisión de flash, y una generación de una imagen finalmente ajustada mediante el uso de una imagen con componente de flash, ajustada en cuanto a intensidad, generada mediante la ejecución de un ajuste de intensidad sobre los datos de imagen con componente de flash. El método y el aparato pueden generar una imagen de alta calidad en la que se reducen píxeles saturados en una imagen de transformación no lineal, es decir, con sobreexposición de altas luces.

El documento de Carr, XP001049875, “Reconstruction and Representation of 3D Objects with Radial Basis Functions”, da a conocer el uso de funciones de base radial poliarmónicas para reconstruir superficies de variedades (manifold surfaces), lisas, a partir de datos de nubes de puntos y con el fin de reparar mallas incompletas.

[Medios para resolver los problemas]

La invención proporciona un método de procesado de imágenes, y un aparato de procesado de imágenes, y un programa legible por ordenador, según se define en las reivindicaciones adjuntas.

El programa de ordenador según una forma de realización preferida de la presente invención es un programa de ordenador capaz de ser proporcionado mediante soportes de almacenamiento y medios de comunicación que proporcionan programas de ordenador en formatos legibles por ordenador a sistemas de ordenador de propósito general capaces de ejecutar varios códigos de programa, por ejemplo, soportes de almacenamiento tales como CD, FD y MO o medios de comunicación tales como redes. Proporcionando este programa en un formato legible por ordenador, se logra un procesado de acuerdo con el programa en un sistema de ordenador.

Se pondrán de manifiesto otros objetivos, características y ventajas de la presente invención a partir de la siguiente descripción detallada de formas de realización de la presente invención haciendo referencia a los dibujos adjuntos. En relación con esto, el término “sistema” usado en el presente documento significa una construcción de una colección lógica de una pluralidad de dispositivos, y no se limita a una construcción en la que los dispositivos constituyentes individuales están incorporados en un mismo receptáculo.

[Efecto de la Invención]

Según las formas de realización preferidas de la presente invención, es posible ejecutar de manera eficaz un procesado de corrección de los valores de píxeles de un área particular tal como un área con presencia de movimiento, sobre la base de valores de píxeles de un área con ausencia de movimiento, por ejemplo, datos de imagen ajustados en cuanto a balance de blancos, y datos de imagen con flash del área particular tal como el área con presencia de movimiento. Por consiguiente, es posible generar una imagen conectada suavemente con los datos de imagen ajustados en cuanto a balance de blancos, y también es posible generar una imagen que refleje información de textura en los datos de imagen con flash del área con presencia de movimiento.

Según las formas de realización preferidas de la presente invención, en el procesado de corrección de valores de píxeles para un área con presencia de movimiento, después de que en el área con presencia de movimiento se hayan fijado valores iniciales de la diferencia o la relación entre datos de imagen ajustados en cuanto a balance de blancos y datos de imagen con flash, se ejecuta un suavizado mediante un filtro de suavizado y se calculan valores estimados de la diferencia de las imágenes o la relación de las imágenes en el área con presencia de movimiento para ejecutar una corrección de valores de píxeles del área con presencia de movimiento sobre la base de los valores estimados, con lo cual se logra un procesado de alta velocidad usando una cantidad reducida de cálculo.

Además, según las formas de realización preferidas de la presente invención, en la corrección para un área de píxeles de una sección con presencia de movimiento, se realiza un procesado de filtrado según una expresión de conversión de valores de píxeles que usa un coeficiente determinado para tener en cuenta los valores de píxeles de la imagen capturada con flash I2. Por consiguiente, se realiza una corrección de valores de píxeles que refleja la textura de la imagen capturada con flash I2 y se solucionan la difuminación de secciones de borde, la borrosidad de colores y similares, incluso en el área con presencia de movimiento, con lo cual es posible generar una imagen que refleja la textura de la imagen capturada con flash I2.

Además, según la forma de realización preferida de la presente invención, después de que se hayan ejecutado el ajuste de balance de blancos usando imágenes de baja resolución y la corrección de valores de píxeles de una sección con presencia de movimiento, es posible generar una imagen corregida de alta resolución sobre la base de la correspondencia de datos de imagen corregidos con respecto a datos de imagen de baja resolución, con lo cual se puede lograr un procesado de alta velocidad con una pequeña cantidad de memoria y se puede adquirir finalmente una imagen corregida de alta resolución.

Mejor modo de realización de la invención

A continuación se describirá, haciendo referencia a los dibujos adjuntos, una pluralidad de formas de realización de un método de procesado de imágenes y un dispositivo de procesado de imágenes según la presente invención.

[Forma de realización 1]

En primer lugar, se proporcionará una descripción como Forma de Realización 1 de un método de procesado de imágenes y un dispositivo de procesado de imágenes según una forma de realización preferida de la presente invención, ejecutando ambos un procesado de ajuste óptimo de balance de blancos para la captura de imágenes bajo entornos en los que se mezclan la luz ambiente y la luz de flash.

La figura 1 es un diagrama de bloques que muestra la construcción de un aparato de captación de imágenes según la presente forma de realización. Tal como se muestra en la figura 1, el aparato de captación de imágenes según la presente forma de realización está compuesto por una lente 101, un diafragma 102, un elemento de captación de imágenes de estado sólido 103, un circuito de muestreo doble con correlación 104, un conversor A/D 105, un bloque de DSP 106, un generador de temporización 107, un conversor D/A 108, un codificador de vídeo 109, un monitor de vídeo 110, un códec (CODEC) 111, una memoria 112, una CPU 113, un dispositivo de entrada 114, un dispositivo de control de flash 115 y un dispositivo de flash 116.

El dispositivo de entrada 114 indica botones de funcionamiento tales como un botón de grabación proporcionado en el cuerpo de una cámara. El bloque de DSP 106 es un bloque que tiene un procesador de procesado de señales y una RAM de imágenes y está construido de manera que el procesador de procesado de señales puede realizar un procesado preprogramado de imágenes sobre datos de imagen almacenados en la RAM de imágenes. Al bloque de DSP se le hará referencia en lo sucesivo en el presente documento simplemente como DSP.

A continuación se describirá el funcionamiento general de la presente forma de realización.

La luz incidente que ha llegado hasta el elemento de captación de imágenes de estado sólido 103 a través de un eje óptico, en primer lugar, llega hasta los elementos individuales de recepción de luz sobre su superficie de captación de imágenes, y es convertida en señales eléctricas mediante conversión fotoeléctrica en los elementos respectivos de recepción de luz. Las señales eléctricas se someten a una reducción de ruido por medio del circuito de muestreo doble con correlación 104 y se convierten en señales digitales por medio del conversor A/D 105, y a continuación se almacenan temporalmente en una memoria de imágenes en la sección de procesado de señal digital (DSP) 106. En relación con esto, durante la captura de imágenes, si fuera necesario, se puede hacer que el dispositivo de flash 116 emita una luz de flash por medio del dispositivo de control de flash 115.

Mientras se está realizando la captación de la imagen, el generador de temporización 107 controla el sistema de procesado de señales para mantener la captura de la imagen a una frecuencia de cuadro fija. Hacia la sección de procesado de señal digital (DSP) 106 se envía también un flujo continuo de píxeles a una velocidad fija, y después de que se haya realizado el procesado apropiado de la imagen, se envían datos de imagen a uno o ambos de entre el conversor D/A 108 y el códec (CODEC) 111. El conversor D/A 108 convierte los datos de imagen enviados desde la sección de procesado de señal digital (DSP) 106 en una señal analógica, y el codificador de vídeo 109 convierte la señal analógica en una señal de vídeo, de manera que la señal de vídeo se puede monitorizar en el monitor de vídeo 110. Este monitor de vídeo 110 adopta la función de un visor de cámara en la presente forma de realización. El códec (CODEC) 111 codifica los datos de imagen enviados desde la sección de procesado de señal digital (DSP) 106, y los datos de imagen codificados se graban en la memoria 112. La memoria 112 puede ser, por ejemplo, un dispositivo de grabación que use un semiconductor, un soporte de grabación magnético, un soporte de grabación magneto-óptico, un soporte de grabación óptico o similares.

El sistema completo de una cámara de vídeo digital según la presente forma de realización es tal como se ha descrito anteriormente, y en la presente forma de realización, la presente invención se materializa como un procesado de imágenes en la sección de procesado de señal digital (DSP) 106. Este procesado de imágenes se describirá posteriormente de forma detallada.

Tal como se ha descrito anteriormente, la sección de procesado de imágenes de la presente forma de realización se materializa realmente por medio de la sección de procesado de señal digital (DSP) 106. Por consiguiente, en la construcción de la presente forma de realización, el funcionamiento de la sección de procesado de imágenes se materializa de tal manera que 1 unidad aritmética ejecuta secuencialmente operaciones escritas en códigos de programa predeterminados, sobre un flujo continuo de señales de imagen de entrada en el interior de la sección de procesado de señal digital (DSP) 106. A continuación se describirá el orden en el que se ejecutan las etapas individuales de procesado del programa, haciendo referencia a un diagrama de flujo. No obstante, la presente invención se puede construir, no en forma de un programa que será descrito en la presente forma de realización, sino incorporando un circuito de hardware que realice un procesado equivalente a las funciones que se describirán posteriormente.

La figura 2 es un diagrama de flujo para describir el procedimiento de procesado de ajuste de balance de blancos (WB) a ejecutar sobre un flujo continuo de señales de imagen de entrada, en el interior de la sección de procesado de señal digital (DSP) 106.

En la Etapa S101, la captura de la imagen se realiza sin flash usando una apertura y una velocidad del obturador que se fijan por adelantado, y en la Etapa S102, esta imagen capturada sin asistencia de flash se almacena en una memoria como datos de imagen I1. En la Etapa S103, de modo similar a la Etapa S101, la captura de imagen se realiza con flash usando una apertura y una velocidad de obturador que se fijan por adelantado, de modo similar a la Etapa S101, y en la Etapa S104, esta imagen capturada con flash se almacena en la memoria como datos de imagen I2.

A continuación, en la Etapa S105, la captura de imagen se realiza nuevamente sin flash usando una apertura y una velocidad de obturador que se fijan por adelantado, de modo similar a la Etapa S101, y en la Etapa S106, esta imagen capturada sin asistencia de flash se almacena en la memoria como datos de imagen I3.

En relación con esto, la captura de imagen de las Etapas S101, S103 y S105 se ejecuta como una captura de imagen continua, por ejemplo, una captura de imagen continua a intervalos de 1/100 segundos. El procesado de ajuste de balance de blancos (WB) se realiza usando una pluralidad de imágenes obtenidas en las etapas respectivas de captura de imagen, y se genera un dato de imagen ajustado en balance de blancos (WB).

Adicionalmente, los datos de imagen I1, I2 e I3 almacenados en la memoria en las Etapas S101, S104 y S106 son imágenes corregidas en cuanto a la vibración de la mano. A saber, si se produce una vibración de la mano durante la captura de las tres imágenes I1, I2 e I3, estas imágenes se corrigen en cuanto a la vibración de la mano antes de almacenarlas en la memoria. Específicamente, si las imágenes capturadas son imágenes borrosas por la vibración de la mano, se ejecuta una corrección de la vibración de la mano entre las Etapas S101 y S102, entre las Etapas S103 y S104, y entre las Etapas S105 y S106, y las imágenes corregidas se almacenan en la memoria. Por consiguiente, los datos de imagen I1, I2 e I3 almacenados en la memoria se convierten en imágenes tales como las que son tomadas continuamente con la cámara fijada a un trípode.

En relación con esto, como procesado de corrección de vibración de la mano, es posible aplicar un procesado conocido convencionalmente. Por ejemplo, es posible aplicar métodos que se han usado ampliamente hasta el momento, tales como un método de detección de una desviación usando un sensor de aceleración y desplazando una lente, un método de toma de una imagen de resolución mayor que la resolución de un objetivo usando un elemento de captación de imágenes y leyendo una sección apropiada, para evitar la aparición de una desviación, y además, un método de corrección de vibración de la mano a través solamente de procesado de la imagen sin usar ningún sensor.

A continuación, en la Etapa S107, se detecta si se ha producido una vibración de la imagen debido a un movimiento del propio motivo durante la captura de las tres imágenes en las Etapas S101, S103 y S105. El procesado de detectar si se ha producido una vibración de imagen debido a un movimiento del propio motivo se realiza comparando dos de las tres imágenes. Por ejemplo, para detectar una sección con movimiento se pueden usar la imagen I1 y la imagen I3. Como ejemplo, existe un método para hallar la diferencia entre cada píxel en la imagen I1 y en la imagen I3, y registrar los píxeles correspondientes como una sección en la que se ha producido un movimiento, si la diferencia no es menor que un cierto umbral. Si se determina que no existe una vibración de imagen debido a un movimiento del propio motivo (Etapa S108: No), el proceso prosigue hacia la Etapa S112. Si se detecta un movimiento (Etapa S108: Sí), el proceso prosigue hacia la Etapa S109.

En la Etapa S109, se determina si se puede ejecutar un procesado de corrección para realizar un ajuste apropiado de balance de blancos (WB) en relación con la sección con movimiento detectada en la Etapa S107. Este procesado de decisión adopta, por ejemplo, un método de toma de una decisión basándose en la relación del número de los píxeles registrados como sección con movimiento con respecto al número de píxeles de la imagen completa. Por ejemplo, si la relación [relaciónA] del número de los píxeles registrados como sección con movimiento con respecto al número de píxeles de la imagen completa no es menor que un cierto umbral preestablecido [Umbral], se determina que la corrección es imposible, mientras que si la relación es menor que el umbral, se determina que la corrección es posible.

Si se determina en la Etapa S109 que la corrección es imposible, el proceso prosigue hacia la Etapa S113, mientras que si se determina que la corrección es posible, el proceso prosigue hacia la Etapa S110.

En la Etapa S113, se realiza el ajuste de balance de blancos (WB) sobre la imagen con flash I2 y se genera una imagen de salida R, y el proceso llega al final. Los valores de los parámetros a usar para el balance de blancos pueden adoptar parámetros que se fijan según componentes de la luz ambiente, o parámetros que se fijan según componentes de la luz de flash, o parámetros que se fijan basándose en componentes intermedios entre la luz ambiente y la luz de flash. Se ejecuta el ajuste de balance de blancos (WB) en el que se fijan estos parámetros. En relación con esto, este método de ajuste de balance de blancos es un método que se ha realizado hasta el momento, y se omite su descripción detallada en el presente documento. Los parámetros usados son parámetros representados por una matriz 3 x 3, y son una matriz que se aplicará para la conversión de componentes de color que constituyen el color de cada píxel. A la matriz de 3 x 3 se le aplica una matriz en la que los componentes que no son sus componentes diagonales se fijan a 0.

A continuación se describirá el procesado de ajuste de balance de blancos (WB) basándose en una pluralidad de datos de imagen en las Etapas S110 y S112. Las Etapas S110 y S112 ejecutan el mismo procesado. Se describirán detalles de este procesado haciendo referencia a la figura 3.

En la Etapa S201, se halla la diferencia entre los componentes de la imagen con flash I2 y los componentes de los colores respectivos de los píxeles de la imagen capturada sin asistencia de flash I1, y se genera la imagen diferencia F = I2 -I1 y la misma se almacena en la memoria. Si el motivo no se mueve entre la Etapa S101 en la que se ha realizado la captura de la imagen sin luz de flash y la Etapa S103 en la que se ha realizado la captura de la imagen con luz de flash, la imagen diferencia F = I2 -I1 se hace equivalente a una imagen que es captada por el elemento de captación de imágenes de estado sólido de la cámara cuando el motivo está iluminado solamente con luz de flash, sin que exista en absoluto luz ambiente, y únicamente se refleja la luz de flash desde el motivo y la misma entra en el elemento de captación de imágenes de estado sólido. A continuación, en la Etapa S202, se ejecuta sobre la imagen F un ajuste de balance de blancos (WB) en correspondencia con la temperatura de color de la luz de flash. A saber, el ajuste de balance de blancos (WB) se ejecuta sobre los datos de la imagen diferencia F basándose en los parámetros que se fijan según la luz de flash. Además, si la luz de flash es excesivamente brillante u oscura, se realiza un ajuste de nivel de manera que el brillo de la imagen se hace óptimo, con lo cual se genera una imagen corregida F’.

A continuación, en la Etapa S203, se ejecuta un ajuste de balance de blancos (WB) en correspondencia con la luz ambiente, sobre los datos de imagen capturada sin asistencia de flash I1. A saber, se ejecuta un ajuste de balance de blancos (WB) sobre los datos de imagen capturadas sin asistencia de flash I1 sobre la base de parámetros que se fijan según la luz ambiente, con lo cual se genera una imagen corregida I1’.

Esto se ejecuta mediante un ajuste de balance de blancos (WB) que ha sido ampliamente conocido hasta el momento. Por ejemplo, es posible usar una técnica descrita en la publicación de solicitud de patente japonesa JPA 2001-78202. En el documento JPA-2001-78202, los datos de componentes de color del objeto y la distribución espectral de la luz ambiente se hallan como datos de componentes de iluminación a partir de la imagen diferencia F entre la imagen I2 tomada con flash y la imagen I1 tomada sin flash y las características espectrales de flashes existentes. El ajuste de balance de blancos (WB) de la imagen I1 se ejecuta usando estos datos de componentes de iluminación.

A continuación, en la Etapa S204, la imagen diferencia F’ y la imagen corregida I1 se suman entre sí para generar una imagen R ajustada en balance de blancos (WB). A través de las etapas mencionadas anteriormente, en relación con una sección en la que no hay presente movimiento, la imagen R ajustada en balance de blancos (WB) se convierte en una imagen en la que sus componentes debido a la luz de flash y sus componentes debido a la luz ambiente se ajustan independientemente en balance de blancos (WB).

La figura 4 es una vista para describir el fundamento de la generación de la imagen R ajustada en balance de blancos (WB) sobre la base de las dos imágenes, que se ejecuta de acuerdo con el flujo de la figura 3, es decir, una vista para describir el fundamento de la generación de la imagen R ajustada en balance de blancos (WB) sobre la base de los datos de imagen capturada con flash I1 y la imagen sin asistencia de flash I2.

La figura 4A es una vista en la que un píxel situado en una cierta posición de coordenadas (x, y) en la imagen de flash I2 se representa como un vector V3 en un espacio RGB. El vector V3 tiene (ir, ig, e ib) como valores de (R, G, y B). Este vector V3 es un valor de píxel que se adquiere basándose en luz de iluminación que contiene tanto un componente de luz ambiente como un componente de luz de flash.

Por consiguiente, este vector V3 es equivalente a la suma de un vector V1 que se basa en un valor de píxel en las mismas coordenadas (x, y) adquirido a partir de una captura de imagen con solamente un componente de luz ambiente, es decir, el valor de píxel de los datos de imagen capturada sin asistencia de flash I1, y un vector V2 compuesto por componentes de valor de píxel de una imagen adquirida cuando la captura de la imagen se realiza bajo la condición hipotética en la que la luz ambiente está ausente y solamente está presente la luz de flash.

Por consiguiente, el valor de píxel del vector V2, es decir, el valor de píxel de la imagen adquirida cuando la captura de imagen se realiza bajo la condición hipotética en la que hay ausencia de luz ambiente y solamente está presente la luz de flash, se adquiere restando el valor de píxel representado por el vector V1 del vector V3. Este resultado se muestra por medio del vector V2 en la figura 4B. En cuanto al valor de píxel representado por el vector V2 que se basa en la condición de que únicamente se irradia luz de flash, se ejecuta un ajuste de balance de blancos de acuerdo con los parámetros que se fijan basándose en componentes de la luz de flash, hallando de este modo un valor de píxel corregido para hallar un vector V2’ compuesto por el valor de píxel corregido. Una imagen formada por el valor de píxel representado por este vector V2’ se corresponde con la imagen corregida F’ obtenida como resultado del ajuste de balance de blancos en la Etapa S202 de la figura 3. A saber, el procesado de las figuras 4A y 4B se corresponde con las Etapas S201 y 202 en el flujo de la figura 3.

La figura 4C muestra el procesado de ejecución del ajuste de balance de blancos del valor de píxel correspondiente al vector V1 que se basa en el valor de píxel de los datos de imagen capturada sin asistencia de flash I1, de acuerdo con los parámetros que se fijan sobre la base de componentes de luz ambiente, hallándose de este modo un valor de píxel corregido para hallar un vector V1’ de compuesto por el valor de píxel corregido. Una imagen formada por el valor de píxel representado por este vector V1’ se corresponde con la imagen corregida I1’ obtenida como resultado del ajuste de balance de blancos en la Etapa S203 de la figura 3. A saber, el procesado de la figura 4C se corresponde con la Etapa S203 en el flujo de la figura 3.

La figura 4D muestra el procesado de la suma conjunta del valor de píxel representado por el vector V2’ correspondiente a la imagen corregida F’ mostrada en la figura 4B y el valor de píxel representado por el vector V1’ correspondiente a la imagen corregida I1’ mostrada en la figura 4C, y de la generación de los datos de imagen ajustada en balance de blancos R que tiene un valor de píxel final ajustado en cuanto a balance de blancos. A saber, el valor de píxel ajustado en balance de blancos en las coordenadas determinadas (x, y) es un valor de píxel obtenido mediante la suma conjunta del valor de píxel representado por el vector V2’ correspondiente a la imagen corregida F’ mostrada en la figura 4B y el valor de píxel representado por el vector V1’ correspondiente a la imagen corregida I1’ mostrada en la figura 4C. A saber, el procesado de la figura 4D se corresponde con la Etapa S204 en el flujo de la figura 3.

Por consiguiente, el procesado de ajuste de balance de blancos de la presente forma de realización se construye de manera que una imagen que contiene tanto componentes de luz ambiente como componentes de luz de flash se separa en dos imágenes, es decir, una imagen tomada con solamente componentes de luz ambiente y una imagen tomada con solamente componentes de luz de flash, y con respecto a la imagen tomada con solamente componentes de luz ambiente, se ejecuta un ajuste de balance de blancos de acuerdo con parámetros que se fijan basándose en los componentes de luz ambiente, mientras que con respecto a la imagen tomada con solamente componentes de luz de flash, se ejecuta un ajuste de balance de blancos de acuerdo con parámetros que se fijan basándose en los componentes de luz de flash, con lo cual estos valores de píxel corregidos se suman nuevamente entre sí para obtener la imagen final R ajustada en balance de blancos. De esta manera, los dos componentes de luz se someten independientemente a un ajuste de balance de blancos con los parámetros adecuados a los componentes de luz respectivos, con lo cual se ejecuta un ajuste apropiado de balance de blancos. A saber, es posible generar una imagen ajustada que parece como si hubiera sido capturada bajo una situación en la que la luz ambiente y la luz de flash tuvieran el mismo color.

Volviendo al flujo de la figura 2, a continuación se describirán adicionalmente las etapas. Cuando se realiza en la Etapa S112 el procesado de ajuste de balance de blancos basado en la pluralidad de imágenes mencionada anteriormente, se da salida a la imagen ajustada en balance de blancos R como una imagen de salida final, y el proceso finaliza.

Por otro lado, el caso en el que, en la Etapa S110, se realiza el procesado de ajuste de balance de blancos basándose en la pluralidad de imágenes mencionada anteriormente significa un caso en el que se determina que se ha producido una vibración de imagen debido a un movimiento del propio motivo y la vibración de la imagen se puede corregir. Con respecto al área de imagen de la vibración de imagen debida al movimiento del propio motivo, es decir, un área de sección con movimiento, en la imagen R ajustada en balance de blancos generada en la Etapa S110, se ejecuta en la Etapa S111 un procesado de corrección de valores de píxeles. A saber, se realiza un procesado excepcional sobre los valores de píxel de la sección con movimiento detectada en la Etapa S107, modificando de este modo la imagen ajustada en balance de blancos R. Como procesado de modificación, existe, por ejemplo, un método de introducción de los valores de píxel de la imagen de flash I2 correspondiente a la sección en la que se detecta movimiento, de remisión a los valores de píxel de una sección en la que hay ausencia de movimiento, en la imagen ajustada en balance de blancos R, de determinación de los valores de píxel de la sección en la que se detecta el movimiento, y de síntesis de una imagen final.

Este método de síntesis se describirá a continuación. El color de un objeto que aparece en una imagen se obtiene por la luz que es reflejada desde el objeto y que se hace incidir en un elemento de captación de imágenes y que es captada por este último. Por ejemplo, si un cierto objeto es rojo en una imagen bajo una fuente de luz blanca, el objeto presenta las características según las cuales refleja fuertemente luz visible de frecuencias correspondientes al rojo y absorbe luz de frecuencias correspondientes a los otros colores. A saber, se puede decir que un objeto tiene una reflectancia peculiar con respecto a luces de diferentes frecuencias. A continuación, la reflectancia de un objeto para luces con respecto a componentes de color RGB se indica mediante (or, og, ob), y la luz de cierta temperatura de color se indica mediante (lr, lg, lb). Cuando luz producida por la luz (lr, lg, lb) que es reflejada desde el objeto (or, og, ob) es captada como una imagen por una cámara, los valores (ir, ig, ib) de píxeles que constituyen la imagen captada se expresan mediante la siguiente expresión (Expresión 1):

(ir, ig, ib) = (k ∗ lr ∗ or, k ∗ lg ∗ og, k ∗ lb ∗ ob) ..... (Expresión 1)

En la expresión anterior, k es un valor escalar que representa la intensidad de luz.

A continuación se supone que existen dos luces de irradiación tales como la luz ambiente y la luz de flash y existe una fuente de luz 1 (l1r, l1g, l1b) y una fuente de luz 2 (l2r, l2g, l2b). Si la luz producida por estas dos luces que son reflejadas desde el objeto determinado (or, og, ob) es captada por una cámara, el valor del píxel (ir, ig, ib) de la imagen captada por la cámara se puede expresar mediante la siguiente expresión (Expresión 2):

(ir, ig, ib) = ((k1 ∗ l1r +k2 ∗ l2r) ∗ or, (k1 ∗ l1g +k2 ∗ l2g) ∗ og, (k1 ∗ l1b +k2 ∗ l2b) ∗ ob) ..... (Expresión 2)

En esta expresión, k1 es un valor escalar que representa la intensidad de la fuente de luz 1, y k2 es un valor escalar que representa la intensidad de la fuente de luz 2.

Suponiendo or’ = k1 ∗ or, og’= k1 ∗ og, y ob’ = k1 ∗ ob, la expresión anterior (Expresión 2) se puede transformar en la siguiente expresión (Expresión 3):

(ir, ig, ib) = ((l1r + k’ ∗ l2r) ∗ or’, (l1g + k’ ∗ l2g) ∗ og’, (l1b + k’ ∗ l2b) ∗ ob’) ..... (Expresión 3)

En esta expresión, k’ = k2/k1, y k’ es la relación escalar de intensidad de luz de las dos fuentes de luz. A saber, k’ es la relación escalar de intensidad de luces irradiadas respectivamente desde la fuente de luz 1 y la fuente de luz 2, en la sección de un motivo que es captada por un píxel de interés.

En este caso se considerará un cierto valor de píxel (ir, ig, ib) sobre una imagen I2 captada por los dos tipos de luz, luz ambiente y luz de flash, que son reflejadas desde el objeto. Se supone que, en la expresión anterior (Expresión 3), la fuente de luz 1 es luz ambiente y la fuente de luz 2 es luz de flash. El color (l1r, l1g, l1b) de la luz ambiente se puede medir mediante un método usado en un ajuste automático de balance de blancos que se ha venido realizando hasta el momento. Puesto que el color (l2r, l2g, l2b) de la luz de flash es peculiar de los dispositivos de flash, este color es conocido y se puede fijar por adelantado. Además, si se conoce k’, el píxel (ir, ig, ib) se puede descomponer en componentes de luz ambiente (l1r ∗ or’, l1g ∗ og’, l1b ∗ ob’) y componentes de luz de flash (k’ ∗ l2r ∗ or’, k’ ∗ l2g ∗ og’, k’ ∗ l2b ∗ ob’). Los componentes de luz ambiente y los componentes de luz de flash se separan y se procesan independientemente por WB, y si las imágenes resultantes se suman entre sí y se reconstruyen, es posible solucionar la falta de naturalidad de la imagen debida a la diferencia de la temperatura de color entre la luz ambiente y la luz de flash.

La corrección de valores de píxel de la Etapa S111 se ejecuta de acuerdo con el procesado mencionado anteriormente con respecto a la sección con movimiento detectada en la Etapa S107 en el flujo descrito haciendo referencia a la figura 2. A continuación se describirá un ejemplo de procesado específico.

Tal como se ha descrito anteriormente, en la Etapa S107, se detecta si se ha producido una vibración de imagen debida a un movimiento del propio motivo, durante la captura de las tres imágenes en las Etapas S101, S103 y S105. Este procesado de detección de si se ha producido una vibración de imagen debido a un movimiento del propio motivo se realiza comparando dos de las tres imágenes.

Por ejemplo, tal como se muestra en la figura 5, en el caso en el que está rodando una bola 200 mientras se están capturando continuamente A la imagen sin asistencia de flash I1, B la imagen con flash I2, y C la imagen sin asistencia de flash I3, se adquiere una imagen diferencia D I3 -I1 entre la imagen I1 de A y la imagen I3 de C para detectar un área 210 en la que se está produciendo una vibración de imagen debido a movimiento del propio motivo.

A continuación se describirá, haciendo referencia a las figuras 6 y 7, un procedimiento de procesado específico para el procesado de corrección de valores de píxel de la sección con movimiento. La figura 6 es un diagrama de flujo que muestra el procedimiento de procesado específico, para el procesado de corrección de valores de píxel de la sección con movimiento, y la figura 7 muestra un área de píxeles que contiene la sección con movimiento que es un objetivo de corrección, es decir, el área 210 mostrada en la figura 5.

Tal como se muestra en la figura 7, en un área de imagen de la cual se determina que está en movimiento, las proximidades de píxeles de un área de imagen de la cual se determina que no está en movimiento (píxeles dispuestos cada uno de ellos en una posición rodeada por 8 píxeles) se definen como píxeles delimitadores internos 250 de una sección con presencia de movimiento. Adicionalmente, en el área de imagen de la cual se determina que está en movimiento, los píxeles que no sean los píxeles delimitadores internos 250 se definen como píxeles no delimitadores internos con presencia de movimiento 252.

Adicionalmente, en el área de imagen de la cual se determina que no está en movimiento, los píxeles dispuestos en las proximidades de posiciones del área de imagen de la cual se determina que está en movimiento (píxeles dispuestos cada uno de ellos en una posición rodeada por 8 píxeles) se definen como píxeles delimitadores externos 251 de la sección con presencia de movimiento. Adicionalmente, en el área de imagen de la cual se determina que no está en movimiento, los píxeles que no son los píxeles delimitadores externos 251 de la sección con presencia de movimiento se definen como píxeles no delimitadores externos con ausencia de movimiento 253.

Con respecto a cualquiera de los píxeles de la sección con presencia de movimiento, la relación de la intensidad (valor escalar) k1 de la fuente de luz 1 (luz ambiente) con respecto a la intensidad (valor escalar) k2 de la fuente de luz 2 (luz de flash), es decir, la relación escalar de intensidad de luz k’ = k2/k1, es desconocida. Se supone en este caso que una imagen objetivo que está ajustada correctamente en cuanto a balance de blancos (WB) y está corregida para su sección de movimiento tiene una construcción de píxeles en la que los valores de píxel de la sección con presencia de movimiento y su sección con ausencia de movimiento se hacen variar suavemente.

Suponiendo esto, se halla el valor de la relación escalar de intensidad de luz k’ con respecto a cada uno de los píxeles delimitadores externos de la sección con presencia de movimiento 251. En relación con cada uno de estos píxeles delimitadores externos de sección con presencia de movimiento 251, los componentes de luz ambiente (l1r ∗ or’, l1g ∗ og’, l1b ∗ ob’) en la expresión mencionada anteriormente (Expresión 3) son iguales a los valores del píxel correspondiente en los datos de imagen capturada sin asistencia de flash I1, con lo cual se puede hallar el valor de la relación escalar de intensidad de luz k’ = k2/k1 basándose en los valores de píxel (ir, ig, ib) de la imagen con flash I2 y la expresión (Expresión 3). El procesado de cálculo de la relación: k’ = k2/k1 de la intensidad (valor escalar) k1 de la fuente de luz 1 (luz ambiente) con respecto a intensidad (valor escalar) k2 de la fuente de luz 2 (luz de flash) es el procesado de la Etapa S301 de la figura 6.

A partir del procesado de esta etapa S301, se halla la relación escalar de intensidad de luz k’ con respecto a cada uno de los píxeles delimitadores externos de sección con presencia de movimiento 251. No obstante, los valores de las relaciones escalares de intensidad de luz k’ correspondientes a los píxeles respectivos contenidos en la sección con presencia de movimiento son desconocidos. No obstante, los valores de las relaciones escalares de intensidad de luz k’ correspondientes a estos píxeles respectivos contenidos en la sección con presencia de movimiento se interpolan a partir de los valores calculados de k’ correspondientes a los píxeles delimitadores externos de sección con presencia de movimiento 251. Como ejemplo del método de interpolación, se puede enumerar un procesado que usa funciones de base radial (RBF: Funciones de Base Radial).

Como documento de referencia en relación con la interpolación de datos usando funciones de base radial (RBF), se puede enumerar, por ejemplo, de J. C. Carr, et al, “Reconstruction and Representation of 3D Objects with Radial Basis Function”, ACM SIGGRAPH 2001, Los Ángeles, CA, págs. 67 a 76, 12 a 17 agosto de 2001.

Las Funciones de Base Radial (funciones de base radial) son funciones cuyo valor disminuye (o aumenta) monótonamente con la distancia creciente desde el punto central de manera que sus líneas de contorno forman hiperesferas (en el caso de tres dimensiones, círculos o elipses). Se ha sabido que si se resuelve el problema de la estimación de los valores de alturas de puntos desconocidos construyendo una función que pasa por puntos de muestra que tienen alturas conocidas y que se hace lo más lisa posible, se puede superponer una RBF centrada en los puntos de muestra conocidos.

Específicamente, si hay presentes puntos de muestra en un espacio bidimensional, los puntos de muestra se definen de la manera siguiente:

r

xy

{c =(c ,c )}(1 ≤ i ≤ n) ,

i ii

xy

en la que ci y ci representan respectivamente un valor de coordenada x y un valor de coordenada y en el punto de

r

muestra i. Supóngase {hi}= (1 ≤ i ≤ n) indican alturas en los puntos respectivos, la función deseada: f (x ) se expresa como la siguiente expresión (Expresión 4) usando una RBF:

rr rr

( ) = p( ) + ∑ n djφx − cj )

fx x ( ...... (Expresión 4)

j =1

rr

En este caso, p(x ) es: p(x )= p + px + py

01 2

rr r rr 2 r

En relación con esto, un ejemplo de la función de base: φ(x ) es: φ(x )= x, o φ(x )= x log x

No obstante, {d1 }(1 ≤ i ≤ n) , {p1 }(0 ≤ i ≤ 2) no se pueden especificar con solamente la expresión anterior (Expresión 4). Por esta razón, se halla {d1 }(1 ≤ i ≤ n) , {pi }(0 ≤ i ≤ 2) que cumple la siguiente expresión (Expresión 5):

nn n xy

∑ dj = ∑ d jcj = ∑ d jcj = 0 ...... (Expresión 5)

j =1 j =1 j =1

Por lo tanto, a partir de la siguiente expresión:

rr n rr

f (c )= h = p(c )+ ∑d φ(c − c )

ii i j ij j=1

y la expresión (Expresión 5), es posible hallar (el número de números desconocidos n + 3, el número de expresiones n + 3) {di }(1 ≤ i ≤ n) , {pi }(0 ≤ i ≤ 2) .

Si se usan como muestras las relaciones escalares de intensidad de luz k’ en los píxeles no delimitadores externos de sección con presencia de movimiento 251, y se construye la siguiente expresión: f (x ) se puede hallar la relación escalar de intensidad de luz k’ en una posición arbitraria.

Este procesado es un procesado de construcción de RBF basado en las relaciones escalares de intensidad de luz k’ en los puntos de muestra de la Etapa S302 mostrada en la figura 6 (k’ en los píxeles no delimitadores externos de sección con presencia de movimiento 251).

A través de este procesado de construcción de RBF, se realiza una estimación sobre las relaciones de la intensidad (valor escalar) k1 de la fuente de luz 1 (luz ambiente) con respecto a la intensidad (valor escalar) k2 de la fuente de luz 2 (luz de flash), correspondiéndose dichas relaciones con los píxeles respectivos en la imagen con flash I2 en la sección de la cual se determina que está moviéndose, es decir, correspondiéndose las relaciones escalares de intensidad de luz k’:k’=k2/k1 con los píxeles respectivos contenidos en la sección con presencia de movimiento. Las relaciones escalares de intensidad de luz estimadas k’ correspondientes a los píxeles respectivos se usan para descomponer la sección de área con presencia de movimiento de la imagen I2 en componentes de luz ambiente y componentes de flash, y se ejecuta individualmente un procesado de ajuste de balance de blancos (WB) según las temperaturas de color de las luces respectivas.

A saber, puesto que la relación escalar de intensidad de luz k’ se halla en cada posición de píxel en la sección con presencia de movimiento, esta k’ y el valor de píxel (ir, ig e ib) en cada posición de píxel en la imagen con flash I2 así como el componente de luz conocido (l1r, l1g, l1b) de la fuente de luz 1 (luz ambiente) y el componente de luz conocido (l2r, l2g, l2b) de la fuente de luz 2 (luz de flash) se sustituyen en la expresión mencionada anteriormente (Expresión 3), con lo cual se halla la reflectancia (or’, og’, ob’) del motivo basándose solamente en la fuente de luz 1 (luz ambiente).

Además, se hallan el valor del píxel del motivo en el caso de ser irradiado con solamente los componentes de la luz ambiente: (l1r ∗ or’, l1g ∗ og’, l1b ∗ ob’), y el valor del píxel del motivo en el caso de ser irradiado con solamente los componentes de la luz de flash: (k’ ∗ l2r ∗ or’, k’ ∗ l2g ∗ og’, k’∗ l2b ∗ ob’), y se ejecutan los dos ajustes de balance de blancos que se basan en los valores fijados independientes de los parámetros correspondientes a los componentes de luz respectivos según se ha mencionado anteriormente haciendo referencia a las figuras 3 y 4, sobre los valores de píxel respectivos, y se calcula el valor del píxel final ajustado en balance de blancos, mediante el procesado de volver a sintetizar estos datos ajustados.

El procedimiento de corrección de valores de píxel de una sección con presencia de movimiento se puede resumir como el siguiente procesado desde a a f.

a.

En primer lugar, como datos correspondientes a píxeles de una sección con ausencia de movimiento en las proximidades de la sección con presencia de movimiento, se halla la relación escalar de intensidad de luz de dos tipos de fuentes de luz, es decir, luz irradiada desde solamente la primera fuente de luz y luz irradiada con solamente luz ambiente sin la primera fuente de luz, con respecto a cada parte de un motivo cuya imagen es captada por uno cualquiera de los píxeles.

b.

Se aplica una función de base radial (RBF: Función de Base Radial) para calcular una relación escalar de intensidad de luz correspondiente a cada uno de los píxeles de la sección con presencia de movimiento.

c.

Basándose en la relación escalar de intensidad de luz correspondiente a cada uno de los píxeles de la sección con presencia de movimiento, se calcula, como un primer valor de píxel, el valor del píxel de cada uno de los píxeles de la sección con presencia de movimiento en una imagen correspondiente a una imagen capturada bajo un entorno irradiado por solamente la primera fuente de luz.

d.

Basándose en la relación escalar de intensidad de luz correspondiente a cada uno de los píxeles de la sección con presencia de movimiento, se calcula, como un segundo valor de píxel, el valor de píxel de cada uno de los píxeles de la sección con presencia de movimiento en una imagen correspondiente a una imagen capturada bajo un entorno irradiado por luz ambiente que no incluye la primera fuente de luz.

e.

Se ejecuta un procesado de ajuste de valores de píxeles (ajuste de balance de blancos) basándose en el primer valor de píxel, y se ejecuta un procesado de ajuste de valores de píxel (ajuste de balance de blancos) basándose en el segundo valor de píxel.

f.

Los dos valores de píxel ajustados, generados, se suman entre sí.

De esta manera, los valores de píxel ajustados en balance de blancos (WB) con respecto a los píxeles contenidos en la sección con movimiento se sobrescriben sobre los datos de imagen R generados en la Etapa S110 de la figura 2, para hallar unos primeros datos de imagen R corregidos. A saber, en la Etapa S111 se reinicializan únicamente los valores de píxel de la sección con movimiento debido al movimiento del motivo en la imagen capturada, y los mismos se sobrescriben sobre la imagen ajustada en balance de blancos R generada en la Etapa S110, para hallar los primeros datos de imagen corregidos R’.

En relación con esto, tal como es ha mencionado previamente en el flujo de procesado de la figura 3, en el caso en el que se haya realizado la corrección de nivel de la luz de flash (S202), se realiza una corrección de nivel equivalente durante el cálculo de los valores de píxeles de la sección con movimiento, y después de esto, se realiza una suma sobre los valores de píxel ajustados en balance de blancos basándose en la luz ambiente y el componente de luz de flash.

De esta manera, se reinicializan los valores de píxeles de la sección con movimiento, y se reescriben los píxeles de la imagen R que se corresponden con la sección con movimiento. Este procesado es el procesado de la Etapa S303 de la figura 6.

No obstante, en la primera imagen corregida R’ hallada mediante la sobreescritura de la imagen ajustada en balance de blancos R generada en la Etapa S110 con los valores de píxel que se han reinicializado en la sección con presencia de movimiento, existe un caso en el que los píxeles de la sección con ausencia de movimiento de la imagen original R y los límites de los píxeles reinicializados de la sección con presencia de movimiento no están conectados suavemente. Se puede considerar que una razón para que se produzca este caso es que el color de la luz ambiente no se consiguió medir correctamente o que se produjo una pérdida de detalle de las altas luces en la imagen capturada con flash I2. Por esta razón, para hacer frente a este caso, se ejecuta un procesado adicional de conversión de color para suavizar una parte de límites.

Específicamente, se realiza el procesado de las Etapas S304 a S306 en la figura 6. En la Etapa S304, se hallan, con respecto a componentes de color individuales (αr, αg, αb), las relaciones del valor de píxel de un cierto píxel a 254 entre los píxeles delimitadores internos de sección con presencia de movimiento 250 de la primera imagen corregida R’ (consúltese la figura 7) con respecto al valor medio de los valores en la primera imagen corregida R’ de píxeles delimitadores externos de sección con presencia de movimiento (píxeles 255 en la figura 7) entre las proximidades de píxeles del píxel a 254 (píxeles dispuestos en posiciones contenidas en los 8 píxeles circundantes). Estas relaciones se almacenan como datos de componentes de color correspondientes al píxel a 254.

De modo similar, se calculan, como datos de relaciones de componentes de color de píxeles, relaciones relativas a los componentes de color individuales (αr, αg, αb) que se corresponden con los píxeles respectivos dispuestos en todas las posiciones entre los píxeles delimitadores internos de sección con presencia de movimiento 250, y las mismas se almacenan como datos de relaciones de componentes de color correspondientes a los píxeles respectivos.

A continuación, en la Etapa S305, se construye un RBF basándose en los datos de relaciones de componentes de color usando todos los píxeles delimitadores internos de sección con presencia de movimiento 250 como puntos de muestra. Finalmente, en la Etapa S306, con respecto a cada uno de los píxeles de la sección con presencia de movimiento, se hallan datos de relaciones de componentes de color (αr, αg, αb) que se corresponden con los píxeles respectivos de la sección con presencia de movimiento, basándose en el RBF basado en los datos de relaciones de componentes de color construidos, y los valores de píxel de los píxeles respectivos que se fijan en la primera imagen corregida R’ se multiplican por los datos de relaciones de componentes de color (αr, αg, αb) de las imágenes correspondientes, con lo cual se calculan valores de píxel nuevos para ejecutar una segunda conversión de color en la que estos valores de píxel sustituyen a los píxeles de la sección con presencia de movimiento. Como imagen de salida, se proporciona una segunda imagen corregida R” obtenida mediante la ejecución de este procesado de conversión de color. Este procesado es el procesado de la Etapa S306 de la figura 6.

En relación con esto, si la imagen de la sección con presencia de movimiento y la imagen de la sección con ausencia de movimiento en la primera imagen corregida R’ obtenida mediante la realización del procesado de las Etapas S301 a S303 en la figura 6 están conectadas suavemente por el límite entre ellas, se puede omitir el procesado de la Etapa S304 a la Etapa S306.

La descripción anterior se ha referido a un método que usa un RBF, con respecto a un método de interpolación de puntos con valores proporcionados en puntos de muestra diferentes a los puntos, pero este método no es limitativo y se pueden usar otros métodos para realizar la interpolación. El procesado mencionado anteriormente es un ejemplo de procesado específico de la Etapa S111 de la figura 2. De esta manera, si, a partir de las imágenes capturadas continuamente, se detecta la vibración de imagen basada en el movimiento del propio motivo, se ejecuta un procesado según el flujo mostrado en la figura 6, y, como imagen de salida final, se proporciona la segunda imagen corregida R” o la primera imagen corregida R’ generada por el procesado mencionado anteriormente.

En relación con esto, si se conoce, por adelantado, que el propio motivo no se mueve, no es necesario el procesado de las Etapas S107 a S111 de la figura 2. Adicionalmente, puesto que la decisión en la Etapa S108 es necesariamente “No”, no es necesario realizar el procesado de decisión de la Etapa S108, de manera también son innecesarias las Etapas S105 y S106 para crear y almacenar datos que se usarán para la decisión de la Etapa S108.

Por consiguiente, si se sabe por adelantado que el propio motivo no se mueve, la imagen capturada sin asistencia de flash I3 que se captura en la Etapa S105 es una imagen innecesaria, y en este caso, solamente es necesario capturar dos imágenes, es decir, la imagen capturada sin asistencia de flash I1 y la imagen capturada con flash I2.

En esta memoria descriptiva, el término “flash” se ha usado para describir un dispositivo de iluminación que emite luz en el caso de un motivo oscuro, aunque a este dispositivo se le denomina también estroboscopio. Por consiguiente, la presente invención no se limita a flashes y se puede aplicar en general a dispositivos de iluminación que emiten luz en el caso de motivos oscuros.

Tal como se ha descrito anteriormente en el presente documento, en esta forma de realización, en relación con las imágenes que se capturan respectivamente bajo una pluralidad de irradiaciones de luz diferentes tales como luz de flash y luz ambiente, se adquieren o generan imágenes capturadas cada una de ellas bajo un entorno iluminado con un único tipo de luz, y, sobre las imágenes capturadas cada una de ellas bajo un entorno iluminado con un único tipo de luz, se ejecutan respectivamente ajustes de balance según parámetros que se fijan basándose en los componentes de color (temperaturas de color) de las luces de irradiación respectivas, y estas imágenes ajustadas se sintetizan. Por consiguiente, es posible lograr un procesado apropiado de ajuste de balance de blancos en el cual se reduce la diferencia de la temperatura de color entre la luz de flash y la luz ambiente.

La figura 8 es un diagrama de bloques que muestra la construcción funcional de una sección de procesado de señal digital (DSP) (que se corresponde con el DSP 106 de la figura 1) que ejecuta un procesado según la presente forma de realización.

Se describirá el procesado de la sección de procesado de señal digital (DSP) mostrada en la figura 8, aunque haciendo referencia al diagrama de flujo mostrado en la figura 2.

En las Etapas S101 a S106 de la figura 2, en las memorias de cuadro 301, 302 y 303 se almacenan respectivamente la imagen capturada sin asistencia de flash I1, la imagen capturada con flash I2, y la imagen capturada sin asistencia de flash I3. En relación con esto, como memorias de cuadro para almacenar imágenes, se pueden usar también una memoria construida en la sección de procesado de señal digital (DSP) o una memoria conectada a un bus (la memoria 112 de la figura 1).

El procesado de detección de movimiento de la Etapa S107 es ejecutado por una sección de detección de movimiento 309. Este se ejecuta como un procesado de detección usando datos de diferencia basados en la imagen capturada sin asistencia de flash I1 y la imagen capturada sin asistencia de flash I3 tal como se ha descrito previamente haciendo referencia a la figura 5.

El procesado de ajuste de balance de blancos basado en la pluralidad mencionada anteriormente de imágenes de la Etapa S112 es el procesado descrito previamente haciendo referencia a las figuras 3 y 4.

En primer lugar, se halla la imagen diferencia F = I2 -I1 en una sección de cálculo de imágenes diferencia 304 basándose en la imagen capturada sin asistencia de flash I1 y la imagen capturada con flash I2 (figura 3, S201). A continuación, se ejecuta, por medio de una sección de ajuste de balance de blancos 307, un procesado de ajuste de balance de blancos de acuerdo con parámetros que se fijan basándose en los componentes de luz de flash, con respecto a los datos de la imagen diferencia F = I2 -I1, es decir, la imagen F correspondiente a una imagen capturada bajo la condición de que se irradie únicamente luz de flash (figura 3, Etapa S202). Además, sobre la imagen capturada sin asistencia de flash I1 se ejecuta, por medio de una sección de ajuste de balance de blancos 305, un procesado de ajuste de balance de acuerdo con parámetros que se fijan basándose en un valor estimado de componentes de luz ambiente cuya estimación se realiza por medio de una sección de estimación de componentes de luz ambiente 306 (figura 3, S203).

Además, los valores de píxel de las dos imágenes adquiridas mediante estos dos procesados de ajuste de balance de blancos se suman entre sí en una sección de suma de valores de píxel 308 (figura 3, S204).

Si la imagen capturada no contiene una sección de movimiento, no se ejecuta ningún procesado en una sección de cálculo de valores de píxel corregidos en cuanto a sección de movimiento 310, y se da salida, a través de una sección de conmutación de salida 312, como imagen ajustada en balance de blancos, a datos de imagen que tienen los valores de píxel sumados entre sí en la sección de suma de valores de píxel 308. A los datos de imagen se les da salida hacia el conversor D/A 108 que ejecuta una conversión digital/analógica (consúltese la figura 1), el códec 111 que ejecuta un procesado de codificación, o similares.

Por otro lado, si en la sección de detección de movimiento 309 se detecta un área de movimiento del propio motivo, como consecuencia del uso, por parte de la detección de movimiento, de los datos de diferencia basados en la imagen capturada sin asistencia de flash I1 y la imagen capturada sin asistencia de flash I3, se realiza, además, la corrección (conversión) de los valores de píxel de la sección con presencia de movimiento que se ha descrito previamente haciendo referencia a las figuras 6 y 7, en la sección de cálculo de valores de píxel corregidos en cuanto a sección de movimiento 310, y se da salida, a través de la sección de conmutación de salida 312, a una imagen que tiene datos de valores de píxel en los que los valores de píxel corregidos sustituyen la sección con presencia de movimiento.

En el flujo de procesado de la figura 2, una sección de ajuste de balance de blancos 311 ejecuta el procesado de la Etapa S113. A saber, si se determina que la corrección es imposible, por ejemplo, en el caso en el que se detecte un área con movimiento en la sección de detección de movimiento 309 pero la proporción del área con movimiento en la imagen completa sea alta, la sección de ajuste de balance de blancos 311 recibe la entrada de la imagen capturada con flash I2, ejecuta un ajuste de balance de blancos según parámetros preestablecidos, y da salida a esta imagen ajustada a través de la sección de conmutación de salida 312.

Por comodidad en cuanto a la descripción de su función, la construcción mostrada en la figura 8 se muestra de manera que está dividida en secciones de procesado individuales, pero un procesador puede ejecutar un procesado concreto en el DSP de acuerdo con un programa que ejecute el procesado según cada uno de los flujos de procesado mencionados anteriormente.

En el procesado de ajuste de balance de blancos mencionado anteriormente, se ha hecho referencia a un ejemplo de construcción en el cual, tal como se ha descrito haciendo referencia a las figuras 3 y 4, se hallan datos de imagen basados en un único tipo de luz irradiada con respecto a un componente de luz ambiente y un componente de luz de flash y con respecto a cada uno de dichos datos de imagen, se ejecuta un procesado de ajuste de balance de blancos de acuerdo con parámetros que se fijan basándose en el correspondiente del componente de la luz ambiente y la luz de flash.

La siguiente descripción se refiere a un ejemplo de construcción en el que se ejecuta, sobre los datos de imagen diferencia F = I2 -I1 correspondientes a la condición en la que se irradia únicamente luz de flash, un procesado de ajuste de balance de blancos según parámetros que se fijan basándose en la luz ambiente.

La figura 9 muestra un flujo de procesado de ajuste de balance de blancos basado en una pluralidad de datos de imagen en la presente forma de realización, correspondiéndose dicho flujo con el flujo de la figura 3 en la forma de realización previamente mencionada.

En la Etapa S401, se hallan las diferencias entre los componentes de la imagen con flash I2 y los componentes de los colores respectivos de los píxeles de la imagen capturada sin asistencia de flash I1, y se genera la imagen diferencia F = I2 -I1 y la misma se almacena en la memoria. La imagen diferencia F = I2 -I1 resulta equivalente a una imagen que es captada por el elemento de captación de imágenes de estado sólido de la cámara cuando el motivo de irradia con solamente luz de flash sin que exista en absoluto luz ambiente, y únicamente se refleja la luz de flash desde el motivo y la misma entra en el elemento de captación de imágenes de estado sólido. A continuación, en la Etapa S402, sobre la imagen F se ejecuta un ajuste de balance de blancos (WB) en correspondencia con la temperatura de color de la luz ambiente, generándose de este modo la imagen corregida F’. A saber, el ajuste de balance de blancos (WB) se ejecuta sobre los datos de imagen diferencia F basándose en parámetros que se fijan de acuerdo con la temperatura de color de la luz ambiente, con lo cual se genera la imagen corregida F’.

En este momento, comparando directamente cada uno de los píxeles de la imagen diferencia F y el correspondiente de los píxeles de la imagen capturada sin asistencia de flash I1, se ejecuta un procesado de ajuste de balance de blancos de manera que la luz de flash se corresponde con el color de la luz ambiente. Como ejemplo específico de este procesado de WB, para ejecutar la conversión de valores de píxel, se utiliza un píxel (ri, gi, bi) de la imagen capturada sin asistencia de flash I1 que está en la misma posición que un píxel (rf, gf, bf) de la imagen diferencia F, usando las siguientes Expresiones 6 y 7 con respecto a los componentes R y B del píxel de la imagen diferencia F según el nivel de la señal G del píxel de la imagen capturada sin asistencia de flash I1:

rf’ = rf ∗ (gi / gf) ... (Expresión 6)

bf’ =bf ∗ (gi / gf) ... (Expresión 7)

A continuación, se comparan rf’ y rf así como bf’ y bf para obtener los siguientes valores:

ar = ri /rf’ =(ri ∗ gf) / (rf ∗ gi) ... (Expresión 8) ab = bi /bf‘ = (bi ∗ gf) / (bf ∗ gi) ... (Expresión 9)

Se halla un parámetro de WB promediando ar y ab las cuales se hallan a partir de las Expresiones 8 y 9, con respecto a todos los píxeles. El componente R y el componente B de cada píxel de la imagen F se multiplican por el parámetro hallado, con lo cual se realiza el ajuste de balance de blancos. A través de este procesado, la imagen F se convierte en una imagen que parece como si hubiera sido tomada bajo la luz del flash con el mismo color que la luz ambiente, y esta imagen se almacena como imagen F’.

Además, en la Etapa S403, se sintetizan la imagen diferencia F’ y la imagen capturada sin asistencia de flash I1 para generar una primera imagen ajustada en balance de blancos R1. La primera imagen ajustada en balance de blancos R1 es una imagen en la que las temperaturas de color de la luz ambiente y la luz de flash coinciden entre sí.

Finalmente, en la Etapa S404, se ejecuta además un ajuste de balance de blancos sobre la primera imagen ajustada en balance de blancos R1, con lo cual se genera una segunda imagen ajustada en balance de blancos R2.

Como parámetro para WB en la Etapa S404, se puede usar un valor que sea fijado por un usuario, o también se pueden usar técnicas conocidas de balance de blancos automático para convertir la primera imagen ajustada en balance de blancos R1 de manera que la segunda imagen ajustada en balance de blancos, final, R2 tenga un tono natural.

Según el procesado de esta forma de realización, es posible lograr un ajuste de balance de blancos que tiene más en cuenta los componentes de la luz ambiente. Específicamente, es posible lograr un ajuste según la luz ambiente; por ejemplo, si la luz ambiente es rojiza debido a una puesta de sol o similares, es decir, contiene una gran cantidad de componente R, la imagen completa se ajusta con un tono rojizo.

La figura 10 es un diagrama de bloques que muestra la construcción funcional de la sección de procesado de señal digital (DSP) (correspondiente al DSP 106 de la figura 1) que ejecuta el procesado según la presente forma de realización.

Se describirá el procesado en la sección de procesado de señal digital (DSP) mostrada en la figura 10, aunque haciendo referencia al diagrama de flujo mostrado en la figura 9.

En las Etapas S101 a S106 de la figura 2, la imagen capturada sin asistencia de flash I1, la imagen capturada con flash I2, y la imagen capturada sin asistencia de flash I3 se almacenan respectivamente en las memorias de cuadro 401, 402 y 403.

Los datos de imágenes diferencia F = I2 -I1 se hallan en una sección de cálculo de imágenes diferencia 404 basándose en la imagen capturada sin asistencia de flash I1 y la imagen capturada con flash I2 (figura 9, S401). A continuación, por medio de una sección de ajuste de balance de blancos 405 se ejecuta un procesado de ajuste de balance de blancos de acuerdo con parámetros que se fijan basándose en componentes de la luz ambiente, con respecto a los datos de imagen diferencia F = I2 -I1, es decir, la imagen F correspondiente a una imagen capturada bajo la condición de que solamente se irradie luz de flash (figura 9, Etapa S402). Además, los valores de píxel de la imagen diferencia F’ adquirida mediante este procesado de ajuste de balance de blancos y aquellos correspondientes a la imagen capturada sin asistencia de flash I1 se suman entre sí en una sección de suma de valores de píxel 406, con lo cual se genera la primera imagen ajustada en balance de blancos R1 (figura 9, S403). Además, en una sección de ajuste de balance de blancos 407, se realiza un ajuste de balance de blancos sobre la primera imagen ajustada en balance de blancos R1, con lo cual se genera la segunda imagen ajustada en balance de blancos R2.

Si la imagen capturada no contiene una sección de movimiento, no se ejecuta ningún procesado en una sección de cálculo de valores de píxel corregidos en cuanto a parte de movimiento 409 y se da salida a la segunda imagen ajustada en balance de blancos R2 a través de una sección de conmutación de salida 411 en forma de una imagen ajustada en balance de blancos. A la imagen R2 se le da salida hacia el conversor D/A 108 que ejecuta una conversión digital/analógica (consúltese la figura 1), el códec 111 que ejecuta un procesado de codificación, o similares.

Por otro lado, si en la sección de detección de movimiento 408 se detecta un área de movimiento del propio motivo, como consecuencia del uso, por parte de la detección de movimiento, de los datos de diferencia basados en la imagen capturada sin asistencia de flash I1 y la imagen capturada sin asistencia de flash I3, se realiza, además, la corrección (conversión) de los valores de píxel de la sección con presencia de movimiento que se ha descrito previamente haciendo referencia a las figuras 6 y 7, en la sección de cálculo de valores de píxel corregidos en cuanto a la parte con movimiento 409, y se da salida, a través de la sección de conmutación de salida 411, a una imagen que tiene datos de valores de píxel en los que los valores de píxel corregidos sustituyen la sección con presencia de movimiento.

Una sección de ajuste de balance de blancos 410 ejecuta el procesado de la Etapa S113 en el flujo de procesado de la figura 2. A saber, si se determina que la corrección es imposible, por ejemplo, en el caso en el que se detecte un área con movimiento en la sección de detección de movimiento 408 pero la proporción del área con movimiento en la imagen completa sea alta, la sección de ajuste de balance de blancos 410 recibe la entrada de la imagen capturada con flash I2, ejecuta un ajuste de balance de blancos de acuerdo con parámetros preestablecidos, y da salida a esta imagen ajustada, a través de la sección de conmutación de salida 411.

La construcción mostrada en la figura 10 se muestra de manera que está dividida en secciones de procesado individuales por comodidad a la hora de describir su función, pero el procesado concreto se puede ejecutar por medio del procesador del DSP de acuerdo con un programa que ejecute un procesado según cada uno de los flujos de procesado mencionados anteriormente.

Según la presente forma de realización, es posible lograr un ajuste de balance de blancos que tenga más en cuenta los componentes de la luz ambiente.

[Forma de Realización 2]

Como Forma de Realización 2 de la presente invención, de modo similar a la descripción anterior, la siguiente descripción se refiere a una construcción que adopta una técnica diferente a la de la Forma de Realización 1 como procesado de la Etapa S111 de la figura 2, es decir, un método de corrección de valores de píxel para una sección con movimiento, en un método de procesado de imágenes y un dispositivo de procesado de imágenes que ejecutan ambos un procesado óptimo de ajuste de balance de blancos para una captura de imagen bajo entornos en los que la luz ambiente y la luz de flash están mezcladas. El presente método permite, por ejemplo, un procesado de alta velocidad de imágenes de alta resolución.

En la forma de realización 1 mencionada anteriormente, se ha hecho referencia a una construcción capaz de reducir la diferencia de la temperatura de color entre la luz de flash y la luz ambiente. La construcción se resume de la manera siguiente: en primer lugar, se extraen únicamente componentes de luz de flash a partir de una imagen diferencia entre una imagen tomada con flash y una imagen tomada sin flash, y después de esto, esta imagen diferencia y la imagen tomada sin flash se someten independientemente a una conversión de color y se vuelven a sintetizar para reducir la diferencia de la temperatura de color entre la luz ambiente y la luz de flash.

Según esta construcción, aunque es necesario capturar continuamente una pluralidad de imágenes, es posible hacer frente incluso al caso en el que un motivo o similar se mueve durante ese tiempo. A saber, se capturan continuamente tres imágenes en el orden de una imagen con flash, una imagen sin asistencia flash y una imagen con flash, y se detecta una sección con movimiento del motivo a partir de la diferencia entre las dos imágenes sin asistencia de flash, y con respecto a cada píxel contenido en la sección con movimiento, se realiza un procesado de interpolación sobre la relación de un componente de luz de flash reflejada con respecto a un componente de luz ambiente reflejada, a partir de datos de los píxeles que no sean la sección con movimiento, usando una función de base radial.

A saber, en la Forma de Realización 1, se ejecuta el procesado de la Etapa S111 mostrada en la figura 1, es decir, el procesado de corrección de valores de píxel de la sección con movimiento en la imagen ajustada en balance de blancos R, de acuerdo con el flujo de procesado mostrado en la figura 6.

No obstante, el método de compensación mencionado anteriormente de la sección con movimiento en algunos casos requiere tamaños grandes de memoria y costes altos de cálculo. En particular, el método tiene el problema de que las resoluciones superiores de imágenes a corregir conllevan aumentos mayores en los tamaños de memoria y los costes de cálculo necesarios.

La Forma de Realización 2 soluciona el problema mencionado anteriormente, y proporciona un ejemplo de construcción en el que, durante una captura de imagen que se realiza con flash, es posible solucionar la falta de la naturalidad debida a la diferencia de la temperatura de color entre la luz ambiente y la luz de flash, y además, incluso si se detecta una vibración de la imagen, es posible realizar el procesado de manera óptima y eficaz sin fallos, e incluso si la resolución de una imagen objetivo es alta, es posible realizar un procesado de manera eficaz a alta velocidad.

Un dispositivo de procesado de imágenes según la Forma de Realización 2 tiene una construcción similar a la construcción descrita previamente en la Forma de Realización 1 haciendo referencia a la figura 1. La Forma de Realización 2 se diferencia en el procesado de la sección de procesado de señal digital (DSP) 106. A continuación se describirán detalles del procesado de imágenes según la Forma de Realización 2.

El procesado de las imágenes se realiza de tal manera que, en el DSP 106, la unidad aritmética ejecuta secuencialmente operaciones escritas en códigos de programa predeterminados, sobre un flujo continuo de señales de imagen de entrada. A continuación, se describirá, haciendo referencia a un diagrama de flujo, el orden en el que se ejecutan las etapas de procesado individuales del programa. No obstante, la presente invención se puede construir, no en forma de un programa que se describirá en la presente forma de realización, sino incorporando un circuito de hardware que realice un procesado equivalente a las funciones que se describirán posteriormente.

El procesado básico del procedimiento de procesado de corrección de balance de blancos (WB) en la presente forma de realización se ejecuta de acuerdo con el diagrama de flujo mostrado en la figura 2 mencionada anteriormente en la Forma de Realización 1. A saber, se capturan continuamente tres imágenes en el orden de una imagen con flash, una imagen sin asistencia de flash y una imagen con flash, y se realiza un ajuste de balance de blancos basándose en estas imágenes.

En la presente forma de realización, el procesado de corrección de valores de píxel de la sección con movimiento en la Etapa S111 mostrada en la figura 2 se puede ejecutar de manera bastante más eficaz con unas velocidades bastante más elevadas. Durante el procesado de datos de imagen de alta resolución en particular, se puede realizar un procesado apropiado de corrección de valores de píxel a una alta velocidad incluso en el caso de un aparato que tenga una pequeña capacidad de memoria.

El caso en el que el procesado de ajuste de balance de blancos basado en la pluralidad mencionada anteriormente de imágenes se realiza en la Etapa S110 mostrada en la figura 2 significa un caso en el que se determina que se ha producido una vibración de la imagen debido a un movimiento del propio motivo, y la vibración de la imagen se puede corregir. En cuanto al área de imagen de la vibración de imagen debida al movimiento del propio motivo, es decir, el área de sección con movimiento, en la imagen ajustada en balance de blancos R generada en la Etapa S110, se ejecuta en la Etapa S111 un procesado de corrección de valores de píxel. A saber, se realiza un procesado excepcional sobre los valores de píxel de la sección con movimiento detectada en la Etapa S107, modificando de este modo la imagen ajustada en balance de blancos R. Como procesado de modificación, existe, por ejemplo, un método de introducción de los valores de píxel de la imagen con flash I2 correspondientes a la sección en la que se detecta el movimiento, de remisión a los valores de píxel de una sección en la que hay ausencia de movimiento, en la imagen ajustada en balance de blancos R, de determinación de los valores de píxel de la sección en la que se detecta el movimiento, y de síntesis de una imagen final.

Se describirán a continuación detalles del procesado de corrección de valores de píxel según la presente forma de realización.

La figura 11 es una vista esquemática que muestra un ejemplo de datos que se adquieren como consecuencia del procesado de detección de movimiento ejecutado en la Etapa S107 de la figura 2.

En la figura 11, a la sección de la cual se determina que se está moviendo en la Etapa S107 del flujo mostrado en la figura 2 se le denomina área de píxeles de sección con presencia de movimiento 550, mientras que a la sección de la cual se determina que no se está moviendo se le denomina área de píxeles de sección con ausencia de movimiento 551.

Se puede decir que la imagen obtenida en la Etapa S204 mencionada previamente haciendo referencia a la figura 3, es decir, los píxeles constituyentes del área de píxeles de sección con ausencia de movimiento 551 de la imagen ajustada en balance de blancos R, está constituida por píxeles obtenidos sometiendo correctamente la imagen I2 tomada con flash y almacenada en la memoria en las Etapas S103 y S104 mostradas en la figura 2, a una conversión de color para reducir la diferencia en color entre la luz de flash y la luz ambiente. Por otro lado, en cuanto a los píxeles constituyentes del área de píxeles de sección con presencia de movimiento 550 de la imagen ajustada en balance de blancos R, puesto que el movimiento del motivo ejerce una influencia sobre los valores de los píxeles, se puede decir que existe una alta posibilidad de que la conversión de color no se efectúe correctamente.

Por consiguiente, en cuanto a los píxeles del área de píxeles de sección con presencia de movimiento 550, la conversión de color se aplica directamente a la imagen con flash I2 para realizar el procesado según el cual se halla la imagen final ajustada en balance de blancos R.

En la Forma de Realización 1, el procesado de la Etapa S111 mostrada en la figura 1, es decir, el procesado de corrección de valores de píxel de la sección con movimiento de la imagen ajustada en balance de blancos R, se ejecuta como el procesado de interpolación que usa la función de base radial de acuerdo con el flujo de procesado mostrado en la figura 6.

En la presente forma de realización, el procesado de corrección de valores de píxel de la sección con movimiento de la imagen ajustada en balance de blancos R se ejecuta en una secuencia diferente de la Forma de Realización 1. A continuación se describirá, haciendo referencia al diagrama de flujo mostrado en la figura 12, la secuencia del procesado de corrección de valores de píxel de la sección con movimiento según la presente forma de realización 2.

La figura 12 es un diagrama de flujo que muestra el procesado de la Etapa S111 mostrada en la figura 2, es decir, los detalles del procesado de corrección de valores de píxel de la sección con movimiento de la imagen ajustada en balance de blancos R. A continuación se describirá el procesado de cada etapa.

En primer lugar, en la Etapa S501, se halla una imagen diferencia d sobre la base de la siguiente expresión (Expresión 21) usando la imagen ajustada en balance de blancos R generada de acuerdo con la Etapa S110 mostrada en la figura 2, es decir, el flujo de procesado de la figura 3, y la imagen I2 tomada con flash y almacenada en la memoria en las Etapas S103 y S104 mostradas en la figura 2:

d(x, y) = R(x, y) -I2(x, y) ... (Expresión 21)

En esta expresión, d(x,y), R(x, y) e I2(x, y) son vectores correspondientes a los colores de las imágenes respectivas en la posición de píxel (x, y). La expresión anterior se ejecuta como un cálculo vectorial.

En la expresión (Expresión 21), se halla la diferencia de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2, pero en lugar de la diferencia entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2, se puede calcular y adoptar la relación de cada valor de píxel de la imagen ajustada en balance de blancos R con respecto al correspondiente de la imagen con flash I2, es decir, la relación de imágenes d, según proporciona la siguiente expresión (Expresión 22):

D(x,y) = R(x,y) / (I2(x,y) + e) ... (Expresión 22)

En la anterior expresión (Expresión 22), “e” es un vector que tiene elementos en los cuales se fijan respectivamente valores fijos completamente pequeños, por ejemplo, un valor mínimo (floor value). El signo “/” en (Expresión 22) representa el cálculo de dividir los elementos de un vector por los elementos respectivos de un vector y fijar los resultados como los elementos respectivos de un vector. “e” se usa con el fin de evitar que d(x, y) no pueda calcularse cuando los elementos de I2 (x, y) se hagan 0.

Si se halla correctamente, con respecto a la imagen completa, la diferencia de imágenes o la relación de imágenes d(x, y) entre la imagen ajustada en balance de blancos R y la imagen con flash I2, es posible calcular la imagen final ajustada en balance de blancos R basándose en la imagen con flash I2. A saber, es posible calcular R(x, y) = d(x, y)

+ I2(x, y) o R(x, y) = (I2(x, y) + e) ∗ d(x,y). En relación con esto, el símbolo “∗” representa el cálculo de multiplicar los elementos de un vector por los elementos respectivos de un vector y fijar los resultados como los elementos respectivos de un vector.

No obstante, existe una posibilidad de que el área de píxeles de sección con presencia de movimiento 550 aparezca como una imagen con movimiento, de manera que si la diferencia de imágenes o la relación de imágenes d(x, y) calculada a partir de la expresión anterior (Expresión 21) o (Expresión 22) se aplica al área de píxeles 550 sin modificación, no se puede lograr un color óptimo.

Por esta razón, en la presente forma de realización, se calculan valores de píxel finales con respecto al área de píxeles de sección con presencia de movimiento 550, es decir, la imagen final ajustada en balance de blancos R, ejecutando una interpolación suave mediante el uso de la diferencia de imágenes o la relación de imágenes d(x, y) hallada a partir del área de píxeles de sección con ausencia de movimiento 551. En cualquier otro caso, la imagen final ajustada en balance de blancos R se calcula realizando un cálculo de interpolación suave usando un procesado de filtrado con interpolación con la relación de imágenes d(x, y). El procesado de filtrado con interpolación se puede lograr, por ejemplo, mediante un método que, tal como se describe posteriormente, interpole valores de píxel gradualmente desde la periferia del área 550 de acuerdo con el estado de transición de valores de píxel observados realmente en el área de píxeles 550 o valores de píxel en la periferia del área de píxeles de sección con presencia de movimiento 550, y además, que realice un procesado de filtrado paso-bajo. En relación con esto, el procesado de filtrado con interpolación de la presente invención no se limita a este método.

Según el presente método, incluso en relación con el área de píxeles de sección con presencia de movimiento 550, es posible generar una imagen que tenga un color similar a la imagen final ajustada en balance de blancos R al mismo tiempo que manteniendo la textura de la imagen con flash I2 del área de píxeles de sección con presencia de movimiento 550.

La figura 13 es una vista para describir el procesado de interpolación para hallar valores de píxel corregidos finales con respecto al área de píxeles de sección con presencia de movimiento 550 usando la (Expresión 21) mencionada anteriormente, es decir, la expresión para calcular la diferencia de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2.

En la figura 13, para facilitar la explicación, los datos se muestran de manera que están dispuestos unidimensionalmente y el procesado se describirá basándose en esta ilustración, aunque en realidad, el procesado se ejecuta sobre un plano bidimensional. En cada una de las figuras 13A a 13C, el eje horizontal representa la posición de los píxeles, mientras que el eje vertical representa el valor de los píxeles (valores de luminancia o R, G y B).

La figura 13A muestra la transición de valores de píxel de una imagen ajustada en balance de blancos R 560 y una imagen con flash I2 561 en el área de píxeles de sección con ausencia de movimiento 551 y el área de píxeles de sección con presencia de movimiento 550.

La figura 13B muestra un valor 562 de la diferencia de imágenes d de una sección en el área de píxeles de sección con ausencia de movimiento 551 que está próxima al área de píxeles de sección con presencia de movimiento 550. A saber, la figura 13B muestra el valor 562 de la (Expresión 21) mencionada anteriormente, es decir, la diferencia de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2.

La línea de trazos mostrada en el área de píxeles de sección con ausencia de movimiento 551 mostrada en la figura 13B representa un valor estimado 563 de la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550 que se obtiene interpolando suavemente el valor 562 de la diferencia de imágenes d. Posteriormente se describirá un método de procesado de cálculo para el valor estimado 563 de la diferencia de imágenes d.

La figura 13C es una vista en la que, como imagen final ajustada en balance de blancos R 564 en el área de píxeles de sección con presencia de movimiento 550, se muestra mediante una línea de puntos el resultado obtenido mediante la suma de la diferencia de imágenes estimada d 563 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13B al valor de la imagen con flash I2 561 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13A.

A esta imagen ajustada en balance de blancos R 564 mostrada mediante la línea de puntos en el área de píxeles de sección con presencia de movimiento 550 en la figura 13C y a la imagen ajustada en balance de blancos R 560 en el área de píxeles de sección con ausencia de movimiento 551 se les da salida como imagen final ajustada en balance de blancos R. La imagen de salida final resulta una imagen en la que la imagen ajustada en balance de blancos R 564 mostrada mediante la línea de puntos en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13C y la imagen ajustada en balance de blancos R 560 en el área de píxeles de sección con ausencia de movimiento 551 están conectadas suavemente. Esta imagen de salida es una imagen en la que se mantiene la textura de la imagen con flash I2 561 en el área de píxeles de sección con presencia de movimiento 550.

Debe indicarse que incluso si, como d(x,y), se aplica, no la diferencia de imágenes d proporcionada por la expresión mencionada anteriormente (Expresión 21), sino la relación de imágenes d que usa la expresión mencionada anteriormente (Expresión 22), se puede ejecutar un método de corrección similar al método mencionado anteriormente. A saber, se usa la relación de imágenes d en lugar de la diferencia de imágenes d mostrada en la figura 13B, y de manera similar a la línea de puntos mostrada en el área de píxeles de sección con ausencia de movimiento 551 mostrada en la figura 13B, los valores de las relaciones de imágenes d se interpolan suavemente en el área de píxeles de sección con presencia de movimiento 550, calculándose de este modo valores estimados de las relaciones de imágenes d en el área de píxeles de sección con presencia de movimiento 550. Después de esto, las relaciones de imágenes d se multiplican por los píxeles de la imagen con flash I2 561 en el área de píxeles de sección con presencia de movimiento 550, con lo cual se puede calcular la imagen ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550.

A continuación se describirán detalles del método de interpolación que usa la diferencia de imágenes o la relación de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2.

Después de la ejecución de la Etapa S501 en el flujo mostrado en la figura 12, en la etapa S502, como preprocesado para la interpolación, se halla un valor inicial de la diferencia de imágenes o relación de imágenes d(x, y) con respecto a cada píxel del área de píxeles de sección con presencia de movimiento 550. En la siguiente descripción, se hace referencia a un método según el cual se halla la diferencia de imágenes d(x, y), pero pueden aplicarse técnicas similares al caso en el que se debe hallar la relación de imágenes d(x, y).

En primer lugar, se prepara una imagen de máscara M que tiene píxeles expresados cada uno de ellos como uno cualquiera de entre dos valores, y se fija M(x, y) = 1 con respecto a cada píxel del área de píxeles de sección con ausencia de movimiento 551, mientras que se fija M(x, y) = 0 con respecto a cada píxel del área de píxeles de sección con presencia de movimiento 550.

Se comprueba cada píxel de la imagen para seleccionar un píxel (rodeado por 8 ó 4 en las proximidades de píxeles) que sea adyacente a los píxeles de M(x, y) = 1, es decir, el área de píxeles de sección con ausencia de movimiento 551, de entre los píxeles de M(x, y) = 0, es decir, los píxeles del área de píxeles de sección con presencia de movimiento 550.

A continuación, se calcula el promedio de las diferencias de imágenes d(x, y) de los píxeles de M(x, y) = 1 que son adyacentes al píxel de interés. Este valor medio se fija como valor inicial de la diferencia de imágenes d(x, y) en la posición del píxel de interés.

A continuación se describirá un procesado específico, haciendo referencia a la figura 14. Por ejemplo, en el caso de una imagen que tenga el área de píxeles de sección con presencia de movimiento 550 y el área de píxeles de sección con ausencia de movimiento 551 tal como se muestra en la figura 14, el valor inicial de la diferencia de imágenes d(x, y) de un píxel 581 en el área de píxeles de sección con presencia de movimiento 550 que es adyacente al área de píxeles de sección con ausencia de movimiento 551 se fija como el valor medio de los píxeles 582, 583 y 584 del área de píxeles de sección con ausencia de movimiento 551 que son adyacentes al píxel 581.

Los valores iniciales relativos a los píxeles del área de píxeles de sección con presencia de movimiento 550 que son adyacentes al área de píxeles de sección con ausencia de movimiento 551 se determinan mediante una técnica similar. A continuación, en cuanto al píxel cuyo valor inicial se acaba de fijar, el valor de M(x, y) de la imagen de máscara se cambia a un 1. Posteriormente, después de que se hayan fijado los valores iniciales en relación con todos los píxeles (rodeado cada uno de ellos por 8 ó 4 en las proximidades de píxeles) que son adyacentes a los píxeles de M(x, y) = 1, de entre los píxeles de M(x, y) = 0, es decir, los píxeles contenidos en el área de píxeles de sección con presencia de movimiento 550, M(x, y) = 1 se fija con respecto a los píxeles cuyos valores iniciales se acaban de fijar. A saber, los valores iniciales de las diferencias de imágenes d(x, y) del área de píxeles de sección con presencia de movimiento 550 se determinan secuencialmente a partir de la sección periférica hacia la sección central del área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 14. Este procesado se realiza repetidamente hasta que todos los píxeles se fijan a M(x, y) = 1.

A través de este procesado, se determinan los valores iniciales de las diferencias de imágenes d(x, y) de todos los píxeles contenidos en el área de píxeles de sección con presencia de movimiento 550. Este procesado es el procesado de la Etapa S502 del flujo mostrado en la figura 12.

Después de que se hayan hallado los valores iniciales de las diferencias de imágenes d(x, y) en el área de píxeles de sección con presencia de movimiento 550, se ejecuta el procesado de la Etapa S503 en el flujo mostrado en la figura 12.

En la Etapa S503, se realiza un filtrado de suavizado sobre las diferencias de imágenes d de solamente los píxeles del área de píxeles de sección con presencia de movimiento 550. El filtrado de suavizado puede hacer uso de, por ejemplo, un filtrado de media móvil que promedia valores de píxeles contenidas en las proximidades de un cuadrado de n x n. A partir de este procesado de suavizado, es posible obtener el efecto de conectar suavemente solo los valores de las diferencias de imágenes d del área de píxeles de sección con presencia de movimiento 550 mientras que los valores de las diferencias de imágenes d del área de píxeles de sección con ausencia de movimiento 551 se fijan.

En este procesado de suavización ejecutado en la Etapa S503, se comprueba cómo ha variado cada componente de color de la diferencia de imágenes d(x, y) en cada píxel a través de este filtrado de suavización, y se almacena en la memoria el valor máximo de la variación de cada componente de color de la diferencia de imágenes d(x, y) (el valor máximo de la variación del valor de píxel).

A continuación, en la Etapa S504, se determina si el valor máximo de la variación de cada componente de color de la diferencia de imágenes d(x, y) (el valor máximo de variación del valor de píxel) que se ha almacenado en el procesado de suavización de la Etapa S502 es mayor que un umbral preestablecido. Si el valor máximo de variación del valor de píxel es menor, el proceso prosigue hacia la Etapa S506, y se completa el procesado de suavización.

Si el valor máximo de la variación de cada componente de color de la diferencia de imágenes d(x, y) (el valor máximo de la variación del valor de píxel) que se ha almacenado en el proceso de suavización de la Etapa S502 es mayor que el umbral preestablecido, se determina que las diferencias de imágenes d del área de píxeles de sección con presencia de movimiento 550 no se han interpolado suavemente todavía, y el proceso prosigue hacia la Etapa S505.

En la Etapa S505, se determina si el número de veces que se ha realizado hasta el momento el filtrado de suavización sobre los píxeles del área de píxeles de sección con presencia de movimiento 550 de la diferencia de imágenes d es mayor que un umbral preestablecido, y si el número de veces es mayor, el proceso prosigue hacia la Etapa S506. Si el número de veces es menor, el proceso vuelve a la Etapa S503, y el filtrado de suavización se realiza nuevamente para ejecutar de nuevo el procesado de suavización del área de píxeles de sección con presencia de movimiento 550.

En el caso en el que el número de veces que se ha realizado el filtrado de suavización sobre los píxeles del área de píxeles de sección con presencia de movimiento 550 de la diferencia de imágenes d es mayor que el umbral preestablecido, incluso si el filtrado de suavización se ejecuta repetidamente, no se pueden obtener variaciones de las diferencias de imágenes d. Por consiguiente, el número máximo predeterminado de veces de ejecución del procesado de suavización se determina como un umbral por adelantado, y si se alcanza este umbral, el procesado de suavización se hace llegar al final en este instante de tiempo, y el proceso prosigue hacia la siguiente etapa.

En la Etapa S506, las diferencias de imagen d en el área de píxeles de sección con presencia de movimiento 550 que se han obtenido en el procesado de suavización mencionado anteriormente se determinan como las diferencias de imágenes estimadas d 563. A saber, las diferencias de imágenes d se determinan como las diferencias de imágenes estimadas d 563 en el área de píxeles de sección con presencia de movimiento 550 que se muestran en la figura 13B.

A continuación, en la Etapa S507, las diferencias de imágenes d calculadas a partir del procesado mencionado anteriormente y la imagen con flash I2 se usan para generar la imagen final ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550.

A saber, se genera la imagen final ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13C. El resultado obtenido mediante la suma de las diferencias de imágenes estimadas d 563 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13B con los valores de la imagen con flash I2 561 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13A se fija como la imagen final ajustada en balance de blancos R 564 en el área de píxeles de sección con presencia de movimiento 550.

El ejemplo de procesado mencionado anteriormente es un ejemplo que usa la imagen ajustada en balance de blancos R hallada de acuerdo con la expresión mencionada anteriormente (Expresión 21) y la diferencia de imágenes d de cada valor de píxel de la imagen con flash I2. No obstante, en el caso en el que se usan la imagen ajustada en balance de blancos R hallada de acuerdo con la expresión mencionada anteriormente (Expresión 22) y la diferencia de imágenes d de cada valor de píxel de la imagen con flash I2, en la Etapa S507, la relación de imágenes d en el área de píxeles de sección con presencia de movimiento 550 y los elementos de cada píxel de la imagen con flash I2 se multiplican para generar la imagen final ajustada en balance de blancos R.

A través del procesado mencionado anteriormente, se puede generar la imagen de salida final R.

A continuación se describirá, haciendo referencia a la figura 15, la construcción de una sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento.

La sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento en la presente forma de realización se fija de manera que se corresponda con la sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento 310 mostrada en la figura 8 mencionada previamente en la Forma de Realización 1 o la sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento 409 mostrada en la figura 10.

Se describirá la construcción mostrada en la figura 15. Una sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento 710 tiene una sección de cálculo de diferencias de imágenes (relaciones de imágenes) 711, una sección de cálculo de valores iniciales de diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento 712, una sección de procesado de suavización 713, y una sección de cálculo de valores de píxel corregidos, finales, en cuanto a sección con movimiento 714.

La sección de cálculo de diferencias de imágenes (relaciones de imágenes) 711 recibe la entrada de la imagen ajustada en balance de blancos del área de píxeles de sección con ausencia de movimiento R 701 y la entrada de cada dato de imagen de la imagen con flash I2, y calcula las diferencias de imágenes d o las relaciones de imágenes d en un área de píxeles de sección con ausencia de movimiento de acuerdo con la expresión mencionada anteriormente (Expresión 21) o (Expresión 22). Este procesado se corresponde con la “d” mostrada en la figura 13A.

La sección de cálculo de valores iniciales de diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento 712 fija los valores iniciales de las diferencias de imágenes (relaciones de imágenes) d en un área de píxeles de sección con presencia de movimiento. Tal como se ha descrito previamente haciendo referencia a la figura 14, este procesado en primer lugar fija como valores iniciales el valor medio de las diferencias de imágenes (relaciones de imágenes) d de las proximidades de píxeles del área de píxeles con ausencia de movimiento, estando posicionados dichos píxeles en la sección del área de píxeles con presencia de movimiento que es adyacente al área de píxeles con ausencia de movimiento, y a continuación ejecuta el procesado según el cual determina secuencialmente los valores iniciales de las diferencias de imágenes (relaciones de imágenes) d hacia el interior del área de píxeles con presencia de movimiento.

La sección de procesado de suavización 713 ejecuta un procesado de suavización usando, por ejemplo, un filtrado de suavización, sobre la base de los valores iniciales de la diferencia de imágenes (relación de imágenes) d del área de píxeles con presencia de movimiento, los cuales se han fijado en la sección de cálculo de valores iniciales de diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento 712, y determina los valores estimados d de las diferencias de imágenes (relaciones de imágenes) en el área de píxeles con presencia de movimiento. A saber, se determina la diferencia de imágenes estimada d 563 en el área de píxeles de la sección con presencia de movimiento 550 mostrada en la figura 13B.

La sección de cálculo de valores de píxel finales corregidos en cuanto a sección de movimiento 714 recibe las entradas de los valores estimados d de las diferencias de imágenes (relaciones de imágenes) suavizadas en la sección de procesado de suavización 713 y la imagen con flash I2, y genera la imagen final ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550. A saber, se genera la imagen final ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13C.

El resultado obtenido mediante la suma de las diferencias de imágenes estimadas d 563 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13B con los valores de la imagen con flash I2 561 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 13A se fija y se le da salida como la imagen final ajustada en balance de blancos R 564 del área de píxeles de sección con presencia de movimiento 550.

En el caso en el que se usan la imagen ajustada en balance de blancos R hallada de acuerdo con la expresión (Expresión 22) y la diferencia de imágenes d de cada valor de píxel de la imagen con flash I2, en la Etapa S507, la relación de imágenes d en el área de píxeles de sección con presencia de movimiento 550 y los elementos de cada píxel de la imagen con flash I2 se multiplican para generar y dar salida a la imagen final ajustada en balance de blancos R.

Tal como se ha descrito anteriormente, según el procesado de corrección de valores de píxel de la presente forma de realización, es posible realizar una conversión apropiada de color sobre el área de píxeles de sección con presencia de movimiento por medio de un procesado sencillo usando un filtrado de suavización.

En la presente forma de realización, se ha hecho referencia a un ejemplo en el cual se realiza un procesado de ajuste de balance de blancos. No obstante, la técnica descrita anteriormente se puede usar para solucionar no solamente un procesado de ajuste de balance de blancos sino también problemas de procesados generales de datos.

A saber, el procesado de la presente invención es útil en el caso en el que, tal como se muestra en la figura 13, se definen ciertos datos en una cierta área (el área 551 de la figura 13) pero se van a definir otros datos en la otra área (el área 550 de la figura 13).

Se supone que se proporciona un área indicada por el área 550 mostrada en la figura 13 y se proporcionan datos de referencia 561 en un área de datos 551 adyacente al área. En este momento, se pueden generar datos de interpolación (los datos de interpolación 564 de la figura 13) que tienen las mismas características (la textura de una imagen) que los datos de referencia 561.

Este procesado de datos se puede aplicar no solamente al procesado de ajuste de balance de blancos de datos de imágenes en la forma de realización mencionada anteriormente sino también al procesado de datos general. A saber, la presente forma de realización no se limita al problema del ajuste de balance de blancos.

[Forma de Realización 3]

A continuación se describirá la Forma de Realización 3 de la presente invención haciendo referencia a una construcción que adopta una técnica diferente a las correspondientes a las Formas de Realización 1 y 2 como procesado de la Etapa S111 en el flujo de la figura 2, es decir, un método de procesado de corrección de valores de píxel para una sección con movimiento, en un método de procesado de imágenes y un dispositivo de procesado de imágenes que ejecutan ambos, de manera similar al método y el aparato mencionados anteriormente, un procesado óptimo de ajuste de balance de blancos para la captura de una imagen bajo entornos en los que se mezclan la luz ambiente y la luz de flash.

En la Forma de Realización 1, se ha hecho referencia a una construcción que detecta una sección con movimiento de un motivo a partir de la diferencia entre dos imágenes sin asistencia de flash, y con respecto a píxeles contenidos en la sección con movimiento, realiza un procesado de interpolación sobre la relación de un componente de luz de flash reflejada, con respecto a un componente de luz ambiente reflejada, a partir de datos en píxeles que no sean la sección con movimiento, usando una función de base radial. En la Forma de Realización 2, se ha hecho referencia a una construcción que realiza una corrección de valores de píxel sobre una sección con movimiento mediante un procesado simplificado por un filtro de suavizado.

La Forma de Realización 3 proporciona un ejemplo de construcción en el que se fija un filtro cuyo peso se determina dinámicamente según datos de imagen correspondientes a la imagen con flash I2 y se realiza una corrección de valores de píxel sobre píxeles con presencia de movimiento usando el filtro fijado.

Un dispositivo de procesado de imágenes de la Forma de Realización 3 tiene una construcción similar a la construcción descrita previamente haciendo referencia a la figura 1, y en la sección de procesado de señal digital (DSP) 106 se ejecutan un procesado de fijación del filtro según datos de imagen correspondientes a la imagen con flash I2 y un procesado de corrección de valores de píxel usando el filtro de la Forma de Realización 3. A continuación se describirán detalles de un procesado de imágenes según la Forma de Realización 3.

El procesado de las imágenes se realiza de tal manera que la unidad aritmética ejecuta secuencialmente operaciones escritas en códigos de programa predeterminados, sobre un flujo continuo de señales de imágenes de entrada en el interior del DSP 106. A continuación, se describirá haciendo referencia a un diagrama de flujo el orden en el que se ejecutan las etapas de procesado individuales del programa. No obstante, la presente invención se puede construir no en forma de un programa que se describirá en la presente forma de realización, sino incorporando un circuito de hardware que realice un procesado equivalente a funciones que se describirán posteriormente.

La secuencia básica del procedimiento del procesado de corrección de balance de blancos (WB) en la presente forma de realización es el procesado según el diagrama de flujo mostrado en la figura 2, de modo similar a las Formas de Realización 1 y 2 mencionadas previamente. A saber, se capturan continuamente tres imágenes en el orden de una imagen con flash, una imagen sin asistencia de flash y una imagen con flash, y se realiza un ajuste de balance de blancos basándose en estas imágenes.

En la presente forma de realización, el procesado de corrección de valores de píxel de la sección con movimiento de la Etapa S111 mostrada en la figura 2 se puede ejecutar de manera bastante más eficaz con una precisión bastante mayor. El caso en el que en la Etapa S110 mostrada en la figura 2 se realiza el procesado de ajuste de balance de blancos basado en la pluralidad de imágenes mencionada anteriormente significa un caso en el que se determina que se ha producido una vibración de imagen debido a un movimiento del propio motivo y la vibración de la imagen se puede corregir. En cuanto al área de imagen de la vibración de imagen debida al movimiento del propio motivo, es decir, el área de sección con movimiento, en la imagen ajustada en balance de blancos R generada en la Etapa S110, en la Etapa S111 se ejecuta un procesado de corrección de valores de píxel. A saber, se realiza un procesado excepción sobre los valores de píxel de la sección con movimiento detectada en la Etapa S107, modificando de este modo la imagen ajustada en balance de blancos R. Como procesado de modificación, existe, por ejemplo, un método según el cual se introducen los valores de píxel de la imagen con flash I2 correspondientes a la sección en la que se detecta el movimiento, se remite a los valores de píxel de una sección en la que hay ausencia del movimiento, en la imagen ajustada en balance de blancos R, se determinan los valores de píxel de la sección en la que se detecta el movimiento, y se sintetiza una imagen final.

A continuación se describirán detalles del procesado de corrección de valores de píxel según la presente forma de realización.

Tal como se ha descrito en las formas de realización previas, los datos que se adquieren como consecuencia del procesado de detección de movimiento ejecutado en la Etapa S107 de la figura 2 son datos correspondientes a la vista esquemática mostrada en la figura 16.

En la figura 16, la sección de la cual se determina que está moviéndose en la Etapa S107 de flujo mostrado en la figura 2 es el área de píxeles de sección con presencia de movimiento 550, mientras que la sección de la cual se determina que no está moviéndose es el área de píxeles de sección con ausencia de movimiento 551.

Se puede decir que la imagen obtenida en la Etapa S204 mencionada previamente haciendo referencia a la figura 3, es decir, los píxeles constituyentes del área de píxeles de sección con ausencia de movimiento 551 de la imagen ajustada en balance de blancos R, está compuesta por píxeles obtenidos al someter correctamente la imagen I2 tomada con flash y almacenada en la memoria en las Etapas S103 y S104 mostradas en la figura 2 a una conversión de color para reducir la diferencia de color entre la luz de flash y la luz ambiente. Por otro lado, en cuanto a los píxeles constituyentes del área de píxeles de sección con presencia de movimiento 550 de la imagen ajustada en balance de blancos R, puesto que el movimiento de motivo ejerce una influencia sobre los valores de los píxeles, se puede decir que existe una posibilidad alta de que no se efectúe correctamente la conversión de color.

Por consiguiente, en cuanto a los píxeles del área de píxeles de sección con presencia de movimiento 550, la conversión de color se aplica directamente a la imagen de flash I2 para realizar el procesado según el cual se halla la imagen final ajustada en balance de blancos R.

En la Forma de Realización 1, se ejecuta el procesado de la Etapa S111 mostrada en la figura 1, es decir, el procesado de corrección de valores de píxel de la sección con movimiento de la imagen ajustada en balance de blancos R, como procesado de interpolación que usa la función de base radial de acuerdo con el flujo de procesado mostrado en la figura 6. En la Forma de Realización 2, se ejecuta el procesado de corrección que usa el filtrado de suavización de acuerdo con el flujo de procesado mostrado en la figura 12.

En la presente forma de realización, el procesado de corrección de valores de píxel de la sección con movimiento de la imagen ajustada en balance de blancos R se ejecuta en una secuencia diferente a las Formas de Realización 1 y

2. A continuación se describirá, haciendo referencia al diagrama de flujo mostrado en la figura 17, la secuencia del procesado de corrección de valores de píxel de la sección con movimiento según la presente forma de realización 3.

La figura 17 es un diagrama de flujo que muestra el procesado de la Etapa S111 mostrada en la figura 2, es decir, una secuencia detallada en la que se ejecuta el procesado de corrección de valores de píxel de la sección con movimiento de la imagen ajustada en balance de blancos R de acuerdo con la presente forma de realización 3. A continuación se describirá el procesado de cada etapa.

En primer lugar, en la Etapa S601, se halla la diferencia de imágenes d sobre la base de la siguiente expresión (Expresión 31) usando la imagen ajustada en balance de blancos R generada de acuerdo con la Etapa S 110 mostrada en la figura 2, es decir, el flujo de procesado de la figura 3, y la imagen I2 tomada con flash y almacenada en la memoria en las Etapas S103 y S104 mostradas en la figura 2:

d(x, y) = R(x, y) -I2(x, y) ... (Expresión 31)

En esta expresión d(x, y), R(x, y) e I2(x, y) son vectores correspondientes a los colores de las imágenes respectivas en la posición de píxel (x, y). La expresión anterior se ejecuta como un cálculo de vectores.

En la expresión (Expresión 31), se halla la diferencia de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2, pero en lugar de la diferencia entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2, se puede calcular y adoptar la relación de cada valor de píxel de la imagen ajustada en balance de blancos R con respecto al correspondiente de la imagen con flash I2, es decir, la relación de imágenes d, según se proporciona mediante la siguiente expresión (Expresión 32):

d(x, y) = R(x, y) / (I2(x, y) + e) ... (Expresión 32)

En la anterior expresión (Expresión 32), “e” es un vector que tiene elementos en los que se fijan respectivamente valores fijos completamente pequeños, por ejemplo, un valor mínimo (floor value). El signo “/” en (Expresión 32) representa el cálculo de dividir los elementos de un vector por los elementos respectivos de un vector y fijar los resultados como los elementos respectivos de un vector. “e” se usa con el fin de evitar que d(x, y) no pueda calcularse cuando los elementos de I2 (x, y) se hagan 0.

Si se halla correctamente, con respecto a la imagen completa, la diferencia de imágenes o la relación de imágenes d(x, y) entre la imagen ajustada en balance de blancos R y la imagen con flash I2, es posible calcular la imagen final ajustada en balance de blancos R basándose en la imagen con flash I2. A saber, es posible calcular R(x, y) = d(x, y)

+ I2(x, y) o R(x, y) = (I2(x, y) + e) ∗ d(x,y). En relación con esto, el símbolo “∗” representa el cálculo de multiplicar los elementos de un vector por los elementos respectivos de un vector y fijar los resultados como los elementos respectivos de un vector.

No obstante, existe una posibilidad de que el área de píxeles de sección con presencia de movimiento 550 aparezca como una imagen con movimiento, de manera que si la diferencia de imágenes o la relación de imágenes d(x, y) calculada a partir de la expresión anterior (Expresión 31) o (Expresión 32) se aplica al área de píxeles 550 sin modificación, no se puede lograr un color óptimo.

Por esta razón, en la presente forma de realización, se calculan valores de píxel finales con respecto al área de píxeles de sección con presencia de movimiento 550, es decir, la imagen final ajustada en balance de blancos R, ejecutando una interpolación mediante el uso de la diferencia de imágenes o la relación de imágenes d(x, y) hallada a partir del área de píxeles de sección con ausencia de movimiento 551. La diferencia de imágenes o la relación de imágenes d(x, y) se usa para realizar la corrección de valores de píxel de la sección con presencia de movimiento

550.

Según el presente método, incluso en relación con el área de píxeles de sección con presencia de movimiento 550, es posible generar una imagen que tenga un color similar a la imagen final ajustada en balance de blancos R al mismo tiempo que manteniendo la textura de la imagen con flash I2 del área de píxeles de sección con presencia de movimiento 550.

La figura 18 es una vista para describir el procesado de interpolación para hallar valores de píxel corregidos finales con respecto al área de píxeles de sección con presencia de movimiento 550 usando la (Expresión 31) mencionada anteriormente, es decir, la expresión para calcular la diferencia de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2.

En la figura 18, para facilitar la explicación, los datos se muestran de manera que están dispuestos unidimensionalmente y el procesado se describirá basándose en esta ilustración, aunque en realidad, el procesado se ejecuta sobre un plano bidimensional. En cada una de las figuras 18A a 18C, el eje horizontal representa la posición de los píxeles, mientras que el eje vertical representa el valor de los píxeles (valores de luminancia o R, G y B).

La figura 18A muestra la transición de valores de píxel de una imagen ajustada en balance de blancos R 860 y una imagen con flash I2 861 en el área de píxeles de sección con ausencia de movimiento 551 y el área de píxeles de sección con presencia de movimiento 550.

La figura 18B muestra un valor 862 de la diferencia de imágenes d de una sección en el área de píxeles de sección con ausencia de movimiento 551 que está próxima al área de píxeles de sección con presencia de movimiento 550. A saber, la figura 18B muestra el valor 862 de la diferencia de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2, calculándose dicho valor 862 usando la (Expresión 31) mencionada anteriormente.

La línea de trazos mostrada en el área de píxeles de sección con ausencia de movimiento 550 mostrada en la figura 18B representa un valor estimado sobre la base de un valor 862a de la diferencia de imágenes d y un valor 862b de la diferencia de imágenes d del área de píxeles de sección con ausencia de movimiento 551 próxima al área de píxeles de sección con presencia de movimiento 550, es decir, un valor estimado 863 de la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550 que se obtiene interpolando suavemente los valores 862a y 862b de la diferencia de imágenes d del área de píxeles de sección con ausencia de movimiento 551.

El valor estimado 863 de la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550 es un valor estimado, determinado mediante la ejecución de las siguientes etapas (1) y (2):

(1)

una etapa de fijación de una diferencia de imágenes d inicial; y

(2)

una etapa de corrección de la diferencia de imágenes d inicial por medio de un filtro cuyo peso se determina dinámicamente según datos de imágenes correspondientes a la imagen con flash I2. Posteriormente se describirá un método de procesado de cálculo para el valor estimado 863 de la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550.

La figura 18C es una vista en la que, como imagen final ajustada en balance de blancos R 864 en el área de píxeles de sección con presencia de movimiento 550, se muestra mediante una línea de puntos el resultado obtenido mediante la suma de la diferencia de imágenes estimada d 863 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18B al valor de la imagen con flash I2 861 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18A.

A esta imagen ajustada en balance de blancos R 864 mostrada mediante la línea de puntos en el área de píxeles de sección con presencia de movimiento 550 en la figura 18C y a la imagen ajustada en balance de blancos R 860 en el área de píxeles de sección con ausencia de movimiento 551 se les da salida como imagen final ajustada en balance de blancos R. La imagen de salida final resulta una imagen en la que la imagen ajustada en balance de blancos R 864 mostrada mediante la línea de puntos en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18C y la imagen ajustada en balance de blancos R 860 en el área de píxeles de sección con ausencia de movimiento 551 están conectadas suavemente. Esta imagen de salida es una imagen en la que se mantiene la textura de la imagen con flash I2 861 en el área de píxeles de sección con presencia de movimiento 550.

Debe indicarse que incluso si, como d(x,y), se aplica, no la diferencia de imágenes d proporcionada por la expresión mencionada anteriormente (Expresión 31), sino la relación de imágenes d que usa la expresión mencionada anteriormente (Expresión 32), se puede ejecutar un método de corrección similar al método mencionado anteriormente. A saber, se usa la relación de imágenes d en lugar de la diferencia de imágenes d mostrada en la figura 18B, y de manera similar a la línea de puntos mostrada en el área de píxeles de sección con ausencia de movimiento 551 mostrada en la figura 18B, los valores de las relaciones de imágenes d se interpolan suavemente en el área de píxeles de sección con presencia de movimiento 550, calculándose de este modo valores estimados de las relaciones de imágenes d en el área de píxeles de sección con presencia de movimiento 550. Después de esto, las relaciones de imágenes d se multiplican por los píxeles de la imagen con flash I2 861 en el área de píxeles de sección con presencia de movimiento 550, es decir, no se realiza un procesado de suma sino un procesado de multiplicación, con lo cual se puede calcular la imagen ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550.

A continuación se describirán detalles del método de interpolación que usa la diferencia de imágenes o la relación de imágenes d entre cada valor de píxel en la imagen ajustada en balance de blancos R y en la imagen con flash I2.

Tal como se ha descrito anteriormente, el valor estimado 863 de la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550 se determina ejecutando las siguientes etapas (1) y (2):

(1)

la etapa de fijación de la diferencia de imágenes d inicial; y

(2)

la etapa de corrección de la diferencia de imágenes d inicial por medio del filtro cuyo peso se determina dinámicamente según datos de imagen correspondientes a la imagen con flash I2.

En primer lugar, se describirá a continuación el procesado de fijación del valor inicial de la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550.

Después de la ejecución de la Etapa S601 en el flujo mostrado en la figura 17, en la etapa S602 se halla un valor inicial de la diferencia de imágenes o relación de imágenes d(x, y) con respecto a cada píxel del área de píxeles de sección con presencia de movimiento 550. En la siguiente descripción, se hace referencia a un método según el cual se halla la diferencia de imágenes d(x, y), pero pueden aplicarse técnicas similares al caso en el que se debe hallar la relación de imágenes d(x, y).

En primer lugar, se prepara una imagen de máscara M que tiene píxeles expresados cada uno de ellos como uno cualquiera de entre dos valores, y se fija M(x, y) = 1 con respecto a cada píxel (x, y) del área de píxeles de sección con ausencia de movimiento 551, mientras que se fija M(x, y) = 0 con respecto a cada píxel (x, y) del área de píxeles de sección con presencia de movimiento 550.

Se comprueba cada píxel de la imagen para seleccionar un píxel (rodeado por 8 ó 4 en las proximidades de píxeles) que sea adyacente a los píxeles de M(x, y) = 1, es decir, el área de píxeles de sección con ausencia de movimiento 551, de entre los píxeles de M(x, y) = 0, es decir, los píxeles del área de píxeles de sección con presencia de movimiento 550.

A continuación, se calcula el promedio de las diferencias de imágenes d(x, y) de los píxeles de M(x, y) = 1 que son adyacentes al píxel de interés. Este valor medio se fija como valor inicial de la diferencia de imágenes d(x, y) en la posición (x, y) del píxel de interés.

A continuación se describirá un procesado específico, haciendo referencia a la figura 16. Por ejemplo, en el caso de una imagen que tenga el área de píxeles de sección con presencia de movimiento 550 y el área de píxeles de sección con ausencia de movimiento 551 tal como se muestra en la figura 16, el valor inicial de la diferencia de imágenes d(x, y) de un píxel 821 en el área de píxeles de sección con presencia de movimiento 550 que es adyacente al área de píxeles de sección con ausencia de movimiento 551 se fija como el valor medio de los píxeles 822, 823 y 824 del área de píxeles de sección con ausencia de movimiento 551 que son adyacentes al píxel 821.

Los valores iniciales relativos a los píxeles del área de píxeles de sección con presencia de movimiento 550 que son adyacentes al área de píxeles de sección con ausencia de movimiento 551 se determinan mediante una técnica similar. A continuación, en cuanto al píxel cuyo valor inicial se acaba de fijar, el valor de M(x, y) de la imagen de máscara se cambia a un 1. Posteriormente, después de que se hayan fijado los valores iniciales en relación con todos los píxeles (rodeado cada uno de ellos por 8 ó 4 en las proximidades de píxeles) que son adyacentes a los píxeles de M(x, y) = 1, de entre los píxeles de M(x, y) = 0, es decir, los píxeles contenidos en el área de píxeles de sección con presencia de movimiento 550, M(x, y) = 1 se fija con respecto a los píxeles cuyos valores iniciales se acaban de fijar. A saber, los valores iniciales de las diferencias de imágenes d(x, y) del área de píxeles de sección con presencia de movimiento 550 se determinan secuencialmente a partir de la sección periférica hacia la sección central del área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 16. Este procesado se realiza repetidamente hasta que todos los píxeles se fijan a M(x, y) = 1.

A través de este procesado, se determinan los valores iniciales de las diferencias de imágenes d(x, y) de todos los píxeles contenidos en el área de píxeles de sección con presencia de movimiento 550. Este procesado es el procesado de la Etapa S602 del flujo mostrado en la figura 17.

Después de que se hayan hallado los valores iniciales de las diferencias de imágenes d(x, y) en el área de píxeles de sección con presencia de movimiento 550 a través del procesado mencionado anteriormente, se ejecuta el procesado de las Etapas S603 a S606 en el flujo mostrado en la figura 16. Este procesado es el procesado mencionado anteriormente:

(2) la etapa de corrección de la diferencia de imágenes d inicial por medio del filtro cuyo peso se determina dinámicamente según datos de imagen correspondientes a la imagen con flash I2.

En la Etapa S603, mediante un procesado de filtrado usando un filtro se calculan valores corregidos d’ de las diferencias de imágenes d iniciales con respecto a solamente los píxeles del área de píxeles de sección con presencia de movimiento 550 de entre las diferencias de imágenes d.

En la presente forma de realización, el filtro aplicado al procesado de filtrado para calcular los valores corregidos d’ de las diferencias de imágenes d iniciales no es el filtro de suavizado aplicado a la Forma de Realización 2 sino un filtro cuyo peso se determina dinámicamente de acuerdo con los datos de imagen correspondientes a la imagen con flash I2.

Por ejemplo, como expresión de cálculo para hallar un valor de píxel actualizado de la diferencia de imágenes d(x, y) en cada posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 por medio de un procesado de filtrado correspondiente a un proceso de corrección de valores de píxel se usa la siguiente expresión:

d' (x, y,ch) =imagen1 {w( I (x, y,ch)− I (i, j,ch))d (i, j,ch)} ... (Expresión 33)

22

1 ∑

w 2 (x, y,ch)− I2 (i, j,ch)) i, j

∑

i, j

En la anterior expresión (Expresión 33), d(x, y, ch) e I2(y,y,ch) representan respectivamente una imagen diferencia d de cada canal [ch] en la posición de píxel (x, y) y el valor de píxel de la imagen con flash I2. El término “canal” significa cada canal para una imagen de color, específicamente, cada uno de los canales rojo, verde y azul (RGB). Adicionalmente, d’(x, y, ch) representan un valor de píxel nuevo, es decir, un valor de píxel actualizado, de la imagen diferencia d de cada canal [ch] en la posición de píxel (x, y).

Adicionalmente, i y j de la expresión anterior (Expresión 33) representan las posiciones de píxeles de referencia que usan para calcular el valor actualizado d’ del valor de diferencia de píxeles d en la posición de píxel (x, y). Los intervalos de los valores de i y j son x-k≤i≤x+k e y-k≤j≤y+k, respectivamente, en la que k es un número natural, y como k se fija un valor comparativamente pequeño de aproximadamente entre 1 y 3.

En el caso de k = 1, los píxeles de referencia que se usan para calcular el valor actualizado d’ del valor de diferencia de píxeles d en la posición de píxel (x, y) son solamente píxeles en las proximidades de la posición de píxel (x, y). En el caso de k = 3, los píxeles de referencia que se usan para calcular el valor actualizado d’ del valor de diferencia de píxeles d en la posición de píxel (x, y) se fijan como un área que contiene tres píxeles dispuestos en cada uno de los lados derecho, izquierdo, superior e inferior que rodean a la posición de píxel (x, y). El valor de k es un valor preestablecido.

En la expresión anterior (Expresión 33), la función w(x) es una función de ponderación, por ejemplo, una función expresada por la siguiente expresión (Expresión 34):

2 x ⎜ ............... (Expresión 34)

⎛ x ⎞

w ( ) = exp − ⎟

⎜ 2 ⎟

2σ

⎝⎠

En la expresión anterior (Expresión 34), α es un parámetro que usa un valor preestablecido.

El valor de la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 se calcula a partir de la expresión anterior (Expresión 33) usando la función de ponderación w(x) mostrada en la expresión anterior (Expresión 34).

Tal como se muestra en el flujo de la figura 17, el procesado de actualización del valor de la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 usando la expresión anterior (Expresión 33), es decir, el procesado de filtrado, se ejecuta repetidamente hasta que se cumple una condición predeterminada (una condición que se definirá en la Etapa S604 o S605). A saber, en el siguiente procesado de filtrado, el valor de píxel actualizado d’(x, y, ch) calculado a partir de la expresión anterior (Expresión 33) se fija como el valor de d(x, y, ch) de la expresión (Expresión 33), y se ejecuta repetidamente el procesado de cálculo de un nuevo valor de píxel actualizado d’(x, y, ch).

La actualización de valores de píxel (procesado de filtrado) mediante la anterior expresión (Expresión 33) se ejecuta repetidamente para corregir el valor de la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550, con lo cual se corrige el valor de la diferencia de imágenes d (x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 sin cambiar el valor de la diferencia de imágenes d(x, y) del área de píxeles de sección con ausencia de movimiento 551. Por consiguiente, es posible lograr el efecto de suavización del valor de la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 de acuerdo con la textura y los bordes de la imagen con flash I2 861.

Se comprueba cómo ha variado, en este procesado de filtrado, cada componente de color (cada canal) del valor de la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550, y se almacena el valor máximo de la variación de cada componente de color.

A continuación, en la Etapa S604 del flujo mostrado en la figura 17, se realiza una comparación entre el valor máximo de la variación de cada componente de color (cada canal) del valor de la diferencia de imágenes d(x, y) y un umbral preestablecido, mediante la actualización de valores de píxel (procesado de filtrado) usando la anterior expresión (Expresión 33). A saber, si una diferencia d’ -d entre el valor actualizado d’ obtenido por un procesado de filtrado (el procesado de actualización de valores de píxel que usa la Expresión 33) y el valor de píxel d antes de la actualización es menor que el umbral preestablecido, se determina que, incluso si se ejecuta repetidamente el procesado de filtrado (el procesado de actualización de valores de píxel que usa la Expresión 33), la cantidad de variación del valor de píxeles pequeña y la continuación del procesado proporciona únicamente un pequeño efecto. Por consiguiente, el proceso hace que finalice el procesado de actualización de valores de píxel, y prosigue hacia la Etapa S606.

A saber, en la Etapa S604, si se determina que no se cumple “valor máximo de cantidad de variación del valor del píxel > umbral”, el proceso prosigue hacia la Etapa S606, y ejecuta el procesado de determinación de un valor estimado de la diferencia de imágenes (relación de imágenes) d con respecto al área de píxeles de sección con presencia de movimiento 550.

En la Etapa S604, si se determina que se cumple “valor máximo de la cantidad de variación del valor de píxel > umbral”, se determina que todavía no se ha corregido suavemente la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550, y el proceso prosigue hacia la Etapa S605.

En la Etapa S605, se determina si el número de veces que se ha ejecutado el procesado de actualización de valores de píxel (procesado de filtrado) en la Etapa S603 usando la expresión mencionada anteriormente (Expresión 33) es mayor que un número de umbral preestablecido. Si se cumple “número de veces de ejecución del procesado de actualización de valores de píxel (procesado de filtrado) > número de umbral”, el proceso prosigue hacia la Etapa S606.

Si no se cumple “número de veces de ejecución del procesado de actualización de valores de píxel (procesado de filtrado) > número de umbral”, el proceso vuelve a la Etapa S603 y ejecuta repetidamente el procesado (procesado de filtrado) según el cual se corrige la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 de acuerdo con la expresión mencionada anteriormente (Expresión 33).

Si en la Etapa S604 se determina que no se cumple “valor máximo de la cantidad de variación del valor del píxel > umbral”, o si en la Etapa S605 se determina que se cumple “número de veces de ejecución del procesado de actualización de valores de píxel (procesado de filtrado) > número de umbral”, se completa el procesado (procesado de filtrado) según el cual se corrige la diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 según la expresión mencionada anteriormente (Expresión 33), y el proceso prosigue hacia la Etapa S606 y ejecuta el proceso según el cual se determina un valor estimado de la diferencia de imágenes (relación de imágenes) d con respecto al área de píxeles de sección con presencia de movimiento 550.

En la Etapa S606, la diferencia de imágenes d en el área de píxeles de sección con presencia de movimiento 550 que se ha hallado en el procesado de filtrado mencionado anteriormente se determina como una diferencia de imágenes estimada d. La diferencia de imágenes d(x, y) en la posición de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 que se ha calculado mediante este procesado se corresponde con la diferencia de imágenes estimada d 863 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18B.

A continuación, en la Etapa S607, se ejecuta el procesado de sumar entre sí los valores (las diferencias de imágenes estimadas d 863 mostradas en la figura 18B) de las diferencias de imágenes d(x, y) en las posiciones de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 cuyo valor se ha calculado mediante el procesado de filtrado usando la expresión mencionada anteriormente (Expresión 33) y la imagen con flash I2 (la imagen capturada con flash I2 861 mostrada en la figura 18A) para generar la imagen ajustada en balance de blancos R en el área de píxeles de sección con presencia de movimiento 550. A saber, a partir de

R = I2 +d,

se calculan los valores de píxel de la imagen ajustada en balance de blancos R en el área de píxeles de sección con presencia de movimiento 550.

Este resultado es la imagen ajustada en balance de blancos R 864 mostrada mediante una línea de trazos en el área de píxeles de sección con presencia de movimiento 550 de la figura 18C. Una imagen corregida final, es decir, la imagen ajustada en balance de blancos R, es una imagen en la que se conectan la imagen ajustada en balance de blancos R 860 en el área de píxeles de sección con ausencia de movimiento 551 y la imagen ajustada en balance de blancos R 864 mostrada mediante la línea de trazos en el área de píxeles de sección con presencia de movimiento 550.

Tal como se muestra en la figura 18C, la imagen final ajustada en balance de blancos R es una imagen en la que se conectan suavemente la imagen ajustada en balance de blancos R 864 mostrada mediante la línea de trazos en el área de píxeles de sección con presencia de movimiento 550 y la imagen ajustada en balance de blancos R 860 en el área de píxeles de sección con ausencia de movimiento 551. Además, esta imagen de salida es una imagen en la que se mantiene la textura de la imagen de flash I2 861 en el área de píxeles de sección con presencia de movimiento 550.

Debe indicarse que incluso si se usa, no la diferencia de imágenes d proporcionada por la expresión mencionada anteriormente (Expresión 31), sino la relación de imágenes d que usa la expresión mencionada anteriormente (Expresión 32), se puede ejecutar un método de corrección similar al método mencionado anteriormente. En este caso, en la Etapa S607, se ejecuta el procesado de multiplicación de los valores de las relaciones de imágenes d(x, y) en las posiciones de píxel (x, y) en el área de píxeles de sección con presencia de movimiento 550 cuyo valor se calcula mediante el procesado de filtrado que usa las relaciones de imágenes d, por la imagen de flash I2, para generar la imagen ajustada en balance de blancos R en el área de píxeles de sección con presencia de movimiento

550. A saber, a partir de

R = I2 xd,

se calculan los valores de píxel de la imagen ajustada en balance de blancos R en el área de píxeles de sección con presencia de movimiento 550.

A saber, se usa la relación de imágenes d en lugar de la diferencia de imágenes d mostrada en la figura 18B, y de manera similar a la línea de puntos mostrada en el área de píxeles de sección con ausencia de movimiento 551 mostrada en la figura 18B, los valores de las relaciones de imágenes d se interpolan suavemente en el área de píxeles de sección con presencia de movimiento 550, calculándose de este modo valores estimados de las relaciones de imágenes d en el área de píxeles de sección con presencia de movimiento 550. Después de esto, las relaciones de imágenes d se multiplican por los píxeles de la imagen con flash I2 561 en el área de píxeles de sección con presencia de movimiento 550, con lo cual se puede calcular la imagen ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550.

A continuación se describirá, haciendo referencia a la figura 19, la construcción de una sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento en la presente forma de realización.

La sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento en la presente forma de realización se fija de manera que se corresponda con la sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento 310 mostrada en la figura 8 mencionada previamente en la Forma de Realización 1 o la sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento 409 mostrada en la figura 10.

Se describirá la construcción mostrada en la figura 19. Una sección de cálculo de valores de píxel corregidos en cuanto a sección con movimiento 910 tiene una sección de cálculo de diferencias de imágenes (relaciones de imágenes) 911, una sección de cálculo de valores iniciales de diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento 912, una sección de procesado de filtrado 913, y una sección de cálculo de valores de píxel corregidos, finales, en cuanto a sección con movimiento 914.

La sección de cálculo de diferencias de imágenes (relaciones de imágenes) 911 recibe la entrada de una imagen ajustada en balance de blancos del área de píxeles de sección con ausencia de movimiento R 901 y la entrada de cada dato de imagen de la imagen con flash I2 que se almacena en una memoria de cuadro de almacenamiento de imágenes con flash I2 902, y calcula las diferencias de imágenes d o las relaciones de imágenes d en un área de píxeles de sección con ausencia de movimiento de acuerdo con la expresión mencionada anteriormente (Expresión 31) o (Expresión 32). Este procesado se corresponde con la diferencia de imágenes d 862 en el área de píxeles de sección con ausencia de movimiento 551 que se muestra en la figura 18B.

La sección de cálculo de valores iniciales de diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento 912 fija los valores iniciales de las diferencias de imágenes (relaciones de imágenes) d en un área de píxeles de sección con presencia de movimiento. Tal como se ha descrito previamente haciendo referencia a la figura 16, este procesado en primer lugar fija como valores iniciales el valor medio de las diferencias de imágenes (relaciones de imágenes) d de las proximidades de píxeles del área de píxeles con ausencia de movimiento, estando posicionados dichos píxeles en la sección del área de píxeles con presencia de movimiento que es adyacente al área de píxeles con ausencia de movimiento, y a continuación ejecuta el procesado según el cual determina secuencialmente los valores iniciales de las diferencias de imágenes (relaciones de imágenes) d hacia el interior del área de píxeles con presencia de movimiento.

La sección de procesado de filtrado 913 ejecuta el procesado de filtrado de actualización de los valores iniciales de las diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento, que se han fijado en la sección de cálculo de valores iniciales de diferencias de imágenes (relaciones de imágenes) d del área de píxeles con presencia de movimiento 912, de acuerdo con la expresión mencionada anteriormente (Expresión 33). Este procesado de filtrado es un procesado de filtrado que usa un filtro generado sobre la base de la imagen de flash I2, es decir, un procesado de filtrado que realiza una actualización de acuerdo con la expresión mencionada anteriormente (Expresión 33).

La sección de procesado de filtrado 913, según se ha descrito haciendo referencia al flujo mostrado en la figura 17, hace que finalice el procesado de filtrado que usa la expresión (Expresión 33) con la condición de que la variación máxima de los valores de píxel por parte de un procesado de filtrado sea menor que un umbral preestablecido o que el número de veces del procesado de filtrado sea mayor que un número de umbral preestablecido, y determina los valores estimados d de las diferencias de imágenes (las relaciones de imágenes) en el área de píxeles con presencia de movimiento. A saber, se determina la diferencia de imágenes estimada d 863 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18B.

La sección de cálculo de valores de píxel finales, corregidos en cuanto a la sección de movimiento 914 recibe las entradas de los valores estimados d de las diferencias de imágenes (relaciones de imágenes) sometidas al procesado de filtrado en la sección de procesado de filtrado 913 y la imagen de flash I2 de la memoria de cuadro 902 que almacena la imagen I2, y genera la imagen final ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550. A saber, se genera la imagen final ajustada en balance de blancos R del área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18C.

El resultado obtenido mediante la suma de las diferencias de imágenes estimadas d 863 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18B con los valores de la imagen capturada con flash I2 861 en el área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18A se fija y se le da salida como la imagen final ajustada en balance de blancos R 864 del área de píxeles de sección con presencia de movimiento 550 mostrada en la figura 18C.

En el caso en el que se usan la imagen ajustada en balance de blancos R hallada de acuerdo con la expresión (Expresión 32) y la diferencia de imágenes d de cada valor de píxel de la imagen capturada con flash I2, la relación de imágenes d en el área de píxeles de sección con presencia de movimiento 550 y los elementos de cada píxel de la imagen capturada con flash I2 se multiplican para generar y dar salida a la imagen final ajustada en balance de blancos R.

Tal como se ha descrito anteriormente, según el procesado de corrección de valores de píxel de la presente forma de realización, es posible realizar una conversión apropiada de color sobre el área de píxeles de sección con presencia de movimiento por medio de un procesado que usa un filtro, con lo cual los valores de píxel corregidos en el área de píxeles de sección con presencia de movimiento se convierten en valores de píxel que mantienen la textura de la imagen capturada con flash I2 y se puede generar una imagen bastante más natural.

Cuando se ejecuta un procesado usando el filtro de suavizado de acuerdo con la segunda forma de realización, resulta difícil realizar una corrección de píxeles correspondiente a las diferencias de imágenes o las relaciones de imágenes de una imagen original, y, según el tipo de imagen, se pueden producir una difuminación de las secciones de borde y una borrosidad de colores. No obstante, la presente forma de realización adopta una construcción que fija, según la Expresión 33, una expresión de conversión de valores de píxel que usa un coeficiente determinado para tener en cuenta los valores de píxel de una segunda imagen, es decir, la imagen de flash I2, y realiza el procesado de filtrado. Por consiguiente, se realiza una corrección de valores de píxel que refleja la textura de la imagen de flash I2 y se solucionan la difuminación de las secciones de borde, la borrosidad de los colores y similares, incluso en el área con presencia de movimiento, con lo cual es posible generar una imagen que refleja la textura de la imagen de flash I2.

En la presente forma de realización, se ha hecho referencia a un ejemplo en el que se ejecuta un procesado de ajuste de balance de blancos, pero la técnica mencionada anteriormente según la presente invención se puede aplicar, no solamente al procesado de ajuste de balance de blancos, sino también al caso en el que se va a modificar una sección de una imagen para que la misma resulte similar a la característica de otra imagen, en, por ejemplo, un procesado de imagen que modifique los valores de píxel de una sección de una cierta imagen. A saber, de acuerdo con la Expresión 33 se fija una expresión de conversión de valores de píxel que usa un coeficiente determinado usando la característica de una segunda imagen, y se realiza un procesado de filtrado para modificar los valores de píxel de una sección de una primera imagen, con lo cual es posible generar una imagen que presenta la característica de la segunda imagen al mismo tiempo que mantiene el color de la primera imagen.

[Forma de Realización 4]

Cada una de las Formas de Realización 1 a 3 mencionadas anteriormente tiene una construcción que captura continuamente tres imágenes, es decir, una imagen sin asistencia de flash, una imagen con flash y una imagen sin asistencia de flash, y genera una imagen de salida. En cada una de las formas de realización mencionadas anteriormente, se supone que estas tres imágenes tienen la misma resolución. No obstante, puesto que se espera que el procesado se ejecute sobre una imagen que tiene una resolución de, por ejemplo, varios millones de píxeles, es necesario almacenar datos de imagen para las tres imágenes con el fin de ejecutar este procesado, y además, resulta necesaria una memoria que tenga una gran capacidad capaz de almacenar datos de imágenes de varios procesados. Por consiguiente, con el aumento del número de píxeles, la cantidad de cálculos a ejecutar resulta enorme.

En la construcción del aparato mostrada en la figura 1, si, como elemento de captación de imágenes de estado sólido 103 se usa, por ejemplo, un CCD (Dispositivo Acoplado por Carga), resulta difícil capturar continuamente una imagen de varios millones de píxeles a alta velocidad. Las cámaras digitales genéricas tienen la función de leer una imagen de baja resolución desde el elemento de captación de imágenes de estado sólido 103 a alta velocidad y visualizar sucesivamente la imagen en una pantalla incorporada a la cámara, a intervalos de, por ejemplo, 1/30 segundo durante la captura de la imagen.

La presente forma de realización proporciona un ejemplo de construcción capaz de resolver la diferencia de la temperatura de color entre la luz ambiente y la luz de flash, de manera eficaz, a una velocidad elevada, usando una imagen de baja resolución capturada de esta manera.

Un diagrama de bloques que muestra un dispositivo de procesado de imágenes y un aparato de captación de imágenes según la presente forma de realización es similar al de la figura 1, y la descripción del diagrama de bloques es similar a la descripción previa y se omite en el presente documento.

La figura 20 es un diagrama de flujo para describir el procedimiento de procesado de la presente forma de realización. A continuación se describirá cada etapa del diagrama de flujo mostrado en la figura 20.

En primer lugar, en la Etapa S701, se realiza una captura de imagen sin flash usando una apertura y una velocidad del obturador que se fijan por adelantado, y en la Etapa S702, se almacena en la memoria una imagen de baja resolución I1L basada en la imagen tomada en la Etapa S701. La imagen de baja resolución I1L es una imagen que tiene una resolución menor que la resolución de la imagen capturada original del elemento de captación de imágenes de estado sólido 103 (consúltese la figura 1). Hay disponibles varios métodos para generar la imagen de baja resolución I1L a partir de una imagen de alta resolución captada. Por ejemplo, existen un método en el que simplemente se submuestrean píxeles y un método en el que se halla el promedio de una pluralidad de proximidades de píxeles y se forma un píxel nuevo. Tal como se ha mencionado anteriormente, las cámaras digitales genéricas tienen la función de visualizar una imagen captada por el elemento de captación de imágenes de estado sólido 103 durante la captura de la imagen en una pantalla de baja resolución a una velocidad de, por ejemplo, 30 cuadros por segundo, y el método usado en este momento se puede aplicar sin modificación.

Cuando la imagen de baja resolución sin asistencia de flash I1L basada en la imagen tomada en la Etapa S701 se va a almacenar en la memoria, el procesado de almacenamiento se puede ejecutar como un procesado de almacenamiento de datos de imagen de baja resolución, de manera que la cantidad de datos a almacenar en la memoria es pequeña y el tiempo de procesado requerido para almacenar los datos en la memoria se reduce. Por consiguiente, el proceso puede proseguir hacia la siguiente etapa a alta velocidad.

A continuación, en la Etapa S703, se toma una imagen con flash, y en la Etapa S704, en la memoria se almacenan dos imágenes, es decir, una imagen de alta resolución con asistencia de flash I2H basada en la imagen tomada en la Etapa S703 y una imagen de baja resolución con asistencia de flash I2L. La imagen de baja resolución con asistencia de flash I2L es una imagen de baja resolución que tiene la misma resolución que la imagen de baja resolución sin asistencia de flash I1L, y se obtiene con el mismo método que el mencionado anteriormente. La imagen de alta resolución con asistencia de flash I2H es una imagen que tiene la resolución deseada a la que se dará salida finalmente y su resolución es mayor que la imagen de baja resolución sin asistencia de flash I1L y la imagen de baja resolución con asistencia de flash I2L.

A continuación, en la Etapa S705, se toma nuevamente una imagen sin flash, y en la Etapa S706, se almacena en la memoria una imagen de baja resolución sin asistencia de flash I3L basada en la imagen tomada en la Etapa S705. La imagen de baja resolución sin asistencia de flash I3L es una imagen que tiene la misma resolución que la imagen de baja resolución sin asistencia de flash I1L y la imagen de baja resolución con asistencia de flash I2L, y se obtiene con el mismo método que la mencionada anteriormente.

El siguiente procesado de las Etapas S707 a S713 es completamente igual que el procesado de las Etapas S107 a S113 del diagrama de flujo de la figura 2 mencionado en la forma de realización anteriormente, y se omite su descripción.

No obstante, los datos de imagen objetivo a procesar en el procesado de las Etapas S707 a S713 son imágenes de baja resolución, es decir, la imagen de baja resolución sin asistencia de flash I1L, la imagen de baja resolución con asistencia de flash I2L y la imagen de baja resolución sin asistencia de flash I3L. La imagen ajustada en balance de blancos R se genera basándose en estas imágenes de baja resolución. En cuanto a una sección con movimiento, se genera la imagen ajustada en balance de blancos R que tiene valores de píxel corregidos, calculados mediante el procesado que usa la Función de Base Radial (función de base radial) mencionada previamente en la Forma de Realización 1, el procesado basado en el procesado de suavización que usa el filtro de suavizado mencionado previamente en la Forma de Realización 2, el procesado que usa el filtro para el cual se fija un peso basándose en una imagen capturada con flash según se menciona en la Forma de Realización 3, o similares.

Finalmente, en la Etapa S714, se genera una imagen final de alta resolución RH basándose en la imagen ajustada en balance de blancos R generada sobre la base de las imágenes de baja resolución, la imagen de baja resolución con asistencia de flash I2L y la imagen de alta resolución con asistencia de flash I2H.

En primer lugar, se hallan, con respecto a cada píxel I2H(x, y) de la imagen de alta resolución con asistencia de flash I2H, valores de píxel en las posiciones de píxel I2L(x’, y’) y R(x’, y’) en relación con las posiciones respectivas (x’, y’) de la imagen de baja resolución con asistencia de flash I2L y la imagen ajustada en balance de blancos R.

En relación con esto, x’ e y’ no son necesariamente enteros. En cuanto al método para hallar valores de píxel en (x’, y’), se utilizan técnicas de interpolación de imagen usadas en general ampliamente tales como métodos del más cercano de las proximidades, métodos bilineales y métodos bicúbicos.

A continuación, se halla la relación del valor de píxel correspondiente al píxel R(x’, y’) de la imagen ajustada en balance de blancos R generada sobre la base de las imágenes de baja resolución con respecto al valor de píxel del píxel correspondiente I2L(x’, y’) de la imagen de baja resolución con asistencia de flash I2L.

Con respecto a esta relación de valores de píxel basada en los datos de imagen de baja resolución:

R(x’, y’):I2L(x’, y’)

se fija una relación de valores de píxel basada en los datos de imagen de alta resolución:

RH(x, y):I2H(x, y).

Puesto que se conoce cada valor de píxel de la imagen de alta resolución con asistencia de flash I2H, el píxel I2H(x, y) y la relación de valores de píxel basada en los datos de imagen de baja resolución: R(x’, y’):I2L(x’, y’) se multiplican para calcular el píxel RH(x, y) de una imagen final de alta resolución RH.

Este cálculo se realiza sobre todos los píxeles de la imagen de alta resolución con asistencia de flash I2H para generar la imagen final ajustada en balance de blancos, de alta resolución RH. A saber, a partir de las imágenes de baja resolución se adquiere información de conversión para convertir la imagen de baja resolución con asistencia de flash I2L en la imagen ajustada en balance de blancos R, y, basándose en esta información de conversión, se ejecuta el procesado de conversión de cada valor de píxel de la imagen de alta resolución, es decir, la imagen de alta resolución con asistencia de flash I2H, para generar la imagen ajustada en balance de blancos, de alta resolución RH.

Según este método de procesado, los datos de imagen objetivo procesados en el procesado de las Etapas S707 a S713 son las imágenes de baja resolución, es decir, la imagen de baja resolución sin asistencia de flash I1L, la imagen de baja resolución con asistencia de flash I2L y la imagen de baja resolución sin asistencia de flash I3L, y las Etapas S707 a S713 se ejecutan como el procesado de generación de la imagen ajustada en balance de blancos R basada en las imágenes de baja resolución. Por consiguiente, se reduce el número de píxeles y se reducen también las cantidades de cálculos, con lo cual resulta posible un procesado de alta velocidad. En cuanto al procesado de corrección también para una sección con movimiento, es posible lograr un procesado de alta velocidad en cualquier procesado tal como el procesado que usa la Función de Base Radial (función de base radial) mencionada previamente en la Forma de Realización 1, o el procesado basado en el procesado de suavización que usa el filtro de suavizado mencionado previamente en la Forma de Realización 2, o el procesado que usa el filtro en el que se fija un peso basándose en una imagen capturada con flash según se menciona en la Forma de Realización 3.

Adicionalmente, puesto que es necesario almacenar en la memoria solamente los datos de imagen de baja resolución de cada uno de los dos datos de imágenes capturadas sin asistencia de flash, la presente forma de realización también se puede aplicar a aparatos y modelos que tengan capacidades de memoria pequeñas.

Por consiguiente, el procesado de la presente forma de realización también se puede ejecutar en modelos y aparatos que usen procesadores con capacidades de procesado comparativamente bajas y con capacidades de memoria pequeñas, y posibilita que estos modelos y aparatos den salida a datos de imágenes obtenidos finalmente como datos de imágenes ajustadas en balance de blancos, de alta resolución.

La presente invención se ha descrito anteriormente de forma detallada haciendo referencia a formas de realización particulares. No obstante, es evidente que aquellos expertos en la materia pueden realizar modificaciones y sustituciones sin desviarse con respecto al alcance de la presente invención. A saber, lo anterior es ilustrativo de la presente invención y no debe considerarse como limitativo de la misma. El alcance de la presente invención debe interpretarse a partir de las reivindicaciones adjuntas. En relación con esto, en cada una de las formas de realización mencionadas anteriormente, el término “flash” se ha usado para describir un dispositivo de iluminación que emite luz en el caso de un motivo oscuro, aunque a este dispositivo se le denomina también estroboscopio. Por consiguiente, la presente invención no se limita a flashes y se puede aplicar de forma general a dispositivos de iluminación que emiten luz en el caso de motivos oscuros.

La secuencia de procesado mencionada anteriormente en el presente documento se puede ejecutar por hardware, software o por una construcción compleja tanto de hardware como de software. En el caso en el que se vaya a ejecutar un procesado usando software, un programa que grabe una secuencia de procesado se puede instalar en un estado ejecutable en una memoria de un ordenador incorporado en hardware dedicado, o un programa se puede instalar en un estado ejecutable en un ordenador de propósito general capaz de ejecutar varios tipos de procesado.

Por ejemplo, el programa se puede grabar por adelantado en discos duros o ROM (Memorias de Solo Lectura) que sirvan como soportes de grabación. Si no, el programa se puede almacenar (grabar) de manera temporal o permanente en soportes de grabación extraíbles tales como discos flexibles, CD-ROM (Discos Compactos de Memoria de Solo Lectura), discos MO (Magneto-ópticos), DVD (Discos Versátiles Digitales), discos magnéticos y memorias de semiconductor. Estos soportes de grabación extraíbles se pueden proporcionar en forma de los denominados paquetes de software.

El programa no solamente se instala en el ordenador desde el tipo mencionado anteriormente de soporte de grabación, sino que también se puede transmitir inalámbricamente desde un sitio de descarga hacia el ordenador o se puede transmitir por cable hacia el ordenador a través de una red tal como una LAN (Red de Área Local) o Internet. El ordenador recibe el programa transmitido de esta manera, y puede instalar el programa en un soporte de grabación tal como un disco duro interno.

Debe indicarse que los diversos tipos de procesado descritos en la memoria descriptiva no se ejecutan solamente basándose en una sucesión temporal según la descripción, sino que también se pueden ejecutar en paralelo o individualmente de acuerdo con la capacidad de procesado o los requisitos de un aparato que ejecute el procesado. Adicionalmente, el término “sistema” usado en el presente documento significa una construcción de una colección lógica de una pluralidad de dispositivos, y no se limita a una construcción en la que los dispositivos constituyentes individuales están incorporados en el mismo receptáculo.

Aplicabilidad industrial

Tal como se ha descrito anteriormente en el presente documento, según la forma de realización preferida de la presente invención, es posible ejecutar de manera eficaz un procesado de corrección de los valores de píxel de un área particular tal como un área con presencia de movimiento basándose en valores de píxel de un área con ausencia de movimiento, por ejemplo, datos de imagen ajustados en balance de blancos, y datos de imagen con flash del área particular tal como el área con presencia de movimiento. Por consiguiente, es posible generar una imagen conectada suavemente con los datos de imagen ajustados en balance de blancos, y también es posible generar una imagen que refleje información de textura sobre los datos de imagen con flash del área con presencia de movimiento. Por consiguiente, la presente invención se puede aplicar a cámaras digitales que capturan imágenes con movimiento, y similares.

Según la forma de realización preferida de la presente invención, en el procesado de corrección de valores de píxeles para un área con presencia de movimiento, después de que en el área con presencia de movimiento se hayan fijado valores iniciales de la diferencia o la relación entre datos de imagen ajustados en cuanto a balance de blancos y datos de imagen con flash, se ejecuta un suavizado mediante un filtro de suavizado y se calculan valores estimados de la diferencia de imágenes o la relación de imágenes en el área con presencia de movimiento para ejecutar una corrección de valores de píxeles del área con presencia de movimiento sobre la base de los valores estimados, con lo cual se logra un procesado de alta velocidad usando una cantidad reducida de cálculo. Por consiguiente, la presente invención se puede aplicar a cámaras digitales que capturan imágenes con movimiento, y similares.

Además, según el procesado de corrección de valores de píxel descrito como tercera forma de realización de la presente invención, es posible realizar una conversión apropiada de color de un área de píxeles de sección con presencia de movimiento por medio de un procesado que usa un filtro, y los valores de píxel corregidos con respecto al área de píxeles de sección con presencia de movimiento se convierten en valores de píxel que mantienen la textura de una imagen capturada con flash I2, con lo cual es posible generar una imagen bastante más natural. Cuando se ejecuta un procesado que usa un filtro de suavizado, resulta difícil realizar una corrección de píxeles correspondiente a la diferencia de imágenes o la relación de imágenes de una imagen original, y se pueden producir una difuminación de secciones de borde y una borrosidad de colores según el tipo de imagen. No obstante, según el procesado de corrección de valores de píxel descrito como tercera forma de realización, se proporciona una construcción que realiza un procesado de filtrado según una expresión de conversión de valores de píxel que usa un coeficiente determinado para tener en cuenta los valores de píxel de la imagen capturada con flash I2. Por consiguiente, se realiza una corrección de valores de píxel que refleja la textura de la imagen capturada con flash I2, y se solucionan la difuminación de las secciones de borde, la borrosidad de colores y similares, incluso en el área con presencia de movimiento, con lo cual es posible generar una imagen que refleja la textura de la imagen capturada con flash I2.

Además, según la presente invención, después de que se hayan ejecutado el ajuste de balance de blancos usando imágenes de baja resolución y la corrección de valores de píxel de una sección con presencia de movimiento, es posible generar una imagen corregida de alta resolución sobre la base de la correspondencia de datos de imagen corregidos con datos de imagen de baja resolución, con lo cual se puede lograr un procesado de alta velocidad con una pequeña cantidad de memoria y se puede adquirir finalmente una imagen corregida de alta resolución. Por consiguiente, la presente invención es adecuada para cámaras digitales que tienen cantidades limitadas de memoria.

Breve descripción de los dibujos

La figura 1 es una vista que muestra la construcción de un dispositivo de procesado de imágenes de la presente invención;

la figura 2 es un diagrama de flujo para describir el procedimiento de un método de procesado de imágenes de la presente invención;

la figura 3 es un diagrama de flujo para describir el procedimiento de un procesado de ajuste de balance de blancos basado en una pluralidad de datos de imagen en el método de procesado de imágenes de la presente invención;

la figura 4 es una vista para describir el fundamento del procesado de ajuste de balance de blancos basado en una pluralidad de datos de imagen en el método de procesado de imágenes de la presente invención;

la figura 5 es una vista para describir un procesado de detección de secciones con movimiento basado en una pluralidad de datos de imagen en el procesado de imágenes de la presente invención;

la figura 6 es un diagrama de flujo para describir un procesado de ajuste de valores de píxel para una sección con movimiento en el procesado de imágenes de la presente invención;

la figura 7 es una vista para describir un procesado de ajuste de valores de píxel para una sección con movimiento en el procesado de imágenes de la presente invención;

la figura 8 es una vista para describir un mecanismo que ejecuta un procesado de ajuste de valores de píxel basado en una pluralidad de datos de imagen en el procesado de imágenes de la presente invención;

la figura 9 es un diagrama de flujo para describir el procedimiento de un procesado de ajuste de balance de blancos basado en una pluralidad de datos de imagen en el método de procesado de imágenes de la presente invención;

la figura 10 es una vista para describir un mecanismo que ejecuta un procesado de ajuste de valores de píxel basado en una pluralidad de datos de imagen en el procesado de imágenes de la presente invención;

la figura 11 es una vista para describir un procesado de ajuste de valores de píxel para una sección con movimiento en el procesado de imágenes de la presente invención;

la figura 12 es un diagrama de flujo para describir un procesado de ajuste de valores de píxel para una sección con movimiento en una segunda forma de realización de la presente invención;

la figura 13 es una vista para describir el procesado de ajuste de valores de píxel para la sección con movimiento en la segunda forma de realización de la presente invención;

la figura 14 es una vista para describir un método de fijación de valores iniciales para una diferencia de imágenes d, ejecutándose dicho método en el procesado de ajuste de valores de píxel para la sección con movimiento en la segunda forma de realización de la presente invención;

la figura 15 es una vista para describir la construcción y el procesado de una sección de cálculo de valores de píxel

corregidos en cuanto a sección con movimiento, en la segunda forma de realización de la presente invención; la figura 16 es una vista para describir un procesado de ajuste de valores de píxel para una sección con movimiento así como un método de fijación de un valor inicial de una diferencia de imágenes d en una tercera forma de realización de la presente invención;

la figura 17 es un diagrama de flujo para describir el procesado de ajuste de valores de píxel para la sección con

movimiento en la tercera forma de realización de la presente invención; la figura 18 es una vista para describir el procesado de ajuste de valores de píxel para la sección con movimiento en la tercera forma de realización de la presente invención;

la figura 19 es una vista para describir la construcción y el procesado de una sección de cálculo de valores de píxel

corregidos en cuanto a sección con movimiento, en la tercera forma de realización de la presente invención; y la figura 20 es un diagrama de flujo para describir un procesado en una cuarta forma de realización de la presente invención.

[Explicaciones de Referencias Numéricas]

101 LENTE

102 DIAFRAGMA

103 ELEMENTO DE CAPTACIÓN DE IMÁGENES

104 CIRCUITO DE MUESTREO DOBLE CON CORRELACIÓN (CDS)

105 CONVERSOR A/D

106 SECCIÓN DE PROCESADO DE SEÑAL DIGITAL (DSP)

107 GENERADOR DE TEMPORIZACIÓN

108 CONVERSOR D/A

109 CODIFICADOR DE VÍDEO

110 MONITOR DE VÍDEO

111 CÓDEC (CODEC)

112 MEMORIA

113 CPU

114 DISPOSITIVO DE ENTRADA

115 SECCIÓN DE CONTROL DEL FLASH

116 DISPOSITIVO DE FLASH

200 BOLA 210 ÁREA 250 PÍXEL DELIMITADOR INTERNO DE SECCIÓN CON PRESENCIA DE MOVIMIENTO

251 PÍXEL DELIMITADOR EXTERNO DE SECCIÓN CON PRESENCIA DE MOVIMIENTO

252 PÍXEL NO DELIMITADOR INTERNO DE SECCIÓN CON PRESENCIA DE MOVIMIENTO

253 PÍXEL NO DELIMITADOR EXTERNO DE SECCIÓN CON AUSENCIA DE MOVIMIENTO 254 PÍXEL a 255 PÍXEL ADYACENTE DE a 301, 302, 303 MEMORIAS 304 SECCIÓN DE CÁLCULO DE IMÁGENES DIFERENCIA 305 SECCIÓN DE AJUSTE DE BALANCE DE BLANCOS 306 SECCIÓN DE ESTIMACIÓN DE COMPONENTES DE LUZ AMBIENTE 307 SECCIÓN DE AJUSTE DE BALANCE DE BLANCOS 308 SECCIÓN DE SUMA DE VALORES DE PÍXEL 309 SECCIÓN DE DETECCIÓN DE MOVIMIENTO 310 SECCIÓN DE CÁLCULO DE VALORES DE PÍXEL CORREGIDOS EN CUANTO A SECCIÓN DE

MOVIMIENTO

311 SECCIÓN DE AJUSTE DE BALANCE DE BLANCOS

312 SECCIÓN DE CONMUTACIÓN DE SALIDA

401, 402, 403 MEMORIAS DE CUADRO

404 SECCIÓN DE CÁLCULO DE IMÁGENES DIFERENCIA

405 SECCIÓN DE AJUSTE DE BALANCE DE BLANCOS

406 SECCIÓN DE SUMA DE VALORES DE PÍXEL

407 SECCIÓN DE AJUSTE DE BALANCE DE BLANCOS

408 SECCIÓN DE DETECCIÓN DE MOVIMIENTO

409 SECCIÓN DE CÁLCULO DE VALORES DE PÍXEL CORREGIDOS EN CUANTO A SECCIÓN

CON MOVIMIENTO

410 SECCIÓN DE AJUSTE DE BALANCE DE BLANCOS

411 SECCIÓN DE CONMUTACIÓN DE SALIDA

550 ÁREA DE PÍXELES DE SECCIÓN CON PRESENCIA DE MOVIMIENTO

551 ÁREA DE PÍXELES DE SECCIÓN CON AUSENCIA DE MOVIMIENTO

560 IMAGEN AJUSTADA EN BALANCE DE BLANCOS R

561 IMAGEN CON FLASH I2

564 IMAGEN AJUSTADA EN BALANCE DE BLANCOS R 581 PÍXEL EN EL ÁREA DE PÍXELES DE SECCIÓN CON PRESENCIA DE MOVIMIENTO

582 a 584 PÍXELES DEL ÁREA DE PÍXELES DE SECCIÓN CON AUSENCIA DE MOVIMIENTO

701 IMAGEN AJUSTADA EN BALANCE DE BLANCOS DEL ÁREA DE PÍXELES DE SECCIÓN CON

AUSENCIA DE MOVIMIENTO R

702 MEMORIA DE CUADRO DE ALMACENAMIENTO DE IMÁGENES I2 710 SECCIÓN DE CÁLCULO DE VALORES DE PÍXEL CORREGIDOS EN CUANTO A SECCIÓN

CON MOVIMIENTO 711 SECCIÓN DE CÁLCULO DE DIFERENCIAS DE IMÁGENES (RELACIONES DE IMÁGENES) d 712 SECCIÓN DE FIJACIÓN DE VALORES INICIALES DE DIFERENCIAS DE IMÁGENES

(RELACIONES DE IMÁGENES) d DEL ÁREA DE PÍXELES CON PRESENCIA DE MOVIMIENTO

713 SECCIÓN DE PROCESADO DE SUAVIZACIÓN

714 SECCIÓN DE CÁLCULO DE VALORES DE PÍXEL FINALES CORREGIDOS EN CUANTO A

SECCIÓN CON MOVIMIENTO

821 PÍXEL DEL ÁREA DE PÍXELES DE SECCIÓN CON PRESENCIA DE MOVIMIENTO

822 a 824 PÍXELES DEL ÁREA DE PÍXELES DE SECCIÓN CON AUSENCIA DE MOVIMIENTO

860 IMAGEN AJUSTADA EN BALANCE DE BLANCOS R

861 IMAGEN CON FLASH I2

862 DIFERENCIA DE IMÁGENES d DE LA SECCIÓN EN EL ÁREA DE PÍXELES DE SECCIÓN CON

PRESENCIA DE MOVIMIENTO 863 VALOR ESTIMADO DE LA DIFERENCIA DE IMÁGENES d EN EL ÁREA DE PÍXELES DE

SECCIÓN CON PRESENCIA DE MOVIMIENTO

864 IMAGEN AJUSTADA EN BALANCE DE BLANCOS R 901 IMAGEN AJUSTADA EN BALANCE DE BLANCOS DEL ÁREA DE PÍXELES DE SECCIÓN CON

AUSENCIA DE MOVIMIENTO R

902 MEMORIA DE CUADRO DE ALMACENAMIENTO DE IMÁGENES I2 910 SECCIÓN DE CÁLCULO DE VALORES DE PÍXEL CORREGIDOS EN CUANTO A SECCIÓN

CON MOVIMIENTO

911 SECCIÓN DE CÁLCULO DE DIFERENCIAS DE IMÁGENES (RELACIONES DE IMÁGENES) d

912 SECCIÓN DE FIJACIÓN DE VALORES INICIALES DE DIFERENCIAS DE IMÁGENES

(RELACIONES DE IMÁGENES) d DEL ÁREA DE PÍXELES CON PRESENCIA DE MOVIMIENTO

913 SECCIÓN DE PROCESADO DE FILTRADO

914 SECCIÓN DE CÁLCULO DE VALORES DE PÍXEL FINALES CORREGIDOS EN CUANTO A

SECCIÓN CON MOVIMIENTO

Claims (15)

1. REIVINDICACIONES

   1. Método de procesado de imágenes que comprende las etapas siguientes:

   calcular (S501) una diferencia de imágenes (d) o una relación de imágenes basándose en valores de píxel correspondientes de unos primeros datos de imagen y unos segundos datos de imagen que tienen valores de píxel diferentes;

   calcular (S506) valores estimados de la diferencia de imágenes o la relación de imágenes en un área particular que comprende píxeles correspondientes de los primeros y los segundos datos de imagen; y

   generar (S507) datos de imagen corregidos en el área particular basándose en los valores estimados de la diferencia de imágenes o la relación de imágenes en el área particular, que se han calculado en la etapa de cálculo de valores estimados, y los segundos datos de imagen;

   en el que:

   una imagen ajustada en balance de blancos (R) consta de dichos primeros datos de imagen, habiéndose sometido la imagen ajustada en balance de blancos a un ajuste de valores de píxel sobre la base de una imagen capturada sin asistencia de flash (I1) y una imagen capturada con asistencia de flash (I2), constando, la imagen capturada con asistencia de flash (I2), de dichos segundos datos de imagen, y siendo el área particular un área con presencia de movimiento (550) en la que se detecta un movimiento de un motivo;

   la diferencia de imágenes d(x, y) comprende un vector calculado como:

   d (x, y) = R (x, y) -I2 (x, y)

   en la que R(x, y) indica un vector de valor de píxel de cada píxel de la imagen ajustada en balance de blancos R, e I2 (x, y) indica un vector de valor de píxel del píxel correspondiente de la imagen capturada con asistencia de flash I2;

   la relación de imágenes d (x, y) es:

   d (x, y) = R (x, y)/(I2(x, y) +e)

   en la que e es un valor fijo;

   la etapa de cálculo de valores estimados (S506) comprende calcular valores de píxel en el área con presencia de movimiento por interpolación de la diferencia de imágenes o la relación de imágenes desde un área (551) en la que hay ausencia de movimiento y que es periférica al área particular que comprende el área con presencia de movimiento; y

   la etapa de generación de imágenes corregidas (S507) comprende una etapa de generación de datos de imagen corregidos para el área con presencia de movimiento de la imagen ajustada en balance de blancos (R) sobre la base de los valores estimados de la diferencia de imágenes o la relación de imágenes en el área con presencia de movimiento.
2. 2. Método de procesado de imágenes según la reivindicación 1, en el que la etapa de calcular el valor estimado comprende además:

   una etapa de fijación de valores iniciales para fijar un valor inicial de diferencia de imágenes o relación de imágenes del área particular de los datos de imagen sobre la base de una diferencia de imágenes o una relación de imágenes determinada en un área en las proximidades del área particular; y

   una etapa de ejecución de un proceso de suavizado para ejecutar un proceso de suavizado basándose en un filtro de suavizado aplicado con respecto al valor inicial fijado en la etapa de fijación de valores iniciales.

3. 3.

   Método de procesado de imágenes según la reivindicación 2, en el que la etapa de fijar el valor inicial comprende una etapa de fijación de un valor inicial de un píxel objetivo de fijación de valores iniciales sobre la base de una diferencia de imágenes o una relación de imágenes de un píxel en las proximidades del píxel objetivo de fijación de valores iniciales para el cual ya se ha fijado la diferencia de imágenes o la relación de imágenes.

4. 4.

   Método de procesado de imágenes según la reivindicación 3, en el que la etapa de fijación del valor inicial comprende una etapa de aplicación de una imagen de máscara con el fin de discriminar entre el píxel objetivo de fijación de valores iniciales y el píxel para el cual ya se ha fijado la diferencia de imágenes o la relación de imágenes.

5. 5.

   Método de procesado de imágenes según la reivindicación 1, en el que la etapa de generación de los datos de

   imagen corregidos se basa además en los segundos datos de imagen; y

   si se usa la diferencia de imágenes, la etapa de generación de la imagen corregida se ejecuta como una etapa de suma del valor estimado de la diferencia de imágenes del área particular calculado en la etapa de cálculo de valores estimados con los segundos datos de imagen en el área particular; y

   si se usa la relación de imágenes, la etapa de generación de imágenes corregidas se ejecuta como una etapa de multiplicación del valor estimado de la diferencia de imágenes del área particular calculado en la etapa de cálculo de valores estimados por los segundos datos de imagen en el área particular.
6. 6. Método de procesado de imágenes según la reivindicación 1, en el que la etapa de cálculo del valor estimado comprende además:

   una etapa de fijación de valores iniciales para fijar un valor inicial de diferencia de imágenes o relación de imágenes del área particular de los datos de imagen sobre la base de diferencia de imágenes o relación de imágenes determinadas en un área en las proximidades del área particular; y

   una etapa de proceso de filtrado que ejecuta un procesado de conversión de valores de píxel según una expresión de conversión de valores de píxel correspondiente a un procesado de filtrado que usa un filtro cuyo peso se fija sobre la base de los segundos datos de imagen con respecto a un valor inicial fijado en la etapa de fijación de valores iniciales, y que corrige la diferencia de imágenes o la relación de imágenes del área particular.

7. 7.

   Método de procesado de imágenes según la reivindicación 6, en el que la etapa de fijación de valores iniciales comprende además una etapa de fijación de un valor inicial de un píxel objetivo de fijación de valores iniciales sobre la base de una diferencia de imágenes o una relación de imágenes de un píxel en las proximidades del píxel objetivo de fijación de valores iniciales para el cual ya se ha fijado la diferencia de imágenes o la relación de imágenes.

8. 8.

   Método de procesado de imágenes según la reivindicación 6, en el que la etapa de fijación de valores iniciales comprende además una etapa de aplicación de una imagen de máscara con el fin de discriminar entre el píxel objetivo de fijación de valores iniciales y el píxel para el cual ya se ha fijado la diferencia de imágenes o la relación de imágenes.

9. 9.

   Método de procesado de imágenes según la reivindicación 6, en el que:

   la etapa de procesado de filtrado comprende una etapa de ejecución de un proceso de corrección de valores de píxel usando la siguiente expresión de conversión:

   d' (x, y,ch)= imagen1 {w( I (x, y,ch)− I (i, j,ch))d (i, j,ch)}

   22

   1 ∑

   w 2 (x, y,ch)− I2 (i, j,ch)) i, j

   ∑

   i, j

   en la que d(x, y, ch) e I2(y, y, ch) son un valor correspondiente a una imagen diferencia o relación de imágenes d de cada canal [ch] en una posición de píxel (x, y), y un valor de píxel de la imagen con asistencia de flash I2, respectivamente; d’(x, y, ch) es un valor de píxel actualizado de la diferencia de imágenes d del canal [ch] en la posición de píxel (x, y); i y j son posiciones de píxel de referencia que se usan para calcular el valor actualizado d’ del valor d en la posición de píxel (x, y); si k indica un número natural arbitrario, x-k≤i≤x+k e y-k≤j≤y+k, y w(x) es una función de ponderación que fija un peso según los valores de píxel correspondientes a píxeles que constituyen datos de imagen de la imagen con asistencia de flash I2.
10. 10. Método de procesado de imágenes según la reivindicación 9, en el que la función de ponderación w(x) en la expresión de conversión es una función expresada por la siguiente expresión:

    ⎛ 2 ⎞

    w ( ) = ⎜ x ⎟

    x exp

    ⎜ 2 ⎟

    2σ

    ⎝⎠

11. 11.

    Método de procesado de imágenes según la reivindicación 9, en el que las posiciones de píxel de referencia i, j que se usan para calcular el valor actualizado d’ del valor de la posición de píxel (x, y) en la anterior expresión de conversión son x-k≤i≤x+k e y-k≤j≤y+k, en la que k es un número natural arbitrario y k es cualquiera de 1, 2 y 3.

12. 12.

    Aparato de procesado de imágenes que comprende:

    unos medios de cálculo para calcular una diferencia de imágenes o una relación de imágenes basándose en valores de píxel correspondientes de unos primeros datos de imagen y unos segundos datos de imagen que tienen valores de píxel diferentes;

    unos medios de estimación para calcular valores estimados basándose en la diferencia de imágenes o la relación de imágenes en un área particular que comprende píxeles correspondientes de los primeros y los segundos datos de imagen; y

    unos medios de generación para generar datos de imagen corregidos en el área particular basándose en los valores estimados de la diferencia de imágenes o la relación de imágenes en el área particular, que han sido calculados por los medios de estimación, y los segundos datos de imagen;

    en el que:

    una imagen ajustada en balance de blancos (R) consta de dichos primeros datos de imagen, habiéndose sometido la imagen ajustada en balance de blancos a un ajuste de valores de píxel sobre la base de una imagen capturada sin asistencia de flash (I1) y una imagen capturada con asistencia de flash (I2), constando, la imagen capturada con asistencia de flash (I2), de dichos segundos datos de imagen, y siendo el área particular un área con presencia de movimiento (550) en la que se detecta un movimiento de un motivo;

    la diferencia de imágenes d(x, y) comprende un vector calculado como:

    d(x, y) = R (x, y) -I2 (x, y)

    en la que R(x, y) indica un vector de valor de píxel de cada píxel de la imagen ajustada en balance de blancos R, e I2 (x, y) indica un vector de valor de píxel del píxel correspondiente de la imagen capturada con asistencia de flash I2;

    la relación de imágenes d(x, y) es:

    d(x, y) = R (x, y)/(I2(x, y) +e)

    en la que e es un valor fijo;

    los medios de estimación comprenden unos medios para calcular valores de píxel en el área con presencia de movimiento por interpolación de la diferencia de imágenes o la relación de imágenes desde un área (551) en la que hay ausencia de movimiento y que es periférica al área particular que comprende el área con presencia de movimiento; y

    los medios para generar datos de imagen corregidos comprenden unos medios para generar datos de imagen corregidos del área con presencia de movimiento de la imagen ajustada en balance de blancos (R) sobre la base de los valores estimados de la diferencia de imágenes o la relación de imágenes en el área con presencia de movimiento.
13. 13. Aparato de procesado de imágenes según la reivindicación 12, en el que los medios de estimación comprenden además:

    una unidad de fijación de valores iniciales para fijar un valor inicial de diferencia de imágenes o relación de imágenes del área particular de los datos de imagen sobre la base de una diferencia de imágenes o una relación de imágenes determinada en un área en las proximidades del área particular; y

    una unidad de ejecución de un proceso de suavizado para ejecutar un proceso de suavizado basándose en un filtro de suavizado aplicado con respecto al valor inicial fijado por la unidad de fijación de valores iniciales.
14. 14. Aparato de procesado de imágenes según la reivindicación 12, en el que los medios de estimación comprenden además:

    una unidad de fijación de valores iniciales para fijar un valor inicial de diferencia de imágenes o relación de imágenes del área particular de los datos de imagen sobre la base de diferencia de imágenes o relación de imágenes determinadas en un área en las proximidades del área particular; y

    una unidad de filtrado para ejecutar un procesado de conversión de valores de píxel según una expresión de conversión de valores de píxel correspondiente a un procesado de filtrado que usa un filtro cuyo peso se fija sobre la base de los segundos datos de imagen con respecto a un valor inicial fijado en la etapa de fijación de valores iniciales, y que corrige la diferencia de imágenes o la relación de imágenes del área particular.
15. 15. Programa legible por ordenador para conseguir que un ordenador realice todas las etapas del método de la reivindicación 1.