ES2788854T3 - Método y dispositivo de procesamiento de imágenes - Google Patents

Abstract

Un método de procesamiento de imágenes, que comprende: controlar (101) una primera cámara para capturar una pluralidad de primeras imágenes (11, 12, 13, 14) y controlar una segunda cámara para capturar una pluralidad de segundas imágenes (21, 22, 23, 24), cuando un brillo de un entorno de captura es inferior a un umbral predeterminado; en donde el método de procesamiento de imágenes comprende, además: adquirir (102) una primera imagen de referencia (12) a partir de la pluralidad de primeras imágenes (11, 12, 13, 14) y adquirir una segunda imagen de referencia (22) de la pluralidad de segundas imágenes (21, 22, 23, 24), la segunda imagen de referencia (22) y la primera imagen de referencia (12) se capturan de manera asociativa y forman un par de imágenes; realizar (103) el procesamiento de composición y reducción de ruido en la pluralidad de primeras imágenes (11, 12, 13, 14) por un primer subproceso para generar una imagen compuesta y con ruido reducido y procesar la imagen compuesta y con reducción de ruido de acuerdo con una estrategia de procesamiento de imágenes preestablecida para generar una imagen objetivo, y adquirir información de profundidad de campo con base en la primera imagen de referencia (12) y la segunda imagen de referencia (22) por un segundo subproceso; y difuminar (104) una región de fondo de la imagen objetivo de acuerdo con la información de profundidad de campo.

Description

DESCRIPCIÓN

Método y dispositivo de procesamiento de imágenes

Campo

La presente descripción se refiere a tecnologías de procesamiento de imágenes, y más particularmente a un método y un dispositivo de procesamiento de imágenes.

Antecedentes

Con el progreso de la tecnología de producción de dispositivos terminales, la mayoría de los dispositivos terminales adoptan cámaras duales que generalmente están configuradas para adquirir información de profundidad de campo, de manera que puedan satisfacerse los requisitos de captura de diversificación de los usuarios mediante el procesamiento de imágenes relacionadas de acuerdo con la información de profundidad de campo.

El documento US2014/0072205A1 se refiere a un dispositivo de procesamiento de imágenes para generar datos de profundidad, utilizando una primera imagen y una segunda imagen que se capturan desde diferentes puntos de vista. El dispositivo de procesamiento de imágenes incluye una unidad de cálculo del valor de disparidad para calcular, para cada píxel representativo en la primera imagen, un valor de disparidad del píxel representativo con base en una relación posicional entre el píxel representativo y un píxel correspondiente al píxel representativo en la segunda imagen. El dispositivo de procesamiento de imágenes incluye además una unidad de segmentación para dividir la primera imagen en una pluralidad de segmentos con base en una similitud entre los valores de píxeles. El dispositivo de procesamiento de imágenes también incluye una unidad de generación de datos de profundidad para determinar para cada segmento un valor de disparidad del segmento con base en el valor de disparidad del píxel representativo incluido en el segmento, para generar datos de profundidad indicativos de profundidades correspondientes a la pluralidad de segmentos.

Descripción

Es un objeto de la presente invención proporciona un método de procesamiento de imágenes para mejorar la precisión de la información de profundidad de campo adquirida y la eficiencia del procesamiento de imágenes, y un dispositivo para implementar el método de la invención. Este objeto se satisface por las reivindicaciones independientes.

Las modalidades de la presente descripción proporcionan un método de procesamiento de imágenes. El método incluye: controlar una primera cámara para capturar una pluralidad de primeras imágenes y controlar una segunda cámara para capturar una pluralidad de segundas imágenes, cuando el brillo de un entorno de captura es inferior a un umbral predeterminado; adquirir una primera imagen de referencia de la pluralidad de primeras imágenes y adquirir una segunda imagen de referencia de la pluralidad de segundas imágenes, capturando la segunda imagen de referencia y la primera imagen de referencia de manera asociativa y formando un par de imágenes; realizar la composición y procesamiento de reducción de ruido sobre la pluralidad de primeras imágenes por un primer subproceso para generar una imagen compuesta y con reducción de ruido y procesar la imagen compuesta y con reducción de ruido de acuerdo con una estrategia de procesamiento de imágenes predefinido para generar una imagen objetivo y adquirir información de profundidad de campo con base en la primera imagen de referencia y la segunda imagen de referencia por un segundo subproceso; y difuminar una región de fondo de la imagen objetivo de acuerdo con la información de profundidad de campo.

En una modalidad, adquirir la primera imagen de referencia de la pluralidad de primeras imágenes y adquirir la segunda imagen de referencia de la pluralidad de segundas imágenes comprende: seleccionar un conjunto de primeras imágenes de la pluralidad de primeras imágenes, cada primera imagen en el conjunto de primeras imágenes que tiene una definición mayor que una definición predeterminada; seleccionar un conjunto de segundas imágenes de la pluralidad de segundas imágenes, cada segunda imagen en el conjunto de segundas imágenes que forma el par de imágenes con una primera imagen respectiva en el conjunto de primeras imágenes; y seleccionar la primera imagen de referencia del conjunto de primeras imágenes y seleccionar la segunda imagen de referencia del conjunto de segundas imágenes.

En una modalidad, realizar el procesamiento de composición y reducción de ruido en la pluralidad de primeras imágenes por el primer subproceso para generar la imagen compuesta y con reducción de ruido comprende: leer valores de un píxel correspondiente a una misma posición en la pluralidad de primeras imágenes; calcular un valor promedio de los valores; y determinar el valor promedio como un valor del píxel correspondiente a la misma posición en la imagen compuesta y con reducción de ruido.

En una modalidad, difuminar una región de fondo de la imagen objetivo de acuerdo con la información de profundidad de campo comprende: adquirir una primera profundidad de campo de una región del primer plano y una segunda profundidad de campo de la región de fondo; generar un grado de difuminación de acuerdo con la primera profundidad de campo y la segunda profundidad de campo; y difuminar la región de fondo de la imagen objetivo de acuerdo con el grado de difuminación.

En una modalidad, adquirir la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo comprende: adquirir parámetros de captura; y determinar la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo de acuerdo con las fórmulas y los parámetros de captura.

En una modalidad, la adquisición de la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo comprende: adquirir un mapa de profundidad de campo de un área de imagen más allá del área de enfoque de acuerdo con los datos de las imágenes capturadas actuales adquiridas por el primera y segunda cámara; y determinar la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo de acuerdo con el mapa de profundidad de campo.

En una modalidad, difuminar la región de fondo de la imagen objetivo de acuerdo con el grado de difuminación comprende: adquirir un coeficiente de difuminación de cada píxel en la región de fondo de la imagen objetivo de acuerdo con el grado de difuminación y una profundidad de campo del píxel; y difuminar la región de fondo de la imagen objetivo de acuerdo con el coeficiente de difuminación de cada píxel.

En una modalidad, el método comprende, además: adquirir un primer período de tiempo para el procesamiento de composición y reducción de ruido realizado por el primer subproceso y adquirir un segundo período de tiempo para adquirir la información de profundidad de campo por el segundo subproceso; y establecer la estrategia de procesamiento de imágenes de acuerdo con una diferencia entre el primer período de tiempo y el segundo período de tiempo.

Las modalidades de la presente descripción proporcionan además un dispositivo informático que incluye una memoria, un procesador y un programa informático almacenado en la memoria y ejecutable en el procesador. Cuando el procesador ejecuta el programa informático, se hace que el procesador ejecute el método de procesamiento de imágenes descrito anteriormente.

Los aspectos y ventajas adicionales de las modalidades de la presente descripción se darán en parte en las siguientes descripciones, se harán evidentes en parte a partir de las siguientes descripciones, o se aprenderán a partir de la práctica de las modalidades de la presente descripción.

Breve descripción de los dibujos

Estos y otros aspectos y ventajas de las modalidades de la presente descripción serán evidentes y se apreciarán más fácilmente a partir de las siguientes descripciones hechas con referencia a los dibujos.

La Figura 1 es un diagrama de flujo de un método de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción.

La Figura 2 es un diagrama esquemático que ilustra un principio de medición de triangulación de acuerdo con una modalidad de la presente descripción.

La Figura 3 es un diagrama esquemático que ilustra un proceso de adquisición de información de profundidad de campo por cámaras duales de acuerdo con una modalidad de la presente descripción.

La Figura 4 es un diagrama de flujo de un método de procesamiento de imágenes de acuerdo con otra modalidad de la presente descripción.

La Figura 5 es un diagrama de flujo de un método de procesamiento de imágenes de acuerdo con otra modalidad de la presente descripción.

La Figura 6 es un diagrama esquemático que ilustra un escenario de implementación del método de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción.

La Figura 7 es un diagrama de flujo de un método de procesamiento de imágenes de acuerdo con una modalidad específica de la presente descripción.

La Figura 8 es un diagrama de bloques de un aparato de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción.

La Figura 9 es un diagrama de bloques de un aparato de procesamiento de imágenes de acuerdo con otra modalidad de la presente descripción.

La Figura 10 es un diagrama de bloques de un aparato de procesamiento de imágenes de acuerdo con otra modalidad de la presente descripción.

La Figura 11 es un diagrama esquemático que ilustra un circuito de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción.

Modalidades de la descripción actual

Ahora se hará referencia en detalle a modalidades ilustrativas, ejemplos de las cuales se ilustran en los dibujos adjuntos, en los que los mismos o similares números de referencia a lo largo de los dibujos representan los mismos elementos o elementos que tienen funciones iguales o similares. Las modalidades descritas a continuación con referencia a los dibujos son meramente ilustrativas y se usan para explicar la presente descripción, y no deben entenderse como una limitación de la presente descripción.

En la técnica relacionada, debido a que lleva mucho tiempo adquirir la profundidad de la información archivada, el tiempo para el procesamiento de imágenes relacionado con base en la información de profundidad de campo es largo, causando de esta manera una baja eficiencia de procesamiento de imágenes.

A continuación, se describirá un método de procesamiento de imágenes, un aparato de procesamiento de imágenes y un dispositivo de acuerdo con las modalidades de la presente descripción con referencia a los dibujos adjuntos.

Un sujeto de ejecución del método de procesamiento de imágenes de acuerdo con las modalidades de la presente descripción puede ser un dispositivo de soporte físico que tiene cámaras duales, tal como un teléfono celular, una tableta, un asistente digital personal, un dispositivo portátil. El dispositivo portátil puede ser un brazalete inteligente, un reloj inteligente, gafas inteligentes o similares.

La Figura 1 es un diagrama de flujo de un método de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción. Como se ilustra en la Figura 1, el método puede incluir lo siguiente.

En el bloque 101, se controla una primera cámara (es decir, una cámara primaria en las modalidades de la presente descripción) para capturar una pluralidad de primeras imágenes (también denominada como una pluralidad de imágenes primarias) y simultáneamente una segunda cámara (es decir, una cámara secundaria en modalidades de la presente descripción) se controla para capturar una pluralidad de segundas imágenes (también denominadas como una pluralidad de imágenes secundarias).

En esta modalidad, con base en la imagen primaria capturada por la cámara primaria y la imagen secundaria capturada por la cámara secundaria, se adquiere la profundidad de la información archivada de un mismo objeto en la imagen primaria y la imagen secundaria. La imagen primaria se configura como una imagen básica para una imagen real final. Con el propósito de evitar una situación en la que la información de profundidad de campo no puede obtenerse con precisión debido a una diferencia significativa entre la imagen primaria y la imagen secundaria al adquirir la información de profundidad de campo con base en la imagen primaria y la imagen secundaria, o una situación que la mala calidad de imagen de la imagen real final debido a la falta de nitidez de la imagen primaria, la cámara primaria se controla para capturar la pluralidad de imágenes primarias y simultáneamente la cámara secundaria se controla para capturar la pluralidad de imágenes secundarias, de manera que el par optimizado de imagen primaria e imagen secundaria puede seleccionarse de la pluralidad de imágenes primarias y la pluralidad de imágenes secundarias, mejorando de esta manera la precisión de adquirir la información de profundidad de campo y la calidad de imagen de la imagen final.

En la técnica anterior, las cámaras duales tienen un efecto de imagen pobre en un entorno con poca luz y un mejor efecto de imagen en un entorno con mucha luz debido a la luz suficiente. Bajo el entorno de alta luz, la imagen primaria y la imagen secundaria tienen una alta definición de imagen, en este caso, la cámara primaria se controla para capturar una imagen primaria y la cámara secundaria se controla para capturar una imagen secundaria simultáneamente, y la precisión de adquirir la información de profundidad de campo puede asegurarse y puede adquirirse un mejor efecto de imagen. En consecuencia, para liberar la presión de procesamiento, la pluralidad de imágenes primarias y la pluralidad de imágenes secundarias solo se capturan en entornos con poca luz.

En una modalidad, el brillo de un entorno de captura se detecta, por ejemplo, mediante un sensor óptico en el dispositivo terminal. Cuando el brillo detectado es inferior a un umbral predeterminado, indica que el entorno actual puede influir en el efecto de imagen del dispositivo terminal, de manera que la cámara primaria se controla para capturar la pluralidad de imágenes primarias y la cámara secundaria se controla para capturar la pluralidad de imágenes secundarias simultáneamente.

El umbral predeterminado puede ser un brillo de referencia determinado de acuerdo con muchos datos del experimento y se configura para determinar si el brillo ambiental influye en el efecto de imagen. El umbral predeterminado puede estar relacionado con el soporte físico de imagen del dispositivo terminal. Cuanto mejor sea la fotosensibilidad del soporte físico de imagen, menor será el umbral predeterminado.

En el bloque 102, se selecciona una primera imagen de referencia (también denominada como imagen primaria de referencia) de la pluralidad de imágenes primarias, y una segunda imagen de referencia (también denominada como imagen secundaria de referencia) capturada de manera asociativa y formando un par las imágenes con la imagen primaria de referencia se seleccionan de la pluralidad de imágenes secundarias. La imagen primaria de referencia y la imagen secundaria de referencia que se capturan de manera asociativa pueden referirse a que la imagen primaria de referencia y la imagen secundaria de referencia se capturan al mismo tiempo o que la imagen primaria de referencia y la imagen secundaria de referencia se capturan de acuerdo con una estrategia de captura predeterminada. Por ejemplo, la estrategia de captura predeterminada puede referirse a que la enésima imagen primaria capturada por la cámara primaria está configurada como la imagen primaria de referencia, mientras que la enésima imagen secundaria capturada por la cámara secundaria está configurada como la imagen secundaria de referencia.

En el bloque 103, el procesamiento de composición y reducción de ruido se realiza mediante un primer subproceso en la pluralidad de imágenes primarias para generar una imagen compuesta y con ruido reducido y la imagen compuesta y con ruido reducido se procesa de acuerdo con una estrategia de procesamiento de imágenes preestablecida para generar una imagen primaria objetivo, simultáneamente se adquiere información de profundidad de campo con base en la imagen primaria de referencia y la imagen secundaria de referencia por un segundo subproceso.

Como se describió anteriormente, el sistema con cámaras duales adquiere la información de profundidad de campo con base en la imagen primaria y la imagen secundaria. Para describir claramente un proceso de adquisición de la información de profundidad de campo por las cámaras duales, se describe un principio de adquisición de la información de profundidad de campo por las cámaras duales con referencia a los dibujos adjuntos.

En la práctica, la información de profundidad de campo se adquiere por los ojos humanos con la ayuda de la visión de ambos ojos, cuyo principio es adecuado para las cámaras duales y se realiza en dependencia del principio de medición de triangulación ilustrado en la Figura 2. Como se ilustra en la Figura 2, en el espacio práctico, se ilustra un objeto de imagen, posiciones Or y Ot de dos cámaras, un plano de enfoque de las dos cámaras. Una distancia entre el plano de enfoque y el plano donde se encuentran las dos cámaras es f. Las dos cámaras forman imágenes en el plano de enfoque.

P y P' representan posiciones de un mismo objeto en diferentes imágenes. Una distancia entre P y un límite izquierdo de la imagen que tiene el punto P es Xr, una distancia entre P' y un límite izquierdo de la imagen que tiene el punto P' es Xt. Or y Ot representan dos cámaras que están en un mismo plano y tienen una distancia B entre sí.

Con base en el principio de la medición de triangulación, debido a que la distancia entre el objeto y el plano donde se ubican las dos cámaras es Z, y puede establecerse una fórmula s _ ( ^b + ^{x t} ) - ^xr

z ~ Z - í '

B f ^b f

Puede derivarse una fórmula Z = A^ — ' A^ = - Q - ,

donde d representa una diferencia de distancia entre las posiciones del mismo objeto en diferentes imágenes. Como B y f son fijas, Z puede adquirirse de acuerdo con d.

Además de la medición de triangulación, pueden usarse otros enfoques para adquirir la información de profundidad de campo de la imagen primaria. Por ejemplo, cuando la cámara primaria y la cámara secundaria capturan imágenes con respecto a un mismo escenario, la distancia entre el objeto en el escenario y las cámaras es proporcional a una diferencia de desplazamiento, una diferencia de gesto entre la cámara primaria y la cámara secundaria. En una modalidad de la presente descripción, la distancia Z puede adquirirse de acuerdo con la relación proporcional.

Por ejemplo, como se ilustra en la Figura 3, la cámara primaria captura la imagen primaria y la cámara secundaria captura la imagen secundaria. La diferencia entre la imagen primaria y la imagen secundaria se calcula y se representa una imagen de disparidad por. La imagen de disparidad ilustra la diferencia de desplazamiento entre los mismos puntos en dos imágenes diferentes. Debido a que la diferencia de desplazamiento es proporcional a Z en la medición de triangulación, la imagen de disparidad puede usarse como una imagen que lleva la información de profundidad de campo.

Como se describió anteriormente, cuando las cámaras duales adquieren la información de profundidad de campo, es necesario adquirir una posición de un mismo objeto en diferentes imágenes. Si las imágenes capturadas por las cámaras duales que adquieren la información de profundidad de campo están cercanas, puede mejorarse la precisión y la eficiencia de la adquisición de la información de profundidad de campo.

En modalidades de la presente descripción, debido a que la cámara primaria y la cámara secundaria capturan la pluralidad de imágenes primarias y la pluralidad de imágenes secundarias simultáneamente, la imagen primaria y la imagen secundaria que pertenecen a un par de imágenes que se capturan al mismo tiempo son parecidas, de modo que la precisión de la información de profundidad de campo adquirida puede asegurarse adquiriendo la información de profundidad de campo de acuerdo con la imagen primaria original y la imagen secundaria antes del procesamiento de composición y reducción de ruido.

Cuando se captura una imagen en un entorno con poca luz, como se mencionó anteriormente, los puntos ruidosos de la pluralidad de imágenes primarias y la pluralidad de imágenes secundarias son altos. En este caso, para mejorar aún más la precisión de la adquisición de la información de profundidad de campo, el procesamiento de composición y reducción de ruido puede realizarse en la pluralidad de imágenes secundarias, y la información de profundidad de campo puede adquirirse de acuerdo con la imagen secundaria compuesta y con reducción de ruido y la imagen primaria.

En una modalidad, la imagen primaria de referencia se selecciona de la pluralidad de imágenes primarias y la imagen secundaria de referencia se selecciona de la pluralidad de imágenes secundarias. En la práctica, durante un proceso de captura, la imagen primaria y la imagen secundaria se capturan a la misma frecuencia para adquirir la pluralidad de imágenes primarias y la pluralidad de imágenes secundarias. La imagen primaria y la imagen secundaria capturadas al mismo tiempo pertenecen a un par de imágenes. Por ejemplo, de acuerdo con el orden cronológico, la pluralidad de imágenes primarias capturadas por la cámara primaria incluye: imagen primaria 11, imagen primaria 12 ... y así sucesivamente. La pluralidad de imágenes secundarias capturadas por la cámara secundaria incluye: imagen secundaria 21, imagen secundaria 22 ... y así sucesivamente. La imagen primaria 11 y la imagen secundaria 21 pertenecen a un par de imágenes. La imagen primaria 12 y la imagen secundaria 22 pertenecen a un par de imágenes. Para mejorar aún más la precisión y la eficiencia de adquirir la información de profundidad de campo, la imagen primaria de referencia con alta definición puede seleccionarse de la pluralidad de imágenes primarias. Cuando hay muchos cuadros en la pluralidad de imágenes, para mejorar la eficiencia de selección, pueden seleccionarse varios cuadros de imágenes primarias y varios cuadros correspondientes de imágenes secundarias de acuerdo con la definición de imagen. La imagen primaria de referencia y la imagen secundaria de referencia se seleccionan de las imágenes primarias con la definición de imagen en el rango superior y las imágenes secundarias correspondientes.

Además, debido a que toma mucho tiempo adquirir la profundidad de campo, el primer subproceso se usa para realizar el procesamiento de composición y reducción de ruido en la pluralidad de imágenes primarias para generar la imagen primaria objetivo, y simultáneamente el segundo subproceso se usa para adquirir la información de profundidad de campo con base en la imagen primaria de referencia y la imagen secundaria de referencia. Por un lado, en el momento en que se adquiere la información de profundidad de campo, el procesamiento de composición y reducción de ruido se realiza en la pluralidad de imágenes primarias para adquirir la imagen primaria objetivo, de manera que el procesamiento de difuminación puede realizarse de acuerdo con la información de profundidad de campo y la imagen primaria objetivo después de adquirir la información de profundidad de campo. En comparación con la forma de adquirir la información de profundidad de campo en primer lugar y luego realizar el procesamiento de composición y reducción de ruido en las imágenes primarias, se mejora la eficiencia del procesamiento de imágenes. Por otro lado, el procesamiento de composición y reducción de ruido realizado en la pluralidad de imágenes primarias permite que la imagen primaria objetivo tenga detalles claros y alta calidad de imagen, de manera que la imagen sometida al procesamiento de difuminación tenga un buen efecto.

Con el propósito de comprender mejor la composición de múltiples cuadros y el procesamiento de reducción de ruido, se describe la composición de fotogramas múltiples y el procesamiento de reducción de ruido realizado en las imágenes primarias en un entorno con poca luz.

Cuando la luz ambiental es baja, el dispositivo de imágenes, tal como el dispositivo terminal, generalmente captura imágenes con una forma de aumentar automáticamente la fotosensibilidad. Sin embargo, esta forma de aumentar automáticamente la fotosensibilidad provoca ruido en la imagen. La composición de múltiples cuadros y el procesamiento de reducción de ruido tienen como objetivo reducir los puntos de ruido en la imagen y mejorar la calidad de la imagen capturada con una alta fotosensibilidad. El principio se basa en el conocimiento previo de que los puntos de ruido no están ordenados. Después de capturar sucesivamente la pluralidad de imágenes, el punto de ruido en la misma posición puede ser un punto de ruido rojo, un punto de ruido verde, un punto de ruido blanco, o incluso puede no haber un punto de ruido, de manera que pueda implementarse una condición de detección como sigue. Los puntos de píxel (es decir, puntos de ruido) que pertenecen al ruido se seleccionan de acuerdo con los valores de los puntos de píxel correspondientes a una misma posición y ubicados en la pluralidad de imágenes. El valor de un punto de píxel incluye una cantidad de píxeles en el punto de píxel. Cuantos más píxeles se encuentren en el punto de píxeles, mayor será el valor del punto de píxeles y mayor será la nitidez de la imagen correspondiente. Además, después de que se eliminen los puntos de ruido, pueden realizarse conjeturas de color y sustitución de píxeles en los puntos de ruido de acuerdo con un algoritmo predeterminado para obtener el efecto de eliminar los puntos de ruido. Después del proceso, puede lograrse el efecto de reducción de ruido con baja pérdida de calidad de imagen.

Como un enfoque simple de composición de múltiples cuadros y reducción de ruido, después de capturar la pluralidad de imágenes, los valores de los puntos de píxel correspondientes a la misma posición y en la pluralidad de imágenes se leen y promedian para calcular un valor promedio ponderado como valor del punto de píxel en la imagen compuesta. De esta forma, puede adquirirse la imagen con alta definición.

Además, existe una diferencia de tiempo entre un período de tiempo para adquirir la información de profundidad de campo por el segundo subproceso y un período de tiempo para el procesamiento de composición y reducción de ruido realizado por el primer subproceso. Con el propósito de mejorar aún más la eficiencia del procesamiento de imágenes, pueden realizarse otras operaciones de procesamiento de imágenes aprovechando al máximo la diferencia de tiempo.

Las implementaciones del primer subproceso y el segundo subproceso se describirán en casos en que el brillo del entorno sea relativamente alto y el brillo del entorno sea relativamente bajo.

Cuando el brillo del entorno de captura es inferior al umbral predeterminado, las implementaciones del subproceso pueden describirse como sigue.

En una modalidad, realizar el procesamiento de composición y reducción de ruido en la pluralidad de imágenes primarias por el primer subproceso para generar la imagen primaria objetivo puede incluir: realizar el procesamiento de composición y reducción de ruido en la pluralidad de imágenes primarias y procesar la imagen compuesta y con reducción de ruido de acuerdo con una estrategia de procesamiento de imagen preestablecida por el primer subproceso, para generar la imagen primaria objetivo.

La estrategia de procesamiento de imágenes preestablecida puede incluir operación de aplicación de filtro, operación de embellecimiento o similares. Al mismo tiempo, cuando el segundo subproceso adquiere la profundidad de la información archivada, lo que consume mucho tiempo, el primer subproceso puede realizar otras operaciones de procesamiento de imágenes además del procesamiento de composición y reducción de ruido, de manera que la diferencia de tiempo entre el consumo de tiempo del primer subproceso y el consumo de tiempo del segundo subproceso pueden usarse para completar más operaciones de procesamiento de imágenes antes de que se realice el procesamiento de difuminación, mejorando de esta manera la eficiencia del procesamiento de imágenes. Antes de realizar el procesamiento de difuminación, cuantas más operaciones de procesamiento de imágenes se implementen sobre la base de la imagen compuesta y con reducción de ruido, debido a que la imagen compuesta y con reducción de ruido tiene una alta calidad de imagen, más operaciones de procesamiento de imagen pueden lograr un mejor efecto de procesamiento.

Por ejemplo, al mismo tiempo que el segundo subproceso adquiere la profundidad de la información archivada, lo que consume mucho tiempo, además del procesamiento de composición y reducción de ruido, el primer subproceso puede realizar una operación de embellecimiento en la imagen compuesta y con ruido reducido para generar la imagen primaria objetivo. Cuando se realiza el procesamiento de difuminación, la imagen se ha sometido a la operación de embellecimiento, lo que mejora en gran medida la eficiencia de procesamiento de imágenes.

En la práctica, para aprovechar al máximo la diferencia de tiempo entre el consumo de tiempo del primer subproceso y el consumo de tiempo del segundo subproceso, el momento en que el primer subproceso finaliza las operaciones y el momento en que el segundo subproceso finaliza las operaciones pueden ser similares entre sí. Además, de acuerdo con la diferencia de tiempo, la estrategia de procesamiento de imágenes puede configurarse para garantizar que las operaciones correspondientes a la estrategia de procesamiento de imágenes puedan finalizarse cuando el segundo subproceso finalice las operaciones.

En una modalidad, como se ilustra en la Figura 4, antes del bloque 103, el método de procesamiento de imágenes puede incluir además los siguientes.

En el bloque 201, se puede adquirir un primer período de tiempo para el procesamiento de composición y reducción de ruido realizado por el primer subproceso y un segundo período de tiempo para adquirir la información de profundidad de campo por el segundo subproceso.

El primer período de tiempo está relacionado con la velocidad de funcionamiento de un sistema de procesamiento del dispositivo terminal y una serie de cuadros de las imágenes primarias. El primer período de tiempo puede calcularse de acuerdo con la velocidad de funcionamiento del sistema de procesamiento del dispositivo terminal y el número de cuadros de las imágenes primarias mediante el uso de un algoritmo de correlación. El segundo período de tiempo está relacionado con la velocidad de funcionamiento del sistema de procesamiento del dispositivo terminal y la definición de la imagen. El segundo período de tiempo puede calcularse de acuerdo con la velocidad de funcionamiento del sistema de procesamiento del dispositivo terminal y la definición de imagen de la imagen primaria de referencia y la imagen secundaria de referencia mediante el uso de un algoritmo de correlación.

En el bloque 202, la estrategia de procesamiento de imágenes se establece de acuerdo con una diferencia entre el primer período de tiempo y el segundo período de tiempo.

Las diferentes operaciones de procesamiento de imágenes consumen tiempos diferentes. Para aprovechar al máximo la diferencia entre el primer período de tiempo y el segundo período de tiempo, la estrategia de procesamiento de imágenes puede establecerse de acuerdo con la diferencia entre el primer período de tiempo y el segundo período de tiempo para garantizar puedan finalizarse más operaciones de procesamiento de imágenes dentro de la diferencia de tiempo.

Por ejemplo, cuando un período de tiempo para el procesamiento de composición y reducción de ruido es de 400 ms, un período de tiempo para la operación de aplicación del filtro es de 200 ms, un período de tiempo para la operación de embellecimiento es de 200 ms, un período de tiempo para adquirir la información de profundidad de campo es de 800 ms, si el escenario actual incluye la operación de embellecimiento y la operación de aplicación de filtro, la operación de embellecimiento y la operación de aplicación de filtro se establecen en el primer subproceso, de manera que después del segundo subproceso se adquiere la información de profundidad de campo, la operación de aplicación de filtro y la operación de embellecimiento se completan para la imagen primaria objetivo adquirida por el primer subproceso, mejorando de esta manera en gran medida el efecto de procesamiento de imágenes.

Cuando el brillo del entorno de captura es mayor que o igual al umbral predeterminado, un mecanismo de procesamiento en paralelo de los subprocesos se implementa como sigue.

En una modalidad de la presente descripción, como se ilustra en la Figura 5, después del bloque 101, el método puede incluir además los siguientes.

En el bloque 301, en respuesta a la detección de que el brillo del entorno de captura es mayor o igual al umbral predeterminado, la cámara primaria se controla para capturar un cuadro de imagen primaria y la cámara secundaria se controla para capturar un cuadro de imagen secundaria simultáneamente.

Cuando el brillo del entorno de captura es mayor o igual al umbral predeterminado, indica que el entorno actual tiene una buena condición de brillo, en el que las cámaras duales tienen una alta calidad de imagen. Para mejorar la eficiencia de capturar la imagen y liberar la presión de la imagen, la cámara primaria se controla para capturar un cuadro de imagen primaria y la cámara secundaria se controla para capturar un cuadro de imagen secundaria simultáneamente, de manera que el cuadro de imagen primaria pueda puede usarse para obtener imágenes, y el cuadro de la imagen primaria y el cuadro de la imagen secundaria pueden usarse para adquirir la información de profundidad de campo.

En el bloque 302, el primer subproceso procesa la imagen primaria de acuerdo con una estrategia de procesamiento de imágenes preestablecida para generar la imagen primaria objetivo, y el segundo subproceso adquiere la información de profundidad de campo con base en la imagen primaria y la imagen secundaria simultáneamente.

En el bloque 303, las regiones de fondo de la imagen primaria objetivo se difuminan de acuerdo con la información de profundidad de campo.

Al procesar la imagen primaria de acuerdo con una estrategia de procesamiento de imágenes preestablecida por el primer subproceso para generar la imagen primaria objetivo, por ejemplo, realizar una operación de optimización tal como eliminar ruido en la imagen primaria y adquirir la información de profundidad de campo por el segundo subproceso con base en la imagen primaria y la imagen secundaria simultáneamente, la imagen primaria objetivo usada para la obtención de imágenes puede adquirirse al mismo tiempo al adquirir la información de profundidad de campo, y la región de fondo de la imagen primaria objetivo puede difuminarse de acuerdo con la información de profundidad de campo.

Por un lado, al mismo tiempo que se adquiere la información de profundidad de campo, la imagen primaria se procesa para adquirir la imagen primaria objetivo, de manera que después de adquirir la información de profundidad de campo, la imagen primaria objetivo puede difuminarse directamente de acuerdo con la profundidad de la información de campo. En comparación con la forma de adquirir la información de profundidad de campo en primer lugar y luego procesar la imagen primaria, se mejora la eficiencia del procesamiento de imágenes. Por otro lado, la imagen primaria objetivo adquirida al procesar la imagen primaria capturada en un entorno con mucha luz tiene detalles claros y alta calidad de imagen, de manera que la imagen sometida al procesamiento de difuminación tiene un buen efecto.

En esta modalidad, para aprovechar al máximo la diferencia de tiempo entre el primer subproceso y el segundo subproceso, puede adquirirse el período de tiempo para adquirir la información de profundidad de campo por el segundo subproceso y puede establecerse la estrategia de procesamiento de imágenes de acuerdo con el período de tiempo, para asegurar que las operaciones tales como la operación de embellecimiento y la operación de aplicación de filtro o similares correspondientes a la estrategia de procesamiento de imágenes puedan completarse cuando se completen las operaciones realizadas por el segundo subproceso.

Por ejemplo, suponiendo que el período de tiempo para procesar la imagen primaria para adquirir la imagen primaria objetivo es de 400 ms, el período de tiempo para la operación de aplicación del filtro es de 200 ms, el período de tiempo para la operación de embellecimiento es de 200 ms, y el período de tiempo para adquirir la profundidad de la información archivada es de 800 ms, cuando el escenario actual incluye la operación de embellecimiento y la operación de aplicación de filtro, la operación de aplicación de filtro y la operación de embellecimiento pueden configurarse en el primer subproceso, de manera que después del segundo subproceso se adquiere la información de profundidad de campo, la operación de aplicación del filtro y la operación de embellecimiento de la imagen primaria objetivo adquirida por el primer subproceso se ha completado, mejorando así enormemente el efecto de procesamiento de la imagen.

En el bloque 104, la región de fondo de la imagen primaria objetivo se difumina de acuerdo con la información de profundidad de campo.

Hay muchas formas de difuminar la región de fondo de la imagen primaria objetivo de acuerdo con la información de profundidad de campo, que incluyen y no se limitan a las siguientes.

Como una posible implementación, la primera información de profundidad de campo de la región de primer plano y la segunda información de profundidad de campo de la región de fondo se adquieren de acuerdo con la información de profundidad de campo y un área de enfoque, se genera un grado de desenfoque de acuerdo con la primera información de profundidad de campo y la segunda información de profundidad de campo, y la región de fondo de la imagen primaria objetivo se difumina de acuerdo con el grado de difuminación, de manera que pueden realizarse diferentes grados de difuminación de acuerdo con diversa información de profundidad de campo, causando así más naturaleza y mayor efecto estratificación de la imagen difuminada.

Después de enfocar la cámara para el objeto capturado, puede hacerse referencia a un rango de profundidad del espacio desde el frente hasta la parte posterior del enfoque donde se encuentra el objeto a una profundidad de campo, en la que puede formarse una imagen de alta definición disponible para los ojos humanos en el rango de profundidad del espacio. Un rango de imagen delante del área de enfoque es la primera profundidad de campo de la región de primer plano, y una región que forma la imagen de alta definición en la parte posterior del área de enfoque es la segunda profundidad de campo de la región de fondo.

Pueden usarse diferentes formas de determinar la primera información de profundidad de campo de la región de primer plano y la segunda información de profundidad de campo de la región de fondo para diferentes escenarios de aplicación.

Primera forma

Pueden adquirirse parámetros relacionados para la captura, y la primera información de profundidad de campo de la región de primer plano y la segunda información de profundidad de campo de la región de fondo pueden determinarse de acuerdo con una fórmula para la cámara.

En esta modalidad, pueden adquirirse parámetros tales como el diámetro de un círculo de confusión permisible, número f, longitud de enfoque, distancia de enfoque de la cámara primaria, y la primera profundidad de campo puede calcularse de acuerdo con la fórmula: primera profundidad de campo = (número f * diámetro del círculo de confusión permisible * cuadrado de distancia de enfoque) / (cuadrado de longitud de enfoque número f * diámetro del círculo de confusión permisible * distancia de enfoque), el primer plano se distingue de acuerdo con la primera profundidad de información de campo, y la segunda profundidad de campo puede calcularse de acuerdo con la fórmula: segunda profundidad de campo = (número f * diámetro del círculo de confusión permisible * cuadrado de distancia de enfoque) / (cuadrado de longitud de enfoque - f- número * diámetro del círculo de confusión permisible * distancia de enfoque).

Segunda forma

Un mapa de profundidad de campo del área de imagen más allá del área de enfoque se determina de acuerdo con los datos de la imagen capturada actual adquirida por las cámaras duales, y la primera profundidad de campo de la región de primer plano frente al área de enfoque y la segunda profundidad de campo en la parte posterior del área de enfoque pueden determinarse de acuerdo con el mapa profundidad de campo.

En esta modalidad, debido a que las dos cámaras están en diferentes posiciones, hay una cierta diferencia de ángulo y una cierta diferencia de distancia entre las dos cámaras traseras con respecto al objeto objetivo que se capturará, de manera que las imágenes de vista previa adquiridas por las dos cámaras tienen una cierta diferencia de fase.

Por ejemplo, para que se capture un punto A en el objeto objetivo, las coordenadas del punto de píxel correspondiente al punto A en la imagen de vista previa de la cámara primaria pueden ser (30, 50), mientras que las coordenadas del punto de píxel correspondiente al punto A en la imagen de vista previa de la cámara secundaria pueden ser (30, 48). La diferencia de fase entre los puntos de píxel correspondientes al punto A en las dos imágenes de vista previa es 50-48 = 2.

En esta modalidad, una relación entre la información de profundidad de campo y las diferencias de fase puede establecerse de acuerdo con los datos del experimento o los parámetros de la cámara de antemano, de manera que la información de profundidad de campo puede buscarse de acuerdo con la diferencia de fase entre los puntos de píxeles correspondientes a un punto respectivo en las imágenes de vista previa adquiridas por las dos cámaras. De esta manera, la primera información de profundidad de campo y la segunda información de profundidad de campo pueden adquirirse fácilmente.

Pueden usarse diferentes formas para difuminar la región de fondo de la imagen primaria objetivo de acuerdo con el grado de difuminación.

Ejemplo uno

Se obtiene un coeficiente de difuminación de cada píxel de acuerdo con el grado de difuminación y la información de profundidad de campo del píxel en la región de fondo de la imagen primaria objetivo. El coeficiente de difuminación está relacionado con el grado de difuminación. Cuanto mayor es el coeficiente de difuminación, mayor es el grado de difuminación. Por ejemplo, un producto del grado de difuminación y la profundidad de campo de cada píxel en la región de fondo de la imagen primaria objetivo se calcula para adquirir el coeficiente de difuminación del píxel. La región de fondo de la imagen primaria objetivo se difumina de acuerdo con el coeficiente de difuminación de cada píxel.

Ejemplo dos

Cuanto mayor sea la diferencia entre la segunda profundidad de campo y la profundidad de campo en el área de enfoque, más lejos está la región de fondo correspondiente del área de enfoque, cuanto menor sea la correlación de la región de fondo correspondiente y el área de enfoque, mayor será el grado de desenfoque correspondiente. En esta modalidad, la relación entre la diferencia entre la segunda profundidad de campo y la profundidad de campo del área de enfoque y el grado de difuminación se almacena de antemano. En esta relación, cuanto mayor es la diferencia entre la segunda profundidad de campo y la profundidad de campo del área de enfoque, mayor es el grado de difuminación correspondiente. La diferencia entre la segunda profundidad de campo de la región de fondo de la imagen primaria objetivo y la profundidad de campo del área de enfoque se adquiere, el grado de desenfoque correspondiente se adquiere al consultar la relación de acuerdo con la diferencia y la región de fondo de la imagen. La profundidad de campo correspondiente se difumina de acuerdo con el grado de difuminación.

La implementación del método de procesamiento de imágenes de acuerdo con las modalidades de la presente descripción se describe completamente junto con los escenarios de aplicación.

Primer escenario

Como se ilustra en la Figura 6, después de adquirir una instrucción de captura, la cámara primaria y la cámara secundaria se controlan para capturar cuatro cuadros de imágenes primarias y cuatro cuadros de imágenes secundarias simultáneamente. De acuerdo con la secuencia de captura, los cuatro cuadros de imágenes primarias se numeran como 11, 12, 13 y 14. Los cuatro cuadros de imágenes secundarias están numerados como 21,22, 23 y 24.

La imagen primaria de referencia 12 se selecciona de la pluralidad de imágenes primarias y la imagen secundaria 22 que se captura para formar un par de imágenes con la imagen primaria de referencia se selecciona de la pluralidad de imágenes secundarias. El procesamiento de composición y reducción de ruido se realiza en la pluralidad de imágenes primarias y la operación de embellecimiento se realiza en la imagen compuesta y con reducción de ruido mediante el primer subproceso para adquirir la imagen primaria objetivo, y la información de profundidad de campo es adquirida por el segundo subproceso de acuerdo con la imagen primaria de referencia 12 y la imagen secundaria de referencia 22 simultáneamente. Si el período de tiempo para el procesamiento de composición y reducción de ruido realizado en la imagen primaria es de 400 ms, el período de tiempo para la operación de embellecimiento es de 400 ms, y el período de tiempo para adquirir la información de profundidad de campo es de 400 ms, en la técnica anterior, la adquisición de la información de profundidad de campo y la composición y reducción de ruido para la imagen primaria se realizan en secuencia, de manera que la duración del tiempo de procesamiento es de 1600 ms. Sin embargo, de acuerdo con el método de procesamiento de imágenes proporcionado por la presente descripción, la duración del tiempo de procesamiento es de 800 ms, de manera que la eficiencia del procesamiento de imágenes mejora enormemente. Además, la cámara primaria captura la pluralidad de imágenes primarias, y el procesamiento de composición y reducción de ruido se realiza en la pluralidad de imágenes primarias, de manera que puede evitarse el problema del efecto de procesamiento de imágenes deficiente debido al procesamiento de imágenes realizado en una sola imagen primaria con baja calidad bajo el ambiente de poca luz, mejorando así el efecto de procesamiento de imágenes.

Segundo escenario

En este escenario, se determina si debe adoptarse la reducción de ruido fotogramas múltiples de acuerdo con el brillo del entorno actual. La reducción de ruido de fotogramas múltiples se usa en entornos con poca luz, pero no en entornos con mucha luz. Como se ilustra en la Figura 7, se detecta el brillo del entorno de captura. Cuando el brillo es inferior al umbral predeterminado, indica que el entorno actual tiene poca luz, el sistema controla la cámara primaria y la cámara secundaria para capturar la pluralidad de imágenes primarias y las imágenes secundarias simultáneamente. Se selecciona una de las imágenes primarias de la pluralidad como imagen primaria de referencia, y se selecciona la imagen secundaria de referencia correspondiente a la imagen primaria de referencia (cuando se selecciona la segunda imagen primaria como imagen primaria de referencia, se selecciona la segunda imagen secundaria).

El procesamiento de composición y reducción de ruido se realiza en la pluralidad de imágenes primarias y la imagen compuesta y con reducción de ruido se procesa de acuerdo con la estrategia de procesamiento de imágenes por el primer subproceso para generar la imagen primaria objetivo, y simultáneamente en el segundo subproceso, la información de profundidad de campo se adquiere de acuerdo con la imagen primaria de referencia y la imagen secundaria de referencia, de manera que el procesamiento de composición y reducción de ruido y la adquisición de información de profundidad de campo pueden realizarse de manera sincrónica. La información de profundidad de campo se adquiere mediante el uso la imagen antes del procesamiento de composición de fotogramas múltiples y reducción de ruido, de manera que se garantiza la precisión de la adquisición de la información de profundidad de campo.

Además, como se ilustra en la Figura 7, debido a que el subproceso consume mucho tiempo adquirir la información de profundidad de campo, después del procesamiento de composición y reducción de ruido, la operación de embellecimiento y la operación de aplicación de filtro pueden realizarse en la imagen compuesta y con ruido reducido por el subproceso. Después de que los dos subprocesos completan las operaciones correspondientes, la difuminación del fondo se realiza en la imagen primaria objetivo de acuerdo con la información de profundidad de campo para adquirir la imagen objetivo final. De esta manera, la imagen objetivo final tiene menos puntos de ruido, y puede realizarse el efecto de embellecimiento y aplicación de filtro, de manera que el efecto de la imagen del retrato se mejora en gran medida y la duración del tiempo de procesamiento no aumenta significativamente.

Con el método de procesamiento de imágenes de acuerdo con las modalidades de la presente descripción, la cámara primaria se controla para capturar la pluralidad de imágenes primarias, y simultáneamente la cámara secundaria se controla para capturar la pluralidad de imágenes secundarias. La imagen primaria de referencia se adquiere de la pluralidad de imágenes primarias, y la imagen secundaria de referencia capturada para formar un par de imágenes con la imagen primaria de referencia se adquiere de la pluralidad de imágenes secundarias. El primer subproceso realiza el procesamiento de composición y reducción de ruido en la pluralidad de imágenes primarias y procesa la imagen compuesta y con ruido reducido de acuerdo con la estrategia de procesamiento de imágenes preestablecida para generar la imagen primaria objetivo, simultáneamente el segundo subproceso adquiere la información de profundidad de campo de acuerdo con la imagen primaria de referencia y la imagen secundaria de referencia. La región de fondo de la imagen primaria objetivo se difumina de acuerdo con la información de profundidad de campo. De esta manera, el procesamiento de imágenes se realiza aprovechando al máximo la diferencia de tiempo entre el período de tiempo para adquirir la información de profundidad de campo y el período de tiempo para la composición de fotogramas múltiples y el procesamiento de reducción de ruido en la pluralidad de imágenes primarias, de manera que se mejora la precisión de la información de profundidad de campo adquirida y la eficiencia del procesamiento de imágenes.

Para implementar las modalidades anteriores, la presente descripción proporciona además un aparato de procesamiento de imágenes. La Figura 8 es un diagrama de bloques de un aparato de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción. Como se ilustra en la Figura 8, el aparato de procesamiento de imágenes incluye un módulo de captura 100, un primer módulo de adquisición 200, un segundo módulo de adquisición 300 y un módulo de procesamiento 400.

El módulo de captura 100 se configura para controlar una cámara primaria para capturar una pluralidad de imágenes primarias y para controlar simultáneamente una cámara secundaria para capturar una pluralidad de imágenes secundarias.

En una modalidad, como se ilustra en la Figura 9, con base en la modalidad descrita con referencia a la Figura 8, el módulo de captura 100 incluye una unidad de detección 110 y una unidad de captura 120.

La unidad de detección 110 se configura para detectar el brillo de un entorno de captura.

La unidad de captura 120 se configura para controlar la cámara primaria para capturar la pluralidad de imágenes primarias y para controlar simultáneamente la cámara secundaria para capturar la pluralidad de imágenes secundarias en respuesta a la detección de que el brillo es inferior a un umbral predeterminado.

El primer módulo 200 de adquisición se configura para adquirir una imagen primaria de referencia de la pluralidad de imágenes primarias y para adquirir una imagen secundaria de referencia de la pluralidad de imágenes secundarias, capturando la imagen secundaria de referencia al mismo tiempo cuando se captura la imagen primaria de referencia.

El segundo módulo de adquisición 300 se configura para: realizar el procesamiento de composición y reducción de ruido en la pluralidad de imágenes primarias y procesar la imagen compuesta y con reducción de ruido de acuerdo con una estrategia de procesamiento de imágenes preestablecida por un primer subproceso para generar una imagen primaria objetivo y adquirir simultáneamente información de profundidad de campo con base en la imagen primaria de referencia y la imagen secundaria de referencia por un segundo subproceso.

El módulo de procesamiento 400 se configura para difuminar una región de fondo de la imagen primaria objetivo de acuerdo con la información de profundidad de campo.

En una modalidad, como se ilustra en la Figura 10, con base en la modalidad descrita con referencia a la Figura 8, el aparato puede incluir además un tercer módulo de adquisición 500 y un módulo de configuración 600.

El tercer módulo de adquisición 500 se configura para adquirir un primer período de tiempo para el procesamiento de composición y reducción de ruido realizado por el primer subproceso y para adquirir un segundo período de tiempo para adquirir la información de profundidad de campo por el segundo subproceso.

El módulo de configuración 600 se configura para establecer la estrategia de procesamiento de imágenes de acuerdo con una diferencia entre la primera longitud y la segunda longitud.

La descripción de las modalidades de método mencionadas anteriormente también es aplicable al aparato de acuerdo con las modalidades de la presente descripción, los principios de implementación son similares, que no se describen en la presente descripción.

Los módulos anteriores del aparato de procesamiento de imágenes son meramente ilustrativos. En otras modalidades, el aparato de procesamiento de imágenes puede dividirse en diferentes módulos para implementar todas o parte de las funciones del aparato de procesamiento de imágenes.

Con el aparato de procesamiento de imágenes de acuerdo con las modalidades de la presente descripción, la cámara primaria se controla para capturar la pluralidad de imágenes primarias, y simultáneamente la cámara secundaria se controla para capturar la pluralidad de imágenes secundarias. La imagen primaria de referencia se adquiere de la pluralidad de imágenes primarias, y la imagen secundaria de referencia capturada para formar un par de imágenes con la imagen primaria de referencia se adquiere de la pluralidad de imágenes secundarias. El primer subproceso realiza el procesamiento de composición y reducción de ruido sobre la pluralidad de imágenes primarias y procesa la imagen compuesta y con ruido reducido de acuerdo con la estrategia de procesamiento de imágenes predeterminada para generar la imagen primaria objetivo, simultáneamente el segundo subproceso adquiere la información de profundidad de campo de acuerdo con la imagen primaria de referencia y la imagen secundaria de referencia. La región de fondo de la imagen primaria objetivo se difumina de acuerdo con la información de profundidad de campo. De esta manera, el procesamiento de imágenes se realiza aprovechando al máximo la diferencia de tiempo entre el período de tiempo para adquirir la información de profundidad de campo y el período de tiempo para la composición de fotogramas múltiples y el procesamiento de reducción de ruido en la pluralidad de imágenes primarias, de manera que se mejora la precisión de la información de profundidad de campo adquirida y la eficiencia del procesamiento de imágenes.

Para implementar las modalidades anteriores, la presente descripción proporciona además un dispositivo informático. El dispositivo informático anterior incluye un circuito de procesamiento de imágenes. El circuito de procesamiento de imágenes puede implementarse mediante componentes de soporte físico y/o programas informáticos, que incluyen varias unidades de procesamiento para definir líneas de procesamiento de señales de imágenes (ISP). La Figura 11 es un diagrama esquemático de un circuito de procesamiento de imágenes de acuerdo con una modalidad de la presente descripción. Como se ilustra en la Figura 11, para facilitar la descripción, solo se ilustran aspectos de la tecnología de procesamiento de imágenes relacionados con las modalidades de la presente descripción.

Como se ilustra en la Figura 11, el circuito de procesamiento de imágenes incluye un procesador ISP 1040 y un dispositivo lógico de control 1050. Los datos de imagen capturados por un dispositivo de obtención imágenes 1010 son procesados primero por el procesador ISP 1040. El procesador ISP 1040 analiza los datos de imagen para capturar información estadística de la imagen a determinar y/o uno o más parámetros de control del dispositivo de obtención de imágenes 1010. El dispositivo de obtención de imágenes 1010 puede incluir una cámara que tiene una o más lentes 1012 y un sensor de imágenes 1014. El sensor de imágenes 1014 puede incluir una matriz de filtro de color (tal como el filtro Bayer). El sensor de imágenes 1014 puede adquirir información de intensidad de luz y forma de onda capturada por cada píxel de imagen del sensor de imágenes 1014, y proporcionar un conjunto de datos de imagen originales que puede procesar el procesador ISP 1040. El sensor 1020 proporciona los datos de imagen originales al procesador ISP 1040 con base en un tipo de interfaz del sensor 1020. La interfaz del sensor 1020 puede utilizar una interfaz de arquitectura de obtención de imágenes móvil estándar (SMIA), otras interfaces de cámara en serie o paralelas, o una combinación de las interfaces anteriores.

El procesador ISP 1040 procesa los datos de imagen originales en forma de píxeles de acuerdo con diversas formas. Por ejemplo, cada píxel de imagen puede tener una profundidad de 8, 10, 12 o 14 bits. El procesador ISP 1040 puede realizar una o más operaciones de procesamiento de imágenes en los datos de imagen originales y recopilar información estadística de los datos de imagen. La operación de procesamiento de imágenes puede realizarse con la misma o diferente precisión de profundidad de bits.

El procesador ISP 1040 puede recibir datos de píxeles desde un dispositivo de almacenamiento de imágenes 1030. Por ejemplo, los datos de píxeles originales pueden enviarse al dispositivo de almacenamiento de imágenes 1030 desde la interfaz del sensor 1020. Los datos originales de píxeles en el dispositivo de almacenamiento de imágenes 1030 se proporcionan además al procesador ISP 1040 para su procesamiento. El dispositivo de almacenamiento de imágenes 1030 puede ser parte de una memoria, un dispositivo de almacenamiento o un dispositivo de almacenamiento específico separado en un dispositivo electrónico, y puede incluir un elemento de acceso directo a memoria (DMA).

Al recibir los datos de imagen originales desde la interfaz del sensor 1020 o el dispositivo de almacenamiento de imágenes 1030, el procesador ISP 1040 puede realizar una o más operaciones de procesamiento de imágenes, tal como el filtrado en el dominio de tiempo. Los datos de imagen procesados pueden enviarse al dispositivo de almacenamiento de imágenes 1030, de manera que pueda realizarse un procesamiento adicional antes de la visualización. El procesador ISP 1040 puede recibir los datos procesados del dispositivo de almacenamiento de imágenes 1030, y realizar el procesamiento de datos de imagen en los datos procesados en el dominio original y el espacio de color de RGB e YCbCr. Los datos de imagen procesados pueden enviarse a la pantalla 1070 para que los vea un usuario y/o procesarse posteriormente mediante una unidad de procesamiento gráfico (GPU). Además, la salida del procesador iSp 1040 puede enviarse adicionalmente al dispositivo de almacenamiento de imágenes 1030, y la pantalla 1070 puede leer los datos de imagen del dispositivo de almacenamiento de imágenes 1030. En una modalidad, el dispositivo de almacenamiento de imágenes 1030 puede configurarse para implementar una o más memorias intermedias de cuadros. Además, la salida del procesador ISP 1040 puede enviarse a un codificador/decodificador 1060 para ser codificada/decodificada. Los datos de imagen codificados pueden almacenarse y decodificarse antes de mostrarse en la pantalla 1070. El codificador/decodificador 1060 puede implementarse mediante la CPU o GPU o coprocesador.

Los datos estadísticos determinados por el procesador ISP 1040 pueden enviarse al dispositivo lógico de control 1050. Por ejemplo, los datos estadísticos pueden incluir información estadística del sensor de imágenes 1040 sometido a exposición automática, balance de blancos automático, enfoque automático, detección de centelleo, compensación de nivel de negro y corrección de sombreado de la lente 1012. El dispositivo lógico de control 1050 puede incluir un procesador y un microcontrolador para ejecutar una o más rutinas (microprograma). Una o más rutinas pueden determinar los parámetros de control del dispositivo de imágenes 1010 de acuerdo con los datos estadísticos recibidos. Por ejemplo, los parámetros de control pueden incluir parámetros de control del sensor 1020 (como ganancia, tiempo integral de control de exposición), parámetros de control de flash de la cámara, parámetros de control de la lente 1012 (tal como enfoque o zoom de la longitud de enfoque) o una combinación de estos parámetros de control. Los parámetros de control del ISP pueden incluir un nivel de ganancia y una matriz de corrección de color para el balance de blancos automático y el ajuste de color (por ejemplo, durante el procesamiento RGB), y un parámetro de corrección de sombreado de la lente 1012.

La tecnología de procesamiento de imágenes de la Figura 11 puede usarse para implementar el método de procesamiento de imágenes que incluye: controlar una cámara primaria para capturar una pluralidad de imágenes primarias y controlar simultáneamente una cámara secundaria para capturar una pluralidad de imágenes secundarias; adquirir una imagen primaria de referencia de la pluralidad de imágenes primarias y adquirir una imagen secundaria de referencia de la pluralidad de imágenes secundarias, capturando la imagen secundaria de referencia y la imagen primaria de referencia de manera asociativa y formando un par de imágenes; realizar un procesamiento de composición y reducción de ruido en la pluralidad de imágenes primarias mediante un primer subproceso para generar una imagen compuesta y con reducción de ruido y procesar la imagen compuesta y con reducción de ruido de acuerdo con una estrategia de procesamiento de imágenes preestablecida para generar una imagen primaria objetivo y simultáneamente adquirir información de profundidad de campo con base en la imagen primaria de referencia y la imagen secundaria de referencia por un segundo subproceso; y difuminar una región de fondo de la imagen primaria objetivo de acuerdo con la información de profundidad de campo.

Para implementar las modalidades anteriores, la presente descripción proporciona además un medio de almacenamiento legible por ordenador no transitorio. Cuando un procesador ejecuta las instrucciones en el medio de almacenamiento, se hace que el procesador realice el método de procesamiento de imágenes.

La referencia a lo largo de esta descripción a "una modalidad", "algunas modalidades", "un ejemplo", "un ejemplo específico" o "algunos ejemplos" significa que una característica, estructura, material o elemento particular descrito en relación con la modalidad o ejemplo se incluye en al menos una modalidad o ejemplo de la presente descripción. En esta descripción, las descripciones ilustrativas de los términos antes mencionados no se refieren necesariamente a la misma modalidad o ejemplo. Además, las características, estructuras, materiales o elementos particulares pueden combinarse de cualquier manera adecuada en una o más modalidades o ejemplos. Además, los expertos en la materia podrían combinar diferentes modalidades o diferentes características en modalidades o ejemplos descritos en la presente descripción.

Además, los términos "primero" y "segundo" solo se usan para la descripción y no pueden verse como indicativos o implicados de importancia relativa o indicando o implicando el número de las características técnicas indicadas. Por lo tanto, las características definidas con "primero" y "segundo" pueden comprender o implicar al menos una de estas características. En la descripción de la presente descripción, "una pluralidad de" significa dos o más de dos, a menos que se especifique de cualquier otra manera.

Puede entenderse que cualquier proceso o método descrito en un diagrama de flujo o descrito en la presente descripción de otras maneras incluye uno o más módulos, segmentos o porciones de códigos de instrucciones ejecutables para lograr funciones o etapas lógicas específicas en el proceso, y el alcance de una modalidad preferida de la presente descripción incluye otras implementaciones, en donde el orden de ejecución puede diferir del que se describe o discute, que incluye de acuerdo con la función involucrada, la ejecución simultánea o con la concurrencia parcial o en el orden contrario para realizar la función, lo que debe entenderse por los expertos en la técnica.

La lógica y/o etapa descrita de otras maneras en la presente descripción o mostrada en el diagrama de flujo, por ejemplo, una tabla de secuencia particular de instrucciones ejecutables para realizar la función lógica, puede conseguirse específicamente en cualquier medio legible por ordenador para usarse por el sistema, dispositivo o equipo de ejecución de instrucciones (tal como el sistema con base en ordenadores, el sistema que comprende procesadores u otros sistemas capaces de adquirir la instrucción del sistema, dispositivo y equipo de ejecución de instrucciones y ejecutar la instrucción), o para usarse en combinación con el sistema, dispositivo y equipo de ejecución de instrucciones. En cuanto a la descripción, "el medio legible por ordenador" puede ser cualquier dispositivo adaptable para incluir, almacenar, comunicar, propagar o transferir programas para su uso por o en combinación con el sistema, dispositivo o equipo de ejecución de instrucciones. Ejemplos más específicos del medio legible por ordenador comprenden, pero no se limitan a: una conexión electrónica (un dispositivo electrónico) con uno o más cables, una caja de ordenador portátil (un dispositivo magnético), una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), una memoria de solo lectura programable y borrable (EPROM o memoria flash), un dispositivo de fibra óptica y una memoria de solo lectura de disco compacto portátil (CDROM). Además, el medio legible por ordenador puede ser incluso un papel u otro medio apropiado capaz de imprimir programas sobre el mismo, esto es porque, por ejemplo, el papel u otro medio apropiado puede escanearse ópticamente y luego editarse, descifrarse o procesarse con otros métodos apropiados cuando sea necesario para obtener los programas de manera eléctrica, y luego los programas pueden almacenarse en las memorias del ordenador.

Debe entenderse que cada parte de la presente descripción puede realizarse mediante soporte físico, programa informático, microprograma o su combinación. En las modalidades anteriores, el programa informático o microprograma almacenado en la memoria puede ejecutar una pluralidad de etapas o métodos y ejecutarlos mediante el sistema de ejecución de instrucciones apropiado. Por ejemplo, si se realiza mediante el soporte informático, del mismo modo en otra modalidad, las etapas o métodos pueden realizarse mediante una o una combinación de las siguientes técnicas conocidas en la técnica: un circuito lógico discreto que tiene un circuito de puerta lógica para realizar una función lógica de una señal de datos, un circuito integrado de aplicación específica que tiene un circuito de puerta lógica de combinación apropiada, una matriz de puertas programables (PGA), una matriz de puertas programables en campo (FPGA), etc.

Los expertos en la técnica comprenderán que todos o parte de las etapas en el método de ejemplo anterior para la presente descripción pueden lograrse ordenando al soporte físico relacionado con programas, los programas pueden almacenarse en un medio de almacenamiento legible por ordenador y los programas comprenden una o una combinación de las etapas en las modalidades del método de la presente descripción cuando se ejecuta en un ordenador.

Además, cada celda de función de las modalidades de la presente descripción puede integrarse en un módulo de procesamiento, o estas celdas pueden ser una existencia física separada, o dos o más celdas están integradas en un módulo de procesamiento. El módulo integrado puede realizarse en una forma de soporte físico o en una forma de módulos de función de programa informático. Cuando el módulo integrado se realiza en forma de módulo de función de programa informático y se vende o utiliza como un producto independiente, el módulo integrado puede almacenarse en un medio de almacenamiento legible por ordenador.

El medio de almacenamiento mencionado anteriormente puede ser memorias de solo lectura, discos magnéticos, CD, etc.

Claims (1)

1. REIVINDICACIONES

   i. Un método de procesamiento de imágenes, que comprende:

   controlar (101) una primera cámara para capturar una pluralidad de primeras imágenes (11, 12, 13, 14) y controlar una segunda cámara para capturar una pluralidad de segundas imágenes (21, 22, 23, 24), cuando un brillo de un entorno de captura es inferior a un umbral predeterminado;

   en donde el método de procesamiento de imágenes comprende, además: adquirir (102) una primera imagen de referencia (12) a partir de la pluralidad de primeras imágenes (11, 12, 13, 14) y adquirir una segunda imagen de referencia (22) de la pluralidad de segundas imágenes (21,22, 23, 24), la segunda imagen de referencia (22) y la primera imagen de referencia (12) se capturan de manera asociativa y forman un par de imágenes;

   realizar (103) el procesamiento de composición y reducción de ruido en la pluralidad de primeras imágenes (11, 12, 13, 14) por un primer subproceso para generar una imagen compuesta y con ruido reducido y procesar la imagen compuesta y con reducción de ruido de acuerdo con una estrategia de procesamiento de imágenes preestablecida para generar una imagen objetivo, y adquirir información de profundidad de campo con base en la primera imagen de referencia (12) y la segunda imagen de referencia (22) por un segundo subproceso; y

   difuminar (104) una región de fondo de la imagen objetivo de acuerdo con la información de profundidad de campo.

   2. El método de acuerdo con la reivindicación 1, en donde adquirir (102) la primera imagen de referencia (12) a partir de la pluralidad de primeras imágenes (11, 12, 13, 14) y adquirir la segunda imagen de referencia (22) a partir de la pluralidad de segundas imágenes (21,22, 23, 24) comprende:

   seleccionar un conjunto de primeras imágenes de la pluralidad de primeras imágenes (11, 12, 13, 14), cada primera imagen en el conjunto de primeras imágenes que tiene una definición mayor que una definición predeterminada;

   seleccionar un conjunto de segundas imágenes de la pluralidad de segundas imágenes (21, 22, 23, 24), cada segunda imagen en el conjunto de segundas imágenes que forma el par de imágenes con una primera imagen respectiva en el conjunto de primeras imágenes; y

   seleccionar la primera imagen de referencia (12) del conjunto de primeras imágenes y seleccionar la segunda imagen de referencia (22) desde el conjunto de segundas imágenes.

   3. El método de acuerdo con la reivindicación 1 o 2, en donde realizar (103) el procesamiento de composición y reducción de ruido en la pluralidad de primeras imágenes (11, 12, 13, 14) por el primer subproceso para generar la imagen compuesta y con reducción de ruido comprende:

   leer valores de un píxel correspondiente a una misma posición en la pluralidad de primeras imágenes (11, 12, 13, 14);

   calcular un valor promedio de los valores; y determinar el valor promedio como un valor del píxel correspondiente a la misma posición en la imagen compuesta y con reducción de ruido.

   4. El método de acuerdo con cualquiera de las reivindicaciones 1 a 3, en donde difuminar (104) una región de fondo de la imagen objetivo de acuerdo con la información de profundidad de campo comprende:

   adquirir una primera profundidad de campo de una región de primer plano y una segunda profundidad de campo de la región de fondo;

   generar un grado de difuminación de acuerdo con la primera profundidad de campo y la segunda profundidad de campo; y

   difuminar la región de fondo de la imagen objetivo de acuerdo con el grado de difuminación.

   5. El método de acuerdo con la reivindicación 4, en donde la adquisición de la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo comprende:

   adquirir parámetros de captura; y determinar la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo de acuerdo con las fórmulas y los parámetros de captura; o

   adquirir un mapa de profundidad de campo de un área de obtención de imágenes más allá del área de enfoque de acuerdo con los datos de las imágenes capturadas actuales adquiridas por la primera y la segunda cámara; y determinar la primera profundidad de campo de la región de primer plano y la segunda profundidad de campo de la región de fondo de acuerdo con el mapa de profundidad de campo.

   6. El método de acuerdo con la reivindicación 4, en donde la difuminación de la región de fondo de la imagen objetivo de acuerdo con el grado de difuminación comprende:

   adquirir un coeficiente de difuminación de cada píxel en la región de fondo de la imagen objetivo de acuerdo con el grado de difuminación y

   la profundidad de campo del píxel; y difuminar la región de fondo de la imagen objetivo de acuerdo con el coeficiente de difuminación de cada píxel.

   7 El método de acuerdo cualquiera de las reivindicaciones 1 a 6, que comprende, además:

   adquirir (201) un primer período de tiempo para el procesamiento de composición y reducción de ruido realizado por el primer subproceso y adquirir un segundo período de tiempo para adquirir la información de profundidad de campo por el segundo subproceso; y

   establecer (202) la estrategia de procesamiento de imágenes de acuerdo con una diferencia entre el primer período de tiempo y el segundo período de tiempo.

   8. Un dispositivo informático, que comprende una memoria, un procesador y un programa informático almacenado en la memoria y ejecutable en el procesador, en donde cuando el procesador ejecuta el programa informático, se hace que el procesador realice el método de procesamiento de imágenes de acuerdo con cualquiera de las reivindicaciones 1 a 7.