ES3013293T3

ES3013293T3 - Image fusion method and apparatus, storage medium, and electronic device

Info

Publication number: ES3013293T3
Application number: ES20879013T
Authority: ES
Inventors: Yanan Zhang
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2019-10-21
Filing date: 2020-04-27
Publication date: 2025-04-11
Anticipated expiration: 2040-04-27
Also published as: PL4050558T3; CN112767289A; US20220292658A1; HUE071143T2; US12198301B2; WO2021077706A1; EP4050558A1; CN112767289B; EP4050558A4; EP4050558C0; EP4050558B1

Abstract

En las realizaciones de la presente solicitud se describen un método y un aparato de fusión de imágenes, un medio de almacenamiento y un dispositivo electrónico. El método comprende: obtener una imagen de luz visible y una imagen infrarroja para su fusión; separar la luminancia y la crominancia de la imagen de luz visible para extraer los componentes de luminancia y crominancia; fusionar la luminancia de los componentes de luminancia de la imagen de luz visible y la imagen infrarroja para obtener el resultado de la fusión de luminancia; y reconstruir la imagen según el resultado de la fusión de luminancia y el componente de crominancia de la imagen de luz visible para obtener la imagen fusionada. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método y aparato de fusión de imágenes, medio de almacenamiento y dispositivo electrónico

CAMPO TÉCNICO

La presente solicitud se refiere al campo de las tecnologías de procesamiento de imágenes, por ejemplo, un método y aparato de fusión de imágenes, un medio de almacenamiento y un dispositivo electrónico.

ANTECEDENTES

La fusión de imágenes se refiere a que se recopilan datos de imagen del mismo objetivo por canales multifuente, se extrae al máximo la información favorable de cada canal a través de procesamiento de imágenes y tecnologías informáticas, y finalmente se sintetiza una imagen de alta calidad. De esta manera, se mejora la tasa de utilización de la información de imagen, se mejoran la precisión y la fiabilidad de la interpretación informática, y se mejoran la resolución espacial y la resolución espectral de la imagen original, lo que favorece la monitorización.

La mayoría de las técnicas de fusión de imágenes de la técnica relacionada son la simple fusión de las imágenes fuente, y rara vez se considera la inconsistencia de las imágenes fuente en la luminancia o la estructura, lo que da como resultado distorsión de color, borrosidad de bordes o ruido obvio de la imagen fusionada.

La patente europea EP2309449A1 describe un método para producir una imagen suavizada a todo color combinando capas descompuestas de imágenes NIR (de infrarrojo cercano, por sus siglas en inglés) y visibles. Implica desplazar globalmente el valor medio de la imagen NIR hacia el de la visible y después estirar el histograma de la imagen NIR desplazada dando un punto negro y un punto blanco.

La patente china "CN107945149A" describe un método antihalo para coches que mejora la transformación IHS-Curvelet para fusionar imágenes de luz visible y de infrarrojos para resolver el problema del halo en los coches por la noche. La solución técnica incluye: recopilar imágenes de luz visible y de infrarrojos de las condiciones de la carretera delante del coche por la noche; filtrar y eliminar el ruido de las dos imágenes; usar la imagen de infrarrojos como imagen de referencia para registrar la imagen de luz visible; convertir la imagen de luz visible al espacio de color IHS para obtener la luminosidad I( i n t e n s i t yen inglés), hay tres componentes de tono H( h u een inglés) y saturación S( s a t u r a t io nen inglés); se descomponen por curvelet la componente de luminosidad I y la imagen de infrarrojos mejorada para obtener sus respectivos coeficientes de alta y baja frecuencia; se usa la estrategia de ajuste automático de pesos diseñada para fusionar los coeficientes de baja frecuencia; se usa la estrategia del mayor módulo para fusionar los coeficientes de alta frecuencia; se lleva a cabo la reconstrucción de curvelet en los coeficientes de alta y baja frecuencia fusionados para obtener una nueva componente de señal de luminosidad I'; I' se combina con el tono H y la saturación S originales para llevar a cabo la transformación inversa IHS para obtener la imagen fusionada final. La invención elimina información de halo de alta luminosidad y mejora eficazmente la claridad de la imagen.

La patente de EE.UU. US20180330473A1 describe un método que incluye: recibir una imagen de referencia (p. ej., una imagen de luz visible) de una escena que comprende píxeles de imagen identificados por coordenadas de píxeles; recibir una imagen objetivo de menor resolución (p. ej., una imagen de infrarrojos) de la escena; redimensionar la imagen objetivo a un tamaño mayor; determinar una vecindad de forma adaptativa para cada coordenada de píxel, en donde la vecindad de forma adaptativa se extiende desde cada coordenada de píxel de manera que aquellos píxeles de la imagen de referencia que estén dentro de la vecindad de forma adaptativa cumplan una condición de regularidad; determinar, para cada vecindad de forma adaptativa, una estimación local basada en aquellos píxeles de la imagen objetivo que estén dentro de la vecindad de forma adaptativa; y agregar las estimaciones locales asociadas con las vecindades de forma adaptativa para proporcionar una estimación global que corresponda a la imagen objetivo con una resolución mejorada. También se describe un sistema configurado para llevar a cabo dicho método.

El documento XP93090706 ("Image Fusion: Spatial-domain filtering techniques dictate low-light visible and IR imagefusion performance I Laser Focus World", 1 April 2019) describe una imagen de alta calidad de las imágenes capturadas en las condiciones de baja iluminación. Este documento idea un método rápido de fusión de imágenes que usa FFT para la fusión de capas de detalle y el método de eliminación de ruido BM3D.

La patente de EE. UU. US2019318463A1 describe un sistema y un método para la fusión de imágenes. El método puede comprender: obtener una imagen de luz visible y una imagen de infrarrojos relacionadas con una misma escena; llevar a cabo una primera descomposición en la imagen de luz visible para obtener una primera componente de alta frecuencia de la imagen de luz visible y una primera componente de baja frecuencia de la imagen de luz visible; llevar a cabo una primera descomposición en la imagen de infrarrojos para obtener una primera componente de alta frecuencia de la imagen de infrarrojos y una primera componente de baja frecuencia de la imagen de infrarrojos; fusionar la primera componente de alta frecuencia de la imagen de luz visible y la primera componente de alta frecuencia de la imagen de infrarrojos basándose en un primer algoritmo para generar una primera componente fusionada de alta frecuencia; y llevar a cabo la reconstrucción basándose en la primera componente fusionada de alta frecuencia, la primera componente de baja frecuencia de la imagen de luz visible y la primera componente de baja frecuencia de la imagen de infrarrojos para generar una imagen fusionada.

El documento XP033157176 (YADAV SUSHMITA ET AL: "Modified layer based infrared and noisy image fusion", 20174TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING AND INTEGRATED NETWORKS (SPIN), IEEE, 2 February 2017) describe que las técnicas de filtrado en el dominio espacial determinan el rendimiento de la fusión de imágenes visibles de baja iluminación e IR.

COMPENDIO

La presente invención se define por las reivindicaciones independientes. Las reivindicaciones dependientes definen realizaciones ventajosas.

Otros aspectos de la presente invención serán evidentes a partir de la siguiente descripción con referencia a los dibujos adjuntos.

Breve descripción de los dibujos

La FIG. 1 es un diagrama de flujo de un método de fusión de imágenes según una realización de la presente solicitud;

la FIG. 2 es un diagrama esquemático de un flujo de fusión de imágenes según una realización de la presente solicitud;

la FIG. 3 es un diagrama esquemático de un flujo de fusión de luminancia según una realización de la presente solicitud;

la FIG. 4 es un diagrama estructural de un aparato de fusión de imágenes según una realización de la presente solicitud; y

la FIG. 5 es un diagrama estructural de un dispositivo electrónico según una realización de la presente solicitud.

DESCRIPCIÓN DETALLADA

La presente solicitud se describe de aquí en adelante junto con dibujos y realizaciones. Las realizaciones descritas en la presente memoria pretenden explicar y no limitar la presente solicitud. Además, para facilitar la descripción, solo se ilustran en los dibujos parte de las estructuras relacionadas con la presente solicitud, no todas.

Antes de analizar las realizaciones ejemplares, debe observarse que algunas de las realizaciones ejemplares se describen como procesamiento o métodos representados en diagramas de flujo. Aunque los diagramas de flujo describen múltiples etapas como procesadas secuencialmente, muchas de las etapas pueden implementarse de manera concurrente, coincidente o simultáneamente. Adicionalmente, la secuencia de las múltiples etapas puede reorganizarse. El procesamiento puede terminarse cuando se completan las operaciones, pero el procesamiento puede tener además etapas adicionales que no se incluyan en los dibujos. El procesamiento puede corresponder a un método, una función, un método, una subrutina, un subprograma, etc.

La FIG. 1 es un diagrama de flujo de un método de fusión de imágenes según una realización de la presente solicitud. La realización puede aplicarse al caso de fusionar una imagen de luz visible y una imagen de infrarrojos. El método puede ejecutarse mediante un aparato de fusión de imágenes proporcionado por una realización de la presente solicitud. El aparato puede implementarse por medio de software y/o hardware y puede integrarse en un dispositivo electrónico tal como un terminal inteligente.

Como se muestra en la FIG. 1, el método de fusión de imágenes incluye las etapas descritas a continuación.

En la E110, se adquieren una imagen de luz visible y una imagen de infrarrojos que se van a fusionar.

En una realización, la imagen de luz visible y la imagen de infrarrojos que se van a fusionar pueden ser imágenes adquiridas para el mismo objetivo. Por ejemplo, la imagen de luz visible y la imagen de infrarrojos del objetivo se adquieren activando una cámara de luz visible y una cámara de infrarrojos simultánea y respectivamente. La imagen de infrarrojos y la imagen de luz visible pueden adquirirse suplementando el objetivo con luz. Por ejemplo, en el caso de adquirir la imagen de infrarrojos, se adopta un iluminador de infrarrojos para suplementar el objetivo con luz. La imagen de luz visible también puede ser una imagen obtenida mediante iluminación suplementaria.

En la E120, se lleva a cabo la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia.

En una realización, la separación de luminancia y crominancia se refiere principalmente a separar la componente de luminancia y la componente de crominancia de la imagen de luz visible. Por ejemplo, el formato original de la imagen de luz visible es YCrCb (YUV), y puede extraerse una componente Y de la imagen YUV como la componente de luminancia de la imagen de luz visible y una componente<u>V como la componente de crominancia de la imagen de luz visible. Alternativamente, el formato original de la imagen de luz visible es Tono, Saturación, Valor (HSV, por sus siglas en inglés), y puede extraerse una componente V de la imagen HSV como la componente de luminancia de la imagen de luz visible y una componente HS como la componente de crominancia de la imagen de luz visible. En una realización, si el formato original de la imagen de luz visible es rojo, verde, azul (RGB, por sus siglas en inglés), la imagen RGB puede convertirse en una imagen de los espacios de color YUV, HSV u otros espacios de color personalizados para la separación de la componente de luminancia y la componente de crominancia.

En la E130, se lleva a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias.

En una realización, después de llevar a cabo la separación de luminancia y crominancia en la imagen de luz visible, se lleva a cabo la fusión de luminancias en el componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener el resultado de la fusión de luminancias. De esta manera, la componente de luminancia fusionada no sólo tiene la relación señal-ruido y el contraste relativamente altos, sino que también mantiene más detalles de los bordes.

En una realización, la etapa en la que se lleva a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener el resultado de la fusión de luminancias incluye las etapas descritas a continuación. Se corrige la imagen de infrarrojos según el componente de luminancia de la imagen de luz visible para obtener una imagen de infrarrojos corregida. Se lleva a cabo la descomposición en capas de las imágenes en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos corregida, respectivamente, y se lleva a cabo la fusión correspondiente en las múltiples capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y en las múltiples capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen. Los resultados de la fusión correspondiente de las múltiples capas se superponen para obtener el resultado de la fusión de luminancias.

En una realización, se corrige la imagen de infrarrojos según la componente de luminancia de la imagen de luz visible para obtener la imagen de infrarrojos corregida. La información de luminancia de la imagen de infrarrojos se corrige principalmente según la información de luminancia de la imagen de luz visible para eliminar la inconsistencia entre la imagen de luz visible y la imagen de infrarrojos en la luminancia y/o la estructura, evitando así problemas de distorsión de color, pérdida de detalle y pseudobordes causados por la fusión directa. En una realización, se incluyen varias maneras de corrección descritas a continuación.

La primera manera solo considera la inconsistencia en la luminancia. Por ejemplo, en una escena de baja iluminancia por la noche, la luminancia de una imagen de luz visible es relativamente baja, mientras que la luminancia de una imagen de infrarrojos es relativamente alta debido a la iluminación suplementaria infrarroja, pero existe sobreexposición de luminancia en áreas tales como la placa de matrícula. Por tanto, la fusión directa puede conducir a distorsión de color y otros problemas, y se considera la corrección de luminancia para la imagen de infrarrojos. En una realización, se puede usar una manera de mapeo global para llevar a cabo la corrección de luminancia en la imagen de infrarrojos. Por ejemplo, se puede adoptar un método de coincidencia de histogramas, y el histograma de luminancia de la imagen de luz visible se toma como un histograma de coincidencia para corregir la luminancia de infrarrojos; y también se puede tener en cuenta el valor promedio de la luminancia de la imagen de luz visible, y entonces se lleva a cabo un mapeo lineal en la luminancia de infrarrojos. Además de la corrección de mapeo global, la luminancia de infrarrojos también puede corregirse localmente según información tal como la luminancia o contraste locales de la componente de luminancia de la luz visible.

La segunda manera solo considera la inconsistencia en la estructura. Además de la inconsistencia en la luminancia, también existe la inconsistencia en la estructura entre la imagen de luz visible y la imagen de infrarrojos debida a la diferencia en las características de reflexión. Por ejemplo, se pierde la información de la placa de matrícula en la imagen de infrarrojos. La corrección en la estructura de la luminancia de infrarrojos puede evitar la pérdida de detalle de esta región debida a la fusión. En este caso, se puede usar un algoritmo de filtrado conjunto, tal como filtrado guiado, filtrado por mínimos cuadrados ponderados (WLS, por sus siglas en inglés) o filtrado bilateral conjunto, para llevar a cabo la corrección, se lleva a cabo una operación de filtrado en la imagen de infrarrojos tomando información de los bordes de la imagen de luz visible como referencia, y la imagen de luminancia de infrarrojos filtrada tiene los mismos detalles de los bordes que la imagen de luz visible. También se pueden usar métodos de no filtrado tales como matizado suave para eliminar la inconsistencia en la estructura de los bordes.

En la realización, la luminancia de infrarrojos, la imagen de luminancia de infrarrojos y la imagen de infrarrojos tienen el mismo significado.

Puede verse que las dos maneras anteriores pueden usarse respectivamente para corregir la imagen de infrarrojos, o las dos maneras anteriores pueden usarse simultáneamente para corregir la imagen de infrarrojos, para lograr el efecto de fusión de restringir la estructura de pseudobordes, color real y detalles completos. Lo anterior es el proceso de corrección de la imagen de infrarrojos. Después de que se complete la corrección, se lleva a cabo la descomposición en capas de las imágenes en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos corregida, respectivamente, y se lleva a cabo la fusión correspondiente en las múltiples capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y en las múltiples capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen. Los resultados de la fusión correspondiente de las múltiples capas se superponen para obtener el resultado de la fusión de luminancias. Mediante la corrección de la imagen de infrarrojos, se pueden evitar la distorsión de color después de la fusión directa causada por la sobreexposición de la imagen de infrarrojos y la diferencia de estructuras.

Basándose en la solución técnica anterior, opcionalmente, la etapa en la que la imagen de infrarrojos se corrige según la componente de luminancia de la imagen de luz visible para obtener la imagen de infrarrojos corregida incluye las etapas descritas a continuación. Se determina la posición de un píxel de referencia de la componente de luminancia de la imagen de luz visible según la posición de cada píxel en la imagen de infrarrojos. El resultado de la corrección de luminancia de cada píxel se determina según un bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro y un bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro. Se recorren todos los píxeles de la imagen de infrarrojos para obtener la imagen de infrarrojos corregida.

Basándose en la solución técnica anterior, opcionalmente, la etapa en la que se determina el resultado de la corrección de luminancia de cada píxel según el bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro y el bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro incluye que el resultado de la corrección de luminancia de cada píxel se determina adoptando la siguiente fórmula:

E'(0 = íE(0«,(i) «,(2)

Y<¡r>'(/) representa el resultado de la corrección de luminancia de cada píxel, Y<vis>(/) representa un valor de luminancia del píxel de referencia, y a(1) y a(2) representan un primer valor numérico y un segundo valor numérico de una matriza/.

Arepresenta un parámetro de regularización preestablecido, W representa una matriz de pesos preestablecida, y Q, representa una matriz formada por valores de luminancia de múltiples píxeles dentro del bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro y un valor numérico 1;0VlTrepresenta una matriz transpuesta deQ ;p/ representa una matriz formada por valores de luminancia de los píxeles en el bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro; / representa una matriz de/yfl

identidad;¡representa un factor de contraste local formado por una relación de un valor de luminancia de cada píxel a un valor promedio de los valores de luminancia de los múltiples píxeles dentro del bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro; y R2*1 representa un espacio lineal formado por todas las matrices 2x1 sobre el cuerpo R de los números reales.

En una realización, para ilustración, puede usarse la tercera manera de corrección de la imagen de infrarrojos.

La tercera manera considera la inconsistencia en la luminancia y la estructura simultáneamente. Se da aquí una realización, y se describen las etapas de implementación a continuación.

Para cualquier píxel i de la imagen de luminancia de infrarrojos, la fórmula de conversión es la siguiente:

p / = R /Y v /s , R i eRm2xN,<p>¡ e Rm2x1,p /representa un vector compuesto por los valores de luminancia de los píxeles del bloque de vecindad con el píxel i como centro en la imagen de luminancia de luz visibleYv/s, R ¡representa una transformación lineal, y N representa la dimensión deYv/s.El alcance del bloque de vecindad es de m*m, y el valor de m puede ser 3, 5, etc., y el alcance del bloque de vecindad también puede ser un alcance mayor con el píxel i como centro. i:,Q ie Rm2x2,Q irepresenta una matriz compuesta por los valores de luminancia de losY apíxeles del bloque de vecindad con el píxel i como centro en una imagen de luminancia de infrarrojos original¡ry vectores de columna con todos los elementos 1.

W i eR1*™2 yW irepresenta una matriz de pesos preestablecida. El peso está determinado por la distancia entre un píxel de un bloque de vecindad y el píxel i, y cuanto mayor es la distancia, menor es el peso.

yrepresenta un vector compuesto por un factor de contraste local y 0.

Arepresenta un parámetro de regularización preestablecido. Cuanto menor es el valor, más cerca está la imagen de luminancia de infrarrojos corregida de la imagen de luz visible, y menor es el grado de inconsistencia. Cuanto mayor es el valor deA ,más cerca está la imagen de luminancia de infrarrojos corregida de la imagen de luminancia de infrarrojos original, y más altos son la relación señal-ruido y el contraste. El valor deApuede ajustarse según escenas reales. La fórmula óptima anterior tiene una solución analítica en la siguiente forma:

Se puede obtener una matriz or¡ de dos filas y una columna, y la luminancia del píxel i de la imagen Y¡r de infrarrojos corregida se calcula como se indica a continuación:

E ( 0 - E , 0 K ( i ) « ;(2)

a/(1) representa el valor numérico de la primera fila de la matriza ,a(2) representa el valor numérico de la segunda fila de la matriz a, Y<ir>(i) representa la luminancia del píxel i de la imagen Y<ir>de infrarrojos corregida y Y<vis>(i) representa la luminancia del píxel i de la imagen Y<vis>de luz visible.

Se recorren todos los píxeles de toda la imagen de infrarrojos, se repiten las etapas de cálculo anteriores y entonces se puede obtener la imagen de infrarrojos corregida.

En la realización, opcionalmente, la etapa en la que se lleva a cabo la descomposición en capas de las imágenes en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos corregida, respectivamente, y se lleva a cabo la fusión correspondiente en las múltiples capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y en las múltiples capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen incluye las etapas descritas a continuación. La componente de luminancia de la imagen de luz visible se separa en una capa base de luminancia de luz visible y una capa de detalle de luminancia de luz visible, y la imagen de infrarrojos corregida se separa en una capa base de la imagen de infrarrojos y una capa de detalle de la imagen de infrarrojos. La capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos se fusionan, y la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos se fusionan. En una realización, se pueden obtener dos capas o más capas mediante descomposición en capas de las imágenes, y cada capa se fusiona. En este caso, se toma para ilustración que se obtienen una capa base y una capa de detalle mediante descomposición en capas de las imágenes. En la realización, la capa base y la capa de detalle de la imagen de luminancia de luz visible y la capa base y la capa de detalle de la imagen de luminancia de infrarrojos corregida se obtienen principalmente por descomposición en capas de las imágenes. Por ejemplo, se pueden usar métodos de descomposición multiescala, tales como una transformada de wavelet, una pirámide gaussiana, una pirámide laplaciana y similares, y también se pueden usar algoritmos de filtrado para lograr la descomposición de la luminancia en capas de la imagen. Se puede utilizar un algoritmo de filtrado lineal, tal como filtrado de la media, filtrado gaussiano y similares. Este método de filtrado tiene las ventajas de principios simples, baja complejidad de cálculo y excelente rendimiento, y puede lograr rápidamente el suavizado de la imagen de luminancia. También se puede utilizar el algoritmo de filtrado no lineal, tal como filtrado de la mediana, filtrado de la media no local y filtrado bilateral y otros algoritmos de filtrado de preservación de bordes. Este método de filtrado puede proteger la información de los bordes de la imagen mientras elimina pequeños detalles de ruido o textura, pero tiene una complejidad relativamente alta. Se toma como ejemplo que la imagen de luminancia de luz visibleYvisse separa en capas mediante filtrado de la media, y se describen las etapas de implementación a continuación.

Se lleva a cabo el filtrado de la media en la imagen de luminancia de luz visibleYvis:

wrepresenta una plantilla de filtrado de la media, Q/ representa una ventana de filtrado de la media con el píxel i como centro, * representa una operación de convolución, yYv¡s_base(i)representa la luminancia del píxel i de la capa baseYvis_<base>de luminancia de luz visible.

En este momento, puede obtenerse la capa de detalle de luminancia de luz visible mediante la siguiente fórmula:

y *d-co=uo-n,^ (o.

Yv¡s_det(i)representa la luminancia del píxel i de la capaYvis_detde detalle de luminancia de luz visible, yY v s ( i)representa la luminancia del píxel i de la imagenYv¡sde luz visible. De manera correspondiente, también puede llevarse a cabo una operación de descomposición de luminancia en la imagen de infrarrojos corregida mediante el método anterior.

Mediante esta manera de descomposición, cada capa se fusiona, por lo que se puede mejorar el efecto de fusión de la imagen y se puede obtener una imagen más precisa.

En una realización, la etapa en la que la capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos se fusionan incluye las etapas descritas a continuación. Se determinan una matriz de prominencia de regiones de la capa base de luminancia de luz visible y una matriz de prominencia de regiones de la capa base de laj A

imagen de infrarrojos a través de filtrado de paso alto y se determinan un primer peso™de la capa base de luminancia de luz visible y un primer pesoB,"de la capa base de la imagen de infrarrojos según las matrices de prominencia de regiones. Se determinan un segundo pesoB L™ de la capa base de luminancia de luz visible y un segundo peso, b»:de la capa base de la imagen de infrarrojos según un valor de luminancia óptimo preestablecido. Se determina un peso de fusión de la capa base de luminancia de luz visible según el primer peso « de la capa base de luminancia de luz visible y el segundo peso w de la capa base de luminancia de luz visible; y se determina un peso de fusión de la capa base de la imagen de infrarrojos según el primer peso<z?>"<1>de la capa base de la imagen de infrarrojos y el segundo pesoTi"'de la capa base de la imagen de infrarrojos. Se fusionan la capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos según el peso de fusión de la capa base de luminancia de luz visible y el peso de fusión de la capa base de la imagen de infrarrojos. En una realización, la capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos se fusionan principalmente en base a criterios objetivos tales como la prominencia de regiones y criterios subjetivos tales como un mejor efecto visual. Las etapas se describen a continuación.

En primer lugar, el cálculo del primer peso de la capa base basándose en la prominencia de regiones.

Se lleva a cabo un filtrado de paso alto enY v¡s_baseeY¡r_baseutilizando el operador Laplace (también se pueden usar otros métodos de filtrado de paso alto y no se limitan en la presente memoria) para obtener las matricesCv¡syC rde prominencia y el primer peso deYv¡s_basey el primer peso deY¡r_baseson respectivamente como se indica a continuación.

El primer peso de la capa base de luminancia de luz visible se determina como El primer peso ICJ

Ti =-de la capa base de la imagen de infrarrojos se determina comomax|Cir|

En segundo lugar, el cálculo del segundo peso de la capa base basándose en la teoría de mejor efecto visual.

El segundo peso deYvs_basey el segundo peso deY¡r_basese obtienen respectivamente según las fórmulas siguientes:

representa el segundo peso de la capa base de luminancia de luz visible, y"representa el segundo peso de la capa base de la imagen de infrarrojos, pi representa un valor de luminancia óptimo preestablecido, y el intervalo de valores de pi para una imagen de 8 bits es generalmente [100, 200], ^ representa una desviación estándar preestablecida. Puede verse que cuanto más próxima sea la luminancia de la imagen fuente al valor de luminancia óptimo, mayor será el peso de fusión. Por lo tanto, no sólo la luminancia de la imagen fusionada es más adecuada para que los ojos humanos la vean, sino que también puede evitarse de manera efectiva el matiz de color de la imagen que puede estar causado por demasiadas componentes de infrarrojos debido a áreas sobreexpuestas (tales como la placa de matrícula) en la imagen de infrarrojos.

En tercer lugar, los pesos de fusión finales de las capas base son los siguientes:

y

n yr 2representan parámetros de control preestablecidos y pueden controlar la contribución del primer peso y el

IV

segundo peso a un peso de fusión de una capa base final.v ísrepresenta el peso de fusión de la capa base de luminancia de luz visible, y, B

iTrepresenta el peso de fusión de la capa base de la imagen de infrarrojos. La capa base fusionada satisface lo siguiente:Yac■——D n vis<. '* V>Y vi + B ir '*Y ir_ base. Yaomb_baserepresenta el resultado de la fusión de las capas base,Yvis_baserepresenta la capa base de luminancia de luz visible, eYir_baserepresenta la capa base de la imagen de infrarrojos.

De esta manera, se puede considerar la teoría del mejor efecto visual en el proceso de fusionar las capas base, se ajustan los pesos finales para la fusión y se tienen en cuenta factores subjetivos. Por tanto, la imagen fusionada no solo tiene la relación señal-ruido y la claridad relativamente altas, sino que también puede ser más adecuada para los sentidos visuales humanos.

En una realización, la etapa en la que se fusionan la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos incluye las etapas descritas a continuación. Se calculan una matriz de intensidad de bordes de la capa de detalle de luminancia de luz visible y una matriz de intensidad de bordes de la capa de detalle de la imagen de infrarrojos, y se determinan un primer pesoD ide la capa de detalle de luminancia de luz visible y n 1

un primer pesoi rde la capa de detalle de la imagen de infrarrojos basándose en las matrices de intensidad de bordes. Se determinan un segundo pesoDi.de la capa de detalle de luminancia de luz visible y un segundo pesoD~de la capa de detalle de la imagen de infrarrojos según un valor de intensidad de borde óptimo preestablecido. Se determina un peso de fusión de la capa de detalle de luminancia de luz visible según el primer pesoD \de la capa de detalle de luminancia de luz visible y el segundo peso de la capa de detalle de luminancia de luz visible; y se determina un peso de fusión de la capa de detalle de la imagen de infrarrojos según el primer pesoD x *de la capa de detalle de la imagen de infrarrojos y el segundo peso^ irde la capa de detalle de la imagen de infrarrojos. Se fusionan la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos según el peso de fusión de la capa de detalle de luminancia de luz visible y el peso de fusión de la capa de detalle de la imagen de infrarrojos. De manera similar, se fusionan la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos en base a criterios objetivos tales como intensidad de detalle y criterios subjetivos tales como un mejor efecto visual, y las etapas se describen a continuación.

En primer lugar, se lleva a cabo un filtrado de paso bajo en la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos, respectivamente, para obtener matricesE v syE rde intensidad de bordes. En segundo lugar, el cálculo del primer peso de la capa de detalle basándose en la intensidad de detalle

y

yt hrepresenta un umbral preestablecido. El valor de la intensidad de bordes de luz visibleD 2 -menor que el umbral se establece en 0, de modo que el ruido de luz visible puede reducirse eficazmente.m s D ?

representa el primer peso de la capa de detalle de luminancia de luz visible, ylTrepresenta el primer peso de la capa de detalle de la imagen de infrarrojos. En tercer lugar, el cálculo del segundo peso de la capa de detalle basándose en la teoría de mejor efecto visual.

El segundo peso de Y<vis_det>y el segundo peso de Y<ir_det>se obtienen respectivamente según las fórmulas siguientes:

¡J2representa un valor de intensidad de bordes óptimo preestablecido, y el intervalo de valores de¡J2para una

2

imagen de 8 bits es generalmente [35, 80],<° 2>representa una desviación estándar preestablecida. Puede verse que cuanto más cerca esté la intensidad de detalle local de la imagen fuente de un valor de intensidad óptimo, mayor será el peso de fusión. Por tanto, se puede evitar de manera efectiva la mejora de bordes excesiva que se puede provocar dependiendo solo del peso de la intensidad de detalle.D i

v isrepresenta el segundo peso de la capa n 2

de detalle de luminancia de luz visible, yi rrepresenta el segundo peso de la capa de detalle de la imagen de infrarrojos. En cuarto lugar, los pesos de fusión finales de las capas base

Dvu. - 1V/>v ; y !)\(/>v;.s' /) 1i

A .- ( / > . )( / ’A

y

A 1 A.

r3yr4son parámetros preestablecidos y pueden controlar la contribución de cada peso a los pesos finales de fusión de las capas de detalle.D v isrepresenta el segundo peso de la capa de detalle de luminancia de luz visible, yD irrepresenta el segundo peso de la capa de detalle de la imagen de infrarrojos. La capa de detalle fusionada cumple lo siguiente:

Y ' co tn bdot=r>v/s*'Y v isd a<+ / )>u *Y'I rd a

Ycomb_detrepresenta el resultado de la fusión de las capas de detalle,Yvis_detrepresenta la capa de detalle de luminancia de luz visible, yY r<det>representa la capa de detalle de la imagen de infrarrojos.

Por tanto, la imagen de luminancia fusionada satisface queYcomb = Ycomb_base+Ycomb_<det>. La imagen de color fusionada final puede obtenerse combinando la imagen de luminancia fusionada y la componente de crominancia de la imagen de luz visible con ruido reducido de crominancia.

En la etapa E140, se lleva a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada.

Después de que se lleve a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos, se puede llevar a cabo la reconstrucción de la imagen en el resultado de la fusión y la componente de crominancia de la imagen de luz visible para obtener la imagen fusionada final.

La FIG. 2 es un diagrama esquemático de un flujo de fusión de imágenes según una realización de la presente solicitud. Como se muestra en la FIG. 2, después de que se obtengan una imagen de luz visible y una imagen de infrarrojos de un objetivo de disparo, se lleva a cabo un procesamiento de separación de luminancia y crominancia en la imagen de luz visible para obtener luminancia de luz visible y crominancia de luz visible. Se lleva a cabo la fusión de luminancias en la luminancia de luz visible y la luminancia de infrarrojos de la imagen de infrarrojos para obtener un resultado de la fusión de luminancias, y puede llevarse a cabo un procesamiento de reducción de ruido de crominancia en la crominancia de luz visible. Se lleva a cabo la reconstrucción de la imagen en el resultado obtenido de reducción de ruido y el resultado de la fusión de luminancias para obtener una imagen fusionada final. En una realización, se puede adoptar un algoritmo de filtrado lineal (tal como filtrado de la media, filtrado gaussiano y similares) o un algoritmo de filtrado de conservación de bordes no lineal (tal como filtrado bilateral, filtrado de la media no local y similares) para llevar a cabo una reducción de ruido en la componente de crominancia de la imagen de luz visible. La imagen, después de la reducción del ruido de crominancia, tiene una relación señal-ruido más alta. De esta manera, se pueden evitar problemas tales como distorsión de color, borrosidad de bordes y pseudoborde causados por la inconsistencia en la luminancia y la estructura debida a la fusión directa de la imagen de infrarrojos y la imagen de luz visible. Además, puede evitarse la mejora excesiva de la imagen causada por que las reglas de fusión sólo consideran factores objetivos, de modo que la imagen fusionada es más adecuada para que los ojos humanos la vean.

En la realización, la luminancia de luz visible tiene el mismo significado que la componente de luminancia de la imagen de luz visible, y la crominancia de luz visible tiene el mismo significado que la componente de crominancia de la imagen de luz visible.

La FIG. 3 es un diagrama esquemático de un flujo de fusión de luminancias según una realización de la presente solicitud. Como se muestra en la FIG. 3, después de obtener la luminancia de infrarrojos de una imagen de infrarrojos y la luminancia de luz visible de una imagen de luz visible, se puede llevar a cabo primero la corrección de imagen en la luminancia de infrarrojos usando la luminancia de luz visible, y se lleva a cabo la descomposición de luminancia en la luminancia de luz visible y la imagen de infrarrojos corregida para obtener una capa de detalle de luz visible, una capa base de luz visible, una capa de detalle de infrarrojos y una capa base de infrarrojos, respectivamente. Puede adoptarse una de las maneras anteriores para fusionar la capa base de luz visible y la capa base de infrarrojos y para llevar a cabo la fusión de detalles en la capa de detalle de luz visible y la capa de detalle de infrarrojos. Además, el resultado de la fusión de las capas base y el resultado de la fusión de las capas de detalle se fusionan finalmente para obtener la luminancia fusionada final.

En la realización, la capa de detalle de luz visible tiene el mismo significado que la capa de detalle de luminancia de luz visible, la capa base de luz visible tiene el mismo significado que la capa base de luminancia de luz visible, la capa de detalle de infrarrojos tiene el mismo significado que la capa de detalle de la imagen de infrarrojos, y la capa base de infrarrojos tiene el mismo significado que la capa base de la imagen de infrarrojos.

En una realización, se elimina la inconsistencia en la luminancia y la estructura de la imagen fuente, de modo que se evitan el matiz de color, pérdida de detalle, pseudobordes y otros problemas que pueden producirse en las técnicas de fusión en la técnica relacionada. Además, durante la fusión, no solo se tienen en cuenta factores objetivos tales como la prominencia de regiones y la intensidad de bordes, sino que también se considera la percepción subjetiva de los ojos humanos de la imagen, lo que resuelve de manera efectiva el problema de la mejora excesiva de la imagen fusionada y hace que el efecto visual de la imagen fusionada sea más natural.

En la realización de la presente realización, se adquieren una imagen de luz visible y una imagen de infrarrojos que van a fusionarse. Se lleva a cabo una separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia. Se lleva a cabo la fusión de luminancias en el componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias. Se lleva a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada. Según la realización proporcionada por la presente solicitud, la fusión de luminancias se lleva a cabo en la componente de luminancia de la imagen de luz visible y la componente de luminancia de la imagen de infrarrojos, de modo que se mejoran la relación señal-ruido y el contraste de la imagen obtenida después de la fusión, y se retiene mejor la información de los bordes.

La FIG. 4 es un diagrama estructural de un aparato de fusión de imágenes según una realización de la presente solicitud. Como se muestra en la FIG. 4, el aparato de fusión de imágenes incluye un módulo 410 de adquisición de imágenes, un módulo 420 de separación de luminancia y crominancia, un módulo 430 de fusión de luminancias y un módulo 440 de reconstrucción de luminancia y crominancia. El módulo 410 de adquisición de imágenes está configurado para adquirir una imagen de luz visible y una imagen de infrarrojos que van a fusionarse. El módulo 420 de separación de luminancia y crominancia está configurado para llevar a cabo la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia. El módulo 430 de fusión de luminancias está configurado para llevar a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias. El módulo 440 de reconstrucción de luminancia y crominancia está configurado para llevar a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada.

En la realización de la presente realización, se adquieren una imagen de luz visible y una imagen de infrarrojos que van a fusionarse. Se lleva a cabo la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia. Se lleva a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias. Se lleva a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada. Según la realización proporcionada por la presente solicitud, la fusión de luminancias se lleva a cabo en la componente de luminancia de la imagen de luz visible y la componente de luminancia de la imagen de infrarrojos, de modo que se mejoran la relación señal-ruido y el contraste de la imagen obtenida después de la fusión, y se retiene mejor la información de los bordes.

Los productos anteriores pueden ejecutar el método proporcionado por cualquier realización de la presente solicitud, y tiene módulos funcionales correspondientes al método ejecutado.

La realización de la presente solicitud proporciona además un medio de almacenamiento que incluye instrucciones ejecutables por ordenador que, cuando se ejecutan por un procesador informático, ejecutan un método de fusión de imágenes. El método incluye las etapas descritas a continuación. Se adquieren una imagen de luz visible y una imagen de infrarrojos que van a fusionarse. Se lleva a cabo la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia. Se lleva a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias. Se lleva a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada.

El medio de almacenamiento es cualquiera de los diversos tipos de dispositivos de memoria o dispositivos de almacenamiento. El término "medio de almacenamiento" pretende incluir: un medio de instalación tal como una memoria de solo lectura de disco compacto (CD-ROM, por sus siglas en inglés), un disquete o un dispositivo de cinta magnética; una memoria de sistema informático o una memoria de acceso aleatorio tal como una memoria dinámica de acceso aleatorio (DRAM, por sus siglas en inglés), una memoria de acceso aleatorio de doble velocidad de datos (DDR RAM, por sus siglas en inglés), una memoria estática de acceso aleatorio (SRAM, por sus siglas en inglés), una memoria de acceso aleatorio de datos extendidos (EDO RAM, por sus siglas en inglés) y una memoria de acceso aleatorio Rambus (RAM, por sus siglas en inglés, Rambus); una memoria no volátil tal como una memoria flash y un medio magnético (como un disco duro o un almacenamiento óptico); un registro u otros tipos similares de componentes de memoria, etc. El medio de almacenamiento puede incluir además otros tipos de memorias o combinaciones de las mismas. Además, el medio de almacenamiento puede estar situado en un sistema informático en el que se ejecutan programas, o puede estar situado en un segundo sistema informático diferente conectado al sistema informático a través de una red (tal como Internet). El segundo sistema informático puede proporcionar instrucciones de programa a un ordenador para su ejecución. El término "medio de almacenamiento" puede incluir dos o más medios de almacenamiento que pueden residir en diferentes posiciones (por ejemplo, en diferentes sistemas informáticos conectados a través de una red). El medio de almacenamiento puede almacenar instrucciones de programa (por ejemplo, realizadas como programas informáticos) que son ejecutables por uno o más procesadores.

Por supuesto, en el medio de almacenamiento que incluye instrucciones ejecutables por ordenador proporcionadas por la realización de la presente solicitud, las instrucciones ejecutables por ordenador pueden implementar no solo las operaciones de fusión de imágenes anteriores sino también operaciones relacionadas en el método de fusión de imágenes proporcionado por cualquier realización de la presente solicitud.

La realización de la presente solicitud proporciona un dispositivo electrónico en el que puede estar integrado el aparato de fusión de imágenes proporcionado por la realización de la presente solicitud. La FIG. 5 es un diagrama estructural de un dispositivo electrónico según una realización de la presente solicitud. Como se muestra en la FIG.

5, la realización proporciona un dispositivo electrónico 500. El dispositivo electrónico 500 incluye uno o más procesadores 520 y un aparato 510 de almacenamiento configurado para almacenar uno o más programas que, cuando son ejecutados por uno o más procesadores 520, hacen que el uno o más procesadores 520 implementen el método de fusión de imágenes proporcionado por las realizaciones de la presente solicitud. El método incluye las etapas descritas a continuación. Se adquieren una imagen de luz visible y una imagen de infrarrojos que van a fusionarse. Se lleva a cabo la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia. Se lleva a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias. Se lleva a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada.

Por supuesto, el procesador 520 también implementa el método de fusión de imágenes proporcionado por cualquier realización de la presente solicitud.

El dispositivo electrónico 500 mostrado en la FIG. 5 es meramente un ejemplo.

Como se muestra en la FIG. 5, el dispositivo electrónico 500 incluye un procesador 520, un aparato 510 de almacenamiento, un aparato 530 de entrada( in p u t )y un aparato 540 de salida( o u t p u t ) .En el dispositivo electrónico pueden estar dispuestos uno o más procesadores 520, y se toma como ejemplo un procesador 520 en la FIG. 5. El procesador 520, el aparato 510 de almacenamiento, el aparato 530 de entrada y el aparato 540 de salida en el dispositivo electrónico pueden estar conectados a través de un bus o de otras maneras. La FIG. 5 utiliza la conexión a través de un bus como ejemplo.

Como medio de almacenamiento legible por ordenador, el aparato 510 de almacenamiento puede estar configurado para almacenar programas de software, programas ejecutables por ordenador y unidades de módulo, tales como instrucciones de programa correspondientes al método de fusión de imágenes de las realizaciones de la presente solicitud.

El aparato 510 de almacenamiento puede incluir principalmente un área de almacenamiento de programas y un área de almacenamiento de datos. El área de almacenamiento de programas puede almacenar un sistema operativo y un programa de aplicación requerido para implementar al menos una función, mientras que el área de almacenamiento de datos puede almacenar datos creados en función del uso de los terminales. Además, el aparato 510 de almacenamiento puede incluir una memoria de acceso aleatorio de alta velocidad, y también puede incluir una memoria no volátil, tal como al menos una memoria de disco, memoria flash u otra memoria de estado sólido no volátil. En algunos ejemplos, el aparato 510 de almacenamiento puede incluir además memorias dispuestas remotamente con respecto al procesador 520, y estas memorias remotas pueden estar conectadas a través de una red. Ejemplos de la red anterior incluyen, pero no se limitan a, Internet, una intranet, una red de área local, una red de comunicación móvil y una combinación de las mismas.

El aparato 530 de entrada puede estar configurado para recibir información de entrada digital, de caracteres o de voz y generar una entrada de señal clave relacionada con los ajustes del usuario y el control de funciones del dispositivo electrónico. El aparato 540 de salida puede incluir dispositivos tales como una pantalla de visualización y un altavoz.

Según el dispositivo electrónico proporcionado por la realización de la presente solicitud, puede llevarse a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la componente de luminancia de la imagen de infrarrojos, de modo que se mejoran la relación señal-ruido y el contraste de la imagen obtenida después de la fusión, y se retiene mejor la información de los bordes.

El aparato, medio y dispositivo electrónico de fusión de imágenes proporcionados por las realizaciones anteriores pueden ejecutar el método de fusión de imágenes proporcionado por cualquier realización de la presente solicitud, y tener módulos funcionales correspondientes para ejecutar el método. Para detalles técnicos no descritos en las realizaciones anteriores, se puede hacer referencia al método de fusión de imágenes proporcionado por cualquier realización de la presente solicitud.

Claims

REIVINDICACIONES 1. Un método de fusión de imágenes implementado por ordenador, que comprende: adquirir (E110) una imagen de luz visible y una imagen de infrarrojos que se van a fusionar; llevar a cabo (E120) la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia de la imagen de luz visible y una componente de crominancia de la imagen de luz visible; llevar a cabo (E130) la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias; y llevar a cabo (E140) la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada; en donde llevar a cabo (E130) la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener el resultado de la fusión de luminancias comprende: corregir la imagen de infrarrojos según la componente de luminancia de la imagen de luz visible para obtener una imagen de infrarrojos corregida; llevar a cabo la descomposición en capas de las imágenes en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos corregida, respectivamente, y llevar a cabo la fusión correspondiente en una pluralidad de capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y una pluralidad de capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen; y superponer los resultados de llevar a cabo la fusión correspondiente en la pluralidad de capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y la pluralidad de capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen para obtener el resultado de la fusión de luminancias; caracterizado por que corregir la imagen de infrarrojos según la componente de luminancia de la imagen de luz visible para obtener la imagen de infrarrojos corregida comprende: determinar la posición de un píxel de referencia en la componente de luminancia de la imagen de luz visible según la posición de cada píxel en la imagen de infrarrojos; y determinar el resultado de la corrección de luminancia de cada píxel según un bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro y un bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro para obtener la imagen de infrarrojos corregida.
2. El método según la reivindicación 1, en donde determinar el resultado de la corrección de luminancia de cada píxel según el bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro y el bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro comprende: determinar el resultado de la corrección de luminancia de cada píxel adoptando la fórmula siguiente:

en dondeY r ’( i )representa el resultado de la corrección de luminancia de cada píxel,Y v s ( i)representa el valor de luminancia del píxel de referencia, y a(1) y a(2) representan un primer valor numérico de una matriz a y un segundo valor numérico de la matriz a; en donde

en dondeArepresenta un parámetro de regularización preestablecido,W ¡representa una matriz de pesos preestablecida, yQ ¡representa una matriz formada por valores de luminancia de una pluralidad de píxeles dentro del bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro y un valor numérico 1;Qírepresenta una matriz transpuesta deQ í ,p, representa una matriz formada por valores de luminancia de píxeles dentro del bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro; / representa una matriz de identidad;a °' representa un factor de contraste local formado por una relación de un valor de luminancia de cada píxel a un valor promedio de los valores de luminancia de la pluralidad de píxeles dentro del bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro; y R2*1 representa un espacio lineal formado por todas las matrices 2x1 sobre un cuerpo R de los números reales.
3. El método según la reivindicación 1, en donde llevar a cabo la descomposición en capas de las imágenes en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos corregida, respectivamente, y llevar a cabo la fusión correspondiente en la pluralidad de capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y en la pluralidad de capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen comprende: llevar a cabo la descomposición de la componente de luminancia de la imagen de luz visible en una capa base de luminancia de luz visible y una capa de detalle de luminancia de luz visible, y llevar a cabo la descomposición de la imagen de infrarrojos corregida en una capa base de la imagen de infrarrojos y una capa de detalle de la imagen de infrarrojos; y fusionar la capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos, y fusionar la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos.
4. El método según la reivindicación 3, en donde fusionar la capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos comprende: determinar una matriz de prominencia de regiones de la capa base de luminancia de luz visible y una matriz de prominencia de regiones de la capa base de la imagen de infrarrojos a través de filtrado de paso alto, y determinar un primer peso vít de la capa base de luminancia de luz visible y un primer pesoi rde la capa base de la imagen de infrarrojos según la matriz de prominencia de regiones de la capa base de luminancia de luz visible y la matriz de prominencia de regiones de la capa base de la imagen de infrarrojos; „ , m de la capa base de luminancia de luz visible y un segundo pesoH"<2>de la capa base de la imagen de infrarrojos según un valor de luminancia óptimo preestablecido; Q1 determinar un peso de fusión de la capa base de luminancia de luz visible según el primer peso°m de la capa base de luminancia de luz visible y el segundo pesov,sde la capa base de luminancia de luz visible; y determinar un peso de fusión de la capa base de la imagen de infrarrojos según el primer peso ” de la capa base de la imagen de infrarrojos y el segundo peso " de la capa base de la imagen de infrarrojos; y fusionar la capa base de luminancia de luz visible y la capa base de la imagen de infrarrojos según el peso de fusión de la capa base de luminancia de luz visible y el peso de fusión de la capa base de la imagen de infrarrojos.
5. El método según la reivindicación 3, en donde fusionar la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos comprende: calcular una matriz de intensidad de bordes de la capa de detalle de luminancia de luz visible y una matriz de intensidad de bordes de la capa de detalle de la imagen de infrarrojos, y determinar un primer peson™lder > ] la capa de detalle de luminancia de luz visible y un primer pesoi rde la capa de detalle de la imagen de infrarrojos basándose en una matrizE visde intensidad de bordes de la capa de detalle de luminancia de luz visible y una matrizE rde intensidad de bordes de la capa de detalle de la imagen de infrarrojos, en donde el cálculo del primer peso de la capa de detalle basándose en la intensidad de detalle y

yt hrepresenta un umbral preestablecido; determinar un segundo peso de la capa de detalle de luminancia de luz visible y un segundo peso de la capa de detalle de la imagen de infrarrojos según un valor de intensidad de bordes óptimo preestablecido; determinar un peso de fusión de la capa de detalle de luminancia de luz visible según el primer pesod \de la capa de detalle de luminancia de luz visible y el segundo pesoD ide la capa de detalle de luminancia de luz visible; y determinar un peso de fusión de la capa de detalle de la imagen de infrarrojos según el primer pesoD ide la capa de detalle de la imagen de infrarrojos y el segundo pesoJ■Íde la capa de detalle de la imagen de infrarrojos; y fusionar la capa de detalle de luminancia de luz visible y la capa de detalle de la imagen de infrarrojos según el peso de fusión de la capa de detalle de luminancia de luz visible y el peso de fusión de la capa de detalle de la imagen de infrarrojos.
6. El método según la reivindicación 1, en donde llevar a cabo la descomposición en capas de las imágenes se implementa mediante al menos uno de entre: un método de descomposición multiescala y un algoritmo de filtrado lineal.
7. El método según la reivindicación 1, en donde llevar a cabo (E130) la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias comprende: llevar a cabo un procesamiento de reducción de ruido de crominancia en la crominancia de luz visible para obtener un resultado de la reducción de ruido; y llevar a cabo la reconstrucción de la imagen en el resultado de la reducción de ruido obtenido y el resultado de la fusión de luminancias para obtener una imagen fusionada final.
8. Un aparato de fusión de imágenes, que comprende: un módulo (410) de adquisición de imágenes, que está configurado para adquirir una imagen de luz y una imagen de infrarrojos que se van a fusionar; un módulo (420) de separación de luminancia y crominancia, que está configurado para llevar a cabo la separación de luminancia y crominancia en la imagen de luz visible para extraer una componente de luminancia y una componente de crominancia; un módulo (430) de fusión de luminancias, que está configurado para llevar a cabo la fusión de luminancias en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos para obtener un resultado de la fusión de luminancias; y un módulo (440) de reconstrucción de luminancia y crominancia, que está configurado para llevar a cabo la reconstrucción de la imagen según el resultado de la fusión de luminancias y la componente de crominancia de la imagen de luz visible para obtener una imagen fusionada; en donde el módulo (430) de fusión de luminancias está configurado además para: corregir la imagen de infrarrojos según la componente de luminancia de la imagen de luz visible para obtener una imagen de infrarrojos corregida; llevar a cabo la descomposición en capas de las imágenes en la componente de luminancia de la imagen de luz visible y la imagen de infrarrojos corregida, respectivamente, y llevar a cabo la fusión correspondiente en una pluralidad de capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y una pluralidad de capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen; y superponer los resultados de llevar a cabo la fusión correspondiente en la pluralidad de capas de la componente de luminancia de la imagen de luz visible obtenidas tras la descomposición en capas de la imagen y la pluralidad de capas de la imagen de infrarrojos corregida obtenidas tras la descomposición en capas de la imagen para obtener el resultado de la fusión de luminancias; caracterizado por queel módulo (430) de fusión de luminancias está configurado para corregir la imagen de infrarrojos según la componente de luminancia de la imagen de luz visible para obtener la imagen de infrarrojos corregida: determinando la posición de un píxel de referencia en la componente de luminancia de la imagen de luz visible según la posición de cada píxel en la imagen de infrarrojos; y determinando un resultado de la corrección de luminancia de cada píxel según un bloque de vecindad de alcance preestablecido con la posición del píxel de referencia como centro y un bloque de vecindad de alcance preestablecido con la posición de cada píxel como centro para obtener la imagen de infrarrojos corregida.
9. Un medio de almacenamiento legible por ordenador, que almacena un programa informático, en donde el programa informático, cuando es ejecutado por un procesador, implementa el método de fusión de imágenes de cualquiera de las reivindicaciones 1 a 7.