CN117173070A - 一种基于fpga的图像处理融合方法及系统 - Google Patents
一种基于fpga的图像处理融合方法及系统 Download PDFInfo
- Publication number
- CN117173070A CN117173070A CN202311443179.3A CN202311443179A CN117173070A CN 117173070 A CN117173070 A CN 117173070A CN 202311443179 A CN202311443179 A CN 202311443179A CN 117173070 A CN117173070 A CN 117173070A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- infrared
- distinguishable
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 117
- 230000008569 process Effects 0.000 claims description 63
- 238000005286 illumination Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 20
- 238000007499 fusion processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 239000003623 enhancer Substances 0.000 claims description 3
- 239000013589 supplement Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于FPGA的图像处理融合方法及系统，方法包括同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；对可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；对可辨识去噪图像与红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；将可辨识增强图像与红外增强图像进行跨域融合处理，以得到融合图像，本发明可有效去除图像中的噪声，同时增强了图像中的特征，使得图像中蕴含的特征信息更加易于表达，同时也有效的提高了图像质量，同时在不丢失图像原有信息的前提下为单个图像补充了更多的细节、纹理与特征信息，且融合速度快、融合图像质量与精度有显著提升。
Description
技术领域
本发明属于图像处理的技术领域，具体地涉及一种基于FPGA的图像处理融合方法及系统。
背景技术
随着图像识别领域的发展，多源或异源图像之间的融合，可使融合后图像内容表达更准确全面、信息量更丰富，更适于观察、分析与理解的图像，在实际情况下，可见光图像其能够有效的反应场景、背景信息以及细节，但其易受天气环境的影响，导致拍摄出的可见光图像中无法获取到有效信息，而红外图像则不受其限制，因此可见光图像与红外图像的融合被广泛应用于各个行业；
在现有技术中，对于FPGA获取到的多源、异源图像之间的融合，其存在图像噪声较难消除、清晰度不高、亮度不高、融合质量差、容易损失原图像中特征信息的问题，导致从融合图像中无法获取到有效信息。
发明内容
为了解决上述技术问题，本发明提供了一种基于FPGA的图像处理融合方法及系统，用于解决现有技术中的技术问题。
一方面，该发明提供以下技术方案，一种基于FPGA的图像处理融合方法，包括：
同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；
对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；
对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；
将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像；
所述对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像的步骤包括：
对所述可辨识去噪图像与所述红外图像进行图像信息表达：
；
式中，为图像信息，/>为光照量，/>为光反射量，为图像中像素的空间位置；
通过所述FPGA对光反射量进行多尺度变换：
；
式中，为尺度，/>为尺度上限，/>为高斯卷积核；
对所述光照量进行增强处理，以得到增强光照量/>：
；
式中，为图像像素最大值，/>为光照参数；
基于所述增强光照量对所述多尺度变换后的光反射量进行矫正处理，以得到矫正光反射量/>：
；
基于所述矫正光反射量对所述可辨识去噪图像与所述红外图像进行解算增强处理，以得到可辨识增强图像与红外增强图像。
相比现有技术，本申请的有益效果为：本申请首先同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；对可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；之后对可辨识去噪图像与红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；最后将可辨识增强图像与红外增强图像进行跨域融合处理，以得到融合图像，本发明可同步采集可辨识图像与红外图像，避免因两图像之间的采集时钟差而影响后续的图像处理融合过程，同时本发明通过对图像进行去噪与增强处理，可有效去除图像中的噪声，同时增强了图像中的特征，使得图像中蕴含的特征信息更加易于表达，同时也有效的提高了图像质量，最后本发明对多源图像进行融合处理，在不丢失图像原有信息的前提下为单个图像补充了更多的细节、纹理与特征信息，且融合速度快、融合图像质量与精度有显著提升。
较佳的，所述同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像的步骤包括：
输出频率可调的PWM波，将所述PWM波作为第一外部拍摄设备与第二外部拍摄设备的触发信号；
所述第一外部拍摄设备与所述第二外部拍摄设备获取所述触发信号，所述FPGA根据所述触发信号获取所述第一外部拍摄设备、所述第二外部拍摄设备的配置信息与设备信息；
基于所述配置信息与所述设备信息申请缓冲队列，将所述缓冲队列映射至用户空间中并控制所述第一外部拍摄设备采集可辨识图像、所述第二外部拍摄设备采集红外图像；
将所述可辨识图像与所述红外图像分别复制至第一内存区与第二内存区，统一所述第一内存区与所述第二内存区的时钟数据并将所述第一内存区中存储的所述可辨识图像与所述第二内存区中存储的红外图像传输至所述FPGA中。
较佳的，所述对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像的步骤包括：
根据所述可辨识图像的尺寸将所述可辨识图像分割为若干相邻的子图像；
获取每个所述子图像的灰度直方图并确定所述子图像中每个像素点的灰度级，基于灰度级阈值对所述灰度直方图进行裁剪并将大于灰度级阈值的像素点的灰度级均匀分配至该像素点对应子图像的每个灰度级上，以得到分配子图；
对每个所述分配子图的灰度值进行两次插值处理，以得到所述分配子图的分配灰度值，基于所述分配灰度值将所述分配子图进行图像拼接，以得到可辨识去噪图像。
较佳的，所述对每个所述分配子图的灰度值进行两次插值处理，以得到所述分配子图的分配灰度值的步骤包括：
选取任一所述分配子图作为插值子图并在所述插值子图中任一选取一像素点作为基准像素点；
确定所述基准像素点的坐标以及与所述基准像素点相邻的四个待插值分配子图，在四个所述待插值分配子图中均任意选取一待插值像素点，以得到四个所述待插值像素点；
基于四个所述待插值像素点的坐标与灰度值对所述基准像素点进行第一次插值处理，以得到第一插值灰度值与第二插值灰度值/>：
；
；
式中，、/>、/>、/>分别表示四个所述待插值像素点的灰度值，/>表示第一、第四个待插值像素点的横坐标，/>表示第二、第三个待插值像素点的横坐标，/>表示基准像素点的横坐标；
基于所述第一插值灰度值与所述第二插值灰度值/>对所述基准像素点进行第二次插值处理，以得到所述基准像素点对应分配子图的分配灰度值/>：
；
式中，表示第三、第四个待插值像素点的纵坐标，/>表示第一、第二个待插值像素点的纵坐标，/>表示基准像素点的纵坐标。
较佳的，所述将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像的步骤包括：
对所述可辨识增强图像与所述红外增强图像/>进行预融合与融合优化，以得到预融合图像/>；
提取所述可辨识增强图像、所述红外增强图像/>的第一附加特征/>，从所述第一附加特征/>中提取第二附加特征/>，提取所述预融合图像/>的第三附加特征/>：
；
；
；
式中，为第一特征提取单元，/>为第二特征提取单元，/>为第三特征提取单元；
通过注意力机制、所述第一附加特征与所述第二附加特征/>计算融合信息/>，通过融合网络对所述融合信息/>、所述第三附加特征/>进行特征融合，以得到融合特征/>：
；
式中，为卷积层，/>为拼接操作；
对所述融合特征进行特征恢复与图像重建，以得到融合图像/>：
；
式中，为重建单元，/>恢复单元。
较佳的，所述对所述可辨识增强图像与所述红外增强图像进行预融合与融合优化，以得到预融合图像的步骤包括：
将所述可辨识增强图像与所述红外增强图像/>进行初始融合，以得到第一融合图像/>：
式中，为融合变量；
基于所述第一融合图像计算融合信任度：
；
式中，为信任因子，/>为第一融合图像的梯度，/>为红外增强图像的梯度，/>为可辨识增强图像的梯度；
判断所述融合信任度是否小于信任度阈值，若所述融合信任度小于信任度阈值，则通过优化函数对融合变量进行优化更新，以得到更新变量：
；
式中，为像素空间位置，/>、/>分别融合变量的水平梯度与垂直梯度；
将所述更新变量替换所述融合变量/>，以得到预融合图像/>：
。
第二方面，该发明提供以下技术方案，一种基于FPGA的图像处理融合系统，所述系统包括：
采集模块，用于同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；
去噪模块，用于对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；
增强模块，用于对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；
融合模块，用于将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像；
其中，所述增强模块包括：
图像信息表达子模块，用于对所述可辨识去噪图像与所述红外图像进行图像信息表达：
；
式中，为图像信息，/>为光照量，/>为光反射量，为图像中像素的空间位置；
变换子模块，用于通过所述FPGA对光反射量进行多尺度变换：
；
式中，为尺度，/>为尺度上限，/>为高斯卷积核；
增强子模块，用于对所述光照量进行增强处理，以得到增强光照量：
；
式中，为图像像素最大值，/>为光照参数；
矫正子模块，用于基于所述增强光照量对所述多尺度变换后的光反射量进行矫正处理，以得到矫正光反射量/>：
；
解算子模块，用于基于所述矫正光反射量对所述可辨识去噪图像与所述红外图像进行解算增强处理，以得到可辨识增强图像与红外增强图像。
第三方面，该发明提供以下技术方案，一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于FPGA的图像处理融合方法。
第四方面，该发明提供以下技术方案，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于FPGA的图像处理融合方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于FPGA的图像处理融合方法的流程图；
图2为本发明实施例一提供的基于FPGA的图像处理融合方法中步骤S1的详细流程图；
图3为本发明实施例一提供的基于FPGA的图像处理融合方法中步骤S2的详细流程图；
图4为本发明实施例一提供的基于FPGA的图像处理融合方法中步骤S23的详细流程图；
图5为本发明实施例一提供的基于FPGA的图像处理融合方法中步骤S3的详细流程图；
图6为本发明实施例一提供的基于FPGA的图像处理融合方法中步骤S4的详细流程图；
图7为本发明实施例一提供的基于FPGA的图像处理融合方法中步骤S41的详细流程图；
图8为本发明实施例二提供的基于FPGA的图像处理融合系统的结构框图；
图9为本发明另一实施例提供的计算机的硬件结构示意图。
以下将结合附图对本发明实施例作进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明的实施例，而不能理解为对本发明的限制。
在本发明实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
实施例一
在本发明的实施例一中，如图1所示，一种基于FPGA的图像处理融合方法，包括：
S1、同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；
具体的，在后续的图像处理以及融合过程中，由于图像是并行流水线式的处理方式，因此需要避免图像输入时的时间差，因此通过同步采集可辨识图像与红外图像，即可保证多源图像同步输入至FPGA中，该步骤中的第一外部拍摄设备可具体为可见光拍摄相机，可辨识图像具体为可见光图像，第二外部拍摄设备具体为红外相机，红外图像即为目标本身与背景间的红外线差所得到的不同的热红外线形成的红外图像。
如图2所示，其中，所述步骤S1包括：
S11、输出频率可调的PWM波，将所述PWM波作为第一外部拍摄设备与第二外部拍摄设备的触发信号；
具体的，步骤S11具体为外同步过程，即通过控制输入输出引脚的方式进行两个外部拍摄设备采集图像的同步触发，即通过GPIO引脚输出频率可调的PWM波，而该PWM波可作为两个外部拍摄设备的拍摄触发信号。
S12、所述第一外部拍摄设备与所述第二外部拍摄设备获取所述触发信号，所述FPGA根据所述触发信号获取所述第一外部拍摄设备、所述第二外部拍摄设备的配置信息与设备信息；
具体的，在获取到GPIO引脚输出频率可调的PWM波之后，FPGA可对应获取拍摄设备的配置信息与设备信息，即拍摄设备的参数，以便后续的同步采集过程。
S13、基于所述配置信息与所述设备信息申请缓冲队列，将所述缓冲队列映射至用户空间中并控制所述第一外部拍摄设备采集可辨识图像、所述第二外部拍摄设备采集红外图像；
具体的，在经过外同步之后，可辨识图像、红外图像之间仍会存在一定的时间差，因此通过获取图像缓冲队列，在获取到触发信号之后，即可通过拍摄设备获取对应的图像，并将图像数据缓冲至缓冲队列中，在后续的数据传输中，可从缓冲队列中将数据读取出来，同时对于用户层空间来讲，用户无法对缓冲队列中的图像进行操作，因此通过将缓冲队列映射至用户空间重构，方便用户进行操作。
S14、将所述可辨识图像与所述红外图像分别复制至第一内存区与第二内存区，统一所述第一内存区与所述第二内存区的时钟数据并将所述第一内存区中存储的所述可辨识图像与所述第二内存区中存储的红外图像传输至所述FPGA中；
具体的，在图像采集完成之后，将图像复制进第一内存区与第二内存区中，第一内存区与第二内存区均为VDMA内存区域，以便于FPGA端对图像进行处理，之后统一两个内存区的时钟数据即可将异源图像输入统一输入至FPGA中，以实现异源图像的统一输入。
S2、对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；
具体的，在图像融合之前，对于可辨识图像来讲，可辨识图像中存在较多的噪声，如不对噪声进行去噪处理，则会导致最终的融合信息中特征较难表达，导致图像质量较差。
如图3所示，其中，所述步骤S2包括：
S21、根据所述可辨识图像的尺寸将所述可辨识图像分割为若干相邻的子图像；
具体的，对于包含噪声的可辨识图像，将一整张固定尺寸的可辨识图像均匀分割为若干子图像，若干子图像相邻且大小尺寸相同，且若干子图像之间为不重叠关系。
S22、获取每个所述子图像的灰度直方图并确定所述子图像中每个像素点的灰度级，基于灰度级阈值对所述灰度直方图进行裁剪并将大于灰度级阈值的像素点的灰度级均匀分配至该像素点对应子图像的每个灰度级上，以得到分配子图；
具体的，灰度直方图可反映图像中相同灰度级的频率与灰度级的关系，以便于对各个子图像进行灰度分析与统计，对于单独的子图像来讲，为了防止出现对比度被过度放大的情况，因此需要对图像进行裁剪分配进而对图像进行对比度限制，而在步骤S22中，对于一个子图像的灰度直方图来讲，通过设置一个灰度级阈值，即在灰度直方图中设置一个横坐标为灰度级阈值的直线，通过该直线将灰度直方图分割为两部分，第一部分为在该直线上方的部分，第二部分为该直线下方的部分，而与直线重合的部分则被划分为第二部分中，之后将第一部分均匀分配至第二部分中。
S23、对每个所述分配子图的灰度值进行两次插值处理，以得到所述分配子图的分配灰度值，基于所述分配灰度值将所述分配子图进行图像拼接，以得到可辨识去噪图像；
如图4所示，其中，所述步骤S23包括：
S231、选取任一所述分配子图作为插值子图并在所述插值子图中任一选取一像素点作为基准像素点；
具体的，对于每一个分配子图均需要经过步骤S23中所提到的差值处理，因此每个分配子图均可作为分配子图，而基准像素点可在差值子图中根据分配子图的分配关系选取；
S232、确定所述基准像素点的坐标以及与所述基准像素点相邻的四个待插值分配子图，在四个所述待插值分配子图中均任意选取一待插值像素点，以得到四个所述待插值像素点；
具体的，四个待插值分配子图包括该分配子图本身，例如，在其中一个分配子图中选取一个基准像素点，即在该基准像素点的左上、左下、右上、右下四个方向选取三个待插值分配子图以及该分配子图本身，在选取带待插值像素点时，需满足四个待插值像素点处于基准像素点的本身，且四个待插值像素点组成了一个矩形结构将基准像素点包围在中间，因而在二维坐标系中，将左上角的待插值像素点作为第一待插值像素点，按顺时针关系将其依次记为第二、三、四待插值像素点，且第一待插值像素点与第四待插值像素点的横坐标相同，第二待插值像素点与第三待插值像素点的横坐标相同，第一待插值像素点与第二待插值像素点的纵坐标相同，第三待插值像素点与第四待插值像素点的纵坐标相同。
S233、基于四个所述待插值像素点的坐标与灰度值对所述基准像素点进行第一次插值处理，以得到第一插值灰度值与第二插值灰度值/>：
；
；
式中，、/>、/>、/>分别表示四个所述待插值像素点的灰度值，/>表示第一、第四个待插值像素点的横坐标，/>表示第二、第三个待插值像素点的横坐标，/>表示基准像素点的横坐标；
具体的，在第一次插值处理之后，可视为在基准像素点的上下方形成了两个虚拟插值点，因此在第二次插值过程中，基于两个虚拟插值点进行第二次插值，即可得到分配灰度值。
S234、基于所述第一插值灰度值与所述第二插值灰度值/>对所述基准像素点进行第二次插值处理，以得到所述基准像素点对应分配子图的分配灰度值/>：
；
式中，表示第三、第四个待插值像素点的纵坐标，/>表示第一、第二个待插值像素点的纵坐标，/>表示基准像素点的纵坐标。
S3、对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；
具体的，通过对所述可辨识去噪图像与所述红外图像进行增强处理，一方面可对图像进一步去噪，减少背景对图像中目标的影响，另一方面可以使得图像中的特征更加显著，使得特征表达更加完全。
如图5所示，其中，步骤S3包括：
S31、对所述可辨识去噪图像与所述红外图像进行图像信息表达：
；
式中，为图像信息，/>为光照量，/>为光反射量，为图像中像素的空间位置；
具体的，对于图像信息来讲，图像信息是由物体反射出的光线以及照射在物体上的光线共同决定的，因此可辨识去噪图像与红外图像的图像信息可由光照量与光反射量进行表达，而在步骤S31的公式中，为可辨识去噪图像或红外图像的图像信息，为可辨识去噪图像或红外图像的光照量，/>为可辨识去噪图像或红外图像的光反射量。
S32、通过所述FPGA对光反射量进行多尺度变换：
；
式中，为尺度，/>为尺度上限，/>为高斯卷积核；
具体的，为图像信息与图像像素数据进行卷积操作的高斯卷积核。
S33、对所述光照量进行增强处理，以得到增强光照量/>：
；
式中，为图像像素最大值，/>为光照参数；
具体的，在对光反射量进行多尺度变换时，在图像信息中可能会出现因光的折射与反射出现的重影，因此通过对光照量进行增强处理之后，可将重影进行消除，同时也能够避免特征的丢失，且光照参数为一个0-1之间的数，光照参数越大则表明最后的增强光照量/>越大，该数值可根据实验拟合得到。
S34、基于所述增强光照量对所述多尺度变换后的光反射量进行矫正处理，以得到矫正光反射量/>：
。
S35、基于所述矫正光反射量对所述可辨识去噪图像与所述红外图像进行解算增强处理，以得到可辨识增强图像与红外增强图像；
具体的，在得到矫正光反射量之后，将该所述矫正光反射量/>替换掉光反射量/>，并代入步骤S31中的公式中，即可得到增强之后的图像信息，以此便可得到可辨识增强图像与红外增强图像。
S4、将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像；
如图6所示，其中，所述步骤S4包括：
S41、对所述可辨识增强图像与所述红外增强图像/>进行预融合与融合优化，以得到预融合图像/>；
如图7所示，其中，所述步骤S41包括：
S411、将所述可辨识增强图像与所述红外增强图像/>进行初始融合，以得到第一融合图像/>：
式中，为融合变量；
具体的，第一融合图像用于作为参考图像提供融合图像的细节特征。
S412、基于所述第一融合图像计算融合信任度：
；
式中，为信任因子，/>为第一融合图像的梯度，/>为红外增强图像的梯度，/>为可辨识增强图像的梯度；
具体的，融合信任度可用于判断图像融合的质量，融合信任度越大则表示融合后的图像质量越高，融合信任度越小则表示融合后图像的质量越低，信任因子为一个0-1之间的数值，可根据实验拟合确定。
S413、判断所述融合信任度是否小于信任度阈值，若所述融合信任度小于信任度阈值，则通过优化函数对融合变量进行优化更新，以得到更新变量：
；
式中，为像素空间位置，/>、/>分别融合变量的水平梯度与垂直梯度；
具体的，当融合信任度小于信任度阈值时，则表示融合质量较低，因此需要对融合变量进行优化，以提高最后融合图像的质量。
S414、将所述更新变量替换所述融合变量/>，以得到预融合图像/>：
。
S42、提取所述可辨识增强图像、所述红外增强图像/>的第一附加特征，从所述第一附加特征/>中提取第二附加特征/>，提取所述预融合图像/>的第三附加特征/>：
；
；
；
式中，为第一特征提取单元，/>为第二特征提取单元，/>为第三特征提取单元；
具体的，第一附加特征为所述可辨识增强图像、所述红外增强图像/>的浅层特征，可通过卷积层进行浅层特征提取，以达到更稳定、效果好的作用，对应的第一特征提取单元为浅层特征提取单元，第二附加特征为所述可辨识增强图像/>、所述红外增强图像/>的深层特征，对应的第二特征提取单元为深度特征提取单元，第三特征为与融合图像的融合特征，且第三特征提取单元为ConvNeXt网络特征提取单元。
S43、通过注意力机制、所述第一附加特征与所述第二附加特征计算融合信息/>，通过融合网络对所述融合信息/>、所述第三附加特征/>进行特征融合，以得到融合特征/>：
；
式中，为卷积层，/>为拼接操作；
具体的，通过注意力机制可计算所述第一附加特征与所述第二附加特征/>的输出特征，即通过注意力机制将所述第一附加特征/>与所述第二附加特征/>分割为不重叠的若干窗口，之后输入对应的特征，对每个窗口的特征进行自注意力计算，并将其对应投射至查询向量、键向量与值向量中，之后进行Attention函数的计算，之后使用残差进行连接，以得到融合信息，同时/>具体为具有空间不变滤波器的卷积层，/>表示信道维数上的拼接操作。
S44、对所述融合特征进行特征恢复与图像重建，以得到融合图像/>：
；
式中，为重建单元，/>恢复单元；
具体的，首先将融合后的浅层特征进行恢复处理，并利用深层特征中的全局信息来恢复融合后的浅层特征，之后通过基于CNN的图像重建单元进行图像重建，减少通道数生成最终融合后生成的融合图像/>。
本发明实施例一提供的基于FPGA的图像处理融合方法，本申请首先同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；对可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；之后对可辨识去噪图像与红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；最后将可辨识增强图像与红外增强图像进行跨域融合处理，以得到融合图像，本发明可同步采集可辨识图像与红外图像，避免因两图像之间的采集时钟差而影响后续的图像处理融合过程，同时本发明通过对图像进行去噪与增强处理，可有效去除图像中的噪声，同时增强了图像中的特征，使得图像中蕴含的特征信息更加易于表达，同时也有效的提高了图像质量，最后本发明对多源图像进行融合处理，在不丢失图像原有信息的前提下为单个图像补充了更多的细节、纹理与特征信息，且融合速度快、融合图像质量与精度有显著提升。
实施例二
如图8所示，在本发明的实施例二提供了一种基于FPGA的图像处理融合系统，所述系统包括：
采集模块1，用于同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；
去噪模块2，用于对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；
增强模块3，用于对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；
融合模块4，用于将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像。
其中，所述采集模块1包括：
信号生成子模块，用于输出频率可调的PWM波，将所述PWM波作为第一外部拍摄设备与第二外部拍摄设备的触发信号；
信号获取子模块，用于所述第一外部拍摄设备与所述第二外部拍摄设备获取所述触发信号，所述FPGA根据所述触发信号获取所述第一外部拍摄设备、所述第二外部拍摄设备的配置信息与设备信息；
映射子模块，用于基于所述配置信息与所述设备信息申请缓冲队列，将所述缓冲队列映射至用户空间中并控制所述第一外部拍摄设备采集可辨识图像、所述第二外部拍摄设备采集红外图像；
传输子模块，用于将所述可辨识图像与所述红外图像分别复制至第一内存区与第二内存区，统一所述第一内存区与所述第二内存区的时钟数据并将所述第一内存区中存储的所述可辨识图像与所述第二内存区中存储的红外图像传输至所述FPGA中。
所述去噪模块2包括：
分割子模块，用于根据所述可辨识图像的尺寸将所述可辨识图像分割为若干相邻的子图像；
分配子模块，用于获取每个所述子图像的灰度直方图并确定所述子图像中每个像素点的灰度级，基于灰度级阈值对所述灰度直方图进行裁剪并将大于灰度级阈值的像素点的灰度级均匀分配至该像素点对应子图像的每个灰度级上，以得到分配子图；
插值子模块，用于对每个所述分配子图的灰度值进行两次插值处理，以得到所述分配子图的分配灰度值，基于所述分配灰度值将所述分配子图进行图像拼接，以得到可辨识去噪图像。
所述插值子模块包括：
基准像素点选取单元，用于选取任一所述分配子图作为插值子图并在所述插值子图中任一选取一像素点作为基准像素点；
待插值像素点选取单元，用于确定所述基准像素点的坐标以及与所述基准像素点相邻的四个待插值分配子图，在四个所述待插值分配子图中均任意选取一待插值像素点，以得到四个所述待插值像素点；
第一插值单元，用于基于四个所述待插值像素点的坐标与灰度值对所述基准像素点进行第一次插值处理，以得到第一插值灰度值与第二插值灰度值/>：
；
；
式中，、/>、/>、/>分别表示四个所述待插值像素点的灰度值，/>表示第一、第四个待插值像素点的横坐标，/>表示第二、第三个待插值像素点的横坐标，/>表示基准像素点的横坐标；
第二插值单元，用于基于所述第一插值灰度值与所述第二插值灰度值/>对所述基准像素点进行第二次插值处理，以得到所述基准像素点对应分配子图的分配灰度值：
；
式中，表示第三、第四个待插值像素点的纵坐标，/>表示第一、第二个待插值像素点的纵坐标，/>表示基准像素点的纵坐标。
所述增强模块3包括：
图像信息表达子模块，用于对所述可辨识去噪图像与所述红外图像进行图像信息表达：
；
式中，为图像信息，/>为光照量，/>为光反射量，为图像中像素的空间位置；
变换子模块，用于通过所述FPGA对光反射量进行多尺度变换：
；
式中，为尺度，/>为尺度上限，/>为高斯卷积核；
增强子模块，用于对所述光照量进行增强处理，以得到增强光照量/>：
；
式中，为图像像素最大值，/>为光照参数；
矫正子模块，用于基于所述增强光照量对所述多尺度变换后的光反射量进行矫正处理，以得到矫正光反射量/>：
；
解算子模块，用于基于所述矫正光反射量对所述可辨识去噪图像与所述红外图像进行解算增强处理，以得到可辨识增强图像与红外增强图像。
所述融合模块4包括：
预融合子模块，用于对所述可辨识增强图像与所述红外增强图像/>进行预融合与融合优化，以得到预融合图像/>；
特征提取子模块，用于提取所述可辨识增强图像、所述红外增强图像/>的第一附加特征/>，从所述第一附加特征/>中提取第二附加特征/>，提取所述预融合图像/>的第三附加特征/>：
；
；
；
式中，为第一特征提取单元，/>为第二特征提取单元，/>为第三特征提取单元；
特征融合子模块，用于通过注意力机制、所述第一附加特征与所述第二附加特征/>计算融合信息/>，通过融合网络对所述融合信息/>、所述第三附加特征/>进行特征融合，以得到融合特征/>：
；
式中，为卷积层，/>为拼接操作；
重建子模块，用于对所述融合特征进行特征恢复与图像重建，以得到融合图像：
；
式中，为重建单元，/>恢复单元。
所述预融合子模块包括：
初始融合单元，用于将所述可辨识增强图像与所述红外增强图像/>进行初始融合，以得到第一融合图像/>：
式中，为融合变量；
信任度计算单元，用于基于所述第一融合图像计算融合信任度：
；
式中，为信任因子，/>为第一融合图像的梯度，/>为红外增强图像的梯度，/>为可辨识增强图像的梯度；
信任度判断单元，用于判断所述融合信任度是否小于信任度阈值，若所述融合信任度小于信任度阈值，则通过优化函数对融合变量进行优化更新，以得到更新变量：
；
式中，为像素空间位置，/>、/>分别融合变量的水平梯度与垂直梯度；
变量替换单元，用于将所述更新变量替换所述融合变量/>，以得到预融合图像/>：
。
在本发明的另一些实施例中，本发明实施例提供以下技术方案，一种计算机，包括存储器102、处理器101以及存储在所述存储器102上并可在所述处理器101上运行的计算机程序，所述处理器101执行所述计算机程序时实现如上所述的基于FPGA的图像处理融合方法。
具体的，上述处理器101可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器102可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（Solid State Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerial Bus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器102可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器102可在数据处理装置的内部或外部。在特定实施例中，存储器102是非易失性（Non-Volatile）存储器。在特定实施例中，存储器102包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random Access Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（ErasableProgrammable Read-Only Memory，简称为EPROM）、电可擦除PROM（Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM）、电可改写ROM（ElectricallyAlterable Read-Only Memory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-AccessMemory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器101所执行的可能的计算机程序指令。
处理器101通过读取并执行存储器102中存储的计算机程序指令，以实现上述基于FPGA的图像处理融合方法。
在其中一些实施例中，计算机还可包括通信接口103和总线100。其中，如图9所示，处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
通信接口103用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线100包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线100包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（Control Bus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线100可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（Front Side Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线100可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机可以基于获取到基于FPGA的图像处理融合系统，执行本申请的基于FPGA的图像处理融合方法，从而实现基于FPGA的图像处理融合。
在本发明的再一些实施例中，结合上述的基于FPGA的图像处理融合方法，本发明实施例提供以下技术方案，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于FPGA的图像处理融合方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于FPGA的图像处理融合方法，其特征在于，包括：
同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；
对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；
对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；
将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像；
所述对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像的步骤包括：
对所述可辨识去噪图像与所述红外图像进行图像信息表达：
；
式中，为图像信息，/>为光照量，/>为光反射量，/>为图像中像素的空间位置；
通过所述FPGA对光反射量进行多尺度变换：
；
式中，为尺度，/>为尺度上限，/>为高斯卷积核；
对所述光照量进行增强处理，以得到增强光照量/>：
；
式中，为图像像素最大值，/>为光照参数；
基于所述增强光照量对所述多尺度变换后的光反射量进行矫正处理，以得到矫正光反射量/>：
；
基于所述矫正光反射量对所述可辨识去噪图像与所述红外图像进行解算增强处理，以得到可辨识增强图像与红外增强图像。
2.根据权利要求1所述的基于FPGA的图像处理融合方法，其特征在于，所述同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像的步骤包括：
输出频率可调的PWM波，将所述PWM波作为第一外部拍摄设备与第二外部拍摄设备的触发信号；
所述第一外部拍摄设备与所述第二外部拍摄设备获取所述触发信号，所述FPGA根据所述触发信号获取所述第一外部拍摄设备、所述第二外部拍摄设备的配置信息与设备信息；
基于所述配置信息与所述设备信息申请缓冲队列，将所述缓冲队列映射至用户空间中并控制所述第一外部拍摄设备采集可辨识图像、所述第二外部拍摄设备采集红外图像；
将所述可辨识图像与所述红外图像分别复制至第一内存区与第二内存区，统一所述第一内存区与所述第二内存区的时钟数据并将所述第一内存区中存储的所述可辨识图像与所述第二内存区中存储的红外图像传输至所述FPGA中。
3.根据权利要求1所述的基于FPGA的图像处理融合方法，其特征在于，所述对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像的步骤包括：
根据所述可辨识图像的尺寸将所述可辨识图像分割为若干相邻的子图像；
获取每个所述子图像的灰度直方图并确定所述子图像中每个像素点的灰度级，基于灰度级阈值对所述灰度直方图进行裁剪并将大于灰度级阈值的像素点的灰度级均匀分配至该像素点对应子图像的每个灰度级上，以得到分配子图；
对每个所述分配子图的灰度值进行两次插值处理，以得到所述分配子图的分配灰度值，基于所述分配灰度值将所述分配子图进行图像拼接，以得到可辨识去噪图像。
4.根据权利要求3所述的基于FPGA的图像处理融合方法，其特征在于，所述对每个所述分配子图的灰度值进行两次插值处理，以得到所述分配子图的分配灰度值的步骤包括：
选取任一所述分配子图作为插值子图并在所述插值子图中任一选取一像素点作为基准像素点；
确定所述基准像素点的坐标以及与所述基准像素点相邻的四个待插值分配子图，在四个所述待插值分配子图中均任意选取一待插值像素点，以得到四个所述待插值像素点；
基于四个所述待插值像素点的坐标与灰度值对所述基准像素点进行第一次插值处理，以得到第一插值灰度值与第二插值灰度值/>：
；
；
式中，、/>、/>、/>分别表示四个所述待插值像素点的灰度值，/>表示第一、第四个待插值像素点的横坐标，/>表示第二、第三个待插值像素点的横坐标，/>表示基准像素点的横坐标；
基于所述第一插值灰度值与所述第二插值灰度值/>对所述基准像素点进行第二次插值处理，以得到所述基准像素点对应分配子图的分配灰度值/>：
；
式中，表示第三、第四个待插值像素点的纵坐标，/>表示第一、第二个待插值像素点的纵坐标，/>表示基准像素点的纵坐标。
5.根据权利要求1所述的基于FPGA的图像处理融合方法，其特征在于，所述将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像的步骤包括：
对所述可辨识增强图像与所述红外增强图像/>进行预融合与融合优化，以得到预融合图像/>；
提取所述可辨识增强图像、所述红外增强图像/>的第一附加特征/>，从所述第一附加特征/>中提取第二附加特征/>，提取所述预融合图像/>的第三附加特征/>：
；
；
；
式中，为第一特征提取单元，/>为第二特征提取单元，/>为第三特征提取单元；
通过注意力机制、所述第一附加特征与所述第二附加特征/>计算融合信息/>，通过融合网络对所述融合信息/>、所述第三附加特征/>进行特征融合，以得到融合特征/>：
；
式中，为卷积层，/>为拼接操作；
对所述融合特征进行特征恢复与图像重建，以得到融合图像/>：
；
式中，为重建单元，/>恢复单元。
6.根据权利要求5所述的基于FPGA的图像处理融合方法，其特征在于，所述对所述可辨识增强图像与所述红外增强图像进行预融合与融合优化，以得到预融合图像的步骤包括：
将所述可辨识增强图像与所述红外增强图像/>进行初始融合，以得到第一融合图像/>：
式中，为融合变量；
基于所述第一融合图像计算融合信任度：
；
式中，为信任因子，/>为第一融合图像的梯度，/>为红外增强图像的梯度，/>为可辨识增强图像的梯度；
判断所述融合信任度是否小于信任度阈值，若所述融合信任度小于信任度阈值，则通过优化函数对融合变量进行优化更新，以得到更新变量：
；
式中，为像素空间位置，/>、/>分别融合变量的水平梯度与垂直梯度；
将所述更新变量替换所述融合变量/>，以得到预融合图像/>：
。
7.一种基于FPGA的图像处理融合系统，其特征在于，所述系统包括：
采集模块，用于同步采集第一外部拍摄设备拍摄到的可辨识图像与第二外部拍摄设备拍摄到的红外图像；
去噪模块，用于对所述可辨识图像进行均衡去噪处理，以得到可辨识去噪图像；
增强模块，用于对所述可辨识去噪图像与所述红外图像进行图像反射增强，以得到可辨识增强图像与红外增强图像；
融合模块，用于将所述可辨识增强图像与所述红外增强图像进行跨域融合处理，以得到融合图像；
其中，所述增强模块包括：
图像信息表达子模块，用于对所述可辨识去噪图像与所述红外图像进行图像信息表达：
；
式中，为图像信息，/>为光照量，/>为光反射量，/>为图像中像素的空间位置；
变换子模块，用于通过所述FPGA对光反射量进行多尺度变换：
；
式中，为尺度，/>为尺度上限，/>为高斯卷积核；
增强子模块，用于对所述光照量进行增强处理，以得到增强光照量/>：
；
式中，为图像像素最大值，/>为光照参数；
矫正子模块，用于基于所述增强光照量对所述多尺度变换后的光反射量进行矫正处理，以得到矫正光反射量/>：
；
解算子模块，用于基于所述矫正光反射量对所述可辨识去噪图像与所述红外图像进行解算增强处理，以得到可辨识增强图像与红外增强图像。
8.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于FPGA的图像处理融合方法。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于FPGA的图像处理融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311443179.3A CN117173070A (zh) | 2023-11-02 | 2023-11-02 | 一种基于fpga的图像处理融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311443179.3A CN117173070A (zh) | 2023-11-02 | 2023-11-02 | 一种基于fpga的图像处理融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173070A true CN117173070A (zh) | 2023-12-05 |
Family
ID=88937846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311443179.3A Pending CN117173070A (zh) | 2023-11-02 | 2023-11-02 | 一种基于fpga的图像处理融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173070A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392615A (zh) * | 2023-12-12 | 2024-01-12 | 南昌理工学院 | 一种基于监控视频的异常识别方法及系统 |
| CN117994160A (zh) * | 2024-04-01 | 2024-05-07 | 南昌理工学院 | 一种图像处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013103184A1 (ko) * | 2012-01-03 | 2013-07-11 | 중앙대학교 산학협력단 | 색상 채널을 이용한 영상 개선 장치 및 방법 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109816605A (zh) * | 2019-01-16 | 2019-05-28 | 大连海事大学 | 一种基于多通道卷积的msrcr图像去雾方法 |
| CN110175964A (zh) * | 2019-05-30 | 2019-08-27 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
| CN112365424A (zh) * | 2020-11-17 | 2021-02-12 | 昆明物理研究所 | 基于局部自适应clahe的红外图像去噪增强方法、装置、系统与计算机可读存储介质 |
| CN112561804A (zh) * | 2020-10-09 | 2021-03-26 | 天津大学 | 基于多尺度细节增强的低光照水下图像增强方法 |
| CN113095358A (zh) * | 2021-03-05 | 2021-07-09 | 北京中电联达信息技术有限公司 | 一种图像融合方法及系统 |
| CN114240789A (zh) * | 2021-12-21 | 2022-03-25 | 华南农业大学 | 一种基于优化的保持亮度的红外图像直方图均衡增强方法 |
| CN115388760A (zh) * | 2021-05-20 | 2022-11-25 | 株洲中车时代电气股份有限公司 | 基于弓网检测装置的数据处理方法、装置、设备及介质 |
-
2023
- 2023-11-02 CN CN202311443179.3A patent/CN117173070A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013103184A1 (ko) * | 2012-01-03 | 2013-07-11 | 중앙대학교 산학협력단 | 색상 채널을 이용한 영상 개선 장치 및 방법 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109816605A (zh) * | 2019-01-16 | 2019-05-28 | 大连海事大学 | 一种基于多通道卷积的msrcr图像去雾方法 |
| CN110175964A (zh) * | 2019-05-30 | 2019-08-27 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
| CN112561804A (zh) * | 2020-10-09 | 2021-03-26 | 天津大学 | 基于多尺度细节增强的低光照水下图像增强方法 |
| CN112365424A (zh) * | 2020-11-17 | 2021-02-12 | 昆明物理研究所 | 基于局部自适应clahe的红外图像去噪增强方法、装置、系统与计算机可读存储介质 |
| CN113095358A (zh) * | 2021-03-05 | 2021-07-09 | 北京中电联达信息技术有限公司 | 一种图像融合方法及系统 |
| CN115388760A (zh) * | 2021-05-20 | 2022-11-25 | 株洲中车时代电气股份有限公司 | 基于弓网检测装置的数据处理方法、装置、设备及介质 |
| CN114240789A (zh) * | 2021-12-21 | 2022-03-25 | 华南农业大学 | 一种基于优化的保持亮度的红外图像直方图均衡增强方法 |
Non-Patent Citations (7)
| Title |
|---|
| GUOFA LI 等: "An infrared and visible image fusion method based on multi-scale transformation and norm optimization", 《INFORMATION FUSION》, vol. 71, pages 109 - 129 * |
| ZHIHUI GAO 等: "Image Dehazing Based on Multi-scale Retinex and Guided Filtering", 《2022 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, COMPUTER VISION AND MACHINE LEARNING (ICICML)》, pages 123 - 126 * |
| 孔奥阳: "基于Retinex阈值分割算法的图像增强研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2021, no. 2, pages 138 - 1550 * |
| 李明刚 等: "基于Retinex算法和视觉感知质量评价的逆光图像增强", 《计算机与数字工程》, vol. 48, no. 4, pages 952 - 955 * |
| 沈瑜 等: "基于NSCT和Bilateral滤波器的含噪声图像融合", 《兰州交通大学学报》, vol. 36, no. 4, pages 114 - 120 * |
| 郑敏: "基于Retinex理论的图像去雾去噪算法", 《智能计算机与应用》, vol. 10, no. 2, pages 93 - 96 * |
| 马康 等: "基于图像融合策略的Retinex背光图像增强算法", 《计算机技术与发展》, vol. 27, no. 8, pages 73 - 78 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392615A (zh) * | 2023-12-12 | 2024-01-12 | 南昌理工学院 | 一种基于监控视频的异常识别方法及系统 |
| CN117392615B (zh) * | 2023-12-12 | 2024-03-15 | 南昌理工学院 | 一种基于监控视频的异常识别方法及系统 |
| CN117994160A (zh) * | 2024-04-01 | 2024-05-07 | 南昌理工学院 | 一种图像处理方法及系统 |
| CN117994160B (zh) * | 2024-04-01 | 2024-06-04 | 南昌理工学院 | 一种图像处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
| CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US10984556B2 (en) | Method and apparatus for calibrating relative parameters of collector, device and storage medium | |
| CN117173070A (zh) | 一种基于fpga的图像处理融合方法及系统 | |
| CN111369545B (zh) | 边缘缺陷检测方法、装置、模型、设备及可读存储介质 | |
| EP3480784B1 (en) | Image processing method, and device | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110675334A (zh) | 一种图像增强方法及装置 | |
| CN109089046A (zh) | 图像降噪方法、装置、计算机可读存储介质及电子设备 | |
| CN111402170A (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
| JP7212554B2 (ja) | 情報処理方法、情報処理装置、及びプログラム | |
| CN110490196B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| CN115883988A (zh) | 视频图像拼接方法、系统、电子设备及存储介质 | |
| CN116433903A (zh) | 实例分割模型构建方法、系统、电子设备及存储介质 | |
| CN110390344A (zh) | 备选框更新方法及装置 | |
| CN113557520A (zh) | 字符处理及字符识别方法、存储介质和终端设备 | |
| CN116386023B (zh) | 基于时空扩散的高位相机车牌识别方法、系统及电子设备 | |
| CN118261805A (zh) | 一种基于fpga的图像处理融合方法及系统 | |
| CN116249015A (zh) | 摄像头遮挡检测方法、装置、摄像头设备及存储介质 | |
| CN112991419B (zh) | 视差数据生成方法、装置、计算机设备及存储介质 | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
| CN117994160B (zh) | 一种图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20231205 |