CN113066011A - 一种图像处理方法、装置、系统、介质和电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、系统、介质和电子设备，方法包括：实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；宽视场红外模组和窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；将宽视角红外图像和窄视角红外图像进行特征点匹配；根据宽视角红外图像和窄视角红外图像的特征点确定窄视角红外图像的缩放比例和移动参数；根据缩放比例和移动参数，进行宽视角红外图像与窄视角红外图像的图像融合，得到融合后图像，并将融合后图像发送至后端系统。既满足了大视角的要求，又能满足对设定视场的分辨率和识别距离的要求。

Description

一种图像处理方法、装置、系统、介质和电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、装置、系统、介质和电子设备。

背景技术

目前的红外夜视系统为单摄像头，而限制于成本和体积，红外传感器为小面阵，因此目标的像素数受到影响，低的分辨率要想达到远的识别距离就得牺牲系统的视场角，而较小的视场角会直接导致人员没有办法看清左右近距离范围内的视野场景。虽然大分辨率的探测器的摄像头可以很好兼顾识别距离和视场角，但是探测器成本高昂。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种图像处理方法、装置、系统、介质和电子设备，既满足了大视角的要求，又能满足对设定视场的分辨率和识别距离的要求。其具体方案如下：

本申请提供了一种图像处理方法，包括：

实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；所述宽视场红外模组和所述窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；

将所述宽视角红外图像和所述窄视角红外图像进行特征点匹配；

根据所述宽视角红外图像和所述窄视角红外图像的特征点确定所述窄视角红外图像的缩放比例和移动参数；

根据所述缩放比例和所述移动参数，进行所述宽视角红外图像与所述窄视角红外图像的图像融合，得到融合后图像，并将所述融合后图像发送至后端系统。

优选的，还包括：

实时获取所述宽视角红外图像的第一灰度均值和所述窄视角红外图像的第二灰度均值；

将所述第一灰度均值和所述第二灰度均值的差值作为调整灰度值，并将所述调整灰度值发送至所述窄视场红外模组，以使所述窄视场红外模组根据所述调整灰度值实时调整亮度参数。

优选的，还包括：

通过计数器产生周期脉冲的同步信号；

发送所述同步信号至外同步输入管脚，以实现所述宽视角红外图像和所述窄视角红外图像的时刻相同；

对应的，所述实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像，包括：

将所述宽视场红外模组和所述窄视场红外模组的图像分别在相应的内部缓存FIFO进行时钟域转换，再写入到外部存储器中缓存；

读取缓存的所述宽视角红外图像和所述窄视角红外图像。

优选的，所述将所述宽视角红外图像和所述窄视角红外图像进行特征点匹配，包括：

按照所述宽视场红外模组与所述窄视场红外模组的视角倍数，放大所述宽视角红外图像；

将所述窄视角红外图像和放大后宽视角红外图像进行区域匹配；

在匹配的区域中进行特征点匹配。

优选的，所述将所述融合后图像发送至后端系统，包括：

利用LVDS编码器发送所述融合后图像至所述后端系统。

本申请提供了一种图像处理装置，包括：

红外图像获取模块，用于实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；所述宽视场红外模组和所述窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；

特征点匹配模块，用于将所述宽视角红外图像和所述窄视角红外图像进行特征点匹配；

缩放比例确定模块，用于根据所述宽视角红外图像和所述窄视角红外图像的特征点确定所述窄视角红外图像的缩放比例和移动参数；

融合模块，用于根据所述缩放比例和所述移动参数，进行所述宽视角红外图像与所述窄视角红外图像的图像融合，得到融合后图像，并将所述融合后图像发送至后端系统。

本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述图像处理方法的步骤。

本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述图像处理方法的步骤。

本申请提供了一种图像处理系统，包括：

宽视场红外模组和窄视场红外模组；

如上所述的电子设备；

与所述电子设备连接的后端系统。

优选的，所述后端系统用于根据融合后图像和窄视角红外图像，按照预设显示方式进行图像显示；

其中，所述预设显示方式至少包括：显示所述融合后图像或所述窄视角红外图像、所述融合后图像和所述窄视角红外图像不重合显示、所述融合后图像和所述窄视角红外图像叠加显示、所述融合后图像和所述窄视角红外图像电子变倍和光学变倍显示中的任意一种。

本申请提供了一种图像处理方法，包括：实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；宽视场红外模组和窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；将宽视角红外图像和窄视角红外图像进行特征点匹配；根据宽视角红外图像和窄视角红外图像的特征点确定窄视角红外图像的缩放比例和移动参数；根据缩放比例和移动参数，进行宽视角红外图像与窄视角红外图像的图像融合，得到融合后图像，并将融合后图像发送至后端系统。

可见，本申请设置宽视场红外模组和窄视场红外模组均为常规的低分辨率的红外模组，宽视场红外模组具有大的视角，但是识别距离较近，窄视场红外模组具有小的视场角，但是识别距离远，两个视场红外模组在同一水平面上，具有交叉的视场角，进而当宽视角红外图像和窄视角红外图像的特征点确定缩放比例后，根据缩放比例将宽视角红外图像和窄视角红外图像进行融合，窄视角红外图像代替匹配的宽视角红外图像中的重叠部分，得到了融合后图像，融合后图像是窄视角红外图像的重叠的那部分分别率高，周围分辨率相对较低，既满足了大视角的要求，又能满足对设定视场的分辨率和识别距离的要求。

本申请同时还提供了图像处理装置、系统、介质和电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种图像处理方法的流程图；

图2为本申请实施例提供的一种具体的图像融合处理的过程；

图3a-3b为本申请实施例提供的特征点坐标示意图；

图4为本申请实施例提供的一种图像处理装置的结构示意图；

图5为本申请实施例提供的一种电子设备组成框图；

图6a-6d为本申请实施例提供的图像显示示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前的红外夜视系统为单摄像头，而限制于成本和体积，红外传感器为小面阵，因此目标的像素数受到影响，低的分辨率要想达到远的识别距离就得牺牲系统的视场角，而较小的视场角会直接导致人员没有办法看清左右近距离范围内的视野场景。虽然大分辨率的探测器的摄像头可以很好兼顾识别距离和视场角，但是探测器成本高昂。

基于上述技术问题，本实施例提供一种图像处理方法，设置宽视场红外模组和窄视场红外模组均为常规的低分辨率的红外模组，宽视场红外模组具有大的视角，但是识别距离较近，窄视场红外模组具有小的视场角，但是识别距离远，两个视场红外模组在同一水平面上，具有交叉的视场角，进而当宽视角红外图像和窄视角红外图像的特征点确定缩放比例后，根据缩放比例将宽视角红外图像和窄视角红外图像进行融合，窄视角红外图像代替匹配的宽视角红外图像中的重叠部分，得到了融合后图像，融合后图像是窄视角红外图像的重叠的那部分分别率高，周围分辨率相对较低，既满足了大视角的要求，又能满足对设定视场的分辨率和识别距离的要求。

具体请参考图1，图1为本申请实施例提供的一种图像处理方法的流程图，具体包括：

S101、实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；

宽视场红外模组和窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；

本实施例的执行主体为电子设备，该电子设备主要是图像融合处理设备，该图像融合处理设备的处理器可以是FPGA(Field-Programmable Gate Array，现场可编程门阵列)、DSP((Digital Signal Processing，数字信号处理)或者其他通用处理器、SOC(Systemon Chip，系统级芯片)或者专用定制ASIC(application specific integrated circuit，特定应用的集成电路)等。

本步骤中实时获取宽视角红外图像和窄视角红外图像。

针对视场红外模组的结构进行说明，本实施例采用双红外模组，设置宽视场红外模组和窄视场红外模组均为常规的低分辨率的红外模组，宽视场红外模组具有大的视角，但是识别距离较近，窄视场红外模组具有小的视场角，但是识别距离远，两个视场红外模组在同一水平面上，具有交叉的视场角，也就是说，两个视场红外模组的探测器在同一水平面上，光学镜头的F数、景深尽量保持一致，对焦点安装预设范围内均能清晰成像为标准，来对光学镜头进行调焦后固定，以便镜头在作用距离范围内聚焦清晰；例如，以5米到200米为例，镜头会确定一个多少米的目标调焦清晰，然后就可以保证这个范围内都可以清晰成像。宽视角红外图像的视角比窄视角红外图像的视角范围大，且两者存在视角交叉。

S102、将宽视角红外图像和窄视角红外图像进行特征点匹配；

本步骤的目的是为了进行同一时刻的两个红外图像的特征点匹配，具体的匹配方式用户可自定义设置，本实施例不再进行赘述，例如，采用SURF特征因子查找特征点，当然还可以是其他方式。在本步骤中宽视角红外图像可以进行大小的缩放，当然也可以不缩放，本实施例不再进行限定，用户可自定设置。

S103、根据宽视角红外图像和窄视角红外图像的特征点确定窄视角红外图像的缩放比例和移动参数；

S104、根据缩放比例和移动参数，进行宽视角红外图像与窄视角红外图像的图像融合，得到融合后图像，并将融合后图像发送至后端系统。

在一种可实现的实施方式中，在宽视角红外图像中确定两组(横向和纵向)特征点间的距离，在窄视角红外图像中确定相应的特征点间的距离，两个距离的比值记为缩放比例。如，通过横向和纵向两组特征点的像素距离来计算得到窄视角需要缩放的比例，计算公式如公式(1)和公式(2)：

Xratio＝(X12–X11)/(x12–x11) (1)

Yratio＝(Y22–Y21)/(y22–y21) (2)

其中，X11为宽视角红外图像的横向第一点的像素横坐标，X12为宽视角红外图像的横向第二点的像素横坐标，x11为窄视角红外图像的横向第一点的像素横坐标，x12为窄视角红外图像的横向第二点的像素横坐标，Xratio为横向缩放比例，Y11为宽视角红外图像的纵向第一点的像素纵坐标，Y12为宽视角红外图像的纵向第二点的像素纵坐标，y11为窄视角红外图像的纵向第一点的像素纵坐标，y12为窄视角红外图像的纵向第二点的像素纵坐标，Yratio为纵向缩放比例，Xratio、Yratio作为缩放比例。

可以理解的是，将Xratio、Yratio作为无极变倍算法模块的参数输入，对输入的窄视角图像做缩放处理后进行像素级融合。如果Xratio或Yratio大于1，窄视场红外模组的窄视角红外图像将被放大；如果Xratio或Yratio小于1，将被缩小；如果Xratio或Yratio等于1，不作处理。

同时通过任意一组特征点的横向和纵向像素距离差确定窄视角需要横向和纵向的移动参数，计算公式如公式(3)和公式(4)：

Xoffset＝X11–x11 (3)

Yoffset＝Y21–y21 (4)

Xoffset为横向偏移量，Yoffset为纵向偏移量，横向偏移量和纵向偏移量作为移动参数作为像素级融合的参数输入，调整缩放后的窄视角图像在宽视角图像背景上的水平和垂直坐标位置。以上操作在每一帧图像上做实时处理，如此，整个融合过程都是自动适应完成。

在另一种可实现的实施方式中，在宽视角红外图像中确定两组(横向和纵向)特征点间的距离，在窄视角红外图像中确定相应的特征点间的距离，两个距离的比值记为子缩放比例；然后多组子缩放比例求均值得到缩放比例，相应的，移动参数也是多个子移动参数求平均值得到的，具体的本实施例不再进行限定，可参考上述的实施例。

本实施例在图像融合的时候，可以先将宽视角红外图像做放大处理，直到重叠部分(宽视角红外图像与窄视角红外图像的重叠部分)的分辨率和窄视角红外图像分辨率相同，然后用窄视角红外图像替换宽视角红外图像的场景重叠部分，最后得到一幅中心视角分辨率高、周围视角分辨率相对较低并且做了放大处理的一幅大的红外图像(融合后图像)，该图像既能满足宽视角要求，又能满足中心视场对分辨率和识别距离的要求。当然也可以不做放大处理，直接根据移动参数和放大比例进行重叠部分的替换，本实施例不再进行限定，只要是能够实现本实施例的目的即可。

进而，将融合后图像发送至后端系统，对于融合后图像的发送方式本实施例不再进行限定，只要是能够实现本实施例的目的即可。可以采用LVDS(Low-VoltageDifferential Signaling，低电压差分信号)数字视频、模拟CVBS(Composite VideoBroadcast Signal，复合视频广播信号)、数字DVP并口(Digital Video Port，数字视频端口)等形式，满足视频的输出分辨率和帧率对带宽的要求，并能和后端系统的视频接入端口相匹配。可以理解的是，帧率和分辨率越高，带宽就越高，DVP只适合近距离低带宽，LVDS适合远距离高带宽，CVBS是标准PAL(Phase Alteration Line)或者NTSC(NationalTelevision Standards Committee)，有各自标准要求，对于这些图像输出接口，用户可以按需要选择。优选地，将融合后图像发送至后端系统，包括：利用LVDS编码器发送融合后图像至后端系统。

基于上述技术方案，本实施例设置宽视场红外模组和窄视场红外模组均为常规的低分辨率的红外模组，宽视场红外模组具有大的视角，但是识别距离较近，窄视场红外模组具有小的视场角，但是识别距离远，两个视场红外模组在同一水平面上，具有交叉的视场角，进而当宽视角红外图像和窄视角红外图像的特征点确定缩放比例后，根据缩放比例将宽视角红外图像和窄视角红外图像进行融合，窄视角红外图像代替匹配的宽视角红外图像中的重叠部分，得到了融合后图像，融合后图像是窄视角红外图像的重叠的那部分分别率高，周围分辨率相对较低，既满足了大视角的要求，又能满足对设定视场的分辨率和识别距离的要求。

基于上述实施例，为了使得融合后的图像看起来过度自然，最终融合后输出一幅肉眼感觉舒适、协调的图像，还包括：

实时获取宽视角红外图像的第一灰度均值和窄视角红外图像的第二灰度均值；

将第一灰度均值和第二灰度均值的差值作为调整灰度值，并将调整灰度值发送至窄视场红外模组，以使窄视场红外模组根据调整灰度值实时调整亮度参数。

可以理解的是，两个红外模组因场景、镜头等的差异，会导致图像在叠加后明暗不一致，本实施例中通过使用(但不限于)伽马矫正或者均值灰度匹配的方式，实时统计宽视角红外图像和窄视角红外图像的灰度均值，即第一灰度均值和第二灰度均值，得到调整灰度差值，然后用红外模组的控制信号线发送包括调整灰度值的控制命令来调节图像亮度值，以使下一帧的两张图像亮度均衡，最终输出的融合后图像更加自然。

也就是说，本实施例中调节窄视角红外图像的亮度来匹配宽视角红外图像的亮度，如果窄视角红外图像的第二灰度均值小于宽视角红外图像第一灰度均值，就发送调整灰度差值调节窄视角红外图像的亮度，反之降低窄视角红外图像的亮度设置，调节后在下一帧继续统计两幅红外图像的灰度均值，再一次对比灰度大小，并确定亮度调节趋势，如此反馈调节窄视角红外图像亮度，使窄视角红外图像的第二灰度均值和宽视角红外图像的第一灰度均值相等。通过灰度均衡，使得融合后图像看起来过度自然，最终融合后输出一幅肉眼感觉舒适、协调的图像。

基于上述任一实施例，还包括：

通过计数器产生周期脉冲的同步信号；

发送同步信号至外同步输入管脚，以实现宽视角红外图像和窄视角红外图像的时刻相同；

对应的，实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像，包括：

将宽视场红外模组和窄视场红外模组的图像分别在相应的内部缓存FIFO进行时钟域转换，再写入到外部存储器中缓存；

读取缓存的宽视角红外图像和窄视角红外图像。

请参考图2，图2为本申请实施例提供的一种具体的图像融合处理的过程，其中，电子设备可以是FPGA，FPGA内通过计数器产生周期脉冲作为外同步信号，送到宽视场红外模组和窄视场红外模组的外同步输入管脚上，作为Trig信号，用来保证两个红外模组输出图像对场景的感应时刻一致。宽视场红外模组和窄视场红外模组的两路图像数据流分别先进入FPGA内部缓存FIFO，做时钟域转换，再用写控制逻辑把一帧数据写入到外部存储器中缓存。读控制逻辑将缓存好的图像取出然后进行后续的特征点匹配、缩放比例和移动参数确定、图像融合的过程。先放入缓存的目的是按照一定时间进行数据的读取，避免时序错误的情况的发生。

基于上述实施例，本实施例针对特征点匹配进行进一步阐述，其中，将宽视角红外图像和窄视角红外图像进行特征点匹配，包括：

按照宽视场红外模组与窄视场红外模组的视角倍数，放大宽视角红外图像；

将窄视角红外图像和放大后宽视角红外图像进行区域匹配；

在匹配的区域中进行特征点匹配。

本实施例进行电子放大处理，主要是目前的原理样机是两个视角为视角倍数的关系，所以宽视角红外图像放大视角倍数的时候，窄视角红外图像叠加进来可以只做很小的放大或者缩小就可匹配到，目的是要尽可能的不缩小窄视角红外图像，因为缩小会造成图像像素点丢失，进而影响作用距离，所以背景图像(宽视角红外图像)的宽视角尽可能的做放大，具体的，视角倍数可以2倍，窄视角应该大于等于1/2的宽视角；优选地，窄视角是宽视角的中间视角，例如，宽视角水平视角(FOV)为60°，窄视角水平视角为30°，当然，还可以是其他角度，本实施例不再进行限定，只要是能够实现本实施例的目的即可。

以视角倍数为2倍、窄视角是宽视角的中间视角为例，对于宽视角红外图像先做2倍电子放大处理，作为图像的背景层，输入到像素级融合模块。窄视角红外图像和2倍放大后的宽视角红外图像做中心区域匹配，可以以宽视角的中心1/4区域为基础，在这个边界上去分别找到宽窄两个视场图像的特征点，采用SURF特征因子查找特征点，然后根据距离和相似度做特征点匹配。在横向和纵向上分别提取一组特征点，并标记他们的像素坐标(x11，y11)，(x12，y12)，(x21，y21)，(x22，y22)，和(x11，y11)，(x12，y12)，(x21，y21)，(x22，y22)，请参考图3a、图3b，图3a和图3b为本申请实施例提供的特征点坐标示意图。

可见，本实施例进行电子放大处理，宽视角红外图像放大视角倍数的时候，窄视角红外图像叠加进来可以只做很小的放大或者缩小就可匹配到，尽可能的不缩小窄视角红外图像，避免图像缩小处理后像素点丢失，导致作用距离下降的情况发生。

下面对本申请实施例提供的一种图像处理装置进行介绍，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照，参考图4，图4为本申请实施例提供的一种图像处理装置的结构示意图，包括：

红外图像获取模块401，用于实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；宽视场红外模组和窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；

特征点匹配模块402，用于将宽视角红外图像和窄视角红外图像进行特征点匹配；

缩放比例确定模块403，用于根据宽视角红外图像和窄视角红外图像的特征点确定窄视角红外图像的缩放比例和移动参数；

融合模块404，用于根据缩放比例和移动参数，进行宽视角红外图像与窄视角红外图像的图像融合，得到融合后图像，并将融合后图像发送至后端系统。

优选的，还包括：灰度均衡模块，用于：

实时获取宽视角红外图像的第一灰度均值和窄视角红外图像的第二灰度均值；

将第一灰度均值和第二灰度均值的差值作为调整灰度值，并将调整灰度值发送至窄视场红外模组，以使窄视场红外模组根据调整灰度值实时调整亮度参数。

优选的，还包括：同步信号发送模块，用于：通过计数器产生周期脉冲的同步信号；发送同步信号至外同步输入管脚，以实现宽视角红外图像和窄视角红外图像的时刻相同；

对应的，红外图像获取模块401，包括：

写入缓存单元，用于将宽视场红外模组和窄视场红外模组的图像分别在相应的内部缓存FIFO进行时钟域转换，再写入到外部存储器中缓存；

读取单元，用于读取缓存的宽视角红外图像和窄视角红外图像。

优选的，特征点匹配模块402，包括：

放大单元，用于按照宽视场红外模组与窄视场红外模组的视角倍数，放大宽视角红外图像；

区域匹配单元，用于将窄视角红外图像和放大后宽视角红外图像进行区域匹配；

匹配单元，用于在匹配的区域中进行特征点匹配。

优选的，融合模块404，包括：

发送单元，用于利用LVDS编码器发送融合后图像至后端系统。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的方法可相互对应参照。

本实施例提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上图像处理方法的步骤。

具体的，电子设备由两个不同视角的视场红外模组、处理器、前壳、保护窗、后壳、对外连接器等部件组成。请参考图5，图5为本申请实施例提供的一种电子设备组成框图。视场红外模组和处理器是本电子设备的核心部件。

其中，视场红外模组包括红外镜头、红外探测器、探测器驱动电路板、红外图像处理板和快门组件，完成从探测器感知的热辐射到肉眼可见的红外图像的整个处理过程，其中，红外图像处理板用于将红外探测器感知到的图像做图像处理算法，输出人眼可以感知的图像的过程，包括：非均匀校正、坏点去除、自动亮度对比度调节等。

本实施例中的两个视场红外模组使用的探测器，应不限制于相同型号，可以是不同的像元尺寸或者分辨率(像元尺寸越小，分辨率越高)，依据实际的应用需求进行选择搭配。红外镜头用来汇聚红外辐射能量，其焦距和F数直接影响图像的视角和灵敏度，应根据实际的使用场合，系统对视角和识别距离的不同要求，并结合探测器分辨率和像元尺寸来综合选择镜头焦距，本发明为了解决视角和识别距离的矛盾，在镜头的选择上分别使用宽视角和窄视角两种不同的镜头成对使用。

处理器(图像融合处理板)获取两个视场红外模组输出的红外图像，对红外图像进行缓存、缩放、特征点匹配、融合、亮度均衡等处理，最后通过接插件进行电气连接，将融合后图像输出给后端系统。处理器可以是FPGA、DSP或者其他通用处理器、SOC或者专用定制ASIC等。

其中，前壳、后壳用来保护整个视场红外模组的核心部件，装成整机后视场红外模组达到车规级电气和环境试验要求，为了方便安装，后壳或前壳上提供必要的机械安装孔位用于摄像头固定。本实施例不限于车辆环境使用，也可以是无人机载荷、安防监控等应用场合。

对于车载应用，为了保护镜头，可以在前壳上安装镜头保护窗，保护窗的大小满足视角和红外透过率要求，可以采用硅、锗和其他透红外材料。

由于电子设备部分的实施例与方法部分的实施例相互对应，因此电子设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。

本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上图像处理方法的步骤。

由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种图像处理系统进行介绍，下文描述的图像处理系统与上文描述的方法可相互对应参照。

本实施例提供了一种图像处理系统，包括：

如上的电子设备；

与电子设备连接的后端系统。

进一步的，后端系统用于根据融合后图像和窄视角红外图像，按照预设显示方式进行图像显示；

其中，预设显示方式至少包括：显示融合后图像或窄视角红外图像、融合后图像和窄视角红外图像不重合显示、融合后图像和窄视角红外图像叠加显示、融合后图像和窄视角红外图像电子变倍和光学变倍显示中的任意一种。

根据后端系统对摄像头的使用，为双红外相机设定了四种显示方式，请参考图6a-6d，图6a-6d为本申请实施例提供的图像显示示意图，包括：

1.单独显示其中一个视场，显示融合后图像(视场1)或窄视角红外图像(视场2)。

2.两个视场左右同时显示；融合后图像(视场1)和窄视角红外图像(视场2)不重合显示。

3.双视场融合叠加显示；融合后图像(视场1)和窄视角红外图像(视场2)叠加显示。

4.电子变倍和光学变倍功能；其中光学变倍通过切换不同视角的红外摄像头图像来实现；融合后图像(视场1)和窄视角红外图像(视场2)电子变倍和光学变倍显示。具体的，FPGA里面设计有缩放功能，可以对图像做插值放大，也就是电子变倍，电子放大的过程是：当目前图像是宽视角图像，对它做放大，直到输出的图像视角和窄视角相等前都是电子放大，和窄视角相等时就切换成窄视角输出，相当于切换了镜头，也就是光学变倍了，如果再继续放大，就是将窄视角的图像继续做插值放大，即电子放大。缩小的过程和这个相反。

由于图像处理系统部分的实施例与方法部分的实施例相互对应，因此图像处理系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种图像处理方法、装置、系统、介质和电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；所述宽视场红外模组和所述窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；

将所述宽视角红外图像和所述窄视角红外图像进行特征点匹配；

根据所述宽视角红外图像和所述窄视角红外图像的特征点确定所述窄视角红外图像的缩放比例和移动参数；

根据所述缩放比例和所述移动参数，进行所述宽视角红外图像与所述窄视角红外图像的图像融合，得到融合后图像，并将所述融合后图像发送至后端系统。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

实时获取所述宽视角红外图像的第一灰度均值和所述窄视角红外图像的第二灰度均值；

将所述第一灰度均值和所述第二灰度均值的差值作为调整灰度值，并将所述调整灰度值发送至所述窄视场红外模组，以使所述窄视场红外模组根据所述调整灰度值实时调整亮度参数。

3.根据权利要求1所述的图像处理方法，其特征在于，还包括：

通过计数器产生周期脉冲的同步信号；

发送所述同步信号至外同步输入管脚，以实现所述宽视角红外图像和所述窄视角红外图像的时刻相同；

对应的，所述实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像，包括：

将所述宽视场红外模组和所述窄视场红外模组的图像分别在相应的内部缓存FIFO进行时钟域转换，再写入到外部存储器中缓存；

读取缓存的所述宽视角红外图像和所述窄视角红外图像。

4.根据权利要求2所述的图像处理方法，其特征在于，所述将所述宽视角红外图像和所述窄视角红外图像进行特征点匹配，包括：

按照所述宽视场红外模组与所述窄视场红外模组的视角倍数，放大所述宽视角红外图像；

将所述窄视角红外图像和放大后宽视角红外图像进行区域匹配；

在匹配的区域中进行特征点匹配。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将所述融合后图像发送至后端系统，包括：

利用LVDS编码器发送所述融合后图像至所述后端系统。

6.一种图像处理装置，其特征在于，包括：

红外图像获取模块，用于实时获取同一时刻的宽视场红外模组的宽视角红外图像和窄视场红外模组的窄视角红外图像；所述宽视场红外模组和所述窄视场红外模组在同一水平面上，且，两者存在交叉的视场角；

特征点匹配模块，用于将所述宽视角红外图像和所述窄视角红外图像进行特征点匹配；

缩放比例确定模块，用于根据所述宽视角红外图像和所述窄视角红外图像的特征点确定所述窄视角红外图像的缩放比例和移动参数；

融合模块，用于根据所述缩放比例和所述移动参数，进行所述宽视角红外图像与所述窄视角红外图像的图像融合，得到融合后图像，并将所述融合后图像发送至后端系统。

7.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述图像处理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像处理方法的步骤。

9.一种图像处理系统，其特征在于，包括：

如权利要求7所述的电子设备；

与所述电子设备连接的后端系统。

10.根据权利要求9所述的图像处理系统，其特征在于，所述后端系统用于根据融合后图像和窄视角红外图像，按照预设显示方式进行图像显示；

其中，所述预设显示方式至少包括：显示所述融合后图像或所述窄视角红外图像、所述融合后图像和所述窄视角红外图像不重合显示、所述融合后图像和所述窄视角红外图像叠加显示、所述融合后图像和所述窄视角红外图像电子变倍和光学变倍显示中的任意一种。

Images