CN117635672A - 图像处理方法、装置、摄像系统、设备、介质及程序产品 - Google Patents

Abstract

本申请实施例公开一种图像处理方法、装置、摄像系统、设备、介质及程序产品，涉及图像处理技术领域。该方法包括获取第一图像和第二图像，其中，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像，然后根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像，最后将第一图像和配准图像进行融合，得到第一融合图像。可以减少处理开销，节约了配准的时间，提高了配准的速度，提高了配准精度，保证图像融合的质量。

Description

图像处理方法、装置、摄像系统、设备、介质及程序产品

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、摄像系统、设备、介质及程序产品。

背景技术

随着成像技术的发展，当前拍摄设备在照度较高的情况下，例如白天的理想情况下，能够获得较好的成像效果。然而，在低照度的场景下，例如阴雨天气或夜间场景，拍摄的图像存在分辨率低、对比度差、图像细节丢失等问题。为了提高成像效果，一般通过补光灯进行额外补光。如红外补光灯。红外光无法反映颜色信息，得到的红外图像的信噪比较高，但无法还原物体的真实色彩。

由于彩色图像和红外图像存在一定的互补性，即彩色图像能够反映真实的颜色信息但信噪比较低，红外图像信噪比较高但没有颜色信息，可以将红外图像和彩色图像进行图像融合得到信噪比较高且颜色准确的彩色图像。目前可以获取不同时刻的彩色图像和红外图像，对彩色图像和红外图像进行全图配准后再进行图像融合，输出融合后的图像。然而，全图配准会带来很大的处理开销。

发明内容

本申请实施例提供一种图像处理方法、装置、摄像系统、设备、介质及程序产品，可以减少处理开销，节约了配准的时间，提高了配准的速度，提高了配准精度，保证图像融合的质量。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括获取第一图像和第二图像，其中，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像，然后根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像，最后将第一图像和配准图像进行融合，得到第一融合图像。

其中，第一图像和第二图像均是关于目标对象的图像。第一图像呈现了整个目标对象。第二图像是目标对象的第一部分的图像，也即第二图像仅呈现目标对象的第一部分。在一些实施例中，第二图像也可以呈现整个目标对象。第一图像是彩色图像，第二图像是红外图像。

在第一种可能的实现方式中，第一图像的采集时刻和第二图像的采集时刻不同。第一图像和第二图像可以是不同时间、不同传感器(图像采集设备)或不同条件下(天候、照度、摄像位置和角度等)所获得的图像。

在本申请实施例中，在低照度环境下，获得目标对象的第一图像。为了提高成像效果，对目标对象进行红外补光，进而获得了第二图像。基于彩色图像能够反映真实的颜色信息但信噪比较低，红外图像信噪比较高但没有颜色信息，可以将红外图像和彩色图像进行图像融合得到信噪比较高且颜色准确的彩色图像。在进行融合之前，对第一图像和第二图像进行配准。在进行配准时，根据第一部分将第一图像和第二图像进行配准，进行配准的区域仅包括图像中第一部分对应的感兴趣区域，避免全图配准，减少开销。且可以避免在直接基于第一图像和第二图像进行配准时，第一图像和第二图像中的其他区域对进行配准的区域的干扰(如避免了第一图像和第二图像中存在的树枝的随机运动，车辆的规则运动，以及行人的不规则运动等干扰)，提高了配准精度。同时，由于基于第一部分，将第一图像和第二图像进行配准时使用的数据量较少，节约了配准的时间，提高了配准的速度。

在第一种可能的实现方式中，根据第一部分，将第一图像和第二图像进行配准，得到配准图像包括根据第一部分确定第一图像的第一感兴趣区域，根据第一感兴趣区域得到参考图像，其中参考图像为第一部分的彩色图像，将参考图像和第二图像进行配准，得到配准图像。

在本申请实施例中，在进行配准时，根据第一部分确定第一图像的第一感兴趣区域，根据第一感兴趣区域得到参考图像，也即参考图像中仅呈现目标对象的第一部分。参考图像和第二图像中均包括目标对象的第一部分，由此第一图像中进行配准的区域仅包括第一感兴趣区域，避免全图配准，减少开销。分割出参考图像，在进行配准时，参考图像相对于第一图像干扰因素减少，例如减少了第一图像中存在的树枝的随机运动，车辆的规则运动，以及行人的不规则运动等干扰，可以避免第一图像和第二图像中的其他区域对进行配准的区域的干扰，提高了配准精准度，保证所获得的配准图像的精确性，便于后续图像的融合。同时，由于基于第一感兴趣区域，将第一图像和第二图像进行配准时使用的数据量较少，节约了配准的时间，提高了配准的速度。

在第一种可能的实现方式中，将第一图像和配准图像进行融合，得到第一融合图像包括：将配准图像与参考图像进行第一融合处理，得到第二融合图像，将第二融合图像和第一图像进行第二融合处理，得到第一融合图像。

其中，第一融合处理为像素级融合，第二融合处理为边缘融合。其中，像素级融合是用于灰度图像(红外图像)与可见光图像(彩色图像)融合，使得融合后的融合图像同时兼有彩色图像的颜色等信息和红外图像的形状、纹理等特征信息，达到整体颜色基调和谐、真实。边缘融合也即将第二融合图像和第一图像进行边缘重叠，并通过融合技术显示出一个没有缝隙更加明亮，超大，高分辨率的整幅画面(即第一融合图像)。

在本申请实施例中，仅将配准图像与参考图像进行第一融合处理，减少融合处理的数据。得到的第二融合图像同时兼有彩色图像(参考图像)的颜色和红外图像(即配准图像)的形状、纹理等特征信息，达到整体颜色基调和谐、真实。第二融合图像呈现目标对象的第一部分。

在第一种可能的实现方式中，将第二融合图像和第一图像进行第二融合处理，得到第一融合图像包括：根据第一部分，确定第二融合图像的第二感兴趣区域，将第一图像中的第一感兴趣区域替换为第二感兴趣区域，得到替换后的第一图像，对替换后的第一图像进行边缘融合，得到第一融合图像。

在本申请实施例中，根据第一部分去，确定第二融合图像的第二感兴趣区域和第一图像的第一感兴趣区域，也即第二融合图像的第二感兴趣区域和第一图像的第一感兴趣区域均是仅呈现目标对象的第一部分的区域。将第一图像中的第一感兴趣区域替换为第二感兴趣区域，替换后的第一图像包括两部分，一部分未被替换的区域，另一部分为被替换后的区域，即第二融合图像的第二感兴趣区域。将未被替换的区域和被替换后的区域进行边缘重叠，通过融合技术将未被替换的区域和被替换后的区域进行融合，由此得到一个没有缝隙的第一融合图像。第一融合图像中保留着第一图像的信息和第二融合图像的信息。

在第一种可能的实现方式中，目标对象为车辆，第一感兴趣区域为第一图像的前车窗区域。

在本申请实施例中，得到的第一融合图像中，车辆的前车窗区域包括了由红外图像提供的形状、纹理等特征信息，而车辆除了前车窗区域的其他区域保留了第一图像的颜色等信息，避免了车辆的其他区域被融合后造成偏色的问题。且，车辆的车窗是一块刚性平面，全局运动方向一致，配准难度低，精度高。

第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括获取模块、配准模块和融合模块。获取模块用于获取第一图像和第二图像，其中，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像。配准模块用于根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像。融合模块用于将第一图像和配准图像进行融合，得到第一融合图像。

在本申请实施例中，在低照度环境下，获得目标对象的第一图像。为了提高成像效果，对目标对象进行红外补光，进而获得了第二图像。基于彩色图像能够反映真实的颜色信息但信噪比较低，红外图像信噪比较高但没有颜色信息，可以将红外图像和彩色图像进行图像融合得到信噪比较高且颜色准确的彩色图像。在进行融合之前，对第一图像和第二图像进行配准。在进行配准时，根据第一部分将第一图像和第二图像进行配准，进行配准的区域仅包括图像中第一部分对应的感兴趣区域，避免全图配准，减少开销。且可以避免在直接基于第一图像和第二图像进行配准时，第一图像和第二图像中的其他区域对进行配准的区域的干扰(如避免了第一图像和第二图像中存在的树枝的随机运动，车辆的规则运动，以及行人的不规则运动等干扰)，提高了配准精度。同时，由于基于第一部分，将第一图像和第二图像进行配准时使用的数据量较少，节约了配准的时间，提高了配准的速度。

在第一种可能的实现方式中，配准模块还用于根据第一部分确定第一图像的第一感兴趣区域，根据第一感兴趣区域得到参考图像，将参考图像和第二图像进行配准，得到配准图像，其中参考图像为第一部分的彩色图像。

在本申请实施例中，配准模块分割出参考图像，在进行配准时，参考图像相对于第一图像干扰因素减少，例如减少了第一图像中存在的树枝的随机运动，车辆的规则运动，以及行人的不规则运动等干扰，可以避免第一图像和第二图像中的其他区域对进行配准的区域的干扰，提高了配准精准度，保证所获得的配准图像的精确性，便于后续图像的融合。同时，由于基于第一感兴趣区域，将第一图像和第二图像进行配准时使用的数据量较少，避免全图配准，节约了配准的时间，提高了配准的速度，减少开销。

在第一种可能的实现方式中，融合模块包第一融合单元和第二融合单元。第一融合单元用于将配准图像与参考图像进行第一融合处理，得到第二融合图像。第二融合单元用于将第二融合图像和第一图像进行第二融合处理，得到第一融合图像。

在本申请实施例中，通过第一融合单元仅将配准图像与参考图像进行第一融合处理，减少融合处理的数据。得到的第二融合图像同时兼有彩色图像(参考图像)的颜色和红外图像(即配准图像)的形状、纹理等特征信息，达到整体颜色基调和谐、真实。第二融合图像呈现目标对象的第一部分。通过第二融合单元融合第二融合图像和第一图像，保留了第二融合图像的形状、纹理等特征信息以及第一图像的彩色等信息，避免了偏色。

在第一种可能的实现方式中，第二融合单元还用于根据第一部分，确定第二融合图像的第二感兴趣区域，将第一图像中的第一感兴趣区域替换为第二感兴趣区域，得到替换后的第一图像，对替换后的第一图像进行边缘融合，得到第一融合图像。在本申请实施例中，第二融合单元将第一图像中的第一感兴趣区域替换为第二感兴趣区域，替换后的第一图像包括两部分，一部分未被替换的区域，另一部分为被替换后的区域，即第二融合图像的第二感兴趣区域。将未被替换的区域和被替换后的区域进行边缘重叠，通过融合技术将未被替换的区域和被替换后的区域进行融合，由此得到一个没有缝隙的第一融合图像。第一融合图像中保留着第一图像的信息和第二融合图像的信息。

第三方面，本申请实施例提供了一种摄像系统，包括：镜头、图像传感器、补光控制单元和处理单元；镜头用于接收来自目标对象的光信号，图像传感器用于对光信号进行光电转换生成第一图像和第二图像，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像，补光控制单元用于控制红外补光灯对目标对象进行红外补光，处理单元用于获取第一图像和第二图像，根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像，并将第一图像和配准图像进行融合，得到第一融合图像。

第四方面，本申请实施例提供了一种图像处理设备，包括：处理器和存储器；存储器，用于存储计算机程序，计算机程序包括程序指令；处理器，用于调用计算机程序，执行上述第一方面中任意一项的图像处理方法。

第五方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在终端设备上运行时，使得终端设备执行上述第一方面中任意一项的图像处理方法。

第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中任意一项的图像处理方法。

上述第二方面、第三方面、第四方面、第五方面和第六方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

本申请提供的技术方案带来的有益效果至少包括：

在本申请实施例中，在低照度环境下，基于彩色图像能够反映真实的颜色信息但信噪比较低，红外图像信噪比较高但没有颜色信息，可以将红外图像和彩色图像进行图像融合得到信噪比较高且颜色准确的彩色图像。在进行配准时，根据第一部分将第一图像和第二图像进行配准，进行配准的区域仅包括图像中第一部分对应的感兴趣区域，避免全图配准，减少开销。且可以避免在直接基于第一图像和第二图像进行配准时，第一图像和第二图像中的其他区域对进行配准的区域的干扰(如避免了第一图像和第二图像中存在的树枝的随机运动，车辆的规则运动，以及行人的不规则运动等干扰)，提高了配准精度。同时，由于基于第一部分，将第一图像和第二图像进行配准时使用的数据量较少，节约了配准的时间，提高了配准的速度。

附图说明

图1为本申请实施例提供的一种应用场景示意图。

图2A为本申请实施例提供的光污染示意图。

图2B为本申请实施例提供的红外补光灯补光下所抓拍的图像的示意图。

图3为本申请实施例提供的一种分时双帧融合方案示意图。

图4为本申请实施例提供的一种摄像系统示意图。

图5为本申请实施例提供的一种图像处理方法流程示意图。

图6为本申请实施例提供的另一种图像处理方法流程示意图。

图7A为未进行本申请实施例提供的抓拍的车辆图像示意图。

图7B为图7A所示的图像进行本申请实施例提供的图像处理之后的图像示意图。

图8为本申请实施例提供的一种图像处理设备结构示意图。

图9为本申请实施例提供的一种图像处理装置结构示意图。

具体实施方式

本申请中所涉及的多个，是指两个或两个以上。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的应用场景予以介绍。

本申请实施例提供的图像处理方法和摄像系统可以应用于在低照度环境下进行摄像的场景，低照度环境相比照度正常的场景，成像质量会有下降，主要表现为图像亮度降低和噪点增加。低照度环境例如阴雨天气、夜间等环境，本申请对此不作具体限定。

示例性地，如图1所示，以智能交通系统(Intelligent Traffic System，ITS)在夜间抓拍车辆的场景为例。在该场景中，抓拍的图像包含车辆，该场景对抓拍的图像的质量要求较高，既要能看清抓拍图像中的车辆的车牌，也要能看清该车辆内的人脸。然而智能交通系统在夜间抓拍的图像比白天抓拍的图像的成像质量差，导致成像质量下降的最大因素为图像传感器的进光量减弱，其输出信号的信噪比降低。为了提高成像效果，智能交通系统使用补光灯进行补光。补光灯从光谱上分类主要包括两种：可见光补光灯和红外补光灯。可见光补光一般采用白光发光二极管(light emitting diode，LED)，用可见光补光得到的图像画面颜色准确、质量较高，但白光属于人眼可以感知的范围，会对被摄的人眼造成视觉刺激，也就是引起光污染，如图2A所示，会造成对驾驶员的光干扰，容易引起交通隐患。人眼对红外光不敏感，因此，采用红外光补光没有光污染的问题，但红外光无法反映颜色信息，无法成像车辆的颜色、车牌颜色等信息，得到的红外图像的信噪比较高，但无法还原物体的真实色彩，如图2B所示。

为了解决光污染的问题，请参阅图3，本申请提出了一种“分时双帧融合”方案。在T1时刻控制红外补光灯关闭，获得彩色图像301。在T2时刻控制红外补光灯开启，红外补光灯进行红外补光，获得补光灯红外补光的红外图像302。将彩色图像301与红外图像302进行全图配准303，得到配准后的图像304。将配准后的图像304与红外图像302进行融合305，输出融合后的图像306。其中，融合305即像素级融合，融合后的图像306产生偏色，即融合后的图像306中车辆的车身颜色与彩色图像301中车辆的车身颜色有偏差。全图配准，顾名思义，即指整张彩色图像301和整张红外图像302配准。然而，如果拍摄的场景中存在运动的物体，例如，存在树枝的随机运动，车辆的规则运动，以及行人的不规则运动等，则很难做到全图精确配准，进而会使得融合后的图像306中存在伪影或拖尾现象，造成融合后的图像306不清晰，图像质量较差。且，所处理的图像一般是900万分辨率以上，若进行全图配准，处理开销大，处理效率低。

鉴于此，本申请实施例提供一种图像处理方法和摄像系统，可以减少处理开销，节约了配准的时间，提高了配准的速度，提高了图像处理的效率。提高了配准精度，保证图像融合的质量，提高了图像处理的精准度。

下面介绍本申请实施例提供的一种摄像系统。

请参阅图4，示例性介绍本申请实施例提供的一种摄像系统400。该摄像系统400可以实现为摄像机，例如可以为筒机、枪机、球机或云台等各种形态的监控摄像机。

如图4所示，该摄像系统400包括镜头410、图像传感器420、补光控制单元430、处理单元440和红外补光灯450。可以理解，摄像系统400还可以包括更多的部件。

镜头410用于接收来自目标对象500的光信号。

其中，入射到该镜头410的光线可以是被目标对象500反射到该镜头410中的光线，来自目标对象500的光信号即来自目标对象500的光线。镜头410可以是通过将各种不同形状、不同介质(塑料、玻璃或晶体)的光学零件(反射镜、透射镜、棱镜)按一定方式组合起来，使得光线经过这些光学零件的透射或反射以后，按照人们的需要改变光线的传输方向而被图像传感420接收，完成目标对象500的光学成像过程。本申请对镜头410的材料、形状和结构不限定。

其中，镜头410实现方式包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。

其中，目标对象500即指被摄物体，可以为车辆、行人、路标等。如图1所示场景，目标对象500为车辆，包括车辆中的驾驶员。

图像传感器420用于对光信号进行光电转换生成图像，具体地，生成的图像包括第一图像和第二图像，第一图像为目标对象500的彩色图像，第二图像为目标对象500的第一部分的红外图像。

其中，彩色图像是指每个像素由R、G、B分量构成的图像，其中R、G、B是由不同的灰度级来描述的。

其中，红外图像是获取物体的红外光强度生成的单通道图像。

彩色图像中参与成像的光线主要为可见光，彩色图像为彩色图。红外图像中参与成像的光线主要为红外光，红外图像主要为黑白图。

其中，第一部分指目标对象500上的区域或部分。例如，目标对象500为车辆，第一部分可以为该车辆的前车窗。第一部分根据实际情况确定，在一些实施例中，第一部分可以确定为整车或车牌。

在本申请实施例中，图像传感器420用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感器420将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在不接收补光的红外光时曝光生成的帧称为彩色图像，在接收到补光的红外光时曝光生成的帧称为红外图像。图像传感器420在图像曝光的开始和结束时会生成帧开始和帧结束的信号并发送给处理单元440，以通知处理单元440曝光的开始和结束。

在一些实施例中，可以根据帧号预先设定彩色图像和红外图像的生成顺序。例如，设定帧号为奇数的帧为红外图像，帧号为偶数的帧为彩色图像。再如，帧号为3的倍数的帧为彩色图像，其余帧为红外图像。

生成红外图像时，图像传感器420可以在接收补光的红外光时不接收可见光，也可以同时接收补光的红外光和可见光，在此不做限定。也就是说，在本申请实施例中，彩色图像不一定是仅对可见光成像得到的帧，用于生成彩色图像的光信号中可以包括红外光。红外图像也不一定是仅对红外光成像得到的帧，用于生成红外图像的光信号中可以包括可见光。

示例性地，图像传感器420可以为电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)，本申请对此不作限定。

补光控制单元430用于控制红外补光灯对目标对象500进行红外补光。具体地，补光控制单元430用于触发红外补光灯450的开启信号和关闭信号。

红外补光灯450用于接收补光控制单元430的开启信号，对目标对象500进行红外补光。红外补光灯450用于接收补光控制单元430的关闭信号，停止对目标对象500进行红外补光。应理解，红外补光灯450也可以独立于摄像系统400，即不属于摄像系统400。

在一些实施例中，还可以包括可见光补光灯(图未示)，该可见光补光灯在彩色图像曝光时段开启弱可见光闪光。

补光控制单元430与图像传感器420保持高精度同步。具体地，如前述，可以根据帧号预先设定图像传感器420生成的彩色图像和红外图像的顺序。补光控制单元430可以根据帧号确定补光开始时刻和补光结束时刻。例如，设定帧号为奇数的帧为红外图像，帧号为偶数的帧为彩色图像。补光控制单元430在帧号为奇数的帧中控制红外补光灯450进行红外补光，在帧数为偶数的帧中控制红外补光灯处于关闭状态，不进行红外补光。再如，帧号为3的倍数的帧为彩色图像，其余帧为红外图像。补光控制单元430在帧号为3的倍数的帧中控制红外补光灯处于关闭状态，不进行红外补光，在其余帧中控制红外补光灯450进行红外补光。

示例性地，补光控制单元430可以为进阶精简指令集机器(advanced RISCmachine，ARM)或者现场可编程门阵列(field programmable fate array，FPGA)等。

处理单元440用于获取第一图像和第二图像，然后根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像，并将第一图像和配准图像进行融合，得到第一融合图像。

示例性地，处理单元440可以为以下任一种或多种的组合：ARM处理器(AdvancedRISC Machines，ARM)、中央处理器(central processing unit，CPU)、数字信号处理(digital signal processing，DSP)、图形处理器(graphics processing unit，GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、神经网络加速硬件等。只要处理单元440的算力能够执行配准算法和融合算法等即可。

例如，处理单元440可以为片上系统(system on chip，SOC)集成的(AdvancedRISC Machines，ARM)和数字信号处理(Digital Signal Processing，DSP)。

示例性地，以上述摄像系统400实现为如图1所示的场景中的抓拍相机为例。补光灯可以使用频闪/爆闪一体灯，频闪/爆闪一体灯为外置式。其中频闪灯补可见光，爆闪灯补红外光。抓拍相机安装50mm焦距F2.0光圈镜头410，使用1英寸靶面的图像传感器420。抓拍相机内置高性能处理单元440，处理单元440可以包括ARM处理器、数字信号处理、安全视频处理器(Secure Video Processor，SVP)等处理器。抓拍相机按要求角度部署在立杆上，同时将频闪/爆闪一体灯安装在和抓怕相机同一个杆上，抓拍相机和频闪/爆闪一体灯之间的距离可以大于100cm。抓拍相机内置补光控制单元430，抓拍相机内置的补光控制单元430通过I²C总线控制频闪/爆闪一体灯的开关和亮度。

在一些实施例中，抓拍相机还可以包括检测装置(图未示)，检测装置用于检测是否有对象进行入抓拍区域。进入抓拍区域的对象即为目标对象500，也即进入抓拍区域的车辆即为目标对象500。

在夜间时，检测装置检测到车辆进入抓拍区域，抓拍相机可以控制频闪灯对车辆补弱的可见光，避免产生光污染，获得彩色图像。抓拍相机控制爆闪灯对车辆补红外光，获得红外图像。抓拍相机内置的处理单元400对所抓拍到的图像进行处理，可以高效地获得清晰的车辆图像。处理单元400对抓拍到的图像的具体处理方法可以参考下述的图像处理方法。

本申请提供的上述摄像系统400，通过根据第一部分，将第一图像和第二图像进行配准，即进行配准的区域仅包括目标对象500的第一部分对应图像的感兴趣区域，避免全图配准，减少开销。且可以避免在直接基于第一图像和第二图像进行配准时，第一图像和第二图像中的其他区域对进行配准的区域的干扰，提高了配准精度。同时，由于基于第一部分，将第一图像和第二图像进行配准时使用的数据量较少，节约了配准的时间，提高了配准的速度。

本申请还提供了一种图像处理的方法，该方法可以由图4的摄像系统400来执行。具体地，可以由该摄像系统400的处理单元440来执行。该图像处理方法可以用于在低照度下进行拍摄的场景，提升拍摄得到的图像的质量。

请参阅图5，本申请实施例提供一种图像处理方法，该图像处理方法包括但不限于如下步骤：

步骤S501：处理单元获取第一图像和第二图像，其中，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像。

在本申请实施例中，第一图像和第二图像可以是摄像系统400在低照度环境下拍摄所获得的图像。处理单元440获取图像传感器430产生的第一图像和第二图像。第一图像和第二图像可以是不同时间、不同图像传感器或不同条件下(天候、照度、摄像位置和角度等)所获得的图像。

针对目标对象500，图像传感器430可以生成包括目标对象500整体的图像(例如第一图像)，也可以生成仅包括目标对象500的第一部分的图像(例如第二图像)。

在一些实施例中，在t1时刻，摄像系统400控制红外补光灯450关闭，图像传感器430获得第一图像。在t2时刻，摄像系统400控制红外补光灯450开启，红外补光灯450对目标对象500(车辆)进行红外光补光。图像传感器430获得第二图像。图像传感器430可以在红外补光阶段针对目标对象500的第一部分生成第二图像。

如上述摄像系统400实现为如图1所示的场景中的抓拍相机，请一并参阅图6，以目标对象500为第一车辆，第一部分为第一车辆的前车窗为例。步骤S501具体可以包括如下步骤：

步骤一：抓拍相机设置频闪/爆闪一体灯处于关闭状态。

步骤二：当检测装置检测到有车辆进入抓拍区域后，抓拍相机控制爆闪灯发光，抓拍相机同时捕获车辆被爆闪灯补光的红外图像600。抓拍相机在下一帧关闭爆闪灯，并控制频闪灯发光，抓拍相机同时捕获车辆被频闪灯补光的彩色图像601(即第一图像)。其中，红外图像600和彩色图像601均呈现完整车辆。

步骤三：抓拍相机设置气体频闪/爆闪一体灯处于关闭状态。

步骤四：抓拍相机的处理单元400根据第一部分为前车窗，对红外图像600进行前车窗轮廓检测，得到目标区域602，然后根据目标区域602得到第二图像603。第二图像603呈现车辆的前车窗。

步骤S502：处理单元根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像。

在本申请实施例中，处理单元400根据第一部分确定第一图像的第一感兴趣区域，然后根据第一感兴趣区域得到参考图像，其中参考图像为第一部分的彩色图像，最后将参考图像和第二图像进行配准，得到配准图像。其中，参考图像和第二图像均呈现目标对象的第一部分，也即参考图像和第二图像具有共同的图像特征，例如共同的直线特征、曲线特征等。

如上述示例，请一并参阅图6，处理单元400根据第一部分对彩色图像601进行前车窗轮廓检测，得到第一感兴趣区域604，然后根据第一感兴趣区域604得到参考图像605。第一感兴趣区域604为彩色图像601中前车窗区域。参考图像605可以仅呈现前车窗区域，在一些实施例中，参考图像605还可以根据呈现前车窗区域和前车窗边缘区域。处理单元400执行配准606，将参考图像605和第二图像603进行配准606，得到配准图像607。配准图像607呈现目标对象500的第一部分。

在本申请实施例中，处理单元400执行配准606时，将第二图像603配准到参考图像605上，即以参考图像605所呈现的前车窗作为目标形状，将第二图像603与其配准，并通过仿射变换得到与目标形状的形状一致的配准图像607，配准图像607为红外图像。

示例性地，处理单元400执行配准时，分别提取第二图像603和参考图像605上的图像特征，对第二图像603和参考图像605上的图像特征进行匹配验证，剔除其中的错配点对，得到验证后的若干对图像特征。依据前述验证后的若干对图像特征确定第二图像603对于参考图像605发生的仿射变换函数的参数，将第二图像603依据前述仿射变换参数进行放射变换得到配准后的配准图像607。获取配准坐标信息，配准坐标信息包括配准点的坐标和配准点位移。可以直接读取配准过程中第二图像603的配准点坐标和第二图像603配准到参考图像605的配准点位移，其中，配准点坐标和配准点位移是对应的，且其中第二图像603的配准点坐标、参考图像605上对应的配准点坐标，该两个配准点坐标的配准点位移(第二图像603配准到参考图像605的配准点位移和参考图像605配准到第二图像603的配准点位移为方向相反的向量)是对应关系。

其中，处理单元400在执行配准606时可以使用现有的配准算法，本申请对此不作具体限定。

在一些实施例中，在进行配准606时，也可以将参考图像605配准到第二图像603上。基于后续将配准后的配准图像607与第一图像(彩色图像601)进行融合，优选将第二图像603配准到彩色的参考图像605上，以便于可以将配准后的配准图像607与第一图像(彩色图像601)融合。

步骤S503：处理单元将第一图像和配准图像进行融合，得到第一融合图像。

在本申请实施例中，处理单元400首先将配准图像与参考图像进行第一融合处理，得到第二融合图像，然后将第二融合图像和第一图像进行第二融合处理，得到第一融合图像。其中，第一融合处理为像素级融合。第二融合处理为边缘融合。

在本申请实施例中，处理单元400将第二融合图像和第一图像进行第二融合处理，得到第一融合图像具体可以包括如下步骤：处理单元400根据第一部分，确定第二融合图像的第二感兴趣区域，然后将第一图像中的第一感兴趣区域替换为第二感兴趣区域，得到替换后的第一图像，最后对替换后的第一图像进行边缘融合，得到第一融合图像。请一并参阅图6，其中，根据第一部分，确定第二融合图像609的第二感兴趣区域，也即确定第二融合图像609中前车窗区域。

示例性地，请一并参阅图6，处理单元400将第二图像603和参考图像605做配准606，输出配准后的配准图像607以及配准坐标信息，处理单元400将配准图像607和参考图像605执行第一融合处理608，得到第二融合图像609。处理单元400执行第一融合处理608时，即对配准图像607和参考图像605进行像素级融合，得到的第二融合图像609包含了配准图像607和参考图像605中的互补信息，例如，包括了配准图像607中的形状、纹理信息等，以及参考图像605中的颜色信息等，第二融合图像609的图像质量得到改善，可以呈现出目标对象500的第一部分的更多细节。

图像像素级融合方法较多，如加权平均、IHS、PCA、基于多分辨率分析等。在对配准图像607和参考图像605进行配准后，根据实际需要采用相应的融合方法。像素级融合是针对图像的像素值进行操作的，因此要求图像配准的精度高，通常在一个像素内。像素级融合的优点是信息丢失少，能最大化地利用参与图像的信息。基于上述配准是对车辆的前车窗配准，前车窗是一块刚性平面，全局运动方向一致，配准难度低，配准精度高，进而保证配准精度，则配准图像607和参考图像605匹配度高。

处理单元400根据配准坐标信息，将第二融合图像609和第一图像601执行第二融合处理610，得到融合后的融合图像611。处理单元400执行第二融合处理610时，即对第二融合图像609和第一图像601进行边缘融合，得到的第一融合图像611包括了第二融合图像609部分图像(即第二融合图像609中第二感兴趣区域对应的部分图像)和第一图像601的部分图像(即第一图像601中除了第一感兴趣区域之外的区域所对应的部分图像)。其中，配准坐标信息即指示前车窗区域的坐标信息，根据配准坐标信息将第一图像601中的第一感兴趣区域604替换为第二融合图像609中的第二感兴趣区域，则替换后的第一图像601包括第二融合图像609中的第二感兴趣区域所对应的部分图像和第一图像601中除了第一感兴趣区域之外的区域所对应的部分图像，使用边缘融合，将第二融合图像609中的第二感兴趣区域所对应的部分图像和第一图像601中除了第一感兴趣区域之外的区域所对应的部分图像进行边缘重叠，并通过融合技术显示出一个没有缝隙、完整的图像即第一融合图像611。

通过边缘融合的方式，可以提升感兴趣区域(即前车窗对应的区域)的对比度，提升图像的通透性，从而提升融合图像的效果。边缘融合时保留第一图像601中除第一感兴趣区域之外的区域，可以保证看清抓拍图像中的车辆的车牌以及车辆的颜色等信息，保留第二融合图像609中的第二感兴趣区域，可以保证看清该车辆内的驾驶员。

其中，边缘融合技术是现有技术，在此不再赘述。

请一并参阅图7A和图7B，图7A为原始抓拍到的图像，未进行本申请实施例提供的图像处理方法。图7B为对图7A所抓拍到的图像执行本申请实施例提供的图像处理方法后的图像。图7B中所呈现的目标对象500，除了第一部分，的其他区域保留图7A的颜色，而第一部分对应的区域相对于图7A的第一部的区域有更多的图像细节，成像更清晰。

此外，如图8所示，本申请实施例还提供一种图像处理设备800，该图像处理设备800可以用于执行图5所示的图像处理方法。具体地，该图像处理设备800包括处理器801，用于执行图5中所示意的图像处理的方法。所述处理器801用于执行：获取第一图像和第二图像，其中，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像，然后根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像，最后将第一图像和配准图像进行融合，得到第一融合图像。可以减少处理开销，节约了配准的时间，提高了配准的速度，提高了配准精度，保证图像融合的质量。

应理解，该图像处理设备800可以是任意的计算设备。

可选的，该图像融合装置还包括存储器802(例如内存)，该存储器802用于存储计算机程序，该处理器801用于通过运行该存储器802中的计算机程序执行图5所示意的图像处理的方法。

示例性地，该计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在所述存储器802中，并由所述处理器801执行，以完成本申请实施例的图像处理。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序在图像处理设备800中的执行过程。例如，计算机程序可以被分割成图9中的获取模块901、配准模块902和融合模块903。

可选地，所述图像处理设备800还可以包括通信接口803，该通信接口803可以让图像处理设备800与其他设备或其他模块通信。

请参阅图9，本申请实施例还提供一种图像处理装置900。该图像处理装置900可以用于执行图5所示的图像处理方法。具体地，该图像处理装置900包括获取模块901、配准模块902和融合模块903。获取模块901用于获取第一图像和第二图像，其中，第一图像为目标对象的彩色图像，第二图像为目标对象的第一部分的红外图像。配准模块902用于根据第一部分，将第一图像和第二图像进行配准，得到配准图像，其中配准图像为第一部分的图像。融合模块903用于将第一图像和配准图像进行融合，得到第一融合图像。可以减少处理开销，节约了配准的时间，提高了配准的速度，提高了配准精度，保证图像融合的质量。

在第一种可能的实现方式中，配准模块902还用于根据第一部分确定第一图像的第一感兴趣区域，根据第一感兴趣区域得到参考图像，将参考图像和第二图像进行配准，得到配准图像，其中参考图像为第一部分的彩色图像。

在第一种可能的实现方式中，融合模块903包第一融合单元和第二融合单元。第一融合单元用于将配准图像与参考图像进行第一融合处理，得到第二融合图像。第二融合单元用于将第二融合图像和第一图像进行第二融合处理，得到第一融合图像。

在第一种可能的实现方式中，第二融合单元还用于根据第一部分，确定第二融合图像的第二感兴趣区域，将第一图像中的第一感兴趣区域替换为第二感兴趣区域，得到替换后的第一图像，对替换后的第一图像进行边缘融合，得到第一融合图像。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述各方法实施例中的应用程序的图像处理方法。

本申请实施例还提供一种计算机存储介质，包括计算机指令，当所述计算机指令在终端设备上运行时，使得所述终端设备执行如上述实施例的图像处理方法。

其中，本申请实施例提供的终端设备、计算机存储介质、计算机程序产品或芯片系统均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像和第二图像，其中，所述第一图像为目标对象的彩色图像，所述第二图像为所述目标对象的第一部分的红外图像；

根据所述第一部分，将所述第一图像和所述第二图像进行配准，得到配准图像，其中所述配准图像为所述第一部分的图像；

将所述第一图像和所述配准图像进行融合，得到第一融合图像。

2.如权利要求1所述图像处理方法，其特征在于，所述根据所述第一部分，将所述第一图像和所述第二图像进行配准，得到配准图像包括：

根据所述第一部分确定所述第一图像的第一感兴趣区域；

根据所述第一感兴趣区域得到参考图像，其中所述参考图像为所述第一部分的彩色图像；

将所述参考图像和所述第二图像进行配准，得到所述配准图像。

3.如权利要求2所述图像处理方法，其特征在于，所述将所述第一图像和所述配准图像进行融合，得到第一融合图像包括：

将所述配准图像与所述参考图像进行第一融合处理，得到第二融合图像；

将所述第二融合图像和所述第一图像进行第二融合处理，得到所述第一融合图像。

4.如权利要求3所述图像处理方法，其特征在于，所述将所述第二融合图像和所述第一图像进行第二融合处理，得到所述第一融合图像包括：

根据所述第一部分，确定所述第二融合图像的第二感兴趣区域；

将所述第一图像中的所述第一感兴趣区域替换为所述第二感兴趣区域，得到替换后的第一图像；

对所述替换后的第一图像进行边缘融合，得到所述第一融合图像。

5.如权利要求2至4任一项所述图像处理方法，其特征在于，所述目标对象为车辆，所述第一感兴趣区域为所述第一图像的前车窗区域。

6.如权利要求3或4所述图像处理方法，其特征在于，所述第一融合处理为像素级融合，所述第二融合处理为边缘融合。

7.如权利要求1至6任一项所述图像处理方法，其特征在于，所述第一图像的采集时刻和所述第二图像的采集时刻不同。

8.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，用于获取第一图像和第二图像，其中，所述第一图像为目标对象的彩色图像，所述第二图像为所述目标对象的第一部分的红外图像；

配准模块，用于根据所述第一部分，将所述第一图像和所述第二图像进行配准，得到配准图像，其中所述配准图像为所述第一部分的图像；

融合模块，用于将所述第一图像和所述配准图像进行融合，得到第一融合图像。

9.如权利要求8所述图像处理装置，其特征在于，所述配准模块还用于根据所述第一部分确定所述第一图像的第一感兴趣区域，根据所述第一感兴趣区域得到参考图像，将所述参考图像和所述第二图像进行配准，得到所述配准图像，其中所述参考图像为所述第一部分的彩色图像。

10.如权利要求9所述图像处理装置，其特征在于，所述融合模块包括：

第一融合单元，用于将所述配准图像与所述参考图像进行第一融合处理，得到第二融合图像；

第二融合单元，用于将所述第二融合图像和所述第一图像进行第二融合处理，得到所述第一融合图像。

11.如权利要求10所述图像处理装置，其特征在于，所述第二融合单元还用于根据所述第一部分，确定所述第二融合图像的第二感兴趣区域，将所述第一图像中的所述第一感兴趣区域替换为所述第二感兴趣区域，得到替换后的第一图像，对所述替换后的第一图像进行边缘融合，得到所述第一融合图像。

12.如权利要求9至11任一项所述图像处理装置，其特征在于，所述目标对象为车辆，所述第一感兴趣区域为所述第一图像的前车窗区域。

13.如权利要求10或11所述图像处理装置，其特征在于，所述第一融合处理为像素级融合，所述第二融合处理为边缘融合。

14.如权利要求8至13任一项所述图像处理装置，其特征在于，所述第一图像的采集时刻和所述第二图像的采集时刻不同。

15.一种摄像系统，其特征在于，包括：镜头、图像传感器、补光控制单元和处理单元；

所述镜头用于接收来自目标对象的光信号；

所述图像传感器用于对所述光信号进行光电转换生成第一图像和第二图像，所述第一图像为所述目标对象的彩色图像，所述第二图像为所述目标对象的第一部分的红外图像；

所述补光控制单元用于控制红外补光灯对所述目标对象进行红外补光；

所述处理单元用于获取所述第一图像和所述第二图像，根据所述第一部分，将所述第一图像和所述第二图像进行配准，得到配准图像，其中所述配准图像为所述第一部分的图像，并将所述第一图像和所述配准图像进行融合，得到第一融合图像。

16.一种图像处理设备，其特征在于，包括：处理器和存储器；

所述存储器，用于存储计算机程序，所述计算机程序包括程序指令；

所述处理器，用于调用所述计算机程序，执行如权利要求1至7中任一项所述图像处理方法。

17.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在终端设备上运行时，使得所述终端设备执行如权利要求1至7中任一项所述图像处理方法。

18.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至7中任一项所述图像处理方法。