CN113949802A - 一种图像处理方法及摄像机 - Google Patents

一种图像处理方法及摄像机 Download PDF

Info

Publication number
CN113949802A
CN113949802A CN202010682259.4A CN202010682259A CN113949802A CN 113949802 A CN113949802 A CN 113949802A CN 202010682259 A CN202010682259 A CN 202010682259A CN 113949802 A CN113949802 A CN 113949802A
Authority
CN
China
Prior art keywords
image
visible light
light image
infrared light
foreground target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010682259.4A
Other languages
English (en)
Inventor
汪鹏程
陈士胃
张婧怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010682259.4A priority Critical patent/CN113949802A/zh
Publication of CN113949802A publication Critical patent/CN113949802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一种可以用于在低照度的场景下摄像的图像处理方法，该方法使用包括彩色传感器和红外传感器的摄像机，从而在同一时间段内生成单帧可见光图像和多帧红外图像，可见光图像的曝光时长大于红外图像的曝光时长，使用所述多帧红外图像从所述彩色图像中分离出前景部分和背景部分，并对前景部分去模糊化，然后将前景部分和背景部分重新合并到一起重新形成完整图像，重新形成的完整的可见光图像比可见光传感器直接生成的可见光图像更加清晰。

Description

一种图像处理方法及摄像机
技术领域
本申请涉及摄像技术领域，尤其涉及一种图像处理方法及摄像机。
背景技术
摄像机作为重要的成像工具，其应用范围不断拓展，目前已在数码影像、移动终端、无人机、计算机视觉、安防监控等领域被广泛使用。摄像机用于输出清晰可用的图像，而光照度是影响图像清晰度的一个重要因素。例如，在白天光线比较好，摄像机会输出十分清晰的图像，而在夜间，由于光线条件较差，摄像机输出的图像清晰度较差。但是在某些领域，摄像机必须全天候都要输出清晰可用的图像。例如，在安防领域中，即使在低照度场景下，摄像机也需要输出清晰可用的图像。
通常情况下，为了提高摄像机在低照度场景下图像的清晰度，可以通过增大镜头光圈来实现。增大镜头的光圈(F值)，虽然增加了入射光通量，但是大光圈使得镜头的体积变大，镜头的设计和生产难度、制造成本会急剧上升。
近几年来，利用多光谱融合技术来提升摄像机的低照度能力成为发展方向。多光谱融合技术主要是同时拍摄红外光图像和可见光图像，然后利用红外光图像的亮度和细节对信噪比较低的可见光图像进行补充，从而提升最后输出的图像质量。该技术可以通过使用红外光的补光灯从而提高红外光图像的成像效果；然而，考虑到可见光补光灯会对人眼造成影响等原因，因此难以通过使用可见光的补光灯提高可见光图像的成像效果。因此，得到的红外光图像与可见光图像亮度分布差异很大，这样会导致融合出的图像色彩饱和度偏低，还可以导致图像出现黑边、白边以及贴图感明显等情况发生。
发明内容
第一方面提供了一种图像处理方法，该方法应用于一种摄像机，摄像机包括第一图像传感器和第二图像传感器，其中，第一图像传感器用于采集可见光图像，第二图像传感器用于采集红外光图像，方法包括：
通过第二图像传感器在多个第一帧周期中采集多帧红外光图像，通过第一图像传感器在至少一个第二帧周期中采集至少一帧可见光图像，该至少一帧可见光图像包括第一可见光图像，多帧红外光图像和可见光图像是同步采集的；其中，第一图像传感器的帧周期为第一帧周期，可见光图像的曝光时长为第一曝光时长；第二图像传感器的帧周期为第二帧周期，红外光图像的曝光时长为第二曝光时长，多帧红外光图像对应第一可见光图像，该第一可见光图像可以为第一图像传感器采集的至少一帧可见光图像中的任意一帧，第一曝光时长大于第二曝光时长；由于第一曝光时长为长曝光，可见光图像传感器采集的可见光图像具有较高的信噪比，背景图像清晰，但是由于长曝光，可见光图像中的前景目标图像会产生运动模糊，利用该第一时间段内采集的可见光图像和该多帧红外光图像具有时间相关性和空间相关性，根据连续多帧红外光图像来分离第一可见光图像中背景图像和第一前景目标图像，进一步对第一前景目标图像进行去模糊处理，得到第二前景目标图像；然后，基于背景图像和第二前景目标图像按照第一可见光图像进行重建(或重新合成)，生成清晰的第二可见光图像。
第一方面中，在低照度的场景下，通过差异化两个图像传感器的曝光时长，在第一时间内，生成对应的一帧可见光图像和多帧红外光图像，可见光图像采用长曝光时长，从而得到的可见光图像的高信噪比的背景图像，进一步通过多帧红外光图像的引导，对第一可见光图像中的前景目标图像去模糊处理，得到清晰的前景目标图像，从而得到清晰的可见光图像。极大提升了摄像机的低照成像能力，相对于传统方法，在同样照度场景下，可以输出信噪比更高的图像。换言之，即使在环境照度更低的情况下，也可以输出同样信噪比图像，本申请本实施例能够在低照度场景下输出清晰的图像。
在一种可能的实现方式中，第一图像传感器的第一帧周期为第二图像传感器的第二帧周期的整数倍。本示例中，在第一时间段内，产生多帧红外光图像的同时，正好采集1帧可见光图像(即第一可见光图像)，例如，第一帧周期为第二帧周期的3倍，第一时间段为3个第二帧周期，则在第一时间段内产生3帧红外光图像的同时，正好采集1帧可见光图像。通过多帧红外光图像的引导，对第一可见光图像进行分离背景图像和第一背景目标图像时，得到的第一背景目标图像的区域更为准确。
在一种可能的实现方式中，第一曝光时长接近第一图像传感器的第一帧周期对应的时长。本示例中，在一个第一帧周期内，都是高电平信号(即曝光有效状态)，即可见光图像在一个更长的帧周期内进行曝光，从而可以得到第一可见光图像中清晰的背景图像，这样只需要对第一可见光图像中的前景目标图像进行去模糊即可，从而减小去模糊的范围。
在一种可能的实现方式中，通过第一图像传感器获取曝光信号序列，曝光信号序列包括有效曝光信号和无效曝光信号；有效曝光信号用于指示第一曝光时长。本示例中，曝光信号序列为伪随机编码序列，其中，如“1”为高电平，即有效曝光信号，“0”为低电平，即为无效曝光信号。根据编码的多次曝光模式，相当于对时域信息进行抽样，时域的变换等效于频域较宽的滤波器，进而保留原有图像更多的高频信息(如纹理，边缘信息等)，本示例中，经过编码后的曝光信号具备较好的频域响应，使得第一可见光图像的纹理细节得以保留，从而去模糊后的图像细节恢复效果也会更好。
在一种可能的实现方式中，对第一前景目标图像进行去模糊处理，得到第二前景目标图像可以具体包括：根据连续多帧红外光图像得到前景目标的运动轨迹图像；以运动轨迹图像作为模糊核对第一可见光图像中的第一前景目标图像进行非盲去模糊，得到第二前景目标图像。本示例中，通过红外光图像序列(连续多帧红外光图像)来估计前景目标运动轨迹，从而生成非盲去模糊所需要的模糊核，将盲去模糊转化为非盲去模糊，降低去模糊算法难度。
在一种可能的实现方式中，根据多帧红外光图像分离第一可见光图像中的背景图像和第一前景目标图像可以具体包括：通过多帧的红外光图像确定红外光图像中的前景目标所位于的区域；然后将前景目标所位于的区域对应的位置作为第一可见光图像中第一前景目标图像的区域；最后，分离背景图像和第一前景目标图像。本示例中，多帧红外光图像和第一可见光图像具有时间相关性和空间相关性，通过这多帧红外光图像的引导，对第一可见光图像进行分离背景图像和第一背景目标图像，从而对模糊的第一前景目标图像进行去模糊操作，不需要对整个可见光图像进行全局信息进行模糊恢复，减小模糊处理范围，提高处理时效。
在一种可能的实现方式中，方法还包括：将多帧红外光图像中的每帧红外光图像和第二可见光图像融合，得到融合图像；然后进一步输出融合图像。本示例中，将可见光图像与红外光得到的图像进行融合，既能够丰富图像的空间信息，又能增强图像的光谱信息，使得对场景的描述更加全面和完整。
第二方面，本申请实施例提供了一种摄像机，该摄像机具有实现上述第一方面摄像机所执行的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现；该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面，本申请实施例提供了一种摄像机，镜头、处理器及与处理器耦合的存储器、第一图像传感器和第二图像传感器；存储器用于存储指令；处理器用于执行存储器中的指令，使得摄像机执行上述第一方面所述的方法。
第四方面，本申请实施例提供了一种摄像机，包括：镜头、曝光控制芯片及与曝光控制芯片连接的主控芯片、第二图像传感器和第一图像传感器；其中，第一图像传感器用于采集可见光图像，第二图像传感器用于采集红外光图像；曝光控制芯片，用于接收主控芯片的驱动信号，根据驱动信号控制第一图像传感器的帧周期及可见光图像的曝光时长，以及控制第二图像传感器的帧周期及红外光图像的曝光时长；主控芯片，用于支持摄像机执行上述第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机可读介质，计算机可读存储介质用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机执行上述第一方面所述的方法。
第六方面，本申请提供了一种芯片系统，该芯片系统包括主控芯片及与主控芯片连接的曝光控制芯片，其中，曝光控制芯片，用于接收主控芯片的驱动信号，根据驱动信号控制第一图像传感器的帧周期及可见光图像的曝光时长，第二图像传感器的帧周期及红外光图像的曝光时长，第一图像传感器用于采集可见光图像，第二图像传感器用于采集红外光图像；主控芯片，用于支持摄像机执行上述第一方面所述的方法。
附图说明
图1A为本申请实施例中图像处理装置的一个示例的结构示意图；
图1B为本申请实施例中图像处理装置的另一个示例的结构示意图；
图2为本申请实施例中一种图像处理方法的一个实施例的步骤流程示意图；
图3A为本申请实施例中近红外光图像传感器和可见光图像传感器的曝光时序的一个示例的示意图；
图3B为本申请实施例中近红外光图像传感器和可见光图像传感器的曝光时序的另一个示例的示意图；
图4为本申请实施例中通过多帧红外光图像估计光流场图像的二值图的场景示意图；
图5为本申请实施例中通过多帧红外光图像估计模糊核的场景示意图；
图6为本申请实施例中膨胀操作的示意图；
图7为本申请实施例中一种摄像机的一个示例的一个结构示意图；
图8为本申请实施例中一种摄像机的另一个示例的一个结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在所获得的所有其他实施例，都属于本申请保护的范围。
本申请中出现的术语“和/或”，可以是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。本申请中的“多个”包括2个及2个以上。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
本申请实施例中基于包括彩色图像传感器(也称为可见光图像传感器)和红外图像传感器的摄像机。在同一时间段内，可见光图像传感器采集单帧(或多帧)可见光图像，且红外光图像传感器器采集多帧红外图像。可见光图像的曝光时长大于红外图像的曝光时长(相应的，可见光图像的帧数少于红外光图像的帧数)。由于可见光图像采用长曝光，因此提高了可见光图像的信噪比，采集到的可见光图像拥有清晰的背景部，但是正是由于采用了长曝光，可见光图像的前景部分(例如运动的车辆、行人)往往过于模糊。为了得到清晰的前景部分，本申请实施例使用所述多帧红外图像把所述彩色图像中分离成前景部分和背景部分，并对前景部分去模糊化，然后将背景部分和去模糊的前景部分重新拼接到一起，形成一幅完整图像(可见光图像)，重新形成的完整图像比可见光传感器直接生成的可见光图像更加清晰。可选的，还可以进一步用拼接所得的可见光图像和前述所采集的红外光图像进行融合，生成融合图像。
本申请实施例提供了一种图像处理方法，该方法可以用于在低照度下场景下获得清晰的图像。该方法应用于摄像机，摄像机包括第一图像传感器和第二图像传感器、还包括主控芯片。其中，第一图像传感器用于采集可见光图像，第二图像传感器用于采集红外光图像。本申请实施例中，该第二图像传感器也称为红外光图像传感器或近红外(nearinfrared，NIR)图像传感器，第一图像传感器也称为可见光图像传感器。该摄像机可以是任意具有摄像功能的设备。例如可以是：手机，平板电脑(Pad)、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、行车记录仪、监控摄像机、工业摄像机等。
请参阅图1A和图1B所示，图1A为摄像机的一个示例的结构示意图。该摄像机包括镜头101、红外光图像传感器104、可见光图像传感器105、曝光控制芯片102及主控芯片103。镜头101可以为单目镜头。红外光图像传感器104和可见光图像传感器105均与曝光控制芯片102连接。可选地，红外光图像传感器104和可见光图像传感器105均与主控芯片103连接，该曝光控制芯片102与主控芯片103连接，主控芯片103与存储器109连接。镜头101和红外光图像传感器104之间设置有分光镜106，该分光镜106与镜头101可以为共光轴光学结构。同一个光学孔径入射的光线通过分光镜106将镜头101投射的入射光线分成2束，其中：入射光线中的红外光投射到红外光图像传感器104，入射光线中的可见光投射到可见光图像传感器105。该分光镜106可以为棱镜，或者也可以为光栅，具体的并不限定。可选地，参阅图1B所示，镜头为双目镜头，双目镜头包括第一镜头107和第二镜头108。其中，第一镜头107和红外光图像传感器104之间不放置任何滤光片，可以使得红外光图像传感器104能够接收入射光线中的红外光。第二镜头108和可见光图像传感器105之间设置有红外滤光片(图中未示)，红外滤光片用于过滤入射光线中红外光线，从而使得入射光线中的可见光投射到可见光图像传感器105。
曝光控制芯片102用于对红外光图像传感器104和可见光图像传感器105的曝光时序进行控制。示例性的，该曝光控制芯片102为现场可编程门阵(field programmable gatearray，FPGA)芯片，该FPGA内部具有逻辑资源和存储器块，可以并行电路设计，内嵌有硬件处理器内核或者软件处理器内核。本申请实施例中，主控芯片103驱动FPGA芯片生成两路同步时序控制信号。其中，第一时序控制信号用于对见光图像传感器的曝光时序(即帧周期及曝光时长)进行控制，第二时序控制信号用于对红外光图像传感器104的曝光时序(即帧周期及曝光时长)进行控制。通过FPGA生成的两路时序控制信号，同步对两个图像传感器的帧周期及帧周期内的曝光时长进行控制。可见光图像传感器105识别第一时序控制信号，当检测到高电平时，图像传感器采集图像数据，当第一时序控制信号由低电平转为高电平时，到下一个帧周期，图像传感器开始采集新一帧的图像数据。可见光图像传感器105和红外光图像传感器104分别将采集到的可见光图像和红外光图像通过移动行业处理器接口(mobileindustry processor interface，MIPI)传输至FPGA芯片，由FPGA将可见光图像和红外光图像传输至主控芯片，或者，可见光图像传感器105和红外光图像传感器104分别将采集到的可见光图像和红外光图像直接传输至主控芯片。主控芯片利用多帧红外光图像对可见光图像中的前景目标图像进行去模糊，从而得到清晰的可见光图像。存储器109可用于存储主控芯片对图像处理过程中的各种图像。
需要说明的是，为了区分可见光图像传感器对应的帧周期与红外光图像传感器对应的帧周期，本文中，将可见光图像传感器对应的帧周期称为第一帧周期，将红外光图像传感器对应的帧周期称为第二帧周期。同理，为了区分可见光图像的曝光时长和红外光图像的曝光时长，将可见光图像的曝光时长称为第一曝光时长，将红外光图像的曝光时长称为第二曝光时长。
可见光图像传感器接收第一时序控制信号，根据第一时序控制信号调整可见光图像的曝光时长。红外光传感器接收第二时序控制信号，根据第二时序控制信号调整红外光图像的曝光时长。第一曝光时长大于第二曝光时长。可以理解的是，可见光图像的曝光时长与红外光图像的曝光时长具有差异性，可见光图像为长曝光，红外光图像为短曝光。从而使得在低照度场景下，对于可见光图像传感器，在弱补光、甚至是无补光条件下，通过延长其曝光时间(如慢快门)，采集到的可见光图像具备较高的信噪比，媲美良好光照下的成像质量。但是由于延长了可见光图像的感光时长，摄像机在拍摄运动物体时会出现“拖影”，即在感光时间内，物体(例如走动的行人或者行驶的车辆)已经产生了位移，产生了“运动模糊”。可以理解的是，当摄像机不动，而前景物体移动时，可见光图像传感器采集的可见光图像的背景图像清晰，但是前景目标图像可能产生运动模糊。为了解决可见光图像中的前景目标图像产生运动模糊的问题，进一步的，通过多帧红外光图像来引导可见光图像进行去运动模糊的操作。
主控芯片通过芯片内部的中央处理器(central processing unit，CPU)、数字信号处理器(digital signal srocessing，DSP)、图形处理器(graphics processing unit，GPU)或神经网络处理器(neural network processing Unit，NPU)、片上系统(SoC)等计算资源通过多帧红外光图像对可见光图像进行去运动模糊。即根据多帧红外光图像的引导，分离可见光图像中的背景图像和前景目标图像。然后，对可见光图像中的第一前景目标图像进行去模糊处理，从而可到清晰的第二可见光图像，最后将处理后的视频图像信号(第二可见光图像)经过压缩后输出至显示设备或存储服务器。本申请实施例中，通过增加可见光图像的曝光时长，牺牲运动前景的清晰度来提升可见光图像的信噪比，短曝光的多帧红外光图像则用来引导可见光图像去运动模糊，从而提升摄像机的低照能力。
为了更好的理解本申请，下面对本申请涉及中的名词进行说明：
帧周期：产生一帧图像所需要的时长。红外光图像传感器的帧周期为红外光图像传感器采集一帧红外光图像的时长。可见光图像传感器的帧周期为可见光图像传感器采集一帧可见光图像的时长。帧周期包括传感器进行光电转换生成RAW图(例如RGGB，RYYB，RCCC、RCCB、RGBW、CMYW等格式图像)的时间，还可以包括ISP处理的时间(例如把RAW格式转换成YUV格式，或者HSV格式、Lab格式、CMY格式、YCbCr格式)。
曝光时长：在一个帧周期内，快门打开时，光线摄入图像传感器的时间长度。
前景目标：指被摄主体或靠近镜头位置的人物、物体或景物。是图像中被拍摄的主体。
背景图像：图像中主体背后的景物，能表现前景目标所处的环境。
慢快门(Slow Shutter)：即较长时间的快门。图像传感器在快门有效期间进行曝光，延长快门时间能够增加进光量，显著提升摄像机在低照度下的表现。但过长的快门时间会导致场景中的运动物体出现模糊。
信噪比(signal-to-noise Ratio，SNR)：有效信号能量与噪声能量之比，是评价信号质量的重要指标。信噪比越高，说明信号质量越高，噪声越低。
运动模糊(motion blur)：由于相机和物体之间的相对运动造成拍摄得到的图像模糊，又称为动态模糊。例如，相机不动，前景目标移动，造成运动模糊。或者，前景目标不动，相机发生移动，造成运动模糊。
图像去模糊：包括盲去模糊和非盲去模糊。其中，盲去模糊指模糊核未知的情况下，图像的复原处理称为盲去模糊(或称为盲解卷积)。相反，当模糊核已知时，图像恢复则为非盲去模糊(或称为非盲解卷积)。
彩色红外图像融合：通过一定的融合策略，将彩色图像和红外光图像各自的有效信息进行融合，输出兼具两者优点的彩色图像。
本发明实施例中所采集的的红外光图像和可见光图像的格式例如是YUV格式，或者HSV格式、Lab格式、CMY格式、YCbCr格式。
请参阅图2所示，本申请实施例提供了一种图像处理方法的一个实施例，该方法的执行主体为图像处理装置。该图像处理装置可以以监控摄像机为例，该图像处理方法可以包括：
步骤201、摄像机通过红外光图像传感器采集多帧红外光图像，通过可见光图像传感器采集至少一帧可见光图像，可见光图像传感器采集的至少一帧可见光图像包括第一可见光图像。
第一可见光图像为至少一帧可见光图像中的任意一帧。需要说明的是，采集红外光图像的时间点和采集可见光图像的时间点不应相距太远，以避免红外光图像和可见光图像的成像内容相差太大，导致可见光图像(具体参见下文的“第二可见光图像”)显示效果不佳。因此本申请实施例中的红外光图像和可见光图像是同步采集得到的。可以理解的是，在工程实践中，难以做到精确的绝对“同步”。本申请中的“同步”可以理解为在相同的时间点，也可以理解为在同一个较短的时间段内。在一些实验测试中，使用到的这个较短的时间段例如可以是：200ms，160ms，150ms，100ms，……，这样的举例仅仅是为了方便理解，并不是为了限制我们的范围。
这里再提供2个示例。示例1：在同一个80ms内，使用可见光传感器采集了1帧可见光图像(也就是说80ms内包含了1个可见光图像帧周期)，使用红外光传感器采集了2帧红外光图像(也就是说80ms内包含了2个红外光图像帧周期)，那么可以认为这1帧可见光图像和这2帧红外光图像是同步采集的；示例2：可见光图像传感器和红外光图像传感器并行采集图像，当可见光图像传感器采集到2帧可见光图像时(也就是2个可见光帧周期的时间长度)，红外光图像传感器采集到4帧红外图像；那么认为这2帧可见光图像和这4帧红外光图像是同步采集的。
其中，可见光图像传感器的第一帧周期大于或者等于红外光图像传感器的第二帧周期，可见光图像在第一帧周期内的第一曝光时长大于红外光图像在第二帧周期内的第二曝光时长。第一时间段可以至少包括2个第二帧周期。
在第一时间段内，红外光图像传感器和可见光图像传感器同步采集图像，连续多帧红外光图像与一帧可见光图像(如第一可见光图像)具有对应关系。下面对第一帧周期和第二帧周期的关系进行说明，第一帧周期和第二帧周期的关系包括如下两种情况：
在第一种情况中，第一帧周期为第二帧周期的N倍，其中N为正整数。
示例一，当N为1时，第一帧周期等于第二帧周期。第一时间段以包括2个第二帧周期为例。可见光图像传感器采集2帧可见光图像的同时，红外光图像传感器也采集2帧红外光图像。在此种情况中，可以采用这2帧红外光图像对应第1帧可见光图像。当然，也可以采用这2帧红外光图像对应第2帧可见光图像，从而保证2帧红外光图像对应1帧可见光图像(如第一可见光图像)，即通过这2帧红外光图像引导第一可见光图像进行去模糊。需要说明的是，本示例中，红外光图像的帧数仅是示例性说明，该红外光图像的帧数也可以为3帧，4帧等，例如，第一时间段包括3个第二帧周期，从而保证3帧红外光图像对应1帧可见光图像，此处不一一举例。
示例二，当N为大于1的整数时，N为2、3、4等。例如，第一帧周期为第二帧周期的2倍。第一时间段包括2个第二帧周期(或包括1个第一帧周期)，可见光图像传感器采集1帧可见光图像(如第一可见光图像)的同时，红外光图像传感器正好采集2帧红外光图像。从而保证2帧红外光图像对应1帧可见光图像，即通过这2帧红外光图像引导1帧可见光图像进行去模糊。再如，第一帧周期为第二帧周期的3倍。第一时间段包括3个第二帧周期(或包括1个第一帧周期)，红外光图像传感器采集3帧红外光图像的同时，可见光图像传感器正好采集1帧可见光图像。从而保证3帧红外光图像对应1帧可见光图像，即通过这3帧红外光图像引导1帧可见光图像(如第一可见光图像)进行去模糊。本示例中，产生3帧红外光图像与之对应的1帧可见光图像的时间具有一致性，也即没有时间差，在后续的步骤202中，通过这3帧红外光图像的引导对1帧可见光图像进行分离背景图像和背景目标图像时，当根据红外光图像中的前景目标所位于的区域的对应位置扣取第一前景目标图像的区域更为准确。在后续步骤203中，根据多帧红外光图像生成前景目标的运动轨迹图像时，将该运动轨迹图像作为去运动模糊的模糊核也更为准确。
在第二种情况中，第一帧周期为第二帧周期的N倍，其中N为大于1的非整数。例如，N为1.5、2.5等。
如N以1.5为例，即第一帧周期为第二帧周期的1.5倍。第一时间段可以包括2个第二帧周期。在第一时间段内，例如，该第一时间段包括2个第二帧周期，红外光图像传感器采集2帧红外光图像的同时，可见光图像传感器采集1帧可见光图像。再如，N以2.5为例，即第一帧周期为第二帧周期的2.5倍，第一时间段包括3个第二帧周期，红外光图像传感器采集3帧红外光图像的同时，可见光图像传感器采集1帧可见光图像。从而保证多帧红外光图像对应一帧可见光图像，即通过多帧红外光图像引导一帧可见光图像(第一可见光图像)进行去模糊。
下面对可见光图像传感器的第一曝光时长和红外光图像传感器的第二曝光时长进行说明。
请参阅图3A所示，针对红外光图像传感器，红外光图像传感器接收第二时序控制信号，红外光图像传感器识别第二时序控制信号，当检测到高电平时，红外光图像传感器采集图像数据，当第二时序控制信号由高电平转为低电平时，所述红外光图像传感器停止采集，当第二时序控制信号由低电平转为高电平时，红外光图像传感器开始采集下一帧的图像数据。可选的，该第二曝光时长可以小于或者等于第一阈值，该第二曝光时长在小于或者等于第一阈值的范围内，以保证该红外光图像传感器即使拍摄运动的物体(例如行人)，也可以输出高清晰度的红外光图像。例如，该第一阈值为10ms。
示例性的，在监控成像系统中，具备人脸检测(识别)，人体检测(识别)的智能摄像机中，红外光图像传感器的输出帧率为25帧每秒，第二帧周期为40ms。摄像机的曝光时长在10ms(1/100快门)以内，可以保证前景目标图像清晰，不出现运动模糊，从而保证前景目标(如人脸，人体)识别精度。可选的，可以将第二曝光时长设置为小于或者等于10ms的数值。例如，该第二曝光时长为9ms、8ms、7ms、6ms等。在低照度场景下，系统可以使用人眼不敏感的红外补光灯(例如，850nm的红外频闪灯)进行补光，从而能够获得高信噪比、高清晰度的连续多帧红外光图像。
针对第一帧周期和第一曝光时长的设置可以包括两种方式。
如图3A所示，在第一种可能的实现方式中，第一帧周期可以为第二帧周期的整数倍。b＝a*N，其中，b为可见光图像传感器的第一帧周期，a为红外光图像传感器的第二帧周期，N为大于或者等于1的整数。例如，N为1，2或3等。第一曝光时长等于第一帧周期对应的时长，或者可以理解为，在一个第一帧周期内，都是高电平信号(即曝光有效状态)。该“等于”可以理解为第一曝光时长可以与第一帧周期接近(或近似相等)，在实际应用中，一个帧周期内的末尾一般会预留一个很短的图像信号读出时间。该图像信号读出时间如可以为3ms，2ms或1ms等。那么，该第一曝光时长可以为37ms、38ms、39ms或40ms等。本示例中，为了方便说明，该第一曝光时长可以为40ms为例。
示例性的，该第一时间段(如t0-t1时刻)包括1个第一帧周期，同时该第一时间段包括3个第二帧周期。如N为3，可见光图像传感器的第一帧周期为120ms，由于第一帧周期是第二帧周期的3倍，因此在第一时间段，可见光图像传感器采集1帧可见光图像，同时红外光图像传感器采集3帧红外光图像。该1帧可见光图像和该3帧红外光图像具有时间相关性和空间相关性。时间相关性是指：多帧红外光图像和一帧可见光图像是同步采集的，均是在相同的时间段内采集；空间相关性是指拍摄的对象相同。可以理解的是，在第一时间段内，1帧可见光图像对应多帧红外光图像。例如，从t0至t1的第一时间段内，如该第一时间段为1个第一帧周期(或3个第二帧周期)，可见光图像传感器采集1帧可见光图像，而红外光图像传感器采集3帧红外光图像。本示例中，通过降低可见光图像传感器的输出帧率，使得可见光图像在一个更长的帧周期内进行曝光，从而其曝光时间大大延长，具体曝光时长可根据当前环境照度及使用场景决定，当环境照度越低、目标运动速度越慢时，N值可以设置得越大。
如图3B所示，在第二种可能的实现方式中，相对于上述第一种可能的实现方式，相同之处在于：第一帧周期为第二帧周期的整数倍。不同之处在于：第一个示例中，相当于快门一次开启形成曝光。而本示例中，FPGA芯片通过伪随机编码方法对曝光时序进行控制。本示例中，FPGA芯片通过伪随机编码的方法生成第一时序控制信号。例如，该编码为“11100110001110001100”二进制字符串，其中，“1”为高电平，即有效曝光信号，“0”为低电平，即为无效曝光信号。例如，“0”的数量和“1”的数量可以大致相同。在该种实现方式中，高、低电平的数量可以相等，因此第一曝光时长为第一帧周期的二分之一，即在第一帧周期内有一半的时长为有效曝光状态。例如，第二帧周期为40ms，其中，第二曝光时长为10ms。第一帧周期为80ms，第一曝光时长为第一帧周期的二分之一，第一曝光时长为40ms。相对于图3A的示例中，在图3A对应的示例中，第一时序控制信号为完整矩形波，傅里叶变换频域存在0点。在本示例中，第一时序控制信号为伪随机序列波形，傅里叶变换去除频域0点，根据编码的多次曝光模式，相当于对时域信息进行抽样，对时域的变换等效于得到一个频域较宽的滤波器，进而保留原有可见光图像更多的高频信息(如纹理，边缘信息等)，本示例中，经过编码后的曝光信号具备较好的频域响应，使得第一可见光图像的纹理细节得以保留，从而去模糊后的图像细节恢复效果也会更好。
在具体实现上，可以由FPGA芯片生成的两路时序控制信号，第一时序控制信号为伪随机编码的曝光信号序列，曝光信号序列包括有效曝光信号和无效曝光信号，有效曝光信号用于指示所述第一帧周期内的第一曝光时长，可见光传感器检测到有效曝光信号时，进入曝光状态，可见光传感器检测到无效曝光信号时，停止曝光状态。
需要说明的是，本示例中该二进制编码的位数和具体数值均是举例说明，即第一帧周期和第一曝光时长仅为举例说明，并不造成对本申请的限定。
步骤202、摄像机的主控芯片根据连续多帧红外光图像，分离第一可见光图像中的背景图像和第一前景目标图像。
传感器直接把可见光图像和红外光图像发送给主控芯片。或者传感器把可见光图像和红外光图像发送给ISP，经过ISP处理之后再发送给主控芯片。
为了区分可见光图像中的前景目标图像和红外光图像中的前景目标图像，将可见光图像中的前景目标图像称为第一前景目标图像。
本实施例中，根据图3A和图3B中的曝光策略，摄像机能够获取连续多帧短曝光的红外光图像和一帧长曝光的可见光图像，然后利用多帧短曝光的红外光图像的引导，分离可见光图像中背景图像和第一前景目标图像，进而对第一前景目标图像进行去运动模糊操作。可以理解的是，首先根据多帧短曝光的红外光图像确定前景目标所位于的区域(如前景目标的二值图)，由于多帧红外光图像与一帧可见光图像(如第一可见光图像)具有时间相关性和空间相关性。在第一可见光图像中，与该前景目标的区域对应的位置扣取出第一前景目标图像，然后对第一前景目标图像进行去模糊处理，从而得到第二前景目标图像(为了区分模糊的前景目标图像和去模糊处理后得到的清晰的前景目标图像，将去模糊后的前景目标图像称为第二前景目标图像)。该去模糊处理可以是盲去模糊，也可以是非盲去模糊。下面以两个不同的示例介绍如何去模糊。
示例一，首先，获取多帧连续短曝光红外光图像序列
Figure BDA0002586286890000101
其中，N表示红外光图像帧数量，k表示第k帧。示例性的，可以使用稠密光流算法(例如TV-L1算法)计算相邻两帧红外光图像之间的光流场图像，通过如下的TV-L1方程求解光流矢量：
Figure BDA0002586286890000102
上述式(1)中，
Figure BDA0002586286890000103
表示第k帧红外光图像，
Figure BDA0002586286890000104
表示第(k+1)帧红外光图像，x＝(x,y)T表示图像上某个像素点，Ω为光流计算使用的窗口，λ为权重因子，u＝(ux,uy)表示光流矢量，
Figure BDA0002586286890000105
是梯度算子，图像中每个像素点都能求解出一个光流矢量，每个像素点的光流矢量形成光流场图像。
可以理解的是，光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性找到相邻帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流是由于场景中前景目标本身的移动、图像采集装置的运动，或者两者的共同运动所产生的。确定光流场的目的是为了从多帧图片序列中近似得到不能直接得到的运动场。运动场，其实就是物体在三维真实世界中的运动；光流场，是运动场在二维图像平面上(人的眼睛或者摄像头)的投影。例如，第k帧的时候某一个A点的位置是(x1,y1)，那么在第(k+1)帧的时候再找到该A点，假如它的位置是(x2,y2)，那么就可以确定A点的运动：(ux,uy)＝(x2,y2)-(x1,y1)。(ux,uy)为光流矢量，表示某像素点在第(k+1)帧相对于第k帧的相对位移量。
其次，根据连续的多帧红外光图像，确定光流场图像中的第三前景目标图像。
参阅图4所示，多帧红外光图像401在时间上具有连续性，连续多帧之间像素运动位移较小。得到上述光流场图像后，对光流场图像中的每个光流矢量的幅值进行阈值化分割，得到前景目标的二值图(Mask)402。
Figure BDA0002586286890000111
其中，d为光流分割的阈值，u(i,j)为像素点(i,j)的光流矢量。根据上述式(2)，当|u(i,j)|大于或者等于光流分割的阈值时，红外光图像上的该像素点为“1”像素值，即前景目标上的像素点为“1”，当|u(i,j)|小于光流分割的阈值时，红外光图像上的该像素点为“0”像素值，即背景图像上的像素点为“0”。
根据光流场的水平分量和垂直分量，可以得到光流矢量的幅值和相位信息，进一步对每个光流矢量的幅值进行阈值化分割，得到二值图，光流场图像中值为1的全部像素的集合为第三前景目标图像403(为了区分光流场图像中的前景目标图像，将光流场图像中的前景目标图像称为第三前景目标图像)。
再次，根据光流场图像中的第三前景目标图像，分离第一可见光图像中的背景图像和第一前景目标图像。
按照所述第三前景目标图像在第一可见光中的对应位置，从所述第一可见光图像中分离(扣取出)出所述背景图像和第一前景目标图像。
示例二，还可以通过背景建模的方法来分离第一可见光图像中的背景图像和第一前景目标图像。例如，通过连续多帧红外光图像估计出红外光图像中的背景图像的区域，然后将红外光图像中的背景图像所位于的区域的对应位置作为第一可见光图像中背景图像的区域，按照第一可见光图像中背景图像的区域，从所述第一可见光图像中分离出所述背景图像和所述第一前景目标图像。
步骤203、所述主控芯片对第一前景目标图像进行去模糊处理，得到第二前景目标图像。
在三维空间中物体的相对位置关系，与图像中像素相对位置关系保持一致。利用上述二值图402，在可见光图像中选取(或扣取)出第三前景目标图像403的对应位置的第一前景目标图像。由于增加了可见光图像的曝光时长，可见光图像中的第一前景目标图像产生了运动模糊，该第一前景目标图像为模糊图像(该模糊图像记做
Figure BDA0002586286890000112
)，因此需要对该第一前景目标图像进行去模糊处理，从而得到清晰的前景目标图像。
在一种可能的实现方式中，对第一前景目标图像
Figure BDA0002586286890000113
进行盲去模糊，得到清晰的第二前景目标图像。去模糊的方案有多种，可以通过深度学习的方法对第一前景目标图像进行盲去模糊处理是这些方案中的一种。例如，可以基于已经训练好的卷积神经网络对第一前景目标图像进行去模糊，该方法可以利用卷积操作强大的特征提取能力，通过非线性的映射函数将图像的模糊像素映射为清晰的细节纹理信息。本示例中，利用高信噪比的红外光图像序列来确定前景目标的运动区域，仅对局部模糊(第一前景目标图像)进行处理，不需要对整个可见光图像进行全局信息进行模糊恢复，减小模糊处理范围，提高处理时效。
在另一种可能的实现方式中，请参阅图5所示，对第一前景目标图像
Figure BDA0002586286890000121
进行非盲去模糊，即可以通过连续帧的光流矢量得到前景目标的运动轨迹图像501，该运动轨迹图像可作为可见光图像中第一前景目标图像的去运动模糊的模糊核kernel。可选的，对该运动轨迹图进行膨胀操作得到模糊核(kernel)502。
示例性的，统计连续多帧红外光图像中前景目标图像的每个像素对应的光流矢量的均值作为前景目标的运动矢量uk，其中，k＝1，…,N-1。例如，第一帧红外光图像中的前景目标图像中的每个像素点均具有光流矢量，计算所有像素点的光流矢量均值。例如，第1帧红外光图像中的前景目标图像上A点的位置是(x1,y1)，那么在第2帧红外光图像中的前景目标图像上A点的位置是(x2,y2)，A点对应的第一帧红外光图像和第二帧红外光图像之间的光流矢量为：(ux,uy)＝(x2,y2)-(x1,y1)。计算前景目标图像上所有像素点的光流矢量的均值，该均值为前景目标的运动矢量，共得到N-1个运动矢量，然后根据N-1个运动矢量，生成运动轨迹图，该运动轨迹图作为模糊核。可选的，对该运动轨迹图进行膨胀操作得到模糊核(kernel)。膨胀操作是指对图像中的高量部分进行膨胀，领域扩张，其运行结果图比原图的高亮区域更大，从而使得模糊核更清楚。例如，请参阅图6所示，图6为膨胀处理示意图。用一个卷积模板(或卷积核)来对运动轨迹图进行膨胀处理，其中，卷积模板(或卷积核)的形状可以为正方形或圆形，通过卷积与运动轨迹图进行卷积计算，扫描运动轨迹图中的每一个像素点，用模板元素与运动轨迹图做“与”运算，如果都为0，那么目标像素点为0，否则为1。从而计算卷积模板(或卷积核)覆盖区域的像素点最大值，并用该值替换参考点的像素值实现膨胀。
然后，进一步的，通过上述得到的模糊核对第一前景目标图像
Figure BDA0002586286890000122
进行非盲去模糊处理，得到第二前景目标图像，该第二前景目标图像为经过非盲去模糊后的清晰的前景目标图像。
例如，使用FTVd方法进行非盲去模糊需要求解下述方程：
Figure BDA0002586286890000123
式(3)。其中，α为权重因子，
Figure BDA0002586286890000124
为是梯度算子，IVIS表示去模糊后的第二前景目标图像，
Figure BDA0002586286890000125
表示模糊的第一前景目标图像。
通过上述式(3)得到清晰的第二前景目标图像IVIS。本示例中，通过高信噪比的红外光图像序列来估计前景目标运动轨迹，从而生成非盲去模糊所需要的模糊核，将盲去模糊转化为非盲去模糊，降低去模糊算法难度。
步骤204、基于第一可见光图像的背景图像和第二前景目标图像按照第一可见光图像进行重建，生成第二可见光图像。所述第二可见光图像的格式例如是UV格式，或者HSV格式、Lab格式、CMY格式、YCbCr格式中的一种。
重建的方案是：按照第一前景目标图像在第一可见光图像中的位置、以及第一可见光图像的背景图像在第一可见光图像中的位置。把去模糊后得到的第二前景目标图像、第一可见光图像的背景图像这二者组合到一起，形成一个新的可见光图像，称为第二可见光图像。
可以理解的是，第二可见光图像为将第一可见光图像中的第一前景目标图像替换成第二前景目标图像后的图像，该第二可见光图像为背景图像和前景目标都清晰的可见光图像。
步骤205、输出第二可见光图像。
将该第二可见光输出至显示设备进行显示；或者，将第二可见光图像输出至存储设备进行存储。该存储设备可以是摄像机内的存储设备，或者，该存储设备也可以是与第二可见光图像生成设备不同的其他设备(如存储服务器)。
本申请实施例中，在低照度的场景下，通过差异化两个图像传感器的曝光时长，在第一时间内，生成对应的一帧可见光图像和多帧红外光图像，可见光图像传感器采用长曝光时长，从而得到的可见光图像的高信噪比的背景图像，该多帧红外光图像和1帧可见光图像具有时间相关性和空间相关性，进一步通过多帧红外光图像的引导，对可见光图像中的前景目标图像去模糊处理，得到清晰的前景目标图像，从而得到清晰的可见光图像。本实施例中，该多帧红外光图像的引导作用至少包括两点：其一，通过多帧红外光图像确定前景目标所位于的区域，按照前景目标的区域可以扣取出第一可见光图像中第一前景目标图像(或分离背景图像和第一前景目标图像)。其二，可以根据多帧红外光图像得到前景目标的运动轨迹图像，将该运动轨迹图像作为模糊核，通过模糊核对第一前景目标图像进行去运动模糊操作。本申请中，极大提升了摄像机的低照成像能力，相对于传统方法，在同样照度场景下，可以输出信噪比更高的图像。换言之，即使在环境照度更低的情况下，也可以输出同样信噪比图像，本申请本实施例能够在低照度场景下输出清晰的图像。
可选地，在步骤204之前，还可以包括：
主控芯片(或者与主控芯片不同的融合芯片)将第一时间段内采集的多帧红外光图像中的每一帧红外光图像分别与第二可见光图像进行融合，得到多帧融合后的彩色融合图像。在这种情况下，步骤205可以变为：输出多帧融合后的彩色融合图像。示例性的，所述多帧红外光图像为步骤201中红外光图像传感器在第一时间段内采集的多帧红外光图像，第二可见光图像为步骤204中生成的第二可见光图像。当然，也可以从所述多帧红外光图像中选择一帧(或者多帧)红外光图像，分别与所述第二可见光图像融合，生成相应数量的融合图像。在步骤201中，多帧红外光图像与一帧可见光图像(第一可见光图像)具有时间相关性(多帧红外光图像与一帧可见光图像是两个图像传感器同步采集的图像)。本步骤中，该第二可见光图像中的背景图像和所述第一可见光图像中的背景图像为同一帧可见光图像中的背景图像，只是前景目标图像不同，即第一可见光图像中的前景目标图像(第一前景目标图像)为模糊的图像，而第二可见光图像中的前景目标图像(第二前景目标图像)为去模糊后的清晰的图像。
例如，在步骤201中，第一时间段包括3个第二帧周期，第一帧周期为第二帧周期的3倍，在第一时间段，1帧第一可见光图像对应3帧红外光图像。通过步骤202-步骤204，通过所述3帧红外光图像的引导，得到1帧清晰的第二可见光图像，然后将每一帧红外光图像都与该第二可见光图像进行融合，最后输出3帧融合后的图像。
当然，也可以选择使用多帧红外光图像中的某一帧和所述第二可见光图像进行融合，从而得到单帧融合后的彩色融合图像。在这种情况下，步骤205可以变为：输出融合后的彩色融合图像。
红外光图像与第二可见光图像的融合的方法包括但不限定于彩色图像融合方法、主分量分析法和加权平均法等。
可选地，当摄像机包括多个镜头时(如图1B所示的摄像机包括两个镜头)，需要对多个镜头采集的图像进行配准操作。
在步骤203中的多帧红外光图像为配准之后的红外光图像，所述方法还包括：
例如，以一帧可见光图像(如第一可见光图像)作为参考图像，将多帧红外光图像作为待配准图像。然后对多帧红外光图像中的每帧红外光图像进行配准操作，得到多帧配准之后的红外光图像。
示例性的，将一帧红外光图像与一帧可见光图像进行配准可以包括：关键点检测和特征描述，特征匹配，图像变形这三个过程。简而言之，在两幅图像中选择兴趣点，将参考图像中的每个兴趣点和它在待配准图像中的对应点关联起来，然后对待配准图像进行变换，这样两幅图像得以对齐。
关键点检测和特征描述：定义了一幅图像中重要并且有特点的地方(如角，边等)。每个关键点都由一个描述子(包含关键点本质特点的特征向量)表征。描述子应该对图像变换(如位置变换、缩放变换、亮度变换等)是鲁棒的。
特征匹配：可见光图像和红外光图像的关键点都被识别出来以后，需要将它们关联(或称匹配)起来，两张图像中对应的关键点在三维空间中的实际物体上是同一个点。
图像变形：在匹配到多对(例如至少4对)关键点之后，可以将一幅图像(红外光图像)相对于另一幅图像(可见光图像)进行转换。这个过程被称作图像变形(imagewarping)。从而将两帧图像进行对齐。
多光谱图像融合是以多光谱图像为融合对象的信息融合。不同波段的图像信息表征着目标的不同特征，同一目标的不同波段图像之间具有空间信息的相关信息和光谱信息的互补性。可见光图像和红外光图像这两种图像之间是互补的，可见光的细节丰富，色感敏锐，但是当气候比较恶劣的时候，对大气的穿透能力比较差，相反，红外光的穿透能力比较强。由于不同物体具有不同的温度，并且红外光图像传感器具有补光，在夜间，可以得到高信噪比的红外光图像，因此将可见光图像与红外光得到的图像进行融合，既能够丰富图像的空间信息，又能增强图像的光谱信息，使得对场景的描述更加全面和完整。
以上对一种图像处理方法进行了说明，下面对该方法应用的摄像机进行说明。请参阅图7所示，一种摄像机700的一个实施例包括图像采集模块701和处理模块702。
图像采集模块701，用于通过近红外光图像传感器采集多帧红外光图像，同步通过可见光图像传感器采集的可见光图像包括第一可见光图像；其中，多帧所述红外光图像对应一帧可见光图像，所述可见光图像的曝光时长大于所述红外光图像的曝光时长；
处理模块702用于：
根据图像采集模块701采集的连续多帧红外光图像分离第一可见光图像中的背景图像和第一前景目标图像；
对所述第一前景目标图像进行去模糊处理，得到第二前景目标图像；
基于所述背景图像和所述第二前景目标图像按照所述第一可见光图像进行重建，生成第二可见光图像。
具体的，图像采集模块701用于执行上述图2对应的方法实施例中的步骤201，具体请参阅上述方法实施例中步骤201进行理解，此处不赘述。处理模块702用于执行图2对应的方法实施例中的步骤203-步骤205，具体请参阅上述方法实施例中步骤203-步骤205进行理解，此处不赘述。在一种实现方式中，处理模块702可以是一个处理装置，处理装置的功能可以部分或全部通过软件实现。
可选地，处理装置的功能可以部分或全部通过软件实现。此时，处理装置可以包括存储器和处理器，其中，存储器用于存储计算机程序，处理器读取并执行存储器中存储的计算机程序，以执行任意一个方法实施例中的相应处理和/或步骤。
可选地，处理装置可以仅包括处理器。用于存储计算机程序的存储器位于处理装置之外，处理器通过电路/电线与存储器连接，以读取并执行存储器中存储的计算机程序。
可选地，处理装置的功能可以部分或全部通过硬件实现。所述处理装置可以是一个或多个芯片，或一个或多个集成电路。例如，处理装置可以是一个或多个现场可编程门阵列(field-programmable gate array，FPGA)、专用集成芯片(application specificintegrated circuit，ASIC)、系统芯片(system on chip，SoC)、中央处理器(centralprocessor unit，CPU)、网络处理器(network processor，NP)、数字信号处理电路(digitalsignal processor，DSP)、微控制器(micro controller unit，MCU)，可编程控制器(programmable logic device，PLD)或其它集成芯片，或者上述芯片或者处理器的任意组合等。
在一个可能的设计中，处理装置包括曝光控制芯片和主控芯片，该曝光控制芯片为FPGA芯片，主控芯片是包括CPU、GPU、DSP等计算资源的集成芯片。处理装置用于执行曝光控制芯片和主控芯片的功能。
此外，本申请还提供一种摄像机，该摄像机可以是任意具有摄像功能的终端设备。例如可以是：手机，平板电脑(Pad)、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、行车记录仪、监控摄像机、工业摄像机等。该终端设备可以以手机为例进行说明，下面结合图8进行说明。
如图8所示，终端设备包括处理器801、收发器802、存储器803、镜头804、红外光图像传感器805和可见光图像传感器809，红外光图像传感器805和可见光图像传感器809均与处理器连接。其中，该镜头可以为单目镜头或者也可以为双目镜头，对于镜头目数不限定。例如，镜头为单目镜头，镜头804和红外光图像传感器805之间设置有分光镜810，分光镜810用于将入射的光线分束，入射光线中的红外光投射到红外光图像传感器805，入射光线中的可见光投射到可见光图像传感器809。再如，镜头为双目镜头(图中未示，请参阅图1B进行理解)，其中，双目镜头包括第一镜头和第二镜头；第一镜头和可见光图像传感器之间设置有红外滤光片，红外滤光片用于过滤入射光线中红外光线，入射光线中的可见光投射到可见光图像传感器。第二镜头和红外光图像传感器之间不设置任何滤光片，入射光线中的红外光投射到红外光图像传感器。
其中，处理器801、收发器802和存储器803之间可以通过内部连接通路互相通信，传递控制信号和/或数据信号。存储器803用于存储计算机程序，处理器801用于从存储器803中调用并运行计算机程序，以控制收发器802收发信号。可选地，终端设备还可以包括天线。收发器802通过天线发射或接收无线信号。
可选地，处理器801和存储器803可以合成一个处理装置，处理器801用于执行存储器803中存储的程序代码来实现上述功能。
可选地，存储器803也可以集成在处理器801中。或者，存储器803独立于处理器801，也即位于处理器801之外。
处理器801可以用于执行前面方法实施例中描述的由摄像机实现的动作，具体的参阅图2对应的方法实施例中的描述，此处不赘述。存储器803用于实现存储的功能。可选的，收发器802可以用于执行由摄像机执行的将第二可见光图像发送至其他存储设备(如存储服务器)的作用。
图7中的处理模块702执行的处理和/或操作可以由图8中所示的处理器801实现。具体可以参见方法实施例的详细说明，这里不再赘述。
可选地，终端设备还可以包括电源，用于给终端设备中的各种器件或电路提供电源。
除此之外，为了使得终端设备的功能更加完善，终端设备还可以包括输入单元806、显示单元807和音频电路808等中的一个或多个。音频电路还可以包括扬声器8082、麦克风8084等。
本申请还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例的功能。
本申请还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的功能。
可以理解，在本申请中，“当…时”、“若”以及“如果”均指在某种客观情况下装置会做出相应的处理，并非是限定时间，且也不要求装置实现时一定要有判断的动作，也不意味着存在其它限定。
本申请中的“同时”可以理解为在相同的时间点，也可以理解为在一段时间段内，还可以理解为在同一个周期内。
本申请中对于使用单数表示的元素旨在用于表示“一个或多个”，而并非表示“一个且仅一个”，除非有特别说明。本申请中，在没有特别说明的情况下，“至少一个”旨在用于表示“一个或者多个”，“多个”旨在用于表示“两个或两个以上”。
本文中术语“……中的至少一个”或“……中的至少一种”，表示所列出的各项的全部或任意组合，例如，“A、B和C中的至少一种”，可以表示：单独存在A，单独存在B，单独存在C，同时存在A和B，同时存在B和C，同时存在A、B和C这六种情况，其中A可以是单数或者复数，B可以是单数或者复数，C可以是单数或者复数。
可以理解，在本申请各实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
在另一种可能的设计中，当该装置为终端内的芯片时，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该终端内的芯片执行上述第一方面任意一项的无线通信方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
其中，上述任一处提到的处理器，可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制上述第一方面无线通信方法的程序执行的集成电路。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种图像处理方法，其特征在于，应用于摄像机，所述摄像机包括第一图像传感器和第二图像传感器，所述方法包括：
通过第一图像传感器采集可见光图像，所述第一图像传感器所采集的可见光图像中包括第一可见光图像，同步通过第二图像传感器采集多帧红外光图像；所述可见光图像的曝光时长大于所述红外光图像的曝光时长；
根据所述多帧红外光图像分离所述第一可见光图像中的背景图像和第一前景目标图像；
对所述第一前景目标图像进行去模糊处理，得到第二前景目标图像；
基于所述背景图像和所述第二前景目标图像按照所述第一可见光图像进行重建，生成第二可见光图像。
2.根据权利要求1所述的方法，其特征在于，所述第一图像传感器的帧周期为所述第二图像传感器的帧周期的整数倍。
3.根据权利要求1所述的方法，其特征在于，所述可见光图像的曝光时长接近所述第一图像传感器的帧周期对应的时长。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述第一图像传感器获取曝光信号序列，所述曝光信号序列包括有效曝光信号和无效曝光信号；所述有效曝光信号用于指示所述可见光图像的曝光时长。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一前景目标图像进行去模糊处理，得到第二前景目标图像，包括：
根据多帧所述红外光图像得到前景目标的运动轨迹图像；
以所述运动轨迹图像作为模糊核对所述第一可见光图像中的第一前景目标图像进行非盲去模糊，得到第二前景目标图像。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据多帧所述红外光图像分离所述第一可见光图像中的背景图像和第一前景目标图像，包括：
通过所述多帧红外光图像确定所述红外光图像中的前景目标所位于的区域；
将所述前景目标所位于的区域对应的位置作为所述第一可见光图像中第一前景目标图像的区域；
按照所述第一前景目标图像的区域，从所述第一可见光图像中分离出所述背景图像和所述第一前景目标图像。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
将所述多帧红外光图像中的一帧红外光图像和所述第二可见光图像融合，得到融合图像；
输出所述融合图像。
8.一种摄像机，其特征在于，包括：
图像采集模块，用于通过第一图像传感器采集可见光图像，所述第一图像传感器所采集的可见光图像中包括第一可见光图像，同步通过第二图像传感器采集多帧红外光图像；所述可见光图像的曝光时长大于所述红外光图像的曝光时长；
处理模块用于：
根据所述图像采集模块采集的多帧所述红外光图像分离所述第一可见光图像中的背景图像和第一前景目标图像；
对所述第一前景目标图像进行去模糊处理，得到第二前景目标图像；
基于所述背景图像和所述第二前景目标图像按照所述第一可见光图像进行重建，生成第二可见光图像。
9.根据权利要求8所述的摄像机，其特征在于，所述处理模块还具体用于：
根据所述多帧红外光图像得到前景目标的运动轨迹图像；
以所述运动轨迹图像作为模糊核对所述第一可见光图像中的第一前景目标图像进行非盲去模糊，得到第二前景目标图像。
10.根据权利要求8所述的摄像机，其特征在于，所述处理模块还具体用于：
通过所述多帧红外光图像确定红外光图像中的前景目标所位于的区域；
将所述前景目标所位于的区域对应的位置作为第一可见光图像中第一前景目标图像的区域；
按照所述第一前景目标图像的区域，从所述第一可见光图像中分离出所述背景图像和所述第一前景目标图像。
11.一种摄像机，其特征在于，包括：镜头、处理器及与所述处理器耦合的存储器、第一图像传感器和第二图像传感器；所述存储器用于存储指令；所述处理器用于执行所述存储器中的所述指令，使得所述摄像机执行如权利要求1-7中任一项所述的方法。
12.一种摄像机，其特征在于，包括：镜头、曝光控制芯片及与所述曝光控制芯片连接的主控芯片、第一图像传感器和第二图像传感器，所述第一图像传感器用于采集可见光图像，所述第二图像传感器用于采集红外光图像；
所述曝光控制芯片，用于接收主控芯片的驱动信号，根据所述驱动信号控制所述第一图像传感器的帧周期及所述可见光图像的曝光时长，以及控制所述第二图像传感器的帧周期及所述红外光图像的曝光时长；
所述主控芯片，用于支持所述摄像机执行如权利要求1-7中任一项所述的方法。
13.一种计算机可读介质，用于储存计算机程序或指令，所述计算机程序或指令被执行时使得计算机执行如权利要求1-7中任一项所述的方法。
CN202010682259.4A 2020-07-15 2020-07-15 一种图像处理方法及摄像机 Pending CN113949802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010682259.4A CN113949802A (zh) 2020-07-15 2020-07-15 一种图像处理方法及摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682259.4A CN113949802A (zh) 2020-07-15 2020-07-15 一种图像处理方法及摄像机

Publications (1)

Publication Number Publication Date
CN113949802A true CN113949802A (zh) 2022-01-18

Family

ID=79326265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682259.4A Pending CN113949802A (zh) 2020-07-15 2020-07-15 一种图像处理方法及摄像机

Country Status (1)

Country Link
CN (1) CN113949802A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116471466A (zh) * 2023-06-12 2023-07-21 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116471466A (zh) * 2023-06-12 2023-07-21 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置
CN116471466B (zh) * 2023-06-12 2023-09-05 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
US10580140B2 (en) Method and system of real-time image segmentation for image processing
WO2022042049A1 (zh) 图像融合方法、图像融合模型的训练方法和装置
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR101699919B1 (ko) 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
CN108111749B (zh) 图像处理方法和装置
CN113630545B (zh) 一种拍摄方法及设备
CN108055452A (zh) 图像处理方法、装置及设备
CN108259770B (zh) 图像处理方法、装置、存储介质及电子设备
CN108093158B (zh) 图像虚化处理方法、装置、移动设备和计算机可读介质
WO2007125866A1 (ja) 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置
CN112802033B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
JP2024504027A (ja) ポーズ推定方法及び関連する装置
CN108156369A (zh) 图像处理方法和装置
CN111932587A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Li et al. Multiframe-based high dynamic range monocular vision system for advanced driver assistance systems
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN112651911A (zh) 一种基于偏振图像的高动态范围成像生成方法
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107578372B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN113949802A (zh) 一种图像处理方法及摄像机
CN107770446B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination