CN112399064B - 双光融合抓拍方法和相机 - Google Patents

Abstract

本申请提出一种双光融合抓拍方法和相机，通过控制图像采集装置在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像，第一图像为灰度图像，第二图像为可见光图像，再将灰度图像和可见光图像融合以获得亮度更高的融合图像，相对现有需要两个图像传感器的方案，本申请结构简单，生产成本低，且安装调试更方便。

Description

双光融合抓拍方法和相机

技术领域

本申请涉及图像领域，具体而言，涉及一种双光融合抓拍方法和相机。

背景技术

双光融合相机，用人眼看不见的红外光进行补光，采用两个sensor进行感光，一个sensor输出灰度图像，有红外光进行补光，亮度较高。一个sensor输出彩色图像，包含颜色信息。再将两帧图像融合但是该方案成本较高，包括需要使用两个图像传感器和棱镜，两个图像传感器输出的图像完全对准要求较高，生产难度大。

发明内容

本申请的目的在于提供一种双光融合抓拍方法和相机，以解决上述问题。

本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种双光融合抓拍方法，包括：

控制图像采集装置在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像；其中，所述第一图像与所述至少一帧第二图像相邻；将所述第一图像与所述至少一帧第二图像进行融合，获得融合图像。

第二方面，本申请实施例提供一种双光融合抓拍相机，包括：处理模块、补光模块以及图像采集装置，所述补光模块、所述图像采集装置均与所述处理模块电连接。

所述处理模块用于控制所述补光模块进行红外补光；控制所述图像采集装置在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像；所述第一图像与所述至少一帧第二图像相邻；将所述第一图像与所述至少一帧第二图像进行融合，获得融合图像。

相对于现有技术，本申请实施例所提供的一种双光融合抓拍方法和相机的有益效果：通过控制补光模块使得图像采集装置采集到目标的灰度图像和可见光图像，再将灰度图像和可见光图像融合以获得亮度更高的融合图像，相对现有需要两个图像传感器的方案，本申请结构简单，生产成本低，且安装调试更方便。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的一种双光融合抓拍相机的连接框图；

图2为本申请实施例提供的另一种双光融合抓拍相机的连接框图；

图3为本申请实施例提供的图像采集装置的结构示意图；

图4为本申请实施例提供的双高峰滤镜的透光率示意图；

图5为本申请实施例提供的全通滤镜的透光率示意图；

图6为本申请实施例提供的Bayer型图像传感器自带滤镜的透光率示意图；

图7为本申请实施例提供的双光融合抓拍方法的步骤示意图；

图8为本申请实施例提供的S103的子步骤示意图；

图9为本申请实施例提供的S105的子步骤示意图；

图10为本申请实施例提供的另一种双光融合抓拍方法的步骤示意图；

图11为本申请实施例提供的另一种双光融合抓拍方法的步骤示意图。

图中：10-处理模块；20-补光模块；30-图像采集装置；50-目标触发模块；301-滤镜；302-镜头；303-成像传感器。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参考图1，本申请实施例提供了一种双光融合抓拍相机。该相机包括处理模块10、补光模块20以及图像采集装置30。补光模块20、图像采集装置30均与处理模块10电连接。

补光模块20包括红外灯。红外灯是夜视监控红外灯的简称，在夜间采集图像的补光器具。红外灯发出特定波长的光，皆为不可见光，具有隐蔽、节能的特点。图像采集装置30可以采集可见光图像和补光模块20对应的灰度图像。图像采集装置30持续采集当前环境图像，并将采集到的图像传输给处理模块10。

处理模块10用于向补光模块20发送第一触发信号，以控制补光模块20进行红外补光。补光模块20接收到第一触发信号时，发出红外光，以进行红外补光。

图像采集装置30持续采集当前环境图像。当补光模块20进行红外补光时，图像采集装置30采集到的图像为灰度图像，即红外图像，该图像中包含新出现的目标。当补光模块20未进行红外补光时，图像采集装置30采集到的图像为可见光图像，即彩色图像。

处理模块10还用于控制图像采集装置30在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像。将第一图像与至少一帧第二图像进行融合，获得融合图像。

第一图像具有红外光信息，为灰度图像。当然地，第一图像也可以具有可见光信息，在此不做限定。第一图像与至少一帧第二图像相邻，故第一图像与至少一帧第二图像拍摄的目标是相同的。至少一帧第二图像具有可见光信息，为彩色图像。将第一图像与第二图像融合，生成融合图像。该融合图像的亮度更高，且携带颜色信息，更加便于识别。

对于处理模块10的架构，本申请实施例还给出了一种可能的架构，处理模块10包括控制器和融合模块。

融合模块用于对彩色(可见光)图像和灰度图像进行融合操作。从而获取高亮度的彩色图像，这张图像用于目标检测或者智能识别等用途。融合模块可以是现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者图形处理器(Graphics ProcessingUnit，简称GPU)。

控制器可能是一种集成电路芯片，具有信号的处理能力。控制器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

控制器具体用于控制图像采集装置30在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像。并将获得的第一图像和第二图像传输给融合模块。

融合模块用于将第一图像与所述至少一帧第二图像进行融合，获得融合图像。

在一种可能的实现方式中，处理模块10也可以仅包括控制器。当获取第一图像和第二图像后，控制器依据软件算法将第一图像和第二图像融合，以生成融合图像。

综上所述，本申请实施例提供的一种双光融合抓拍相机中，通过控制补光模块使得图像采集装置采集到目标的灰度图像和可见光图像，再将灰度图像和可见光图像融合以获得亮度更高的融合图像，相对现有需要两个图像传感器的方案，本申请结构简单，生产成本低，且安装调试更方便。

在图1的基础上，为了确定如何获取第一图像，本申请实施例还提供了一种相机，请参考图2，该相机还包括目标触发模块50，目标触发模块50与处理模块10电连接。

目标触发模块50用于采集图像捕捉触发信号，并将采集到的图像捕捉触发信号传输给处理模块10。目标触发模块50采集到图像捕捉触发信号时，表征有新的目标进入相机的抓拍范围。

处理模块10还用于接收到目标触发模块50传输的图像捕捉触发信号，当获得图像捕捉触发信号时，向补光模块20发出第一触发信号，以使补光模块20在预设时间段内进行红外补光，控制图像采集装置30在预设时间段内获得第一图像，以获得高亮度的灰度图像。当未接到图像捕捉触发信号时，处理模块10不会发出第一触发信号，补光模块20也不会发出红外光，从而避免浪费，节省能源。

在一种可能的实现方式中，预设时间段可以通过第一触发信号的发送时间和预设定的时间间隔确定。预设定的时间间隔为从处理模块10发出第一触发信号到补光模块20响应第一触发信号发出红外光的时间间隔，或者为处理模块10接收到图像捕捉触发信号后到给补光模块20传输第一触发信号之间的时间间隔。

在一种可能的实现方式中，目标触发模块50为雷达或测速线圈。

在图1的基础上，为了确定如何获取第一图像，本申请实施例还提供了一种可能的实现方式：

处理模块10用于接收图像采集装置30传输的当前图像，并识别每一帧当前图像，当识别到当前图像包含新的目标时，生成图像捕捉触发信号，控制补光模块20在预设时间段内进行红外补光；控制图像采集装置30在预设时间段内获得第一图像。

图像采集装置30持续向处理模块10传输其采集的当前图像。处理模块10持续识别每一帧图像，当识别到当前图像中出现新的目标时，生成图像捕捉触发信号。当未生成图像捕捉触发信号时，处理模块10不会发出第一触发信号，补光模块20也不会发出红外光，从而避免浪费，节省能源。

基于前文表述的相机，为了确定如何获取第二图像，本申请实施例还给出了一种可能的实现方式：

处理模块10还用于控制图像采集装置30在预设时间段前获得至少一帧第二图像，和/或控制图像采集装置30在预设时间段后获得至少一帧第二图像。

第二图像可以是在预设时间段前获得的n帧图像、也可以是在预设时间段后获得的n帧图像、还可以是在预设时间段前获得的n帧图像和在预设时间段后获得的n帧图像的集合。其中，n为大于或等于1的正整数。在预设时间段内获得的第一图像，基于上文可得到，第二图像与第一图像相邻、连续，第二图像中也包括了第一图像所采集的目标的图像信息。第一图像的获取时间与第二图像的获取时间是相邻、连续的，故处理模块10接收到图像采集装置30传输的第一图像和第二图像对应的帧也是相邻、连续的。第二图像与第一图像具有高度的相关性，更加便于融合，有利于得到特征更准确的融合图像。

在图1的基础上，在当前环境的亮度不足时，本申请实施例还提供了一种可能的处理模块10，处理模块10具体用于在当前环境亮度低于第一预设定的阈值时，向补光模块20发送第二触发信号，以使补光模块20提供可见光补光。

具体地，补光模块20还包括可见光光源。通过图像采集装置30传输的图像信息判断出当前环境亮度过低时，为了确保目标图像的准确性，需要进行可见光补光。第一预设定的阈值依据设备具体设置。此时，处理模块10向补光模块20发出第二触发信号，可见光光源发出可见光。可见光的强度依据当地环境和居民的生活习惯具体设置，避免造成光污染。

在图1的基础上，为了兼顾夜间抓拍和白天抓拍的效果及能耗，本申请实施例还提供了一种可能的图像采集装置30，请参考图3，图像采集装置30包括：滤镜301、镜头302以及成像传感器303。滤镜301、镜头302以及成像传感器303依次设置。

其中，滤镜301包括多光谱滤镜和白天用滤镜。白天用滤镜可以采用普通的IR截止滤镜，偏振镜等等，可以通过可见光。多光谱滤镜可以过滤特定波长的光，使得进入成像传感器303的光具有特定的波长。多光谱滤镜与补光模块20对应，补光模块20发出的红外光可以通过多光谱滤镜进入成像传感器303。同时，可见光也可以通过多光谱滤镜进入成像传感器303。多光谱滤镜可以采用双高峰滤镜、带阻滤镜或者全通滤镜。图4为双高峰滤镜透光率示意图；图5为全通滤镜的透光率示意图。

成像传感器303为将光信号转换为电信号的传感器。一般为CMOS或者CCD，本申请可以采用“生成”彩色图像的Bayer型图像传感器，Bayer型sensor每个像素表面有不同的滤镜，以四个像素为单位按规律排列，总共有三种滤镜。不同的滤镜可透过的波长是不同的，所以可以“生成”颜色，但又都可以透过红外波长的光。其他类似的可以生成彩色图像，也在红外波段感光的sensor也可以满足要求。请参考图6，图6为Bayer型图像传感器自带滤镜的透光率示意图。

处理模块10具体用于根据时间信息与图像采集装置30获得图像的亮度信息，确认是否处于适用环境；若是，则切换为多光谱滤镜，以使图像采集装置30能够在红外补光状态和非红外补光状态下获得图像。

其中，适用环境的亮度低于预设定的亮度阈值。在一种可能的实现方式中，适用环境可以为夜间环境。

在一种可能的实现方式中，当白天时，滤镜301的状态为白天用滤镜，图像采集装置30采集可见光图像即可。当处理模块10具体用于根据时间信息与图像采集装置30获得图像的亮度信息，确认当前处于适用环境时，为了保证获得的目标图像的清晰度，需要获得灰度图像，用来生成融合图像。此时，需要将滤镜301切换为多光谱滤镜，以使可见光和特定的红外光可以穿过滤镜，从而使得图像采集装置30能够在红外补光状态和非红外补光状态下获得图像。

本申请实施例提供的相机，在当前环境亮度足够时，可以不进行补光、融合，直接获取目标图像。

本申请实施例提供了一种双光融合抓拍方法，应用于图1所示的相机。需要说明的是，本实施例所提供的双光融合抓拍方法，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

请参阅图7，本申请实施例提供的双光融合抓拍方法的步骤包括：

S103，控制图像采集装置在红外补光状态下获得第一图像。

其中，第一图像具有红外光信息。当然地，第一图像也可以具有可见光信息，在此不做限定。

S105，在非红外补光状态下获得至少一帧第二图像。

其中，第二图像具有可见光信息。第一图像与至少一帧第二图像相邻。

S106，将第一图像与至少一帧第二图像进行融合，获得融合图像。

在图7的基础上，关于S103记载的内容，本申请实施例还提供了一种可能的实现方式，请参考图8，S103包括：

S103-1，当获得图像捕捉触发信号时，控制补光模块在预设时间段内进行红外补光。

S103-2，控制图像采集装置在预设时间段内获得第一图像。

在图7的基础上，关于S105记载的内容，本申请实施例还提供了一种可能的实现方式，请参考图9，S105包括：

S105-1，控制图像采集装置在预设时间段前获得至少一帧第二图像，和/或，控制图像采集装置在预设时间段后获得至少一帧第二图像。

在图7的基础上，为了得到更清晰的第二图像，本申请实施例还提供了一种可能的实现方式，请参考图10，该方法还包括：

S105，控制补光模块进行可见光补光。

图1所示的相机可以用于白天和夜间抓拍。在图7的基础上，为了切换相机适应白天或夜间的状态，本申请实施例还提供了一种可能的实现方式，请参考图11，该方法还包括：

S101，根据时间信息与图像采集装置获得图像的亮度信息，确认是否处于适用环境。若是，则执行S102；若否，则执行S107。

S102，切换为多光谱滤镜，以使图像采集装置能够获得在红外补光状态和非红外补光状态下获得图像。

S107，直接获取当前环境图像。

当前环境为白天，可以直接获取目标图像，不用红外补光，故可以不切换为多光谱滤镜。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种双光融合抓拍方法，其特征在于，包括：

控制图像采集装置在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像；其中，所述第一图像与所述至少一帧第二图像相邻；

将所述第一图像与所述至少一帧第二图像进行融合，获得融合图像；

所述控制图像采集装置在红外补光状态下获得第一图像的步骤，包括：

当获得图像捕捉触发信号时，控制补光模块在预设时间段内进行红外补光，其中，所述图像捕捉触发信号为目标触发模块所采集到的信号，所述目标触发模块为雷达或测速线圈；

控制所述图像采集装置在所述预设时间段内获得所述第一图像；

所述图像采集装置的滤镜包括多光谱滤镜和白天用滤镜，在所述控制图像采集装置在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像的步骤之前，还包括：

根据时间信息与所述图像采集装置获得图像的亮度信息，确认是否处于适用环境；

若是，则切换为多光谱滤镜，以使所述图像采集装置能够在所述红外补光状态和所述非红外补光状态下获得图像；

若否，则保持为白天用滤镜，直接获取当前环境图像。

2.如权利要求1所述的双光融合抓拍方法，其特征在于，所述控制图像采集装置在非红外补光状态下获得至少一帧第二图像的步骤，包括：

控制所述图像采集装置在所述预设时间段前获得所述至少一帧第二图像，和/或，控制所述图像采集装置在所述预设时间段后获得所述至少一帧第二图像。

3.一种双光融合抓拍相机，其特征在于，包括：处理模块、补光模块以及图像采集装置，所述补光模块、所述图像采集装置均与所述处理模块电连接；

所述处理模块用于控制所述补光模块进行红外补光；控制所述图像采集装置在红外补光状态下获得第一图像，且在非红外补光状态下获得至少一帧第二图像；所述第一图像与所述至少一帧第二图像相邻；将所述第一图像与所述至少一帧第二图像进行融合，获得融合图像；

所述相机还包括目标触发模块，所述目标触发模块与所述处理模块电连接，所述目标触发模块为雷达或测速线圈；

所述目标触发模块用于采集图像捕捉触发信号，并将采集到的所述图像捕捉触发信号传输给所述处理模块；

所述处理模块具体用于当获得所述图像捕捉触发信号时，控制补光模块在预设时间段内进行红外补光；控制所述图像采集装置在所述预设时间段内获得所述第一图像；

所述图像采集装置的滤镜包括多光谱滤镜和白天用滤镜，所述处理模块具体用于根据时间信息与所述图像采集装置获得图像的亮度信息，确认是否处于适用环境；若是，则切换为多光谱滤镜，以使所述图像采集装置能够在所述红外补光状态和所述非红外补光状态下获得图像，若否，则保持为白天用滤镜，直接获取当前环境图像。

4.如权利要求3所述的双光融合抓拍相机，其特征在于，所述处理模块用于接收所述图像采集装置传输的当前图像，并识别每一帧所述当前图像，当识别到所述当前图像包含新的目标时，生成图像捕捉触发信号，控制补光模块在预设时间段内进行红外补光；控制所述图像采集装置在所述预设时间段内获得所述第一图像。

5.如权利要求3或4所述的双光融合抓拍相机，其特征在于，所述处理模块还用于控制所述图像采集装置在所述预设时间段前获得所述至少一帧第二图像；和/或，控制所述图像采集装置在所述预设时间段后获得所述至少一帧第二图像。

6.如权利要求3所述的双光融合抓拍相机，其特征在于，所述处理模块还用于控制所述补光模块进行可见光补光。

Images