CN113225485A - 图像采集组件、融合方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像采集组件、融合方法、电子设备及存储介质。该组件包括：分光元件，用于将入射光分解为第一光信号和第二光信号；光学传感器，包括第一区域和第二区域，其中，第一区域对应第一光信号设置，用于对第一光信号进行曝光，得到第一图像，第二区域对应第二光信号设置，用于对第二光信号进行曝光，得到第二图像。通过上述方式，能够得到用于融合的两张图像，且降低后续图像融合的难度。

Description

图像采集组件、融合方法、电子设备及存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种图像采集组件、融合方法、电子设备及存储介质。

背景技术

在低光照强度的场景(例如夜晚、室内、洞穴)下，如果需要图像采集组件来采集图像，会因进光不足而导致成像效果差。

现有的一种做法是利用可见光或红外光补光来增加光照强度，以提高成像效果。但是出于光污染或能耗的考虑，可见光补光通常用于抓拍，一般不会常亮；而红外光补光会因亮度过大而导致成像画面失真，因此通常应用于黑白模式。

因此，现有的另外一种做法是利用图像融合的方法来提高成像效果，但是现有的图像融合的方法难度较高。

发明内容

本申请提供一种图像采集组件、融合方法、电子设备及存储介质，能够解决现有的图像融合的方法难度较高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像采集组件。该组件包括：分光元件，用于将入射光分解为第一光信号和第二光信号；光学传感器，包括第一区域和第二区域，其中，第一区域对应第一光信号设置，用于对第一光信号进行曝光，得到第一图像，第二区域对应第二光信号设置，用于对第二光信号进行曝光，得到第二图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像融合方法。该方法包括：获取第一图像和第二图像，其中，第一图像和第二图像是利用如前所述的图像采集组件采集得到的；将第一图像和第二图像进行融合，得到融合图像。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，该电子设备包括图像采集组件、处理器、与处理器连接的存储器，其中，图像采集组件为如前所述的组件，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请中可以由分光元件将入射光分解为第一光信号和第二光信号，再由光学传感器的两个不同区域(第一区域和第二区域)分别对第一光信号和第二光信号进行曝光成像。因此，本申请能够实现利用同一图像采集组件分区成像，得到用于融合的两张图像(第一图像和第二图像，实质为同一张图像中的两个图像区域)。相比于利用不同图像采集组件成像的方式，本申请第一区域和第二区域在同一光学传感器上，因此第一区域和第二区域的曝光频率和曝光时机相同，得到的两张图像不存在时间上的差异。并且，由于第一区域和第二区域的两个图像区域曝光频率和曝光时机相同，因此两张图像的画面是同步的，不存在空间上的差异。故降低了后续对两张图像进行融合的难度。

附图说明

图1是本申请图像采集组件实施例一的结构示意图；

图2是本申请图像采集组件实施例二的结构示意图；

图3是本申请图像采集组件实施例三的结构示意图；

图4是本申请例子1中图像采集组件的结构示意图；

图5是本申请例子2中图像采集组件的结构示意图；

图6是本申请图像融合方法实施例一的流程示意图；

图7是本申请电子设备一实施例的结构示意图；

图8是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请图像采集组件实施例一的结构示意图。如图1所示，该图像采集组件可以包括分光元件11和光学传感器12。

分光元件11可以用于将入射光分解为第一光信号和第二光信号。

其中，分光元件11可以为具有分光能力的光学镜片，例如平面镜或棱镜，因此分光元件11也可以被称为分光镜或分束镜。可以根据分光得到的第一光信号和第二光信号中光谱的成分和比例，将分光元件11分为中性分束镜和二向色镜。在分光元件11为中性分束镜的情况下，分光元件11可以将入射光分解为光谱相同的第一光信号和第二光信号。在分光元件11为二向色镜的情况下，分光元件11可以将入射光分解为光谱不同的第一光信号和第二光信号。

在分光元件11可以将入射光分解成光谱不同的第一光信号和第二光信号的情况下，第一光信号和第二光信号的其中一个可以是红外光，另一个可以是可见光。在分光元件11将入射光分解成光谱相同的第一光信号和第二光信号的情况下，第一光信号和第二光信号可以均包括红外光和可见光。

光学传感器12可以包括第一区域121和第二区域122。其中，第一区域121可以对应第一光信号设置，第二区域122可以对应第二光信号设置。第一区域121可以用于对第一光信号进行曝光，得到第一图像。第二区域122可以用于对第二光信号进行曝光，得到第二图像。

其中，第一区域121和第二区域122的大小可以相同。第一区域121和第二区域122可以为光学传感器12的上下或左右并排的两个成像区域，或者可以为呈对角排列的两个成像区域。当然，第一区域121和第二区域122也可以是其他排列形式的两个成像区域。

可以理解的是，如果利用不同的图像采集组件成像，不同的图像采集组件包括的光学传感器的曝光频率/曝光时机可能不相同(时间上的差异)，导致利用不同的图像采集组件得到的两张图像画面不同步(空间上的差异)，提高了后续对两张图像融合的难度。

通过本实施例的实施，本申请中可以由分光元件将入射光分解为第一光信号和第二光信号，再由光学传感器的两个不同区域(第一区域和第二区域)分别对第一光信号和第二光信号进行曝光成像。因此，本申请能够实现利用同一图像采集组件分区成像，得到用于融合的两张图像(第一图像和第二图像，实质为同一张图像中的两个图像区域)。相比于利用不同图像采集组件成像的方式，本申请第一区域和第二区域在同一光学传感器上，因此第一区域和第二区域的曝光频率和曝光时机相同，得到的两张图像不存在时间上的差异。并且，由于第一区域和第二区域的两个图像区域曝光频率和曝光时机相同，因此两张图像的画面是同步的，不存在空间上的差异。故降低了后续对两张图像进行融合的难度。

图2是本申请图像采集组件实施例二的结构示意图。如图2所示，本实施例中的图像采集组件除了可以包括实施例一中提到的分光元件11和光学传感器12之外，还可以包括反射元件13。

反射元件13可以由一个或多个具有反射能力的反射平面镜和/或棱镜组成，因此，反射元件13也可以被称为反射镜。可以理解的是，分光元件11可以将入射光分解为透射和反射两束光，光学传感器12可以以透射光的光路或反射光的光路为参考对应设置。本申请后文以光学传感器12以透射光的光路为参考对应设置为例进行说明。

可以理解的是，当透射光和反射光平行时，投影到第一区域121和第二区域122的画面形状才相同，曝光得到的第一图像和第二图像的内容轮廓才没有偏差，进而后续对第一图像和第二图像融合得到的融合图像中才不会出现重影现象。但是，透射光和反射光可能不平行。在透射光和反射光可能不平行的情况下，可以在图像采集组件中设置反射元件13，以利用反射元件13改变反射光/透射光的光路指向，使得反射光和透射光平行。

在一具体实施方式中，可以将第一光信号视为反射光，将第二光信号视为透射光。在此方式下，反射元件13可以设置于第一光信号的第一光路中，用于将第一光信号反射至第一区域121。其中，经反射元件13反射的第一光信号与第二光信号平行。

在另一具体实施方式中，可以将第一光信号视为透射光，将第二光信号视为反射光。在此方式下，反射元件13可以设置于第二光信号的第二光路中，用于将第二光信号反射至第二区域122。其中，经反射元件13反射的第一光信号与第二光信号平行。

其中，图2所示的反射元件13设置在第一光路中。

图3是本申请图像采集组件实施例三的结构示意图。如图3所示，本实施例中，图像采集组件除了可以包括分光元件11和光学传感器12之外，还可以包括滤光元件14。

滤光元件14可以设置在第一光信号的第一光路和/或第二光信号的第二光路中。滤光元件14可以用于将第一光信号和/或第二光信号中的部分光谱过滤。若滤光元件14设置在第一光路中，则可以将第一光信号中的部分光谱过滤。若滤光元件14设置在第二光路中，则可以将第二光信号中的部分光谱过滤。其中，图3中的滤光元件14设置在第一光路中。

滤光元件14可以包括至少一个第一滤光元件(图未示)和/或至少一个第二滤光元件(图未示)。

在分光元件11将入射光分解成光谱相同的第一光信号和第二光信号的情况下，滤光元件14可以包括第一滤光元件。第一滤光元件可以设置在第一光信号的第一光路或第二光信号的第二光路中。

在一具体实施方式中，第一滤光元件可以为红外滤片，将第一滤光元件设置在第一光路或第二光路中，可以利用第一滤光元件过滤第一光信号或第二光信号中的红外光。在另一具体实施方式中，第一滤光元件可以为可见滤片，将第一滤光元件设置在第一光路或第二光路中，可以利用第一滤光元件过滤第一光信号或第二光信号中的红外光。

例如，可以在第一光路中设置一红外滤片、在第二光路中设置一可见滤片，以过滤第一光信号中的红外光、第二光信号中的可见光。

在滤光元件14包括第二滤光元件的情况下，每个第二滤光元件可以设置在第一光信号的第一光路或第二光信号的第二光路中。第二滤光元件可以用于过滤第一光信号或第二光信号中预设波长范围内的光谱。其中，预设波长范围可以是基于光学传感器12对应的感应灵敏度确定的。

可以理解的是，光学传感器12对预设波长范围内的光谱感应灵敏度较高，容易引起对光信号的过曝光问题，因此可以在第一光路和/或第二光路中设置第二滤光元件，以利用第二滤光元件过滤第一光信号和或第二光信号中预设波长范围内的光谱。其中，在光学传感器12出厂时，厂家会提供光学传感器12对应的光谱。光谱响应曲线能够反映光学传感器12对不同波长光的感应灵敏度，因此可以根据该光谱响应曲线确定该预设波长范围。

下面结合图4和图5，以两个例子的形式对通过上述图像采集组件分区成像(采集第一图像和第二图像)的过程进行说明。

例子1：如图4所示，图像采集组件包括二向色镜(分光元件)21、光学传感器22和设置于第一光路的反射镜(反射元件)23。其中，光学传感器22的成像区域被划分为上下并排的红外光成像区域(第一区域)221和可见光成像区域(第二区域)222，反射镜23被设置于第一光路中。

二向色镜21接收入射光，并将入射光分解为红外光(第一光信号)和可见光(第二光信号)。红外光经反射镜23反射，第一光路的方向被改变且与第二光路的方向平行。红外光成像区域221对红外光曝光得到第一图像，可见光成像区域222对可见光曝光得到第二图像。

例子2：如图5所示，图像采集组件包括中性分束镜(分光元件)31、光学传感器32和反射镜(反射元件)33、红外滤片(第一滤波元件)34。其中，光学传感器32的成像区域被划分为上下并排的第一区域321和第二区域322，反射镜33被设置在第一光路中。

中性分束镜31接收入射光，并将入射光分解为光谱相同的第一光信号(包括可见光和红外光)和第二光信号(包括可见光和红外光)。第一光信号经反射镜33反射，第一光路的方向被改变且与第二光路的方向平行。利用红外滤片34过滤第一光信号中的红外光。经过滤的第一光信号在第一区域321曝光得到第一图像，第二光信号在第二区域322曝光得到第二图像。

图6是本申请图像融合方法实施例一的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。如图6所示，本实施例可以包括：

S41：获取第一图像和第二图像。

其中，第一图像和第二图像可以是利用如前面的实施例提及的图像采集组件采集得到的。

图像采集组件可以为单独的摄像头，或者可以为包括摄像头的设备，例如手机、电脑、智能相机等。

如前面的实施例所述，图像采集组件可以将入射光分解为第一光信号和第二光信号，第一光信号和第二光信号的光谱可以相同，也可以不同。下面进行举例说明：

例子3：在第一光信号和第二光信号的光谱不同，且第一光信号为红外光、第二光信号为可见光的情况下，图像采集组件可以对第一光信号进行曝光得到可见图像，对第二光信号进行曝光得到红外图像。其中，红外图像有亮度信息(Y)而色度信息(UV)为0。可见光图像有亮度信息和色度信息，但亮度信息较弱。

例子4：在第一光信号和第二光信号的光谱相同，且第一光信号和第二光信号均包括可见光和红外光的情况下，图像采集组件可以过滤第一光信号或第二光信号中的红外光。以过滤第二光信号中的红外光为例，图像采集组件可以对第一光信号曝光得到第一图像，对经过滤的第二光信号曝光得到第二图像。其中，第一图像包括亮度信息和色度信息，但色度信息因红外光影响而失真。第二图像包括亮度信息和色度信息，但亮度信息较弱。

S42：将第一图像和第二图像进行融合，得到融合图像。

在第一区域和第二区域为两个相同大小区域的情况下，第一图像和第二图像的分辨率相同。从而对第一图像和第二图像融合，能够得到一个分辨率小于或者等于原图(不分区的情况下得到的图像)的1/2大小的融合图像。

本申请中所涉及的图像融合，可以理解为将待融合的两张图像中对应像素点的亮度信息、色度信息进行合并。

其中，可以直接将第一图像和第二图像进行融合，得到融合图像。也可以对第一图像和/或第二图像进行处理，将经处理的第一图像和第二进行融合，得到融合图像。

在一具体实施方式中，可以提取第一图像和第二图像的其中一张图像的亮度信息，并将亮度信息与剩余一张图像进行融合，得到融合图像。该第一图像和第二图像的其中一张图像可以为至少利用红外光曝光得到。例如，该第一图像和第二图像的其中一张图像可以为利用红外光曝光得到的红外图像，也可以为利用红外光和可见光曝光得到的图像。

上述例子3和4中，第一图像为至少利用红外光曝光得到的。继续结合例子3和4进行说明。

在第一光信号和第二光信号的光谱不同，且第一光信号为红外光、第二光信号为可见光的情况下，由于得到的第一图像为红外图像，红外图像仅包括亮度信息，因此提取第一图像的亮度信息并将亮度信息与剩余一张图像进行融合，也即直接对第一图像和第二图像进行融合，得到融合图像。

在第一光信号和第二光信号的光谱相同，且第一光信号和第二光信号均包括可见光和红外光的情况下，由于第一图像的色度信息因红外光影响而失真，因此可以先提取第一图像的亮度信息，将第一图像的亮度信息与第二图像进行融合，得到融合图像。

通过本实施例的实施，本申请利用同一图像采集组件能够实现同步采集第一图像和第二图像，将第一图像和第二图像进行融合，得到融合图像。相较于利用不同的图像采集组件采集第一图像和第二图像的方式，减少了采集第一图像和第二图像时所用的硬件设备，降低了成本。并且第一图像和第二图像不存在空间和时间上的成像差异，因此降低了图像融合的难度。

可以理解的是，利用同一光学传感器分区成像，可能会存在成像区域边界相互干扰(第一图像和第二图像的边界重叠)的问题。

为解决此问题，在一具体实施方式中，可以在S42之前，对第一图像和第二图像中的重叠区域进行裁剪。

在另一具体实施方式中，可以在S41之前，调节图像采集组件中的分光元件和/或反射元件的位置，以使入射至图像采集组件中的光学传感器的第一光信号和第二光信号不重叠。其中，反射元件用于将分光元件射出的第一光信号反射至光学传感器的第一区域。

可以理解的是，成像过程还可能会出现过曝光和欠曝光的问题，因此在上述S42之前，还可以对图像采集组件的参数进行调节。

在一具体实施方式中，可以确定满足预设曝光需求的目标进光量，基于目标进光量控制图像采集组件的入射光量。其中，可以通过调节光圈来控制入射光量。

在另一具体实施方式中，可以基于预设曝光需求，确定图像采集组件中的光学传感器的第一区域对应的第一曝光时间和光学传感器的第二区域对应的第二曝光时间，控制第一区域基于第一曝光时间进行第一图像的采集，控制第二区域基于第二曝光时间进行第二图像的采集。其中，可以通过调节帧率来控制曝光时间。

图7是本申请电子设备一实施例的结构示意图。如图7所示，该电子设备包括图像采集组件51、处理器52、与处理器52耦接的存储器53。

其中，图像采集组件51可以为前面的实施例中提及的图像采集组件。其相关描述请参见前面的实施例，在此不再重复。

存储器53存储有用于实现上述任一实施例的方法的程序指令；处理器52用于执行存储器53存储的程序指令以执行上述方法实施例的步骤，从而实现第一图像和第二图像的融合。

其中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。

此外，在其他实施例中，电子设备还可以包括编码器(图未示)。编码器可以用于对处理器52得到的融合图像进行编码，得到经编码的融合图像。编码器可以将经编码的融合图像发送至存储器53存储，或者，还可以通过网络将经编码的融合图像发送至其他设备。

图8是本申请存储介质一实施例的结构示意图。如图8所示，本申请实施例的计算机可读存储介质60存储有程序指令61，该程序指令61被执行时实现本申请上述实施例提供的方法。其中，该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图像采集组件，其特征在于，包括：

分光元件，用于将入射光分解为第一光信号和第二光信号；

光学传感器，包括第一区域和第二区域，其中，所述第一区域对应所述第一光信号设置，用于对所述第一光信号进行曝光，得到第一图像，第二区域对应所述第二光信号设置，用于对所述第二光信号进行曝光，得到第二图像。

2.根据权利要求1所述的组件，其特征在于，所述组件还包括反射元件，所述反射元件设置于所述第一光信号的第一光路或所述第二光信号的第二光路中，用于将所述第一光信号反射至所述第一区域或将所述第二光信号反射至所述第二区域；其中，经所述反射元件反射的所述第一光信号与所述第二光信号平行。

3.根据权利要求1所述的组件，其特征在于，所述分光元件将所述入射光分解成光谱不同的所述第一光信号和所述第二光信号；

或者，所述分光元件将所述入射光分解成光谱相同的所述第一光信号和所述第二光信号，且所述组件还包括第一滤光元件，所述第一滤光元件设置在所述第一光信号的第一光路或所述第二光信号的第二光路中，用于将所述第一光信号或所述第二光信号的部分光谱过滤。

4.根据权利要求3所述的组件，其特征在于，在所述分光元件将所述入射光分解成光谱不同的所述第一光信号和所述第二光信号的情况下，所述第一光信号和所述第二光信号的其中一个是红外光，另一个是可见光；

所述分光元件将所述入射光分解成光谱相同的所述第一光信号和所述第二光信号的情况下，所述第一光信号和所述第二光信号均包括所述红外光和所述可见光，所述第一滤光元件用于过滤所述红外光。

5.根据权利要求1所述的组件，其特征在于，所述组件还包括至少一个第二滤光元件，每个所述第二滤光元件设置在所述第一光信号的第一光路或所述第二光信号的第二光路中，用于过滤所述第一光信号或所述第二光信号中预设波长范围内的光谱，其中，所述预设波长范围是基于所述光学传感器对应的感应灵敏度确定的。

6.一种图像融合方法，其特征在于，

获取第一图像和第二图像，其中，所述第一图像和所述第二图像是利用权利要求1至5任一项所述的图像采集组件采集得到的；

将所述第一图像和所述第二图像进行融合，得到融合图像。

7.根据权利要求6所述的方法，其特征在于，所述将所述第一图像和所述第二图像进行融合，得到融合图像，包括：

提取所述第一图像和所述第二图像的其中一张图像的亮度信息，并将所述亮度信息与剩余一张图像进行融合，得到所述融合图像，所述其中一张图像为至少利用红外光曝光得到。

8.根据权利要求6所述的方法，其特征在于，在所述将所述第一图像和所述第二图像进行融合，得到融合图像之前，所述方法还包括：

对所述第一图像和所述第二图像中的重叠区域进行裁剪；或，

在所述图像采集组件采集得到所述第一图像和所述第二图像之前，调节所述图像采集组件中的分光元件和/或反射元件的位置，以使入射至所述图像采集组件中的光学传感器的所述第一光信号和所述第二光信号不重叠，其中，所述反射元件用于将所述分光元件射出的第一光信号反射至所述光学传感器的第一区域。

9.根据权利要求6所述的方法，其特征在于，在所述获取第一图像和第二图像之前，所述方法还包括：

确定满足预设曝光需求的目标进光量，基于所述目标进光量控制所述图像采集组件的入射光量；和/或，

基于所述预设曝光需求，确定所述图像采集组件中的光学传感器的第一区域对应的第一曝光时间和所述光学传感器的第二区域对应的第二曝光时间，控制所述第一区域基于所述第一曝光时间进行所述第一图像的采集，控制所述第二区域基于所述第二曝光时间进行所述第二图像的采集。

10.一种电子设备，其特征在于，包括图像采集组件、处理器、与所述处理器连接的存储器，其中，

所述图像采集组件为权利要求1至5任一项所述的组件；

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求6-9中任一项所述的方法。

11.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求6-9中任一项所述的方法。

Images