CN117676353A - 一种图像信号处理方法及装置 - Google Patents

Abstract

本申请实施例提供了一种图像信号处理方法及装置，该方法包括：接收RGBIR传感器输出的RGBIR图像信号；确定RGBIR图像信号的来源信道；基于RGBIR图像信号的来源信道对RGBIR图像信号进行插值处理，得到第一图像信号，第一图像信号为RGB图像信号或IR图像信号；对第一图像信号进行算法处理，得到第二图像信号。本申请实施例取消了双滤光片切换装置，使用图像信号插值处理方法来消除取消双滤光片切换装置后的红外‑可见光光谱串扰问题，从而在降低整体成本的前提下依然能够获得画面质量良好的彩色可见光图像或灰度红外图像。

Description

一种图像信号处理方法及装置

技术领域

本申请涉及图像信号处理技术领域，尤其涉及一种图像信号处理方法及装置。

背景技术

RGBIR(Red，Green，Blue，Infrared)是一种较为新颖的图像传感器的色彩滤镜阵列(Color Filter Array，CFA)。和传统RGB(Red，Green，Blue)图像传感器作为对比，RGBIR传感器具有同时感知可见光和红外不可见光的能力，因此RGBIR传感器在各类具有全天候感知的场景具有庞大的需求，如智能看护、智能驾驶、安保和防务等。

传统RGB图像传感器在其镜片组中通常添加反射式或吸收式红外截止镜片，来保证其成像的色彩准确性。然而RGBIR图像传感器为了感知红外光谱，不能使用上述固定镜片方案。目前业内广泛采用的一种方案是采用双滤光片切换装置(IR-CUT)，其通过机械结构控制一枚红外截止镜片，在环境照度充分的情况下开启红外截止镜片，以此消除红外(Infrared，IR)光对RGB色彩准确度的影响；在环境照度低的情况下移开红外截止镜片，通过传感器对IR光的响应提升暗态场景感知能力。这种方法通过物理装置消除红外光谱，消除IR光对RGB通道的影响，但是缺点是需要IR-CUT这一硬件装置，在成本和摄像头紧凑性方面需要做出牺牲。

发明内容

有鉴于此，本申请的目的在于提供了一种图像信号处理方法及装置，在降低整体成本的前提下依然能够获得画面质量良好的彩色可见光图像或灰度红外图像，其具体技术方案如下：

第一方面，本申请提供了一种图像信号处理方法，所述方法包括：

接收RGBIR传感器输出的RGBIR图像信号；

确定所述RGBIR图像信号的来源信道；

基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，所述第一图像信号为RGB图像信号或IR图像信号；

对所述第一图像信号进行算法处理，得到第二图像信号。

在一种可能的实现方式中，所述基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，包括：

若所述RGBIR图像信号的来源信道为第一虚拟信道，对所述RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR插值图像信号，所述非IR像素点包括R像素点、G像素点和B像素点，所述第一虚拟信道用于指示对所述RGBIR图像信号进行RGB插值处理，所述RGB插值处理用于将所述RGBIR图像信号转换为RGB图像信号；

对所述IR插值图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理，得到RGB插值图像信号；

去除所述RGB插值图像信号中每个像素点的IR分量，得到所述RGB图像信号。

在一种可能的实现方式中，所述去除所述RGB插值图像信号中每个像素点的IR分量，包括：

利用g(G)＝G-μ_g·ir(G)去除所述RGB插值图像信号中G像素点的IR分量，g(G)表示去除IR分量后G像素点的g像素值，G表示G像素点的初始g像素值，ir(G)表示G像素点的ir像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数；

利用r(R)＝R-μ_r·ir(R)去除所述RGB插值图像信号中R像素点的IR分量，r(R)表示去除IR分量后R像素点的r像素值，R表示R像素点的初始r像素值，ir(R)表示R像素点的ir像素值，μ_r表示与红外光对红色微透镜的透过率对应的系数。

在一种可能的实现方式中，所述基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，包括：

若所述RGBIR图像信号的来源信道为第二虚拟信道，对所述RGBIR图像信号中非IR像素点的IR像素值进行插值处理，得到所述IR图像信号，所述第二虚拟信道用于指示对所述RGBIR图像进行IR插值处理，所述IR插值处理用于将所述RGBIR图像信号转换为IR图像信号。

在一种可能的实现方式中，所述对所述第一图像信号进行算法处理，得到第二图像信号，包括：

基于所述第一图像信号的H2A统计值对所述第一图像信号进行曝光控制，得到所述第二图像信号。

第二方面，本申请还提供了一种图像信号处理装置，所述装置包括：

接收模块，用于接收RGBIR传感器输出的RGBIR图像信号；

确定模块，用于确定所述RGBIR图像信号的来源信道；

插值处理模块，用于基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，所述第一图像信号为RGB图像信号或IR图像信号；

算法处理模块，用于对所述第一图像信号进行算法处理，得到第二图像信号。

在一种可能的实现方式中，所述插值处理模块，包括：

IR插值单元，用于若所述RGBIR图像信号的来源信道为第一虚拟信道，对所述RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR插值图像信号，所述非IR像素点包括R像素点、G像素点和B像素点，所述第一虚拟信道用于指示对所述RGBIR图像信号进行RGB插值处理，所述RGB插值处理用于将所述RGBIR图像信号转换为RGB图像信号；

RGB插值单元，用于对所述IR插值图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理，得到RGB插值图像信号；

IR去除单元，用于去除所述RGB插值图像信号中每个像素点的IR分量，得到所述RGB信号。

在一种可能的实现方式中，所述IR去除单元，具体用于：

利用g(G)＝G-μ_g·ir(G)去除所述RGB插值图像信号中G像素点的IR分量，g(G)表示去除IR分量后G像素点的g像素值，G表示G像素点的初始g像素值，ir(G)表示G像素点的ir像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数；

利用r(R)＝R-μ_r·ir(R)去除所述RGB插值图像信号中R像素点的IR分量，r(R)表示去除IR分量后R像素点的r像素值，R表示R像素点的初始r像素值，ir(R)表示R像素点的ir像素值，μ_r表示与红外光对红色微透镜的透过率对应的系数。

在一种可能的实现方式中，所述插值处理模块还包括：

插值单元，用于若所述RGBIR图像信号的来源信道为第二虚拟信道，对所述RGBIR图像信号中非IR像素点的IR像素值进行插值处理，得到所述IR图像信号，所述第二虚拟信道用于指示对所述RGBIR图像进行IR插值处理，所述IR插值处理用于将所述RGBIR图像信号转换为IR图像信号。

在一种可能的实现方式中，所述算法处理模块，包括：

曝光控制单元，用于基于所述第一图像信号的H2A统计值对所述第一图像信号进行曝光控制，得到所述第二图像信号。

在本申请实施例中，接收RGBIR传感器输出的RGBIR图像信号；确定RGBIR图像信号的来源信道；基于RGBIR图像信号的来源信道对RGBIR图像信号进行插值处理，得到第一图像信号，第一图像信号为RGB图像信号或IR图像信号；对第一图像信号进行算法处理，得到第二图像信号。本申请实施例取消了双滤光片切换装置，使用图像信号插值处理方法来消除取消双滤光片切换装置后的红外-可见光光谱串扰问题，从而在降低整体成本的前提下依然能够获得画面质量良好的彩色可见光图像或灰度红外图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种图像信号处理系统的结构示意图；

图2示出了本申请实施例提供的色彩滤镜阵列示意图；

图3示出了本申请实施例提供的一种图像信号处理方法的流程图；

图4示出了本申请实施例提供的一种基于第一虚拟信道的插值处理方法的流程图；

图5示出了本申请实施例提供的一种RGBIR色彩滤镜阵列示意图；

图6示出了本申请实施例提供的一种图像信号处理装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了一种基于RGBIR传感器的图像信号处理方法，可以实现针对各类嵌入式图像监控系统的全天候监控图像获取。本申请还提供一种基于RGBIR传感器的图像信号处理系统，可以同时生成可见光图像和红外图像。如图1所示，该图像信号处理系统可以包括控制器1和RGBIR摄像头模组5，具体的，控制器1可以包括主控模块2、图像信号处理器(Image Signal Processor，ISP)模块3和CFA插值处理模块4，RGBIR摄像头模组5可以包括RGBIR传感器。RGBIR摄像头模组5与控制器1之间的通信包括移动行业处理器接口(MobileIndustry Processor Interface，MIPI)通信和IIC(Inter-Integrated Circuit)通信。MIPI通信方向为RGBIR摄像头模组5到控制器1中的CFA插值处理模块4，用于高速传输原始图像信号，即raw图信号；IIC通信为RGBIR摄像头模组5和主控模块2间的双向通信，用于传输低速的控制信号。raw图像是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。

CFA插值处理模块4主要用于将RGBIR格式的原始raw图像，依据其来源信道插值成为RGB格式raw图像或者IR格式raw图像，这里得到的raw图像称为第一图像信号。ISP模块3用于接收CFA插值处理模块4传输过来的第一图像信号，并对第一图像信号进行图像处理操作，实现raw图像转变为清晰度良好的彩色可见光图像或灰度红外图像。此外ISP模块4还用于实现raw图亮度信息的统计，即H2A统计值，并将H2A统计值发送给主控模块2。主控模块2用于接收ISP模块3传递的H2A统计值，还用于基于整幅画面的H2A统计值进行自动曝光闭环控制。

图2(a)是一种如今常用的4*4的RGBIR格式CFA，其图像传感器上具有R、G、B和IR四种微透镜，为其所在像素的感光光谱进行选择性通过，其CFA长宽均为4个像素，按照如图2(a)的4*4的尺寸组成最小阵列在传感器感光平面上依次铺展开。R表示图像传感器上所有覆盖红色滤镜的像素，可称为红色(Red，R)通道；G表示图像传感器上所有覆盖绿色滤镜的像素，可称为绿色(Green，G)通道，B表示图像传感器上所有覆盖蓝色滤镜的像素，可称为蓝色(Blue，B)通道；IR可称为红外(Infrared，IR)通道。相比于如图2(b)所示的传统RGBIR格式CFA来说，4*4的RGBIR格式CFA借鉴了拜尔阵列的像素排布，其包含50％的绿色像素，25％的红外像素，12.5％的红色像素和12.5％的蓝色像素。由于人眼对绿色的感知最为敏感，因此4*4的RGBIR格式CFA在图像处理中可得到可见光图像，其亮度和色彩信息均相比于传统RGBIR格式CFA更好。图2(c)和图2(d)分别是常用的RGB色彩格式阵列(即拜尔阵列)和IR色彩格式阵列，其阵列大小分别为2*2和1*1。

请参见图3，示出了本申请实施例提供的一种图像信号处理方法的流程图，该方法的执行主体可以为图2中所示的系统，本申请实施例至少包括以下步骤：

S11，接收RGBIR传感器输出的RGBIR图像信号。

本申请实施例可以接收由RGBIR传感器输出的RGBIR图像信号。RGBIR摄像头模组5与控制器1之间基于MIPI通信协议进行通信，基于MIPI通信协议可以设置两组虚拟信道，分别为第一虚拟信道和第二虚拟信道，两组虚拟信道分别输出RGBIR格式的raw图像，便于后续将RGBIR格式的raw图像处理为RGB图像或IR图像。两组虚拟信道即图1中的RAW通道。两组虚拟信道有各自独立的曝光控制IIC寄存器。

S12，确定RGBIR图像信号的来源信道。

确定RGBIR图像信号的来源信道，即确定RGBIR图像信号是基于第一虚拟信道接收的，还是基于第二虚拟信道接收的。本申请实施例通过RGBIR图像信号的来源信道可以确定对RGBIR图像信号的插值处理方法。

S13，基于RGBIR图像信号的来源信道对RGBIR图像信号进行插值处理，得到第一图像信号。

本申请实施例可以基于RGBIR图像信号的来源信道，确定对RGBIR图像信号的插值方法。第一虚拟信道用于指示对RGBIR图像信号进行RGB插值处理，则CFA插值处理模块4可以对RGBIR图像信号施加RGB信号插值方法，得到RGB格式的raw图像信号。第二虚拟信道用于指示对RGBIR图像信号进行IR插值处理，则CFA插值处理模块4可以对RGBIR图像信号施加IR信号插值方法，得到IR格式的raw图像信号。因此，第一图像信号可以为RGB格式的raw图像信号或IR格式的raw图像信号，也即RGB图像信号或IR图像信号。

S14，对第一图像信号进行算法处理，得到第二图像信号。

在本申请实施例中，算法处理可以包括自动曝光控制，还可以包括去马赛克、伽马矫正和色彩校正等图像处理操作，实现将raw图像信号转变为清晰度良好的彩色可见光图像信号或灰度红外图像信号。

对第一图像信号进行算法处理，得到第二图像信号的一种实现方式可以是，基于第一图像信号的H2A统计值对第一图像信号进行曝光控制，得到第二图像信号。

ISP模块3接收CFA插值处理模块4传输过来的第一图像信号后，对第一图像信号进行去马赛克、伽马校正、色彩校正和自动曝光控制等图像处理操作，实现raw图像转变为清晰度良好的彩色可见光图像或灰度红外图像。此外ISP模块4还可以实现raw图的画面亮度信息的统计，即H2A(Histogram AE/AWB)统计值，并将H2A统计值发送给主控模块2。主控模块2可以包括计算、存储、逻辑判断、通信等功能模块，主要负责接收ISP模块4传递的H2A统计值。主控模块2中包含闭环控制算法，即基于整幅画面的H2A统计值进行自动曝光闭环控制。Histogram为直方图，AE为自动曝光，AWB为自动白平衡。

对于RGBIR图像传感器来说，其感知场景的可见光和红外光光强差异大，使用一组相同的曝光值难以对可见光图像和红外图像同时获得合适的亮度，因此本申请实施例的自动曝光控制分别对RGB图像信号和IR图像信号设定两组不同的曝光目标值，以分别进行闭环控制。两组曝光控制信息经IIC通信发送给两组虚拟信道中各自独立的曝光控制IIC寄存器，由RGBIR摄像头模组5对两组虚拟信道所对应的raw图像输出分别进行曝光控制。曝光控制信息包括曝光目标值，曝光目标值由主控模块2根据H2A统计值计算得到。

在本申请实施例中，接收RGBIR传感器输出的RGBIR图像信号；确定RGBIR图像信号的来源信道；基于RGBIR图像信号的来源信道对RGBIR图像信号进行插值处理，得到第一图像信号，第一图像信号为RGB图像信号或IR图像信号；对第一图像信号进行算法处理，得到第二图像信号。本申请实施例取消了双滤光片切换装置，使用图像信号插值处理方法来消除取消双滤光片切换装置后的红外-可见光光谱串扰问题，从而在降低整体成本的前提下依然能够获得画面质量良好的彩色可见光图像或灰度红外图像。

接下来对本申请提供的插值处理方法进行介绍。

如图4所示，示出了本申请实施例提供的一种基于第一虚拟信道的插值处理方法的流程图，该方法的执行主体可以为图2中所示的系统，本申请实施例至少可以包括以下步骤：

S21，对RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR插值图像信号。

如图5所示，以B1和IR9为对角组成了一个完整RGBIR格式的CFA。从CFA外围额外引入了一些带有编号的像素点，是为了对CFA插值处理过程进行辅助。

对原始RGBIR图像进行插值计算过程中，可以对每个像素点位置上的红外光IR像素值进行插值。本申请实施例可以对完整CFA的非IR像素，全部插值出当前位置的IR灰度值。依据待插值像素点的最近邻IR像素数量的不同，使用线性插值或双线性插值方法进行插值，以图5为例，IR像素值的插值公式可以表示为：

其中，ir(B1)表示插值处理后得到的B1像素点的ir像素值，ir(G1)表示插值处理后得到的G1像素点的ir像素值，ir(R3)表示插值处理后得到的R3像素点的ir像素值，ir(G2)表示插值处理后得到的G2像素点的ir像素值，ir(G3)表示插值处理后得到的G3像素点的ir像素值，ir(G4)表示插值处理后得到的G4像素点的ir像素值，ir(R4)表示插值处理后得到的R4像素点的ir像素值，ir(G5)表示插值处理后得到的G5像素点的ir像素值，ir(B3)表示插值处理后得到的B3像素点的ir像素值，ir(G6)表示插值处理后得到的G6像素点的ir像素值，ir(G7)表示插值处理后得到的G7像素点的ir像素值，ir(G8)表示插值处理后得到的G8像素点的ir像素值，IR1表示IR1像素点的初始ir像素值，IR2表示IR2像素点的初始ir像素值，IR3表示IR3像素点的初始ir像素值，IR4表示IR4像素点的初始ir像素值，IR5表示IR5像素点的初始ir像素值，IR6表示IR6像素点的初始ir像素值，IR7表示IR7像素点的初始ir像素值，IR8表示IR8像素点的初始ir像素值，IR9表示IR9像素点的初始ir像素值。

其中，非IR像素点包括R像素点、G像素点和B像素点，第一虚拟信道用于指示对RGBIR图像信号进行RGB插值处理，RGB插值处理用于将RGBIR图像信号转换为RGB图像信号。

S22，对IR插值图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理，得到RGB插值图像信号。

本申请实施例可以对RGBIR完整CFA进行插值，使其像素排列方式与图2(b)传统RGBIR格式CFA的像素排列方式达到一致，以图5为例，RGB像素值的插值公式可以表示为：

其中，r(B1)’表示插值处理后得到的B1像素点的r像素值，b(IR5)’表示插值处理后得到的IR5像素点的b像素值，b(IR6)’表示插值处理后得到的IR6像素点的b像素值，r(B3)’表示插值处理后得到的B3像素点的r像素值，b(IR8)’表示插值处理后得到的IR8像素点的b像素值，b(IR9)’表示插值处理后得到的IR9像素点的b像素值，R1表示R1像素点的初始r像素值，R2表示R2像素点的初始r像素值，R3表示R3像素点的初始r像素值，R4表示R4像素点的初始r像素值，R5表示R5像素点的初始r像素值，R6表示R6像素点的初始r像素值，B1表示B1像素点的初始b像素值，B2表示B2像素点的初始b像素值，B3表示B3像素点的初始b像素值，B4表示B4像素点的初始b像素值，B5表示B5像素点的初始b像素值。

可选地，在步骤S22中对IR图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理时，可以去除B像素点的r像素值的红外分量和IR像素点的b像素值的红外分量，此时，RGB像素值的插值公式可以表示为：

其中，r(B1)表示去除红外分量后B1像素点的r像素值，b(IR5)表示去除红外分量后IR5像素点的b像素值，b(IR6)表示去除红外分量后IR6像素点的b像素值，r(B3)表示去除红外分量后B3像素点的r像素值，b(IR8)表示去除红外分量后IR8像素点的b像素值，b(IR9)表示去除红外分量后IR9像素点的b像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数，μ_r表示与红外光对红色微透镜的透过率对应的系数。

S23，去除RGB插值图像信号中每个像素点的IR分量，得到RGB图像信号。

为了让RGBIR传感器得到正常的RGB图像信号，为了获得更高的色准，可以将RGBIR传感器中红色(R)通道、绿色(G)通道和蓝色(B)通道中感知到的不可见光部分去除。在本申请实施例中，去除部分不可见光即减去当前像素点的原始或经插值得到的红外像素值乘以一个与有色微透镜的透过率相关的系数。

本申请实施例可以利用g(G)＝G-μ_g·ir(G)去除RGB图像信号中G像素点的IR分量，g(G)表示去除IR分量后G像素点的g像素值，G表示G像素点的初始g像素值，ir(G)表示G像素点的ir像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数。

本申请实施例可以利用r(R)＝R-μ_r·ir(R)去除第二RGB图像信号中R像素点的IR分量，r(R)表示去除IR分量后R像素点的r像素值，R表示R像素点的初始r像素值，ir(R)表示R像素点的ir像素值，μ_r表示与红外光对红色微透镜的透过率对应的系数。

以图5为例，当步骤S22中未去除B像素点的r像素值的红外分量和IR像素点的b像素值的红外分量时，去除IR分量的公式可以表示为：

当步骤S22中去除B像素点的r像素值的红外分量和IR像素点的b像素值的红外分量时，去除IR分量的公式可以表示为：

其中，g(G1)表示去除红外分量后G1像素点的g像素值，g(G2)表示去除红外分量后G2像素点的g像素值，g(G3)表示去除红外分量后G3像素点的g像素值，g(G4)表示去除红外分量后G4像素点的g像素值，g(G5)表示去除红外分量后G5像素点的g像素值，g(G6)表示去除红外分量后G6像素点的g像素值，g(G7)表示去除红外分量后G7像素点的g像素值，g(G8)表示去除红外分量后G8像素点的g像素值，G1表示G1像素点的初始g像素值，G2表示G2像素点的初始g像素值，G3表示G3像素点的初始g像素值，G4表示G4像素点的初始g像素值，G5表示G5像素点的初始g像素值，G6表示G6像素点的初始g像素值，G7表示G7像素点的初始g像素值，G8表示G8像素点的初始g像素值，μ_b表示与红外光对蓝色微透镜的透过率对应的系数。

μ_r、μ_g和μ_b系数，与IR光对R、G、B三种有色微透镜的透过率有关，其取值取决于色谱仪测量以及图像标定工作的结果。需要说明的是，μ_r、μ_g和μ_b系数可以由技术人员根据实际场景需要进行设定，本申请实施例不做限定。作为示例，μ_r、μ_g和μ_b系数可以是：μ_r＝0.25，μ_g＝0.1，μ_b＝0.7。

接下来对第二虚拟信道的插值处理方法进行介绍。

在本申请实施例中，基于第二虚拟信道的插值处理方法至少可以包括以下步骤：

对RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR图像信号。

此时，第一图像信号即IR图像信号，是因为第二虚拟信道用于指示对RGBIR图像进行IR插值处理，IR插值处理用于将RGBIR图像信号转换为IR图像信号。

以图5为例，RGBIR图像中IR像素值的插值公式可以表示为：

其中，ir(B1)′表示插值处理后得到的IR图像信号中B1像素点的ir像素值，ir(G1)′表示插值处理后得到的IR图像信号中G1像素点的ir像素值，ir(R3)′表示插值处理后得到的IR图像信号中R3像素点的ir像素值，ir(G2)′表示插值处理后得到的IR图像信号中G2像素点的ir像素值，ir(G3)′表示插值处理后得到的IR图像信号中G3像素点的ir像素值，ir(G4)′表示插值处理后得到的IR图像信号中G4像素点的ir像素值，ir(R4)′表示插值处理后得到的IR图像信号中R4像素点的ir像素值，ir(G5)′表示插值处理后得到的IR图像信号中G5像素点的ir像素值，ir(B3)′表示插值处理后得到的IR图像信号中B3像素点的ir像素值，ir(G6)′表示插值处理后得到的IR图像信号中G6像素点的ir像素值，ir(G7)′表示插值处理后得到的IR图像信号中G7像素点的ir像素值，ir(G8)′表示插值处理后得到的IR图像信号中G8像素点的ir像素值。

接下来对本申请提供的一种图像信号处理装置进行介绍，下文介绍的一种图像信号处理装置与上文介绍的一种图像信号处理方法可相互对应参照。

请参见图6，示出了本申请提供的一种图像信号处理装置的结构示意图，所述装置包括：

接收模块601，用于接收RGBIR传感器输出的RGBIR图像信号；

确定模块602，用于确定所述RGBIR图像信号的来源信道；

插值处理模块603，用于基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，所述第一图像信号为RGB图像信号或IR图像信号；

算法处理模块604，用于对所述第一图像信号进行算法处理，得到第二图像信号。

在本申请实施例中，所述插值处理模块603，包括：

IR插值单元，用于若所述RGBIR图像信号的来源信道为第一虚拟信道，对所述RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR插值图像信号，所述非IR像素点包括R像素点、G像素点和B像素点，所述第一虚拟信道用于指示对所述RGBIR图像信号进行RGB插值处理，所述RGB插值处理用于将所述RGBIR图像信号转换为RGB图像信号；

RGB插值单元，用于对所述IR插值图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理，得到RGB插值图像信号；

IR去除单元，用于去除所述RGB插值图像信号中每个像素点的IR分量，得到所述RGB图像信号。

在本申请实施例中，所述IR去除单元，具体用于：

利用g(G)＝G-μ_g·ir(G)去除所述RGB插值图像信号中G像素点的IR分量，g(G)表示去除IR分量后G像素点的g像素值，G表示G像素点的初始g像素值，ir(G)表示G像素点的ir像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数；

利用r(R)＝R-μ_r·ir(R)去除所述RGB插值图像信号中R像素点的IR分量，r(R)表示去除IR分量后R像素点的r像素值，R表示R像素点的初始r像素值，ir(R)表示R像素点的ir像素值，μ_r表示与红外光对红色微透镜的透过率对应的系数。

在本申请实施例中，所述插值处理模块603还包括：

插值单元，用于若所述RGBIR图像信号的来源信道为第二虚拟信道，对所述RGBIR图像信号中非IR像素点的IR像素值进行插值处理，得到所述IR图像信号，所述第二虚拟信道用于指示对所述RGBIR图像进行IR插值处理，所述IR插值处理用于将所述RGBIR图像信号转换为IR图像信号。

在本申请实施例中，所述算法处理模块604，包括：

曝光控制单元，用于基于所述第一图像信号的H2A统计值对所述第一图像信号进行曝光控制，得到所述第二图像信号。

本申请实施例还提供了一种计算机设备，包括：存储器以及处理器；

其中，所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器中的计算机程序，以实现如上述方法实施例所述的方法。

本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述方法实施例所述的方法。

在本申请实施例中，接收模块用于接收RGBIR传感器输出的RGBIR图像信号；确定模块用于确定RGBIR图像信号的来源信道；插值处理模块用于基于RGBIR图像信号的来源信道对RGBIR图像信号进行插值处理，得到第一图像信号，第一图像信号为RGB图像信号或IR图像信号；算法处理模块用于对第一图像信号进行算法处理，得到第二图像信号。本申请实施例取消了双滤光片切换装置，使用图像信号插值处理方法来消除取消双滤光片切换装置后的红外-可见光光谱串扰问题，从而在降低整体成本的前提下依然能够获得画面质量良好的彩色可见光图像或灰度红外图像。

需要说明的是，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像信号处理方法，其特征在于，所述方法包括：

接收RGBIR传感器输出的RGBIR图像信号；

确定所述RGBIR图像信号的来源信道；

基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，所述第一图像信号为RGB图像信号或IR图像信号；

对所述第一图像信号进行算法处理，得到第二图像信号。

2.根据权利要求1所述的方法，其特征在于，所述基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，包括：

若所述RGBIR图像信号的来源信道为第一虚拟信道，对所述RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR插值图像信号，所述非IR像素点包括R像素点、G像素点和B像素点，所述第一虚拟信道用于指示对所述RGBIR图像信号进行RGB插值处理，所述RGB插值处理用于将所述RGBIR图像信号转换为RGB图像信号；

对所述IR插值图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理，得到RGB插值图像信号；

去除所述RGB插值图像信号中每个像素点的IR分量，得到所述RGB图像信号。

3.根据权利要求2所述的方法，其特征在于，所述去除所述RGB插值图像信号中每个像素点的IR分量，包括：

利用g(G)＝G-μ_g·ir(G)去除所述RGB插值图像信号中G像素点的IR分量，g(G)表示去除IR分量后G像素点的g像素值，G表示G像素点的初始g像素值，ir(G)表示G像素点的ir像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数；

利用r(R)＝R-μ_r·ir(R)去除所述RGB插值图像信号中R像素点的IR分量，r(R)表示去除IR分量后R像素点的r像素值，R表示R像素点的初始r像素值，ir(R)表示R像素点的ir像素值，μ_r表示与红外光对红色微透镜的透过率对应的系数。

4.根据权利要求1所述的方法，其特征在于，所述基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，包括：

若所述RGBIR图像信号的来源信道为第二虚拟信道，对所述RGBIR图像信号中非IR像素点的IR像素值进行插值处理，得到所述IR图像信号，所述第二虚拟信道用于指示对所述RGBIR图像进行IR插值处理，所述IR插值处理用于将所述RGBIR图像信号转换为IR图像信号。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述第一图像信号进行算法处理，得到第二图像信号，包括：

基于所述第一图像信号的H2A统计值对所述第一图像信号进行曝光控制，得到所述第二图像信号。

6.一种图像信号处理装置，其特征在于，所述装置包括：

接收模块，用于接收RGBIR传感器输出的RGBIR图像信号；

确定模块，用于确定所述RGBIR图像信号的来源信道；

插值处理模块，用于基于所述RGBIR图像信号的来源信道对所述RGBIR图像信号进行插值处理，得到第一图像信号，所述第一图像信号为RGB图像信号或IR图像信号；

算法处理模块，用于对所述第一图像信号进行算法处理，得到第二图像信号。

7.根据权利要求6所述的装置，其特征在于，所述插值处理模块，包括：

IR插值单元，用于若所述RGBIR图像信号的来源信道为第一虚拟信道，对所述RGBIR图像信号中非IR像素点的ir像素值进行插值处理，得到IR插值图像信号，所述非IR像素点包括R像素点、G像素点和B像素点，所述第一虚拟信道用于指示对所述RGBIR图像信号进行RGB插值处理，所述RGB插值处理用于将所述RGBIR图像信号转换为RGB图像信号；

RGB插值单元，用于对所述IR插值图像信号中B像素点的r像素值和IR像素点的b像素值进行插值处理，得到RGB插值图像信号；

IR去除单元，用于去除所述RGB插值图像信号中每个像素点的IR分量，得到所述RGB图像信号。

8.根据权利要求7所述的装置，其特征在于，所述IR去除单元，具体用于：

利用g(G)＝G-μ_g·ir(G)去除所述RGB插值图像信号中G像素点的IR分量，g(G)表示去除IR分量后G像素点的g像素值，G表示G像素点的初始g像素值，ir(G)表示G像素点的ir像素值，μ_g表示与红外光对绿色微透镜的透过率对应的系数；

利用r(R)＝R-μ_r·ir(R)去除所述RGB插值图像信号中R像素点的IR分量，r(R)表示去除IR分量后R像素点的r像素值，R表示R像素点的初始r像素值，ir(R)表示R像素点的ir像素值，μ_r表示与红外光对红色微透镜的透过率对应的系数。

9.根据权利要求6所述的装置，其特征在于，所述插值处理模块还包括：

插值单元，用于若所述RGBIR图像信号的来源信道为第二虚拟信道，对所述RGBIR图像信号中非IR像素点的IR像素值进行插值处理，得到所述IR图像信号，所述第二虚拟信道用于指示对所述RGBIR图像进行IR插值处理，所述IR插值处理用于将所述RGBIR图像信号转换为IR图像信号。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述算法处理模块，包括：

曝光控制单元，用于基于所述第一图像信号的H2A统计值对所述第一图像信号进行曝光控制，得到所述第二图像信号。