CN111182242B

CN111182242B - 一种rgb-ir图像的校正方法和装置

Info

Publication number: CN111182242B
Application number: CN201911321119.8A
Authority: CN
Inventors: 史汉臣; 李成军
Original assignee: Aojie Intelligent Technology Shanghai Co ltd
Current assignee: Aojie Intelligent Technology Shanghai Co ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2021-11-05
Anticipated expiration: 2039-12-20
Also published as: CN111182242A

Abstract

本申请公开了一种RGB‑IR图像的校正方法，包括如下步骤。步骤S10：输入RGB‑IR图像。步骤S20：对输入的RGB‑IR图像进行暗电平校正。步骤S30：按各颜色通道对IR分量进行增益补偿。步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数。步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。本申请通过图像处理的方式实现对RGB‑IR图像的校正，在图像的亮区、暗区自适应地去除或保留部分或全部的红外分量，从而在图像亮度与图像不偏色的两个指标上取得平衡。

Description

一种RGB-IR图像的校正方法和装置

技术领域

本申请涉及图像处理领域，特别涉及一种对图像数据进行处理的方法和装置。

背景技术

随着多媒体技术的发展，视频监控和手机等装置的拍照功能越来越受到用户的重视。上述装置的拍照功能都是基于图像传感器实现的，当用户在白天光线充足时拍照，图像传感器可以接收到足够的光线，进而能够清晰地成像。但是当夜晚光线不足时，图像传感器无法正常成像，这些装置的使用范围会受到限制。

为了解决低光照场景下拍照的问题，图像传感器会接收部分近红外线（NIR，Near-infrared）作为可见光的补充。但是如图1所示，RGB像素也会接收部分红外线（IR，infrared），因此近红外线会对成像的颜色造成干扰，导致偏色。因此，当光线充足时，需要去除红外线的干扰；光线不足时，再使用红外辅助成像。

现有技术中，一般使用基于机械结构的红外滤光片（IR-Cut）装置进行切换。光线充足时，截止红外线，防止其干扰成像；光线不足时再移开红外滤光片，使红外线通过。

然而，基于机械结构的红外滤光片装置体积较大，会造成焦距改变影响成像的清晰度；而且价格昂贵；当装配在手机等移动装置中时，日常碰撞容易导致其产生位移而影响使用效果。

发明内容

本申请所要解决的技术问题是提出了一种RGB-IR图像的校正方法。该方法不依赖于机械结构的红外滤光片，而是通过图像处理的方式实现对RGB-IR图像的校正。

为解决上述技术问题，本申请提供了一种RGB-IR图像的校正方法，包括如下步骤。步骤S10：输入RGB-IR图像。步骤S20：对输入的RGB-IR图像进行暗电平校正。步骤S30：按各颜色通道对IR分量进行增益补偿。步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数。步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。

进一步地，所述RGB-IR图像包括RGB图像和IR图像两部分；RGB图像为拜耳模式分布的，以2×2个像素作为一个基础单元，每个基础单元由一个R红色像素、一个Gb绿色像素、一个Gr绿色像素和一个B蓝色像素组成；IR图像与RGB图像大小一致，但所有像素均为IR像素。这是一种优选的实现方式。

进一步地，所述步骤S20进一步包括如下步骤。步骤S22：将RGB图像和IR图像均按各颜色通道进行分离。步骤S24：对RGB图像和IR图像的每个基础单元按各颜色通道进行暗电平校正。这是一种优选的实现方式。

进一步地，所述步骤S24中，根据公式一对RGB图像的一个基础单元的暗电平按各颜色通道进行校正。

公式一：

。

其中，R'表示暗电平校正后的R红色像素的值，Gr'表示暗电平校正后的Gr绿色像素的值，B'表示暗电平校正后的B蓝色像素的值，Gb'表示暗电平校正后的Gb绿色像素的值，R表示输入图像的R红色像素的原始值、Gr表示输入图像的Gr绿色像素的原始值，B表示输入图像的B蓝色像素的原始值，Gb表示输入图像的Gb绿色像素的原始值，BLC_bayer表示RGB图像传感器的暗电平。这是一种优选的实现方式。

进一步地，所述步骤S24中，根据公式二对IR图像的一个基础单元的暗电平按各颜色通道进行校正。

公式二：

。

其中，IR'表示暗电平校正后的IR红外像素的值，IR表示输入图像的IR红外像素的原始值，BLC_IR表示IR图像传感器的暗电平。这是一种优选的实现方式。

进一步地，所述步骤S30中，对不同颜色通道的IR分量分别乘以不同的增益系数以使RGB图像中各颜色通道的RGB分量与其对应位置的IR分量的数值大小保持一致，如公式三所示。

公式三：

。

其中，

表示增益补偿后的R红色通道的IR分量，

表示增益补偿后的Gr绿色通道的IR分量，

表示增益补偿后的B蓝色通道的IR分量，

表示增益补偿后的Gb绿色通道的IR分量，Gain_R表示R红色通道的IR分量的增益系数，Gain_Gr表示Gr绿色通道的IR分量的增益系数、Gain_B表示B蓝色通道的IR分量的增益系数、Gain_Gb表示Gb绿色通道的IR分量的增益系数。这是一种优选的实现方式。

进一步地，所述增益系数或者采用固定的数值，或者根据图像传感器的曝光时间和图像传感器的增益进行自适应变化；当t<t1时，增益系数Gain=a；当t>t2时，增益系数Gain=b；其他情况下，增益系数Gain=a + (b-a)×(t-t1)/(t2-t1)。这是一种优选的实现方式。

进一步地，所述步骤S40进一步包括如下步骤。步骤S42：计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，如公式四所示。

公式四：

。

其中，RES_R表示R红色通道的残差，RES_Gr表示Gr绿色通道的残差，RES_B表示B蓝色通道的残差，RES_Gb表示Gb绿色通道的残差。步骤S44：得到其中的最小残差RES_min，如公式五所示。

公式五：

。

其中，RES_min表示四个颜色通道的最小残差，min函数表示取最小值。步骤S46：根据每个基础单元内的最小残差RES_min；决定该基础单元中IR分量的的校正系数Ratio；一个基础单元内部采用同一个校正系数Ratio。这是一种优选的实现方式。

进一步地，所述步骤S46中，最小残差RES_min越大，则增大IR分量的校正系数Ratio，减少保留的IR分量；最小残差RES_min越小，则降低IR分量的校正系数Ratio，增加保留的IR分量。这是一种优选的实现方式。

进一步地，所述步骤S50中，根据公式六得到校正之后的图像作为最终的输出；输出图像是拜耳模式的RGB图像。

公式六：

。

其中，R''表示最终输出的R红色像素的值，Gr''表示最终输出的Gr绿色像素的值，B''表示最终输出的B蓝色像素的值，Gb''表示最终输出的Gb绿色像素的值。这是一种优选的实现方式。

本申请还提供了一种RGB-IR图像的校正装置，包括输入单元、暗电平校正单元、IR增益补偿单元、校正系数计算单元和校正单元；所述输入单元用于输入RGB-IR图像；所述暗电平校正单元用于对输入的RGB-IR图像进行暗电平校正；所述IR增益补偿单元用于按各颜色通道对IR分量进行增益补偿；所述校正系数计算单元用于计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数；所述校正单元用于根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。

进一步地，所述暗电平校正单元进一步包括颜色通道分离子单元、RGB暗电平校正子单元和IR暗电平校正子单元；所述颜色通道分离子单元用于将RGB图像和IR图像均按各颜色通道进行分离；所述RGB暗电平校正子单元用于对RGB图像的每个基础单元按各颜色通道进行暗电平校正；所述IR暗电平校正子单元用于对IR图像的每个基础单元按各颜色通道进行暗电平校正。这是一种优选的实现方式。

进一步地，所述IR增益补偿单元进一步包括增益系数计算子单元和增益补偿子单元；所述增益系数计算子单元用于计算不同颜色通道的IR分量的增益系数；所述增益补偿子单元用于对不同颜色通道的IR分量分别乘以不同的增益系数。这是一种优选的实现方式。

进一步地，所述校正系数计算单元进一步包括残差计算子单元、最小残差计算子单元和校正系数确定子单元；所述残差计算子单元用于计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差；所述最小残差计算子单元用于得到每个基础单元中各颜色通道的残差的最小值；所述校正系数确定子单元用于根据每个基础单元内的最小残差决定该基础单元中IR分量的的校正系数。这是一种优选的实现方式。

本申请取得的技术效果是通过图像处理的方式实现对RGB-IR图像的校正，在图像的亮区、暗区自适应地去除或保留部分或全部的红外分量，从而在图像亮度与图像不偏色的两个指标上取得平衡。

附图说明

图1是不同颜色通道的量化效率示意图。

图2是本申请提供的RGB-IR图像的校正方法的一个实施例的流程图。

图3是输入的RGB-IR图像格式的示意图。

图4是图2中的步骤S20的一种实现方式的流程图。

图5是一种增益系数调整方式的示意图。

图6是图2中的步骤S40的一种实现方式的流程图。

图7是一种校正系数调整方案的示意图。

图8是本申请提供的RGB-IR图像的校正装置的实施例一的结构示意图。

图9是本申请提供的RGB-IR图像的校正装置的实施例二的结构示意图。

图中附图标记说明：100为RGB-IR图像的校正装置；110为输入单元；120为暗电平校正单元；122为颜色通道分离子单元；124为RGB暗电平校正子单元；126为IR暗电平校正子单元；130为IR增益补偿单元；132为增益系数计算子单元；134为增益补偿子单元；140为校正系数计算单元；142为残差计算子单元；144为最小残差计算子单元；146为校正系数确定子单元；150为校正单元；31至38为像素点。

具体实施方式

请参阅图2，本申请提供的RGB-IR图像的校正方法的一个实施例包括如下步骤。

步骤S10：输入RGB-IR图像。

步骤S20：对输入的RGB-IR图像进行暗电平（black level）校正。所述暗电平是指暗电流的大小。

步骤S30：按各颜色通道对IR分量进行增益补偿。

步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数。

步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。

进一步地，所述步骤S10中，所述RGB-IR图像包括RGB图像和IR图像两部分。请参阅图3，RGB图像为拜耳模式（Bayer Pattern）分布的，以2×2个像素作为一个基础单元，每个单元由2个绿色（Gb，Gr）像素，1个红色（R）像素和1个蓝色（B）像素组成。例如RGB图像中的像素31、像素33、像素35、像素37就构成一个基础单元。IR图像与RGB图像大小一致，但所有像素均为IR像素。与RGB图像中由像素31、像素33、像素35、像素37相对应位置的，是IB图像中由像素32、像素34、像素35、像素36构成的一个基础单元。像素31、像素32属于R红色通道。像素33、像素34属于Gr绿色通道。像素35、像素36属于Gb绿色通道。像素37、像素38属于B蓝色通道。

RGB图像有四种格式，分别是RGGB、BGGR、GBRG、GRBG。图3只表示了RGGB格式作为示例。其他格式与RGGB格式的区别只是四个颜色像素的排列方式不同，同样适用于本申请提供的RGB-IR图像的校正方法和装置。

请参阅图4，所述步骤S20进一步包括如下步骤。

步骤S22：将RGB图像和IR图像均按各颜色通道进行分离。以拜耳模式的RGB图像的上下左右相邻的2×2像素为基础单元，将RGB图像和IR图像分为多个基础单元。RGB图像的每个基础单元中，4个像素分别是R红色像素、Gr绿色像素、B蓝色像素、Gb绿色像素。IR图像的每个基础单元中，4个像素均为IR像素。

步骤S24：对RGB图像和IR图像的每个基础单元按各颜色通道进行暗电平校正。由于RGB图像和IR图像在图像传感器上的像素面积等存在差异，暗电平也不尽相同，所以需要分开进行校正。其中，暗电平可以每帧图像都采用相同的数值，也可以根据应用场景为每帧图像单独设置变化的值。

如公式一所示，这是对RGB图像的一个基础单元的暗电平按各颜色通道进行校正。

公式一：

。

其中，R'表示暗电平校正后的R红色像素的值，Gr'表示暗电平校正后的Gr绿色像素的值，B'表示暗电平校正后的B蓝色像素的值，Gb'表示暗电平校正后的Gb绿色像素的值，R表示输入图像的R红色像素的原始值、Gr表示输入图像的Gr绿色像素的原始值，B表示输入图像的B蓝色像素的原始值，Gb表示输入图像的Gb绿色像素的原始值，BLC_bayer表示RGB图像传感器的暗电平。

如公式二所示，这是对IR图像的一个基础单元的暗电平按各颜色通道进行校正。

公式二：

。

其中，IR'表示暗电平校正后的IR红外像素的值，IR表示输入图像的IR红外像素的原始值，BLC_IR表示IR图像传感器的暗电平。

进一步地，所述步骤S30中，由于RGB图像和IR图像在图像传感器上的感光面积等方面存在差异，拜耳模式的RGB图像中各颜色通道的RGB分量与其对应位置的IR分量在数值大小上会存在一个线性比例关系，且受颜色滤镜（Color Filter）的影响，不同颜色通道的IR分量的增益系数会存在差异，因此对不同颜色通道的IR分量分别乘以不同的增益系数以使IR图像中的IR分量的数值大小与其对应位置的RGB图像中各颜色通道收到的IR数值大小保持一致，如公式三所示。

公式三：

。

其中，

表示增益补偿后的R红色通道的IR分量，

表示增益补偿后的Gr绿色通道的IR分量，

表示增益补偿后的B蓝色通道的IR分量，

表示增益补偿后的Gb绿色通道的IR分量，Gain_R表示R红色通道的IR分量的增益系数，Gain_Gr表示Gr绿色通道的IR分量的增益系数、Gain_B表示B蓝色通道的IR分量的增益系数、Gain_Gb表示Gb绿色通道的IR分量的增益系数。

该增益系数的计算可以是全程采用固定的数值，也可以根据图像传感器的曝光时间和图像传感器的增益进行自适应变化。请参阅图5，这是一种典型的增益系数调整方式。横坐标为曝光时间×传感器增益，用t表示。纵坐标为增益系数。当t<t1时，增益系数Gain=a；当t>t2时，增益系数Gain=b；其他情况下，增益系数Gain=a + (b-a)×(t-t1)/(t2-t1)。

进一步地，所述步骤S40是以拜耳模式的RGB图像的基础单元进行处理的。请参阅图6，所述步骤S40进一步包括如下步骤。

步骤S42：计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，如公式四所示。

公式四：

。

其中，RES_R表示R红色通道的残差，RES_Gr表示Gr绿色通道的残差，RES_B表示B蓝色通道的残差，RES_Gb表示Gb绿色通道的残差。

步骤S44：得到其中的最小残差RES_min，如公式五所示。

公式五：

。

其中，RES_min表示四个颜色通道的最小残差，min函数表示取最小值。

步骤S46：根据每个基础单元内的最小残差RES_min得知该基础单元的亮度，从而决定该基础单元中IR分量的的校正系数Ratio。一个基础单元内部采用同一个校正系数Ratio。最小残差RES_min越大，表示当前基础单元的亮度越高，则相对增大IR分量的校正系数Ratio。最小残差RES_min越小，则当前基础单元的亮度越暗，则相对降低IR分量的校正系数Ratio。

请参阅图7，这是一种校正系数调整方案。将最小残差RES_min分为五段，然后采用线性插值的方法计算最终的校正系数Ratio。其中，当最小残差RES_min大于128时，校正系数Ratio的取值为1，表示要彻底去除IR分量。其他情况下，校正系数Ratio介于0和1之间，表示在图像的较暗区域中，稍微保留部分IR分量，以提高图像暗区的亮度。

进一步地，所述步骤S50中，根据一个基础单元中IR分量的校正系数Ratio和增益补偿后的IR分量对当前基础单元内的各颜色通道的RGB分量进行校正，得到校正之后的图像作为最终的输出，如公式六所示。输出图像仍然是拜耳模式的RGB图像，以便于兼容传统的图像信号处理器（ISP）等后续处理装置。

公式六：

。

其中，R''表示最终输出的R红色像素的值，Gr''表示最终输出的Gr绿色像素的值，B''表示最终输出的B蓝色像素的值，Gb''表示最终输出的Gb绿色像素的值。

请参阅图8，这是本申请提供的RGB-IR图像的校正装置的实施例一。所述RGB-IR图像的校正装置100包括输入单元110、暗电平校正单元120、IR增益补偿单元130、校正系数计算单元140和校正单元150。所述输入单元110用于输入RGB-IR图像，例如是RGB-IR图像传感器。所述RGB-IR图像传感器包括RGB图像传感器和IR图像传感器两部分。所述暗电平校正单元120用于对输入的RGB-IR图像进行暗电平校正。所述IR增益补偿单元130用于按各颜色通道对IR分量进行增益补偿。所述校正系数计算单元140用于计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数。所述校正单元150用于根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。

请参阅图9，这是本申请提供的RGB-IR图像的校正装置的实施例二。实施例二对实施例一中的各单元给出了示例性的具体实现方式。

所述暗电平校正单元120进一步包括颜色通道分离子单元122、RGB暗电平校正子单元124和IR暗电平校正子单元126。所述颜色通道分离子单元122用于将RGB图像和IR图像均按各颜色通道进行分离。所述RGB暗电平校正子单元124用于对RGB图像的每个基础单元按各颜色通道进行暗电平校正。所述IR暗电平校正子单元126用于对IR图像的每个基础单元按各颜色通道进行暗电平校正。

所述IR增益补偿单元130进一步包括增益系数计算子单元132和增益补偿子单元134。所述增益系数计算子单元132用于计算不同颜色通道的IR分量的增益系数，例如采用图5所示方案，在图9中以虚线表示该示例性方案的输入。所述增益补偿子单元134用于对不同颜色通道的IR分量分别乘以不同的增益系数。

所述校正系数计算单元140进一步包括残差计算子单元142、最小残差计算子单元144和校正系数确定子单元146。所述残差计算子单元142用于计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差。所述最小残差计算子单元144用于得到每个基础单元中各颜色通道的残差的最小值。所述校正系数确定子单元146用于根据每个基础单元内的最小残差RES_min决定该基础单元中IR分量的的校正系数Ratio。

本申请提供的RGB-IR图像的校正方法和装置具有如下方面的有益效果。

其一，本申请无需机械结构的红外滤光片，通过图像处理的方式去除红外线对成像的影响，降低系统成本，提高稳定性。

其二，本申请直接对图像传感器输出的原始数据进行处理，去除暗电流的干扰，保证了处理之后的图像与场景亮度之间的关系仍然是线性的。

其三，本申请以拜耳模式作为基本处理单元，基础单元内部各颜色通道采用的校正系数Ratio相同，保证了每个基础单元内部各颜色通道的一致性。

其四，本申请以拜耳模式作为基本处理单元，基础单元之间所采用的校正系数Ratio根据该基础单元的最小残差RES_min自适应调整，例如图6所示，既保证了将图像亮区的红外分量彻底去除，防止亮区偏色；又可以保证将暗区的红外分量稍微保留，以提高图像暗区的亮度。

其五，本申请无需进行插值运算，而是将整个基础单元作为一个整体，既可以防止因插值算法引入的误差，又可以兼容传统的仅支持拜耳模式输入的图像信号处理器等装置，并将其作为后续的处理装置。

以上仅为本申请的优选实施例，并不用于限定本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种RGB-IR图像的校正方法，其特征是，包括如下步骤：

步骤S10：输入RGB-IR图像；所述RGB-IR图像包括RGB图像和IR图像两部分；

步骤S20：对输入的RGB-IR图像进行暗电平校正；

步骤S30：按各颜色通道对进行暗电平校正后的IR分量进行增益补偿；

步骤S40：计算经过暗电平校正的各颜色通道的RGB分量减去经过暗电平校正和增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数；所述校正系数与最小残差成正比，且所述校正系数的取值范围介于0和1之间；

步骤S50：根据IR分量的校正系数和经过暗电平校正和增益补偿后的IR分量对经过暗电平校正的RGB分量进行校正并输出。

2.根据权利要求1所述的RGB-IR图像的校正方法，其特征是，RGB图像为拜耳模式分布的，以2×2个像素作为一个基础单元，每个基础单元由一个R红色像素、一个Gb绿色像素、一个Gr绿色像素和一个B蓝色像素组成；IR图像与RGB图像大小一致，但所有像素均为IR像素。

3.据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述步骤S20进一步包括如下步骤：

步骤S22：将RGB图像和IR图像均按各颜色通道进行分离；

步骤S24：对RGB图像和IR图像的每个基础单元按各颜色通道进行暗电平校正。

4.据权利要求3所述的RGB-IR图像的校正方法，其特征是，所述步骤S24中，根据公式一对RGB图像的一个基础单元的暗电平按各颜色通道进行校正；

公式一：

5.据权利要求3所述的RGB-IR图像的校正方法，其特征是，所述步骤S24中，根据公式二对IR图像的一个基础单元的暗电平按各颜色通道进行校正；

公式二：IR′＝IR-BLC_IR；

6.据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述步骤S30中，对不同颜色通道的IR分量分别乘以不同的增益系数以使IR图像中的IR分量的数值大小与其对应位置的RGB图像中各颜色通道收到的IR分量的数值大小保持一致，如公式三所示；

公式三：

其中，IR″_R表示增益补偿后的R红色通道的IR分量，IR″_Gr表示增益补偿后的Gr绿色通道的IR分量，IR″_B表示增益补偿后的B蓝色通道的IR分量，IR″_Gb表示增益补偿后的Gb绿色通道的IR分量，Gain_R表示R红色通道的IR分量的增益系数，Gain_Gr表示Gr绿色通道的IR分量的增益系数、Gain_B表示B蓝色通道的IR分量的增益系数、Gain_Gb表示Gb绿色通道的IR分量的增益系数。

7.据权利要求6所述的RGB-IR图像的校正方法，其特征是，所述增益系数或者采用固定的数值，或者根据图像传感器的曝光时间和图像传感器的增益进行自适应变化；当t<t1时，增益系数Gain＝a；当t>t2时，增益系数Gain＝b；其他情况下，增益系数Gain＝a+(b-a)×(t-t1)/(t2-t1)；t、t1、t2均表示图像传感器的曝光时间×图像传感器的增益。

8.据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述步骤S40进一步包括如下步骤：

步骤S42：计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，如公式四所示；

公式四：

其中，RES_R表示R红色通道的残差，RES_Gr表示Gr绿色通道的残差，RES_B表示B蓝色通道的残差，RES_Gb表示Gb绿色通道的残差；

步骤S44：得到其中的最小残差RES_min，如公式五所示；

公式五：

其中，RES_min表示四个颜色通道的最小残差，min函数表示取最小值；

步骤S46：根据每个基础单元内的最小残差RES_min；决定该基础单元中IR分量的的校正系数Ratio；一个基础单元内部采用同一个校正系数Ratio。

9.据权利要求8所述的RGB-IR图像的校正方法，其特征是，所述步骤S46中，最小残差RES_min越大，则增大IR分量的校正系数Ratio，减少保留的IR分量；最小残差RES_min越小，则降低IR分量的校正系数Ratio，增加保留的IR分量。

10.据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述步骤S50中，根据公式六得到校正之后的图像作为最终的输出；输出图像是拜耳模式的RGB图像；

公式六：

其中，R”表示最终输出的R红色像素的值，Gr”表示最终输出的Gr绿色像素的值，B”表示最终输出的B蓝色像素的值，Gb”表示最终输出的Gb绿色像素的值。

11.一种RGB-IR图像的校正装置，其特征是，包括输入单元、暗电平校正单元、IR增益补偿单元、校正系数计算单元和校正单元；所述输入单元用于输入RGB-IR图像；所述RGB-IR图像包括RGB图像和IR图像两部分；所述暗电平校正单元用于对输入的RGB-IR图像进行暗电平校正；所述IR增益补偿单元用于按各颜色通道对进行暗电平校正后的IR分量进行增益补偿；所述校正系数计算单元用于计算经过暗电平校正的各颜色通道的RGB分量减去经过暗电平校正和增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数；所述校正系数与最小残差成正比，且所述校正系数的取值范围介于0和1之间；所述校正单元用于根据IR分量的校正系数和经过暗电平校正和增益补偿后的IR分量对经过暗电平校正的RGB分量进行校正并输出。

12.根据权利要求11所述的RGB-IR图像的校正装置，其特征是，所述暗电平校正单元进一步包括颜色通道分离子单元、RGB暗电平校正子单元和IR暗电平校正子单元；所述颜色通道分离子单元用于将RGB图像和IR图像均按各颜色通道进行分离；所述RGB暗电平校正子单元用于对RGB图像的每个基础单元按各颜色通道进行暗电平校正；所述IR暗电平校正子单元用于对IR图像的每个基础单元按各颜色通道进行暗电平校正。

13.根据权利要求11所述的RGB-IR图像的校正装置，其特征是，所述IR增益补偿单元进一步包括增益系数计算子单元和增益补偿子单元；所述增益系数计算子单元用于计算不同颜色通道的IR分量的增益系数；所述增益补偿子单元用于对不同颜色通道的IR分量分别乘以不同的增益系数。

14.根据权利要求11所述的RGB-IR图像的校正装置，其特征是，所述校正系数计算单元进一步包括残差计算子单元、最小残差计算子单元和校正系数确定子单元；所述残差计算子单元用于计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差；所述最小残差计算子单元用于得到每个基础单元中各颜色通道的残差的最小值；所述校正系数确定子单元用于根据每个基础单元内的最小残差决定该基础单元中IR分量的的校正系数。