发明内容
为克服相关技术中通道内平衡与减少多通道平衡查找表数据量之间不能兼顾的问题,本申请提供一种相机多通道平衡查找表标定方法及系统,以及相应的相机多通道平衡方法及系统。
根据本申请实施例的第一方面,提供一种相机多通道平衡查找表标定方法,包括:
使用均匀光源采集不同灰度段的图像,所述灰度段为预设的灰度范围;
根据所述图像划分图像列;
选定参考图像列;
对每个灰度段的图像执行如下步骤:
计算每个图像列的列均值,所述列均值为每个图像列所有像素的灰度的均值,
以及,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
以灰度段为行、以图像列为列,或者以灰度段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
可选的,所述的相机多通道平衡查找表标定方法,对每个灰度段的图像,在计算每个图像列的列均值之前,还包括执行如下步骤:
去除图像列的奇异点,所述奇异点为灰度值与整幅图像灰度均值的偏差大于或等于预设阈值的像素点。
可选的,所述根据所述图像划分图像列,包括:
根据所述图像的图像数据绘制像素列灰度均值曲线,所述像素列灰度均值曲线为每个像素列灰度的均值随像素列位置变化的曲线;
判断是否存在渐变区域;
若所述像素列灰度均值曲线不存在渐变区域,则按物理通道划分图像列;
若所述像素列灰度均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为所述像素列灰度均值曲线中灰度均值的差异值渐变的区域。
可选的,所述的相机多通道平衡查找表标定方法,当存在一个渐变区域时,选定所述渐变区域的第一个图像列,以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,所述根据所述列均值计算每个图像列的偏置系数Oi,为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。
根据本申请实施例的第二方面,提供一种相机多通道平衡方法,包括:
使用本申请实施例第一方面所述的相机多通道平衡查找表标定方法,得到相机多通道平衡查找表;
根据图像中每一个像素点的灰度值确定其所属的灰度段,以及根据所述像素点的位置信息确定其所属的图像列;
根据所述灰度段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数;
根据所述偏置系数对所述像素点的灰度值进行校正。
根据本申请实施例的第三方面,提供另一种相机多通道平衡查找表标定方法,包括:
对于彩色图像的每个颜色分量,使用均匀光源采集不同颜色分量取值段的彩色图像,所述颜色分量为红分量、绿分量或蓝分量,所述颜色分量取值段为预设的红分量取值范围、绿分量取值范围或蓝分量取值范围;
将所述彩色图像按红分量、绿分量和蓝分量进行拆分,得到与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像;
对于所述分量图像,执行如下步骤:
根据所述分量图像划分图像列,
选定参考图像列,
计算每个图像列的列均值,所述列均值为每个图像列所有像素的颜色分量值的均值,
以及,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
以颜色分量取值段为行、以图像列为列,或者以颜色分量取值段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
可选的,所述的相机多通道平衡查找表标定方法,对与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像,在计算每个图像列的列均值之前,还包括执行如下步骤:
去除图像列的奇异点,所述奇异点为颜色分量值与整幅分量图像颜色分量均值的偏差大于或等于预设阈值的像素点。
可选的,所述根据所述图像划分图像列,包括:
根据所述分量图像的图像数据绘制像素列颜色分量均值曲线,所述像素列颜色分量均值曲线为每个像素列颜色分量的均值随像素列位置变化的曲线;
判断是否存在渐变区域;
若所述像素列颜色分量均值曲线不存在渐变区域,则按物理通道划分图像列;
若所述像素列颜色分量均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为像素列颜色分量均值曲线中颜色分量均值的差异值渐变的区域。
可选的,所述的相机多通道平衡查找表标定方法,当存在一个渐变区域时,选定所述渐变区域的第一个图像列,以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,所述根据所述列均值计算每个图像列的偏置系数Oi,为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。
根据本申请实施例的第四方面,提供另一种相机多通道平衡方法,包括:
使用本申请实施例第三方面所述的相机多通道平衡查找表标定方法,得到相机多通道平衡查找表;
将彩色图像按红分量、绿分量和蓝分量进行拆分,得到各个分量图像;
对每个分量图像,执行如下步骤:
根据所述分量图像中每一个像素点的颜色分量值确定其所属的颜色分量取值段,以及根据所述像素点的位置信息确定其所属的图像列,
根据所述颜色分量取值段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数,
根据所述偏置系数对所述像素点的颜色分量值进行校正,得到校正后的分量图像;
合并各个校正后的分量图像,得到校正后的彩色图像。
相应于本申请实施例的第一方面,根据本申请实施例的第五方面,提供一种相机多通道平衡查找表标定系统,包括:
图像采集单元,用于使用均匀光源采集不同灰度段的图像,所述灰度段为预设的灰度范围;
图像列划分单元,用于根据所述图像划分图像列;
图像列选定单元,用于选定参考图像列;
偏置系数计算单元,用于对每个灰度段的图像执行如下步骤:
计算每个图像列的列均值,所述列均值为每个图像列所有像素的灰度的均值,
以及,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
第一查找表生成单元,用于以灰度段为行、以图像列为列,或者以灰度段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
可选的,所述偏置系数计算单元,在对每个灰度段的图像,计算每个图像列的列均值之前,还用于执行如下步骤:
去除图像列的奇异点,所述奇异点为灰度值与整幅图像灰度均值的偏差大于或等于预设阈值的像素点。
可选的,所述图像列划分单元,包括:
响应曲线绘制模块,用于根据所述图像的图像数据绘制像素列灰度均值曲线,所述像素列灰度均值曲线为每个像素列灰度的均值随像素列位置变化的曲线;
判断模块,用于判断是否存在渐变区域;
第一执行模块,用于若所述像素列灰度均值曲线不存在渐变区域,则按物理通道划分图像列;
第二执行模块,用于若所述像素列灰度均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为所述像素列灰度均值曲线中灰度均值的差异值渐变的区域。
可选的,当所述判断模块的执行结果为存在一个渐变区域时,图像列选定单元选定所述渐变区域的第一个图像列、以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,所述偏置系数单元,在根据所述列均值计算每个图像列的偏置系数Oi时,具体计算公式为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。
相应于本申请实施例的第二方面,根据本申请实施例的第六方面,提供一种相机多通道平衡系统,包括:
第一查找表获取单元,用于使用本申请实施例第五方面所述的相机多通道平衡查找表标定系统,得到相机多通道平衡查找表;
定位单元,用于根据图像中每一个像素点的灰度值确定其所属的灰度段,以及根据所述像素点的位置信息确定其所属的图像列;
偏置系数查找单元,用于根据所述灰度段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数;
校正单元,用于根据所述偏置系数对所述像素点的灰度值进行校正。
相应于本申请实施例的第三方面,根据本申请实施例的第七方面,提供另一种相机多通道平衡查找表标定系统,包括:
彩色图像采集单元,用于对于彩色图像的每个颜色分量,使用均匀光源采集不同颜色分量取值段的彩色图像,所述颜色分量为红分量、绿分量或蓝分量,所述颜色分量取值段为预设的红分量取值范围、绿分量取值范围或蓝分量取值范围;
图像拆分单元,用于将所述彩色图像按红分量、绿分量和蓝分量进行拆分,得到与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像;
分量偏置系数计算单元,用于对于所述分量图像,执行如下步骤:
根据所述分量图像划分图像列,
选定参考图像列,
计算每个图像列的列均值,所述列均值为每个图像列所有像素的颜色分量值的均值,
以及,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
第二查找表生成单元,用于以颜色分量取值段为行、以图像列为列,或者以颜色分量取值段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
可选的,所述分量偏置系数计算单元,在对与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像,计算每个图像列的列均值之前,还用于执行如下步骤:
去除图像列的奇异点,所述奇异点为颜色分量值与整幅分量图像颜色分量均值的偏差大于或等于预设阈值的像素点。
可选的,所述分量偏置系数计算单元,在根据所述分量图像划分图像列时,具体用于:
根据所述分量图像的图像数据绘制像素列颜色分量均值曲线,所述像素列颜色分量均值曲线为每个像素列颜色分量的均值随像素列位置变化的曲线;
判断是否存在渐变区域;
若所述像素列颜色分量均值曲线不存在渐变区域,则按物理通道划分图像列;
若所述像素列颜色分量均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为像素列颜色分量均值曲线中颜色分量均值的差异值渐变的区域。
可选的,所述分量偏置系数计算单元,在所述像素列颜色分量均值曲线存在一个渐变区域时,选定所述渐变区域的第一个图像列、以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,且在根据所述列均值计算每个图像列的偏置系数Oi时,具体计算公式为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。
相应于本申请实施例的第四方面,根据本申请实施例的第八方面,提供另一种相机多通道平衡系统,包括:
第二查找表获取单元,使用本申请实施例第七方面所述的相机多通道平衡查找表标定系统,得到相机多通道平衡查找表;
拆分单元,用于将彩色图像按红分量、绿分量和蓝分量进行拆分,得到各个分量图像;
校正单元,用于对每个分量图像,执行如下步骤:
根据所述分量图像中每一个像素点的颜色分量值确定其所属的颜色分量取值段,以及根据所述像素点的位置信息确定其所属的图像列,
根据所述颜色分量取值段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数,
以及,根据所述偏置系数对所述像素点的颜色分量值进行校正,得到校正后的分量图像;
合并单元,用于合并各个校正后的分量图像,得到校正后的彩色图像。
本申请实施例提供的技术方案,将图像灰度范围分段,采集多个灰度段的图像进行计算,能很好地解决像元光电响应非线性的问题,且只需计算偏置系数,所得到的相机多通道平衡查找表为单查找表,大大减少多通道平衡查找时的数据量,提高查找效率,节省资源消耗,同时将图像按图像列划分,基于图像列来求取用于校正的偏置系数,能消除通道间和通道内的不平衡,有效去除图像亮度差异和分界线。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
为了全面理解本申请,在以下详细描述中提到了众多具体的细节,但是本领域技术人员应该理解,本申请可以无需这些具体细节而实现。在其他实施例中,不详细描述公知的方法、过程、组件和电路,以免不必要地导致实施例模糊。
图1为本申请一示例性实施例示出的一种相机多通道平衡查找表标定方法的流程示意图,如图1所示,所述方法包括:
步骤S101,使用均匀光源采集不同灰度段的图像,所述灰度段为预设的灰度范围。
其中,图像采集在暗室中进行,可以搭建如图2所示的采集装置,为保证图像不存在外来因素引起的亮度差异等不均匀性,所使用的光源必须是均匀光源。图2中,光源置于光源架上,相机置于相机台上,为方便改变光源和相机之间的距离,以及保持光源和相机之间无左右偏移,光源架和相机台可以滑动安装于同一个直线导轨上,相机可以与计算机通过数据线连接,均匀光源下,相机拍摄图像后将图像和数据传输给计算机,由计算机进行相关处理和计算。
由于像元光电响应曲线并不是在整个灰度范围都是线性的,因此将相机的灰度范围分为连续的灰度段,灰度段的划分根据像元光电响应曲线来进行,使得每个灰度段对应的曲线都为线性或近似线性,例如像元光电响应曲线中部通常保持较好的线性,呈线性的曲线部分对应的灰度段作为一段,像元光电响应曲线首尾通常非线性较强,可以将首尾非线性曲线部分多分几段,以使每段曲线呈现线性或近似线性,并得到对应的灰度段。得到各个灰度段后,将其作为预设的灰度范围,通过调整均匀光源的光强,采集到不同灰度段的图像。
步骤S102,根据所述图像划分图像列。
其中,图像列可以直接按实际图像传感器的物理通道进行划分,也就是图像列的像素点的位置范围和物理通道对应的像素点的位置范围相同,有几个物理通道便划分为几个图像列,这种方式较为简单,适用于通道内部像元光电响应一致的情况,这种情况下,像元光电响应曲线在通道与通道之间是突变的,直接按物理通道划分图像列主要是进行通道间平衡;如果通道内部像元光电响应存在不一致,反映到像元光电响应曲线上,便是曲线上会出现渐变的区域。
图像传感器的通道为纵向通道或者横向通道,通道的每一列像元或者每一行像元内的像元光电响应可视为一致,通道内响应不一致主要出现在像元列或像元行之间。需要说明的是,本申请中图像列也可以代表图像行,所谓列在于表示对图像的划分,并不限定划分的方向,当通道为横向通道时,图像列即图像行;另外,由于通道间和通道内像元光电响应的不一致是物理性的,因而不同灰度段图像在图像列划分上是一致的,只需取某一灰度段图像进行图像列划分即可。以下以纵向通道为例,说明图像列的划分,应知横向通道时进行划分的方法原理是一样的。
由于通道的每一列像元内的响应可视为一致,因此像素列灰度均值曲线和像元光电响应曲线是一致的,所述像素列灰度均值曲线即每个像素列灰度的均值随像素列位置变化的曲线,以下将使用像素列灰度均值曲线来进行图像列划分。
首先通过图3对渐变区域进行说明,像元光电响应不均匀通常出现在通道的边缘处,反映在像素列灰度均值曲线上便是在通道和通道的曲线之间出现渐变区域,所述渐变区域即像素列灰度均值曲线中灰度均值的差异值渐变的区域。图3为某一灰度段图像的像素列灰度均值曲线的一部分,图3中粗线的部分是每个通道的像素列灰度均值曲线,第一个椭圆圈中的部分是直线突变的,说明第一个通道和第二个通道在彼此相邻的边缘处像元光电响应是均匀的,第二个椭圆圈中的部分,灰度均值的差异值逐渐增大,该部分便是渐变区域,说明第二个通道和第三个通道在彼此相邻的边缘处像元光电响应是不均匀的(第三个通道像素列灰度均值曲线未画出)。具体渐变区域的确定,可以以通道对应的曲线之间渐变发生的位置为起点,选取渐变趋于平缓的一个位置为终点,确定渐变区域,其中,起点和终点的选取可以视具体曲线的情况来确定,以图3为例,渐变区域可以为第二个椭圆圈中的部分,也可以选得稍大一些。
基于像素列灰度均值曲线,步骤S102可以包括如下步骤:
(a1)根据所述图像的图像数据绘制像素列灰度均值曲线,所述像素列灰度均值曲线为每个像素列灰度的均值随像素列位置变化的曲线;
(a2)判断是否存在渐变区域。
其中,从程序执行角度而言,可以预先设置通道边缘位置参数,以及通道边缘处参与灰度均值差值计算的像素点位置范围(简称为位置范围),按横坐标顺序依次计算该位置范围内相邻两点之间的灰度均值的差值。突变区域必定存在大于一定阈值A的差值,所述阈值A预先设定,若计算所得的差值都小于一定的阈值B(预先设定),则说明该位置范围在通道内而非边缘处,位置范围选取错误,可以重新设置位置范围。若计算所得的差值在[B,A]之间,且不等于同一个值,则可判断存在渐变区域,否则,不存在渐变区域。判断的结果为存在渐变区域时,可以同时根据预设的渐变区域选取规则,确定渐变区域。所述渐变区域选取规则可以为选取上述位置范围为渐变区域,也可以在位置范围的基础上选择稍小的范围,以该稍小的范围为渐变区域,或者,依次判断计算得到的灰度均值的差值序列,以第一个大于一定阈值C的差值对应的两个像素点中的前一个像素点为起点,以最后一个大于一定阈值C的差值对应的两个像素点中的后一个像素点为终点,以起点到终点之间的范围为渐变区域,所述阈值C预先设定。
(a3)若所述像素列灰度均值曲线不存在渐变区域,则按物理通道划分图像列;
(a4)若所述像素列灰度均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列。
其中,若判断不存在渐变区域,则可以直接按物理通道来划分图像列,这种情况下通道内不存在像元光电响应不均匀的问题,将按图像列进行通道间的平衡。
若判断存在渐变区域,则将非渐变区域外的区域,按物理通道划分图像,由于渐变区域在两个通道的边缘处,所述按物理通道划分,指按这两个通道外的通道对对应于两个通道外的区域进行划分,以及将两个通道中非渐变区域的部分分别划分为两个图像列。对于渐变区域,优选的是将其中每个像素列作为一个图像列,得到精确的划分结果,也可以将其中每两个像素列作为一个图像列,或者将渐变区域划分为预设的个数的图像列,这样划分的结果精度较低一些。
图4和图5示出了图像列划分的一个示例。图4为基于物理通道的图像区域示意图,相机的图像传感器有4个物理通道,对应于图4中的1、2、3和4区域。图5为基于图4确定渐变区域后的图像列示意图,在原区域2和原区域3(即图4中的区域2和区域3)的边缘处存在渐变区域,渐变区域包含100个像素列,原区域2和原区域3分别占50列,将原区域1和原区域4(即图4中的区域1和区域4)分别划分为一个图像列,将原区域2中渐变区域外的部分划分为一个图像列,将原区域3中渐变区域外的部分划分为一个图像列,将渐变区域按像素列划分为100个图像列,总共得到104个图像列,依次编号为1至104。
步骤S103,选定参考图像列。
其中,参考图像列可以随机选取,也可以由用户根据实际通道像元列的性能情况指定对应的图像列。参考图像列可以为一列,也可以为数列,用户可以根据多次实验的经验自定义参考图像列的数量。单列参考图像列在计算中容易出现误差不均的情况,因此优选的是选取2列参考图像列。进一步的,由于像元光电响应不均匀通常发生在通道边缘处,因此参考图像列优选为通道边缘的图像列,具体的,由于非渐变区域的图像列包含多个像素列,当渐变区域中以单像素列为图像列时,对于非渐变区域的图像列,可以选取其边缘的一个像素列来替代该图像列作为参考图像列参与计算,对于渐变区域,则选取渐变区域边缘的一个像素列作为参考图像列。当然,若渐变区域中以双像素列为图像列时,对于非渐变区域的图像列,可以选取其边缘的两个像素列来替代该图像列作为参考图像列参与计算,对于渐变区域,则选取渐变区域边缘的两个像素列作为参考图像列,以此类推。更进一步的,选取两个参考图像列时,可以选取一个非渐变区域图像列边缘的像素列替代该图像列作为参考图像列,并选取该图像列的相邻图像列或相邻渐变区域的同侧同数目像素列作为另一个参考图像列,具体的,例如,如图6所示,图6为基于图5的图像列划分示意图,选取图像列2中左侧边缘的一个像素列代替图像列2作为参考图像列1,选取图像列2相邻的渐变区域中也在左侧边缘的一个图像列(亦即像素列)作为参考图像列2,图6中的粗黑线即参考图像列1和2。
步骤S104,对每个灰度段的图像执行如下步骤:
步骤S1041,计算每个图像列的列均值,所述列均值为每个图像列所有像素的灰度的均值,
步骤S1042,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值。
其中,对非参考图像列,以图像列所有像素的灰度的均值为其列均值。对于参考图像列,当选取图像列边缘的像素列代替图像列作为参考图像列时,以被选取的像素列的所有像素的灰度的均值为参考图像列的列均值,当选取完整的图像列为参考图像列时,则以图像列所有像素的灰度的均值为参考图像列的列均值。
计算得到各个图像列包括参考图像列的列均值后,计算每个图像列的偏置系数,偏置系数=图像列的列均值-参考图像的列均值,或者偏置系数=参考图像的列均值-该图像列的列均值,参考图像列本身的偏置系数为0。如果参考图像列为一列,则其自身的偏置系数为0,其他图像列的偏置系数=该图像列的列均值-参考图像的列均值,或者,其他图像列的偏置系数=参考图像的列均值-该图像列的列均值。若参考图像列为多列,一种较简单的方法,是对非参考图像列按参考图像列数分组,每组非参考图像列对应一个参考图像列,每组非参考图像列对应的参考图像列计算偏置系数,除此外用户也可以自定义其他算法进行计算。
若参考图像列为2列,则可以一半非参考图像列与参考图像列1计算偏置系数,另一半非参考图像与参考图像列2计算偏置系数,这种计算方法较简单。现以图6所示图像列和参考图像列为例,介绍另一种计算方法,图6中有一个渐变区域,选定所述渐变区域的第一个图像列,以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,即以渐变区域最左侧边缘的图像列(即像素列)为第一个参考图像列(图6中为参考图像列2),与参考图像列2相邻的为图像列2,可以以图像列2为参考图像列,图6中是以图像列2边缘最左侧的像素列替代图像列2作为参考图像列,即图6中的参考图像列1。基于此,每个图像列的偏置系数Oi,使用如下公式计算:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。该计算方法精度高,能更好地减小计算误差。
所述步骤S104,对每个灰度段的图像,在计算每个图像列的列均值之前,还可以包括执行去除图像列的奇异点的步骤,所述奇异点为灰度值与整幅图像灰度均值的偏差大于或等于预设阈值的像素点,去除奇异点后计算剩下的像素点的灰度的均值得到列均值,使列均值更为准确。每个灰度段的图像计算一组偏置系数,每组偏置系数包括图像列个数的偏置系数,例如图6计算得到104个偏置系数。
步骤S105,以灰度段为行、以图像列为列,或者以灰度段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
计算得到各个灰度段图像对应的偏置系数组后,构造表格,以灰度段为行、以图像列为列,或者以灰度段为列、以图像列为行,以对应于所述行和所述列的偏置系数为表格中的值,得到相机多通道平衡查找表。
本申请在采集图像时,为了降低时域噪声,可以在每个灰度段下拍摄多幅图像并取多幅图像的灰度均值,以灰度均值图像作为该灰度段下的图像,再进行后续处理和计算。另外,在拍摄图像时可以需要结合相机实际使用情况来确定是否加镜头,若只需考虑图像传感器本身的特性,则拍摄时不需要安装镜头,相反,若相机实际使用时相机镜头不再更换,且需要考虑镜头的影响因素,拍摄时需安装实际使用所用的镜头。
本申请所提供的相机多通道平衡查找表标定方法,将图像灰度范围分段,采集多个灰度段的图像来计算查找表,能很好地解决像元光电响应非线性的问题,而且只需计算偏置系数,得到一张查找表即可,查找表的数据量为灰度分段的段数乘以图像列的列数,相比逐点标定方法,大大减少多通道平衡查找时的数据量,提高查找效率,节省资源消耗。而且本申请将图像按图像列划分,包括对图像渐变区域进行图像列划分,由此计算偏置系数所得到的查找表,不仅可以用于消除通道间的不平衡,还可以用于消除通道内的不平衡,更有效地消除图像的亮度差异和分界线(通道接缝)。
图7为本申请一示例性实施例示出的一种相机多通道平衡方法的流程示意图,所述方法使用如图1所示的多通道平衡查找表标定方法。如图7所示,所述方法包括:
步骤S701,使用如图1所示的相机多通道平衡查找表标定方法,得到相机多通道平衡查找表;
步骤S702,根据图像中每一个像素点的灰度值确定其所属的灰度段,以及根据所述像素点的位置信息确定其所属的图像列;
步骤S703,根据所述灰度段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数;
步骤S704,根据所述偏置系数对所述像素点的灰度值进行校正。
其中,使用如图1所示的相机多通道平衡查找表标定方法,得到相机多通道平衡查找表后,对于待校正的图像,对其中的每个像素点,先得到像素点的灰度,将其与步骤S701中所划分的灰度段比对,确定像素点所属的灰度段,并根据像素点的坐标和步骤S701中划分得到的图像列,确定像素点所属的图像列。确定像素点所属灰度段和图像列后,便确定了像素点对应的偏置系数在相机多通道平衡查找表中的行列位置,由此得到像素点对应的偏置系数值。再将所述像素点的灰度值根据查找得到的偏置系数值进行校正,如果偏置系数=图像列的列均值-参考图像列的列均值,则校正后像素点的灰度值=像素点的灰度值-偏置系数,如果偏置系数=参考图像列的列均值-该图像列的列均值,则校正后像素点的灰度值=像素点的灰度值+偏置系数。
本申请所提供的相机多通道平衡方法,使用图1所示相机多通道平衡查找表标定方法得到查找表,只需对一表进行查询,查找效率高,资源消耗低,能够精确消除通道间的不平衡,还可以消除通道内的不平衡,有效消除图像的亮度差异和分界线。
下面用本申请的一个应用案例进一步说明本申请,以使本领域技术人员更好地理解本申请的原理和应用。
所用相机的图像传感器有四个通道,将整个灰度范围划分为16个灰度段,通过调节均匀光源的光强,用该相机拍摄每个灰度段下的均匀光照图像,共得到16张图像。图像列的划分与图6相同,计算各个图像列的偏置系数,得到相机多通道平衡查找表。由于所得相机多通道平衡查找表(亦可称为偏置系数查找表)有104列、16行,为便于查看,显示该查找表的一部分如下:
在得到相机多通道平衡查找表后,便可以根据该查找表对图像进行校正。图8为一校正前的示例图像,图9为图8校正后的图像,图8中有明显的亮度差异和分界线,图9则分布均匀,没有亮度差异和分界线,可见使用本申请所提供的相机多通道平衡查找表标定方法以及相机多通道平衡方法可以很好地对图片进行校正,消除图片中的亮度差异和分界线。
图10为本申请一示例性实施例示出的另一种相机多通道平衡查找表标定方法的流程示意图,所述方法用于彩色图像的处理,如图10所示,所述方法包括:
步骤S1001,对于彩色图像的每个颜色分量,使用均匀光源采集不同颜色分量取值段的彩色图像,所述颜色分量为红分量、绿分量或蓝分量,所述颜色分量取值段为预设的红分量取值范围、绿分量取值范围或蓝分量取值范围;
步骤S1002,将所述彩色图像按红分量、绿分量和蓝分量进行拆分,得到与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像;
步骤S1003,对于所述分量图像,执行如下步骤:
步骤S10031,根据所述分量图像划分图像列,
步骤S10032,选定参考图像列,
步骤S10033,计算每个图像列的列均值,所述列均值为每个图像列所有像素的颜色分量值的均值,
步骤S10034,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
步骤S1004,以颜色分量取值段为行、以图像列为列,或者以颜色分量取值段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
图1和图7所示方法基于灰度图,主要是对灰度图像进行多通道平衡相关处理。对于彩色图像,将彩色图像按RGB分量分解,分解为R分量(红分量)图像、G分量(绿分量)图像和B分量(蓝分量)图像。对各个分量图像,按照与灰度图像的相机多通道平衡查找表标定方法相同的方法进行处理,得到每个分量的查找表,再合并得到总的查找表。
其中,使用均匀光源采集不同颜色分量取值段的彩色图像,包括两种方式,一种是使用与颜色分量颜色相同的纯色均匀光源,改变纯色均匀光源的光强,采集不同颜色分量取值段的彩色图像,在步骤S1002对得到的纯色图像进一步进行分解,提取与颜色分量颜色相同的分量图像;另一种是使用普通均匀光源拍摄彩色图像,改变均匀光源的光强,所述光强使拍摄得到的彩色图像经过分解后,能够得到不同颜色分量取值段的分量图像,在改变均匀光源的光强得到不同彩色图像后,由步骤S1002对彩色图像进行RGB分量分解,得到不同颜色分量取值段的分量图像。其中,颜色分量为红分量、绿分量或蓝分量,所述颜色分量取值段为预设的红分量取值范围、绿分量取值范围或蓝分量取值范围。颜色分量取值段可以根据对应于颜色分量的像元光电响应曲线来划分,并使每个颜色分量取值段对应的像元光电响应曲线为线性或近似线性。
在得到不同颜色分量取值段的分量图像后,对于相同颜色分量的分量图像,步骤S10031只需取其中一个分量图像进行图像列划分即可,其他同颜色分量图像的图像列与该分量图像的图像列相同,图像列划分的方法参见步骤S102,具体的,步骤S10031可以包括:
(b1)根据所述分量图像的图像数据绘制像素列颜色分量均值曲线,所述像素列颜色分量均值曲线为分量图像的每个像素列颜色分量的均值随像素列位置变化的曲线;
(b2)判断是否存在渐变区域;
(b3)若所述像素列颜色分量均值曲线不存在渐变区域,则按物理通道划分图像列;
(b4)若所述像素列颜色分量均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为像素列颜色分量均值曲线中颜色分量均值的差异值渐变的区域。步骤(b1)至步骤(b4)与步骤(a1)至步骤(a4)的区别仅在于,步骤(b1)至步骤(b4)处理的是彩色图像分解后的分量图像,步骤(a1)至步骤(a4)处理的是灰度图像。
其中,步骤S10032选定参考图像列的方法与步骤S103相同,相同颜色分量的分量图像图像列划分相同,参考图像列也相同。不同颜色分量的分量图像,由于不同颜色分量对应的像元光电响应曲线不一定相同,因此图像列划分可以相同,也可以对不同颜色分量的分量图像分别进行图像列划分,所划分得到的图像列根据实际情况可能相同也可能不同,相应地不同颜色分量的分量图像的参考图像列也可能相同或不同。
选定参考图像列后,基于每个颜色分量取值段的分量图像计算偏置系数,步骤S10033至步骤S10034和步骤S1041至步骤S1042的计算方法相同,区别仅在于,步骤S10033至步骤S10034中列均值为每个图像列所有像素的颜色分量值的均值,步骤S1041至步骤S1042中列均值为每个图像列所有像素的灰度的均值。其中,对与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像,在计算每个图像列的列均值之前,还可以先去除图像列的奇异点,以去除噪声,提高列均值计算精度,所述奇异点为颜色分量值与整幅分量图像颜色分量均值的偏差大于或等于预设阈值的像素点。
其中,当步骤(b2)判断结果为存在一个渐变区域时,选定所述渐变区域的第一个图像列,以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,相应地,所述根据所述列均值计算每个图像列的偏置系数Oi,可以为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1,这种计算方法能更好地减少计算误差的不平均,提高计算准确度。
根据每个分量图像计算得到对应的一组偏置系数后,综合各组偏置系数得到总的相机多通道平衡查找表。具体地,以颜色分量取值段为行、以图像列为列,或者以颜色分量取值段为列、以图像列为行,构造表格,以计算得到的偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表,需要说明的是,当不同颜色分量对应的分量图像的图像列划分相同时,所得表格的列(以图像列为列时)或行(以图像列为行)数唯一,当不同颜色分量对应的分量图像的图像列划分不相同时,可以将基于相同颜色分量的分量图像得到的偏置系数构造为分表,然后将分表组合为总表,得到相机多通道平衡查找表。
图11为本申请一示例性实施例示出的另一种相机多通道平衡方法的流程示意图,所述方法使用如图10所示的相机多通道平衡查找表标定方法,所述方法用于彩色图像的多通道平衡,如图11所示,所述方法包括:
步骤S1101,使用如图10所述的相机多通道平衡查找表标定方法,得到相机多通道平衡查找表;
步骤S1102,将彩色图像按红分量、绿分量和蓝分量进行拆分,得到各个分量图像;
步骤S1103,对每个分量图像,执行如下步骤:
步骤S11031,根据所述分量图像中每一个像素点的颜色分量值确定其所属的颜色分量取值段,以及根据所述像素点的位置信息确定其所属的图像列,
步骤S11033,根据所述颜色分量取值段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数,
步骤S11034,根据所述偏置系数对所述像素点的颜色分量值进行校正,得到校正后的分量图像;
步骤S1104,合并各个校正后的分量图像,得到校正后的彩色图像。
其中,使用如图10所示的相机多通道平衡查找表标定方法,得到相机多通道平衡查找表后,将彩色图像进行RGB分解,得到红分量图像、绿分量图像和蓝分量图像,对于每个分量图像中每个像素点的颜色分量值,确定其所属的颜色分量取值段,并根据每个像素点的位置确定其所属的图像列,然后在相机多通道平衡查找表中查找对应于所述颜色分量取值段和图像列的偏置系数,查找得到偏置系数后,对像素点的颜色分量值进行校正,如果偏置系数=图像列的列均值-参考图像列的列均值,则校正后像素点的颜色分量值=像素点的颜色分量值-偏置系数,如果偏置系数=参考图像列的列均值-该图像列的列均值,则校正后像素点的颜色分量值=像素点的颜色分量值+偏置系数。在分量图像校正完毕后,也就是分量图像中每个像素点都进行了校正后,将分量图像合并,得到校正后的RGB彩色图像。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,并存储在一个存储介质中,包括若干指令用以使得一台智能设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储数据和程序代码的介质。
图12为本申请一示例性实施例示出的一种相机多通道平衡查找表标定系统的框图。如图12所示,所述系统包括:
图像采集单元U1201,用于使用均匀光源采集不同灰度段的图像,所述灰度段为预设的灰度范围;
图像列划分单元U1202,用于根据所述图像划分图像列;
图像列选定单元U1203,用于选定参考图像列;
偏置系数计算单元U1204,用于对每个灰度段的图像执行如下步骤:
计算每个图像列的列均值,所述列均值为每个图像列所有像素的灰度的均值,
以及,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
第一查找表生成单元U1205,用于以灰度段为行、以图像列为列,或者以灰度段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
其中,所述偏置系数计算单元,在对每个灰度段的图像,计算每个图像列的列均值之前,还用于执行如下步骤:
去除图像列的奇异点,所述奇异点为灰度值与整幅图像灰度均值的偏差大于或等于预设阈值的像素点。
其中,所述图像列划分单元,可以包括:
响应曲线绘制模块,用于根据所述图像的图像数据绘制像素列灰度均值曲线,所述像素列灰度均值曲线为每个像素列灰度的均值随像素列位置变化的曲线;
判断模块,用于判断是否存在渐变区域;
第一执行模块,用于若所述像素列灰度均值曲线不存在渐变区域,则按物理通道划分图像列;
第二执行模块,用于若所述像素列灰度均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为所述像素列灰度均值曲线中灰度均值的差异值渐变的区域。
其中,当所述判断模块的执行结果为存在一个渐变区域时,图像列选定单元选定所述渐变区域的第一个图像列、以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,所述偏置系数单元,在根据所述列均值计算每个图像列的偏置系数Oi时,具体计算公式为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。
图13为本申请一示例性实施例示出的一种相机多通道平衡系统的框图。所述系统基于图12所示的相机多通道平衡查找表标定系统。如图13所示,所述系统包括:
第一查找表获取单元U1301,用于使用图12所示的相机多通道平衡查找表标定系统,得到相机多通道平衡查找表;
定位单元U1302,用于根据图像中每一个像素点的灰度值确定其所属的灰度段,以及根据所述像素点的位置信息确定其所属的图像列;
偏置系数查找单元U1303,用于根据所述灰度段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数;
校正单元U1304,用于根据所述偏置系数对所述像素点的灰度值进行校正。
图14为本申请一示例性实施例示出的另一种相机多通道平衡查找表标定系统的框图。如图14所示,所述系统包括:
彩色图像采集单元U1401,用于对于彩色图像的每个颜色分量,使用均匀光源采集不同颜色分量取值段的彩色图像,所述颜色分量为红分量、绿分量或蓝分量,所述颜色分量取值段为预设的红分量取值范围、绿分量取值范围或蓝分量取值范围;
图像拆分单元U1402,用于将所述彩色图像按红分量、绿分量和蓝分量进行拆分,得到与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像;
分量偏置系数计算单元U1403,用于对于所述分量图像,执行如下步骤:
根据所述分量图像划分图像列,
选定参考图像列,
计算每个图像列的列均值,所述列均值为每个图像列所有像素的颜色分量值的均值,
以及,根据所述列均值计算每个图像列的偏置系数,所述偏置系数为所述参考图像列的列均值与每个图像列的列均值之间的差值;
第二查找表生成单元U1404,用于以颜色分量取值段为行、以图像列为列,或者以颜色分量取值段为列、以图像列为行,构造表格,以所述偏置系数为表格中对应于所述行和所述列的数值,得到相机多通道平衡查找表。
其中,所述分量偏置系数计算单元,在对与颜色分量取值段对应且与颜色分量取值段相同颜色分量的分量图像,计算每个图像列的列均值之前,还用于执行如下步骤:
去除图像列的奇异点,所述奇异点为颜色分量值与整幅分量图像颜色分量均值的偏差大于或等于预设阈值的像素点。
其中,所述分量偏置系数计算单元,在根据所述分量图像划分图像列时,具体用于:
根据所述分量图像的图像数据绘制像素列颜色分量均值曲线,所述像素列颜色分量均值曲线为每个像素列颜色分量的均值随像素列位置变化的曲线;
判断是否存在渐变区域;
若所述像素列颜色分量均值曲线不存在渐变区域,则按物理通道划分图像列;
若所述像素列颜色分量均值曲线存在渐变区域,则对于非渐变区域按物理通道划分图像列,对于所述渐变区域,将其中每个像素列作为一个图像列;
其中,所述渐变区域为像素列颜色分量均值曲线中颜色分量均值的差异值渐变的区域。
其中,所述分量偏置系数计算单元,在所述像素列颜色分量均值曲线存在一个渐变区域时,选定所述渐变区域的第一个图像列、以及与所述第一个图像列相邻且不在所述渐变区域的图像列为参考图像列,且在根据所述列均值计算每个图像列的偏置系数Oi时,具体计算公式为:
其中,Oi表示第i个图像列的偏置系数,Mi表示第i个图像列的列均值,k=h-1,h为所述渐变区域的第一个图像列的序号,q-1为所述渐变区域的最后一个图像列的序号,且h<q-1。
图15为本申请一示例性实施例示出的另一种相机多通道平衡系统的框图。所述系统基于图14所示的相机多通道平衡查找表标定系统。如图15所示,所述系统包括:
第二查找表获取单元U1501,使用如图14所示的相机多通道平衡查找表标定系统,得到相机多通道平衡查找表;
拆分单元U1502,用于将彩色图像按红分量、绿分量和蓝分量进行拆分,得到各个分量图像;
校正单元U1503,用于对每个分量图像,执行如下步骤:
根据所述分量图像中每一个像素点的颜色分量值确定其所属的颜色分量取值段,以及根据所述像素点的位置信息确定其所属的图像列,
根据所述颜色分量取值段和所述图像列在所述相机多通道平衡查找表中查找对应的偏置系数,
以及,根据所述偏置系数对所述像素点的颜色分量值进行校正,得到校正后的分量图像;
合并单元U1504,用于合并各个校正后的分量图像,得到校正后的彩色图像。
为了描述的方便,描述以上系统时以功能分为各种单元或模块分别描述。当然,在实施本申请时可以把各单元或模块的功能在同一个或多个软件和/或硬件中实现。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者逆序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、系统或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、系统或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、系统或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。