CN112422940A

CN112422940A - 一种自适应颜色校正方法

Info

Publication number: CN112422940A
Application number: CN202011151404.2A
Authority: CN
Inventors: 田立坤
Original assignee: Luoyang Institute of Electro Optical Equipment AVIC
Current assignee: Luoyang Institute of Electro Optical Equipment AVIC
Priority date: 2020-10-25
Filing date: 2020-10-25
Publication date: 2021-02-26

Abstract

本发明提供了一种自适应颜色校正方法，获取采集视频图像YCbCr空间的数据，筛选像素建立白色区域模型，对白色区域内的图像数据进行有效性检测，通过循环模块自适应计算校正因子，每一帧图像数据流采用上一帧计算所得校正因子进行颜色校正处理。本发明在不需要存储图像帧的情况下便能完成航空摄像机图像颜色校正，提高了处理速度，同时在资源消耗上还是处理速度上都达到了较高的水平，可以方便、快速和高效完成系统采集图像颜色校正，可广泛应用于大视场、高分辨率航空摄像机系统，具有广阔的应用前景。

Description

一种自适应颜色校正方法

技术领域

本发明涉及计算机视觉色彩校正领域，尤其是是一种颜色校正方法。

背景技术

色温的概念是为了衡量光源的光谱成分引入的。色温描述的是具有一定表面温度的“黑体”辐射光的光谱特性。在不同的光源或者天气条件下光谱特性是互不相同的。色温越高，光谱越偏蓝色；色温越低，则温度越红。人眼对光源的色温变化并不敏感，这是因为人的眼睛对色彩有较大的适应性，称为色彩恒常性。但图像采集系统本身没有这种特性，需要进行颜色校正图像处理。

YCbCr颜色空间具有与人类视觉感知过程类似的构成原理，并且将亮度信息和色彩信息相分离，受亮度变化的影响小。同时计算过程和空间坐标表示形式比较简单，被广泛地应用在各个领域。对于理想的白点像素，其红、绿、蓝分量相等，表现在YCbCr颜色空间上为蓝色差分量Cb和红色差分量Cr均为零。因此色温估计过程中应选择Cb和Cr色差分量较小且Y分量较大的像素构建“白色区域”。

传统的颜色校正方法应用范围较窄，当不满足一定条件时，颜色校正效果就会变得不理想。虽然有些其他方法针对不同类型的偏色图像都有着较理想的处理结果，但需要复杂的运算过程，计算复杂度高，硬件实现时硬件电路资源消耗大且无法保证实时性。因此，目前需要本领域技术人员迫切解决的一个技术问题就是：兼顾算法复杂度和白平衡处理效果两方面，提出了一种易于硬件实现的颜色校正方法，适应于较广的应用范围且计算复杂度低。

发明内容

为了克服现有技术的不足，本发明提供一种自适应颜色校正方法。本发明提出一种计算简单、易于实现、实时性强的可见光颜色校正方法，用于校正CMOS图像传感器彩色滤波阵列(CFA)采集导致的颜色偏色现象，使得图像采集系统在不同色温光源下采集的图像能正确反映物体的真实颜色。

本发明解决其技术问题所采用的技术方案是包括以下步骤：

步骤1：获取采集视频图像YCbCr空间的数据，筛选像素建立白色区域模型；

步骤1.1：对采集整幅图像数据进行RGB到YCbCr色度空间转换：

Y＝0.299R+0.587G+0.114B

Cb＝-0.1687R-0.3313G+0.5B+128

Cr＝0.5R-0.4187G-0.0813B+128

其中，Y表示亮度，提供色彩中的亮度信息，Cb和Cr代表色差，提供色彩中的色度和饱和度；R、G、B分别为图像红、绿、蓝三分量通道数据；

步骤1.2：根据图像色差信息来建立图像白色区域模型；

对基于YCbCr颜色空间图像进行白色区域检测，检测条件为：

Y＞χ

-α<Cb<α

-β<Cr<β

-γ<Cb+Cr<γ

其中，χ、α、β分别为亮度、色度和饱和度的检测阈值，γ为Cb与Cr之和的检测阈值；

分别计算出白色区域中的Y、Cb、Cr三个通道的平均值，用于后续的校正因子计算；

步骤2：对白色区域内的图像数据进行有效性检测；

对白色区域内参考白点数目进行判断，当图像的参考白点数目大于总像素数目乘以2^-10，则认为白色区域检测有效，否则返回步骤1重新选择白色区域；

步骤3：通过循环模块自适应计算Cb、Cr通道的校正因子u、v；

根据对白色区域的检测，校正因子u、v需加上或减去一个自适应的变量2^-n进行自适应调整；不断调整校正因子u和v，使得检测到的白色区域内Cb、Cr的平均值满足检测终止条件；

以|Cb|与|Cr|之和M为指标实现校正因子计算；当M大于控制阈值θ时，调整校正因子实现颜色校正，如果白色区域平均色差Cb大于0，则增加自适应的变量2^-n调整蓝色差分量校正因子u，反之则减小自适应的变量2^-n调整蓝色差分量校正因子u，同理调节红色差分量校正因子；

当调节后校正因子u、v不满足检测终止条件，则增加精度调节变量n，自适应提高Cb、Cr校正因子的精度，并同时减小控制阈值θ；直至满足检测终止条件，得到校正因子u、v；

步骤4：每一帧图像数据流采用上一帧计算所得校正因子进行颜色校正处理；

利用步骤3计算的校正因子u、v对整幅视频图像的Y、Cb、Cr通道进行颜色校正，具体计算公式如下：

Cb_new＝Cb×μ

Cr_new＝Cr×ν

Y_new＝Y×255/Y_ave

其中，Cb和Cr分别为原始图像像素Cb、Cr通道的值，Cb_new和Cr_new为色温校正后该像素Cb、Cr通道的值；Y为原始图像像素Y通道的值，Y_new为色温校正后该像素Y通道的值，Y_ave为白色区域Y通道亮度均值。

所述θ初始值为64；

所述n的初始值为3，最大值为7。

所述增加精度调节变量n时，n每次加1，减小减小控制阈值θ时，θ每次减半。

所述检测终止条件为n增大到最大值N_max或M＝|Cb|+|Cr|<θ。

本发明的有益效果在于所采用的自适应颜色校正方法首先将RGB格式的图像转换为YCbCr格式的图像数据，接着在YCbCr颜色空间对图像色温信息进行评估，通过判断参考白点色温信息的有效性，建立白色区域。根据白色区域的色温信息分别计算Cb、Cr通道的校正因子，通过加入循环模块来不断提高通道校正因子计算的精度，最终利用校正因子对整个图像进行色彩校正。在不需要存储图像帧的情况下便能完成航空摄像机图像颜色校正，提高了处理速度。本发明相对其他典型颜色校正算法获得更优的颜色校正效果，同时在资源消耗上还是处理速度上都达到了较高的水平，可以方便、快速和高效完成系统采集图像颜色校正。可广泛应用于大视场、高分辨率航空摄像机系统，具有广阔的应用前景。

附图说明

图1为本发明自适应颜色校正方法流程示意图；

图2为本发明颜色空间转换硬件设计结构图；

图3为本发明YCbCr颜色空间统计出的白色区域；

图4为本发明校正因子计算阶段流程示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明所要解决的技术问题是提供应用范围广泛，通用性强，适应于航空摄像机系统的颜色校正方法，用以解决CMOS图像传感器彩色滤波阵列(CFA)采集图像并颜色插值后出现颜色偏色的技术问题。

步骤1.1：对采集整幅图像数据进行RGB到YCbCr色度空间转换：

Y＝0.299R+0.587G+0.114B

Cb＝-0.1687R-0.3313G+0.5B+128

Cr＝0.5R-0.4187G-0.0813B+128

其中,Y表示亮度，提供色彩中的亮度信息，Cb和Cr代表色差，提供色彩中的色度和饱和度；R、G、B分别为图像红、绿、蓝三分量通道数据；

步骤1.2：根据图像色差信息来建立图像白色区域模型；对于理想的白点像素，红、绿、蓝分量相等且数值较大，表现在YCbCr颜色空间上为蓝色差分量Cb和红色差分量Cr均为零。因此色温估计过程中应选择Cb和Cr色差分量较小且Y分量较大的像素构建“白色区域”。

对基于YCbCr颜色空间图像进行白色区域检测，检测条件为：

Y＞χ

-α<Cb<α

-β<Cr<β

-γ<Cb+Cr<γ

考虑到Y和Cb、Cr之间具有一定的相关性，增加检测阈值

约束条件的物理含义是：在Y足够大，Cb、Cr足够小的空间里，定义一个三维区域，并将落入该区域中的所有像素看作是白色，建立的三维YCbCr颜色空间白色区域如图2所示。

在场景出现大量色块时，会遇到白点检测数量过少的现象，从而使得白平衡算法色温估计失去了参考基础，容易出现色彩振荡现象。为此在算法白点检测过程中加入了对参考白点数目的判断，只有场景的参考白点数目大于数量级N(总像素的2^-10)，才认为色温估计有效，很好地避免在色温估计无效时对后续校正因子计算和色温校正环节的误操作；Y通道亮度均值用于图像亮度校正，解决视频画面颜色校正后图像偏暗问题；

步骤2：对白色区域内的图像数据进行有效性检测；

对白色区域内参考白点数目进行判断，当图像的参考白点数目大于一定数量级即总像素数目的2^-10，则认为白色区域检测有效，否则返回步骤1重新选择白色区域；

步骤3：通过循环模块自适应计算Cb、Cr通道的校正因子u、v；

颜色校正是通过加入循环模块来进行颜色校正计算以此来提高颜色校正的效果，当白色区域的平均色差|Cb|+|Cr|越是接近于0，偏色程度越小，代表白平衡效果越好，因此以|Cb|与|Cr|之和M为指标，不断实现校正因子计算；当M大于控制阈值θ时，则意味着采集图像存在一定程度的偏色，需要进行调整校正因子来实现颜色校正；如果白色区域平均色差Cb大于0，则增加自适应的变量2^-n调整蓝色差分量校正因子u，反之则减小自适应的变量2^-n调整蓝色差分量校正因子u，同理可得红色差分量校正因子调节过程。

采用θ初始值为64，n得初始值为3，最大N_max默认值为7。

当调节后校正因子u、v不满足检测终止条件，则增加精度调节变量n，自适应提高Cb、Cr校正因子的精度，并同时减小控制阈值θ；所述增加精度调节变量n时，每次加1，减小控制阈值θ时，每次减半。

当M小于控制阈值θ时，则意味着采集图像偏色程度较小，为了实现校正因子计算精度提高来进一步颜色校正，需不断减小控制阈值θ并增加精度调节变量n，当n增大为N_max时或M＝|Cb|+|Cr|<θ，则满足检测终止条件，校正因子计算结束，N_max决定了最终校正因子的精度，自适应颜色校正方法校正因子具体计算过程如图4所示。

利用上一帧计算存储的校正因子对整幅视频图像的Y、Cb、Cr通道进行颜色校正，具体如下：

Cb_new＝Cb×μ

Cr_new＝Cr×ν

Y_new＝Y×255/Y_ave

自适应颜色校正流程图参考图1所示。图像数据流依次读入FPGA内部，同时进行RGB颜色空间到YCbCr颜色空间的转换，进而在YCbCr颜色空间上逐一对图像有效数据进行白点检测，获得白色区域。在此基础上获取采集图像的信息统计，分别计算白色区域中Cb、Cr通道的平均色差。通过循环模块进行Cb、Cr通道校正因子的计算。每帧结束后通道校正因子存入FPGA内部RAM存储单元中，用于下一帧图像色温校正处理。

为了简化颜色空间转换的运算过程，RGB色彩空间与YCbCr色彩空间的转换优化为：

Y＝CA×(R-G)+G+CB×(B-G)

Cb＝CC×(B-Y)+128

Cr＝CD×(R-Y)+128

其中，CA＝0.299,CB＝0.144,CC＝0.564and CD＝0.713。

为保证颜色空间转换的实时性，采用Virtex-5中结构灵活、高效低耗的DSP专用结构—DSP48E单元进行乘加运算。图2为基于DSP48E单元的RGB色彩空间转YCbCr色彩空间硬件设计结构。

自适应颜色校正方法建立的YCbCr颜色空间三维白色区域如图3所示。每帧图像的有效数据首先进行白点检测获得白色区域。在此基础上进而分别计算白色区域中Cb、Cr通道的平均色差。通过循环模块计算得到校正因子后，将校正因子存入FPGA内部RAM。

自适应颜色校正校正因子迭代计算的具体流程如图4所示。调节的方法是通道校正因子u、v加上或减去一个自适应的变量2^-n。当M小于控制阈值θ时，则意味着采集图像偏色程度较小。为了实现通道校正因子计算精度提高来进一步颜色校正，需不断减小控制阈值θ并增加精度调节变量n。当n增大为最大值N_max时，则意味着通道校正因子迭代计算结束。

由于图像采集系统在60frame/s以上数据采集状态下进行，前后相邻帧图像数据变化不会太大，因此可以将上一帧图像计算得到的通道校正因子u和v用于当前帧色温实时校正。这样该自适应颜色校正方法在进行大数据量图像处理时在不需要图像帧存储的情况下便能完成颜色实时校正。

Claims

1.一种自适应颜色校正方法，其特征在于包括下述步骤：

步骤1.1：对采集整幅图像数据进行RGB到YCbCr色度空间转换：

Y＝0.299R+0.587G+0.114B

Cb＝-0.1687R-0.3313G+0.5B+128

Cr＝0.5R-0.4187G-0.0813B+128

步骤1.2：根据图像色差信息来建立图像白色区域模型；

对基于YCbCr颜色空间图像进行白色区域检测，检测条件为：

Y＞χ

-α<Cb<α

-β<Cr<β

-γ<Cb+Cr<γ

步骤2：对白色区域内的图像数据进行有效性检测；

步骤3：通过循环模块自适应计算Cb、Cr通道的校正因子u、v；

Cb_new＝Cb×μ

Cr_new＝Cr×ν

Y_new＝Y×255/Y_ave

2.根据权利要求1所述的一种自适应颜色校正方法，其特征在于：

所述θ初始值为64。

3.根据权利要求1所述的一种自适应颜色校正方法，其特征在于：

所述n的初始值为3，最大值为7。

4.根据权利要求1所述的一种自适应颜色校正方法，其特征在于：

所述增加精度调节变量n时，n每次加1，减小控制阈值θ时，θ每次减半。

5.根据权利要求1所述的一种自适应颜色校正方法，其特征在于：

所述检测终止条件为n增大到最大值N_max或M＝|Cb|+|Cr|<θ。