CN108961190A - 一种提升自然光照下机器视觉鲁棒性的图像预处理方法 - Google Patents

Abstract

本发明公开了一种提升自然光照下机器视觉鲁棒性的图像预处理方法，包括构建相机成像模型；将原图像做锐化处理，并将锐化图像转换到对数域，从而分离相机特性因子，受光照物体的表面特性因子以及光照强度和自然光谱特性因子；将对数域的颜色三通道转换到单一通道的N颜色空间，转换因子为α；根据相机传感器的光谱特性峰值求得转换因子α。本发明在保证减弱自然环境下光照条件影响的情况下，将RGB三通道图像转换为单通道颜色空间，消除了光照特性对于图像的影响，形成光照不变图，计算量更小，实时性更高，且为后续的阈值化等图像处理算法提供了便利。

Description

一种提升自然光照下机器视觉鲁棒性的图像预处理方法

技术领域

本发明属于机器视觉领域，具体涉及一种提升自然光照下机器视觉鲁棒性的图像预处理方法。

背景技术

近年来，机器视觉发展迅速，在机器人，无人驾驶等领域得到了广泛应用。但是，自然环境下，机器视觉的应用受到了一定程度的限制，最主要的一个原因是自然环境的多变，阴雨天、晴天的自然光照差异大，即使是同一天，不同时刻的光照强度也不同，进而，基于RGB三色原理的图像处理算法鲁棒性较差。

机器视觉发展至今，针对光照条件的影响，有一系列的图像处理算法。包括基于统计学的方法，基于图像分解的方法等，这些算法复杂度较高，实时性较差，实际应用中采用的较少。实际应用较多的当属转换图像颜色空间的算法，此类算法相对较简单，实时性好。

基于三色原理的RGB颜色空间虽然受光照条件影响较大，但是一般摄像机拍取的图像的存储都是基于RGB三色模型，所以一般将其作为“源颜色空间”，基于它，做相应的变换，从而得到受光照条件较小的颜色空间。常见的颜色转换空间有HSV颜色空间，YUV颜色空间，对数颜色空间等。HSV颜色空间中，H为色调，S为饱和度，V为亮度，H和S与物体的颜色有关，此颜色空间模型确实可以减弱光照条件的影响，但是其与RGB颜色模型是非线性转换关系，存在图像失真的可能。YUV颜色空间中，Y表示明亮度，U和V表示色度，此空间和RGB颜色模型是线性转换关系，在人脸识别中应用较多。对数颜色空间是将原图像RGB值转换到对数域，在对数域里应用物体识别等算法。上述颜色空间在一定程度上确实能够减弱光照条件的影响，然而它们仍是三色通道，三通道在图像处理算法中计算量还是比较大的，且给阈值化等处理带来了一定的难度。

发明内容

本发明针对上述现有技术的不足，在自然环境下，光照条件的不同，基于相机特性和受光照物体的表面特性，提出了一种提升自然光照下机器视觉鲁棒性的图像预处理方法，通过颜色空间转换的方法，减弱光照强度及自然光谱特性对于图像的影响，得到光照不变图，为后续的图像处理做准备。

本发明的技术解决方案如下：

一种提升自然光照下机器视觉鲁棒性的图像预处理方法，其特点在于，该方法包括如下步骤：

步骤1，构建相机成像模型：

设自然光照场景中的某点x被一个黑体辐射体照亮，自然光功率谱密度服从普朗克定律，公式如下：

式中，h为普朗克常量，k为玻尔兹曼常c为光速，T为光照温度，λ为光波长；

对于RGB三色成像相机，受自然光光照的某点x的RGB颜色通道值表示如下：

式中，F^x表示光照方向与x点反射光方向的向量乘积，I^x表示x点的光照强度，S^x(λ)表示x点的反射特性，P(λ)表示相机传感器的光谱特性；

设相机传感器光照响应服从狄拉克函数，则所述RGB颜色通道值表示如下：

式中，λ_R,λ_G,λ_B表示相机传感器光照响应曲线上的峰值点对应的光波长；

步骤2，对相机采集的原始图像进行锐化处理，公式如下：

(R′,G′,B′)^T＝M(R,G,B)^T (4)

式中，M为3X3的锐化矩阵，(R,G,B)^T是相机传感器的原始光照响应，(R＇,G′,B′)^T是锐化后的传感器光照响应；

构建目标函数，如下：

J＝∫(R′(λ)-G′(λ))²+(R′(λ)-B＇(λ))²+(B′(λ)-G＇(λ))²dλ (5)

通过最大化目标函数J求得锐化矩阵M；

步骤3，对锐化图像做对数变换，并消除光照强度和自然光谱特性因子，公式如下：

式中，S(λ)是物体表面反射特性，T是温度，I是光照强度；

步骤4，将对数域的颜色三通道转换到单一通道的N颜色空间，消除温度T对N颜色空间的影响，计算转换因子α，公式如下：

式中，λ_B，λ_G，λ_R为相机光传感器R,G,B三通道光照响应曲线的峰值点对应的光波长。

与现有技术相比，本发明的有益效果是：

在保证减弱自然环境下光照条件影响的情况下，将RGB三通道图像转换为单通道颜色空间，消除了光照特性对于图像的影响，形成光照不变图，计算量更小，实时性更高，且为后续的阈值化等图像处理算法提供了便利。

附图说明

图1是本发明提升自然光照下机器视觉鲁棒性的图像预处理方法的流程图

图2是以sony公司的ICX204传感器为例，相机传感器的光照响应曲线图

图3是本发明提升自然光照下机器视觉鲁棒性的图像预处理方法计算机仿真图，其中，a为14:00原始图像，b为处理后14:00的图像，c为16:00原始图像，d为处理后16:00的图像。

具体实施方式

以下结合附图和实施例对本发明进行具体的阐述。

图1是本发明提升自然光照下机器视觉鲁棒性的图像预处理方法的流程图，具体步骤如下:

步骤(1)：构建相机成像模型。首先，提出假设1：自然光照场景中的点被一个黑体辐射体照亮，即假设自然光功率谱密度服从普朗克定律。

这里h,k,c分别是普朗克常量，玻尔兹曼常量和光速。T为光照温度。λ是光波长。进而，对于RGB三色成像相机，受光照某点x的R，G，B颜色通道值可以表示如下：

其中F^x表示光照方向及x点反射光方向的向量乘积，I^x表示x点的光照强度，S^x(λ)表示x点的反射特性，P(λ)表示相机传感器的光谱特性。

接着，提出假设2：相机传感器光照响应函数服从狄拉克函数。基于假设2，所述RGB的颜色通道值表示可以做如下简化：

其中，λ_R,λ_G,λ_B表示相机传感器光照响应曲线上的峰值点对应的光波长。以Sony公司的ICX204传感器为例，如图2所示，ICX204为RGB三通道传感器，λ_B,λ_G,λ_R表示三条曲线的峰值点对应的波长，其中，λ_B<λ_G<λ_R。

步骤(2)：根据步骤(1)中的第二个假设，相机传感器光照响应需要服从狄拉克函数。而实际应用中的相机传感器光照响应曲线并不服从狄拉克函数，是三条有重叠的曲线，如图2所示。所以，需要对相机采集的图像做锐化处理。锐化处理的公式如下：

(R′,G′,B′)^T＝M(R,G,B)^T (4)

其中M为3X3的锐化矩阵，(R,G,B)^T是相机传感器的原始光照响应，(R′,G′,B′)^T是锐化后的传感器光照响应。构建目标函数，如下：

J＝∫(R′(λ)-G′(λ))²+(R′(λ)-B′(λ))²+(B′(λ)-G′(λ))²dλ (5)

通过最大化目标函数J求得锐化矩阵M。通过锐化处理后的传感器光照响应近似满足狄拉克函数。

步骤(3)：对锐化图像做对数变换，在对数域里分离相机特性因子，受光照物体的表面特性因子以及光照强度和自然光谱特性因子。对数变换如下：

从上式中可以看出，log(R^x)的值由三部分组成，log(F^xI^x)是光照强度因子，log(S^x(λ_i))是受光照物体的表面特性因子，log(E^x(λ_i))是自然光谱特性因子。为了消除光照条件的影响，只需要消除光照强度因子和自然光谱特性因子。结合公式(1)，可得到：

上式中，温度T和光照强度I是随周围环境变换的变量，而方向向量F、普朗克常量h、玻尔兹曼常量K、光速c都是不随环境变化的常数，λ_R，λ_G，λ_B，是与相机特性有关的光波长，对于特定的相机，其值是不变的，S(λ)是物体表面反射特性。

步骤(4)：将原图像RGB三通道颜色空间转换到N颜色空间，利用α因子消除上式里的随环境变化的变量T和I。转换关系如下：

N＝log(G)-αlog(B)-(1-α)log(R) (8)

通过公式(8)的转换，光照强度I被消除了，温度T可以通过选择合适的α因子消除。

步骤(5)：求转换因子α。结合公式(7)和公式(8)，我们可以得到如下的N颜色空间：

令消除温度T对N颜色空间的影响，进而可以求得转换因子α，

公式(10)中的λ_B，λ_G，λ_R即相机光传感器R,G,B三通道光照响应曲线的峰值点对应的光波长。

本发明方法的计算机仿真分析：

以相机采集的下午两点和下午四点同一场景的图像为例，从图3中可以看到，原图像受光照影响很明显，利用图像直方图交叉相关性来比较两张图片的颜色通道值相似度，交叉相关性的值越大，说明两张图片相似度越高，而未经本算法处理的两张图片的交叉相关值为0.3，经过本算法处理后的图片交叉相关值达到了0.9，说明处理后的两张图片在不同光照条件下仍然具有很高的相似度，即改善了图片对于光照的灵敏度，验证了本算法能够一定程度的抑制光照条件对于图片的影响。

Claims (1)

1.一种提升自然光照下机器视觉鲁棒性的图像预处理方法，其特征在于，该方法包括如下步骤：

步骤1，构建相机成像模型：

设自然光照场景中的某点x被一个黑体辐射体照亮，自然光功率谱密度服从普朗克定律，公式如下：

式中，h为普朗克常量，k为玻尔兹曼常c为光速，T为光照温度，λ为光波长；

对于RGB三色成像相机，受自然光光照的某点x的RGB颜色通道值表示如下：

式中，F^x表示光照方向与x点反射光方向的向量乘积，I^x表示x点的光照强度，S^x(λ)表示x点的反射特性，P(λ)表示相机传感器的光谱特性；

设相机传感器光照响应服从狄拉克函数，则所述RGB颜色通道值表示如下：

式中，λ_R,λ_G,λ_B表示相机传感器光照响应曲线上的峰值点对应的光波长；

步骤2，对相机采集的原始图像进行锐化处理，公式如下：

(R′,G′,B′)^T＝M(R,G,B)^T (4)

式中，M为3X3的锐化矩阵，(R,G,B)^T是相机传感器的原始光照响应，(R′,G′,B′)^T是锐化后的传感器光照响应；

构建目标函数，如下：

J＝∫(R′(λ)-G′(λ))²+(R′(λ)-B′(λ))²+(B′(λ)-G′(λ))²dλ (5)

通过最大化目标函数J求得锐化矩阵M；

步骤3，对锐化图像做对数变换，并消除光照强度和自然光谱特性因子，公式如下：

式中，S(λ)是物体表面反射特性，T是温度，I是光照强度；

步骤4，将对数域的颜色三通道转换到单一通道的N颜色空间，消除温度T对N颜色空间的影响，计算转换因子α，公式如下：

式中，λ_B，λ_G，λ_R为相机光传感器R,G,B三通道光照响应曲线的峰值点对应的光波长。