CN109325927A - 工业相机摄影测量图像亮度补偿方法 - Google Patents

Abstract

本发明提供了一种工业相机摄影测量图像亮度补偿方法，包括如下步骤：a)对白色硫酸钡墙面进行照明；b)对所述余弦辐射体拍照，并采集图像；c)对图像进行预处理；d)对去噪后图像的灰度值进行离轴照度衰减补偿；e)将图像分为左右两部分；f)描述像素位置‑灰度值之间的函数关系；g)求解所述未知参数的估计值；h)构建灰度衰减模型的误差方程和法方程；i)求解未知参数的最小二乘解；j)求解衰减系数；k)重复步骤f)‑j)，求解另一半图像上各个像素位置的衰减系数；l)得到黑盒模型的补偿模板；m)将所述黑盒模型的补偿模板与离轴照度衰减补偿模板组合，形成全局整体补偿系数矩阵，对所述工业相机拍摄的其他图像进行补偿。

Description

工业相机摄影测量图像亮度补偿方法

本申请是申请号为201610297901.0，申请日为2016年05月06日，发明名称为工业相机摄影测量图像亮度补偿方法的分案申请。

技术领域

本发明涉及图像亮度补偿方法，尤其涉及工业相机进行大尺寸三维摄影测量时的测量图像亮度补偿方法。

背景技术

作为一种非接触测量方式，摄影测量具有高精度特性的原因在于：自标定光束平差技术以及上世纪80年代引入的回光反射材料。在闪光灯作用的极短的快门时间内，形成了准二值图像，便于目标点识别。圆形回光反射目标点在像面上形成具有二维高斯分布的椭圆形光斑，一方面亮度中心具有1/50像素的定位精度，另一方面亮度中心不随目标点法线与相机光轴之间夹角发生变化。基于此，单相机摄影测量系统普遍具有1/100000-1/200000的相对测量精度。

工业相机具有结构紧凑、电子快门、较高的帧率、光谱范围宽、数据传输量大、易于集成等优点，非常适合工业在线测量。然而工业相机采用C口或其他品牌的商用镜头，机身结构设计或兼容性会带来成像质量的降低，导致测量精度下降，必然影响其在工业摄影测量领域的应用。

发明内容

为了解决上述技术问题，本发明提供一种工业相机摄影测量图像亮度补偿方法,步骤为：a)用多只平行且竖直放置的日光灯管对白色硫酸钡墙面进行照明，产生余弦辐射体；b)在距离墙面第一距离处，以垂直于墙面的方向，用工业相机对所述余弦辐射体拍照，并采集图像；c)对步骤b中获取的图像进行预处理：通过高斯滤波对所述图像去噪和使其平滑；d)以照明光线入射角度余弦值的平方为系数，对去噪后图像的灰度值进行离轴照度衰减补偿，获得y轴对称的灰度分布；e)以y轴为分割线，将图像分为左右两部分；f)取出所述图像其中一行像素数据，利用未知参数的、经过平移和伸缩的标准误差描述函数对像素位置-灰度值之间的关系；g)求解所述未知参数的估计值；h)利用行上所有像素的位置及对应的灰度值，构建灰度衰减模型的误差方程和法方程；i)通过非线性最小二乘方法求解未知参数的最小二乘解；j)求解各个像素位置的衰减系数；k)重复步骤f)g)h)i)j)，求解另一半图像上各个像素位置的衰减系数；l)将左右两部分图像的衰减系数组合并扩展到整幅图像，得到黑盒模型的补偿模板；m)将所述黑盒模型的补偿模板与离轴照度衰减补偿模板组合，形成全局整体补偿系数矩阵，对所述工业相机拍摄的其他图像进行补偿。

优选地，所述步骤c)的高斯滤波，采用5*5滤波模板，高斯分布的标准差为0.5。

优选地，所述步骤d)中的离轴照度衰减补偿的模板为：

其中，g(i,j)表示位于第i行第j列像素点的灰度值；g′(i,j)表示补偿后的灰度值；θ表示入射到像素的照明光线同光轴的夹角。

优选地，所述步骤d)中的入射到像素的照明光线同光轴的夹角θ的定义和计算方法为：

其中，c1为主距长度，r为像面点与主点之间的距离。

优选地，所述步骤h)中的灰度衰减模型为：

其中，a，b，c，d是描述行像素灰度衰减形式的参数。

优选地，所述步骤h)中的误差方程为：

l+v＝JΔX

优选地，所述步骤h)中的法方程为：

(J^TJ)ΔX＝J^Tl

优选地，所述步骤h)中法方程的雅可比矩阵J中各项的计算方法为：

优选地，所述步骤i)通过非线性最小二乘方法求解未知参数的最小二乘解的方法为：

ΔX＝(J^TJ)^-1J^Tl

优选地，所述步骤j)中的各个像素位置的衰减系数为：

优选地，所述步骤l)中的获取黑盒模型的补偿模板的方法为：

I′＝G(I).*T_con.*C

其中，I是工业相机采集到的灰度图像，G(I)是进行的高斯滤波操作，T_con是离轴照度衰减补偿系数矩阵，C是补偿系数矩阵。

优选地，所述步骤b所述的第一距离的范围为：0.5m-2m。

总结上述描述，本发明的工业相机摄影测量图像亮度补偿方法建立了一种适用于工业相机的图像补偿模式，可以避开对成像系统进行复杂的成像、辐射分析，仅从图像着手建立图像质量劣化的近似数学模型，进而对图像进行相关补偿。相应的建模和补偿思路可以扩展应用于解决其它类型的成像问题。本项技术的实验部分指出，经过补偿处理之后的工业相机图像，在进行摄影测量时，提高了成像质量，最终极大地提高了测量精度。

本发明主要解决了以下问题：

1、使用误差函数描述此类亮度衰减，并建立同成像位置相关的衰减因子；

2、建立近似余弦辐射表面，并通过图像预处理消除干扰因素的方法；

3、建立同相机相关的通用的补偿模版。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1a为某型号工业相机对于一均匀照射的漫反射面成像；

图1b为图1a中漫反射面成像的灰度分布；

图2a、2b分别为某行、某列像素的灰度分布；

图3为入射光线的成像示意图；

图4a为经过去噪和暗角补偿后指定行的灰度分布图；

图4b为扩展灰度分布图；

图4c为误差函数erf(x)图；

图5a和5b分别为原始图像和补偿后图像中识别出的编码点。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例，可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

如前述背景技术中所描述，工业相机具有结构紧凑、电子快门、较高的帧率、光谱范围宽、数据传输量大、易于集成等优点，非常适合工业在线测量。然而工业相机采用C口或其他品牌的商用镜头，机身结构设计或兼容性会带来成像质量的降低，导致测量精度下降，必然影响其在工业摄影测量领域的应用。

本技术在使用某型号工业相机进行摄影测量的应用尝试中，遇到了一种成像质量问题：

例如其产生的图像灰度值不均匀，甚至对于一均匀照亮的漫反射面，亮度呈现出从图像中心到边缘的急剧衰减，如图1a所示；图1b展示了相应图片上的灰度分布，图2a和2b分别为某行、某列像素的灰度分布，从图像中心到图像边缘，亮度的变化范围为[230,50]；

对此工业相机进行内方位参数标定时，其对于回光反射材料的成像也呈现出了相似的趋势。

灰度分布的剧烈变化导致目标(圆形和线条)亮度的不一致，一方面带来了目标识别的复杂性，另一方面，处于图像边缘的目标点在其光斑范围内产生了不可忽视的亮度衰减，灰度分布偏离了高斯函数，带来了目标点亮度中心定位的系统误差。

所以，本发明提供了一种适用于工业相机的图像补偿模式，可以避开对成像系统进行复杂的成像、辐射分析，仅从图像着手建立图像质量劣化的近似数学模型，进而对图像进行相关补偿。相应的建模和补偿思路可以扩展应用于解决其它类型的成像问题。本发明的实验部分指出，经过补偿处理之后的工业相机图像，在进行摄影测量时，提高了成像质量，最终极大地提高了测量精度。本发明的一种工业相机摄影测量图像亮度补偿方法步骤为：

a)用多只平行且竖直放置的日光灯管对白色硫酸钡墙面进行照明，产生余弦辐射体；

b)在距离墙面第一距离处，以垂直于墙面的方向，用工业相机对所述余弦辐射体拍照，并采集图像；

根据本发明的一个实施例，所述步骤b所述的第一距离的范围为：0.5m-2m。

c)对步骤b中获取的图像进行预处理：通过高斯滤波对所述图像去噪和使其平滑；

根据本发明的一个实施例，如下表1所示，所述步骤c)的高斯滤波，采用5*5滤波模板，高斯分布的标准差为0.5。

0.00	0.00	0.00	0.00	0.00
					0.00	0.01	0.08	0.01	0.00
0.00	0.08	0.62	0.08	0.00
					0.00	0.01	0.08	0.01	0.00
0.00	0.00	0.00	0.00	0.00

采用高斯滤波，高斯滤波器对图像I进行了如下变换：

I_G＝G(I)

d)以照明光线入射角度余弦值的平方为系数，对去噪后图像的灰度值进行离轴照度衰减补偿，获得y轴对称的灰度分布；

对于CCD系统，输出电流信号同CCD光敏面上的照度和积分时间均成正比。发光特性接近余弦辐射体的物体经过光学系统成像，轴上像点照度E′₀和轴外像点照度E′可分别用下面两式表示：

E′＝E₀′cos⁴θ

其中，n′和n分别为光学系统的像方和物方介质的折射率；K为光学系统的透过率；L为物体的亮度；U′为像方孔径角；θ为像点对应的视场角。研究发现，对使用的工业相机进行入射角的四次幂补偿，并不能带来满意的补偿结果。这里降低幂次，将剩余衰减因素放入黑盒模型中分析。根据本发明的一个实施例，所述步骤d)中的离轴照度衰减补偿的模板为：

其中，g(i,j)表示位于第i行第j列像素点的灰度值；g′(i,j)表示补偿后的灰度值；θ表示入射到像素的照明光线同光轴的夹角；

夹角θ的定义和计算方法为如图3所示：

一个像面点p^；对应的光线入射角就是图示的θ，它是O p^；与光轴Opp之间的夹角。如果能获知p’点与主点之间的距离r，主距长度c1，那么，相应的角度余弦值为：

其中，c1为主距长度，r为像面点与主点之间的距离。

设传感器上的p^；点的像素坐标为(i,j)，那么r的值为：

其中，Δx和Δy分别表示像素在两个成像轴上的物理尺寸。

由于暗角补偿的系数仅同成像点的位置有关，因此可以建立独立的补偿系数模板T_con：

I_con＝T_conI_G

可以看出，进行预处理之后，图像的噪声明显降低，同时消除了中心对称的亮度衰减，中心区域附近的亮度分布平坦，仅剩余左右非对称的未知模型的亮度衰减，需要通过后续的黑盒模型分析进行描述和补偿。

经过去噪、离轴照度补偿后的图片，灰度值依然存在水平方向的剧烈变化，而在竖直方向上变化很小。因此，认为各行的像素灰度值具有相同的变化规律，通过某特殊函数近似描述。进而以非线性最小二乘技术为手段，利用指定行的像素灰度--坐标数据，获得此特殊函数的最优参数，从而实现亮度衰减近似模型的准确求解。

e)以y轴为分割线，将图像分为左右两部分；

经过预处理之后，第100行的灰度分布如图4a所示。将灰度分布向左右近似扩展，得到图4b所示的扩展灰度分布。很明显，左右两端灰度衰减具有相似的模式，然而并不对称。也就是说可以将图像分为左右两部分，两部分可以用相同的函数描述，只是具体参数存在差异。

f)取出所述图像其中一行像素数据，利用未知参数的、经过平移和伸缩的标准误差函数描述像素位置-灰度值之间的关系；

用来近似描述这种灰度变化的数学函数是误差函数，它的定义域是整个实数区间，函数值位于[-11]，如图4c中所示的曲线。标准误差函数的数学描述为：

g)求解所述未知参数的估计值；

本发明在精确求解模型参数之前，需要通过初等数学的简单方法计算a，b，c，d四个参数的近似值，然后进行非线性的最小二乘。

h)利用行上所有像素的位置及对应的灰度值，构建灰度衰减模型的误差方程和法方程；

根据本发明的一个实施例，所述步骤h)中的灰度衰减模型为：

其中，a，b，c，d是描述行像素灰度衰减形式的参数。

根据本发明的一个实施例，本发明将图4a描述的衰减模型分为左右两部分分别求解，使用非线性最小二乘技术对公式中的未知参数a，b，c，d进行迭代求解，相应的误差方程为：

l+v＝JΔX

其中，v_i是残余误差；X₀＝[a₀b₀c₀d₀]’是通过g)获得的未知参数的初值，x_i是图4a中左半部分第i个像素的位置，I_coni是经过预处理后这个像素的灰度值，erf(x_i)项可以通过数值积分求解，雅可比矩阵J中各项偏导数的表达式为：

所述步骤h)中的法方程为：

(J^TJ)ΔX＝J^Tl

i)通过非线性最小二乘方法求解未知参数的最小二乘解；

根据本发明的一个实施例，所述步骤i)通过非线性最小二乘方法求解未知参数的最小二乘解的方法为：

ΔX＝(J^TJ)^-1J^Tl

由上式得到未知量初值的增量ΔX，并累加至近似值X₀，得到更为精确的未知参数值X。

经过一次最小二乘方法得到的未知参数误差通常比较大，需要将其作为新的初值，重复进行上面的最小二乘方法，经过多次迭代过程，被舍弃的高次项基本可以忽略，可以认为线性模型的最小二乘结果就等于非线性模型的参数，求解过程收敛。

j)求解各个像素位置的衰减系数；

根据本发明的一个实施例，所述步骤j)中的各个像素位置的衰减系数为：

k)重复步骤f)g)h)i)j)，求解另一半图像上各个像素位置的衰减系数；

l)将左右两部分图像的衰减系数组合并扩展到整幅图像，得到黑盒模型的补偿模板；

将图4a描述的左右两侧的补偿系数组合并扩展到整幅图像，就得到了适用于此工业相机的黑盒模型下的补偿模板C。

根据本发明的一个实施例，所述步骤l)中的获取黑盒模型的补偿模板的方法为：

I′＝G(I).*T_con.*C

其中，I是工业相机采集到的灰度图像，G(I)是进行的高斯滤波操作，Tcon是离轴照度衰减补偿系数矩阵，C是步骤j中确定的补偿系数矩阵。

m)将所述黑盒模型的补偿模板与离轴照度衰减补偿模板组合，形成全局整体补偿系数矩阵，对所述工业相机拍摄的其他图像进行补偿。

根据本发明的一个实施例，对于此相机拍摄得到的所有类型的图片，都可以按照上面的滤波和矩阵对应元素相乘进行亮度衰减补偿：

应用上述根据本发明的工业相机摄影测量图像亮度补偿方法，进行实验对该方法进行验证。

采用一台AVT GE4900工业相机进行摄影测量实验，相机具有1600万像素分辨率的全画幅传感器，搭配35mm尼康定焦镜头以及商用闪光灯。

1、对图像补偿效果进行验证

补偿之后的摄影测量图像，不管是圆形目标还是直线目标，都展示了非常好的亮度均匀性，带来的是目标点定位误差的一致性，下面通过实验展示补偿后的图像用于摄影测量时，带来了测量精度的提高。

2、对摄影测量精度是否提高进行验证

对于被测量对象进行六次拍摄测量，将原图像、补偿后图像分别输入摄影测量软件进行相同的图像处理和数据分析，统计像面误差以及空间坐标精度估计，得到下面的对比数据表2。可见，工业相机拍摄的图像经过本发明所述的方法补偿之后，摄影测量空间坐标的不确定度显著降低。

表2补偿前后摄影测量精度对比

此外，由于目标的亮度趋于一致，对于编码点的识别更加准确，下图展示了补偿前后编码点的识别情况。图5中圆圈代表编码点位置，十字代表了重建出的普通目标点的位置。如图5a所示，原始图像中，靠近图像边缘，目标点的亮度急剧衰减，导致了某些图像中编码信息不能完全识别，编码点被识别成离散的普通点。如图5b所示，进行图像补偿之后，所有编码点都作为整体被识别出来，不存在散点现象。

通过以上实验证明。本发明介绍了针对一种特殊图像缺陷的亮度补偿技术，不需要分析成像系统与辐射模型，通过现有函数对亮度衰减进行近似描述，并介绍了函数参数的求解方法。实验表明，这种补偿方法提高了目标点成像的亮度一致性，降低了目标点识别难度，并且改善了目标光斑的亮度分布，最终提高了使用工业相机进行摄影测量的精度。

以上只是本发明较佳的实例，并非来限制本发明实施范围，故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

Claims (7)

1.一种工业相机摄影测量图像亮度补偿方法，包括如下步骤：

a)用多只平行且竖直放置的日光灯管对墙面进行照明，产生余弦辐射体；

b)在距离墙面第一距离处，以垂直于墙面的方向，用工业相机对所述余弦辐射体拍照，并采集图像；

c)对步骤b中获取的图像进行预处理：通过高斯滤波对所述图像去噪和使其平滑；

d)以照明光线入射角度余弦值的平方为系数，对去噪后图像的灰度值进行离轴照度衰减补偿，获得y轴对称的灰度分布；

其中，离轴照度衰减补偿的模板为：

其中，g(i,j)表示位于第i行第j列像素点的灰度值；g′(i,j)表示补偿后的灰度值；θ表示入射到像素的照明光线同光轴的夹角；

入射到像素的照明光线同光轴的夹角θ的定义和计算方法为：

其中，c1为主距长度，r为像面点与主点之间的距离；

e)以y轴为分割线，将图像分为左右两部分；

f)取出所述图像其中一行像素数据，利用未知参数的、经过平移和伸缩的标准误差函数描述像素位置-灰度值之间的关系；

g)求解所述未知参数的估计值；

h)利用行上所有像素的位置及对应的灰度值，构建灰度衰减模型的误差方程和法方程，

其中，灰度衰减模型为：

其中，a，b，c，d是描述行像素灰度衰减形式的参数；

i)通过非线性最小二乘方法求解未知参数的最小二乘解；

j)求解各个像素位置的衰减系数；

k)重复步骤f)g)h)i)j)，求解另一半图像上各个像素位置的衰减系数；

l)将左右两部分图像的衰减系数组合并扩展到整幅图像，得到黑盒模型的补偿模板；

m)将所述黑盒模型的补偿模板与离轴照度衰减补偿模板组合，形成全局整体补偿系数矩阵，对所述工业相机拍摄的其他图像进行补偿。

2.根据权利要求1所述的亮度补偿方法，其特征是：所述步骤h)中的误差方程为：

l+v＝JΔX

其中，v_i是残余误差；X₀＝[a₀ b₀ c₀ d₀]’是通过g)获得的未知参数的初值，x_i是表示第i个像素的位置，I_coni是经过预处理后这个像素的灰度值，erf(x_i)项表示灰度衰减模型，J表示雅可比矩阵。

3.根据权利要求1所述的亮度补偿方法，其特征是：所述步骤h)中的法方程为：

(J^TJ)ΔX＝J^Tl，

J表示雅可比矩阵，△X表示未知量初值的增值。

4.根据权利要求1所述的亮度补偿方法，其特征是：所述步骤h)中法方程的雅可比矩阵J中各项的计算方法为：

5.根据权利要求1所述的亮度补偿方法，其特征是：所述步骤i)通过非线性最小二乘方法求解未知参数的最小二乘解的方法为：

ΔX＝(J^TJ)^-1J^Tl，

J表示雅可比矩阵，△X表示未知量初值的增值。

6.根据权利要求1所述的亮度补偿方法，其特征是：所述步骤j)中的各个像素位置的衰减系数为：

7.根据权利要求1所述的亮度补偿方法，其特征是：所述步骤l)中的获取黑盒模型的补偿模板的方法为：

I′＝G(I).*T_con.*C

其中，I是工业相机采集到的灰度图像，G(I)是进行的高斯滤波操作，T_con是离轴照度衰减补偿系数矩阵，C是补偿系数矩阵。