CN105222725A - 一种基于光谱分析的高清图像动态采集方法 - Google Patents

Abstract

本发明一种基于光谱分析的高清图像动态采集方法属于计算机视觉测量技术领域，涉及一种基于光谱选择的高反光分离方法以及基于摄像机曝光参数时控的高清图像动态采集方法。该方法首先建立光条图像质量评价准则，获得满足光条特征信息提取要求的图像平均灰度阈值范围；对多光源信息进行光谱分析，基于特征光和环境光的光谱差异分离出高亮度的环境光；通过实时调节摄像机的曝光时间，控制摄像机的采集光量，在整体线激光扫描测量过程中得到亮度基本一致，满足光条特征信息提取的高质量序列图像。该方法能在三维形貌测量过程中有效地获得高质量的光条特征图像，得到的光条序列图像质量好、特征清晰、无强光干扰，可以满足高精度图像特征的提取。

Description

一种基于光谱分析的高清图像动态采集方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于光谱选择的高反光分离方法以及基于摄像机曝光参数时控的高清图像动态采集方法。

背景技术

大型飞机的制造发展对国家经济和国防安全的发展至关重要。其中，其大型零构件制造和装配精度是大型飞机质量和性能的重要保障。碳纤维复合材料具有质量轻、强度高等特点，面对现代大型飞机的轻质量高性能的要求，碳纤维复合材料最为新型现代大型飞机制造的首选材料。但是由于复合材料的制造和加工仍存在许多问题，其几何尺寸信息难以得到高精度的保障。因此，大型零构件装配研究对于飞机性能的保证至关重要。其中，装配过程中形面尺寸的数据测量是装配性能研究的重要支撑数据。视觉测量具有非接触性、大信息、测量速度快等优势，已广泛运用在航天航空大型零件测量中。但是由于视觉测量方法的精度易受视场大小、现场光照环境、现场不定干扰因素影响，降低了大型零构件形面尺寸测量的精度。例如，被测量物体往往尺度很大，扫描光条在不同位置其灰度分布特性很不一致，而且测量现场往往光照环境复杂，被测物存在高反光现象，淹没部分光条特征信息，从而严重影响光条的提取效率和提取精度。姜宏志，赵慧洁等人发表的期刊文献《用于强反射表面形貌测量的投影栅相位法》，光学精密工程，2010,18(9):2002-2008中提出在条纹投射与图像采集步骤中加入亮暗条纹投射、多曝光时间采集图像和图像合成等技术，解决条纹图像饱和或过暗导致的测量失效问题实现强反射表面的三维形貌测量；此方法采用投影光条进行三维形貌的测量，其成像质量难以得到保证；Richard在发表的期刊文献《Adaptiveoptical3D-measurementwithstructuredlight》,SPIE,1999，3824:169-178中为解决强反光问题，利用被测物表面在不同角度下反光区域不同的特性，避开镜面反射区域，利用漫反射进行多角度局部测量，最后整体拼接完成被测表面的整体测量；此方法测量过程繁琐，且在整体拼接时会引入误差，从而降低测量精度。采用控制摄像机光圈大小进行图像采集也是复杂光照条件下进行图像采集的有效解决方案之一。

发明内容

本发明要解决的技术难题是针对大型复合材料构件表面双目立体视觉扫描测量过程中在复杂光照环境下获得特征图像质量较差、特征不清晰、以及特征缺失等难题，发明了一种基于光谱分析的高清图像动态采集方法。即在线激光扫描测量过程中，通过基于光谱选择的高反光分离方法滤掉测量环境中的高反光干扰部分，进而采用实时调整摄像机曝光参数的方式来控制采集的扫描图像中光条灰度大小，使得在整个测量过程中序列图像光条灰度大小基本一致且满足精确提取光条信息的要求，为实现大型表面三维形貌的精确测量奠定基础。该方法能在三维形貌测量过程中有效地获得高质量的光条特征图像，得到的光条序列图像质量好、特征清晰、无强光干扰。

本发明采用的技术方案是一种基于光谱分析的高清图像动态采集方法，其特征是，该方法首先建立光条图像质量评价准则，获得满足光条特征信息提取要求的图像平均灰度阈值范围；对现场测量环境下的多光源信息进行光谱分析，基于特征光和环境光的光谱差异分离出高亮度的环境光；再通过实时调节摄像机的曝光时间，控制摄像机的采集光量进行线激光扫描图像动态采集，从而在整体线激光扫描测量过程中得到亮度基本一致且满足光条特征信息提取的高质量序列图像；方法具体步骤如下：

第一步建立光条图像质量评价准则

以光条横截面平均灰度来表征光条图像的质量，建立图像质量评价准则如下：

$\left\{\begin{array}{cc}{I}_a<I<I_b,& goodquality\\ I\&le;I_{a}orI\&GreaterEqual;I_b,& poorquality\end{array}\right.---\left(1\right)$

其中，I表示图像的光条横截面平均灰度分布，而(I_a,I_b)为高质量光条图像的光条横截面平均灰度分布区间；当I_a<I<I_b,认为光条图像质量较好，可提取出精确的光条特征信息；当I≤I_aorI≥I_b，认为光条图像质量较差，需要在图像采集阶段通过实时调节曝光参数的方式进行控制，使得其采集的光条图像满足高质量要求，进而提取精确的光条特征信息；

第二步基于光谱选择的高反光分离方法

1)多光源环境光照强度差异模型

对摄像机采集的激光与环境光强度差异性进行分析；综合考虑测量现场环境中照明光源、太阳光和投射激光的光照特性以及摄像机采集芯片的感光特性，建立多光源环境光照强度差异模型如下：

Δ(λ)＝η_c(λ)×(E_las(λ)-E_env(λ))(2)

其中，η_c(λ)为相机在不同波长λ下的量子效率，E_las(λ)、E_env(λ)分别为特征激光、环境干扰光在不同波长λ下的光照强度，则Δ(λ)为摄像机感光芯片接收到的激光和环境光强度差异性的表征；

2)基于光谱选择确定最佳采集波长

利用摄像机感光芯片接收到的激光和环境光强度差异性最大时的有效波长进行图像采集，获得特征清晰度最高的光条图像；对多光源环境光照强度差异模型进行最优化求解如下：

${\mathrm{\&lambda;}}_0=\underset{\mathrm{\&lambda;}\&Element;(380,760)}{max}\mathrm{\&Delta;}\left(\mathrm{\&lambda;}\right)---\left(3\right)$

其中，根据摄像机感光特性通常选择在可见光范围内进行图像采集，即采集波长在λ∈(380,760)范围内进行光谱选择，λ₀为最优化求解得到的最佳采集波长，此时特征激光与环境光的光强差异较大，且相机采集的亮度最高；因此，为获得特性清晰的光条图像，选择λ₀±δλ的滤波通道采集图像信息，有效分离测量现场高亮反光，获得有效的光条特征图像；

第三步摄像机曝光参数实时控制方法

1)预扫描建立光条灰度时变模型

采用一定的转速ω预扫描被测物表面，利用高反光分离后的摄像机以一定适当的曝光时间参数t₀进行激光扫描序列图像采集；分别对每张序列图像中的激光光条做灰度分析，计算每条光条的平均灰度值I_i，对应序列图像的采集位置i建立光条扫描灰度时变模型如下

I_i＝f(i)(4)

其中，f为光条平均灰度I_i与序列图像采集位置i的函数关系，由被测物表面激光预扫描实验得到；

2)曝光时间实时控制参数确定

光条的平均灰度由摄像机的单位时间进光量E_i与采集曝光时间t决定，可如下表示

$I_i={\&Integral;}_0^t{E}_{i}dt=E_{i}t---\left(5\right)$

因此，由预扫描光条灰度时变关系可得不同位置i光条平均灰度

I_i＝f(i)＝E_it₀(6)

故在不同位置i摄像机的进光量E_i可表示为

E_i＝f(i)/t₀(7)

因此基于光条质量评价准则(1)可得

$I_a<{\hat{I}}_i={\&Integral;}_0^{t_i}{E}_{i}dt=E_i{t}_i<I_b---\left(8\right)$

其中，为正式激光扫描测量时摄像机采集得到的光条图像中光条的平均灰度值；以满足高质量特征图像为条件，结合公式(7)和(8)计算可得不同采集位置i摄像机曝光时间t_i应实时控制在以下范围

$\frac{I_a}{f\left(i\right)}{t}_0<t_i<\frac{I_b}{f\left(i\right)}{t}_0---\left(9\right)$

即以高反光分离后的摄像机进行第i张光条图像采集时，其摄像机曝光参数控制在范围可最终获得特征清晰且亮度均匀的序列光条扫描图像，完成大视场测量过程中高清晰图像的采集。

本发明的有益效果是本发明采用基于光谱选择的高反光分离方法滤去测量现场中的高反光干扰，能在三维形貌测量过程中有效地获得高质量的光条特征图像，得到的光条序列图像质量好、特征清晰、无强光干扰，满足高精度图像特征的提取。

附图说明

图1为扫描光条动态采集示意图。图中，1-被测物体表面，2-激光器，3-摄像机，A-光条扫描测量过程中初始图像采集位置，B-第i张图像的光条位置，C-终止图像采集位置。

图2为高清图像动态采集方法流程图。

图3为摄像机感光特性示意图。图中，1代表黑白摄像机量子转换效率曲线，同理，2,3,4,代表彩色摄像机量子转换效率曲线，横坐标代表波长，纵坐标代表曲线1,2,3,4的量子转换效率，a代表激光器入射光照强度曲线，b代表环境光光照强度曲线。

图4为基于光谱选择的高反光分离之后的光条图像。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

本发明针对大型复合材料构件表面在线激光扫描测量过程中特征信息易被强光反射淹没的问题，以图像处理能够精确提取光条特征信息为条件，定义其对应的光条图像为高质量图像；采集的图像中激光光条灰度值不能超过255，即光条不能过曝，否则光条区域灰度分布将丧失高斯特性，影响光条特征信息的提取；另一方面其灰度值也不能过小，否则光条特征将极易被背景光干扰，出现双峰或多峰等现象，造成光条特征提取出现较大偏差。

在测量现场存在高亮度的大型照明光源及大范围的直射太阳光等强干扰光经现场地面或物体表面的镜面反射产生高亮反光，在测量现场存在高亮度的大型照明光源及大范围的直射太阳光等强干扰光经现场地面或物体表面的镜面反射产生高亮反光，在图像采集过程中进行高反光的分离，首先基于环境光、激光和摄像机感光特性建立多光源环境光强度差异模型；然后以能实现图像光条特征信息的高精度提取为条件确定最佳采集波长范围，以实现高反光分离。实现测量现场的高反光分离之后，通过实时调节摄像机曝光参数的方式控制序列光条图像中的光条亮度，从而在整体线激光扫描测量过程中得到亮度基本一致且满足光条特征信息提取要求的高质量序列图像。

附图1为扫描光条动态采集示意图。被测物体表面为3.4×0.6m的t800复合材料板，光条以一定角度打到复合材料板上，激光器以均匀速度做扫描运动，工业摄像机以一定帧频进行图像动态采集。

实施例，本发明采用配置广角镜头的工业摄像机拍摄一系列光条扫描图像。摄像机型号为viewworksVC-12MC-M/C65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps。广角镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8～F16，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为800mm×800mm。

根据附图1的扫描光条动态采集示意图，首先采用激光器2对被测物表面1进行一次预扫描，确定该视场下的图像采集范围，图像初始采集位置A和终止采集位置C。扫描第i张图像的光条位置B获得预扫描光条序列图像，对其光条灰度进行分析建立光条灰度时变模型，确定不同位置光条图像i确定合理的曝光参数t_i，使得能够获取高质量的光条图像；然后激光器2结合摄像机3进行光条扫描测量图像采集，实时控制不同位置的摄像机曝光参数，最终快速实现高清特征图像的获取。

根据附图2的高清图像动态采集方法流程图，高清图像获取的流程主要分为建立图像质量评价准则、高反光分离、曝光参数实时控制等步骤。

第一步建立光条图像质量评价准则

本实例根据公式(1)建立光条图像质量评价模型，认为图像的光条平均灰度在(I_a,I_b)区间时获取的图像为高质量图像，其获得的图像光条特征清晰，有利于高精度的提取图像特征。根据实验经验光条不能过曝，否则光条区域灰度分布将丧失高斯特性，影响光条特征信息的提取；且灰度值不能过小，否则光条特征将极易被背景光干扰，出现双峰或多峰等现象，造成光条特征提取出现较大偏差，应大于背景灰度值40～60；故高质量图像光条灰度值确定在(100,255)区间范围。

第二步基于光谱选择的高反光分离

1)多光源环境光照强度差异模型

由附图3可知所选用的摄像机感光特性规律，即摄像机芯片光电转换效率与入射光波长的关系，结合测量现场投射激光和环境光的光照特性分析，建立如公式(2)所示的多光源环境下光照强度差异模型，通过计算得到不同波长λ对应的激光和环境光强度的差异值Δ(λ)；

2)基于光谱选择确定最佳采集波长

通过公式(3)对其进行最优化求解，选择在可见光范围内进行图像采集，即限定λ∈(380,760)进行计算，最终求得激光和环境光强度的差异值Δ(λ)最大时对应的最佳采集波长λ₀，此时相机采集的图像光条亮度较高，特征清晰；因此，为获得特性清晰的光条图像，选择λ₀±δλ的滤波通道采集图像信息，可有效分离测量现场高亮反光，获得有效的光条特征图像。实验计算可得λ₀＝460nm时，特征激光与环境光的光强差异最大，且相机采集的亮度较高；并采用λ₀＝460nm±20nm的滤波通道采集图像信息，获得的高反光分离结果图像如附图4所示，可发现高反光分离之后的光条图像特征清晰。

第三步摄像机曝光参数实时控制

在激光扫描测量过程中，采用高反光分离后的摄像机进行图像采集，其整个测量过程多采集的光条图像将不再受到高光干扰的影响，只需对扫描序列图像中的光条亮度在采集过程中进行调控即可获得高质量的光条特征图像。本实例采用摄像机曝光参数实时控制的方式进行图像采集，具体步骤如下：

1)预扫描建立光条灰度时变模型

本实例以大型飞机典型复合材料构件表面为例，首先采用一定的转速ω预扫描被测物表面，利用高反光分离后的摄像机以一定适当的曝光时间参数t₀进行激光扫描序列图像采集；计算每张序列图像中的激光光条平均灰度建立光条扫描灰度时变关系(4)，进一步由光条灰度与摄像机进光量的关系可得摄像机进光量时变函数公式(7)；

2)曝光时间实时控制参数确定

结合公式(7)和(8)计算可得不同采集位置i摄像机曝光时间t_i应实时控制在式(9)所示范围，即以高反光分离后的摄像机进行第i张光条图像采集时，其摄像机曝光参数控制在范围可最终获得特征清晰且亮度均匀的序列光条扫描图像，完成大视场测量过程中高清晰图像的采集。其中光条扫描灰度时变关系f(i)与摄像机预扫描曝光时间参数t₀根据实验环境和实验设置的不同不设定值。最终得到摄像机曝光参数应实时控制在范围。

本发明采用基于光谱选择的高反光分离方法滤去测量现场中的高反光干扰，在此基础上采用实时控制摄像机曝光参数的方式使得在整体的图像采集过程中获取亮度基本均匀且特征清晰的光条图像。该方法能够实现高清晰特征图像的快速获取，避免测量现场环境中高反光对光条特征的干扰，确保图像处理过程中能够快速获得高精度的图像特征信息，为三维形貌的精确测量提供了保证。

Claims (1)

1.一种基于光谱分析的高清图像动态采集方法，其特征是，该方法首先建立光条图像质量评价准则，获得满足光条特征信息提取要求的图像平均灰度阈值范围；对现场测量环境下的多光源信息进行光谱分析，基于特征光和环境光的光谱差异分离出高亮度的环境光；再通过实时调节摄像机的曝光时间，控制摄像机的采集光量进行线激光扫描图像动态采集，从而在整体线激光扫描测量过程中得到亮度基本一致且满足光条特征信息提取的高质量序列图像；方法具体步骤如下：

第一步建立光条图像质量评价准则

以光条横截面平均灰度来表征光条图像的质量，建立图像质量评价准则如下：

$\{\begin{array}{cc}{I}_a<I<I_b,& goodquality\\ I\&le;I_{a}orI\&le;I_b,& poorquality\end{array}---\left(1\right)$

其中，I表示图像的光条横截面平均灰度分布，而(I_a,I_b)为高质量光条图像的光条横截面平均灰度分布区间；当I_a<I<I_b,认为光条图像质量较好，可提取出精确的光条特征信息；当I≤I_aorI≥I_b，认为光条图像质量较差，需要在图像采集阶段通过实时调节曝光参数的方式进行控制，使得其采集的光条图像满足高质量要求，进而提取精确的光条特征信息；

第二步基于光谱选择的高反光分离方法

1)多光源环境光照强度差异模型

对摄像机采集的激光与环境光强度差异性进行分析；综合考虑测量现场环境中照明光源、太阳光和投射激光的光照特性以及摄像机采集芯片的感光特性，建立多光源环境光照强度差异模型如下：

Δ(λ)＝η_c(λ)×(E_las(λ)-E_env(λ))(2)

其中，η_c(λ)为相机在不同波长λ下的量子效率，E_las(λ)、E_env(λ)分别为特征激光、环境干扰光在不同波长λ下的光照强度，则Δ(λ)为摄像机感光芯片接收到的激光和环境光强度差异性的表征；

2)基于光谱选择确定最佳采集波长

利用摄像机感光芯片接收到的激光和环境光强度差异性最大时的有效波长进行图像采集，获得特征清晰度最高的光条图像；对多光源环境光照强度差异模型进行最优化求解如下：

${\mathrm{\&lambda;}}_0=\underset{\mathrm{\&lambda;}\&Element;(380,760)}{\max }\mathrm{\&Delta;}\left(\mathrm{\&lambda;}\right)---\left(3\right)$

其中，根据摄像机感光特性通常选择在可见光范围内进行图像采集，即采集波长在λ∈(380,760)范围内进行光谱选择，λ₀为最优化求解得到的最佳采集波长，此时特征激光与环境光的光强差异较大，且相机采集的亮度最高；因此，为获得特性清晰的光条图像，选择λ₀±δλ的滤波通道采集图像信息，有效分离测量现场高亮反光，获得有效的光条特征图像；

第三步摄像机曝光参数实时控制方法

1)预扫描建立光条灰度时变模型

采用一定的转速ω预扫描被测物表面，利用高反光分离后的摄像机以一定适当的曝光时间参数t₀进行激光扫描序列图像采集；分别对每张序列图像中的激光光条做灰度分析，计算每条光条的平均灰度值I_i，对应序列图像的采集位置i建立光条扫描灰度时变模型如下

I_i＝f(i)(4)

其中，f为光条平均灰度I_i与序列图像采集位置i的函数关系，由被测物表面激光预扫描实验得到；

2)曝光时间实时控制参数确定

光条的平均灰度由摄像机的单位时间进光量E_i与采集曝光时间t决定，可如下表示

$I_i={\&Integral;}_0^t{E}_{i}dt=E_{i}t---\left(5\right)$

因此，由预扫描光条灰度时变关系可得不同位置i光条平均灰度

I_i＝f(i)＝E_it₀(6)

故在不同位置i摄像机的进光量E_i可表示为

E_i＝f(i)/t₀(7)

因此基于光条质量评价准则(1)可得

$I_a<{\hat{I}}_i={\&Integral;}_0^{t_i}{E}_{i}dt=E_i{t}_i<I_b---\left(8\right)$

其中，为正式激光扫描测量时摄像机采集得到的光条图像中光条的平均灰度值；以满足高质量特征图像为条件，结合公式(7)和(8)计算可得不同采集位置i摄像机曝光时间t_i应实时控制在以下范围

$\frac{I_a}{f\left(i\right)}{t}_0<t_i<\frac{I_b}{f\left(i\right)}{t}_0---\left(9\right)$

即以高反光分离后的摄像机进行第i张光条图像采集时，其摄像机曝光参数控制在范围可最终获得特征清晰且亮度均匀的序列光条扫描图像，完成大视场测量过程中高清晰图像的采集。