CN105678767B - 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 - Google Patents

Abstract

本发明提供一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，利用视觉显著性分析和纹理特征提取的结合，在嵌入式平台Zynq SoC上实现算法的软硬件协同设计以提高检测系统的有效性和实时性；离线阶段利用差分进化算法对无瑕疵样本图像进行椭圆Gabor滤波器的参数寻优，得到最优EGF，在线阶段基于FPGA进行RGB图像采集、快速中值滤波、RGB到CIE LAB格式的颜色空间转换、LAB三通道的EGF处理，通过AXI VDMA总线将数据传输到ARM部分，并计算滤波前后图像特征向量，利用两特征向量提取瑕疵显著区域，确定阈值分割瑕疵，最后得到高亮瑕疵的二值图像；本系统对于本色、纯色布匹瑕疵检测有较高的检测效率和实时性。

Description

一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法

技术领域

本发明涉及一种基于嵌入式机器视觉的布匹瑕疵实时视觉检测方法，具体涉及一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法。

背景技术

随着工业技术和工艺水平的提高，市场对产品质量的要求也日益增大，在纺织印染产品的生产中，布面瑕疵是影响布匹质量的重要因素之一，因此，布匹的质量检测要求也更加严格。传统的布匹检测主要是依靠经验丰富的员工，在纺织品产量持续增涨，质量要求日益苛刻的形势下，人工检测方法存在许多的局限，如检测速度慢、检测率不高、误检率大、人力资源浪费等，故快速准确地检测布匹瑕疵成为纺织品生产中待解决的重要问题。

布匹瑕疵检测主要是利用图像的颜色亮度、灰度值变化、纹理等特征进行瑕疵检测，主要方法集中于统计法、频域法、模型法等。针对布匹瑕疵检测存在的布匹种类多和瑕疵类型繁多的难题，目前的算法大都只能检测出某几种类型的瑕疵，且检出率与实时性不高。

人类在观察事物时能够快速捕获到场景中重要目标或感兴趣区域，这种原理称为视觉注意机制。对于布匹瑕疵检测，无论是什么样的布匹种类或瑕疵类型，在不同光照、不同工艺、生产环境的情况下，人类都能快速准确的找到瑕疵，因为瑕疵区域相较于其他背景部分，易引起视觉注意。故在进行机器视觉检测中引入视觉显著性分析，能够快速定位到瑕疵显著区域，又布匹图像的纹理信息较为丰富，而椭圆Gabor滤波器在纹理特征提取中表现最好，因此本发明结合视觉显著性分析和纹理特征提取进行瑕疵检测。目前大部分基于智能相机的视觉检测系统为串行结构，对于一些检测速度和精度要求较高的应用场合难以满足。

发明内容

本发明目的针对传统视觉检测速度较慢和实时性不强等问题提出一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，以取代效率低下的人工检测法。一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，在Zynq SoC平台上通过并行部分提取图像显著性区域和纹理特征；通过串行部分进行融合所述纹理特征，确定阈值分割，分离出瑕疵区域；以串并行方式实现检测算法，包含以下步骤：

离线训练：

A.利用线阵CCD相机获取RGB无瑕疵样本布匹的图像，根据相机捕获所述图像的外部触发频率调节布匹的传送速度以及相机光圈焦距等参数，并存储所述图像；

B.对灰度化后的所述图像进行快速中值滤波预处理，以抑制噪声并去除随机干扰；

C.构建椭圆Gabor滤波器，选取滤波器参数构成待训练参数集；

D.利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优，得到最优参数集；

在线检测：

E.基于SoC的并行部分进行RGB图像采集，并通过AXI4_Stream总线输入FPGA缓存模块BRAM；

F.对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理，以去除噪声；

G.对去噪后的图像进行RGB格式到CIE LAB格式的颜色空间转换，以进行视觉显著性区域提取；

H.对LAB空间的图像进行L、a、b三通道的最优椭圆Gabor滤波，利用纹理特征再次凸显图像中瑕疵区域；

I.基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提取，再进行阈值分割，得到分离出瑕疵的二值图像，输出检测结果实时显示。。

进一步地，所述步骤C中椭圆Gabor滤波器的构造与参数的选取：

构建2D Gabor函数，表达式为：

其中，(σ_x,σ_y)为高斯尺度参数，(u₀,v₀)为中心空间频率坐标，(x',y')为旋转操作，具体定义为：

其中，θ为所述Gabor滤波器的旋转角度，则(1)式中所述Gabor滤波器的2D傅里叶变换为：

其中，

EGF具有类似于RGF的尺度选择的性能，有利于纹理分析，但RGF的频域中心固定在坐标原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中心、频率和方向可调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任意位置，有利于提高其检测性能。EGF具体表达式为：

其中，F₀为滤波器在空间频域的中心频率，为高斯长宽比，式(4)中EGF的2D傅里叶变换为：

其中，可见EGF性能取决于参数集{F₀,u₀,v₀,θ,β,λ}。

进一步地，所述步骤D中利用差分进化算法进行EGF参数寻优：

对于大小为N×N的输入图像I(x,y)经EGF滤波后其能量函数为：

f(x,y)＝I(x,y)*G(x,y) (6)

E(x,y)＝Sqrt[f_Re(x,y)²+f_Im(x,y)²] (7)

其中，f_Re(x,y)，f_Im(x,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标准差分别为：

根据给定的两个无瑕疵的训练样本图像T₁(x,y)，T₂(x,y)定义Fisher代价评估函数为：

其中，(μ₁,μ₂)，(σ₁,σ₂)分别为T₁(x,y)，T₂(x,y)经滤波后能量函数E(x,y)的均值和标准差，通过寻求F(t)最大值来确定最优参数集；基于上述论证和实验分析，为提高寻优效率和效果，对寻优参数集作出下列约束：0≤θ≤π，

进一步地，所述步骤F中对LAB空间图像进行EGF滤波处理：

FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操作，输出滤波后的图像数据，利用掩模大小为5×5的卷积模块处理图像，得到处理结果W(x,y)为：

其中G(u,v)为坐标(u,v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF而得到的，且存入ROM，通过对应系数坐标载入卷积单元。

根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特征在于，所述步骤I中计算滤波前后特征向量与提取瑕疵显著图，包括以下步骤：第一步：计算LAB颜色空间中未滤波的图像像素平均特征向量F_lab(x,y)，再计算经最优EGF滤波后的图像特征向量F_egf(x,y)，则瑕疵显著区域D(x,y)为：

D(x,y)＝||F_egf(x,y)-F_lab(x,y)|| (12)

第二步：对滤波后得到的瑕疵区域灰度图像按式(8)(9)求取D(x,y)的均值和方差，并按式(13)进行阈值分割：

其中，k为控制常数，根据具体的检测对象和实验确定。

本发明的有益效果是：本发明提供了一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，对于本色、纯色布匹图像进行显著性区域和纹理特征的提取，利用瑕疵区域相对于背景部分在纹理和像素值上的突变提取瑕疵区域。在Zynq SoC平台上，利用软硬件协同设计技术将检测算法进行合理的软硬件划分，充分利用其硬件资源的并行优化和串行部分的灵活性对检测系统进行较大地提速。在线阵CCD相机实时高速采集连续运动的布匹图像时，能够快速地进行实时处理，大大提高检测速度和检测效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1本发明的系统硬件框架图；

图2本发明的算法整体流程图；

图3本发明检测算法的软硬件协同设计结构图；

图4最优EGF的5×5 2D卷积模块IP设计结构图。

具体实施方式

为使本发明的目的、技术方案和优点等更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

本发明的目的是检验布匹的表面瑕疵，在Zynq SoC平台上实现布匹图像的采集与处理，并显示检测结果。本发明提出了一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，针对布匹表面瑕疵利用显著性区域与纹理特征的提取实现在线视觉检测。

检测系统的硬件框图如附图1所示，Zynq SoC通过AXI4总线实现FPGA(PL)与ARM(PS)间的数据交互与通信，其中ARM为核心，控制整个系统的运行，上电第一个启动，进入FSBL(第一引导阶段)，再执行检测算法硬件IP块设计生成的Bit文件，使得PL按照Bit中设计方式运行，ARM通过AXI4_Lite接口控制图像采集与输入，图像数据经过AXI4_Stream总线进入PL，进行预处理和瑕疵检测处理，数据传输到DDR3 SDRAM中计算特征向量提取瑕疵区域，并确定阈值二值化，检测结果经AXI4_Stream总线输出并通过VGA接口显示。

检测算法整体流程如附图2所示，在离线训练阶段，构建椭圆Gabor滤波器，利用差分进化算法对训练布匹图像进行参数寻优；在线检测时，基于SoC并行部分(FPGA)采集图像并进行中值滤波、颜色空间转换、最优EGF滤波；在SoC串行部分(ARM)计算特征向量并提取瑕疵显著区域，最后确定阈值分割出瑕疵区域；整个检测算法的软硬件协同设计方式如附图3所示，该设计充分利用FPGA的硬件并行优化加速和ARM的软件灵活性提高算法的实时性。

进一步的，具体实现步骤为：

离线训练：

A.利用线阵CCD相机获取RGB无瑕疵样本布匹图像，根据相机捕获图像的外部触发频率调节布匹的传送速度以及相机光圈焦距等参数，并存储图像。

B.将样本图像灰度化处理，再进行中值滤波预处理，以抑制噪声并去除随机干扰。

C.构造椭圆Gabor滤波器，选取参数集。

构建2D Gabor函数，表达式为：

其中，(σ_x,σ_y)为高斯尺度参数，(u₀,v₀)为中心空间频率坐标，(x',y')为旋转操作，具体定义为：

其中，θ为滤波器的旋转角度，则(1)式中Gabor滤波器的2D傅里叶变换为：

其中，

RGF(Ring Gabor Filter)是传统Gabor滤波器的改进，为2D带通滤波器，其通带形似一个戒指环，在频域有高斯横截面，具有旋转不变性，不能作为方向检测器，而EGF(Elliptical Gabor Filter)具有类似于RGF的尺度选择的性能，有利于纹理分析。但RGF的频域中心固定在坐标原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中心、频率和方向可调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任意位置，有利于提高其检测性能。EGF具体表达式为：

其中，F₀为滤波器在空间频域的中心频率，为高斯长宽比。式(4)中EGF的2D傅里叶变换为：

其中，可见EGF性能取决于参数集{F₀,u₀,v₀,θ,β,λ}。

D.利用差分进化算法(DE)进行离线寻优

对于大小为N×N的输入图像I(x,y)经EGF滤波后其能量函数为：

f(x,y)＝I(x,y)*G(x,y) (6)

E(x,y)＝Sqrt[f_Re(x,y)²+f_Im(x,y)²] (7)

其中，f_Re(x,y)，f_Im(x,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标准差分别为：

根据给定的两个无瑕疵的训练样本图像T₁(x,y)，T₂(x,y)定义Fisher代价评估函数为：

其中，(μ₁,μ₂)，(σ₁,σ₂)分别为T₁(x,y)，T₂(x,y)经EGF滤波后能量函数E(x,y)的均 值和标准差，通过寻求F(t)最大值来确定最优参数集。基于上述论证和实验分析，为提高寻 优效率和效果，对寻优参数集作出下列约束：0≤θ≤π，

具体寻优步骤为：

步骤1：初始化DE控制参数库：种群数量为D＝6、变异算子为F＝0.5、交叉算子为CR＝0.1、最大进化代数为100，即终止条件，随机产生初始种群，进化代数为1；

步骤2：对初始种群进行评价，计算初始种群中每个个体的适应度值，通过构建的EDFs对训练图像进行滤波，进行目标代价函数评估；

步骤3：判断是否达到终止条件，若是，则进化终止，将此时的最佳个体作为解输出；若否，继续；

步骤4：进行变异和交叉操作，对边界条件进行处理，得到临时种群；

步骤5：对临时种群进行评价，计算临时种群中每个个体的适应度值，利用EDFs对训练图像进行滤波，进行目标代价函数评估；

步骤6：进行选择操作，得到新种群；

步骤7：下一进化代数，转步骤3。

在线检测：

按照预定的检测速度，调整相机位置、焦距、视场和光源打光方向与亮度，设定布匹传送速度和相机采样频率，由SoC给出图像采集信号，控制图像的采集与缓存。

E.利用FPGA部分对RGB图像进行R、G、B三通道3×3快速中值滤波

预处理，以抑制噪声去除干扰；

3×3快速中值滤波是将列排序(降序)后的模板分别求取第一行的最小值min1和第三行的最大值max3，各需比较2次，再求中间行的中值med2需比较3次，最后求取Med{min1,med2,max3}，相较于传统中值滤波，总的比较次数降为19次。

F.利用FPGA部分对预处理后的图像进行颜色空间转换，由RGB格式转换为CIELAB格式；

CIELAB颜色空间更接近于人类视觉，在视觉注意机制中是最常用也是表现最好的图像特征，在该空间进行特征提取计算显著性区域效果良好。由RGB格式转换为CIELAB格式需要两步：RGB转化为CIEXYZ格式，再转换为LAB格式，通过优化转换公式在FPGA上利用乘法器、加法器和查找表可以实现该转换。

G.利用FPGA在LAB颜色空间进行最优椭圆Gabor滤波器处理，得到处理后凸显瑕疵区域的图像；

FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法、加法操作，输出滤波后的图像数据。利用掩模大小为5×5的卷积模块处理图像，得到处理结果W(x,y)为：

其中G(u,v)为坐标(u,v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF而得到的，且存入ROM，通过对应系数坐标载入卷积单元，附图4为5×5 2D卷积模块结构设计图，其中卷积系数G(u,v)从ROM中读取。

H.ARM部分利用AXIVDMA总线从DDR3存储器读取FPGA上处理后

的图像数据，并计算LAB空间中滤波前后的特征向量；利用两特征向量提取测试图像的瑕疵显著性区域图，最大程度凸显出瑕疵区域；

首先计算LAB颜色空间中未滤波的图像像素平均特征向量F_lab(x,y)，再计算经最优EGF滤波后的图像特征向量F_egf(x,y)，则瑕疵显著区域D(x,y)为：

D(x,y)＝||F_egf(x,y)-F_lab(x,y)|| (12)

I.确定阈值，分割出瑕疵区域并通过VGA接口在显示器上直接显示检测结果高亮出瑕疵区域的二值图像；

对滤波后得到的瑕疵区域灰度图像按式(8)、(9)求取D(x,y)的均值和方差，并按式(13)进行阈值分割：

其中，k为控制常数，根据具体的检测对象和实验确定。

判断检测结果，若存在瑕疵，保存该图像序列与检测结果，并作出标记进入下一幅图像检测；若不存在瑕疵，则不保存图像与结果直接进入下一幅图像。

以上所述仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特征在于，在Zynq SoC平台上通过并行部分提取图像显著性区域和纹理特征；通过串行部分进行融合所述纹理特征，确定阈值分割，分离出瑕疵区域；以串并行方式实现检测算法，包含以下步骤：

离线训练：

A.利用线阵CCD相机获取RGB无瑕疵样本布匹的图像，根据相机捕获所述图像的外部触发频率调节布匹的传送速度以及相机光圈焦距参数，并存储所述图像；

B.对RGB图像进行灰度化，并对灰度化后的图像进行快速中值滤波预处理，以抑制噪声并去除随机干扰；

C.构建椭圆Gabor滤波器，选取滤波器参数构成待训练参数集；

D.利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优，得到最优参数集；

在线检测：

E.基于SoC的并行部分进行RGB图像采集，并通过AXI4_Stream总线输入FPGA缓存模块BRAM；

F.对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理，以去除噪声；

G.对去噪后的图像进行RGB格式到CIE LAB格式的颜色空间转换，以进行视觉显著性区域提取；

H.对LAB空间的图像进行L、A、B三通道的最优椭圆Gabor滤波，利用纹理特征再次凸显图像中瑕疵区域；

I.基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提取，再进行阈值分割，得到分离出瑕疵的二值图像，输出检测结果实时显示；

步骤C中所述椭圆Gabor滤波器的构造与参数的选取：

构建2D Gabor函数，表达式为：

其中，(σ_x,σ_y)为高斯尺度参数，(u₀,v₀)为中心空间频率坐标，(x,y)为旋转前的坐标，(x',y')为旋转后的坐标，具体定义为：

其中，θ为2DGabor滤波器的旋转角度，则(1)式中2DGabor滤波器的2D傅里叶变换为：

其中，

EGF具有类似于RGF的尺度选择的性能，有利于纹理分析，但RGF的频域中心固定在坐标原点，限制了其在瑕疵检测中的应用，鉴于此，提出了一种中心、频率和方向可调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任意位置，有利于提高其检测性能，EGF具体表达式为：

其中，F₀为滤波器在空间频域的中心频率，为高斯长宽比，式(4)中EGF的2D傅里叶变换为：

其中，可见EGF性能取决于参数集{F₀,u₀,v₀,θ,β,λ}；

所述步骤D中利用差分进化算法进行EGF参数寻优：

对于大小为N×N的输入图像I(x,y)经EGF滤波后为：

其能量函数为：

E(x,y)＝Sqrt[f_Re(x,y)²+f_Im(x,y)²] (7)

其中，f_Re(x,y)，f_Im(x,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标准差分别为：

根据给定的两个无瑕疵的训练样本图像T₁(x,y)，T₂(x,y)定义Fisher代价评估函数为：

其中，(μ₁,μ₂)，(σ₁,σ₂)分别为T₁(x,y)，T₂(x,y)经滤波后能量函数E(x,y)的均值和标准差，通过寻求F(t)最大值来确定最优参数集；为提高寻优效率和效果，对寻优参数集作出下列约束：0≤θ≤π，

步骤H中对LAB空间图像进行EGF滤波处理：

FPGA实现EGF是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操作，输出滤波后的图像数据，利用掩模大小为5×5的卷积模块处理图像，得到处理结果W(x,y)为：

其中为坐标(u₁,v₁)处的滤波系数，系数为通过离线训练阶段优化EGF而得到的，且存入ROM，通过对应系数坐标载入卷积单元；

所述步骤I中计算滤波前后特征向量与提取瑕疵显著图，包括以下步骤：

第一步：计算LAB颜色空间中未滤波的图像像素平均特征向量F_lab(x,y)，再计算经最优EGF滤波后的图像特征向量F_egf(x,y)，则瑕疵显著区域D(x,y)为：

D(x,y)＝||F_egf(x,y)-F_lab(x,y)|| (12)

第二步：对滤波后得到的瑕疵区域灰度图像按式(8)(9)求取D(x,y)的均值和方差，并按式(13)进行阈值分割：

其中，k为控制常数，根据具体的检测对象和实验确定。