CN109829480A - 物体表面高光特征检测与材质分类的方法及系统 - Google Patents

Abstract

本发明提供一种物体表面高光特征检测与材质分类的方法及系统，本发明利用HIGHLIGHT光照模型定义并提取物体表面的高光特征h(ρ)；通过STFFT‑N‑L^*算法建立高光特征h(ρ)的特征描述符D(k,ρ)；利用基于投票决策的聚类算法求解n个高光特征描述符{D_i|i＝1,2,...,n}对应的类别标签{L_i|i＝1,2,...,n}。本发明提供的系统包括采集模块，高光特征检测模块，补偿模块，分类模块。本发明提供的方法能够抑制物体表面的纹理特征，而突出物体表面的材质的特点，最终生成一个一维向量作为特征描述符，十分简洁；最终的材质分类效果十分准确，可达100％。并且可协调光源和相机的作用，防止出现过曝，同时对高光特征进行补充，进一步提升了高光特征检测与材质分类的速度和准确度。

Description

物体表面高光特征检测与材质分类的方法及系统

技术领域

本发明涉及图像处理技术领域，尤其是一种物体表面高光特征检测与材质分类的方法系统。

背景技术

在图像中，物体表面的高光能够抑制物体表面的纹理特征，而突出物体表面的材质的特点。例如，在黑板上写字，则黑板本身的颜色和字迹便构成了黑板表面的纹理。用聚光手电筒照射黑板，则会在黑板上出现一块高光，靠近高光中心的区域的字不清晰，但却能分辨出看到黑板的孔洞和坑洼，而距离光斑中心较远的区域的字较为清晰，但孔洞和坑洼特点却被黑板的纹理所掩盖。

高光区别于过曝，只要有可见光照射在物体表面，就有高光存在，根据光强的不同，高光特征的震荡强度也会有所区别，高光仅抑制物体表面的纹理特征。但过曝是相机光圈设置过大时产生的光污染，他会是物体表面观测的所有信息丢失，对于特征检测的研究意义甚小。

发明内容

针对现有技术的不足，本发明提供物体表面高光特征检测与材质分类的方法及系统。

本发明的技术方案为：物体表面高光特征检测与材质分类的方法，包括以下步骤：

S1)、利用HIGHLIGHT光照模型定义并提取物体表面的高光特征h(ρ)；

S2)、通过STFFT-N-L^*算法建立高光特征h(ρ)的特征描述符D(k，ρ)；

S3)、利用基于投票决策的聚类算法求解n个高光特征描述符{D_i|i＝1，2，...，n}对应的类别标签{L_i|i＝1，2，...，n}。

上述方法，步骤S1)中，所述的HIGHLIGHT光照模型的为：

I(ρ)＝l(ρ)+g(ρ)·h(ρ)+(1-g(ρ))·n(ρ)；

式中，ρ为观测点到高光质心的距离，l(ρ)为亮度趋势分量，由漫反射生成，主要和物体形状相关；h(ρ)是高光分量，由镜面反射形成，主要和物体表面材质相关；n(ρ)是纹理特征分量，由环境光形成，主要和物体表面纹理相关，可作为噪声分量，|h(ρ)|＞＞|n(ρ)|，抑制因子g(ρ)与距离ρ呈反相关，g(0)＝1。

上述方法，步骤S2)中，利用STFFT-N-L*算法建立高光特征h(ρ)的特征描述符D(k，ρ)，具体包括以下步骤：

S201)、以每一个距离点ρ为起点，截取指定长度L做N点短时傅里叶变换，得到一组傅里叶系数向量其中，N固定，L＝L_min：L_step：L_max；

S202)、根据如下公式选取最优截取长度L^*，即

其中，W^t(·)是阈值为t的高频滤波函数，G(·)为几何平均值，判决式c(ρ)如下：

其中，为频率为0时对应的傅里叶系数，为每个傅里叶系数向量中的最大值，BW_3dB(·)为3dB带宽函数，对应傅里叶系数从峰值处下降一半时，傅里叶系数标号的变化值；

S203)、根据筛选出中满足c(ρ)的所有距离ρ′，最终生成高光特征描述符

上述方法中，步骤S3)中，利用基于投票决策的聚类算法为描述符d_i建立分类标签L_i，具体包括以下步骤：

S301)、对于第i个样本的每个方向θ上生成的特征描述符将其归一化到d∈[0，D)的距离范围，得到一组归一化特征描述符

S302)、根据如下公式计算每个角度上对应的有值距离的个数M(ρ)，即

其中，sgn(·)为符号函数，满足

S303)、取M(θ)最大的J个角度上的特征描述符输入聚类算法中，得到聚类标签b_j，即为J票，则最终的第i个样本对应的聚类标签L_i为b_j中票数最多的值。

本发明还提供物体表面高光特征检测与材质分类系统，包括：

采集模块，所述采集模块用于通过控制相机配合光源采集具有高光特征的不同材质的物体表面图片；

高光特征检测模块，所述高光特征检测模块利用提出的高光特征检测方法提取并描述高光特征；

补偿模块，补偿模块通过其它特征对高光特征进行补充，共同描述材质特征；

分类模块，所述分类模块将特征描述符输入基于投票的聚类算法，进行物体材质的分类判决。

本发明的有益效果为：

1、本发明提供的方法能够抑制物体表面的纹理特征，而突出物体表面的材质的特点，最终生成一个一维向量(尺寸可调)作为特征描述符，十分简洁；最终的材质分类效果十分准确，可达100％。

2、物体表面的高光特征检测及材质分类装置可协调光源和相机的作用，防止出现过曝，同时对高光特征进行补充，进一步提升了高光特征检测与材质分类的速度和准确度。

附图说明

图1为本发明物体表面高光特征检测及材质分类的方法的流程图。

图2为本发明实施例高光特征分布示意图。

图3为本发明实施例高光提取过程示意图。

图4为本发明实施例不同截取长度L对应的傅里叶变换系数向量组示意图。

图5为本发明实施例不同物体表面对高光特征描述符生成示意图。

图6为本发明实施例描述符归一化后的结果示意图。

图7为本发明实施例基于投票决策的DBSCAN聚类算法结果示意图。

图8为本发明实施例本发明物体表面高光特征检测及材质分类的装置的结构示意图。

图9为本发明实施例采集模块示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，本实施例首先提供物体表面高光特征检测与材质分类的方法，包括以下步骤：

S1)、利用HIGHLIGHT光照模型定义并提取物体表面的高光特征h(ρ)，其中，所述的HIGHLIGHT光照模型的为：

I(ρ)＝l(ρ)+g(ρ)·h(ρ)+(1-g(ρ))·n(ρ)；

式中，ρ为观测点到高光质心的距离，l(ρ)为亮度趋势分量，由漫反射生成，主要和物体形状相关；h(ρ)是高光分量，由镜面反射形成，主要和物体表面材质相关；n(ρ)是纹理特征分量，由环境光形成，主要和物体表面纹理相关，可作为噪声分量，|h(ρ)|＞＞|n(ρ)|，抑制因子g(ρ)与距离ρ呈反相关，g(0)＝1。

S2)、通过STFFT-N-L^*算法建立物体表面高光特征h(ρ)的特征描述符D(k，ρ)，具体包括以下步骤：

S201)、以每一个距离点ρ为起点，截取指定长度L做N点短时傅里叶变换，得到一组傅里叶系数向量其中，N固定，L＝L_min：L_step：L_max；

S202)、根据如下公式选取最优截取长度L^*，即

其中，W^t(·)是阈值为t的高频滤波函数，G(·)为几何平均值，判决式c(ρ)如下：

其中，为频率为0时对应的傅里叶系数，为每个傅里叶系数向量中的最大值，BW_3dB(·)为3dB带宽函数，对应傅里叶系数从峰值处下降一半时，傅里叶系数标号的变化值；

S203)、根据筛选出中满足c(ρ)的所有距离ρ′，最终生成高光特征描述符

S3)、利用基于投票决策的聚类算法求解n个高光特征描述符{D_i|i＝1，2，...，n}对应的类别标签{L_i|i＝1，2，...，n}，具体包括以下步骤：

S301)、对于第i个样本的每个方向θ上生成的特征描述符将其归一化到d∈[o，D)的距离范围，得到一组归一化特征描述符

S302)、根据如下公式计算每个角度上对应的有值距离的个数M(θ)，即

其中，sgn(·)为符号函数，满足，

S303)、取M(θ)最大的J个角度上的特征描述符输入聚类算法中，得到聚类标签b_j，即为J票，则最终的第i个样本对应的聚类标签L_i为b_j中票数最多的值。

本实施例以水果分类为例。如图3-a所示的水果表面亮度沿ρ的分布如图3-b中A线所示，通过小波变换滤除亮度趋势分量l(ρ)，如图3-b中B线所示，得到高光特征与纹理特征H(ρ)＝g(ρ)·h(ρ)+(1-g(ρ))·n(ρ)，如图3-b中C线所示。取高光区域的半径R为l(ρ)＝0.2·l_max(ρ)＝0.2·l(0)处对应的ρ。又g(ρ)仅与距离ρ呈反相关，则可取：

其中，D为光源距离物体的最近距离，g(R)＝0。则有

由于|h(ρ)|＞＞|n(ρ)|，则近似有当D远大于高光区域半径R时，H(ρ)≈h(ρ)，ρ∈[0，R)，在图3-b中用垂直虚线标注。

本实施例中，取最小截取长度L_min＝50，最大截取长度L_max＝500，截取间距L_step＝5.取N＝256进行傅里叶变换，则对应每个L，都可得到R个128维向量(傅里叶变换系数对称)，如图4所示，可以看出，当L取值过小时，零频系数过大，即无法提取高光分量的完整波形；当L取值过大时，则距离界限模糊，不能对波形进行准确的定位。

对于不同种类的水果，特征描述符如图5所示，颜色越亮(灰度值越接近255)则对应频谱系数越大，为能量聚集之处。可以看出，对于橙子、橘子这类表面凹凸不平的状态明显的水果，其特征描述符的能量聚集在ρ较小的区域；而对于梨、芒果这类表面较为平坦但纹理丰富的水果，其特征描述符的能量分布在ρ偏大的区域。这与步骤S1)中HIGHLIGHT光照模型的理念是相符的。

取D＝30，最终归一化得到的特征描述符如图6所示。可以看出，归一化后，并不是每个距离点上都有频率分布。而且对应不同的取样角度θ，得到的高光特征描述符也存在一定的差异。

具体地，取J＝6对应213个水果样本，选取DBSCAN聚类算法，聚类结果如图7-a所示。以123个非水果材料样本为样本验证该特征检测算法的普适性，聚类结果如图7-b所示。

如图8所示，本实施例还提供物体表面高光特征检测与材质分类系统，包括：

采集模块，所述采集模块用于通过控制相机配合光源采集具有高光特征的不同材质的物体表面图片；

高光特征检测模块，所述高光特征检测模块利用提出的高光特征检测方法提取并描述高光特征；

补偿模块，补偿模块通过其它特征对高光特征进行补充，共同描述材质特征；

分类模块，所述分类模块将特征描述符输入基于投票的聚类算法，进行物体材质的分类判决。

如图9所示，光源位置与相机位置出于同一处，且相机距离被拍摄物体距离远大于光源半径。由于物体表面高光区域的最大半径近似等于光源半径，则光源可作为是平行光。当光照强度发生改变时，调整相机光圈的大小，使得高光特征观测明显的同时，防止出现过曝。

在水果分类中，先通过亮度趋势函数l_θ(ρ)判断水果形状，对材质进行初步分类，再通过高光特征检测提取描述符进行分类。水果大多为球形或椭球形，则其亮度趋势近似为三角函数。若各个方向上的亮度趋势相差不大，则判定为球形，否则，判定为椭球形。再在分得的两大类中分别做高光特征描述符的聚类。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.物体表面高光特征检测与材质分类的方法，其特征在于，包括以下步骤：

S1)、利用HIGHLIGHT光照模型定义并提取物体表面的高光特征h(ρ)；

S2)、通过STFFT-N-L^*算法建立高光特征h(ρ)的特征描述符D(k,ρ)；

S3)、利用基于投票决策的聚类算法求解n个高光特征描述符{D_i|i＝1,2,...,n}对应的类别标签{L_i|i＝1,2,...,n}。

2.根据权利要求1所述的物体表面高光特征检测与材质分类的方法，其特征在于：步骤S1)中，所述的HIGHLIGHT光照模型的为：

I(ρ)＝l(ρ)+g(ρ)·h(ρ)+(1-g(ρ))·n(ρ)；

式中，ρ为观测点到高光质心的距离，l(ρ)为亮度趋势分量，由漫反射生成，主要和物体形状相关；h(ρ)是高光分量，由镜面反射形成，主要和物体表面材质相关；n(ρ)是纹理特征分量，由环境光形成，主要和物体表面纹理相关，可作为噪声分量，|h(ρ)|＞＞|n(ρ)|，抑制因子g(ρ)与距离ρ呈反相关，g(0)＝1。

3.根据权利要求1所述的物体表面高光特征检测与材质分类的方法，其特征在于：步骤S2)中，利用STFFT-N-L*算法建立高光特征h(ρ)的特征描述符D(k,ρ)，具体包括以下步骤：

S201)、以每一个距离点ρ为起点，截取指定长度L做N点短时傅里叶变换，得到一组傅里叶系数向量其中，N固定，L＝L_min:L_step:L_max；

S202)、根据如下公式选取最优截取长度L*，即

其中，W^t(·)是阈值为t的高频滤波函数，G(·)为几何平均值，判决式c(ρ)如下：

其中，为频率为0时对应的傅里叶系数，为每个傅里叶系数向量中的最大值，BW_3dB(·)为3dB带宽函数，对应傅里叶系数从峰值处下降一半时，傅里叶系数标号的变化值；

S203)、根据筛选出中满足c(ρ)的所有距离ρ'，最终生成高光特征描述符

4.根据权利要求1所述的物体表面高光特征检测与材质分类的方法，其特征在于：步骤S3)中，利用基于投票决策的聚类算法为描述符d_i建立分类标签L_i，具体包括以下步骤：

S301)、对于第i个样本的每个方向θ上生成的特征描述符将其归一化到d∈[0,D)的距离范围，得到一组归一化特征描述符

S302)、根据如下公式计算每个角度上对应的有值距离的个数M(θ)，即

其中，sgn(·)为符号函数，满足，

S303)、取M(θ)最大的J个角度上的特征描述符输入聚类算法中，得到聚类标签b_j，即为J票，则最终的第i个样本对应的聚类标签L_i为b_j中票数最多的值。

5.物体表面高光特征检测与材质分类系统，其特征在于：包括：

采集模块，所述采集模块用于通过控制相机配合光源采集具有高光特征的不同材质的物体表面图片；

高光特征检测模块，所述高光特征检测模块利用提出的高光特征检测方法提取并描述高光特征；

补偿模块，补偿模块通过其它特征对高光特征进行补充，共同描述材质特征；

分类模块，所述分类模块将特征描述符输入基于投票的聚类算法，进行物体材质的分类判决。