CN110689524A - 一种无参考在线图像清晰度评价方法与系统 - Google Patents

Abstract

本发明公开了一种无参考在线图像清晰度评价方法，包括：(1)建立预测模型：针对一类产品，在不同的条件下拍摄多张带有缺陷的产品图像，对图像质量进行专家评分；从产品图像中提取固定大小的缺陷图像；对缺陷图像进行下采样，获得多幅子图像，对子图像的每一个像素计算子图像相似度参数，然后计算子图像相似度参数的若干个统计特征，将统计特征的归一化直方图合并得到清晰度特征向量；将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，训练预测模型；(2)在线获取产品图像，计算该产品图像的清晰度特征向量并将其输入到预测模型得到图像清晰度评分，根据评分实现图像清晰度评价。本发明具有实时性高且结果准确的优点。

Description

一种无参考在线图像清晰度评价方法与系统

技术领域

本发明涉及图像处理中清晰度评价研究领域，特别涉及一种无参考在线图像清晰度评价方法与系统。

背景技术

目前，在产品生产中常采用图像检测系统进行缺陷检测，即通过摄像头获取产品图像，对所获图像进行处理分析来检测缺陷。这种检测方式中图像的分辨率和清晰度会对缺陷检测的准确性产生很大的影响。分辨率取决于摄像头参数，但清晰度却有可能受到环境光照、相机模组的焦距和景深变化、摄像头芯片上的尘埃以及镜头上的灰尘等多方面拍摄条件变化的影响，因此，定期检测图像清晰度是否达到一定的工艺要求是在线缺陷检测的一个必要环节。

一种方式是图像主观评价，该方法是通过人工来判断，这种方式会因为普通的设备操作员没有定量的参照标准，同时未经专业训练很难达到图像清晰度的调校要求。依赖于操作者的经验，不同的操作者调试出来的图像清晰度会存在差异。

另一种是图像客观评价，可分为全参考、半参考和无参考三类图像清晰度评价方法。这种方式可进行图像清晰度自动检测以及保持图像清晰度符合统一的工艺标准。其中，全参考图像清晰度评价比较经典的算法有基于峰值信噪比和基于结构相似性的图像清晰度评价以及基于多尺度的结构相似度图像清晰度评价方法等，但全参考图像清晰度评价应用的前提是参考图像和待测图像的内容和结构上具有一致性，这个一致性大部分需要由拍摄条件一致来保证。在缺陷图像检测系统中很难具备这种一致性条件，也就是说，当检测的产品改变时，光照、拍摄距离和角度、景深、焦距等都需要重新确定，即只要检测的产品有变化，参考图像就改变了。实际上，随产品改变确定参考图像的过程，也是自动评价图像清晰度的功能之一。半参考图像清晰度评价方法是利用参考图像的部分特征进行图像清晰度评价。无参考图像清晰度评价方法是指不需要在线依赖具体的参考图像，通过离线训练的方式建模，通过模型来对图像清晰度进行评价，该方法进行评价时的判断阈值需要离线进行实验，根据实验结果予以确定，否则无法进行在线评价。

发明内容

考虑到针对一类产品设计的缺陷检测设备所采集的图像具有一定的内容和特征相似性，本发明提出一种无参考在线图像清晰度评价方法与系统，其通过采集一批包含缺陷的图像，提取特征，计算特征值，得到评价同类图像清晰度的计算模型，利用该计算模型来进行在线缺陷图像清晰度的评价，具有实时性高且结果准确的优点。

本发明的目的通过以下的技术方案实现：一种无参考在线图像清晰度评价方法，包括步骤：

(1)建立预测模型：针对一类产品，在焦距、光照等略有变化的情况下拍摄多张带有缺陷的产品图像，对图像质量进行专家评分；

计算图像的清晰度特征向量，方法是：

从产品图像中提取固定大小的缺陷图像；

对缺陷图像在水平和垂直方向同时进行2倍下采样，获得四幅子图像D_i，i＝1，2，3，4；

对子图像的每一个像素点p，计算6个子图像相似度参数S_p(i，j)，其中(i，j)取(1，2，3，4)中不重复的组合，公式如下：

其中，c是一个小于预设值的正实数，x_p为p点的横坐标，y_p为p点的纵坐标，D_i(x，y)为第i幅子图像在坐标(x，y)处的像素值，W＝{w_xy，x＝-k，...，0，...k，y＝-k，...，0，...k}是方差为σ的(2k+1)×(2k+1)高斯滤波模板；μ_p(i)是第i幅子图像在像素点p处(2k+1)×(2k+1)窗口范围内的均值，σ_p(i，j)是第i幅子图像和第j幅子图像在像素点p处(2k+1)×(2k+1)窗口范围内的协方差，σ_p(i，i)是第i幅子图像在像素点p处(2k+1)×(2k+1)窗口范围内的方差。

对每一个像素点p，分别计算上述6个子图像相似度参数的统计特征，计算统计特征的归一化直方图，将归一化直方图合并为一个向量，该向量即是图像的清晰度特征向量；

将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，进行非线性回归，得到预测模型；

(2)在线评价：在线获取产品图像，若该图像带有缺陷，则计算该产品图像的清晰度特征向量，将该向量输入到预测模型得到图像清晰度评分，根据评分实现图像清晰度评价。

优选的，所述步骤(1)中，在不同的条件下拍摄多张产品图像，所述的条件包括改变相机焦距、改变光照等。

优选的，所述步骤(1)中，对图像质量进行专家评分，步骤是：

首先，专家为所有产品图像的清晰度进行单独评分，分值在0到100之间，100为最高清晰度，0为最差清晰度；

然后，对每一幅产品图像，将所有专家的评分进行平均，得到每幅图的平均清晰度评分；

最后，判断各分数段的图像数量是否基本相当，如果不均衡，则继续拍摄带有缺陷的产品图像，以增加图像数量，最终使各分数段的图像数量基本相当。

优选的，对每一个像素p，分别计算上述6个子图像相似度参数的统计特征，所述的统计特征包括均值u_p，中值m_p，范围r_p和方差s_p，计算方法是：

r_p＝S_p(i，j)max-S_p(i，j)min

S_p(i，j)₃和S_p(i，j)₄分别表示将6个S_p(i，j)值从小到大排序后的第三个和第四个值，S_p(i，j)_max和S_p(i，j)_min分别表示6个S_p(i，j)值中的最大值和最小值。

优选的，进行非线性回归时，非线性回归方式为采用带径向基函数核的支持向量回归。

一种无参考在线图像清晰度评价系统，包括：

样本数据获取模块，用于针对一类产品，在焦距、光照等略有变化的情况下拍摄多张带有缺陷的产品图像，对图像质量进行专家评分；

清晰度特征向量计算模块，用于从产品图像中提取固定大小的缺陷图像，对缺陷图像进行采样，获得子图像，对子图像的每一个像素点计算相似度参数，计算相似度参数的统计特征以及统计特征的归一化直方图，将归一化直方图合并得到图像的清晰度特征向量；

预测模型训练模块，用于将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，进行非线性回归，得到预测模型；

在线评价模块，用于在线获取产品图像，若该图像带有缺陷，则计算该产品图像的清晰度特征向量，将该向量输入到训练好的预测模型得到图像清晰度评分，根据评分实现图像清晰度评价。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明针对每一类带有缺陷的产品图像进行特征提取，提取图像的清晰度特征向量，根据该清晰度特征向量和专家评分构建和训练预测模型，根据该预测模型，可以实现在线自动判断所采集的缺陷图像的清晰度是否达到工艺要求，辅助摄像头模组调试工作，在图像清晰度没有达到预定要求时予以报警等。本发明通过该模型可以保证在线图像清晰度的一致性，作为使缺陷检测算法有效的基础。

2、本发明提取的图像的清晰度特征向量，在现有结构相似性(structuralsimilarity index，SSIM)方法上进行改进，通过水平和垂直方向同时进行2倍下采样，得到四幅子图像，对子图像分别进行特征提取后再计算统计特征，将统计特征信息作为清晰度特征向量，该向量能够更准确体现图像清晰程度，相较于现有技术，具有准确性高的优点。

附图说明

图1是本发明实施例中建立预测模型流程图。

图2是本发明实施例中在线评价流程图。

图3是本发明实施例中产品图像示例。

图4是本发明实施例中缺陷图像示例。

图5是本发明实施例中下采样方案及示例。

图6是本发明实施例中四个统计特征的归一化直方图。

图7是本发明实施例中使用模型的预测结果。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

由于缺陷检测时，针对同一类的产品，其缺陷具有一定的内容和特征相似性，本发明利用这种相似性，提出一种无参考、可在线的图像清晰度评价方法，该方法要构建模型进行训练学习，因此关键的问题是选择特征值，构成特征向量，本发明通过对特征值的优化选取，能够实现准确的评价效果。下面结合附图，对本发明实施例所述的图像清晰度评价方法进行具体的说明。

参见图1、2，本实施例一种图像清晰度评价方法，主要包括建立预测模型以及在线评价两个阶段。

一、建立预测模型

预测模型是指图像清晰度特征向量与图像清晰度评分之间的关系方程，同一类产品可以用同一个预测模型。参见图1，步骤如下：

(1-1)选取N个同样材质有带缺陷的产品，在不同的拍摄条件下(例如改变相机焦距，改变光照等等)为每个产品拍摄M张图像，如图3所示。本实施例中N取10，M取20。

(1-2)找10位专家为所有产品图像的清晰度进行单独评分，记录上述各图像的得分。可将分值设置在0到100之间，100为最高清晰度，0为最差清晰度。

(1-3)对10位专家的评分进行平均，得到每幅图的平均清晰度评分，观察分数分布情况，如果分布不够均衡，则可能影响后面训练的准确性，回到步骤(1-1)，进一步增加图像数量，使各分数段的图像数量基本相当。

(1-4)计算所述图像的清晰度特征向量。每一张图的清晰度特征向量计算具体步骤如下：

(1-4-1)从所述图像中提取固定大小的缺陷图像。本实施例中图像长宽均为200，如图4所示。

(1-4-2)如图5所示，在水平和垂直方向同时进行2倍下采样，获得四幅子图像D_i，i＝1，2，3，4。

(1-4-3)对子图像的每一个像素p，计算6个子图像相似度参数S_p(i，j)(其中(i，j)取(1，2，3，4)中不重复的组合)，公式如下：

其中，c是一个很小的正实数，x_p为p点的横坐标，y_p为p点的纵坐标，D_i(x，y)为第i幅子图在坐标(x，y)处的像素值，W＝{w_xy，x＝-k，...，0，...k，y＝-k，...，0，...k}是方差为σ的(2k+1)×(2k+1)高斯滤波模板。本实施例中，c＝10^-5，σ＝1，k＝5。

(1-4-4)对每一个像素p，分别计算上述6个子图像相似度参数的四个统计特征：均值u_p，中值m_p，范围r_p和方差s_p。

(1-4-5)分别统计u_p、m_p、r_p和s_p的归一化直方图，如图6所示。

(1-4-6)将这四个归一化直方图合并为一个向量，该向量即是图像的清晰度特征向量。

(1-5)将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，进行非线性回归，得到预测模型。本实施例中非线性回归方式为采用带径向基函数核的支持向量回归。

二、在线评价

参见图2，该阶段属于在线应用阶段，步骤如下：

(2-1)在线拍摄一张产品图像。

(2-2)如果该图像带有缺陷，则进行图像清晰度评价，否则就不对这张图片进行清晰度评价。

(2-3)计算该产品图像的清晰度特征向量，计算方法与步骤(1-4)的方法一致。

(2-4)将该清晰度特征向量作为输入，用第一阶段得到的预测模型进行预测，得到图像清晰度评分。

(2-5)将该图像清晰度评分与设定阈值进行比对，如果评分大于设定阈值，则认为图像清晰度合格，不用调整相机，否则认为图像清晰度不合格，需重新调整相机。

如图7所示，本示例使用80个样本训练得到预测模型，然后使用30个新输入样本进行预测，以评估其预测效果，图7中X轴代表专家人工评分值，Y轴表示预测分值，通过线性拟合，均方误差(RMSE)为6.848，预测效果图以及均方误差值表明本发明的预测准确度较好，可以达到工艺要求。

实施例2

一种无参考在线图像清晰度评价系统，包括：

样本数据获取模块，用于针对一类产品，在不同的条件下拍摄多张带有缺陷的产品图像，对图像质量进行专家评分；

清晰度特征向量计算模块，用于从产品图像中提取固定大小的缺陷图像，对缺陷图像进行采样，获得子图像，对子图像的每一个像素点计算相似度参数，计算相似度参数的统计特征以及统计特征的归一化直方图，将归一化直方图合并得到图像的清晰度特征向量；

预测模型训练模块，用于将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，进行非线性回归，得到预测模型；

在线评价模块，用于在线获取产品图像，若该图像带有缺陷，则计算该产品图像的清晰度特征向量，将该向量输入到训练好的预测模型得到图像清晰度评分，根据评分实现图像清晰度评价。

其中，本实施例清晰度特征向量计算模块中计算清晰度特征向量的方法参见实施例1。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种无参考在线图像清晰度评价方法，其特征在于，包括步骤：

(1)建立预测模型：针对一类产品，在不同的条件下拍摄多张带有缺陷的产品图像，对图像质量进行专家评分；

计算图像的清晰度特征向量，方法是：

从产品图像中提取固定大小的缺陷图像；

对缺陷图像在水平和垂直方向同时进行2倍下采样，获得四幅子图像D_i,i＝1,2,3,4；

对子图像的每一个像素点p，计算6个子图像相似度参数S_p(i,j)，其中(i,j)取(1,2,3,4)中不重复的组合，公式如下：

其中，c是一个小于预设值的正实数，x_p为p点的横坐标，y_p为p点的纵坐标，D_i(x,y)为第i幅子图像在坐标(x,y)处的像素值，W＝{w_xy,x＝-k,…,0,…k,y＝-k,…,0,…k}是方差为σ的(2k+1)×(2k+1)高斯滤波模板；μ_p(i)是第i幅子图像在像素点p处(2k+1)×(2k+1)窗口范围内的均值，σ_p(i,j)是第i幅子图像和第j幅子图像在像素点p处(2k+1)×(2k+1)窗口范围内的协方差，σ_p(i,i)是第i幅子图像在像素点p处(2k+1)×(2k+1)窗口范围内的方差；

对每一个像素点p，分别计算上述6个子图像相似度参数的统计特征，计算统计特征的归一化直方图，将归一化直方图合并为一个向量，该向量即是图像的清晰度特征向量；

将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，进行非线性回归，得到预测模型；

(2)在线评价：在线获取产品图像，若该图像带有缺陷，则计算该产品图像的清晰度特征向量，将该向量输入到预测模型得到图像清晰度评分，根据评分实现图像清晰度评价。

2.根据权利要求1所述的无参考在线图像清晰度评价方法，其特征在于，所述步骤(1)中，在不同的条件下拍摄多张产品图像，所述的条件包括改变相机焦距、改变光照。

3.根据权利要求1所述的无参考在线图像清晰度评价方法，其特征在于，所述步骤(1)中，对图像质量进行专家评分，步骤是：

首先，专家为所有产品图像的清晰度进行单独评分，分值在0到100之间，100为最高清晰度，0为最差清晰度；

然后，对每一幅产品图像，将所有专家的评分进行平均，得到每幅图的平均清晰度评分；

最后，判断各分数段的图像数量是否基本相当，如果不均衡，则继续拍摄带有缺陷的产品图像，以增加图像数量，最终使各分数段的图像数量基本相当。

4.根据权利要求1所述的无参考在线图像清晰度评价方法，其特征在于，对每一个像素p，分别计算上述6个子图像相似度参数的统计特征，所述的统计特征包括均值u_p，中值m_p，范围r_p和方差s_p，计算方法是：

r_p＝S_p(i,j)_max-S_p(i,j)_min

S_p(i,j)₃和S_p(i,j)₄分别表示将6个S_p(i,j)值从小到大排序后的第三个和第四个值，S_p(i,j)_max和S_p(i,j)_min分别表示6个S_p(i,j)值中的最大值和最小值。

5.根据权利要求1所述的无参考在线图像清晰度评价方法，其特征在于，进行非线性回归时，非线性回归方式为采用带径向基函数核的支持向量回归。

6.一种无参考在线图像清晰度评价系统，其特征在于，包括：

样本数据获取模块，用于针对一类产品，在不同的条件下拍摄多张带有缺陷的产品图像，对图像质量进行专家评分；

清晰度特征向量计算模块，用于从产品图像中提取固定大小的缺陷图像，对缺陷图像进行采样，获得子图像，对子图像的每一个像素点计算相似度参数，计算相似度参数的统计特征以及统计特征的归一化直方图，将归一化直方图合并得到图像的清晰度特征向量；

预测模型训练模块，用于将所有图像的清晰度特征向量作为输入量，专家评分作为输出预测值，进行非线性回归，得到预测模型；

在线评价模块，用于在线获取产品图像，若该图像带有缺陷，则计算该产品图像的清晰度特征向量，将该向量输入到训练好的预测模型得到图像清晰度评分，根据评分实现图像清晰度评价。

Images