CN115908774B - 一种基于机器视觉的变形物资的品质检测方法和装置 - Google Patents

Abstract

本发明涉及物资检测技术，揭露了一种基于机器视觉的变形物资的品质检测方法，包括：对目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片；对目标初级图片进行畸变矫正以及图像分割，得到目标标准图片；并将目标标准图片的颜色特征、纹理特征以及形状特征汇集成待检测物资的品质特征集；对品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与物资种类对应的品质系数集，利用品质系数集以及品质特征集计算出目标物资对应的品质分值；选取品质分值对应的品质标注作为待检测物资的物资品质。本发明还提出一种基于机器视觉的变形物资的品质检测装置。本发明可以提高物资品质检测的效率。

Description

一种基于机器视觉的变形物资的品质检测方法和装置

技术领域

本发明涉及物资检测技术领域，尤其涉及一种基于机器视觉的变形物资的品质检测方法和装置。

背景技术

随着人们生活水平的提高，物资供应商开始在市面上提供越来越多的物资，这也进一步增加了物资管理人员的工作量，为了方便物资管理，需要对于物资进行分类与品质检测。

现有的物资品质检测技术多为基于人工的品质检测，例如，通过统计供应商的个人信息数据，并由专业人员通过对过去的数据、资料的总结，结合自身经验进行分析和判断，为每份物资进行品质标注和分类，实际应用中，基于人工的品质检测耗时耗力，很难及时实现物资的分配关系，且人工检测难免会有疏漏，可能导致对物资进行品质检测的效率较低。

发明内容

本发明提供一种基于机器视觉的变形物资的品质检测方法和装置，其主要目的在于解决对物资进行品质检测的效率较低的问题。

为实现上述目的，本发明提供的一种基于机器视觉的变形物资的品质检测方法，包括：

获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片；

对所述目标初级图片进行畸变矫正，得到目标次级图片，利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片；

分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，并将所述颜色特征、所述纹理特征以及所述形状特征汇集成所述待检测物资的品质特征集；

利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与所述物资种类对应的品质系数集，利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，其中，所述利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，包括：

利用如下的品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值：

其中，是指所述品质分值，是向上取整符号，是所述品质系数集中的颜色阶数，是所述品质系数集中的纹理阶数，是所述品质系数集中的形状阶数，是所述品质系数集中的色彩分值系数，是所述品质系数集中的色度分值系数，是所述品质系数集中的亮度分值系数，是所述品质系数集中的纹理分值系数，是所述品质系数集中的平滑分值系数，是所述品质系数集中的三阶分值系数，是所述品质系数集中的周长分值系数，是所述品质系数集中的面积分值系数，是所述品质系数集中的圆形分值系数，是所述品质系数集中的椭圆分值系数，是所述品质系数集中的矩形分值系数，是指所述品质特征集中的色彩系数，是指所述品质特征集中的色度系数，是指所述品质特征集中的亮度系数，是指所述品质特征集中的纹理度，是指所述品质特征集中的平滑度，是指所述品质特征集中的三阶矩，是指所述品质特征集中的周长，是指所述品质特征集中的面积，是指所述品质特征集中的圆形度，是指所述品质特征集中的椭圆度，是指所述品质特征集中的矩形度；

选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质。

可选地，所述获取待检测物资的目标物资图片，包括：

利用预设的测距组件获取摄像组件与待检测物资之间的摄像距离；

根据所述摄像距离计算出误差距离，并按照所述误差距离调节所述摄像组件的高度；

利用预设的光源组件对所述待检测物资进行光照投影，利用调节高度后的所述摄像组件对光照投影下的所述待检测物资进行拍摄，得到目标物资图片。

可选地，所述对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片，包括：

对所述目标物资图片进行图片灰度化操作，得到目标灰度图片；

对所述目标灰度图片进行高斯滤波操作，得到目标初级图片。

可选地，所述对所述目标初级图片进行畸变矫正，得到目标次级图片，包括：

获取所述目标初级图片对应的摄像组件的畸变内参；

逐一选取所述目标初级图片中的像素点作为目标像素点，将所述目标像素点在所述目标初级图片中的横坐标作为目标横坐标，将所述目标像素点在所述目标初级图片中的纵坐标作为目标纵坐标；

利用如下的畸变校正算法根据所述畸变内参计算出所述目标横坐标对应的校正横坐标以及所述目标纵坐标对应的校正纵坐标：

其中，是指所述校正横坐标，是指所述校正纵坐标，是指所述目标横坐标，是指所述目标纵坐标，是泰勒级数展开式的第一项，是泰勒级数展开式的第二项，是指所述畸变内参，是所述畸变校正算法的第一矫正参数，是指所述畸变校正算法的第二矫正参数；

根据所述校正横坐标以及所述校正纵坐标确定出校正坐标，直至所述目标像素点为所述目标初级图片中的最后一个像素点时，根据所有的所述目标像素点以及所述校正坐标生成所述目标次级图片。

可选地，所述利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片，包括：

对所述目标次级图片进行图像二值化操作，得到目标二值图片；

从所述目标二值图片中提取出二值区域，对所述目标二值图片中的所述二值区域进行距离变换，得到目标距离图片；

对所述目标距离图片进行图片反转，得到目标反转图片；

利用预设的分水岭算法对所述目标反转图片进行图片分割，得到分水区域；

计算所述分水区域和所述二值区域的交集区域，并将所述交集区域对应的图片作为所述目标标准图片。

可选地，所述分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，包括：

从所述目标物资图片中提取出所述目标标准图片对应的图片作为目标色彩图片；

从所述目标色彩图片中提取出色彩系数、色度系数以及亮度系数，将所述色彩系数、所述色度系数以及所述亮度系数汇集成颜色特征；

分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，将所述纹理度、所述平滑度以及所述三阶矩汇集成纹理特征；

分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度、将所述周长、所述面积、所述圆形度、所述椭圆度以及所述矩形度汇集成形状特征。

可选地，所述分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，包括：

利用如下的纹理度算法计算出所述目标标准图片的纹理度：

其中，是指所述纹理度，是指所述目标标准图片的横向像素点总数，是指所述目标标准图片的纵向像素点总数，是指第个横向像素点，是指第个纵向像素点，是预设的横向取样长度，是预设的纵向取样长度，是绝对值函数，是灰度值函数，是指所述目标标准图片中坐标为的像素点的灰度值，是指所述目标标准图片中坐标为的像素点的灰度值；

计算出所述目标标准图片的像素灰度梯度，并利用如下的平滑度算法根据所述像素灰度梯度计算出所述目标标准图片的平滑度：

其中，是指所述平滑度，是指所述像素灰度梯度；

利用如下的三阶矩算法计算出所述目标标准图片的三阶矩：

其中，是指所述三阶矩，是所述目标标准图片中的第个像素，是指所述目标标准图片的像素总数，是指所述目标标准图片中的第个像素的亮度，是灰度级函数，代表一个区域中灰度级的直方图。

可选地，所述分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度，包括：

对所述目标标准图片的像素数量进行统计，得到所述目标标准图片对应的周长、面积、长轴以及短轴；

根据所述周长和面积计算出所述目标标准图片的圆形度；

根据所述长轴以及所述短轴计算出所述目标标准图片的椭圆度；

生成所述目标标准图片的外接矩形，根据所述外接矩形和所述目标标准图片的面积计算出所述目标标准图片的矩形度。

可选地，所述利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，包括：

利用预先训练的物资识别模型逐个为所述品质特征集中的特征添加位置编码，得到初级语义特征集；

利用所述物资识别模型的编译器对所述初级语义特征集中的特征进行多层次特征融合，得到次级语义特征集；

利用所述物资识别模型的解码器对所述次级语义特征集进行逐级解码，得到标准语义特征集；

对所述标准语义特征集中的特征进行归一化操作，得到标准语义，并根据所述标准语义匹配出物资种类。

为了解决上述问题，本发明还提供一种基于机器视觉的变形物资的品质检测装置，所述装置包括：

图片去噪模块，用于获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片；

图片分割模块，用于对所述目标初级图片进行畸变矫正，得到目标次级图片，利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片；

特征提取模块，用于分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，并将所述颜色特征、所述纹理特征以及所述形状特征汇集成所述待检测物资的品质特征集；

品质分值模块，用于利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与所述物资种类对应的品质系数集，利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，其中，所述利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，包括：利用如下的品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值：

其中，是指所述品质分值，是向上取整符号，是所述品质系数集中的颜色阶数，是所述品质系数集中的纹理阶数，是所述品质系数集中的形状阶数，是所述品质系数集中的色彩分值系数，是所述品质系数集中的色度分值系数，是所述品质系数集中的亮度分值系数，是所述品质系数集中的纹理分值系数，是所述品质系数集中的平滑分值系数，是所述品质系数集中的三阶分值系数，是所述品质系数集中的周长分值系数，是所述品质系数集中的面积分值系数，是所述品质系数集中的圆形分值系数，是所述品质系数集中的椭圆分值系数，是所述品质系数集中的矩形分值系数，是指所述品质特征集中的色彩系数，是指所述品质特征集中的色度系数，是指所述品质特征集中的亮度系数，是指所述品质特征集中的纹理度，是指所述品质特征集中的平滑度，是指所述品质特征集中的三阶矩，是指所述品质特征集中的周长，是指所述品质特征集中的面积，是指所述品质特征集中的圆形度，是指所述品质特征集中的椭圆度，是指所述品质特征集中的矩形度；

品质标注模块，用于选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质。

本发明实施例通过获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片，可以方便后续确定待检测物资的大小特征，并减少后续特征提取的计算量，提高检测速度，通过对所述目标初级图片进行畸变矫正，得到目标次级图片，可以去除因为相机镜头导致的图形畸变，提高后续形状特征的准确性，通过利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片可以较为完整的保留物资的边缘特征，从而提高后续品质检测的精确度，通过提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，可以在颜色、纹理以及形状三种维度上对所述待检测物资进行表述，从而方便后续的品质检测；

通过利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，可以为每种物质制定对应的评分标准，并按照颜色、纹理以及形状分贝对目标物资进行品质打分，从而得到更加精确全面的品质分值，通过选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质，可以对待检测物资的物资品质进行规格化评判，提高品质检测的效率。因此本发明提出的基于机器视觉的变形物资的品质检测方法和装置，可以解决对物资进行品质检测的效率较低的问题。

附图说明

图1为本发明一实施例提供的基于机器视觉的变形物资的品质检测方法的流程示意图；

图2为本发明一实施例提供的分割目标次级图片的流程示意图；

图3为本发明一实施例提供的提取颜色特征、纹理特征以及形状特征的流程示意图；

图4为本发明一实施例提供的基于机器视觉的变形物资的品质检测装置的功能模块图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于机器视觉的变形物资的品质检测方法。所述基于机器视觉的变形物资的品质检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于机器视觉的变形物资的品质检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示，为本发明一实施例提供的基于机器视觉的变形物资的品质检测方法的流程示意图。在本实施例中，所述基于机器视觉的变形物资的品质检测方法包括：

S1、获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片。

本发明实施例中，所述待检测物资可以是食品、药品或服装等物资，通过对物资进行品质检测，可以方便对物资进行分级管理。

本发明实施例中，所述获取待检测物资的目标物资图片，包括：

利用预设的测距组件获取摄像组件与待检测物资之间的摄像距离；

根据所述摄像距离计算出误差距离，并按照所述误差距离调节所述摄像组件的高度；

利用预设的光源组件对所述待检测物资进行光照投影，利用调节高度后的所述摄像组件对光照投影下的所述待检测物资进行拍摄，得到目标物资图片。

详细地，所述测距组件可以是激光测距仪或红外测距仪，所述误差距离是摄像距离与固定的最佳拍摄距离之间的距离差值，所述按照所述误差距离调节所述摄像组件的高度是指将所述摄像组件的高度调节至于所述待检测物资之间距离为最佳拍摄距离对应的位置，所述光源组件可以是LED阵列。

详细地，所述对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片，包括：

对所述目标物资图片进行图片灰度化操作，得到目标灰度图片；

对所述目标灰度图片进行高斯滤波操作，得到目标初级图片。

详细地，可以按照黑色权重0.114、绿色权重0.578、红色权重0.299的配比计算出所述目标物资图片中每个像素的灰度值，从而实现图片灰度化，得到目标灰度图片；可以利用高斯滤波算法计算出所述目标灰度图片的高斯卷积核，并利用所述高斯卷积核对所述目标灰度图片进行高斯滤波操作，得到目标初级图片。

本发明实施例中，通过获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片，可以方便后续确定待检测物资的大小特征，并减少后续特征提取的计算量，提高检测速度。

S2、对所述目标初级图片进行畸变矫正，得到目标次级图片，利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片。

本发明实施例中，所述对所述目标初级图片进行畸变矫正，得到目标次级图片，包括：

获取所述目标初级图片对应的摄像组件的畸变内参；

逐一选取所述目标初级图片中的像素点作为目标像素点，将所述目标像素点在所述目标初级图片中的横坐标作为目标横坐标，将所述目标像素点在所述目标初级图片中的纵坐标作为目标纵坐标；

利用如下的畸变校正算法根据所述畸变内参计算出所述目标横坐标对应的校正横坐标以及所述目标纵坐标对应的校正纵坐标：

其中，是指所述校正横坐标，是指所述校正纵坐标，是指所述目标横坐标，是指所述目标纵坐标，是泰勒级数展开式的第一项，是泰勒级数展开式的第二项，是指所述畸变内参，是所述畸变校正算法的第一矫正参数，是指所述畸变校正算法的第二矫正参数；

根据所述校正横坐标以及所述校正纵坐标确定出校正坐标，直至所述目标像素点为所述目标初级图片中的最后一个像素点时，根据所有的所述目标像素点以及所述校正坐标生成所述目标次级图片。

详细地，通过利用如下的畸变校正算法根据所述畸变内参计算出所述目标横坐标对应的校正横坐标以及所述目标纵坐标对应的校正纵坐标，可以消除所述目标初级图片因为镜头鱼眼效应造成的图像畸变，从而提高后续形状特征和纹理特征的准确性。

详细地，参照图2所示，所述利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片，包括：

S21、对所述目标次级图片进行图像二值化操作，得到目标二值图片；

S22、从所述目标二值图片中提取出二值区域，对所述目标二值图片中的所述二值区域进行距离变换，得到目标距离图片；

S23、对所述目标距离图片进行图片反转，得到目标反转图片；

S24、利用预设的分水岭算法对所述目标反转图片进行图片分割，得到分水区域；

S25、计算所述分水区域和所述二值区域的交集区域，并将所述交集区域对应的图片作为所述目标标准图片。

本发明实施例中，所述对所述目标次级图片进行图像二值化操作，得到目标二值图片是指利用阈值分割的方法，将灰度大于预设的灰度阈值的像素灰度置为255，将灰度小于或等于所述灰度阈值的像素灰度置为0，所述从所述目标二值图片中提取出二值区域是指将所述目标二值图片中灰度值为255部分的作为二值区域。

详细地，所述对所述目标二值图片中的所述二值区域进行距离变换，得到目标距离图片，是指逐个选取所述二值区域中的像素作为目标像素，计算出所述目标像素距离灰度空值像素点的最短距离，并将所述最短距离作为所述目标像素的灰度值，直至所述目标像素是所述二值区域中的最后一个像素点时，得到目标距离图片，其中，所述灰度空值像素点是指灰度值为0的像素点。

详细地，所述对所述目标距离图片进行图片反转，得到目标反转图片是指将目标距离图片中每个像素的灰度值变为255减去原灰度值。

具体地，所述利用预设的分水岭算法对所述目标反转图片进行图片分割，得到分水区域，是指将所述目标反转图片中的各个像素的灰度减去预设的灰度阈值，并将灰度更新后灰度值为正数的像素点进行串联，得到灰度分割线，利用所述灰度分割线对所述目标反转图片进行图片分割，得到分水图片。

本发明实施例中，通过对所述目标初级图片进行畸变矫正，得到目标次级图片，可以去除因为相机镜头导致的图形畸变，提高后续形状特征的准确性，通过利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片可以较为完整的保留物资的边缘特征，从而提高后续品质检测的精确度。

S3、分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，并将所述颜色特征、所述纹理特征以及所述形状特征汇集成所述待检测物资的品质特征集。

本发明实施例中，参照图3所示，所述分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，包括：

S31、从所述目标物资图片中提取出所述目标标准图片对应的图片作为目标色彩图片；

S32、从所述目标色彩图片中提取出色彩系数、色度系数以及亮度系数，将所述色彩系数、所述色度系数以及所述亮度系数汇集成颜色特征；

S33、分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，将所述纹理度、所述平滑度以及所述三阶矩汇集成纹理特征；

S34、分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度、将所述周长、所述面积、所述圆形度、所述椭圆度以及所述矩形度汇集成形状特征。

详细地，可以将所述目标色彩图片转化为HSV色彩空间类型，并根据所述HSV色彩空间从所述目标色彩图片中提取出色彩系数、色度系数以及亮度系数，其中，色彩系数是指RGB每种颜色的比例，色度系数是指不包括亮度在内的颜色的性质，反映的是颜色的饱和度。

本发明实施例中，所述分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，包括：

利用如下的纹理度算法计算出所述目标标准图片的纹理度：

其中，是指所述纹理度，是指所述目标标准图片的横向像素点总数，是指所述目标标准图片的纵向像素点总数，是指第个横向像素点，是指第个纵向像素点，是预设的横向取样长度，是预设的纵向取样长度，是绝对值函数，是灰度值函数，是指所述目标标准图片中坐标为的像素点的灰度值，是指所述目标标准图片中坐标为的像素点的灰度值；

计算出所述目标标准图片的像素灰度梯度，并利用如下的平滑度算法根据所述像素灰度梯度计算出所述目标标准图片的平滑度：

其中，是指所述平滑度，是指所述像素灰度梯度；

利用如下的三阶矩算法计算出所述目标标准图片的三阶矩：

其中，是指所述三阶矩，是所述目标标准图片中的第个像素，是指所述目标标准图片的像素总数，是指所述目标标准图片中的第个像素的亮度，是灰度级函数，代表一个区域中灰度级的直方图。

本发明实施例中，通过利用所述纹理度算法计算出所述目标标准图片的纹理度，可以表达出所述目标标准图片中像素纹理的变化趋势，通过利用所述平滑度算法根据所述像素灰度梯度计算出所述目标标准图片的平滑度，可以反应所述目标标准图片中像素灰度的变化趋势，通过利用所述三阶矩算法计算出所述目标标准图片的三阶矩，能够反映出目标标准图片中区域之间的灰度趋势。

详细地，所述分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度，包括：

对所述目标标准图片的像素数量进行统计，得到所述目标标准图片对应的周长、面积、长轴以及短轴；

根据所述周长和面积计算出所述目标标准图片的圆形度；

根据所述长轴以及所述短轴计算出所述目标标准图片的椭圆度；

生成所述目标标准图片的外接矩形，根据所述外接矩形和所述目标标准图片的面积计算出所述目标标准图片的矩形度。

详细地，所述长轴是指经过所述目标标准图片的最长线段的长度，所述短轴是指经过所述目标标准图片的最短线段的长度，所述根据所述周长和面积计算出所述目标标准图片的圆形度是指将所述面积乘以四倍圆周率除以周长的平方得到圆形度，所述根据所述长轴以及所述短轴计算出所述目标标准图片的椭圆度是指利用一减去所述短轴除以长轴的结果，并进行开方得到椭圆度，所述根据所述外接矩形和所述目标标准图片的面积计算出所述目标标准图片的矩形度是指利用所述外接矩形的面积除以所述目标标准图片的面积得到所述矩形度。

本发明实施例中，通过提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，可以在颜色、纹理以及形状三种维度上对所述待检测物资进行表述，从而方便后续的品质检测。

S4、利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与所述物资种类对应的品质系数集，利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值。

本发明实施例中，所述利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，包括：

利用预先训练的物资识别模型逐个为所述品质特征集中的特征添加位置编码，得到初级语义特征集；

利用所述物资识别模型的编译器对所述初级语义特征集中的特征进行多层次特征融合，得到次级语义特征集；

利用所述物资识别模型的解码器对所述次级语义特征集进行逐级解码，得到标准语义特征集；

对所述标准语义特征集中的特征进行归一化操作，得到标准语义，并根据所述标准语义匹配出物资种类。

详细地，所述物资识别模型可以是根据大量的品质特征集和标注品质后的物资训练的transformer模型，所述编译器是指所述transformer模型的Encoder，所述解码器是指所述所述transformer模型的Decoder。

详细地，所述品质系数库中包含着不同物资种类对应的品质系数集，所述品质系数集包含颜色阶数、纹理阶数、形状阶数、色彩分值系数、色度分值系数、亮度分值系数、纹理分值系数、平滑分值系数、三阶分值系数、周长分值系数面积分值系数、圆形分值系数、椭圆分值系数以及矩形分值系数。

详细地，所述利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，包括：

利用如下的品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值：

其中，是指所述品质分值，是向上取整符号，是所述品质系数集中的颜色阶数，是所述品质系数集中的纹理阶数，是所述品质系数集中的形状阶数，是所述品质系数集中的色彩分值系数，是所述品质系数集中的色度分值系数，是所述品质系数集中的亮度分值系数，是所述品质系数集中的纹理分值系数，是所述品质系数集中的平滑分值系数，是所述品质系数集中的三阶分值系数，是所述品质系数集中的周长分值系数，是所述品质系数集中的面积分值系数，是所述品质系数集中的圆形分值系数，是所述品质系数集中的椭圆分值系数，是所述品质系数集中的矩形分值系数，是指所述品质特征集中的色彩系数，是指所述品质特征集中的色度系数，是指所述品质特征集中的亮度系数，是指所述品质特征集中的纹理度，是指所述品质特征集中的平滑度，是指所述品质特征集中的三阶矩，是指所述品质特征集中的周长，是指所述品质特征集中的面积，是指所述品质特征集中的圆形度，是指所述品质特征集中的椭圆度，是指所述品质特征集中的矩形度。

详细地，通过利用所述品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，可以按照颜色、纹理以及形状分贝对目标物资进行品质打分，从而得到更加全面的品质分值。

本发明实施例中，通过利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，可以为每种物质制定对应的评分标准，并按照颜色、纹理以及形状分贝对目标物资进行品质打分，从而得到更加精确全面的品质分值。

S5、选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质。

本发明实施例中，所述分值区间是预设的由多个按照品质分值的数值大小构成的区间，且每个分值区间都预先标注了物资的品质，例如0-20的分值区间为极差的品质，20-40的分值区间为差的品质，40-60的分值区间为较差的品质，60-80的分值区间为较好的品质，80-100的分值区间为优秀的品质。

本发明实施例中，通过选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质，可以对待检测物资的物资品质进行规格化评判，提高品质检测的效率。

本发明实施例通过获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片，可以方便后续确定待检测物资的大小特征，并减少后续特征提取的计算量，提高检测速度，通过对所述目标初级图片进行畸变矫正，得到目标次级图片，可以去除因为相机镜头导致的图形畸变，提高后续形状特征的准确性，通过利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片可以较为完整的保留物资的边缘特征，从而提高后续品质检测的精确度，通过提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，可以在颜色、纹理以及形状三种维度上对所述待检测物资进行表述，从而方便后续的品质检测；

通过利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，可以为每种物质制定对应的评分标准，并按照颜色、纹理以及形状分贝对目标物资进行品质打分，从而得到更加精确全面的品质分值，通过选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质，可以对待检测物资的物资品质进行规格化评判，提高品质检测的效率。因此本发明提出的基于机器视觉的变形物资的品质检测方法，可以解决对物资进行品质检测的效率较低的问题。

如图4所示，是本发明一实施例提供的基于机器视觉的变形物资的品质检测装置的功能模块图。

本发明所述基于机器视觉的变形物资的品质检测装置100可以安装于电子设备中。根据实现的功能，所述基于机器视觉的变形物资的品质检测装置100可以包括图片去噪模块101、图片分割模块102、特征提取模块103、品质分值模块104及品质标注模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述图片去噪模块101，用于获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片；

所述图片分割模块102，用于对所述目标初级图片进行畸变矫正，得到目标次级图片，利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片；

所述特征提取模块103，用于分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，并将所述颜色特征、所述纹理特征以及所述形状特征汇集成所述待检测物资的品质特征集；

所述品质分值模块104，用于利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与所述物资种类对应的品质系数集，利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，其中，所述利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，包括：利用如下的品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值：

其中，是指所述品质分值，是向上取整符号，是所述品质系数集中的颜色阶数，是所述品质系数集中的纹理阶数，是所述品质系数集中的形状阶数，是所述品质系数集中的色彩分值系数，是所述品质系数集中的色度分值系数，是所述品质系数集中的亮度分值系数，是所述品质系数集中的纹理分值系数，是所述品质系数集中的平滑分值系数，是所述品质系数集中的三阶分值系数，是所述品质系数集中的周长分值系数，是所述品质系数集中的面积分值系数，是所述品质系数集中的圆形分值系数，是所述品质系数集中的椭圆分值系数，是所述品质系数集中的矩形分值系数，是指所述品质特征集中的色彩系数，是指所述品质特征集中的色度系数，是指所述品质特征集中的亮度系数，是指所述品质特征集中的纹理度，是指所述品质特征集中的平滑度，是指所述品质特征集中的三阶矩，是指所述品质特征集中的周长，是指所述品质特征集中的面积，是指所述品质特征集中的圆形度，是指所述品质特征集中的椭圆度，是指所述品质特征集中的矩形度；

所述品质标注模块105，用于选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质。

详细地，本发明实施例中所述基于机器视觉的变形物资的品质检测装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于机器视觉的变形物资的品质检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种基于机器视觉的变形物资的品质检测方法，其特征在于，所述方法包括：

S1：获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片；

S2：对所述目标初级图片进行畸变矫正，得到目标次级图片，利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片；

S3：分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，并将所述颜色特征、所述纹理特征以及所述形状特征汇集成所述待检测物资的品质特征集；

所述分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，包括：

从所述目标物资图片中提取出所述目标标准图片对应的图片作为目标色彩图片；

从所述目标色彩图片中提取出色彩系数、色度系数以及亮度系数，将所述色彩系数、所述色度系数以及所述亮度系数汇集成颜色特征；

分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，将所述纹理度、所述平滑度以及所述三阶矩汇集成纹理特征；

所述分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，包括：

利用如下的纹理度算法计算出所述目标标准图片的纹理度：

其中，是指所述纹理度，是指所述目标标准图片的横向像素点总数，是指所述目标标准图片的纵向像素点总数，是指第个横向像素点，是指第个纵向像素点，是预设的横向取样长度，是预设的纵向取样长度，是绝对值函数，是灰度值函数，是指所述目标标准图片中坐标为的像素点的灰度值，是指所述目标标准图片中坐标为的像素点的灰度值；

计算出所述目标标准图片的像素灰度梯度，并利用如下的平滑度算法根据所述像素灰度梯度计算出所述目标标准图片的平滑度：

其中，是指所述平滑度，是指所述像素灰度梯度；

利用如下的三阶矩算法计算出所述目标标准图片的三阶矩：

其中，是指所述三阶矩，是所述目标标准图片中的第个像素，是指所述目标标准图片的像素总数，是指所述目标标准图片中的第个像素的亮度，是灰度级函数，代表一个区域中灰度级的直方图；

分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度，将所述周长、所述面积、所述圆形度、所述椭圆度以及所述矩形度汇集成形状特征；

S4：利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与所述物资种类对应的品质系数集，利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，其中，所述利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，包括：

S41：利用如下的品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值：

其中，是指所述品质分值，是向上取整符号，是所述品质系数集中的颜色阶数，是所述品质系数集中的纹理阶数，是所述品质系数集中的形状阶数，是所述品质系数集中的色彩分值系数，是所述品质系数集中的色度分值系数，是所述品质系数集中的亮度分值系数，是所述品质系数集中的纹理分值系数，是所述品质系数集中的平滑分值系数，是所述品质系数集中的三阶分值系数，是所述品质系数集中的周长分值系数，是所述品质系数集中的面积分值系数，是所述品质系数集中的圆形分值系数，是所述品质系数集中的椭圆分值系数，是所述品质系数集中的矩形分值系数，是指所述品质特征集中的色彩系数，是指所述品质特征集中的色度系数，是指所述品质特征集中的亮度系数，是指所述品质特征集中的纹理度，是指所述品质特征集中的平滑度，是指所述品质特征集中的三阶矩，是指所述品质特征集中的周长，是指所述品质特征集中的面积，是指所述品质特征集中的圆形度，是指所述品质特征集中的椭圆度，是指所述品质特征集中的矩形度；

S5：选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质。

2.如权利要求1所述的基于机器视觉的变形物资的品质检测方法，其特征在于，所述获取待检测物资的目标物资图片，包括：

利用预设的测距组件获取摄像组件与待检测物资之间的摄像距离；

根据所述摄像距离计算出误差距离，并按照所述误差距离调节所述摄像组件的高度；

利用预设的光源组件对所述待检测物资进行光照投影，利用调节高度后的所述摄像组件对光照投影下的所述待检测物资进行拍摄，得到目标物资图片。

3.如权利要求1所述的基于机器视觉的变形物资的品质检测方法，其特征在于，所述对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片，包括：

对所述目标物资图片进行图片灰度化操作，得到目标灰度图片；

对所述目标灰度图片进行高斯滤波操作，得到目标初级图片。

4.如权利要求1所述的基于机器视觉的变形物资的品质检测方法，其特征在于，所述对所述目标初级图片进行畸变矫正，得到目标次级图片，包括：

获取所述目标初级图片对应的摄像组件的畸变内参；

逐一选取所述目标初级图片中的像素点作为目标像素点，将所述目标像素点在所述目标初级图片中的横坐标作为目标横坐标，将所述目标像素点在所述目标初级图片中的纵坐标作为目标纵坐标；

利用如下的畸变校正算法根据所述畸变内参计算出所述目标横坐标对应的校正横坐标以及所述目标纵坐标对应的校正纵坐标：

其中，是指所述校正横坐标，是指所述校正纵坐标，是指所述目标横坐标，是指所述目标纵坐标，是泰勒级数展开式的第一项，是泰勒级数展开式的第二项，是指所述畸变内参，是所述畸变校正算法的第一矫正参数，是指所述畸变校正算法的第二矫正参数；

根据所述校正横坐标以及所述校正纵坐标确定出校正坐标，直至所述目标像素点为所述目标初级图片中的最后一个像素点时，根据所有的所述目标像素点以及所述校正坐标生成所述目标次级图片。

5.如权利要求1所述的基于机器视觉的变形物资的品质检测方法，其特征在于，所述利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片，包括：

对所述目标次级图片进行图像二值化操作，得到目标二值图片；

从所述目标二值图片中提取出二值区域，对所述目标二值图片中的所述二值区域进行距离变换，得到目标距离图片；

对所述目标距离图片进行图片反转，得到目标反转图片；

利用预设的分水岭算法对所述目标反转图片进行图片分割，得到分水区域；

计算所述分水区域和所述二值区域的交集区域，并将所述交集区域对应的图片作为所述目标标准图片。

6.如权利要求1所述的基于机器视觉的变形物资的品质检测方法，其特征在于，所述分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度，包括：

对所述目标标准图片的像素数量进行统计，得到所述目标标准图片对应的周长、面积、长轴以及短轴；

根据所述周长和面积计算出所述目标标准图片的圆形度；

根据所述长轴以及所述短轴计算出所述目标标准图片的椭圆度；

生成所述目标标准图片的外接矩形，根据所述外接矩形和所述目标标准图片的面积计算出所述目标标准图片的矩形度。

7.如权利要求1所述的基于机器视觉的变形物资的品质检测方法，其特征在于，所述利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，包括：

利用预先训练的物资识别模型逐个为所述品质特征集中的特征添加位置编码，得到初级语义特征集；

利用所述物资识别模型的编译器对所述初级语义特征集中的特征进行多层次特征融合，得到次级语义特征集；

利用所述物资识别模型的解码器对所述次级语义特征集进行逐级解码，得到标准语义特征集；

对所述标准语义特征集中的特征进行归一化操作，得到标准语义，并根据所述标准语义匹配出物资种类。

8.一种基于机器视觉的变形物资的品质检测装置，其特征在于，所述装置包括：

图片去噪模块，用于获取待检测物资的目标物资图片，对所述目标物资图片分别进行图片灰度化以及图片去噪操作，得到目标初级图片；

图片分割模块，用于对所述目标初级图片进行畸变矫正，得到目标次级图片，利用预设的分水岭算法对所述目标次级图片进行图像分割，得到目标标准图片；

特征提取模块，用于分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，并将所述颜色特征、所述纹理特征以及所述形状特征汇集成所述待检测物资的品质特征集；

所述分别提取出所述目标标准图片的颜色特征、纹理特征以及形状特征，包括：

从所述目标物资图片中提取出所述目标标准图片对应的图片作为目标色彩图片；

从所述目标色彩图片中提取出色彩系数、色度系数以及亮度系数，将所述色彩系数、所述色度系数以及所述亮度系数汇集成颜色特征；

分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，将所述纹理度、所述平滑度以及所述三阶矩汇集成纹理特征；

所述分别计算出所述目标标准图片对应的纹理度、平滑度以及三阶矩，包括：

利用如下的纹理度算法计算出所述目标标准图片的纹理度：

其中，是指所述纹理度，是指所述目标标准图片的横向像素点总数，是指所述目标标准图片的纵向像素点总数，是指第个横向像素点，是指第个纵向像素点，是预设的横向取样长度，是预设的纵向取样长度，是绝对值函数，是灰度值函数，是指所述目标标准图片中坐标为的像素点的灰度值，是指所述目标标准图片中坐标为的像素点的灰度值；

计算出所述目标标准图片的像素灰度梯度，并利用如下的平滑度算法根据所述像素灰度梯度计算出所述目标标准图片的平滑度：

其中，是指所述平滑度，是指所述像素灰度梯度；

利用如下的三阶矩算法计算出所述目标标准图片的三阶矩：

其中，是指所述三阶矩，是所述目标标准图片中的第个像素，是指所述目标标准图片的像素总数，是指所述目标标准图片中的第个像素的亮度，是灰度级函数，代表一个区域中灰度级的直方图；

分别计算出所述目标标准图片对应的周长、面积、圆形度、椭圆度以及矩形度，将所述周长、所述面积、所述圆形度、所述椭圆度以及所述矩形度汇集成形状特征；

品质分值模块，用于利用预先训练的物资识别模型对所述品质特征集进行特征识别，得到物资种类，在预设的品质系数库中选取出与所述物资种类对应的品质系数集，利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，其中，所述利用所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值，包括：利用如下的品质分值算法根据所述品质系数集以及所述品质特征集计算出所述目标物资对应的品质分值：

其中，是指所述品质分值，是向上取整符号，是所述品质系数集中的颜色阶数，是所述品质系数集中的纹理阶数，是所述品质系数集中的形状阶数，是所述品质系数集中的色彩分值系数，是所述品质系数集中的色度分值系数，是所述品质系数集中的亮度分值系数，是所述品质系数集中的纹理分值系数，是所述品质系数集中的平滑分值系数，是所述品质系数集中的三阶分值系数，是所述品质系数集中的周长分值系数，是所述品质系数集中的面积分值系数，是所述品质系数集中的圆形分值系数，是所述品质系数集中的椭圆分值系数，是所述品质系数集中的矩形分值系数，是指所述品质特征集中的色彩系数，是指所述品质特征集中的色度系数，是指所述品质特征集中的亮度系数，是指所述品质特征集中的纹理度，是指所述品质特征集中的平滑度，是指所述品质特征集中的三阶矩，是指所述品质特征集中的周长，是指所述品质特征集中的面积，是指所述品质特征集中的圆形度，是指所述品质特征集中的椭圆度，是指所述品质特征集中的矩形度；

品质标注模块，用于选取所述品质分值对应的分值区间作为目标分值区间，将所述目标分值区间对应的品质标注作为所述待检测物资的物资品质。

Images