CN110930353A - 孔位保护门状态检测方法、装置、计算机设备和存储介质 - Google Patents

孔位保护门状态检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110930353A
CN110930353A CN201910593892.3A CN201910593892A CN110930353A CN 110930353 A CN110930353 A CN 110930353A CN 201910593892 A CN201910593892 A CN 201910593892A CN 110930353 A CN110930353 A CN 110930353A
Authority
CN
China
Prior art keywords
hole site
gray
detected
preset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910593892.3A
Other languages
English (en)
Other versions
CN110930353B (zh
Inventor
戴志威
邓远志
陈润康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanxiang Smart Iot Technology Co ltd
Original Assignee
EVOC Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EVOC Intelligent Technology Co Ltd filed Critical EVOC Intelligent Technology Co Ltd
Priority to CN201910593892.3A priority Critical patent/CN110930353B/zh
Priority to PCT/CN2019/125058 priority patent/WO2021000524A1/zh
Publication of CN110930353A publication Critical patent/CN110930353A/zh
Application granted granted Critical
Publication of CN110930353B publication Critical patent/CN110930353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V9/00—Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请提供了一种孔位保护门状态检测方法、装置、计算机设备和存储介质，从图像识别角度出发，获取待测设备图像构建训练样本集，根据训练样本集得到预设的判别函数直线的阈值，然后，对新获取待检测设备图像进行基于局部统计的自适应动态阈值分割，精确地筛选出孔位区域，通过将提取出的孔位区域的灰度特征投影到预设判别函数直线，来达到抽取分类信息和压缩特征空间维数的效果，投影后使得特征子集在投影后的子空间有最大的类间距离和最小的类内距离，保证样本在该空间有最佳可分离性，最后，灰度特征子集的投影纵坐标值与预设判别函数直线的阈值，即能判断出待测设备是否存在缺陷，上述方法便捷有效准确率高，且抗干扰能力强检测结果稳定。

Description

孔位保护门状态检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及设备状态检测技术领域，特别是涉及一种孔位保护门状态检测方法、装置、计算机设备和存储介质。
背景技术
保护门又称安全门，是一种安全保护盖，其一般设置于孔位上，平时孔位未被使用时，是挡住孔位，防止异物进入孔位存在安全隐患。现在，市面上出现了设置有保护门的产品，例如在市场上买的插座，插座孔位内部都带有安全保护盖，使用时插上插头，保护盖会自动推开，拔掉插头，保护门会自动复位封闭插座的孔位，还包括一般安装于墙壁面板上的网线插口或其他电器设备孔位，都可设置保护门起到安全防护作用。
在设置有保护门的产品生产制造过程中，需要检测产品的保护门是否能正常复位，而保护门是否能正常复位的检测通常是通过人工目测来把控产品的生产质量。由于人工检测因每个人的评判标准不同，且人的感官判断易受个人状态、情绪等主观因素影响，使得产品的检测的效率低且误检率高。
如今，为提高自动化水平，市场上也出现了一些自动化检测设置有孔位保护门产品的方法，但这些缺陷检测方法多是通过排布好的流水线式的测试仪进行检测或借助二插或三插保护门插拔力检测机构等进行检测，检测仪器在运转过程存在许多干扰因素，会使得检测结果不稳定且检测效率不高。
发明内容
基于此，有必要针对传统的孔位保护门检测方法存在检测结果不稳定且效率不高问题，提供一种高效的孔位保护门状态检测方法、装置、计算机设备和存储介质。
一种孔位保护门状态检测方法，方法包括：
获取待检测设备图像，待检测设备上设置有孔位，孔位上设置有孔位保护门；
对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集；
将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线；
根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态；
预设判别函数直线的阈值由以下方式得到：
获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集；将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
在其中一个实施例中，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域包括：
根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合；
根据connection算子，对缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合；
根据预设的孔位面积约束条件以及预设的孔位蓬松度，从可疑缺陷区域集合筛选出孔位区域。
在其中一个实施例中，根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合包括：
基于预设的滤波器，对待检测设备图像进行平滑滤波处理，根据预设滤波器的窗口中的像素灰度平均值，计算待检测设备图像的局部标准差；
根据局部标准差、预设的标准方差比例因子以及预设的最小绝对阈值，计算各像素点的修正偏移量；
获取待检测设备图像中各像素点的灰度值以及各像素点的模板邻域的像素灰度平均值；
根据各像素点的灰度值、各像素点的模板邻域的像素灰度平均值以及各像素点的修正偏移量，得到缺陷像素点集合。
在其中一个实施例中，根据预设滤波器窗口中的像素灰度平均值，计算待检测设备图像的局部标准差包括：
根据预设滤波器的窗口中的中心像素点灰度值，得到预设滤波器的窗口中的所有像素点的灰度平均值；
根据中心像素点灰度值以及灰度平均值，计算局部标准差。
在其中一个实施例中，提取出孔位区域的灰度特征子集之前，还包括：
根据预设的滤波器，对孔位区域进行平滑滤波处理，模糊孔位区域中的纹理信息。
在其中一个实施例中，得到待检测设备图像对应的设备的缺陷状态之后，还包括：
根据gen_contour_region_xld算子，提取孔位区域的边缘轮廓；
根据缺陷状态，标记边缘轮廓；
推送标记后的边缘轮廓的图像。
一种孔位保护门状态检测装置，装置包括：
图像获取模块，用于读取待检测设备图像，获取待检测设备图像，待检测设备上设置有孔位，孔位上设置有孔位保护门；
孔位区域获取模块，用于对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
灰度特征提取模块，用于基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集；
投影模块，用于将灰度特征子集投影到二维坐标系中预设的判别函数直线上，计算灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线；
缺陷检测模块，用于根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态；
预设阈值计算模块，用于获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域，基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集，将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
在其中一个实施例中，装置还包括：
标记推送模块，用于根据gen_contour_region_xld算子，提取孔位区域的边缘轮廓，根据缺陷状态，标记边缘轮廓，推送标记后的边缘轮廓的图像。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取待检测设备图像，待检测设备上设置有孔位，孔位上设置有孔位保护门；
对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集；
将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线；
根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态；
预设判别函数直线的阈值由以下方式得到：
获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集；将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测设备图像，待检测设备上设置有孔位，孔位上设置有孔位保护门；
对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集；
将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线；
根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态；
预设的判别函数直线的阈值由以下方式得到：
获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集；将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
上述孔位保护门状态检测方法、装置、计算机设备和存储介质，从图像识别角度出发，首先获取待测设备图像构建训练样本集，根据训练样本集得到预设的判别函数直线的阈值，然后，对新获取待检测设备图像进行基于局部统计的自适应动态阈值分割，能够精确地筛选出孔位区域，通过将提取出的孔位区域的灰度特征投影到预设判别函数直线，来达到抽取分类信息和压缩特征空间维数的效果，投影后使得特征子集在投影后的子空间有最大的类间距离和最小的类内距离，保证样本在该空间有最佳可分离性，最后，比较投影后的灰度特征子集的投影纵坐标值与预设判别函数直线的阈值，即能判断出待测设备是否存在缺陷，上述方法便捷有效准确率高，且抗干扰能力强检测结果稳定。
附图说明
图1为一个实施例中孔位保护门状态检测方法的应用环境图；
图2为一个实施例中孔位保护门状态检测方法的流程示意图；
图3为一个实施例中待检测设备图像的应用环境图；
图4为一个实施例中预设的判别函数直线的阈值获取步骤的流程示意图；
图5为另一个实施例中孔位区域获取子步骤的流程示意图；
图6为一个实施例中孔位保护门状态检测装置的结构图；
图7为另一个实施例中孔位保护门状态检测装置的结构图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的孔位保护门状态检测方法，可应用于如图1中所示的应用环境图中服务器120获取摄像装置103上传的待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域(孔位区域包含可疑缺陷区域集合)，基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集，将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线，根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态。其中，摄像装置103可以但不限于是摄像头、具有拍照功能的智能手机以及摄像设备等，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中，如图2所示，提供了一种孔位保护门状态检测方法，以该方法应用于服务器为例进行说明，包括以下步骤：
步骤S100，获取待检测设备图像，待检测设备上设置有孔位，孔位上设置有孔位保护门。
待检测设备图像即为摄像装置采集到的设置有孔位及孔位保护门的待检测设备的图像，图像信息包括孔位区域图像，其中，孔位区域图像包括保护门图像。待检测设备以插座为例，待检测设备图像即包括插孔区域图像以及插孔上的保护门图像。如图3所示，结合图1，在实际应用中，待检测设备图像的获取方式可以是当处于流水线上的待检测设备101(带孔位那一面向上，孔位上设置有孔位保护门)经过光电传感器105时，光电传感器105将触发信号发送给工控机104，工控机104收到信号后通过IO板卡输出控制信号，首先打开置于待检测设备101正上方的环形无影光源，然后给摄像装置103发送软触发信号，采集到待检测设备101图像，然后摄像装置103将采集的图像上传至服务器120，服务器120获取待检测设备图像。
步骤S200，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域。
通过摄像装置采集到的待检测设备图像可发现，图像中的孔位区域与待检测设备的正面(设置有孔位的那一面定义为正面)有明显的灰度差，对比度较为明显，因此，可首先通过阈值分割，来提取出待测正面的感兴趣区域，即正面所有待检测的孔位区域及保护门区域。由于工厂的作业环境比较复杂，且需要同时满足多种颜色待检测设备的检测，本申请采用基于局部统计的自适应动态阈值分割法来提取孔位区域，其中，孔位区域为包含可疑缺陷区域集合。局部阈值分割是一种处理亮度分布不均匀的常用方法，其在一些光照不足的阴影区域有良好的分割效果。设待检测设备的原始图像为f(x,y)，对原始图像进行平滑滤波器处理得到的图像设为m(x,y)，滤波器可以选择为均值滤波器、二项式滤波器及高斯滤波器等。设定偏移量为Offset，对f(x,y)与m(x,y)进行逐一的像素灰度值比较，当待分割的目标比背景亮时，满足f(x,y)≥m(x,y)+Offset的像素点位置输出为1；当待分割的目标比背景暗时，满足f(x,y)≤m(x,y)-Offset的像素点位置输出1；当待分割的目标既有可能亮于背景，也有可能暗于背景区域时，需要同时满足上述两个条件。本申请在在局部阈值分割的基础上，提出一种基于局部统计的自适应动态阈值分割方法，在窗口的平均值信息基础上，通过增加对窗口的标准方差统计信息来修正偏移量Offset。
步骤S300，基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集。
本实施例中，基于灰度直方图的统计算法的统计特性提取孔位区域的灰度特征。对于一副像素总数为N的二维图像，其灰度等级为L，同一灰度级的像素总数是n(i)，则一阶灰度直方图可定义为：
Figure BDA0002117000390000081
通过灰度直方图可以总体反映出孔位区域总体灰度水平及灰度分布概率。根据灰度直方图的统计特性，可以提取如下的灰度特征：
(1)均值m，平均灰度度量，反映图像总体的灰度水平。
Figure BDA0002117000390000082
(2)标准差σ，平均对比度度量，它反映灰度直方图的离散程度。
Figure BDA0002117000390000083
计算孔位区域的灰度均值及标准差后，根据灰度均值和标准差构建灰度特征子集T＝{(mT,σT)}，作为测试样本集。
在其中一个实施例中，提取出孔位区域的灰度特征子集之前，还包括：根据预设的滤波器，对孔位区域进行平滑滤波处理，模糊孔位区域中的纹理信息。
本实施例中，采用预设的滤波器为3*3大小的均值滤波器，对孔位区域集合D进行平滑滤波处理，能够模糊图像中孔位保护门的部分纹理信息，排除纹理部分对区域灰度标准差的干扰。可以理解的是，在其他实施例中，均值滤波器还可以为其他尺寸大小，滤波器可以是二项式滤波器及高斯滤波器等。
步骤S400，将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线。
在实际应用中，工作人员假设在二维坐标系空间中，存在一直线(判别函数直线)w，使得在这个空间中所有特征点投影到此直线后，类内方差最小，类间方差最大。然后，需要计算出判别函数直线的阈值，然后，将灰度特征子集投影到该判别函数直线上，获取灰度特征子集的在该直线上的投影纵坐标值，然后，可以是将缺陷状态的检测转化为一个二分类问题，基于判别函数直线的阈值与投影纵坐标值的大小关系，得到待检测设备的保护门的缺陷状态。
在其中一个实施例中，预设判别函数直线的阈值由以下方式得到：
步骤S402，获取多张待检测设备图像；
步骤S404，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
步骤S406，基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集；
步骤S408，将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
具体的，可以是读取50个待检测设备图像的孔位区域作为训练样本集，划分为两类子集，其中包括25个合格孔位区域灰度特征子集X0和25个不合格孔位区域灰度特征子集X1：
X0＝{(m1,σ1),(m2,σ2),(m3,σ3),…,(m25,σ25)}
X1＝{(m26,σ26),(m27,σ27),(m28,σ28),…,(m50,σ50)}
计算各类样本的均值向量
Figure BDA0002117000390000091
计算各类样本的协方差矩阵
Figure BDA0002117000390000092
定义两类样本的中心在直线上的投影为：wTu0和wTu1，两类样本的协方差：wTC0w和wTC1w，为使得同类的样本的投影点尽可能接近，即需要保证wTC0w+wTC1w尽可能小，为使得异类样本的投影点尽可能远离，即需要保证
Figure BDA0002117000390000101
尽可能大，于是，最大化
Figure BDA0002117000390000102
计算类内散度矩阵：
Sw＝C0+C1
计算类间散度矩阵：
Sb＝(u0-u1)(u0-u1)T
此时，则可重写J为：
Figure BDA0002117000390000103
令wTSww＝1，最大化广义瑞利商等价形式为：
Figure BDA0002117000390000104
s.t.wTSww＝1
运用拉格朗日乘子法，则有Sbw＝λSww；Sbw的方向恒为u0-u1，不妨令Sbw＝λ(u0-u1)，于是可得
Figure BDA0002117000390000105
计算矩阵Sw的逆矩阵
Figure BDA0002117000390000106
再计算w最大特征值对应的特征向量，该特征向量就是投影方向W，W为一维列向量，此时可计算得最佳投影线的斜率k＝W(2)/W(1)，其中，W(2)为一维列向量中第二个元素值，W(1)为一维列向量中第一个元素值，最终求得判别函数即为y＝kx+b；本申请中，b＝0；计算训练样本集中所有灰度特征子集点在直线y＝kx+b上的投影坐标，根据点到直线的投影公式可得：
Figure BDA0002117000390000107
其中，n＝1,2,3,…,50；分别计算两类子集投影变换后点的横坐标均值，即：
Figure BDA0002117000390000108
Figure BDA0002117000390000109
此时，判别函数直线的阈值
Figure BDA0002117000390000111
其中，k＝W(2)/W(1)。
步骤S500，根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态。
如上述实施例所述，当确定好判别函数直线后，将测试样本集的灰度特征子集T＝{(mT,σT)}投影到该判别函数直线上，可得灰度特征子集的投影后的坐标值为：
Figure BDA0002117000390000112
本实施例中，检测孔位内保护门的状态即检测保护门的复位与无复位两种状态，因此是一个二分类问题，可记其输出标记Result∈{0,1}。本实施例中，通过分类规则，比较yT值与阈值w0的大小，得出其分类，分类规则如下：
Figure BDA0002117000390000113
即若Result输出等于0，则代表此孔位内保护门没有复位；若Result输出等于1，则代表此孔位孔内保护门复位。
上述孔位保护门状态检测方法，从图像识别角度出发，首先获取待测设备图像构建训练样本集，根据训练样本集得到预设的判别函数直线的阈值，然后，对新获取待检测设备图像进行基于局部统计的自适应动态阈值分割，能够精确地筛选出孔位区域，通过将提取出的孔位区域的灰度特征投影到预设判别函数直线，来达到抽取分类信息和压缩特征空间维数的效果，投影后使得特征子集在投影后的子空间有最大的类间距离和最小的类内距离，保证样本在该空间有最佳可分离性，最后，比较投影后的特征子集的纵坐标值与预设判别函数直线的阈值，即能判断出待测设备是否存在缺陷，上述方法便捷有效准确率高，且抗干扰能力强检测结果稳定。
如图5所示，在其中一个实施例中，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域包括：步骤S202，根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合；步骤S204，根据connection算子，对缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合；步骤S206，根据预设的孔位面积约束条件以及预设的孔位蓬松度，从可疑缺陷区域集合筛选出孔位区域。
连通区域一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。连通区域分析是指将图像中的各个连通区域找出并标记。本实施例中，在加入滤波器窗口的标准方差修正偏移量Offset后，可基于偏移量Offset、滤波器窗口中所有像素点的像素平均值、预设的标准方差比例因子和最小绝对阈值，对待检测设备图像进行阈值分割，分割出缺陷点集合，缺陷点可看作一个个独立的小区域，在分割出缺陷点后，可采用connection算子，对缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合，所谓可疑缺陷区域集合可理解为可能存在缺陷的孔位区域。由于待检测设备的孔位区域大小是相同且固定的，故可通过孔位的面积特征进一步筛选孔位区域。具体的，可以是通过孔位的像素面积作为约束条件。待检测设设备以插座为例，插座包括两孔插座和三孔插座，一般的，两孔插座的插孔的物理尺寸大小为0.9cm*0.9cm，三孔插座的孔位的物理尺寸大小为0.9cm*0.2cm。从图像角度上说，采集到的待检测设备的图像上，三孔位的每个孔位面积大约为14000左右的像素大小，两孔位的每个孔位面积大约为72800像素大小。因此，本实施例中设定孔位的像素面积在[13000,15000]与[70000,75000]两个范围内为约束条件，基于此，可以从可疑缺陷区域集合中筛选出包含孔位区域集合。对于分割后的二值化待检测设备图像而言，孔位区域面积S可由如下公式表述：
Figure BDA0002117000390000121
所有满足约束条件的区域集合A＝{Si|13000＜Si＜15000∪70000＜Si＜75000,Si∈S。如果只采用单一的面积特征进行筛选，很可能会将非孔位区域判断为孔位区域。因此，提出加入孔位的外观形状特征即孔位区域的蓬松度作为附加的筛选条件。蓬松度(Bulkiness)：
Bulkiness＝π*Ra*Rb/Ai
其中Ra和Rb表示最小外接椭圆半径，A表示区域的面积。当蓬松度越接近1时，代表此区域的最小外接椭圆越接近圆形。
待检测设备以插座为例，通过多个实验样品统计分析计算得到插孔区域的蓬松度都在1.05左右，与其它区域的蓬松度值具有很明显的差异性。因此，本实施例中，设定插孔蓬松度处于[1.04,1.06]范围为约束条件，最终可以筛选出所有孔位区域的集合D。
D＝{Ai|1.04＜π*Ra*Rb/Ai＜1.06,Ai∈A}
可以理解的是，连通域标记方法除connection算子之外，还可以采用其他连通域分析算法。蓬松度的约束条件可以其他数值的约束条件，具体可视情况而定。本实施例中，通过预设的孔位蓬松度的约束条件，能够提高孔位区域筛选精度。
在其中一个实施例中，根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合包括：基于预设的滤波器，对待检测设备图像进行平滑滤波处理，根据预设滤波器的窗口中的像素灰度平均值，计算待检测设备图像的局部标准差，根据局部标准差、预设的标准方差比例因子以及预设的最小绝对阈值，计算各像素点的修正偏移量，获取待检测设备图像中各像素点的灰度值以及各像素点的模板邻域的像素灰度平均值，根据各像素点的灰度值、各像素点的模板邻域的像素灰度平均值以及各像素点的修正偏移量，得到缺陷像素点集合。
本实施例中，预设的滤波器可以是均值滤波器、二项式滤波器及高斯滤波器等，滤波器的窗口大小为150像素*150像素，局部标准差即滤波器窗口的标准方差统计信息，它反映了一幅图像当中局部区域对比度的变化。假设f(i,j)为待检测设备图像F中(i,j)位置处像素的灰度值，图像大小为M×N，W为以(i,j)为中心，大小为l×l的窗口，l为奇数且l＞1，W看作是图像中的局部区域，计算其局部标准差Devij，定义如下：
Figure BDA0002117000390000131
式中，i，j≥0，m≤M-1，n≤N-1，sqrt()为开方运算。设g(x,y)为输入的待检测设备的图像在(x,y)处像素的灰度值，m(x,y)为模板邻域内的平均灰度值信息，d(x,y)为局部标准差，则该像素点的统计修正偏移量为：
Figure BDA0002117000390000141
式中，std为标准方差比例因子，Tabs是最小绝对阈值，本实施例中，设置标准方差比例因子std为1.36，Tabs最小绝对阈值为20。根据平均值m(x,y)和偏移修正量Offset，从待检测设备图像中通过阈值分割出所有缺陷像素点的集合D，集合D可以表示为：
D＝{(x,y)|g(x,y)＜m(x,y)-Offset∪g(x,y)＞m(x,y)+Offset}
可以理解的是，在其他实施例中，std以及Tabs还可以是其他数值，具体可根据实际情况而定。本实施例中，通过计算滤波器窗口的局部标准差来修正偏移量Offset，能够限定灰度值的合理变化范围，避免小区域的缺陷被过度平滑以致于无法被正确分割出来，提高缺陷分割的完整性。
在其中一个实施例中，根据预设滤波器窗口中的像素灰度平均值，计算待检测设备图像的局部标准差包括：根据预设滤波器的窗口中的中心像素点灰度值，得到预设滤波器的窗口中的所有像素点的灰度平均值，根据中心像素点灰度值以及灰度平均值，计算局部标准差。
若
Figure BDA0002117000390000142
为窗口W中所有像素灰度平均值，根据预设滤波器的窗口中的中心像素点灰度值，则可定义
Figure BDA0002117000390000143
如下：
Figure BDA0002117000390000144
式中，i，j≥0，m≤M-1，n≤N-1。本实施例中，基于像素灰度平均值和中心像素点灰度值计算局部标准差，能够在检测孤立点边缘降低敏感度，具有一定的平滑滤波的效果。
在其中一个实施例中，得到待检测设备图像对应的设备的缺陷状态之后，还包括：根据gen_contour_region_xld算子，提取孔位区域的边缘轮廓，根据缺陷状态，标记边缘轮廓，推送标记后的边缘轮廓的图像。
在实际应用中，待检测设备的图像的处理是基于Halcon 17.12progress平台处理的，为便于工作人员的检测，待检测设备的图像的检测结果可显示于软件界面。具体的，可以是基于gen_contour_region_xld算子，提取孔位区域的边缘轮廓，gen_contour_region_xld算子为Halcon算子函数的一种，其用于根据区域创建XLD轮廓(contour)。本实施例中，可以是当Result(缺陷状态结果)输出为0，则代表此插孔内保护门没有复位，此时，则用红色轮廓标记孔位的边缘轮廓，若Result(缺陷状态结果)输出等于1，则代表此孔位内保护门复位，则用绿色轮廓标记孔位的边缘轮廓，如此，工作人员能够通过显示出的孔位轮廓的颜色，来判断待检测设备的保护门是否复位，便捷有效。可以理解的是，在其他实施例中，孔位的边缘轮廓的方式还可以是用其他颜色标记，或通过其他能够区分孔位保护门是否复位的方式进行标记。
为清楚地描述本申请提供的孔位保护门状态检测方法，下面结合一个具体实例以及图2和图3来进行说明，其中，待检测设备以插座为例，摄像装置以相机为例：
当处于流水线上的正面朝上的待检测设备101即插座(插座带插孔那一面为正面)通过光电传感器105时，光电传感器105将触发信号发送给工控机104，工控机104收到信号后通过IO板卡输出控制信号，首先打开置于插座正上方的环形无影光源，然后给相机103(相机型号为BasleracA2500-14gm，水平/垂直分辨率为2592pixel*1944pixel)发送软触发信号，采集到插座正面图像，然后相机103将采集的图像上传至服务器，服务器获取插座图像，基于Halcon 17.12progress平台对插座图像进行基于局部统计的自适应动态阈值分割，获取插孔区域。其中，插孔区域包括基于插孔的像素面积约束条件和蓬松度要求获取，即插孔的像素面积处于[13000,15000]或[70000,75000]之间，插孔蓬松度处于[1.04,1.06]范围之间。然后，基于灰度直方图的统计算法，提取出插孔区域的灰度特征子集T＝{(mT,σT)}，将灰度特征子集T＝{(mT,σT)}投影到二维坐标系中预设的判别函数直线y＝kx+b上，获取灰度特征子集的投影纵坐标值yT，根据灰度特征子集投影纵坐标值yT与预设判别函数直线的阈值w0的大小关系，得到插座图像对应的插座的缺陷状态，若yT≤w0，则输出等于0，则代表插孔内保护门没有复位，则以红色标记插孔边缘轮廓；若yT＞w0，则输出等于1，则代表此孔位孔内保护门复位，以绿色标记插孔边缘轮廓。
应该理解的是，虽然图2、图4以及图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4以及图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图6所示，提供了一种孔位保护门状态检测装置，包括：图像获取模块610、孔位区域获取模块620、灰度特征提取模块630、投影模块640、缺陷检测模块650以及预设阈值计算模块660，其中：
图像获取模块610，用于读取待检测设备图像，获取待检测设备图像，待检测设备上设置有孔位，孔位上设置有孔位保护门。
孔位区域获取模块620，用于对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域。
灰度特征提取模块630，用于基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集。
投影模块640，用于将灰度特征子集投影到二维坐标系中预设的判别函数直线上，计算灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线。
缺陷检测模块650，用于根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态。
预设阈值计算模块660，用于获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域，基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集，将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
如图7所示，在其中一个实施例中，孔位保护门状态检测装置还包括标记推送模块670，用于根据gen_contour_region_xld算子，提取孔位区域的边缘轮廓，根据缺陷状态，标记边缘轮廓，推送标记后的边缘轮廓的图像。
在其中一个实施例中，孔位保护门状态检测装置还包括平滑滤波模块680，用于根据预设的滤波器，对孔位区域进行平滑滤波处理，模糊孔位区域中的纹理信息。
在其中一个实施例中，孔位区域获取模块620还用于根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合，根据connection算子，对缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合，根据预设的孔位面积约束条件以及预设的孔位蓬松度，从可疑缺陷区域集合筛选出孔位区域。
在其中一个实施例中，孔位区域获取模块620还用于基于预设的滤波器，对待检测设备图像进行平滑滤波处理，根据预设滤波器的窗口中的像素灰度平均值，计算待检测设备图像的局部标准差，根据局部标准差、预设的标准方差比例因子以及预设的最小绝对阈值，计算各像素点的修正偏移量，获取待检测设备图像中各像素点的灰度值以及各像素点的模板邻域的像素灰度平均值，根据各像素点的灰度值、各像素点的模板邻域的像素灰度平均值以及各像素点的修正偏移量，得到缺陷像素点集合。
在其中一个实施例中，孔位区域获取模块620还用于根据预设滤波器的窗口中的中心像素点灰度值，得到预设滤波器的窗口中的所有像素点的灰度平均值，根据中心像素点灰度值以及灰度平均值，计算局部标准差。
关于孔位保护门状态检测装置的具体限定可以参见上文中对于孔位保护门状态检测方法的限定，在此不再赘述。上述孔位保护门状态检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待检测设备图像等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种孔位保护门状态检测方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域，基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集，将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线，根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集；将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：基于预设的滤波器，对待检测设备图像进行平滑滤波处理，根据预设滤波器的窗口中的像素灰度平均值，计算待检测设备图像的局部标准差，根据局部标准差、预设的标准方差比例因子以及预设的最小绝对阈值，计算各像素点的修正偏移量，获取待检测设备图像中各像素点的灰度值以及各像素点的模板邻域的像素灰度平均值，根据各像素点的灰度值、各像素点的模板邻域的像素灰度平均值以及各像素点的修正偏移量，得到缺陷像素点集合。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合，根据connection算子，对缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合，根据预设的孔位面积约束条件以及预设的孔位蓬松度，从可疑缺陷区域集合筛选出孔位区域。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设滤波器的窗口中的中心像素点灰度值，得到预设滤波器的窗口中的所有像素点的灰度平均值，根据中心像素点灰度值以及灰度平均值，计算局部标准差。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据gen_contour_region_xld算子，提取孔位区域的边缘轮廓，根据缺陷状态，标记边缘轮廓，推送标记后的边缘轮廓的图像。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：用于根据预设的滤波器，对孔位区域进行平滑滤波处理，模糊孔位区域中的纹理信息。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域，基于灰度直方图的统计算法，提取出孔位区域的灰度特征子集，将灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取灰度特征子集的投影纵坐标值，预设的判别函数直线为使得灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线，根据灰度特征子集投影后的纵坐标值与预设判别函数直线的阈值的大小关系，得到待检测设备图像对应的设备的缺陷状态。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，训练样本子集至少包括两类样本子集；将各类样本子集投影到最佳鉴别矢量空间，分别计算各类样本子集投影后的横坐标均值，得到预设的判别函数直线的阈值，最佳鉴别矢量空间为基于Fisher线性判别分析算法和训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于预设的滤波器，对待检测设备图像进行平滑滤波处理，根据预设滤波器的窗口中的像素灰度平均值，计算待检测设备图像的局部标准差，根据局部标准差、预设的标准方差比例因子以及预设的最小绝对阈值，计算各像素点的修正偏移量，获取待检测设备图像中各像素点的灰度值以及各像素点的模板邻域的像素灰度平均值，根据各像素点的灰度值、各像素点的模板邻域的像素灰度平均值以及各像素点的修正偏移量，得到缺陷像素点集合。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据预设的基于局部统计的自适应动态阈值分割法，对待检测设备图像进行阈值分割，得到缺陷像素点集合，根据connection算子，对缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合，根据预设的孔位面积约束条件以及预设的孔位蓬松度，从可疑缺陷区域集合筛选出孔位区域。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据预设滤波器的窗口中的中心像素点灰度值，得到预设滤波器的窗口中的所有像素点的灰度平均值，根据中心像素点灰度值以及灰度平均值，计算局部标准差。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据gen_contour_region_xld算子，提取孔位区域的边缘轮廓，根据缺陷状态，标记边缘轮廓，推送标记后的边缘轮廓的图像。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：用于根据预设的滤波器，对孔位区域进行平滑滤波处理，模糊孔位区域中的纹理信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种孔位保护门状态检测方法，其特征在于，所述方法包括：
获取待检测设备图像，所述待检测设备上设置有孔位，所述孔位上设置有孔位保护门；
对所述待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
基于灰度直方图的统计算法，提取出所述孔位区域的灰度特征子集；
将所述灰度特征子集投影到二维坐标系中预设的判别函数直线上，获取所述灰度特征子集的投影纵坐标值，所述预设的判别函数直线为使得所述灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线；
根据所述灰度特征子集投影后的纵坐标值与所述预设的判别函数直线的阈值的大小关系，得到所述待检测设备图像对应的设备的缺陷状态；
所述预设的判别函数直线的阈值由以下方式得到：
获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，所述训练样本子集至少包括两类样本子集；将各类样本子集投影到最佳鉴别矢量空间，分别计算所述各类样本子集投影后的横坐标均值，得到所述预设的判别函数直线的阈值，所述最佳鉴别矢量空间为基于Fisher线性判别分析算法和所述训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
2.根据权利要求1所述的孔位保护门状态检测方法，其特征在于，所述对所述待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域包括：
根据预设的基于局部统计的自适应动态阈值分割法，对所述待检测设备图像进行阈值分割，得到缺陷像素点集合；
根据connection算子，对所述缺陷像素点集合进行连通域分析，得到可疑缺陷区域集合；
根据预设的孔位面积约束条件以及预设的孔位蓬松度，从所述可疑缺陷区域集合筛选出孔位区域。
3.根据权利要求2所述的孔位保护门状态检测方法，其特征在于，所述根据预设的基于局部统计的自适应动态阈值分割法，对所述待检测设备图像进行阈值分割，得到缺陷像素点集合包括：
基于预设的滤波器，对所述待检测设备图像进行平滑滤波处理，根据所述预设滤波器的窗口中的像素灰度平均值，计算所述待检测设备图像的局部标准差；
根据所述局部标准差、预设的标准方差比例因子以及预设的最小绝对阈值，计算各像素点的修正偏移量；
获取所述待检测设备图像中各像素点的灰度值以及各像素点的模板邻域的像素灰度平均值；
根据所述各像素点的灰度值、各像素点的模板邻域的像素灰度平均值以及所述各像素点的修正偏移量，得到所述缺陷像素点集合。
4.根据权利要求3所述的孔位保护门状态检测方法，其特征在于，所述根据所述预设滤波器窗口中的像素灰度平均值，计算所述待检测设备图像的局部标准差包括：
根据所述预设滤波器的窗口中的中心像素点灰度值，得到所述预设滤波器的窗口中的所有像素点的灰度平均值；
根据所述中心像素点灰度值以及所述灰度平均值，计算所述局部标准差。
5.根据权利要求1所述的孔位保护门状态检测方法，其特征在于，所述提取出所述孔位区域的灰度特征子集之前，还包括：
根据预设的滤波器，对所述孔位区域进行平滑滤波处理，模糊所述孔位区域中的纹理信息。
6.根据权利要求1所述的孔位保护门状态检测方法，其特征在于，所述得到所述待检测设备图像对应的设备的缺陷状态之后，还包括：
根据gen_contour_region_xld算子，提取所述孔位区域的边缘轮廓；
根据所述缺陷状态，标记所述边缘轮廓；
推送标记后的所述边缘轮廓的图像。
7.一种孔位保护门状态检测装置，其特征在于，所述装置包括：
图像获取模块，用于读取待检测设备图像，获取待检测设备图像，所述待检测设备上设置有孔位，所述孔位上设置有孔位保护门；
孔位区域获取模块，用于对所述待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域；
灰度特征提取模块，用于基于灰度直方图的统计算法，提取出所述孔位区域的灰度特征子集；
投影模块，用于将所述灰度特征子集投影到二维坐标系中预设的判别函数直线上，计算所述灰度特征子集的投影纵坐标值，所述预设的判别函数直线为使得所述灰度特征子集在投影后的子空间中有最大类间距离和最小类内距离的直线；
缺陷检测模块，用于根据所述灰度特征子集投影后的纵坐标值与所述预设判别函数直线的阈值的大小关系，得到所述待检测设备图像对应的设备的缺陷状态；
预设阈值计算模块，用于获取多张待检测设备图像，对待检测设备图像进行基于局部统计的自适应动态阈值分割，获取孔位区域，基于灰度直方图的统计算法，提取多个孔位区域的灰度特征子集，构建训练样本集，所述训练样本子集至少包括两类样本子集，将各类样本子集投影到最佳鉴别矢量空间，分别计算所述各类样本子集投影后的横坐标均值，得到所述预设的判别函数直线的阈值，所述最佳鉴别矢量空间为基于Fisher线性判别分析算法和所述训练样本集，引入拉格朗日乘子法求解出的最佳投影方向。
8.根据权利要求7所述的孔位保护门状态检测装置，其特征在于，所述装置还包括：
标记推送模块，用于根据gen_contour_region_xld算子，提取所述孔位区域的边缘轮廓，根据所述缺陷状态，标记所述边缘轮廓，推送标记后的所述边缘轮廓的图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910593892.3A 2019-07-03 2019-07-03 孔位保护门状态检测方法、装置、计算机设备和存储介质 Active CN110930353B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910593892.3A CN110930353B (zh) 2019-07-03 2019-07-03 孔位保护门状态检测方法、装置、计算机设备和存储介质
PCT/CN2019/125058 WO2021000524A1 (zh) 2019-07-03 2019-12-13 孔位保护门检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910593892.3A CN110930353B (zh) 2019-07-03 2019-07-03 孔位保护门状态检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110930353A true CN110930353A (zh) 2020-03-27
CN110930353B CN110930353B (zh) 2023-04-07

Family

ID=69855697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910593892.3A Active CN110930353B (zh) 2019-07-03 2019-07-03 孔位保护门状态检测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN110930353B (zh)
WO (1) WO2021000524A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734713A (zh) * 2020-12-31 2021-04-30 西安交通大学 变压器状态检测方法、装置、计算机设备和存储介质
CN113284113A (zh) * 2021-05-27 2021-08-20 西安闻泰信息技术有限公司 溢胶瑕疵检测方法、装置、计算机设备和可读存储介质
CN113654470A (zh) * 2021-07-29 2021-11-16 佛山市科莱机器人有限公司 浴缸表面积水检测方法、系统、设备及介质
CN114240928A (zh) * 2021-12-29 2022-03-25 湖南云箭智能科技有限公司 板卡质量的分区检测方法、装置、设备及可读存储介质
CN114246356A (zh) * 2020-09-25 2022-03-29 上海烟草集团有限责任公司 卷烟叶组配方的设计方法、系统、介质及装置
CN114821073A (zh) * 2022-06-28 2022-07-29 聊城市誉林工业设计有限公司 一种便携智能开壳机的状态识别方法、设备
CN116563223A (zh) * 2023-04-11 2023-08-08 新创碳谷集团有限公司 一种玻纤纱线绕罗拉检测方法、设备及存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012124B (zh) * 2021-03-15 2024-02-23 大连海事大学 一种鞋印孔洞和嵌入物特征检测及描述方法
CN112950633B (zh) * 2021-04-19 2023-06-23 上海电机学院 一种基于线结构光的铝合金焊缝表面缺陷检测方法
CN113362297B (zh) * 2021-05-31 2023-09-19 北京百度网讯科技有限公司 用于印刷电路板的图像处理方法、设备和存储介质
CN113393395B (zh) * 2021-06-17 2023-10-31 西安应用光学研究所 一种高动态红外图像分割阈值自适应计算方法
CN113627523B (zh) * 2021-08-09 2024-03-26 中国科学院微小卫星创新研究院 一种卫星微小故障的检测方法
CN113777033A (zh) * 2021-08-18 2021-12-10 长沙长泰机器人有限公司 一种基于机器视觉的生条缺陷检测方法和装置
CN114359597B (zh) * 2021-11-26 2023-09-12 西安交通大学 一种基于视觉的油箱内盖识别及位姿参数感知方法
CN114359598B (zh) * 2021-11-26 2023-09-12 西安交通大学 一种基于区域对比差分的自适应汽车油箱外盖识别方法
CN114324350A (zh) * 2021-12-10 2022-04-12 巢湖学院 基于机器视觉的五孔插座面板缺陷智能检测方法及系统
CN114813794B (zh) * 2022-02-18 2023-10-03 成都飞机工业（集团）有限责任公司 一种获取机器人3d打印无损检测所需扫描照片的方法
CN115019368B (zh) * 2022-06-09 2023-09-12 南京审计大学 一种审计调查中人脸识别特征提取方法
CN116109633B (zh) * 2023-04-12 2023-06-23 山东金帝精密机械科技股份有限公司 一种轴承保持器的窗口检测方法及设备
CN116152260B (zh) * 2023-04-23 2023-08-18 广东工业大学 一种基于图像处理的弹簧缺陷检测方法及系统
CN116188498A (zh) * 2023-04-28 2023-05-30 江西科技学院 一种基于计算机视觉的车桥焊接区域检测方法及系统
CN116309552B (zh) * 2023-05-12 2023-08-29 西南交通大学 既有线老旧挡墙的健康状态评估方法、装置、设备及介质
CN116309570B (zh) * 2023-05-18 2023-08-04 山东亮马新材料科技有限公司 一种钛合金棒材质量检测方法及系统
CN116363126B (zh) * 2023-05-30 2023-08-22 东莞市立时电子有限公司 一种数据线usb插头焊接质量检测方法
CN116363136B (zh) * 2023-06-01 2023-08-11 山东创元智能设备制造有限责任公司 一种机动车部件自动化生产在线筛选方法及系统
CN116385439B (zh) * 2023-06-05 2023-08-15 山东兰通机电有限公司 基于图像处理的电机橡胶减震垫质量检测方法
CN116416246B (zh) * 2023-06-08 2023-08-11 临沂中科芯华新材料科技有限公司 基于机器视觉的全降解塑料制品淋膜效果评价方法
CN116433700B (zh) * 2023-06-13 2023-08-18 山东金润源法兰机械有限公司 一种法兰零件轮廓视觉定位方法
CN116433669B (zh) * 2023-06-14 2023-08-18 山东兴华钢结构有限公司 基于机器视觉的抗震结构钢架焊缝质量检测方法
CN116485832B (zh) * 2023-06-25 2023-08-29 山东九思新材料科技有限责任公司 用于废硅片回收的不均布流体杂质边缘精准检测方法
CN116542972B (zh) * 2023-07-04 2023-10-03 山东阁林板建材科技有限公司 基于人工智能的墙板表面缺陷快速检测方法
CN116630308B8 (zh) * 2023-07-20 2023-10-27 山东华太新能源电池有限公司 用于电池焊接异常检测的数据增强系统
CN116612126B (zh) * 2023-07-21 2023-09-19 青岛国际旅行卫生保健中心(青岛海关口岸门诊部) 基于人工智能的集装箱病媒生物检测预警方法
CN116664554B (zh) * 2023-07-26 2023-10-20 微山晟轩机械制造有限公司 一种基于图像处理的螺栓螺纹缺陷检测方法
CN116681752B (zh) * 2023-08-03 2023-10-27 山东墨氪智能科技有限公司 Dbc焊料层空洞缺陷的空洞率计算方法及装置
CN117197534B (zh) * 2023-08-04 2024-04-05 广州电缆厂有限公司 一种基于特征识别的电缆表面缺陷自动检测方法
CN116703912B (zh) * 2023-08-07 2023-11-24 深圳市鑫赛科科技发展有限公司 一种迷你主机网口完整性视觉检测方法
CN116703251B (zh) * 2023-08-08 2023-11-17 德润杰(山东)纺织科技有限公司 基于人工智能的胶圈生产质量检测方法
CN116777918B (zh) * 2023-08-25 2023-10-31 苏州科尔珀恩机械科技有限公司 一种视觉辅助窑炉表面缺陷快速检测方法
CN116823835B (zh) * 2023-08-30 2023-11-10 山东省永星食品饮料有限公司 基于机器视觉的瓶装水杂质检测方法
CN117102375B (zh) * 2023-10-18 2024-01-02 沈阳欧施盾新材料科技有限公司 一种基于温度成像的异形件收口控制方法及设备
CN117197141B (zh) * 2023-11-07 2024-01-26 山东远盾网络技术股份有限公司 一种汽车零部件表面缺陷检测方法
CN117274247B (zh) * 2023-11-20 2024-03-29 深圳市海里表面技术处理有限公司 一种ltcc导体表面镀层质量视觉检测方法
CN117274249B (zh) * 2023-11-20 2024-03-01 江西省中鼐科技服务有限公司 一种基于人工智能图像技术的瓷砖外观检测方法及系统
CN117314949B (zh) * 2023-11-28 2024-02-20 山东远硕上池健康科技有限公司 基于人工智能的人员伤情检测鉴定方法
CN117372435B (zh) * 2023-12-08 2024-02-06 智联信通科技股份有限公司 基于图像特征的连接器针脚检测方法
CN117455920B (zh) * 2023-12-26 2024-03-22 武汉博源新材料科技集团股份有限公司 一种基于人工智能的奶茶杯劣品筛选方法及系统
CN117576104A (zh) * 2024-01-17 2024-02-20 山东世纪阳光科技有限公司 一种提纯过程中超滤膜健康状态视觉检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435895A (zh) * 2011-12-31 2012-05-02 罗格朗(北京)电气有限公司 插座保护门的安全性能检测装置、检测系统及检测方法
CN104361352A (zh) * 2014-11-13 2015-02-18 东北林业大学 基于压缩感知的实木板材缺陷分选方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826300B2 (en) * 2001-05-31 2004-11-30 George Mason University Feature based classification
CN106897994A (zh) * 2017-01-20 2017-06-27 北京京仪仪器仪表研究总院有限公司 一种基于分层图像的pcb板缺陷检测系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435895A (zh) * 2011-12-31 2012-05-02 罗格朗(北京)电气有限公司 插座保护门的安全性能检测装置、检测系统及检测方法
CN104361352A (zh) * 2014-11-13 2015-02-18 东北林业大学 基于压缩感知的实木板材缺陷分选方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114246356A (zh) * 2020-09-25 2022-03-29 上海烟草集团有限责任公司 卷烟叶组配方的设计方法、系统、介质及装置
CN114246356B (zh) * 2020-09-25 2023-04-18 上海烟草集团有限责任公司 卷烟叶组配方的设计方法、系统、介质及装置
CN112734713A (zh) * 2020-12-31 2021-04-30 西安交通大学 变压器状态检测方法、装置、计算机设备和存储介质
CN112734713B (zh) * 2020-12-31 2024-02-09 西安交通大学 变压器状态检测方法、装置、计算机设备和存储介质
CN113284113A (zh) * 2021-05-27 2021-08-20 西安闻泰信息技术有限公司 溢胶瑕疵检测方法、装置、计算机设备和可读存储介质
CN113654470A (zh) * 2021-07-29 2021-11-16 佛山市科莱机器人有限公司 浴缸表面积水检测方法、系统、设备及介质
CN114240928A (zh) * 2021-12-29 2022-03-25 湖南云箭智能科技有限公司 板卡质量的分区检测方法、装置、设备及可读存储介质
CN114240928B (zh) * 2021-12-29 2024-03-01 湖南云箭智能科技有限公司 板卡质量的分区检测方法、装置、设备及可读存储介质
CN114821073A (zh) * 2022-06-28 2022-07-29 聊城市誉林工业设计有限公司 一种便携智能开壳机的状态识别方法、设备
CN116563223A (zh) * 2023-04-11 2023-08-08 新创碳谷集团有限公司 一种玻纤纱线绕罗拉检测方法、设备及存储介质
CN116563223B (zh) * 2023-04-11 2023-09-26 新创碳谷集团有限公司 一种玻纤纱线绕罗拉检测方法、设备及存储介质

Also Published As

Publication number Publication date
WO2021000524A1 (zh) 2021-01-07
CN110930353B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110930353B (zh) 孔位保护门状态检测方法、装置、计算机设备和存储介质
CN110110799B (zh) 细胞分类方法、装置、计算机设备和存储介质
CN109598721B (zh) 电池极片的缺陷检测方法、装置、检测设备和存储介质
CN111028213A (zh) 图像缺陷检测方法、装置、电子设备及存储介质
US7734064B2 (en) Method and apparatus for classifying geological materials using image processing techniques
CN110930352B (zh) 物体色差缺陷检测方法、装置、计算机设备及存储介质
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN108734684B (zh) 动态照明场景的图像背景减除
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
WO2007004864A1 (en) Method and apparatus for visual object recognition
CN111402185B (zh) 一种图像检测方法及装置
CN110738229B (zh) 一种细粒度图像分类方法、装置及电子设备
CN116309532A (zh) 一种目标物品质量检测的方法、装置、设备及介质
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN112330648B (zh) 基于半监督学习的无参考图像质量评价方法及装置
CN114943720A (zh) 一种电力图像处理方法及装置
JP2019168930A (ja) 画像処理装置、画像処理方法及びプログラム
CN111523605B (zh) 一种图像识别方法、装置、电子设备及介质
CN115457614A (zh) 一种图像质量评价方法、模型训练方法及装置
WO2020107196A1 (zh) 一种对拍摄装置的拍摄质量评测方法、装置及终端设备
CN111311696A (zh) 一种基于高光谱解混技术的车牌真伪检测方法
CN111649804A (zh) 油位监测方法、设备及具有存储功能的装置
CN111369633A (zh) 设计图的评分方法、装置、计算机可读存储介质和设备
CN116703912B (zh) 一种迷你主机网口完整性视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230710

Address after: 518000 1701, Yanxiang Science and Technology Building, No. 31, High-tech Middle 4th Road, Maling Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province

Patentee after: Yanxiang smart IOT Technology Co.,Ltd.

Address before: 518107 5th floor, No.1, Yanxiang Zhigu chuangxiangdi, No.11, Gaoxin Road, Guangming New District, Shenzhen City, Guangdong Province

Patentee before: EVOC INTELLIGENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right