CN114581386B - 基于时空数据的缺陷检测方法及装置 - Google Patents

基于时空数据的缺陷检测方法及装置 Download PDF

Info

Publication number
CN114581386B
CN114581386B CN202210169531.8A CN202210169531A CN114581386B CN 114581386 B CN114581386 B CN 114581386B CN 202210169531 A CN202210169531 A CN 202210169531A CN 114581386 B CN114581386 B CN 114581386B
Authority
CN
China
Prior art keywords
data
pixel
target
feature vector
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210169531.8A
Other languages
English (en)
Other versions
CN114581386A (zh
Inventor
黄必清
陆冰钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210169531.8A priority Critical patent/CN114581386B/zh
Publication of CN114581386A publication Critical patent/CN114581386A/zh
Application granted granted Critical
Publication of CN114581386B publication Critical patent/CN114581386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于时空数据的缺陷检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：通过将目标时间段的视频帧对应的二维检测数据输入至预先训练的像素值预测模型，得到目标时间段的下一采样时刻的第一预测像素数据；根据待检测视频数据中的目标时间段的下一采样时刻的目标像素位置点处的像素值序列，以及第一预测像素数据，计算第一重构误差矩阵，将第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为待检测视频数据的缺陷位置点。本发明所提供的基于时空数据的缺陷检测方法可以实现待检测对象的自动缺陷检测，可以对周期循环的纹理大小形状多变的纹理织物进行准确的缺陷检测。

Description

基于时空数据的缺陷检测方法及装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于时空数据的缺陷检测方法、装置、计算机设备和存储介质。
背景技术
缺陷检测是织物质量控制中的重要环节。传统的织物缺陷检测方法均由人工完成，由于织物对质量检测的要求高，工人工作强度大。由于人为因素较为主观，也不稳定，检测质量往往难以保障。随着计算机技术的飞速发展，织造行业也开始使用深度学习方法来进行织物的缺陷检测。
相关技术中，基于深度学习的织物疵点检测方法大多集中在均质织物上，包括平纹织物和斜纹织物，主要使用均质织物的图片作为检测样本，在对织物图像进行预处理后，利用CNN(Convolutional Neural Network，卷积神经网络)提取图片中的缺陷特征，根据缺陷特征进行缺陷检测与定位。但是随着织物技术的发展，出现了周期循环的纹理大小形状多变的纹理织物，基于深度学习的织物疵点检测方法中的单张固定大小的图片无法捕捉到该种纹理织物的完整纹理样式，导致无法对此种织物进行缺陷检测。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现准确缺陷检测的基于时空数据的缺陷检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种基于时空数据的缺陷检测方法。所述方法包括：
采集待检测视频数据，所述待检测视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
对目标时间段的视频帧数据进行二维转换，得到二维检测数据，所述二维检测数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列；
将所述二维检测数据输入至预先训练的像素值预测模型，得到所述目标时间段的下一采样时刻的第一预测像素数据；
根据所述待检测视频数据中的所述目标时间段的下一采样时刻的所述目标像素位置点处的像素值序列，以及所述第一预测像素数据，计算第一重构误差矩阵，所述第一重构误差矩阵包括所述视频帧的所述目标像素位置点处各位置点的重构误差；
将所述第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为所述待检测视频数据的缺陷位置点。
在其中一个实施例中，在所述对目标时间段的视频帧数据进行二维转换，得到二维检测数据的步骤之前，所述方法还包括：
对所述目标时间段的视频帧包含的各视频帧中各位置点的像素值进行标准化处理，得到第一视频帧数据；
通过预设滤波器对所述第一视频帧数据进行滤波处理，得到第二视频帧数据；
将所述第二视频帧数据作为处理后的目标时间段的视频帧。
在其中一个实施例中，所述目标时间段的视频帧数据包括所述视频帧的第一坐标轴的位置数据、第二坐标轴的位置数据以及时间轴的时间戳数据；
所述对目标时间段的视频帧数据进行二维转换，得到二维检测数据，包括：
将所述视频帧的第一坐标轴的位置数据固定，提取所述第二坐标轴的位置数据以及所述时间轴的时间戳数据，作为二维检测数据。
在其中一个实施例中，所述方法还包括：
获取初始样本视频数据，所述初始样本视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
将所述初始样本视频数据进行二维转换，得到二维样本数据，所述二维样本数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列，所述目标位置为所述视频帧上的一行位置点或一列位置点；
将所述二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到所述预设时间段的下一采样时刻的第二预测像素数据，所述预设时间段的训练数据包括随时间变化的l个像素值序列；
根据所述二维样本数据中预设时间段的下一采样时刻的视频帧与所述第二预测像素数据，计算损失值；
根据所述损失值更新所述待训练的像素值预测模型的网络参数，并返回执行所述获取初始样本视频数据的步骤，直到所述损失值满足预设训练完成条件，得到训练完成的像素值预测模型。
在其中一个实施例中，所述像素值预测模型包括至少一个门控循环单元、注意力机制单元、拼接单元以及全连接层单元；
所述将所述二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到所述预设时间段的下一采样时刻的第二预测像素数据，所述预设时间段的训练数据包括随时间变化的l个像素值序列，包括：
将预设初始隐状态特征向量序列以及第一个像素值序列输入至第一个门控循环单元，输出第一个隐状态特征向量序列；
将第k-1个隐状态特征向量序列以及第k个像素值序列输入至第k个门控循环单元，输出第k个隐状态特征向量序列，1<k<l；
将第l-1个隐状态特征向量序列以及第l个像素值序列输入至第l个门控循环单元，输出目标时间特征向量序列，所述目标时间特征向量序列包含所述目标像素位置点处的时间特征向量；
将所述目标时间特征向量序列输入所述注意力机制单元，得到空间相关系数序列，所述空间相关系数序列包含所述目标像素位置点处的空间特征向量；
根据所述空间相关系数序列对所述目标时间特征向量序列进行更新处理，得到更新后的目标时间特征向量序列；
将所述目标时间特征向量序列与所述更新后的目标时间特征向量序列进行拼接处理，得到标准时间特征向量序列，所述标准时间特征向量序列中包括所述目标像素位置点处的位置点预测特征向量；
将所述标准时间特征向量序列包含的所述目标像素位置点处的位置点预测特征向量输入至全连接层，得到所述预设时间段的下一采样时刻的第二预测像素数据。
在其中一个实施例中，所述方法还包括：
将所述二维样本数据中预设时间段的阈值设置数据，输入至所述训练完成的像素值预测模型，得到第三预测像素数据；
根据所述阈值设置数据以及所述第三预测像素数据，计算第二重构误差矩阵；
通过预设邻域对所述第二重构误差矩阵进行修正，得到修正后的第二重构误差矩阵；
将所述修正后的第二重构误差矩阵中符合预设阈值设置条件的重构误差，作为缺陷检测阈值。
第二方面，本申请还提供了一种基于时空数据的缺陷检测装置。所述装置包括：
采集模块，用于采集待检测视频数据，所述待检测视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
转换模块，用于对目标时间段的视频帧数据进行二维转换，得到二维检测数据，所述二维检测数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列，所述目标位置为所述视频帧的一行位置点或者一列位置点；
输入模块，用于将所述二维检测数据输入至预先训练的像素值预测模型，得到所述目标时间段的下一采样时刻的第一预测像素数据；
计算模块，用于根据所述待检测视频数据中的所述目标时间段的下一采样时刻的所述目标像素位置点处的像素值序列，以及所述第一预测像素数据，计算第一重构误差矩阵，所述第一重构误差矩阵包括所述视频帧的所述目标像素位置点处各位置点的重构误差；
检测模块，用于将所述第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为所述待检测视频数据的缺陷位置点。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例所述的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实现上述实施例所述的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述实施例所述的步骤。
上述基于时空数据的缺陷检测方法、装置、计算机设备、存储介质和计算机程序产品，通过将目标时间段的视频帧对应的二维检测数据输入至预先训练的像素值预测模型，得到目标时间段的下一采样时刻的第一预测像素数据；根据待检测视频数据中的目标时间段的下一采样时刻的目标像素位置点处的像素值序列，以及第一预测像素数据，计算第一重构误差矩阵，将第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为待检测视频数据的缺陷位置点。本发明所提供的基于时空数据的缺陷检测方法可以实现待检测对象的自动缺陷检测，可以对周期循环的纹理大小形状多变的纹理织物进行准确的缺陷检测。
附图说明
图1为一个实施例中基于时空数据的缺陷检测方法的流程示意图；
图2A为一个实施例中连续的多张视频帧的示意图；
图2B为另一个实施例中连续的多张视频帧的示意图；
图3为一个实施例中对目标时间段的视频帧数据进行二维转换的示意图；
图4为一个实施例中对视频帧进行滤波处理的步骤的流程示意图；
图5为一个实施例中模型训练步骤的流程示意图；
图6为一个实施例中像素值预测模型的结构示意图；
图7为一个实施例中计算预测像素步骤的流程示意图；
图8为一个实施例中门控循环单元的结构示意图；
图9为一个实施例中计算缺陷检测阈值的流程示意图；
图10为另一个实施例中基于时空数据的缺陷检测方法的流程示意图；
图11为一个实施例中基于时空数据的缺陷检测装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于时空数据的缺陷检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现，上述终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该基于时空数据的缺陷检测方法包括以下步骤：
步骤102，采集待检测视频数据。
其中，如图2A所示，待检测视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值。待检测视频数据是待检测是否存在缺陷的目标对象的视频数据，多张视频帧按照时间先后顺序排列。即：待检测视频数据包括时间特征以及空间特征，目标对象可以是花边布。
具体地，终端可以通过工业相机获取预设时间段内的花边布的视频数据(待检测视频数据)。该工业相机可以设置于胚布织造机前侧，胚布织造机是生产花边布的机器。如图2B所示，待检测视频数据是三维数据，包括视频帧的横坐标u、视频帧的纵坐标v以及时间轴t，以及还包括各个位置点上的像素值。
步骤104，对目标时间段的视频帧数据进行二维转换，得到二维检测数据。
其中，二维检测数据包括视频帧的目标像素位置点处随时间变化的多个像素值序列，目标像素位置点为视频帧的一行位置点或者一列位置点。
具体地，预设时间段可以包括多个目标时间段，例如预设时间段可以是五分钟，目标时间段可以是5s、10s等，本发明在此并不限定具体时间范围，本领域技术人员可以根据实际应用场景具体确定具体时间范围。
如图3所示，终端在预设时间段内的待检测视频数据中提取目标时间段的视频帧。该目标时间段的视频帧是包括视频帧的横坐标u、视频帧的纵坐标v以及时间轴t的三维张量数据，终端提取三维张量数据中纵坐标轴(v轴)的坐标固定的，由横坐标轴(u轴)和时间轴t形成的二维检测数据(二维矩阵表示数据)。即：终端在视频帧上确定一个固定的目标位置(如一行位置点或者一列位置点)，获取该目标位置随时间变化的多个像素值序列。
步骤106，将二维检测数据输入至预先训练的像素值预测模型，得到目标时间段的下一采样时刻的第一预测像素数据。
具体地，预先训练的像素值预测模型可以根据目标时间段内的二维检测数据，预测在目标时间段的下一采样时刻，目标像素位置点处的各个位置点的预测像素值，即第一预测像素数据。
步骤108，根据待检测视频数据中的目标时间段的下一采样时刻的目标像素位置点处的像素值序列，以及第一预测像素数据，计算第一重构误差矩阵。
其中，第一重构误差矩阵包括视频帧的目标像素位置点处各位置点的重构误差。
具体地，终端在待检测视频数据中，提取目标时间段的下一采样时刻对应的目标像素位置点处的像素值序列(实际像素值)，即工业相机真实观测到的在目标时间段的下一采样时刻，目标像素位置点的像素值。终端对实际像素值以及第一预测像素值相减，得到目标像素位置点处的第一重构误差矩阵。
步骤110，将第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为待检测视频数据的缺陷位置点。
其中，预设缺陷检测阈值可以是在像素值预测模型的预先训练过程中确定的，例如可以将在预先训练过程中，得到的最大的重构误差作为预设缺陷检测阈值。
具体地，终端根据预设缺陷检测阈值以及第一重构误差矩阵，对目标时间段的下一采样时刻对应的目标像素位置点包含的各个位置点是否存在缺陷进行检测。如果该位置点的重构误差大于预设缺陷检测阈值，则确定该位置点出现缺陷，归为待检测视频数据的缺陷位置点，添加至第一缺陷位置点集合。如果该位置点的重构误差小于或等于预设缺陷检测阈值，则确定该位置点未出现缺陷，归为待检测视频数据的正常位置点。
这样，终端继续获取与该目标时间段相差一个时刻的下一目标时间段的视频帧，并重复执行上述步骤S102-步骤S110的过程，直至获取到该待检测视频帧数据中所包含的最后一个目标时间段的视频帧。这样，将多个目标时间段分别确定的第一缺陷位置点集合进行组合，得到待检测视频数据的缺陷位置点。
在一个示例中，预设时间段可以是100s，目标时间段可以是10s，工业相机采集的视频帧的间隔可以是1s。这样，终端获取10s的待检测视频数据，其中，包括10张视频帧。终端按照时间先后顺序依次获取多个目标时间段的视频帧，首先采集包括10张视频帧的第一个目标时间段的视频帧数据(即0s-10s)。终端对上述10张视频帧对应的三维张量数据进行二维转换，得到二维检测数据，即得到在视频帧的目标像素位置点对应的10s内的10个像素值序列。终端将二维检测数据输入至预先训练的像素值预测模型，得到目标时间段的下一采样时刻时，目标像素位置点的预测像素值序列，即在第10s的下一采样时刻(即第11s)时，目标像素位置点处的预测像素值序列。终端根据第0s-10s的视频帧数据对应的二维检测数据，输出至预先训练的视频帧预测模型，得到在第11s时，目标像素位置点处的预测像素值序列。这样，终端可以根据待检测视频数据中的实际的第11s的视频帧数据，与在第11s时目标像素位置点处的预测像素值序列进行做差处理，得到第11s时，目标像素位置点处的第一重构误差矩阵。这样，终端根据预设缺陷检测阈值，对第11s时，目标像素位置点处的第一重构误差矩阵进行筛选，得到第11s时，目标像素位置点处中的缺陷位置点。
接着，终端采集第二个目标时间段的视频帧数据(即第1s-11s)，再执行上述步骤102至步骤110的过程，得到第12s时，目标像素位置点处中的缺陷位置点。终端依次获取多个相邻的目标时间段的视频数据，重复执行上述步骤102至步骤110的过程，直至根据第n各目标时间段的视频数据(即第90s-100s)，得到第101s时，目标像素位置点处中的缺陷位置点。统计上述各个目标时间段对应的目标像素位置点处中的缺陷位置点，得到待检测视频数据的缺陷位置点。
上述基于时空数据的缺陷检测方法中，通过将目标时间段的视频帧对应的二维检测数据输入至预先训练的像素值预测模型，得到目标时间段的下一采样时刻的第一预测像素数据；根据待检测视频数据中的目标时间段的下一采样时刻的目标像素位置点处的像素值序列，以及第一预测像素数据，计算第一重构误差矩阵，将第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为待检测视频数据的缺陷位置点。本发明所提供的基于时空数据的缺陷检测方法可以实现待检测对象的自动缺陷检测，可以对周期循环的纹理大小形状多变的纹理织物进行准确的缺陷检测。
本发明实施例所提供的基于时空数据的缺陷检测方法可以实现自动的花边布缺陷检测。相比于现在的人工基于时空数据的缺陷检测方法，本发明实施例所提供的基于时空数据的缺陷检测方法，通过深度神经网络模型实现花边布缺陷的检测，可以取代人工检测，能够有效地节约劳动力，提升缺陷检测效率以及准确率。
在一个实施例中，如图4所示，在步骤104“对目标时间段的视频帧数据进行二维转换，得到二维检测数据”之前，该基于时空数据的缺陷检测方法还包括：
步骤202，对目标时间段的视频帧数据包含的各视频帧中各位置点的像素值进行标准化处理，得到第一视频帧数据。
具体地，目标时间段的视频帧数据包含多个视频帧，终端对目标时间段的多个视频帧，在时间轴的序列化表示上，进行Z-score的标准化处理，得到第一视频帧数据。该第一视频帧数据中每个时间序列中包含的各个位置点的像素值的均值为0，方差为1。具体可以通过以下公式进行标准化处理：
其中，x表示原始序列，μ表示序列的像素值的均值，σ表示序列的像素值的标准差，xnorm表示标准化后的序列，即第一视频帧数据。
步骤204，通过预设滤波器对第一视频帧数据进行滤波处理，得到第二视频帧数据。
具体地，预设滤波器可以是5*5均值滤波器，终端通过5*5均值滤波器，对第一视频帧数据进行滤波处理的具体过程可以是：使用大小为5*5均值滤波器在视频的横轴u和纵轴v形成的二维图像化表示上，进行滤波操作。具体滤波公式如下：
其中，f表示原图像，即第一视频帧数据，g(u,t)表示滤波后的图像，即第二视频帧数据，S表示5*5大小的邻域，(u,t)表示邻域中心的像素点。
步骤206，将第二视频帧数据作为处理后的目标时间段的视频帧。
本实施例中，通过对待检测视频数据进行标准化处理，可以避免视频数据中由于不同位置光照情况不同带来的影响像素值的绝对值的问题，剔除像素值体现的纹理特征中存在的噪声。通过对待检测视频数据进行滤波处理，可以剔除由于花边布织造过程中存在的抖动而带来的噪声。
在一个实施例中，目标时间段的视频帧数据包括所述视频帧的第一坐标轴的位置数据、第二坐标轴的位置数据以及时间轴的时间戳数据。相应地，步骤104“对目标时间段的视频帧数据进行二维转换，得到二维检测数据”的具体处理过程，包括：将所述视频帧的第一坐标轴的位置数据固定，提取所述第二坐标轴的位置数据以及所述时间轴的时间戳数据，作为二维检测数据。
具体地，目标时间段的视频帧数据包括多个视频帧，表示为由横坐标u、视频帧的纵坐标v以及时间轴t组成的三维张量数据。针对于目标时间段的视频帧数据，终端固定v轴的纵坐标，提取由横轴u和时间轴t形成的二维矩阵表示数据，作为目标时间段的视频帧数据对应的二维检测数据。其中，第一坐标轴是纵坐标轴v轴，第二坐标轴是横坐标轴u轴。
本实施例中，通过对目标时间段的视频帧数据进行三维至二维的数据转化，可以提高数据处理的效率以及准确性。
在一个实施例中，如图5所示，该基于时空数据的缺陷检测方法还包括：
步骤302，获取初始样本视频数据。
其中，初始样本视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值。
具体地，终端采集具备时间特征以及空间特征的初始样本视频数据。该初始样本视频数据是无缺陷的花边布的样本视频数据，终端是通过设置于胚布织造机前侧的工业相机获取初始样本视频数据。
在一个示例中，终端还可以将采集到的初始样本视频数据划分为训练样本数据、验证样本视频数据以及阈值设置样本视频数据。
步骤304，将初始样本视频数据进行二维转换，得到二维样本数据。
其中，二维样本数据包括视频帧的目标像素位置点处随时间变化的多个像素值序列。
具体地，初始样本视频数据是三维数据，包括视频帧的横坐标u、视频帧的纵坐标v以及时间轴t，还包括各视频帧上各个位置点上的像素值。初始样本视频数据包含的是视频帧的横坐标u、视频帧的纵坐标v以及时间轴t的三维张量数据，终端提取三维张量数据中纵坐标轴(v轴)的坐标固定的，由横坐标轴(u轴)和时间轴t形成的二维检测数据(二维矩阵表示数据)。即：终端在视频帧上确定多个固定的目标像素位置点(如一行位置点或者一列位置点)，获取该目标像素位置点随时间变化的多个像素值序列，一个时间点对应一个像素值序列，一个像素值序列包括目标像素位置点上的像素值。
在一个示例中，终端可以对训练样本数据、验证样本视频数据以及阈值设置样本视频数据，分别进行步骤202-步骤206的处理过程，得到训练样本视频数据对应的二维样本数据(训练集)，验证样本视频数据对应的二维样本数据(验证集)，以及阈值设置样本视频数据对应的二维样本数据(阈值设置集)。
可选地，训练集、验证集和阈值设置集的表示形式是二维矩阵。
步骤306，将二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到预设时间段的下一采样时刻的第二预测像素数据。
其中，预设时间段的训练数据包括随时间变化的l个像素值序列。二维样本数据中包括多个预设时间段的训练数据。
具体地，终端在二维样本数据中，提取预设时间段的训练数据，并将该预设时间段的训练数据输入至待训练的像素值预测模型，得到在预设时间段的下一采样时刻，目标像素位置点包含的各个位置点的预测像素值。即，第二预测像素数据。
步骤308，根据二维样本数据中预设时间段的下一采样时刻的视频帧与第二预测像素数据，计算损失值。
其中，终端在二维样本数据中，提取在该预设时间段的下一采样时刻时，目标像素位置点处的视频帧，确定目标像素位置点处的实际像素数据。终端根据该目标像素位置点处的实际像素数据以及第二预测像素数据，计算损失值。例如，可以通过以下公式计算损失值LR：
其中，MSE是均方误差，i表示目标像素位置点中包含的第i个位置点，t表示预设时间段，表示在预设时间段的下一采样时刻，目标像素位置点包含的第i个位置点的预测像素值，/>表示二维样本数据中的，在预设时间段的下一采样时刻，目标像素位置点包含的第i个位置点的实际像素值，n表示目标像素位置点处包含位置点的数量。
步骤310，根据损失值更新待训练的像素值预测模型的网络参数，并返回执行获取初始样本视频数据的步骤，直到损失值满足预设训练完成条件，得到训练完成的像素值预测模型。
其中，预设训练完成条件可以是损失值对应的损失函数已经收敛，也可以是训练数据的迭代次数已经达到目标次数等。例如，目标次数可以是100次、300次等等，本发明实施例对目标次数并不做具体限定。
具体地，根据损失值，计算待训练的像素值预测模型的新的网络参数，继而更新待训练的像素值预测模型，得到更新后的像素值预测模型。接着，终端将训练数据重新输入至更新后的像素值预测模型中，重新执行上述实施例所述方法的步骤，直至计算出的损失值满足预设训练完成条件，得到训练完成的像素值预测模型。
在一个示例中，终端通过训练集(训练样本视频数据对应的二维样本数据)对像素值预测模型进行前向传播训练，并计算损失值(训练误差)，将训练误差进行反向传播，得到进行第一训练过程后的像素值预测模型。这样，终端可以基于验证样本视频数据对应的二维样本数据(验证集)，对进行第一训练过程后的像素值预测模型进行验证，计算该模型在验证集上的预测误差。直至计算得到的验证集上的预测误差连续10轮迭代都没有减小，得到训练完成的像素值预测模型。
本实施例中，通过获取初始视频样本数据进行训练，可以不需要采集大量有标注样本。相比于有监督的深度学习方法，本发明实施例提供的方法在模型训练阶段使用自监督的方式，只需要使用正常的花边布视频数据(即初始样本视频数据)，可以自主学习花边布样本的正常纹理模式，无需制作样本标注，大大降低了检测对样本的要求，提高了本发明实施例提供的方法的可推广性。
在一个实施例中，如图6所示，该像素值预测模型包括至少一个门控循环单元(Gated Recurrent Unit，GRU)、注意力机制单元(Attention mechanism)、拼接单元以及全连接层单元(Fully-connected Layer，FC)。
相应地，如图7所示，步骤306“将二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到预设时间段的下一采样时刻的第二预测像素数据，预设时间段的训练数据包括随时间变化的l个像素值序列”的具体处理过程，包括：
步骤402，将预设初始隐状态特征向量序列以及第一个像素值序列输入至第一个门控循环单元，输出第一个隐状态特征向量序列。
具体地，t是预设时间段的末尾位置的时刻，l表示输入的时间序列的长度，即二维样本数据中预设时间段的训练数据中包含的像素值序列的数量。该像素值预测模型包括l个门控循环单元，各个门控循环单元依次排列，首尾相接。二维样本数据中预设时间段的训练数据可以是预设初始隐状态特征向量序列h0＝0。第一个像素值序列是/>第k个像素值序列是在时间点tk，目标像素位置点处所包含的n个位置点的像素值：/>即横轴u上的一组像素值。
在一个示例中，终端将预设初始隐状态特征向量序列h0以及第一个像素值序列输入至第一个门控循环单元GRU，第一个门控循环单元GRU的输出是第一个隐状态特征向量(hidden state)序列h1。
步骤404，将第k-1个隐状态特征向量序列以及第k个像素值序列输入至第k个门控循环单元，输出第k个隐状态特征向量序列。
具体地，在每个时间点tk，GRU的输入为当前时刻的横轴u的一组像素值以及上一个时刻的隐状态向量/>其中n表示横轴u上的像素点个数，经过GRU计算后得到tk时刻的隐状态向量/>
这样，第k个像素值序列是tk时刻的横轴u的一组像素值 第k-1个初始隐状态特征向量序列是第k-1个门控循环单元输出的，表示为/>第k个门控循环单元的输出是第k个隐状态特征向量序列
步骤406，将第l-1个隐状态特征向量序列以及第l个像素值序列输入至第l个门控循环单元，输出目标时间特征向量序列。
其中，目标时间特征向量序列包含目标像素位置点处各位置点的时间特征向量。
具体地，目标时间特征向量序列ht＝[h1,t,h2,t,…,hn,t]，目标像素位置点处包含横轴u上的n个位置点。
在一个示例中，门控循环装置中可以包括l个门控循环单元，终端可以将二维样本数据中预设时间段的训练数据以及预设初始隐状态特征向量序列h0输入至门控循环装置，得到目标时间特征向量序列ht，具体计算过程可以如下公式所示：
其中，最终时刻的隐状态ht是提取到的输入序列中的时间依赖特征，含有之前所有时刻的信息。
如图8所示，是门控循环单元的具体结构示意图，图8中以t时刻对应的门控循环单元举例说明，其他门控循环单元类似，在此不再赘述。终端将第t-1时刻对应的隐状态特征向量序列ht-1以及t时刻对应的像素值序列xt输入至门控循环单元，输出目标时间特征向量序列ht。σ表示根据sigmoid激活函数进行激活计算，tanh表示根据tanh激活函数进行激活计算。首先，终端通过sigmoid激活函数，对t时刻的输入xt和上一时刻的隐状态特征向量ht-1，进行重置门对应的激活计算，得到重置门控状态rt，具体可以通过以下公式进行重置门对应的激活计算：
rt＝sigmoid(xtUr+ht-1Wr)，
其中，Ur为xt对应的权重，Wr是ht-1对应的权重。
这样，终端通过sigmoid激活函数，将t时刻的输入xt和上一时刻的隐状态特征向量ht-1，进行更新门对应的激活计算，得到更新门控状态zt，具体可以通过以下公式进行更新门对应的激活计算：
zt＝sigmoid(xtUz+ht-1Wz)，
其中，Uz为xt对应的权重，Wz是ht-1对应的权重。
终端根据对重置门控状态rt以及上一时刻的隐状态特征向量ht-1进行乘积运算，得到第一乘积结果。终端通过tanh激活函数，对第一乘积结果以及t时刻的输入xt进行激活运算(有针对性地对添加ht-1到当前的隐藏状态)，得到隐藏状态的中间变量h′t，例如可以通过以下公式计算：
h′t＝tanh(xtUh+(ht-1⊙rt)Wh)，
其中，Uh为xt对应的权重，Wz是(ht-1⊙rt)对应的权重。
这样，终端可以根据目标值(例如可以是1)对更新门控状态zt进行减运算，得到减运算结果，并对该减运算结果以及上一时刻的隐状态特征向量ht-1进行乘积运算，得到第二乘积结果。终端对更新门控状态zt以及隐藏状态的中间变量h′t进行乘积运算，得到第三乘积结果。最后，终端对第二乘积结果以及第三乘积结果进行求和运算，得到目标时间特征向量序列ht，即t时刻的隐状态特征向量ht。例如可以通过以下公式计算t时刻的隐状态特征向量ht：
ht＝(1-zt)⊙ht-1+t⊙h′t。
步骤408，将目标时间特征向量序列输入注意力机制单元，得到空间相关系数序列，空间相关系数序列包含目标像素位置点处各位置点的空间特征向量。
具体地，注意力机制单元包括全连接层子单元以及归一化计算子单元，终端可以通过全连接层子单元对输入的目标时间特征向量序列进行计算，再通过softmax函数对输出进行归一化，得到目标时间特征向量序列中各个目标隐状态特征向量之间的空间关系，即得到空间相关系数序列。例如，可以通过以下公式计算空间相关系数序列g(hi,t,hj,t)：
其中，wa是注意力机制单元中的全连接层的权重，ba是注意力机制单元中的全连接层的偏置，softmax函数是用于归一化计算的函数，hi,t,hj,t分别表示在t时刻横轴u上第i和第j个位置的隐状态特征值。
在一个示例中，对于不同的像素序列特征向量，终端可以根据目标时间特征向量序列中包含的各个向量值，计算出不同的相关系数，对应于不同时刻不同位置的花边布纹理。经过全连接层子单元计算后，使用softmax函数对输出进行归一化，得到两特征向量最终的相关系数，即空间相关系数序列。
步骤410，根据空间相关系数序列对目标时间特征向量序列进行更新处理，得到更新后的目标时间特征向量序列。
具体地，空间相关系数序列是g(hi,t,hj,t)，目标时间特征向量序列是ht＝[h1,t,h2,t,…,hn,t]，更新后的目标时间特征向量序列可以是
步骤412，将目标时间特征向量序列与更新后的目标时间特征向量序列进行拼接处理，得到标准时间特征向量序列。
其中，标准时间特征向量序列中包括目标像素位置点处各位置点的位置点预测特征向量。
具体地，可以通过以下公式计算标准时间特征向量序列Ht：
其中，ht＝[h1,t,h2,t,…,hn,t]，
步骤414，将标准时间特征向量序列包含的目标像素位置点处各位置点的位置点预测特征向量输入至全连接层，得到预设时间段的下一采样时刻的第二预测像素数据。
具体地，终端可以在全连接层中，根据标准时间特征向量序列包含的目标像素位置点处包含的各位置点的位置点预测特征向量，对在预设时间段的下一采样时刻时，目标像素位置点处包含的位置点的像素值进行预测，得到预设时间段的下一采样时刻的第二预测像素数据。例如，可以通过以下公式计算预设时间段的下一采样时刻的第二预测像素数据/>
其中，Wy是所述全连接层的权重，by是所述全连接层的偏置。
本实施例中，获取初始视频样本数据进行训练，可以不需要采集大量有标注样本。相比于有监督的深度学习方法，本发明实施例提供的方法在模型训练阶段使用自监督的方式，只需要使用正常的花边布视频数据(即初始样本视频数据)，可以自主学习花边布样本的正常纹理模式，无需制作样本标注，大大降低了检测对样本的要求，提高了本发明实施例提供的方法的可推广性。
在一个实施例中，如图9所示，该基于时空数据的缺陷检测方法还包括：
步骤502，将二维样本数据中预设时间段的阈值设置数据，输入至训练完成的像素值预测模型，得到第三预测像素数据。
具体地，二维样本数据中预设时间段的阈值设置数据是阈值设置样本视频数据对应的二维样本数据(阈值设置集)，终端将阈值设置数据输入至训练完成的像素值预测模型，得到连续多个时刻的目标像素位置点处的像素预测值，即第三预测像素数据。
步骤504，根据阈值设置数据以及第三预测像素数据，计算第二重构误差矩阵。
具体地，终端可以通过以下公式计算重构误差e：
其中，e为重构误差；为神经网络预测结果，即第三预测像素数据；/>为真实观测到的数据，即阈值设置数据；ls表示预测的时间步数，T表示最后的预测时刻。
步骤506，通过预设邻域对第二重构误差矩阵进行修正，得到修正后的第二重构误差矩阵。
步骤508，将修正后的第二重构误差矩阵中符合预设阈值设置条件的重构误差，作为缺陷检测阈值。
具体地，根据缺陷出现的区域连续性特点，利用邻域内均值代替邻域内中心点的重构误差，从而对e进行修正，由于缺陷出现时在时间轴t上的连续性更强，在横轴u上的连续性稍弱一些，因此本发明中的预设领域可以是横轴u上长为30，时间轴t上长为50的邻域。终端通过预设领域对重构误差e进行修正，计算公式为：
其中，e′表示修正后的第二重构误差矩阵，P表示30*50大小的邻域，即预设邻域，(u,t)表示邻域中心的像素点。得到修正后的第二重构误差矩阵，预设阈值设置条件可以是其中最大的误差值，终端提取修正后的第二重构误差矩阵中最大的误差值作为检测阈值thr：
thr＝Max(e′)。
本实施例中提供的方法可以自适应地找到检测阈值。通过单独采集了正常无缺陷的花边布视频作为阈值设置样本，并对该样本进行处理得到预测重构误差，将误差的最大值作为检测阈值，避免了由不合理预设的检测阈值造成的检测性能变差。
在一个示例中，该基于时空数据的缺陷检测方法包括：在线采集花边布视频作为测试样本(待检测视频数据)，通过执行S104的步骤，对获取的待检测视频数据进行预处理，得到测试样本的二维矩阵表示(二维检测数据)；利用预先训练的深度神经网络模型(像素值预测模型)对测试样本进行预测重构，得到测试样本对应的预测像素数据。终端根据测试样本数据以及预测像素数据计算重构误差，并根据重构误差的连续性修正误差，得到修正后的重构误差；使用预设缺陷检测阈值以及修正后的重构误差对测试样本中包含的多个像素点进行分类，将修正后的重构误差大于预设缺陷检测阈值的像素点划分为缺陷位置点，将修正后重构误差小于或等于预设缺陷检测阈值的像素点划分为正常位置点。
具体而言，对于预测得到的一个像素点，如果得到的预测重构误差大于检测阈值，则认为对应像素点处出现了缺陷，对应像素点是缺陷的花边布，反之则认为对应像素点处是正常花边布。
如图10所示，结合一个具体示例详细描述本发明实施例所提供的基于时空数据的缺陷检测方法，步骤1：采集具有时空特征的无缺陷花边布视频作为训练样本、验证样本和阈值设置样本；步骤S2：对训练样本、验证样本和阈值设置样本分别进行预处理并形成二维矩阵表示的训练集、验证集和阈值设置集；步骤S3：建立深度神经网络模型，并利用建立的深度神经网络模型对训练集进行训练，同时使用验证集控制训练结束的轮次；步骤S4：利用训练好的深度神经网络模型对阈值设置集进行预测重构，计算预测重构误差并利用误差连续性修正误差，进而将误差的最大值作为检测阈值；步骤S5：利用训练好的深度神经网络模型及检测阈值进行在线的花边布缺陷检测。
线下阶段：采集具有时空特征的无缺陷花边布视频作为训练样本、验证样本和阈值设置样本；对训练样本、验证样本和阈值设置样本分别进行预处理并形成二维矩阵表示的训练集、验证集和阈值设置集；构建深度神经网络模型，使用训练集对所述神经网络模型进行前向传播训练，并将训练误差进行反向传播，在每一轮迭代完成后计算神经网络模型在验证集上的预测误差，当验证集上的预测误差连续10轮迭代均未减小时，停止模型训练；利用训练好的深度神经网络模型对阈值设置集进行预测重构，计算预测重构误差，并根据缺陷出现的区域连续性特点，利用邻域内均值修正邻域内中心点的重构误差，进而将误差的最大值作为检测阈值。
在线阶段：对实时的花边布视频数据执行与线下阶段相同的处理，得到实时的花边布的重构误差，并利用线下阶段得到的检测阈值判断花边布是否出现缺陷，即对于预测得到的一个像素点，如果得到的预测重构误差大于检测阈值，则认为对应像素点处出现了缺陷，反之则认为对应像素点处是正常花边布。
本发明实施例所提供的基于时空数据的缺陷检测方法，是基于时空特征的花边布的视频数据进行缺陷检测的方法，可以实现以机器代替人工完成花边布缺陷检测，在节约劳动力的同时提升缺陷检测效率；在模型训练阶段只需要使用正常的花边布视频，学习花边布样本的正常纹理模式，且模型训练使用自监督的方式，无需制作样本标注，大大降低了检测对样本的要求，提高了基于时空数据的缺陷检测方法的可推广性；能够使用正常花边布视频样本自适应地找到检测阈值，避免了由不合理预设的检测阈值造成的检测性能变差。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于时空数据的缺陷检测方法的基于时空数据的缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于时空数据的缺陷检测装置实施例中的具体限定可以参见上文中对于基于时空数据的缺陷检测方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种基于时空数据的缺陷检测装置600，包括：采集模块601、转换模块602、输入模块603、计算模块604和检测模块605，其中：
采集模块601，用于采集待检测视频数据，所述待检测视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
转换模块602，用于对目标时间段的视频帧数据进行二维转换，得到二维检测数据，所述二维检测数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列，所述目标像素位置点为所述视频帧的一行位置点或者一列位置点；
输入模块603，用于将所述二维检测数据输入至预先训练的像素值预测模型，得到所述目标时间段的下一采样时刻的第一预测像素数据；
计算模块604，用于根据所述待检测视频数据中的所述目标时间段的下一采样时刻的所述目标像素位置点处的像素值序列，以及所述第一预测像素数据，计算第一重构误差矩阵，所述第一重构误差矩阵包括所述视频帧的所述目标像素位置点处各位置点的重构误差；
检测模块605，用于将所述第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为所述待检测视频数据的缺陷位置点。
在其中一个实施例中，所述装置还包括：处理模块，用于对所述目标时间段的视频帧包含的各视频帧中各位置点的像素值进行标准化处理，得到第一视频帧数据；通过预设滤波器对所述第一视频帧数据进行滤波处理，得到第二视频帧数据；将所述第二视频帧数据作为处理后的目标时间段的视频帧。
在其中一个实施例中，所述目标时间段的视频帧数据包括所述视频帧的第一坐标轴的位置数据、第二坐标轴的位置数据以及时间轴的时间戳数据；
所述转换模块602，具体用于：将所述视频帧的第一坐标轴的位置数据固定，提取所述第二坐标轴的位置数据以及所述时间轴的时间戳数据，作为二维检测数据。
在其中一个实施例中，所述装置还包括：
模型训练模块，用于获取初始样本视频数据，所述初始样本视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
二维样本数据确定模块，用于将所述初始样本视频数据进行二维转换，得到二维样本数据，所述二维样本数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列，所述目标位置为所述视频帧上的一行位置点或一列位置点；
预测数据确定模块，用于将所述二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到所述预设时间段的下一采样时刻的第二预测像素数据，所述预设时间段的训练数据包括随时间变化的l个像素值序列；
损失值计算模块，用于根据所述二维样本数据中预设时间段的下一采样时刻的视频帧与所述第二预测像素数据，计算损失值；
更新模块，用于根据所述损失值更新所述待训练的像素值预测模型的网络参数，并返回执行所述获取初始样本视频数据的步骤，直到所述损失值满足预设训练完成条件，得到训练完成的像素值预测模型。
在其中一个实施例中，所述像素值预测模型包括至少一个门控循环单元、注意力机制单元、拼接单元以及全连接层单元；
所述预测数据确定模块，具体用于：
将预设初始隐状态特征向量序列以及第一个像素值序列输入至第一个门控循环单元，输出第一个隐状态特征向量序列；
将第k-1个隐状态特征向量序列以及第k个像素值序列输入至第k个门控循环单元，输出第k个隐状态特征向量序列，1<k<l；
将第l-1个隐状态特征向量序列以及第l个像素值序列输入至第l个门控循环单元，输出目标时间特征向量序列，所述目标时间特征向量序列包含所述目标像素位置点处的时间特征向量；
将所述目标时间特征向量序列输入所述注意力机制单元，得到空间相关系数序列，所述空间相关系数序列包含所述目标像素位置点处的空间特征向量；
根据所述空间相关系数序列对所述目标时间特征向量序列进行更新处理，得到更新后的目标时间特征向量序列；
将所述目标时间特征向量序列与所述更新后的目标时间特征向量序列进行拼接处理，得到标准时间特征向量序列，所述标准时间特征向量序列中包括所述目标像素位置点处的位置点预测特征向量；
将所述标准时间特征向量序列包含的所述目标像素位置点处的位置点预测特征向量输入至全连接层，得到所述预设时间段的下一采样时刻的第二预测像素数据。
在其中一个实施例中，所述装置还包括：第三预测像素数据确定模块，用于将所述二维样本数据中预设时间段的阈值设置数据，输入至所述训练完成的像素值预测模型，得到第三预测像素数据；第二重构误差矩阵计算模块，用于根据所述阈值设置数据以及所述第三预测像素数据，计算第二重构误差矩阵；修正模块，用于通过预设邻域对所述第二重构误差矩阵进行修正，得到修正后的第二重构误差矩阵；缺陷检测阈值计算模块，用于将所述修正后的第二重构误差矩阵中符合预设阈值设置条件的重构误差，作为缺陷检测阈值。
上述基于时空数据的缺陷检测装置600中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储缺陷检测相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于时空数据的缺陷检测方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于时空数据的缺陷检测方法，其特征在于，所述方法包括：
采集待检测视频数据，所述待检测视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
对目标时间段的视频帧数据进行二维转换，得到二维检测数据，所述二维检测数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列；
将所述二维检测数据输入至预先训练的像素值预测模型，得到所述目标时间段的下一采样时刻的第一预测像素数据；
根据所述待检测视频数据中的所述目标时间段的下一采样时刻的所述目标像素位置点处的像素值序列，以及所述第一预测像素数据，计算第一重构误差矩阵，所述第一重构误差矩阵包括所述视频帧的所述目标像素位置点处的重构误差；
将所述第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为所述待检测视频数据的缺陷位置点；
所述方法还包括：
获取初始样本视频数据，所述初始样本视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
将所述初始样本视频数据进行二维转换，得到二维样本数据，所述二维样本数据包括所述视频帧的目标像素位置点处随时间变化的多个样本像素值序列；
将所述二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到所述预设时间段的下一采样时刻的第二预测像素数据，所述预设时间段的训练数据包括随时间变化的个像素值序列；
根据所述二维样本数据中预设时间段的下一采样时刻的视频帧与所述第二预测像素数据，计算损失值；
根据所述损失值更新所述待训练的像素值预测模型的网络参数，并返回执行所述获取初始样本视频数据的步骤，直到所述损失值满足预设训练完成条件，得到训练完成的像素值预测模型；
所述像素值预测模型包括至少一个门控循环单元、注意力机制单元、拼接单元以及全连接层单元；所述将所述二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到所述预设时间段的下一采样时刻的第二预测像素数据，所述预设时间段的训练数据包括随时间变化的l个像素值序列，包括：
将预设初始隐状态特征向量序列以及第一个像素值序列输入至第一个门控循环单元，输出第一个隐状态特征向量序列；
将第k-1个隐状态特征向量序列以及第k个像素值序列输入至第k个门控循环单元，输出第k个隐状态特征向量序列，1<k<l；
将第l-1个隐状态特征向量序列以及第l个像素值序列输入至第l个门控循环单元，输出目标时间特征向量序列，所述目标时间特征向量序列包含所述目标像素位置点处的时间特征向量；
将所述目标时间特征向量序列输入所述注意力机制单元，得到空间相关系数序列，所述空间相关系数序列包含所述目标像素位置点处的空间特征向量；
根据所述空间相关系数序列对所述目标时间特征向量序列进行更新处理，得到更新后的目标时间特征向量序列；
将所述目标时间特征向量序列与所述更新后的目标时间特征向量序列进行拼接处理，得到标准时间特征向量序列，所述标准时间特征向量序列中包括所述目标像素位置点处的位置点预测特征向量；
将所述标准时间特征向量序列包含的所述目标像素位置点处的位置点预测特征向量输入至全连接层，得到所述预设时间段的下一采样时刻的第二预测像素数据。
2.根据权利要求1所述的方法，其特征在于，在所述对目标时间段的视频帧数据进行二维转换，得到二维检测数据的步骤之前，所述方法还包括：
对所述目标时间段的视频帧包含的各视频帧中各位置点的像素值进行标准化处理，得到第一视频帧数据；
通过预设滤波器对所述第一视频帧数据进行滤波处理，得到第二视频帧数据；
将所述第二视频帧数据作为处理后的目标时间段的视频帧。
3.根据权利要求1所述的方法，其特征在于，所述目标时间段的视频帧数据包括所述视频帧的第一坐标轴的位置数据、第二坐标轴的位置数据以及时间轴的时间戳数据；
所述对目标时间段的视频帧数据进行二维转换，得到二维检测数据，包括：
将所述视频帧的第一坐标轴的位置数据固定，提取所述第二坐标轴的位置数据以及所述时间轴的时间戳数据，作为二维检测数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述二维样本数据中预设时间段的阈值设置数据，输入至所述训练完成的像素值预测模型，得到第三预测像素数据；
根据所述阈值设置数据以及所述第三预测像素数据，计算第二重构误差矩阵；
通过预设邻域对所述第二重构误差矩阵进行修正，得到修正后的第二重构误差矩阵；
将所述修正后的第二重构误差矩阵中符合预设阈值设置条件的重构误差，作为缺陷检测阈值。
5.一种基于时空数据的缺陷检测装置，其特征在于，所述装置包括：
采集模块，用于采集待检测视频数据，所述待检测视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
转换模块，用于对目标时间段的视频帧数据进行二维转换，得到二维检测数据，所述二维检测数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列；
输入模块，用于将所述二维检测数据输入至预先训练的像素值预测模型，得到所述目标时间段的下一采样时刻的第一预测像素数据；
计算模块，用于根据所述待检测视频数据中的所述目标时间段的下一采样时刻的所述目标像素位置点处的像素值序列，以及所述第一预测像素数据，计算第一重构误差矩阵，所述第一重构误差矩阵包括所述视频帧的所述目标像素位置点处的重构误差；
检测模块，用于将所述第一重构误差矩阵中重构误差大于预设缺陷检测阈值的位置点，作为所述待检测视频数据的缺陷位置点；
所述装置还包括：
模型训练模块，用于获取初始样本视频数据，所述初始样本视频数据包括连续的多张视频帧以及各视频帧上各位置点的像素值；
二维样本数据确定模块，用于将所述初始样本视频数据进行二维转换，得到二维样本数据，所述二维样本数据包括所述视频帧的目标像素位置点处随时间变化的多个像素值序列，目标位置为所述视频帧上的一行位置点或一列位置点；
预测数据确定模块，用于将所述二维样本数据中预设时间段的训练数据，输入至待训练的像素值预测模型，得到所述预设时间段的下一采样时刻的第二预测像素数据，所述预设时间段的训练数据包括随时间变化的l个像素值序列；
损失值计算模块，用于根据所述二维样本数据中预设时间段的下一采样时刻的视频帧与所述第二预测像素数据，计算损失值；
更新模块，用于根据所述损失值更新所述待训练的像素值预测模型的网络参数，并返回执行所述获取初始样本视频数据的步骤，直到所述损失值满足预设训练完成条件，得到训练完成的像素值预测模型；
所述像素值预测模型包括至少一个门控循环单元、注意力机制单元、拼接单元以及全连接层单元；所述预测数据确定模块，具体用于：
将预设初始隐状态特征向量序列以及第一个像素值序列输入至第一个门控循环单元，输出第一个隐状态特征向量序列；
将第k-1个隐状态特征向量序列以及第k个像素值序列输入至第k个门控循环单元，输出第k个隐状态特征向量序列，1<k<l；
将第l-1个隐状态特征向量序列以及第l个像素值序列输入至第l个门控循环单元，输出目标时间特征向量序列，所述目标时间特征向量序列包含所述目标像素位置点处的时间特征向量；
将所述目标时间特征向量序列输入所述注意力机制单元，得到空间相关系数序列，所述空间相关系数序列包含所述目标像素位置点处的空间特征向量；
根据所述空间相关系数序列对所述目标时间特征向量序列进行更新处理，得到更新后的目标时间特征向量序列；
将所述目标时间特征向量序列与所述更新后的目标时间特征向量序列进行拼接处理，得到标准时间特征向量序列，所述标准时间特征向量序列中包括所述目标像素位置点处的位置点预测特征向量；
将所述标准时间特征向量序列包含的所述目标像素位置点处的位置点预测特征向量输入至全连接层，得到所述预设时间段的下一采样时刻的第二预测像素数据。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202210169531.8A 2022-02-23 2022-02-23 基于时空数据的缺陷检测方法及装置 Active CN114581386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210169531.8A CN114581386B (zh) 2022-02-23 2022-02-23 基于时空数据的缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210169531.8A CN114581386B (zh) 2022-02-23 2022-02-23 基于时空数据的缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN114581386A CN114581386A (zh) 2022-06-03
CN114581386B true CN114581386B (zh) 2024-04-12

Family

ID=81773310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210169531.8A Active CN114581386B (zh) 2022-02-23 2022-02-23 基于时空数据的缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN114581386B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882024B (zh) * 2022-07-07 2022-11-15 深圳市信润富联数字科技有限公司 目标对象的缺陷检测方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110781956A (zh) * 2019-10-24 2020-02-11 精硕科技（北京）股份有限公司 一种目标检测的方法、装置、电子设备及可读存储介质
CN111640091A (zh) * 2020-05-14 2020-09-08 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN111768357A (zh) * 2019-03-29 2020-10-13 银河水滴科技（北京）有限公司 一种图像检测的方法及装置
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN111768357A (zh) * 2019-03-29 2020-10-13 银河水滴科技（北京）有限公司 一种图像检测的方法及装置
CN110781956A (zh) * 2019-10-24 2020-02-11 精硕科技（北京）股份有限公司 一种目标检测的方法、装置、电子设备及可读存储介质
CN111640091A (zh) * 2020-05-14 2020-09-08 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法

Also Published As

Publication number Publication date
CN114581386A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
Oh et al. Crowd counting with decomposed uncertainty
CN106910192B (zh) 一种基于卷积神经网络的图像融合效果评估方法
CN106920215B (zh) 一种全景图像配准效果的检测方法
CN111626245B (zh) 一种基于视频关键帧的人体行为识别方法
CN109410168B (zh) 用于确定图像中的子图块类别的卷积神经网络的建模方法
Li et al. DewaterNet: A fusion adversarial real underwater image enhancement network
CN107274378B (zh) 一种融合记忆cnn的图像模糊类型识别及参数整定方法
Su et al. Global learnable attention for single image super-resolution
CN114581386B (zh) 基于时空数据的缺陷检测方法及装置
CN113610144A (zh) 一种基于多分支局部注意力网络的车辆分类方法
CN108038503A (zh) 一种基于k-svd学习字典的机织物纹理表征方法
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN113421276A (zh) 一种图像处理方法、装置及存储介质
Su et al. High-Similarity-Pass Attention for Single Image Super-Resolution
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN110929779B (zh) 重建神经元质量检测方法、有序点云分类方法及装置
CN116681742A (zh) 基于图神经网络的可见光与红外热成像图像配准方法
Pahuja et al. Enhancing Salient Object Segmentation Through Attention.
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
CN112488125B (zh) 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN116309056A (zh) 图像重建方法、装置和计算机存储介质
CN114742724B (zh) 一种基于模型驱动的图像阴影去除方法
CN115346091A (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法
Li et al. Low-illumination image enhancement for foreign object detection in confined spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant