CN111986161A - 一种零部件缺失检测方法及系统 - Google Patents

一种零部件缺失检测方法及系统 Download PDF

Info

Publication number
CN111986161A
CN111986161A CN202010729005.3A CN202010729005A CN111986161A CN 111986161 A CN111986161 A CN 111986161A CN 202010729005 A CN202010729005 A CN 202010729005A CN 111986161 A CN111986161 A CN 111986161A
Authority
CN
China
Prior art keywords
detected
target
image
deep learning
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010729005.3A
Other languages
English (en)
Inventor
张燕
陈�峰
焉保卿
杨玉宽
赵明建
朱化国
刘文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Vt Electron Technology Co ltd
Original Assignee
Shandong Vt Electron Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Vt Electron Technology Co ltd filed Critical Shandong Vt Electron Technology Co ltd
Priority to CN202010729005.3A priority Critical patent/CN111986161A/zh
Publication of CN111986161A publication Critical patent/CN111986161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种零部件缺失检测方法及系统，所述方法包括拍摄待检测目标获得待检测目标图像；分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；输出所述深度学习算法的检测结果和图像处理算法的检测结果。采用本申请实施例所提供的技术方案，具有以下优点：1、将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好；2、采用机器视觉进行缺失检测，节约成本，提高效率且不需过多人为的干预和控制。

Description

一种零部件缺失检测方法及系统
技术领域
本申请涉及视觉检测技术领域，特别是涉及一种零部件缺失检测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。
机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
机器视觉检测技术具有非接触、速度快、准确率高和智能化等优点，近年来已经在工业中得到广泛的应用。随着现代图像处理技术混合机器视觉设备的发展，机器视觉检测技术更广泛的应用于解决更复杂的问题。但是，却很少应用于大批量生产中，来提高生产效率，降低人工成本。
发明内容
本申请实施例中提供了一种零部件缺失检测方法及系统，以利于解决现有技术中存在的技术问题。
第一方面，本申请实施例提供了一种零部件缺失检测方法，包括：
拍摄待检测目标获得待检测目标图像；
分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；
输出所述深度学习算法的检测结果和图像处理算法的检测结果。
优选地，所述通过深度学习算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：
对深度学习算法的网络结构进行训练，获得完成训练的网络；
将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果。
优选地，所述对深度学习算法的网络结构进行训练，获得完成训练的网络，包括：
构建训练数据集；
将所述训练数据集输入所述网络结构，经过N次迭代训练，获得完成训练的网络；
其中，所述训练数据集输入所述网络结构的训练过程包括：
将所述训练数据集输入所述网络结构中，提取所述训练数据集的目标特征和候选框；
确定所述候选框的参数信息，对所述候选框进行聚类分析，其中，所述候选框的参数信息包括候选框的个数、候选框的尺寸、候选框与真实框的交并比IOU阈值、置信度阈值；
通过所述网络结构的前向传播获得目标的检测框和目标的类别信息；
计算回归损失函数，根据梯度下降算法和反向传播算法调整网络结构中参数的取值。
优选地，所述构建训练数据集包括：
采集待检测目标的视频图像；
对所述视频图像进行数据扩充，所述数据扩充方式包括以下方式的一种或其组合：水平和垂直翻转、随机剪裁、随机角度的旋转、改变图像对比度和亮度；
对所述视频扩充后的视频图像随机擦除一矩形区域，并对擦除后的矩形区域随机填充0-255内的像素值；
对所述随机擦除后的视频图像进行目标的位置和类别标记，获得训练数据集。
优选地，将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，包括：
对所述待检测目标图像进行预处理，所述预处理包括归一化、尺度缩放和色度空间转化处理；
将预处理后的待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，其中，若所述待检测目标图像中包含目标，则所述深度学习算法检测结果中包含所述目标的检测框位置信息与类别标签。
优选地，输出所述深度学习算法的检测结果，包括：
根据原始的待检测目标图像的缩放比例，对所述检测框进行反向比例变换，在所述原始的待检测目标图像中标记出所述检测框，并显示所述检测结果中目标的类别标签。
优选地，通过图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：
将所述待检测目标图像转换为灰度图；
在所述灰度图中裁减出待检测部位；
对所述待检测部位图像进行二值化处理；
对所述二值化处理后的图像进行区域填充，其中，填充连通区域面积在3000-5000的区域；
对所述区域填充后的图像进行开运算；
对所述开运算后的图像进行区域连接；
选取面积在3000-5000的连通区域；
对选取的连通区域进行画圆，所述圆为包含连通区域的最小圆，其中，若存在圆心坐标，则表征零部件不缺失，若不存在圆心坐标，则表征零部件缺失。
优选地，所述拍摄待检测目标获得待检测目标图像，包括：
在拍摄待检测目标时进行补光，通过触发器触发拍摄待检测目标获得待检测目标图像。
第二方面，本申请实施例提供了一种基于机器学习的零部件缺失检测系统，包括处理器、存储器、显示器和摄像头；
所述存储器用于存储处理器的执行指令；
所述摄像头用于拍摄待检测目标获得待检测目标图像；
所述显示器用于输出所述深度学习算法的检测结果和图像处理算法的检测结果；
所述处理器包括CPU和GPU，所述CPU和GPU被配置为执行权利要求1-7任一项所述的方法。
优选地，所述系统还包括触发器和补光模组；
所述补光模组用于在摄像头拍摄待检测目标时进行补光；
所述触发器用于触发摄像头拍摄待检测目标。
采用本申请实施例所提供的技术方案，具有以下优点：
1、将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好；
2、采用机器视觉进行缺失检测，节约成本，提高效率且不需过多人为的干预和控制。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种零部件缺失检测方法流程示意图；
图2为本申请实施例提供的另一种零部件缺失检测方法流程示意图；
图3为本申请实施例提供的另一种零部件缺失检测方法流程示意图；
图4为本申请实施例提供的另一种零部件缺失检测方法流程示意图；
图5为本申请实施例提供的另一种零部件缺失检测方法流程示意图；
图6为本申请实施例提供的一种零部件缺失检测系统结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了提高工业生产中的生产效率，降低人工成本，本申请实施例提供了一种零部件缺失检测方法及系统。图1为本申请实施例提供的一种零部件缺失检测方法流程示意图，如图1所示，该方法主要包括以下步骤。
步骤S100：拍摄待检测目标获得待检测目标图像。
可理解，该待检测目标为需要进行零部件缺失检测的目标，可以为生产线上的产品，或者产品的一部分。例如，在进行云台产品的组装时，需要检测云台上所有的螺丝是否都安装到位。
另外，为了提高待检测目标图像的拍摄效果，在进行拍摄时，还可以通过补光模组进行补光。具体为：系统通电开始工作后，补光模组为摄像头拍摄提供光照补偿；当有待检测物体遮挡触发器时，触发器开始工作，触发摄像头拍摄图像。
步骤S200：分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测。
在本申请实施例中，该深度学习算法可以为yolov3算法，当然深度学习算法种类繁多，本领域技术人员可以根据实际需要选择其它深度学习算法，其均应当落入本申请的保护范围之内。
在工业现场检测中，有些情况下使用深度学习效果不好，采用图像处理的效果较好；有些情况下，采用深度学习效果较好，采用图像处理效果较差。例如，由于图像处理受光照影响很大，因此光照影响比较厉害的时候采用深度学习就会比图像处理效果要好；再如，对螺丝钉缺失的检测，螺丝钉缺失前后的对照，采用深度学习方法无法做到这么精细的检测，检测效果不理想，但是采用图像处理算法进行检测，检测效果较好。
实际应用场景中，待检测目标可能有多个部位需要进行检测，本申请实施例将深度学习算法和图像处理算法相结合，根据待检测目标不同部位的特点选择相应的检测方法。
步骤S300：输出所述深度学习算法的检测结果和图像处理算法的检测结果。
具体地，可以在显示器中显示所述深度学习算法的检测结果和图像处理算法的检测结果。
采用本申请实施例所提供的技术方案，具有以下优点：
1、将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好；
2、采用机器视觉进行缺失检测，节约成本，提高效率且不需过多人为的干预和控制。
以下分别对深度学习算法和图像处理算法的检测方法进行说明。
图2为本申请实施例提供的另一种零部件缺失检测方法流程示意图，图2所述实施例在图1所示实施例的基础上还包括以下步骤，以下步骤为对图1所示步骤S200的进一步拓展。
步骤S211：对深度学习算法的网络结构进行训练，获得完成训练的网络。
若深度学习算法为yolov3算法，该网络结构可以为Darknet-53网络结构，训练完成后，获得完成训练的Darknet-53网络。
步骤S212：将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果。
具体为，对所述待检测目标图像进行预处理，所述预处理包括归一化、尺度缩放和色度空间转化处理；
将预处理后的待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，其中，若所述待检测目标图像中包含目标，则所述深度学习算法检测结果中包含所述目标的检测框位置信息与类别标签。
图3为本申请实施例提供的另一种零部件缺失检测方法流程示意图，图3所述实施例在图2所示实施例的基础上还包括以下步骤，以下步骤为对图2所示步骤S211的进一步拓展。
步骤S2111：构建训练数据集。
所述训练数据集用于对深度学习算法的网络结构进行训练。
步骤S2112：将所述训练数据集输入所述网络结构中，提取所述训练数据集的目标特征和候选框。
步骤S2113：确定所述候选框的参数信息，对所述候选框进行聚类分析。
其中，所述候选框anchor的参数信息包括候选框anchor的个数、候选框anchor的尺寸、候选框anchor与真实框的交并比IOU阈值、置信度阈值，所述候选框anchor的尺寸包括候选框anchor的宽和高。在一种可选实施例中，IOU阈值为0.6，置信度阈值为0.5。
在一种可选实施例中，对所述候选框进行聚类分析，具体为，利用K-means聚类算法对候选框进行聚类分析，得到anchor box，并在每个网格上产生3个尺度anchor box数来生成预测的目标边界框以及使用二元交叉熵损失函数(binary cross-entropy loss)来预测类别。
步骤S2114：通过所述网络结构的前向传播获得目标的检测框和目标的类别信息。
步骤S2115：计算回归损失函数，根据梯度下降算法和反向传播算法调整网络结构中参数的取值。
具体为，根据检测框信息输出结果与实际检测框位置信息的回归损失函数、物体预测中心点与实际中心点位置信息的回归损失函数、运动目标的类别信息与实际类别标签的分类损失函数以及目标预测置信度与实际物体置信度的回归损失函数，通过对所有的回归损失函数进行求和的形式计算所有损失函数的总损失值，根据梯度下降算法和反向传播算法调整网络结构中参数的取值。
步骤S2115结束后返回步骤S2112，经过N次迭代训练，得到训练好的深度学习算法的网络结构。
图4为本申请实施例提供的另一种零部件缺失检测方法流程示意图，图4所述实施例在图3所示实施例的基础上还包括以下步骤，以下步骤为对图3所示步骤S2111的进一步拓展。
步骤S21111：采集待检测目标的视频图像。
具体为，采集待检测目标在摄像头下拍摄的不同角度、不同姿势、不同背景、不同距离、不同遮挡、不同光照和不同天气等情况下的视频图像。
步骤S21112：对所述视频图像进行数据扩充。
在一种可选实施例中，所述数据扩充方式包括以下方式的一种或其组合：水平和垂直翻转、随机剪裁、随机角度的旋转、改变图像对比度和亮度。
步骤S21113：对所述视频扩充后的视频图像随机擦除一矩形区域，并对擦除后的矩形区域随机填充0-255内的像素值。
在一种可选实施例中，可以采用Random Erasing方法进行随机擦除。
步骤S21111：对所述随机擦除后的视频图像进行目标的位置和类别标记，获得训练数据集。
具体为，采用labelimg标注工具对目标进行位置和类别标记，目标的位置包括：长的最大值、长的最小值、宽的最大值和宽的最小值；目标的类别包括face(人脸检测)、part(部件缺失检测)、person(行人检测)等。另外，对图像进行归一化(像素值在0到1之间)、尺度缩放(采用416×416统一的大小)以及色度空间转化(RGB转BGR)，形成训练数据集。
在本申请实施例中，所述步骤S300中输出所述深度学习算法的检测结果，包括：
根据原始的待检测目标图像的缩放比例，对所述检测框进行反向比例变换，在所述原始的待检测目标图像中标记出所述检测框，并显示所述检测结果中目标的类别标签。
以上为通过深度学习算法进行零部件缺失检测的实现方法，以下对通过图像处理算法进行零部件缺失检测的实现方法进行详细介绍。
图5为本申请实施例提供的另一种零部件缺失检测方法流程示意图，图5所述实施例在图1所示实施例的基础上还包括以下步骤，以下步骤为对图1所示步骤S200的进一步拓展。
步骤S221：将所述待检测目标图像转换为灰度图。
步骤S222：在所述灰度图中裁减出待检测部位。
步骤S223：对所述待检测部位图像进行二值化处理。
步骤S224：对所述二值化处理后的图像进行区域填充，其中，填充连通区域面积在3000-5000的区域。
步骤S225：对所述区域填充后的图像进行开运算。
步骤S226：对所述开运算后的图像进行区域连接。
步骤S227：选取面积在3000-5000的连通区域。
步骤S228：对选取的连通区域进行画圆，所述圆为包含连通区域的最小圆，其中，若存在圆心坐标，则表征零部件不缺失，若不存在圆心坐标，则表征零部件缺失。
以上为本申请实施例通过图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测的实现方法。
与上述方法相对应，本申请实施例还提供了一种零部件缺失检测系统，图6为本申请实施例提供的一种零部件缺失检测系统结构示意图，如图6所示，所述系统包括处理器、触发器、存储器、显示器、电源、摄像头和补光模组。
所述处理器包括：CPU(Central Processing Unit/Processor，中央处理器)和GPU(Graphics Processing Unit，图像处理单元)。
所述存储器用于存储处理器的执行指令。
CPU和GPU被配置为执行上述任一项所述的方法，其中，GPU用于深度学习加速运算，所述CPU与GPU通过存储器进行数据交互，可以相互访问相应地物理内存地址，获取数据。
例如，在上述方法中，深度学习算法的网络结构的的卷积运算是在GPU中运行的，初始的图像预处理由CPU完成，并将处理的图像放到CPU中的物理地址中进行存储，GPU从CPU中的物理地址中读取处理后的图像进行卷积运算，并将结果存储到GPU中的物理地址中，CPU从GPU中的物理地址中读取结果，并将结果传送给显示器。
所述触发器用于触发摄像头拍摄。
所述补光模组为摄像头进行补光，在一种可选实施例中，所述补光模组为红光模组。
所述存储器可以为DDR/SDRAM存储模块。
所述显示器可以为VGA/HDMI显示模块，所述显示器通过VGA线/HDMI线与处理器连接。
所述的电源模块为系统的工作提供工作电源。
采用本申请实施例所提供的技术方案，将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好。
采用本申请实施例所提供的技术方案，具有以下优点：
1、将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好；
2、采用机器视觉进行缺失检测，节约成本，提高效率且不需过多人为的干预和控制。
本领域技术人员可以理解，图中示出的系统的结构并不构成对本申请的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，所述处理器为存储设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。
所述存储器，用于存储处理器的执行指令，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
当存储器中的执行指令由处理器执行时，使得系统能够执行上述方法实施例中的部分或全部步骤。
具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种零部件缺失检测方法，其特征在于，包括：
拍摄待检测目标获得待检测目标图像；
分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；
输出所述深度学习算法的检测结果和图像处理算法的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述通过深度学习算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：
对深度学习算法的网络结构进行训练，获得完成训练的网络；
将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果。
3.根据权利要求2所述的方法，其特征在于，所述对深度学习算法的网络结构进行训练，获得完成训练的网络，包括：
构建训练数据集；
将所述训练数据集输入所述网络结构，经过N次迭代训练，获得完成训练的网络；
其中，所述训练数据集输入所述网络结构的训练过程包括：
将所述训练数据集输入所述网络结构中，提取所述训练数据集的目标特征和候选框；
确定所述候选框的参数信息，对所述候选框进行聚类分析，其中，所述候选框的参数信息包括候选框的个数、候选框的尺寸、候选框与真实框的交并比IOU阈值、置信度阈值；
通过所述网络结构的前向传播获得目标的检测框和目标的类别信息；
计算回归损失函数，根据梯度下降算法和反向传播算法调整网络结构中参数的取值。
4.根据权利要求3所述的方法，其特征在于，所述构建训练数据集包括：
采集待检测目标的视频图像；
对所述视频图像进行数据扩充，所述数据扩充方式包括以下方式的一种或其组合：水平和垂直翻转、随机剪裁、随机角度的旋转、改变图像对比度和亮度；
对所述视频扩充后的视频图像随机擦除一矩形区域，并对擦除后的矩形区域随机填充0-255内的像素值；
对所述随机擦除后的视频图像进行目标的位置和类别标记，获得训练数据集。
5.根据权利要求2所述的方法，其特征在于，将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，包括：
对所述待检测目标图像进行预处理，所述预处理包括归一化、尺度缩放和色度空间转化处理；
将预处理后的待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，其中，若所述待检测目标图像中包含目标，则所述深度学习算法检测结果中包含所述目标的检测框位置信息与类别标签。
6.根据权利要求5所述的方法，其特征在于，输出所述深度学习算法的检测结果，包括：
根据原始的待检测目标图像的缩放比例，对所述检测框进行反向比例变换，在所述原始的待检测目标图像中标记出所述检测框，并显示所述检测结果中目标的类别标签。
7.根据权利要求1所述的方法，其特征在于，通过图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：
将所述待检测目标图像转换为灰度图；
在所述灰度图中裁减出待检测部位；
对所述待检测部位图像进行二值化处理；
对所述二值化处理后的图像进行区域填充，其中，填充连通区域面积在3000-5000的区域；
对所述区域填充后的图像进行开运算；
对所述开运算后的图像进行区域连接；
选取面积在3000-5000的连通区域；
对选取的连通区域进行画圆，所述圆为包含连通区域的最小圆，其中，若存在圆心坐标，则表征零部件不缺失，若不存在圆心坐标，则表征零部件缺失。
8.根据权利要求1所述的方法，其特征在于，所述拍摄待检测目标获得待检测目标图像，包括：
在拍摄待检测目标时进行补光，通过触发器触发拍摄待检测目标获得待检测目标图像。
9.一种基于机器学习的零部件缺失检测系统，其特征在于，包括处理器、存储器、显示器和摄像头；
所述存储器用于存储处理器的执行指令；
所述摄像头用于拍摄待检测目标获得待检测目标图像；
所述显示器用于输出所述深度学习算法的检测结果和图像处理算法的检测结果；
所述处理器包括CPU和GPU，所述CPU和GPU被配置为执行权利要求1-7任一项所述的方法。
10.根据权利要求9所述的系统，其特征在于，还包括触发器和补光模组；
所述补光模组用于在摄像头拍摄待检测目标时进行补光；
所述触发器用于触发摄像头拍摄待检测目标。
CN202010729005.3A 2020-07-27 2020-07-27 一种零部件缺失检测方法及系统 Pending CN111986161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010729005.3A CN111986161A (zh) 2020-07-27 2020-07-27 一种零部件缺失检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010729005.3A CN111986161A (zh) 2020-07-27 2020-07-27 一种零部件缺失检测方法及系统

Publications (1)

Publication Number Publication Date
CN111986161A true CN111986161A (zh) 2020-11-24

Family

ID=73438937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010729005.3A Pending CN111986161A (zh) 2020-07-27 2020-07-27 一种零部件缺失检测方法及系统

Country Status (1)

Country Link
CN (1) CN111986161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581441A (zh) * 2022-05-05 2022-06-03 深圳百里科技有限公司 零部件检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN109977817A (zh) * 2019-03-14 2019-07-05 南京邮电大学 基于深度学习的动车组车底板螺栓故障检测方法
CN110473211A (zh) * 2019-08-13 2019-11-19 上海眼控科技股份有限公司 一种弹簧片的数量的检测方法及设备
CN110838112A (zh) * 2019-11-08 2020-02-25 上海电机学院 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN111047655A (zh) * 2020-01-10 2020-04-21 北京盛开互动科技有限公司 基于卷积神经网络的高清摄像机布料疵点检测方法
CN111429486A (zh) * 2020-04-27 2020-07-17 山东万腾电子科技有限公司 基于dnndk模型的运动目标实时检测跟踪系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN109977817A (zh) * 2019-03-14 2019-07-05 南京邮电大学 基于深度学习的动车组车底板螺栓故障检测方法
CN110473211A (zh) * 2019-08-13 2019-11-19 上海眼控科技股份有限公司 一种弹簧片的数量的检测方法及设备
CN110838112A (zh) * 2019-11-08 2020-02-25 上海电机学院 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN111047655A (zh) * 2020-01-10 2020-04-21 北京盛开互动科技有限公司 基于卷积神经网络的高清摄像机布料疵点检测方法
CN111429486A (zh) * 2020-04-27 2020-07-17 山东万腾电子科技有限公司 基于dnndk模型的运动目标实时检测跟踪系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭丹 等: "基于轨边图像 SURF 特征的动车底部件异常检测算法", 《信息系统工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581441A (zh) * 2022-05-05 2022-06-03 深圳百里科技有限公司 零部件检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US20200074665A1 (en) Object detection method, device, apparatus and computer-readable storage medium
CN110309824B (zh) 文字检测方法、装置以及终端
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN112241699A (zh) 物体缺陷类别识别方法、装置、计算机设备和存储介质
CN112418216B (zh) 一种复杂自然场景图像中的文字检测方法
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN114758249B (zh) 基于野外夜间环境的目标物监测方法、装置、设备及介质
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN112200189B (zh) 基于SPP-YOLOv3的车型识别方法、装置及计算机可读存储介质
CN111008994A (zh) 基于MPSoC的运动目标实时检测跟踪系统及方法
CN112990205A (zh) 手写字符样本的生成方法及装置、电子设备、存储介质
CN114220009A (zh) 一种基于红外图像的导线风偏识别方法与系统
CN112785557A (zh) 皮带料流检测方法及装置、皮带料流检测系统
CN114723636A (zh) 基于多特征融合的模型生成方法、装置、设备及存储介质
CN114387346A (zh) 一种图像识别、预测模型处理方法、三维建模方法和装置
CN111986161A (zh) 一种零部件缺失检测方法及系统
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN116994049A (zh) 全自动针织横机及其方法
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
US11954865B2 (en) Image processing apparatus, image processing method, and storage medium for foreground extraction
CN114816055A (zh) 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质
CN114549809A (zh) 手势识别方法以及相关设备
CN115843375A (zh) 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质
CN107977644B (zh) 基于图像采集设备的图像数据处理方法及装置、计算设备
CN115509351B (zh) 一种感官联动情景式数码相框交互方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124

RJ01 Rejection of invention patent application after publication