CN108491759A - 一种基于深度学习的工序检测装置及其工序检测方法 - Google Patents

一种基于深度学习的工序检测装置及其工序检测方法 Download PDF

Info

Publication number
CN108491759A
CN108491759A CN201810137318.2A CN201810137318A CN108491759A CN 108491759 A CN108491759 A CN 108491759A CN 201810137318 A CN201810137318 A CN 201810137318A CN 108491759 A CN108491759 A CN 108491759A
Authority
CN
China
Prior art keywords
image
workpiece
unit
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810137318.2A
Other languages
English (en)
Inventor
许�鹏
令狐彬
钱戈
童文富
张鲜顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Di Hong Automation Co Ltd
Original Assignee
Hefei Di Hong Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Di Hong Automation Co Ltd filed Critical Hefei Di Hong Automation Co Ltd
Priority to CN201810137318.2A priority Critical patent/CN108491759A/zh
Publication of CN108491759A publication Critical patent/CN108491759A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明属于基于深度学习的工序检测技术领域，特别涉及一种基于深度学习的工序检测装置及其工序检测方法。本发明包括离线工序检测模型训练模块和在线工序检测模块，所述离线工序检测模型训练模块用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库，在线工序检测模块用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。本发明的成本低廉、兼容性好、工序检测准确，而且能够对生产物料进行实时追踪，记录工件的坐标，数量以及计算装配时间，记录工件装配顺序。

Description

一种基于深度学习的工序检测装置及其工序检测方法
技术领域
本发明属于基于深度学习的工序检测技术领域，特别涉及一种基于深度学习的工序检测装置及其工序检测方法。
背景技术
由于制造类企业近年来的生产成本的急剧上升，其中大部分来自于劳动成本的上升，许多制造类企业，特别是劳动密集性企业，不仅面临着工人工资的大幅上升，而且面临着工人难招，离职率高，而且面临工人难以管理，生产效率和产品质量难以保证的困境。
现有技术中使用亮灯分拣系统来监管生产效率和提升品质，但是由于亮灯分拣系统需要设计专门的电路板，并配置主机，硬件造价成本较高；由于制造类企业的生产线上的物料种类差别很大，型号复杂，对于工位区域内有些动作不在亮灯的信号采集区域，就无法采集数据。因此亟需提供一种成本低廉、兼容性好、工序检测准确的基于深度学习的工序检测装置。
发明内容
本发明为了克服上述现有技术的不足，提供了一种基于深度学习的工序检测装置，本发明成本低廉、兼容性好、工序检测准确。
为实现上述目的，本发明采用了以下技术措施：
一种基于深度学习的工序检测装置包括离线工序检测模型训练模块和在线工序检测模块，其中，
离线工序检测模型训练模块，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；
在线工序检测模块，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。
优选的，所述离线工序检测模型训练模块包括背景图像获取单元、第一样本生成单元、分割模型训练单元、工件图像获取单元、工件分割单元、第二样本生成单元、训练目标检测模型单元，
背景图像获取单元，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元；
第一样本生成单元，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；
分割模型训练单元，用于接收来自第一样本生成单元的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；
工件图像获取单元，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元；
工件分割单元，用于接收来自分割模型训练单元的多个颜色的背景图像的分割模型，以及来自工件图像获取单元的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；
第二样本生成单元，用于接收来自工件分割单元的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；
训练目标检测模型单元，用于接收来自第二样本生成单元的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型。
优选的，所述在线工序检测模块包括图像提取单元、预处理单元、工件目标检测单元、手部目标检测单元、工序判断单元以及计时显示单元；
图像提取单元，用于获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元；
预处理单元，用于对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元、手部目标检测单元、计时显示单元；
工件目标检测单元，用于接收来自训练目标检测模型单元的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；
手部目标检测单元，用于接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；
工序判断单元，用于接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元；
计时显示单元，用于更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。
本发明还提供了一种基于深度学习的工序检测装置的工序检测方法，包括以下步骤：
S1、所述背景图像获取单元分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元；
S2、所述第一样本生成单元获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；
S3、所述分割模型训练单元接收来自第一样本生成单元的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，分割模型训练单元输出多个颜色的背景图像的分割模型；
S4、所述工件图像获取单元获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元；
S5、所述工件分割单元接收来自分割模型训练单元的多个颜色的背景图像的分割模型，以及接收来自工件图像获取单元的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；
S6、所述第二样本生成单元接收来自工件分割单元的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；
S7、所述训练目标检测模型单元接收来自第二样本生成单元的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型；
S8、所述图像提取单元获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元；
S9、所述预处理单元对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元、手部目标检测单元、计时显示单元；
S10、所述工件目标检测单元接收来自训练目标检测模型单元的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；
S11、所述手部目标检测单元接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；
S12、所述工序判断单元接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元；
S13、所述计时显示单元更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。
优选的，步骤S9中的所述预处理单元对视频图像进行预处理操作具体包括以下步骤：
S91、将视频图像按照原图像比例缩放为长边448像素；
S92、所述长边448像素中的每个像素点均除以255，将每个像素点归一化到0～1之间，得到归一化后的像素点；
S93、所述归一化后的像素点中的每个通道分别减去相应通道的均值，得到预处理后的视频图像。
进一步的，步骤S1中的所述不同环境包括光照、焦距、噪音环境。
进一步的，步骤S2中的图像处理操作包括随机缩放、旋转、模糊、光照以及对比度抖动。
进一步的，步骤S10的具体操作步骤包括：将预处理后的视频图像输入至工序对应的神经网络模型，工序对应的神经网络模型利用YOLO算法输出最多980个工件目标的检测结果，每个工件目标的检测结果包括工件目标的坐标、大小以及类别。
进一步的，步骤S11的具体操作步骤包括：将预处理后的视频图像输入至基于深度学习的手部检测模型，基于深度学习的手部检测模型利用YOLO算法输出预处理后的视频图像中的手部目标的坐标、大小。
本发明的有益效果在于：
1)、本发明包括离线工序检测模型训练模块和在线工序检测模块，所述离线工序检测模型训练模块用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库，在线工序检测模块用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。本发明的成本低廉、兼容性好、工序检测准确，而且能够对生产物料进行实时追踪，记录工件的坐标，数量以及计算装配时间，记录工件装配顺序。
2)、所述在线工序检测模块包括图像提取单元、预处理单元、工件目标检测单元、手部目标检测单元、工序判断单元以及计时显示单元，所述工件目标检测单元和手部目标检测单元分别给出工件目标和手在每一帧图像中的类别和坐标，作为判断工序依据，使得工序判断的更加准确，可靠性高。
附图说明
图1为本发明的一个实施例的工序检测装置的结构框图；
图2为本发明的一个实施例的离线工序检测模型训练模块的结构框图；
图3为本发明的一个实施例的在线工序检测模块的结构框图；
图4为本发明的一个实施例的基于深度学习的图像分割模型的原理图。
图中的附图标记含义如下：
10—离线工序检测模型训练模块 11—背景图像获取单元
12—第一样本生成单元 13—分割模型训练单元
14—工件图像获取单元 15—工件分割单元
16—第二样本生成单元 17—训练目标检测模型单元
20—在线工序检测模块 21—图像提取单元
22—预处理单元 23—工件目标检测单元
24—手部目标检测单元 25—工序判断单元
26—计时显示单元
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度学习的工序检测装置包括离线工序检测模型训练模块10和在线工序检测模块20，所述离线工序检测模型训练模块10用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；在线工序检测模块20用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。
当需要添加一个新的加工程序时，操作人员拍摄工序中每一个步骤的产品图像，送入离线工序检测模型训练模块10，离线工序检测模型训练模块10可以自动分析训练，得到与工序对应的神经网络模型。
当一个工序开始加工时，操作人员从模型库中选择相应的模型，启动在线工序检测模块20，则在线工序检测模块20可以分析和识别出每个工序的类型，反馈给操作人员。
如图2所示，所述离线工序检测模型训练模块10包括背景图像获取单元11、第一样本生成单元12、分割模型训练单元13、工件图像获取单元14、工件分割单元15、第二样本生成单元16、训练目标检测模型单元17，
背景图像获取单元11，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元12；
第一样本生成单元12，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；
第一标签图像的背景区域为1即白色，工件图像区域为0即黑色。
分割模型训练单元13，用于接收来自第一样本生成单元12的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；
工件图像获取单元14，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元15；
工件分割单元15，用于接收来自分割模型训练单元13的多个颜色的背景图像的分割模型，以及来自工件图像获取单元14的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；
第二样本生成单元16，用于接收来自工件分割单元15的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；
训练目标检测模型单元17，用于接收来自第二样本生成单元16的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型。
如图3所示，所述在线工序检测模块20包括图像提取单元21、预处理单元22、工件目标检测单元23、手部目标检测单元24、工序判断单元25以及计时显示单元26；
图像提取单元21，用于获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元22；
预处理单元22，用于对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元23、手部目标检测单元24、计时显示单元26；
工件目标检测单元23，用于接收来自训练目标检测模型单元17的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；
手部目标检测单元24，用于接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；
工序判断单元25，用于接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元26；
计时显示单元26，用于更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。
本发明还提供了一种基于深度学习的工序检测装置的工序检测方法，包括以下步骤：
S1、所述背景图像获取单元11分别获取不同光照、焦距、噪音环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元12；
S2、所述第一样本生成单元12获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行随机缩放、旋转、模糊、光照以及对比度抖动，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；
S3、所述分割模型训练单元13接收来自第一样本生成单元12的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，分割模型训练单元13输出多个颜色的背景图像的分割模型；
S4、所述工件图像获取单元14获取不同光照、焦距、噪音环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元15；
S5、所述工件分割单元15接收来自分割模型训练单元13的多个颜色的背景图像的分割模型，以及接收来自工件图像获取单元14的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；
S6、所述第二样本生成单元16接收来自工件分割单元15的分割后的工件图像，并将分割后的工件图像进行随机缩放、旋转、模糊、光照以及对比度抖动，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；
S7、所述训练目标检测模型单元17接收来自第二样本生成单元16的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型；
S8、所述图像提取单元21获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元22；
S9、所述预处理单元22对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元23、手部目标检测单元24、计时显示单元26；
S10、所述工件目标检测单元23接收来自训练目标检测模型单元17的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；
S11、所述手部目标检测单元24接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；
S12、所述工序判断单元25接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元26；
S13、所述计时显示单元26更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。
具体的，步骤S9中的所述预处理单元22对视频图像进行预处理操作具体包括以下步骤：
S91、将视频图像按照原图像比例缩放为长边448像素；
S92、所述长边448像素中的每个像素点均除以255，将每个像素点归一化到0～1之间，得到归一化后的像素点；
S93、所述归一化后的像素点中的每个通道分别减去相应通道的均值，得到预处理后的视频图像。
每个通道指的是RGB三个通道，通道均值指的是每个通道的所有像素点相加，再除以像素点数目。
如图4所示，步骤S3中的利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型的方法为现有技术，具体步骤包括：输入图像经过VGG-16构成的基网络提取特征，再经过5层反卷积网络，得到与原图大小相同的特征图，最终的输出层通道数与图像中目标类别数相同，每张图包含工件目标和背景两类，因此输出通道数为2，训练时，使用的误差函数是经过softmax的交叉熵。
每个长方体方体表示一个卷积层，数字表示卷基层的输出通道数，最后一层的输出通道数与类别数相同，最后一层的输出通道数为2。
forward/inference表示前向/预测，含义是输入图像从左向右经过网络运算，能够得到图像的分割结果；
backward/learning表示反向/训练，含义是训练模型时，模型的误差和梯度反向传播，能够训练模型参数；
Pixelwise prediction表示像素级预测结果，含义是模型输出时每个像素点会得到一个单独的结果，表示该像素点属于分割结果的哪一类；
Segmentation g.t表示分割结果，不同颜色表示不同像素点属于图像中不同的类别。
步骤S7中的利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型的方法为现有技术，输入图像经过darknet-19构成的基网络提取特征，再经过以三层卷积网络构成的RPN网络，RPN网络的输出层中不同通道，具有不同的物理意义。若以448×448的图像作为输入，RPN网络可以输出最多980个目标检测结果，每个结果包括该目标的坐标、大小、类别，类别的概率信息。
步骤S10的具体操作步骤包括：将预处理后的视频图像输入至工序对应的神经网络模型，工序对应的神经网络模型利用YOLO算法输出最多980个工件目标的检测结果，每个工件目标的检测结果包括工件目标的坐标、大小以及类别、类别的概率信息，如果类别的概率信息大于阈值，阈值设置为0.24，则该目标被判断为有效目标。
步骤S11的具体操作步骤包括：将预处理后的视频图像输入至基于深度学习的手部检测模型，基于深度学习的手部检测模型利用YOLO算法输出预处理后的视频图像中的手部目标的坐标、大小、手部的置信度信息，如果手部的置信度信息大于阈值，阈值设置为0.3，则该目标被判断为手部。
步骤S12中的所述工序判断单元25判断视频图像中的工件目标是否为人工正在操作的工件即手部目标的具体操作步骤包括：
所有手部目标iou之和最小的工件为工人正在操作的工件，两个手部目标的iou定义为，两个手部目标区域的交集与并集之比iou＝areai∩areaj/areai∪areaj，areai为第i个手部目标在图像中所占区域的面积，areaj为第j个手部目标在图像中所占区域的面积，若连续N帧视频图像中，同一手部目标被判断为操作目标，则认为该手部目标为操作目标，N＝15。
若当前帧视频图像判断的操作目标与之前判断的操作目标为不同目标，则开始计数，若连续M帧不同，则认为操作目标有改变，输出前一个目标的工序结果，M＝30。
若当前帧视频图像中没有检测到手部，或手部与任何一个目标的iou都为0，则开始计数，若连续K帧没有检测到手部，则认为目标对应工序已完成，输出工序判断结果，K＝30。
步骤S12中的所述工序判断单元25判断视频图像中的工件目标的工序类型的具体操作步骤包括：
若一个工件目标的当前帧视频图像工序检测结果与之前判断相同，则检测结果即为工序判断结果；
若一个工件目标的当前帧视频图像工序检测结果与之前判断不同，则开始计数，若计数小于阈值Q，则工序判断结果仍为之前的工序类型，在计数达到Q之前，检测结果与之前判断结果相同，则计数清0；若连续Q帧视频图像工序检测结果都判断为其他类型，则判断检测结果为新类型，Q＝30。
手部目标iou之和指的是图像中可能有不止一个手，经常会有两只手操作一个工件的情况，对一个工件，计算该工件与每只手的iou，再把这些iou相加，即为手部目标iou之和。
所述计时显示单元26记录工序判断单元25输出的工序起始及完成时间，记录和显示每个工序的操作时间，并根据工序判断单元25输出的工序类别及坐标信息，在图像中画出目标区域，提供给用户界面用于显示。
综上所述，本发明的成本低廉、兼容性好、工序检测准确，而且能够对生产物料进行实时追踪，记录工件的坐标，数量以及计算装配时间，记录工件装配顺序。

Claims (9)

1.一种基于深度学习的工序检测装置，其特征在于：包括离线工序检测模型训练模块(10)和在线工序检测模块(20)，其中，
离线工序检测模型训练模块(10)，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；
在线工序检测模块(20)，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。
2.如权利要求1所述的一种基于深度学习的工序检测装置，其特征在于：所述离线工序检测模型训练模块(10)包括背景图像获取单元(11)、第一样本生成单元(12)、分割模型训练单元(13)、工件图像获取单元(14)、工件分割单元(15)、第二样本生成单元(16)、训练目标检测模型单元(17)，
背景图像获取单元(11)，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元(12)；
第一样本生成单元(12)，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；
分割模型训练单元(13)，用于接收来自第一样本生成单元(12)的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；
工件图像获取单元(14)，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元(15)；
工件分割单元(15)，用于接收来自分割模型训练单元(13)的多个颜色的背景图像的分割模型，以及来自工件图像获取单元(14)的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；
第二样本生成单元(16)，用于接收来自工件分割单元(15)的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；
训练目标检测模型单元(17)，用于接收来自第二样本生成单元(16)的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型。
3.如权利要求2所述的一种基于深度学习的工序检测装置，其特征在于：所述在线工序检测模块(20)包括图像提取单元(21)、预处理单元(22)、工件目标检测单元(23)、手部目标检测单元(24)、工序判断单元(25)以及计时显示单元(26)；
图像提取单元(21)，用于获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元(22)；
预处理单元(22)，用于对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元(23)、手部目标检测单元(24)、计时显示单元(26)；
工件目标检测单元(23)，用于接收来自训练目标检测模型单元(17)的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；
手部目标检测单元(24)，用于接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；
工序判断单元(25)，用于接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元(26)；
计时显示单元(26)，用于更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。
4.如权利要求3所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于，包括以下步骤：
S1、所述背景图像获取单元(11)分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元(12)；
S2、所述第一样本生成单元(12)获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；
S3、所述分割模型训练单元(13)接收来自第一样本生成单元(12)的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，分割模型训练单元(13)输出多个颜色的背景图像的分割模型；
S4、所述工件图像获取单元(14)获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元(15)；
S5、所述工件分割单元(15)接收来自分割模型训练单元(13)的多个颜色的背景图像的分割模型，以及接收来自工件图像获取单元(14)的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；
S6、所述第二样本生成单元(16)接收来自工件分割单元(15)的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；
S7、所述训练目标检测模型单元(17)接收来自第二样本生成单元(16)的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型；
S8、所述图像提取单元(21)获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元(22)；
S9、所述预处理单元(22)对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元(23)、手部目标检测单元(24)、计时显示单元(26)；
S10、所述工件目标检测单元(23)接收来自训练目标检测模型单元(17)的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；
S11、所述手部目标检测单元(24)接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；
S12、所述工序判断单元(25)接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元(26)；
S13、所述计时显示单元(26)更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。
5.如权利要求4所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于，步骤S9中的所述预处理单元(22)对视频图像进行预处理操作具体包括以下步骤：
S91、将视频图像按照原图像比例缩放为长边448像素；
S92、所述长边448像素中的每个像素点均除以255，将每个像素点归一化到0～1之间，得到归一化后的像素点；
S93、所述归一化后的像素点中的每个通道分别减去相应通道的均值，得到预处理后的视频图像。
6.如权利要求5所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于：步骤S1中的所述不同环境包括光照、焦距、噪音环境。
7.如权利要求6所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于：步骤S2中的图像处理操作包括随机缩放、旋转、模糊、光照以及对比度抖动。
8.如权利要求7所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于，步骤S10的具体操作步骤包括：将预处理后的视频图像输入至工序对应的神经网络模型，工序对应的神经网络模型利用YOLO算法输出最多980个工件目标的检测结果，每个工件目标的检测结果包括工件目标的坐标、大小以及类别。
9.如权利要求7所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于，步骤S11的具体操作步骤包括：将预处理后的视频图像输入至基于深度学习的手部检测模型，基于深度学习的手部检测模型利用YOLO算法输出预处理后的视频图像中的手部目标的坐标、大小。
CN201810137318.2A 2018-02-10 2018-02-10 一种基于深度学习的工序检测装置及其工序检测方法 Pending CN108491759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810137318.2A CN108491759A (zh) 2018-02-10 2018-02-10 一种基于深度学习的工序检测装置及其工序检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810137318.2A CN108491759A (zh) 2018-02-10 2018-02-10 一种基于深度学习的工序检测装置及其工序检测方法

Publications (1)

Publication Number Publication Date
CN108491759A true CN108491759A (zh) 2018-09-04

Family

ID=63340352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810137318.2A Pending CN108491759A (zh) 2018-02-10 2018-02-10 一种基于深度学习的工序检测装置及其工序检测方法

Country Status (1)

Country Link
CN (1) CN108491759A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105109A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作检测装置、操作检测方法及操作检测系统
WO2020164401A1 (zh) * 2019-02-12 2020-08-20 阿里巴巴集团控股有限公司 服装计数方法、计数方法和装置以及电子设备
CN113033492A (zh) * 2021-04-25 2021-06-25 内蒙古海洋工信科技有限责任公司 基于人工智能的磁性材料制备工序识别及监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243830A (ja) * 2005-02-28 2006-09-14 Ricoh Co Ltd 画像機器を利用したワークフロー支援システム及びワークフロー検索システム
CN101002682A (zh) * 2007-01-19 2007-07-25 哈尔滨工程大学 用于身份识别的手背静脉特征提取和匹配方法
CN103886279A (zh) * 2012-12-21 2014-06-25 本田技研工业株式会社 使用合成训练数据的实时骑车人检测
TW201426227A (zh) * 2012-12-21 2014-07-01 Ind Tech Res Inst 工序分析監控系統及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243830A (ja) * 2005-02-28 2006-09-14 Ricoh Co Ltd 画像機器を利用したワークフロー支援システム及びワークフロー検索システム
CN101002682A (zh) * 2007-01-19 2007-07-25 哈尔滨工程大学 用于身份识别的手背静脉特征提取和匹配方法
CN103886279A (zh) * 2012-12-21 2014-06-25 本田技研工业株式会社 使用合成训练数据的实时骑车人检测
TW201426227A (zh) * 2012-12-21 2014-07-01 Ind Tech Res Inst 工序分析監控系統及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周俊宇等: "卷积神经网络在图像分类和目标检测应用综述", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105109A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作检测装置、操作检测方法及操作检测系统
WO2020164401A1 (zh) * 2019-02-12 2020-08-20 阿里巴巴集团控股有限公司 服装计数方法、计数方法和装置以及电子设备
CN113033492A (zh) * 2021-04-25 2021-06-25 内蒙古海洋工信科技有限责任公司 基于人工智能的磁性材料制备工序识别及监控系统
CN113033492B (zh) * 2021-04-25 2022-08-02 内蒙古海洋工信科技有限责任公司 基于人工智能的磁性材料制备工序识别及监控系统

Similar Documents

Publication Publication Date Title
CN111667455B (zh) 一种刷具多种缺陷的ai检测方法
CN111126325B (zh) 一种基于视频的智能人员安防识别统计方法
CN106770332A (zh) 一种基于机器视觉的电子模切料缺陷检测实现方法
CN105241883B (zh) 一种印刷机图案在线检测和色彩分割的方法
CN108686978A (zh) 基于arm的水果类别和色泽的分拣方法及系统
CN107402221A (zh) 一种基于机器视觉的显示面板缺陷识别方法及系统
CN112347887B (zh) 一种物体检测方法、物体检测装置及电子设备
CN108491759A (zh) 一种基于深度学习的工序检测装置及其工序检测方法
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN106096603A (zh) 一种融合多特征的动态火焰检测方法及装置
CN108712627A (zh) 视频会议内容和质量检测设备及检测方法
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN113820326B (zh) 一种长码拉链的缺陷检测系统
CN106815575A (zh) 人脸检测结果集的优选系统及其方法
CN108038455A (zh) 基于深度学习的仿生机器孔雀图像识别方法
CN107547852A (zh) 一种大数据存储系统
CN108764456A (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN109815936A (zh) 一种目标对象分析方法及装置、计算机设备和存储介质
CN112560816A (zh) 一种基于YOLOv4的设备指示灯识别方法及系统
CN113269039A (zh) 一种在岗人员行为识别方法和系统
CN107862333A (zh) 一种在复杂环境下判断物体燃烧区域的方法
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
CN106645180A (zh) 检查基板玻璃缺陷的方法、现场终端及服务器
CN112883755A (zh) 一种基于深度学习与行为先验的吸烟和打电话检测方法
CN113077423A (zh) 基于卷积神经网络的激光选区熔化熔池图像分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904

RJ01 Rejection of invention patent application after publication