CN109444146A - 一种工业加工产品的缺陷检测方法、装置及设备 - Google Patents

一种工业加工产品的缺陷检测方法、装置及设备 Download PDF

Info

Publication number
CN109444146A
CN109444146A CN201811079875.XA CN201811079875A CN109444146A CN 109444146 A CN109444146 A CN 109444146A CN 201811079875 A CN201811079875 A CN 201811079875A CN 109444146 A CN109444146 A CN 109444146A
Authority
CN
China
Prior art keywords
industrial processes
processes product
defect
product
inspection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811079875.XA
Other languages
English (en)
Inventor
何德裕
朱文飞
何国斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luban's Robot (shenzhen) Co Ltd
Original Assignee
Luban's Robot (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luban's Robot (shenzhen) Co Ltd filed Critical Luban's Robot (shenzhen) Co Ltd
Priority to CN201811079875.XA priority Critical patent/CN109444146A/zh
Publication of CN109444146A publication Critical patent/CN109444146A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种工业加工产品的缺陷检测方法、装置及自动化设备。其中，工业加工产品的缺陷检测方法包括获取工业加工产品的图像；基于预先经过训练的模型，检测所述图像，识别出所述图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。采用本发明的技术方案，通过机器学习的方法进行工业加工产品的缺陷检测，能够提高工业加工产品的缺陷检测的工作效率及准确率。

Description

一种工业加工产品的缺陷检测方法、装置及设备
技术领域
本发明涉及自动化技术领域，具体涉及一种工业加工产品的缺陷检测方法、装置及设备。
背景技术
现有的工业自动化技术领域中，工业加工产品可以包括各种类型，比如:玻璃制品、塑料制品等等，各种工业加工产品的缺陷种类也不同，由于各个缺陷和应用环境的不同，因此需要对每个工业产品的缺陷进行分类处理和编程。这样存在的问题是，一旦应用的环境、产品的种类等等发生改变，可能会造成产品缺陷检测判断出现错误，需要重新调整，或者重新编程。因此增加了整个产品缺陷检测程序的繁琐性，降低了检测过程的鲁棒性。
发明内容
有鉴于此，本发明提供一种工业加工产品的缺陷检测方法、装置及设备。
本发明第一方面提供一种工业加工产品的缺陷检测方法，所述工业加工产品的缺陷检测方法包括
获取多个不同拍摄角度的工业加工产品的多张图像；
基于预先经过训练的模型，检测所述多张图像，识别出所述多张图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
进一步，所述工业加工产品包括玻璃制品或塑料制品。
进一步，所述缺陷包括所述工业加工产品内部的气泡或杂质；或所述工业加工产品表面的划痕。
进一步，所述预先经过训练的模型为CNN模型。
进一步，所述预先经过训练的模型通过监督学习方法获取。
本发明第二方面提供一种工业加工产品的缺陷检测装置，所述工业加工产品的缺陷检测装置包括获取图像程序模块和识别特征程序模块；
所述获取图像程序模块，用于获取多个不同拍摄角度的工业加工产品的多张图像；
所述识别特征程序模块，用于基于预先经过训练的模型，检测所述多张图像，识别出所述多张图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
本发明第三方面提供一种工业加工产品的缺陷检测设备，所述工业加工产品的缺陷检测设备包括图像传感器和控制装置；
所述控制装置藕接所述图像传感器；
所述图像传感器，用于拍摄多张多个不同拍摄角度的工业加工产品的图像；
所述控制装置，用于获取多张多个不同拍摄角度的工业加工产品的图像；基于预先经过训练的模型，检测所述图像，识别出所述图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
进一步，所述图像传感器可转动的设置；或
所述图像传感器为成多个角度设置的多个图像传感器。
本发明第四方面提供一种工业加工产品的缺陷检测设备，其特征在于，所述工业加工产品的缺陷检测设备包括固定设置的图像传感器、机械手和控制装置；
所述控制装置藕接所述图像传感器和所述机械手；
所述机械手，用于抓取并带动所述工业加工产品转动多个角度，以使得所述固定设置的图像传感器拍摄多个不同拍摄角度的工业加工产品的多张图像；
所述控制装置，用于获取所述图像传感器拍摄的所述多张图像；基于预先经过训练的模型，检测所述图像，识别出所述图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上面任意一项所述的工业加工产品的缺陷检测方法。
本发明第六方面提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上面任意一项所述的工业加工产品的缺陷检测方法。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其它的附图。
图1为本发明提供的工业加工产品的缺陷识别方法实施例的流程图。
图2为本发明提供的经过训练的模型的获取方法的实施例的流程图。
图3为本发明提供的电子元器件的局部的特征识别装置的实施例的第一结构框图。
图4为本发明提供的电子元器件的局部的特征识别装置的实施例的第二结构框图。
图5为本发明提供的计算机设备的实施例结构框图。
具体实施方式
为了使本领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其它实施例，都应当属于本发明保护的范围。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1为本发明提供的工业加工产品的缺陷检测装置的实施例的第一结构示意图。
如图1所示，所述缺陷检测装置10包括：图像传感器11和控制装置12。
所述控制装置12通过有线或者无线的方式藕接所述图像传感器11。
无线方式可以包括但不限于：3G/4G、WIFI、蓝牙、WiMAX、Zigbee、UWB(ultrawideband),以及其它现在已知或将来开发的无线连接方式。
所述图像传感器11，用于拍摄多张多个不同拍摄角度的工业加工产品M的图像；图像传感器12可以包括但不限于：照相机、摄像机、扫描仪或其他带有相关功能的设备(手机、电脑等)等等。该图像可以包括静态图像或者视频图像(连续的静态图像)数据，当为视频图像时，可以从视频图像中截取任意一帧或几帧静态图像。获取的图像可以是二维图像，也可以是三维图像。
在一些实施例中，对二维图像，也可以先提取感兴趣的区域(ROI)，然后进行后续的工作。
需要说明的是，获取工业加工产品的图像可以通过如下方法获取：
一方面，可以为将收到的通过图像传感器采集并发送的原始图像，经过对原始图像进行处理，以从原始图像中识别出工业加工产品部分的图像。具体的识别方法可以采用传统的视觉方法或者基于训练模型的机器学习的方法实现。
另外，也可以将图像传感器发送的包括工业加工产品的原始图像作为工业加工产品的图像，然后直接将该图像输入到下面所述的预先经过训练的模型中。
需要说明的是，为了拍摄多张多个不同拍摄角度的工业加工产品的图像所述图像传感器可转动的设置，比如：如图1所示，设置在机械手13上，通过机械手13带动图像传感器11转动；或所述图像传感器为成多个角度设置的多个图像传感器(图未示意出)。
有关控制装置12的限定可以参见下面实施例中关于工业加工产品的缺陷检测方法的限定。上述控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图2为本发明提供的工业加工产品的缺陷检测装置的实施例的第二结构示意图。
如图2所示，所述缺陷检测装置20包括：固定设置的图像传感器21、机械手23和控制装置22。
所述控制装置22藕接所述图像传感器21和所述机械手23；
所述机械手23带动所述工业加工产品M转动，从而使得所述固定设置的图像传感器可以相对图像传感器转动，从而获取不同拍摄角度的多张图像。
有关控制装置22的限定同样可以参见下面实施例中关于工业加工产品的缺陷检测方法的限定。控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图3为本发明提供的工业加工产品的缺陷检测方法的实施例的流程图。
如图3所示，本发明实施例提供一种工业加工产品的缺陷检测方法，所述工业加工产品的缺陷检测方法包括：
S110获取多个不同拍摄角度的工业加工产品的多张图像。
工业加工产品可以包括玻璃制品、塑料制品。具体的缺陷可以包括玻璃或塑料制品内部的杂质、气泡或表面的划痕等等。
工业加工产品可以包括立体或者平面的产品，通常工业加工产品属于立体产品，由于遮挡和光线等的原因，一张图像可能无法包括工业加工产品上的所有部位，因此需要获取多张多个不同拍摄角度的工业加工产品的图像，通过综合各个角度下的包括工业加工产品的图像的检测结果，从而判断整个产品上的各个部分的缺陷种类和/或缺陷位置。另外，由于光线等原因，即使针对同一位置的缺陷，在某些角度下，可能无法发现，因此针对同一位置也需要通过获取多张不同的拍摄角度的图像才能实现。
需要说明的是，为了拍摄多个不同拍摄角度的工业加工产品的多张图像可以是机械手不动，而在多个位置设置图像传感器，或者设置可运动的图像传感器；也可以是图像传感器位置固定，通过控制机械手带动工业加工产品转动，从而获得不同拍摄角度的多张图像。
需要说明的是，一个工业产品可以不存在缺陷，也可以存在一个或者多个缺陷。
S120基于预先经过训练的模型，检测所述图像，识别出所述图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
缺陷位置可以包括但不限于:坐标(2D)、位姿(6D)、感兴趣区域(ROI)。
图像中的缺陷种类是预先制定好的。缺陷种类，即基于缺陷部位的像素特征进行的分类，比如：1类缺陷指定为气泡缺陷，2类缺陷指定为划痕，3类缺陷指定为含杂质。因此输出的缺陷种类可以是具体的缺陷种类的描述，也可以是缺陷种类的代码，比如：当输出结果为1代表了气泡缺陷。
上述分类是预先制定好的，分类问题往往与上述位置的识别相结合，即预先识别出缺陷位置，对识别出的缺陷位置进行分类。
采用本发明的工业加工产品的缺陷检测方法方法、装置及自动化设备，由于采用基于预先经过训练的模型进行工业加工产品的缺陷检测，能够适应在背景环境复杂的情况下的缺陷检测，因此提高了工业加工产品的缺陷检测的准确率和效率。
需要说明的是，所述模型的结构可以为卷积神经网络(Convolutional NeuralNetwork,CNN)模型，以及现在开发或将来开发的基于图像进行机器学习的模型。
CNN是一种卷积层神经网络，常见的(Convolutional Neural Network,CNN)模型可以包括各种网络结构，比如：LeNet，AlexNet，ZFNet，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，FCN，Mask-RCNN，YOLO，SSD,YOLO2，以及其它现在已知或将来开发的网络模型结构。
在一些实施例中，所述第一模型的结构也可以是CNN模型与其它模型的结合，比如:循环神经网络(Recurrent Neural Network RNN)。
需要说明的是，所述模型可以采用监督学习、强化学习、模仿学习，以及其它现在已知或将来开发的训练方式进行训练。
通常，对于单纯的图像中的目标检测基于监督学习的方法更方便，而对于一个动作策略的学习，则采用强化学习或模仿学习的方法更好。
其中，监督学习(Supervised Learning)是使用已知正确答案的示例来训练网络。
其中，强化学习，(可以在仿真环境中/真实环境中)初始化一个策略(给定当前图像以及按摩执行器的姿态，输出一个动作指令，具体形式为CNN，因为我们有图像作为输入；注意，与分步方法的第二步不一样的地方是强化学习时预想目标位置并不作为策略的输入)，让按摩执行器按照该策略进行运动，每进行一条轨迹(或者每一个动作)的采集的同时会给予这条轨迹(动作)一个分数。(例如该轨迹是否运动到预想的目标位置，该轨迹的终点与预想的目标位置的空间距离等)。当数据采集到一定阶段，则根据这些轨迹及对应的分数对策略进行优化。反复进行上述的采样以及优化过程，直到最终策略能走出分数高的轨迹。
其中，模仿学习，(在仿真环境中/真实环境中)提供一些专家轨迹，初始化一个按摩执行器策略(输入输出同强化学习，具体形式仍然为CNN)，进行轨迹采样，注意模仿学习中不需要为轨迹提供分数(实际上这也是模仿学习与强化学习相比的优势所在，因为轨迹奖励分数的设计是非常讲究技巧的，设计不好的话强化学习绝大多数情况下都不会学习出好的策略)。通过模仿学习的算法去优化策略，重复上述采样与优化过程，使得最终按摩执行器策略所走出来的轨迹与专家轨迹相似。
图4为本发明提供的工业加工产品的缺陷检测装置的实施例的结构框图。
对应上面方法的实施例，本发明实施例还提供一种工业加工产品的缺陷检测装置装置，下文描述的一种工业加工产品的缺陷检测装置和上文描述的一种工业加工产品的缺陷检测方法可相互对应参照。
如图4所示，所述工业加工产品的缺陷检测装置200包括如下程序模块：获取图像程序模块210、获取图像程序模块220。
获取图像程序模块210，用于获取多个不同拍摄角度的工业加工产品的多张图像。
获取图像程序模块210，用于基于预先经过训练的模型，检测所述多张图像，输出存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
在一些实施例中，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的电子元器件的局部的特征识别方法。
图5是本发明一实施例提供的计算机设备的结构示意图。
如图5所示，该实施例的计算机设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个工业加工产品的缺陷检测方法实施例中的步骤，例如图1所示的步骤110至120.
在一些实施例中，本发明实施例还提供一种自动化设备，所述自动化化设备包括至少一个上面所述的计算机设备。其中，机器人可以视作一种高端的自动化设备。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器(图未示意出)中，并由所述处理器740执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述插机设备中的轨迹规划的过程。例如，所述计算机程序可以被分割成获取图像程序模块、获取图像程序模块；获取图像程序模块，用于获取多个不同拍摄角度的工业加工产品的多张图像；获取图像程序模块，用于基于预先经过训练的模型，检测所述多张图像，输出存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述计算机设备内置的存储设备，例如硬盘或内存。所述存储器也可以是所述插机设备的外部存储设备，例如所述插机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述计算机设备3的内部存储单元，也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述插机设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (11)

1.一种工业加工产品的缺陷检测方法，其特征在于，所述工业加工产品的缺陷检测方法包括
获取多个不同拍摄角度的工业加工产品的多张图像；
基于预先经过训练的模型，检测所述多张图像，识别出所述多张图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
2.根据权利要求1所述的工业加工产品的缺陷检测方法，其特征在于，所述工业加工产品包括玻璃制品或塑料制品。
3.根据权利要求1或2所述的工业加工产品的缺陷检测方法，其特征在于，所述缺陷包括所述工业加工产品内部的气泡或杂质；或所述工业加工产品表面的划痕。
4.根据权利要求1或2所述的工业加工产品的缺陷检测方法，其特征在于，所述预先经过训练的模型为CNN模型。
5.根据权利要求1所述的工业加工产品的缺陷检测方法，其特征在于，所述预先经过训练的模型通过监督学习方法获取。
6.一种工业加工产品的缺陷检测装置，其特征在于，所述工业加工产品的缺陷检测装置包括获取图像程序模块和识别特征程序模块；
所述获取图像程序模块，用于获取多个不同拍摄角度的工业加工产品的多张图像；
所述识别特征程序模块，用于基于预先经过训练的模型，检测所述多张图像，识别出所述多张图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
7.一种工业加工产品的缺陷检测设备，其特征在于，所述工业加工产品的缺陷检测设备包括图像传感器和控制装置；
所述控制装置藕接所述图像传感器；
所述图像传感器，用于拍摄多张多个不同拍摄角度的工业加工产品的图像；
所述控制装置，用于获取多张多个不同拍摄角度的工业加工产品的图像；基于预先经过训练的模型，检测所述图像，识别出所述图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
8.根据权利要求7所述的工业加工产品的缺陷检测设备，其特征在于，所述图像传感器可转动的设置；或
所述图像传感器为成多个角度设置的多个图像传感器。
9.一种工业加工产品的缺陷检测设备，其特征在于，所述工业加工产品的缺陷检测设备包括固定设置的图像传感器、机械手和控制装置；
所述控制装置藕接所述图像传感器和所述机械手；
所述机械手，用于抓取并带动所述工业加工产品转动多个角度，以使得所述固定设置的图像传感器拍摄多个不同拍摄角度的工业加工产品的多张图像；
所述控制装置，用于获取所述图像传感器拍摄的所述多张图像；基于预先经过训练的模型，检测所述图像，识别出所述图像中的存在缺陷的所述工业加工产品的缺陷种类和/或缺陷位置。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-5任意一项所述的工业加工产品的缺陷检测方法。
11.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5任意一项所述的工业加工产品的缺陷检测方法。
CN201811079875.XA 2018-09-17 2018-09-17 一种工业加工产品的缺陷检测方法、装置及设备 Pending CN109444146A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811079875.XA CN109444146A (zh) 2018-09-17 2018-09-17 一种工业加工产品的缺陷检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811079875.XA CN109444146A (zh) 2018-09-17 2018-09-17 一种工业加工产品的缺陷检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN109444146A true CN109444146A (zh) 2019-03-08

Family

ID=65531062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811079875.XA Pending CN109444146A (zh) 2018-09-17 2018-09-17 一种工业加工产品的缺陷检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN109444146A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933494A (zh) * 2019-03-28 2019-06-25 晶晨半导体(上海)股份有限公司 硬件设备的功耗测试方法及系统
CN109977948A (zh) * 2019-03-20 2019-07-05 哈尔滨工业大学 一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法
CN110044921A (zh) * 2019-04-28 2019-07-23 江苏理工学院 锂电池外观缺陷检测系统和方法
CN110290203A (zh) * 2019-06-25 2019-09-27 东莞德福得精密五金制品有限公司 人工智能云计算对制成品进行非侵入性生产缺陷识别与信息连通
CN110378900A (zh) * 2019-08-01 2019-10-25 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110609037A (zh) * 2019-07-12 2019-12-24 北京旷视科技有限公司 产品缺陷检测系统及方法
CN110930406A (zh) * 2020-01-21 2020-03-27 北京中鼎高科自动化技术有限公司 一种基于卷积神经网络的匣钵筛分检测方法
CN112903703A (zh) * 2021-01-27 2021-06-04 广东职业技术学院 一种基于图像处理的陶瓷表面缺陷检测方法及系统
US20210354297A1 (en) * 2020-05-14 2021-11-18 Tyco Electronics (Shanghai) Co. Ltd. Automatic Depalletizing System

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318937A (ja) * 1997-05-22 1998-12-04 Dainippon Screen Mfg Co Ltd 光学的むら検査装置および光学的むら検査方法
CN200996941Y (zh) * 2007-01-12 2007-12-26 浙江大学 一种基于多传感器信息融合的水果缺陷检测装置
CN102788802A (zh) * 2012-08-29 2012-11-21 苏州天准精密技术有限公司 一种多相机的工件质量检测方法
CN104359925A (zh) * 2014-11-17 2015-02-18 上海埃蒙特自动化系统有限公司 实现电子玻璃缺陷自动检测的系统
CN106706653A (zh) * 2017-01-12 2017-05-24 河北省自动化研究所 一种高速宽型板材检测方法
CN106770307A (zh) * 2016-09-27 2017-05-31 西京学院 一种电子产品外观表面缺陷检测装置及其检测方法
CN107169519A (zh) * 2017-05-18 2017-09-15 重庆卓来科技有限责任公司 一种工业机器人视觉系统及其示教方法
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心（上海）有限公司 零部件表面缺陷的识别方法和装置
CN108133477A (zh) * 2017-12-29 2018-06-08 深圳市越疆科技有限公司 一种物体检测方法及智能机械臂

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318937A (ja) * 1997-05-22 1998-12-04 Dainippon Screen Mfg Co Ltd 光学的むら検査装置および光学的むら検査方法
CN200996941Y (zh) * 2007-01-12 2007-12-26 浙江大学 一种基于多传感器信息融合的水果缺陷检测装置
CN102788802A (zh) * 2012-08-29 2012-11-21 苏州天准精密技术有限公司 一种多相机的工件质量检测方法
CN104359925A (zh) * 2014-11-17 2015-02-18 上海埃蒙特自动化系统有限公司 实现电子玻璃缺陷自动检测的系统
CN106770307A (zh) * 2016-09-27 2017-05-31 西京学院 一种电子产品外观表面缺陷检测装置及其检测方法
CN106706653A (zh) * 2017-01-12 2017-05-24 河北省自动化研究所 一种高速宽型板材检测方法
CN107169519A (zh) * 2017-05-18 2017-09-15 重庆卓来科技有限责任公司 一种工业机器人视觉系统及其示教方法
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心（上海）有限公司 零部件表面缺陷的识别方法和装置
CN108133477A (zh) * 2017-12-29 2018-06-08 深圳市越疆科技有限公司 一种物体检测方法及智能机械臂

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
牟洪波 等: "《基于BP和RBF神经网络的木材缺陷检测研究》", 31 May 2011, 哈尔滨工程大学出版社 *
程文博 等: "基于卷积神经网络的注塑制品短射缺陷识别", 《塑料工业》 *
陈鹏展: "《个体行为的机器识别与决策协同》", 31 July 2018, 知识产权出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977948A (zh) * 2019-03-20 2019-07-05 哈尔滨工业大学 一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法
CN109933494A (zh) * 2019-03-28 2019-06-25 晶晨半导体(上海)股份有限公司 硬件设备的功耗测试方法及系统
CN110044921A (zh) * 2019-04-28 2019-07-23 江苏理工学院 锂电池外观缺陷检测系统和方法
CN110290203A (zh) * 2019-06-25 2019-09-27 东莞德福得精密五金制品有限公司 人工智能云计算对制成品进行非侵入性生产缺陷识别与信息连通
CN110609037A (zh) * 2019-07-12 2019-12-24 北京旷视科技有限公司 产品缺陷检测系统及方法
CN110378900A (zh) * 2019-08-01 2019-10-25 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110378900B (zh) * 2019-08-01 2020-08-07 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110930406A (zh) * 2020-01-21 2020-03-27 北京中鼎高科自动化技术有限公司 一种基于卷积神经网络的匣钵筛分检测方法
US20210354297A1 (en) * 2020-05-14 2021-11-18 Tyco Electronics (Shanghai) Co. Ltd. Automatic Depalletizing System
CN113666036A (zh) * 2020-05-14 2021-11-19 泰科电子(上海)有限公司 自动拆垛系统
CN112903703A (zh) * 2021-01-27 2021-06-04 广东职业技术学院 一种基于图像处理的陶瓷表面缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN109444146A (zh) 一种工业加工产品的缺陷检测方法、装置及设备
CN108369643B (zh) 用于3d手部骨架跟踪的方法和系统
CN111563446B (zh) 一种基于数字孪生的人-机交互安全预警与控制方法
US11288883B2 (en) Autonomous task performance based on visual embeddings
CN109483573A (zh) 机器学习装置、机器人系统以及机器学习方法
CN112906797B (zh) 一种基于计算机视觉和深度学习的平面抓取检测方法
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
CN114952809B (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN109397285B (zh) 一种装配方法、装配装置及装配设备
CN109934847A (zh) 弱纹理三维物体姿态估计的方法和装置
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
Huang et al. A case study of cyber-physical system design: Autonomous pick-and-place robot
CN110463376A (zh) 一种插机方法及插机设备
CN113711275A (zh) 在机器学习中为图像中的对象标注创建训练数据可变性
CN109961471A (zh) 一种图像中物体位置的标注方法、装置及电子设备
JP2024528419A (ja) 対象検出モデルの更新方法および装置
CN110756462A (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
Gulde et al. RoPose: CNN-based 2D pose estimation of industrial robots
CN112199994A (zh) 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置
Yang et al. Automation of SME production with a Cobot system powered by learning-based vision
US20230330858A1 (en) Fine-grained industrial robotic assemblies
EP4377051A1 (en) Robotic task planning
Li et al. An intelligence image processing method of visual servo system in complex environment
CN113505629A (zh) 一种基于轻量网络的智能仓储物件识别装置
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308