CN111325713A - 基于神经网络的木材缺陷检测方法、系统及存储介质 - Google Patents
基于神经网络的木材缺陷检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111325713A CN111325713A CN202010068555.5A CN202010068555A CN111325713A CN 111325713 A CN111325713 A CN 111325713A CN 202010068555 A CN202010068555 A CN 202010068555A CN 111325713 A CN111325713 A CN 111325713A
- Authority
- CN
- China
- Prior art keywords
- defect
- neural network
- wood
- segmentation
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 348
- 239000002023 wood Substances 0.000 title claims abstract description 158
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 126
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012805 post-processing Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000007689 inspection Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30161—Wood; Lumber
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请实施例中提供了一种基于神经网络的木材缺陷检测方法、系统及存储介质，基于神经网络的木材缺陷检测方法包括：获取木材的图像数据；通过构造缺陷分割神经网络，然后训练缺陷分割神经网络，其次木材图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图，最后根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据即木材缺陷检测数据，实现了在木材缺陷检测中对木材缺陷的分割，解决了现有技术中基于神经网络进行木材缺陷检测时，不能对木材缺陷进行分割的问题。
Description
技术领域
本申请属于图像处理技术领域，具体地，涉及一种基于神经网络的木材缺陷检测方法、系统及存储介质。
背景技术
木板在树木生长、木材加工、运输过程中，可能产生多种表面缺陷，包括节子、边材、虫眼、色差、裂缝等，这些表面缺陷带来的观感问题和物理性能问题会对木板的后续加工或使用产生负面影响，如用作地板的木板出现了边材会影响地板的外观，出现裂缝会影响地板的可靠性，因此木板厂通常要对木板表面缺陷进行质检。
目前，大部分木板厂都是通过人工目检的方式检测木板表面缺陷，但人工目检存在很大的问题：人工成本高，熟练工培养时间长；质检员在高强度的质检工作下容易出现视觉、心理疲劳的问题，进而影响缺陷检测的准确率和检出率，这些问题都影响着木板厂的效率和收益。
机器视觉是通过视觉传感器成像代替人眼完成观察，并通过图像或视频处理算法来完成特定的视觉任务。机器视觉需要的硬件设备包括多种光源、光源控制器、工业相机、相机镜头、ISP模组和图像处理服务器等。机器视觉的图像处理算法包含数字图像处理技术和卷积神经网络即深度学习等。数字图像处理以数学手段对图片进行一系列变换、增强和特征提取，包括空域图像处理、频域图像处理、小波变换、形态学处理等。卷积神经网络是神经网络的一种，它仿照大脑皮层的结构，由大量基础神经元构成，神经元以层的形式组织起来，神经元的基本功能是在多个单位像素上计算卷积，即图像滤波器在图像局部位置的响应信号，这些响应信号通过逐层的变换提取形成各种空间尺度上的特征。卷积神经网络常用于图像分类、目标检测、语义分割等视觉任务中，不同的任务将卷积网络提取的特征接入不同的后端网络中以构建完整的任务，并基于大量的有标签样本进行学习，学习的过程是通过调整网络中的参数以最小化预测错误。
少数木板厂用机器视觉的方式进行缺陷检测，包括使用数字图像处理技术或分类神经网络进行缺陷识别，但木板本身复杂的纹理会导致数字图像处理技术的准确率和检出率不高，此外，木板厂通常都有一套复杂的缺陷描述和木板片检规范，详细阐述每种缺陷的形态测量方法，如木板长度、宽度和缺陷的数量对木板品质分等结果都有影响。
现有的数字图像处理技术或分类卷积神经网络的应用大多数局限于有无缺陷的判定，无法将木板厂的缺陷和片检规范结合在一起，形成自动化的木板片检，影响木材质量与分选等级。例如：专利公开号为CN107437094A，名称为基于机器学习的木板分拣方法及系统的方案中，通过视觉传感器拍摄木板照片，训练分类神经网络判定木板的类别，以解决由木板厂定制化地非标准化木板分类问题。该专利只能实现对木材的类别分拣，不能实现对木材缺陷的分类或分割。专利公开号为CN110059549A，名称为一种基于深度学习的木材薄板分类系统及算法的方案中，通过视觉传感器拍摄木材薄板照片，采集和标注各等级品质的木板照片用于训练分类卷积神经网络，分类神经网络给出木板等级的判别后机械手臂进行针对性地抓取和存放。该专利只能实现根据生产厂商自定义分类标准的分拣，不能实现对木材缺陷的分割。专利公开号为CN107392896A，名称为一种基于深度学习的木材缺陷检测方法和系统的方案中，通过视觉传感器拍摄木材照片，把照片分成若干个小块，选取有/无缺陷的数据用于训练深度学习模型，深度学习模型判断是否有缺陷和缺陷的种类，通过控制执行模块进行缺陷报警。该专利只能实现对木材缺陷类别的分拣，不能实现对木材缺陷的分割。专利公开号为CN106338520A，名称为一种表板为拼板的多层实木复合地板表面缺陷的识别方法的方案中，通过视觉传感器拍摄木板照片，将图片通过数字图像处理的方式提取缺陷特征，使用支持向量机对缺陷特征进行分类，以识别多层实木复合地板表面的边角缺损、表面裂隙和拼接裂缝。该专利仅能对一种表板为拼板的多层实木复合地板进行三种缺陷分类检测。
发明内容
本发明提出了一种基于神经网络的木材缺陷检测方法、系统及存储介质，旨在解决现有技术中基于神经网络进行木材缺陷检测时，不能对木材缺陷进行分割的问题。
根据本申请实施例的第一个方面，提供了一种基于神经网络的木材缺陷检测方法，包括以下步骤：
获取木材的图像数据；
构造缺陷分割神经网络；
训练所述缺陷分割神经网络，得到训练后的缺陷分割神经网络；
将所述木材的图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测，得到缺陷预测掩码图；
根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据。
根据本申请实施例的第二个方面，提供了基于神经网络的木材缺陷检测系统，具体包括：
图像获取模块，用于获取木材的图像数据；
分割神经网络构造模块，用于构造缺陷分割神经网络；
分割神经网络训练模块，用于训练所述缺陷分割神经网络，得到训练后的缺陷分割神经网络；
缺陷分割预测模块，用于将所述木材的图像数据输入到所述训练后的缺陷分割神经网络进行缺陷分割预测，得到缺陷预测掩码图；
缺陷检测模块，用于根据所述缺陷预测掩码图进行后处理计算，得到结构化的缺陷描述数据。
根据本申请实施例的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于神经网络的木材缺陷检测方法。
采用本申请实施例中的基于神经网络的木材缺陷检测方法、系统及存储介质，首先通过构造缺陷分割神经网络，然后训练缺陷分割神经网络，其次木材的图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图，最后根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据即木材缺陷检测数据，实现了在木材缺陷检测中对木材缺陷的分割，解决了现有技术中基于神经网络进行木材缺陷检测时，不能对木材缺陷进行分割的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的一种基于神经网络的木材缺陷检测方法的步骤流程图；
图2中示出了根据本申请实施例的基于神经网络的木材缺陷检测方法中图像分割示意图；
图3中示出了根据本申请实施例的根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据的示意图；
图4中示出了根据本申请另一实施例的一种基于神经网络的木材缺陷检测方法的步骤流程图；
图5中示出了根据本申请实施例的多层卷积分割网络U-Net结构图；
图6中示出了根据本申请另一实施例的一种基于神经网络的木材缺陷检测方法的设计流程图；
图7中示出了根据本申请实施例的卷积神经分类网络结构图；
图8示出了根据本申请实施例的一种基于神经网络的木材缺陷检测系统的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现木板在树木生长、木材加工、运输过程中，可能产生多种表面缺陷，这些表面缺陷带来的观感问题和物理性能问题会对木板的后续加工或使用产生负面影响，因此木板厂通常要对木板表面缺陷进行质检。目前大部分木板厂都是通过人工目检的方式检测木板表面缺陷，少数木板厂用机器视觉的方式进行缺陷检测，包括使用数字图像处理技术或分类神经网络进行缺陷识别。现有的数字图像处理技术或分类卷积神经网络的应用大多数局限于有无缺陷的判定，无法将木板厂的缺陷和片检规范结合在一起，形成自动化的木板片检，影响木材质量与分选等级。因此，需要一种基于神经网络的木材缺陷检测方法，通过对木材缺陷的分割实现缺陷数据检测，然后将木板厂的缺陷和片检规范结合在一起形成自动化的木板片检。
专利公开号为CN103761743B，名称为一种基于图像融合分割的实木地板表面缺陷检测方法的方案通过视觉传感器拍摄木板照片，搜索缺陷点以完成缺陷的初步定位，使用区域生长法搜索缺陷边界，直到缺陷分割完成。该专利使用传统的区域生长的方法做图像分割，相比我们的深度学习方法检测精度低，没有使用专家知识进行品质等级识别。
针对上述问题，本申请实施例中提供了一种基于神经网络的木材缺陷检测方法，首先通过构造缺陷分割神经网络，然后训练缺陷分割神经网络，其次木材的图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图，最后根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据即木材缺陷检测数据，实现了在木材缺陷检测中对木材缺陷的分割，解决了现有技术中基于神经网络进行木材缺陷检测时，不能实现对木材缺陷的分割，不能检测出木板表面的复杂缺陷，最后不能将木板厂的缺陷和片检规范结合在一起形成自动化的木板片检的问题。
本申请实施例中，基于神经网络的木材缺陷检测方法及系统采用视觉传感器拍摄木板照片，首先使用基于神经网络的图像分割技术从照片中分割出所有缺陷的完整形态，照片和缺陷掩码通过一个分类神经网络过滤误检情况，之后对检出的缺陷进行数字图像处理以获得每种缺陷的统计信息，例如缺陷的数量、缺陷长度、缺陷宽度以及缺陷直径等，最后通过一个记录木板分等规范的专家知识库根据木板上的缺陷信息识别出木材属于哪个品质等级。本发明实现了自动化的木板缺陷检测和品质分等，无需或大大减少了质检员的干预，可以为木板厂节省人工成本，提高质检的稳定性，对比之前只能做缺陷分类的机器视觉方法，本申请结合工厂实际使用的片检规范实现了具备实用价值的自动化片捡。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
木材在生长、加工、运输过程中都可能产生表面缺陷，根据国标GBT 4823-2013，这些缺陷可分为生长缺陷、生物危害、加工缺陷和干燥缺陷4类，根据加工用途的不同，这些缺陷会造成不同程度的影响，因此木板厂通常需要将这些缺陷检测出来，并根据木板用途和客户要求设定规范进行分等。
实施例1
图1中示出了根据本申请实施例的一种基于神经网络的木材缺陷检测方法的步骤流程图。
如图1所示，本实施例的基于神经网络的木材缺陷检测方法，具体包括以下步骤：
步骤10：获取木材的图像数据；
步骤20：构造缺陷分割神经网络，得到训练后的缺陷分割神经网络；
步骤30：训练所述缺陷分割神经网络；
步骤40：将所述木材的图像数据输入到所述训练后的缺陷分割神经网络进行缺陷分割预测，得到缺陷预测掩码图；
步骤50：根据所述缺陷预测掩码图进行后处理计算，得到结构化的缺陷描述数据。
具体的，步骤10中，木材的图像数据包括图像数据以及对图像数据进行标注的掩码图像数据。
具体的，本实施例步骤10在成像及数据获取过程中，成像方案具体为：
根据每个木板厂的不同需求和每种木板的不同特性，定制化地设计成像方案，其中需要考虑：成像背景、光源种类、光源亮度、光源和木板的距离、光源和木板的角度关系、相机和木板的距离、相机和木板的角度关系以及相机像素数量和曝光时间，通过调节以上参数实现对缺陷区域清晰的成像，缺陷的轮廓清晰可辨，所有缺陷的成像大小大于10个像素。
其中，获取数据时既需要缺陷区域也需要无缺陷区域。在图像采集以后对缺陷图像进行标注产生掩码图像。
本实施例中缺陷分割方案采用了卷积神经网络技术，卷积神经网络依赖于大量的标注数据，从真实场景中依照设计好的成像方案拍照获得大量的样品照片，之后对这些数据进行标注，即通过人工观察在图片中识别缺陷并标识出每一个像素是否是缺陷，标注的形式是一张和照片同样大小的掩码图像。
进一步的，步骤20、30和40中，缺陷分割神经网络包括语义分割网络、实例分割网络以及全景分割网络。
步骤20中，构造缺陷分割神经网络。
图像分割是指将图片划分为多个子区域，每个区域包含不同的物体或信息，图像分割可以被理解为是图片中所有像素点进行了分类，他们被分类为是哪种物体或具有哪种语义。
图2中示出了根据本申请实施例的基于神经网络的木材缺陷检测方法中图像分割示意图。如图2所示，图片中的目标物体，车和人被从中分割出来并以不同颜色标识。图像分割的作用是简化图像的形式或定位图像中的特定物体。
步骤30中，训练缺陷分割神经网络具体包括：
将图像数据进行数据预处理得到大小相同的图片块；
对图片块进行数据增强得到增强的图片块；
根据增强的图片块进行缺陷分割神经网络训练。
进一步的，步骤40中，木材的图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图具体包括：
将所述木材的图像数据的图片分为若干图片块；
将每个所述图片块进行n次数据增强得到n张增强后的图片块；
所述训练后的缺陷分割神经网络根据所述n张增强图片得到n个缺陷概率分布图；
将所述n个缺陷概率分布图进行融合得到融合概率分布图；
所述融合概率分布图中最大概率分布为预测掩码图。
图3中示出了根据本申请实施例的根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据的示意图。
步骤50中，进一步的，如图3所示，根据所述缺陷预测掩码图进行后处理计算，得到结构化的缺陷描述数据，具体包括：
对所述缺陷预测掩码图进行前处理，所述前处理包括：去除缺陷异常点并使同一缺陷的若干缺陷区域连通起来；
对进行前处理后的掩码图进行缺陷轮廓搜索，得到每一个缺陷的轮廓；
根据缺陷的轮廓进行统计分析，得到结构化的缺陷描述数据。
具体的，所述结构化的缺陷描述数据包括缺陷形态、缺陷位置、缺陷尺寸以及缺陷数量。
进一步描述的，从照片中分割出缺陷掩码后，要将掩码转换成结构化的缺陷信息，如缺陷的数量、大小等，因此引入后处理流程：
首先，对掩码图做前处理，包括闭运算和RANSAC算法。闭运算目的是处理缺陷内部空洞和将同一处缺陷的不连通区域连通起来；RANSAC算法用于将所有缺陷点分为几个部分，并去除异常点。
其次，在掩码图上搜索出所有轮廓，每个轮廓代表一处缺陷。
最后，根据缺陷类别计算缺陷形态，接近圆形的缺陷计算其内部最远距离作为直径，条状缺陷计算两个端点距离作为长度，最宽处距离作为宽度，统计一片木板上每种缺陷的数量。将这些信息整理为结构化信息为缺陷描述数据。
图4中示出了根据本申请另一实施例的一种基于神经网络的木材缺陷检测方法的步骤流程图。
如图4所示，另一种实施方式中，基于神经网络的木材缺陷检测方法在得到缺陷预测掩码图之后还包括以下步骤：
步骤60：构造缺陷分类神经网络；
步骤70：训练所述缺陷分类神经网络，得到训练后的分类神经网络；
步骤80：所述木材的图像数据与所述缺陷预测掩码图叠加后输入到所述训练后的缺陷分类神经网络进行缺陷预测得到缺陷概率；
步骤90：将所述缺陷概率与概率阈值作比较后，大于阈值则输出缺陷预测掩码图，小于阈值则输出空掩码图。
具体的，所述缺陷分类神经网络为残差网络ResNet。
如图4所示，另一种实施方式中，基于神经网络的木材缺陷检测方法在得到结构化的缺陷描述数据后还包括以下步骤：
步骤100：构建木材分等知识库；
步骤200：将所述缺陷描述数据输入木材分等知识库得到对应的木材等级。
为了实现根据木板厂的需求进行定制化的缺陷检测和品质分等，本实施例还包括引入知识库，知识库中包含的是木板片检标准，例如表1中的结构化的缺陷描述数据与木材等级对应关系。
表1
步骤100中，构建木材分等知识库的构建方式为，首先设计好数据库中的表结构和表头信息；其次由木板厂的专家通过前端界面录入实际采用的评价规范并存储到数据库中，录入的缺陷知识是兼容、互斥且完备的，即满足以下三点：任何两条知识不能出现相互矛盾的情况；任何两条知识描述的缺陷范围是不重合的；所有知识形成一个完备的体系，任何可能的缺陷描述都属于且仅属于某一条知识的范畴。
步骤200：将所述缺陷描述数据输入木材分等知识库得到对应的木材等级。
具体的，通过编程实现利用知识库进行品质识别，首先输入结构化的缺陷描述，即当前木板有多少缺陷、每种缺陷的数量和形态，推理引擎根据木种调取知识库中对应的缺陷知识，逐条判断每条知识是否吻合木板的实际情况，找到相对应的缺陷知识时给出知识条目中的木材的对应等级。
实施例2
本实施例2在实施例1基础上进一步具体限定了缺陷分割网络为多层语义分割网络U-Net，本实施例中的基于神经网络的木材缺陷检测方法中使用基于卷积神经网络的语义分割方法从照片中分割出目标缺陷，缺陷分割神经网络采用多层卷积分割网络U-Net，分割网络的骨架网络选取残差网络ResNet。
图5中示出了根据本申请实施例的多层卷积分割网络U-Net结构图。
如图5所示，多层卷积分割网络U-Net的典型结构，结构特点为：
输入图像是尺寸为512*1024像素的3通道RGB图片。
输入图像经过5次降采样后形成图像特征，每次降采样的方式为最大池化，降采样后空间尺寸减小通道数量增加，每次降采样会将神经网络的感受野增大一倍，最终网络的感受野大小可以覆盖绝大多数的缺陷。
图像在每个空间尺寸上经过若干个卷积层，卷积核的大小通常是3x3，若检测的缺陷长宽比偏离1，那么选取非对称的卷积核大小或空洞卷积，如3x5的卷积核大小或空洞率为(1，2)的3x3的卷积。卷积前使用批次规范化(batchnormalization)将数据尺度统一以减小学习难度，卷积后使用ReLU激活函数引入非线性变换。
最小空间尺寸的图像特征会经过5次升采样，每次升采样的方式为逆卷积，逆卷积后空间尺寸增大通道数量减少，最终输出的空间尺寸与输入一致，通道数量为缺陷种类数量加1的数目。
其中，降采样和升采样对应的相同空间尺寸的特征图之间存在连接，连接的方式是沿着通道方向的叠加，用于增强对缺陷边界的分割。
输出的图片就是对输入图片上缺陷位置的概率预测，通过对输出的每个像素取最大概率获得分割掩码图；
分割使用的骨干网络包括各种层数的残差网络、inception网络、efficient网络、xception网络；
为了更好地捕捉上下文信息，引入空间金字塔池化(Spatial Pyramid Pooling)、空洞空间金字塔池化(Atrous Spatial Pyramid Pooling)以及十字交叉注意力(Criss-Cross Attention)。
分割神经网络训练具体步骤为：
首先，进行训练数据预处理。将获取的木材的训练集照片和标注的缺陷掩码图分割为同样大小的图片块，相邻块之间保留1/2的重叠面积，所有图片块缩放到512*1024的大小。
其次，进行在线数据增强。在每个训练循环前对数据进行随机数据增强，数据增强的方式包括水平翻转、竖直翻转、随机旋转、随机亮度、随机对比度、灰度化、随机裁剪、随机填充、弹性变换、网格畸变以及光学畸变。
然后，进行损失函数测试选取。选取多种损失函数用于测试分割损失，损失函数包括Lovasz损失、focal损失、dualfocal损失、标准交叉熵损失以及在线难样本挖掘(OHEM)交叉熵损失，从以上多种损失函数中选取测试结果最好的作为最终损失函数。
最后，进行分割网络的训练和评估。在训练集上进行训练，每一轮训练结束时使用验证集进行模型评估，评估的标准为mIoU即类均交并比，训练时优化器选择Adam优化器，初始学习速率为0.01，每10轮训练减少到之前的90％，训练结束后选取评估结果最好的分割网络模型作为实际使用的分割网络模型。
使用分割神经网络进行缺陷分割预测，具体包括以下流程：
首先，将获取的木材缺陷的原始图片平均切分成若干小块，每个块的大小接近512*1024，块之间有少量重叠面积，将每个块缩放到512*1024。
其次，使用测试时增强(Test Time Augmentation)，将每个小块做3次随机数据增强得到3张增强图，数据增强方法包括水平翻转、竖直翻转、随机亮度以及随机对比度。
然后，将增强后的图片放入分割网络中，得到输出的概率分布图。
最后将同一张图增强得到的3张增强图的分割结果平均后得到融合后的概率分布图，在概率分布中取最大得到预测掩码图。
实施例3
本实施例3在实施例1基础上进一步具体限定了缺陷分类网络为卷积神经分类网络。
图6中示出了根据本申请实施例的一种基于神经网络的木材缺陷检测方法的设计流程图。
如图6所示，缺陷分割网络以像素为单位判断目标是否为缺陷，因缺陷分割网络在显著细化了判别粒度的同时引入了一些对缺陷的误检，因此本实施例引入一个缺陷分类辅助网络避免误检发生。
图7中示出了根据本申请实施例的卷积神经分类网络结构图。
如图7所示，卷积神经分类网络结构特点为：
输入图像是尺寸为512*1024像素的RGB原始照片和单通道掩码图的叠加。
输入图像经过5次降采样后形成图像特征，每次降采样的方式为池化或带步长的卷积，降采样后空间尺寸减小、通道数量增加。
图像在每个空间尺寸上经过若干个卷积层，卷积核的大小通常是3x3，若检测的缺陷长宽比偏离1，那么选取非对称的卷积核大小或空洞卷积。卷积前使用批次规范化，卷积后使用ReLU激活函数。
最小空间尺寸的图像特征被整理为一维特征向量后送入全连接层，全连接层后连接softmax激活函数输出缺陷分类概率。
卷积分类网络为残差网络ResNet，修改网络的输入层以适应设置的输入通道数量。
分类网络训练具体步骤为：
首先，进行训练数据预处理。将训练分割网络所使用的训练集和验证集通过分割网络产生分割掩码图，作为训练分类网络所需的训练集和验证集，标签为该掩码对应的原图是否有缺陷。这个过程中引入测试时增强(Test Time Augmentation)来增加数据量。
其次，进行损失函数测试选取。选取多种损失函数用于测试分割损失，包括focal损失、标准交叉熵损失、在线难样本挖掘(OHEM)交叉熵损失，从以上损失函数中选取测试结果最好的作为最终损失函数。
最后，进行分类网络的训练和评估。在训练集上进行训练，每一轮训练结束时使用验证集进行模型评估，评估的标准为准确率，训练时优化器选择带动量的随机梯度下降，初始学习速率为0.1，动量系数为0.9，学习速率策略选取带热重启的余弦衰减(StochasticGradient Descent with Warm Restarts)，训练结束后选取评估结果最好的分类网络模型作为实际使用的分类网络模型。
使用分类神经网络进行缺陷分类辅助预测，具体包括以下流程：
首先，将缺陷分割网络输出的掩码图叠加上原图输入分类网络中，得到是否为缺陷的概率数值。
其次，以0.5为概率阈值，概率值大于0.5表示图片中有缺陷，输出分割掩码图；概率值小于0.5表示图片中无缺陷，输出空的分割掩码图。
实施例4
图8示出了根据本申请实施例的一种基于神经网络的木材缺陷检测系统的结构示意图。如图8所示，本实施例提供的基于神经网络的木材缺陷检测系统具体包括：
图像获取模块101，用于获取木材的图像数据；
分割神经网络构造模块102，用于构造缺陷分割神经网络；
分割神经网络训练模块103，用于训练所述缺陷分割神经网络；
缺陷分割预测模块104，用于所述木材的图像数据输入到所述训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图；
缺陷检测模块105，用于根据所述缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据。
另一种实施方式中，基于神经网络的木材缺陷检测系统还包括：
分类神经网络构造模块，用于构造缺陷分类神经网络；
分类神经网络训练模块，用于训练所述缺陷分类神经网络；
缺陷预测模块，用于所述木材的图像数据与所述缺陷预测掩码图叠加后输入到所述训练后的缺陷分类神经网络进行缺陷预测得到缺陷概率，将所述缺陷概率与概率阈值作比较后输出有缺陷的缺陷预测掩码图。
另一种实施方式中，基于神经网络的木材缺陷检测系统还包括：
知识库构建模块，用于构建木材分等知识库；
木材分等模块，用于将所述缺陷描述数据输入木材分等知识库得到对应的木材等级。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现如上任一内容所提供的基于神经网络的木材缺陷检测方法。
本申请实施例中采用的语义分割网络为U-Net，而实际可采用的语义网络还包括且不仅限于：自行构建的卷积网络、Fully Convolution Networks、SegNet、DeepLabv1、DeepLabv2、DeepLabv3、Fully Convolutional DenseNet、E-Net、Link-Net、PSPNet、RefineNet、G-FRNet等。
除语义分割外，实例分割和全景分割两个任务也能实现将缺陷从照片中分割出来，因此这两个任务的所有相关神经网络也可以作为替代方案，包括且不仅限于：自行构建的卷积网络、Convolutional Feature Masking、ISFCN、FCIS、SIS、Mask R-CNN、PAN、SIS-Net、TASCNet、UPSNet等。
本申请实施例中采用的语义分割网络的骨架网络及分类网络为残差网络(ResNet)，而实际可采用的网络还包括且不仅限于：自行构建的卷积网络、InceptionNet、EfficientNet、Mobilenet、DualPathNet、AmoebaNet、XceptionNet等。
本申请实施例中的基于神经网络的木材缺陷检测方法、系统及存储介质，首先通过构造缺陷分割神经网络，然后训练缺陷分割神经网络，其次木材的图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图，最后根据缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据即木材缺陷检测数据，实现了在木材缺陷检测中对木材缺陷的分割，解决了现有技术中基于神经网络进行木材缺陷检测时，不能实现对木材缺陷的分割，不能检测出木板表面的复杂缺陷，最后不能将木板厂的缺陷和片检规范结合在一起形成自动化的木板片检的问题。
具体的，本申请有益效果包括，通过基于深度学习的语义分割方法从木板照片中分割出缺陷形态；在语义分割得到的掩码图上使用卷积神经网络进行缺陷分类，以排除分割中的误检；使用数字图像处理技术处理分割掩码得到结构化的缺陷描述；基于木板厂的需求构造知识库，使用推理引擎根据缺陷描述智能识别该木板的分等结果。
相比现有的未利用神经网络进行缺陷分割方法，本申请使用大量数据和先进的卷积神经网络技术进行分割，能够取得更好的分割结果。
现有的只能得到缺陷种类的片检结果的方案，因为只得到该木板有/无某种缺陷，无法满足木板厂对缺陷做详细形态分析的实际需求。相比之下，本申请从木板上检测出缺陷的完整形态并结合后处理算法和知识库，形成一套可进行缺陷区域分割和品质等级识别的系统，能够给出木板厂真实需要的片检结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于神经网络的木材缺陷检测方法，其特征在于，包括以下步骤：
获取木材的图像数据；
构造缺陷分割神经网络；
训练所述缺陷分割神经网络，得到训练后的缺陷分割神经网络；
将所述木材的图像数据输入到所述训练后的缺陷分割神经网络进行缺陷分割预测，得到缺陷预测掩码图；
根据所述缺陷预测掩码图进行后处理计算，得到结构化的缺陷描述数据。
2.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，所述木材图像数据包括图像数据以及对所述图像数据进行标注产生的掩码图像数据。
3.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，所述缺陷分割神经网络包括语义分割网络、实例分割网络以及全景分割网络。
4.根据权利要求3所述的基于神经网络的木材缺陷检测方法，其特征在于，训练所述缺陷分割神经网络具体包括：
将图像数据进行数据预处理得到大小相同的图片块；
对图片块进行数据增强得到增强的图片块；
根据增强的图片块进行缺陷分割神经网络训练。
5.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，所述木材的图像数据输入到训练后的缺陷分割神经网络进行缺陷分割预测，得到缺陷预测掩码图，具体包括：
将所述木材的图像数据的图片分为若干图片块；
将每个所述图片块进行n次数据增强得到n张增强后的图片块；
所述训练后的缺陷分割神经网络根据所述n张增强图片得到n个缺陷概率分布图；
将所述n个缺陷概率分布图进行融合得到融合概率分布图；
所述融合概率分布图中最大概率分布为预测掩码图。
6.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，所述根据所述缺陷预测掩码图进行后处理计算，得到结构化的缺陷描述数据，具体包括：
对所述缺陷预测掩码图进行前处理，所述前处理包括：去除缺陷异常点并使同一缺陷的若干缺陷区域连通起来；
对进行前处理后的掩码图进行缺陷轮廓搜索，得到每一个缺陷的轮廓；
根据缺陷的轮廓进行统计分析，得到结构化的缺陷描述数据。
7.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，所述结构化的缺陷描述数据包括缺陷形态、缺陷位置、缺陷尺寸以及缺陷数量。
8.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，在得到缺陷预测掩码图之后还包括以下步骤：
构造缺陷分类神经网络；
训练所述缺陷分类神经网络，得到训练后的分类神经网络；
将所述木材的图像数据与所述缺陷预测掩码图叠加后输入到所述训练后的缺陷分类神经网络，进行缺陷预测得到缺陷概率；
将所述缺陷概率与概率阈值作比较后输出有缺陷的缺陷预测掩码图。
9.根据权利要求1所述的基于神经网络的木材缺陷检测方法，其特征在于，在得到结构化的缺陷描述数据后还包括以下步骤：
构建木材分等知识库；
将所述缺陷描述数据输入木材分等知识库得到对应的木材等级。
10.一种基于神经网络的木材缺陷检测系统，其特征在于，具体包括：
图像获取模块，用于获取木材的图像数据；
分割神经网络构造模块，用于构造缺陷分割神经网络；
分割神经网络训练模块，用于训练所述缺陷分割神经网络，得到训练后的缺陷分割神经网络；
缺陷分割预测模块，用于将所述木材的图像数据输入到所述训练后的缺陷分割神经网络进行缺陷分割预测得到缺陷预测掩码图；
缺陷检测模块，用于根据所述缺陷预测掩码图进行后处理计算得到结构化的缺陷描述数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010068555.5A CN111325713B (zh) | 2020-01-21 | 2020-01-21 | 基于神经网络的木材缺陷检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010068555.5A CN111325713B (zh) | 2020-01-21 | 2020-01-21 | 基于神经网络的木材缺陷检测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325713A true CN111325713A (zh) | 2020-06-23 |
| CN111325713B CN111325713B (zh) | 2023-05-23 |
Family
ID=71173240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010068555.5A Active CN111325713B (zh) | 2020-01-21 | 2020-01-21 | 基于神经网络的木材缺陷检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325713B (zh) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951264A (zh) * | 2020-08-28 | 2020-11-17 | 浙江中烟工业有限责任公司 | 一种基于深度学习的卷烟包装异常检测与定位方法 |
| CN112070847A (zh) * | 2020-09-10 | 2020-12-11 | 深兰人工智能芯片研究院（江苏）有限公司 | 木地板颜色分选方法和装置 |
| CN112070751A (zh) * | 2020-09-10 | 2020-12-11 | 深兰人工智能芯片研究院（江苏）有限公司 | 木地板缺陷检测方法和装置 |
| CN112200792A (zh) * | 2020-10-20 | 2021-01-08 | 天津大学 | 一种舌象点刺的检测与计数方法 |
| CN112200187A (zh) * | 2020-10-16 | 2021-01-08 | 广州云从凯风科技有限公司 | 一种目标检测方法、装置、机器可读介质及设备 |
| CN112288727A (zh) * | 2020-10-30 | 2021-01-29 | 创新奇智(重庆)科技有限公司 | 磁环表面缺陷检测方法、装置、电子设备及存储介质 |
| CN112528810A (zh) * | 2020-12-04 | 2021-03-19 | 北京中科慧眼科技有限公司 | 适用于移动端部署的语义分割方法、系统和设备 |
| CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 遥感图像地物语义分割方法 |
| CN112686843A (zh) * | 2020-12-21 | 2021-04-20 | 福建新大陆软件工程有限公司 | 一种基于神经网络的木板缺陷检测方法及系统 |
| CN112747788A (zh) * | 2020-12-07 | 2021-05-04 | 杭州未名信科科技有限公司 | 木板检测设备及木板生产线 |
| CN112749802A (zh) * | 2021-01-25 | 2021-05-04 | 深圳力维智联技术有限公司 | 神经网络模型的训练方法、装置以及计算机可读存储介质 |
| CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
| CN112990391A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于特征融合的卷积神经网络的缺陷分类识别系统 |
| CN113052809A (zh) * | 2021-03-18 | 2021-06-29 | 中科海拓(无锡)科技有限公司 | 一种基于EfficientNet的螺母表面缺陷分类方法 |
| CN113052812A (zh) * | 2021-03-22 | 2021-06-29 | 山西三友和智慧信息技术股份有限公司 | 一种基于AmoebaNet的MRI前列腺癌检测方法 |
| CN113240626A (zh) * | 2021-04-08 | 2021-08-10 | 西安电子科技大学 | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 |
| CN113297913A (zh) * | 2021-04-26 | 2021-08-24 | 云南电网有限责任公司信息中心 | 一种配网现场作业人员穿衣规范的识别方法 |
| CN113379747A (zh) * | 2021-08-16 | 2021-09-10 | 深圳市信润富联数字科技有限公司 | 木材的缺陷检测方法、电子装置、装置及存储介质 |
| CN113487599A (zh) * | 2021-07-26 | 2021-10-08 | 辽宁工程技术大学 | 一种结合空洞卷积和高效率网络的骨龄检测方法 |
| CN113496490A (zh) * | 2021-09-06 | 2021-10-12 | 南通弈驰新型建材科技有限公司 | 一种基于计算机视觉的木板表面缺陷检测方法及系统 |
| CN113538428A (zh) * | 2021-09-16 | 2021-10-22 | 深圳市信润富联数字科技有限公司 | 木材缺陷检测方法、设备、介质及计算机程序产品 |
| CN113674233A (zh) * | 2021-08-13 | 2021-11-19 | 沭阳东川木业有限公司 | 基于人工智能的木材优选锯视觉检测方法 |
| CN113689429A (zh) * | 2021-10-26 | 2021-11-23 | 南通恒祥木业有限公司 | 一种基于计算机视觉的木板缺陷检测方法 |
| CN113763321A (zh) * | 2021-07-29 | 2021-12-07 | 国网江苏省电力有限公司电力科学研究院 | 一种电缆附件主绝缘体施工缺陷检测方法及系统 |
| WO2022029082A1 (en) | 2020-08-05 | 2022-02-10 | Byk-Chemie Gmbh | System and method for assessing a coated surface with respect to surface defects |
| WO2022236876A1 (zh) * | 2021-05-14 | 2022-11-17 | 广州广电运通金融电子股份有限公司 | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 |
| TWI795921B (zh) * | 2021-09-24 | 2023-03-11 | 鴻海精密工業股份有限公司 | 圖像檢測方法、電腦裝置及儲存介質 |
| CN116309554A (zh) * | 2023-05-12 | 2023-06-23 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116309662A (zh) * | 2022-12-16 | 2023-06-23 | 北京医准智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116485779A (zh) * | 2023-05-11 | 2023-07-25 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104990925A (zh) * | 2015-06-23 | 2015-10-21 | 泉州装备制造研究所 | 一种基于梯度多阈值优化缺陷检测方法 |
| CN106338520A (zh) * | 2016-09-18 | 2017-01-18 | 南京林业大学 | 一种表板为拼板的多层实木复合地板表面缺陷的识别方法 |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| US20190073568A1 (en) * | 2017-09-06 | 2019-03-07 | Kla-Tencor Corporation | Unified neural network for defect detection and classification |
| CN109993734A (zh) * | 2019-03-29 | 2019-07-09 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| US20190227049A1 (en) * | 2017-03-13 | 2019-07-25 | Lucidyne Technologies, Inc. | Method of board lumber grading using deep learning techniques |
| CN110232675A (zh) * | 2019-03-28 | 2019-09-13 | 昆明理工大学 | 一种工业环境下的纹理表面缺陷检测与分割装置及方法 |
| CN110555839A (zh) * | 2019-09-06 | 2019-12-10 | 腾讯云计算（北京）有限责任公司 | 缺陷检测识别方法、装置、计算机设备及存储介质 |
-
2020
- 2020-01-21 CN CN202010068555.5A patent/CN111325713B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104990925A (zh) * | 2015-06-23 | 2015-10-21 | 泉州装备制造研究所 | 一种基于梯度多阈值优化缺陷检测方法 |
| CN106338520A (zh) * | 2016-09-18 | 2017-01-18 | 南京林业大学 | 一种表板为拼板的多层实木复合地板表面缺陷的识别方法 |
| US20190227049A1 (en) * | 2017-03-13 | 2019-07-25 | Lucidyne Technologies, Inc. | Method of board lumber grading using deep learning techniques |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| US20190073568A1 (en) * | 2017-09-06 | 2019-03-07 | Kla-Tencor Corporation | Unified neural network for defect detection and classification |
| CN110232675A (zh) * | 2019-03-28 | 2019-09-13 | 昆明理工大学 | 一种工业环境下的纹理表面缺陷检测与分割装置及方法 |
| CN109993734A (zh) * | 2019-03-29 | 2019-07-09 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110555839A (zh) * | 2019-09-06 | 2019-12-10 | 腾讯云计算（北京）有限责任公司 | 缺陷检测识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| LINGTENG QIU ET AL.: "A High-Efficiency Fully Convolutional Networks for Pixel-Wise Surface Defect Detection", 《IEEE ACCESS》 * |
| SZE-TENG ET AL.: "Automatic Defect Segmentation on Leatuer with Deep Learning", 《ARXIV》 * |
| 田萱等: "基于深度学习的图像语义分割方法综述", 《软件学报》 * |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022029082A1 (en) | 2020-08-05 | 2022-02-10 | Byk-Chemie Gmbh | System and method for assessing a coated surface with respect to surface defects |
| CN111951264A (zh) * | 2020-08-28 | 2020-11-17 | 浙江中烟工业有限责任公司 | 一种基于深度学习的卷烟包装异常检测与定位方法 |
| CN112070847A (zh) * | 2020-09-10 | 2020-12-11 | 深兰人工智能芯片研究院（江苏）有限公司 | 木地板颜色分选方法和装置 |
| CN112070751A (zh) * | 2020-09-10 | 2020-12-11 | 深兰人工智能芯片研究院（江苏）有限公司 | 木地板缺陷检测方法和装置 |
| CN112200187A (zh) * | 2020-10-16 | 2021-01-08 | 广州云从凯风科技有限公司 | 一种目标检测方法、装置、机器可读介质及设备 |
| CN112200792A (zh) * | 2020-10-20 | 2021-01-08 | 天津大学 | 一种舌象点刺的检测与计数方法 |
| CN112288727A (zh) * | 2020-10-30 | 2021-01-29 | 创新奇智(重庆)科技有限公司 | 磁环表面缺陷检测方法、装置、电子设备及存储介质 |
| CN112528810A (zh) * | 2020-12-04 | 2021-03-19 | 北京中科慧眼科技有限公司 | 适用于移动端部署的语义分割方法、系统和设备 |
| CN112747788A (zh) * | 2020-12-07 | 2021-05-04 | 杭州未名信科科技有限公司 | 木板检测设备及木板生产线 |
| CN112686843A (zh) * | 2020-12-21 | 2021-04-20 | 福建新大陆软件工程有限公司 | 一种基于神经网络的木板缺陷检测方法及系统 |
| CN112686843B (zh) * | 2020-12-21 | 2023-09-15 | 福建新大陆软件工程有限公司 | 一种基于神经网络的木板缺陷检测方法及系统 |
| CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 遥感图像地物语义分割方法 |
| CN112749802A (zh) * | 2021-01-25 | 2021-05-04 | 深圳力维智联技术有限公司 | 神经网络模型的训练方法、装置以及计算机可读存储介质 |
| CN112749802B (zh) * | 2021-01-25 | 2024-02-09 | 深圳力维智联技术有限公司 | 神经网络模型的训练方法、装置以及计算机可读存储介质 |
| CN113052809A (zh) * | 2021-03-18 | 2021-06-29 | 中科海拓(无锡)科技有限公司 | 一种基于EfficientNet的螺母表面缺陷分类方法 |
| CN113052809B (zh) * | 2021-03-18 | 2021-12-10 | 中科海拓(无锡)科技有限公司 | 一种基于EfficientNet的螺母表面缺陷分类方法 |
| CN113052812A (zh) * | 2021-03-22 | 2021-06-29 | 山西三友和智慧信息技术股份有限公司 | 一种基于AmoebaNet的MRI前列腺癌检测方法 |
| CN113052812B (zh) * | 2021-03-22 | 2022-06-24 | 山西三友和智慧信息技术股份有限公司 | 一种基于AmoebaNet的MRI前列腺癌检测方法 |
| CN113240626A (zh) * | 2021-04-08 | 2021-08-10 | 西安电子科技大学 | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 |
| CN113240626B (zh) * | 2021-04-08 | 2023-07-11 | 西安电子科技大学 | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 |
| CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
| CN113297913A (zh) * | 2021-04-26 | 2021-08-24 | 云南电网有限责任公司信息中心 | 一种配网现场作业人员穿衣规范的识别方法 |
| WO2022236876A1 (zh) * | 2021-05-14 | 2022-11-17 | 广州广电运通金融电子股份有限公司 | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 |
| CN112990391A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于特征融合的卷积神经网络的缺陷分类识别系统 |
| CN113487599A (zh) * | 2021-07-26 | 2021-10-08 | 辽宁工程技术大学 | 一种结合空洞卷积和高效率网络的骨龄检测方法 |
| CN113763321A (zh) * | 2021-07-29 | 2021-12-07 | 国网江苏省电力有限公司电力科学研究院 | 一种电缆附件主绝缘体施工缺陷检测方法及系统 |
| CN113674233A (zh) * | 2021-08-13 | 2021-11-19 | 沭阳东川木业有限公司 | 基于人工智能的木材优选锯视觉检测方法 |
| CN113379747A (zh) * | 2021-08-16 | 2021-09-10 | 深圳市信润富联数字科技有限公司 | 木材的缺陷检测方法、电子装置、装置及存储介质 |
| CN113496490B (zh) * | 2021-09-06 | 2021-11-09 | 南通弈驰新型建材科技有限公司 | 一种基于计算机视觉的木板表面缺陷检测方法及系统 |
| CN113496490A (zh) * | 2021-09-06 | 2021-10-12 | 南通弈驰新型建材科技有限公司 | 一种基于计算机视觉的木板表面缺陷检测方法及系统 |
| CN113538428A (zh) * | 2021-09-16 | 2021-10-22 | 深圳市信润富联数字科技有限公司 | 木材缺陷检测方法、设备、介质及计算机程序产品 |
| TWI795921B (zh) * | 2021-09-24 | 2023-03-11 | 鴻海精密工業股份有限公司 | 圖像檢測方法、電腦裝置及儲存介質 |
| CN113689429B (zh) * | 2021-10-26 | 2021-12-24 | 南通恒祥木业有限公司 | 一种基于计算机视觉的木板缺陷检测方法 |
| CN113689429A (zh) * | 2021-10-26 | 2021-11-23 | 南通恒祥木业有限公司 | 一种基于计算机视觉的木板缺陷检测方法 |
| CN116309662A (zh) * | 2022-12-16 | 2023-06-23 | 北京医准智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116309662B (zh) * | 2022-12-16 | 2023-12-15 | 浙江医准智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116485779A (zh) * | 2023-05-11 | 2023-07-25 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
| CN116485779B (zh) * | 2023-05-11 | 2024-01-30 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
| CN116309554A (zh) * | 2023-05-12 | 2023-06-23 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116309554B (zh) * | 2023-05-12 | 2023-08-22 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325713B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| JP5546317B2 (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
| CN109959661A (zh) | 自动光学检测方法、设备、及其深度学习系统 | |
| US20180253836A1 (en) | Method for automated detection of defects in cast wheel products | |
| CN107220649A (zh) | 一种素色布匹缺陷检测和分类方法 | |
| CN111160301B (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
| CN112200045A (zh) | 基于上下文增强的遥感图像目标检测模型建立方法及应用 | |
| CN112150460B (zh) | 检测方法、检测系统、设备和介质 | |
| CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
| CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
| CN109711322A (zh) | 一种基于rfcn的人车分离方法 | |
| CN114581456B (zh) | 一种多图像分割模型的构建方法、图像检测方法及装置 | |
| CN111161237A (zh) | 一种果蔬表面质检方法及其储存介质、分拣装置 | |
| CN116843650A (zh) | 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统 | |
| CN113379686A (zh) | 一种pcb板缺陷检测方法及装置 | |
| CN112070749A (zh) | 纸张缺陷检测方法和装置 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN112505049B (zh) | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
| Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
| CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN110992361A (zh) | 基于代价平衡的发动机紧固件检测系统及检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200820 Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Weiming Information Technology Co.,Ltd. Applicant after: Institute of Information Technology, Zhejiang Peking University Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant before: Institute of Information Technology, Zhejiang Peking University Applicant before: Hangzhou Weiming Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |