CN113221947A - 一种基于图像识别技术的工业质检方法及系统 - Google Patents
一种基于图像识别技术的工业质检方法及系统 Download PDFInfo
- Publication number
- CN113221947A CN113221947A CN202110364231.0A CN202110364231A CN113221947A CN 113221947 A CN113221947 A CN 113221947A CN 202110364231 A CN202110364231 A CN 202110364231A CN 113221947 A CN113221947 A CN 113221947A
- Authority
- CN
- China
- Prior art keywords
- picture
- model
- module
- pictures
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005516 engineering process Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 33
- 238000009434 installation Methods 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008676 import Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000003623 enhancer Substances 0.000 claims description 2
- 239000000523 sample Substances 0.000 claims 5
- 238000012550 audit Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 235000019580 granularity Nutrition 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像识别技术的工业质检方法及系统，属于工业质检技术领域，其中基于图像识别技术的工业质检系统包括图片标注，图片获取模块、图片预处理模块、模型建立模块、模型训练模块、预测识别模块，预测识别模块可视化。图片获取模块通过webservice接口前台定期大量传入图片，首先通过图片预处理模块进行剪裁翻转等数据增强操作，然后处理成模型所需格式，将建好好的模型喂入图像数据训练，最后加载模型进行图像识别质检。
Description
技术领域
本发明涉及家电行业图像识别工业质检技术领域，尤其涉及的是一种 基于图像识别技术的工业质检方法及系统。
背景技术
随着技术的发展，家电行业一直都是市场需求非常巨大的行业，因为 拥有家电的人数据量大，需要师傅上门安装的需求也随之巨大。但是现在 人们的懒惰心理越发强烈，师傅上门安装的仔细程序也随之下降。这给家 电的品牌形象带来很大的挑战。
传统的师傅上门安装的质检部门工作，需要花费大量的人力成本去每 天排查图片，包括排查图片中师傅安装家电位置的正确与否，关键零件有 没有安装等系列工作，排查难度高，而且人力时间成本太大。
因此设计出了家电行业相似图片匹配算法方案，辅助质检部门初步将 图片进行分类预测，将有问题的图片筛选分类出来供质检工作人员进行进 一步筛查。但仅针对简单的图像特征匹配无法进行深层次的图像识别，达 不到智能化需求，准确率也不是太高，无法最大化的节约成本。
因此，针对以上问题，本发明提出了一种基于图像识别技术的家电质 检系统。
发明内容
本发明提供了一种基于智能图像识别技术的家电质检方法及系统，解 决了传统图片匹配准确率低的，进一步解决了质检部门工作量大，人力成 本大的问题。
本发明的技术方案如下：一种基于图像识别技术的工业质检方法包括 以下步骤：
步骤1：获取从app端平时师傅安装家电的图片，一次性下载，采用 LabelImg进行图片标注，将安装的图片部位根据质检部门判 断，进行打标签Y或者N，得到数据增强之后的N跟Y的 样本图片各一万张；
步骤2：对EfficientDet算法中深度卷积神经网络模型进行训练，得到 最终的图像目标检测质检系统；
步骤3：对需要分析的图片进行预处理，将预处理后的图片输入图像 识别工业质检模型中，通过多个金字塔网络卷积层，从而得 到图片中的家电安装位置以及零部件特征信息，并输入图像 识别预测模型中，经过图像识别预测模型预测进行识别，所 述经过图像识别预测模型预测进行识别，是指识别输入的图 片或照片符不符合审核标准，是否是安装正确。
上述中，所述步骤1中，获取从app端平时师傅安装家电的图片， 包括单张加载跟批量加载；所述单张加载是支持WebService接口在线实 时性加载；所述批量加载是说提供批量加载的接口，批量加载图片之后， 会传到对应的云服务器。
上述中，所述步骤2具体包括以下步骤：
步骤2.1：定义EfficientNet网络特征抽取的系数，分别是0，1，2，3，4， 5，6，6，7，每个系数代表需要训练的每一层网络的次数；
步骤2.2：定义卷积神经网络卷积核的大小枚举，包括64，88，112，160， 224，288，384，384，384九种类别，分别对图片进行不同卷积 核的特征抽取；
步骤2.3：定义需要金字塔的网络层数，分为3，4，5，6，7，7，8，8，8九 个，其中第7层需要两次叠加卷积，第8层需要三次叠加卷 积；
步骤2.4：回归跟分类，回归是指定义检测图片中安装部分的检测框 位置，分类是指当确定了检测框位置之后，将图片中预测出 来的图像特征信息进行分类，然后分别定义一个回归子网络 模型和一个分类子网络模型、以及定义一个特征图转换的子 模型；所述回归子网络模型，用于定位所有图像检测框的位 置；所述分类子网络模型，是回归子网络图像位置预测完毕， 非极大值抑制之后进行图像分类；所述特征图转换的子模型， 用于进行原图到特征抽取图的维度空间转换；
步骤2.5：用16000张图片进行训练形成训练集，用4000图片进行测 试验证形成测试集，将训练集和测试集按照2∶8的比例分 配，进行测试验证训练过程中的模型准确率，F1值等；所述 F1值是2*(精准率*召回率)/(精准率+召回率)，所述精准率是 预测为正的样本有多少是对的，所述召回率是有多少正样本 被预测正确；将待训练图片样本集合的图片样本依次输入EfficientDet深度卷积神经网络模型，利用测试集图片样本测 试训练后的深度卷积神经网络模型进行准确率和F1值的测 试和优化，利用Focal loss损失函数对深度卷积神经网络金 字塔模型实现损失控制，以此得到最终的图像识别预测模型， 既得到基于图像的工业质检模型；所述的Focal loss损失函 数为公式2及公式3：
CE(pt)＝-log(pt) (2)
FL(pt)＝-(1-pt)γlog(pt) (3)
上述公式2及公式3中其中CE(pt)表示标准的交叉熵，FL(pt)表示focal loss中用到的改进的交叉熵；参数pt代表分类样本的概率，在0-1之间， 系数γ代表难分样本跟易分样本，在分类中需要计算损失权重系数的松弛 因子；假如pt是难分样本，则pt较小，1-pt就会大，相对于这类难分样计 算的损失权重就大。
上述中，所述步骤2.4中，所述回归跟分类的具体步骤为：在训练时候， 每个所检测目标区域需要18000个大小以及放缩比例不一样的检测框，去 检测需要检测的目标的位置，所述18000个检测框根据位置跟放缩比例一 共18种，每种1000个检测框，而特征图特征矩阵大小为[10，10]，等于 100个像素值，所以需要每个像素需要按照缩放比例生成10种的检测框， 检测框的选择算法是通过计算检测框跟实际标签目标的IOU值，IOU计算 目标标签的位置跟候选框预测的位置的交并比，是目标检测中最常用的指 标，作用一方面是确定检测框正负样本，另一方面是评价检测框和 groundtruth的距离，反应预测候选框与真实检测框的检测效果，用来实现 预测目标候选框的筛选；本发明在IOU基础上进行了改进，提出了CIoU， 其惩罚项为公式1：
RCIoU＝ρ2(b,bgt)/c2+αv (1)
公式1中：α是权重函数，v用来度量长宽比的相似性，c为检测框B 与目标图像groundtruth G最小外接矩的对角线的长度，其中b和bgt分别 表示检测框B跟目标框Bgt的中心点，gt表示含义是目标，ρ(.)代表欧氏距 离；
v定义为:v＝4/π2(arctan(wgt/hgt)-arctan(w/h))2，其中w和h分别是检测框 或目标图像的宽跟高，完整的CloU损失函数定义：LCloU＝1-IoU+ρ 2(b,bgt)/c2+αv，且要考虑v的梯度，在长宽为[0,1]的范围情况下，(w*w)+(h*h) 的值通常很小，会导致梯度爆炸，因此在实现1/(w*w+h*h)会替换为1。
上述中，所述步骤3中，所述质检模型中的网络特征抽取图为：输入 256×256的RGB图像；采用双向金字塔网络，每层金字塔网络之间信息传 递为：P1到p7分别表示对图像进行不同卷积核大小的卷积操作，每层代表 卷积的特征粒度不同，卷积完的特征进行相应的下采样，将金字塔网络抽 取的信息最后拉平为全连接层[1,1024]维度，再经过softmax分类函数进行 目标框1的位置预测以及分类；
所述卷积操作的卷积层的公式4：
convoutput＝f(WT+b)/x (4)
公式4中，f(*)代表激活函数，x代表输入数据，W和b代表系数和偏 执值，T代表系数W的转置矩阵；
所述激活函数采用ReLu激活函数，公式5：
f(x)＝max(0,x) (5)
公式5中，x代表输入数据，将小于0的神经网络参数舍弃掉，其求导 形式为分段函数为公式6：
所述下采样层卷积操作的公式采用Maxpooling方法表
示为公式7：Pooling＝max(X) (7)
公式7中，X代表特征图矩阵[n,n],max代表取每个小特
征图区域的最大值；
所述全连接层是一个被拉伸的一维向量，表示将高维特征降维，然后 过Softmax分类器得到降维后的分类结果，该Softmax分类器接受1024维 的输入数据，输出n维的结果，其中n为安装规范标签种类数，所述n维 的结果代表该输入样本对应n个安装规范缺陷类别的置信度，而后取其最 大值所在类别为分类结果，Softmax分类器的为公式8：
公式8中，j＝1,2,…,K，K代表类别的次数，取值n， n为图像检测目标分类数；z＝WTx+b，W、b为Softmax 分类器的系数和偏执，x为1024维的输入特征，T表示W的 转置矩阵。
本发明的另一技术方案如下：一种基于图像识别技术的工业质检系统， 包括图片获取模块、图片预处理模块、模型训练模块、模型预测模块；
所述图片获取模块，用于获取原始的加载图片；包括前端获取子模块， 后台批量导入子模块；所述前端获取子模块支持图片WebService接口在线 实时性单张加载；所述后台批量导入子模块，用于批量加载，即提供批量 加载的接口，批量加载图片之后，会传到对应的云服务器；所述前端获取 子模块通过手机app上传师傅上门安装家电的图片，所述后台批量导入子 模块获取直接通过ftp协议打包上传的图片；
所述图片预处理模块，是对获取的图片中所需关注的目标进行标签标 注，预处理；所述标签标注时，用labelImg工具，取安装非法的跟正常的 图片，对图片非法区域的图片进行标注，非法安装标注的label是N，合法 的标注Y；
所述图片预处理模块，包括分辨率增强子模块、几何变化子模块；所 述分辨率增强子模块将图片进行数据增强操作；所述几何变化子模块将图 片进行水平翻转、垂直翻转、拉伸处理及平移处理数据增强操作；
所述模型训练模块，对神经网络EfficientNet模型进行训练，得到所需 的工业质检模型；所述模型训练模块包括神经网络子模块、训练子模块； 所述神经网络子模块包括定义双向金字塔网络所有特征抽取层数，共有0-8 层；初始化金字塔神经网络，设置卷积核的大小类别，设置图像目标检测 框的位置跟缩放比例，对检测框进行位置预测回归建模；对检测框进行目 标检测分类回归建模；将原图空间转到特征图，使统一空间从而做损失函数及初始化特征抽取网络；所述训练子模块，将要预测的单张或者多张图 片预处理成模型需要的格式，包括图像转为矩阵的尺寸大小一致性裁剪， 然后将图片放入图像识别预测模型进行预测，图像识别预测模型预测此图 安装部分的标签是N还是Y；
所述模型预测模块，将图片获取模块中的加载图片通过图片预处理模 块预处理，导入图像识别预测模型训练模块后，由预测识别模块预测家电 安装不合规的安装图片。
本发明通过一次性的标注一部分照片标签，将标注好的照片统一存放， 然后通过预处理模块进行将标注好的照片进行相关处理，处理成模型训练 所需要的格式，然后将模型训练到最佳状态，模型私有化部署，对外提供 服务接口调取。通过前台发送图片或者后台批量导入照片，经过模型预测 识别模块，会辅助预测该照片符不符合审核标准，是否是安装正确。进而 节省了了质检成本。
附图说明
图1为本发明实施例中网络架构示意图。
图2为本发明方法流程图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更 详细的说明。除非另有定义，本说明书所使用的所有的技术和科学术语与 属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本 发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用 于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所 列项目的任意的和所有的组合。
实施例一
作为本发明的较佳实施例，提供了一种基于图像识别技术的工业质检 方法，包括以下步骤：
步骤1：获取从app端平时师傅安装家电的图片，一次性下载。采用 LabelImg进行图片标注，将安装的图片部位根据质检部门判断，进行打上 标签Y或者N，大约N跟Y各标注一万张，然后进行数据增强，包括水平 翻转、垂直翻转，裁剪平移的一系列方法，将得到数据增强之后的N跟Y 的各一万张图片；所述获取从app端平时师傅安装家电的图片包括单张加 载跟批量加载；所述单张加载是支持WebService接口在线实时性加载；所 述批量加载是说提供批量加载的接口，批量加载图片之后，会传到对应的 云服务器。
步骤2：对EfficientDet算法中深度卷积神经网络模型进行训练，得到 图像目标检测质检系统；
步骤2.1：定义EfficientNet网络特征抽取的系数，分别是0,1,2,3,4,5, 6,6,7，每个系数代表需要训练的每一层网络的次数；
步骤2.2：定义卷积神经网络卷积核的大小枚举，包括64,88,112,160, 224,288,384,384,384九种类别，分别对图片进行不同卷积核的特征抽取， 使抽取的特征粒度有多种，获取的图片特征信息更加丰富；
步骤2.3：定义需要金字塔的网络层数，主要分为3,4,5,6,7,7,8,8,8 九个，其中第7层需要两次叠加，第8层需要三次叠加，因为层的级别越 高，获取的特征细度越细，识别大的图像目标就会越精细，所以这样设计 让后边7跟8层的多叠加次数多，使师傅安装的家电图片大目标的细节部 分识别的就越精准；
步骤2.4：因为目标识别检测是分多任务学习，包括回归跟分类。回归 是说定义检测图片中安装部分的检测框位置，分类是说当确定了检测框位 置之后，将图片中预测出来的信息进行分类所以此部分需要定义一个回归 子网络模型，一个分类子网络模型。所述回归子网络模型，用于定位所有 图像检测框的位置；所述分类子网络模型，是回归子网络图像位置预测完 毕，非极大值抑制之后进行图像分类；因为经过原图通过几层金字塔网络抽取出来的特征图尺度跟原图不一致，需要将原图特征映射到抽取后的特 征图上，使所在空间一致之后，进行损失计算。所以这里定义一个特征图 转换的子模型进行原图到特征抽取图的维度空间转换。在训练时候，每个 所检测目标区域需要18000个大小以及放缩比例不一样的检测框，去检测 需要检测的目标的位置，这18000个检测框根据位置跟放缩比例一共18种， 每种1000个检测框，而特征图特征矩阵大小为[10，10]，相当于100个像 素值，所以需要每个像素需要按照缩放比例生成10种左右的检测框，检测 框的选择算法是通过计算检测框跟实际标签目标的IOU值，IOU计算目标 标签的位置跟候选框预测的位置的交并比，实现预测目标候选框的筛选。 考虑到bbox回归三要素中的长宽比还没被考虑到计算中，因此，本算法 继以往的iou算法改进提出了CIoU。IOU计算为公式1：
RCIoU＝ρ2(b,bgt)/c2+αv (1)
公式1中α是权重函数，v用来度量长宽比的相似性，c为检测框B与 目标图像groundtruth G最小外接矩的对角线的长度，其中b和bgt分 别表示检测框B跟目标框Bgt的中心点，gt表示含义是目标，ρ(.)代表欧 氏距离。
定义为:,v＝4/π2(arctan(wgt/hgt)-arctan(w/h))2完整的CloU损失函数定义：LCloU＝1-IoU+ρ2(b,bgt)/c2+αv，最后，CloU loss的梯度类似于DloU loss， 但还要考虑v的梯度。在长宽[0,1]的情况下，(w*w)+(h*h)的值通常很小， 会导致梯度爆炸，因为在1/(w*w+h*h)实现时将替换为1
步骤2.5：用16000张图片进行训练形成训练集，用4000图片进行测 试验证形成测试集，将训练集跟测试集按照2：8的比例分配，这样用16000 张图片进行训练，用4000图片进行测试验证训练过程中的模型准确率，F1 值等。所述F1值是2*(精准率*召回率)/(精准率+召回率)，所述精准率是预 测为正的样本有多少是对的，所述召回率是有多少正样本被预测正确；将 待训练图片样本集合的图片样本依次输入EfficientDet深度卷积神经网络模 型，利用最前沿Focal loss损失函数对深度卷积神经网络模型进行训练，得 到基于图像是被的工业质检模型，并利用测试集图片样本测试训练后的深 度卷积神经网络模型，从而得到最终的图像识别预测模型；
所述的Focal loss损失函数为了解决one---stage目标检测中正负样本比 例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权 重，可以解决南样本挖掘，其核心思想是因为simod在越靠近0.5附近时候， 最难分类，所以给的损失越大，模型可学习的力度越大，越在两头损失给 的越低，解决了难样本学习的缺点，为公式2及公式3：
CE(pt)＝-log(pt) (2)
FL(pt)＝-(1-pt)γlog(pt) (3)
上述公式2及公式3中其中CE(pt)表示标准的交叉熵，FL(pt)表示 focal loss中用到的改进的交叉熵。参数pt代表分类样本的概率，在0-1 之间，系数γ代表难分样本跟易分样本，在分类中需要计算损失权重系数 的松弛因子。假如pt是难分样本，则pt较小，1-pt就会大，相对于这类 难分样计算的损失权重就大。
步骤3：对图片进行预处理，将预处理后的图片输入图像识别工业质 检模型中，通过多个金字塔网络卷积层，从而得到图片中的家电安装位 置以及零部件信息，并输入图像识别预测模型中，经过图像识别预测模 型预测进行识别；所述经过图像识别预测模型预测进行识别，是指识别 输入的图片或照片符不符合审核标准，是否是安装正确。
所述质检模型中的网络特征抽取图为：
输入：256×256的RGB图像；网络架构图结构为：采用双向金字塔网 络，每层金字塔网络之间信息传递，如图1所示：
图1中所述efficientNet backbone是金字塔网络，P1到p7分别表示对 图像进行不同卷积核大小的卷积操作，每层代表卷积的特征粒度不同，卷 积完的特征进行相应的下采样，图1所述BiFPN Layer表示P3-P7每层网络 之间的信息传导，让每层特征图的信息做个attention融合的特征信息更丰 富；所述Box prediction net表示将金字塔网络抽取的信息最后拉平为全连 接层[1,1024]维度，再经过softmax分类函数进行目标的位置预测以及分类；
图1中，所述卷积操作的卷积层为公式4：
convoutput＝f(WT+b)/x； (4)
公式4中，f(*)代表激活函数，x代表输入数据，W和b代表系数和偏 执值，T代表系数W的转置矩阵；
所述激活函数采用ReLu激活函数，为公式5：
f(x)＝max(0,x) (5)
公式5中，x代表输入数据，
将小于0的神经网络参数舍弃掉，以符合泛化能力。其求导形式为分 段函数为公式6：
所述下采样层的公式采用Maxpooling方法表示为公式7：
Pooling＝max(X) (7)
其中，X代表特征图矩阵[n,n],max代表取每个小特征图区域的最大值；
所述全连接层是一个被拉伸的一维向量，表示将高维特征降维，然后 过Softmax分类器得到该分类器的分类结果，该Softmax分类器接受1024 维的输入数据，输出n(安装规范标签种类数)维的结果，该结果代表该输 入样本对应n(安装规范标签种类数)个安装规范缺陷类别的置信度，而后 取其最大值所在类别为分类结果，Softmax分类器的为公式8：
其中，j＝1,2,…,K，K代表类的个数，取值n(图像检测目标分类数)； z＝WTx+b，W、b为Softmax的参数，x为1024维的输入特征，T表示 W的转置。进一步地，所述其获取加载图片特征在于可支持webservice在 线服务加载，也可以批量加载进行批量预测质检；
所述获取原始加载的图片包括单张加载跟批量加载；所述单张加载是 支持WebService接口在线实时性加载；所述批量加载是说提供批量加载的 接口，批量加载图片之后，会传到对应的云服务器。
所述经过模型预测进行识别，是指识别输入的图片或照片符不符合审 核标准，是否是安装正确。进而节省了了质检成本。
实施例二
基于实施例一的基础上，示例性的，本发明还提供一种基于图像识别 技术的工业质检系统，系统中涉及实施例一中的算法逻辑及公式在此不再 赘述，所述系统可以被分割成n个模块存入内存运行，所述n个模块被linux 系统执行，并由所述linux系统后台挂机作为接口服务对外提供服务，以完 成本发明。所述n个模块可以是能够完成特定功能的一系列计算机程序高 级语言代码段，该高级语言经过解释器被翻译为机器能识别的语言指令。例如，所述计算机程序可以被分割成图片获取模块、图片预处理模块、模 型训练模块、模型预测模块；各模块具体功能如下：
所述图片获取模块，用于获取原始的加载图片；包括前端获取子模块， 后台批量导入子模块；所述前端获取子模块支持图片WebService接口在线 实时性单张加载；所述后台批量导入子模块，用于批量加载，即提供批量 加载的接口，批量加载图片之后，会传到对应的云服务器；所述前端获取 子模块通过手机app上传师傅上门安装家电的图片，所谓后台批量导入子 模块获取直接通过ftp协议打包上传的图片；
所述图片预处理模块是对获取的图片中所需关注的目标进行标签标 注，预处理；所述标签标注时，用labelImg工具，取安装非法的跟正常的 图片，对图片非法区域的图片进行标注，非法安装标注的label是N，合法 的标注Y。所述图片预处理模块包括分辨率增强子模块、几何变化子模块。 所谓分辨率增强子模块将图片进行分辨率、清晰度等的数据增强操作；几 何变化子模块将图片进行水平翻转、垂直翻转、拉伸处理、平移处理等数 据增强操作；
所述模型训练模块对神经网络EfficientNet模型进行训练，得到所需的 工业质检模型。具体包括：神经网络定义、模型参数初始化、图像特征抽 取等；所述模型训练模块包括神经网络子模块、训练子模块。所述神经网 络子模块包括设置双向金字塔网络所有层数，共有0-8层；初始化金字塔神 经网络，设置卷积核的大小类别，设置图像目标检测框的位置跟缩放比例， 对检测框进行位置预测回归建模；对检测框进行目标检测分类回归建模； 将原图空间转到特征图，使统一空间从而做损失函数；初始化特征抽取网 络等。所述训练子模块，是指将要预测的单张或者多张图片预处理成模型 需要的格式，包括图像转为矩阵的尺寸大小一致裁剪，然后将图片放入图 像识别预测模型进行预测，图像识别预测模型预测此图安装部分的标签是N 还是Y。
所述模型预测模块，是指将图片获取模块中的加载图片通过图片预处 理模块预处理，导入图像识别预测模型训练模块后，由预测识别模块预测 家电安装不合规的安装图片。
本发明通过一次性的标注一部分照片标签，将标注好的照片统一存放， 然后通过预处理模块将标注好的照片进行相关处理，处理成模型训练所需 要的格式，然后将模型训练到最佳状态，模型私有化部署，对外提供服务 接口调取。通过前台发送图片或者后台批量导入照片，经过模型预测识别 模块，会辅助预测该照片符不符合审核标准，是否是安装正确。进而节省 了了质检成本。
进一步地，所述工业质检模型不局限于一种业务场景，在orc识别，图 像分类以及以图搜图等智能图像识别领域所涉及到的行业都可应用。而且 在识别模块不需要大量的人力参与，很好的解决了图像识别行业领域的各 类问题。
需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的 各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术 人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都 应属于本发明所附权利要求的保护范围。
Claims (6)
1.一种基于图像识别技术的工业质检方法，其特征在于，包括以下步骤：
步骤1：获取从app端平时师傅安装家电的图片，一次性下载，采用LabelImg进行图片标注，将安装的图片部位根据质检部门判断，进行打上标签Y或者N，将得到数据增强之后的N跟Y的各一万张图片；
步骤2：对EfficientDet算法中深度卷积神经网络模型进行训练，得到图像目标检测质检系统；
步骤3：对图片进行预处理，将预处理后的图片输入图像识别工业质检模型中，通过多个金字塔网络卷积层，从而得到图片中的家电安装位置以及零部件信息，并输入图像识别预测模型中，经过图像识别预测模型预测进行识别，所述经过图像识别预测模型预测进行识别，是指识别输入的图片或照片符不符合审核标准，是否是安装正确。
2.如权利求1所述的工业质检方法，其特征在于，所述步骤1中，获取从app端平时师傅安装家电的图片，包括单张加载跟批量加载；所述单张加载是支持WebService接口在线实时性加载；所述批量加载是说提供批量加载的接口，批量加载图片之后，会传到对应的云服务器。
3.如权利求1所述的工业质检方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1：定义EfficientNet网络特征抽取的系数，分别是0,1,2,3,4,5,6,6,7，每个系数代表需要训练的每一层网络的次数；
步骤2.2：定义卷积神经网络卷积核的大小枚举，包括64,88,112,160,224,288,384,384,384九种类别，分别对图片进行不同卷积核的特征抽取；
步骤2.3：定义需要金字塔的网络层数，分为3,4,5,6,7,7,8,8,8九个，其中第7层需要两次叠加，第8层需要三次叠加；
步骤2.4：回归跟分类，回归是指定义检测图片中安装部分的检测框位置，分类是指当确定了检测框位置之后，将图片中预测出来的信息进行分类，然后分别定义一个回归子网络模型和一个分类子网络模型、以及定义一个特征图转换的子模型；所述回归子网络模型，用于定位所有图像检测框的位置；所述分类子网络模型，是回归子网络图像位置预测完毕，非极大值抑制之后进行图像分类；所述特征图转换的子模型，用于进行原图到特征抽取图的维度空间转换；
步骤2.5：用16000张图片进行训练形成训练集，用4000图片进行测试验证形成测试集，将训练集和测试集按照2：8的比例分配，进行测试验证训练过程中的模型准确率，F1值；所述F1值是2*(精准率*召回率)/(精准率+召回率)，所述精准率是预测为正的样本有多少是对的，所述召回率是有多少正样本被预测正确；将待训练图片样本集合的图片样本依次输入EfficientDet深度卷积神经网络模型，利用Focal loss损失函数对深度卷积神经网络模型进行训练，得到基于图像的工业质检模型，并利用测试集图片样本测试训练后的深度卷积神经网络模型，从而得到最终的图像识别预测模型；所述的Focalloss损失函数为公式2及公式3：
CE(pt)＝-log(pt) (2)
FL(pt)＝-(1-pt)γlog(pt) (3)
上述公式2及公式3中其中CE(pt)表示标准的交叉熵，FL(pt)表示focal loss中用到的改进的交叉熵；参数pt代表分类样本的概率，在0-1之间，系数γ代表难分样本跟易分样本计算损失权重系数的松弛因子；假如pt是难分样本概率，若pt较小，1-pt就会大，相对于这类难分样计算的损失权重就大。
4.如权利要求3所述的工业质检方法，其特征在于，所述步骤2.4中，所述回归跟分类的具体步骤为：在训练时候，每个所检测目标区域需要18000个大小以及放缩比例不一样的检测框，去检测需要检测的目标的位置，所述18000个检测框根据位置跟放缩比例一共18种，每种1000个检测框，而特征图特征矩阵大小为[10，10]，等于100个像素值，所以需要每个像素需要按照缩放比例生成10种的检测框，检测框的选择算法是通过计算检测框跟实际标签目标的IOU值，IOU 计算目标标签的位置跟候选框预测的位置的交并比，实现预测目标候选框的筛选；IOU计算公式为公式1：
RCIoU＝ρ2(b,bgt)/c2+αv (1)
公式1中：α是权重函数，v用来度量长宽比的相似性，c为检测框B与目标图像groundtruth G最小外接矩的对角线的长度，其中b和bgt分别表示检测框B、目标框Bgt的中心点，gt表示含义是目标，ρ(.)代表欧氏距离；
v定义为:v＝4/π2(arctan(wgt/hgt)-arctan(w/h))2，其中w和h分别是检测框宽跟高，完整的目标检测CloU损失函数定义：LCloU＝1-IoU+ρ2(b,bgt)/c2+αv，在长宽[0,1]的情况下，(w*w)+(h*h)的值通常表示为1/(w*w+h*h)，在实现过程中将替换为成1。
5.如权利要求4所述的工业质检方法，其特征在于，所述步骤3中，所述质检模型中的网络特征抽取图为：输入：256×256的RGB图像；采用双向金字塔网络，每层金字塔网络之间信息传递为：P1到p7分别表示对图像进行不同卷积核大小的卷积操作，每层代表卷积的特征粒度不同，卷积完的特征进行相应的下采样，将金字塔网络抽取的信息最后拉平为全连接层[1,1024]维度，再经过softmax分类函数进行目标的位置预测以及分类；
所述卷积操作的卷积层的公式4：
convoutput＝f(WT+b)/x (4)
公式4中，f(*)代表激活函数，x代表输入数据，W和b代表系数和偏执值，T代表系数W的转置矩阵；
所述激活函数采用ReLu激活函数，公式5：
f(x)＝max(0,x) (5)
公式5中，x代表输入数据，将小于0的神经网络参数舍弃掉，其求导形式为分段函数为公式6：
所述下采样层的公式采用Maxpooling方法表示为公式7：
Pooling＝max(X) (7)
公式7中，X代表特征图矩阵[n,n],max代表取每个小特征图区域的最大值；
所述全连接层是一个被拉伸的一维向量，表示将高维特征降维，然后过Softmax分类器得到该分类器的分类结果，该Softmax分类器接受1024维的输入数据，输出n维的结果，其中n为安装规范标签种类数，所述n维的结果代表该输入样本对应n个安装规范缺陷类别的置信度，而后取其最大值所在类别为分类结果，Softmax分类器的为公式8：
公式8中，j＝1,2,…,K，K代表类的次数；z＝WTx+b，W、b为Softmax的参数，x为1024维的输入特征，T表示W的转置。
6.一种基于图像识别技术的工业质检系统，其特征在于，包括图片获取模块、图片预处理模块、模型训练模块、模型预测模块；
所述图片获取模块，用于获取原始的加载图片；包括前端获取子模块，后台批量导入子模块；所述前端获取子模块支持图片WebService接口在线实时性单张加载；所述后台批量导入子模块，用于批量加载，即提供批量加载的接口，批量加载图片之后，会传到对应的云服务器；所述前端获取子模块通过手机app上传师傅上门安装家电的图片，所述后台批量导入子模块获取直接通过ftp协议打包上传的图片；
所述图片预处理模块，是对获取的图片中所需关注的目标进行标签标注，预处理；所述标签标注时，用labelImg工具，取安装非法的跟正常的图片，对图片非法区域的图片进行标注，非法安装标注的label是N，合法的标注Y；
所述图片预处理模块，包括分辨率增强子模块、几何变化子模块；所述分辨率增强子模块将图片进行数据增强操作；所述几何变化子模块将图片进行水平翻转、垂直翻转、拉伸处理及平移处理数据增强操作；
所述模型训练模块，对神经网络EfficientNet模型进行训练，得到所需的工业质检模型；所述模型训练模块包括神经网络子模块、训练子模块；所述神经网络子模块包括设置双向金字塔网络所有层数，共有0-8层；初始化金字塔神经网络，设置卷积核的大小类别，设置图像目标检测框的位置跟缩放比例，对检测框进行位置预测回归建模；对检测框进行目标检测分类回归建模；将原图空间转到特征图，使统一空间从而做损失函数及初始化特征抽取网络；所述训练子模块，将要预测的单张或者多张图片预处理成模型需要的格式，包括图像转为矩阵的尺寸大小一致裁剪，然后将图片放入图像识别预测模型进行预测，图像识别预测模型预测此图安装部分的标签是N还是Y；
所述模型预测模块，将图片获取模块中的加载图片通过图片预处理模块预处理，导入图像识别预测模型训练模块后，由预测识别模块预测家电安装不合规的安装图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110364231.0A CN113221947A (zh) | 2021-04-04 | 2021-04-04 | 一种基于图像识别技术的工业质检方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110364231.0A CN113221947A (zh) | 2021-04-04 | 2021-04-04 | 一种基于图像识别技术的工业质检方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113221947A true CN113221947A (zh) | 2021-08-06 |
Family
ID=77086564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110364231.0A Pending CN113221947A (zh) | 2021-04-04 | 2021-04-04 | 一种基于图像识别技术的工业质检方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221947A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674142A (zh) * | 2021-08-30 | 2021-11-19 | 国家计算机网络与信息安全管理中心 | 图像中目标物的消融方法、装置、计算机设备及介质 |
| CN113780277A (zh) * | 2021-09-08 | 2021-12-10 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
| CN113867263A (zh) * | 2021-08-27 | 2021-12-31 | 大唐互联科技(武汉)有限公司 | 一种基于云边协同及机器学习的智能刀具管理系统 |
| CN114862283A (zh) * | 2022-07-05 | 2022-08-05 | 和尘自仪(嘉兴)科技有限公司 | 机床加工的质检方法、质检装置 |
| CN116630716A (zh) * | 2023-06-06 | 2023-08-22 | 云途信息科技(杭州)有限公司 | 道路绿化破损识别方法、装置、计算机设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN112163602A (zh) * | 2020-09-14 | 2021-01-01 | 湖北工业大学 | 一种基于深度神经网络的目标检测方法 |
-
2021
- 2021-04-04 CN CN202110364231.0A patent/CN113221947A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN112163602A (zh) * | 2020-09-14 | 2021-01-01 | 湖北工业大学 | 一种基于深度神经网络的目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIAMIN TIAN等: "Road crack detection algorithm based on YOLOv3", 《ICITBS》, 31 March 2021 (2021-03-31), pages 39 - 42, XP033968891, DOI: 10.1109/ICITBS53129.2021.00018 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113867263A (zh) * | 2021-08-27 | 2021-12-31 | 大唐互联科技(武汉)有限公司 | 一种基于云边协同及机器学习的智能刀具管理系统 |
| CN113674142A (zh) * | 2021-08-30 | 2021-11-19 | 国家计算机网络与信息安全管理中心 | 图像中目标物的消融方法、装置、计算机设备及介质 |
| CN113674142B (zh) * | 2021-08-30 | 2023-10-17 | 国家计算机网络与信息安全管理中心 | 图像中目标物的消融方法、装置、计算机设备及介质 |
| CN113780277A (zh) * | 2021-09-08 | 2021-12-10 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
| CN113780277B (zh) * | 2021-09-08 | 2023-06-30 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
| CN114862283A (zh) * | 2022-07-05 | 2022-08-05 | 和尘自仪(嘉兴)科技有限公司 | 机床加工的质检方法、质检装置 |
| CN116630716A (zh) * | 2023-06-06 | 2023-08-22 | 云途信息科技(杭州)有限公司 | 道路绿化破损识别方法、装置、计算机设备及存储介质 |
| CN116630716B (zh) * | 2023-06-06 | 2024-05-24 | 云途信息科技(杭州)有限公司 | 道路绿化破损识别方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113221947A (zh) | 一种基于图像识别技术的工业质检方法及系统 | |
| US11657602B2 (en) | Font identification from imagery | |
| WO2020038205A1 (zh) | 目标检测方法、装置、计算机可读存储介质及计算机设备 | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| EP3637310A1 (en) | Method and apparatus for generating vehicle damage information | |
| CN111652232B (zh) | 票据识别方法及装置、电子设备和计算机可读存储介质 | |
| CN111461101B (zh) | 工服标志的识别方法、装置、设备及存储介质 | |
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
| CN115909059A (zh) | 一种自然资源样本库建立方法和装置 | |
| CN112132776A (zh) | 基于联邦学习的视觉检测方法及系统、存储介质、设备 | |
| CN111340796A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN111582309B (zh) | 一种生成设计版图坏点检测模型的方法及检测坏点的方法 | |
| WO2021081008A1 (en) | Shoe authentication device and authentication process | |
| CN111651361A (zh) | 一种基于可视化页面的无脚本自动化测试方法 | |
| CN115147363A (zh) | 一种基于深度学习算法的影像缺陷检测和分类方法及系统 | |
| CN110796210A (zh) | 一种标签信息的识别方法及装置 | |
| CN111931721B (zh) | 年检标签颜色和个数的检测方法、装置及电子设备 | |
| CN113065634B (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
| CN111062448B (zh) | 设备类型的识别模型训练方法、设备类型识别方法和装置 | |
| CN110210314B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| CN111476144A (zh) | 行人属性识别模型确定方法、装置及计算机可读存储介质 | |
| CN113570001B (zh) | 分类识别定位方法、装置、设备及计算机可读存储介质 | |
| CN114693554A (zh) | 一种大数据图像处理方法及系统 | |
| CN110851349B (zh) | 页面异常显示的检测方法、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 266700, No. 88 Tonghe Road, Tonghe Street Office, Pingdu City, Qingdao City, Shandong Province (within the Youth Community Service Center) Applicant after: Qingdao Haier Lexinyun Technology Co.,Ltd. Address before: No. 155, Tonghe Road, Tonghe sub district office, Pingdu City, Qingdao City, Shandong Province Applicant before: QINGDAO RIRISHUN LEXIN CLOUD TECHNOLOGY Co.,Ltd. |