CN115424127A - 器件安装检测方法、装置和计算机设备和存储介质 - Google Patents
器件安装检测方法、装置和计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115424127A CN115424127A CN202211159697.8A CN202211159697A CN115424127A CN 115424127 A CN115424127 A CN 115424127A CN 202211159697 A CN202211159697 A CN 202211159697A CN 115424127 A CN115424127 A CN 115424127A
- Authority
- CN
- China
- Prior art keywords
- neural network
- trained
- network model
- residual
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000009434 installation Methods 0.000 title description 7
- 230000006870 function Effects 0.000 claims abstract description 123
- 238000003062 neural network model Methods 0.000 claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种器件安装检测方法、装置、计算机设备和存储介质。所述方法包括：获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；获取待识别区域的图像信息；使用训练完成的神经网络模型进行识别，与各器件的预设标准位置对比生成异常信息。采用本方法能够通过利用浅层网络提升神经网络模型的运算速度，且通过增加轮廓边缘损失函数能够增加计算各器件之间的相对位置的准确性。
Description
技术领域
本申请涉及卷积神经网络技术领域，特别是涉及一种器件安装检测方法、装置、计算机设备和存储介质。
背景技术
有监督学习是一种从标签化训练数据集中推断出函数的机器学习任务，与无监督学习相对。图像识别技术是利用计算机对对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。有监督学习的图像识别技术，需要先提供标签化的图片数据集，经过反复训练和矫正得到模型。
基于卷积神经网络的图像识别：将待训练的第二图像识别模型中的每层卷积神经网络，分别与训练完的第一图像识别模型中的一个子网络相对应。根据训练完的第一图像识别模型中每个子网络的输入和输出，对待训练的第二图像识别模型中的每层卷积神经网络的参数进行初始化处理。将样本图像输入参数初始化处理后的待训练的第二图像识别模型，根据待训练的第二图像识别模型的输出和样本图像的标签，对待训练的第二图像识别模型进行训练。
图像数据采集平台：包括三部分：1)流媒体服务模块：可以通过标准视频流协议RTSP或者提供相关的视频采集sdk进行视频流的传输采集；2)视频解码模块：实现将实时视频进行解码，主要是h264等解码出一帧帧的图像；3)数据传输服务：实现将一帧帧的图像传输到后台的系统进行实时分析。其中，RTSP的英文全称为Real Time Streaming Protocol，对应的中文全称为实时流传输协议，是TCP/IP协议体系中的一个应用层协议。h264为一种高度压缩数字视频编解码器标准。
MASK R-CNN是2017年提出来的一个算法框架，旨在解决图像或者视频中的实例分割；Mask R-cnn网络虽然是现在精确度比较高的目标检测算法，但是其通常使用ResNet50、ResNet101和ResNet152等残差网络作为主干网络提取图片特征。ResNet网络主要是解决深度神经网络层数过深的情况，如果神经网络的层数过深，则效果不一定会好，反而可能使网络模型的错误率越来越高从而出现过拟合的情况。网络层数加深，梯度爆炸和梯度弥散会降低网络性能，如果能够及时找到合适的深度神经网络层数来提升网络推进速度，就能达到最佳的效果。
发明内容
基于此，有必要针对上述技术问题，提供一种能够找到合适的深度神经网络层数来提升网络推进速度的器件安装检测方法、装置、计算机设备和存储介质，来解决目前卷积神经网络的图像识别推进速度慢的技术问题。
一方面，提供一种器件安装检测方法，所述方法包括：
获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
获取待识别区域的图像信息；
使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
在其中一个实施例中，在对待训练的神经网络模型进行有监督学习迭代训练之前，还包括：
计算合适的神经网络层数，其为在一残差深层网络中加入残差单元构建恒等映射关系，设其中的残差函数F(x)＝H(x)-x，其中H(x)是原始映射函数，F(x)为残差函数，x代表输入，求出使得H(x)-x＝0时的残差函数F(x)；
将所述残差函数F(x)添入残差深层网络中使其变为浅层网络，将该浅层网络作为所述待训练的神经网络模型。
在其中一个实施例中，所述将所述残差函数F(x)添入残差深层网络中使其变为浅层网络过程中，将残差深层网络中的卷积层和批量归一化层做参数合并。
在其中一个实施例中，所述将残差深层网络中的卷积层和批量归一化层做参数合并，具体包括：
设所述卷积层的计算公式为：
Y＝W*X+B； (式1)
其中，W为权重；X为输入值，X包含xi～xn；B为卷积偏置；
设所述批量归一化层的计算公式为：
其中，μ为输入值xi～xn的平均值，δ为输入值xi～xn的方差，ε为一个很小的数，γ是缩放因子，β是偏移量；
将所述卷积层和所述批量归一化层融合后的公式为：
Wm＝W*α；
Bm＝(B-μ)*α+β；
Y＝Wm*X+Bm； (式3)
其中，Wm和Bm为参数融合后的参数，α为公式化简替代量。
在其中一个实施例中，训练完成的神经网络模型的损失函数中包括的轮廓边缘损失函数为：
其中，N为总数，Yi为真实值，^yi为预测值。
在其中一个实施例中，所述待训练的神经网络模型的损失函数为：
LOSS＝Lbox+Lcls+Lmask；
所述训练完成的神经网络模型的损失函数为：
LOSS’＝Lbox+Lcls+Lmask+Lborder；
其中，Lcls为分类误差损失函数，Lbox为预测框检测误差损失函数，Lmask为分割误差损失函数。
训练完成的神经网络模型的损失函数包含了分类误差损失函数Lcls、预测框检测误差损失函数Lbox、分割误差损失函数Lmask以及轮廓边缘损失函数Lboarder，能够避免卷积核的步长度设置不合理带来的遗漏了原图的信息问题。而且本申请将浅层网络作为所述待训练的神经网络模型可提升运算速度，浅层网络的方式与训练完成的神经网络模型的损失函数相结合能获得较快的识别推进速度和具有较高的原图信息识别准确度。
在其中一个实施例中，所述生成的异常信息包括某一区域的器件的种类错误、器件的型号错误、各器件之间的相对位置错误或间距错误。另一方面，提供了一种器件安装检测装置，所述装置包括：
训练图像获取模块，用于获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
神经网络训练模块，用于在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
待识别图像获取模块，用于获取待识别区域的图像信息；
图像识别模块，用于使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
生成异常信息模块，用于根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
获取待识别区域的图像信息；
使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
获取待识别区域的图像信息；
使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
上述器件安装检测方法、装置、计算机设备和存储介质，通过利用浅层网络提升神经网络模型的运算速度，且通过增加轮廓边缘损失函数能够增加计算各器件之间的相对位置的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中器件安装检测方法的流程示意图；
图2为另一个实施例中器件安装检测方法的流程示意图；
图3为一个实施例中器件安装检测装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如背景技术所述，目前的深度神经网络模型的图像识别推进速度慢，其原因为未设置合适的深度神经网络层数。神经卷积核定义了卷积的大小范围，大的卷积核(神经网络层数多)会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。亦即若层数过多会导致梯度爆炸和梯度弥散，因计算量增大会降低网络性能。若层数过少使网络模型的错误率越来越高从而出现过拟合的情况。例如卷积核的步长度代表提取的精度，步长(step)定义了当卷积核在图像上面进行卷积操作的时候，每次卷积跨越的长度，如果step为1，那么相邻步感受野之间就会有重复区域；如果step为2，那么相邻感受野不会重复，也不会有覆盖不到的地方；如果step为3，那么相邻步感受野之间会有一道大小为1颗像素的缝隙，从某种程度来说，这样就遗漏了原图的信息。因此合适的神经网络层数以及合理的图像识别步长的有效组合才能获得较快的识别推进速度和具有较高的原图信息识别准确度。
为解决上述问题，本发明实施例中创造性的提出了一种器件安装检测方法，可应用于服务器生产过程中，试产阶段通常需要有经验的工程师到产线上监督产品的组装，然后发现组装过程中出现的问题并上报。之后再由相关研发人员根据问题描述，提出预防此类问题的措施。本发明主要利用基于有监督学习的图像识别算法，能够在产线组装过程中，自动识别服务器内部各元器件的形状和位置，对检测异常的元器件位置信息，自动组合生成问题描述并上传至系统。
在一个实施例中，如图1所示，提供了一种器件安装检测方法，以该方法包括以下步骤：
步骤S1，获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集。
具体的，使用工业传感器彩色相机采集元器件图像，然后对采集到的图片进行人工标注。例如可使用Kinect v2传感器彩色相机对基本的元器件进行彩色图像的采集，然后使用LableMe软件对采集到的彩色图像中的元器件进行轮廓标记，并注明该元器件的种类等信息。
步骤S2，在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数。
其中为了找到合适的神经网络层数，防止层数过深产生过拟合，在残差网络中加入残差单元构建恒等映射关系，使得所述待训练的神经网络模型为浅层网络，包括残差函数，能够解决梯度爆炸和梯度弥散制约网络性能的问题。
步骤S3，获取待识别区域的图像信息。
步骤S4，使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘。
步骤S5，根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
生成的异常信息包括某一区域的器件的种类错误、器件的型号错误、各器件之间的相对位置错误或间距错误。
如图2所示，在本实施例中，在对待训练的神经网络模型进行有监督学习迭代训练之前，还包括：
步骤S11，计算合适的神经网络层数，其为在一残差深层网络中加入残差单元构建恒等映射关系，设其中的残差函数F(x)＝H(x)-x，其中H(x)是原始映射函数，F(x)为残差函数，x代表输入，求出使得H(x)-x＝0时的残差函数F(x)；
步骤S12，将所述残差函数F(x)添入残差深层网络中使其变为浅层网络，将该浅层网络作为所述待训练的神经网络模型。
值得注意的是，引入F(x)为残差函数，是因为网络有监督学习迭代训练中发现优化残差映F(x)趋近于0比优化原始映射H(x)＝x更容易。
在本实施例中，所述将所述残差函数F(x)添入残差深层网络中使其变为浅层网络过程中，将残差深层网络中的卷积层和批量归一化层做参数合并。
其中残差深层网络优选为残差网络ResNet101，将残差网络ResNet101中的conv层(卷积层)和BN层(批量归一化，batch normalization)做参数合并，能够用一个卷积层代替两层的运算，使用预运算提高网络向前推进的速度。
在本实施例中，所述将残差深层网络中的卷积层和批量归一化层做参数合并，具体包括：
设所述卷积层的计算公式为：
Y＝W*X+B； (式1)
其中，W为权重；X为输入值，X包含xi～xn；B为卷积偏置；
设所述批量归一化层的计算公式为：
其中，μ为输入值xi～xn的平均值，δ为输入值xi～xn的方差，ε为一个很小的数，γ是缩放因子，β是偏移量；
将所述卷积层和所述批量归一化层融合，即将式1与式2合并，整理得到式3；融合后的公式为：
Wm＝W*α；
Bm＝(B-μ)*α+β；
Y＝Wm*X+Bm； (式3)
其中，Wm和Bm为参数融合后的参数，α为公式化简替代量。
在本实施例中，训练完成的神经网络模型的损失函数中包括的轮廓边缘损失函数为：
其中，N为总数，Yi为真实值，^yi为预测值。
在本实施例中，所述待训练的神经网络模型的损失函数为：
LOSS＝Lbox+Lcls+Lmask；
所述训练完成的神经网络模型的损失函数为：
LOSS’＝Lbox+Lcls+Lmask+Lborder；
其中，Lcls为分类误差损失函数，Lbox为预测框检测误差损失函数，Lmask为分割误差损失函数。
训练完成的神经网络模型的损失函数包含了分类误差损失函数Lcls、预测框检测误差损失函数Lbox、分割误差损失函数Lmask以及轮廓边缘损失函数Lboarder，能够避免卷积核的步长度设置不合理带来的遗漏了原图的信息问题。而且本申请将浅层网络作为所述待训练的神经网络模型可提升运算速度，浅层网络的方式与训练完成的神经网络模型的损失函数相结合能获得较快的识别推进速度和具有较高的原图信息识别准确度。
在一个实施例中，所述生成的异常信息包括某一区域的器件的种类错误、器件的型号错误、各器件之间的相对位置错误或间距错误。上述器件安装检测方法中，通过利用浅层网络提升神经网络模型的运算速度，且通过增加轮廓边缘损失函数能够增加计算各器件之间的相对位置的准确性。
本申请使用物体识别和语义相似度计算算法，能够快速地识别服务器试产过程中可能存在的元器件组装位置问题。利于经验较少的新员工进行学习，同时提高了发现和解决问题的效率。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种器件安装检测装置10，包括：图像获取模块1、神经网络训练模块2、待识别图像获取模块3、图像识别模块4和生成异常信息模块5。
所述图像获取模块1用于获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集。
所述神经网络训练模块2用于在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数。
所述待识别图像获取模块3用于获取待识别区域的图像信息；
所述图像识别模块4用于使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
所述生成异常信息模块5用于根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
上述器件安装检测装置中，通过利用浅层网络提升神经网络模型的运算速度，且通过增加轮廓边缘损失函数能够增加计算各器件之间的相对位置的准确性。
关于器件安装检测装置的具体限定可以参见上文中对于器件安装检测方法的限定，在此不再赘述。上述器件安装检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储器件种类及位置检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种器件安装检测方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
获取待识别区域的图像信息；
使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在对待训练的神经网络模型进行有监督学习迭代训练之前，还包括：
计算合适的神经网络层数，其为在一残差深层网络中加入残差单元构建恒等映射关系，设其中的残差函数F(x)＝H(x)-x，其中H(x)是原始映射函数，F(x)为残差函数，x代表输入，求出使得H(x)-x＝0时的残差函数F(x)；
将所述残差函数F(x)添入残差深层网络中使其变为浅层网络，将该浅层网络作为所述待训练的神经网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述将所述残差函数F(x)添入残差深层网络中使其变为浅层网络过程中，将残差深层网络中的卷积层和批量归一化层做参数合并。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述将残差深层网络中的卷积层和批量归一化层做参数合并，具体包括：
设所述卷积层的计算公式为：
Y＝W*X+B； (式1)
其中，W为权重；X为输入值，X包含xi～xn；B为卷积偏置；
设所述批量归一化层的计算公式为：
yi＝γ*xi+β； (式2)
其中，μ为输入值xi～xn的平均值，δ为输入值xi～xn的方差，ε为一个很小的数，γ是缩放因子，β是偏移量；
将所述卷积层和所述批量归一化层融合，即将式1与式2合并，整理得到式3；融合后的公式为：
Wm＝W*α；
Bm＝(B-μ)*α+β；
Y＝Wm*X+Bm； (式3)
其中，Wm和Bm为参数融合后的参数，α为公式化简替代量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
训练完成的神经网络模型的损失函数中包括的轮廓边缘损失函数为：
其中，N为总数，Yi为真实值，^yi为预测值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述待训练的神经网络模型的损失函数为：
LOSS＝Lbox+Lcls+Lmask；
所述训练完成的神经网络模型的损失函数为：
LOSS’＝Lbox+Lcls+Lmask+Lborder；
其中，Lcls为分类误差损失函数，Lbox为预测框检测误差损失函数，Lmask为分割误差损失函数。
训练完成的神经网络模型的损失函数包含了分类误差损失函数Lcls、预测框检测误差损失函数Lbox、分割误差损失函数Lmask以及轮廓边缘损失函数Lboarder，能够避免卷积核的步长度设置不合理带来的遗漏了原图的信息问题。而且本申请将浅层网络作为所述待训练的神经网络模型可提升运算速度，浅层网络的方式与训练完成的神经网络模型的损失函数相结合能获得较快的识别推进速度和具有较高的原图信息识别准确度。
在一个实施例中，所述生成的异常信息包括某一区域的器件的种类错误、器件的型号错误、各器件之间的相对位置错误或间距错误。
关于处理器执行计算机程序时实现步骤的具体限定可以参见上文中对于器件种类及位置检测的方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
获取待识别区域的图像信息；
使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在对待训练的神经网络模型进行有监督学习迭代训练之前，还包括：
计算合适的神经网络层数，其为在一残差深层网络中加入残差单元构建恒等映射关系，设其中的残差函数F(x)＝H(x)-x，其中H(x)是原始映射函数，F(x)为残差函数，x代表输入，求出使得H(x)-x＝0时的残差函数F(x)；
将所述残差函数F(x)添入残差深层网络中使其变为浅层网络，将该浅层网络作为所述待训练的神经网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述将所述残差函数F(x)添入残差深层网络中使其变为浅层网络过程中，将残差深层网络中的卷积层和批量归一化层做参数合并。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述将残差深层网络中的卷积层和批量归一化层做参数合并，具体包括：
设所述卷积层的计算公式为：
Y＝W*X+B； (式1)
其中，W为权重；X为输入值，X包含xi～xn；B为卷积偏置；
设所述批量归一化层的计算公式为：
yi＝γ*xi+β； (式2)
其中，μ为输入值xi～xn的平均值，δ为输入值xi～xn的方差，ε为一个很小的数，γ是缩放因子，β是偏移量；
将所述卷积层和所述批量归一化层融合，即将式1与式2合并，整理得到式3；融合后的公式为：
Wm＝W*α；
Bm＝(B-μ)*α+β；
Y＝Wm*X+Bm； (式3)
其中，Wm和Bm为参数融合后的参数，α为公式化简替代量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
训练完成的神经网络模型的损失函数中包括的轮廓边缘损失函数为：
其中，N为总数，Yi为真实值，^yi为预测值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述待训练的神经网络模型的损失函数为：
LOSS＝Lbox+Lcls+Lmask；
所述训练完成的神经网络模型的损失函数为：
LOSS’＝Lbox+Lcls+Lmask+Lborder；
其中，Lcls为分类误差损失函数，Lbox为预测框检测误差损失函数，Lmask为分割误差损失函数。
在其中一个实施例中，所述生成的异常信息包括某一区域的器件的种类错误、器件的型号错误、各器件之间的相对位置错误或间距错误。
关于计算机程序被处理器执行时实现步骤的具体限定可以参见上文中对于器件种类及位置检测的方法的限定，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种器件安装检测方法，其特征在于，包括：
获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
获取待识别区域的图像信息；
使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
2.根据权利要求1所述的器件安装检测方法，其特征在于，在对待训练的神经网络模型进行有监督学习迭代训练之前，还包括：
计算合适的神经网络层数，其为在一残差深层网络中加入残差单元构建恒等映射关系，设其中的残差函数F(x)＝H(x)-x，其中H(x)是原始映射函数，F(x)为残差函数，x代表输入，求出使得H(x)-x＝0时的残差函数F(x)；
将所述残差函数F(x)添入残差深层网络中使其变为浅层网络，将该浅层网络作为所述待训练的神经网络模型。
3.根据权利要求1所述的器件安装检测方法，其特征在于，所述将所述残差函数F(x)添入残差深层网络中使其变为浅层网络过程中，将残差深层网络中的卷积层和批量归一化层做参数合并。
4.根据权利要求3所述的器件安装检测方法，其特征在于，所述将残差深层网络中的卷积层和批量归一化层做参数合并，具体包括：
设所述卷积层的计算公式为：
Y＝W*X+B； (式1)
其中，W为权重；X为输入值，X包含xi～xn；B为卷积偏置；
设所述批量归一化层的计算公式为：
yi＝γ*xi+β； (式2)
其中，μ为输入值xi～xn的平均值，δ为输入值xi～xn的方差，ε为一个很小的数，γ是缩放因子，β是偏移量；
将所述卷积层和所述批量归一化层融合后的公式为：
Wm＝W*α；
Bm＝(B-μ)*α+β；
Y＝Wm*X+Bm； (式3)
其中，Wm和Bm为参数融合后的参数，α为公式化简替代量。
5.根据权利要求1所述的器件安装检测方法，其特征在于，训练完成的神经网络模型的损失函数中包括的轮廓边缘损失函数为：
其中，N为总数，Yi为真实值，^yi为预测值。
6.根据权利要求5所述的器件安装检测方法，其特征在于，
所述待训练的神经网络模型的损失函数为：
LOSS＝Lbox+Lcls+Lmask；
所述训练完成的神经网络模型的损失函数为：
LOSS’＝Lbox+Lcls+Lmask+Lborder；
其中，Lcls为分类误差损失函数，Lbox为预测框检测误差损失函数，Lmask为分割误差损失函数。
7.根据权利要求6所述的器件安装检测方法，其特征在于，所述生成的异常信息包括某一区域的器件的种类错误、器件的型号错误、各器件之间的相对位置错误或间距错误。
8.一种器件安装检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取训练图像信息，并在训练图像信息中进行轮廓标记且注明每一轮廓内的器件种类形成训练图像集；
神经网络训练模块，用于在一待训练的神经网络模型中输入所述训练图像集后进行有监督学习迭代训练，直至收敛；其中所述待训练的神经网络模型为浅层网络，包括残差函数；训练完成的神经网络模型的损失函数中包括轮廓边缘损失函数；
待识别图像获取模块，用于获取待识别区域的图像信息；
图像识别模块，用于使用训练完成的神经网络模型对所述待识别区域的图像信息进行识别，识别出图像信息中各器件的种类及所在位置的边缘；
生成异常信息模块，用于根据各器件的种类及所在位置的边缘计算各器件之间的相对位置，并与各器件的预设标准位置对比生成异常信息。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211159697.8A CN115424127A (zh) | 2022-09-22 | 2022-09-22 | 器件安装检测方法、装置和计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211159697.8A CN115424127A (zh) | 2022-09-22 | 2022-09-22 | 器件安装检测方法、装置和计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115424127A true CN115424127A (zh) | 2022-12-02 |
Family
ID=84205012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211159697.8A Pending CN115424127A (zh) | 2022-09-22 | 2022-09-22 | 器件安装检测方法、装置和计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115424127A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495741A (zh) * | 2023-12-29 | 2024-02-02 | 成都货安计量技术中心有限公司 | 一种基于大卷积对比学习的畸变还原方法 |
-
2022
- 2022-09-22 CN CN202211159697.8A patent/CN115424127A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495741A (zh) * | 2023-12-29 | 2024-02-02 | 成都货安计量技术中心有限公司 | 一种基于大卷积对比学习的畸变还原方法 |
| CN117495741B (zh) * | 2023-12-29 | 2024-04-12 | 成都货安计量技术中心有限公司 | 一种基于大卷积对比学习的畸变还原方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020098074A1 (zh) | 人脸样本图片标注方法、装置、计算机设备及存储介质 | |
| CN110619330A (zh) | 识别模型的训练方法、装置、计算机设备及识别方法 | |
| CN109308488B (zh) | 乳腺超声图像处理装置、方法、计算机设备及存储介质 | |
| CN106683073B (zh) | 一种车牌的检测方法及摄像机和服务器 | |
| Yu et al. | Face biometric quality assessment via light CNN | |
| US11900676B2 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
| CN110378230B (zh) | 失踪人脸识别方法、装置、计算机设备和存储介质 | |
| CN111126208B (zh) | 行人归档方法、装置、计算机设备及存储介质 | |
| CN110046577B (zh) | 行人属性预测方法、装置、计算机设备和存储介质 | |
| CN113435330B (zh) | 基于视频的微表情识别方法、装置、设备及存储介质 | |
| WO2022213540A1 (zh) | 目标检测、属性识别与跟踪方法及系统 | |
| CN113449586A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN111767915A (zh) | 车牌检测方法、装置、设备及存储介质 | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN115424127A (zh) | 器件安装检测方法、装置和计算机设备和存储介质 | |
| CN110942067A (zh) | 文本识别方法、装置、计算机设备和存储介质 | |
| CN110942456A (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN111985340A (zh) | 基于神经网络模型的人脸识别方法、装置和计算机设备 | |
| CN111091146A (zh) | 图片相似度获取方法、装置、计算机设备及存储介质 | |
| CN114359787A (zh) | 目标属性识别方法、装置、计算机设备及存储介质 | |
| CN111178162B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN110163183B (zh) | 目标检测算法的评估方法、装置、计算机设备和存储介质 | |
| Zou et al. | Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery | |
| CN116484224A (zh) | 一种多模态预训练模型的训练方法、装置、介质及设备 | |
| CN115424001A (zh) | 场景相似度估计方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |