CN116740385B - 一种设备质检方法、装置和系统 - Google Patents
一种设备质检方法、装置和系统 Download PDFInfo
- Publication number
- CN116740385B CN116740385B CN202310990804.XA CN202310990804A CN116740385B CN 116740385 B CN116740385 B CN 116740385B CN 202310990804 A CN202310990804 A CN 202310990804A CN 116740385 B CN116740385 B CN 116740385B
- Authority
- CN
- China
- Prior art keywords
- image
- output image
- equipment
- standard
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000007689 inspection Methods 0.000 title claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 17
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机领域,特别是涉及一种设备质检方法、装置和系统,其中方法通过双通道的骨干网络以及深度卷积霍夫变换的应用能够实现对于设备图像中的直线的准确识别和检测,通过对若干个标准设备的直线进行拟合,能够准确的确定出标准位置范围,以该标准位置范围对待测设备的直线进行判断,能够准确判断待测设备是否合格,并且标准位置范围的确定过程以及检测过程均实现了自动化运行,减少了人工参与,也提升了检测的效率。
Description
技术领域
本发明涉及计算机领域,特别是涉及一种设备质检方法、装置和系统。
背景技术
在流水线上的电子设备模块安装过程中,工人将各个模块,线束按照顺序和位置安装在设备当中,每个工人安装某个区域的线束,或者是固定其中一节线束,多次工序完成以后再组装好外壳,就可以进入设备质检流程。
当外壳安装后,质检人员无法再观察到设备的内部,只能通过设备的功能性测试来验证产品是否有问题。但个别设备会出现模块没固定到位,线材走线未固定等情况,这样的设备虽然在质检过程中是没问题,但是存在严重的安全隐患,在运输过程,使用过程中均可能触发设备的质量问题。
现有的设备质检方法存在难以监测出设备模块边缘和线束位置偏移的问题。
发明内容
基于此,有必要针对上述的问题,提供一种设备质检方法、装置和系统。
本发明实施例是这样实现的,一种设备质检方法,所述方法包括:
S1:获取一个标准设备图像作为待识别图像;
S2:通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
S3:对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间,参数空间为对直线进行参数化表示的二维平面;
S4:将各个参数空间合并为输出图像,并将输出图像输出,所述输出图像包括若干条被识别出的直线,并且各条直线位于输出图像的不同区域;
S5:获取另一个标准设备图像,并执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
S6:将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
S7:获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
S8:判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
在其中一个实施例中,本发明提供了一种设备质检装置,装置包括:
第一获取模块,用于获取一个标准设备图像作为待识别图像;
第一处理模块,用于通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
第二处理模块,用于对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间,参数空间为对直线进行参数化表示的二维平面;
第三处理模块,用于将各个参数空间合并为输出图像,并将输出图像输出,所述输出图像包括若干条被识别出的直线,并且各条直线位于输出图像的不同区域;
第二获取模块,用于获取另一个标准设备图像,执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
第四处理模块,用于将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
第三获取模块,用于获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
判断模块,用于判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
在其中一个实施例中,本发明提供了一种设备质检系统,包括:
检测台;
检测位,设置在检测台上,用于放置待检测设备;
摄像头,设置在检测台上,用于对待检测设备进行拍摄,以获取待测设备图像;
计算机设备,与摄像头连接,用于执行所述的设备质检方法。
本申请提供了一种设备质检方法、装置和系统,其中方法包括:获取一个标准设备图像作为待识别图像;通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间;将各个参数空间合并为输出图像,并将输出图像输出;获取另一个标准设备图像,并执行上述图像处理步骤,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;获取待测设备图像,并将待测设备图像作为待识别图像,执行上述图像处理步骤以得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格;在本申请中,通过双通道的骨干网络以及深度卷积霍夫变换的应用能够实现对于设备图像中的直线的准确识别和检测,通过对若干个标准设备的直线进行拟合,能够准确的确定出标准位置范围,以该标准位置范围对待测设备的直线进行判断,能够准确判断待测设备是否合格,并且标准位置范围的确定过程以及检测过程均实现了自动化运行,减少了人工参与,也提升了检测的效率。
附图说明
图1为一个实施例中提供的设备质检方法的流程图;
图2为一个实施例中提供的设备质检方法的应用环境图;
图3为一个实施例中提供的设备质检方法中标准位置范围的模拟示意图;
图4为一个实施例中提供的设备质检方法中直线与标准位置范围比对示意图;
图5为一个实施例中设备质检方法中直线识别的流程图;
图6为一个实施例中设备质检装置的模块图;
图7为一个实施例中设备质检系统的组成图;
图8为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本发明的范围的情况下,可以将第一xx脚本称为第二xx脚本,且类似地,可将第二xx脚本称为第一xx脚本。
如图1所示,在一个实施例中,提出了一种设备质检方法,所述方法包括:
S1:获取一个标准设备图像作为待识别图像;
S2:通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
S3:对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间,参数空间为对直线进行参数化表示的二维平面;
S4:将各个参数空间合并为输出图像,并将输出图像输出,所述输出图像包括若干条被识别出的直线,并且各条直线位于输出图像的不同区域;
S5:获取另一个标准设备图像,并执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
S6:将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
S7:获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
S8:判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
在本实施例中,通过计算机设备执行本方法,计算机设备可以是独立的物理服务器或终端,也可以是多个物理服务器构成的服务器集群,可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器;再者,通过摄像头对被检测设备(标准设备或待检测设备)进行拍摄以得到设备图像,计算机设备从摄像头中获取设备图像作为待识别图像,摄像头可以采用工业相机,工业相机又俗称工业摄像机,相比于传统的民用相机,它具有高的图像稳定性、高传输能力和高抗干扰能力等,摄像头还可以采用其它的摄像设备,在此不作限定。
在本实施例中,双通道骨干网络是一种用于计算机视觉任务的深度学习架构,它由两个独立的并行通道组成,并通过将它们的特征进行融合来提取更准确的特征表示;在双通道骨干网络中,每个通道都可以使用不同的卷积结构或网络架构,这些网络通常经过预训练,在大规模图像数据上进行了调整和优化,两个通道可以分别处理输入图像的不同方面,例如颜色和纹理,或者多尺度空间信息;双通道骨干网络通过前向传播将输入图像分别经过两个通道,然后将它们的特征进行融合,融合可以采用简单的操作,例如将两个通道的特征按元素相加或连接在一起,也可以使用更复杂的融合方式,例如注意力机制或逐元素乘法;通过利用两个并行通道的信息,双通道骨干网络能够学习更丰富、更全面的特征表示,从而提高计算机视觉任务的性能。
在本实施例中,特征空间是描述和表示样本的特征的数学空间,每个样本可以由一组特征组成,而这些特征可以构成一个多维的特征向量,特征空间中的每个维度代表一个特征,特征向量的每个分量对应于相应特征的值;参数空间是指机器学习或统计模型中,用于表示和存储模型参数的数学空间,本发明中参数空间为对直线进行参数化表示的二维平面;深度卷积霍夫变换(Deep Convolutional Hough Transform)是一种基于深度学习的霍夫变换改进方法,用于检测图像中的直线或其他几何形状,其主要流程包括:使用深度卷积神经网络对输入图像进行特征提取;将卷积神经网络的特征图转换为参数空间表示;对参数空间进行进一步处理,如进行滤波、阈值化等操作;在参数空间中找到峰值,表示检测到的直线或其他几何形状;深度卷积霍夫变换通过结合深度学习的优势,可以自动学习具有判别能力的特征表示,并提高对复杂图像和噪声的鲁棒性。
如图2所示,在本实施例中,设定个数可以是10个、15个、20个或者其它个数,在此不作限定;预设条数可以是直线总条数的80%,比如直线总条数为10,则预设条数为8条,预设条数也可以占直线总条数的比例也可以是85%、90%或者其它比例,在此不作限定;本申请中,摄像头以及计算机设备设置在检测台上,计算机设备与摄像头连接,检测台上还设置有检测位,被检测的设备打开盖板能够从上向下看到设备的各个模块和线束,即从上往下的视角能够观测到各个模块的边缘以及线束对应的若干条直线,标准设备放置在检测位上进行检测,摄像头的镜头朝向检测位的方向对待检测的设备进行拍摄从而获取带有若干条直线以及其它干扰因素(比如模块上的文字、凹槽等)的标准设备图像,把该标准特征图像作为待识别图像输入至计算机设备后采用双通道骨干网络以及深度卷积霍夫变换等方法进行图像处理,能够将干扰因素去除,而得到将若干条直线提取出来的输出图像,按照此方式对设定个数的标准设备进行图像获取和图像处理后可得到设定个数的输出图像,并且由于标准设备的各个线束和模块安装在设备的不同位置,因此输出图像中的各条直线位置也处于输出图像的不同区域;又由于各个输出图像对应的是标准设备,各个输出图像上的直线位置分布基本一致,因此每一个输出图像在某一个区域的直线都能够与其它输出图像的直线形成对应,此时将设定个数的输出图像叠合起来,将其它的输出图像上的各条直线投影至最底层的输出图像上,就会在该输出图像的各个区域都形成由若干条(数值与输出图像数量一致)直线组成的直线集合,每一个直线集合中的直线会有微小的偏差;然后将其它的输出图像移除,只保留最底层的输出图像,并分别对各个直线集合中的直线进行拟合,从而在该输出图像上形成若干个拟合出来的标准位置范围(如图3所示);后续的待测设备,其与标准设备是基于同一设计生产的设备,其对应的直线也与标准设备上的直线能够对应起来,只是存在的偏差略微较大,随后将待测设备图像对应的输出图像与上述含有标准位置范围的输出图像进行叠合,并将待测设备对应的输出图像上的直线投影至含有标准位置范围的输出图像上,即可实现各条直线与各个标准位置范围的比对(如图4所示),比对时将标准图像对应的直线从标准位置范围中移除,方便工作人员查看;本申请通过双通道的骨干网络以及深度卷积霍夫变换的应用能够实现对于设备图像中的直线的准确识别和检测,取设定个数(优选10个)标准设备识别后的输出图像进行众值拟合,以形成用于判断待测设备对应的直线是否符合标准的标准位置范围,由此取得的标准位置范围具有较高的代表性,其能够准确表征出待测设备上的直线是否处于标准的位置,并且标准位置范围的确定过程以及检测过程均实现了自动化运行,减少了人工参与,也提升了检测的效率。
如图5所示,作为一个优选的实施例,所述双通道骨干网络为基于特征金字塔网络的深度卷积神经网络,若干个特征空间中包括P1、P2、P3和P4;
其中,特征空间P2的长度和宽度为特征空间P1的1/2,特征空间P3和特征空间P4的长度和宽度为特征空间P2的1/2;
其中,P1对应参数空间Y1,P2对应参数空间Y2,P3对应参数空间Y3,P4对应参数空间Y4;Y1、Y2、Y3和Y4的长度相等,Y2的宽度是Y1的宽度的1/2,Y3和Y4的宽度是Y2的宽度的1/2。
所述将各个参数空间合并为输出图像包括:
对各个参数空间进行上下文特征提取;
将Y2、Y3和Y4上采样为Y1的尺寸;
将各个参数空间对应的输出通道合并为一个主通道;
将Y1、Y2、Y3和Y4传输至主通道并进行拼接,进而得到输出图像,所述输出图像的长度为待识别图像长度的1/4,所述输出图像的宽度为待识别图像宽度的1/4。
在本实施例中,待识别图像的尺寸根据具体的使用需求以及摄像头和计算机设备的相关参数而定,在此不作限定,特征空间、参数空间以及输出图像的长宽尺寸依据其与待识别图像的尺寸关系确定;举例说明,待识别图像的长宽尺寸可以取720×720,则P1的长宽尺寸为180×180,P2的长宽尺寸为90×90,P3和P4的长宽尺寸为45×45,Y1的长宽尺寸为180×180,Y2的长宽尺寸为180×90,Y3和Y4的长宽尺寸为180×45,输出图像的长宽尺寸为180×180;上下文特征提取采用CTX(Contextualized Textual)特征提取,CTX特征提取方法通过预训练模型来学习文本的上下文信息,并将其表示为高维向量,这些向量具有丰富的语义和上下文相关性,可以提高自然语言处理任务的性能和泛化能力;参数空间的拼接主要是先依据输入的待识别图像对各个参数空间的特征信息进行识别,以确定其在一幅整体图像。
作为一个优选的实施例,得到设定个数的输出图像后,还包括对各个输出图像进行二值化处理,具体为:
对输出图像进行灰度化处理,以得到灰度输出图像;
判断灰度输出图像中的各个像素的像素值是否大于设定阈值,将大于或等于设定阈值的像素值调整为255,将小于设定阈值的像素值调整为0。
在本实施例中,二值化处理是一种图像处理方法,将图像转换为只包含两个像素值(通常为黑色和白色)的二值图像,该过程可以将图像中的信息从灰度级别表示转化为二进制表示;每个像素点的像素值通常是一个介于0到255之间的整数,表示灰度级别;较小的值表示较暗的像素,较大的值表示较亮的像素,像素值为0时,像素点为黑色,像素值为255时,像素点为白色;另外设定阈值可以是120、130或者其它值,在此不作限定;本申请通过对输出图像进行二值化处理,使输出图像中只含有黑白两色,能够使直线的颜色更加显著与直观,方便系统对直线进行识别。
作为一个优选的实施例,所述依据各个标准输出图像中的直线位置确定若干个标准位置范围包括:
S61:将每一个标准输出图像以相同的划分方式划分为若干个检测区域,其中,检测区域的个数与标准输出图像中的直线数量相等,每一个检测区域中包含一条直线;
S62:取一个检测区域作为拟合区域;
S63:取各个标准输出图像中对应于该拟合区域的直线作为拟合直线;
S64:将各条拟合直线相叠加后进行拟合,以得到对应于该检测区域的标准位置范围;
S65:取另一个检测区域作为拟合区域,执行步骤S63至步骤S64,以得到对应于该检测区域的标准位置范围,重复执行本步骤,直至得到每一个检测区域对应的标准位置范围。
其中,通过矩形拟合法对叠加后的各条拟合直线进行拟合,具体为:
识别各条拟合直线的位置;
确定一个能够包围每一条拟合直线的矩形;
将该矩形所围成的区域作为标准位置范围。
在本实施例中,由于标准设备的各个模块以及线束的安装都符合预设规定,对各个标准输出图像采用相同的划分方式进行划分,既能够保证各个标准输出图像所划分出的各个检测区域重合,也能保证各条直线能够落入到划分出来的检测区域中,进而能够实现各个标准输出图像在同一个检测区域中的各条直线的叠加;本申请中的所采用的矩形拟合法所确定的矩形的面积小于检测区域的面积,并且整个矩形处于检测区域范围内,矩形优选为能够包含每一条拟合直线的最小矩形,使该矩形能够对标准设备中的直线实现充分的表征,进而可以提高检测的准确性。
如图6所示,在一个实施例中,提供了一种设备质检装置,该设备质检装置可以集成于上述的计算机设备中,装置包括:
第一获取模块,用于获取一个标准设备图像作为待识别图像;
第一处理模块,用于通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
第二处理模块,用于对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间,参数空间为对直线进行参数化表示的二维平面;
第三处理模块,用于将各个参数空间合并为输出图像,并将输出图像输出,所述输出图像包括若干条被识别出的直线,并且各条直线位于输出图像的不同区域;
第二获取模块,用于获取另一个标准设备图像,执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
第四处理模块,用于将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
第三获取模块,用于获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
判断模块,用于判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
在本申请中,各模块实现各自功能的过程,具体可参考前述图1所示实施例的描述,此处不再赘述。
如图7所示,在一个实施例中,提供了一种设备质检系统,包括:
检测台;
检测位,设置在检测台上,用于放置待检测设备;
摄像头,设置在检测台上,用于对待检测设备进行拍摄,以获取待测设备图像;
计算机设备,与摄像头连接,用于执行所述的设备质检方法。
在本实施例中,系统的各个组成部分相互配合,通过双通道的骨干网络以及深度卷积霍夫变换的应用能够实现对于设备图像中的直线的准确识别和检测,通过对若干个标准设备的直线进行拟合,能够准确的确定出标准位置范围,以该标准位置范围对待测设备的直线进行判断,能够准确判断待测设备是否合格,并且标准位置范围的确定过程以及检测过程均实现了自动化运行,减少了人工参与,也提升了检测的效率。
图8示出了一个实施例中计算机设备的内部结构图。如图8所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现本发明实施例提供的设备质检方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行本发明实施例提供的设备质检方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本发明实施例提供的设备质检装置可以实现为一种计算机程序的形式,计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该设备质检装置的各个程序模块,比如,图6所示的第一获取模块、第二获取模块、第三获取模块、第一处理模块、第二处理模块、第三处理模块、第四处理模块以及判断模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施例的设备质检方法中的步骤。
例如,图8所示的计算机设备可以通过如图6所示的设备质检装置中的第一获取模块执行步骤S1、第一处理模块执行步骤S2、第二处理模块执行步骤S3、第三处理模块执行步骤S4、第二获取模块执行步骤S5、第四处理模块执行步骤S6、第三获取模块执行步骤S7、判断模块执行步骤S8。
在一个实施例中,提出了一种计算机设备,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
S1:获取一个标准设备图像作为待识别图像;
S2:通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
S3:对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间;
S4:将各个参数空间合并为输出图像,并将输出图像输出;
S5:获取另一个标准设备图像,并执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
S6:将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
S7:获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
S8:判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
在一个实施例中,提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
S1:获取一个标准设备图像作为待识别图像;
S2:通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
S3:对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间;
S4:将各个参数空间合并为输出图像,并将输出图像输出;
S5:获取另一个标准设备图像,并执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
S6:将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
S7:获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
S8:判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (8)
1.一种设备质检方法,其特征在于,所述方法包括:
S1:获取一个标准设备图像作为待识别图像;
S2:通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
S3:对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间,参数空间为对直线进行参数化表示的二维平面;
S4:将各个参数空间合并为输出图像,并将输出图像输出,所述输出图像包括若干条被识别出的直线,并且各条直线位于输出图像的不同区域;
S5:获取另一个标准设备图像,并执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
S6:将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
S7:获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
S8:判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
2.根据权利要求1所述的方法,其特征在于,所述双通道骨干网络为基于特征金字塔网络的深度卷积神经网络,若干个特征空间中包括P1、P2、P3和P4;
其中,特征空间P2的长度和宽度为特征空间P1的1/2,特征空间P3和特征空间P4的长度和宽度为特征空间P2的1/2;
其中,P1对应参数空间Y1,P2对应参数空间Y2,P3对应参数空间Y3,P4对应参数空间Y4;Y1、Y2、Y3和Y4的长度相等,Y2的宽度是Y1的宽度的1/2,Y3和Y4的宽度是Y2的宽度的1/2。
3.根据权利要求2所述的方法,其特征在于,所述将各个参数空间合并为输出图像包括:
对各个参数空间进行上下文特征提取;
将Y2、Y3和Y4上采样为Y1的尺寸;
将各个参数空间对应的输出通道合并为一个主通道;
将Y1、Y2、Y3和Y4传输至主通道并进行拼接,进而得到输出图像,所述输出图像的长度为待识别图像长度的1/4,所述输出图像的宽度为待识别图像宽度的1/4。
4.根据权利要求1所述的方法,其特征在于,得到设定个数的输出图像后,还包括对各个输出图像进行二值化处理,具体为:
对输出图像进行灰度化处理,以得到灰度输出图像;
判断灰度输出图像中的各个像素的像素值是否大于设定阈值,将大于或等于设定阈值的像素值调整为255,将小于设定阈值的像素值调整为0。
5.根据权利要求1所述的方法,其特征在于,所述依据各个标准输出图像中的直线位置确定若干个标准位置范围包括:
S61:将每一个标准输出图像以相同的划分方式划分为若干个检测区域,其中,检测区域的个数与标准输出图像中的直线数量相等,每一个检测区域中包含一条直线;
S62:取一个检测区域作为拟合区域;
S63:取各个标准输出图像中对应于该拟合区域的直线作为拟合直线;
S64:将各条拟合直线相叠加后进行拟合,以得到对应于该检测区域的标准位置范围;
S65:取另一个检测区域作为拟合区域,执行步骤S63至步骤S64,以得到对应于该检测区域的标准位置范围,重复执行本步骤,直至得到每一个检测区域对应的标准位置范围。
6.根据权利要求5所述的方法,其特征在于,通过矩形拟合法对叠加后的各条拟合直线进行拟合,具体为:
识别各条拟合直线的位置;
确定一个能够包围每一条拟合直线的矩形;
将该矩形所围成的区域作为标准位置范围。
7.一种设备质检装置,其特征在于,装置包括:
第一获取模块,用于获取一个标准设备图像作为待识别图像;
第一处理模块,用于通过双通道骨干网络对待识别图像进行特征提取,并生成多个尺度的特征空间;
第二处理模块,用于对各个特征空间分别执行深度卷积霍夫变换,以得到各个特征空间对应的参数空间,参数空间为对直线进行参数化表示的二维平面;
第三处理模块,用于将各个参数空间合并为输出图像,并将输出图像输出,所述输出图像包括若干条被识别出的直线,并且各条直线位于输出图像的不同区域;
第二获取模块,用于获取另一个标准设备图像,执行步骤S2至步骤S4,以得到另一个输出图像,重复执行本步骤设定次数,进而得到设定个数的输出图像;
第四处理模块,用于将标准设备图像对应的输出图像作为标准输出图像,依据各个标准输出图像中的直线位置确定若干个标准位置范围;
第三获取模块,用于获取待测设备图像,并将待测设备图像作为待识别图像,执行步骤S2至步骤S4得到对应的输出图像,令待测设备图像对应的输出图像为待测输出图像;
判断模块,用于判断待测输出图像中的直线落入标准位置范围内的条数是否达到预设条数,若是,则待测设备合格;否则,待测设备不合格。
8.一种设备质检系统,其特征在于,包括:
检测台;
检测位,设置在检测台上,用于放置待检测设备;
摄像头,设置在检测台上,用于对待检测设备进行拍摄,以获取待测设备图像;
计算机设备,与摄像头连接,用于执行如权利要求1-6中任意一项所述的设备质检方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310990804.XA CN116740385B (zh) | 2023-08-08 | 2023-08-08 | 一种设备质检方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310990804.XA CN116740385B (zh) | 2023-08-08 | 2023-08-08 | 一种设备质检方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116740385A CN116740385A (zh) | 2023-09-12 |
CN116740385B true CN116740385B (zh) | 2023-10-13 |
Family
ID=87913685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310990804.XA Active CN116740385B (zh) | 2023-08-08 | 2023-08-08 | 一种设备质检方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116740385B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164479A (ja) * | 2002-11-15 | 2004-06-10 | Nippon Hoso Kyokai <Nhk> | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
CN104899879A (zh) * | 2015-05-21 | 2015-09-09 | 国家电网公司 | 一种电能表在线外观检测的方法 |
CN106846298A (zh) * | 2016-12-22 | 2017-06-13 | 清华大学 | 光纤排线识别方法和装置 |
CN108564571A (zh) * | 2018-03-30 | 2018-09-21 | 精锐视觉智能科技(深圳)有限公司 | 图像区域选取方法及终端设备 |
CN111626244A (zh) * | 2020-05-29 | 2020-09-04 | 中国工商银行股份有限公司 | 图像识别方法、装置、电子设备和介质 |
CN112288782A (zh) * | 2020-10-29 | 2021-01-29 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于边界段数数值pcb缺陷检测方法 |
CN114004815A (zh) * | 2021-11-03 | 2022-02-01 | 哈工大机器人(合肥)国际创新研究院 | 一种pcba外观检测方法及装置 |
CN115205218A (zh) * | 2022-06-17 | 2022-10-18 | 浙江西图盟数字科技有限公司 | 一种软排线装配检测方法、装置、电子设备及存储介质 |
CN116402820A (zh) * | 2023-06-07 | 2023-07-07 | 合肥联宝信息技术有限公司 | 一种检测方法、装置、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6863946B2 (ja) * | 2018-10-31 | 2021-04-21 | ファナック株式会社 | 画像処理装置 |
CN116563682A (zh) * | 2023-05-11 | 2023-08-08 | 北京工业大学 | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 |
-
2023
- 2023-08-08 CN CN202310990804.XA patent/CN116740385B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164479A (ja) * | 2002-11-15 | 2004-06-10 | Nippon Hoso Kyokai <Nhk> | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
CN104899879A (zh) * | 2015-05-21 | 2015-09-09 | 国家电网公司 | 一种电能表在线外观检测的方法 |
CN106846298A (zh) * | 2016-12-22 | 2017-06-13 | 清华大学 | 光纤排线识别方法和装置 |
CN108564571A (zh) * | 2018-03-30 | 2018-09-21 | 精锐视觉智能科技(深圳)有限公司 | 图像区域选取方法及终端设备 |
CN111626244A (zh) * | 2020-05-29 | 2020-09-04 | 中国工商银行股份有限公司 | 图像识别方法、装置、电子设备和介质 |
CN112288782A (zh) * | 2020-10-29 | 2021-01-29 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于边界段数数值pcb缺陷检测方法 |
CN114004815A (zh) * | 2021-11-03 | 2022-02-01 | 哈工大机器人(合肥)国际创新研究院 | 一种pcba外观检测方法及装置 |
CN115205218A (zh) * | 2022-06-17 | 2022-10-18 | 浙江西图盟数字科技有限公司 | 一种软排线装配检测方法、装置、电子设备及存储介质 |
CN116402820A (zh) * | 2023-06-07 | 2023-07-07 | 合肥联宝信息技术有限公司 | 一种检测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
Kai Zhao et al..Deep Hough Transform for Semantic Line Detection.《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》.2022,第44卷(第9期),4793-4806. * |
Also Published As
Publication number | Publication date |
---|---|
CN116740385A (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
US10769487B2 (en) | Method and device for extracting information from pie chart | |
CN112434721B (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
CN111862035B (zh) | 光斑检测模型的训练方法、光斑检测方法、设备及介质 | |
CN110175609B (zh) | 界面元素检测方法、装置及设备 | |
CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
CN112085056B (zh) | 目标检测模型生成方法、装置、设备及存储介质 | |
CN110766027A (zh) | 图像的区域定位方法和目标区域定位模型的训练方法 | |
US20160098615A1 (en) | Apparatus and method for producing image processing filter | |
US20230401691A1 (en) | Image defect detection method, electronic device and readable storage medium | |
CN111523421A (zh) | 基于深度学习融合各种交互信息的多人行为检测方法及系统 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
CN114549849A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN116311214A (zh) | 车牌识别方法和装置 | |
CN116740385B (zh) | 一种设备质检方法、装置和系统 | |
CN115797291B (zh) | 回路端子的识别方法、装置、计算机设备和存储介质 | |
CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
CN115374517A (zh) | 布线软件的测试方法、装置、电子设备及存储介质 | |
CN113989632A (zh) | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 | |
CN114862856B (zh) | 一种面板缺陷区域识别方法、装置、电子设备及介质 | |
CN116543248A (zh) | 一种适用于嵌入式gpu平台的检测方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |