CN116188374A - 插座检测方法、装置、计算机设备及存储介质 - Google Patents
插座检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116188374A CN116188374A CN202211667241.2A CN202211667241A CN116188374A CN 116188374 A CN116188374 A CN 116188374A CN 202211667241 A CN202211667241 A CN 202211667241A CN 116188374 A CN116188374 A CN 116188374A
- Authority
- CN
- China
- Prior art keywords
- socket
- training
- detection model
- initial
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种插座检测方法、装置、计算机设备及存储介质,方法包括:获取待检测的初始插座图像;将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息;已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果。实现自动检测,降低了人力成本,提高了检测效率;此外采用多个参数策略进行训练,提高了训练完整性、训练效果和模型性能。
Description
技术领域
本发明涉及出厂检测技术领域,具体涉及一种插座检测方法、装置、计算机设备及存储介质。
背景技术
插座,比如86型插座是一种长宽为86mm*86mm的正方形插座,正方形比长方形内部结构更加稳固,插拔作用下不容易变形;86型强电插座不用跳线,一个插座就是一个“成型模块”,一般情况下就三个眼,分别是火线、零线、地线,三个端口;86型插座是我国大多数地区工程和家装中最常用的插座。
86型插座在柔性智能化生产过程中,针对LNE级插套组装单元,需要进行缺陷检测,检测内容包括检测L,N,E铜件外观是否有漏装、错装,铜件是否组装到位和铜件是否弯曲等缺陷;因此筛选出不合格的插座,防止流入下一道工序和市场,是插座组装工序的重中之重。
现有技术中,通常采用人工检测的方式,但该方式需要花费较高的人力成本,并且效率也较低。
发明内容
针对现有技术中所存在的不足,本发明提供一种插座检测方法、装置、计算机设备及存储介质。
第一方面,在一个实施例中,本发明提供一种插座检测方法,包括:
获取待检测的初始插座图像;
将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息;已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果;缺陷检测结果表征插座是否存在缺陷。
在一个实施例中,在将初始插座图像输入至已训练的定位检测模型中进行定位检测的步骤之前,上述插座检测方法还包括:
获取第一训练样本集;根据第一训练样本集以及预先配置的多个参数策略,对初始定位检测模型进行训练,得到多个中间定位检测模型;每个中间定位检测模型各自对应一个参数策略;参数策略包括单次处理数据量、损失函数类型;
确定各中间定位检测模型的评价指标;
根据各中间定位检测模型的评价指标,确定目标中间定位检测模型;
根据第一训练样本集,对目标中间定位检测模型继续进行训练,得到已训练的定位检测模型。
在一个实施例中,根据第一训练样本集以及预先配置的多个参数策略,对初始定位检测模型进行训练,得到多个中间定位检测模型,包括:
根据第一训练样本集,对每个参数策略对应的初始定位检测模型进行训练;
针对各参数策略,获取该参数策略对应的初始定位检测模型的训练次数,在训练次数达到预设阈值时,得到该参数策略对应的中间定位检测模型。。
在一个实施例中,评价指标包括损失、准确率和召回率;根据各中间定位检测模型的评价指标,确定目标中间定位检测模型,包括:
根据各中间定位检测模型的损失、准确率和召回率,确定各中间定位检测模型的模型性能;
将模型性能最优的中间定位检测模型确定为目标中间定位检测模型。
在一个实施例中,第一训练样本集包括多个第一训练初始插座图像以及各第一训练初始插座图像中插座的标注位置信息;根据第一训练样本集,对目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,包括:
将第一训练样本集中的各第一训练初始插座图像输入至目标中间定位检测模型中进行定位检测,得到各第一训练初始插座图像中插座的预测位置信息;
根据各第一训练初始插座图像中插座的预测位置信息和标注位置信息,确定第一损失;
若第一损失满足预设收敛条件,则得到已训练的定位检测模型。
在一个实施例中,在将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测的步骤之前,上述插座检测方法还包括:
获取已训练的定位检测模型和第二训练样本集;第二训练样本集包括多个第二训练初始插座图像以及各第二训练初始插座图像中插座的标注缺陷检测结果;
将第二训练样本集中的各第二训练初始插座图像输入至已训练的定位检测模型中进行定位检测,得到各第二训练初始插座图像的位置信息;
根据各第二训练初始插座图像的位置信息,对各第二训练初始插座图像进行区域提取,得到各第二训练初始插座图像中插座的目标插座图像;
将各第二训练初始插座图像中插座的目标插座图像输入至初始缺陷检测模型中进行缺陷检测,得到各第二训练初始插座图像中插座的预测缺陷检测结果;
根据各第二训练初始插座图像中插座的预测缺陷检测结果和标注缺陷检测结果,确定第二损失;
根据第二损失,对初始缺陷检测模型进行训练,得到已训练的缺陷检测模型。
在一个实施例中,在将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果的步骤之后,上述插座检测方法还包括:
响应于对缺陷检测结果的校正指令,确定校正指令对应的校正目标插座图像以及校正目标插座图像对应的插座的校正缺陷检测结果;
获取对校正目标插座图像进行缺陷检测的已训练的目标缺陷检测模型以及校正目标插座图像对应的插座的预测缺陷检测结果;
根据校正目标插座图像对应的插座的预测缺陷检测结果和校正缺陷检测结果,确定第三损失;
根据第三损失,对已训练的目标缺陷检测模型进行增量训练,得到增量训练后的目标缺陷检测模型。
第二方面,在一个实施例中,本发明提供一种插座检测装置,包括:
图像获取模块,用于获取待检测的初始插座图像;
定位检测模块,用于将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息;已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
图像提取模块,用于根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
缺陷检测模块,用于将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果;缺陷检测结果表征所述插座是否存在缺陷。
第三方面,在一个实施例中,本发明提供一种计算机设备,包括存储器和处理器;存储器存储有计算机程序,处理器用于运行存储器内的计算机程序,以执行上述任一种实施例中的插座检测方法中的步骤。
第四方面,在一个实施例中,本发明提供一种存储介质,存储介质存储有计算机程序,计算机程序被处理器进行加载,以执行上述任一种实施例中的插座检测方法中的步骤。
通过上述插座检测方法、装置、计算机设备及存储介质,先使用已训练的定位检测模型对待检测的初始插座图像进行定位检测,得到初始插座图像中插座的位置信息,接着可根据位置信息对初始插座图像按照插座的区域进行区域提取,得到贴合插座的目标插座图像,最终使用已训练的缺陷检测模型对目标插座图像进行缺陷检测,进而得到缺陷检测结果,使用机器学习算法,能够识别到传统算法无法识别的变量,实现了自动检测的目的,降低了人力成本,提高了检测效率;此外,采用多种参数策略训练得到对应的中间定位检测模型,并基于性能最优的目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,提高了训练完整性、训练效果和模型性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中插座检测方法的应用场景示意图;
图2为本发明一个实施例中插座检测方法的流程示意图;
图3至图5分别为本发明一个实施例中不同类型的86型插座在进行定位检测时输出的位置信息的示意图;
图6为本发明一个实施例中插座检测装置的结构示意图;
图7为本发明一个实施例中计算机设备的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本发明实施例中的插座检测方法应用于插座检测装置,插座检测装置设置于计算机设备;计算机设备可以是终端,例如,手机或平板电脑,计算机设备还可以是一台服务器,或者多台服务器组成的服务集群。
如图1所示,图1为本发明实施例插座检测方法的应用场景示意图,本发明实施例中插座检测方法的应用场景中包括计算机设备100(计算机设备100中集成有插座检测装置),计算机设备100中运行插座检测方法对应的计算机可读存储介质,以执行插座检测方法的步骤。
可以理解的是,图1所示插座检测方法的应用场景中的计算机设备,或者计算机设备中包含的装置并不构成对本发明实施例的限制,即,插座检测方法的应用场景中包含的设备数量、设备种类,或者各个设备中包含的装置数量、装置种类不影响本发明实施例中技术方案整体实现,均可以算作本发明实施例要求保护技术方案的等效替换或衍生。
本发明实施例中计算机设备100可以是独立的设备,也可以是设备组成的设备网络或设备集群,例如,本发明实施例中所描述的计算机设备100,其包括但不限于电脑、网络主机、单个网络设备、多个网络设备集或多个设备构成的云设备。其中,云设备由基于云计算(Cloud Computing)的大量电脑或网络设备构成。
本领域技术人员可以理解,图1中示出的应用场景,仅仅是与本发明的技术方案对应的一种应用场景,并不构成对本发明的技术方案的应用场景的限定,其他的应用场景还可以包括比图1中所示更多或更少的计算机设备,或者计算机设备网络连接关系,例如图1中仅示出1个计算机设备,可以理解的,该插座检测方法的场景还可以包括一个或多个其他计算机设备,具体此处不作限定;该计算机设备100中还可以包括存储器,用于存储插座检测方法相关的信息。
此外,本发明实施例中的插座检测方法的应用场景中计算机设备100可以设置显示装置,或者计算机设备100中不设置显示装置并与外接的显示装置200通讯连接,显示装置200用于输出计算机设备中插座检测方法执行的结果。计算机设备100可以访问后台数据库300(后台数据库300可以是计算机设备100的本地存储器,后台数据库300还可以设置在云端),后台数据库300中保存有插座检测方法相关的信息。
需要说明的是,图1所示的插座检测方法的应用场景仅仅是一个示例,本发明实施例描述的插座检测方法的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定。
基于上述插座检测方法的应用场景,提出了插座检测方法的实施例。
第一方面,如图2所示,在一个实施例中,本发明提供一种插座检测方法,包括:
步骤201,获取待检测的初始插座图像;
其中,初始插座图像是通过摄像头对待检测插座的内部结构进行扫描得到;
步骤202,将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息以及类型信息;
其中,已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
其中,初始插座图像中插座的位置信息是指插座对应的插座区域在初始插座图像中的分布情况,通常表现为顶点坐标的形式,比如检测得到的位置信息为能够覆盖插座对应的插座区域的矩形框的四个顶点坐标;如图3、图4和图5所示,通过已训练的定位检测模型进行定位检测后,即可输出图中白色矩形框的四个顶点的坐标,即图中白点的坐标,四个顶点的坐标确定到的区域即为插座对应的插座区域;
其中,初始插座图像中插座的类型信息是指插座的具体类型,比如以86型插座为例,就包括图3至图5三种具体类型,不同类型的插座对应同一种缺陷时,呈现出的外形或表面结构不同,因此通过确定类型信息,能够在后续使用对应类型信息的缺陷检测模型来进行检测,实现对应类型信息的精准检测;
其中,已训练的定位检测模型已经学习到如何检测插座的位置信息以及类型信息,因此将初始插座图像输入至已训练的定位检测模型中,即可得到已训练的定位检测模型输出的初始插座图像中插座的位置信息以及类型信息;
步骤203,根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
其中,上述步骤已经提到,定位检测模型输出的位置信息为对应初始插座图像中插座区域的坐标,该坐标是为了通过区域提取,得到插座的目标插座图像,即去除了初始插座图像中插座区域以外的留白部分,进而提高后续缺陷检测的精度;比如以上述步骤中举例的矩形框的顶点坐标为例,根据四个顶点坐标,确定对应的矩形框区域,提取该矩形框区域的像素信息,得到该矩形框区域中插座对应的目标插座图像;
其中,由于提取到的目标插座图像可直接根据对应插座的类型信息输入对应的缺陷检测模型中进行缺陷检测,因此得到的目标插座图像无需进行保存,可直接提取为数组的形式;
步骤204,将目标插座图像输入至与插座的类型信息对应匹配的已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果;
其中,缺陷检测结果表征插座是否存在缺陷;
其中,预设配置有多个已训练的缺陷检测模型,分别对应不同类型的插座,比如分别对应图3至图5中的三种86型插座,在得到插座的目标插座图像后,按照插座的类型信息进行输入,比如某个目标插座图像对应的插座的类型信息为图3所示的类型,则将该目标插座图像输入至对应该类型的缺陷检测模型中,同理的,某个目标插座图像对应的插座的类型信息为图4所示的类型,则将该目标插座图像输入至对应该类型的缺陷检测模型中;
其中,每个已训练的缺陷检测模型都已经学习到对应类型的插座的各种缺陷情形,比如铜件漏装、铜件错装、铜件装配不到位、铜件发生弯曲等,当检测到输入的目标插座图像中存在这些情况时,则输出插座存在缺陷的检测结果,反之则输出插座不存在缺陷的检测结果。
通过上述插座检测方法,先使用已训练的定位检测模型对待检测的初始插座图像进行定位检测,得到初始插座图像中插座的位置信息,接着可根据位置信息对初始插座图像按照插座的区域进行区域提取,得到贴合插座的目标插座图像,最终使用已训练的缺陷检测模型对目标插座图像进行缺陷检测,进而得到缺陷检测结果,使用机器学习算法,能够识别到传统算法无法识别的变量,实现了自动检测的目的,降低了人力成本,提高了检测效率,并且分别使用定位检测模型和对应类型信息的缺陷检测模型来对插座图像进行定位检测和缺陷检测,实现了对应类型的精准检测,提高了检测精度;此外,采用多种参数策略训练得到对应的中间定位检测模型,并基于性能最优的目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,提高了训练完整性、训练效果和模型性能。
在一个实施例中,根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像,包括:
对插座的位置信息进行区域扩增处理,得到插座的扩增位置信息;
其中,上述实施例已经提到,定位检测模型输出的位置信息为矩形框的顶点坐标,但在实际过程中,顶点坐标构成的矩形框通常会非常贴近于插座区域,若直接基于该位置信息进行图像提取,容易丢失插座的边缘特征,从而影响后续缺陷检测的精度;因此,在本实施例中,在得到位置信息后,可对其进行区域扩增处理,比如以矩形框为例,可将矩形框的最短边的十分之一长度作为目标长度,将该矩形框四周分别向外扩增目标长度,从而得到扩增矩形框,扩增矩形框的顶点坐标即为扩增位置信息;
根据插座的扩增位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
其中,由于扩增位置信息对应的扩增矩形框能够完整的包含插座区域,因此基于扩增位置信息对初始插座图像进行区域提取,不会丢失插座的边缘特征,从而保障后续缺陷检测的精度。
在一个实施例中,在将初始插座图像输入至已训练的定位检测模型中进行定位检测的步骤之前,上述插座检测方法还包括:
获取第一训练样本集;第一训练样本集包括多个第一训练初始插座图像以及各第一训练初始插座图像中插座的标注位置信息以及标注类型信息;
其中,标注位置信息和标注类型信息为标注员人工处理得到,即该训练方式为有监督训练,当然在其他实施例中,也可以采用无监督训练;
其中,标注员可通过标注工具Labelimg用绘制矩形框的方式来得到对应的标注位置信息,并对每个矩形框对应的插座进行分类,从而得到对应的标注类型信息;
其中,定位检测模型的网络架构可采用高性能的轻量级检测模型PP-PicoDet,PP-PicoDet可包括以下几个组成部分:
Backbone:主要用于进行特征提取,采用ESNet(Enhanced ShuffleNetv2)作为骨干网络,其在ShuffleNetv2网络的基础上加入了SE模块和Ghost模块,同时使用了Depthwise Convolution(深度可分离卷积)来提高推理速度,减少计算量,解决了Shufflenetv2中channel shuffle带来的融合特征丢失的问题;
Neck:是目标检测框架中承上启下的关键环节;Neck在目标检测网络主要是把Backbone提取的特征进行融合,提高检测头对不同大小目标的检测定位和分类能力;PP-PicoDet算法中的Neck采用CSP-PAN结构,并使用1x1卷积统一各分支输入通道数,可以保证在精度几乎不变的前提下减小计算量;
Head:主要用于根据Neck融合后的特征,从这些特征中预测目标的位置;使用了5*5深度可分离卷积,能够在增加较少的参数量的情况下提升检测器的感受野并提升性能,保持头部的通道数与颈部模块一致,并耦合分类和回归分支;
将第一训练样本集中的各第一训练初始插座图像输入至初始定位检测模型中进行定位检测,得到各第一训练初始插座图像中插座的预测位置信息以及预测类型信息;
根据各第一训练初始插座图像中插座的预测位置信息和标注位置信息,确定第一损失;
其中,在训练过程中,主要是将第一训练初始插座图像作为输入,将输出的预测位置信息作为实际输出,将标注位置信息作为期望输出,从而根据实际输出和期望输出确定第一损失;
其中,在确定第一损失时,可采用PP-PicoDet中传统的损失函数,即根据Varifocal损失函数,确定预测位置信息和标注位置信息之间的第一置信度损失,以及根据GIoU损失函数,确定预测位置信息和标注位置信息之间的位置损失,然后根据第一置信度损失和位置损失,得到第一损失;
根据各第一训练初始插座图像中插座的预测类型信息和标注类型信息,确定第二损失;
其中,同理的,在训练过程中,主要是将第一训练初始插座图像作为输入,将输出的预测类型信息作为实际输出,将标注类型信息作为期望输出,从而根据实际输出和期望输出确定第二损失;
其中,在确定第二损失时,也可以采用Varifocal损失函数以及GIoU损失函数分别确定预测类型信息和标注类型信息之间的第二置信度损失和类型损失,然后根据第二置信度损失和类型损失,得到第二损失;
根据第一损失和第二损失,对初始定位检测模型进行训练,得到已训练的定位检测模型;
其中,根据第一损失和第二损失,确定是否满足预设收敛条件,若是则得到已训练的定位检测模型,若否则根据第一损失和第二损失调整初始定位检测模型的权重参数,然后获取下一个第一训练样本集,继续进行训练,直至得到的第一损失和第二损失满足预设收敛条件;
其中,得到的已训练的定位检测模型对应类型损失的第二置信度需要具有较高的阈值,避免后续处理过程中,将不属于上述类型信息(即图3至图5所示的三种86型)的插座的目标插座图像输入至对应类型信息的缺陷检测模型中;
其中,上述步骤中的置信度是指位置信息或类型信息中实际值与期望值之间的接近程度,置信度越高,表明越接近。
在一个实施例中,在将初始插座图像输入至已训练的定位检测模型中进行定位检测的步骤之前,上述插座检测方法还包括:
获取第一训练样本集;第一训练样本集包括多个第一训练初始插座图像以及各第一训练初始插座图像中插座的标注位置信息以及标注类型信息;
从初始定位检测模型中配置的多个参数策略中确定初始定位检测模型的当前参数策略;参数策略包括单次处理数据量、损失函数类型;
将第一训练样本集中的各第一训练初始插座图像输入至初始定位检测模型中进行定位检测,得到各第一训练初始插座图像中插座的预测位置信息以及预测类型信息;
根据各第一训练初始插座图像中插座的预测位置信息和标注位置信息,确定第一损失;
根据各第一训练初始插座图像中插座的预测类型信息和标注类型信息,确定第二损失;
根据第一损失和第二损失,对初始定位检测模型进行训练,得到当前参数策略对应的中间定位检测模型;
其中,训练得到中间定位检测模型的结束条件可以是训练次数,比如训练次数达到预设阈值时,则认为得到对应的中间定位检测模型。
从初始定位检测模型中配置的多个参数策略中确定初始定位检测模型的新的当前参数策略,直至得到各参数策略对应中间定位检测模型;
其中,本实施例采用超参数的方式,实现初始定位检测模型的参数策略的切换,无需单独构建对应不同参数策略的多个初始定位检测模型;
确定各中间定位检测模型的评价指标;
根据各中间定位检测模型的评价指标,确定目标中间定位检测模型;
其中,评价指标包括损失、准确率和召回率;根据各中间定位检测模型的损失、准确率和召回率,确定各中间定位检测模型的模型性能;将模型性能最优的中间定位检测模型确定为目标中间定位检测模型;
其中,确定模型性能时,可分别将损失、准确率和召回率作为可量化的分值,然后根据预设的分值权重对损失、准确率和召回率进行加权,得到目标分值,目标分值最高对应的模型性能最优;
根据第一训练样本集,对目标中间定位检测模型继续进行训练,得到已训练的定位检测模型;
其中,在对目标中间定位检测模型继续进行训练时,结束条件为损失满足预设收敛条件,具体细节可参考上述实施例,在此不再赘述;
其中,通常模型只会配置一种参数策略,然后基于该参数策略进行训练,得到已训练的模型,已训练的模型即包括该参数策略以及在训练过程中对该参数策略的多次调整,但不同参数策略在训练过程中得到的损失、准确率和召回率等结果具有差异,若只考虑一种参数策略,则无法得知训练得到的模型的性能是否为最优;因此,在本实施例中,可预先在初始定位检测模型中配置多种参数策略,在训练时,分别使用每个参数策略进行训练,得到对应的中间定位检测模型,最终进行对比,将性能最优的中间定位检测模型确定为目标中间定位检测模型,然后基于该目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,提高了训练的完整性,提高了训练得到的定位检测模型的性能。
在一个实施例中,获取第一训练样本集,包括:
获取第一初始训练样本集;
对第一初始训练样本集进行数据增强,得到第一训练样本集;数据增强包括图像翻转、图像镜像和图像拼接中的至少一种;
其中,数据增强可提高样本数量以及样本质量,具体的在对定位检测模型进行训练时,将获取到的第一初始训练样本集中的第一训练初始插座图像通过Mosaic或MixUp进行数据增强,Mosaic增强的方式是引入的一种非常有效的增强策略,通过随机缩放、随机裁剪、随机排布的方式进行拼接,提升小目标的检测效果;MixUp则是在Mosaic基础上,增加的一种额外的增强策略,应用在图像分类任务中,可以在几乎无额外计算开销的情况下,稳定提升1个百分点的分类精度。
在一个实施例中,在将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测的步骤之前,上述插座检测方法还包括:
获取已训练的定位检测模型和第二训练样本集;第二训练样本集包括多个第二训练初始插座图像以及各第二训练初始插座图像中插座的标注缺陷检测结果;
将第二训练样本集中的各第二训练初始插座图像输入至已训练的定位检测模型中进行定位检测,得到各第二训练初始插座图像的位置信息以及类型信息;
根据各第二训练初始插座图像的位置信息,对各第二训练初始插座图像进行区域提取,得到各第二训练初始插座图像中插座的目标插座图像;
其中,缺陷检测模型的输入为目标插座图像,输出为缺陷检测结果,在其他实施例中,可通过标注员来得到对应的目标插座图像和对应的标注缺陷检测结果,但该方式会额外花费较多的人力成本;因此,在本实施例中,可利用已训练的定位检测模型和后续的图像提取程序,来得到对应的目标插座图像,因此第二训练集中只需包括多个第二训练初始插座图像以及各第二训练初始插座图像中插座的标注缺陷检测结果即可;
其中,对于定位检测模型,判断其是否以达到本实施例中的“已训练”的标准,可通过定位检测模型的实际输出的MAP(mean Average Precision,全类平均正确率;是十分重要的衡量指标,用于衡量目标检测算法的性能)进行判断;具体的,当MAP>97%时,可认为定位检测模型达到了本实施例中的“已训练”;
其中,第二训练样本集和上述实施例中的第一训练样本集可以基于同一个训练样本集得到,即目标训练样本集,在目标训练样本集中,包括多个训练初始插座图像以及各训练初始插座图像中插座的标注位置信息、标注类型信息和标注缺陷检测结果,从而在对定位检测模型进行训练时,将目标训练样本集中的多个训练初始插座图像以及各训练初始插座图像中插座的标注位置信息、标注类型信息确定为第一训练样本集,在对缺陷检测模型进行训练时,将目标训练样本集中的多个训练初始插座图像以及各训练初始插座图像中插座的标注缺陷检测结果确定为第二训练样本集;
其中,缺陷检测模型的网络架构可采用高性能轻量化网络MobileNetv3网络,该网络采用深度可分离卷积、Inverted Residuals和Linear Bottleneck、SE模块,利用NAS(神经结构搜索)来搜索网络的配置和参数;
将各第二训练初始插座图像中插座的目标插座图像输入至与各第二训练初始插座图像中插座的类型信息对应匹配的初始缺陷检测模型中进行缺陷检测,得到各第二训练初始插座图像中插座的预测缺陷检测结果;
根据各第二训练初始插座图像中插座的预测缺陷检测结果和标注缺陷检测结果,确定第三损失;
其中,缺陷检测模型的具体训练过程可参照上述定位检测模型,在此不再赘述。
在一个实施例中,缺陷检测模型也可以配置多个参数策略,从而进行更加完整的训练,以提高训练效果,和模型性能,具体细节可参照上述定位检测模型的相关内容,在此不再赘述。
在一个实施例中,在完成定位检测模型和缺陷检测模型的训练之后,可对定位检测模型和缺陷检测模型进行验证和测试,训练所需要的训练样本集、验证所需要的验证样本集以及测试所需要的测试样本集的样本数量占比可为7:2:1。
在一个实施例中,在完成定位检测模型和缺陷检测模型的训练之后,还需要对定位检测模型和缺陷检测模型进行部署,使其具备实际的数据处理能力,具体的,可采用NCNN框架进行部署;
其中,在部署时,需要对模型进行格式转换;首先,将得到的定位检测模型和缺陷检测模型转换为ONNX格式,再从ONNX格式转换为NCNN框架需要的格式,包括bin格式和param格式。
在一个实施例中,在将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果的步骤之后,上述插座检测方法还包括:
响应于对缺陷检测结果的校正指令,确定校正指令对应的校正目标插座图像以及校正目标插座图像对应的插座的校正缺陷检测结果;
其中,校正指令是由对应的校正人员输入,校正人员可查看缺陷检测模型输出的缺陷检测结果,当被检测的目标插座图像对应的插座存在一种比较少见的缺陷形式时,在训练阶段未被训练到,从而导致缺陷检测模型无法检测出该缺陷形式,进而输出不存在缺陷的缺陷检测结果,校正人员可确定本次检测出现异常,可输入校正指令,可确定到缺陷检测结果出现异常的校正目标插座图像图像,并将目标插座的缺陷检测结果修改为存在缺陷,即为校正缺陷检测结果;若得到的目标插座图像都为数组的形式直接输入到缺陷检测模型中,未进行保存,则校正人员无法获取到目标插座图像,因此基于该情况,在接收到校正指令时,调用另一套处理流程,该处理流程同样包括已训练的定位检测模型和缺陷检测模型,以及图像提取程序,区别在于,图像提取程序根据位置信息得到的目标插座图像的数据格式为图片格式,并非数组格式,从而校正人员可在对应文件夹中找到出现异常的校正目标插座图像;
获取对校正目标插座图像进行缺陷检测的已训练的目标缺陷检测模型以及校正目标插座图像对应的插座的预测缺陷检测结果;
其中,确定到校正目标插座图像后,即可获取到之前检测或重新检测得到的预测缺陷检测结果;
根据校正目标插座图像对应的插座的预测缺陷检测结果和校正缺陷检测结果,确定第四损失;
根据第四损失,对已训练的目标缺陷检测模型进行增量训练,得到增量训练后的目标缺陷检测模型;
其中,增量训练同上述前置训练过程相似,具体过程可参照前置训练,在此不再赘述;
其中,需要注意的是,若实际运行的处理流程中目标插座图像为数组形式,而增量训练的处理流程中目标插座图像为图片格式,则增量训练的处理流程中的缺陷检测模型完成增量训练后的模型参数需要同步到实际运行的处理流程中缺陷检测模型。
第二方面,如图6所示,在一个实施例中,本发明提供一种插座检测装置,包括:
图像获取模块301,用于获取待检测的初始插座图像;
定位检测模块302,用于将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息;已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
图像提取模块303,用于根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
缺陷检测模块304,用于将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果;缺陷检测结果表征所述插座是否存在缺陷。
通过上述插座检测装置,先使用已训练的定位检测模型对待检测的初始插座图像进行定位检测,得到初始插座图像中插座的位置信息,接着可根据位置信息对初始插座图像按照插座的区域进行区域提取,得到贴合插座的目标插座图像,最终使用已训练的缺陷检测模型对目标插座图像进行缺陷检测,进而得到缺陷检测结果,使用机器学习算法,能够识别到传统算法无法识别的变量,实现了自动检测的目的,降低了人力成本,提高了检测效率;此外,采用多种参数策略训练得到对应的中间定位检测模型,并基于性能最优的目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,提高了训练完整性、训练效果和模型性能。
在一个实施例中,上述插座检测装置还包括定位训练模块,用于在将初始插座图像输入至已训练的定位检测模型中进行定位检测的步骤之前获取第一训练样本集;根据第一训练样本集以及预先配置的多个参数策略,对初始定位检测模型进行训练,得到多个中间定位检测模型;每个中间定位检测模型各自对应一个参数策略;参数策略包括单次处理数据量、损失函数类型;确定各中间定位检测模型的评价指标;根据各中间定位检测模型的评价指标,确定目标中间定位检测模型;根据第一训练样本集,对目标中间定位检测模型继续进行训练,得到已训练的定位检测模型。
在一个实施例中,定位训练模块具体用于根据第一训练样本集,对每个参数策略对应的初始定位检测模型进行训练;针对各参数策略,获取该参数策略对应的初始定位检测模型的训练次数,在训练次数达到预设阈值时,得到该参数策略对应的中间定位检测模型。
在一个实施例中,评价指标包括损失、准确率和召回率;定位训练模块具体用于根据各中间定位检测模型的损失、准确率和召回率,确定各中间定位检测模型的模型性能;将模型性能最优的中间定位检测模型确定为目标中间定位检测模型。
在一个实施例中,第一训练样本集包括多个第一训练初始插座图像以及各第一训练初始插座图像中插座的标注位置信息;定位训练模块具体用于将第一训练样本集中的各第一训练初始插座图像输入至目标中间定位检测模型中进行定位检测,得到各第一训练初始插座图像中插座的预测位置信息;根据各第一训练初始插座图像中插座的预测位置信息和标注位置信息,确定第一损失;若第一损失满足预设收敛条件,则得到已训练的定位检测模型。
在一个实施例中,上述插座检测装置还包括:
缺陷训练模块,用于在将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测的步骤之前,获取已训练的定位检测模型和第二训练样本集;第二训练样本集包括多个第二训练初始插座图像以及各第二训练初始插座图像中插座的标注缺陷检测结果;将第二训练样本集中的各第二训练初始插座图像输入至已训练的定位检测模型中进行定位检测,得到各第二训练初始插座图像的位置信息;根据各第二训练初始插座图像的位置信息,对各第二训练初始插座图像进行区域提取,得到各第二训练初始插座图像中插座的目标插座图像;将各第二训练初始插座图像中插座的目标插座图像输入至初始缺陷检测模型中进行缺陷检测,得到各第二训练初始插座图像中插座的预测缺陷检测结果;根据各第二训练初始插座图像中插座的预测缺陷检测结果和标注缺陷检测结果,确定第二损失;
根据第二损失,对初始缺陷检测模型进行训练,得到已训练的缺陷检测模型。
在一个实施例中,上述插座检测装置还包括:
增量训练模块,用于在将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果的步骤之后,响应于对缺陷检测结果的校正指令,确定校正指令对应的校正目标插座图像以及校正目标插座图像对应的插座的校正缺陷检测结果;获取对校正目标插座图像进行缺陷检测的已训练的目标缺陷检测模型以及校正目标插座图像对应的插座的预测缺陷检测结果;根据校正目标插座图像对应的插座的预测缺陷检测结果和校正缺陷检测结果,确定第三损失;根据第三损失,对已训练的目标缺陷检测模型进行增量训练,得到增量训练后的目标缺陷检测模型。
第三方面,在一个实施例中,本发明提供一种计算机设备,如图7所示,其示出了本发明所涉及的计算机设备的结构,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图7中示出的计算机设备的结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和计算机程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,以执行如下步骤:
获取待检测的初始插座图像;
将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息;已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果;缺陷检测结果表征插座是否存在缺陷。
通过上述计算机设备,先使用已训练的定位检测模型对待检测的初始插座图像进行定位检测,得到初始插座图像中插座的位置信息,接着可根据位置信息对初始插座图像按照插座的区域进行区域提取,得到贴合插座的目标插座图像,最终使用已训练的缺陷检测模型对目标插座图像进行缺陷检测,进而得到缺陷检测结果,使用机器学习算法,能够识别到传统算法无法识别的变量,实现了自动检测的目的,降低了人力成本,提高了检测效率;此外,采用多种参数策略训练得到对应的中间定位检测模型,并基于性能最优的目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,提高了训练完整性、训练效果和模型性能。
本领域普通技术人员可以理解,上述实施例的任一种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
第四方面,在一个实施例中,本发明提供一种存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行如下步骤:
获取待检测的初始插座图像;
将初始插座图像输入至已训练的定位检测模型中进行定位检测,得到初始插座图像中插座的位置信息;已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
根据插座的位置信息,对初始插座图像进行区域提取,得到插座的目标插座图像;
将目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到插座的缺陷检测结果;缺陷检测结果表征插座是否存在缺陷。
通过上述存储介质,先使用已训练的定位检测模型对待检测的初始插座图像进行定位检测,得到初始插座图像中插座的位置信息,接着可根据位置信息对初始插座图像按照插座的区域进行区域提取,得到贴合插座的目标插座图像,最终使用已训练的缺陷检测模型对目标插座图像进行缺陷检测,进而得到缺陷检测结果,使用机器学习算法,能够识别到传统算法无法识别的变量,实现了自动检测的目的,降低了人力成本,提高了检测效率;此外,采用多种参数策略训练得到对应的中间定位检测模型,并基于性能最优的目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,提高了训练完整性、训练效果和模型性能。
本领域普通技术人员可以理解,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)、直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
由于该存储介质中所存储的计算机程序,可以执行本发明所提供的任一种实施例中的插座检测方法中的步骤,因此,可以实现本发明所提供的任一种实施例中的插座检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
以上对本发明所提供的一种插座检测方法、装置、计算机设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
Claims (10)
1.一种插座检测方法,其特征在于,包括:
获取待检测的初始插座图像;
将所述初始插座图像输入至已训练的定位检测模型中进行定位检测,得到所述初始插座图像中插座的位置信息;所述已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
根据所述插座的位置信息,对所述初始插座图像进行区域提取,得到所述插座的目标插座图像;
将所述目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到所述插座的缺陷检测结果;所述缺陷检测结果表征所述插座是否存在缺陷。
2.根据权利要求1所述的插座检测方法,其特征在于,在所述将所述初始插座图像输入至已训练的定位检测模型中进行定位检测的步骤之前,还包括:
获取第一训练样本集;根据所述第一训练样本集以及预先配置的多个参数策略,对初始定位检测模型进行训练,得到多个中间定位检测模型;每个所述中间定位检测模型各自对应一个参数策略;所述参数策略包括单次处理数据量、损失函数类型;
确定各所述中间定位检测模型的评价指标;
根据各所述中间定位检测模型的评价指标,确定目标中间定位检测模型;
根据所述第一训练样本集,对所述目标中间定位检测模型继续进行训练,得到已训练的定位检测模型。
3.根据权利要求2所述的插座检测方法,其特征在于,所述根据所述第一训练样本集以及预先配置的多个参数策略,对初始定位检测模型进行训练,得到多个中间定位检测模型,包括:
根据所述第一训练样本集,对每个所述参数策略对应的初始定位检测模型进行训练;
针对各所述参数策略,获取该参数策略对应的初始定位检测模型的训练次数,在所述训练次数达到预设阈值时,得到该参数策略对应的中间定位检测模型。
4.根据权利要求2所述的插座检测方法,其特征在于,所述评价指标包括损失、准确率和召回率;所述根据各所述中间定位检测模型的评价指标,确定目标中间定位检测模型,包括:
根据各所述中间定位检测模型的损失、准确率和召回率,确定各所述中间定位检测模型的模型性能;
将模型性能最优的中间定位检测模型确定为所述目标中间定位检测模型。
5.根据权利要求2所述的插座检测方法,其特征在于,所述第一训练样本集包括多个第一训练初始插座图像以及各所述第一训练初始插座图像中插座的标注位置信息;所述根据所述第一训练样本集,对所述目标中间定位检测模型继续进行训练,得到已训练的定位检测模型,包括:
将所述第一训练样本集中的各所述第一训练初始插座图像输入至所述目标中间定位检测模型中进行定位检测,得到各所述第一训练初始插座图像中插座的预测位置信息;
根据各所述第一训练初始插座图像中插座的预测位置信息和标注位置信息,确定第一损失;
若所述第一损失满足预设收敛条件,则得到已训练的定位检测模型。
6.根据权利要求1所述的插座检测方法,其特征在于,在所述将所述目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测的步骤之前,还包括:
获取已训练的定位检测模型和第二训练样本集;所述第二训练样本集包括多个第二训练初始插座图像以及各所述第二训练初始插座图像中插座的标注缺陷检测结果;
将所述第二训练样本集中的各所述第二训练初始插座图像输入至已训练的定位检测模型中进行定位检测,得到各所述第二训练初始插座图像的位置信息;
根据各所述第二训练初始插座图像的位置信息,对各所述第二训练初始插座图像进行区域提取,得到各所述第二训练初始插座图像中插座的目标插座图像;
将各所述第二训练初始插座图像中插座的目标插座图像输入至初始缺陷检测模型中进行缺陷检测,得到各所述第二训练初始插座图像中插座的预测缺陷检测结果;
根据各所述第二训练初始插座图像中插座的预测缺陷检测结果和标注缺陷检测结果,确定第二损失;
根据所述第二损失,对所述初始缺陷检测模型进行训练,得到已训练的缺陷检测模型。
7.根据权利要求1所述的插座检测方法,其特征在于,在所述将所述目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到所述插座的缺陷检测结果的步骤之后,还包括:
响应于对所述缺陷检测结果的校正指令,确定所述校正指令对应的校正目标插座图像以及所述校正目标插座图像对应的插座的校正缺陷检测结果;
获取对所述校正目标插座图像进行缺陷检测的已训练的目标缺陷检测模型以及所述校正目标插座图像对应的插座的预测缺陷检测结果;
根据所述校正目标插座图像对应的插座的预测缺陷检测结果和校正缺陷检测结果,确定第三损失;
根据所述第三损失,对已训练的目标缺陷检测模型进行增量训练,得到增量训练后的目标缺陷检测模型。
8.一种插座检测装置,其特征在于,包括:
图像获取模块,用于获取待检测的初始插座图像;
定位检测模块,用于将所述初始插座图像输入至已训练的定位检测模型中进行定位检测,得到所述初始插座图像中插座的位置信息;所述已训练的定位检测模型通过基于预先配置的多个参数策略分别训练得到的中间定位检测模型中的目标中间定位检测模型进行继续训练得到;
图像提取模块,用于根据所述插座的位置信息,对所述初始插座图像进行区域提取,得到所述插座的目标插座图像;
缺陷检测模块,用于将所述目标插座图像输入至已训练的缺陷检测模型中进行缺陷检测,得到所述插座的缺陷检测结果;所述缺陷检测结果表征所述插座是否存在缺陷。
9.一种计算机设备,其特征在于,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的所述计算机程序,以执行权利要求1至7任一项所述的插座检测方法中的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的插座检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211667241.2A CN116188374A (zh) | 2022-12-23 | 2022-12-23 | 插座检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211667241.2A CN116188374A (zh) | 2022-12-23 | 2022-12-23 | 插座检测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116188374A true CN116188374A (zh) | 2023-05-30 |
Family
ID=86448000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211667241.2A Pending CN116188374A (zh) | 2022-12-23 | 2022-12-23 | 插座检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116188374A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116756535A (zh) * | 2023-08-17 | 2023-09-15 | 深圳市则成电子股份有限公司 | Fpc的缺陷检测方法、装置以及检测设备 |
-
2022
- 2022-12-23 CN CN202211667241.2A patent/CN116188374A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116756535A (zh) * | 2023-08-17 | 2023-09-15 | 深圳市则成电子股份有限公司 | Fpc的缺陷检测方法、装置以及检测设备 |
CN116756535B (zh) * | 2023-08-17 | 2023-11-24 | 深圳市则成电子股份有限公司 | Fpc的缺陷检测方法、装置以及检测设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102229594B1 (ko) | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 | |
US11380232B2 (en) | Display screen quality detection method, apparatus, electronic device and storage medium | |
CN115937170A (zh) | 电路板检测方法、装置、计算机设备及存储介质 | |
CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
CN111475384B (zh) | 壳体温度的计算方法、装置、存储介质及电子设备 | |
CN116188374A (zh) | 插座检测方法、装置、计算机设备及存储介质 | |
CN115984543A (zh) | 一种基于红外与可见光图像的目标检测算法 | |
CN113077416A (zh) | 一种基于图像处理的焊点焊接缺陷检测方法与系统 | |
CN105102607A (zh) | 图像处理装置、程序、存储介质和图像处理方法 | |
CN113570007A (zh) | 零件缺陷识别模型构建优化方法、装置、设备及存储介质 | |
CN112004063B (zh) | 一种基于多相机联动的卸油油管连接正确性的监控方法 | |
CN112434600A (zh) | 一种无人机巡检方法及系统 | |
CN115620083B (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN112668365A (zh) | 一种物料入库识别方法、装置、设备及存储介质 | |
CN116977250A (zh) | 一种工业零件的缺陷检测方法、装置和计算机设备 | |
CN113538351A (zh) | 一种融合多参数电信号的外绝缘设备缺陷程度评估方法 | |
CN108052987B (zh) | 图像分类输出结果的检测方法 | |
CN112784781A (zh) | 基于差异感知元学习的伪造人脸检测方法和装置 | |
CN110322443A (zh) | 一种智能家电的质量检测方法及装置 | |
CN112396083A (zh) | 图像识别、模型训练与构建、检测方法、系统及设备 | |
CN117152444B (zh) | 一种面向锂电行业的设备数据采集方法及系统 | |
CN115393847B (zh) | 一种基质细胞功能状况的识别分析方法及装置 | |
CN113255743A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114742791A (zh) | 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 | |
CN117670820A (zh) | 一种塑料薄膜生产缺陷检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |