CN111127558B - 确定装配体检测角度的方法、装置、电子设备及存储介质 - Google Patents

确定装配体检测角度的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111127558B
CN111127558B CN201911329117.3A CN201911329117A CN111127558B CN 111127558 B CN111127558 B CN 111127558B CN 201911329117 A CN201911329117 A CN 201911329117A CN 111127558 B CN111127558 B CN 111127558B
Authority
CN
China
Prior art keywords
detection
target
images
training
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911329117.3A
Other languages
English (en)
Other versions
CN111127558A (zh
Inventor
孟凡武
黄志鹏
周世圆
潘勤学
郝娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911329117.3A priority Critical patent/CN111127558B/zh
Publication of CN111127558A publication Critical patent/CN111127558A/zh
Application granted granted Critical
Publication of CN111127558B publication Critical patent/CN111127558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种确定装配体检测角度的方法、装置、电子设备及存储介质,涉及检测领域,该方法应用于电子设备,包括:按照第一预设拍摄角度间隔获取装配体的多张检测图像;任意一张检测图像对应一个检测角度;将多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张目标图像具有所述装配体的部分子零件信息;将多张目标图像对应的检测角度确定为最优检测角度,与现有技术相比,本发明通过提前优化检测的最佳检测角度,根据得到最佳检测角度布局摄像机的拍摄角度并指导检测,能够提高提高检测的准确度,避免子零件漏检的现象。

Description

确定装配体检测角度的方法、装置、电子设备及存储介质
技术领域
本发明涉及检测技术领域,具体而言,涉及一种确定装配体检测角度的方法、装置、电子设备及存储介质。
背景技术
在制造业领域,装配体由多个零部件连接而成,由于存在焊接、装配工序的漏焊、漏装零件等问题,往往在整个产品完成后需要人工对产品进行目视检查,以防有漏焊、漏装情况发生。
随着机器视觉技术的成熟,采用机器视觉方法对产品进行自动检测,成为企业发展的需要。对装配体进行检测是否存在子零件缺失时,由于存在遮挡,需要从合适角度拍摄图像,才能保证检测的可靠性,当检测角度不合适时,会出现子零件漏检、检测精度不高的现象。
发明内容
有鉴于此,本发明的目的在于提供一种确定装配体检测角度的方法、装置、电子设备及存储介质,用于提高装配体的检测精度,避免出现子零件漏检的现象。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提出一种确定装配体检测角度的方法,包括:
按照第一预设拍摄角度间隔获取所述装配体的多张检测图像;任意一张所述检测图像对应一个检测角度;
将所述多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张所述目标图像具有所述装配体的部分子零件信息;
将所述多张目标图像对应的检测角度确定为最优检测角度。
可选地,在所述按照第一预设拍摄角度获取所述装配体的多张检测图像的步骤之前,所述方法还包括:按照第二预设拍摄角度间隔获取所述装配体的训练图像集;所述第二预设拍摄角度间隔大于所述第一预设拍摄角度间隔;所述训练图像集中的图像具有子零件标签;根据所述训练图像集获得所述训练后的目标检测模型。
可选地,所述训练图像集包括训练集和验证集;根据所述训练图像集获得所述训练后的目标检测模型的步骤,包括:根据所述训练集训练目标检测模型;根据所述验证集调整所述目标检测模型的超参数,以获得所述训练后的目标检测模型。
可选地,所述多张目标图像为M张,所述方法还包括:对所述M张目标图像进行特征提取;根据所述特征将所述M张目标图像进行聚类,以获取所述M张目标图像对应的N类目标图像集;其中,N小于或等于M;从任意一类所述目标图像集中分别选取一张目标图像,获取N张目标图像;所述N张目标图像距离所述N类目标图像集的类中心最近;将所述N张目标图像对应的检测角度确定为最优检测检测角度。
第二方面,本发明实施例提出一种确定装配体检测角度的装置,包括:获取模块和确定模块;所述获取模块,用于按照第一预设拍摄角度间隔获取所述装配体的多张检测图像;任意一张所述检测图像对应一个检测角度;所述获取模块,用于将所述多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张所述目标图像具有所述装配体的部分子零件信息;所述确定模块,用于将所述多张目标图像对应的检测角度确定为最优检测角度。
可选地,所述获取模块,还用于按照第二预设拍摄角度间隔获取所述装配体的训练图像集;所述第二预设拍摄角度间隔大于所述第一预设拍摄角度间隔;所述训练图像集中的图像具有子零件标签;所述获取模块,还用于根据所述训练图像集训练所述目标检测模型。
可选地,所述装置还包括训练模块;所述训练模块,用于根据所述训练集训练目标检测模型;用于根据所述验证集调整所述目标检测模型的超参数,以获得所述训练后的目标检测模型。
可选地,所述装置还包括特征提取模块和聚类模块;所述特征提取模块,用于对所述多张目标图像进行特征提取;所述多张目标图像为M张;所述聚类模块,还用于根据所述特征将所述M张目标图像进行聚类,以获取所述M张目标图像对应的N类目标图像集;其中,N小于或等于M;所述获取模块,还用于从任意一类所述目标图像集中分别选取一张目标图像,获取N张目标图像;所述N张目标图像距离所述N类目标图像集的类中心最近;所述确定模块,还用于将所述N张目标图像对应的检测角度确定为最优检测检测角度。
第三方面,本发明实施例提出一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现如第一方面所述的确定装配体检测角度的方法。
第四方面,本发明实施例提出一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的确定装配体检测角度的方法。
相对于现有技术而言,本发明提供一种确定装配体检测角度的方法、装置、电子设备及存储介质,涉及检测领域,该方法确定装配体检测角度的方法应用于电子设备,该方法包括:按照第一预设拍摄角度间隔获取装配体的多张检测图像;任意一张检测图像对应一个检测角度;将多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张目标图像具有所述装配体的部分子零件信息;将多张目标图像对应的检测角度确定为最优检测角度,通过机器学习的方法提前优化检测的最佳检测角度,根据得到最佳检测角度布局摄像机的拍摄角度并指导检测,不仅能够提高提高检测的准确度,还能避免子零件漏检的现象。
本发明实施例的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种确定装配体检测角度的方法的示意性流程图;
图2为本发明实施例提供的另一种确定装配体检测角度的方法的示意性流程图;
图3为本发明实施例提供的另一种确定装配体检测角度的方法的示意性流程图;
图4为本发明实施例提供的另一种确定装配体检测角度的方法的示意性流程图;
图5为本发明实施例提供的一种确定装配体检测角度装置的功能模块图;
图6为本发明实施例提供的另一种确定装配体检测角度装置的功能模块图;
图7为本发明实施例提供的另一种确定装配体检测角度装置的功能模块图;
图8为本发明实施例提供的一种电子设备的方框示意图。
图标:30-确定装配体检测角度装置;301-获取模块;302-确定模块;303-训练模块;305-特征提取模块;306-聚类模块;50-电子设备;51-存储器;52-处理器;53-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
目前,由于装配体可以多个零部件连接而成,所以存在焊接、装配工序的漏焊、漏装零件等问题,对装配体进行检测是否存在子零件缺失时,由于存在遮挡,需要从合适角度拍摄图像,才能保证检测的可靠性,如何选择合理的拍摄角度和设置合适的相机的拍摄角度以提高检测的准确度,避免出现子零件漏检的现象,是需要解决的问题。
针对上述问题,本发明实施例提供一种确定装配体检测角度的方法,其核心在于通过机器学习的方法提前获取最佳的检测角度,进而根据最佳的简称角度实现指导实物检测的效果,具体地,参见图1,图1示出了本发明实施例提供一种确定装配体检测角度的方法的示意性流程图,该方法包括的步骤如下:
步骤203、按照第一预设拍摄角度间隔获取装配体的多张检测图像。
可选地,任意一张检测图像对应一个检测角度,在本发明实施例中,装配体的多张检测图像可以是从该装配体的复杂零件及其子零件三维CAD模型获取得到,并按照第一预设拍摄角度间隔从三维CAD模型中获取二维渲染图像作为该装配体的多张检测图像,具体地,可以对每一个三维CAD模型的x,y,z方向按照第一预设拍摄角度间隔旋转得到一张渲染图像,其中,第一预设拍摄角度间隔可以为15度,也可以为其他值,视具体场景来取值,此处不作限定。
步骤204、将多张检测图像输入到训练后的目标检测模型,获取多张目标图像。
步骤205、将多张目标图像对应的检测角度确定为最优检测角度。
可选地,上述的多张目标图像中包含装配体的部分子零件信息,所有目标图像中的子零件信息之和为装配体的全部子零件信息,根据选取可以检测到部分子零件的图像即可获得最优检测角度,然后根据该最优检测角度布局相机的拍摄姿态,具体地,由于装配体的重心到相机光心的距离是固定的,所以获得最优的检测角度之后,可以根据最优的检测角度获取相机的拍摄姿态。
可以理解的是,获得最优的检测角度之后,可以根据最优检测角度指导实物检测,具体的,可以将根据最优检测角度检测的结果与先验知识进行对比,从而确定装配体是否存在子零件缺失,先验知识可以是该装配体包含的子零件个数、种类等信息。例如,在指导实物检测的过程,先验知识是装配体存在4个子零件,通过最优检测角度检测出3个子零件,则可以确定该实物可能存在漏焊或者漏装的情况。
本发明实施例提供的一种确定装配体检测角度的方法,该方法包括:按照第一预设拍摄角度间隔获取装配体的多张检测图像;任意一张检测图像对应一个检测角度;将多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张目标图像具有所述装配体的部分子零件信息;将多张目标图像对应的检测角度确定为最优检测角度,本方法通过机器学习的方法提前优化检测的最佳检测角度,根据得到最佳检测角度布局摄像机的拍摄角度并指导实物检测,不仅能够提高检测的准确度,还能避免子零件漏检的现象。
可选地,为了能够通过目标检测模型获得最优的检测角度,首先需要获得训练好的目标检测模型,下面在图1的基础上,给出一种可能的实现方式,参见图2,图2示出了本发明实施例提供另一种确定装配体检测角度的方法的示意性流程图。
步骤201、按照第二预设拍摄角度间隔获取装配体的训练图像集。
可以理解的是,由于按照第二拍摄角度间隔的图像可以用来训练目标检测模型,第一预设拍摄角度间隔用来在训练后的目标检测模型上进行最优检测角度检测,因此,在训练的过程中第二预设拍摄角度间隔可以大于第一预设拍摄角度间隔,使得训练后的目标检测模型能够获得最优的检测角度。例如,当第一预设拍摄角度间隔为15度时,第二拍摄角度间隔可以为30度,当然,第一预设拍摄角度间隔和第二拍摄角度间隔的大小可以是根据具体场景而取值,此处不作限定,只需满足第二预设拍摄角度间隔可以大于第一预设拍摄角度间隔的要求即可。
还应理解的是,由于目标检测模型最终筛选的是具有部分子零件信息的检测图像,因此,训练图像集中的图像可以具有子零件标签。在另一些场景中,为了能够在进行实物检测是确定子零件缺失位置,训练图像集中的图像还可以包括子零件坐标标签,具体的,获取子零件坐标标签到的方式可以是通过边缘提取算法提取所有训练图像的边缘,并将根据图像边缘拟合其外轮廓,取其最小外接矩形,将该矩形框坐标作为子零件坐标标签,当在进行实物检测的过程中发现有子零件缺失,可以根据该子零件坐标标签确定缺失的子零件的坐标位置。
步骤202、根据所述训练图像集获得所述训练后的目标检测模型。
可选地,训练后的目标检测模型可以具有目标检测和定位的神经网络模型,在本发明实施例中,目标检测模型可以是以Faster-RCNN为基本结构的深度神经网络模型。
可选地,为了获取用于获得最优检测角度的检测模型,以训练图像集包括训练集和验证集为例,在图2的基础上,下面给出一种可能的实现方式,参见图3,图3示出了本发明实施例提供另一种确定装配体检测角度的方法的示意性流程图,其中,步骤202的一种可能的实现方式为:
步骤202-1、根据训练集训练目标检测模型。
步骤202-2、根据验证集调整目标检测模型的超参数,以获得训练后的目标检测模型。
可以理解的是,通过训练集可以用于学习获得目标检测模型,此时获得的目标检测模型可能会出现欠拟合,过拟合等情况,造成模型效果不理想,这时候就需要用验证集来进行测试效果,验证集可以用于调整目标检测模型的超参数,超参数可以但不限定于是学习率,迭代次数,正则化系数等,通过调整训练训练检测模型以使模型具有更好的检测效果,提高模型精度。
可选地,在通过训练后的目标检测模型获得多张目标图像之后,还可以保持目标图像的数量不变,逐渐减少训练集中的图像数量以训练目标检测模型,实现训练后的目标检测模型能获得相同数量的目标图像数量,以最少数量的训练图像获得多张目标图像的效果。
可选地,由于通过目标检测模型获得目标图像数量较大,且部分目标图像相似,因此,为了方便检测操作,以目标图像的张数为M张为例,下面在图2的基础上,给出一种可能的实现方式,参见图4,图4示出了本发明实施例提供另一种确定装配体检测角度的方法的示意性流程图。
步骤206、对M张目标图像进行特征提取。
可选地,图像的特征可以是图像的几何不变矩特征、还可以是方向梯度直方图(Histogramoforientedgradient,简称HOG)特征,几何矩指得是图像具有旋转、平移、尺度等特性的不变特征,HOG特征指得是通过计算进而统计图像局部区域的梯度方向直方图所构成的特征。
步骤207、根据特征将M张目标图像进行聚类,以获取M张目标图像对应的N类目标图像集。其中,N小于或等于M。
可选地,根据提取的图像特征,进而根据相似度对目标图像通过聚类算法进行聚类,其中,聚类算法可以但不限定于是k-均值聚类算法、k-中值聚类算法、层次聚类算法等,将目标图像进行聚类的方式可以是可以根据特征相似度损失函数最小时对应的目标图像聚为同一类,进而可以根据类的个数获得最优数量的目标图像。
步骤208、从任意一类目标图像集中分别选取一张目标图像,获取N张目标图像。
可选地,由于每一类中包含多张目标图像,每一类中的目标图像相似,因此可以从每一类目标图像集中分别选取一张目标图像,具体的,选取是方式可以是通过计算每一张目标图像距离所述每一类目标图像集的类中心,选取与类中心距离最近的目标图像。
步骤209、将N张目标图像对应的检测角度确定为最优检测角度。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种确定装配体检测角度装置的实现方式,参见图5,图5示出了本发明实施例提供的一种确定装配体检测角度装置的功能模块图。
需要说明的是,本实施例所提供的确定装配体检测角度装置30,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容,该确定装配体检测角度装置30包括:获取模块301、确定模块302。
获取模块301,用于按照第一预设拍摄角度间隔获取所述装配体的多张检测图像;任意一张检测图像对应一个检测角度。
获取模块301,用于将多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张目标图像具有装配体的部分子零件信息。
确定模块302,用于将多张目标图像对应的检测角度确定为最优检测角度。
可以理解的是,获取模块301、确定模块302可以协同执行图1中的步骤203至步骤205以实现相应的技术效果。
可选地,在获取装配体的检测图像之前,获取模块301,还用于按照第二预设拍摄角度间隔获取所述装配体的训练图像集;第二预设拍摄角度间隔大于第一预设拍摄角度间隔;训练图像集中的图像具有子零件标签;获取模块301,还用于根据所述训练图像集获得所述训练后的目标检测模型。
可以理解的是,获取模块301还可以执行上述步骤201~步骤202以实现相应的技术效果。
在可选的实施方式中,为了获取目标检测模型,在图5的基础上,以训练数据图像集包括训练集和验证集为例,给出一种可能的实现方式,请参见图6,图6示出了本发明实施例提供的另一种确定装配体检测角度装置的功能模块图,该确定装配体检测角度装置30还包括:训练模块303。
训练模块303,用于根据所述训练集训练目标检测模型。
训练模块303,用于根据验证集调整目标检测模型的超参数,以获得训练后的目标检测模型。
可以理解的是,训练模块303可以执行上述步骤202-1、步骤202-2以实现相应的技术效果。
在可选的实施方式中,由于多张目标检测图像中部分图像的检测角度相似,因此为了优化目标图像的数量,可以多目标图像进行聚类操作,获得更优的目标数量,进而获得最优数量的最佳检测角度,因此,在图5的基础上,以目标图像的张数为M张为例,给出一种可能的实现方式,请参见图7,图7为本发明实施例提供的另一种确定装配体检测角度装置的功能模块图,确定装配体检测角度装置30还包括:特征提取模块305和聚类模块306。
特征提取模块305,用于对M张目标图像进行特征提取。
聚类模块306,用于根据特征将M张目标图像进行聚类,以获取M张目标图像对应的N类目标图像集;其中,N小于或等于M。
获取模块301,还用于从任意一类目标图像集中分别选取一张目标图像,获取N张目标图像;N张目标图像距离所述N类目标图像集的类中心最近。
确定模块302,还用于将N张目标图像对应的检测角度确定为最优检测检测角度。
可以理解的是,特征提取模块305、聚类模块306、获取模块301、确定模块302可以协同的执行步骤206至步骤209以实现相应的技术效果。
本发明实施例还提供的一种电子设备,参见图8,图8本发明实施例提供的一种电子设备的方框示意图,该电子设备50包括存储器51、处理器52和通信接口53。该存储器51、处理器52和通信接口53相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器51可用于存储软件程序及模块,如本发明实施例所提供的确定装配体检测角度的方法对应的程序指令/模块,处理器52通过执行存储在存储器51内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口53可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备50可以具有多个通信接口53。
其中,存储器51可以是但不限于,随机存取存储器(RandomAccessMemory,RAM),只读存储器(ReadOnlyMemory,ROM),可编程只读存储器(ProgrammableRead-OnlyMemory,PROM),可擦除只读存储器(ErasableProgrammableRead-OnlyMemory,EPROM),电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory,EEPROM)等。
处理器52可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(CentralProcessingUnit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DigitalSignalProcessing,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备50可以实现本发明提供的任一种确定装配体检测角度的方法。该电子设备50可以是,但不限于,手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。该电子设备50还可以是具有通过本发明提供的确定装配体检测角度的方法来获取目标检测模型的电子设备。
本发明实施例还提供一种存储介质,其上存储有计算机程序,例如,当该存储介质存储于图8中的存储器51时,该计算机程序被处理器执行时实现如前述实施方式中任一项的确定装配体检测角度的方法,该计算机可读存储介质可以是,但不限于,U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种确定装配体检测角度的方法,其特征在于,所述方法包括:
按照第一预设拍摄角度间隔获取所述装配体的多张检测图像;任意一张所述检测图像对应一个检测角度;
将所述多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张所述目标图像具有所述装配体的部分子零件信息;
所述多张目标图像的张数为M张,将所述多张目标图像对应的检测角度确定为最优检测角度,包括:对M张目标图像进行特征提取;根据所述特征将所述M张目标图像进行聚类,以获取所述M张目标图像对应的N类目标图像集;其中,N小于或等于M;从任意一类所述目标图像集中分别选取一张目标图像,获取N张目标图像;所述N张目标图像距离所述N类目标图像集的类中心最近;将所述N张目标图像对应的检测角度确定为最优检测角度。
2.根据权利要求1所述的方法,其特征在于,在所述按照第一预设拍摄角度获取所述装配体的多张检测图像的步骤之前,所述方法还包括:
按照第二预设拍摄角度间隔获取所述装配体的训练图像集;所述第二预设拍摄角度间隔大于所述第一预设拍摄角度间隔;所述训练图像集中的图像具有子零件标签;
根据所述训练图像集获得所述训练后的目标检测模型。
3.根据权利要求2所述的方法,其特征在于,所述训练图像集包括训练集和验证集;所述根据所述训练图像集获得所述训练后的目标检测模型的步骤,包括:
根据所述训练集训练目标检测模型;
根据所述验证集调整所述目标检测模型的超参数,以获得所述训练后的目标检测模型。
4.一种确定装配体检测角度的装置,其特征在于,包括:获取模块和确定模块;
所述获取模块,用于按照第一预设拍摄角度间隔获取所述装配体的多张检测图像;任意一张所述检测图像对应一个检测角度;
所述获取模块,用于将所述多张检测图像输入到训练后的目标检测模型,获取多张目标图像;任意一张所述目标图像具有所述装配体的部分子零件信息;
所述确定模块,用于将所述多张目标图像对应的检测角度确定为最优检测角度;
所述装置还包括特征提取模块和聚类模块;
所述特征提取模块,用于对所述多张目标图像进行特征提取;其中,所述多张目标图像的个数为M;
所述聚类模块,用于根据所述特征将M张目标图像进行聚类,以获取所述M张目标图像对应的N类目标图像集;其中,N小于或等于M;
所述获取模块,还用于从任意一类所述目标图像集中分别选取一张目标图像,获取N张目标图像;所述N张目标图像距离所述N类目标图像集的类中心最近;
所述确定模块,还用于将所述N张目标图像对应的检测角度确定为最优检测角度。
5.根据权利要求4所述的装置,其特征在于,
所述获取模块,还用于按照第二预设拍摄角度间隔获取所述装配体的训练图像集;所述第二预设拍摄角度间隔大于所述第一预设拍摄角度间隔;所述训练图像集中的图像具有子零件标签;
所述获取模块,还用于根据所述训练图像集获得所述训练后的目标检测模型。
6.根据权利要求5所述的装置,其特征在于,所述训练图像集包括训练集和验证集,所述装置还包括训练模块;
所述训练模块,用于根据所述训练集训练目标检测模型;
所述训练模块,用于根据所述验证集调整所述目标检测模型的超参数,以获得所述训练后的目标检测模型。
7.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-3任一项所述的确定装配体检测角度的方法。
8.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的确定装配体检测角度的方法。
CN201911329117.3A 2019-12-20 2019-12-20 确定装配体检测角度的方法、装置、电子设备及存储介质 Active CN111127558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911329117.3A CN111127558B (zh) 2019-12-20 2019-12-20 确定装配体检测角度的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329117.3A CN111127558B (zh) 2019-12-20 2019-12-20 确定装配体检测角度的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111127558A CN111127558A (zh) 2020-05-08
CN111127558B true CN111127558B (zh) 2023-06-27

Family

ID=70501056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329117.3A Active CN111127558B (zh) 2019-12-20 2019-12-20 确定装配体检测角度的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111127558B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822834A (zh) * 2020-06-03 2021-12-21 富泰华工业(深圳)有限公司 物品检测装置、物品检测方法、存储介质
CN113020428B (zh) * 2021-03-24 2022-06-28 北京理工大学 级进模的加工监控方法、装置、设备及存储介质
CN114549406B (zh) * 2022-01-10 2022-11-22 华院计算技术(上海)股份有限公司 热轧线的管理方法、装置及系统、计算设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135610A (zh) * 2014-07-02 2014-11-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN108055459A (zh) * 2015-04-30 2018-05-18 广东欧珀移动通信有限公司 一种基于旋转摄像头的拍摄方法及相关产品
CN109753974A (zh) * 2018-12-14 2019-05-14 歌尔股份有限公司 物体旋转角度的检测方法、装置及电子设备
CN110385282A (zh) * 2019-07-10 2019-10-29 浙江大学 机械装配中基于深度学习的多余物视觉检测系统与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947128B2 (en) * 2013-01-29 2018-04-17 Andrew Robert Korb Methods for improving accuracy, analyzing change detection, and performing data compression for multiple images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135610A (zh) * 2014-07-02 2014-11-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN108055459A (zh) * 2015-04-30 2018-05-18 广东欧珀移动通信有限公司 一种基于旋转摄像头的拍摄方法及相关产品
CN109753974A (zh) * 2018-12-14 2019-05-14 歌尔股份有限公司 物体旋转角度的检测方法、装置及电子设备
CN110385282A (zh) * 2019-07-10 2019-10-29 浙江大学 机械装配中基于深度学习的多余物视觉检测系统与方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Weiqiang Wang 等.Multi-angle automotive fuse box detection and assembly method based on machine vision.《Measurement》.2019,第145卷第234-243页. *
华顺刚 等.机械装配体模型的对称性识别.《机械工程学报》.2017,第53卷(第9期),第116-126页. *

Also Published As

Publication number Publication date
CN111127558A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127558B (zh) 确定装配体检测角度的方法、装置、电子设备及存储介质
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
CN105164700B (zh) 使用概率模型在视觉数据中检测对象
CN106447592B (zh) 每个特征描述符的在线个性化服务
CN108875534B (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN109165589A (zh) 基于深度学习的车辆重识别方法和装置
EP3008663A1 (en) Method for detecting a plurality of instances of an object
CN111898486B (zh) 监控画面异常的检测方法、装置及存储介质
CN108120391A (zh) 信息处理设备和方法、存储介质和物品制造方法
CN110533654A (zh) 零部件的异常检测方法及装置
CN111161295B (zh) 一种菜品图像背景剥离方法
CN112633255B (zh) 目标检测方法、装置及设备
CN109740606A (zh) 一种图像识别方法及装置
EP3309750B1 (en) Image processing apparatus and image processing method
CN117078927A (zh) 一种联合目标标注方法、装置、设备及存储介质
CN104268550B (zh) 特征提取方法及装置
CN109840529B (zh) 一种基于局部敏感置信度评估的图像匹配方法
KR20200101521A (ko) 시멘틱 매칭 장치 및 방법
CN111583159B (zh) 一种图像补全方法、装置及电子设备
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
CN111640076B (zh) 一种图像补全方法、装置及电子设备
CN115187769A (zh) 一种定位方法及装置
CN114119952A (zh) 一种基于边缘信息的图像匹配方法及装置
CN108038864B (zh) 一种动物目标图像的提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant