CN113269736A - 紧固件尺寸的自动化检验方法、系统及介质 - Google Patents

Abstract

本发明提供一种紧固件尺寸的自动化检验方法、系统及介质，该方法先通过训练样本对预设深度学习模型进行训练，获得目标深度学习模型；然后获取待检验紧固件的待检验紧固件图像，并调用目标深度学习模型对待检验紧固件图像进行处理，得到特征识别信息和特征图像区；之后从预设紧固件知识库中查找与每一个特征识别信息对应的特征名称，进而得到该特征名称对应的参数表，然后根据参数表中的规则和数据，识别边缘修正后的特征图像区上的尺寸标注点，进而计算待检验紧固件的实际测量值，并判断其是否合规。本发明通过目标深度学习模型结合参数表进行尺寸测量计算和合规性检验，提高了紧固件检验效率和准确性，且尽可能避免了人为操作中的遗漏问题。

Description

紧固件尺寸的自动化检验方法、系统及介质

技术领域

本发明涉及检验测量技术领域，具体涉及一种紧固件尺寸的自动化检验方法、系统及介质。

背景技术

在现代工业的生产过程中，螺栓、螺柱、螺钉等紧固件是不可或缺的部件，在各行各业都存在大量需求，是现代工业不可或缺的产品。并且，除了常规紧固件所形成的标准件之外，在一些特殊的高端领域中，对紧固件会有特殊的要求，这就催生了高端紧固件市场。高端紧固件主要面向高端大型复杂的装备产品：如航天、航空、高铁、核电和生命健康等领域。由于要面对不同领域产品，紧固件厂家生成的紧固件品类上万；而高端紧固件需求数量相对有限，单个订单数量较小，企业超过一半的高端订单在200件数量以下，甚至订货数量为个位数的订单占10％以上。但无论是高端紧固件还是常规紧固件，紧固件的尺寸合格与否对产品质量至关重要，因此，每一批紧固件订单都要进行尺寸检验。

每种紧固件都涉及到多种尺寸，各个尺寸均需要进行检验，使得紧固件检验人力大幅增加。并且，人工检验效果也在很大程度上取决于检验人员的责任心，导致质量控制难度加大，因此，尺寸检验工作已成为工业企业在效率和精度上难以突破的瓶颈。随着技术的发展，出现了用光学测量的检验技术来代替传统人工检验的方式。先通过光学的方式采集紧固件的图像，再由人工在图像中逐一标注好所需要检验的尺寸部位和公差范围后，通过对尺寸部位的检验获得尺寸值与公差范围对比，实现光学测量检验，达到检验效率和检验精度的提升。

虽然光学方式的测量检验提升了检验效率和检验精度，但由于多品种、小批量的生产特点，图纸多，技术状态多，不同图纸的参数和公差范围都不同。而现有的光学测量设备都需要在实物图像上对紧固件图纸进行重新绘制并手工输入公差范围。因高端紧固件所涉及到的大量尺寸要求，使得人工在图像中标注的尺寸部位和公差范围工作量巨大。尤其对于具有多品种、小批量产品特点的高端紧固件，每一张图纸尺寸都不一样，标注过程更为繁琐，容易遗漏出错且效率低下。因此，标注过程中存在的该类问题影响了紧固件光学检验的效率和准确性，阻碍了光学检验方法在紧固件检验过程中的应用。

发明内容

基于上述现状，本发明的主要目的在于提供一种紧固件自动化检验方法、系统及介质，通过目标深度学习模型识别紧固件类型和紧固件图像中的尺寸标注点，对紧固件尺寸进行合规性检验，以提高紧固件尺寸检验的效率。

为实现上述目的，本发明采用的技术方案如下：

本发明的第一方面提供了一种紧固件尺寸的自动化检验方法，所述紧固件为轴对称部件，且包含头部和从所述头部一端面延伸的杆部，所述头部的直径大于所述杆部的直径，所述紧固件尺寸合规性的检验方法包括步骤：

S100，获取与各类型紧固件对应的训练样本，所述紧固件对应的训练样本包括若干张不同的紧固件类型的图片，将所述训练样本传输到预设深度学习模型，训练所述预设深度学习模型的特征识别功能和特征图像区分割功能，获得能够输出对应输入的紧固件图片的多个特征识别信息和与各所述特征识别信息对应的特征图像区的目标深度学习模型；其中，各所述特征图像区为输入的紧固件图片中的一部分，其包括所述紧固件的至少一个特征；

S200，获取待检验紧固件的待检验紧固件图像；

S300，调用所述目标深度学习模型对所述待检验紧固件图像进行特征识别和特征图像区分割，获得多个特征识别信息和与各特征信息对应的特征图像区；

S400，基于各所述特征识别信息从预设的紧固件知识库中查找对应的特征名称，并获取各所述特征名称对应的参数表；其中，所述紧固件知识库包括特征名称、与所述特征名称对应的参数表，各所述参数表包括若干参数名称、与各所述参数名称对应的尺寸识别规则信息和尺寸公差范围，各所述尺寸识别规则信息包括尺寸标注点；

S500，采用边缘探测和识别技术对各所述特征图像区进行边缘修正，得到修正后的特征图像区；

S600，基于各所述尺寸识别规则信息识别修正后的特征图像区上对应的尺寸标注点，并根据各参数名称识别信息对应的所述尺寸标注点确定所述参数的实际测量值；

S700，判断各所述参数的实际测量值是否满足所述参数表中的尺寸公差范围，并根据判断结果检验所述待检验紧固件的尺寸合规性。

优选地，所述步骤S100中，将所述训练样本传输到预设深度学习模型后，还训练所述预设深度学习模型的类型识别功能，获得的所述目标深度学习模型还能够识别所述待检验紧固件的紧固件类型；

所述步骤S300中，调用所述目标深度学习模型还对所述待检验紧固件图像进行类型识别，获得所述待检验紧固件的类型识别信息；

所述步骤S400具体包括：基于所述类型识别信息从预设的紧固件知识库中查找对应的紧固件类型，并基于各所述特征识别信息从预设的紧固件知识库中查找对应所述紧固件类型的各对应的特征名称，并获取各所述特征名称对应的参数表；其中，所述紧固件知识库还包括紧固件类型，各紧固件类型对应有多个特征名称。

优选地，所述步骤S200还包括：

获取所述待检验紧固件的类型标识信息；

所述步骤S300和所述步骤S400之间还包括：

判断所述类型标识信息和所述类型识别信息是否匹配，若是则执行步骤S400；若否则输出所述待检验紧固件类型异常的提示信息。

优选地，所述步骤S200包括：

S210，获取紧固件原始图像，并识别所述紧固件原始图像中是否包含多个待检验紧固件，若是则执行步骤S220，若否则所述紧固件原始图像形成所述待检验紧固件图像，执行步骤S300；

S220，对所述紧固件原始图像进行分割，获得多个分割图片，各所述分割图片对应一个所述待检验紧固件，形成一个所述待检验紧固件图像，之后对各所述待检验紧固件图像执行步骤S300。

优选地，所述步骤S600包括：

S610，基于各所述尺寸识别规则信息识别修正后的特征图像区上对应的尺寸标注点；

S620，计算各所述尺寸标注点形成的尺寸值；

S630，根据所述待检验紧固件图像的畸变信息、所述待检验紧固件图像中紧固件的水平度信息，对所述尺寸值进行修正，得到所述实际测量值。

优选地，所述步骤S700包括：

S710，判断各所述参数的实际测量值是否满足所述参数表中的尺寸公差范围，以及判断当前所述待检验紧固件以及与其相同类型的连续多个历史待检验紧固件中同一所述参数的实际测量值的变化趋势；

S720，若各所述参数的实际测量值满足所述尺寸公差范围，且各参数的实际测量值的所述变化趋势不在统计过程控制中的判异规则范围内，则所述待检验紧固件的尺寸合规；否则，执行S730；

S730，输出所述待检验紧固件尺寸不合规的提示信息，并停止检验与当前所述待检验紧固件类型相同的后续待检验紧固件。

优选地，所述步骤S730还包括：输出对用于加工当前所述待检验紧固件的生产设备进行停机维护的提示信息。

优选地，所述步骤S600之后还包括步骤：

S800，将所述实际测量值标注于对应的所述特征图像区，并输出所述实际测量值。

本发明的第二方面提供了一种紧固件尺寸的自动化检验系统，包括：

图像采集装置，用于采集待检验紧固件的紧固件原始图像，并将所述紧固件图像传输到所述本地终端或者云服务器；

本地终端或者云服务器，与所述图像采集装置连接，用于实现如上任一项所述的紧固件尺寸的自动化检验方法；

检验工作台，用于放置所述待检验紧固件。

本发明的第三方面提供了一种紧固件尺寸的自动化检验系统，包括：

图像采集装置，用于采集待检验紧固件的紧固件原始图像，并将所述紧固件图像传输到所述本地终端或者云服务器；

云服务器，与所述图像采集装置连接，用于实现如上任一项所述的紧固件尺寸的自动化检验方法；

云平板电脑，与所述云服务器连接；

检验工作台，用于放置所述待检验紧固件。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任一项所述的紧固件尺寸的自动化检验方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的紧固件尺寸合规性的检验方法。

【有益效果】

本发明的紧固件的自动化检验方法，在对紧固件的尺寸合规性进行检验前，先通过各类型紧固件的训练样本对预设深度学习模型进行特征识别功能和特征图像区分割功能的训练，获得能够输出多个特征信息以及与各特征信息对应的特征图像区的目标深度学习模型。当对待检验紧固件进行尺寸合规性检验时，先获取该待检验紧固件的待检验紧固件图像，并通过目标深度学习模型识别待检验紧固件图像中的多个特征识别信息以及获得与各特征识别信息对应的特征图像区，然后结合紧固件知识库的信息确定各特征中各参数在对应的特征图像区中的尺寸标注点，接着再根据各尺寸标注点确定该参数的实际测量值，进而进行合规性判断。一方面，从待检验紧固件图像的获取到各参数对应标注点的确定以及对参数的实际检验值的确定都实现了自动化，从而进可能避免了在图像中逐一寻找各参数的尺寸标注点以及标注尺寸的繁琐性和容易遗漏出错的问题，提高了紧固件自动化检验的效率和准确性；且整个过程基本不需要人工参与，仅需要加工人员或者其他传输设备将加工完成的紧固件放置到指定位置即可，从而大大节省了人力成本。另一方面，对各参数的尺寸标注点识别之前，先通过深度学习模型将待检验紧固件图像分割，在识别中分别在小区域的特征图像区进行识别，能够提高识别的准确性和识别效率；且为了能够对各特征的识别以及特征图像区的分割更为准确，增加对深度学习模型的训练步骤，从而进一步提高对待检验紧固件检验的准确性。再一方面，在对尺寸标注点识别之前先进行边缘修正，能够提高尺寸标准点识别的准确率，以更好地提高对待检验紧固件检验的准确性。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

以下将参照附图对本发明的优选实施方式进行描述。图中：

图1是本发明紧固件尺寸的自动化检验方法的一种优选实施例的流程图；

图2是本发明紧固件尺寸的自动化检验系统一种优选实施例的示意图；

图3是本发明紧固件尺寸的自动化检验系统的另一种优选实施例的示意图；

图4是本发明紧固件尺寸的自动化检验系统的又一种优选实施例的示意图；

图5是本发明紧固件尺寸的自动化检验系统的又一种优选实施例的示意图。

图中：

10、图像采集装置；20、本地终端或者云服务器；30、检验工作台；40、机械臂；50、云平板电脑。

具体实施方式

需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制。

本发明听过了一种紧固件尺寸的自动化检验方法，紧固件包括但不限于螺栓、螺钉、螺柱、螺母等标准件，其结构、尺寸符合某一制造标准或者图纸要求，具体地，紧固件为轴对称部件，包含头部和从头部一端面延伸的杆部，头部的直径大于杆部的直径。紧固件尺寸的自动化检验，即为检验紧固件的实际尺寸是否符合其适用标准所规定的尺寸要求。本实施例中紧固件尺寸的自动化检验方法可应用于本地终端(如图4所示的20为本地终端)，如平板电脑、台式计算机等终端；也可应用于云服务器(如图5所示的20为云服务器)。对于本地终端20，其与对紧固件图像进行拍摄的图像采集装置通信连接，由图像采集装置将采集的紧固件图像传输到本地终端20进行紧固件尺寸的检验。对于云服务器20，图像采集装置与云服务器20通信连接，将采集的紧固件图像传输到云服务器20进行紧固件尺寸的检验。

请参照图1，图1是本发明的紧固件尺寸的自动化检验方法的一种实施例的流程图，自动化检验方法包括以下步骤：

S100，获取与各类型紧固件对应的训练样本，各类型紧固件对应的训练样本包括若干张不同的紧固件类型的图片，如包括10张、20张、30张或者更多张紧固件图片，这些紧固件图片中，包括不同类型的紧固件。将该训练样本传输到预设深度学习模型，训练预设深度学习模型的特征识别功能和特征图像区分割功能，获得能够输出对应输入的紧固件图片的多个特征识别信息和与各特征识别信息对应的特征图像区的目标深度学习模型；其中，各特征图像区为输入的紧固件图片中的一部分，其包括紧固件的至少一个特征，这些特征图像区中，可能有的特征图像区之间存在重合的部分，也可能任意两个特征图像区之间均不存在重合部分。也就是说，预设深度学习模型的输入为紧固件图片，输出为多个特征识别信息以及多个特征图像区，这些特征识别信息与这些特征图像区一一对应。紧固件的特征包括头部、法兰、杆部、头部根下角等等，当将紧固件图片输入到深度学习模型后，深度学习模型会对从图片中识别这些特征，并对该图片进行分割，得到多个特征图像区，每个特征图像区对应的特征识别信息可能包括这些特征中的一项、两项或者更多项。

S200，获取待检验紧固件的待检验紧固件图像，具体地，可以通过图像采集装置获取，如通过照相机对待检验紧固件进行拍照。

S300，调用训练好的目标深度学习模型对待检验紧固件图像进行特征识别和特征图像区分割，获得多个特征识别信息和与各特征信息对应的特征图像区。

S400，基于各特征识别信息从预设的紧固件知识库中查找对应的特征名称，并获取各特征名称对应的参数表；其中，紧固件知识库包括特征名称、与特征名称对应的参数表，各所述参数表包括若干参数名称、与各参数对应的尺寸识别规则信息和尺寸公差范围，各尺寸识别规则信息包括尺寸标注点，还包括根据这些尺寸标注点进行尺寸计算的规则。

也就是说，特征识别信息与特征名称是一一对应的，如特征识别信息为“杆部”，对应的特征名称也为“杆部”，在实际应用领域可以根据自己的习惯等进行相应的设置即可。在紧固件知识库中，一个特征名称可能包含多个参数名称，每个参数名称对应有该参数的尺寸识别规则信息和该参数的尺寸公差范围，如对于特征名称杆部，可能对应有杆长、有效螺纹到承载面的距离、杆直径、螺纹长度、螺纹规格等等，对于杆长的尺寸识别规则信息包括测量的左侧起始点、右侧结束点等尺寸标注点，其尺寸公差范围为该参数的公差范围，其他参数名称对应的信息本领域技术人员可以按照标准规定进行限定。具体地，每一项参数均具有对应的参数值，反应每类紧固件在各个部位上的尺寸大小，以指导紧固件的生产。

S500，采用边缘探测和识别技术对各特征图像区进行边缘修正，得到修正后的特征图像区，其中，对于边缘探测和识别技术可以使用本领域技术人员常用的算法进行处理，只要能够得到较好的特征图像边缘即可，以便后续对标注点的确定更为准确。

S600，基于各尺寸识别规则信息识别修正后的特征图像区上对应的尺寸标注点，并根据各参数识别信息对应的尺寸标注点确定参数的实际测量值。

也就是说，对于每一个参数名称，先从边缘修正后的特征图像区上确定出每一个尺寸标注点，由于这些尺寸标注点是位于轮廓上的，因此具体可以先识别轮廓特征，然后再确定尺寸标注点；之后再对这些尺寸标注点进行处理，得到该参数名称的实际测量值，如该参数名称为长度参数，实际测量值可以直接计算两个尺寸标注点的距离。需要说明的是，对于每一个尺寸标注点，可以是直接选取的其中一个点，也可以是多个点求均值得到的点。对于同一参数名称来说，一般包括有多个尺寸标注点，这些尺寸标注点形成一组，如对于表征长度、距离等的参数名称，一般包括两个尺寸标注点，而对于表征角度的参数名称，一般至少包括三个尺寸标注点等等。

该步骤S600中，由于是对图像进行处理，因此，这些点可以直接为像素点，图像采集装置对待检验紧固件的拍摄，通常按照一定成像比例成像，即拍摄的待检验紧固件在紧固件图像中的尺寸与待检验紧固件实际的尺寸之间成一定比例。当图像采集装置10与检验工作台的相对位置确定后(下文会详述)，可以事先确定每个像素点与实际空间尺寸的比例关系，当计算两个像素点之间的距离时只要计算出这两个像素点之间的像素个数，之后乘以事先确定的比例关系即可，即转换为两个尺寸标注点之间的距离；而对于角度的计算，可以根据距离的计算方法，本领域技术人员使用现有的多种算法进行确定，这里就不在赘述了。其中，上述比例关系可以存储于本地或者云服务器20。

S700，判断各参数的实际测量值是否满足参数表中的尺寸公差范围，并根据判断结果检验待检验紧固件的尺寸合规性。

本发明还提供了一种紧固件尺寸的自动化检验系统，如图2-图5所示，自动化检验系统包括图像采集装置10、本地终端或者云服务器20和检验工作台30，图像采集装置10用于采集待检验紧固件的紧固件原始图像，并将紧固件图像传输到本地终端或者云服务器20；本地终端或者云服务器20与图像采集装置连接，其可以有线连接，也可以无线信号连接，本地终端或者云服务器可以用于实现上述紧固件尺寸的自动化检验方法；检验工作台30用于放置待检验紧固件。图像采集装置10可以设置于检验工作台30的上方，或者与检验工作台30一起固定于厂房的机架上，图像采集装置10与检验工作台30安装好后，二者的相对位置即固定，可以事先通过标定等方式确定上述步骤S600中提到的比例。

上述紧固件的自动化检验方法和自动化检验系统，在对紧固件的尺寸合规性进行检验前，先通过各类型紧固件的训练样本对预设深度学习模型进行特征识别功能和特征图像区分割功能的训练，获得能够输出多个特征信息以及与各特征信息对应的特征图像区的目标深度学习模型。当对待检验紧固件进行尺寸合规性检验时，先将待检验紧固件放置于检验工作台30，图像采集装置10对待检验紧固件拍照，将拍摄的待检验紧固件图像发送给本地终端或者云服务器20，本地终端或者云服务器20获取该待检验紧固件的待检验紧固件图像，并通过目标深度学习模型识别待检验紧固件图像中的多个特征识别信息以及获得与各特征识别信息对应的特征图像区，然后结合紧固件知识库的信息确定各特征中各参数在对应的特征图像区中的尺寸标注点，接着再根据各尺寸标注点确定该参数的实际测量值，进而进行合规性判断。需要说明的是，上述对深度学习模型的训练，不需要每次对待检验紧固件检验之前都要进行，可以训练好后一直使用，或者定期设置训练样本进行训练。上述的标注点一般选自图像轮廓上的点。

上述方法和系统，一方面，从待检验紧固件图像的获取到各参数对应标注点的确定以及对参数的实际检验值的确定都实现了自动化，从而进可能避免了在图像中逐一寻找各参数的尺寸标注点以及标注尺寸的繁琐性和容易遗漏出错的问题，提高了紧固件自动化检验的效率和准确性；且整个过程基本不需要人工参与，即使参与基本一个工人即可，从而大大节省了人力成本。另一方面，对各参数的尺寸标注点识别之前，先通过深度学习模型将待检验紧固件图像分割，在识别中分别在小区域的特征图像区进行识别，能够提高识别的准确性和识别效率；且为了能够对各特征的识别以及特征图像区的分割更为准确，增加对深度学习模型的训练步骤，从而进一步提高对待检验紧固件检验的准确性。再一方面，在对尺寸标注点识别之前先进行边缘修正，能够提高尺寸标准点识别的准确率，以更好地提高对待检验紧固件检验的准确性。

需要说明的是，对于上述步骤S100～S700，本发明并不限定必须按照上述顺序执行，具体执行顺序根据各步骤的具体内容确定，如步骤S400与步骤S500中，可以先执行S400再执行S500，也可以先执行S500再执行S400，但是二者必须均在S600之前执行。

对于步骤S100，本地终端100或云服务器400中预先部署有预设深度学习模型，将针对各类型紧固件拍摄的照片在标识类型、部位、尺寸等信息后作为与各类型紧固件对应的训练样本，将训练样本输入到预先部署的预设深度学习模型，对预设深度学习模型进行类型识别功能和标注点识别功能的迭代训练。具体地迭代训练方法可以选自为本领域技术人员常用的方法，这里就不在赘述了。

上述步骤S100中，将训练样本传输到预设深度学习模型后，还训练预设深度学习模型的类型识别功能，获得的目标深度学习模型还能够识别待检验紧固件的紧固件类型，也就是说，上述预设深度学习模型当输入紧固件图片时，还输出紧固件类型。在该实施例中，步骤S300中，调用目标深度学习模型还对待检验紧固件图像进行类型识别，获得待检验紧固件的类型识别信息，如六角螺钉、圆头螺钉等。相应地，步骤S400具体包括：

基于类型识别信息从预设的紧固件知识库中查找对应的紧固件类型，并基于各特征识别信息从预设的紧固件知识库中查找对应紧固件类型的各对应的特征名称，并获取各特征名称对应的参数表；其中，紧固件知识库还包括紧固件类型，各紧固件类型对应有多个特征名称。

在很多机械手册等标准库中，紧固件常常是以紧固件类型进行分类描述的，采用这种方法，在制作紧固件知识库时可能能够直接利用现有的一些标准库，从而降低紧固件知识库的制作难度；再者，在有些紧固件中，不同类型的紧固件具有相同的特征名称，虽然相同特征名称均具有相同的参数，但对于不同的紧固件类型，对于相同特征名称关心的参数名称可能并不相同，因此，为了提高检验效率，没必要将各参数名称均进行识别处理，采用上述方法，只识别该类型紧固件关心的特征名称即可。

进一步地，在增加了紧固件类型识别功能后，当步骤S300输出紧固件的类型识别信息时，还可以先判断该类型识别信息是否与放置于检验工作台30上的待检验的紧固件的类型标识信息(即实际类型)一致，如果一致再进行步骤S400、S500等后续程序；如果不一致，直接输出识别错误的信息。也就是说，步骤S200还包括：

获取待检验紧固件的类型标识信息，具体地，类型标识信息可以在检验工作台上放置待检验紧固件时直接输入紧固件的实际类型，也可以通过其他类型识别程序先识别实际类型。

步骤S300和所述步骤S400之间还包括：

判断类型标识信息和类型识别信息是否匹配，若是则执行步骤S400；若否则输出待检验紧固件类型异常的提示信息。

采用这种方法，能够在发生错误时及时制止后续程序的运行，从而更好地节省检测的时间，以及提高对紧固件检验的准确性。

在有些时候，尤其是对于同一批紧固件时，若每次一件一件的放置于检验工作台30上检测，操作繁琐，效率也比较低，本发明的一种实施例中，会将多个紧固件同时放置在检验工作台30上进行检验，具体地，步骤S200包括：

S210，获取紧固件原始图像，并识别紧固件原始图像中是否包含多个待检验紧固件，若是则执行步骤S220，若否则紧固件原始图像形成待检验紧固件图像，执行步骤S300；

S220，对紧固件原始图像进行分割，获得多个分割图片，各分割图片对应一个待检验紧固件，形成一个待检验紧固件图像，之后对各待检验紧固件图像执行步骤S300，也就是说，对分割产生的每一个待检验紧固件图像均执行S300～S700。

上述方法工作时，图像采集装置10先对放置于检验工作台30上的紧固件进行拍照，得到紧固件原始图像，然后发送给本地终端或者云服务器20，本地终端或者云服务器20先根据紧固件原始图像判断检验工作台30上放置有几个待检验紧固件，若仅有一个，则将该紧固件原始图像作为目标深度学习模型的输入；若有多个，则需要先对紧固件原始图像进行分割，使分割后的每一个图片都仅有一个待检验紧固件，之后才将分割后的图片作为输入调用目标深度学习模型。显然，采用这种方法，能够减少待检验工作取放的次数，简化操作流程，进而提高检验效率。其中，将紧固件原始图像进行分割的具体方法，本发明不做限定，可以采用本领域现有技术的图像分割法。

可以理解地，图像采集装置10常常有与自身设计、制造、装配等原因使拍摄的图片发生畸变，且紧固件在放置时也很难保证使图像采集装置10上拍摄的图片为正视角度，因此，根据该图像计算的尺寸值与紧固件的实际尺寸值会有偏差，为了解决该问题，上述步骤S600具体包括：

S610，基于各尺寸识别规则信息识别修正后的特征图像区上对应的尺寸标注点；

S620，计算各尺寸标注点形成的尺寸值，这些尺寸值包括长度尺寸、半径尺寸、夹角值等，具体根据尺寸标注点如何计算该尺寸值可参见上述实际测量值的描述；

S630，根据待检验紧固件图像的畸变信息、待检验紧固件图像中紧固件的水平度信息，对尺寸值进行修正，得到实际测量值。

也就是说，对于标注点形成的尺寸值，先进行修正之后再输出，从而提高了实际测量值的准确性。其中，对于同一图像采集装置10，当其位置固定时，畸变信息变化较小，因此可以事先进行测定；对于水平度来说，紧固件的放置一般是侧着放置比较稳定，即头部与杆部上远离头部的一端分别支撑于检验工作台30，因此，其水平度尤其是对于同一类型的紧固件来说，水平度信息变化也不会很大，因此，也可以事先进行测定，从而减少在测量中的数据处理过程。

可以理解地，在机械制造中，对紧固件进行生产的生产设备，会随着紧固件的生产而出现损耗，相应的人机料法环等因素的变化都会影响产品最终的参数，持续增大的误差会导致加工产品逐步超差而产生废料。在连续加工的同时持续检测参数并判断是否需要停机检查，对于提升产品的合格率非常重要。有些时候，虽然待检验的紧固件的尺寸值是合格的，即在参数表中的尺寸公差范围内，但是常常这些紧固件呈上升趋势逐步靠近尺寸的上限值或者下限值，加工该紧固件的设备继续加工下去可能就会出现不合格的产品，为了避免这种情况的出现，本发明一种优选的实施例中，不仅仅判断当前待检验的紧固件的实际测量值，还会关注其之前连续的多个历史待检验紧固件的实际测量值，以尽可能提前判断加工设备的运行情况，具体地，步骤S700包括：

S710，判断各参数的实际测量值是否满足所述参数表中的尺寸公差范围，以及判断当前待检验紧固件以及与其相同类型的连续多个历史待检验紧固件中同一参数的实际测量值的变化趋势，即不仅要判断各参数的实际测量值，还需要判断各参数的实际测量值的变化趋势其中，当然，这些历史待检验紧固件与当前待检验紧固件属于参数要求相同的紧固件，具体可以根据紧固件类型和生成情况等因素确定；

S720，若各参数的实际测量值满足尺寸公差范围，且各参数的实际测量值的变化趋势不在统计过程控制中的判异规则范围内；否则，执行S730；

S730，输出待检验紧固件尺寸不合规的提示信息，并停止检验与当前待检验紧固件类型相同的后续待检验紧固件。

上述方法中，具体地，对于多项历史的实际测量值，按照各自生成时间的先后顺序排列，形成历史尺寸的数据序列，进而检验数据序列中各个数据的数值是否逐渐增大或者逐渐减小。若各数值逐渐增大或者逐渐减小则说明对待检验紧固件进行生产的生产设备处于严重损耗状态，此时输出对该类生产设备停机维护的提示信息，并且停止对后续待检验紧固件的尺寸合规性的检验。若经判定各数值没有呈现逐渐增大或者减小的趋势，且当前的实际测量值位于参数范围内，则输出对后续的待检验紧固件的尺寸合规性进行继续检验的提示信息，以对同批次内待检验紧固件的逐一检验或者抽检。采用上述方法，通过对连续加工出来的零件的实际测量值的变化趋势进行判断，能够推断出加工设备的运行状态，因此，能够及时制止不合格产品的生产，从而降低损失。需要说明的是，上述方法并不限于在边检验边加工的环节，也可以在加工了部分紧固件之后，设备休息中进行检测，或者将一批紧固件加工完之后再进行检测，再或者其他需要检测的情况也可以。

其中，统计过程中的判异规则包括下述情况：(1)大于或者等于第一预设数量的连续多个实际测量值的公差均为正公差或者均为负公差，(2)大于或者等于第二预设数量的多个实际测量值的公差持续变大或者持续变小，等等，这里就不一一列举了，这些情况即为本领域技术人员常用的判断规则，这里想说的是本发明的自动化检验方法也同时会对紧固件进行的测量值趋势的判断，即使当前的紧固件的实际测量值满足尺寸公差范围，但是只要包括其在内的连续几个实际测量值出现了上述判异规则的情况，则也会认为不合规。上述第一预设数量可以选择五、九、十等，优选九，第二预设数量可以选择无、七、十等，优选七，上述步骤S710中连续的历史待检紧固件数量等于或者大于第一预设数量和第二预设数量中较大的一者。当然第一预设数量和第二预设数量以及上述连续的历史待检紧固件数量可以根据对紧固件质量要求的高低进行选择。

上述步骤S720中，若当前的实际测量值已不满足尺寸公差范围，已经产生不合格现象，需要立刻停机，检查人机料法环等因素，以免持续产生不合格品。即这种情况无需再判断之前的历史数据，即不需要判断上述变化趋势，进而尽快结束当前程序，提高整体的检验效率

为了更直观地提醒用户，上述步骤S730还包括：输出对用于加工当前待检验紧固件的生产设备进行停机维护的提示信息，即输出停机维修的提示信息，具体地可以为语音提示，也可以为文字提示或者警示灯提示等，当然也可以是几种提示方式的组合。如本地终端或者云服务器20还与生产设备连接，当需要停机维护时，同时在本地终端或者云服务器20上显示提示信息，同时控制生成设备发出报警维护的提示信息，以进一步有利于操作生产系统的协调工作。

为了便于操作者的观察，当步骤S600确定出实际测量值时，优选地还将该实际测量值标注于特征图像区，同时输出该实际测量值，即步骤S600之后还包括步骤：

S800，将实际测量值标注于对应的特征图像区，并输出该实际测量值。

其中，步骤S800可以在步骤S700执行，也可以与步骤S700一起执行，或者与步骤S700并行执行。

也就是说，本实施例设置有将实际测量值标注到紧固件图像中的机制，以便于查看待检验紧固件所识别的各个尺寸。

进一步地，步骤S800中，对于各参数名称的实际测量值，可以将不合规的实际测量值以红色显示，其余的以黑色显示，以更醒目地供操作者识别，当然，也可以以其他颜色或者方式区分合规和不合规的实际测量值。

在另一优选实施例中，步骤S800还包括：将各参数名称对应的实际测量值生成待检验紧固件的尺寸数据表，从而检验过的各待检验紧固件均形成一个尺寸数据表，在该表中，还可以将不合规的实际测量值标注出来，如合规的实际测量值以黑色显示，不合规的实际测量值以红色显示。

上述实施例中，无论待检验紧固件尺寸合规与否，均将实际测量值标注到紧固件图像中，以体现待检验紧固件在各个部位上的尺寸大小。同时还将各项尺寸标注信息生成为待检验紧固件的尺寸数据表，以便于后续对待检验紧固件的归档追溯。并且，对于经检验不合规的待检验紧固件，将其实际测量值中的不合规尺寸，以区别于其中合规尺寸的方式显示在紧固件图像和尺寸数据表中，能够直观体现待检验紧固件中不合规尺寸的所在位置，便于快速确定各项尺寸中的异常尺寸，进而便于查找异常原因。

在有的实施例中，本地终端具有交互式屏幕，如图4所示的实施例中，本地终端设置有交互式屏幕，以便于人机交互，且交互式显示屏还可以用于显示待检验紧固件图像、特征图像区以及下文所述的实际测量值、提示信息等，当然，本发明并不限定将上述信息均显示于交互式显示屏上，具体显示哪些信息，可以根据需要进行设置。

在有些实施例中，本发明还包括云平板电脑50，如图3、图5所示，云平板电脑50与云服务器连接，以便于人机交互，且云平板还可以用于显示待检验紧固件图像、特征图像区以及下文所述的实际测量值、提示信息等，当然，本发明并不限定将上述信息均显示于云平板上，具体显示哪些信息，可以根据需要进行设置。采用这种方式，在本地不需要设置交互式屏幕，直接通过云平板与云服务器连接，从而既方便了人机交互，又能够节省成本。

更优选地，在该实施例中，云平板50与图像采集装置10可以集成在一起，以便于整个自动化检验系统的安装和使用。

本发明的自动化检验系统还可以包括机械臂40，如图4、图5所示，机械臂40用于抓取和放置待检验紧固件，当待检验紧固件不合规时，还可以通过机械臂40将其抓取到不合规的工作台上。机械臂40可以与本地终端或者云服务器20连接，以便于本地终端或者云服务器20对其进行控制，进而协调工作。

本实施例中本地终端或者云服务器20与图像采集装置10，以及机械臂40之间的通信连接方式，可以是有线通信连接，也可以是无线通信连接。具有紧固件检验需求的厂家，依据其生产紧固件类型设置满足其识别需求的本地终端，以对各类型紧固件进行针对性的检验。并且，厂家在检验区域设置检验工作台，用以放置待检验紧固件；检验工作台30的上方或者侧面设置图像采集装置10，用以对放置在检验工作台上的待检验紧固件进行拍摄获得紧固件图像，该图像采集装置10可以是摄像头也可以是CCD相机。同时，将机械臂40设置于检验工作台周围，在本地终端检验出待检验紧固件的尺寸不合规时控制机械臂40运动，以抓取待检验紧固件。当采用云服务器时，云服务器与图像采集装置10、机械臂40之间的通信连接方式优选为无线通信连接。云服务器支持多个具有紧固件检验需求的厂家接入，各厂家通过设置具有无线通信模块，如具有WiFi模块的机械臂40和图像采集装置10，接入到云服务器进行数据传输，各厂家设置不同的接口实现数据通信传输，有利于数据的统一传输处理。并且，各厂家在其检验区域设置检验工作台30，用以放置待检验紧固件；检验工作台30的上方或者侧面设置图像采集装置10，用以对放置在检验工作台30上的待检验紧固件进行拍摄获得紧固件图像，该图像采集装置10也可以是摄像头也可以是CCD相机。同时，将机械臂40设置于检验工作台周围，在云服务器检验出待检验紧固件的尺寸不合规时控制机械臂40运动，以抓取待检验紧固件。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的紧固件的自动化检验方法。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (10)

1.一种紧固件尺寸的自动化检验方法，其特征在于，所述紧固件为轴对称部件，且包含头部和从所述头部一端面延伸的杆部，所述头部的直径大于所述杆部的直径，所述紧固件尺寸合规性的检验方法包括步骤：

S100，获取与各类型紧固件对应的训练样本，所述紧固件对应的训练样本包括若干张不同的紧固件类型的图片，将所述训练样本传输到预设深度学习模型，训练所述预设深度学习模型的特征识别功能和特征图像区分割功能，获得能够输出对应输入的紧固件图片的多个特征识别信息和与各所述特征识别信息对应的特征图像区的目标深度学习模型；其中，各所述特征图像区为输入的紧固件图片中的一部分，其包括所述紧固件的至少一个特征；

S200，获取待检验紧固件的待检验紧固件图像；

S300，调用所述目标深度学习模型对所述待检验紧固件图像进行特征识别和特征图像区分割，获得多个特征识别信息和与各特征信息对应的特征图像区；

S400，基于各所述特征识别信息从预设的紧固件知识库中查找对应的特征名称，并获取各所述特征名称对应的参数表；其中，所述紧固件知识库包括特征名称、与所述特征名称对应的参数表，各所述参数表包括若干参数名称、与各所述参数名称对应的尺寸识别规则信息和尺寸公差范围，各所述尺寸识别规则信息包括尺寸标注点；

S500，采用边缘探测和识别技术对各所述特征图像区进行边缘修正，得到修正后的特征图像区；

S600，基于各所述尺寸识别规则信息识别修正后的特征图像区上对应的尺寸标注点，并根据各参数名称识别信息对应的所述尺寸标注点确定所述参数的实际测量值；

S700，判断各所述参数的实际测量值是否满足所述参数表中的尺寸公差范围，并根据判断结果检验所述待检验紧固件的尺寸合规性。

2.根据权利要求1所述的自动化检验方法，其特征在于，所述步骤S100中，将所述训练样本传输到预设深度学习模型后，还训练所述预设深度学习模型的类型识别功能，获得的所述目标深度学习模型还能够识别所述待检验紧固件的紧固件类型；

所述步骤S300中，调用所述目标深度学习模型还对所述待检验紧固件图像进行类型识别，获得所述待检验紧固件的类型识别信息；

所述步骤S400具体包括：基于所述类型识别信息从预设的紧固件知识库中查找对应的紧固件类型，并基于各所述特征识别信息从预设的紧固件知识库中查找对应所述紧固件类型的各对应的特征名称，并获取各所述特征名称对应的参数表；其中，所述紧固件知识库还包括紧固件类型，各紧固件类型对应有多个特征名称。

3.根据权利要求2所述的自动化检验方法，其特征在于，所述步骤S200还包括：

获取所述待检验紧固件的类型标识信息；

所述步骤S300和所述步骤S400之间还包括：

判断所述类型标识信息和所述类型识别信息是否匹配，若是则执行步骤S400；若否则输出所述待检验紧固件类型异常的提示信息。

4.根据权利要求1所述的自动化检验方法，其特征在于，所述步骤S200包括：

S210，获取紧固件原始图像，并识别所述紧固件原始图像中是否包含多个待检验紧固件，若是则执行步骤S220，若否则所述紧固件原始图像形成所述待检验紧固件图像，执行步骤S300；

S220，对所述紧固件原始图像进行分割，获得多个分割图片，各所述分割图片对应一个所述待检验紧固件，形成一个所述待检验紧固件图像，之后对各所述待检验紧固件图像执行步骤S300。

5.根据权利要求1所述的自动化检验方法，其特征在于，所述步骤S600包括：

S610，基于各所述尺寸识别规则信息识别修正后的特征图像区上对应的尺寸标注点；

S620，计算各所述尺寸标注点形成的尺寸值；

S630，根据所述待检验紧固件图像的畸变信息、所述待检验紧固件图像中紧固件的水平度信息，对所述尺寸值进行修正，得到所述实际测量值。

6.根据权利要求1所述的自动化检验方法，其特征在于，所述步骤S700包括：

S710，判断各所述参数的实际测量值是否满足所述参数表中的尺寸公差范围，以及判断当前所述待检验紧固件以及与其相同类型的连续多个历史待检验紧固件中同一所述参数的实际测量值的变化趋势；

S720，若各所述参数的实际测量值满足所述尺寸公差范围，且各参数的实际测量值的所述变化趋势不在统计过程控制中的判异规则范围内，则所述待检验紧固件的尺寸合规；否则，执行S730；

S730，输出所述待检验紧固件尺寸不合规的提示信息，并停止检验与当前所述待检验紧固件类型相同的后续待检验紧固件，并输出对用于加工当前所述待检验紧固件的生产设备进行停机维护的提示信息。

7.根据权利要求1-6任一项所述的自动化检验方法，其特征在于，所述步骤S600之后还包括步骤：

S800，将所述实际测量值标注于对应的所述特征图像区，并输出所述实际测量值。

8.一种紧固件尺寸的自动化检验系统，其特征在于，包括：

图像采集装置，用于采集待检验紧固件的紧固件原始图像，并将所述紧固件图像传输到所述本地终端或者云服务器；

本地终端或者云服务器，与所述图像采集装置连接，用于实现如权利要求1-7任一项所述的紧固件尺寸的自动化检验方法；

检验工作台，用于放置所述待检验紧固件。

9.一种紧固件尺寸的自动化检验系统，其特征在于，包括：

图像采集装置，用于采集待检验紧固件的紧固件原始图像，并将所述紧固件图像传输到所述本地终端或者云服务器；

云服务器，与所述图像采集装置连接，用于实现如权利要求1-7任一项所述的紧固件尺寸的自动化检验方法；

云平板电脑，与所述云服务器连接；

检验工作台，用于放置所述待检验紧固件。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的紧固件尺寸的自动化检验方法。

Images