CN115880365A - 一种双工位自动螺丝拧装检测方法、系统及装置 - Google Patents

Abstract

本发明公开一种双工位自动螺丝拧装检测方法、系统及装置，涉及状态检测技术领域，包括以下步骤：实时获取目标双工位螺丝机工位的工作图像；对工作图像进行图像处理，分别提取孔位信息、螺丝头位置信息和螺丝高度信息；对孔位信息、螺丝头位置信息和螺丝高度信息进行分析，得出目标双工位螺丝机工位的图像体征；根据目标双工位螺丝机工位的图像体征判断目标双工位螺丝机工位的工作状态；若存在异常图像体征则输出缺陷分类。通过双摄像头获取工位的工作图像，对工作图像进行分析，提取孔位信息、螺丝头位置信息及螺丝高度信息，多维度判断螺丝是否拧装到位，并且通过数据储存及数据分析，实时输出螺丝拧装缺陷类型，降低成本，提高效率。

Description

一种双工位自动螺丝拧装检测方法、系统及装置

技术领域

本发明涉及状态检测技术领域，尤其涉及一种双工位自动螺丝拧装检测方法、系统及装置。

背景技术

在智能工厂逐渐普及的今天，工厂对电动工具的动作状态和质量的实时追踪仍然是短板，电动工具在智能化工厂工作时主要存在各种问题，一是电动工具会在使用过程中会产生不可避免的损耗，由损耗带来的准确性下降易导致螺丝卡死、打滑；二是在智能工厂正常作业的过程中，机械臂和传送带的工作周期不能保证永远契合，随着作业时间的增长，机械臂与传送带的工作逐渐失衡，使作业存在隐患；三是在工厂中检测产品质量的方式还是依赖传统的人工质检，这种质检手段无法在总装车间实现全流程全过程覆盖，这样就无法及时发现产品问题并阻止损失。

如今多数的智能工厂内部仍采用传统的检测方法来实现产品的追踪和质检，而目前的传统检测方法主要存在两个方面的问题：一是在智能工厂中，检查电动工具最普遍的方法是人工记录并估算它的使用频率，这种方法中故障检测点多、空间分布范围比较广，人工成本太大；二是传统的检测工具有频谱分析仪和手持式检测仪两种，前者体积较大且需要与计算机联合使用，而后者缺乏对数据的分析与管理能力，容易产生差错以及无法实现自动化检测。

发明内容

鉴于现有技术中对大多数电动工具使用过程的检查普遍通过人工的方法，导致人工成本太大，要么就是通过传统的检测工具对电动工具进行检查，这种方式则缺乏对数据的分析及管理能力，容易产生差错而且无法实现自动化检测，故本发明提出以下技术内容：

一种双工位自动螺丝拧装检测方法，包括以下步骤：

实时获取目标双工位螺丝机工位的工作图像；

对工作图像进行图像处理，分别提取孔位信息、螺丝头位置信息和螺丝高度信息；

对孔位信息、螺丝头位置信息和螺丝高度信息进行分析，得出目标双工位螺丝机工位的图像体征；

根据目标双工位螺丝机工位的图像体征判断目标双工位螺丝机工位的工作状态；

若存在异常图像体征则输出缺陷分类。

进一步的，所述对工作图像进行图像处理具体包括以下步骤：

读取所述工作图像；

将所述工作图像进行分割；

分别对已分割的工作图像进行斑点分析、形状匹配和高度参考线比对分析。

进一步的，对孔位信息进行分析具体包括以下步骤：

获取目标产品外壳图像；

对目标产品外壳图像进行图像处理，获取孔位具体坐标，确定孔位位置。

进一步的，对螺丝头位置信息进行分析具体包括以下步骤：

获取目标产品外壳图像；

对所述目标产品外壳图像进行斑点分析和形状匹配；

结合斑点分析和形状匹配得出的分析结果，判断螺丝头是否完全填满孔位。

进一步的，对螺丝高度信息进行分析具体包括以下步骤：

获取螺丝头和孔位之间的高度差；

计算高度差与标准差之间的差值；

若差值大于预设值，则判定螺丝安装不到位。

一种双工位自动螺丝拧装检测系统，应用前述的一种双工位自动螺丝拧装检测方法，包括：第一拍摄单元、第二拍摄单元、数据采集模块、光源和中控模块，其中：

所述第一拍摄单元和第二拍摄单元分别拍摄不同角度的工作图像；所述数据采集模块采集第一拍摄单元和第二拍摄单元拍摄到的图像；所述光源为工位提供光源；所述中控模块分析所述数据采集模块采集的图像，根据图像体征分析缺陷类型。

进一步的，所述中控模块根据所述采集模块获取的图像信息归类型号，并将型号对应的缺陷类型进行储存。

进一步的，所述第一拍摄单元为面阵相机，对目标产品外壳进行拍照，定位目标产品外壳的孔位。

一种双工位自动螺丝拧装检测装置，包括工业面阵相机、工业镜头、数据采集卡和中控机，其中：

所述工业面阵相机位于目标产品上方，通过左右运动装置移动实时拍摄目标产品上方的工作图像；

所述工业镜头设置在目标产品工位侧面，实时拍摄目标产品工位上的工作图像；

所述数据采集卡连接所述工业面阵相机和所述工业镜头，获取所述工业面阵相机和所述工业镜头拍摄的图像；

所述中控机包括主控芯片，对所述工业面阵相机和所述工业镜头获取的目标产品的工作图像进行处理，对图像分析并输出图像存在的缺陷类型。

进一步的，还包括工业光源，所述工业光源为面阵光源。

本发明公开的一种双工位自动螺丝拧装检测方法、系统及装置，通过双摄像头获取工位的工作图像，再对工作图像进行多方位的分析，提取孔位信息、螺丝头位置信息及螺丝高度信息，多维度结合判断螺丝是否拧装到位，并且通过数据储存及数据分析，实时输出螺丝拧装缺陷类型，并且如果在拧装过程中出现故障能够实时报警，实现对双工位螺丝拧装过程的工作状态等特征的自动监测，可以降低成本，提高效率。

附图说明

图1为本发明实施例中一种双工位自动螺丝拧装检测方法的步骤流程图；

图2为本发明实施例中双工位自动螺丝拧装的工作原理图；

图3为本发明实施例中螺丝头位置信息获取的步骤流程图；

图4为本发明实施例中一种双工位自动螺丝拧装检测系统工作原理框图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

一种双工位自动螺丝拧装检测方法，如图1所示，包括以下步骤：

步骤S1、实时获取目标双工位螺丝机工位的工作图像；

在本申请实施例中，所述双工位螺丝机应用于电脑生产过程中，获取的工作图像包括目标产品外壳上的孔位、双工位螺丝机拧装螺丝的过程、拧装完成后的效果图。

步骤S2、对工作图像进行图像处理，分别提取孔位信息、螺丝头位置信息和螺丝高度信息；

所述孔位信息用于定位需要拧装螺丝的位置；所述螺丝头位置信息用于确定螺丝是否安装完成，如果图像中存在安装孔没有填满的情况，则表明螺丝没有安装到位；所述螺丝高度信息是指螺丝头和产品外壳水平面的距离，如果距离过大则表明螺丝没有安装到位，此时则输出此种缺陷存在的类型并且进行报警，方便作业人员及时发现。

步骤S3、对孔位信息、螺丝头位置信息和螺丝高度信息进行分析，得出目标双工位螺丝机工位的图像体征；

在本实施例中，对孔位信息、螺丝头位置信息和螺丝高度信息的分析方法各不相同，在本申请的一种优选实施例中，对孔位信息进行分析具体包括以下步骤：

步骤S301、获取目标产品外壳图像；

步骤S302、对目标产品外壳图像进行图像处理，获取孔位具体坐标，确定孔位位置。

进一步的，在本申请的一种优选实施例中，如图2所示，对螺丝头位置信息进行分析具体包括以下步骤：

步骤S311、获取目标产品外壳图像；

步骤S312、对所述目标产品外壳图像进行斑点分析和形状匹配；

步骤S313、结合斑点分析和形状匹配得出的分析结果，判断螺丝头是否完全填满孔位。

进一步的，在本申请的一种优选实施例中，对螺丝高度信息进行分析具体包括以下步骤：

步骤S321、获取螺丝头和孔位之间的高度差；

步骤S322、计算高度差与标准差之间的差值；

步骤S323、若差值大于预设值，则判定螺丝安装不到位。

步骤S4、根据目标双工位螺丝机工位的图像体征判断目标双工位螺丝机工位的工作状态；

步骤S5、若存在异常图像体征则输出缺陷分类。

进一步的，在本申请的一种优选实施例中，所述对工作图像进行图像处理具体包括以下步骤：

步骤S201、读取所述工作图像；

步骤S202、将所述工作图像进行分割；

步骤S203、分别对已分割的工作图像进行斑点分析、形状匹配和高度参考线比对分析。

斑点分析的算法：在图像中，相关对象的像素（也称为前景）通过其灰度值来识别。例如，图中示例显示了液体中的组织颗粒，这些粒子是明亮的，液体（背景）是暗的，通过选择明亮的像素（阈值），可以很容易检测到颗粒。在许多应用中，暗像素和亮像素的简单条件不再成立，但结果相同可以通过额外的预处理或像素选择/分组的替代方法来实现。斑点分析主要包括读取图像、分割图像和分析目标体征三部分，其中采集图像后，接下来的任务是选择前景像素，这便称为分割，结果在HALCON中通常将此过程为Blob（二进制大对象），数据类型为区域(a region)。在最后一步中，将计算出诸如面积（像素数），重心或方向之类的特征。

在部分实施例中，重点区域必须相对于另一个对象对其，或者图像本身可以对齐，通过旋转或裁剪的方式使图像本身对齐。

在分割图像的过程中，涉及矫正图像、对图像进行预处理、提取分割参数、分割图像、处理区域、特征提取、将结果转换为世界坐标。

校正图像：与对齐类似，可能需要校正图像，例如消除镜头畸变或转换图像的参考点。

预处理图像（过滤）：下一个重要部分是图像的预处理，在这里，像mean_image或gauss_filter这样的运算符可用于消除噪音。一个快速但不太完美的替代方案是binomial_filter。运算符middle_image对于抑制小斑点或细线很有用。算子anisotropic_diffusion(各向异性扩散)对保留边缘的平滑很有用，最后使用fill_interlace消除由隔行交错相机(摄像机视频流图像)引起的缺陷。

提取分割参数：代替使用固定的阈值，可以为每个图像动态提取它们。例如具有多个峰值的灰度值直方图，每个对象类别一个。在这里，可以使用算子gray_histo_abs和histo_to_thresh。作为高级替代方案，可以将算子intensity与参考图像结合使用,仅适用于背景：在设置过程中，将确定背景区域的平均灰度值。如果平均灰度值已更改，则可以相应调整阈值。

分割图像：对于分割，可以使用各种方法。最简单的方法是threshold(阈值)，指定一个属于前景对象的值范围。另一个非常常见的方法是dyn_threshold。在此，第二张图像将作为参考图像。通过这种方法，使用局部阈值而不是全局阈值。这些局部阈值存储在参考图像中。可以通过拍摄空背景图片将其设为静态作为参考图像，也可以使用平滑滤镜(例如mean_image)

处理区域：一旦斑点区域被分割。通常需要对其进行修改，例如，通过抑制小区域，给定方向或接近其他区域的区域。在这种情况下，形态算子open_circle和opening_rectangle通常可用于抑制噪声，closeing_circle和closing-rectanglel填补空白。可以使用select_shape，select_shape_std和select-proto-proto选择具有特定功能的斑点。

特征提取：最终处理时，将提取斑点的特征，所需功能的类型取决于应用程序。类型列表可以在参考手册的“Regions/Features"和"Image/Features"中找到。

将结果转换为世界坐标：诸如面积或重心之类的要素通常必须转换为世界坐标。这可以通过HALCON相机校准实现。

可视化结果：显示图像的斑点（区域）和特征。

形状匹配：基于形状匹配的算法主要是针对目标小区域来建立模板，对整个图像建立模板也可以。

一种双工位自动螺丝拧装检测系统，应用前述的一种双工位自动螺丝拧装检测方法，如图4所示，包括：第一拍摄单元、第二拍摄单元、数据采集模块、光源和中控模块，其中：

所述第一拍摄单元和第二拍摄单元分别拍摄不同角度的工作图像；所述数据采集模块采集第一拍摄单元和第二拍摄单元拍摄到的图像；所述光源为工位提供光源；所述中控模块分析所述数据采集模块采集的图像，根据图像体征分析缺陷类型。

进一步的，在本申请的一种优选实施例中，所述中控模块根据所述采集模块获取的图像信息归类型号，并将型号对应的缺陷类型进行储存。

进一步的，在本申请的一种优选实施例中，所述第一拍摄单元为面阵相机，对目标产品外壳进行拍照，定位目标产品外壳的孔位。

一种双工位自动螺丝拧装检测装置，包括工业面阵相机、工业镜头、数据采集卡和中控机，其中：

所述工业面阵相机位于目标产品上方，通过左右运动装置移动实时拍摄目标产品上方的工作图像；

所述工业镜头设置在目标产品工位侧面，实时拍摄目标产品工位上的工作图像；

所述数据采集卡连接所述工业面阵相机和所述工业镜头，获取所述工业面阵相机和所述工业镜头拍摄的图像；

所述中控机包括主控芯片，对所述工业面阵相机和所述工业镜头获取的目标产品的工作图像进行处理，对图像分析并输出图像存在的缺陷类型。

如图2所示，一种双工位自动螺丝拧装检测装置在工作过程中，先通过人工将目标产品放置在工位上，然后启动装置，所述工业面阵相机开始对工位上的目标产品进行拍照定位，确定好孔位后将孔位信息反馈给中控机，随机中控机发送信号给双工位螺丝机进行精准拧装螺丝，螺丝安装成功即完成。

进一步的，在本申请的一种优选实施例中，还包括工业光源，所述工业光源为面阵光源。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种双工位自动螺丝拧装检测方法，其特征在于，包括以下步骤：

实时获取目标双工位螺丝机工位的工作图像；

对工作图像进行图像处理，分别提取孔位信息、螺丝头位置信息和螺丝高度信息；

对孔位信息、螺丝头位置信息和螺丝高度信息进行分析，得出目标双工位螺丝机工位的图像体征；

根据目标双工位螺丝机工位的图像体征判断目标双工位螺丝机工位的工作状态；

若存在异常图像体征则输出缺陷分类。

2.根据权利要求1所述的一种双工位自动螺丝拧装检测方法，其特征在于，所述对工作图像进行图像处理具体包括以下步骤：

读取所述工作图像；

将所述工作图像进行分割；

分别对已分割的工作图像进行斑点分析、形状匹配和高度参考线比对分析。

3.根据权利要求1所述的一种双工位自动螺丝拧装检测方法，其特征在于，对孔位信息进行分析具体包括以下步骤：

获取目标产品外壳图像；

对目标产品外壳图像进行图像处理，获取孔位具体坐标，确定孔位位置。

4.根据权利要求1所述的一种双工位自动螺丝拧装检测方法，其特征在于，对螺丝头位置信息进行分析具体包括以下步骤：

获取目标产品外壳图像；

对所述目标产品外壳图像进行斑点分析和形状匹配；

结合斑点分析和形状匹配得出的分析结果，判断螺丝头是否完全填满孔位。

5.根据权利要求1所述的一种双工位自动螺丝拧装检测方法，其特征在于，对螺丝高度信息进行分析具体包括以下步骤：

获取螺丝头和孔位之间的高度差；

计算高度差与标准差之间的差值；

若差值大于预设值，则判定螺丝安装不到位。

6.一种双工位自动螺丝拧装检测系统，其特征在于，应用权利要求1至5任一项所述的一种双工位自动螺丝拧装检测方法，包括：第一拍摄单元、第二拍摄单元、数据采集模块、光源和中控模块，其中：

所述第一拍摄单元和第二拍摄单元分别拍摄不同角度的工作图像；所述数据采集模块采集第一拍摄单元和第二拍摄单元拍摄到的图像；所述光源为工位提供光源；所述中控模块分析所述数据采集模块采集的图像，根据图像体征分析缺陷类型。

7.根据权利要求6所述的一种双工位自动螺丝拧装检测系统，其特征在于，所述中控模块根据所述采集模块获取的图像信息归类型号，并将型号对应的缺陷类型进行储存。

8.根据权利要求6所述的一种双工位自动螺丝拧装检测系统，其特征在于，所述第一拍摄单元为面阵相机，对目标产品外壳进行拍照，定位目标产品外壳的孔位。

9.一种双工位自动螺丝拧装检测装置，其特征在于，包括工业面阵相机、工业镜头、数据采集卡和中控机，其中：

所述工业面阵相机位于目标产品上方，通过左右运动装置移动实时拍摄目标产品上方的工作图像；

所述工业镜头设置在目标产品工位侧面，实时拍摄目标产品工位上的工作图像；

所述数据采集卡连接所述工业面阵相机和所述工业镜头，获取所述工业面阵相机和所述工业镜头拍摄的图像；

所述中控机包括主控芯片，对所述工业面阵相机和所述工业镜头获取的目标产品的工作图像进行处理，对图像分析并输出图像存在的缺陷类型。

10.根据权利要求9所述的一种双工位自动螺丝拧装检测装置，其特征在于，还包括工业光源，所述工业光源为面阵光源。

Images