CN112643324A - 自动打螺丝设备及采用该设备的自动打螺丝的方法 - Google Patents

Abstract

本发明提供一种自动打螺丝设备，旨在解决现有打螺丝设备精度低、效率低的问题。所述自动打螺丝设备包括数据采集装置和数据处理装置，所述数据处理装置包括检测模组和螺孔管理模组，所述检测模组包括标记单元、螺孔识别单元和计算单元。所述数据采集装置获取产品图像，所述数据处理装置根据所述数据采集装置获取的产品图像，识别计算得到螺孔的坐标信息。本发明提供的自动打螺丝设备精度高、效率高。同时，本发明还提供一种采用上述自动打螺丝设备的打螺丝方法。

Description

自动打螺丝设备及采用该设备的自动打螺丝的方法

技术领域

本发明涉及产品装配技术领域，尤其涉及一种自动打螺丝设备及其采用上述自动打螺丝设备的打螺丝方法。

背景技术

现有技术中，打螺丝技术广泛应用于家用电器、电子等领域。

现有技术中的打螺丝机操作一般通过人工肉眼判断螺孔位置，并以电动螺丝刀拧紧螺丝。

然而，现有技术的打螺丝机方法存在以下缺陷：

缺陷一：螺孔位置依靠人肉眼观察，标准不统一，易受个人视力、情绪、光线的影响，尤其当待打螺丝产品内的螺孔直径较小时，打螺丝精确度无法保证，容易出现螺丝与螺丝孔对不准，导致螺丝孔面板被破坏；

缺陷二：通过手动移动实现螺孔与螺丝的对位，存在较大误差，影响安装精度和安装效率。

为解决上述技术问题，现有技术也有采用高清摄像头取代人眼捕捉螺丝孔位置的技术方案，但是鉴于高清摄像头的价格昂贵，成本较高。同时，因为打螺丝工艺还需要再采集数据的基础上实现自动打螺丝步骤，仍然无法完全替代人工。

因此，亟需提供一种可精确识别螺孔位置，并自动进行打螺丝操作的设备及方法以有效解决现有技术打螺丝精度较低、安装效率较低的问题。

发明内容

本发明为了解决现有技术打螺丝精度较低、安装效率较低的问题，提供一种精度较高、效率高的自动打螺丝设备。

同时本发明还提供一种采用上述自动打螺丝设备的打螺丝方法。

一种自动打螺丝设备，包括数据采集装置和数据处理装置，所述数据采集装置获取产品图像，所述数据处理装置根据所述数据采集装置获取的产品图像，识别计算得到螺孔的坐标信息，并设定打螺丝顺序。

进一步地，所述数据采集装置是通过分区拍照再合成完整图像的方式获取产品图像。

进一步地，所述数据处理装置包括检测模组和螺孔管理模组，所述检测模组根据所述数据采集装置获取的产品图像识别得到产品螺孔的坐标信息，所述螺孔管理模组根据所述螺孔的坐标信息，设定打螺丝顺序。

进一步地，所述检测模组包括标记单元、螺孔识别单元和计算单元，所述标记单元根据所述数据采集装置获取的产品图像，识别得到特征值高标记点，所述螺孔识别单元根据所述数据采集装置获取的产品图像，通过深度学习识别螺孔，所述计算单元根据所述标记模组识别的标记点或所述孔位识别模组识别的螺孔，计算生成螺孔的坐标信息。

进一步地，所述数据处理装置是由ARM及PLC组成。

进一步地，所述自动打螺丝设备还包括打螺丝装置，所述打螺丝装置根据所述数据处理装置得到的螺孔的坐标信息对相应螺孔进行打螺丝操作。

一种采用上述自动打螺丝设备的打螺丝方法，包括如下步骤：

提供固定装置，用于固定具螺孔的产品；

提供数据采集装置，对置于所述固定装置的具螺孔的产品进行拍照，获取产品图像；

提供数据处理装置，根据所述数据采集装置获取的产品图像，识别计算得到螺孔的坐标信息，并设定打螺丝顺序；

提供打螺丝装置，根据所述数据处理装置得到的螺孔的坐标信息与设定的打螺丝顺序，对相应螺孔进行打螺丝操作。

进一步地，所述数据采集装置对置于所述固定装置的具螺孔的产品进行拍照与识别计算时还包括如下步骤：

提供检测模组，根据所述数据采集装置获取的产品图像，识别计算得到产品螺孔的坐标信息；

提供螺孔管理模组，根据所述螺孔的坐标信息，设定打螺丝顺序。

进一步地，所述检测模组在根据所述数据采集装置得到的产品图像识别计算得到产品螺孔的坐标信息时还包括如下步骤：

提供标记单元，根据所述数据采集装置获取的产品图像，识别得到标记点；

提供螺孔识别单元，根据所述数据采集装置获取的产品图像，通过深度学习识别得到螺孔；

提供计算单元，根据所述标记模组识别的标记点或所述孔位识别模组识别的螺孔，计算生成螺孔的坐标信息。

相较于现有技术，本发明提供的自动打螺丝设备中，通过数据采集装置对产品螺孔进行识别并自动计算得出螺孔坐标，克服了生产过程的打螺丝操作中螺孔位置依靠人肉眼主观观察，受个人视力、情绪、光线影响的引起的定位不准的问题，尤其当待打螺丝产品内的螺孔直径较小时，打螺丝精确度无法保证，容易出现螺丝与螺丝孔对不准，导致螺丝孔面板被破坏。

同时，本发明提供的自动打螺丝设备克服了通过手动移动实现螺孔与螺丝的对位存在较大误差、影响安装精度和安装效率的问题。

除此之外，本发明提供的自动打螺丝设备中，当采用所述数据采集装置进行数据采集时，采用分区拍照再合成的方式，使用一般清晰度摄像头即可完成图像的完整采集，此方式可替代高清摄像头的作用，从而达到降低设备成本的效果。

最后，本发明还提供了一种自动打螺丝的方法，所述自动打螺丝的方法通过深度学习对螺孔进行识别与计算，得出螺孔坐标，并对相应坐标的螺孔进行精准安装螺丝。

附图说明

图1是本发明所揭示的自动打螺丝设备的立体结构图；

图2是图1所示数据处理装置的结构框图；

图3是图1所示自动打螺丝设备的加工流程示意图；

图4是图3所示步骤S03的流程示意图；

图5是图4所示步骤S31的流程示意图；

图6是图3所示步骤S06的流程示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，是本发明所揭示的自动打螺丝设备的立体结构图。所述自动打螺丝设备10包括基座11、Y向移动装置12、固定装置 13、X向移动装置15、数据采集装置16、数据处理装置17、Z向移动装置18及打螺丝装置19。

所述基座11支撑所述Y向移动装置12、固定装置13、X向移动装置15、数据采集装置16、数据处理装置17、Z向移动装置18及打螺丝装置19于设定高度。设定所述基座11的上表面所在平面为水平面，即工作面，所述工作面为长方形。于所述工作面内，平行于长方形长边的方向定义为Y向，垂直于长方形长边的方向定义为X向，同时，垂直于所述工作面方向定义为Z向。

所述Y向移动装置12铺设于所述基座11的表面，并可在电机的驱动下于所述基座11表面沿Y向水平移动，本实施例中所述Y向移动装置12的数量为两条，相互平行间隔设置，分别为Y向移动装置121及Y向移动装置123。

所述固定装置13是一固定夹具，其有效固定待加工产品于其上。在本实施例中，所述固定装置13的数量是两个，分别为固定装置131 及固定装置133，所述待加工的产品是一手机主板，其上设置有多个螺孔，通过所述自动打螺丝设备10对所述手机主板进行打螺丝操作。所述固定装置13置于所述Y向移动装置12上，当所述Y向移动装置12移动时，其带动所述固定装置13及待加工的手机主板同步沿Y 向移动。

所述X向移动装置15架设于所述基座11的工作面上方，其在电机的驱动作用下，沿X向移动。

所述数据采集装置16固定至所述X向移动装置15，并随所述X 向移动装置15同步X向移动。鉴于固定装置13在所述Y向移动装置12的带动下沿Y向移动，同时，所述数据采集装置16在所述X 向移动装置15的带动下沿X向移动，实现所述数据采集装置16相对所述固定装置13之间的相对移动，同时，也实现了所述数据采集装置16相对所述待加工手机主板之间的相对移动。所述数据采集装置16用于对手机主板进行拍照，得到手机主板图像。

所述Z向移动装置18整体固定至所述X向移动装置15并随所述X向移动装置15同步X向移动。所述Z向移动装置18在电机的驱动作用下可沿Z向进行移动。

所述打螺丝装置19固定至所述Z向移动装置18，并随所述Z向移动装置18同步Z向移动。鉴于所述Z向移动装置18整体可沿X 向移动，故打螺丝装置19也实现了X向移动；同时，鉴于所述待加工产品在所述Y向移动装置12的带动下沿Y向移动，因此，实现所述打螺丝装置19相对所述固定装置13之间的三维移动，同时，也实现了所述打螺丝装置19相对所述待加工产品之间的三维移动。

请结合参阅图2，是图1所示自动打螺丝设备中数据处理装置17 的结构框图。所述数据处理装置17是由ARM及可编程控制器(PLC) 组成，与所述Y向移动装置12、X向移动装置15、数据采集装置16、 Z向移动装置18及打螺丝装置19电连接，所述数据处理装置17接收来自所述数据采集装置16获取的手机主板图像并识别计算得到螺孔的坐标信息，所述Y向移动装置12、X向移动装置15及Z向移动装置18接收来自所述数据处理装置17的螺孔坐标信息和设定的打螺丝顺序分别进行Y向、X向及Z向的移动，所述打螺丝装置19接收来自数据处理装置17设定的打螺丝指令，对相应螺孔进行打螺丝操作。

所述数据处理装置17包括检测模组171及螺孔管理模组173，所述检测模组171根据所述数据采集装置16获取的手机主板图像识别得到产品螺孔的坐标信息，所述螺孔管理模组173根据所述螺孔的坐标信息设定打螺丝顺序。所述检测模组171包括标记单元1711、螺孔识别单元1713及计算单元1715。所述标记单元1711根据所述数据采集装置16获取的手机主板图像，识别得到标记点，所述螺孔识别单元1713根据所述数据采集装置16获取的手机主板图像，通过深度学习的方法识别得到螺孔，所述计算单元1715根据所述标记模组1711识别得到的标记点或所述孔位识别模组1713识别得到的螺孔，计算生成螺孔的坐标信息。

再参阅图3，是图1所示自动打螺丝设备的工作流程示意图，当所述自动打螺丝设备10对产品进行打螺丝操作时，其包括如下步骤：

步骤S01，提供二固定装置131及133，提供二待打螺丝的手机主板，提供二Y向传输装置121及123，将手机主板分别置于所述固定装置131及所述固定装置133，所述固定装置131及所述固定装置 133分别置于所述Y向移动装置121及所述Y向移动装置123；

步骤S02，提供数据采集装置16，提供X向移动装置15，所述数据采集装置16对置于所述固定装置131的手机主板进行分区拍照，设定分为88个区域进行拍摄，令Y向移动装置121沿Y向均匀移动 11次，每次移动距离为手机主板长度的十一分之一，每移动一次进行一次拍照采集，令X向移动装置15沿X向均匀移动8次，每次移动距离为手机主板宽度的八分之一，每移动一次进行一次拍照采集，共拍得11×8张图像，并对八十八张图片进行裁剪和合并，得到手机主板完整图像；

步骤S03，提供数据处理装置17，根据所述数据采集装置16获取的手机主板的完整图像，识别计算得到螺孔的坐标信息，并设定打螺丝顺序；

步骤S04，提供打螺丝装置19及Z向移动装置18，根据所述数据处理装置17得到的螺孔的坐标信息和设定的打螺丝顺序，对所述固定装置131中手机主板的相应螺孔进行打螺丝操作，具体流程为：根据设定为第一个打螺丝的螺孔的坐标，Y向移动装置121驱动固定装置131及手机主板沿Y向移动，X向移动装置15驱动打螺丝装置 19沿X向移动，使得该螺孔位于打螺丝装置19的正下方，随后所述 Z向移动装置18根据螺孔坐标的Z轴数值带动所述打螺丝装置19向下移动设定具体,将螺丝送至螺孔，并进行自动拧螺丝操作将螺丝拧紧，针对设定的下一个待打螺丝螺孔的操作也是同样，直到拧完该手机主板上所有的设定待打螺丝的螺孔；

步骤S05，数据采集装置16对置于所述固定装置133的手机主板进行分区拍照，针对该手机主板，设定分为88个区域进行拍摄，令Y向移动装置121沿Y向均匀移动11次，每次移动距离为手机主板长度的十一分之一，令X向移动装置15沿X向均匀移动8次，每次移动距离为手机主板宽度的八分之一，每移动一次进行一次拍照采集，共拍得11×8张图像，对八十八张图片进行裁剪和合并，得到手机主板完整图像；

步骤S06，数据处理装置17，根据所述数据采集装置16获取的手机主板图像，识别得到标记点，换算得出螺孔的坐标信息；

步骤S07，打螺丝装置19，根据所述数据处理装置17得到的螺孔的坐标信息，对所述固定装置133中手机主板的相应螺孔进行打螺丝操作，具体流程为：根据设定为第一个打螺丝的螺孔的坐标，Y向移动装置121驱动固定装置131及手机主板沿Y向移动，X向移动装置15驱动打螺丝装置19沿X向移动，使得该螺孔位于打螺丝装置19的正下方，随后所述Z向移动装置18根据螺孔坐标的Z轴数值带动所述打螺丝装置19向下移动设定具体,将螺丝送至螺孔，并进行自动拧螺丝操作将螺丝拧紧，针对设定的下一个待打螺丝螺孔的操作也是同样，直到拧完该手机主板上所有的设定待打螺丝的螺孔。

再参阅图4，在上述图3所示的自动打螺丝流程中，其中针对步骤S03，具体还包括如下步骤：

步骤S31，提供检测模组171，根据所述数据采集装置16获取的手机主板图像，识别计算得到标记点和产品螺孔的坐标信息；

步骤S32，提供螺孔管理模组173，根据所述标记点和螺孔的坐标信息，人工对识别得到的螺孔信息进行复核，若存在漏了识别出螺孔的情况，则可标记出需补录的螺孔的位置，选择补录程序，数据采集装置16可进一步对标记区域进行拍照，检测模组171根据重新采集得到的手机主板图像进行重新识别计算，得出标记点和产品螺孔的坐标信息。复核无误后，对螺孔进行顺序选择，设定打螺丝顺序。

再参阅图5，在上述图4所示的检测模组识别计算得到标记点和产品螺孔的坐标信息流程中，其中针对步骤S31，具体还包括如下步骤：

步骤S311，提供标记单元1711，根据SIFT算法检测手机主板图像中的关键点信息，聚类得到手机主板图像中特征值最高的三个位置作为标记点保存；

步骤S312，提供螺孔识别单元1713，所述螺孔识别单元提前录入原始螺孔信息，进行深度学习，再读取产品完整图像，识别出手机主板图像中的螺孔；

步骤S313，提供计算单元1715，根据所述螺孔识别单元1713 识别得出的手机主板图像中螺孔信息，输入深层卷积网络模型计算出图像中螺孔的坐标，在第一次识别的基础上截取坐标处螺丝孔的图片数据输入深层卷积网络进行二次识别定位，获取更加精确的螺丝孔坐标信息并将第一次识别得到的坐标进行矫正，最终得出螺孔坐标信息。

其中卷积神经网络公式为：

其中，x为第j层卷积输出值，M为图片像素值；

深层卷积网络模型输出层包括目标螺孔的横坐标bx、纵坐标by、直径bw、高度bh，计算公式为：

b_x＝σ(t_x)+c_xb_y＝σ(t_y)+c_y

再参阅图6，在上述图3所示的自动打螺丝流程中，其中针对步骤S06，具体还包括如下步骤：

步骤S61，提供标记单元1711，根据SIFT算法检测第二个固定装置中手机主板的图像中的关键点信息，聚类得到图像中特征值最高的三个位置作为标记点保存；

步骤S62，提供计算单元1715，对所述固定装置131及固定装置 133中手机主板图像的标记点进行对比，若两者标记点不同，则判断两手机主板为不同规格的手机主板，停止下一步操作，若两者标记点相同，则判断为相同规格手机主板，再根据标记点之间的偏移量及保存的固定装置131中手机主板的螺孔坐标，经过RT矩阵换算得出固定装置133中手机主板的螺孔坐标，RT矩阵换算公式为：

标记点偏移为二维坐标偏移，在三维坐标系中，旋转轴为z轴，当点绕z轴逆时针旋转θ度，则旋转角θ、原坐标点(x，y，z)和当前坐标点(x’，y’，z’)的关系为：

x’＝xcosθ-ysinθ

y’＝xsinθ+ycosθ

z’＝z

相较于现有技术，本发明提供的自动打螺丝设备10中，通过数据采集装置16对手机主板进行拍照获得手机主板图像，并通过数据处理装置17对所述数据采集装置16获得的图像利用深度学习识别螺孔并计算得出螺孔坐标，随后可自动使手机主板和打螺丝装置进行对准后实行打螺丝操作。克服了生产过程的打螺丝操作中螺孔位置依靠人肉眼观察，易受个人视力、情绪、光线影响的问题，尤其当待打螺丝产品内的螺孔直径较小时，打螺丝精确度无法保证，容易出现螺丝与螺丝孔对不准，导致螺丝孔面板被破坏。且克服了通过手动移动实现螺孔与螺丝的对位存在较大误差、影响安装精度和安装效率的问题。除此之外，本发明提供的自动打螺丝设备进行数据采集时采用分区拍照再合成的方式，使用一般清晰度摄像头即可完成图像的完整采集，此方式可替代高清摄像头的作用，从而达到降低设备成本的效果。同时本发明还提供了一种自动打螺丝的方法，所述自动打螺丝的方法通过深度学习对螺孔进行识别与计算，得出螺孔坐标，并对相应坐标的螺孔进行精准安装螺丝。

以上所述仅为本发明的一个实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种应用于对具螺孔的产品安装螺丝的自动打螺丝设备，其特征在于，包括：

数据采集装置，获取产品图像；

数据处理装置，根据所述数据采集装置获取的产品图像，识别计算得到螺孔的坐标信息，并设定打螺丝顺序。

2.根据权利要求1所述自动打螺丝设备，其特征在于，所述数据采集装置是通过分区拍照再合成完整图像的方式获取产品图像。

3.根据权利要求2所述自动打螺丝设备，其特征在于，所述数据处理装置包括：

检测模组，根据所述数据采集装置获取的产品图像，识别得到产品螺孔的坐标信息；

螺孔管理模组，根据所述螺孔的坐标信息，设定打螺丝顺序。

4.根据权利要求3所述自动打螺丝装置，其特征在于，所述检测模组包括标记单元、螺孔识别单元和计算单元，所述标记单元根据所述数据采集装置获取的产品图像，识别得到标记点，所述螺孔识别单元根据所述数据采集装置获取的产品图像，通过深度学习识别螺孔，所述计算单元根据所述标记模组识别的标记点或所述孔位识别模组识别的螺孔，计算生成螺孔的坐标信息。

5.根据权利要求1所述自动打螺丝设备，其特征在于，所述数据处理装置是由ARM及PLC组成。

6.根据权利要求1所述自动打螺丝设备，其特征在于，还包括固定装置，用于固定产品。

7.根据权利要求1所述自动打螺丝设备，其特征在于，还包括打螺丝装置，所述打螺丝装置根据所述数据处理装置得到的螺孔的坐标信息与设定的打螺丝顺序，对相应螺孔进行打螺丝操作。

8.一种自动打螺丝的方法，其特征在于，包括如下步骤：

提供固定装置，用于固定具多个螺孔的产品；

提供数据采集装置，对置于所述固定装置的产品进行拍照，获取产品图像；

提供数据处理装置，根据所述数据采集装置获取的产品图像，识别计算得到螺孔的坐标信息，并设定打螺丝顺序；

提供打螺丝装置，根据所述数据处理装置得到的螺孔的坐标信息与设定的打螺丝顺序，对相应螺孔进行打螺丝操作。

9.根据权利要求8所述的自动打螺丝的方法，其特征在于，所述数据采集装置对置于所述固定装置的产品进行拍照与识别计算时还包括如下步骤：

提供检测模组，根据所述数据采集装置获取的产品图像，识别计算得到产品螺孔的坐标信息；

提供螺孔管理模组，根据所述螺孔的坐标信息，设定打螺丝顺序。

10.根据权利要求9所述的自动打螺丝的方法，其特征在于，所述检测模组在根据所述数据采集装置得到的产品图像识别计算得到产品螺孔的坐标信息时还包括如下步骤：

提供标记单元，根据所述数据采集装置获取的产品图像，识别得到标记点；

提供螺孔识别单元，根据所述数据采集装置获取的产品图像，通过深度学习识别得到螺孔；

提供计算单元，根据所述标记模组识别的标记点或所述孔位识别模组识别的螺孔，计算生成螺孔的坐标信息。

Images