CN102034098A

CN102034098A - 螺钉自动分类系统以及螺钉自动分类方法

Info

Publication number: CN102034098A
Application number: CN 201010600542
Authority: CN
Inventors: 赵莹
Original assignee: Shanghai Dianji University
Current assignee: Shanghai Dianji University
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2011-04-27

Abstract

本发明提供了一种螺钉自动分类系统以及螺钉自动分类方法。根据本发明的螺钉自动分类系统包括：图像采集及处理装置，用于采集并处理螺钉的图像，并产生控制控制信号；接口单元，用于将控制信号传递给执行机构；以及执行机构，用于根据所述控制信号来对螺钉执行操作。本发明一方面解决了传统靠人力进行生产线零件分类的问题，极大降低了生产成本；另一方面克服了传统CCD相机的不足，将图像采集、处理与通信高度集成，并且提高系统的稳定性。

Description

螺钉自动分类系统以及螺钉自动分类方法

技术领域

本发明涉及基于智能相机的机器视觉检测系统，具体涉及一种非接触的螺钉自动分类系统以及螺钉自动分类方法。

背景技术

螺钉是具有各种结构形状头部的螺纹紧固件，由于其连接可靠，装配与拆卸方便，因此被广泛地应用在机械设备以及装备制造业中。目前随着现代工业生产自动化程度的提高，在许多装配生产线上越来越多的使用机械手进行自动装配，这就要求装配线上的螺丝必须经过全检。另一方面随着全球电子业的飞速发展，消费类电子越来越复杂化及小型化，即功能越来越多外形却越来越小，比如笔记本电脑、手机、PDA(个人数字助理)等。这就要求螺钉尺寸也愈发严格。

按照螺钉槽型，可以分为十字、一字、内三角、内角四方、内六角、外六角等等。可按照螺钉尺寸进行分类，同时也可依据国际标准进行分类。因此在工程中，必须根据实际应用进行分类检测。

在我国的制造业中，通常采用机械、人工的传统方式对螺钉进行检测分类。利用机械检测方法人工测出某些参数，即用卡尺或光学放大仪进行尺寸测量，然后再通过数学公式人工计算出零件的尺寸。对于不同槽型的螺钉，通常是使用人工进行筛选。

这种传统的检测方法不仅影响工厂效率，而且带来不可靠的因素，直接影响产品质量与成本。许多检测工序不仅要求检测外观，同时需要准确获取检测数据，如零件的宽度、圆孔的直径以及基准点的坐标，对微小尺寸的精确快速测量、形状匹配以及颜色辨识等，依靠肉眼根本无法连续稳定地进行，其它物理量传感器也难以胜任。

另外，现代制造产品种类越来越多，制造精度越来越高，很多场合要求实时、在线、非接触检测；现代制造业的发展需要更快速、更有效的产品检测技术，因此传统方法的不足以完成。

现代工业生产生活中，用摄像机代替人眼对目标进行识别、跟踪和测量等的机器视觉系统由此而迅速发展，使得机器视觉系统已成为重要环节之一。用CCD(电荷耦合元件)照相机抓取图像后送入计算机或专用的图像处理模块，通过数字化处理，根据像素分布和亮度、颜色等信息来进行尺寸、形状、颜色等的判别。这种方法是把计算机处理的快速性、可重复性与肉眼视觉的高度智能化和抽象能力相结合，它可以广泛应用于在线测量、逆向工程等主动、实时测量过程，是机器视觉检测的发展趋势。

但是，在现有的利用摄像机进行识别、跟踪和测量的检测方法中，存在很多问题。首先，现有的利用摄像机的检测方案比较复杂，不利于操作人员学习、使用和维护该系统，且系统安装复杂，从而延长了产品的安装和调试时间。其次，现有的利用摄像机的检测方案受到相机视频信号制式带来的采集速度限制，采集速度无法提高。最后，现有的利用摄像机的检测方案的可靠性、效率及稳定性都不高，即无法实现较高的可靠性、效率及稳定性。

因此，希望能够提出一种能够以较低成本高速有效地对螺钉进行自动分类的技术方案。

发明内容

因此，本发明的一个目的是提供一种能够以较低成本高速有效地对螺钉进行自动分类的现有的利用摄像机的检测方法。

根据本发明的第一方面，提供了一种螺钉自动分类系统，其包括：图像采集及处理装置，用于采集并处理螺钉的图像，并产生控制控制信号；接口单元，用于将控制信号传递给执行机构；以及执行机构，用于根据所述控制信号来对螺钉执行操作。

在上述螺钉自动分类系统中，所述图像采集及处理装置包括黑白CMOS摄像头以及信息处理模块。

在上述螺钉自动分类系统中，所述信息处理模块包括用于控制与通讯的ARM处理器以及用于数据运算的数字信号处理器。

在上述螺钉自动分类系统中，所述执行机构包括机械手臂，并且所述机械手臂用于将螺钉传输到不同的位置。

在上述螺钉自动分类系统中，所述信息处理模块用于：对图像进行去噪处理，去除噪声；对图像进行高斯滤波，得到平滑图像；利用直方图均衡化方法，增强图像，提高视觉效果；对预处理后的图像进行二值化处理；随后，对二值化图像进行边缘检测以得到清晰的边缘图像。

根据本发明的第二方面，提供了一种螺钉自动分类方法，其包括：利用图像采集及处理装置来采集并处理螺钉的图像，并产生控制控制信号；利用接口单元来将控制信号传递给执行机构；以及利用执行机构根据所述控制信号来对螺钉执行操作。

在上述螺钉自动分类方法中，所述图像采集及处理装置包括黑白CMOS摄像头以及信息处理模块。

在上述螺钉自动分类方法中，所述利用执行机构根据所述控制信号来对螺钉执行操作的步骤包括利用执行机构中的机械手臂将螺钉传输到不同的位置。

在上述螺钉自动分类方法中，所述利用图像采集及处理装置来采集并处理螺钉的图像并产生控制控制信号的步骤包括：对图像进行去噪处理，去除噪声；对图像进行高斯滤波，得到平滑图像；利用直方图均衡化方法，增强图像，提高视觉效果；对预处理后的图像进行二值化处理；随后，对二值化图像进行边缘检测以得到清晰的边缘图像。

在上述螺钉自动分类方法中，所述利用图像采集及处理装置来采集并处理螺钉的图像并产生控制控制信号的步骤还包括：对边缘图像进行几何特征提取，若检测到一条连续边缘，则利用角点检测，得到该边缘的几何特征，从而进行形状分类；若检测到两条连续边缘，则分别检测内外边缘的几何特征，从而进行分类。

本发明一方面解决了传统靠人力进行生产线零件分类的问题，极大降低了生产成本。另一方面，克服了传统CCD相机的不足，将图像采集、处理与通信高度集成，并且提高系统的稳定性。而且，本发明将机器视觉技术的优越性以及同螺纹形状分类密切结合起来，研究螺钉自动分类的机器视觉方法，从而达到分类速度快、精度高的目的。此外，产线上的非接触式螺钉在线检测，检测速度快、精度高，具有很好的推广应用价值。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1是根据本发明实施例的螺钉自动分类系统的示意图。

图2是根据本发明实施例的智能相机的一个示例的内部结构图。

图3是根据本发明实施例的螺钉自动分类方法的处理的流程图。

图4是根据本发明实施例的人机接口模块示意图。

图5是根据本发明实施例的智能相机触发装置的示意图。

需要说明的是，附图用于说明本发明，而非限制本发明。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

[螺钉自动分类系统的结构]

图1是根据本发明实施例的螺钉自动分类系统的示意图。如图1所示，本发明的该实施例是一种基于智能相机的螺钉自动分类系统，该螺钉自动分类系统包括：图像采集及处理装置、人机接口模块、网络服务器、传输模块和执行机构五部分组成。

具体地说，智能相机作为图像采集及处理装置的一个具体示例，其被配置用于采集并处理螺钉的图像，其实时采集生产线上螺钉图像，通过图像处理和同步图像识别实现螺钉形状分类，输出信号至执行机构与网络服务器。

人机接口模块例如由信号灯、视频显示器和操作按钮组成，用于接受所述智能相机的输出信号，执行相应的显示或预警。

基于总线形式的传输模块，在系统中分别负责智能相机与执行机构之间进行通信，以及智能相机与网络服务器之间进行通信。

执行机构由机械手臂与处理器构成，其中执行机构接收智能相机发出的控制信号，并根据该控制信号来执行相应的动作。

网络服务器由以太网口构成，用于接收智能相机发出的数据信号，监控整个生产流程。

上述基于智能相机的螺钉自动分类系统的特征是采用智能相机作为采集和处理器。它是一种高度集成化的微小型机器视觉系统。将图像的采集、处理与通信功能集成于单一相机内，提供具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。下面将对智能相机的一个具体示例进行详细描述。

[螺钉自动分类系统中的智能相机示例的结构]

如图2所示，所示的智能相机内部结构包括：图像传感器、主控模块以及通讯接口三部分构成。

一个由黑白CMOS(互补金属氧化物半导体)摄像头构成的图像传感器(作为图像采集部分)被安装于生产线上方，用于采集螺钉图像，并通过一个数字接口与处理器相连接。本领域技术人员可以理解的是，黑白CMOS摄像头是一种优选示例，但是当然还可以采用CCD相机之类的任何合适的用户采集图像的器件。

一个由信息处理模块和存储模块共同组成的主控模块，接受来自图像传感器的关于生产线上螺钉状况的采集信息，通过图像处理、信息融合和同步图像识别实现螺钉分类，输出执行信号。

一个由VGA、以太网口(EtherNet)、USB以及CAN总线接口构成的通讯接口，其中VGA用于图像显示，以太网口用于数据传输，USB口用于固件烧写，CAN总线用于执行机构的控制。

在本发明的一个优选的具体实施例中，智能相机具有如下特征：

1.采用黑白CMOS，其热噪声较低、数据量较少、便于处理。考虑到成本因素并且镜头畸变对检测影响不大，因此采用成本相对较低的普通定焦镜头。

2.处理模块采用ARM处理器+DSP(数字信号处理器)的构架，DSP负责复杂、密集的数据运算，ARM负责控制与通讯。

3.存储部件由SDRAM(同步动态随机存储器)和闪存(图中由标号FLASHRAM表示)共同组成，SDRAM采用双向接口类型，且容量满足视频采集量的需要，FLASH RAM存储软件、系统参数和其它固件。

4.由CMOS采集到的图像经过数字接口，通过DMA(动态内存存取)方式传送到内存中，每次数据传输完成后，处理器开始对图像进行处理得到分类结果。根据结果将控制信号通过CAN接口发送给执行机构，同时处理结果通过以太网口传送到网络服务器。

[螺钉自动分类方法的处理流程]

本发明的基于智能相机的螺钉自动分类系统搭建在工业生产线上，根据螺钉槽型的不同形状，可以实现对生产线上的螺钉的自动分类。

首先参见图4，图4是根据本发明实施例的人机接口模块示意图。如图所示，使用者通过人机接口模块中的启动按钮开启生产线，通过上料按钮启动执行机构的机械手臂，机械手臂作为上料装置将待检测螺钉输送至特定的像场位置并定位。右上角的工作状态指示器分正常、预警以及制动三种，分别闪烁绿色、黄色以及红色的灯光。

图5是根据本发明实施例的智能相机触发装置的示意图。参见图5，图中的标号1和2表示红外传感器。当红外传感器检测到待检螺钉已经就绪后，发送信号指示触发智能相机开启并采集螺钉头部的俯视图像。并且，利用图4中彩色LCD显示器实时显示当前拍摄图像。

具体地说，如图3所示，螺钉自动分类系统软件控制处理流程的整个分类识别过程由六个部分构成：去噪、滤波、图像增强、二值化、边缘检测、几何特征提取。现在参见图3具体描述如下：

在第一步骤中，采集当前拍摄图像到内存中。

在第二步骤中，对图像进行去噪处理，去除噪声。

在第三步骤中，对图像进行高斯滤波，得到平滑图像。

在第四步骤中，利用直方图均衡化方法，增强图像，提高视觉效果。

在第五步骤中，对预处理后的图像进行二值化处理。

在第六步骤中，对二值化图像进行边缘检测(对外边缘进行检测，或者对外边缘和内边缘均进行检测)，得到清晰的边缘图像。

在第七步骤中，对边缘图像进行几何特征提取，若检测到一条连续边缘，则利用角点检测，得到该边缘的几何特征，从而进行形状分类。若检测到两条连续边缘，则分别检测内外边缘的几何特征，从而进行分类。

现在回到图1，在上述利用智能相机对采集到的图像进行处理和分类、得到螺钉的分类结果，并根据分类结果传输控制信号给执行机构之后；执行机构收到控制信号后执行相应的动作，将螺钉传输到不同的位置。同时智能相机将处理结果通过以太网传输到网络服务器，网络服务器对数据进行统计和分析，监控整个生产流程。

也就是说，在根据本发明实施例的螺钉自动分类方法的处理流程中，当工件到达测量区域后，由红外传感器触发智能相机，智能相机启动测量程序分别执行图像采集、预处理、特征边缘提取、参数计算等步骤后存储测量数据，并将测量结果输出给执行机构，由执行机构对工件进行分类。

由此，本发明采用智能相机作为系统的采集、处理及网络通讯模块，克服了传统CCD相机的不足。根据本发明的螺钉自动分类系统具有易学、易用、易维护、安装方便等特点，大大缩短产品的安装和调试时间。并且，根据本发明的螺钉自动分类系统不受普通相机视频信号制式带来的采集速度限制，采集速度快。而且，根据本发明的螺钉自动分类系统实现了图像采集单元，图像处理单元，图像处理软件，通信装置的高度集成。通过可靠性设计可以获得较高的效率及稳定性。完全避免了普通视觉系统在采集卡通道切换，卡间切换带来的额外时间，使生产线的效率大大提高。

总之，根据本发明的螺钉自动分类系统实现了生产线上的非接触式螺钉在线检测，并且检测速度快、精度高，具有很好的推广应用价值。

[其它修改]

本领域技术人员可以理解的是，在不脱离本发明的精神的情况下，可以对上述实施例作出各种修改，例如用于通信的网络可以是以太网之外的其它任何合适的通信网络。并且，本领域技术人员可以理解的是，例如，用于表示正常、预警以及制动三种情况的灯光颜色并不限于绿色、黄色以及红色的灯光，而是可以采用任何可以视觉区分的不同颜色。此外，本领域技术人员可以理解的是，用户传输数据的接口协议并不限于上述接口，而是可以采用任何合适的接口形式。

总之，对于本领域技术人员来说明显的是，可在不脱离本发明的范围的情况下对本发明进行各种改变和变形。所描述的实施例仅用于说明本发明，而不是限制本发明；本发明并不限于所述实施例，而是仅由所附权利要求限定。

Claims

1.一种螺钉自动分类系统，其特征在于包括：

图像采集及处理装置，用于采集并处理螺钉的图像，并产生控制控制信号；接口单元，用于将控制信号传递给执行机构；以及

执行机构，用于根据所述控制信号来对螺钉执行操作。

2.根据权利要求1所述的螺钉自动分类系统，其特征在于，所述图像采集及处理装置包括黑白CMOS摄像头以及信息处理模块。

3.根据权利要求3所述的螺钉自动分类系统，其特征在于，所述信息处理模块包括用于控制与通讯的ARM处理器以及用于数据运算的数字信号处理器。

4.根据权利要求1或2所述的螺钉自动分类系统，其特征在于，所述执行机构包括机械手臂，并且所述机械手臂用于将螺钉传输到不同的位置。

5.根据权利要求2所述的螺钉自动分类系统，其特征在于，所述信息处理模块用于：对图像进行去噪处理，去除噪声；对图像进行高斯滤波，得到平滑图像；利用直方图均衡化方法，增强图像，提高视觉效果；对预处理后的图像进行二值化处理；随后，对二值化图像进行边缘检测以得到清晰的边缘图像。

6.一种螺钉自动分类方法，其特征在于包括：

利用图像采集及处理装置来采集并处理螺钉的图像，并产生控制控制信号；利用接口单元来将控制信号传递给执行机构；以及

利用执行机构根据所述控制信号来对螺钉执行操作。

7.根据权利要求6所述的螺钉自动分类方法，其特征在于，所述图像采集及处理装置包括黑白CMOS摄像头以及信息处理模块。

8.根据权利要求6或7所述的螺钉自动分类方法，其特征在于，所述利用执行机构根据所述控制信号来对螺钉执行操作的步骤包括利用执行机构中的机械手臂将螺钉传输到不同的位置。

9.根据权利要求6或7所述的螺钉自动分类方法，其特征在于，所述利用图像采集及处理装置来采集并处理螺钉的图像并产生控制控制信号的步骤包括：对图像进行去噪处理，去除噪声；对图像进行高斯滤波，得到平滑图像；利用直方图均衡化方法，增强图像，提高视觉效果；对预处理后的图像进行二值化处理；随后，对二值化图像进行边缘检测以得到清晰的边缘图像。

10.根据权利要求7所述的螺钉自动分类方法，其特征在于，所述利用图像采集及处理装置来采集并处理螺钉的图像并产生控制控制信号的步骤还包括：对边缘图像进行几何特征提取，若检测到一条连续边缘，则利用角点检测，得到该边缘的几何特征，从而进行形状分类；若检测到两条连续边缘，则分别检测内外边缘的几何特征，从而进行分类。