CN111805533B - 用于工件下料的装置、基于视觉定位的工件下料的方法 - Google Patents

Abstract

本发明提出一种用于工件下料的装置和基于视觉定位的工件下料的方法，所述装置包括：下料输送皮带，光电传感器，图像采集处理单元，控制器，机械手；所述下料输送皮带用于输送待下料的工件；所述光电传感器用于检测所述工件的工位信号，并将所述工位信号传输至控制器；所述控制器，用于接收工位信号，根据所述工位信号发送控制指令；所述图像采集单元，用于接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度；所述机械手用于抓取工件，完成工件的下料和装配。将视觉定位应用在工件生产中，对生产线进行更高层次的自动化升级，提高产品质量的同时，减少用人人工成本。

Description

用于工件下料的装置、基于视觉定位的工件下料的方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种用于工件下料的装置和基于视觉定位的工件下料的方法。

背景技术

传统的汽车大型钣金件生产过程中，一般是先将工件冲压成型，然后由机械手从模具取出后放在皮带线上，最后皮带线将工件运输到下料位置后由人工进行下料和装配。在这一过程中，由于工人直接和工件接触进行下料和装配，会对工件造成污染和损伤，从而降低工件的质量；再有部分工件体积大，人工搬运不方便，搬运过程中的安全性不高，同时传统方法会消耗大量的人力，随着近年来劳动力成本的不断上升，继续使用传统方法也将增加用人成本。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种用于工件下料的装置，将视觉定位应用在工件生产中，对生产线进行更高层次的自动化升级，提高产品质量的同时，减少用人人工成本。

本发明的第二个目的在于提出一种基于视觉定位的工件下料的方法。

为达到上述目的，本发明第一方面实施例提出的一种用于工件下料的装置，包括：下料输送皮带，光电传感器，图像采集处理单元，控制器，机械手；所述下料输送皮带用于输送待下料的工件；所述光电传感器用于检测所述工件的工位信号，并将所述工位信号传输至控制器；所述控制器，用于接收工位信号，根据所述工位信号发送控制指令；所述图像采集单元，用于接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度；所述机械手用于抓取工件，完成工件的下料和装配。

根据本发明的一个实施例，所述图像采集处理单元包括：接收单元，用于接收控制指令；采集单元，用于实时采集与所述工件相关的图像信息；第一处理单元，处理所述与所述工件相关的图像信息，包括：矫正单元，用于矫正所述图像信息，得到与所述图像信息相关的二值图像信息；拟合单元，用于根据所述二值图像信息得到与二值图像信息对应的端点信息；判断单元，用于根据所述端点信息判断采集的图像信息是否为待下料工件。

根据本发明的一个实施例，所述图像采集处理单元还包括：第二处理单元，用于根据端点信息计算所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，所述图像采集处理单元还包括：发送单元，用于发送所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，所述机械手根据位置信息和旋转角度抓取待下料工件。

为达到上述目的，本发明第二方面的实施例提出了一种基于视觉定位的工件下料的方法，所述方法应用于工件下料装置，所述工件下料装置包括：下料输送皮带，光电传感器，图像采集处理单元，控制器和机械手。下料输送皮带输送所述待下料的工件至工位。光电传感器检测所述工件的工位信号，并将所述工位信号传输至控制器。控制器接收工位信号，根据所述工位信号发送控制指令。

图像采集处理单元接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度。机械手抓取工件，完成工件的下料和装配。

根据本发明的一个实施例，图像采集处理单元接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息包括：实时采集与所述工件相关的图像信息；处理所述与所述工件相关的图像信息，包括：矫正所述图像信息，得到与所述图像信息相关的二值图像信息；根据所述二值图像信息得到与二值图像信息对应的端点信息。根据所述端点信息判断采集的图像信息是否为待下料工件。

根据本发明的一个实施例，处理所述图像信息得到所述工位的位置信息和旋转角度，包括：根据端点信息计算所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，处理所述图像信息得到所述工位的位置信息和旋转角度，还包括：发送所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，机械手抓取工件，完成工件的下料和装配，包括：机械手根据位置信息和旋转角度抓取待下料工件。

本发明提供的视觉定位在工件下料上的应用方法，将视觉定位应用在工件的生产中，对生产线进行更高层次的自动化升级；利用视觉识别的方法计算出经过皮带输送后的工件的平面和产生的旋转角度；利用机械手去完成下料和装配，减少了人工带来的污染和损伤，提升了产品的质量；利用机械手去完成小料和装配，避免了人工带来的污染与损伤；同时机器代替人工，减少了工厂人工成本；创建产品参数模板，可以直接在人机界面选择对应产品，实现生产线的自动切换，大大提高了工作效率。

本发明的附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的设备的总体结构图；

图2为根据本发明实施例的基于视觉定位的工件下料的方法流程图；

图3为根据本发明实施例的用于工件下料的装置结构方框图；

图4为根据本发明实施例的又一基于视觉定位的工件下料的方法流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面先对相关技术中的电机的缺相检测方法进行简单描述。

本发明针对在工件(如车门，引擎盖)生产过程的自动化装配需求，对产线进行升级改造，使用相机检测工件的位置，并计算出与基准位置之间的旋转角度，再将位置和角度信息传输到机械手，取代传统的人工下料，实现自动化下料。

设备的总体结构如图1所示，图中1为皮带输送线，2为待检测工件,3为光电传感器，4为LED光照范围，5为工业相机，6为工业机器人。

整个系统的流程如图2所示：在启动系统的时候需要在人机界面中手动选择此次需要检测的工件的种类，在终端为工厂中生产的每种工件都制作了参数模板，选择了某一种类后，系统中会自动代入该类产品的参数。这里的终端为计算机，中控室或者其他服务器的任一可规定参数模板的设备或平台。

工件从前端工序出来后通过皮带输送到自动下料工位，由于钣金件均为灰色，为了增加工件和背景之间的对比度，皮带选择使用绿色皮带。

当工件经过光电传感器时，触发工件到位信号，该信号传输到总控后控制相机取图。

相机取图后开始图像处理：首先对采集的图像根据相机的参数进行畸变的矫正；然后对矫正后的图像进行中值滤波，二值化和形态学处理的预处理，使图像成为轮廓清晰的二值图像；查找图像中的所有物体的外轮廓，然后拟合该外轮廓的最小外接矩形，可以得到每个轮廓的长边长度long_rect，短边长度short_rect，和轮廓的最小外接矩形的四个端点坐标P1，P2，P3和P4。

利用此时选择的工件的参数进行筛选，先将轮廓的长边作为宽度width，短边作为高度height，然后通过公式判断该轮廓是否为工件的轮廓。

其中，flag为标志位，当flag为1时表示该轮廓为工件的轮廓，否则舍弃轮廓。w_low为轮廓宽度下限,w_high为宽度上限,width为该轮廓实际宽度,h_low为高度下限,h_high为高度上限,height为实际高度,wh_low为宽高比下限,wh_hign为宽高比上限,wh为实际宽高比。全部轮廓筛选完毕后，统计flag为1的轮廓数量，若总数不为1则报警，提示人工处理，总数为1则进入下一步处理；

此时重新定义四个端点，线段P1P2和P4P3表示宽度，P2P3和P1P4表示高度，计算P1P2和水平线的夹角得出工件旋转的角度。设P1点坐标(x1,y1),P3(x3,y3),P2(x2,y2),瞬时针旋转的角度为正，工件中心坐标由公式计算得到：

工件的旋转角度θ可由公式计算得到：

最后将工件的中心点坐标(x0,y0)和旋转角度θ信息通过网口发送到机械手端，机械手先移动到工件中心点，然后夹爪旋转θ°再向下抓取工件，完成下料和装配。

利用视觉检测的方法计算出工件从冲压成型后，经过皮带输送线到达下料位置后的平面坐标以及旋转的角度。

机械手先平移到工件中心点坐标，再将夹爪旋转对应角度，最后完成抓取，可以更加准确的抓取目标工件。

本发明一方面实施例提出的一种用于工件下料的装置300，包括：下料输送皮带301，光电传感器302，图像采集处理单元303，控制器304，机械手305；所述下料输送皮带用于输送待下料的工件；所述光电传感器302用于检测所述工件的工位信号，并将所述工位信号传输至控制器304；所述控制器304，用于接收工位信号，根据所述工位信号发送控制指令；所述图像采集单元303，用于接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度；所述机械手305用于抓取工件，完成工件的下料和装配。

根据本发明的一个实施例，这里的图像采集处理单元303为工业相机，或者其他采集处理设备均可。所述图像采集处理单元3034包括：接收单元，用于接收控制指令；采集单元，用于实时采集与所述工件相关的图像信息；第一处理单元，处理所述与所述工件相关的图像信息，包括：矫正单元，用于矫正所述图像信息，得到与所述图像信息相关的二值图像信息；拟合单元，用于根据所述二值图像信息得到与二值图像信息对应的端点信息；判断单元，用于根据所述端点信息判断采集的图像信息是否为待下料工件。

根据本发明的一个实施例，所述图像采集处理单元303还包括：第二处理单元，用于根据端点信息计算所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，所述图像采集处理单元303还包括：发送单元，用于发送所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，所述机械手305根据位置信息和旋转角度抓取待下料工件。

本发明另一方面的实施例提出了一种基于视觉定位的工件下料的方法，如图4所示，所述方法应用于工件下料装置，所述工件下料装置包括：下料输送皮带，光电传感器，图像采集处理单元，控制器和机械手。

S101:下料输送皮带输送所述待下料的工件至工位。

S102:光电传感器检测所述工件的工位信号，并将所述工位信号传输至控制器。

S103:控制器接收工位信号，根据所述工位信号发送控制指令。

S104:图像采集处理单元接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度。

S105:机械手抓取工件，完成工件的下料和装配。

根据本发明的一个实施例，步骤S104中图像采集处理单元接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息包括：实时采集与所述工件相关的图像信息；处理所述与所述工件相关的图像信息，包括：矫正所述图像信息，得到与所述图像信息相关的二值图像信息；根据所述二值图像信息得到与二值图像信息对应的端点信息。根据所述端点信息判断采集的图像信息是否为待下料工件。

根据本发明的一个实施例，步骤S104中处理所述图像信息得到所述工位的位置信息和旋转角度，包括：根据端点信息计算所述待下料工件的的位置信息和旋转角度。

具体地，相机取图后开始图像处理：首先对采集的图像根据相机的参数进行畸变的矫正；然后对矫正后的图像进行中值滤波，二值化和形态学处理的预处理，使图像成为轮廓清晰的二值图像；查找图像中的所有物体的外轮廓，然后拟合该外轮廓的最小外接矩形，可以得到每个轮廓的长边长度long_rect，短边长度short_rect，和轮廓的最小外接矩形的四个端点坐标P1，P2，P3和P4。

利用此时选择的工件的参数进行筛选，先将轮廓的长边作为宽度width，短边作为高度height，然后通过公式判断该轮廓是否为工件的轮廓。

其中，flag为标志位，当flag为1时表示该轮廓为工件的轮廓，否则舍弃轮廓。w_low为轮廓宽度下限,w_high为宽度上限,width为该轮廓实际宽度,h_low为高度下限,h_high为高度上限,height为实际高度,wh_low为宽高比下限,wh_hign为宽高比上限,wh为实际宽高比。全部轮廓筛选完毕后，统计flag为1的轮廓数量，若总数不为1则报警，提示人工处理，总数为1则进入下一步处理。

此时重新定义四个端点，线段P1P2和P4P3表示宽度，P2P3和P1P4表示高度，计算P1P2和水平线的夹角得出工件旋转的角度。设P1点坐标(x1,y1),P3(x3,y3),P2(x2,y2),瞬时针旋转的角度为正，工件中心坐标由公式计算得到：

工件的旋转角度θ可由公式计算得到：

最后将工件的中心点坐标(x0,y0)和旋转角度θ信息通过网口发送到机械手端，

根据本发明的一个实施例，步骤S104中处理所述图像信息得到所述工位的位置信息和旋转角度，还包括：发送所述待下料工件的的位置信息和旋转角度。

根据本发明的一个实施例，步骤S105中机械手抓取工件，完成工件的下料和装配，包括：机械手根据位置信息和旋转角度抓取待下料工件。

本发明提供的视觉定位在工件下料上的应用方法，将视觉定位应用在工件的生产中，对生产线进行更高层次的自动化升级；利用视觉识别的方法计算出经过皮带输送后的工件的平面和产生的旋转角度；利用机械手去完成下料和装配，减少了人工带来的污染和损伤，提升了产品的质量；利用机械手去完成小料和装配，避免了人工带来的污染与损伤；同时机器代替人工，减少了工厂人工成本；创建产品参数模板，可以直接在人机界面选择对应产品，实现生产线的自动切换，大大提高了工作效率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.用于工件下料的装置，其特征在于，所述装置包括：下料输送皮带，光电传感器，图像采集处理单元，控制器，机械手；所述下料输送皮带用于输送待下料的工件；所述光电传感器用于检测所述工件的工位信号，并将所述工位信号传输至控制器；所述控制器，用于接收工位信号，根据所述工位信号发送控制指令；所述图像采集处理 单元用于接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度；所述机械手用于抓取工件，完成工件的下料和装配；

所述图像采集处理单元包括：接收单元，用于接收控制指令；采集单元，用于实时采集与所述工件相关的图像信息；第一处理单元，处理与所述工件相关的图像信息，包括：矫正单元，用于矫正所述图像信息，得到与所述图像信息相关的二值图像信息；拟合单元，用于根据所述二值图像信息得到与二值图像信息对应的端点信息；判断单元，用于根据所述端点信息判断采集的图像信息是否为待下料工件；

所述图像采集处理单元还包括：第二处理单元，用于根据端点信息计算所述待下料工件的位置信息和旋转角度；

所述图像采集处理单元用于：

查找图像中的所有物体的外轮廓，然后拟合该外轮廓的最小外接矩形，可以得到每个轮廓的长边长度long_rect，短边长度short_rect，和轮廓的最小外接矩形的四个端点坐标P1，P2，P3和P4；

利用此时选择的工件的参数进行筛选，先将轮廓的长边作为宽度width，短边作为高度height，然后通过公式判断该轮廓是否为工件的轮廓；

其中，flag为标志位，当flag为1时表示该轮廓为工件的轮廓，否则舍弃轮廓，w_low为轮廓宽度下限,w_high为宽度上限,width为该轮廓实际宽度,h_low为高度下限,h_high为高度上限,height为实际高度,wh_low为宽高比下限,wh_high 为宽高比上限,wh为实际宽高比，全部轮廓筛选完毕后，统计flag为1的轮廓数量，若总数不为1则报警，提示人工处理，总数为1则进入下一步处理；

此时重新定义四个端点，线段P1P2和P4P3表示宽度，P2P3和P1P4表示高度，计算P1P2和水平线的夹角得出工件旋转的角度，设P1点坐标(x1,y1),P3(x3,y3),P2(x2,y2),瞬时针旋转的角度为正，工件中心坐标由公式计算得到：

工件的旋转角度θ可由公式计算得到：

用于工件下料的装置还包括终端，终端为工厂中生产的每种工件都制作了参数模板，选择了某一种类后，系统中会自动代入该类产品的参数；在启动系统的时候需要在人机界面中手动选择此次需要检测的工件的种类。

2.根据权利要求1所述的装置，其特征在于，所述图像采集处理单元还包括：发送单元，用于发送所述待下料工件的位置信息和旋转角度。

3.根据权利要求1所述的装置，其特征在于，所述机械手根据位置信息和旋转角度抓取待下料工件。

4.基于视觉定位的工件下料的方法，其特征在于，所述方法应用于工件下料装置，所述工件下料装置包括：下料输送皮带，光电传感器，图像采集处理单元，控制器和机械手；

下料输送皮带输送所述待下料的工件至工位；

光电传感器检测所述工件的工位信号，并将所述工位信号传输至控制器；

控制器接收工位信号，根据所述工位信号发送控制指令；

图像采集处理单元接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息得到所述工位的位置信息和旋转角度；

机械手抓取工件，完成工件的下料和装配；

图像采集处理单元接收控制指令，采集与所述工件相关的图像信息，处理所述图像信息包括：

实时采集与所述工件相关的图像信息；处理所述与所述工件相关的图像信息，包括：矫正所述图像信息，得到与所述图像信息相关的二值图像信息；根据所述二值图像信息得到与二值图像信息对应的端点信息；根据所述端点信息判断采集的图像信息是否为待下料工件；

处理所述图像信息得到所述工位的位置信息和旋转角度，包括：

根据端点信息计算所述待下料工件的位置信息和旋转角度；

还包括：

查找图像中的所有物体的外轮廓，然后拟合该外轮廓的最小外接矩形，可以得到每个轮廓的长边长度long_rect，短边长度short_rect，和轮廓的最小外接矩形的四个端点坐标P1，P2，P3和P4；

利用此时选择的工件的参数进行筛选，先将轮廓的长边作为宽度width，短边作为高度height，然后通过公式判断该轮廓是否为工件的轮廓；

其中，flag为标志位，当flag为1时表示该轮廓为工件的轮廓，否则舍弃轮廓，w_low为轮廓宽度下限,w_high为宽度上限,width为该轮廓实际宽度,h_low为高度下限,h_high为高度上限,height为实际高度,wh_low为宽高比下限,wh_high 为宽高比上限,wh为实际宽高比，全部轮廓筛选完毕后，统计flag为1的轮廓数量，若总数不为1则报警，提示人工处理，总数为1则进入下一步处理；

此时重新定义四个端点，线段P1P2和P4P3表示宽度，P2P3和P1P4表示高度，计算P1P2和水平线的夹角得出工件旋转的角度，设P1点坐标(x1,y1),P3(x3,y3),P2(x2,y2),瞬时针旋转的角度为正，工件中心坐标由公式计算得到：

工件的旋转角度θ可由公式计算得到：

还包括：终端为工厂中生产的每种工件都制作了参数模板，选择了某一种类后，系统中会自动代入该类产品的参数；在启动系统的时候在人机界面中手动选择此次需要检测的工件的种类。

5.根据权利要求4所述的方法，其特征在于，处理所述图像信息得到所述工位的位置信息和旋转角度，还包括：发送所述待下料工件的位置信息和旋转角度。

6.根据权利要求4至5中任一项所述的方法，其特征在于，机械手抓取工件，完成工件的下料和装配，包括：机械手根据位置信息和旋转角度抓取待下料工件。

Images