CN110103230B - 抓取电子组件的方法及装置 - Google Patents

Abstract

本公开提供了一种抓取电子组件的方法及装置，电子组件包括金手指，并以两层或两层以上层叠放置，其中抓取摄像头的方法，包括：获取图像步骤，获取包含最前层的电子组件的图像；轮廓初识别步骤，基于图像，识别电子组件的轮廓以及金手指图像；边缘修正步骤，根据金手指图像的异常区域图像对轮廓进行修正，得到修正轮廓；抓取步骤，基于修正轮廓，抓取最前层的电子组件。本公开提供的抓取电子组件的方法及装置通过识别金手指图像对识别的轮廓进行修正，从而得到更加准确的电子组件轮廓，使得抓取更加可靠，从而提高了抓取准确性、避免了毁坏电子组件的情况。

Description

抓取电子组件的方法及装置

技术领域

本发明一般地涉及图像识别领域，具体涉及一种抓取电子组件的方法及装置。

背景技术

在现代工业制造过程中，自动化流水线生产是高效率的保证，而随之科技的不断进步，电子组件的生产制造工序越来越多，有些需要对承载在料盘中的电子组件进行输送，例如在摄像头自动生产线上，料盘中的摄像头要转移到另一个地方，例如要从料盘转移到图像采集区域内进行六面拍摄。

一个方式是通过机械手臂抓取电子组件来实现的，抓取的原理是：在料盘区域内有一个电子组件会采集料盘内的图像，定位出要抓取的电子组件边缘，进而将边缘提供给机械手臂，然后机械手臂移动到该电子组件对应的位置，并抓取住该电子组件的边缘，由此实现对该电子组件的抓取。

但是，如果料盘是具有一定透明度的材料制成的，多个料盘重叠放置在一起的时候，后层摆放的电子组件如果超过最前层电子组件的范围，这样的现象是可见的。如图1所示，实线电子组件是最上层的电子组件，也是需要抓取的电子组件，虚线电子组件是下一层的电子组件，由于料盘具有一定透明度，所以无论人眼还是电子组件在一定程度上都可见下层电子组件的。假设机械手抓取的是电子组件的上下两个边X1和X2，如图2所示，根据电子组件采集的图像进行边缘识别，就会将下层电子组件的上边和上层电子组件的下边识别为要抓取的X1和X2边缘。机械手根据这样的边缘去抓取，自然会抓取失败，甚至还会抓坏电子组件。

发明内容

为了解决现有技术中存在的上述问题，本发明的第一方面提供一种抓取电子组件的方法，包括：电子组件包括金手指，并以两层或两层以上层叠放置，其中，方法包括：获取图像步骤，获取包含最前层的电子组件的图像；轮廓初识别步骤，基于图像，识别电子组件的轮廓以及金手指图像；边缘修正步骤，根据金手指图像的异常区域图像对轮廓进行修正，得到修正轮廓；抓取步骤，基于修正轮廓，抓取最前层的电子组件。

在一例中，异常区域图像包括断裂图像，断裂图像为后层的电子组件的金手指沿最前层的金手指延伸方向错位露出造成；边缘修正步骤包括：基于断裂图像，识别最前层的电子组件的金手指顶部的边沿，得到修正轮廓。

在一例中，异常区域图像包括超长图像，超长图像为后层的电子组件的金手指沿最前层的金手指纵向顺延露出造成；边缘修正步骤包括：基于超长图像及金手指延伸长度，识别最前层的电子组件的金手指顶部的边沿，得到修正轮廓。

在一例中，异常区域图像包括超宽图像，超宽图像为后层的电子组件的金手指沿最前层的金手指横向并排露出造成；边缘修正步骤包括：基于超宽图像及电子组件排列宽度，识别最前层的电子组件的金手指的横向的边沿，得到修正轮廓。

在一例中，轮廓初识别步骤包括：基于图像，分割存在金手指的金手指区域，在金手指区域识别金手指图像；边缘修正步骤包括，在金手指区域中分割存在异常区域图像的异常区域，在异常区域中，根据异常区域图像修正轮廓，得到修正轮廓。

在一例中，轮廓初识别步骤包括：基于图像，将图像二值化处理得到图像二值图，通过图像二值图识别轮廓以及金手指图像。

在一例中，轮廓初识别步骤包括：基于图像，通过神经网络识别出轮廓以及金手指图像。

在一例中，电子组件为摄像头。

本发明的第二方面提供一种抓取电子组件的装置，电子组件包括金手指，并以两层或两层以上层叠放置，其中装置包括：获取图像模块，用于获取包含最前层的电子组件的图像；轮廓初识别模块，用于基于图像，识别电子组件的轮廓；边缘修正模块，用于根据电子组件的轮廓中的异常区域图像，对轮廓进行修正，得到修正轮廓；抓取模块，用于基于修正轮廓，抓取最前层的电子组件。

本发明的第三方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的抓取电子组件的方法。

本发明的第四方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的抓取电子组件的方法。

随着产品电子化的提高，可插接的电子组件产品越来越多，而金手指(connectingfinger)是作为一种电子组件与外部电路的物理连接及电连接的接口，应用于多种电子组件中。在生产过程中通过机械手臂抓取电子组件的情况下，能够准确判断电子组件的轮廓是抓取成功的关键，在轮廓识别有偏差时，会导致抓取失败甚至是损害电子组件，因此，为了提高抓取成功率，本发明实施例通过识别金手指图像对识别的轮廓进行修正，从而得到更加准确的电子组件轮廓，使得抓取更加可靠，根据不同的错位情况，通过不同方式判断错位情况并准确识别轮廓，提高了识别效率，从而提高了抓取准确性、避免了毁坏电子组件的情况。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了已有的轮廓识别情况示意图；

图2示出了已有的轮廓识别情况示意图；

图3示出了根据本发明一实施例抓取电子组件的方法的流程示意图；

图4示出了断裂图像的示意图；

图5示出了超长图像的示意图；

图6示出了超宽图像的示意图；

图7示出了图像中金手指区域的示意图；

图8示出了根据本发明一实施例抓取电子组件装置的示意图；

图9是本发明实施例提供的一种电子设备示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

为了提高抓取电子组件的可靠性，图3示出了本发明实施例提供的一种抓取电子组件的方法100，电子组件包括金手指，并以两层或两层以上层叠放置，包括：获取图像步骤110；轮廓初识别步骤120；边缘修正步骤130；抓取步骤140。下面对上述步骤进行详细说明。

获取图像步骤110，获取包含最前层的电子组件的图像。

可以通过摄像设备获取最前层的电子组件的图像，即要抓取的电子组件的图像。如果是竖直方向上的层叠放置，则最前层指最上层，如果是水平方向上的层叠放置，最前层为最靠一侧的准备抓取的那一层。另外，最前层与其他电子组件错位放置的情况下，所述图像除了包括最前层电子组件的图像，还包括由于错位露出的后层的电子组件的图像，其中后层可以为最前层的相邻一层，也可以不相邻。

轮廓初识别步骤120，基于图像，识别电子组件的轮廓以及金手指图像。

在一例中，基于图像，通过神经网络识别出轮廓以及金手指图像。通过神经网络学习，直接学习识别电子组件外观，分割电子组件区域，从而得出电子组件的边沿，最后得到轮廓，计算抓取位置。

在一例中，轮廓初识别步骤120包括：基于图像，将图像二值化处理得到图像二值图，通过图像二值图识别轮廓以及金手指图像。二值图即黑白图，通过预设阈值，将获取的图像转化为二值图，通过二值图能够方便的提取物体的轮廓及图像信息，在二值图中，金手指图像为纵向延伸的黑白相间条状。

通过上述实施例得到电子组件的轮廓，但该轮廓有存在误差的可能，需要通过进一步的修正。

边缘修正步骤130，根据所述电子组件的所述轮廓中的异常区域图像对所述轮廓进行修正，得到修正轮廓。

在一例中，如图4所示，异常区域图像包括断裂图像，断裂图像为后层的电子组件的金手指沿最前层的金手指延伸方向错位露出造成，其中后层的电子组件指因为未对其而露出的最外一层，可以为最前层的相邻一层，也可以不相邻，错位露出指后层电子组件与最前层电子组件未对齐，导致后层电子组件的金手指在横向和纵向两个方向上均露出；边缘修正步骤130包括：基于断裂图像，识别最前层的电子组件的金手指顶部的边沿，得到修正轮廓。其中，断裂图像可以是通过在二值图中，正常情况下金手指图像应为纵向的黑白相间的条状，当沿纵向检测金手指检测到像素跳变，且跳变后像素延续，则可以判断该处存在后层的金手指错位露出形成的断裂图像，而发生跳变处应为实际的最前层电子组件的金手指顶部边沿，此处所述顶部边沿指金手指远离电子组件一端的边沿，基于此可以得到最前层的电子组件的正确的轮廓线X1。

在一例中，如图5所示，异常区域图像包括超长图像，超长图像为后层的电子组件的金手指沿金手指纵向顺延露出造成；边缘修正步骤130包括：基于超长图像及金手指延伸长度，识别最前层的电子组件的金手指顶部的边沿，得到修正轮廓。在后层的电子组件仅沿金手指纵向顺延露出时，得到的金手指图像可能不会出现“断裂”，而是会出现比正常的金手指更长的条状图像，如在二值图中，当沿纵向检测金手指时，黑色像素顺延超出一阈值时，则判断存在后层金手指纵向顺眼露出造成的超长图像，，进一步可以通过如神经网络识别等方式得到最前层电子组件底端位置，并根据电子组件和金手指实际长度累加，计算得到正确的顶部边沿的位置，从而可以得到最前层的电子组件的正确的轮廓。

在一例中，如图6所示，异常区域图像包括超宽图像，超宽图像为后层的电子组件的金手指沿最前层的金手指横向并排露出造成；边缘修正步骤130包括：基于超宽图像及电子组件宽度，识别最前层的电子组件的金手指的横向的边沿，得到修正轮廓。在后层图像沿金手指横向露出时，得到的金手指图像可能不会出现“断裂”，但会出现金手指排列区域更宽，或者金手指金属片数量超量的情况，如在二值图中，横向检测金手指时，出现黑色顺延超出一预设值或两黑色像素之间的白色顺延超出另一预设值，或黑色条状的数量超过一预设条数时，均可以判断后层的电子组件在横向上露出，并进一步可以通过电子组件实际长度，通过如神经网络识别等方式得到没有后层电子组件横向露出的一段的最前层电子组件轮廓，并根据实际电子组件宽度计算另一端的边沿位置，从而可以得到最前层的电子组件的正确的轮廓。

通过上述实施例能够根据不同的错位情况，对初步识别出的轮廓进行修正，得到更加准确的修正轮廓。

抓取步骤140，基于修正轮廓，抓取最前层的电子组件。可以通过四指机械爪或两指机械爪进行抓取；在一例中也可以通过吸盘抓取电子组件。

上述实施例，通过识别金手指图像对识别的轮廓进行修正，得到更加准确的电子组件轮廓，使得抓取更加可靠，根据不同的错位情况，通过不同方式判断错位情况并准确识别轮廓，提高了识别效率，从而保护了抓取稳定性、避免了毁坏电子组件的情况。

在一例中，轮廓初识别步骤120包括：基于图像，分割存在金手指的金手指区域，在金手指区域识别金手指图像边缘修正步骤130包括，在金手指区域中分割存在异常区域图像的异常区域，在异常区域中，根据异常区域图像修正轮廓，得到修正轮廓。其中金手指区域指图像中含有金手指的部分区域，如图7中A处所示，该区域的尺寸可以为固定尺寸，能够将部分区域分割，对分割后的区域进行识别，能够得到更准确、可靠的识别结果，如通过神经网络进行识别时，通过输入标准尺寸的图像，能够有效的提高识别的准确性。

图8示出了本发明实施例提供的一种抓取电子组件的装置200，电子组件包括金手指，并以两层或两层以上层叠放置，其中装置包括：获取图像模块210，用于获取包含最前层的电子组件的图像；轮廓初识别模块220，用于基于图像，识别电子组件的轮廓以及金手指图像；边缘修正模块230，用于根据金手指图像的异常区域图像对轮廓进行修正，得到修正轮廓；抓取模块240，用于基于修正轮廓，抓取最前层的电子组件。

在一例中，异常区域图像包括断裂图像，断裂图像为后层的电子组件的金手指沿最前层的金手指延伸方向错位露出造成；边缘修正模块230用于：基于断裂图像，识别最前层的电子组件的金手指顶部的边沿，得到修正轮廓。

在一例中，异常区域图像包括超长图像，超长图像为后层的电子组件的金手指沿最前层的金手指纵向顺延露出造成；边缘修正模块230用于：基于超长图像及金手指延伸长度，识别最前层的电子组件的金手指顶部的边沿，得到修正轮廓。

在一例中，异常区域图像包括超宽图像，超宽图像为后层的电子组件的金手指沿最前层的金手指横向并排露出造成；边缘修正模块230用于：基于超宽图像及电子组件排列宽度，识别最前层的电子组件的金手指的横向的边沿，得到修正轮廓。

在一例中，轮廓初识别模块220用于：基于图像，分割存在金手指的金手指区域，在金手指区域识别金手指图像；边缘修正模块230用于：在金手指区域中分割存在异常区域图像的异常区域，在异常区域中，根据异常区域图像修正轮廓，得到修正轮廓。

在一例中，轮廓初识别模块220用于：基于图像，将图像二值化处理得到图像二值图，通过图像二值图识别轮廓以及金手指图像。

在一例中，轮廓初识别模块220用于：基于图像，通过神经网络识别出轮廓以及金手指图像。

在一例中，电子组件为摄像头。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

如图9所示，本发明的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本发明实施例的特征提取方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本发明实施例中涉及的特征提取方法的程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。

本发明实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器301可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本发明实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (11)

1.一种抓取电子组件的方法，所述电子组件包括金手指，并以两层或两层以上层叠放置，其中，所述方法包括：

获取图像步骤，获取包含最前层的所述电子组件的图像；

轮廓初识别步骤，基于所述图像，识别所述电子组件的轮廓，并基于所述图像，分割存在所述金手指的金手指区域，在所述金手指区域识别所述金手指图像；

边缘修正步骤，根据所述金手指图像的异常区域图像对所述轮廓进行修正，得到修正轮廓；其中包括：基于所述异常区域图像，识别所述最前层的所述电子组件的所述金手指顶部的边沿或所述金手指的横向的边沿，得到所述修正轮廓；

抓取步骤，基于所述修正轮廓，抓取最前层的所述电子组件。

2.根据权利要求1所述的方法，其中，所述异常区域图像包括断裂图像，所述断裂图像为后层的所述电子组件的所述金手指沿所述最前层的所述金手指延伸方向错位露出造成；边缘修正步骤包括：基于所述断裂图像，识别所述最前层的所述电子组件的所述金手指顶部的边沿，得到所述修正轮廓。

3.根据权利要求1所述的方法，其中，所述异常区域图像包括超长图像，所述超长图像为后层的所述电子组件的所述金手指沿所述最前层的所述金手指纵向顺延露出造成；边缘修正步骤包括：基于所述超长图像及所述金手指延伸长度，识别所述最前层的所述电子组件的所述金手指顶部的边沿，得到所述修正轮廓。

4.根据权利要求1所述的方法，其中，所述异常区域图像包括超宽图像，所述超宽图像为后层的所述电子组件的所述金手指沿所述最前层的所述金手指横向并排露出造成；边缘修正步骤包括：基于所述超宽图像及所述电子组件排列宽度，识别所述最前层的所述电子组件的所述金手指的所述横向的边沿，得到所述修正轮廓。

5.根据权利要求1所述的方法，其中，所述边缘修正步骤包括，在所述金手指区域中分割存在异常区域图像的异常区域，在所述异常区域中，根据所述异常区域图像修正所述轮廓，得到修正轮廓。

6.根据权利要求1-5任一项所述的方法，其中，所述轮廓初识别步骤包括：基于所述图像，将所述图像二值化处理得到图像二值图，通过所述图像二值图识别所述轮廓以及所述金手指图像。

7.根据权利要求1-5任一项所述的方法，其中，所述轮廓初识别步骤包括：基于所述图像，通过神经网络识别出所述轮廓以及所述金手指图像。

8.根据权利要求1所述的方法，其中，所述电子组件为摄像头。

9.一种抓取电子组件的装置，所述电子组件包括金手指，并以两层或两层以上层叠放置，其中，所述装置包括：

获取图像模块，用于获取包含最前层的所述电子组件的图像；

轮廓初识别模块，用于基于所述图像，识别所述电子组件的轮廓，并基于所述图像，分割存在所述金手指的金手指区域，在所述金手指区域识别所述金手指图像；

边缘修正模块，用于根据所述金手指图像的异常区域图像，对所述轮廓进行修正，得到修正轮廓；其中包括：基于所述异常区域图像，识别所述最前层的所述电子组件的所述金手指顶部的边沿或所述金手指的横向的边沿，得到所述修正轮廓；

抓取模块，用于基于所述修正轮廓，抓取最前层的所述电子组件。

10.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1至8中任一项所述的抓取电子组件的方法。

11.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1至8中任一项所述的抓取电子组件的方法。

Images