CN108711173A - 多目标识别方法及装置 - Google Patents

多目标识别方法及装置 Download PDF

Info

Publication number
CN108711173A
CN108711173A CN201810330506.7A CN201810330506A CN108711173A CN 108711173 A CN108711173 A CN 108711173A CN 201810330506 A CN201810330506 A CN 201810330506A CN 108711173 A CN108711173 A CN 108711173A
Authority
CN
China
Prior art keywords
crystal oscillator
transferred
vacuum formed
formed box
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810330506.7A
Other languages
English (en)
Inventor
云星
龚荣
舒雄
赖辰辰
李建强
李晓白
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mifeitake Technology Co.,Ltd.
Original Assignee
SHENZHEN ABLE ELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ABLE ELECTRONICS CO Ltd filed Critical SHENZHEN ABLE ELECTRONICS CO Ltd
Priority to CN201810330506.7A priority Critical patent/CN108711173A/zh
Publication of CN108711173A publication Critical patent/CN108711173A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Piezo-Electric Or Mechanical Vibrators, Or Delay Or Filter Circuits (AREA)

Abstract

本发明适用于机器视觉技术领域,提供了一种多目标识别方法及装置,包括:控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;当机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下,所述方法通过获取多个晶振的位置信息,从而使得机械臂在转移当前晶振时,视觉模块能够获得转移下一颗晶振时吸塑盒的运动信息。

Description

多目标识别方法及装置
技术领域
本发明属于机器视觉技术领域,尤其涉及一种多目标识别方法及装置。
背景技术
有源贴片晶振在后段加工中需要将里面的集成电路进行绑线、测试,待客户加工需求完成后再包装归还。目前的加工流程是视觉装置先对晶振进行识别,然后机械臂将晶振从吸塑盒先转接到中转治具载船,然后以载船为单位上料至绑线机完成设备加工。而在实际生产工艺流程中,客户来料是吸塑盒,且吸塑盒的尺寸、颜色以及格子数量均不一样,造成晶振在吸塑盒格子中并不是完全规则排列,部分晶振可能出现方向偏移较大、反向、混料等可能;而载船的精度较高,只够刚好放下晶振。
发明人在实现本发明的过程中发现,现有的转接设备大多都是将晶振单颗处理,一次从吸塑盒中挑选一颗晶振放置载船,其中视觉模块与机械臂是同步运行的方式,这样晶振的转移方法通常对来料都有一定要求,同时转移效率不高、通用性较为单一。
发明内容
有鉴于此,本发明实施例提供了一种多目标识别方法及装置,以解决现有技术中转接设备转移在转移晶振时效率不高的问题。
本发明实施例的第一方面提供了一种多目标识别方法,包括:
控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;
将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振;
根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;
当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
可选的,所述获取可用晶振的坐标位置信息之前,还包括:
根据所述待转移晶振图像与模板图像的模式匹配结果,获取待转移N*N个晶振的特征信息,根据待转移N*N个晶振的特征信息获取可用晶振的坐标位置信息;
所述待转移晶振图像的特征信息包括:位置信息、角度信息和晶振存在与否信息。
可选的,所述根据吸塑盒的移动方向,控制机械臂吸取预设晶振,具体包括:
当所述吸塑盒向X轴负向移动时,控制机械臂吸取N*N个晶振中的左上角的晶振;
当所述吸塑盒向X轴正向移动时,控制机械臂吸取N*N个晶振中的右上角的晶振。
可选的,被吸取的晶振所组成的轨迹为Z型轨迹或S型轨迹。
可选的,所述目标载船为双列式载船。
本发明实施例的第二方面提供了一种多目标识别装置,包括:第一控制模块,模式匹配模块和第二控制模块;
所述第一控制模块,用于控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;
所述模式匹配模块,用于将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振;
所述第二控制模块,用于根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;
所述第一控制模块,还用于当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
可选的,所述装置还包括:坐标位置获取模块;
所述坐标位置获取模块,用于根据所述待转移晶振图像与模板图像的模式匹配结果,获取待转移N*N个晶振的特征信息,根据待转移N*N个晶振的特征信息获取可用晶振的坐标位置信息;
所述待转移晶振图像的特征信息包括:位置信息、角度信息和晶振存在与否信息。
可选的,所述第二控制模块包括左控制单元和右控制单元;
所述左控制单元,用于当所述吸塑盒向X轴负向移动时,控制机械臂吸取N*N个晶振中的左上角的晶振;
所述右控制单元,用于当所述吸塑盒向X轴正向移动时,控制机械臂吸取N*N个晶振中的右上角的晶振。
本发明实施例的第三方面提供了一种多目标识别设备,包括:存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一项所述多目标识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如上述任一项所述多目标识别方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例,通过获取多个待转移晶振的坐标位置信息,控制机械臂吸取预设晶振,根据多个待转移晶振的位置信息,控制吸塑盒将下一个待转移的晶振移动至视觉模块,从而使得机械臂在转移当前晶振的同时,根据待转移晶振的位置信息能够加快吸塑盒移动距离的过程以及晶振识别的过程,从而减少机械臂的等待时间,提高晶振的转移效率,同时本发明实施例在晶振识别时也具有较高的稳定性和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多目标识别方法的实现流程示意图;
图2是本发明实施例提供的多目标识别装置的示意图;
图3是本发明实施例提供的多目标识别方法的具体实现流程示意图;
图4是本发明实施例提供的多目标识别终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
图1示出了多目标识别方法的一个实施例的流程示意图,详述如下:
步骤S101,控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像。
在本发明实施例中,首先获取第一个待转移的N*N个晶振的图像,通过获取多个待转移晶振的图像,从而能够获取多个待转移晶振的坐标位置信息,根据多个晶振的坐标位置信息,能够实现当机械臂在转移当前晶振至载船的过程中,能够控制吸塑盒移动相应的距离并完成晶振的识别,通过提前获取的周边晶振位置信息,能够引导机械臂做出合理的运动决策,减少机械臂等待的时间,提高晶振转移的效率。
其中,晶振图像的获取是通过视觉模块完成的,为了提高对于晶振识别的准确性,选择的相机应该针对晶振具有成像清晰、对比度高、特征点足够明显等特征。例如,视觉模块采用的相机可以为灰点相机,镜头可以为AZURE定焦镜头,光源可以为OPT白色的高角度环形光。
在执行步骤S101之前,需要对视觉模块的参数进行设置,其中视觉参数包括:相机的参数、创建模板的参数、多目标参数以及相机标定参数。具体方式可以是:对相机的参数进行设置,然后对创建模板的参数进行设置,再对多目标参数进行设置,最后对相机标定参数进行设置。
本发明中识别的目标为晶振,因此需要根据晶振的特征来设置相机的参数,其中相机的参数包括:相机的亮度、相机的增益以及相机的对比度等参数,通过调节上述参数使得相机所获得的图像具备成像清晰和低噪声的特点。
对相机参数进行设置后再对创建模板的参数进行设置,创建模板的作用是视觉模块能够根据模板识别图像中是否存在晶振。其中,可以选择创建的模板的大小,例如:模板的大小可以设置为N*N的大小,具体的,N可以设置为2,那么创建的模板则为2*2的矩阵形状,从而当视觉模块在获取到吸塑盒中待转移晶振的2*2大小的图像后,能够将待转移晶振图像与预先创建的模板进行模式匹配,从而获得晶振的位置、角度以及姿态信息等。其中,在创建模板时还需要设置最小匹配分值,用于确认所转移的晶振为合格的晶振。例如,最小匹配分值可以设置为80分,当待转移晶振与预先创建的模板进行模式匹配后,若返回的匹配分值为不小于80的分值,则表示所述晶振为可用的晶振。
在对创建模板的参数进行设置后需要对多目标参数进行设置,通过利用创建的模板的大小来设置视觉模块的图像搜索区域内能够识别的晶振数量。例如,当创建的模板为2*2大小的矩阵形状时,则视觉模块的图像搜索区域也需要设置为2*2大小的矩阵。此外,多目标参数的设置还需要对吸塑盒间距X、吸塑盒间距Y、吸塑盒间距X方向的最大偏差、吸塑盒间距Y方向的最大偏差进行设置,根据上述参数有助于相机对晶振进行定位。
当完成对多目标参数设置后需要对相机标定参数进行设置,根据视觉标定参数将图像坐标系的晶振位置转化为视觉坐标系电机对应的脉冲值,其中相机标定参数为:电机脉冲数与像素系数比。
视觉模块参数的设置对多目标识别的识别结果有重要影响,进一步的,为提高本方法的可操作性,对不同尺寸、型号的晶振可以各自建立档案,便于不同权限人员进行操作。视觉模块参数的设置后便于视觉模块能够快速准确的获取吸塑盒中晶振的位置信息。
步骤S102,将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振。
在本实施例中,通过将待转移晶振图像与预先创建的模板图像进行模式匹配的方式对晶振进行精准的检测与定位,为了实现模式匹配,预先创建的模板图像与待转移晶振图像均为N*N的矩阵图像,例如:当预先创建的模板图像的大小为2*2时,则获取的待转移晶振图像的大小也应该为2*2,从而可以实现对应晶振的匹配。
所述模式匹配是对待转移晶振的图像与预先创建的模板图像的内容、特征、结构、关系、纹理及灰度等信息进行相似性分析,从而返回一个匹配分值,当所述分值越高则表示待转移的晶振与预先创建的模板晶振相似度越高,当所述分值越低则表示待转移的晶振与预先创建的模板晶振相似度越低。因此,在此处设置预设的分值,经过模式匹配后返回大于所述预设分值的晶振信息,所述大于预设分值的晶振即为可用晶振。例如,所述预设分值可以设置为80分,则经过模式匹配后将会直接返回匹配分值大于80分晶振的信息。
可选的,所述获取可用晶振的坐标位置信息之前,还包括:
根据所述待转移晶振图像与模板图像的模式匹配结果,获取待转移N*N个晶振的特征信息,根据待转移N*N个晶振的特征信息获取可用晶振的坐标位置信息;
所述待转移晶振图像的特征信息包括:位置信息、角度信息和晶振存在与否信息。
在本实施例中,在将待转移晶振图像与模板图像进行模式匹配后,会直接获得匹配分值大于预设分值的晶振信息。其中,将一个N*N的晶振图像与N*N的模板图像进模式匹配后,会根据模式匹配分值的高低顺序来返回N*N个晶振的特征信息,因此,需要按照排序算法将返回的晶振的特征信息按照一定的顺序重新排列。例如:对于一个2*2的晶振图像,将其与2*2的模板图像进行模式匹配后,模式匹配分值的大小依次为:右下角的晶振、右上角的晶振、左下角的晶振和左上角的晶振,因此晶振的识别顺序与模式匹配分值大小的排序相同。因此,需要将晶振的特征信息重新排序为:左上角的晶振、右上角的晶振、左下角的晶振和右下角的晶振的顺序。根据晶振的特征信息可以获取晶振的坐标位置信息,例如:根据晶振的位置信息和角度信息可以对其准确定位,根据同一行中相邻两颗晶振的位置关系,可以获得吸塑盒的移动距离,根据晶振的存在与否信息可以提前获知下一颗待转移晶振的位置信息,能够为机械臂或吸塑盒的移动进行合理的安排。
步骤S103,根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船。
在本实施例中,机械臂吸取晶振的预设位置为两个,分别为第一预设位置和第二预设位置,所述吸塑盒在向X轴负向移动时,机械臂一直处于第一预设位置,在获取当前晶振的位置信息后,机械臂下降预设高度,吸取当前晶振,当机械臂吸取晶振后根据预设运动轨迹以及载船格子的位置,将所述晶振放置载船中。同样地,当所述吸塑盒在向X轴正向移动时,机械臂一直处于第二预设位置,在获取当前晶振的位置信息后,机械臂下降预设高度,吸取当前晶振,当机械臂吸取晶振后根据预设运动轨迹以及载船格子的位置,将所述晶振放置载船中。所述X轴是指与吸塑盒的移动方向平行的轴。其中,所述第一预设位置和所述第二预设位置相差一个吸塑盒格子的间距。当在转移完毕一行中的倒数第二颗晶振后,将机械臂的预设位置进行调整。例如,当吸塑盒向X轴负向移动且转移完毕倒数第二颗晶振时,将机械臂的预设位置由第一预设位置调整为第二预设位置。
可选的,步骤S103中所述根据吸塑盒的移动方向,控制机械臂吸取预设晶振包括:
当所述吸塑盒向X轴负向移动时,控制机械臂吸取N*N个晶振中的左上角的晶振;
当所述吸塑盒向X轴正向移动时,控制机械臂吸取N*N个晶振中的右上角的晶振。
在本实施例中,机械臂所吸取的晶振与吸塑盒的移动方向有关,当吸塑盒向X轴负向移动时,则机械臂会吸取N*N个晶振中左上角的晶振;相反地,当吸塑盒向X轴正向移动时,则机械臂会吸取N*N个晶振中右上角的晶振,从而使得吸塑盒在移动的过程中机械臂能够有规律地、完整地吸取吸塑盒中的晶振,提高晶振的转移效率。
步骤S104,当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
在本发明实施例中,利用提前获取的多个晶振的位置信息,使得机械臂在吸取并转移当前晶振的同时,能够控制吸塑盒移动预设的距离,使得下一个待转移的晶振移动至视觉模块镜头下。
传统的转接设备,机械臂每次只能吸取一颗晶振,控制吸塑盒移动将下一个晶振移动至视觉模块镜头下,并对晶振进行识别,当识别为合格晶振后通过机械臂将晶振转移至载船,因此当机械臂转移当前晶振的时间小于吸塑盒移动及机器视觉识别的总时间时,将会出现机械臂对相机进行避让的情况,而机械臂避让后再次吸取晶振时需要重新进行加速,从而使得系统的运行效率较低。因此,本申请中通过一次获取多个晶振的位置信息,当机械臂在转移当前晶振时,能够根据下一颗待转移的晶振与当前晶振的位置关系,控制吸塑盒将下一颗晶振转移至视觉模块镜头下,同时系统能够根据吸塑盒移动的时间与机器视觉识别时间的总和来调整机械臂的运动速度,使得机械臂转移当前晶振的时间不小于吸塑盒移动及机器视觉识别的总时间,从而提高系统的运行效率。
可选的,被吸取的晶振所组成的轨迹为Z型轨迹或S型轨迹。
在本发明实施例中,被吸取的晶振按照吸取的顺序所组成的轨迹为Z型轨迹或S型轨迹。具体的,所述Z型轨迹或S型轨迹指的是:当机械臂在吸取并转移某一行中的最后一颗晶振后,则下一个被吸取的晶振为与当前被吸取的晶振处于同一列的晶振。
具体的,机械臂吸取晶振的预设位置有两个,分别为:第一预设位置和第二预设位置。当机械臂在吸取一行晶振中的最后一颗晶振时,控制机械臂由第一预设位置移动一个吸塑盒间距X1至第二预设位置并吸取一行中的最后一颗晶振;当机械臂在吸取下一行晶振中的首颗晶振时,控制吸塑盒移动一个吸塑盒间距Y1并控制机械臂吸取下一行晶振中的首颗晶振;所述吸塑盒间距X1为横向两个相邻吸塑盒间距,所述吸塑盒间距Y1为纵向两个吸塑盒间距。容易理解的,上述对于换行处的晶振的处理方式能够使得被吸取的晶振吸取的顺序所组成的轨迹为Z型轨迹或S型轨迹。采用Z型或S型的运动轨迹可以使得在处理换行的晶振时减少一次吸塑盒平台移动和视觉匹配时间,从而提高设备对于晶振的转移效率。
可选的,所述目标载船为双列式载船。
在本发明实施例中,所述目标载船的排列方式为双列式。在传统的多目标识别装置中,目标载船为单列排列,使得晶振的转移效率较低。本实施例中,将所述目标载船设置为双列式排列,当机械臂在完成一列载船的晶振转移后,可以无需移动吸塑盒,直接将下一晶振转移至另一列的载船,进而加快晶振的挑选速度,提高设备的运行效率。
上述多目标识别方法,通过获取多个待转移晶振的坐标位置信息,控制机械臂吸取预设晶振,根据多个待转移晶振的位置信息,控制吸塑盒将下一个待转移的晶振移动至视觉模块,从而使得机械臂在转移当前晶振的同时,根据待转移晶振的位置信息能够加快吸塑盒移动距离的过程以及晶振识别的过程,从而减少机械臂的等待时间,提高晶振的转移效率,同时本发明实施例在晶振识别时也具有较高的稳定性和准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例二
对应于上文实施例一所述的多目标识别方法,图2中示出了本发明实施例二提供的多目标识别装置的示意图。为了便于说明,仅示出了与本实施例相关的部分。
所述多目标识别装置包括:第一控制模块101,模式匹配模块102和第二控制模块103;
所述第一控制模块101,用于控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;
所述模式匹配模块102,用于将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振;
所述第二控制模块103,用于根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;
所述第一控制模块101,还用于当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
可选的,所述装置还包括:坐标位置获取模块;
所述坐标位置获取模块,用于根据所述待转移晶振图像与模板图像的模式匹配结果,获取待转移N*N个晶振的特征信息,根据待转移N*N个晶振的特征信息获取可用晶振的坐标位置信息;
所述待转移晶振图像的特征信息包括:位置信息、角度信息和晶振存在与否信息。
可选的,所述第二控制模块包括左控制单元和右控制单元;
所述左控制单元,用于当所述吸塑盒向X轴负向移动时,控制机械臂吸取N*N个晶振中的左上角的晶振;
所述右控制单元,用于当所述吸塑盒向X轴正向移动时,控制机械臂吸取N*N个晶振中的右上角的晶振。
本实施例中的多目标识别装置可以用于执行图1所示的多目标识别方法,其具体实现原理可以参见上述方法实施例,此处不再赘述。
上述多目标识别装置,通过获取多个待转移晶振的坐标位置信息,控制机械臂吸取预设晶振,根据多个待转移晶振的位置信息,控制吸塑盒将下一个待转移的晶振移动至视觉模块,从而使得机械臂在转移当前晶振的同时,根据待转移晶振的位置信息能够加快吸塑盒移动距离的过程以及晶振识别的过程,从而减少机械臂的等待时间,提高晶振的转移效率,同时本发明实施例也具有较高的晶振识别的稳定性和准确性。
实施例三
为了便于理解多目标识别方法的实现方式,本发明还提供了多目标识别方法的具体实现步骤。参见图3,示出了多目标识别方法的另一个实施例的流程示意图,详述如下:
步骤S301,系统进行初始化;在系统进行正式工作之前需要先对系统进行初始化,初始化的内容包括:机械臂、吸塑盒移动平台以及其它输入输出信号。
步骤S302,判断视觉参数的设置是否完成,当视觉参数设置完成时,执行步骤S303,否则执行步骤S310。
步骤S303,将吸塑盒中首个N*N的晶振移动至视觉模块的镜头下。
步骤S304,视觉模块获取当前N*N个晶振的图像,并将获取的晶振图像与预设的模板图像进行模式匹配。
步骤S305,根据模式匹配的结果,获取可用晶振的坐标位置信息;在将N*N个晶振的图像与预设的模板图像进行模式匹配后,会根据模式匹配的分值,筛选出模式匹配的分值高于一定阈值的晶振,并获取晶振的坐标位置信息。
步骤S306,机械臂吸取预设位置的晶振并转移至载船;系统控制机械臂以真空方式通过吸嘴吸取一颗合格的晶振,按预先设计好的运动轨迹放置于载船,其中,机械臂在将吸取的晶振移动至载船的过程中将晶振进行旋转,从而使得晶振可以恰好放置载船上。
步骤S307,根据可用晶振的坐标位置信息,控制吸塑盒移动,并将下一个N*N的晶振移动至视觉模块的镜头下;其中,在正常情况下,下一个N*N的晶振中的首行第一颗晶振为当前N*N晶振中的首行第二颗晶振。
步骤S308,当前吸塑盒中的晶振是否转移完毕;根据获取的N*N晶振中晶振的位置信息以及当前晶振周边是否存在晶振等信息,判断当前吸塑盒中的晶振是否转移完毕。若当前吸塑盒中的晶振全部转移完毕,则执行步骤S309,否则执行步骤S303。
步骤S309,结束当前吸塑盒中晶振转移过程。
步骤S310,对相机参数、模板、多目标参数进行设置;在对吸塑盒中的晶振进行转移之前需要先设置系统的参数,其中包括:相机的参数、创建模板的参数和多目标参数。
步骤S311,对相机进行标定。
上述多目标识别方法,通过获取多个待转移晶振的坐标位置信息,控制机械臂吸取预设晶振,根据多个待转移晶振的位置信息,控制吸塑盒将下一个待转移的晶振移动至视觉模块,从而使得机械臂在转移当前晶振的同时,根据待转移晶振的位置信息能够加快吸塑盒移动距离的过程以及晶振识别的过程,从而减少机械臂的等待时间,提高晶振的转移效率,同时本发明实施例也具有较高的晶振识别的稳定性和准确性。
实施例四
图4是本发明一实施例提供的多目标识别设备的示意图。如图4所示,该实施例的多目标识别设备4包括:处理器401、存储器402以及存储在所述存储器402中并可在所述处理器401上运行的计算机程序403,例如,将待转移晶振图像与预先创建的模板图像进行模式匹配程序。所述处理器401执行所述计算机程序403时实现上述各个多目标识别方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器401执行所述计算机程序403时实现上述各装置实施例中各模块/单元的功能,例如图2所示模块101至103的功能。
示例性的,所述计算机程序403可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器402中,并由所述处理器401执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序403在所述多目标识别设备40中的执行过程。例如,所述计算机程序403可以被分割成第一控制模块、模式匹配模块和第二控制模块,各模块具体功能如下:
第一控制模块,用于控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;
模式匹配模块,用于将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振;
第二控制模块,用于根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;
第一控制模块,还用于当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
所述多目标识别设备40可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述多目标识别设备可包括,但不仅限于,处理器401、存储器402。本领域技术人员可以理解,图4仅仅是多目标识别设备40的示例,并不构成对多目标识别设备40的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述多目标识别设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器402可以是所述多目标识别设备40的内部存储单元,例如多目标识别设备40的硬盘或内存。所述存储器402也可以是所述多目标识别设备40的外部存储设备,例如所述多目标识别设备40上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器402还可以既包括所述多目标识别设备40的内部存储单元也包括外部存储设备。所述存储器402用于存储所述计算机程序以及所述多目标识别设备所需的其他程序和数据。所述存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种多目标识别方法,其特征在于,包括:
控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;
将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振;
根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;
当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
2.如权利要求1所述的多目标识别方法,其特征在于,所述获取可用晶振的坐标位置信息之前,还包括:
根据所述待转移晶振图像与模板图像的模式匹配结果,获取待转移N*N个晶振的特征信息,根据待转移N*N个晶振的特征信息获取可用晶振的坐标位置信息;
所述待转移晶振图像的特征信息包括:位置信息、角度信息和晶振存在与否信息。
3.如权利要求1所述的多目标识别方法,其特征在于,所述根据吸塑盒的移动方向,控制机械臂吸取预设晶振,具体包括:
当所述吸塑盒向X轴负向移动时,控制机械臂吸取N*N个晶振中的左上角的晶振;
当所述吸塑盒向X轴正向移动时,控制机械臂吸取N*N个晶振中的右上角的晶振。
4.如权利要求1所述的多目标识别方法,其特征在于,被吸取的晶振所组成的轨迹为Z型轨迹或S型轨迹。
5.如权利要求1所述的多目标识别方法,其特征在于,所述目标载船为双列式载船。
6.一种多目标识别装置,其特征在于,包括:第一控制模块,模式匹配模块和第二控制模块;
所述第一控制模块,用于控制吸塑盒将待转移的N*N个晶振移至视觉模块的镜头下,并获取待转移晶振图像;
所述模式匹配模块,用于将待转移晶振图像与预先创建的模板图像进行模式匹配,获取可用晶振的坐标位置信息;所述预先创建的模板图像为N*N的矩阵图像;所述可用晶振为模式匹配分值大于预设分值的晶振;
所述第二控制模块,用于根据吸塑盒的移动方向,控制机械臂吸取预设晶振,并移动至目标载船;
所述第一控制模块,还用于当所述机械臂吸取预设晶振离开吸塑盒时,根据可用晶振的坐标位置信息,控制吸塑盒将下一个N*N的晶振移至视觉模块的镜头下。
7.如权利要求6所述的多目标识别装置,其特征在于,所述装置还包括:坐标位置获取模块;
所述坐标位置获取模块,用于根据所述待转移晶振图像与模板图像的模式匹配结果,获取待转移N*N个晶振的特征信息,根据待转移N*N个晶振的特征信息获取可用晶振的坐标位置信息;
所述待转移晶振图像的特征信息包括:位置信息、角度信息和晶振存在与否信息。
8.如权利要求6所述的多目标识别装置,其特征在于,所述第二控制模块包括左控制单元和右控制单元;
所述左控制单元,用于当所述吸塑盒向X轴负向移动时,控制机械臂吸取N*N个晶振中的左上角的晶振;
所述右控制单元,用于当所述吸塑盒向X轴正向移动时,控制机械臂吸取N*N个晶振中的右上角的晶振。
9.一种多目标识别设备,其特征在于,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被一个或多个处理器执行时,实现如权利要求1至5任一项所述方法的步骤。
CN201810330506.7A 2018-04-13 2018-04-13 多目标识别方法及装置 Pending CN108711173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810330506.7A CN108711173A (zh) 2018-04-13 2018-04-13 多目标识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810330506.7A CN108711173A (zh) 2018-04-13 2018-04-13 多目标识别方法及装置

Publications (1)

Publication Number Publication Date
CN108711173A true CN108711173A (zh) 2018-10-26

Family

ID=63866693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810330506.7A Pending CN108711173A (zh) 2018-04-13 2018-04-13 多目标识别方法及装置

Country Status (1)

Country Link
CN (1) CN108711173A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN112053398A (zh) * 2020-08-11 2020-12-08 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN113466233A (zh) * 2020-03-31 2021-10-01 北京配天技术有限公司 视觉检测方法、视觉检测装置及计算机存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969159A (ja) * 1995-08-31 1997-03-11 Sharp Corp テンプレートマッチング装置
CN101339656A (zh) * 2008-08-29 2009-01-07 中国电子科技集团公司第四十五研究所 全自动引线键合机图像处理系统的图像处理方法
CN102023168A (zh) * 2010-11-08 2011-04-20 北京大学深圳研究生院 半导体晶圆表面的芯片检测方法及系统
CN102636120A (zh) * 2012-05-10 2012-08-15 吴晓 Led芯片视觉伺服二次定位系统及其定位方法
CN203378211U (zh) * 2013-07-30 2014-01-01 东莞市华恒工业自动化集成有限公司 自动贴片机
CN203708648U (zh) * 2013-07-04 2014-07-09 深圳市领略数控设备有限公司 一种ccd滑台式分拣系统
CN104463178A (zh) * 2014-12-29 2015-03-25 广州视源电子科技股份有限公司 电子元件识别方法和系统
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
CN105066892A (zh) * 2015-08-05 2015-11-18 哈尔滨工业大学 一种基于直线聚类分析的bga元件检测与定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969159A (ja) * 1995-08-31 1997-03-11 Sharp Corp テンプレートマッチング装置
CN101339656A (zh) * 2008-08-29 2009-01-07 中国电子科技集团公司第四十五研究所 全自动引线键合机图像处理系统的图像处理方法
CN102023168A (zh) * 2010-11-08 2011-04-20 北京大学深圳研究生院 半导体晶圆表面的芯片检测方法及系统
CN102636120A (zh) * 2012-05-10 2012-08-15 吴晓 Led芯片视觉伺服二次定位系统及其定位方法
CN203708648U (zh) * 2013-07-04 2014-07-09 深圳市领略数控设备有限公司 一种ccd滑台式分拣系统
CN203378211U (zh) * 2013-07-30 2014-01-01 东莞市华恒工业自动化集成有限公司 自动贴片机
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
CN104463178A (zh) * 2014-12-29 2015-03-25 广州视源电子科技股份有限公司 电子元件识别方法和系统
CN105066892A (zh) * 2015-08-05 2015-11-18 哈尔滨工业大学 一种基于直线聚类分析的bga元件检测与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何东健: "《数字图像处理》", 28 February 2015, 西安电子科技大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN113466233A (zh) * 2020-03-31 2021-10-01 北京配天技术有限公司 视觉检测方法、视觉检测装置及计算机存储介质
CN112053398A (zh) * 2020-08-11 2020-12-08 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN112053398B (zh) * 2020-08-11 2021-08-27 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质

Similar Documents

Publication Publication Date Title
CN109353833B (zh) 机器人码垛点位生成方法、设备及计算机可读存储器
CN108711173A (zh) 多目标识别方法及装置
CN106737692A (zh) 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN107748890A (zh) 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN107015530A (zh) 模拟装置以及模拟方法
CN110088797A (zh) 工业设备图像识别处理器及控制器
JP7253731B2 (ja) 認識方法、認識システム、ロボット制御方法、ロボット制御システム、ロボットシステム、認識プログラム、及びロボット制御プログラム
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法,设备及存储介质
CN110756462B (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
CN113664835B (zh) 机器人自动手眼标定方法与系统
CN113327281A (zh) 运动捕捉方法、装置、电子设备以及拉花系统
Fu et al. Active learning-based grasp for accurate industrial manipulation
CN110142765A (zh) 一种加工橡胶塞的方法、装置及系统
CN109523525A (zh) 图像融合的恶性肺结节识别方法、装置、设备及存储介质
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
CN114427866A (zh) 路径规划方法、电子设备以及存储介质
CN110232710B (zh) 基于三维相机的物品定位方法、系统及设备
CN116884869A (zh) 芯片封装的偏移检测方法、装置、设备及存储介质
CN115847384A (zh) 机械臂安全平面信息显示方法及相关产品
CN107862656A (zh) 一种3d图像点云数据的规整化实现方法、系统
Borrell et al. Optimization of the pick-and-place sequence of a bimanual collaborative robot in an industrial production line
CN117773913A (zh) 机器人控制方法、装置、存储介质及机器人
CN112809672A (zh) 一种机械手臂用目标定位系统
CN115862149B (zh) 一种生成3d人体骨骼关键点数据集的方法及系统
US20220080590A1 (en) Handling device and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201202

Address after: 518000 1st, 5th and 6th floors of No. 1 workshop, No. 28 Qingfeng Avenue, Baolong Street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Mifeitake Technology Co.,Ltd.

Address before: Qingfeng road and Baolong Baolong Industrial Zone four road northeast side of the intersection of Longgang District of Shenzhen City, Guangdong province 518000 Qingfeng Road No. 28

Applicant before: SHENZHEN ABLE ELECTRONICS Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20181026

RJ01 Rejection of invention patent application after publication