CN112777276A - 用于移料机构的物料定位方法和物料定位装置 - Google Patents
用于移料机构的物料定位方法和物料定位装置 Download PDFInfo
- Publication number
- CN112777276A CN112777276A CN201911080173.8A CN201911080173A CN112777276A CN 112777276 A CN112777276 A CN 112777276A CN 201911080173 A CN201911080173 A CN 201911080173A CN 112777276 A CN112777276 A CN 112777276A
- Authority
- CN
- China
- Prior art keywords
- positioning
- loading platform
- picture
- global picture
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
- B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于移料机构的物料定位方法,其包括:1)拍摄装置移动至取料端装载平台上方扫描,拍摄多个局部图片并拼接得到取料端装载平台的全局图片;2)将全局图片显示在用户界面,并为用户提供在所述全局图片上设置或修改物料定位标识的编辑工具;3)通过用户界面接收被用户编辑后的物料定位标识;以及4)根据完成编辑后的所述物料定位标识的坐标位置,将物料摄取头移动至待取出物料的上方,并将物料摄取头的当前位置作为定位待取出物料的位置。本发明还提供了相应的物料定位装置。本发明可以对料盘中批量放置小尺寸物料进行准确高效的定位;便于实现可视化监控和操作;特别适合在空间和光照条件受限的场合,有助于设备的小型化。
Description
技术领域
本申请涉及工业自动化技术领域,特别地,本申请涉及用于移料机构(例如上下料机构)的物料定位方法和物料定位装置。
背景技术
当前,摄像模组已被广泛应用于消费电子终端(例如智能手机、平板电脑、笔记本电脑等)领域,成为人们生活中不可缺少的一部分,具有广阔的市场前景。摄像模组是一种小而精密的产品,生产过程中需要涉及到精密的加工。在行业早期,主要通过购买少量的国外生产设备结合大量的人力,摄像模组行业度过了成长期。并且,随着智能终端的普及化,摄像模组行业迎来了一个高速发展期。这一时期,体量小、技术不成熟的小模组厂被逐渐淘汰,留下一些技术成熟、体量庞大的模组厂。这些模组厂消化着国内市场大量的模组订单,订单的生产量能达到百万甚至千万级别,到了这个数量级,过度依赖人力生产的缺陷愈发突显,机械设备的半自动化或者自动化生产是必然的趋势。
实现半自动化或者自动化生产首先需要相应生产设备的支持,设备可通过自研和外部购买两种方式获取。其中外部购买的设备一方面价格高昂,一方面由于生产原因(如有些生产过程需要保密)等,不能完全适应购买者的生产需求,而自研设备能够根据生产需求去设计,以便提高生产效率。
摄像模组检测是摄像模组生产中的必不可少的一环,摄像模组检测设备(下文中简称为模组检测设备)同样面临着如何提高生产效率这一重大课题。为提高生产效率,有的模组测试设备采用了阵列式检测方案,即一块标板对应于多个摄像模组组成的摄像模组阵列,这样该测试环节可以一次测试多个摄像模组,从而显著提升生产效率。另一方面,有的模组测试设备还进一步地将摄像模组的上下料环节集成在模组测试设备中以完成自动上下料,从而进一步地提高设备的集成度和自动化程度。
具体来说,对于传统的模组检测设备或模组检测流水线,往往由人工操作方式完成模组的上下料,然后用机器进行自动检测。人工上下料面临效率低、质量差、检测效率取决于许多主观因素等诸多问题。随着自动化程度的不断提高,机器视觉技术被广泛的应用于工业生产中,被用于测量、识别、检测以及引导定位等,利用机器视觉代替人眼,以取代人工操作,解决人工操作带来的种种不便,提高工业的生产效率。但是机器需要识别物料在料盘(有时也可以称为产品盒)里面的准确位置并将物料准确放置到检测设备中的检测位才能进行后续的检测步骤。如何高效准确地识别物料在料盘里面的准确位置和识别之后放置物料的准确位置,是当前面临的一大难题。
目前,机器视觉技术主要应用于检测设备端的物料放置过程。对于手机摄像模组来说,其尺寸通常较小,且连接器针脚密集。为了使摄像模组准确地安放在检测设备的物料载台的检测位(或者称为搭载位),并与该物料载台实现电连接,用于机器视觉的拍摄装置通常需要设置在较为接近拍摄对象的位置处。现有的检测设备的上下料机构中,该拍摄装置通常固定于物料摄取头。物料摄取头通常为吸嘴,以便从顶部吸住摄像模组。在某些方案中,物料摄取头也可以由夹具代替,该夹具可以从两侧夹持摄像模组。总的来说,用于机器视觉的拍摄装置通常针对摄像模组与检测设备的搭载位的准确对位而设计,通常只能拍摄到单个摄像模组(这里的摄像模组作为物料,并非拍摄装置),该拍摄装置目前尚难以用于料盘端,难以在料盘端高效准确地识别模组在料盘里面的准确位置。具体来说,目前一种典型的方案是先将吸附物料的吸嘴移动到物料载台的搭载位(可以具有适配物料外形的凹槽)的上方的一个大致范围内,然后用吸嘴带有拍照装置(也可以称为拍摄装置)拍摄搭载位的图片,接着,控制中心进行实时分析,进行精确对位,在精确对位完成后再控制吸嘴将物料放置到所述搭载位中。这种方案虽然能够实现基于机器视觉的自动对位,但是耗时过长,难以满足大批量生产对生产效率的需求。
现有技术中,为了在料盘端实现模组的自动定位,采取了如下措施:一方面将料盘中的物料按一定规律整齐摆放,例如将多个物料摆放成规整的阵列;另一方面,预先设定好移料机构(也可以称为上下料机构或者换料机构)的在xy平面(xy平面是平行于料盘表面的平面)上的移动路线和取料位置。这样,在实际生产时,移料机构可以按照预设的取料位置依次取完料盘中的所有物料。然而,上述方案十分依赖物料原有摆放位置的准确性。如果料盘中的物料摆放位置与移料机构预设的取料位置不一致,导致取料失败或者所摄取的物料不稳等问题(摄取头需要在物料的合适位置接触该物料以便进行吸附或夹取,只有这样才能保证克服物料本身的重力并且在运行的过程中物料不会掉落)。严重时,可能还会导致碰撞问题,导致整个设备故障或者精度下降。
另一方面,为了使物料在料盘中的摆放位置更加准确,可以在料盘中加工出与物料外形适配的多个凹槽,这些凹槽可以对所摆放的物料起到一定的限位作用。然而,不同型号的摄像模组往往盛放于不同型号的料盘中。即便是相同型号的摄像模组,有时也会采用不同型号的料盘进行放置。这将导致每种型号的料盘都需要对移料机构的在xy平面上的移动路线和取料位置重新进行设置。对于集成度很高、结构紧凑、且通常安装在密闭的箱体内的模组检测设备(例如为了保证摄像模组的清洁度的摄像模组检测设备通常设置在密封的箱体内),如果仍然采用现有的在料盘中自动定位模组的方案,一旦遇到新型号的料盘,设备的调试过程将变得十分繁琐。
再者,为将生产成本保持在合理范围内,料盘的加工精度往往不会太高,这也可能导致料盘中的物料摆放位置与移料机构预设的取料位置不匹配。
最后,机器视觉识别装置一般对光源的要求比较高,光源条件不足,可能会降低识别结果的准确率和可靠性。而摄像模组检测设备内部结构紧凑,空间受限,难以在较大范围内提供优良的光照条件,这给基于机器视觉的定位带来了额外的困难。
综上所述,当前迫切需要一种能够对料盘中批量放置的摄像模组(或者其他小尺寸物料)进行准确高效定位的解决方案。
发明内容
本发明的一个目的在于,克服现有技术的不足,提供一种能够对料盘中批量放置的摄像模组(或者其他小尺寸物料)进行准确高效定位的解决方案。
为解决上述技术问题,本发明提供了一种用于移料机构的物料定位方法,其涉及取料端装载平台,其适于批量地装载所述物料,以及可摄取和移动所述物料的移料机构,其中所述移料机构具有可移动的物料摄取头和固定于所述物料摄取头的拍摄装置;所述物料定位方法包括:1)所述拍摄装置移动至所述取料端装载平台上方的不同位置拍摄多个局部图片,将所述多个局部图片拼接,得到所述取料端装载平台的全局图片;2)将所述的全局图片显示在用户界面,并为用户提供在所述全局图片上设置或修改物料定位标识的编辑工具;3)通过所述用户界面接收被用户编辑后的所述物料定位标识;以及4)根据完成编辑后的所述物料定位标识的坐标位置,将所述物料摄取头移动至待取出物料的上方,并将所述物料摄取头的当前位置作为定位所述待取出物料的位置。
其中,所述步骤1)包括下列子步骤:11)确定全局图片所需的视场范围;12)确定拍摄装置的工作高度,根据拍摄装置的图像传感器的尺寸和拍摄装置的光学倍率,来确定单次拍摄的视场范围;13)根据单次拍摄的视场范围和已知的全局图片的视场范围,规划拍摄装置的移动路线和每次拍摄的拍摄位置;其中每次移动的距离是单次拍摄的视场范围的长度或宽度;以及14)将所有局部图片拼接成全局图片。
其中,所述步骤2)中,所述编辑工具包括:框选工具;其中,所述框选工具用于生成尺寸可调的框选图形,所述框选图形与所述物料的轮廓或部分轮廓具有一致的形状,并且所述框选图形作为所述物料定位标识。
其中,所述步骤2)中,所述编辑工具还包括:移动工具和删除工具;其中,所述移动工具用于在所述全局图片上移动所述物料定位标识,所述删除工具用于删除所述物料定位标识。
其中,所述步骤2)中,所述编辑工具还包括:阵列工具;其中,所述阵列工具用于在所述全局图片上显示由控制中心自动生成的所述物料定位标识的阵列。
其中,所述步骤2)还包括:控制中心自动生成参考物料定位标识并呈现于用户界面。
其中,所述步骤2)中,所述参考物料定位标识的位置通过相邻物料的行间距和列间距,以及预设的或由用户输入的物料行数和列数计算得出。
其中,所述物料定位方法还涉及目的端装载平台,所述步骤1)中,所述拍摄装置分别移动至所述取料端装载平台和所述目的端装载平台上方,分别移动至多个不同位置拍摄多个局部图片,然后将所述多个局部图片拼接成取料端全局图片以及目的端全局图片。
其中,所述步骤2)中,在所述用户界面分别显示所述取料端全局图片和所述目的端全局图片;所述步骤3)中,所述物料定位标识包括标记物料取料位置的取料定位标识和标记物料目的位置的目的定位标识。
其中,所述步骤3)中,所述取料定位标识和所述目的定位标识具有配对关系。
其中,所述步骤3)中,所述的物料定位标识包括图形和用于标注所述图形的文字。
其中,所述目的端装载平台包括至少一个用于搭载所述物料的搭载槽;所述物料定位方法还包括:5)所述物料摄取头从所述步骤4)所定位的位置取出物料,然后根据完成编辑后的所述目的定位标识的坐标位置,将所述物料摄取头移动至所述目的端装载平台的上方,并直接在当前的坐标位置将所述物料放下。
其中,所述物料定位方法还包括步骤:6)将所述物料放下后,所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓之间的匹配程度来判断本次移料是否成功。
其中,所述物料定位方法还包括步骤:7)在调试阶段,保存每个型号的所述取料端装载平台的所述取料定位标识的坐标位置,以及每个型号的所述目的端装载平台的所述目的定位标识的坐标位置;以及8)在工作阶段,控制所述移料机构,使用已保存的同一型号的所述取料端装载平台的所述取料定位标识的坐标位置和已保存的同一型号的所述目的端装载平台的所述目的定位标识的坐标位置,直接进行取料和放料,然后再控制所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓来判断本次移料是否成功。
根据本申请的另一方面,还提供了一种物料定位装置,其包括:取料端装载平台、移料机构和控制中心;所述取料端装载平台适于批量地装载所述物料;所述移料机构可摄取和移动所述物料,所述移料机构具有可移动的物料摄取头和固定于所述物料摄取头的拍摄装置;所述控制中心用于控制所述拍摄装置移动至所述取料端装载平台上方的不同位置拍摄多个局部图片,将所述多个局部图片拼接,得到所述取料端装载平台的全局图片;将所述的全局图片显示在用户界面,并为用户提供在所述全局图片上设置或修改物料定位标识的编辑工具;通过所述用户界面接收被用户编辑后的所述物料定位标识;以及根据完成编辑后的所述物料定位标识的坐标位置,将所述物料摄取头移动至待取出物料的上方,并将所述物料摄取头的当前位置作为定位所述待取出物料的位置。
其中,所述控制中心还用于:确定全局图片所需的视场范围;确定拍摄装置的工作高度,根据拍摄装置的图像传感器的尺寸和拍摄装置的光学倍率,来确定单次拍摄的视场范围;根据单次拍摄的视场范围和已知的全局图片的视场范围,规划拍摄装置的移动路线和每次拍摄的拍摄位置;以及将所有局部图片拼接成全局图片。
其中,所述物料定位装置还包括目的端装载平台,所述控制中心还用于将所述拍摄装置分别移动至所述取料端装载平台和所述目的端装载平台上方,分别移动至多个不同位置拍摄多个局部图片,然后将所述多个局部图片拼接成取料端全局图片以及目的端全局图片;在所述用户界面分别显示所述取料端全局图片和所述目的端全局图片;所述物料定位标识包括标记物料取料位置的取料定位标识和标记物料目的位置的目的定位标识。
其中,所述控制中心还用于根据完成编辑后的所述取料定位标识的坐标位置移动所述物料摄取头至所述待取出物料的上方并直接摄取该物料,然后根据完成编辑后的所述目的定位标识的坐标位置,将所述物料摄取头移动至所述目的端装载平台的上方,并直接在当前的坐标位置将所述物料放下。
其中,所述目的端装载平台包括至少一个用于搭载所述物料的搭载槽;所述控制中心还用于:在每次放料完成后,控制所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓的匹配程度来判断本次移料是否成功。
其中,所述物料为电子设备功能模组,所述功能模组包括模组主体、柔性连接带和连接器;所述目的端装载平台的所述搭载槽具有适配所述连接器的第一轮廓,所述第一轮廓大于所述连接器的轮廓,所述搭载槽具有与所述连接器适配的触点阵列;所述控制中心还用于:在每次放料完成后,通过判断所述检验图片中所述第一轮廓与所述连接器的轮廓之间的间距是否小于预设的公差,来判断本次移料是否成功。
与现有技术相比,本申请具有下列至少一个技术效果:
1.本申请的物料定位方法和装置可以对料盘中批量放置的摄像模组或者其他小尺寸物料进行准确高效的定位。
2.本申请的物料定位方法和装置自动化程度高,同时也便于实现可视化的监控和操作。
3.本申请的物料定位方法和装置具有很高的定位准确度,能够极大地降低定位不准而导致的设备故障风险。
4.本申请的物料定位方法和装置特别适合在空间受限、光照条件受限的场合实现高准确度的物料定位,从而有助于设备的小型化。
5.本申请的物料定位方法和装置可以在实现物料的准确高效的定位的同时,避免或减少对设备的硬件改造,从而便于对现有的设备进行升级,具有优异的经济效益。
6.本申请的物料定位方法和装置可以方便地适应各种不同型号的物料和料盘,具有很好的兼容性。
7.本申请的物料定位方法和装置有助于降低设备的调试难度。
8.本申请的物料定位方法可以与检测设备之间相互配合,实现高效的检测自动化,提高检测的效率。
附图说明
图1示出了本申请一个实施例中所涉及的上下料机构和物料载台的位置关系示意图;
图2示出了本申请一个实施例的物料定位方法的流程图;
图3示出了本申请一个实施例中的实际拍摄并在用户界面显示的全局图片的示例;该图中,显示了实际拍摄的全局图片以及在该全局图片上显示的一些标识;
图4示出了一个全局图片的示意图;
图5示出了本申请一个实施例中的在全局图片上显示方框状的框选图形的示例;
图6示出了方框尺寸调整的示例;
图7示出了本申请一个实施例中在全局图片上自动生成物料定位标识阵列的示意图;
图8示出了本申请另一个实施例中的全局图片的示意图;
图9示出了基于图8的全局图片而现实的参考物料定位标识;
图10示出了本申请另一实施例的用于上下料机构的物料定位方法的流程图;
图11示出了本申请一个实施例中用户界面所显示的实际物料载台全局图片及相应的物料定位标识;图11中的文字、输入框和其它标识均为屏幕上所显示的原始信息,其中,输入框中的2和8分别是用户输入的行数和列数。
具体实施方式
为了更好地理解本申请,将参考附图对本申请的各个方面做出更详细的说明。应理解,这些详细说明只是对本申请的示例性实施方式的描述,而非以任何方式限制本申请的范围。在说明书全文中,相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。
应注意,在本说明书中,第一、第二等的表述仅用于将一个特征与另一个特征区分开来,而不表示对特征的任何限制。因此,在不背离本申请的教导的情况下,下文中讨论的第一主体也可被称作第二主体。
在附图中,为了便于说明,已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。
还应理解的是,用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”,当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、元件和/或部件,但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外,当诸如“...中的至少一个”的表述出现在所列特征的列表之后时,修饰整个所列特征,而不是修饰列表中的单独元件。此外,当描述本申请的实施方式时,使用“可以”表示“本申请的一个或多个实施方式”。并且,用语“示例性的”旨在指代示例或举例说明。
如在本文中使用的,用语“基本上”、“大约”以及类似的用语用作表近似的用语,而不用作表程度的用语,并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。
除非另外限定,否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是,用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义,并且将不被以理想化或过度正式意义解释,除非本文中明确如此限定。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
根据本申请的一个实施例,提供了一种用于上下料机构的物料定位方法。图1示出了本申请一个实施例中所涉及的上下料机构和物料载台的位置关系示意图。本实施例中,物料可以是已生产完成待出厂检测的产品(例如待出厂检测的摄像模组)。这里的上下料机构3是将产品从料盘1(或称为产品盒)自动移动至检测设备的物料载台2(图1中仅示出物料载台,并未示出完整的检测设备)的移动机构。该上下料机构3至少具有一个物料摄取头31(图1中示出了两个物料摄取头31及两个对应的导轨32),该物料摄取头31可以以吸附或夹持的方式摄取物料,以及通过导轨32移动,从而将所摄取的物料从料盘1的上方区域移动到物料载台2的上方区域,或者将所摄取的物料从物料载台2上方区域移动到料盘1的上方区域。同时,上下料机构3还具有一个固定于物料摄取头31的拍摄装置。该拍摄装置作为机器视觉系统的一部分,用于拍摄物料的实际位置和状态。通常来说,固定于物料摄取头的拍摄装置被设计为拍摄单个物料,为了使得设备实现小型化,检测设备及其上下料机构设计得十分紧凑,使得拍照的空间受限、光照条件受限往往难以拍摄整个料盘的图片。因此,现有技术中上下料机构往往不会对料盘的实际摆放情况进行拍摄,而是直接按照预先设定的位置和路线在料盘中进行取料。本实施例中,则提供了一种可视化的用于上下料机构的物料定位方法,该方法可以利用上下料机构已有的硬件设备,克服空间受限、光照条件受限等不利因素,通过简单的软件升级,即可实现对料盘中物料实际摆放情况的可视化操作。进一步地,图2示出了本申请一个实施例的物料定位方法的流程图。参考图2,本实施例中,识别料盘中的物料位置包括下列步骤。
步骤S10,确定所需拍摄的可覆盖整个料盘的全局图片的视场范围。具体来说,本实施例中,可以通过确定拍照区域的左上角与右下角的坐标来确定全局图片的视场范围。在上下料机构中,通常以俯视角度来拍摄料盘。所拍摄的料盘表面的各个位置均可以以二维坐标系下的(x,y)坐标来表示。当确定全局图片的左上角与右下角的坐标后,即可确定所需的全局图片对应的矩形区域。
步骤S20,确定拍摄高度(即确定拍摄装置距离被拍摄物的距离),根据拍摄装置的图像传感器(感光芯片的感光面)的尺寸和拍摄装置的光学倍率,来确定单次拍摄的视场范围(FOV)。一般来说,拍摄装置调好焦距之后,其可视范围就已确定,也就是单次拍摄出来的图片的长和宽已经确定。视场范围FOV=感光区域尺寸/光学倍率。其中,感光区域尺寸是指感光芯片的感光区域的尺寸(例如矩形感光区域的长和宽。光学倍率可以理解为光学镜头汇聚或发散光线的程度,光学倍率有时也可以称为折光率或屈光率。光学倍率与其拍摄装置的镜头的焦距是负相关的。
步骤S30,根据单次拍摄的视场范围和已知的全局图片的视场范围,规划拍摄装置的移动路线和每次拍摄的拍摄位置。其中每次移动的距离刚好是单次拍摄的视场范围的长度或宽度,从而使得相邻的局部图片可以准确高效地拼接。本步骤中,可以基于准确的计算结果来规划拍摄装置的拍摄位置,从而实现扫描式的拍摄,进而为全局图片的拼接提供素材。
步骤S40,将所有局部图片拼接成料盘的全局图片。该全局图片可以反映当前料盘的实际的物料摆放状态。具体来说,为保证任意两个相邻的局部图片之间既没有漏拍的缝隙也没有重叠的区域(即保证局部图片能够准确拼接),在本实施例中,对单次拍摄的视场范围的尺寸的精确计算,然后根据计算结果来精确地移动物料摄取头(即拍摄装置),在各个预设位置拍摄局部图片,再直接拼接各个局部图片,进而得到全局图片。该全局图片和实际的料盘是按照一定的比例尺设置的,所以图片上的每一个位置都能够与实际料盘的一个位置对应。图3示出了本申请一个实施例中的实际拍摄并在用户界面显示的全局图片的示例。参考图3,可以看出,虽然每个局部图片的光照条件不一致,致使全局图片的拼接痕迹较为明显,但是这种全局图片足以表示出每个摄像模组的准确位置和清晰轮廓,所以并不会影响物料摄取头摄取物料的精确度。本实施例中,是通过拍摄装置的精确走位来控制相邻局部图片的视场,使得相邻图片可以直接进行拼接。需注意,在常见的机器视觉技术中,有的拼接方案中会在相邻局部图片设置重叠区域,然后通过机器视觉技术来识别该重叠区域的图像内容是否一致,再基于该重叠区域进行拼接。然而,本实施例中,由于光照条件的不一致,对重叠区域图像内容的识别不可能百分之百准确,一旦识别不准就可能导致拼接出的全局图像扭曲或错位,导致全局图片的准确性和可靠性可能存在不足。因此,本申请中,优选方案是通过拍摄装置的精确走位来控制相邻局部图片的视场,然后直接拼接相邻的局部图片。具体来说,在本申请的一个实施例中,通过精确控制每次拍摄的拍摄位置(指拍摄装置的位置),基于光学成像原理所决定的几何关系,可以计算出当前拍摄位置所得到的局部图片中的每个像素在预设的全局图片视场中所处的坐标位置。这样,根据各个局部图片的每个像素在全局图片视场中所处的坐标位置,即可拼接出所需的全局图片。这种优选方案使局部图片的拼接过程可以避免对重叠区域的图像内容进行识别,既可以降低图片处理的复杂度,提高软件的运行效率,也能够更好地适应结构紧凑的密闭箱体内的拍摄环境,提供能够更可靠的真实反映物料位置的全局图片。参考图3,在本实施的方案中,全局图片中,有的物料(摄像模组)实际上位于局部图片的边缘位置,甚至有的物料被分割在左右两个(或上下两个)局部图片中,需要在拼接后才能恢复该物料的整体轮廓。但上述这种分割情形并不影响对物料的定位,其偏差不会导致摄取头不能摄取物料或摄取物料不稳。进一步地,图4示出了一个全局图片的示意图。该图中的阴影块表示物料,虚线表示拼接线,即相邻局部图片之间的边界。为便于理解,下文中将以图4所示的全局图片为基础进行进一步地介绍。
步骤S50,将全局图片传输给控制中心并将其显示在屏幕(或者其它人机接口设备)的用户界面上。该用户界面还可以提供各种可视化的编辑工具。所述编辑工具可以包括:框选、复制、删除、移动等便捷操作工具。基于这些编辑工具,操作人员可以方便地在全局图片上对每个物料进行定位,或者修改对某个或某几个特定物料的定位。这种定位可以是在图片上对物料位置进行可视化的框选,也可以是标记物料位置的中心点,还可以是其它的可以在全局图片上标记物料位置信息的方案。进一步地,在一个实施例中,控制中心还可以自动输出机器标记结果,例如由机器自动生成标记所有物料位置的框选结果。然后,再由操作人员对上述机器框选结果进行修改和确认。修改可以通过拖动框(即用于框选摄像模组的框)的位置来实现。例如有时机器自动生成的框偏离了摄像模组的实际位置,此时操作人员可以拖动这个框来使框的位置与摄像模组的实际位置匹配。修改也可以是删除操作。例如,有时机器自动生成的框的位置没有摄像模组,此时操作人员可以直接将该框删除。在一个实施例中,机器自动生成的框可以是通过阵列的方式计算出来。具体来说,可以预先输入料盘中的物料摆放的行列信息,然后根据相邻物料的行距和列距直接在全局图片中生成代表物料位置的框的阵列。其中,物料的行距和列距可以基于机器视觉技术自动识别。例如,可以基于机器视觉技术自动识别出第一行第一个物料和第一行第二个物料之间的距离,并将该距离作为列距,可以基于机器视觉技术自动识别出第一行第一个物料和第二行第一个物料之间的距离,并将该距离作为行距,然后根据上述列距和行距推算出所有框的位置并将其呈现在全局图片上。这种自动生成定位框可以视为参考物料定位标识,供操作员进行编辑和修改,以便减小操作员的工作量,提升工作效率。具体来说,操作员可以在自动产生的定位框(即参考物料定位标识)的基础上进行编辑。操作员的编辑可以仅用于物料生产(或检测)的调试阶段,调试完成后,可以保存编辑完成后的定位信息(例如物料定位标识的坐标位置),在实际生产(或检测)中,对于同型号的物料和料盘,可以直接使用已保存的定位信息完成物料的上下料。上述由机器自动生成的框是作为参考供操作员使用,因此可以称为参考物料定位标识。这些自动生成的参考物料定位标识可以呈现于所述用户界面,以便操作员使用。
本实施例中,所述框选工具可以用于生成尺寸可调的框选图形,所述框选图形与所述物料的轮廓或部分轮廓具有一致的形状,并且所述框选图形可以作为所述物料定位标识。由于框选图形与物料的轮廓或部分轮廓具有一致的形状,因此操作员可以通过调整该框选图形的尺寸使得框选图形与全局图片中的物料轮廓更好地重叠,从而更准确地描绘出物料在全局图片中的位置。并且,这种与物料轮廓或部分轮廓形状一致的框选图形也可以方便操作员的编辑工作,节省定位时间。图5示出了本申请一个实施例中的在全局图片上显示方框状的框选图形的示例。需注意,图5中的方框尺寸略小于物料尺寸,此时可以调整方框的尺寸(例如用鼠标拖动该方框的一角来调整其尺寸),使其与物料的尺寸一致。图6示出了方框尺寸调整的示例。图6中,截取在全局图片的左上角部分进行放大。如图6所示,当调整方框的尺寸后,作为物料定位标识的方框的轮廓可以与物料的轮廓更好地匹配。这样可以帮助提升物料的定位精度。图6中,外侧的方框为调整后的方框,内侧的方框为调整前的方框,可以看出,调整后的方框与物料的轮廓的匹配程度明显优于调整前的方框。
进一步地,图7示出了本申请一个实施例中在全局图片上自动生成物料定位标识阵列的示意图。本实施例中,控制中心可以基于机器视觉自动生成表示每个物料位置的定位框,以便于操作员在此基础上进行编辑。例如,操作员不需要逐个框选出各个物料,只需要在自动生成的定位框的基础上进行修改和移动,即可完成编辑工作。控制中心可以直接将所生成的定位框阵列显示在全局图片上,也可以默认设置成不显示自动生成的定位框阵列,而是提供一个阵列工具,当操作员点击阵列工具时,控制中心自动生成的所述物料定位标识的阵列被显示在所述全局图片上。进一步地,分类工具可以用于标识定位框的类别,分区工具可以用于将全局图片进行分区。不同分区可以单独地进行锁定和激活。当某个分区被锁定后,将无法对该分区内的定位框进行编辑。这样,如果需要对编辑完成后的定位框进行修改,可以先单独激活需修改的定位框所在的分区,然后再对该定位框进行编辑。这种设计可以避免因误操作而改变未被激活的邻近分区的定位框。这里,自动生成的定位框可以视为参考物料定位标识。由于料盘的加工精度有限(以及其它各种因素),自动生成的一部分参考物料定位标识可能会有一些偏差(如图7所示),此时通过移动和修改这些有偏差的参考物料定位标识,即可完成物料定位标识的编辑。
进一步地,图8示出了本申请另一个实施例中的全局图片的示意图。参考图8,本实施例中,料盘中的物料布局并未形成规则的阵列(例如为方便产品计数,是有会在料盘中留下空位以便将该料盘中的产品数目凑成整十或整百),此时按照前方法(例如用阵列工具)自动生成的参考物料定位标识可以会出现错误。图9示出了基于图8的全局图片而现实的参考物料定位标识。可以看到,图9中,左下角和右下角出现了多余的参考物料定位标识。这种错误对操作员来说是易于发现和处理的(例如直接删除多余的参考物料定位标识)。
步骤S60,控制中心接收用户在全局图片上的标记的(或者由系统自动标记并由用户确认的)所有物料的物料位置信息,根据这些物料位置信息驱动所述物料摄取头在xy平面内移动,并在相应的物料位置点停止,通过升降电机来摄取该位置点的物料。其中,升降电机是可驱动物料摄取头在z轴移动的电机。
在取料后,上下料机构可以通过导轨将所摄取的物料移动并安放至检测设备的物料载台中。其中,物料载台可以具有多个检测位(即多个物料搭载位)。在物料载台上方时,可以基于机器视觉技术进一步利用拍摄装置对所摄取的物料和搭载位进行进一步地对位,从而确保物料被准确安放至物料载台。在另一实施例中,也可以参考前述基于图片拼接的方案对物料载台上的各个物料搭载位进行定位,从而确定物料将要移动至的目的地坐标,然后直接按照该目的地坐标将物料移动至物料载台上方并安放。本方案相对于前一方案可以具有更高的生产效率。在下文中还会结合实施例对其做进一步地介绍。
上述实施例中,巧妙地利用了固定于物料摄取头的拍摄装置,在空间受限、光照条件受限的前提下,为控制中心提供了准确的可视化的料盘摆放信息,再结合可视化的编辑工具,可以让操作人员通过简单的操作,来实现物料的准确高效的定位。为更加便于理解,下面引入一个比较例,通过与该比较例的对比,可以更好地理解本发明的各项技术效果。
在一个比较例中,对于某一型号的料盘,可以先人为规定几个有代表性的典型取料位置(例如第一行第一列的物料、最后一行第一列的物料以及最后一行最后一列的物料),然后根据取料的点建立一个对应关系,再将物料的行数和列数手动输入,系统会自动计算出每一个物料所对应的位置。然后将每一个物料对应的位置(需注意,这个位置实际上只是物料所处大致位置)传送给相应的控制中心,控制中心发出指令,自动摄取(例如吸附)物料(例如摄像模组)的上下料机构接收到控制中心的指令,将物料摄取头移动到对应的位置开始进行产品的摄取。需注意,这个比较例中,也可以通过识别料盘四角中的至少三个角的位置来实现定位框的自动生成。例如,可以利用机器视觉技术识别出料盘的左上角、左下角和右下角的坐标,然后基于已知的物料的行列数(可以由用户输入),根据所识别出的这些坐标信息自动生成定位框。上述比较例可以解决检测过程中物料定位的问题,然而当机器检测装置移动到产品上方的时候,需要对产品进行摄取,摄取的时候需要注意,夹持装置应该与产品的部分相互接触(物料摄取头需要在物料合适位置进行摄取,才能保证克服物料本身的重力并且在运行的过程中不会掉落。所以需要准确的定位产品的位置,如果位置出现偏差,都会使得夹持装置在传送产品的过程中掉落。但是,由于该比较例中,根据人为定义的三点(第一行第一列的物料、最后一行第一列的物料以及最后一行最后一列的物料这三个点)推算出其他位置的坐标,严重的依赖于初始选取的位置的准确性,如果刚开始选取的位置不准确,后续推算出来的其他产品的位置都会存在误差,那么在调试完成之后,产品进行测试的时候,就可能会出现抓取偏差或者产品掉落的情况;同时产品间隙中间的位置不能进行识别,如果产品放置在产品盒里面的时候位置出现偏差,也会导致吸嘴吸取不到产品或者吸取不稳的情况。
而本申请的前述实施例(例如步骤S10-S60所描述的实施例)中,将机器视觉的自动识别与可视化的人机交互界面相结合,通过人与机器的组合,巧妙地避免了上述问题,从而提高了定位的准确性。并且由于人工操作非常简单,因此可以保持高效的设备运行状态。
另一方面,为了节省空间和提高利用效率,拍摄装置(即视觉识别装置)一般体积都很小,而视觉识别装置一般和物料摄取头连接在一起,为了准确的识别产品的具体位置,视觉识别装置的成像范围都比较小——主要是识别当前物料(一般是单个物料)的位置。所以在调试的过程中,视觉识别装置只能识别局部区域,而对于整体产品的分布情况不能较好的把控。实际在检测的过程中,由于移动或者震动等其他的因素,物料摆放的位置或多或少都会出现一定的偏差,如果视觉识别装置对实际的位置把控不准,在后续的检测过程中就会出现抓取不准或者不稳的情况,影响检测效率。本申请的前述实施例中,可以通过图片拼接巧妙地利用已有的视觉识别装置来实现料盘中的准确的物料定位。并且,本实施例便于实现可视化的监控和操作。再者,本实施例可以在实现物料的准确高效的定位的同时,避免或减少对设备的硬件改造,从而便于对现有的设备进行升级,具有优异的经济效益。
进一步地,图10示出了本申请另一实施例的用于上下料机构的物料定位方法的流程图。本实施例中的物料定位方法可以同时实现料盘端和物料载台端的定位,并确定每个物料的取料位置和目的位置,即该物料所要放置的位置。参考图4,本实施例的物料定位方法包括下列步骤。
步骤S100,利用固定于摄取头的拍摄装置扫描式地拍摄料盘的局部图片,并将这些局部图片拼接成料盘的全局图片。其具体实现步骤可参考前文中的步骤S10-S40,此处不再赘述。为便于描述,本步骤所得的全局图片可称为料盘全局图片。具体实现上,可以预先确定全局图片的视场所需覆盖的区域,然后再控制拍摄装置移动,拍摄各个局部图片。
步骤S200,利用固定于摄取头的拍摄装置扫描式地拍摄物料载台的局部图片,并将这些局部图片拼接成物料载台的全局图片。其具体实现步骤类似于对料盘的拍摄和图片拼接,也可参考前文中的步骤S10-S40,此处不再赘述。图5示出了本申请一个实施例中的拼接后得到的视场覆盖整个物料载台的全局图片的示例。本步骤所得的全局图片可称为物料载台全局图片。需注意,本步骤中,全局图片也可以不覆盖整个物料载台,而是覆盖物料载台中的所有物料搭载位即可。具体实现上,可以预先确定全局图片的视场所需覆盖的区域,然后再控制拍摄装置移动,拍摄各个局部图片。
步骤S300,将步骤S100获得的料盘全局图片和步骤S200获得的物料载台全局图片传输至控制中心。在控制中心的显示屏(或其他人机接口设备)的用户界面显示这两个全局图片。这里,对于料盘全局图片来说,物料位置可以是指物料实际所处位置,对于物料载台全局图片来说,物料位置可以是指物料载台的物料搭载位的位置。所述用户界面还提供可视化的编辑工具,编辑工具可包括:框选、复制、删除、移动、阵列、分类、分区等便捷操作工具。这样用户可以对偏离物料或者物料搭载位的定位框(即物料定位标识)进行拖动,使其位置与全局图片中的实际情况匹配。对于多余的定位框,可以直接删去。对于料盘全局图片和物料载台全局图片中的定位框,用户还可以通过编号进行配对,这样就可以对物料的取料位置和目的位置(即放料位置)进行配对。图11示出了本申请一个实施例中用户界面所显示的实际物料载台全局图片及相应的物料定位标识。对物料定位标识的编辑过程可以参考图4-9及前文的相应描述。本实施例中,用户界面所显示的实际料盘全局图片及相应的物料定位标识可以参考图3,此处不再赘述。需注意,定位框也可以被其它可视化的定位标识取代(例如十字标记等)。本实施例中,定位框可以是方框,以适配摄像模组的主体轮廓。在其它实施例中,所述框选工具可以是用于生成尺寸可调的方框以外的框选图形,所述框选图形与所述物料的轮廓或部分轮廓具有一致的形状,并且所述框选图形可以作为所述物料定位标识。由于框选图形与物料的轮廓或部分轮廓具有一致的形状,因此操作员可以通过调整该框选图形的尺寸使得框选图形与全局图片中的物料轮廓更好地重叠,从而更准确地描绘出物料在全局图片中的位置。并且,这种与物料轮廓或部分轮廓形状一致的框选图形也可以方便操作员的编辑工作,节省定位时间。进一步地,在一个实施例中,控制中心可以基于机器视觉自动生成表示每个物料位置的定位框,以便于操作员在此基础上进行编辑。例如,操作员不需要逐个框选出各个物料,只需要在自动生成的定位框的基础上进行修改和移动,即可完成编辑工作。控制中心可以直接将所生成的定位框阵列显示在全局图片上,也可以默认设置成不显示自动生成的定位框阵列,而是提供一个阵列工具,当操作员点击阵列工具时,控制中心自动生成的所述物料定位标识的阵列被显示在所述全局图片上。进一步地,分类工具可以用于标识定位框的类别,分区工具可以用于将全局图片进行分区。不同分区可以单独地进行锁定和激活。当某个分区被锁定后,将无法对该分区内的定位框进行编辑。这样,如果需要对编辑完成后的定位框进行修改,可以先单独激活需修改的定位框所在的分区,然后再对该定位框进行编辑。这种设计可以避免因误操作而改变未被激活的邻近分区的定位框。这里,自动生成的定位框可以视为参考物料定位标识。步骤S400,控制中心接收用户在用户界面的操作指令,识别最后确定的定位框(或者其它物料定位标识)及取料位置和目的位置的配对关系,控制上下料机构在所识别出的取料位置取料(例如料盘上的物料的坐标位置),并将物料移动至与其配对的目的位置(例如物料载台上的物料搭载位的坐标位置)。本实施例中,可以按照所识别出的定位框的坐标将物料移动至目的坐标位置,然后直接启动升降电机安放物料。这种方案可以提高生产效率。需注意,对于手机摄像模组(有时简称为手机模组或模组),在检测的时需要进行通电成像,再根据成像情况分析模组性能。因此手机模组的连接器需要与物料搭载位的触点阵列准确接触以实现电连接。因此,当模组放置的位置超出公差设定的范围时,检测设备会自行进行报警,此时需要人工将此警报解除。
进一步地,在一个实施例中,物料载台具有多个物料搭载位,所述搭载位可以具有与摄像模组适配的搭载槽(或称为卡槽)。卡槽的轮廓与摄像模组的轮廓是相匹配的,待将模组放置到卡槽里面之后,连接在物料摄取头上面的拍摄装置会对放置的位置进行拍照,并将此图片传输给控制中心,控制中心根据预先的程序设定,判断卡槽的轮廓和实际的模组放置位之间的间距有没有超出设置的阈值(即判断公差是否在可容忍范围内),一旦发现模组放置位置已经超过了原先设定的阈值,报警装置就会启动。具体来说,卡槽轮廓的形状可以与摄像模组的轮廓形状一致(或者二者的轮廓的某些区段一致),卡槽轮廓略大于摄像模组的轮廓以便容忍一定的公差,因此可以基于机器视觉技术识别卡槽(即搭载槽)的轮廓和摄像模组的轮廓,根据这两个轮廓的是否匹配来判断本次放料是否成功。进一步地,可以根据卡槽的轮廓和摄像模组的轮廓之间的间距是否超出设置的阈值,来判断二者是否匹配。
上述实施例中,可以同时实现取料位置和目的位置的快速准确的定位,有助于提高生产效率。
进一步地,在大规模生产中,对于同一型号的料盘,可以认为其内物料摆放位置相同(即偏差在所容许的公差范围内)。因此,对于同一型号的料盘,可以在调试阶段采用本申请所提供的方法进行物料定位,然后保存这些定位信息(例如物料定位标识的坐标),在后续生产(即工作阶段)中可以直接按照所保存的定位信息进行取料和放料。当需要使用新型号的料盘时,再重新进入调试阶段,按照本申请所提供的方法进行物料定位,进而根据定位结果进行保存和后续的生产。这种设计可以有效地保证上下料机构的定位准确性,同时还提高了生产效率。
进一步地,在本申请的一个实施例中,还提供了一种物料定位装置,其包括取料端装载平台、目的端装载平台、移料机构和控制中心。其中取料端装载平台适于批量地装载所述物料。目的端装载平台至少可以装载一个物料,当目的端装载平台也批量地装载物料时,本实施例的优势将更加明显。这里批量地装载物料可以理解为至少装载两个物料。但需要注意,取料端装载平台、目的端装载平台可以装载的物料数目实际上远多于两个。本实施例中,移料机构可摄取和移动所述物料。所述移料机构具有可移动的物料摄取头和固定于所述物料摄取头的拍摄装置。移料机构可以是摄像模组检测设备的上下料机构。在上料过程中,所述取料端装载平台为用于批量运输物料(即摄像模组)的料盘,所述目的端装载平台为模组检测设备的物料载台,该物料载台的物料搭载位可以作为检测位使用。在下料过程中,则取料端装载平台为物料载台,目的端装载平台为所述料盘。需注意,移料机构不限于上下料机构。例如,在一个例子中,移料机构可以是用于将良品和次品分开的分料机构。在一个例子中,移料机构可以基于导轨实现,即物料摄取头可以安装在导轨上。在另一个例子中,移料机构可以基于机械臂(例如多关节机械臂)实现。换句话说,移料机构的具体实现形式不限,只要能够将物料从取料端装载平台移动至目的端装载平台,具有移动的物料摄取头和固定于所述物料摄取头的拍摄装置,即可视为移料机构。进一步地,本实施例中,所述控制中心用于控制所述拍摄装置移动至所述取料端装载平台上方的不同位置拍摄多个局部图片,将所述多个局部图片拼接,得到所述取料端装载平台的全局图片;将所述的全局图片显示在用户界面,并为用户提供在所述全局图片上设置或修改物料定位标识的编辑工具;通过所述用户界面接收被用户编辑后的所述物料定位标识;以及根据完成编辑后的所述物料定位标识的坐标位置,将所述物料摄取头移动至待取出物料的上方,并将所述物料摄取头的当前位置作为定位所述待取出物料的位置。
进一步地,在本申请的一个实施例中,所述控制中心还用于:确定全局图片所需的视场范围;确定拍摄装置的工作高度,根据拍摄装置的图像传感器的尺寸和拍摄装置的光学倍率,来确定单次拍摄的视场范围;根据单次拍摄的视场范围和已知的全局图片的视场范围,规划拍摄装置的移动路线和每次拍摄的拍摄位置;其中每次移动的距离是单次拍摄的视场范围的长度或宽度;以及将所有局部图片拼接成全局图片。
进一步地,在本申请的一个实施例中,所述控制中心还用于将所述拍摄装置分别移动至所述取料端装载平台和所述目的端装载平台上方,分别移动至多个不同位置拍摄多个局部图片,然后将所述多个局部图片拼接成取料端全局图片以及目的端全局图片;在所述用户界面分别显示所述取料端全局图片和所述目的端全局图片;所述物料定位标识包括标记物料取料位置的取料定位标识和标记物料目的位置的目的定位标识。
进一步地,在本申请的一个实施例中,所述控制中心还用于根据完成编辑后的所述取料定位标识的坐标位置移动所述物料摄取头至所述待取出物料的上方并直接摄取该物料,然后根据完成编辑后的所述目的定位标识的坐标位置,将所述物料摄取头移动至所述目的端装载平台的上方,并直接在当前的坐标位置将所述物料放下。
进一步地,在本申请的一个实施例中,所述目的端装载平台包括至少一个用于搭载所述物料的搭载槽;所述控制中心还用于:在每次放料完成后,控制所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓来判断本次移料是否成功。本实施例中,所述物料可以是电子设备功能模组,所述功能模组包括模组主体、柔性连接带和连接器;所述目的端装载平台的所述搭载槽具有适配所述连接器的第一轮廓,所述第一轮廓略大于所述连接器的轮廓以便于连接器的放置,所述搭载槽具有与所述连接器适配的触点阵列。在放置摄像模组时,连接器与搭载槽中(确切地说是第一轮廓中)的触点阵列触接以实现摄像模组与检测设备的电连接,进而实现开图测试。由于所述第一轮廓略大于所述连接器的轮廓,从而提供了一定的冗余度,只要公差在可容忍范围内,连接器即可以实现电连接。进一步地,本实施例中,所述控制中心还用于:在每次放料完成后,通过判断所述检验图片中所述第一轮廓与所述连接器的轮廓之间的间距是否小于预设的公差,来判断本次移料是否成功。本实施例中,对于同一型号的料盘(或者对于同一型号的料盘和同一型号的物料),可以认为其内物料摆放位置相同(即偏差在所容许的公差范围内)。因此,对于同一型号的料盘,可以在调试阶段采用本申请所提供的方法进行物料定位,然后保存这些定位信息(例如物料定位标识的坐标),在后续生产(即工作阶段)中可以直接按照所保存的定位信息进行取料和放料。放料后,再通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓是否匹配来判断本次移料是否成功。这种先根据预存定位信息进行移料,然后再基于机器视觉技术进行检验的方案,可以显著地提升生产效率。
本文中,电子设备功能模组可以是各类消费电子终端设备,例如智能手机、平板电脑、笔记本电脑等等。电子设备功能模组是指可以内置于电子设备中,完成电子设备的某一特定功能的模组。例如,摄像模组、结构光投射模组、TOF投射模组(其中TOF全称为Time ofFlight)、指纹识别模组等等。这些模组通常尺寸较小,不便于在生产线中逐个转运,通常使用料盘(或称为产品盒)进行批量装载,然后以整个料盘为单位在生产线中转运。并且,这些模组通常需要具有连接器,连接器通常具有较为密集的触点阵列,以便与电子设备的主板进行数据交换。在出厂前,这类模组通常需要进行通电出厂检测,以测试产品性能、剔除次品。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (20)
1.一种用于移料机构的物料定位方法,其特征在于,其涉及取料端装载平台,其适于批量地装载所述物料,以及可摄取和移动所述物料的移料机构,其中所述移料机构具有可移动的物料摄取头和固定于所述物料摄取头的拍摄装置;所述物料定位方法包括:
1)所述拍摄装置移动至所述取料端装载平台上方的不同位置拍摄多个局部图片,将所述多个局部图片拼接,得到所述取料端装载平台的全局图片;
2)将所述的全局图片显示在用户界面,并为用户提供在所述全局图片上设置或修改物料定位标识的编辑工具;
3)通过所述用户界面接收被用户编辑后的所述物料定位标识;以及
4)根据完成编辑后的所述物料定位标识的坐标位置,将所述物料摄取头移动至待取出物料的上方,并将所述物料摄取头的当前位置作为定位所述待取出物料的位置。
2.根据权利要求1所述的物料定位方法,其特征在于,所述步骤1)包括下列子步骤:
11)确定全局图片所需的视场范围;
12)确定拍摄装置的工作高度,根据拍摄装置的图像传感器的尺寸和拍摄装置的光学倍率,来确定单次拍摄的视场范围;
13)根据单次拍摄的视场范围和已知的全局图片的视场范围,规划拍摄装置的移动路线和每次拍摄的拍摄位置;其中每次移动的距离是单次拍摄的视场范围的长度或宽度;以及
14)将所有局部图片拼接成全局图片。
3.根据权利要求1所述的物料定位方法,其特征在于,所述步骤2)中,所述编辑工具包括:框选工具;其中,所述框选工具用于生成尺寸可调的框选图形,所述框选图形与所述物料的轮廓或部分轮廓具有一致的形状,并且所述框选图形作为所述物料定位标识。
4.根据权利要求3所述的物料定位方法,其特征在于,所述步骤2)中,所述编辑工具还包括:移动工具和删除工具;其中,所述移动工具用于在所述全局图片上移动所述物料定位标识,所述删除工具用于删除所述物料定位标识。
5.根据权利要求4所述的物料定位方法,其特征在于,所述步骤2)中,所述编辑工具还包括:阵列工具;其中,所述阵列工具用于在所述全局图片上显示由控制中心自动生成的所述物料定位标识的阵列。
6.根据权利要求1所述的物料定位方法,其特征在于,所述步骤2)还包括:控制中心自动生成参考物料定位标识并呈现于用户界面。
7.根据权利要求6所述的物料定位方法,其特征在于,所述步骤2)中,所述参考物料定位标识的位置通过相邻物料的行间距和列间距,以及预设的或由用户输入的物料行数和列数计算得出。
8.根据权利要求1所述的物料定位方法,其特征在于,所述物料定位方法还涉及目的端装载平台,所述步骤1)中,所述拍摄装置分别移动至所述取料端装载平台和所述目的端装载平台上方,分别移动至多个不同位置拍摄多个局部图片,然后将所述多个局部图片拼接成取料端全局图片以及目的端全局图片。
9.根据权利要求8所述的物料定位方法,其特征在于,所述步骤2)中,在所述用户界面分别显示所述取料端全局图片和所述目的端全局图片;
所述步骤3)中,所述物料定位标识包括标记物料取料位置的取料定位标识和标记物料目的位置的目的定位标识。
10.根据权利要求9所述的物料定位方法,其特征在于,所述步骤3)中,所述取料定位标识和所述目的定位标识具有配对关系。
11.根据权利要求10所述的物料定位方法,其特征在于,所述步骤3)中,所述的物料定位标识包括图形和用于标注所述图形的文字。
12.根据权利要求9所述的物料定位方法,其特征在于,所述目的端装载平台包括至少一个用于搭载所述物料的搭载槽;
所述物料定位方法还包括:
5)所述物料摄取头从所述步骤4)所定位的位置取出物料,然后根据完成编辑后的所述目的定位标识的坐标位置,将所述物料摄取头移动至所述目的端装载平台的上方,并直接在当前的坐标位置将所述物料放下。
13.根据权利要求12所述的物料定位方法,其特征在于,所述物料定位方法还包括步骤:
6)将所述物料放下后,所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓之间的匹配程度来判断本次移料是否成功。
14.根据权利要求12所述的物料定位方法,其特征在于,所述物料定位方法还包括步骤:
7)在调试阶段,保存每个型号的所述取料端装载平台的所述取料定位标识的坐标位置,以及每个型号的所述目的端装载平台的所述目的定位标识的坐标位置;以及
8)在工作阶段,控制所述移料机构,使用已保存的同一型号的所述取料端装载平台的所述取料定位标识的坐标位置和已保存的同一型号的所述目的端装载平台的所述目的定位标识的坐标位置,直接进行取料和放料,然后再控制所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓来判断本次移料是否成功。
15.一种物料定位装置,其特征在于,包括:
取料端装载平台,其适于批量地装载所述物料;
可摄取和移动所述物料的移料机构,其中所述移料机构具有可移动的物料摄取头和固定于所述物料摄取头的拍摄装置;以及
控制中心,其用于控制所述拍摄装置移动至所述取料端装载平台上方的不同位置拍摄多个局部图片,将所述多个局部图片拼接,得到所述取料端装载平台的全局图片;将所述的全局图片显示在用户界面,并为用户提供在所述全局图片上设置或修改物料定位标识的编辑工具;通过所述用户界面接收被用户编辑后的所述物料定位标识;以及根据完成编辑后的所述物料定位标识的坐标位置,将所述物料摄取头移动至待取出物料的上方,并将所述物料摄取头的当前位置作为定位所述待取出物料的位置。
16.根据权利要求15所述的物料定位装置,其特征在于,所述控制中心还用于:确定全局图片所需的视场范围;确定拍摄装置的工作高度,根据拍摄装置的图像传感器的尺寸和拍摄装置的光学倍率,来确定单次拍摄的视场范围;根据单次拍摄的视场范围和已知的全局图片的视场范围,规划拍摄装置的移动路线和每次拍摄的拍摄位置;以及将所有局部图片拼接成全局图片。
17.根据权利要求16所述的物料定位装置,其特征在于,所述物料定位装置还包括目的端装载平台,所述控制中心还用于将所述拍摄装置分别移动至所述取料端装载平台和所述目的端装载平台上方,分别移动至多个不同位置拍摄多个局部图片,然后将所述多个局部图片拼接成取料端全局图片以及目的端全局图片;在所述用户界面分别显示所述取料端全局图片和所述目的端全局图片;所述物料定位标识包括标记物料取料位置的取料定位标识和标记物料目的位置的目的定位标识。
18.根据权利要求17所述的物料定位装置,其特征在于,所述控制中心还用于根据完成编辑后的所述取料定位标识的坐标位置移动所述物料摄取头至所述待取出物料的上方并直接摄取该物料,然后根据完成编辑后的所述目的定位标识的坐标位置,将所述物料摄取头移动至所述目的端装载平台的上方,并直接在当前的坐标位置将所述物料放下。
19.根据权利要求18所述的物料定位装置,其特征在于,所述目的端装载平台包括至少一个用于搭载所述物料的搭载槽;
所述控制中心还用于:在每次放料完成后,控制所述拍摄装置拍摄检验图片,通过识别所述检验图片中的所述搭载槽的轮廓和所述物料的轮廓的匹配程度来判断本次移料是否成功。
20.根据权利要求19所述的物料定位装置,其特征在于,所述物料为电子设备功能模组,所述功能模组包括模组主体、柔性连接带和连接器;所述目的端装载平台的所述搭载槽具有适配所述连接器的第一轮廓,所述第一轮廓大于所述连接器的轮廓,所述搭载槽具有与所述连接器适配的触点阵列;
所述控制中心还用于:在每次放料完成后,通过判断所述检验图片中所述第一轮廓与所述连接器的轮廓之间的间距是否小于预设的公差,来判断本次移料是否成功。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911080173.8A CN112777276B (zh) | 2019-11-07 | 2019-11-07 | 用于移料机构的物料定位方法和物料定位装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911080173.8A CN112777276B (zh) | 2019-11-07 | 2019-11-07 | 用于移料机构的物料定位方法和物料定位装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112777276A true CN112777276A (zh) | 2021-05-11 |
CN112777276B CN112777276B (zh) | 2023-01-10 |
Family
ID=75747773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911080173.8A Active CN112777276B (zh) | 2019-11-07 | 2019-11-07 | 用于移料机构的物料定位方法和物料定位装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112777276B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114136232A (zh) * | 2021-11-19 | 2022-03-04 | 中国神华能源股份有限公司哈尔乌素露天煤矿 | 一种物料堆积形态测量方法及系统 |
CN115196338A (zh) * | 2022-09-16 | 2022-10-18 | 沈阳和研科技有限公司 | 一种矫正机构及三点矫正方法 |
WO2023202340A1 (zh) * | 2022-04-19 | 2023-10-26 | 宁德时代新能源科技股份有限公司 | 机器人偏移的仿真方法、装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106034202A (zh) * | 2015-03-10 | 2016-10-19 | 杭州海康威视数字技术股份有限公司 | 视频拼接摄像头的调整方法及其装置 |
CN106144524A (zh) * | 2016-08-24 | 2016-11-23 | 东莞市三瑞自动化科技有限公司 | 一种高速运动中用ccd视觉定位方法及装置 |
CN106393103A (zh) * | 2016-08-23 | 2017-02-15 | 苏州博众精工科技有限公司 | 一种基于机器视觉的阵列式料框自适应取料方法 |
CN108769530A (zh) * | 2018-06-19 | 2018-11-06 | 朱炳强 | 图像采集处理设备和图像采集处理方法 |
CN109190612A (zh) * | 2018-11-12 | 2019-01-11 | 朱炳强 | 图像采集处理设备和图像采集处理方法 |
CN109741257A (zh) * | 2018-12-25 | 2019-05-10 | 鸿视线科技(北京)有限公司 | 全景图全自动拍摄、拼接系统及方法 |
-
2019
- 2019-11-07 CN CN201911080173.8A patent/CN112777276B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106034202A (zh) * | 2015-03-10 | 2016-10-19 | 杭州海康威视数字技术股份有限公司 | 视频拼接摄像头的调整方法及其装置 |
CN106393103A (zh) * | 2016-08-23 | 2017-02-15 | 苏州博众精工科技有限公司 | 一种基于机器视觉的阵列式料框自适应取料方法 |
CN106144524A (zh) * | 2016-08-24 | 2016-11-23 | 东莞市三瑞自动化科技有限公司 | 一种高速运动中用ccd视觉定位方法及装置 |
CN108769530A (zh) * | 2018-06-19 | 2018-11-06 | 朱炳强 | 图像采集处理设备和图像采集处理方法 |
CN109190612A (zh) * | 2018-11-12 | 2019-01-11 | 朱炳强 | 图像采集处理设备和图像采集处理方法 |
CN109741257A (zh) * | 2018-12-25 | 2019-05-10 | 鸿视线科技(北京)有限公司 | 全景图全自动拍摄、拼接系统及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114136232A (zh) * | 2021-11-19 | 2022-03-04 | 中国神华能源股份有限公司哈尔乌素露天煤矿 | 一种物料堆积形态测量方法及系统 |
WO2023202340A1 (zh) * | 2022-04-19 | 2023-10-26 | 宁德时代新能源科技股份有限公司 | 机器人偏移的仿真方法、装置、电子设备和存储介质 |
CN115196338A (zh) * | 2022-09-16 | 2022-10-18 | 沈阳和研科技有限公司 | 一种矫正机构及三点矫正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112777276B (zh) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112777276B (zh) | 用于移料机构的物料定位方法和物料定位装置 | |
KR100261935B1 (ko) | 전자다이 자동배치 방법 및 장치 | |
JP6411028B2 (ja) | 管理装置 | |
JPH04233245A (ja) | 半導体チップと導体リード・フレームの検査及び位置合せのためのシステム及び方法 | |
CN113210217A (zh) | 流水线点胶固化控制方法、装置、设备及其存储介质 | |
CN105359638A (zh) | 元件保持状态检测方法及元件安装装置 | |
JPH11198068A (ja) | 資材搬送装置及びこれを利用した資材搬送方法 | |
KR20100039816A (ko) | 메인보드의 마크 검지 방법, 검지 장치 및 메인보드 배치 방법 | |
CN206420785U (zh) | 一种基于cell屏的全自动检测系统 | |
EP3944730B1 (en) | Device for estimating cause of mounting error, and method for estimating cause of mounting error | |
JP3019005B2 (ja) | Lsiハンドラ | |
CN111492726B (zh) | 追踪装置 | |
CN211401101U (zh) | 高精度3d轮廓建模设备 | |
CN110658215A (zh) | 一种基于机器视觉的pcb板自动拼接检测方法与装置 | |
JP4927776B2 (ja) | 部品実装方法 | |
JP4689934B2 (ja) | 対基板作業システム | |
TW201310024A (zh) | 電路板的標記檢知及偏移量檢知之方法及其置件方法 | |
JP2005353750A (ja) | 電子部品搭載装置の保守管理装置 | |
CN114071987B (zh) | Smt贴片机、埋铜方法、装置和介质 | |
JPH0384945A (ja) | 位置合せ方法およびそれを用いた検査装置 | |
JP2014110395A (ja) | 部品実装シミュレーション装置 | |
JP5855866B2 (ja) | ダミーチップおよびそれを用いた部品装着精度検査方法 | |
CN112985770A (zh) | 标板机构及相应的模组检测设备 | |
CN213646513U (zh) | 一种内存卡的组装设备 | |
JP7329727B2 (ja) | 部品実装装置および立体形状計測装置ならびに立体形状計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |