CN112862747A - 对芯片托盘堆叠的图像进行处理和分析的方法和图像处理系统以及芯片托盘堆叠检测装置 - Google Patents

Abstract

本发明提供用于对芯片托盘堆叠的图像进行处理和分析的方法和图像处理系统以及芯片托盘堆叠检测装置。芯片托盘堆叠包括多个叠置在一起的芯片托盘，每个芯片托盘容纳有多个位于相应托盘凹坑中的芯片，所述图像是由成像系统获取的所述芯片托盘堆叠的侧面的图像。所述方法包括从所述成像系统接收所述图像，对所述图像进行预处理，对已经预处理的所述图像进行处理和分析，以及发出对所述图像进行处理和分析的结果。根据本发明能够快速、高效、精准、可靠地检测芯片托盘堆叠中否存在芯片从托盘凹坑移出的情况。

Description

对芯片托盘堆叠的图像进行处理和分析的方法和图像处理系 统以及芯片托盘堆叠检测装置

技术领域

本发明涉及用于对芯片托盘堆叠的图像进行处理和分析的方法、用于对芯片托盘堆叠的图像进行处理和分析的图像处理系统、以及包括这种图像处理系统的芯片托盘堆叠检测装置。

背景技术

在半导体工厂的后端程序中，分别装有多个芯片的多个芯片托盘被叠置在一起，被叠置在一起的多个芯片托盘在底部由底托支承并且在顶部由顶盖盖住，在包装机中通过塑性捆扎带将它们紧紧地捆扎在一起形成芯片托盘堆叠，然后被装运给用户。在包装捆扎过程中，托盘中的芯片有时候会脱离所设计的凹坑位置并且因而受到相邻托盘挤压，从而导致芯片受损。在操作现场，通常依靠操作人员肉眼检查，但肉眼检查不仅效率低下，而且通常很难发现受损的芯片，因而导致受损的芯片被直接发运给用户。

为此，需要一种改进的用于对芯片托盘堆叠的图像进行处理和分析的方法和图像处理系统。

发明内容

本发明目的在于克服现有技术的上述至少一种缺陷，提出一种用于对芯片托盘堆叠的图像进行处理和分析的方法和图像处理系统。

根据本发明的一方面，提出一种用于对芯片托盘堆叠的图像进行处理和分析的方法，芯片托盘堆叠包括多个叠置在一起的芯片托盘，每个芯片托盘容纳有多个位于相应托盘凹坑中的芯片，所述图像是由成像系统获取的所述芯片托盘堆叠的侧面的图像，所述方法包括：

从所述成像系统接收所述图像；

对所述图像进行预处理；

对已经预处理的所述图像进行处理和分析；以及

发出对所述图像进行处理和分析的结果。

优选地，所述对所述图像进行预处理包括通过选取阈值对所述图像进行二值化处理，以从所述图像中去除噪声。

优选地，所述对所述图像进行预处理还包括通过连通域分析消除二值化处理的图像中单独的高灰度值像素点。

优选地，所述对所述图像进行预处理还包括提取图像的感兴趣区域并且将所述感兴趣区域移动到算法工具中。

优选地，所述对已经预处理的所述图像进行处理和分析包括通过对所述图像的各个像素点的灰度值在X和Y方向上求导并且叠加，从而获得图像求导后的轮廓图。

优选地，所述对已经预处理的所述图像进行处理和分析还包括：

对图像求导后的轮廓图进行直线拟合并且去除Y轴信息；

将所获得的直线中每条直线的斜率与对应类型的芯片托盘堆叠的预设斜率进行比较；以及

根据所获得的直线中每条直线的斜率与预设斜率是否一致来确定是否存在芯片从托盘凹坑移出的情况。

优选地，所述预设斜率是可以调节的。

优选地，所述对已经预处理的所述图像进行处理和分析还包括：

将图像求导后的轮廓图划分成多个列，并且将每列细分成多个子区域；

根据每个子区域的四个角的坐标确定出每个子区域的中心的坐标；

求出相邻子区域的中心坐标的Y值之间的差值，并且将每个差值与预设差值进行比较；以及

根据相应差值与预设差值是否一致来确定是否存在芯片从托盘凹坑移出的情况。

优选地，所述预设差值是可以调节的。

优选地，所述发出对所述图像进行处理和分析的结果包括以下方式中的至少一种：

向操作人员发送邮件；

向操作人员发送短信；

发出闪烁光和音频警报；

在显示屏上以GUI方式显示；以及

在显示屏上以GUI方式显示故障跟踪标记。

优选地，所述发出对所述图像进行处理和分析的结果还包括存储所述结果。

根据本发明的另一方面，提供一种用于对芯片托盘堆叠的图像进行处理和分析的图像处理系统，包括有用于存储指令的存储器以及与存储器耦合的处理器，在处理器运行所述指令时，所述处理器执行如上所述的用于对芯片托盘堆叠的图像进行处理和分析的方法。

根据本发明的又一方面，提供一种芯片托盘堆叠检测装置，包括：

用于对芯片托盘堆叠的各个侧面进行成像的成像系统；以及

如上所述的用于对芯片托盘堆叠的图像进行处理和分析的图像处理系统。

根据本发明的用于对芯片托盘堆叠的图像进行处理和分析的方法和图像处理系统，能够快速、高效、精准、可靠地检测芯片托盘堆叠中否存在芯片从托盘凹坑移出的情况。

附图说明

图1示意地显示了根据本发明第一实施例的芯片托盘堆叠检测装置；

图2以顶侧立体图示意地显示了图1所示芯片托盘堆叠检测装置的成像系统；

图3以另一顶侧立体图示意地显示了图2所示成像系统；

图4以俯视图示意地显示了图2所示成像系统；

图5以侧视图示意地显示了图2所示成像系统；

图6以局部立体图示意地显示了图2所示成像系统的第一输送机构和第二输送机构；

图7以局部立体图示意地显示了图2所示成像系统的旋转升降机构；

图8以局部剖视立体图示意地显示了图7所示旋转升降机构的旋转部的细节；

图9以侧视图示意地显示了图2所示成像系统的第三环形传送带外侧的第二引导条；

图10示意地显示了根据本发明第二实施例的芯片托盘堆叠检测装置；

图11以局部立体图示意地显示了图10所示芯片托盘堆叠检测装置；

图12以俯视图示意地显示了图10所示芯片托盘堆叠检测装置；

图13示意地显示了芯片托盘堆叠；

图14示意地显示了芯片托盘堆叠、光源和成像器件的位置关系；

图15示意地显示了根据本发明的芯片托盘堆叠检测装置的图像处理系统对图像进行处理的流程；

图16示意地显示了由成像器件拍摄的芯片托盘堆叠的一个侧面的图像；

图17示意地显示了对图像进行预处理的一个界面；

图18示意地显示了通过对预处理图像在X和Y方向上求导而获得的图像轮廓图；

图19示意性地显示了没有芯片从托盘凹坑移出时的直线拟合图；

图20示意性地显示了有芯片从托盘凹坑移出时的直线拟合图；以及

图21示意地显示了相邻子区域的中心坐标的Y值之间的差值。

具体实施方式

以下结合附图详细描述本发明的优选实施例，本领域技术人员应理解的是，这些示例性实施例并不意味着对本发明形成任何限制。

图1示意地显示了根据本发明第一实施例的芯片托盘堆叠检测装置1。如图1所示，来自包装机的芯片托盘堆叠TS由芯片托盘堆叠检测装置1的入口3进入，并且在芯片托盘堆叠检测装置1内由位于内部的芯片托盘堆叠成像系统对芯片托盘堆叠TS外露的前后左右四个侧面(即，反映相邻芯片托盘之间叠置状态的表面)进行拍照成像。在完成对芯片托盘堆叠TS成像之后，芯片托盘堆叠TS从与入口3相对的出口5被输出。

如图1所示，芯片托盘堆叠检测装置1包括外罩7，外罩7除了封装位于内部的芯片托盘堆叠检测装置的成像系统和图像处理系统之外，还使得在对芯片托盘堆叠TS成像时免受外界环境光线的干扰，提高成像质量。在外罩7的一侧上设置有显示屏9，用于对位于内部的芯片托盘堆叠检测装置1的控制单元输入控制指令、显示芯片托盘堆叠检测装置1的运行状态、以及显示芯片托盘堆叠检测装置的检测结果。在外罩7上还设置有警报装置11。当图像处理系统通过对成像系统获取的芯片托盘堆叠TS的图像进行分析并且确定存在受损的芯片时，芯片托盘堆叠检测装置1会通过例如邮件或者短信等类似方式通知操作人员对包括受损芯片的芯片托盘堆叠TS进行处理，例如取出以避免直接发送给客户。如果操作人员没有采取行动，芯片托盘堆叠检测装置将使包装机停机，同时警报装置11以声音或者闪烁光形式发出警报，以提醒操作人员取出存在受损芯片的芯片托盘堆叠TS。在操作人员对警报做出反应之后，只需重新按下启动按钮，包装机和芯片托盘堆叠检测装置将重新开始正常运行。

图2以顶侧立体图示意地显示了图1所示芯片托盘堆叠检测装置的成像系统，图3以另一顶侧立体图示意地显示了图2所示成像系统、图4以俯视图示意地显示了图2所示成像系统、图5以侧视图示意地显示了图2所示成像系统、图6以局部立体图示意地显示了图2所示成像系统的第一输送机构和第二输送机构、以及图7以局部立体图示意地显示了图2所示成像系统的旋转升降机构。如图所示2-7所示，根据本发明第一实施例的成像系统20包括框架21和设置在框架21上的第一输送机构23。第一输送机构23包括两条平行设置的第一环形传送带23a，23b,第一环形传送带23a，23b通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。在两条平行设置的第一环形传送带23a，23b的外侧分别设置有第一引导条24a、24b，第一引导条24a、24b略高于第一环形传送带23a，23b所在平面(支承面)，以便当芯片托盘堆叠TS在第一环形传送带23a，23b上被输送时能够引导芯片托盘堆叠TS。

在两条平行设置的第一环形传送带23a，23b之间设置有第一升降机构25，第一升降机构25能够通过例如气缸、液缸、电缸或丝杠等的驱动装置进行升降。在第一升降机构25上安装有第二输送机构27，第二输送机构27也包括两条平行设置的第二环形传送带27a，27b。第二环形传送带27a，27b沿着与第一环形传送带23a，23b大体垂直的方向设置，并且也是通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。在第一升降机构25上紧邻第二输送机构27的下游侧设置有挡板29，挡板29在竖直方向上略高于第二环形传送带27a，27b所在平面的高度。第一升降机构25可以升降而使第二环形传送带27a，27b和挡板29移动到三个位置：在第一位置，第二环形传送带27a，27b位于第一环形传送带23a，23b所在平面下方，但挡板29却伸到第一环形传送带23a，23b所在平面上方；在第二位置，第二环形传送带27a，27b和挡板29都升高到靠近第一成像器件(以下将描述)的第一引导条24b上方；在第三位置，第二环形传送带27a，27b和挡板29都下降到第一环形传送带23a，23b所在平面下方。

靠近第一输送机构23的输入侧并且在两条平行设置的第一环形传送带23a，23b之间还设置有止挡机构31，止挡机构31通过连杆与驱动装置连接，以便可以在伸出到第一环形传送带23a，23b所在平面上方的阻挡位置与运动到第一环形传送带23a，23b所在平面下方的放行位置之间移动。当止挡机构31移动到处于第一环形传送带23a，23b所在平面上方的阻挡位置时，可以阻止来自包装机的芯片托盘堆叠TS进入芯片托盘堆叠检测装置1中；当止挡机构31移动到处于第一环形传送带23a，23b所在平面下方的放行位置时，来自包装机的芯片托盘堆叠TS可以继续进入芯片托盘堆叠检测装置1中进行检测。

靠近第一输送机构23的输入侧并且在两条平行设置的第一环形传送带23a，23b中的一个的外侧可以设置有芯片托盘堆叠方位校准板33，方位校准板33可以通过驱动装置沿着与第一环形传送带23a，23b延伸方向大体垂直的方向移动，以便将芯片托盘堆叠TS调整到成像所需的合适位置。在方位校准板33与芯片托盘堆叠TS接触的表面可以设置有泡沫或橡胶等材料，以避免在方位校准板33抵靠芯片托盘堆叠TS时对芯片托盘堆叠TS造成损坏。当然，方位校准板33本身由泡沫或橡胶等材料制成也是可行的。

根据本发明第一实施例的成像系统20还包括在两条平行设置的第一环形传送带23a，23b中的一个的外侧的第三输送机构35。第三输送机构35也包括两条平行设置的第三环形传送带35a，35b。第三环形传送带35a，35b也沿着与第一环形传送带23a，23b大体垂直的方向设置，并且与第二环形传送带27a，27b大体对齐。第三环形传送带35a，35b也是通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。在两条平行设置的第三环形传送带35a，35b的外侧分别设置有第二引导条37a、37b，第二引导条37a、37b略高于第三环形传送带35a，35b所在平面，以便当芯片托盘堆叠TS在第三环形传送带35a，35b上被输送时能够引导芯片托盘堆叠TS。为了便于芯片托盘堆叠TS进入第二引导条37a、37b之间的位置被引导，第二引导条37a、37b自由端可以形成为圆弧形边缘，以便两个第二引导条37a、37b在自由端限定喇叭形开口。

在第三输送机构35远离第二输送机构27的端部设置有旋转升降机构39。旋转升降机构39包括通过轴承可转动地支撑在安装于框架21上的基板41上的第二升降机构43。第二升降机构43的底座45与电动机(未示出)的转轴47固定连接，这样通过电动机的运行带动第二升降机构43转动。旋转升降机构39还包括安装到第二升降机构43顶部并且用于接收和支承芯片托盘堆叠TS的托架49。第二升降机构43可以升降而使托架49移动到位于第二引导条37a、37b上方的位置以及位于第三环形传送带35a，35b所在平面下方的位置。托架49优选地为十字形，以便安稳地支承芯片托盘堆叠TS。在托架49下降到第三环形传送带35a，35b所在平面下方的位置时，十字形托架49的一个分支位于第三环形传送带35a，35b之间的空间中。

在第二升降机构43为电缸的情况下，为了防止给电缸供电的导线缠绕而被拧断或损坏，可以在基板41与第二升降机构43的底座45之间同心地设置两个推力轴承，其中直径较大的外轴承51既起定位支承作用又起导电的导体作用，直径较小的内轴承53可以只起导电的导体作用。这样，如图7和8所示，可以在基板41上设置两个接线柱55(例如连接到电源)，与两个接线柱55相连的两条导线54(图8中只显示了一条导线54)可以穿过绝缘的基板41并且分别与外轴承51和内轴承53的下圈连接，与外轴承51和内轴承53的上圈连接的另外两条导线56(图8中只显示了一条导线56)可以穿过第二升降机构43的绝缘底座45并且连接到绝缘底座45上的两个另外接线柱57上。两个另外接线柱57再通过导线58连接到电缸的电动机以便给电缸供电。因而，直径较大的外轴承51和直径较小的内轴承53都可以起导电的导体作用，从而避免导线发生扭绞。

由于芯片托盘堆叠TS的重量，为了确保芯片托盘堆叠TS能够被可靠地输送到托架49上方的位置，还可以在旋转升降机构39下游侧与第三输送机构35对齐地设置第四输送机构59。第四输送机构59也包括两条平行设置的第四环形传送带59a，59b。第四环形传送带59a，59b与第三环形传送带35a，35b大体对齐。第四环形传送带59a，59b也是通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。

根据本发明第一实施例的成像系统20还包括在第三环形传送带35a，35b和第四环形传送带59a，59b的延伸方向上安装在框架21上并且镜头朝着位于第二输送机构27上的芯片托盘堆叠TS的第一成像器件61，第一成像器件61用于对位于第二输送机构27上的芯片托盘堆叠TS成像。根据本发明第一实施例的成像系统20还包括在第三环形传送带35a，35b的延伸方向外侧安装在框架21上并且镜头朝着位于第三输送机构35上的芯片托盘堆叠TS的第二成像器件63，第二成像器件63用于对位于第三输送机构35上的芯片托盘堆叠TS成像。根据芯片托盘堆叠的尺寸，可以选择具有不同分辨率的成像器件。例如，对于具有较小表面尺寸的芯片托盘堆叠，可以选用分辨率为五百万像素的成像器件；而对于具有更大表面尺寸的芯片托盘堆叠，可以选用分辨率为一千万像素的成像器件。

以下将描述根据本发明第一实施例的成像系统20的运行。

当止挡机构31移动到处于第一环形传送带23a，23b所在平面下方的放行位置时，来自包装机的芯片托盘堆叠TS通过入口3进入芯片托盘堆叠检测装置1中、并且在第一环形传送带23a，23b上朝着第二输送机构27输送。随后，止挡机构31移动到处于第一环形传送带23a，23b所在平面上方的阻挡位置，直到已经进入的芯片托盘堆叠TS完成所有成像之后再移动到处于第一环形传送带23a，23b所在平面下方的放行位置，以允许下一个芯片托盘堆叠TS进入。为了使芯片托盘堆叠TS的侧面被清晰成像，最好使得芯片托盘堆叠TS的中心面与第一环形传送带23a，23b延伸方向大体垂直或平行。刚刚移动到第一环形传送带23a，23b上的芯片托盘堆叠TS相对于第一环形传送带23a，23b位置有可能有些偏移。此时，方位校准板33沿着与第一环形传送带23a，23b延伸方向大体垂直的方向朝着芯片托盘堆叠TS移动并且抵靠芯片托盘堆叠TS，以便将芯片托盘堆叠TS调整到成像所需的合适方位。随着第一环形传送带23a，23b的运行，芯片托盘堆叠TS被移向第一升降机构25。此时，第二环形传送带27a，27b和挡板29处于第一位置，即，第二环形传送带27a，27b位于第一环形传送带23a，23b所在平面下方，但挡板29却伸到第一环形传送带23a，23b所在平面上方。结果，芯片托盘堆叠TS被挡板29挡住而不再随着第一环形传送带23a，23b移动。紧接着，第一升降机构25上升，以使得第二环形传送带27a，27b和挡板29都升高到第二位置。此时，芯片托盘堆叠TS被第二环形传送带27a，27b托起而脱离第一环形传送带23a，23b，并且进入拍摄位置。传感器检测到进入此位置的芯片托盘堆叠TS，从而触发照明光源(未示出)和正对着芯片托盘堆叠TS的第一侧面的第一成像器件61，从而完成对芯片托盘堆叠TS的第一侧面的成像。为了确保成像质量，第一成像器件61可以设置成比照明光源晚例如1秒时间启动。

在完成对芯片托盘堆叠TS的第一侧面的成像之后，第二环形传送带27a，27b运行以便将芯片托盘堆叠TS输送到第三输送机构35的第三环形传送带35a，35b上。当传感器检测到芯片托盘堆叠TS被移动到正对着第二成像器件63的位置时，第三环形传送带35a，35b停止运行，并且触发照明光源和正对着芯片托盘堆叠TS的第二侧面的第二成像器件63，从而完成对芯片托盘堆叠TS的第二侧面的成像。

随后，第三环形传送带35a，35b继续运行，并且连同第四输送机构59的第四环形传送带59a，59b一起将芯片托盘堆叠TS输送到旋转升降机构39上方。此时，第二升降机构43上升以便通过托架49托起芯片托盘堆叠TS而脱离第三环形传送带35a，35b和第四环形传送带59a，59b。接着，电动机驱动旋转升降机构39旋转180度，使得托架49上的芯片托盘堆叠TS也旋转180度。然后，第二升降机构43下降以便将芯片托盘堆叠TS再次放置在第三环形传送带35a，35b和第四环形传送带59a，59b上。第四环形传送带59a，59b和第三环形传送带35a，35b反向运行以便将芯片托盘堆叠TS再次移向第二成像器件63拍摄范围。当传感器再次检测到芯片托盘堆叠TS被移动到正对着第二成像器件63的位置时，第三环形传送带35a，35b停止运行，并且触发照明光源和正对着芯片托盘堆叠TS的第三侧面的第二成像器件63，从而完成对芯片托盘堆叠TS的第三侧面的成像。

此后，第三环形传送带35a，35b继续运行，以便将芯片托盘堆叠TS再次输送到处于第二位置的第二环形传送带27a，27b上并通过没有示出的端部阻挡装置被停住。传感器再次检测到进入此位置的芯片托盘堆叠TS，从而触发照明光源和正对着芯片托盘堆叠TS的第四侧面的第一成像器件61，从而完成对芯片托盘堆叠TS的第四侧面的成像。

随后，第一升降机构25下降使得第二环形传送带27a，27b和挡板29都下降到第一环形传送带23a，23b所在平面下方的第三位置。结果，芯片托盘堆叠TS再次被放置在第一环形传送带23a，23b上，并且随着第一环形传送带23a，23b的运行而从芯片托盘堆叠检测装置1的出口5输出。

引导条的高度通常不高于芯片托盘堆叠TS的底托高度以免干扰成像质量。在芯片托盘堆叠TS旋转180度后随着第二升降机构43下降而再次被放置在第三环形传送带35a，35b上时，由于惯性作用，芯片托盘堆叠TS的位置易于偏移。为此，如图9所示，可以将第三环形传送带35a，35b外侧的第二引导条37a、37b中远离第二成像器件的第二引导条37a的高度设置成比靠近第二成像器件的第二引导条37b的高度高。这样，芯片托盘堆叠TS可以抵靠远离第二成像器件的第二引导条37a而调整方位，从而使得远离第二成像器件的第二引导条37a能够对芯片托盘堆叠TS起到方位调整作用。

在上述第一实施例中，设置了两个成像器件并且设置有升降机构和旋转升降机构，但应理解的是可以设置多个例如三个或四个成像器件，以省略升降机构和/或旋转升降机构以及某些输送机构。但是由于成像器件成本较高，采用更多成像器件会显著增加成本，而且也会显著增大托盘堆叠检测装置的尺寸。当然，也可以只设置第一成像器件，在这种情况下，旋转升降机构可以每次旋转90度，并且可以考虑芯片托盘堆叠TS处于托架上时由第一成像器件对其侧面成像。

以下将描述根据本发明第二实施例的芯片托盘堆叠检测装置。根据本发明第二实施例的芯片托盘堆叠检测装置也包括外罩，外罩除了封装内部的成像系统和图像处理系统之外，还使得在对芯片托盘堆叠TS成像时免受外界环境光线的干扰，提高成像质量。在外罩的一侧上也可以设置有显示屏(未示出)，用于对位于内部的芯片托盘堆叠检测装置的控制单元输入控制指令并且显示芯片托盘堆叠检测装置的运行状态。在外罩上也可以设置有警报装置(未示出)。

图10示意地显示了根据本发明第二实施例的芯片托盘堆叠检测装置、图11以局部立体图示意地显示了图10所示芯片托盘堆叠检测装置、以及图12以俯视图示意地显示了图10所示芯片托盘堆叠检测装置。如图10-12所示，根据本发明第二实施例的芯片托盘堆叠检测装置的成像系统100包括框架101和设置在框架101上的第一输送机构103。第一输送机构103包括两条平行设置的第一环形传送带103a，103b,第一环形传送带103a，103b通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。在两条平行设置的第一环形传送带103a，103b的外侧也可以分别设置有第一引导条，第一引导条略高于第一环形传送带所在平面(支承面)，以便当来自包装机的芯片托盘堆叠TS在第一环形传送带上被输送时能够引导芯片托盘堆叠TS。与第一实施例中一样，靠近第一输送机构103的输入侧并且在两条平行设置的第一环形传送带103a，103b之间还设置有止挡机构(未示出)，以阻止或者允许来自包装机的芯片托盘堆叠TS进入芯片托盘堆叠检测装置中进行检测。

紧邻两条平行设置的第一环形传送带103a，103b在下游设置有旋转平台105，旋转平台105可以通过电动机驱动而旋转。在旋转平台105上安装有第二输送机构107，第二输送机构107也包括两条平行设置的第二环形传送带107a，107b。第二环形传送带107a，107b也是通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。第二环形传送带107a，107b的支承面与第一环形传送带103a，103b的支承面大体齐平。

在旋转平台105上位于第二环形传送带107a，107b的外侧分别设置有芯片托盘堆叠方位调整推杆109，每个芯片托盘堆叠方位调整推杆109能够朝着彼此合拢并且升高地移动，或者远离彼此分开地并且下降地移动。当芯片托盘堆叠TS从第一输送机构103被输送到第二环形传送带107a，107b上时，每个芯片托盘堆叠方位调整推杆109能够朝着彼此合拢并且升高地移动，从而在芯片托盘堆叠TS的相对两侧抵靠芯片托盘堆叠TS，使得芯片托盘堆叠TS被调整到进行成像所需合适方位。当芯片托盘堆叠TS被调整到所需方位之后，需要对芯片托盘堆叠TS朝着芯片托盘堆叠方位调整推杆109的一侧进行成像时，芯片托盘堆叠方位调整推杆109可以远离彼此分开地并且下降地移动，以避免对芯片托盘堆叠TS的成像造成干扰。

在旋转平台105上位于第二环形传送带107a，107b之间间隔开地设置有两个芯片托盘堆叠夹紧头111。每个芯片托盘堆叠夹紧头111能够升高到第二环形传送带107a，107b所在平面上方的位置并且朝着彼此移动以夹紧芯片托盘堆叠TS，以防止在旋转平台105旋转时夹紧芯片托盘堆叠TS移位。当需要对芯片托盘堆叠TS靠近芯片托盘堆叠夹紧头111的一侧进行成像时，芯片托盘堆叠夹紧头111可以下降，以避免对芯片托盘堆叠TS的成像造成干扰。

在旋转平台105下游设置有第三输送机构113，第三输送机构113也包括两条平行设置的第三环形传送带113a，113b,第三环形传送带113a，113b通过带轮驱动而同步运行,带轮又通过电动机驱动而转动。在第三输送机构113的末端可以设置挡板115。

根据本发明第二实施例的成像系统100还包括安装在框架101上并且镜头朝着放置在第二输送机构107上的芯片托盘堆叠TS的成像器件117，成像器件117用于对放置在第二输送机构107上的芯片托盘堆叠TS成像。同样，根据芯片托盘堆叠的尺寸，可以选择具有合适分辨率的成像器件。例如，对于具有较小表面尺寸的芯片托盘堆叠，可以选用分辨率为五百万像素的成像器件；而对于具有更大表面尺寸的芯片托盘堆叠，可以选用分辨率为一千万像素的成像器件。

以下将描述根据本发明第二实施例的成像系统100的运行。

来自包装机的芯片托盘堆叠TS经过第一环形传送带103a，103b传递到第二环形传送带107a，107b上。当芯片托盘堆叠TS在第二环形传送带107a，107b上被输送的同时，两个芯片托盘堆叠方位调整推杆109朝着芯片托盘堆叠TS合拢并且升高，从而在芯片托盘堆叠TS的相对两侧抵靠芯片托盘堆叠TS，使得芯片托盘堆叠TS被调整到进行成像所需合适方位。当芯片托盘堆叠TS被移动到成像区域时，第二环形传送带107a，107b停止运行，芯片托盘堆叠方位调整推杆109也移离芯片托盘堆叠TS，传感器触发成像器件117对芯片托盘堆叠TS的第一侧成像。

随后，每个芯片托盘堆叠夹紧头111升高到第二环形传送带107a，107b所在平面上方的位置并且朝着芯片托盘堆叠TS移动以夹紧芯片托盘堆叠TS。旋转平台105在电动机驱动下旋转90度，使得芯片托盘堆叠TS的第二侧转动到正对着成像器件117的成像位置。芯片托盘堆叠夹紧头111下降，传感器触发成像器件117对芯片托盘堆叠TS的第二侧成像。

每个芯片托盘堆叠夹紧头111再次升高以夹紧芯片托盘堆叠TS，旋转平台105在电动机驱动下再旋转90度，使得芯片托盘堆叠TS的第三侧转动到正对着成像器件117的成像位置。传感器触发成像器件117对芯片托盘堆叠TS的第三侧成像。

旋转平台105在电动机驱动下继续旋转90度，使得芯片托盘堆叠TS的第四侧转动到正对着成像器件117的成像位置。芯片托盘堆叠夹紧头111下降，传感器触发成像器件117对芯片托盘堆叠TS的第四侧成像。

最后，旋转平台105在电动机驱动下再继续旋转90度，以使第二环形传送带107a，107b回到与第一环形传送带103a，103b和第三环形传送带113a，113b大体平行或对齐的位置。第二环形传送带107a，107b继续运行，以便将第二环形传送带107a，107b传送到第三环形传送带113a，113b上输出，挡板115可以防止芯片托盘堆叠TS从第三环形传送带113a，113b上跌落。与此同时，下一个芯片托盘堆叠TS进入成像系统100成像。

在根据本发明第二实施例的成像系统100中，由于旋转平台105每次旋转90度而使得芯片托盘堆叠TS进入成像区域，因此，成像器件117可以相对于旋转平台105设置在任何合适的空间位置。此外，还应理解的是，根据本发明第二实施例的成像系统100中的第一输送机构103和第三输送机构113可以省略。

在根据本发明第二实施例的成像系统100中，设置有旋转平台105，包括第二环形传送带107a，107b的第二输送机构107安装在旋转平台105上并且随着旋转平台105一起旋转，但应理解的是，也可以不设置旋转平台105，而使第二环形传送带107a，107b相对框架固定地安装。在这种情况下，可以在第二环形传送带107a，107b之间设置如第一实施例中的旋转升降机构。旋转升降机构可以托起芯片托盘堆叠TS，并且每次转动90度，以便对芯片托盘堆叠TS的四个侧面依次成像。

在实际使用中，芯片托盘例如是由黑色或者灰色塑性材料注塑而成。黑色材料不反光，但灰色材料可能会反光。用于装载不同类型的芯片的芯片托盘通常会具有不同的设计特征，例如，外部长宽高尺寸、容纳芯片的内部凹坑尺寸等。但是，对于同一芯片托盘堆叠TS中的所有芯片托盘应当是同一规格的，并且具有相同的设计特征。

图13示意地显示了一个芯片托盘堆叠TS，其中，装有芯片的30个芯片托盘叠置在一起，叠置在一起的芯片托盘放置在底托T上并且在顶部由顶盖C盖住，然后通过三条横向捆扎带B和一条纵向捆扎带B捆扎在一起。当托盘中的芯片全部处于托盘凹坑中时，芯片托盘堆叠TS中的相邻托盘之间的间隔大体上是均匀或者恒定的。但是，当托盘中的芯片从托盘凹坑中移出时，对应托盘与相邻托盘之间的间隔就会与其它托盘之间的间隔不同。通过对芯片托盘堆叠TS的成像进行分析，就可以找出芯片托盘堆叠TS中相邻托盘之间是否存在异常间隔，以及异常间隔所在位置。尽管图13示意地显示了由30个芯片托盘叠置在一起，但应理解的是，每个芯片托盘堆叠TS可以包括少于或多于30个芯片托盘，例如最少可以包括2个芯片托盘。

为了对芯片托盘堆叠TS的成像进行分析，获得清晰的高质量图像是关键。而获得清晰的高质量图像又受到背景光和照明光的影响。通过采用背景光和照明光，例如黑色背景和可调合成光、白色背景和可调合成光、黑色背景和白光等等，最后通过将所获取图像进行对比和分析，显示黑色背景和白光更有助于获得清晰的高质量图像。

可以选择面阵光源或者同轴光源，考虑到同轴光源更高的成本，考虑使用面阵光源。优选使用光通量大约为400流明的面阵光源来照射芯片托盘堆叠TS。如果面阵光源的光通量低于342流明或者高于457流明，都会使芯片托盘堆叠TS的设计特征的成像变得模糊。面阵光源可以采用12V直流电进行供电，功率为120瓦，工作温度可以设定为0-60摄氏度。

图14示意地显示了芯片托盘堆叠、光源和成像器件的位置关系。根据图14所示位置关系可以计算最小的面阵光源尺寸。图中BA表示芯片托盘堆叠TS的一个边，其尺寸为FOV，MN表示面阵光源与芯片托盘堆叠TS的一个边对应的边，其尺寸为L，C表示成像器件，WD表示成像器件C到芯片托盘堆叠TS的距离，而wd表示面阵光源到芯片托盘堆叠TS的距离。在本发明中，成像器件优选是相机，也可以是摄像机。根据公式L＝FOV*(WD+wd)/WD可以求得L的尺寸。

例如，通常由30个芯片托盘叠置形成的芯片托盘堆叠TS的长宽高尺寸为34cm*14cm*17cm。假如为了拍摄芯片托盘堆叠TS尺寸为14cm*17cm的侧面，采用五百万像素的成像器件，WD为60cm，FOV取该侧面的最大边长为17cm，wd为53cm，则L的尺寸为30cm。假如为了拍摄芯片托盘堆叠TS尺寸为34cm*17cm的侧面采用一千万像素的成像器件，WD为45cm，FOV取该侧面的最大边长为34cm，wd为21cm，则L的尺寸为50cm。因此，最小的面阵光源尺寸可以为30cm*50cm。

处于叠置状态时，一个芯片托盘叠置在另一个芯片托盘上面，如果成像器件透镜正对着芯片托盘堆叠TS，所拍摄图像不太容易反映出芯片从芯片托盘移出的状况。为了更加清楚地反映芯片从芯片托盘移出的状况，成像器件安装成使得成像器件透镜与被拍摄侧面成60至80度的范围。

图15示意地显示了根据本发明的芯片托盘堆叠检测装置的图像处理系统对图像进行处理的流程。如图15所示，在步骤S1，芯片托盘堆叠检测装置的图像处理系统从芯片托盘堆叠检测装置的成像系统接收由成像器件所拍摄的图像。在步骤S2，芯片托盘堆叠检测装置的图像处理系统对图像进行预处理。在步骤S3，芯片托盘堆叠检测装置的图像处理系统对已经预处理的图像进行处理和分析。在步骤S4，芯片托盘堆叠检测装置的图像处理系统发出对图像进行处理和分析的结果。

图16示意地显示了由成像器件拍摄的芯片托盘堆叠的一个侧面的图像。成像器件摄取的图像被传送到图像处理系统由图像处理系统对其先进行预处理。对图像进行预处理首先要从图像中去除噪声，这主要是通过选取适当的阈值对图像进行二值化处理，即，将图像上的所有点的灰度值设置为0或255，使整个图像呈现出明显的黑白效果,从而反映被拍摄芯片托盘堆叠TS的图像的整体和局部特征，以凸显目标轮廓。随后，通过连通域分析对二值化处理的图像中高灰度值的点进行分析，消除单独的高灰度值像素点。接着，利用算法提取图像的感兴趣区域(ROI)，找出目标区域，并且还可以将所关注的特定特征加亮。将提取的图像的感兴趣区域移动(包括平移和旋转)到所设计的工具(也称作算法工具)中。这样，工具仅对感兴趣区域中的像素进行计算和分析，以释放或减小用于图像处理所需的计算机资源。图17示意地显示了对图像进行预处理的一个界面，其中，各个小方框标出了将要从图像中去除的噪声。

接着，对已经被预处理的图像进行图像处理和分析。首先，通过对各个像素点的灰度值在X和Y方向上求导并且叠加，从而获得图像求导后的轮廓图，如图18所示。然后，对求导后的轮廓图进行分析。

对求导后的轮廓图进行分析的一种方法是通过对图像求导后的轮廓图进行直线拟合并且去除Y轴信息，将所获得的直线中每条直线的斜率与对应类型的芯片托盘堆叠的预设斜率进行比较。预设斜率是针对对应类型的芯片托盘堆叠在不存在芯片从托盘凹坑移出的情况下按照相同直线拟合方法预先提取并且存储在图像处理系统中的斜率。根据所获得的直线中每条直线的斜率与预设斜率是否一致来确定是否存在芯片从托盘凹坑移出的情况。图19示意性地显示了没有芯片从托盘凹坑移出时的直线拟合图，其中，各条直线大体相互平行并且其斜率是恒定的。图20示意性地显示了有芯片从托盘凹坑移出时的直线拟合图，其中，存在芯片从托盘凹坑移出情况的对应位置处直线斜率发生变化，因而与其它直线不平行。

对求导后的轮廓图进行分析的另一种方法是将求导后的轮廓图划分成多个列，并且每列被细分成多个子区域，例如对于包括30个托盘的堆叠划分成30个子区域(矩形区域)。根据每个子区域的四个角的坐标确定出每个子区域的中心的坐标。求出相邻子区域的中心的坐标的Y值之间的差值，如图20所示。然后，将每个差值与预设差值进行比较。预设差值是针对对应类型的芯片托盘堆叠在不存在芯片从托盘凹坑移出的情况下按照相同划分子区域的方法预先提取并且存储在图像处理系统中的差值。根据相应差值与预设差值是否一致来确定是否存在芯片从托盘凹坑移出的情况。当相应差值与预设差值相比超出预定范围，就可以确定相应差值所在位置存在芯片从托盘凹坑移出的情况。

最后，图像处理系统输出图像处理和分析结果，包括向操作人员发送邮件、短信、发出闪烁光和音频警报等，还可以在显示屏上以GUI(图形用户界面)方式显示处理和分析结果或者故障跟踪标记等。

在对求导后的轮廓图进行分析的方法中，预设斜率或预设差值的大小可以被调节，以便调节图像处理和分析的精度。另外，节图像处理和分析的结果可以被储存在图像处理系统，以便后续跟踪和调阅。

上述用于对芯片托盘堆叠的图像进行处理和分析的方法主要是借助于计算机程序来完成的。因而，根据本发明的图像处理系统包括有用于存储指令的存储器以及与存储器耦合的处理器，在处理器运行指令时，处理器执行上述对图像进行处理的各个步骤。

尽管已经结合本发明优选实施例进行了详细描述，但应当理解的是，这种详细描述仅是用于解释本发明而不构成对本发明的限制。本发明的范围由权利要求限定的技术方案来确定。

Claims (13)

1.一种用于对芯片托盘堆叠的图像进行处理和分析的方法，芯片托盘堆叠包括多个叠置在一起的芯片托盘，每个芯片托盘容纳有多个位于相应托盘凹坑中的芯片，所述图像是由成像系统获取的所述芯片托盘堆叠的侧面的图像，所述方法包括：

从所述成像系统接收所述图像；

对所述图像进行预处理；

对已经预处理的所述图像进行处理和分析；以及

发出对所述图像进行处理和分析的结果。

2.如权利要求1所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述对所述图像进行预处理包括：

通过选取阈值对所述图像进行二值化处理，以从所述图像中去除噪声。

3.如权利要求2所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述对所述图像进行预处理还包括：

通过连通域分析消除二值化处理的图像中单独的高灰度值像素点。

4.如权利要求2所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述对所述图像进行预处理还包括：

提取图像的感兴趣区域并且将所述感兴趣区域移动到算法工具中。

5.如权利要求1所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述对已经预处理的所述图像进行处理和分析包括：

通过对所述图像的各个像素点的灰度值在X和Y方向上求导并且叠加，从而获得图像求导后的轮廓图。

6.如权利要求5所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述对已经预处理的所述图像进行处理和分析还包括：

对图像求导后的轮廓图进行直线拟合并且去除Y轴信息；

将所获得的直线中每条直线的斜率与对应类型的芯片托盘堆叠的预设斜率进行比较；以及

根据所获得的直线中每条直线的斜率与预设斜率是否一致来确定是否存在芯片从托盘凹坑移出的情况。

7.如权利要求6所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述预设斜率是可以调节的。

8.如权利要求5所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述对已经预处理的所述图像进行处理和分析还包括：

将图像求导后的轮廓图划分成多个列，并且将每列细分成多个子区域；

根据每个子区域的四个角的坐标确定出每个子区域的中心的坐标；

求出相邻子区域的中心坐标的Y值之间的差值，并且将每个差值与预设差值进行比较；以及

根据相应差值与预设差值是否一致来确定是否存在芯片从托盘凹坑移出的情况。

9.如权利要求8所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述预设差值是可以调节的。

10.如权利要求1所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述发出对所述图像进行处理和分析的结果包括以下方式中的至少一种：

向操作人员发送邮件；

向操作人员发送短信；

发出闪烁光和音频警报；

在显示屏上以GUI方式显示；以及

在显示屏上以GUI方式显示故障跟踪标记。

11.如权利要求10所述的用于对芯片托盘堆叠的图像进行处理和分析的方法，其特征在于，所述发出对所述图像进行处理和分析的结果还包括存储所述结果。

12.一种用于对芯片托盘堆叠的图像进行处理和分析的图像处理系统，包括有用于存储指令的存储器以及与存储器耦合的处理器，在处理器运行所述指令时，所述处理器执行如权利要求1-11任一所述的用于对芯片托盘堆叠的图像进行处理和分析的方法。

13.一种芯片托盘堆叠检测装置，包括：

用于对芯片托盘堆叠的各个侧面进行成像的成像系统；以及

如权利要求12所述的用于对芯片托盘堆叠的图像进行处理和分析的图像处理系统。

Images