CN116177148A - 输送带上的物件追踪及导引系统及其方法 - Google Patents

Abstract

本发明公开了一种输送带上的物件追踪及导引系统，包括资料取得单元、资料运算单元以及显示单元。资料取得单元包括彩色/深度摄影机以及条码读取装置，深度摄影机用以提取目标物件的彩色影像资讯以及深度资讯，条码读取装置用以读取目标物件的类别资讯。资料运算单元用以接收彩色影像资讯及深度资讯以追踪目标物件，以取得目标物件于输送带上的位置资讯，并根据目标物件的类别资讯产生标记资讯。显示单元包括至少投影机，投影机根据目标物件的位置资讯投射标记资讯于目标物件上。

Description

输送带上的物件追踪及导引系统及其方法

技术领域

本发明是有关于物流管理，且特别是有关于一种输送带上的物件追踪及导引系统及其方法。

背景技术

传统的物流管理作业将物件配送到消费者之前，需对物件进行识别及分拣，并将分拣出来的物件集中到对应的货运区等待出货。然而，现存的方法中，仅能在输送带定速运转的情况下进行分拣，而后使用输送带的速度和时间计算物件的位置，进而造成分拣的效率降低。此外，现存的方法中，使用彩色摄影机进行输送带上的物件侦测，然而当物件高度移动的情况下会因影像模糊而导致误判，或者，因为物件颜色与输送带颜色相近时物件无法正常被侦测的问题。

发明内容

本发明是有关于一种输送带上的物件追踪及导引系统及其方法，用以提高分拣的效率及减少误判。

根据本发明的一方面，提出一种输送带上的物件追踪及导引系统，包括资料取得单元、资料运算单元以及显示单元。资料取得单元包括深度摄影机以及条码读取装置，深度摄影机用以提取目标物件的物件影像以及深度资讯，该条码读取装置用以读取该目标物件的物件类别。资料运算单元用以接收该物件影像及该深度资讯以追踪该目标物件于输送带上的位置，并根据该目标物件的该物件类别产生标记资讯。显示单元包括至少投影机，该投影机根据该目标物件的位置投射该标记资讯于该目标物件上。

本发明的效果是用以提高分拣的效率及减少误判。

为了对本发明的上述及其他方面有更好的了解，下文通过实施例，并配合附图详细说明。

附图说明

图1A和图1B为本发明一实施例的物件追踪及导引系统的示意图；

图2为本发明一实施例的物件追踪及导引系统的元件方块图；

图3为本发明一实施例的资料处理流程的示意图；

图4为本发明一实施例的物件追踪及导引方法的流程图；以及

图5A和图5B为本发明一实施例的资料运算单元的元件操作方块图。

附图标记

100：物件追踪及导引系统；

101：目标物件；

101a：第一目标物件；

101b：第二目标物件；

101c：第三目标物件；

110：资料取得单元；

112：彩色/深度摄影机；

113：彩色影像资讯；

114：条码读取装置；

115：深度资讯；

117：类别资讯；

120：资料运算单元；

122：资讯处理模块；

123：二值化矩阵；

124：物件侦测及追踪模块；

125：位置资讯；

126：资讯配对模块；

127：标记资讯；

130：显示单元；

132：投影机；

132a：第一投影机；

132b：第二投影机；

132c：第三投影机；

A、B：标记。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在显而易知的前提下所获得的所有其它实施例，都属于本申请保护的范围。以下是以相同/类似的符号表示相同/类似的元件做说明。

请参照图1A、图1B、图2及图3，其中图1A和图1B分别示出了本发明一实施例的物件追踪及导引系统的侧视示意图及俯视示意图，图2示出了本发明一实施例的物件追踪及导引系统100的元件方块图，图3示出了本发明一实施例的资料处理流程的示意图。物件追踪及导引系统100可用于输送带103上，其包括资料取得单元110、资料运算单元120以及显示单元130。资料取得单元110可包括彩色/深度摄影机112以及条码读取装置114。资料运算单元120例如为微处理器、数位讯号处理器及/或图形处理器等的组合，显示单元130可包括投影机132。

在图1A及图1B中，物流管理作业将物件配送到消费者之前，需对物件进行识别及分拣，并将分拣出来的物件集中到对应的货运区等待出货。本实施例的物件追踪及导引系统100通过资料取得单元110的彩色/深度摄影机112对目标物件101进行辨识及追踪，再通过显示单元130的投影机132投射对应的标记资讯127(例如标记A、B)于目标物件101上，以供分拣人员或分拣设备进行物件分类。

彩色/深度摄影机112设置于输送带103的上方，其数量可为一台或多台。每台彩色/深度摄影机112可提取预定视角范围内的目标物件101，且每台彩色/深度摄影机112与其前方彩色/深度摄影机112或后方彩色/深度摄影机112可间隔地排列在输送带103的上方，以对移动中的目标物件101进行辨识及追踪。

此外，投影机132设置于输送带103的上方，其数量可为一台或多台。每台投影机132可根据目标物件101所在的位置投射一个或多个标记资讯127于至少一个目标物件101上，以供分拣人员或分拣设备进行物件分类。

请参照图2及图3，资料取得单元110的彩色/深度摄影机112可以识别输送带103上的目标物件101，并根据目标物件101的影像取得目标物件101的彩色影像资讯113及深度资讯115。彩色影像资讯113可包括目标物件101的红绿蓝(RGB)影像或红绿蓝白(RGBW)影像等资讯，而深度资讯115例如为深度图，其依照时差测距计算目标物件101与彩色/深度摄影机112之间的距离，并将目标物件101与彩色/深度摄影机112之间的相对距离转换成对应的深度值，以得到深度图。在本实施例中，资料取得单元110藉由参考目标物件101的彩色影像资讯113来得知目标物件101的实际边界，进而正确地修正目标物件101的深度资讯115，以得到更高精确度的深度图。

此外，在本实施例中，资料取得单元110还可通过深度资讯115来辅助目标物件101的影像辨识，可解决目标物件101高度移动的情况下因影像模糊而导致误判，另一方面，也可避免目标物件101颜色与输送带103颜色相近时目标物件101无法正常被侦测的问题。

请参照图2及图3，资料取得单元110的条码读取装置114还可根据目标物件101的类别产生类别资讯117。目标物件101例如具有二维条码或矩阵图码(例如QR code)，其记录目标物件101的货品名称、型号、规格、品项及其他资讯等类别，当目标物件101通过条码读取装置114的下方时，条码读取装置114可发出红外光扫描二维条码或矩阵图码，因此条码读取装置114可根据二维条码或矩阵图码取得目标物件101的类别资讯117。条码读取装置114例如为一光学扫描器或雷射扫描器。

请参照图2及图3，资料运算单元120用以接收目标物件101的彩色资讯及深度资讯115以追踪目标物件101，并可取得目标物件101于输送带103上的位置资讯125。也就是说，当目标物件101在输送带103上移动时，即使输送带103非等速移动或间歇性移动(例如加速度运动或静止后再移动)，资料运算单元120通过影像即时追踪及定位做为侦测目标物件101的位置资讯125的来源，不需使用输送带103的移动速度和移动时间计算目标物件101的位置，以达到即时追踪及快速定位目标物件101的功效。

此外，资料运算单元120还可根据目标物件101的类别资讯117产生标记资讯127。也就是说，当目标物件101的类别资讯117已取得(例如通过扫描二维条码或矩阵图码)，资料运算单元120对应目标物件101的类别资讯117产生标记资讯127。标记资讯127例如为符号、文字、数字或几何图案等，本发明对此不加以限制。

请参照图2及图3，当资料运算单元120取得目标物件101的位置资讯125与标记资讯127之后，可将目标物件101的位置资讯125与标记资讯127传送给显示单元130的投影机132。显示单元130的投影机132可根据目标物件101的位置资讯125投射标记资讯127(例如标记A、B)于目标物件101上，以供分拣人员或分拣设备进行物件分类。

请参照图1B，投影机132例如为3台，每台投影机132可分别投射一个标记资讯(例如标记A、B)于移动至预定位置的目标物件101上。举例来说，三个目标物件101a、101b、101c依序沿着输送带103由右至左移动并通过三台摄影机，当第一目标物件101a移动至第一投影机132a下方或邻近位置时，第一投影机132a根据第一目标物件101a的类别投射A标记资讯于第一目标物件101a上；当第一目标物件101a移动至第二投影机132b下方或邻近位置时，第二投影机132b根据第一目标物件101a的类别投射A标记资讯于第一目标物件101a上；当第一目标物件101a移动至第三投影机132c下方或邻近位置时，第三投影机132c根据第一目标物件101a的类别投射A标记资讯于第一目标物件101a上；同理，当第二目标物件101b移动至第一投影机132a下方或邻近位置时，第一投影机132a根据第二目标物件101b的类别投射B标记资讯于第二目标物件101b上；当第二目标物件101b移动至第二投影机132b下方或邻近位置时，第二投影机132b根据第二目标物件101b的类别投射B标记资讯于第二目标物件101b上；当第二目标物件101b移动至第三投影机132c下方或邻近位置时，第三投影机132c根据第二目标物件101b的类别投射B标记资讯于第二目标物件101b上。当第三目标物件101c移动至第一投影机132a下方或邻近位置时，第一投影机132a根据第三目标物件101c的类别投射C标记资讯于第三目标物件101c上；当第三目标物件101c移动至第二投影机132b下方或邻近位置时，第二投影机132b根据第三目标物件101c的类别投射C标记资讯于第三目标物件101c上；当第三目标物件101c移动至第三投影机132c下方或邻近位置时，第三投影机132c根据第三目标物件101c的类别投射C标记资讯于第三目标物件101c上。

之后，被投射A标记资讯的第一目标物件101a可被分拣至第一类别区域(未示出)中；被投射B标记资讯的第二目标物件101b可被分拣至第二类别区域中；被投射C标记资讯的第三目标物件101c可被分拣至第三类别区域中，以完成所有物件的分拣。本实施例虽以设置彩色/深度摄影机112及投影机132于输送带103上方为例，但彩色/深度摄影机112及投影机132亦可设置在别处，只要沿着目标物件101移动方向设置，并能完成目标物件101辨识、位置追踪及标记资讯127投影即可，本发明对此不加以限制。

上述实施例中，虽示出了单一投影机132投射单一标记资讯127的情形，但投影机132亦可针对多个目标物件101投射多个标记资讯127，只要资料运算单元120同时将多个目标物件101的位置资讯125与其标记资讯127传给投影机132，投影机132即可分别将对应的标记资讯127投射至各自的目标物件101上。另外，类似的情况，若有多个目标物件101同时移动至投影机132下方位置时，投影机132亦可分别将对应的标记资讯127投射至各自的目标物件101上，本发明对此不加以限制。

请参照图4示出了本发明一实施例的物件追踪及导引方法的流程图。物件追踪及导引方法包括下列步骤。在步骤S210，以一深度摄影机112提取该目标物件101的彩色影像资讯113以及深度资讯115。在步骤S220，以一条码读取装置114读取该目标物件101的类别资讯117。在步骤S230，接收彩色影像资讯113及该深度资讯115以追踪该目标物件101，以取得目标物件101于输送带103上的位置资讯125。在步骤S240，根据该目标物件101的该类别资讯117产生标记资讯127。在步骤S250，根据目标物件101的位置资讯125投射标记资讯127于目标物件101上。

上述的步骤S210及S220对应由图2中的资料取得单元110进行以取得目标物件101的彩色影像资讯113、深度资讯115以及类别资讯117，上述的步骤S230及S240对应由图2中的资料运算单元120进行以取得目标物件101的位置资讯125及标记资讯127，而上述的步骤S250对应由图2中的显示单元130进行，以进行标记资讯127的投射。

请参照第2及5A、5B图，以进一步说明资料运算单元120的各个元件模块的功能，其中图5A及图5B分别示出了本发明一实施例的资料运算单元120的元件操作方块图。在本实施例中，资料运算单元120包括资讯处理模块122、物件侦测及追踪模块124以及资讯配对模块126。在图5A中，资讯处理模块122用以将彩色影像资讯113进行灰阶转换及迦玛(Gamma)校正，再通过二值化及背景分割等影像处理以将彩色影像资讯113中属于目标物件101的部分及不属于目标物件101的背景部分进行分类。此外，资讯处理模块122还用以将深度资讯115进行深度过滤及二值化处理，以取得目标物件101的深度资讯115，再将目标物件101的彩色影像资讯113及深度资讯115进行加权平均，以得到二值化矩阵123。

此外，物件侦测及追踪模块124用以将二值化矩阵123进行目标物件101的形态学(morphology)处理以及轮廓侦测，并将目标物件101的轮廓影像及其位置坐标进行储存，以供后续目标物件101的追踪及比对。之后，物件侦测及追踪模块124将辨识后的物件影像与其对应的类别资讯117相结合，并进行物件追踪演算，以即时得到目标物件101于输送带103上的位置资讯125及其物件类别。

在一实施例中，形态学处理例如通过闭运算将二值化矩阵123进行膨胀(Dilation)及侵蚀(Erosion)，以达到消除杂讯的目的。轮廓侦测例如使用边界跟随演算法(Border Following Algorithms)将二值化矩阵123进行拓扑分析(TopologicalAnalysis)，找出目标物件101轮廓。追踪演算例如使用通道及空间可靠性(Channel andSpatial Reliability，CSRT)追踪器进行物件追踪。CSRT追踪器会计算被选取区域的直方图(histogram)特征及颜色标签(color names)特征，并与前一幅的特征进行比对，以此判断目前物件当前的位置。

另外，请参照图5B，资讯配对模块126用以接收目标物件101的位置资讯125及其类别资讯117，并使用类别资讯117于资料库中查询对应的标记资讯127。如图5所示，资料库中储存各个物件类别与相对应的标记资讯127的表格，例如：当物件类别为类别_1时，对应的标记为投影标记_1；当物件类别为类别_2时，对应的标记为投影标记_2，依此类推。因此，资讯配对模块126可根据目标物件101的类别资讯117经由查表法产生对应的标记资讯127。后续，投影机132可根据目标物件101的位置资讯125投射对应的标记资讯127于目标物件101上，如上所述，在此不再赘述。

由上述的说明可知，本发明上述实施例的物件追踪及导引系统及其方法，可解决目标物件高度移动的情况下因影像模糊而导致误判，另一方面，也可避免目标物件颜色与输送带颜色相近时目标物件无法正常被侦测的问题。此外，本发明上述实施例的物件追踪及导引系统及其方法只要通过影像即时追踪及辨识做为侦测目标物件的位置资讯的来源，不需使用输送带的移动速度和移动时间计算目标物件的位置，因此，即使输送带非等速移动或间歇性移动(例如加速度运动或静止后再移动)仍能精确计算目标物件的位置坐标，以达到即时追踪及快速定位目标物件的功效。

综上所述，虽然本发明已以公开上述实施例，但其并非用以限定本发明。本发明所属技术领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围应以本申请的权利要求保护范围为准。

Claims (16)

1.一种物件追踪及导引系统，用于输送带上，该系统包括：

资料取得单元，包括彩色/深度摄影机以及条码读取装置，该彩色/深度摄影机用以提取目标物件的彩色影像资讯以及深度资讯，该条码读取装置用以读取该目标物件的类别资讯；

资料运算单元，用以接收该彩色影像资讯及该深度资讯以追踪该目标物件，以取得该目标物件于该输送带上的位置资讯，并根据该目标物件的该类别资讯产生标记资讯；以及

显示单元，包括至少投影机，该投影机根据该目标物件的该位置资讯投射该标记资讯于该目标物件上。

2.根据权利要求1所述的系统，其中该深度资讯用以辅助该目标物件的影像辨识。

3.根据权利要求1所述的系统，其中该目标物件具有二维条码或矩阵图码，该条码读取装置可发出红外光扫描该二维条码或该矩阵图码。

4.根据权利要求1所述的系统，其中该资料运算单元通过影像即时追踪及定位以侦测该目标物件的该位置资讯。

5.根据权利要求1所述的系统，其中该资料运算单元根据该目标物件的该类别资讯不同而对应产生不同的该标记资讯。

6.根据权利要求1所述的系统，其中该资料运算单元包括资讯处理模块，该资讯处理模块用以将该彩色影像资讯进行灰阶转换及迦玛校正，再进行二值化及背景分割的影像处理，以得到一二值化矩阵。

7.根据权利要求6所述的系统，其中该资料运算单元包括物件侦测及追踪模块，该物件侦测及追踪模块用以将该二值化矩阵进行该目标物件的形态学处理以及轮廓侦测，并将该目标物件的轮廓影像及其位置坐标进行储存。

8.根据权利要求7所述的系统，其中该资料运算单元包括资讯配对模块，该资讯配对模块用以接收该目标物件的该位置资讯及该类别资讯，并使用该类别资讯于资料库中查询对应的该标记资讯。

9.一种物件追踪及导引方法，用于输送带上，该方法包括：

以一深度摄影机提取该目标物件的彩色影像资讯以及深度资讯；

以一条码读取装置读取该目标物件的类别资讯；

接收该彩色影像资讯及该深度资讯以追踪该目标物件，以取得该目标物件于该输送带上的位置资讯；

根据该目标物件的该类别资讯产生标记资讯；以及

根据该目标物件的该位置资讯投射该标记资讯于该目标物件上。

10.根据权利要求9所述的方法，其中该深度资讯用以辅助该目标物件的影像辨识。

11.根据权利要求9所述的方法，其中该目标物件具有二维条码或矩阵图码，该条码读取装置可发出红外光扫描该二维条码或该矩阵图码。

12.根据权利要求9所述的方法，其中该方法通过影像即时追踪及定位以侦测该目标物件的该位置资讯。

13.根据权利要求9所述的方法，其中该方法根据该目标物件的该类别资讯不同而对应产生不同的该标记资讯。

14.根据权利要求9所述的方法，其中该方法用以将该彩色影像资讯进行灰阶转换及迦玛校正，再进行二值化及背景分割的影像处理，以得到一二值化矩阵。

15.根据权利要求14所述的方法，其中该方法用以将该二值化矩阵进行该目标物件的形态学处理以及轮廓侦测，并将该目标物件的轮廓影像及其位置坐标进行储存。

16.根据权利要求15所述的方法，其中该方法用以接收该目标物件的该位置资讯及该类别资讯，并使用该类别资讯于资料库中查询对应的该标记资讯。

Images