CN110866950B - 物件定位指引系统及其方法 - Google Patents

Abstract

本申请涉及一种物件定位指引方法，包括以下步骤：通过摄像模块取得具有第一栈板影像以及第一图标影像的第一影像；通过处理单元根据第一影像中的第一图标影像决定摄像模块与图标的第一相对关系；通过第一深度摄影机取得具有第二栈板影像以及第二图标影像的第二影像；通过处理单元根据第二栈板影像取得当前物件摆放情况；通过处理单元根据当前物件摆放情况、物件摆放顺序以及图标与栈板的第二相对关系取得当前物件于栈板上的预定摆放位置；以及通过处理单元根据预定摆放位置、第一相对关系以及第二相对关系于第一影像中取得对应于当前物件的预定摆放坐标。本申请还涉及一种物件定位指引系统。

Description

物件定位指引系统及其方法

技术领域

本发明涉及一种物体定位指引系统及其方法，特别涉及一种定位指引系统以及其方法。

背景技术

传统针对仓储或物流过程中，物件于栈板上的堆叠摆放方式与整体材积计算多数仰赖于人工事先规划与计算，每当物件改变时皆需要投入额外的人力，且于摆放时并无法精准掌握实际栈板上货物体积信息，因而长期下来造成空间资源的浪费与运送成本的提高。因此，如何指引使用者物件的摆放位置以提升物流的处理效率为目前所需解决的问题。

发明内容

为解决上述问题，本发明一实施例提供一种物件定位指引方法，包括以下步骤：通过一摄像模块取得一第一影像，其中第一影像具有对应于一栈板的一第一栈板影像以及对应于至少一图标的一第一图标影像；通过一处理单元根据上述第一影像中的第一图标影像决定摄像模块与图标的一第一相对关系；通过一第一深度摄影机取得一第二影像，其中第二影像具有对应于栈板的一第二栈板影像以及对应于图标的一第二图标影像；通过处理单元根据第二栈板影像取得一当前物件摆放情况；通过处理单元根据当前物件摆放情况、复数物件于栈板的一物件摆放顺序以及图标与栈板的一第二相对关系取得一当前物件于栈板上的一预定摆放位置；以及通过处理单元根据预定摆放位置、第一相对关系以及第二相对关系于第一影像中取得对应于当前物件的一预定摆放坐标。

本发明另一实施例提供一种定位指引系统，包括一摄像模块、一第一深度摄影机、一存储单元以及一处理单元。摄像模块用以取得一第一影像，其中第一影像具有对应于一栈板的一第一栈板影像以及对应于至少一图标的一第一图标影像。第一深度摄影机用以取得一第二影像，其中第二影像具有对应于栈板的一第二栈板影像以及对应于图标的一第二图标影像。存储单元用以存储摄像模块与图标的一第一相对关系、复数物件于栈板的一物件摆放顺序以及图标与栈板的一第二相对关系。处理单元用以根据第一影像中的图标影像决定摄像模块与图标的第一相对关系，根据第二栈板影像取得一当前货件摆放情况，根据当前货件摆放情况、摆放顺序以及图标与栈板的第二相对关系取得一当前货件于栈板上的一预定摆放位置，以及根据预定摆放位置、第一相对关系以及第二相对关系于第一影像中取得对应于当前货件的一预定摆放坐标。

附图说明

图1是显示根据本发明一实施例所述的定位指引系统的示意图。

图2是显示根据本发明一实施例所述的物件定位指引系统中各个元件的配置示意图。

图3是显示根据本发明一实施例所述的栈板的立体示意图。

图4是显示根据本发明一实施例所述的图标的坐标系、摄像模块的坐标系以及第一深度摄影机的坐标系之间的相对关系的示意图。

图5是显示根据本发明一实施例所述的当前物件摆放情况的示意图。

图6是显示根据本发明另一实施例所述的当前物件摆放情况的示意图。

图7是显示根据本发明一实施例所述的完成物件的摆放的示意图。

图8是显示根据本发明一实施例所述的物件定位指引方法的流程图。

附图标记说明：

100～物件定位指引系统

110～摄像模块

120～第一深度摄影机

130～处理单元

140～存储单元

201～第一深度摄影机的设置位置

202～第二深度摄影机的设置位置

205～摄像模块的设置位置

210～图标

250～栈板

310～330～栈板突出于地面上的三个面

401a’、601c’～预设物件摆放位置

601a、601b～物件

710～已摆放完的物件

C～摄像模块所对应的坐标系

D～第一深度摄影机所对应的坐标系

M～图标所对应的坐标系

S801-S809～步骤流程

具体实施方式

有关本发明的系统以及方法适用的其他范围将于接下来所提供的详述中清楚易见。必须了解的是下列的详述以及具体的实施例，当提出有关物件定位指引系统以及物件定位指引方法的示范实施例时，仅作为描述的目的以及并非用以限制本发明的范围。

图1是显示根据本发明一实施例所述的物件定位指引系统的系统架构图。物件定位指引系统100至少包括一摄像模块110、一第一深度摄影机120、一处理单元130以及一存储单元140。摄像模块110为用以获取彩色影像的相机和/或摄影机，可配戴于一使用者身上或者设置于机械手臂上以随着使用者或者机械手臂移动。第一深度摄影机120可为RGB-D深度摄影机，用以获取具有深度信息的彩色影像。处理单元130可通过多种方式实施，例如以专用硬件电路或者通用硬件(例如，单一处理器、具平行处理能力的多处理器、图形处理器或者其它具有运算能力的处理器)，且于执行程序码或者软件时，提供之后所描述的功能。存储单元140用以存储第一深度摄影机120的一设置位置、至少一图标所对应的坐标系、复数物件于一栈板上的一物件摆放顺序以及计算位置相对关系的转换方程式等，以供处理单元130于执行相关运算时进行存取。其中，存储单元140例如是硬盘、快闪存储器、ROM等非挥发性存储装置。此外，物件定位指引系统100还可包括一显示单元(未显示)，可配戴于使用者头上。显示单元可为一显示面板(例如是薄膜液晶显示面板、有机发光二极管面板或其他具显示能力的装置等)，用以显示当前物件于栈板上的预定摆放位置。

图2是显示根据本发明一实施例所述的物件定位指引系统中各个元件的配置示意图。如图2所示，第一深度摄影机120是设置于第一位置201，即对应于栈板250的左上角，且其高度高于栈板250的高度，使得第一深度摄影机120的拍摄范围可包含栈板250的完整面积以及图标210。接着，处理单元130致使第一深度摄影机120获取对应于当前位置的一彩色深度影像(第四影像)，以判断栈板250与图标210之间的相对关系。其中，处理单元130于接收到彩色深度影像后，首先根据影像中的深度信息判断栈板250与地板平面的不同。举例来说，如图3所示，处理单元130可根据地板平面的法向量并以平面310为基准通过平面以及顶角计算求得平面320以及平面330，以于彩色深度影像中定义出栈板250的位置。接着，处理单元130于识别出栈板位置后，还根据其与图标210之间的相对关系。其中，图标210可为具有二维编码的一图标或者任何具有不对称外型的一平面物件或者一立体物件，使得处理单元130于识别出图标或者立体物件后，可取得对应于图标或者立体物件的一坐标系。其中，不对称外型主要用以避免处理单元130于判断单一图标时，误判图标所对应的方向。

根据本发明另一实施例，为了更精准地定义栈板250与图标210之间的相对关系，物件定位指引系统还可包括一第二深度摄影机，对应设置于第二位置202，使得处理单元130可根据两张具有不同拍摄角度的彩色深度影像校正栈板250与图标210之间的相对关系。其中，第一位置201与第二位置202呈对角的关系。值得注意的是，于本发明的实施例中，第一深度摄影机120以及第二深度摄影机是设置于栈板的对角线之上，但于其它实施例中，第一深度摄影机和/或第二深度摄影机亦可设置于可取得栈板的三个平面的位置。

此外，为了使得栈板250与图标210之间的相对关系被更精准地定位，地面上还可设置两个以上的图标(210a～210n)。其中，每个图标所对应的二维编码(或者立体物件所对应的外型)皆不相同，即每个图标皆具有各自对应的坐标系，且存储单元140除了存储每个图标的坐标系外，更存储复数图标的排列方式以及其相对位置。如此一来，处理单元130将可根据栈板250与复数图标210a～210n的相对关系建立准确的转换矩阵。

接着，于确定栈板250与至少一图标210之间的相对关系后，处理单元130致使摄像模块110取得一彩色影像(第一影像)，并根据彩色影像中的图标信息推算摄像模块110与图标之间的相对关系。举例来说，以图2为例，当使用者配戴摄像模块110站在位置205时，处理单元130根据图标210在彩色影像中所对应的坐标信息确定如图4所示的图标210的坐标系M、摄像模块110的坐标系C以及第一深度摄影机120的坐标系D之间的相对关系，再根据栈板250与至少一图标210的相对关系计算栈板250的坐标位置，以将对应于栈板250的虚拟影像投射于配戴在使用者身上的显示装置上。其中，摄像模块110的坐标系所对应的参数可通过以下公式取得：

D＝T1×C。

其中，D为摄像模块110的坐标系所对应的参数，T1为摄像模块110与第一深度摄影机120的坐标转换矩阵方程式，以及C为第一深度摄影机120的坐标系所对应的参数。

此外，第一深度摄影机120每隔既定时间取得对应于栈板250以及图标210的影像，并取得彩色深度影像中对应于栈板250上的物件的点云信息。最后，于物件皆摆放完成后，处理单元130即可根据先前所取得的具有点云信息的复数彩色影像计算对应于所有物件的体积，以进一步地判断物件的摆放是否有误。其中，由于栈板250的尺寸以及物件的尺寸皆已事先存储在存储单元140中，因此处理单元130应可根据栈板250上至少一物件所对应的当前体积以及栈板250的尺寸决定一当前物件摆放情况。举例来说，如图5所示，处理单元130可根据存储单元140中栈板250的尺寸以及彩色深度影像中对应于栈板250的体积判断栈板250上并未摆放任何物件。接着，处理单元130即可根据物件摆放顺序决定物件预定摆放位置401a’。其中，物件摆放的起始位置可根据图标与栈板之间的相对关系决定。

图6是显示根据本发明另一实施例所述的当前物件摆放情况的示意图。相较于图5的当前物件摆放情况，处理单元130应可通过判断对应于栈板250的体积得知图6的栈板250上已放置两个物件601a、602b。接着，处理单元130根据物件摆放顺序取得当前物件所需摆放的位置为601c’，并根据如图4所示的图标210、摄像模块110以及第一深度摄影机120之间的相对关系将预定摆放位置601c’标示于摄像模块110所取得的彩色影像中，并将标示有预定摆放位置的彩色影像(第三影像)输出至显示单元中以供使用者观看。

根据本发明另一实施例，当所有物件皆被摆放至栈板250上时，处理单元130还可通过第一深度摄影机和/或第二深度摄影机所取得的复数彩色深度影像(第五影像以及第六影像)测量栈板250的当前体积，并根据当前体积以及栈板250的尺寸判断物件摆放位置是否出现异常。例如当摆放完的物件710所对应的区域超出栈板250所对应的区域时，则判断物件的摆放出现异常状况时，接着可通过显示单元显示摆放异常的物件，以供使用者对物件摆放位置进行修正。

图8是显示根据本发明一实施例所述的物件定位指引方法的流程图。于步骤S801，第一深度摄影机120取得对应于第一设置位置的第一彩色深度影像。于步骤S802，处理单元130首先根据第一彩色深度影像取得对应于栈板250的栈板区域，并根据栈板区域与图标之间的位置取得两者的相对关系。于步骤S803，摄像模块110取得第一彩色影像，其中第一彩色影像中包含对应于图标的图标影像。于步骤S804，处理单元130根据第一彩色影像中图标所对应的坐标系决定摄像模块110与图标的相对关系，并根据图标与栈板250之间的相对关系取得图标、栈板以及摄像模块110三者之间的相对关系。于步骤S805，第一深度摄影机120取得具有栈板250的当前物件摆放状况的当前彩色深度影像。于步骤S806，处理单元130通过判断对应于栈板250的当前体积取得当前物件摆放情况。于步骤S807，处理单元130根据当前物件摆放情况、物件摆放顺序以及图标与栈板的相对关系取得当前物件于栈板上的预定摆放位置。于步骤S808，处理单元根据预定摆放位置、摄像模块与图标的相对关系以及图标与栈板的相对关系计算出当前物件于摄像模块110所取得的彩色影像中所对应的预定摆放坐标。最后，于步骤S809，处理单元130根据预定摆放坐标于显示单元显示具有预定摆放位置的彩色影像。

本发明的方法，或特定形态或其部分，可以以程序码的形态存在。程序码可以包含于实体媒体，如软碟、光盘片、硬盘、或是任何其他机器可读取(如电脑可读取)存储媒体，亦或不限于外在形式的电脑程序产品，其中，当程序码被机器，如电脑载入且执行时，此机器变成用以参与本发明的装置。程序码也可通过一些传送媒体，如电线或电线缆、光纤、或是任何传输形态进行传送，其中，当程序码被机器，如电脑接收、载入且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元实作时，程序码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。

综上所述，根据本发明所提出的适用于行动控制装置的定位指引系统以及方法，通过取得栈板的三维立体影像信息即可计算栈板上当前物件摆放的状况，并根据事先定义的物件摆放顺序以及图标与栈板之间的相对关系将可指引使用者或者机械手臂下一个物件的摆放位置，借此将可减少仓储自动化所需的人力，并提升栈板摆放的效率。

以上叙述许多实施例的特征，使所属技术领域中技术人员能够清楚理解本说明书的形态。所属技术领域中技术人员能够理解其可利用本发明公开内容为基础以设计或变动其他工艺及结构而完成相同于上述实施例的目的及/或达到相同于上述实施例的优点。所属技术领域中技术人员亦能够理解不脱离本发明的构思和范围的等效构造可在不脱离本发明的构思和范围内作任意的变动、替代与润饰。

Claims (10)

1.一种物件定位指引方法，包括以下步骤：

通过一摄像模块取得一第一影像，其中上述第一影像具有对应于一栈板的一第一栈板影像以及对应于至少一图标的一第一图标影像；

通过一处理单元根据上述第一影像中上述第一图标影像决定上述摄像模块与上述图标的一第一相对关系；

通过一第一深度摄影机取得一第二影像，其中上述第二影像具有对应于上述栈板的一第二栈板影像以及对应于上述图标的一第二图标影像；

通过上述处理单元根据上述第二栈板影像取得一当前物件摆放情况以及复数物件于上述栈板的一物件摆放顺序；

通过上述处理单元根据上述第二栈板影像以及上述第二图标影像取得一第二相对关系；

通过上述处理单元根据上述当前物件摆放情况、上述物件摆放顺序以及上述第二相对关系取得一当前物件于上述栈板上的一预定摆放位置；

通过上述处理单元根据上述预定摆放位置、上述第一相对关系以及上述第二相对关系于上述第一影像中取得对应于当前物件的一预定摆放坐标；

通过上述第一深度摄影机取得一第五影像；

通过一第二深度摄影机取得一第六影像；

通过上述处理单元根据上述第五影像以及上述第六影像取得对应于上述栈板的点云信息；

通过上述处理单元根据上述点云信息判断对应于上述当前物件摆放情况的一栈板体积；以及

通过上述处理单元根据上述栈板体积、一栈板尺寸以及一物件尺寸判断上述当前物件摆放情况是否出现异常。

2.如权利要求1所述的物件定位指引方法，还包括：

通过上述处理单元根据上述预定摆放坐标于上述第一影像中标示上述预定摆放位置；以及

通过一显示单元显示具有上述预定摆放位置的一第三影像；

其中上述显示单元与上述摄像模块设置于相同的位置。

3.如权利要求1所述的物件定位指引方法，还包括：

通过上述第一深度摄影机取得一第四影像，其中上述第四影像中具有对应于上述栈板的一第三栈板影像以及对应于上述图标的一第三图标影像；

通过上述处理单元根据上述第四影像的深度信息执行一地板平面检测以定义对应于上述第三栈板影像的一栈板区域；以及

通过上述处理单元根据上述栈板区域以及上述第三图标影像决定上述图标与上述栈板的上述第二相对关系。

4.如权利要求1所述的物件定位指引方法，其中上述第一深度摄影机以及上述第二深度摄影机分别设置于上述栈板的对角。

5.如权利要求1所述的物件定位指引方法，其中定位物件为具有二维编码的一图标或者具有不对称形状的一立体物件，上述摄像模块为用以获取彩色影像的相机和/或摄影机，能配戴于一使用者身上或者设置于机械手臂上以随着使用者或者机械手臂移动，且上述第一深度摄影机为RGB-D深度摄影机，用以获取具有深度信息的彩色影像。

6.一种物件定位指引系统，包括：

一摄像模块，用以取得一第一影像，其中上述第一影像具有对应于一栈板的一第一栈板影像以及对应于至少一图标的一第一图标影像；

一第一深度摄影机，用以取得一第二影像，其中上述第二影像具有对应于上述栈板的一第二栈板影像以及对应于上述图标的一第二图标影像；

一存储单元，用以存储上述摄像模块与上述图标的一第一相对关系、复数物件于上述栈板的一物件摆放顺序以及上述图标与上述栈板的一第二相对关系；以及

一处理单元，用以：

根据上述第一影像中上述第一图标影像决定上述摄像模块与上述图标的上述第一相对关系；

根据上述第二栈板影像取得一当前物件摆放情况以及复数物件于上述栈板的一物件摆放顺序；

根据上述第二栈板影像以及上述第二图标影像取得一第二相对关系；

根据上述当前物件摆放情况、上述物件摆放顺序以及上述第二相对关系取得一当前物件于上述栈板上的一预定摆放位置；

根据上述预定摆放位置、上述第一相对关系以及上述第二相对关系于上述第一影像中取得对应于上述当前物件的一预定摆放坐标，其中上述处理单元还根据一第五影像以及一第六影像取得对应于上述栈板的点云信息，根据上述点云信息判断对应于上述当前物件摆放情况的一栈板体积，以及根据上述栈板体积、一栈板尺寸以及一物件尺寸判断上述当前物件摆放情况是否出现异常，其中上述第五影像为上述第一深度影像所取得，上述第六影像为一第二深度摄影机所取得。

7.如权利要求6所述的物件定位指引系统，其中上述处理单元还根据上述预定摆放坐标于上述第一影像中标示上述预定摆放位置，以及通过一显示单元显示具有上述预定摆放位置的一第三影像，其中上述显示单元与上述摄像模块设置于相同的位置。

8.如权利要求6所述的物件定位指引系统，其中上述第一深度摄影机更取得具有对应于上述栈板的一第三栈板影像以及对应于上述图标的一第三图标影像的一第四影像，上述处理单元还根据上述第四影像的深度信息执行一地板平面检测以定义对应于上述第三栈板影像的一栈板区域，以及根据上述栈板区域以及上述第三图标影像决定上述图标与上述栈板的上述第二相对关系。

9.如权利要求6所述的物件定位指引系统，其中上述第一深度摄影机以及上述第二深度摄影机分别设置于上述栈板的对角。

10.如权利要求6所述的物件定位指引系统，其中定位物件为具有二维编码的一图标或者具有不对称形状的一立体物件，上述摄像模块为用以获取彩色影像的相机和/或摄影机，能配戴于一使用者身上或者设置于机械手臂上以随着使用者或者机械手臂移动，且上述第一深度摄影机为RGB-D深度摄影机，用以获取具有深度信息的彩色影像。

Images