CN115861865A - 人体跟随系统 - Google Patents

Abstract

本发明提供一种人体跟随系统用以控制一载物平台跟随一跟随目标，包含一三维景深图像获取模块、一二维图像截面模块、一数据点分类模块、一目标锁定模块、一坐标计算模块与一控制模块。三维景深图像获取模块用以获取一三维景深图像。二维图像截面模块利用一二维截面，在三维景深图像中获取出一二维图像。数据点分类模块用以在二维图像中分类出人体数据点。目标锁定模块、坐标计算模块与控制模块，利用人体数据点将一使用者锁定为跟随目标，并计算出跟随坐标，藉以控制载物平台跟随所述跟随目标。

Description

人体跟随系统

技术领域

本发明涉及一种系统，尤其涉及一种人体跟随系统。

背景技术

虽然随着工厂自动化与仓储物流自动化的趋势兴起，越来越多的机械手臂、无人搬运车、机器人等装置被广泛地应用。例如：机械手臂用以拣货、无人搬运车用以运送货物等。但是大部分的物流业者仍然是利用人力进行拣货与配送。

一般来说，物流业者会在仓储端整理需要运送的货物，并将货物搬运至运输交通工具上。当物流业者到达目的地时，便会取出货物并将货物送达至收件者所在的楼层，供收件者收件、签收等。普遍来说，物流业者进行上述行为时，会利用一推车放置上述货物。

然而，物流业者便需要单手或是双手握持并控制推车，并不利于物流业者行动。例如：在仓储端时，物流业者需要对照表格以及拾取需要运送的货物；在抵达目的地时，物流业者可能需要致电给收件者、需要拿签收收据、需要拿笔、需要跟管理员或保全进行登记、需要按电梯楼层按钮、需要按门铃等，都需要利用到物流业者的手。因此，现有技术存在改善的空间。

发明内容

有鉴于在现有技术中，物流业者需要用手握持并控制推车，所造成及其衍生出的种种问题。本发明的一主要目的提供一种人体跟随系统，用以解决现有技术中的至少一个问题。

本发明为解决现有技术的问题，所采用的必要技术手段为提供一种人体跟随系统，用以控制一载物平台跟随一跟随目标，包含一三维景深图像获取模块、一二维图像截面模块、一数据点分类模块、一目标锁定模块、一坐标计算模块与一控制模块。三维景深图像获取模块用以对一使用者及使用者所处在的一环境获取出一三维景深图像，三维景深图像具有多个数据点，每一数据点一三维点云信息。二维图像截面模块电性连接三维景深图像获取模块，用以利用一二维截面在三维景深图像中的一目标设定区域获取出一二维图像，且二维图像包含由部分数据点所组成的多个取样数据点。

数据点分类模块电性连接三维景深图像获取模块与二维图像截面模块，在二维图像中的该些多个取样数据点至少部分符合一人体特征条件时，判定使用者位于目标设定区域内，并将符合人体特征条件的每一取样数据点定义成一人体数据点，藉以定义出多个代表使用者的人体数据点。目标锁定模块电性连接数据点分类模块，用以接收人体数据点，并将人体数据点所代表的使用者锁定为跟随目标。坐标计算模块电性连接目标锁定模块，并利用人体数据点计算出一代表跟随目标的一跟随坐标。控制模块电性连接坐标计算模块，接收跟随坐标，并据以产生一控制命令，藉以控制载物平台跟随该跟随目标。

在上述必要技术手段的基础下，本发明所衍生的一附属技术手段为使人体跟随系统中的二维图像截面模块，包含一区域设定单元、一截面产生单元、一取样单元与一图像获取单元。区域设定单元用以在三维景深图像中设定出目标设定区域。截面产生单元电性连接区域设定单元，用以在目标设定区域产生二维截面。取样单元电性连接截面产生单元，用以将数据点中位于二维截面上者，取样成取样数据点。图像获取单元电性连接截面产生单元，用以利用三维景深图像与二维截面获取出二维图像。

在上述必要技术手段的基础下，本发明所衍生的一附属技术手段为使人体跟随系统中的区域设定单元，将目标设定区域设定位于三维景深图像的一图像深度的一半。

在上述必要技术手段的基础下，本发明所衍生的一附属技术手段为使人体跟随系统中的二维截面，垂直目标设定区域，且垂直三维景深图像的一景深方向。

在上述必要技术手段的基础下，本发明所衍生的一附属技术手段为使人体跟随系统中的数据点分类模块，包含一特征条件设定单元与一分类单元。特征条件设定单元用以设定人体特征条件，且人体特征条件至少包含一人体形状。分类单元电性连接特征条件设定单元，用以利用人体特征条件定义出人体数据点。

在上述必要技术手段的基础下，本发明所衍生的一附属技术手段为使人体跟随系统中的坐标计算模块，包含一决定单元，决定单元决定用以计算出跟随坐标的人体数据点中的至少一者。

在上述必要技术手段的基础下，本发明所衍生的一附属技术手段为使人体跟随系统中的坐标计算模块还包含一计算单元，计算单元电性连接决定单元，用以利用上述人体数据点中的至少一者计算出跟随坐标。

承上所述，本发明所提供的人体跟随系统，利用三维景深图像获取模块、二维图像截面模块、数据点分类模块与目标锁定模块，将位于目标设定区域的使用者锁定为跟随目标，相较于现有技术，本发明可以控制载物平台跟随使用者，不论在仓储端或是在配送端，物流业者便不需要将手用于控制载物平台，可以腾出物流业者的双手，供物流业者进行拣货、致电、拿签收收据、拿笔、登记、按电梯楼层按钮、按门铃等，有效提升使用上的便利性。

再者，利用二维图像截面模块将三维景深图像获取模块获取的三维景深图像再获取出二维图像，可以有效降低计算的负担，而从二维图像中再分类出人体数据点，也可以有效减少数据点的储存量以及计算时间。也就是说，本发明先将三维景深图像转换为二维图像，再分类出人体数据点，等于可以利用较少的维度以及较少的人体数据点，确认跟随目标以及计算出跟随坐标，以达到跟随使用者的功效。

附图说明

图1显示本发明较佳实施例所提供的人体跟随系统的方块图；

图2显示本发明较佳实施例所提供的人体跟随系统应用于载物平台的立体图；

图3显示环境的示意图；

图4显示本发明较佳实施例所提供的人体跟随系统的三维景深图像获取模块获取三维景深图像的示意图；

图5显示本发明较佳实施例所提供的人体跟随系统的二维图像截面模块产生二维截面的示意图；

图6显示本发明较佳实施例所提供的人体跟随系统的二维图像截面模块获取出二维图像的示意图；

图7显示本发明较佳实施例所提供的人体跟随系统的坐标计算模块计算出跟随坐标的示意图；以及

图8至图10显示本发明实施例所提供的人体跟随系统控制载物平台跟随该跟随目标的示意图。

附图标号说明：

1:人体跟随系统

11:三维景深图像获取模块

12:二维图像截面模块

121:区域设定单元

122:截面产生单元

123:取样单元

124:图像获取单元

13:数据点分类模块

131:特征条件设定单元

132:分类单元

14:目标锁定模块

15:坐标计算模块

151:决定单元

152:计算单元

16:控制模块

2:载物平台

21:驱动轮组

A:目标设定区域

D:景深方向

DP:图像深度

D1,D2:距离

E:环境

H:使用者

HS:人体形状

IM1:三维景深图像

IM2:二维图像

L1:间隔距离

O1:灭火器

O2:柜子

O3:垃圾桶

P1,P2:数据点

P3:取样数据点

P31,P31a,P31b:人体数据点

P32:非人体数据点

S:二维截面

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和申请专利范围，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

请参阅图1与图3，其中，图1显示本发明较佳实施例所提供的人体跟随系统的方块图；图2显示本发明较佳实施例所提供的人体跟随系统应用于载物平台的立体图；以及，图3显示环境的示意图。如图所示，一种人体跟随系统1用以控制一载物平台2跟随一跟随目标，并包含一三维景深图像获取模块11、一二维图像截面模块12、一数据点分类模块13、一目标锁定模块14、一坐标计算模块15与一控制模块16。

在本实施例中，二维图像截面模块12包含一区域设定单元121、一截面产生单元122、一取样单元123与一图像获取单元124。数据点分类模块13包含一特征条件设定单元131与一分类单元132。坐标计算模块15包含一决定单元151与一计算单元152。

载物平台2用以承载货物，并至少包含一驱动轮组21。驱动轮组21通常包含一伺服驱动器、一伺服马达与多个轮子，用以受操作地带动载物平台2移动。

人体跟随系统1、载物平台2与一使用者H位于一环境E中，而环境E中还包含其他物件，例如一灭火器O1、一柜子O2与一垃圾桶O3，如图3所示，但不以此为限。附图仅是示意，环境E也可为仓储、工厂、大楼、卖场等地方；物件也可以是环境E中其他存在的物件，例如：桌子、椅子、仓储的置物架等。

接着，请一并参阅图1、图3至图6，其中，图4显示本发明较佳实施例所提供的人体跟随系统的三维景深图像获取模块获取三维景深图像的示意图；

图5显示本发明较佳实施例所提供的人体跟随系统的二维图像截面模块产生二维截面的示意图；以及，图6显示本发明较佳实施例所提供的人体跟随系统的二维图像截面模块获取出二维图像的示意图。

三维景深图像获取模块11用以对使用者H及使用者H所处在的环境E获取出一三维景深图像IM1，如图4所示。因三维景深图像IM1实际为3D照片，在附图中难以用照片的方式表现，故将图3中的载物平台2移除，剩余的部分做为三维景深图像IM1示意，特此说明。

三维景深图像IM1具有多个数据点，而每一个数据点一三维点云信息，其中，三维点云信息至少包含一X坐标、一Y坐标与一Z坐标，但不以此为限。三维点云信息也可包含一色彩值、一强度值等。

如图5的数据点P1是对应到图4的灭火器O1，图5的数据点P2是对应到图4的柜子O2。

二维图像截面模块12电性连接三维景深图像获取模块11，用以利用一二维截面S在三维景深图像IM1中的一目标设定区域A获取出一二维图像IM2，且二维图像IM2包含由部分该些多个数据点所组成的多个取样数据点P3。

区域设定单元121用以在三维景深图像IM1中设定出目标设定区域A。在本实施例中，目标设定区域A位于三维景深图像IM1的中间。如图4所示，三维景深图像IM1在一景深方向D上具有一图像深度DP，目标设定区域A则会位于图像深度DP一半的位置。

截面产生单元122电性连接区域设定单元121，用以在目标设定区域A产生二维截面S。在本实施例中，二维截面S会垂直目标设定区域A，而且也会垂直景深方向D。

取样单元123电性连接截面产生单元122，并且将位于二维截面S上的数据点取样成为上述的取样数据点P3。

图像获取单元124电性连接取样单元123，用以利用三维景深图像IM1与二维截面S获取出二维图像IM2，如图6所示。

数据点分类模块13电性连接三维景深图像获取模块11与二维图像截面模块12，用以将二维图像IM2中的取样数据点P3进行分类。当至少部分的取样数据点P3符合一人体特征条件时，数据点分类模块13便会判定使用者H位于目标设定区域A内，并将符合人体特征条件的每一取样数据点P3定义成一人体数据点，藉以定义出多个代表使用者H的人体数据点。

特征条件设定单元131用以设定人体特征条件，在本实施例中，人体特征条件至少包含一人体形状HS。举例来说，人体形状HS包含头部与四肢，并且为对称的。此外，人体特征条件也可以包含多种颜色，举例来说，使用者H会具有皮肤色、上衣的颜色、裤子的颜色、鞋子的颜色、眼球的黑色、眼白的白色等，相较于灭火器O1的红色、柜子O2的褐色与垃圾桶O3的黑色，使用者H的颜色会较为多样，物件的颜色则会较为单一。因此，人体特征条件也可以设定为包含多种颜色。

分类单元132电性连接特征条件设定单元131，用以利用人体特征条件对取样数据点P3进行分类。在二维图像IM2中，分类单元132会将符合人体特征条件的取样数据点P3，也就是符合人体形状HS，分类为人体数据点P31。此外，分类单元132还会进一步将不符合人体特征条件的取样数据点P3进行分类，如图6所示的非人体数据点P32。实务上，分类单元132也可以进一步细分非人体数据点P32，例如：垃圾桶数据点、灭火器数据点、柜子数据点等。

可参阅图3，使用者H确实位于目标设定区域A，且位于垃圾桶O3的旁边。因此，人体数据点P31所代表的便是位于目标设定区域A的使用者H，而非人体数据点P32则是代表位于使用者H旁边的垃圾桶O3。

目标锁定模块14电性连接数据点分类模块13，并将使用者H锁定为一跟随目标。

最后，请一并参阅图1与图7至图10，其中，图7显示本发明较佳实施例所提供的人体跟随系统的坐标计算模块计算出跟随坐标的示意图；以及，图8至图10显示本发明实施例所提供的人体跟随系统控制载物平台跟随该跟随目标的示意图。

坐标计算模块15电性连接目标锁定模块14，并利用至少一人体数据点P31计算出一代表跟随目标的跟随坐标。

坐标计算模块15包含一决定单元151与一计算单元152。决定单元151会决定要利用哪些人体数据点P31，在本实施例中，决定单元151会选用位于中间部分的人体数据点P31a与人体数据点P31b。计算单元152便会利用人体数据点P31a与人体数据点P31b计算出跟随坐标，也就是利用人体数据点P31a与人体数据点P31b各自的坐标计算出跟随坐标，但不以此为限。实务上，计算单元152会利用人体数据点P31a与人体数据点P31b的总平均计算出人体中心坐标，并以此做为跟随坐标。

决定单元151也可以采用其他人体数据点P31，例如采用最上面、最下面、最左边与最右边的人体数据点P31。而计算单元152利用上述的人体数据点P31计算出跟随坐标，例如：利用最上面与最下面计算出跟随坐标中的Y坐标，利用最左边与最右边计算出跟随坐标中的X坐标。

控制模块16电性连接坐标计算模块15，接收跟随坐标，并据以产生一控制命令，藉以控制载物平台2跟随该跟随目标，也就是跟随着使用者H，在本实施例中，计算单元152还会推估跟随目标与载物平台的相对距离与角度关系，藉以供控制模块16控制载物平台2跟随使用者H。载物平台2与使用者H之间会间隔一间隔距离L1，如图8所示。

在使用者H被锁定为跟随目标后，人体跟随系统1便会控制载物平台2跟随使用者H。当使用者H向前移动一距离D1时，人体跟随系统1便会控制载物平台2跟随使用者H而移动一距离D2，其中，距离D2会等于距离D1。因此，载物平台2仍然会与使用者H相距间隔距离L1。

附图以使用者H向前移动示意，当使用者向左移动、向右移动或是向后移动时，人体跟随系统1都会控制载物平台2以相同的方向跟随着使用者H移动。另外，在使用者H被锁定为跟随目标后，人体跟随系统1可在短暂的遗失跟随目标时，预测使用者H的可能动向，进而达到持续跟随的功效，例如：使用者H太靠近载物平台2或是使用者H短暂侧身等等。

综上所述，本发明所提供的人体跟随系统，利用三维景深图像获取模块、二维图像截面模块、数据点分类模块与目标锁定模块，将位于目标设定区域的使用者锁定为跟随目标，相较于现有技术，本发明可以控制载物平台跟随使用者，不论在仓储端或是在配送端，物流业者便不需要将手用于控制载物平台，可以腾出物流业者的双手，供物流业者进行拣货、致电、拿签收收据、拿笔、登记、按电梯楼层按钮、按门铃等，有效提升使用上的便利性。此外，本发明还可以额外应用于其他有载物平台的领域，例如：卖场。

再者，利用二维图像截面模块将三维景深图像获取模块获取的三维景深图像再获取出二维图像，可以有效降低计算的负担，而从二维图像中再分类出人体数据点，也可以有效减少数据点的储存量以及计算时间。也就是说，本发明先将三维景深图像转换为二维图像，再分类出人体数据点，等于可以利用较少的维度以及较少的人体数据点，确认跟随目标以及计算出跟随坐标，以达到跟随使用者的功效。

通过以上较佳具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而并非以上述所揭示的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求的范畴内。

Claims (7)

1.一种人体跟随系统，用以控制载物平台跟随跟随目标，包含：

三维景深图像获取模块，用以对使用者及所述使用者所处在的环境获取出三维景深图像，所述三维景深图像具有多个数据点，每一数据点三维点云信息；

二维图像截面模块，电性连接所述三维景深图像获取模块，用以利用二维截面在所述三维景深图像中的目标设定区域获取出二维图像，且所述二维图像包含由部分所述多个数据点所组成的多个取样数据点；

数据点分类模块，电性连接所述三维景深图像获取模块与所述二维图像截面模块，在所述二维图像中的所述多个取样数据点至少部分符合人体特征条件时，判定所述使用者位于所述目标设定区域内，并将符合所述人体特征条件的每一取样数据点定义成人体数据点，藉以定义出多个代表所述使用者的人体数据点；

目标锁定模块，电性连接所述数据点分类模块，用以接收所述多个人体数据点，并将所述多个人体数据点所代表的所述使用者锁定为所述跟随目标；

坐标计算模块，电性连接所述目标锁定模块，并利用所述多个人体数据点计算出代表所述跟随目标的跟随坐标；以及

控制模块，电性连接所述坐标计算模块，接收所述跟随坐标，并据以产生控制命令，藉以控制所述载物平台跟随所述跟随目标。

2.根据权利要求1所述的人体跟随系统，其中，所述二维图像截面模块包含：

区域设定单元，用以在所述三维景深图像中设定出所述目标设定区域；

截面产生单元，电性连接所述区域设定单元，用以在所述目标设定区域产生所述二维截面；

取样单元，电性连接所述截面产生单元，用以将所述多个数据点中位于所述二维截面上者，取样成所述多个取样数据点；以及

图像获取单元，电性连接所述截面产生单元，用以利用所述三维景深图像与所述二维截面获取出所述二维图像。

3.根据权利要求2所述的人体跟随系统，其中，所述区域设定单元将所述目标设定区域设定位于所述三维景深图像的图像深度的一半。

4.根据权利要求2所述的人体跟随系统，其中，所述二维截面垂直所述目标设定区域，且垂直所述三维景深图像的景深方向。

5.根据权利要求1所述的人体跟随系统，其中，所述数据点分类模块包含：

特征条件设定单元，用以设定所述人体特征条件，且所述人体特征条件至少包含人体形状；以及

分类单元，电性连接所述特征条件设定单元，用以利用所述人体特征条件定义出所述多个人体数据点。

6.根据权利要求1所述的人体跟随系统，其中，所述坐标计算模块包含决定单元，所述决定单元决定用以计算出所述跟随坐标的所述多个人体数据点中的至少一者。

7.根据权利要求6所述的人体跟随系统，其中，所述坐标计算模块还包含计算单元，所述计算单元电性连接所述决定单元，用以利用上述所述多个人体数据点中的至少一者计算出所述跟随坐标。

Images