CN104751483A - 一种仓储物流机器人工作区域异常情况的监控方法 - Google Patents

Abstract

本发明具体涉及一种仓储物流机器人工作区域异常情况的监控方法。包括：从仓储机器人工作区域的实时监控视频中选取第一视频图像；将所述第一视频图像转化为第一灰度视频图像，并对所述第一灰度视频图像进行预处理；根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标；若所述第一灰度视频图像中存在目标，则确定所述目标是否为静止目标或者运动目标；若所述目标为静止目标或者所述目标为运动目标则且为无权限人员，则进行异常情况提示；否则不进行异常情况提示。能够实现对仓储机器人工作区域的实时监控，当监控到仓储机器人以及工作区域发生异常情况时，及时进行异常情况提示，确保了仓储物流系统的正常高效运转。

Description

一种仓储物流机器人工作区域异常情况的监控方法

技术领域

本发明涉及自动化仓储技术领域，具体涉及一种仓储物流机器人工作区域异常情况的监控方法。

背景技术

随着电子商务的迅猛发展，物流配送呈现出发货单位小、品种多、批量小、批次多、周期短的特点。如何准确、快速的实现物流配送成为了现代电子商务的关键。由于需要协调与调度的资源数量和品种众多，传统的人工操作、传送带式的仓储物流方式已经难以适应目前电子商务的发展需求，以亚马逊的Kiva Systems为代表的基于移动机器人的自动化仓储物流方式正在兴起。

仓储物流机器人能够将货架自动移动到工人面前，代替了人工搬运货物，有效地减少了工人的劳动强度，提高了运行效率。仓储机器人系统主要基于众多具有自主导航移动的货架搬运机器人。该移动机器人通过无线网络接收指令，通过导航装置将货架沿着固定的运动轨道输送到指定办公区域。如果仓储物流机器人在工作过程中工作区域内发生异常情况，如货物遗落、机器故障停止在工作轨道上时，则会影响其它机器人的正常工作。另外，该种模式的仓储系统分为机器人工作区域和办公区域，如果行人擅自闯入机器人工作区域也势必会影响其它机器人的正常工作。

然而在现有技术中无法有效监控上述影响机器人工作的工作区域内异常情况的发生。

发明内容

针对现有技术中无法有效监控上述影响机器人工作的工作区域内异常情况的发生的缺陷，本发明提供了一种仓储物流机器人工作区域异常情况的监控方法。

本发明提供的一种仓储物流机器人工作区域异常情况的监控方法，包括：

获取仓储机器人工作区域的实时监控视频，从所述实时监控视频中选取多帧第一视频图像；

针对所述每一帧的第一视频图像，将该第一视频图像转化为第一灰度视频图像；

根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标；

若所述第一灰度视频图像中存在目标，则确定所述目标是否为静止目标或者运动目标；

若所述目标为静止目标，则进行异常情况提示；

若所述目标为运动目标则，判断所述运动目标是否为无权限人员，若所述运动目标为无权限人员，则进行无权限人员异常情况提示，否则不进行异常情况提示。

进一步地，所述将该第一视频图像转化为第一灰度视频图像的步骤之后还包括：

对所述第一灰度视频图像进行预处理，所述预处理包括滤波、去噪以及平滑处理。

进一步地，所述根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标的步骤之前，还包括：

获取仓储机器人工作区域初始状态下的初始监控视频，并从所述初始监控视频中连续选取预设帧数的第二视频图像；

将所述第二视频图像转化为第二灰度视频图像，并对得到的第二灰度视频图像进行预处理；

根据预处理后的第二灰度视频图像采用以下公式得到背景模型：

g₁(x,y)＝α×f₁(x,y)

g_i(x,y)＝(1-α)×g_i-1(x,y)+α×f_i(x,y)，i＝1,2,...,n

其中，g_i(x,y)为第i次迭代得到的背景模型，f_i(x,y)为第i个预处理后的第二灰度视频图像，n等于所选取的第二视频图像的预设帧数，α为图像权重。

进一步地，所述根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标的步骤，包括：

d₁(x,y)＝f(x,y)-g(x,y)

其中，d₁(x,y)为背景相减后得到的灰度图像，f(x,y)为所述第一灰度视频图像，g(x,y)为背景模型；

若d₁(x,y)≥Δ，则所述第一灰度视频图像中存在目标；若d₁(x,y)＜Δ，则所述第一灰度视频图像中不存在目标；Δ为大于0的预设阈值。

进一步地，所述确定所述目标是否为静止目标或者运动目标的步骤，包括：

d₂(x,y)＝σ×|f₁(x,y)-f(x,y)|×|f(x,y)-f₂(x,y)|

其中，d₂(x,y)为三帧差分后得到的灰度图像，f(x,y)为所述第一灰度视频图像，f₁(x,y)、f₂(x,y)分别为与f(x,y)相邻的两帧第一灰度视频图像，σ为大于0的权重；

若d₂(x,y)＜δ，则所述目标为静止目标；若d₂(x,y)≥δ，则所述目标为运动目标；δ为大于0的预设阈值。

进一步地，所述若所述目标为静止目标，则进行异常情况提示的步骤，包括：

采用自适应阈值化方法提取所述第一视频图像中的静止目标，并提取所述静止目标的颜色、形状特征；

根据所述颜色、形状特征采用规则分类器对所述静止目标进行识别，得到所述静止目标为移动机器人、货架或者遗落物品；

根据识别结果分别进行移动机器人异常情况提示、货架异常情况提示或者遗落物品异常情况提示。

进一步地，所述判断所述运动目标是否为无权限人员的步骤，包括：

采用自适应阈值化方法提取所述第一视频图像中的运动目标，并提取所述运动目标的形状、速度特征；

根据所述形状、速度特征采用规则分类器对所述运动目标进行识别，得到所述运动目标为移动机器人或者行人；

若所述运动目标为行人，则根据所述行人身上的RFID(RadioFrequency Identification，无线射频识别)信息判断所述行人是否为无权限人员。

进一步地，所述提取所述运动目标的速度特征的步骤，包括：

对所述第一灰度视频图像进行强角点检测，确定所述强角点的位置；

采用LK光流法对所述强角点进行光流检测，获取所述光流的速度；

根据所述光流的速度确定所述运动目标的速度特征。

进一步地，所述采用自适应阈值化方法提取所述第一视频图像中的静止目标或者运动目标的步骤，包括：

将所述第一灰度视频图像划分为n×n个图像块，其中n为奇数；

采用以下公式计算每块图像块的平均像素：

$T=\underset{x=0}{\overset{n}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}d(x,y)/n\×n-p$

其中，T为图像块的平均像素，P为大于零的常数，当提取所述静止目标时d(x,y)为d₁(x,y)，当提取所述运动目标时d(x,y)为d₂(x,y)；

采用以下公式提取所述第一灰度视频图像中的静止目标或者运动目标：

$D(x,y)=\left\{\begin{array}{cc}255,& T\≤d(x,y)\\ 0,& T>d(x,y)\end{array}\right..$

进一步地，所述规则分类器包括：

根据不同类型目标所固有的颜色、形状或者速度特征建立目标规则集；

将提取的所述静止目标的颜色、形状特征或者将提取的所述运动目标的形状、速度特征与所述规则集中的特征信息进行比较；

选取与最接近的所述特征信息对应的目标类型为所述静止目标或者运动目标的类型。

本发明提供的一种仓储物流机器人工作区域异常情况的监控方法，能够实现对仓储机器人工作区域的实时监控，采用视频图像分析仓储移动机器人及其工作区域是否发生异常，当监控到仓储机器人以及工作区域发生异常情况时，及时进行异常情况提示，确保了仓储物流系统的正常高效运转。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明一个实施例中仓储物流机器人工作区域异常情况的监控方法的流程示意图。

具体实施方式

现结合附图和实施例对本发明技术方案作进一步详细阐述。

图1示出了本实施例中仓储物流机器人工作区域异常情况的监控方法的流程示意图，如图1所示，本实施例提供的一种仓储物流机器人工作区域异常情况的监控方法，包括：

S1，获取仓储机器人工作区域的实时监控视频，从所述实时监控视频中选取多帧第一视频图像。其中仓储机器人的工作区域是指仓储机器人的运动轨道区域。

S2，针对所述每一帧的第一视频图像，将该第一视频图像转化为第一灰度视频图像；

S3，根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标；

S4，若所述第一灰度视频图像中存在目标，则确定所述目标是否为静止目标或者运动目标；

S5，若所述目标为静止目标，则进行异常情况提示；

S6，若所述目标为运动目标则，判断所述运动目标是否为无权限人员，若所述运动目标为无权限人员，则进行无权限人员异常情况提示，否则不进行异常情况提示。

进一步地，所述S2中，将该第一视频图像转化为第一灰度视频图像的步骤之后还包括：

对所述第一灰度视频图像进行预处理，所述预处理包括滤波、去噪以及平滑处理。

进一步地，所述预先建立的背景模型的建立步骤包括：

A1，获取仓储机器人工作区域初始状态下的初始监控视频，并从所述初始监控视频中连续选取预设帧数的第二视频图像。其中，仓储机器人工作区域初始状态是指仓储机器人开始工作之前，即工作区域中不存在任何目标时的状态。

A2，将所述第二视频图像转化为第二灰度视频图像，并对得到的第二灰度视频图像进行预处理，所述预处理包括滤波、去噪以及平滑处理。

A3，根据预处理后的第二灰度视频图像采用以下公式得到背景模型：

g₁(x,y)＝α×f₁(x,y)

g_i(x,y)＝(1-α)×g_i-1(x,y)+α×f_i(x,y)，i＝1,2,...,n

其中，g_i(x,y)为第i次迭代得到的背景模型，f_i(x,y)为第i个预处理后的第二灰度视频图像，n等于所选取的第二视频图像的预设帧数，α为图像权重。所述图像权重可根据实际需要进行设定，例如设定为0.001～0.1。

所述根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标的步骤，包括：

根据预先建立的背景模型，采用背景相减法检测所述第一灰度视频图像中是否存在目标，具体包括：

d₁(x,y)＝f(x,y)-g(x,y)

其中，d₁(x,y)为背景相减后得到的灰度图像，f(x,y)为所述第一灰度视频图像，g(x,y)为背景模型；

若d₁(x,y)≥Δ，则所述第一灰度视频图像中存在目标；若d₁(x,y)＜Δ，则所述第一灰度视频图像中不存在目标；Δ为大于0的预设阈值。

进一步地，所述确定所述目标是否为静止目标或者运动目标的步骤，包括：

采用图像三帧差分法确定所述目标是否为静止目标或者运动目标，具体包括：

d₂(x,y)＝σ×|f₁(x,y)-f(x,y)|×|f(x,y)-f₂(x,y)|

其中，d₂(x,y)为三帧差分后得到的灰度图像，f(x,y)为所述第一灰度视频图像，f₁(x,y)、f₂(x,y)分别为与f(x,y)相邻的两帧第一灰度视频图像，σ为大于0的权重；σ值根据实际需要进行设定，例如可设定为1～10之间任一整数。

若d₂(x,y)＜δ，则所述目标为静止目标；若d₂(x,y)≥δ，则所述目标为运动目标；δ为大于0的预设阈值。例如，δ可取值为40。

进一步地，所述若所述目标为静止目标，则进行异常情况提示的步骤，包括：

S51，采用自适应阈值化方法提取所述第一视频图像中的静止目标，并提取所述静止目标的颜色、形状特征；

S52，根据所述颜色、形状特征采用规则分类器对所述静止目标进行识别，得到所述静止目标为移动机器人、货架或者遗落物品；

S53，根据识别结果分别进行移动机器人异常情况提示、货架异常情况提示或者遗落物品异常情况提示。

举例来说，所提起的形状特征为异常目标的长度和宽度；颜色特征是指异常目标对应的色彩图像的R、G、B颜色特征。

进一步地，所述判断所述运动目标是否为无权限人员的步骤，包括：

S61，采用自适应阈值化方法提取所述第一视频图像中的运动目标，并提取所述运动目标的形状、速度特征；

S62，根据所述形状、速度特征采用规则分类器对所述运动目标进行识别，得到所述运动目标为移动机器人或者行人；

S63，若所述运动目标为行人，则根据所述行人身上的RFID信息判断所述行人是否为无权限人员。

所述运动目标有可能是移动机器人或者行人，而行人则分为有权限工作人员或者无权限人员，只有在检测到所述运动目标为无权限人员时才进行无权限人员异常情况提示，当所述运动目标为移动机器人或者有权限工作人员时不进行异常情况提示。

同时，对于检测到所述运动目标为无权限人员进行无权限人员异常情况提示的同时，对其实时进行跟踪监视，并对该图像进行放大。其中，图像的放大方法可采用双线性插值方法事项对图像的放大。

具体的，所述S61中，提取所述运动目标的速度特征的步骤，包括：

S611，对所述第一灰度视频图像进行强角点检测，确定所述强角点的位置；

S612，采用LK光流法对所述强角点进行光流检测，获取所述光流的速度；

S613，根据所述光流的速度确定所述运动目标的速度特征。

进一步地，所述采用自适应阈值化方法提取所述第一视频图像中的静止目标或者运动目标，是通过选取合适的阈值，将所述第一火毒视频图像中各点的像素值与该阈值进行比较，一确定各点属于目标区域还是背景区域，具体包括：

将所述第一灰度视频图像划分为n×n个图像块，其中n为奇数；

采用以下公式计算每块图像块的平均像素：

$T=\underset{x=0}{\overset{n}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}d(x,y)/n\×n-p$

其中，T为图像块的平均像素；P为大于零的常数，其值可根据需要进行设定，一般设定为5至30；当提取所述静止目标时d(x,y)为d₁(x,y)，当提取所述运动目标时d(x,y)为d₂(x,y)；

采用以下公式提取所述第一灰度视频图像中的静止目标或者运动目标：

$D(x,y)=\left\{\begin{array}{cc}255,& T\≤d(x,y)\\ 0,& T>d(x,y)\end{array}\right..$

进一步地，所述规则分类器包括：

B1，根据不同类型目标所固有的颜色、形状或者速度特征建立目标规则集。其中，规则集的设定可根据实际目标进行设定，例如移动机器人颜色特征为橘黄色，长度为50cm，宽度为40cm。

B2，将提取的所述静止目标的颜色、形状特征或者将提取的所述运动目标的形状、速度特征与所述规则集中的特征信息进行比较；

B3，选取与最接近的所述特征信息对应的目标类型为所述静止目标或者运动目标的类型。

本实施例提供的一种仓储物流机器人工作区域异常情况的监控方法，能够实现对仓储机器人工作区域的实时监控，采用视频图像分析仓储移动机器人及其工作区域是否发生异常，当监控到仓储机器人以及工作区域发生异常情况时，及时进行异常情况提示，确保了仓储物流系统的正常高效运转。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种仓储物流机器人工作区域异常情况的监控方法，其特征在于，所述方法包括：

获取仓储机器人工作区域的实时监控视频，从所述实时监控视频中选取多帧第一视频图像；

针对所述每一帧的第一视频图像，将该第一视频图像转化为第一灰度视频图像；

根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标；

若所述第一灰度视频图像中存在目标，则确定所述目标是否为静止目标或者运动目标；

若所述目标为静止目标，则进行异常情况提示；

若所述目标为运动目标则，判断所述运动目标是否为无权限人员，若所述运动目标为无权限人员，则进行无权限人员异常情况提示，否则不进行异常情况提示。

2.根据权利要求1所述的方法，其特征在于，所述将该第一视频图像转化为第一灰度视频图像的步骤之后还包括：

对所述第一灰度视频图像进行预处理，所述预处理包括滤波、去噪以及平滑处理。

3.根据权利要求1所述的方法，其特征在于，所述根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标的步骤之前，还包括：

获取仓储机器人工作区域初始状态下的初始监控视频，并从所述初始监控视频中连续选取预设帧数的第二视频图像；

将所述第二视频图像转化为第二灰度视频图像，并对得到的第二灰度视频图像进行预处理；

根据预处理后的第二灰度视频图像采用以下公式得到背景模型：

g₁(x,y)＝α×f₁(x,y)

g_i(x,y)＝(1-α)×g_i-1(x,y)+α×f_i(x,y)，i＝1,2,...,n

其中，g_i(x,y)为第i次迭代得到的背景模型，f_i(x,y)为第i个预处理后的第二灰度视频图像，n等于所选取的第二视频图像的预设帧数，α为图像权重。

4.根据权利要求1所述的方法，其特征在于，所述根据预先建立的背景模型检测所述第一灰度视频图像中是否存在目标的步骤，包括：

d₁(x,y)＝f(x,y)-g(x,y)

其中，d₁(x,y)为背景相减后得到的灰度图像，f(x,y)为所述第一灰度视频图像，g(x,y)为背景模型；

若d₁(x,y)≥Δ，则所述第一灰度视频图像中存在目标；若d₁(x,y)＜Δ，则所述第一灰度视频图像中不存在目标；Δ为大于0的预设阈值。

5.根据权利要求1所述的方法，其特征在于，所述确定所述目标是否为静止目标或者运动目标的步骤，包括：

d₂(x,y)＝σ×|f₁(x,y)-f(x,y)|×|f(x,y)-f₂(x,y)|

其中，d₂(x,y)为三帧差分后得到的灰度图像，f(x,y)为所述第一灰度视频图像，f₁(x,y)、f₂(x,y)分别为与f(x,y)相邻的两帧第一灰度视频图像，σ为大于0的权重；

若d₂(x,y)＜δ，则所述目标为静止目标；若d₂(x,y)≥δ，则所述目标为运动目标；δ为大于0的预设阈值。

6.根据权利要求1所述的方法，其特征在于，所述若所述目标为静止目标，则进行异常情况提示的步骤，包括：

采用自适应阈值化方法提取所述第一视频图像中的静止目标，并提取所述静止目标的颜色、形状特征；

根据所述颜色、形状特征采用规则分类器对所述静止目标进行识别，得到所述静止目标为移动机器人、货架或者遗落物品；

根据识别结果分别进行移动机器人异常情况提示、货架异常情况提示或者遗落物品异常情况提示。

7.根据权利要求1所述的方法，其特征在于，所述判断所述运动目标是否为无权限人员的步骤，包括：

采用自适应阈值化方法提取所述第一视频图像中的运动目标，并提取所述运动目标的形状、速度特征；

根据所述形状、速度特征采用规则分类器对所述运动目标进行识别，得到所述运动目标为移动机器人或者行人；

若所述运动目标为行人，则根据所述行人身上的无线射频识别RFID信息判断所述行人是否为无权限人员。

8.根据权利要求7所述的方法，其特征在于，所述提取所述运动目标的速度特征的步骤，包括：

对所述第一灰度视频图像进行强角点检测，确定所述强角点的位置；

采用LK光流法对所述强角点进行光流检测，获取所述光流的速度；

根据所述光流的速度确定所述运动目标的速度特征。

9.根据权利要求6或7所述的方法，其特征在于，所述采用自适应阈值化方法提取所述第一视频图像中的静止目标或者运动目标的步骤，包括：

将所述第一灰度视频图像划分为n×n个图像块，其中n为奇数；

采用以下公式计算每块图像块的平均像素：

$T=\underset{x=0}{\overset{n}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}d(x,y)/n\×n-p$

其中，T为图像块的平均像素，P为大于零的常数，当提取所述静止目标时d(x,y)为d₁(x,y)，当提取所述运动目标时d(x,y)为d₂(x,y)；

采用以下公式提取所述第一灰度视频图像中的静止目标或者运动目标：

$D(x,y)=\left\{\begin{array}{cc}255,& T\≤d(x,y)\\ 0,& T>d(x,y)\end{array}\right..$

10.根据权利要求6或7所述的方法，其特征在于，所述规则分类器包括：

根据不同类型目标所固有的颜色、形状或者速度特征建立目标规则集；

将提取的所述静止目标的颜色、形状特征或者将提取的所述运动目标的形状、速度特征与所述规则集中的特征信息进行比较；

选取与最接近的所述特征信息对应的目标类型为所述静止目标或者运动目标的类型。