CN115082841A - 一种仓储物流机器人工作区域异常监测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种仓储物流机器人工作区域异常监测方法，该方法是当物流机器人在当前工作区域出现工作异常时，根据当前工作区域没有异常时的历史图像，得到地面灰度值集合和轨迹灰度值集合；对物流机器人到达当前工作区域前的当前工作区域图像进行正常灰阶和异常灰阶的划分，根据异常灰阶下不同面积的连通域的数量得到灰阶整体异常程度；根据所有异常灰阶下连通域的不同面积计算异常灰阶离散程度；获取正常灰阶下的最大连通域面积，以结合灰阶整体异常程度和异常灰阶离散程度得到的整体异常程度，确认当前工作区域的异常原因，以快速采取有效措施进行异常处理，保证仓储物流的正常高效运转。

Description

一种仓储物流机器人工作区域异常监测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种仓储物流机器人工作区域异常监测方法。

背景技术

近年来随着科技的发展进步，仓储物流机器人开始大范围应用在仓储物流行业。无人化的仓储区物流机器人在工作的过程中，由于物品摆放的原因或是机器人的自身原因会使得仓库存放的物品散落地面，又由于物流机器人是根据既定路线运行，因此散落在地面的物品会成为障碍物，使得物流机器人停止运行。

目前，对于物流机器人的工作区域异常检测的方法通常是：采集工作区域中不存在异常时的工作区域图像，以作为标准图像，进而采集实时工作区域图像，通过对标准图像与实时工作区域图像作差来判断工作区域是否存在异常。但是该方法只能粗略的判断工作区域是否存在异常，而无法准确判断工作区域的异常原因是当前物流机器人造成的，还是之前物流机器人造成的，进而无法采取有效措施进行异常处理。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种仓储物流机器人工作区域异常监测方法，所采用的技术方案具体如下：

获取整个仓储区的监控视频数据；当物流机器人在当前工作区域出现工作异常时，分别获取所述监控视频数据中前N个其他物流机器人正常工作经过当前工作区域时的历史图像，N为正整数；基于所述历史图像获取当前工作区域没有异常时的地面灰度值集合和轨迹灰度值集合；

获取所述监控视频数据中物流机器人到达当前工作区域前的当前工作区域图像，将当前工作区域图像中对应在所述地面灰度值集合的灰度值作为第一正常灰阶、对应在所述轨迹灰度值集合的灰度值作为第二正常灰阶、剩余灰度值各为一个异常灰阶；基于第一正常灰阶、第二正常灰阶和异常灰阶对当前工作区域图像进行连通域分析，统计每个灰阶下同一连通域面积的数量；分别对每个异常灰阶下不同面积的连通域的所述数量进行加权求和得到对应异常灰阶的异常程度，所述加权求和的权重是指连通域的面积平方，选取最大的所述异常程度作为灰阶整体异常程度；

根据所有异常灰阶下连通域的面积计算平均连通域面积，根据每个异常灰阶下不同连通域的面积与所述平均连通域面积之间的差异，计算异常灰阶离散程度；分别获取第一正常灰阶下的最大连通域面积和最大连通域面积对应所述数量之间的第一乘积、第二正常灰阶下的最大连通域面积和最大连通域面积对应所述数量之间的第二乘积；结合所述灰阶整体异常程度、所述异常灰阶离散程度、所述第一乘积和所述第二乘积得到当前工作区域图像的整体异常程度，由所述整体异常程度确认当前工作区域的异常原因。

进一步的，所述基于所述历史图像获取当前工作区域没有异常时的地面灰度值集合和轨迹灰度值集合的方法，包括：

分别统计每张所述历史图像中每个灰度值下所对应的像素点数量，将相同灰度值下的像素点数量进行累加得到对应灰度值的像素点总数，以组成像素值的像素点总数集合；

基于灰度值差值利用K-means聚类算法将像素值的像素点总数集合分为两个集合；分别对每个集合中的像素点总数进行累加，则累加结果大的集合是地面灰度值的像素点总数集合，相对应另一个集合是轨迹灰度值的像素点总数集合；

将地面灰度值的像素点总数集合所对应的灰度值组成所述地面灰度值集合、轨迹灰度值的像素点总数集合所对应的灰度值组成所轨迹灰度值集合。

进一步的，所述异常灰阶离散程度的获取方法，包括：

根据当前异常灰阶下连通域的当前面积与当前面积对应连通域的所述数量，获取当前面积与对应所述数量的乘积，进而获取每个异常灰阶下不同连通域的面积所对应的所述乘积；对每个所述乘积与所述平均连通域面积之间的差值绝对值进行累加，将累加结果与所述乘积的总数量之间的比值作为所述异常灰阶离散程度。

进一步的，所述结合所述灰阶整体异常程度、所述异常灰阶离散程度、所述第一乘积和所述第二乘积得到当前工作区域图像的整体异常程度的方法，包括：

将所述第一乘积和所述第二乘积相加得到正常灰阶下的最大整体连通域面积；获取异常灰阶下的最大连通域面积，以及所述灰阶整体异常程度与所述异常灰阶离散程度之间的第三乘积，将第三乘积与所述最大整体连通域面积的差值作为幂指数、自然数e作为底数的结果加上异常灰阶下的最大连通域面积，得到当前工作区域图像的所述整体异常程度。

进一步的，所述由所述整体异常程度确认当前工作区域的异常原因的方法，包括：

设定异常程度阈值，当所述整体异常程度大于异常程度阈值时，确认物流机器人在到达当前工作区域前，当前工作区域已经存在异常；当所述整体异常程度小于或等于异常程度阈值时，确认物流机器人在当前工作区域时造成了当前工作区域的异常。

本发明实施例至少具有如下有益效果：当物流机器人在当前工作区域出现工作异常时，通过获取其他物流机器人正常工作通过当前工作区域时的历史图像以及物流机器人到达当前工作区域前的当前工作区域图像，通过对历史图像进行像素值分类以得到没有异常状态下当前工作区域的地面灰度值集合和轨迹灰度值集合，令地面灰度值集合和轨迹灰度值集合为标准正常灰阶，以准确将当前工作区域图像的像素值标注为正常灰阶和异常灰阶，减少标记误差；通过分析异常灰阶下不同面积的连通域的数量和连通域面积能够有效分析当前工作区域图像的异常区域分布情况，进而通过比较正常灰阶下的连通域面积，得到当前工作区域图像的整体异常程度，由整体异常程度确认当前工作区域的异常原因，基于异常原因能够快速采取有效措施进行异常处理，以保证仓储物流的正常高效运转。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的一种仓储物流机器人工作区域异常监测方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种仓储物流机器人工作区域异常监测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种仓储物流机器人工作区域异常监测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种仓储物流机器人工作区域异常监测方法的步骤流程图，该方法包括以下步骤：

步骤S001，获取整个仓储区的监控视频数据；当物流机器人在当前工作区域出现工作异常时，分别获取监控视频数据中前N个其他物流机器人正常工作经过当前工作区域时的历史图像，N为正整数；基于历史图像获取当前工作区域没有异常时的地面灰度值集合和轨迹灰度值集合。

具体的，仓储区一般都会有360°无死角的监控相机，对仓储物品进行全方位的监控，因此基于监控相机能够获取到整个仓储区的监控视频数据。

物流机器人在工作区域进行工作过程中，会遇到各种的情况，工作区域的实际情况影响物流机器人的工作状态，并且在工作过程中，难免会遇到一些意外，比如搬运目标掉落、存放目标区域有物品掉落，特别是某些液体物品以及易碎裂物品，由于物品的积压等原因会造成物品的损伤，可能会导致物流机器人的行驶路径上出现一系列的残渣和液体水渍，进而会直接影响物流机器人的正常工作。

物流机器人的工作主要是在工作区域进行相关目标的搬运工作，因此当工作区域出现异常时，会影响物流机器人的工作状态，比如当物流机器人的行驶路径上有物品挡住，则物流机器人就会停滞不前，并且物流机器人出现工作异常所在的工作区域，就是异常工作区域。基于以上分析，本方案通过对物流机器人的工作区域进行检测识别，以结合物流机器人的工作状态来进行工作区域的异常监测。

当物流机器人经过当前工作区域出现工作异常时，调取整个仓储区的监控视频数据，以获取监控视频数据中其他物流机器人正常工作经过当前工作区域时的历史图像，其中本方案中选取物流机器人出现工作异常时，正常工作下经过当前工作区域的前N个其他机器人所对应的历史图像，N为正整数，历史图像是指当前工作区域的历史拍摄图像，一个其他物流机器人对应一张历史图像。

优选的，本发明实施例中N=3。

物流机器人的工作路径所对应的地面是空白的，即没有任何物品，只有物流机器人的导航信息，也即是色带或导航带轨迹，因此根据3张历史图像中每个灰度值下所对应的像素点数量，获取当前工作区域没有异常时的地面灰度值集合和轨迹灰度值集合，其获取方法为：

（1）分别统计每张历史图像中每个灰度值下所对应的像素点数量，将相同灰度值下的像素点数量进行累加得到对应灰度值的像素点总数，进而得到每个灰度值的像素点总数，以组成像素值的像素点总数集合。

需要说明的是，虽然每张历史图像都是指没有异常时的当前工作区域，但是通过对3张历史图像的像素值对应像素点的累加，能够消除单张历史图像带来的统计误差。

（2）对于物流机器人的正常工作区域来说，工作区域只存在导航带轨迹和地面这两者的差异，并且两者的灰度差异较大，所以基于灰度值差值利用K-means聚类算法将像素值的像素点总数集合分为两个集合，分别为地面灰度值的像素点总数集合和轨迹灰度值的像素点总数集合。

（3）一般情况下地面背景在图像中占据大多数，轨迹占据较小，所以根据集合中数据区分哪个是地面灰度值的像素点总数集合、哪个是轨迹灰度值的像素点总数集合，进而得到对应的地面灰度值集合和轨迹灰度值集合。

具体的，分别对每个集合中的像素点总数进行累加，则累加结果大的集合是地面灰度值的像素点总数集合，相对应另一个集合就是轨迹灰度值的像素点总数集合。将地面灰度值的像素点总数集合所对应的灰度值组成地面灰度值集合、轨迹灰度值的像素点总数集合所对应的灰度值组成轨迹灰度值集合。

步骤S002，获取监控视频数据中物流机器人到达当前工作区域前的当前工作区域图像，将当前工作区域图像中对应在地面灰度值集合的灰度值作为第一正常灰阶、对应在轨迹灰度值集合的灰度值作为第二正常灰阶、剩余灰度值各为一个异常灰阶；基于第一正常灰阶、第二正常灰阶和异常灰阶对当前工作区域图像进行连通域分析，统计每个灰阶下同一连通域面积的数量；分别对每个异常灰阶下不同面积的连通域的数量进行加权求和得到对应异常灰阶的异常程度，权重是指连通域的面积平方，选取最大的异常程度作为灰阶整体异常程度。

具体的，物流机器人在当前工作区域出现工作异常时，说明当前工作区域存在异常，但无法确认该异常时由当前的物流机器人造成的，还是之前的物流机器人造成的，因此获取监控视频数据中物流机器人到达当前工作区域前的当前工作区域图像。

基于步骤S001获取的当前工作区域不存在异常时所对应的地面灰度值集合和轨迹灰度值集合，将当前工作区域图像中与地面灰度值集合中的灰度值一样的灰度值都划分为第一正常灰阶，将当前工作区域图像中与轨迹灰度值集合中的灰度值一样的灰度值都划分为第二正常灰阶，当前工作区域图像中的剩余灰度值各自划分为一个异常灰阶。

基于划分的第一正常灰阶、第二正常灰阶和异常灰阶，对当前工作区域图像进行连通域分析，然后，统计每个灰阶下同一连通域面积的数量，则能够得到一个灰阶下存在多个面积不同的连通域。

对于无异常的当前工作区域，其应当只存在地面和导航带轨迹，也即是只存在第一正常灰阶和第二正常灰阶，相对应第一正常灰阶和第二正常灰阶下连通域的数量不为零，即使存在误差，异常灰阶下的连通域的数量也是极小的，因此基于异常灰阶下的连通域进行灰阶整体异常程度的获取，灰阶整体异常程度用于表征当前工作区域的异常状态，则灰阶整体异常程度的获取方法为：

正常情况下，地面、物品和导航带轨迹的灰度分布是有较大差异的，并且地面和导航带轨迹的颜色是固定的，但是关于异常原因是不确定的，有可能是目标整体掉落在地面上阻挡物流机器人的行进，也有可能散乱的分布在地面上，而整体掉落在地面上时的表现为图像分割的结果相比真实情况下多了一个图像块，如果散乱的分布在地面上时则图像分割的结果会是多个图像块，因此分别对每个异常灰阶下不同面积的连通域的数量进行加权求和得到对应异常灰阶的异常程度，加权求和的权重是指连通域的面积平方。

作为一个示例，第i个异常灰阶的异常程度

的计算公式为：

其中，

为第i个异常灰阶下面积为j的连通域的数量；

为连通域的面积为j的面积平方；

为连通域的不同面积的总数量。

异常程度

越大，表示当前工作区域图像中的异常区域越大；面积平方

表示对应连通域大小的权重，连通域的面积越大，对应权重越大，对应异常程度

越大。

利用异常程度的计算公式能够得到每个异常灰阶的异常程度，将异常程度的最大值

作为当前工作区域图像中的灰阶整体异常程度，以最大程度的异常程度代表当前工作区域的异常情况。

步骤S003，根据所有异常灰阶下连通域的面积计算平均连通域面积，根据每个异常灰阶下不同连通域的面积与平均连通域面积之间的差异，计算异常灰阶离散程度；分别获取第一正常灰阶下的最大连通域面积和最大连通域面积对应数量之间的第一乘积、第二正常灰阶下的最大连通域面积和最大连通域面积对应数量之间的第二乘积，结合灰阶整体异常程度、异常灰阶离散程度、第一乘积和第二乘积得到当前工作区域图像的整体异常程度，由整体异常程度确认当前工作区域的异常原因。

具体的，异常灰阶下的连通域分布越散乱，表示在当前工作区域图像中异常区域分布越散乱，进而说明当前工作区域的异常情况越明显，因此基于异常灰阶下的连通域面积分析当前工作区域中异常灰阶离散程度，则异常灰阶离散程度的获取方法为：根据每个异常灰阶下不同的连通域的面积计算平均连通域面积，根据异常灰阶下连通域的当前面积与当前面积对应连通域的数量，获取当前面积与对应数量的乘积，进而获取每个异常灰阶下不同连通域的面积所对应的乘积，对每个乘积与平均连通域面积之间的差值绝对值进行累加，将累加结果与乘积的总数量之间的比值作为异常灰阶离散程度。

作为一个示例，异常灰阶离散程度

的计算公式为：

其中，

为平均连通域面积；

为异常灰阶的数量；

为连通域的不同面积的总数量；

为连通域的面积与对应数量的乘积的总数量；

为异常灰阶下连通域的总数量；

为第i个异常灰阶下面积为j的连通域的数量。

表示第i个异常灰阶下面积为j的连通域总面积，该连通域总面积与平均连通域面积之间的差值越大，说明对应异常灰阶下的连通域分布越散乱，对应异常灰阶离散程度越大；

值越大，说明异常灰阶下的连通域越多，对应异常灰阶离散程度越大，越表示当前工作区域中存在异常。

对于正常灰阶来说，当前工作区域图像中正常灰阶对应连通域的最大面积越小，表明异常占据的连通域的面积越大，因此根据第一正常灰阶下的连通域，获取最大连通域面积以及最大连通域面积对应的数量，并计算最大连通域面积与其对应数量之间的第一乘积；同理，根据第二正常灰阶下的连通域，获取最大连通域面积以及最大连通域面积对应的数量，并计算最大连通域面积与其对应数量之间的第二乘积，将第一乘积和第二乘积相加得到正常灰阶下的最大整体连通域面积。

结合异常灰阶下的灰阶整体异常程度和异常灰阶离散程度，以及正常灰阶下的最大整体连通域面积得到当前工作区域图像的整体异常程度，则整体异常程度的获取方法为：获取异常灰阶下的最大连通域面积，以及灰阶整体异常程度与异常灰阶离散程度之间的第三乘积，将第三乘积与最大整体连通域面积的差值作为幂指数、自然数e作为底数的结果加上异常灰阶下的最大连通域面积，得到当前工作区域图像的整体异常程度。

作为一个示例，当前工作区域图像的整体异常程度

的计算公式为：

其中，

为第一乘积；

为第二乘积；

为正常灰阶下的最大整体连通域面积；

为异常灰阶下的最大连通域面积。

需要说明的是，对于异常灰阶，灰阶整体异常程度越大，说明当前工作区域越异常，异常灰阶离散程度越大，也说明当前工作区域越异常；而对于第一正常灰阶和第二正常灰阶，最大整体连通域面积越大，说明当前工作区域的异常程度越小，因此整体异常程度

分别与灰阶整体异常程度

和异常灰阶离散程度

呈正相关关系、整体异常程度

与最大整体连通域面积

呈负相关关系；而异常灰阶下的最大连通域面积k作为偏置，用于调整整体异常程度。

进一步的，根据获得的当前工作区域图像的整体异常程度

确认当前工作区域的异常原因：设定异常程度阈值，当整体异常程度大于异常程度阈值时，确认物流机器人在到达当前工作区域前，当前工作区域已经存在异常，即物流机器人在当前工作区域出现工作异常是因为之前通过当前工作区域的其他机器人造成了当前工作区域的异常，并不是该物流机器人造成的，进而对之前的其他机器人进行检查；当整体异常程度小于或等于异常程度阈值时，确认物流机器人在当前工作区域时造成了当前工作区域的异常，即物流机器人在当前工作区域出现工作异常是因为该物流机器人造成的，进而对该物流机器人进行检查。

优选的，本方案中异常程度阈值取经验值80。

综上所述，本发明实施例提供了一种仓储物流机器人工作区域异常监测方法，该方法是当物流机器人在当前工作区域出现工作异常时，根据前N个其他物流机器人正常工作经过当前工作区域时的历史图像，得到地面灰度值集合和轨迹灰度值集合；基于地面灰度值集合和轨迹灰度值集合，对物流机器人到达当前工作区域前的当前工作区域图像进行正常灰阶和异常灰阶的划分，根据异常灰阶下不同面积的连通域的所述数量得到灰阶整体异常程度；根据所有异常灰阶下连通域的不同面积计算异常灰阶离散程度；获取正常灰阶下的最大连通域面积，以结合灰阶整体异常程度和异常灰阶离散程度得到的整体异常程度，确认当前工作区域的异常原因，以快速采取有效措施进行异常处理，保证仓储物流的正常高效运转。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种仓储物流机器人工作区域异常监测方法，其特征在于，该方法包括以下步骤：

获取整个仓储区的监控视频数据；当物流机器人在当前工作区域出现工作异常时，分别获取所述监控视频数据中前N个其他物流机器人正常工作经过当前工作区域时的历史图像，N为正整数；基于所述历史图像获取当前工作区域没有异常时的地面灰度值集合和轨迹灰度值集合；

获取所述监控视频数据中物流机器人到达当前工作区域前的当前工作区域图像，将当前工作区域图像中对应在所述地面灰度值集合的灰度值作为第一正常灰阶、对应在所述轨迹灰度值集合的灰度值作为第二正常灰阶、剩余灰度值各为一个异常灰阶；基于第一正常灰阶、第二正常灰阶和异常灰阶对当前工作区域图像进行连通域分析，统计每个灰阶下同一连通域面积的数量；分别对每个异常灰阶下不同面积的连通域的所述数量进行加权求和得到对应异常灰阶的异常程度，所述加权求和的权重是指连通域的面积平方，选取最大的所述异常程度作为灰阶整体异常程度；

根据所有异常灰阶下连通域的面积计算平均连通域面积，根据每个异常灰阶下不同连通域的面积与所述平均连通域面积之间的差异，计算异常灰阶离散程度；分别获取第一正常灰阶下的最大连通域面积和最大连通域面积对应所述数量之间的第一乘积、第二正常灰阶下的最大连通域面积和最大连通域面积对应所述数量之间的第二乘积；结合所述灰阶整体异常程度、所述异常灰阶离散程度、所述第一乘积和所述第二乘积得到当前工作区域图像的整体异常程度，由所述整体异常程度确认当前工作区域的异常原因。

2.如权利要求1所述的一种仓储物流机器人工作区域异常监测方法，其特征在于，所述基于所述历史图像获取当前工作区域没有异常时的地面灰度值集合和轨迹灰度值集合的方法，包括：

分别统计每张所述历史图像中每个灰度值下所对应的像素点数量，将相同灰度值下的像素点数量进行累加得到对应灰度值的像素点总数，以组成像素值的像素点总数集合；

基于灰度值差值利用K-means聚类算法将像素值的像素点总数集合分为两个集合；分别对每个集合中的像素点总数进行累加，则累加结果大的集合是地面灰度值的像素点总数集合，相对应另一个集合是轨迹灰度值的像素点总数集合；

将地面灰度值的像素点总数集合所对应的灰度值组成所述地面灰度值集合、轨迹灰度值的像素点总数集合所对应的灰度值组成所轨迹灰度值集合。

3.如权利要求1所述的一种仓储物流机器人工作区域异常监测方法，其特征在于，所述异常灰阶离散程度的获取方法，包括：

根据当前异常灰阶下连通域的当前面积与当前面积对应连通域的所述数量，获取当前面积与对应所述数量的乘积，进而获取每个异常灰阶下不同连通域的面积所对应的所述乘积；对每个所述乘积与所述平均连通域面积之间的差值绝对值进行累加，将累加结果与所述乘积的总数量之间的比值作为所述异常灰阶离散程度。

4.如权利要求1所述的一种仓储物流机器人工作区域异常监测方法，其特征在于，所述结合所述灰阶整体异常程度、所述异常灰阶离散程度、所述第一乘积和所述第二乘积得到当前工作区域图像的整体异常程度的方法，包括：

将所述第一乘积和所述第二乘积相加得到正常灰阶下的最大整体连通域面积；获取异常灰阶下的最大连通域面积，以及所述灰阶整体异常程度与所述异常灰阶离散程度之间的第三乘积，将第三乘积与所述最大整体连通域面积的差值作为幂指数、自然数e作为底数的结果加上异常灰阶下的最大连通域面积，得到当前工作区域图像的所述整体异常程度。

5.如权利要求1所述的一种仓储物流机器人工作区域异常监测方法，其特征在于，所述由所述整体异常程度确认当前工作区域的异常原因的方法，包括：

设定异常程度阈值，当所述整体异常程度大于异常程度阈值时，确认物流机器人在到达当前工作区域前，当前工作区域已经存在异常；当所述整体异常程度小于或等于异常程度阈值时，确认物流机器人在当前工作区域时造成了当前工作区域的异常。

Images