CN117115413B - 仓储电力安全工器具数量估算方法和系统 - Google Patents

Abstract

本发明涉及一种仓储电力安全工器具数量估算方法和系统。方法包括以下步骤：步骤1：获取货架的RGB图像和包含深度数据的深度图像；步骤2：利用RGB图像识别所需估算的各组电力安全工器具所在的各个目标区域的范围；步骤3：针对每个目标区域利用深度图像分别估算对应一组电力安全工器具的数量；步骤4：累加各个目标区域对应电力安全工器具的数量，得到货架上的电力安全工器具总数。系统包括实施步骤1的颜色相机和深度相机以及用于实施步骤2至步骤4的计算机/服务器。本发明能够实时对仓储电力安全工器具进行数量估计，操作简便、准确度高，可以实现电力安全工器具入库管理、盘点管理的自动化、智能化，大大节省人工，提高仓储管理效率。

Description

仓储电力安全工器具数量估算方法和系统

技术领域

本发明涉及仓储管理技术领域，具体涉及一种基于视觉识别的仓储电力安全工器具数量估算方法和系统。

背景技术

传统的仓储管理依靠人工操作，容易出错，并费时费力、效率低下，已逐渐被淘汰，无人化仓储管理已是当前流行趋势。基于RFID及物联网的无人化仓储需使用大量传感器，设备复杂不稳定，不仅具有存在安全隐患的风险，而且复杂的设备带来成本的提高，且RFID计数需要对货物预先粘贴RFID标签，进一步增加了设备成本以及操作复杂性。

基于机器视觉的无人化仓储管理采用图像采集系统，布置简单，成本低，效率高。主流方案多为将仓库出入口处对进出仓库的货物进行识别，此方案无法对仓库内货物的货物进行实时监控，时效性差，并且目前视觉算法易受外部环境影响，无法对仓储货物数量进行精确计算。因此，对于仓储中的电力安全工器具，现有的仓储货物管理方案是不适用的。

发明内容

本发明的目的是提供一种能够对仓储电力安全工器具实时进行数量精确估算，从而提高仓储管理水平的仓储电力安全工器具数量估算方法和系统。

为达到上述目的，本发明采用的技术方案是：

一种仓储电力安全工器具数量估算方法，用于估算成组放置于货架上的电力安全工器具数量，所述仓储电力安全工器具数量估算方法包括以下步骤：

步骤1：获取所述货架的RGB图像和包含深度数据的深度图像；

步骤2：利用所述RGB图像识别所需估算的各组所述电力安全工器具所在的各个目标区域的范围；

步骤3：针对每个所述目标区域利用所述深度图像分别估算对应一组所述电力安全工器具的数量，包括以下步骤：

步骤3-1：将基于所述RGB图像识别出的所述目标区域的范围映射到所述深度图像上；

步骤3-2：基于所述深度图像所包含的深度数据获取所述目标区域内的最大深度值D_max和最小深度值D_min，截断超出所述最小深度值D_min至所述最大深度值D_max范围之外的所述深度数据；

步骤3-3：获取单个所述电力安全工器具的尺寸并计算单个所述电力安全工器具在所述深度图像上的成像面积S_mark；基于所述最大深度值D_max、所述最小深度值D_min、所述电力安全工器具在所述深度图像的深度方向上的宽度尺寸W划分n个深度范围，使得第1~n个所述深度范围分别对应所述电力安全工器具在所述深度图像的深度方向上放置1~n行时对应所述深度数据的数据范围，n为正整数；

步骤3-4：基于所述深度图像所包含的深度数据，分别获取第1~n个所述深度范围在所述深度图像上的成像面积S₁~S_n，基于第1~n个所述深度范围在所述深度图像上的成像面积S₁~S_n和单个所述电力安全工器具在所述深度图像上的成像面积S_mark分别计算第1~n个所述深度范围对应的所述电力安全工器具的数量N₁~N_n；

步骤3-5：累加第1~n个所述深度范围对应的所述电力安全工器具的数量N₁~N_n得到所述目标区域对应一组所述电力安全工器具的数量；

步骤4：累加各个所述目标区域对应所述电力安全工器具的数量，得到所述货架上的电力安全工器具总数。

所述步骤2中，利用训练好的目标识别模型识别各组所述电力安全工器具所在的各个目标区域的范围。

利用带有类别标注的所述电力安全工器具的各个视角的RGB图像构建专用数据集并转化为模型训练模式，利用所述专用数据集、基于pytorch框架搭建Yolov5的训练环境对所述目标识别模型进行训练，并根据所述专用数据集的特点对所述目标识别模型进行参数微调，从而得到所述训练好的目标识别模型。

所述步骤3-1中，利用透视变换函数将所述RGB图像中的像素坐标转换为所述深度图像中的深度数据坐标，从而将所述目标区域的范围映射到所述深度图像上。

所述透视变换函数的获得方法为：

，

其中，Z _C 表示所述深度图像中像素点的深度值，u表示所述深度图像中像素点在坐标系中X方向坐标，v表示所述深度图像中像素点在坐标系中Y方向坐标，f _x 为所述拍摄所述RGB图像的相机在x方向的焦距，f _y 为所述拍摄所述RGB图像的相机在y方向的焦距，u ₀、v ₀分别为所述RGB图像的中心主点在x方向、y方向的坐标；R为旋转矩阵，T为平移量，X _W 、Y _W 、Z _W 分别为世界坐标系的X坐标值、Y坐标值、Z坐标值。

所述步骤3-2中，将深度数据大于所述最大深度值D_max的部分设置为0，将各个像素点的深度数据减去所述最小深度值D_min，并将相减后差值小于0的部分设置为0，从而将深度数据的范围移动到0至D_max-D_min之间。

所述步骤3-3中，确定n个深度边界值D₁~D_n，D₁=D_max-W-W/2，D₂=D_max-2×W-W/2，…，D_n=D_max-n×W-W/2，D_n≥D_min，则第1~n个所述深度范围对应的深度数据分别为[D₁,D_max]、[D₂,D₁]、…、[D_n,D_n-1]。

所述步骤3-4中，第1个所述深度范围对应的所述电力安全工器具的数量N₁=S₁/S_mark×1，第2个所述深度范围对应的所述电力安全工器具的数量N₂=S₂/S_mark×2，…，第n个所述深度范围对应的所述电力安全工器具的数量N_n=S_n/S_mark×n。

一种仓储电力安全工器具数量估算系统，用于实施前述的仓储电力安全工器具数量估算方法，其包括实施所述步骤1的颜色相机和深度相机以及用于实施所述步骤2至所述步骤4的计算机/服务器。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明能够实时对仓储电力安全工器具进行数量估计，操作简便、准确度高，可以实现电力安全工器具入库管理、盘点管理的自动化、智能化，大大节省人工，提高仓储管理效率。

附图说明

附图1为本发明的仓储电力安全工器具数量估算方法的流程图。

具体实施方式

下面结合附图所示的实施例对本发明作进一步描述。

实施例一：附图1所示，一种基于视觉识别的仓储电力安全工器具数量估算方法，用于估算成组放置于货架上的电力安全工器具数量，其获取的电力安全工器具货架对象的RGB图像和深度数据，利用RGB图像目标识别所需估算的所有电力安全工器具目标区域，利用深度数据进行电力安全工器具目标区域内的电力安全工器具数量估算，获取所有的电力安全工器具目标数量。具体包括以下步骤：

步骤1：获取货架的RGB图像和包含深度数据的深度图像。

该步骤中，利用颜色相机采集货架的RGB图像，利用深度相机采集货架的深度图像。采集到的RGB图像和深度图像传输给计算机或服务器进行后续的数据处理。计算机或服务器在获取货架的RGB图像和深度图像后，可以利用它们生产彩色点云图像，以直观显示电力安全工器具和货架的深度信息。

步骤2：利用RGB图像识别所需估算的各组电力安全工器具所在的各个目标区域的范围。

该步骤中，利用训练好的目标识别模型识别各组电力安全工器具所在的各个目标区域的范围。训练目标识别模型的方法为：利用颜色相机采集电力安全工器具的各个视角的照片并传输至计算机或服务器存储为图像数据，对图像数据进行电力安全工器具类别标注，利用带有类别标注的电力安全工器具的各个视角的RGB图像构建专用数据集并转化为模型训练模式，利用专用数据集、基于pytorch框架搭建Yolov5的训练环境对目标识别模型进行训练，并根据专用数据集的特点对目标识别模型进行参数微调，从而得到训练好的目标识别模型，即得到识别效果最佳的目标识别模型。

在Yolov5目标识别模型对RGB图像进行识别的过程中产生大量的矩形框，从中选取分类得分大于设定值的矩形框。通过训练得到的目标识别模型对RGB图像进行识别，得到所有可以识别的对象在RGB图像上的矩形区域及像素坐标，目标识别的矩形区域为仅包含该目标像素的区域。

步骤3：针对每个目标区域利用深度图像分别估算对应一组电力安全工器具的数量，包括以下步骤：

步骤3-1：将基于RGB图像识别出的目标区域的范围映射到深度图像上。

根据深度相机原理，此像素坐标与深度数据坐标有函数映射关系。于是就能通过RGB图像上识别到的目标对象矩形区域来标定物体在深度数据上的识别区域。

具体做法：1.将目标电力安全工器具堆满货架，2.获取目标电力安全工器具在RGB图像上矩形区域，3.通过相机的透视变换函数将像素坐标转换成深度数据坐标，以此获得深度数据识别所需的物理坐标范围。

具体的，利用透视变换函数将RGB图像中的像素坐标转换为深度图像中的深度数据坐标，从而将目标区域的范围映射到深度图像上。

透视变换函数的获得方法为：

，

其中，Z _C 表示深度图像中像素点的深度值，u表示深度图像中像素点在坐标系中X方向坐标，v表示深度图像中像素点在坐标系中Y方向坐标，f _x 为拍摄RGB图像的相机在x方向的焦距，f _y 为拍摄RGB图像的相机在y方向的焦距，u ₀、v ₀分别为RGB图像的中心主点在x方向、y方向的坐标；R为旋转矩阵，T为平移量，X _W 、Y _W 、Z _W 分别为世界坐标系的X坐标值、Y坐标值、Z坐标值。

在做深度数据计算之前，还需要完成的两个数据配置，1.目标电力安全工器具在货架上堆叠的列数，行数和层数，2.单个电力安全工器具的长宽高数据，包括长度L（在图像横向上的尺寸）、宽度W（在垂直图像方向上的尺寸）、高度H（在图像纵向上的尺寸）。

步骤3-2：基于深度图像所包含的深度数据获取目标区域内的最大深度值D_max和最小深度值D_min，截断超出最小深度值D_min至最大深度值D_max范围之外的深度数据。

该步骤中，将深度数据大于最大深度值D_max的部分设置为0，将各个像素点的深度数据减去最小深度值D_min，并将相减后差值小于0的部分设置为0，从而将深度数据的范围移动到0至D_max-D_min之间。

步骤3-3：获取单个电力安全工器具的尺寸并计算单个电力安全工器具在深度图像上的成像面积S_mark，以矩形电力安全工器具为例，其在深度图像上的成像面积S_mark=L×H；基于最大深度值D_max、最小深度值D_min、电力安全工器具在深度图像的深度方向上的宽度尺寸W划分n（n为正整数）个深度范围，使得第1~n个深度范围分别对应电力安全工器具在深度图像的深度方向上放置1~n行时对应深度数据的数据范围。

该步骤中，确定n个深度边界值D₁~D_n以对深度值进行分类：

D₁=D_max-W-W/2；

D₂=D_max-2×W-W/2；

……

D_n=D_max-n×W-W/2。

其中D_n≥D_min，则第1~n个深度范围对应的深度数据分别为[D₁,D_max]、[D₂,D₁]、…、[D_n,D_n-1]。

步骤3-4：基于深度图像所包含的深度数据，分别获取第1~n个深度范围在深度图像上的成像面积S₁~S_n，即深度范围位于D₁与D_max之间的成像面积为S₁，深度范围位于D₂与D₁之间的成像面积为S₂，…，深度范围位于D_n与D_n-1之间的成像面积为S_n。基于第1~n个深度范围在深度图像上的成像面积S₁~S_n和单个电力安全工器具在深度图像上的成像面积S_mark分别计算第1~n个深度范围对应的电力安全工器具的数量N₁~N_n：

第1个深度范围[D₁,D_max]对应的电力安全工器具的数量N₁=S₁/S_mark×1；

第2个深度范围[D₂,D₁]对应的电力安全工器具的数量N₂=S₂/S_mark×2；

……

第n个深度范围[D_n,D_n-1]对应的电力安全工器具的数量N_n=S_n/S_mark×n。

其中1、2、3、……、n对应于为深度数据不同范围内的电力安全工器具在深度图像的深度方向上堆放的行数，如深度数据值位于D_max和D₁范围内的电力安全工器具目标堆放的行数为1。

步骤3-5：累加第1~n个深度范围对应的电力安全工器具的数量N₁~N_n得到目标区域对应一组电力安全工器具的数量，即将对应的电力安全工器具目标区域内的深度数据组依据设定值进行的分类范围内计算出的所有电力安全工器具目标数量进行求和，即可获取电力安全工器具目标区域内的电力安全工器具数量总和，计算公式如下：

N_sum=N₁+N₂+N₃+……+N_n。

步骤4：使用同样方法计算得到各个目标区域中的电力安全工器具数量后，累加各个目标区域对应电力安全工器具的数量，得到货架上的电力安全工器具总数。

用于实施前述的仓储电力安全工器具数量估算方法的仓储电力安全工器具数量估算系统，包括用于实施步骤1的颜色相机和深度相机以及用于实施步骤2至步骤4的计算机/服务器。

上述方案中，深度数据和RGB图像信息生成点云图像，点云图像为利用一定的规则映射的彩色图像，具体方法为：

计算电力安全工器具货架的最大的深度数据值，用于截断超出范围的值；

计算电力安全工器具货架的最小的深度数据值，用于截断超出范围的值；

将大于最大深度数据值的部分设置为0；

将电力安全工器具货架的所有深度数据值减去最小深度数据值，将所有小于0的值设置为0，数据的范围移动到0到(D_max-D_min)之间；

对数据进行归一化，将其映射到0到255×128的范围，即0到32640，将数据映射到一个合理的颜色值范围；

创建一个与彩色数据相同形状的数组，用于存储生成的彩色图像，该数组有3个通道，将处理后的深度数据的整数部分分配给色相通道，将处理后的深度数据的余数部分加上128后分配给饱和度通道，将亮度通道设置为常数128，以保持恒定的亮度分量；

将HLS颜色空间转换为BGR颜色空间；

将处理后的深度数据为0的像素设为黑色，生成彩色点云图像数据。

本发明所提供的基于视觉识别的仓储电力安全工器具数量估算方法尤其适用于电力安全工器具的仓储管理行业。本发明所提供的基于视觉识别的仓储电力安全工器具数量估算方法，采集电力安全工器具货架对象的RGB图像和深度数据，利用RGB图像目标识别所需估算的所有电力安全工器具目标区域，生成彩色点云图像，并使用彩色点云图像直观地显示电力安全工器具货架对象的深度信息，最终的点云图像有一定的颜色渐变，反映电力安全工器具货架对象深度值的变化，可直观地看到对应的电力安全工器具目标区域内的目标电力安全工器具堆放的列数是否一致，并使用深度数据进行电力安全工器具目标区域内的电力安全工器具数量估算，获取所有的电力安全工器具目标数量。本发明解决了不同大小、规格的电力安全工器具堆码摆放在同一货架上的精确数量估算，并对仓储电力安全工器具数量实时监控，实现电力安全工器具的出入库管理、盘点管理的自动化、智能化，大力节省人工，提高仓储管理效率。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种仓储电力安全工器具数量估算方法，用于估算成组放置于货架上的电力安全工器具数量，其特征在于：所述仓储电力安全工器具数量估算方法包括以下步骤：

步骤1：获取所述货架的RGB图像和包含深度数据的深度图像；

步骤2：利用所述RGB图像识别所需估算的各组所述电力安全工器具所在的各个目标区域的范围；

步骤3：针对每个所述目标区域利用所述深度图像分别估算对应一组所述电力安全工器具的数量，包括以下步骤：

步骤3-1：将基于所述RGB图像识别出的所述目标区域的范围映射到所述深度图像上；

步骤3-2：基于所述深度图像所包含的深度数据获取所述目标区域内的最大深度值D_max和最小深度值D_min，截断超出所述最小深度值D_min至所述最大深度值D_max范围之外的所述深度数据；

步骤3-3：获取单个所述电力安全工器具的尺寸并计算单个所述电力安全工器具在所述深度图像上的成像面积S_mark；基于所述最大深度值D_max、所述最小深度值D_min、所述电力安全工器具在所述深度图像的深度方向上的宽度尺寸W划分n个深度范围，使得第1~n个所述深度范围分别对应所述电力安全工器具在所述深度图像的深度方向上放置1~n行时对应所述深度数据的数据范围，n为正整数；

步骤3-4：基于所述深度图像所包含的深度数据，分别获取第1~n个所述深度范围在所述深度图像上的成像面积S₁~S_n，基于第1~n个所述深度范围在所述深度图像上的成像面积S₁~S_n和单个所述电力安全工器具在所述深度图像上的成像面积S_mark分别计算第1~n个所述深度范围对应的所述电力安全工器具的数量N₁~N_n；

步骤3-5：累加第1~n个所述深度范围对应的所述电力安全工器具的数量N₁~N_n得到所述目标区域对应一组所述电力安全工器具的数量；

步骤4：累加各个所述目标区域对应所述电力安全工器具的数量，得到所述货架上的电力安全工器具总数。

2.根据权利要求1所述的仓储电力安全工器具数量估算方法，其特征在于：所述步骤2中，利用训练好的目标识别模型识别各组所述电力安全工器具所在的各个目标区域的范围。

3.根据权利要求2所述的仓储电力安全工器具数量估算方法，其特征在于：利用带有类别标注的所述电力安全工器具的各个视角的RGB图像构建专用数据集并转化为模型训练模式，利用所述专用数据集、基于pytorch框架搭建Yolov5的训练环境对所述目标识别模型进行训练，并根据所述专用数据集的特点对所述目标识别模型进行参数微调，从而得到所述训练好的目标识别模型。

4.根据权利要求1所述的仓储电力安全工器具数量估算方法，其特征在于：所述步骤3-1中，利用透视变换函数将所述RGB图像中的像素坐标转换为所述深度图像中的深度数据坐标，从而将所述目标区域的范围映射到所述深度图像上。

5.根据权利要求4所述的仓储电力安全工器具数量估算方法，其特征在于：所述透视变换函数的获得方法为：

，

其中，Z _C 表示所述深度图像中像素点的深度值，u表示所述深度图像中像素点在坐标系中X方向坐标，v表示所述深度图像中像素点在坐标系中Y方向坐标，f _x 为拍摄所述RGB图像的相机在x方向的焦距，f _y 为拍摄所述RGB图像的相机在y方向的焦距，u ₀、v ₀分别为所述RGB图像的中心主点在x方向、y方向的坐标；R为旋转矩阵，T为平移量，X _W 、Y _W 、Z _W 分别为世界坐标系的X坐标值、Y坐标值、Z坐标值。

6.根据权利要求1所述的仓储电力安全工器具数量估算方法，其特征在于：所述步骤3-2中，将深度数据大于所述最大深度值D_max的部分设置为0，将各个像素点的深度数据减去所述最小深度值D_min，并将相减后差值小于0的部分设置为0，从而将深度数据的范围移动到0至D_max-D_min之间。

7.根据权利要求1所述的仓储电力安全工器具数量估算方法，其特征在于：所述步骤3-3中，确定n个深度边界值D₁~D_n，D₁=D_max-W-W/2，D₂=D_max-2×W-W/2，…，D_n=D_max-n×W-W/2，D_n≥D_min，则第1~n个所述深度范围对应的深度数据分别为[D₁,D_max]、[D₂,D₁]、…、[D_n,D_n-1]。

8.根据权利要求1所述的仓储电力安全工器具数量估算方法，其特征在于：所述步骤3-4中，第1个所述深度范围对应的所述电力安全工器具的数量N₁=S₁/S_mark×1，第2个所述深度范围对应的所述电力安全工器具的数量N₂=S₂/S_mark×2，…，第n个所述深度范围对应的所述电力安全工器具的数量N_n=S_n/S_mark×n。

9.一种仓储电力安全工器具数量估算系统，用于实施如权利要求1至8中任一项所述的仓储电力安全工器具数量估算方法，其特征在于：所述仓储电力安全工器具数量估算系统包括实施所述步骤1的颜色相机和深度相机以及用于实施所述步骤2至所述步骤4的计算机/服务器。