CN111311630B - 在仓储管理中通过视频智能统计货物数量的方法和系统 - Google Patents

Abstract

本发明公开了一种在仓储管理中通过视频智能统计货物数量的方法，通过在视频监控的基础上，采用SSD算法和KLT算法识别、跟踪流经仓库出入口区域的货物，以此来检测仓库货物数量的变动情况，使得货物统计的更加方便快速。具体地，先通过摄像头采集仓库出入口区域的监控视频。而后，获取监控视频的当前帧画面α和前一帧画面β，计算帧画面α与帧画面β之间的差异比例。当差异比例超过预设阈值，通过SSD算法和KLT算法对帧画面α后的多帧帧画面进行货物数量检测。最后，统计出入仓库货物数量，并将统计的数量实时传输到可视化终端供管理人员查看和判断。

Description

在仓储管理中通过视频智能统计货物数量的方法和系统

技术领域

本发明涉及仓储智能管理的技术领域，尤其涉及一种在仓储管理中通过视频智能统计货物数量的方法和系统。

背景技术

目前，仓库存储智能化管理技术不断进步，其中的仓储货物管理办法越来越受重视。对于仓库货物的数量统计非常重要，这直接关系到仓库的使用效率和经营计划，并会影响到仓储管理人员数量或工作排期，以及用水用电等仓库开支，可以说是仓储管理中最关键的数据。

对于一个正常运营的仓库而言，其管理货物的数量往往在不断变动之中，对此动态变化数据的实时确认，一般会通过磅秤系统或人工清点来完成。进出仓库的货物，通常是经过统一包装，一方面方便运输和搬运，提高物流效率，另一方面对于货物形成保护，防止部件遗失或者外形破损。而在统一包装时，每件包装内容的货物数量往往是一样的，这为人工清点提供了可行性。

但是以磅秤系统或人工清点来进行货物计量，也有着一些基本性的问题，具体如下：

1)在货物计量的过程中加入磅秤系统，会不可避免的对货物流程形成阻断。货车在仓库入口完成货物的卸载后，叉车将货物分批次运往磅秤进行过磅并统计，完成此流程后再将货物装上叉车进入堆放区域。这个过程将打断货物入库流程，形成额外的时间损耗，甚至会因此造成瓶颈，使得前面或后面的作业队伍无法衔接，拖慢仓库的整体效率。

2)很多情况下，统一包装的货物往往是内容物标准相同、数量相同。可以靠人工清点来进行货物数量确认。人工形式会比较灵活，但是比工具或系统具有更高的不可靠性，往往需要二次甚至多次确认，要么在时间上不具备优势，要么在人力支出上形成冗余。而且，采用人工清点不能排除数据作假或监守自盗的可能性，如果串通作案，甚至会造成重大损失，这些都会是仓库提升经济效益的消极因素。

如上所述，无论是采用磅秤系统清点还是人工清点，都在一定程度上影响到仓储管理单位的成本控制和业务运营。

发明内容

为解决现有技术中的问题，本发明提出了一种在仓储管理中通过视频智能统计货物数量的方法和系统，其利用基于卷积神经网络(CNN)的深度学习算法SSD来对仓库的视频画面进行货物个体数量判别，从而统计出仓库内货物总量，可有效解决仓储管理中货物数量统计的效率低下、成本高的问题。

为实现上述目的，第一方面，本发明实施例提供了一种在仓储管理中通过视频智能统计货物数量的方法，包括如下步骤：

步骤S1：通过摄像头采集仓库出入口区域的监控视频；

步骤S2：提取监控视频中当前帧画面α和上一帧画面β，计算帧画面α与帧画面β之间的差异比例，判断差异比例是否超过预设阈值a，若差异比例超过预设阈值a，则进行下一步；

步骤S3：对帧画面α后的多帧帧画面进行货物数量检测，具体包括如下步骤：

步骤S31，通过SSD算法对帧画面α后的多帧帧画面进行叉车识别，并通过KLT算法对移动叉车的运行轨迹进行追踪，识别叉车的进出仓库的动向；

步骤S32，通过SSD算法对移动叉车上货物进行检测识别，生成多个包含盒，每个货物对应生成有若干个包含盒，每个所述包含盒包括被框入的货物的左上角坐标(X，Y)，以及框入货物的边框的宽度(Width)和高度(Height)；

步骤S33，通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量；

步骤S4：统计进入仓库的叉车上的最佳包含盒的数量和离开仓库的叉车上的最佳包含盒的数量，并将统计的数量实时传输到可视化终端供管理人员查看和判断。

可选地，所述步骤S1中，通过摄像头采集仓库出入口区域的监控视频具体包括如下步骤：

步骤S11，通过两摄像头分别采集仓库入口左右两侧的监控视频；

步骤S12，通过两摄像头分别采集仓库出口左右两侧的监控视频。

可选地，所述步骤S2中，提取监控视频中当前帧画面α和上一帧画面β，计算帧画面α与帧画面β之间的差异比例，判断差异比例是否超过预设阈值a具体为：

提取仓库入口左侧的监控视频中的当前帧画面α1和上一帧画面β1，计算帧画面α1与帧画面β1之间的第一差异比例；

提取仓库入口右侧的监控视频中的当前帧画面α2和上一帧画面β2，计算帧画面α2与帧画面β2之间的第二差异比例；

提取仓库入口左侧的监控视频中的当前帧画面α3和上一帧画面β3，计算帧画面α3与帧画面β3之间的第三差异比例；

提取仓库入口右侧的监控视频中的当前帧画面α4和上一帧画面β4，计算帧画面α4与帧画面β4之间的第四差异比例；

分别判断第一差异比例、第二差异比例、第三差异比例、第四差异比例是否超过预设阈值a，若第一差异比例超过预设阈值a，则对帧画面α1后的多帧帧画面进行货物数量检测，并以此类推。

可选地，所述步骤S31中，识别叉车的进出仓库的动向具体为：

根据对叉车的运行轨迹追踪的时间段内叉车与仓库门中轴的二维坐标的距离判断叉车动向；

当叉车与仓库门中轴的二维坐标的距离逐渐增大，则认定叉车离开仓库；

当叉车与仓库门中轴的二维坐标的距离逐渐减小，则认定叉车进入仓库。

第二方面，本发明实施例提供了一种在仓储管理中通过视频智能统计货物数量的系统，其包括：

摄像头阵列，用于采集仓库出入口区域的监控视频流数据，其中，所述摄像头阵列包括多个摄像头；

视频源模块，用于接收和处理监控视频流数据，并对当前接收的帧画面α与上一次接收的帧画面β进行对比，计算帧画面α与帧画面β之间差异比例，并将计算得到的差异比例写入帧画面α携带的元信息中；

数量检测模块，用于根据帧画面α携带的差异比例来判断是否对对帧画面α后的多帧帧画面进行货物数量检测，计算流经出入口区域的货物数量；

总数统计模块，用于统计进入仓库的货物数量和离开仓库的货物数量，并将统计的数量实时传输到可视化终端供管理人员查看和判断。

可选地，多个所述摄像头分别设置在仓库出入口区域的入口左侧、入口右侧、出口左侧以及出口右侧，用于采集入口左右两侧的监控视频流数据和出口两侧的监控视频流数据。

可选地，所述数量检测模块包括：用于对入口左侧的监控视频流中的多帧画面进行货物数量检测的第一数量检测模块，用于对入口右侧的监控视频流中的多帧画面进行货物数量检测的第二数量检测模块，用于对出口左侧的监控视频流中的多帧画面进行货物数量检测的第三数量检测模块，以及用于对出口右侧的监控视频流中的多帧画面进行货物数量检测的第四数量检测模块。

可选地，所述第一数量检测模块、第二数量检测模块第三数量检测模块以及第四数量检测模块均包括：

叉车追踪模块，用于通过SSD算法对帧画面α后的多帧帧画面进行叉车识别，并通过KLT算法对移动叉车的运行轨迹进行追踪，识别叉车的进出仓库的动向；

货物识别模块，通过SSD算法对移动叉车上货物进行检测识别，生成多个包含盒，每个货物对应生成有若干个包含盒，每个所述包含盒包括被框入的货物的左上角坐标(X，Y)，以及框入货物的边框的宽度(Width)和高度(Height)；

数量计算模块，通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量。

根据本发明所描述的技术系统和方法，通过在视频监控的基础上，在视频监控的基础上，用基于卷积神经网络的SSD算法对视频流画面数据进行处理，在目标仓储区域内的出入口位置识别出货物的数量情况，使仓储货物的数量统计在IT系统内自动完成，而不需要人工介入。采用本发明提供的方法和系统，一方面可提升仓储管理的运营效益，另一方面可节省人力成本，而且获得了更高的数据准确度，提升仓储的整体经济效益。同时，可有效解决仓储管理中货物数量统计的效率低下、成本高等问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为应用本发明所述方法的在仓储管理中通过视频智能统计货物数量的系统的框架结构图；

图2为第一数量检测模块的结构示意图；

图3为本发明所述方法的处理逻辑流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

图1示意性地显示了应用本发明所述方法的在仓储管理中通过视频智能统计货物数量的系统的框架结构图，如图1所示，该系统包括：多个摄像头组成的摄像头阵列，一视频源模块，一数量检测模块以及一总数统计模块。

由于堆积在仓库存放区域的货物，往往数目比较庞大，现有算法能力还无法在二维平面上辨识出货物并得出数量，或者统计的货物数量的准确率达不到所需标准。并且货物的堆放往往会在一个集中区域有多堆或多层放置，彼此之间可能互相遮挡，摄像头远端的货物全貌无法全部进入拍摄画面，进一步加大了通过目标检测算法来处理视频画面并辨析出单个货物的难度。为此，摄像头阵列中的多个摄像头被设置在仓库出入口区域，以采集仓库出入口区域的监控视频流数据。通过把待处理的视频数据选取在仓库出入口区域，该区域一般为保持交通顺畅而不会堆积货物。因此，在某个具体时间点上需辨识的货物往往不会数量很多，一般处于叉车单向运送状态，画面数据量较少，使得辨析并统计货物在技术上的难度大大降低。

一般情况下，该摄像头可直接采用仓库出入口区域正在使用的监控摄像头。如果摄像头的清晰度不够，则需要将摄像头更换为1080P高清摄像头，以保证监控视频的帧画面的清晰度，以便于后续模块的识别处理。同时，如果摄像头阵列的监控范围有重叠或者未覆盖仓库的整个出入口区域，则还需要对摄像头的可视范围、拍摄交底、相对位置进行调整，以使得摄像头采集到足够进行后续计算和分析的视频流数据。对摄像头进行调整前，需要先设定仓库出入口区域所在的平面，确定该平面的坐标原点，针对坐标原点调整摄像头的位置，并将摄像头的位置信息和拍摄范围等上传至数据库进行存储，以便于后续获取摄像头阵列信息。

优选地，为保证获取的货物数量的准确性，在本实施例中，将多个摄像头分别设置在仓库出入口区域的入口左侧、入口右侧、出口左侧以及出口右侧，分别从不同角度来采集进出仓库的货物的监控视频，以便于后续模块进行辨识和计数，若左右两侧的监控视频中识别出的货物数量一致，则由总数统计模块累计到货物总数量上，若不一致，则可通过视频源模块保留相应的帧画面并交由人工判断(具体见后续说明)。

视频源模块用于接收和处理监控视频流数据，其通过RTSP协议直接读取摄像头采集的视频流数据。RTSP(Real Time Streaming Protocol)即实时流传输协议，是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。视频源模块通过对RTSP进行收包和解包，在本地缓存下来后，再全量传输给到下一模块。

具体地，视频源模块以帧画面的形式实时读取摄像头采集的视频流数据，每个帧画面均携带元信息，该元信息包括摄像头编号与帧编号，摄像头编号指的是采集该帧画面的摄像头在已组织准确的摄像头阵列中的编号，通过该编号可获取对应摄像头的位置、拍摄范围等。帧编号指的是该帧画面在对应的视频流中的顺序编号。因画面帧由不同的摄像头采集，因此不同摄像头采集的帧画面的帧编号在各自独自的数字空间内累加，避免错乱。

由于货物识别模块和人形识别模块对硬件消耗很大，而货物监控过程中，相当较长一段时间内视频画面均不会有很大变化，采用视频源模块判断监控视频前后两帧帧画面的变化所产生的消耗远小于货物识别模块和人形识别模块在物体识别所产生的消耗。为此，视频源模块还用于对当前接收的帧画面α与上一次接收的帧画面β进行对比，计算帧画面α与帧画面β之间差异比例。视频源模块向数量检测模块传输帧画面的同时，会将该差异比例写入该帧画面携带的元信息中。通过将监控视频前后两帧帧画面的差异比例写入元信息中，有助于后面的模块来判断是否需要进行物体识别，降低计算量。

具体地，针对仓库出入口区域的入口左侧、入口右侧、出口左侧以及出口右侧的摄像头传输过来的监控视频，视频源模块会对各个监控视频中的帧画面进行单独的判断，并分别计算当前帧画面与上一帧画面的差异比例，将计算得到差异比例写入各自对应的帧画面携带的元信息中。

数量检测模块用于根据帧画面α携带的差异比例来判断是否对帧画面α后的多帧帧画面进行货物数量检测，计算流经出入口区域的货物数量。当货物识别模块当前接收的帧画面α中携带的差异比例大于或等于预设阈值a，则货物识别模块通过内置的基于卷积神经网络的SSD目标检测算法对帧画面中的货物进行检测识别。反之，若帧画面α与上一帧帧画面β的差异比例小于预设阈值a，则不进行物体识别操作。应当说明的是，该差异比例的阈值可以根据监控货物的环境等按需调整。

具体地，该数量检测模块包括：用于对入口左侧的监控视频流中的多帧画面进行货物数量检测的第一数量检测模块，用于对入口右侧的监控视频流中的多帧画面进行货物数量检测的第二数量检测模块，用于对出口左侧的监控视频流中的多帧画面进行货物数量检测的第三数量检测模块，以及用于对出口右侧的监控视频流中的多帧画面进行货物数量检测的第四数量检测模块。即，数量检测模块对仓库入口左右两侧和仓库出口左右两侧的视频画面中的货物和数量采用独立的方式进行辨识和计算，以便于后续的总数统计单元从对入口两侧的数据和出口两侧的数据来判断数据的可行度，提高对货物数量统计的准确性。

第一数量检测模块、第二数量检测模块、第三数量检测模块和第四数量检测模块的内部的功能模块和识别、计算原理均相同，下面以第一数量检测模块为例，对第一数量检测模块的内部结构和识别计算原理进行说明。具体地，第一计算模块包括叉车追踪模块、货物识别模块和数量计算模块。

叉车追踪模块主要用于对叉车进行识别追踪，并判断移动叉车的动向。具体地，叉车追踪模块内置SSD算法和KLT算法，可通过SSD算法对帧画面α后的多帧帧画面进行叉车识别，再通过KLT算法对移动叉车的运行轨迹进行追踪，最后通过叉车的运行轨迹判断其进出仓库的动向。

在入口处监控到的叉车并非其上运送的货物就是会增加仓储货物总数；同理，在出口监控到的叉车，也并非其上运送的货物就是会减少仓储货物总数。通过叉车追踪模块对移动叉车的运行轨迹进行跟踪，即可判断该叉车进行仓库的动向，对于进入仓库的叉车，其上的货物可被认为是对仓储货物总量的增加；对于离开仓库的叉车，其上的货物可被认为是对仓储货物总量的减少。

在本实施例中，叉车追踪模块判断叉车的进出仓库的动向的具体过程为：

在对叉车的运行轨迹追踪的时间段内，计算叉车与仓库门中轴的二维坐标的距离。当随着时间的推移，叉车与仓库门中轴的二维坐标的距离逐渐增大，则认定叉车离开仓库。反之，若随着时间的推移，叉车与仓库门中轴的二维坐标的距离逐渐增大，则认定叉车离开仓库。

货物识别模块内置有的基于卷积神经网络的SSD目标检测算法，可对移动叉车上的货物进行检测识别。当识别出货物时，针对每个识别出的货物，货物识别模块会通过SSD算法生成若干个包含盒，每个包含盒包括被框入的货物的左上角坐标(X，Y)，以及框入货物的边框的宽度(Width)和高度(Height)。

由于货物识别模块通过SSD算法对单个货物识别时，会生成大量的包含盒，这就到时无法根据货物识别模块的结果来准确计算货物数量(计算的货物数量会超过货物实际数量)。因此，在货物识别模块识别出移动叉车上的货物后，在第一数量检测模块内增设数量计算模块，该数量计算模块内置有NMS算法，可通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量，即货物的数量。

为便于理解，下面还对SSD算法、KLT算法以及NMS算法的概念原理作进一步说明。

SSD(Single Shot MultiBox Detector)算法属于one-stage方法的多框架预测，其采用一个CNN网络进行检测，用到了多尺度的特征图，其核心设计理念主要有以下三点：

i)采用多尺度特征图用于检测。即一个比较大的特征图和一个比较小的特征图，它们都用来做检测。这样做的好处是比较大的特征图来用来检测相对较小的目标，而小的特征图负责检测大目标。

ii)采用卷积进行检测。SSD直接采用卷积对不同的特征图来进行提取检测结果。对于形状为m*n*p的特征图，只需要采用3*3*p这样比较小的卷积核得到检测值。

iii)设置先验框。SSD在每个单元设置尺度或者长宽比不同的先验框，预测的边界框是以这些先验框为基准的，在一定程度上减少训练难度。

相比于Faster-CNN算法，SSD算法更加适用于对精度要求较高的场景。

上述的CNN网络，即卷积神经网络(Convolutional Neural Networks)，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。

在本实施例中，叉车追踪模块在系统正式运行之前，需先通过现场图片数据(如场地图片、叉车图片等)对SSD算法进行识别训练，以确保叉车识别模块后续能够对视频流的各帧帧画面中的叉车的影像作出准确的识别。训练所需的图片数据通过摄像头进行采集，具体地，每个摄像头大约采集10小时视频，采集时间需覆盖早上、中午、晚上各种光照以及叉车的各种角度，再将每个摄像头采集的监控视频中的帧换面输出到叉车追踪模块进行训练。当SSD算法经过监督学习和训练后，在测试集中达到满意效果后(召回率和准确率都达到90％以上)，即可在系统中运用。货物识别模块内的SSD算法与货物追踪模块内的SSD算法同理，均需要针对不同现场进行一定的调试，以保证识别的成功率。

KTL追踪算法全称Kanade–Lucas–Tomasi Tracking Method，是一种经典的对象跟踪算法，可以绘制运动对象的跟踪轨迹与运行方向，是一种简单、实时高效的跟踪算法。KLT追踪算法工作有三个假设前提条件：

i)亮度恒定，前后帧观测到的对应点的灰度值一样；

ii)时间连续或者是运动是“小运动”

iii)空间一致，临近点有相似运动，保持相邻。

在一个处理流程中，叉车追踪模块的输入数据为单一摄像头输出的多帧连续的帧画面，叉车追踪模块可通过对连续多帧帧画面中的叉车进行追踪并计算叉车在帧画面内的二维坐标，形成叉车在单一摄像头视频画面内的坐标集合，直至差叉车离开本摄像头的视频画面为止，然后由另一个处理流程来计算叉车在下一个摄像头的轨迹追踪情况。

具体地，在本实施例中，对于叉车追踪模块接收的帧画面中的叉车影像，先采用SIFT、SURF、FAST、SUSAN、HARRIS等特征点提取算法寻找叉车影像中的特征点，以这些特征点作为跟踪点，通过KLT追踪算法进行跟踪，计算这些跟踪点在目标图片中的二维坐标，并形成其坐标集合。

NMS算法广泛应用于SSD目标检测算法中，其目的是为了消除多余的包含盒，找出物体最合适的包含盒。NMS全称Non-Maximum Suppression，顾名思义就是抑制不是极大值的元素，搜索局部的极大值。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小，在目标检测中用于提取分数最高(即置信度最高)的包含盒，并且抑制另外的分数低的包含盒。本实施例中，通过采用NMS算法可获得每个货物的最佳包含盒，并获得帧画面中的包含盒数量，也即帧画面内所对应的货物数量。

总数统计模块用于汇总仓库入口和仓库出口的货物数量，并将汇总的进出仓库的货物数量统计到货物总数量上，并实时传输到可视化终端供管理人员查看和判断。

具体地，总数统计模块可获取到第一数量检测模块和第二数量检测模块从仓库入口两侧计算得到的左侧货物数量和右侧货物数量，并将左右两侧的货物数量进行对比。当左右两侧的货物数量一致时，则认为本次计算的仓库入口侧的货物数量是可信的，并将该货物数量累计到货物总数量上；而如果左右两侧的货物数量不一致，则总数统计模块发送指令给第一数量检测模块和第二数量检测模块进行二次计算，或者是提取视频源发送给第一数量检测模块和第二数量检测模块的多帧帧画面并发给管理人员进行判断。同理，对于第三数量检测模块和第四检测模块发送过来的货物数量，采用同样的方式进行处理。通过对从不同角度对进出的叉车上的货物计算得到的货物数量进行对比，以增加最终统计的货物数量的准确性。

在数量检测模块将货物数量发送给总数统计模块时，数量检测模块还有同时把相关信息(如对应摄像头的编号、叉车编号、检测时间等等)一同发送给总数统计模块，并上传数据库，留待离线批跑进行数据核验。

为达到实时检测的效果，本系统需要对大量数据进行实时计算，而传统的CPU架构体系已不能满足要求。因此，在本实施例中，本系统中的功能模块还使用GPU进行运算加速，具体地支撑硬件采用的是NVIDIA的2080ti显卡，该显卡采用的是图灵TU102核心，用台积电12nmFFN工艺打造，性能强大，可同时并行处理八路1080p摄像头数据。

基于上述系统，如图3所示，本发明提供的在仓储管理中通过视频智能统计货物数量的方法包括如下步骤：

步骤1：通过仓库入口左侧、入口右侧、出口左侧、出口右侧对应的摄像头分别采集仓库入口左侧、入口右侧、出口左侧、出口右侧的监控视频，以RTSP协议传递到视频源模块的服务器进行下一步的准实时处理。

步骤2：视频源模块从提取监控视频中提取当前帧画面α和上一帧画面β，并计算帧画面α与帧画面β之间的差异比例，并将该差异比例写入帧画面α携带的元信息中。具体地，提取仓库入口左侧的监控视频中的当前帧画面α1和上一帧画面β1，计算帧画面α1与帧画面β1之间的第一差异比例；

提取仓库入口右侧的监控视频中的当前帧画面α2和上一帧画面β2，计算帧画面α2与帧画面β2之间的第二差异比例；

提取仓库入口左侧的监控视频中的当前帧画面α3和上一帧画面β3，计算帧画面α3与帧画面β3之间的第三差异比例；

提取仓库入口右侧的监控视频中的当前帧画面α4和上一帧画面β4，计算帧画面α4与帧画面β4之间的第四差异比例。

步骤3：叉车追踪模块根据帧画面α携带的差异比例判断与帧画面β之间的差异大小，若差异比例大于预设阈值a，则进行下一步，否则跳转到步骤3。具体地，针对帧画面α1、帧画面α2、帧画面α3以及帧画面α4依次携带的第一差异比例、第二差异比例、第三差异比例以及第四差异比例分别进行判断处理。当帧画面α与帧画面β的差异比例大于或等于预设阈值a的情况下，说明视频画面中有新的物体进入或者移动。

步骤4：叉车追踪模块通过SSD算法对对帧画面α后的多帧帧画面进行叉车识别，并通过KLT算法对移动中的叉车进行追踪，并判断移动叉车的动向，识别出那些叉车是进入仓库，那些叉车是离开仓库，以方便后续对统计进出仓库的货物数量。

步骤5：货物识别模块通过SSD目标检测算法对移动叉车上的货物进行识别，针对每个识别出的单一货物，货物识别模块会通过SSD算法生成若干个包含盒。

步骤6：数量计算模块通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量，并将计算得到货物数量发送给总数统计模块。

步骤7：总数统计模块将从第一数量检测模块获取的货物数量和第二数量检测模块货物数量进行对比，若两者的货物数量一致，则将该货物数量统计到货物总数量上，若不一致，则重新计算再统计到货物总数量上，并将提取视频源发送给第一数量检测模块和第二数量检测模块的多帧帧画面并发给管理人员进行判断。同理，对于第三数量检测模块和第四数量检测模块发送过来的货物数量采用同样的方式进行处理。

步骤8：将进出仓库的货物数量统计完毕后，将最终统计的数量和预期数量进行对比，若一致，则结束本次货物出入库的统计，若不一致，则进行人力盘点复查。

根据本发明所描述的方法和系统，通过在视频监控的基础上，在视频监控的基础上，用基于卷积神经网络的SSD算法对视频流画面数据进行处理，在目标仓储区域内的出入口位置识别出货物的数量情况，使仓储货物的数量统计在IT系统内自动完成，而不需要人工介入。采用本发明提供的方法和系统，一方面可提升仓储管理的运营效益，另一方面可节省人力成本，而且获得了更高的数据准确度，提升仓储的整体经济效益。同时，可有效解决仓储管理中货物数量统计的效率低下、成本高等问题。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种在仓储管理中通过视频智能统计货物数量的方法，其特征在于，包括如下步骤：

步骤S1：通过摄像头采集仓库出入口区域的监控视频；

步骤S2：提取监控视频中当前帧画面α和上一帧画面β，计算帧画面α与帧画面β之间的差异比例，判断差异比例是否超过预设阈值a，若差异比例超过预设阈值a，则进行下一步；若差异比例不超过预设阈值a，则提取监控视频中的下一帧画面，重复步骤S2；

步骤S3：对帧画面α后的多帧帧画面进行货物数量检测，具体包括如下步骤：

步骤S31，通过SSD算法对帧画面α后的多帧帧画面进行叉车识别，并通过KLT算法对移动叉车的运行轨迹进行追踪，识别叉车的进出仓库的动向；

步骤S32，通过SSD算法对移动叉车上货物进行检测识别，生成多个包含盒，每个货物对应生成有若干个包含盒，每个所述包含盒包括被框入的货物的左上角坐标（X，Y），以及框入货物的边框的宽度Width和高度Height；

步骤S33，通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量；

步骤S4：统计进入仓库的叉车上的最佳包含盒的数量和离开仓库的叉车上的最佳包含盒的数量，并将统计的数量实时传输到可视化终端供管理人员查看和判断。

2.如权利要求1所述的在仓储管理中通过视频智能统计货物数量的方法，其特征在于，所述步骤S1中，通过摄像头采集仓库出入口区域的监控视频具体包括如下步骤：

步骤S11，通过两摄像头分别采集仓库入口左右两侧的监控视频；

步骤S12，通过两摄像头分别采集仓库出口左右两侧的监控视频。

3.如权利要求2所述的在仓储管理中通过视频智能统计货物数量的方法，其特征在于，所述步骤S2中，提取监控视频中当前帧画面α和上一帧画面β，计算帧画面α与帧画面β之间的差异比例，判断差异比例是否超过预设阈值a具体为：

提取仓库入口左侧的监控视频中的当前帧画面α1和上一帧画面β1，计算帧画面α1与帧画面β1之间的第一差异比例；

提取仓库入口右侧的监控视频中的当前帧画面α2和上一帧画面β2，计算帧画面α2与帧画面β2之间的第二差异比例；

提取仓库入口左侧的监控视频中的当前帧画面α3和上一帧画面β3，计算帧画面α3与帧画面β3之间的第三差异比例；

提取仓库入口右侧的监控视频中的当前帧画面α4和上一帧画面β4，计算帧画面α4与帧画面β4之间的第四差异比例；

分别判断第一差异比例、第二差异比例、第三差异比例、第四差异比例是否超过预设阈值a，若第一差异比例超过预设阈值a，则对帧画面α1后的多帧帧画面进行货物数量检测，并以此类推。

4.如权利要求1所述的在仓储管理中通过视频智能统计货物数量的方法，其特征在于，所述步骤S31中，识别叉车的进出仓库的动向具体为：

根据对叉车的运行轨迹追踪的时间段内叉车与仓库门中轴的二维坐标的距离判断叉车动向；

当叉车与仓库门中轴的二维坐标的距离逐渐增大，则认定叉车离开仓库；

当叉车与仓库门中轴的二维坐标的距离逐渐减小，则认定叉车进入仓库。

5.一种在仓储管理中通过视频智能统计货物数量的系统，其特征在于，包括：

摄像头阵列，用于采集仓库出入口区域的监控视频流数据，其中，所述摄像头阵列包括多个摄像头；

视频源模块，用于接收和处理监控视频流数据，并对当前接收的帧画面α与上一次接收的帧画面β进行对比，计算帧画面α与帧画面β之间差异比例，并将计算得到的差异比例写入帧画面α携带的元信息中；

数量检测模块，用于根据帧画面α携带的差异比例来判断是否对对帧画面α后的多帧帧画面进行货物数量检测，计算流经出入口区域的货物数量；

总数统计模块，用于统计进入仓库的货物数量和离开仓库的货物数量，并将统计的数量实时传输到可视化终端供管理人员查看和判断；

其中，数量检测模块进行货物数量检测包括如下步骤：

步骤1，通过SSD算法对帧画面α后的多帧帧画面进行叉车识别，并通过KLT算法对移动叉车的运行轨迹进行追踪，识别叉车的进出仓库的动向；

步骤2，通过SSD算法对移动叉车上货物进行检测识别，生成多个包含盒，每个货物对应生成有若干个包含盒，每个所述包含盒包括被框入的货物的左上角坐标（X，Y），以及框入货物的边框的宽度Width和高度Height；

步骤3，通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量，即货物的数量。

6.如权利要求5所述的在仓储管理中通过视频智能统计货物数量的系统，其特征在于，多个所述摄像头分别设置在仓库出入口区域的入口左侧、入口右侧、出口左侧以及出口右侧，用于采集入口左右两侧的监控视频流数据和出口两侧的监控视频流数据。

7.如权利要求6所述的在仓储管理中通过视频智能统计货物数量的系统，其特征在于，所述数量检测模块包括：用于对入口左侧的监控视频流中的多帧画面进行货物数量检测的第一数量检测模块，用于对入口右侧的监控视频流中的多帧画面进行货物数量检测的第二数量检测模块，用于对出口左侧的监控视频流中的多帧画面进行货物数量检测的第三数量检测模块，以及用于对出口右侧的监控视频流中的多帧画面进行货物数量检测的第四数量检测模块。

8.如权利要求7所述的在仓储管理中通过视频智能统计货物数量的系统，其特征在于，所述第一数量检测模块、第二数量检测模块第三数量检测模块以及第四数量检测模块均包括：

叉车追踪模块，用于通过SSD算法对帧画面α后的多帧帧画面进行叉车识别，并通过KLT算法对移动叉车的运行轨迹进行追踪，识别叉车的进出仓库的动向；

货物识别模块，通过SSD算法对移动叉车上货物进行检测识别，生成多个包含盒，每个货物对应生成有若干个包含盒，每个所述包含盒包括被框入的货物的左上角坐标（X，Y），以及框入货物的边框的宽度Width和高度Height；

数量计算模块，通过NMS算法对每个货物的包含盒进行过滤，提取每个货物中置信度最高的最佳包含盒，并计算帧画面中最佳包含盒的数量。

Images