CN110647816A - 一种用于货架药品实时监测的目标检测方法 - Google Patents

Abstract

本发明公开了一种用于货架药品实时监控的目标检测方法，将基于深度学习的目标检测方法应用于货架药品实时监控，对于管理员来说，该发明使得他们不用在店里不停地走动来检查替换库存，相反的他们甚至坐在电脑前就知道整个货架上的药品状态，对货架状态实现智能监督。该方法在SSD的基础上针对药品检测进行优化，将视觉Attention机制用于目标检测算法的多尺度特征图的融合中，通过在货架药品场景数据下的学习，重新设计的目标检测算法对小物体和遮挡物体检测的性能有所提升，且检测算法的实时性满足系统的要求。

Description

一种用于货架药品实时监测的目标检测方法

技术领域

本发明涉及计算机视觉目标检测方法领域，具体是一种用于货架药品实时监测的目标检测方法。

背景技术

货架泛指存放货物的架子。在仓库设备中，货架是指专门用于存放成件物品的保管设备，货架在物流及仓库中占有非常重要的地位。货架在现代物流活动中，起着相当重要的作用，仓库管理实现现代化，与货架的种类、功能有直接的关系。货架是一种架式结构物，它可以充分利用仓库空间，从而提升仓库容量的利用率，不断扩大仓库的储存能力。由于货架的存在使得货物读取十分便利，便于清点及计量，可做先进先出。而且能确保存储货物的质量。但随着现代工业的迅猛发展和物流量的大幅度增加，为实现仓库和零售的现代化管理、改善仓库的功能，不仅要求货架的介入，而且要求相应的智能技术对其进行自动管理，实现自动化的要求。

但是对于货架的智能化管理还是很欠缺的，需要能够实现自动化管理的系统。这意味着自动化系统将需要能够检测货架上的药品，识别它所看到的确切药品类别及数量，并对其进行实时的反馈。对于管理员来说，该系统使得他们不用在店里不停地走动来检查替换库存，相反的他们甚至坐在电脑前就知道整个货架上的药品状态。

目标检测一直是计算机视觉领域经久不衰的研究方向。其任务是用框去标出图像中物体的位置，并给出物体的类别。物体检测同样是一个主观的过程，对于人类来说相当简单。就连一个没受过任何训练的孩子通过观察图片中不同的颜色、区域等特征就能轻易定位出目标物体。但计算机收到这些RGB像素矩阵，不会直接得到目标(如行人、车辆等)的抽象概念，更不必说定位其位置了。再加上目标形态千差万别，目标和背景重合等问题，使得目标检测难上加难。从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测一步步变得愈加成熟。相比于图像分类，图像中物体检测是计算机视觉中一个更加复杂的问题，因为图像分类只需要判断出图像属于哪一类就行，而在物体检测中，图像里可能有多个物体，需要对所有物体进行种类判别和位置确定，所以比图像分类更具有挑战性，应用于物体检测的深度学习模型也会更加复杂。从Viola-JonesDetector、DPM等冷兵器时代的智慧到当今RCNN、YOLO等深度学习土壤孕育下的GPU暴力美学，整个目标检测的发展可谓是计算机视觉领域的一部浓缩史。近年来，为了提高检测精度，大量基于卷积网络的检测器被提出。其中基于one-stage的方法在速度上取得优势使之更能满足实际应用的要求。

发明内容

本发明的目的是提供一种用于货架药品实时监测的目标检测方法，以解决现有技术药品货架管理复杂、繁琐且耗时的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种用于货架药品实时监测的目标检测方法，其特征在于：采用基于深度学习的目标检测算法，并针对药品检测进行优化，在SSD的基础上，将视觉Attention机制用于目标检测算法的多尺度特征图的融合中，具体包括以下步骤：

(1)、采集货架上药品的视频数据，并以视频的图像数据作为用于训练深度学习网络框架的数据集；

(2)、对步骤(1)的图像数据集进行预处理，以生成多样的训练样本图像，增强模型的鲁棒性；

(3)、基于SSD目标检测算法，构建深度学习神经网络，所述深度学习神经网络的主干采用VGG16卷积神经网络，并在VGG16卷积神经网络中增加多个反卷积融合模块；

所述深度学习神经网络中具有由多个卷积核构成的卷积层，以及多个池化层，多个卷积层和池化层以步骤(2)预处理后的训练样本图像作为输入，由深度学习神经网络中的每个卷积层中多个卷积核按设定的步长进行卷积，每个卷积核分别各自生成新的矩阵，每个卷积层的多个卷积核生成多个新的矩阵；池化层将卷积层卷积得到的矩阵按设定的步长进行池化，池化后得到尺寸缩小的矩阵；经过多个卷积层和多个池化层的卷积池化，最终得到尺寸多次缩小的矩阵；

深度学习神经网络中具有多个卷积核构成的卷积块，通过多个卷积块分别对尺寸多次缩小的矩阵进行下采样，得到多个不同尺度的语义特征图，按尺度语义特征图分为高层语义特征图和低层语义特征图；

深度学习神经网络中还具有反卷积层和融合块构成的反卷积融合模块，其中首先将多个语义特征图中的高层语义特征图进行映射处理；然后通过融合块使高层语义特征图与低层语义特征图建立跳跃连接，形成多个新的融合层；接着对新的融合层和原有的高层语义特征图进行来自最顶层的特征逐级上采样，以实现注意力监督，最终得到新的语义特征图，上采样是为了使注意力与语义特征图尺寸匹配，最后用得到新的语义特征图进行预测；

(4)、将步骤(2)预处理后得到的训练样本图像输入步骤(3)构建的深度学习神经网络，并采用随机梯度下降算法经对训练样本图像数据进行训练，得到深度学习网络模型参数；

(5)、将新的视频数据以帧的形式输入至步骤(3)构建的深度学习神经网络，并将步骤(4)得到的深度学习网络模型参数加载至深度学习神经网络，实现对货架上药品的检测。

所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤(2)中的预处理是指采用opencv工具包对图片进行随机裁剪、旋转、以及亮度调节。

所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤(3)中，卷积层使用的激活函数是Relu函数。

所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤(3)中，注意力监督的方式为对应像素点相乘。

所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤(4)中，采用随机梯度下降算法经过多次迭代、经对训练样本图像数据进行训练，每次迭代的学习速率不同。

所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤(5)中，深度学习神经网络对输入图像中的药盒进行检测时，深度学习神经网络预测的bounding box坐标和类别信息通过可视化显示在输出图像中，并通过boundingbox的个数对每一类药品进行数量统计。

本发明通过将神经网络在相应的药品检测数据中进行学习的基础上使用多尺度的目标检测方法，因为不同级别的特征图有着不同的感受野，对不同大小的物体的敏感度不一样，所以本发明用不同尺度的特征图对检测不同大小的药品物体。

本发明在卷积神经网络框架中同时对具有不同尺度的多个语义特征图进行上采样。之后实施跳过连接，以便为小对象形成更多的描述性特征映射，并对这些新的融合特征进行预测。

本发明将Attention机制应用于目标检测算法中，它在卷积神经网络的特征图生成以及融合过程中具有全局指导作用，使有用的特征能够更加完整的保留以进行跟精准的目标检测。

本发明的有益效果体现在：将基于深度学习的目标检测方法应用于货架药品实时监控，神经网络通过对大量的数据样本学习，得到了一种适用于货架药品检测场景的深度学习框架，具有高精度且满足实时性要求。用人工智能的方法使药品货架更加的便于管理。

与现有技术相比，本发明优点为以摄像头作为传感器，不需要复杂的扫描或接触过程就能够采集数据进行分析。并直接统计摄像头看到货架药品库存状况，实现智能化管理。

附图说明

图1是本发明的实现流程框架图。

图2是本发明实验中的检测结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种用于货架药品实时监控的目标检测方法，采用基于深度学习的目标检测算法，并针对药品检测进行优化，在SSD的基础上，将视觉Attention机制用于目标检测算法的多尺度特征图的融合中，重新设计的目标检测算法对小物体和遮挡物体检测的性能有所提升，且检测算法的实时性满足系统的要求。其步骤如下：

(1)、数据集的制作和扩充。为了更好的拟合真实的货架药品监控场景，对真实情况下的货架监控视频进行图像数据采集，得到用于训练深度学习网络框架的数据集；

(2)、对步骤(1)采集的视频图像数据进行预处理，如裁剪成合适尺寸裁剪以及数据增强等预处理操作，包括用现有的opencv工具包对图片进行随机裁剪，旋转，以及亮度调节，以生成更多样的训练样本，增强模型的鲁棒性；

(3)、检测器主干网络的搭建。设计合适的卷积网络结构用来提取用于检测物体特征。

SSD作为最早的多尺度目标检测方法，是本方法的理论源泉。在一个优良的分类网络上增加一定合理卷积层，并在构建的整个网络中选取特定的几个不同尺度特征图用于多尺度预测。

考虑到实时性的要求，本发明选择的主干网仍然是VGG16。原因是较深的ConvNet对小对象位置和推理速度是有害的。所提出的目标检测框架对于小目标来说是相当有用的，并且它也可以满足实时应用。网络开始输入(3,300,300)的图像数据，即一张宽300，高300的彩色RGB图片，输入的卷积层有64个3*3的卷积核，步长为1，使用的激活函数是Relu,一个卷积核扫完图片，生成一个新的矩阵，64个就生成64channel。紧接着再来一次步长为1的3*3卷积。此时图像数据是64*300*300。

然后是池化，池化的小矩阵是(2,2)、步长(2,2)，其指的是横向每次移动2格，纵向每次移动2格。按照这样池化之后，数据变成了64*150*150，矩阵的宽高由原来的300减半，变成了150。再往下，同理，只不过是卷积核个数依次变成128，256，512，512，1024而每次按照这样池化之后，矩阵都要缩小一半。一系列3*3卷积和池化之后，数据变成了1024*10*10。这里作为提取特征的主干网络并不需要后面的全连接层，同时在后面延伸3个分别由1*1和3*3卷积核构成的卷积块继续对其进行下采样得到3个语义特征图，3个特征图尺寸分别为5*5*256，3*3*256，1*1*256。

本发明还构建了融合多尺度特征的检测器。由于浅层特征的语义信息较弱，SSD很难对小对象进行分类。因此，为了小对象的检测，必须生成更多的语义特征图。提出了一种新的小目标检测特征融合框架。将反卷积层应用于不同深度的语义高层特征，获得了较高分辨率的特征。然后将它们与低级特性合并，以实现跳过连接。设计了几个精细的多尺度反卷积积融合模块。新的融合特征具有丰富的语义信息和较高的分辨率，为小目标的检测提供了重要的改进。

在网络模型中，卷积层的第一层输入是原始训练图像，前一卷积模块的输出会作为下一卷积模块的输入。可以用一个简单的数学表达式来概括这一点：

Object Proposals＝PEfF

Detection O1

上述公式中，I是输入图像时，CN是由卷积层、池层、Relu层等组成的第n个卷积块，f_n是第n层特征映射，P是将某些特征映射转化为检测输出的预测层：类置信度评分和边界框位置。

根据经验，当对象在图像中所占的面积小于32×32时，将其定义为小对象(该区域是以分割掩码中的像素数来度量的)。可以仅在ConvNet(Conv3_3-Conv7)内的浅层中获得其精细的详细信息。在往后的几层中，小物体的精细细节表示将变得越来越弱。

为了充分的利用高层语义与低层语义特征图之间的互补信息，将不同尺度特征图进行融合，首先，本发明将反卷积层同时应用于不同尺度的高层语义特征图映射(即Conv8_2、Conv 9_2和Conv10_2)。然后，通过融合块与较低层语义特征图(Conv 3、Conv 4 3和Conv7)建立跳跃连接，形成3个新的融合层(模块1、模块2和模块3)。同时对新的融合层(模块1、模块2和模块3)和原始高层语义特征图(Conv 8_2、Conv9_2、Conv10_2和Conv 1_2)一起被来自最顶层特征逐级上采样进行注意力监督，上采样是为了是注意力mask与特征图尺寸匹配。注意力监督方式为对应像素点相乘。最后用得到语义特征图进行预测，预测包括bounding box的位置回归物体类别分类。

(4)、将步骤(2)预处理后得到的300×300图像输入步骤(3)构建的深度学习神经网络，并将输入Batch Size设置为32。对于前60k迭代，对整个网络参数使用10^-3的学习速率，然后在接下来的40k迭代中将其降到10^-4，对于另一个20k迭代则减少到10^-5。随机梯度下降算法(SGD)是一种优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。在训练网络过程中目标是使网络的输出结果与正确结果的误差最小，经过多次迭代，得到目标函数的极小值。故训练过程使用SGD优化方法并将动量和重量衰减分别设为0.9和0.0005；

(5)、货架药品的检测。检测阶段将步骤(3)训练得到的模型参数加载，并将摄像头采集到的视频以帧的形式传入神经网络，学习好神经网络对输入图像中的药盒进行检测，将神经网络预测的bounding box坐标和类别信息通过可视化显示在输出图像中，并通过bounding box的个数对每一类药品进行数量统计。图2中图片是输入测试图片得到的检测结果。

本发明采用基于深度学习的目标检测算法，并针对药品检测进行优化，在SSD的基础上，将视觉Attention机制用于目标检测算法的多尺度特征图的融合中，重新设计的目标检测算法对小物体和遮挡物体检测的性能有所提升，且检测算法的实时性满足系统的要求。

本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (6)

1.一种用于货架药品实时监测的目标检测方法，其特征在于：采用基于深度学习的目标检测算法，并针对药品检测进行优化，在SSD的基础上，将视觉Attention机制用于目标检测算法的多尺度特征图的融合中，具体包括以下步骤：

（1）、采集货架上药品的视频数据，并以视频的图像数据作为用于训练深度学习网络框架的数据集；

（2）、对步骤（1）的图像数据集进行预处理，以生成多样的训练样本图像，增强模型的鲁棒性；

（3）、基于SSD目标检测算法，构建深度学习神经网络，所述深度学习神经网络的主干采用VGG16卷积神经网络，并在VGG16卷积神经网络中增加多个反卷积融合模块；

所述深度学习神经网络中具有由多个卷积核构成的卷积层，以及多个池化层，多个卷积层和池化层以步骤（2）预处理后的训练样本图像作为输入，由深度学习神经网络中的每个卷积层中多个卷积核按设定的步长进行卷积，每个卷积核分别各自生成新的矩阵，每个卷积层的多个卷积核生成多个新的矩阵；池化层将卷积层卷积得到的矩阵按设定的步长进行池化，池化后得到尺寸缩小的矩阵；经过多个卷积层和多个池化层的卷积池化，最终得到尺寸多次缩小的矩阵；

深度学习神经网络中具有多个卷积核构成的卷积块，通过多个卷积块分别对尺寸多次缩小的矩阵进行下采样，得到多个不同尺度的语义特征图，按尺度语义特征图分为高层语义特征图和低层语义特征图；

深度学习神经网络中还具有反卷积层和融合块构成的反卷积融合模块，其中首先将多个语义特征图中的高层语义特征图进行映射处理；然后通过融合块使高层语义特征图与低层语义特征图建立跳跃连接，形成多个新的融合层；接着对新的融合层和原有的高层语义特征图进行来自最顶层的特征逐级上采样，以实现注意力监督，最终得到新的语义特征图，上采样是为了使注意力与语义特征图尺寸匹配，最后用得到新的语义特征图进行预测；

（4）、将步骤（2）预处理后后的训练样本图像输入步骤（3）构建的深度学习神经网络，并采用随机梯度下降算法经对训练样本图像数据进行训练，得到深度学习网络模型参数；

（5）、将新的视频数据以帧的形式输入至步骤（3）构建的深度学习神经网络，并将步骤（4）得到的深度学习网络模型参数加载至深度学习神经网络，实现对货架上药品的检测。

2.根据权利要求1所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤（2）中的预处理是指采用opencv工具包对图片进行随机裁剪、旋转、以及亮度调节。

3.根据权利要求1所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤（3）中，卷积层使用的激活函数是Relu函数。

4.根据权利要求1所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤（3）中，注意力监督的方式为对应像素点相乘。

5.根据权利要求1所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤（4）中，采用随机梯度下降算法经过多次迭代、经对训练样本图像数据进行训练，每次迭代的学习速率不同。

6.根据权利要求1所述的一种用于货架药品实时监测的目标检测方法，其特征在于：步骤（5）中，深度学习神经网络对输入图像中的药盒进行检测时，深度学习神经网络预测的bounding box坐标和类别信息通过可视化显示在输出图像中，并通过bounding box的个数对每一类药品进行数量统计。

Images