CN109284686A - 一种摄像头自动俯仰拍照的标签识别方法 - Google Patents

Abstract

本发明涉及一种摄像头自动俯仰拍照的标签识别方法，包括模型训练：使用英文与数字图片训练集对神经网络模型进行训练，得到训练好的神经网络模型；然后使用具体场景下人工标注的图片进行迁移学习；图片采集：通过摄像头厂商提供的摄像头控制接口调整摄像头姿态对货物标签进行拍照；标签识别：将图片采集步骤中得到的带标签图片，使用已经训练好的神经网络模型对带标签图片进行识别；俯仰调整：根据预设俯仰参数对摄像头朝向进行自动调整，使得摄像头拍摄范围覆盖货架上的所有货物标签。

Description

一种摄像头自动俯仰拍照的标签识别方法

技术领域

本发明涉及物流仓储中货物标签自动识别的相关问题，具体涉及一种摄像头自动俯仰拍照的标签识别方法。

背景技术

在经济全球化和电子商务的推动下，物流在网络购物发展中的作用越来越显著。其中物流仓储中货物标签自动识别是物流管理中重要的一环。目前的标签主要分为两类：(1)基于RFID的标签识别。RFID标签识别技术通过将射频转换成基带的数字式电信号进行识别。只需要将RFID标签放置在读取设备形成的磁场内就可以被准确读取，具有效率高、节省人力资源和差错率低等特点，但是RFID标签成本高，不适合工业中大规模使用。例如熊平.基于RFID技术的仓库管理系统设计与实现[D].哈尔滨工业大学,2016.陈曦.基于RFID的仓库自动化管理系统的研究与实现[D].西安电子科技大学,2016.杨永永.基于RFID技术的数字化仓储的研究[D].浙江理工大学,2017.这些文章提出利用采集的RFID标签信息进行仓库管理的实现。(2)基于条形码的标签识别。条形码识别通过光电转换设备将图片的光学信息转换为数字式电信号进行识别，具有采集信息量大、成本低的特点。但是条码扫描器一次只能扫描一个条形码且扫描距离短。例如刘华,王纹.条码技术在成品仓库信息化管理中的应用[J].电脑知识与技术,2017,13(10):197-199.叶岍,马红杰.一种基于条码的智能仓库出入库管理方法:,CN105678492A[P].2016.这些文章提出利用条码信息进行货物出入库管理。但是在工业化场景中，大量的货物标签需要识别，面向高度3-5米的货架，应用RFID标签和条形码无法进行大规模的货物标签识别。

针对两种标签识别技术存在的问题，一方面利用字符串标记货物具有成本低且可视化的特点。另一方面利用摄像头采集含有标签的图片并利用深度学习技术识别图片中的标签信息可同时识别多标签。摄像头的部署存在两种方式，一种是部署大量的摄像头，为了较好的采集标签图片进行识别，尽可能一个货物标签对应一个摄像头；另一种是使用可移动摄像头，例如将摄像头安装在机器人、机械臂或者导轨上。这两种部署方法前者成本高昂、可扩展性较差且难以扩展至大规模场景；后者从架构上考虑有着较高的扩展性，但是开发门槛高、技术难度大，非专业人员难以使用。

本发明提出利用摄像头自动俯仰拍照技术对货物标签进行识别。面向高度3-5米的货架，通过结合摄像头俯仰拍照技术和深度学习技术，首先通过参数对摄像头进行俯仰调整并采集图片，然后使用已训练好的神经网络模型对采集的图片中的标签进行识别。

发明内容

本发明技术解决问题：工业化场景中，面向高度3-5米的货架，提供一种摄像头自动俯仰拍照的标签识别方法，具有成本低、多标签识别的优势，具有广阔的应用前景。

本发明技术解决方案：一种摄像头自动俯仰拍照的标签识别方法，包括以下步骤：

(1)模型训练：使用英文与数字图片训练集对神经网络模型进行训练，得到训练好的神经网络模型；然后使用具体场景下人工标注的图片进行迁移学习；

(2)图片采集：通过摄像头厂商提供的摄像头控制接口调整摄像头姿态对货物标签进行拍照；

(3)标签识别：将图片采集步骤中得到的带标签图片，使用已经训练好的神经网络模型对带标签图片进行识别；

(4)俯仰调整：根据预设俯仰参数对摄像头朝向进行自动调整，使得摄像头拍摄范围覆盖货架上的所有货物标签。

所述步骤(1)中，神经网络模型训练过程如下：

(1)构建卷积神经网络模型，所述卷积神经网络模型由两个卷积层，两个池化层，以及两个全连接层组成，卷积核是5*5，步长为1，池化层选择max-pooling方法；

(2)在caffe平台下，调用caffe自带的creat_lmdb.sh脚本文件将输入的图片数据转换为最终的lmdb格式数据进行训练，设置训练参数：最大循环次数、最小损失函数值。所述最大循环次数6000、最小损失函数值：0.001。

所述步骤(1)中，迁移学习的过程如下：切换到真实场景带标签图片的训练，冻结目标为分布密度图的最后一层全连接层，开始学习目标为标签内容的卷积神经网络，计算输入图像经过卷积神经网络后得到的结果与标准标签之间的损失，即欧式距离；然后采用随机梯度下降法在每一次优化迭代中更新卷积神经网络的参数，在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准标签之间的损失，直到损失值不再改变；最终得到真实场景下的标签识别模型。

所述步骤(2)的具体过程如下：

通过对摄像头供应商提供的摄像头控制接口进行适配，向用户提供统一的拍照控制和参数设置接口，拍照参数包括摄像头的分辨率、快门速度、曝光度，需依据仓库环境特征配置，所述仓库环境特征包括照明条件和货物堆放密集程度；具体仓库环境特征的参数值在目标仓库环境中人工进行多次对比实验后得出，即通过设定不同的分辨率、快门速度和曝光度组合得到对应的图片集合，筛选出最适合输入的图片集合对应的参数组合。

所述步骤(3)的实现如下：

标签识别过程包含图片分割和标签图片预处理两个过程，摄像头获取的图片中包含了多个标签图片，采用图片分割算法提取多个标签图片；分割出的标签图片进行预处理操作后，利用步骤(1)中训练的神经网络模型进行标签识别，得到货物标签；图片预处理操作采用OpenCV库进行实现。

所述图片分割过程为：依据图片中包含的标签个数，对图片进行划分，图片高度设置为height，宽度设置为width；如果垂直方向上包含h个标签，水平方向上包含v个标签，则图片划分为v×h个标签图片，每个标签图片的高度为height/h，宽度为width/v。

所述标签图片预处理为：利用灰度处理和二值化操作将标签图片处理为待识别图片，其中灰度处理利用OpenCV库中的cvtColor函数实现，img表示输入图片，outgray表示输出的灰度图，CV_BGR2GRAY为固定参数；二值化操作利用OpenCV库中的cvThreshold函数实现，其中threshold表示背景颜色的像素值，max_value设置为255，CV_THRESH_BINARY为固定参数。

所述步骤(4)的具体过程如下：

依据实际仓库中货架高度调整摄像头的姿态进行拍照采集图像，调整参数的计算方式如下：

(1)计算摄像头俯仰初始角度initp和调整步长setp

摄像头俯仰角度的计算依赖于货架的高度h和摄像头与货架的水平距离d，则摄像头俯仰初始角度initp计算公式如下：

initp＝arctan(h/2d)

由此得出俯仰角度的初始值设定为水平方向偏上initp度；

为了得到清晰的拍摄图片，摄像头拍摄清晰标签图片的高度为l(0＜l＜h/2)，且l＝n×x,其中x表示两个标签在垂直方向的距离,n表示垂直方向上标签数量，

(2)调整操作次数M

摄像头按照顺时针方向进行调整，每个调整周期内包含的调整操作次数计算公式如下：

每个调整周期的最后一次为复位操作，即调整摄像头的俯仰角度回到初始值。

本发明与现有技术相比的有益效果在于：

本发明提出利用摄像头自动俯仰拍照技术对货物标签进行识别。面向高度3-5米的货架，通过结合摄像头俯仰拍照技术和深度学习技术，首先通过参数对摄像头进行俯仰调整并采集图片，然后使用已训练好的神经网络模型对采集的图片中的货物标签进行识别。本发明的方法具有成本低、多标签识别的优势，适用于工业化场景。

附图说明

图1为本发明方法的整体流程图；

图2为神经网络模型结构；

图3为本发明中俯仰参数示意图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明的一种摄像头自动俯仰拍照的标签识别方法，如图1所示，本发明的一种摄像头自动俯仰拍照的标签识别方法，包括以下步骤：(1)模型初始化。根据采集的字符和数字图片对神经网络模型进行训练，得到训练好的神经网络模型；(2)采集图片并进行图片处理操作；(3)利用步骤(1)中训练好的模型识别步骤(2)中处理后的图片；(4)摄像头进行俯仰调整；(5)重复步骤(2)、步骤(3)、步骤(4)直至拍摄的照片中涵盖了所有标签。

如图2所示，本发明中使用的一种神经网络模型结构。主要包含卷积层、池化层和全连接层。卷积神经网络模型由两个卷积层，两个池化层，以及两个全连接层组成，卷积核是5*5，步长为1，池化层选择max-pooling方法。

如图3所示，本发明中摄像头自动俯仰调整方案。依据摄像头与拍摄目标的水平距离、标签之间的垂直距离和数量计算摄像头可拍摄的高度和俯仰角度进行摄像头姿态调整。

上述选用卷积神经网络结构作为标签识别的模型，采集字母和数字构建的图片集作为训练集，实际工业中采集标签图片作为测试集，针对模型进行训练。

(11)神经网络训练：(a)对卷积神经网络中的参数初始化，卷积层的卷积核用高斯函数初始化，偏置初始化为0；(b)卷积神经网络初始化后，冻结卷积神经网络最后一层全连接层，优先开始训练目标为标准标签的卷积神经网络，计算输入的训练集图像经过卷积神经网络后得到的结果与标准标签之间的损失，即欧式距离：然后采用随机梯度下降法在每一次优化迭代中更新整个卷积神经网络，在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准标签之间的损失，直到损失收敛到一个设定的阈值后暂停训练；

(12)神经网络迁移学习：切换到真实场景带标签图片的训练，冻结目标为分布密度图的最后一层全连接层，开始学习目标为标签内容的卷积神经网络，计算输入图像经过卷积神经网络后得到的结果与标准标签之间的损失，即欧式距离；然后采用随机梯度下降法在每一次优化迭代中更新卷积神经网络的参数，在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准标签之间的损失，直到损失值不再改变；最终得到真实场景下的标签识别模型。

上述通过对市面上主流的摄像头供应商(包括海康威视、大华、宇视)提供的摄像头控制接口进行了适配，向用户提供统一的拍照控制和参数设置接口。拍照参数包括摄像头的分辨率、快门速度、曝光度，需依据仓库环境特征(照明条件，货物堆放密集程度等)配置。具体的参数值，需要在目标仓库环境中人工进行多次对比实验后得出，即通过设定不同的分辨率、快门速度和曝光度组合得到对应的图片集合，筛选出最适合输入的图片集合对应的参数组合。

上述标签识别的主要过程包含图片分割和标签图片预处理两个过程。由于摄像头获取的图片中包含了多个标签图片，因此采用图片分割算法提取多个标签图片。分割出的标签图片往往不能直接用于标签识别，需对图像进行预处理操作后，利用步骤一中训练的神经网络模型进行标签识别。图片预处理操作主要采用OpenCV库进行实现。

(21)图片分割

依据图片中包含的标签个数，对图片进行划分，图片高度设置为height，宽度设置为width。如果垂直方向上包含h个标签，水平方向上包含v个标签，则图片划分为v×h个标签图片，每个标签图片的高度为height/h，宽度为width/v。

(22)标签图片预处理

利用灰度处理和二值化操作将标签图片处理为待识别图片。其中灰度处理利用OpenCV库中的cvtColor(img，outgray，CV_BGR2GRAY)函数实现，其中img表示输入图片，outgray表示输出的灰度图，CV_BGR2GRAY为固定参数。二值化操作利用OpenCV库中的cvThreshold(img，outgray，threshold，max_value，CV_THRESH_BINARY)函数实现，其中threshold表示背景颜色的像素值，max_value设置为255，CV_THRESH_BINARY为固定参数。最后利用步骤一中训练好的模型识别待识别标签图片，得到货物的标签。

如图3所示，上述依据实际仓库中货架高度调整摄像头的姿态进行拍照采集图像，调整参数的计算方式如下：

(31)计算摄像头俯仰初始角度initp和调整步长setp

摄像头俯仰角度的计算依赖于货架的高度h和摄像头与货架的水平距离d，则摄像头俯仰初始角度initp计算公式如下：

initp＝arctan(h/2d)

由此也可得出俯仰角度的初始值设定为水平方向偏上initp度。

为了得到清晰的拍摄图片，摄像头可拍摄清晰标签图片的高度为l(0＜l＜h/2)且l＝n×x,其中x表示两个标签在垂直方向的距离,n表示垂直方向上标签数量。

(32)调整操作次数M

摄像头按照顺时针方向进行调整，每个调整周期内包含的调整操作次数计算公式如下：

每个调整周期的最后一次为复位操作，即调整摄像头的俯仰角度回到初始值。

下面再结合具体的实施对本发明进行详细说明。

一、神经网络模型训练。根据采集的字符和数字图片对神经网络模型进行训练，得到训练好的神经网络模型；

使用含有0-9，A-Z(除去字符O、I)字符图片数据集进行训练，含有标签的图片作为测试。每个字符含有50张图片，共1700张图片用于训练。使用真实环境下得到的含有货物标签的150张图片用于模型测试。

神经网络训练模型采用caffe框架下的lenet模型进行训练，首先调用caffe自带的creat_lmdb.sh脚本文件将输入的图片数据转换为最终的lmdb格式数据进行训练。

(1)利用全部数字和字符(除去字符O、I)进行训练

实验结果：a、训练集迭代6000次，测试集识别准确率达到了94.7％。b、迭代10000次的结果预测准确率为92.9％，相较于6000次来讲多识别出3个错误字符，说明模型迭代10000出现了过拟合现象。即，模型训练6000次可得到较优的模型。

(2)利用部分数据集进行训练和测试

针对采用所有字符的识别结果分析，找出识别错误率较高的字符，利用除去易识别错误的字符后的数据集做训练。实验中去掉了字符A、D、F、G、H、I、O、Q、S、Y。实验结果达到了100％。(由于实验数据较少，所以识别错一次的字符也认为是识别错误率较高的字符)

二、采集图片并进行图片处理操作；

利用可控旋转角度的摄像头调整俯仰角度进行拍照并保存图片。如果是第一次拍摄需根据仓库实际情况调整摄像头拍摄参数，并设置初始拍摄俯仰角度。

三、利用步骤一中训练好的模型识别步骤二中处理后的图片；

将图片集进行图片分割、OpenCV库中的函数进行标签图片预处理并利用步骤一种的模型进行识别。

四、摄像头进行俯仰调整；

俯仰角度调整步长设置为45度，则每个调整周期包括3次调整操作。

五、重复步骤二、步骤三、步骤四直至拍摄的图片中涵盖了所有标签。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (9)

1.一种摄像头自动俯仰拍照的标签识别方法，其特征在于，包括以下步骤：

(1)模型训练：使用英文与数字图片训练集对神经网络模型进行训练，得到训练好的神经网络模型；然后使用具体场景下人工标注的图片进行迁移学习；

(2)图片采集：通过摄像头厂商提供的摄像头控制接口调整摄像头姿态对货物标签进行拍照；

(3)标签识别：将图片采集步骤中得到的带标签图片，使用已经训练好的神经网络模型对带标签图片进行识别；

(4)俯仰调整：根据预设俯仰参数对摄像头朝向进行自动调整，使得摄像头拍摄范围覆盖货架上的所有货物标签。

2.根据权利要求1所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述步骤(1)中，神经网络模型训练过程如下：

(1)构建卷积神经网络模型，所述卷积神经网络模型由两个卷积层，两个池化层，以及两个全连接层组成，卷积核是5*5，步长为1，池化层选择max-pooling方法；

(2)在caffe平台下，调用caffe自带的creat_lmdb.sh脚本文件将输入的图片数据转换为最终的lmdb格式数据进行训练，设置训练参数：最大循环次数、最小损失函数值。

3.根据权利要求2所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述最大循环次数6000、最小损失函数值：0.001。

4.根据权利要求1所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述步骤(1)中，迁移学习的过程如下：切换到真实场景带标签图片的训练，冻结目标为分布密度图的最后一层全连接层，开始学习目标为标签内容的卷积神经网络，计算输入图像经过卷积神经网络后得到的结果与标准标签之间的损失，即欧式距离；然后采用随机梯度下降法在每一次优化迭代中更新卷积神经网络的参数，在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准标签之间的损失，直到损失值不再改变；最终得到真实场景下的标签识别模型。

5.根据权利要求1所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述步骤(2)的具体过程如下：

通过对摄像头供应商提供的摄像头控制接口进行适配，向用户提供统一的拍照控制和参数设置接口，拍照参数包括摄像头的分辨率、快门速度、曝光度，需依据仓库环境特征配置，所述仓库环境特征包括照明条件和货物堆放密集程度；具体仓库环境特征的参数值在目标仓库环境中人工进行多次对比实验后得出，即通过设定不同的分辨率、快门速度和曝光度组合得到对应的图片集合，筛选出最适合输入的图片集合对应的参数组合。

6.根据权利要求1所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述步骤(3)的实现如下：

标签识别过程包含图片分割和标签图片预处理两个过程，摄像头获取的图片中包含了多个标签图片，采用图片分割算法提取多个标签图片；分割出的标签图片进行预处理操作后，利用步骤(1)中训练的神经网络模型进行标签识别，得到货物标签；图片预处理操作采用OpenCV库进行实现。

7.根据权利要求6所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述图片分割过程为：依据图片中包含的标签个数，对图片进行划分，图片高度设置为height，宽度设置为width；如果垂直方向上包含h个标签，水平方向上包含v个标签，则图片划分为v×h个标签图片，每个标签图片的高度为height/h，宽度为width/v。

8.根据权利要求6所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述标签图片预处理为：利用灰度处理和二值化操作将标签图片处理为待识别图片，其中灰度处理利用OpenCV库中的cvtColor函数实现，img表示输入图片，outgray表示输出的灰度图，CV_BGR2GRAY为固定参数；二值化操作利用OpenCV库中的cvThreshold函数实现，其中threshold表示背景颜色的像素值，max_value设置为255，CV_THRESH_BINARY为固定参数。

9.根据权利要求1所述的摄像头自动俯仰拍照的标签识别方法，其特征在于：所述步骤(4)的具体过程如下：

依据实际仓库中货架高度调整摄像头的姿态进行拍照采集图像，调整参数的计算方式如下：

(1)计算摄像头俯仰初始角度initp和调整步长setp

摄像头俯仰角度的计算依赖于货架的高度h和摄像头与货架的水平距离d，则摄像头俯仰初始角度initp计算公式如下：

initp＝arctan(h/2d)

由此得出俯仰角度的初始值设定为水平方向偏上initp度；

为了得到清晰的拍摄图片，摄像头拍摄清晰标签图片的高度为l 0＜l＜h/2，且l＝n×x,其中x表示两个标签在垂直方向的距离,n表示垂直方向上标签数量，

(2)调整操作次数M

摄像头按照顺时针方向进行调整，每个调整周期内包含的调整操作次数计算公式如下：

每个调整周期的最后一次为复位操作，即调整摄像头的俯仰角度回到初始值。