CN112926443A - 一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法及装置 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法及装置，涉及烟叶收购技术领域，该方法包括以下步骤：卷积神经网络模型训练，得到训练后的卷积神经网络；通过摄像头获取传送带区域的实时图像；将所述实时图像输入训练后的卷积神经网络模型，获取所述实时图像中的人员所在的位置以及传送带主体所在的位置；采用直线检测技术，根据所述传送带主体的位置，获取所述实时图像中传送带运动方向的两条边缘线；根据所述实时图像中所述人员与边缘的位置，判断传送带上是否有人。本发明利用卷积神经网络及直线检测算法，实现了自动化的烟叶收购传送带状态识别且成本低廉、简单便捷，减少烟叶收购行业成本，减少违规行为的出现。

Description

一种基于卷积神经网络的烟叶收购传送带是否有人的判断方 法及装置

技术领域

本发明涉及烟叶收购技术领域，具体涉及一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法及装置。

背景技术

早在2002年，我国烟草企业就开始了探索，湖北省保康县烟草公司在马良烟草站建立了烟叶自动化收购控制装置，经实际应用，效果良好。随着国家局“建设现代烟草农业”宏伟目标的提出，近年来，山东临沂、云南曲靖、河南南阳、漯河、湖南郴州、邵阳、福建三明、龙岩等地市烟草公司纷纷开始研究自动化输送线装置，以加快烟叶收购管理现代化进程，降低烟叶收购劳动强度、提高收购效率。

但是目前国内烟叶收购自动化输送线装置大部分只是覆盖到评级区和司磅结算区，烟叶入库时仍需要人工抬烟，个别站点虽然有覆盖到仓储区，但是没有自动分拣功能，只能由人工将入库的烟叶堆放到相应的等级区。

由于烟叶收购过程中涉及人员复杂，目前烟叶收购过程中可能有人会在传送带上作业，该作业方式不规范，目前通常采用人工监视的方法判断是否有人在传送带上作业，但是该方法会耗费一定人力成本。

发明内容

本发明提出一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法及装置，以解决上述烟叶收购传送带是否有人监测方法存在的问题。因此，本发明采用以下技术方案。

第一方面，本发明提供一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，包括以下步骤：

S1：卷积神经网络模型训练，得到训练后的卷积神经网络模型；

S2：通过摄像头获取传送带区域的实时图像；

S3：将所述实时图像输入训练后的卷积神经网络模型，获取所述实时图像中的人员所在的位置以及传送带主体所在的位置；

S4：采用直线检测技术，根据所述传送带主体所在的位置，获取所述实时图像中传送带运动方向所述传送带主体的两条边缘线；

S5：根据所述实时图像中所述人员所在的位置以及所述两条边缘线的位置，输出传送带上是否有人的判断信息：

所述人员所在位置在所述两边边缘线之间，判断为传送带上有人；

所述人员所在位置与所述两边边缘线重合，判断为传送带上有人；

所述人员所在位置在所述两边边缘线之外，判断为传送带上无人。

进一步的，所述步骤S1具体包括：

S11：通过摄像头采集不同光照条件下包含各种人员姿态、不同传送带形态的图像样本集；

S12：对所述图像样本集进行预处理；

S13：构建卷积神经网络；

S14：对所述预处理后的图像样本集进行训练，得到所述训练后的卷积神经网络模型。

进一步的，对所述图像样本集的预处理步骤包括：

第一步，标记所述图像样本集中所有图像中目标的位置所在的区域，制作训练样本的标签，所述目标为人员以及传送带主体；

第二步，对经过所述第一步处理后的所述图像样本进行灰度调整，不改变标记的所述目标的位置；

第三步，对经过所述第二步处理后的所述图像样本集进行色度调整，不改变标记的所述目标的位置；

第四步，对经过所述第三步处理后的所述图像样本集进行裁剪或缩小处理：所述裁剪过程中保证所述目标在裁剪区域内，所述目标的位置修改为裁剪图像中目标的实际位置；所述缩小处理过程中，所述图像样本边界以外用黑色像素填充。

进一步的，所述卷积神经网络包括第一卷积层、第一最大值池化层、第二卷积层、第二最大值池化层、第三卷积层、第三最大值池化层、第四卷积层、第五卷积层、第六卷积层、回归层，其中所述第一最大值池化层与所述第一卷积层串联，所述第二卷积层与所述第一最大值池化层串联，所述第二最大值池化层与所述第二卷积层串联，所述第三卷积层与所述第二最大值池化层串联，所述第三最大值池化层与所述第三卷积层串联，所述第四卷积层与所述第三最大值池化层串联，所述第五卷积层与所述第四卷积层串联，所述第六卷积层与所述第五卷积层串联，所述回归层与所述第六卷积层串联。

进一步的，对所述预处理后的图像样本集进行训练，采用随机梯度下降对所述卷积神经网络中的卷积核参数进行优化，使得损失函数的值收敛至预设值以下，得到所述训练后的卷积神经网络模型。

进一步的，所述步骤S4具体包括：

S41：采用sobel算子对所述实时图像中传送带运动方向传送带的边缘进行检测；

S42：对经过所述边缘检测后的实时图像进行二值化处理，将大于第一预设阈值T1的像素取第一值，将低于所述第一预设阈值T1的像素取第二值，生成仅包含边缘的二值图像；

S43：对所述二值图像进行霍夫直线变换，将高亮像素的笛卡尔坐标系转换到极坐标系，其中，所述笛卡尔坐标系中的点对应所述极坐标系中的正弦曲线；统计所述极坐标系中相交于一点的正弦曲线个数，将所述极坐标系中相交于一点的正弦曲线个数大于第二预设阈值T2的点反转换回所述笛卡尔坐标系，从而获得仅包含边缘线段的二值图像；

S44：对所述仅包含边缘线段的二值图像进行局部非极大值抑制操作，生成传送带边缘线段。

进一步的，所述步骤S44，具体为：

第一步：根据所述传送带主体所在的位置，将所述仅包含边缘线段的二值图像中的线段进行分组，位于所述传送带主体一侧的边缘线段为第一组，位于所述传送带主体另一侧的边缘线段为第二组；

第二步，将第一组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体一侧的边缘线；将第二组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体另一侧的边缘线。

进一步的，对所述实时图像进行边缘检测，如果所述传送带运动方向与水平方向的夹角小于传送带运动方向与竖直方向的夹角，则sobel算子取竖直梯度算子；如果所述传送带运动方向与竖直方向的夹角小于传送带运动方向与水平方向的夹角，则sobel算子取水平梯度算子。

第二方面，本发明提供一种基于卷积神经网络的烟叶收购传送带是否有人的判断装置，包括：

卷积神经网络训练模块：用于获得训练后的卷积神经网络；

实时图像获取模块：用于获取传送带区域实时图像；

人员及传送带主体位置检测模块：通过训练后的卷积神经网络模型对所述实时图像进行处理，获取所述实时图像中的人员所在的位置以及所述传送带主体所在的位置；

传送带边缘检测模块：检测所述实时图像中传送带运动方向所述传送带的两条边缘线；

判断模块：根据所述两条边缘线的位置以及所述人员所在的位置，输出传送带上是否有人的判断信息。

第三方面，本发明提供一种基于卷积神经网络的烟叶收购传送带是否有人的判断系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤。

第四方面，本发明提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤。

本发明的有益效果在于：

本发明利用基于卷积神经网络的检测算法检测人员和传送带主体区域；然后利用霍夫直线检测算法检测图像中指定方向的边缘线；对检测到的边缘线进行局部非极大值抑制操作；根据检测到的传送带主体区域和非极大值抑制后的线段之间的位置关系，确定传送带的两条边缘线；根据是否有人员出现在传送带的两条边缘线之间，判断是否有人员站在传送带上。该方法实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为烟叶收购行业减少成本，减少违规行为的出现，降低相应的经济损失。

附图说明

图1为本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的流程示意图；

图2为本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤S1流程示意图；

图3为本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤S1中卷积神经网络的结构示意图；

图4为本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤S4获取所述传送带主体边缘线的流程示意图；

图5为本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤S4所述Sobel算子采用竖直梯度算子的实施例；

图6为本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤S4所述Sobel算子采用水平梯度算子的实施例；

图7本发明提供的一种基于卷积神经网络的烟叶收购传送带是否有人的判断装置组成框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了克服现有技术的问题，本发明提供了一种用于判断传送带上是否有人的方法，采用基于卷积神经网络的目标检测算法，能够自动检测人员和传送带所在的区域，并检测出传送带的边缘线，根据人员位置以及边缘线区域可以成功识别出人员是否在传送带上。

参照图1，本发明一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的实施例，如图1所示基于卷积神经网络的烟叶收购传送带是否有人的判断方法的具体步骤为：

S1：卷积神经网络模型训练，得到训练后的卷积神经网络；

S2：通过摄像头获取传送带区域的实时图像；

S3：将所述传送带区域的实时图像输入训练后的卷积神经网络模型，获取所述实时图像中的人员所在的位置以及传送带主体所在的位置；

S4：采用直线检测技术，根据所述传送带主体的位置，获取所述实时图像中传送带运动方向的两条边缘线；

S5：根据所述实时图像中所述人员所在的位置以及所述两条边缘线的位置，输出传送带上是否有人的判断信息。

本实施例步骤S1通过基于卷积神经网络的目标检测算法，对标记后的所有图像样本进行训练，从而生成训练后的卷积神经网络模型。

参照图2，获得训练后的卷积神经网络具体实现过程：

S11：通过摄像头采集大量烟叶收购过程中不同光照条件下包含各种人员姿态、不同传送带形态的图像样本集；图像样本集中元素数量大于1000，本实施例采集了4000张不同光照条件下包含各种人员姿态、不同传送带形态的图像样本，作为图像样本集。

S12：对所述图像样集本进行预处理，图像样本的处理内容包括：

第一步，标记所述图像样本集中所有图像中目标的位置所在的区域，制作训练样本的标签，所述目标为人员以及传送带主体；本实施例采用矩形框对图像样本集中所有图像中目标的位置所在的区域进行标记，即采用矩形框标记人员以及传送带主体的位置所在的区域，矩形框用于记录目标的中心点位置，目标所在区域的宽度和高度。

第二步，对经过所述第一步处理后的所述图像样本进行灰度调整，不改变标记的所述目标的位置；对所述图像样本集中每一个图像的灰度增大或缩小的值设置为-100～100之间的任意随机数，若减小之后，某像素值小于0，则设置该像素值为0；若增大之后，某像素值大于255，则设置该像素值为255。

本实施例中对所述样本集中每一张图像采用不同的灰度增大或缩小值。

第三步，对经过所述第二步处理后的所述图像样本集进行色度调整，不改变标记的所述目标的位置；将所述图像样本集中的图像由RGB颜色空间转换到YUV颜色空间，对每一个像素的U分量和V分量设置为原来的α倍，α的取值范围为0.8～1.25，限制所述U分量和所述V分量其取值在-0.5～0.5之间。

第四步，对经过所述第三步处理后的所述图像样本集进行裁剪或缩小处理：

裁剪过程中保证所述目标在裁剪区域内，所述目标的位置修改为裁剪图像中目标的实际位置，所述裁剪的比例占原始图像的比例在0.8～1之间。

缩小过程中图像样本边界以外用黑色像素填充，所述缩小比例在0.8～1之间。

S13：构建卷积神经网络；将经过所述预处理标记了图像中人和传送带主体的位置的样本集，将作为卷积神经网络的训练数据，构建卷积神经网络，将样本集的每张图像经过预处理作为输入向量，对应的人和传动带主体的位置作为目标值。

参照图3为本实施例所构建的卷积神经网络结构，该卷积神经网络包括第一卷积层10、第一最大值池化层11、第二卷积层12、第二最大值池化层13、第三卷积层14、第三最大值池化层15、第四卷积层16、第五卷积层17、第六卷积层18以及回归层19。各层之间是串联的关系。卷积层由多个3*3或者5*5的卷积核组成，卷积核即二维矩阵，对输入卷积层的特征进行卷积操作；最大值池化层计算每个邻域的最大值并传递到下一层。回归层输出目标的位置和类别号。该神经网络结构简单，运算量小，运算速度快。

S14：对所述预处理后的图像样本集进行训练，得到所述训练后的卷积神经网络模型。在训练过程中，采用随机梯度下降的方法对所述卷积神经网络中的卷积核参数进行优化，使得损失函数的值收敛至预设值，使得损失函数尽量小，提高目标检测准确性。

训练过程为：将图像x作为神经网络的输入，通过神经网络f的层层计算，得到当前网络参数下的目标位置y＝f(x)，目标为人员和传送带主体对应输出人员位置y_p＝f(x_p)和传送带主体位置y_c＝f(x_c)。

将对应的图像x标签中标记的图像中目标的位置所在的区域作为实际目标位置

分别为实际人员位置

和实际传送带主体位置

分别计算所述目标位置y和实际目标位置

之间的误差。

本实施方式中，损失函数loss为目标位置与实际目标位置

误差的加权求和：

其中，α_coord和α_noobj分别为目标和背景的权值，本实施方式中，目标具体为人员以及传送带主体；

代表如果是目标，该项为1，否则为0；

代表如果是目标，该项为0，否则为1；x、y、w、h分别为目标的行、列坐标以及宽、高。C为目标的类别号，p(c)为目标为c类的概率。带^的符号代表网络估计的对应属性的值。

采用梯度下降法对神经网络的参数θ进行更新，即

其中α为学习率，学习率一般不大于0.01，本实施例α＝10^-5。

采用随机梯度下降的方法对所述卷积神经网络中的卷积核参数进行优化，使得损失函数的值收敛至预设值，损失函数的值收敛至预设值损失函数的值要求小于0.5，收敛后随着迭代次数的增加，损失函数的值不再发生明显变化。

本实施例中分别计算人员位置损失函数和传送带主体位置的损失函数，当人员位置损失函数和传送带主体位置的损失函数的值都收敛至预设值为0.3以下，结束迭代训练生成训练后的卷积神经网络模型。

参照图1，生成训练后的卷积神经网络模型后，可以采用该模型进行烟叶收购传送带是否有人的状态判断。根据训练后的卷积神经网络，烟叶收购过程是否有人的实时判断步骤包括：步骤S2～步骤S5。

在步骤S2中采集实时图像：通过摄像头获取传送带区域的实时图像。

在步骤S3中检测实时图像中目标的位置，包括人员位置以及传送带主体位置：通过训练后的卷积神经网络模型对实时图像进行处理，从而检测出所述实时图像中的人员所在的位置以及传送带主体位置。

参照图4，步骤S4采用直线检测技术，根据所述传送带主体的位置，获取所述实时图像中传送带运动方向的两条边缘线，该过程具体实现步骤为：

S41：采用sobel算子对所述实时图像中传送带运动方向传送带的边缘进行检测；

S42：对经过所述边缘检测后的实时图像进行二值化处理，将大于第一预设阈值T1的像素取第一值(如255)，将低于所述第一预设阈值T1的像素取第二值(0)，所述第一T1阈值代表边缘强度的阈值，大于边缘强度阈值的点边缘比较强，需要保留，小于这个阈值的点边缘比较弱，予以删除，第一预设阈值取值范围为：50≤T1≤150；

S43：对所述二值图像进行霍夫直线变换，将高亮像素的笛卡尔坐标系转换到极坐标系，其中，所述笛卡尔坐标系中的点对应所述极坐标系中的正弦曲线；统计所述极坐标系中相交于一点的正弦曲线个数，将所述极坐标系中相交于一点的正弦曲线个数大于第二预设阈值T2的点反转换回所述笛卡尔坐标系，第二预设阈值T2代表一条线段中像素个数的阈值，大于该阈值表明该线段足够长，可以保留，小于该阈值表明该线段不够长，予以删除，从而获得仅包含边缘线段的二值图像，第二预设阈值取值范围为：100≤T2≤500；

S44：对所述仅包含边缘线段的二值图像进行局部非极大值抑制操作，生成传送带边缘线段。

具体的步骤S44实现过程为：

第一步：根据所述传送带主体所在的位置，将所述仅包含边缘线段的二值图像中的线段进行分组，位于所述传送带主体一侧的边缘线段为第一组，位于所述传送带主体另一侧的边缘线段为第二组；

第二步，将第一组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体一侧的边缘线；将第二组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体另一侧的边缘线。

参照图4，第一预设阈值T1＝50，第二预设阈值T2＝100，经过Sobel边缘检测，获得仅包含边缘线段的二值图像。

对所获得的直线进行局部非极大值抑制操作，根据传送带主体所在的位置，对二值图像中的线段进行分组，位于传送带主体一侧的边缘线段为第一组，位于传送带主体另一侧的边缘线段为第二组；将第一组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体一侧的边缘线；将第二组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体另一侧的边缘线。

参照图5传送带运动方向与水平方向的夹角小于传送带运动方向与竖直方向的夹角，即传送带运动方向更接近水平方向，sobel算子取竖直梯度算子；在该实施例中第一预设阈值T1＝100，第二预设阈值T2＝350，获得二值化处理后的图像中的多条直线，参照图4，对所获得的直线进行局部非极大值抑制操作，根据传送带主体所在的位置，对二值图像中的线段进行分组，位于传送带主体一侧的边缘线段为第一组，位于传送带主体另一侧的边缘线段为第二组；将第一组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体一侧的边缘线；将第二组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体另一侧的边缘线。

参照图6传送带运动方向与竖直方向的夹角小于传送带运动方向与水平方向的夹角，即传送带运动方向更接近竖直方向，则sobel算子取水平梯度算子；在该实施例中第一预设阈值T1＝150，第二预设阈值T2＝500，获得二值化处理后的图像中的多条直线，参照图4，对所获得的直线进行局部非极大值抑制操作，根据传送带主体所在的位置，对二值图像中的线段进行分组，位于传送带主体一侧的边缘线段为第一组，位于传送带主体另一侧的边缘线段为第二组；将第一组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体一侧的边缘线；将第二组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体另一侧的边缘线。

在步骤S5中根据所述两条边缘线的位置以及所述人员所在的位置，判断传送带上是否有人。

所述人员所在位置在所述两边边缘线之间，判断为传送带上有人；

所述人员所在位置与所述两边边缘线重合，判断为传送带上有人；

所述人员所在位置在所述两边边缘线之外，判断为传送带上无人。

本实施例利用基于卷积神经网络的检测算法检测人员和传送带主体区域；然后利用霍夫直线检测算法检测图像中指定方向的边缘线；对检测到的边缘线进行局部非极大值抑制操作；根据检测到的传送带主体区域和非极大值抑制后的线段之间的位置关系，确定传送带的两条边缘线；根据是否有人员出现在传送带的两条边缘线之间，判断是否有人员站在传送带上。该方法实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为烟叶收购行业减少成本，减少违规行为的出现，降低相应的经济损失。

为了有效提高烟叶收购传送带是否有人的判断过程的准确性及可靠性，且能够有效提高在烟叶收购传送带是否有人的判断过程的自动化程度及效率，本申请提供一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法中全部或部分内容的一种基于卷积神经网络的烟叶收购传送带是否有人的判断装置的实施例，参见图7，所述一种基于卷积神经网络的烟叶收购传送带是否有人的判断装置包含有如下内容：

卷积神经网络训练模块：用于获得训练后的卷积神经网络；

实时图像获取模块：用于获取传送带区域实时图像；

人员及传送带主体位置检测模块：通过训练后的卷积神经网络模型对所述传送带区域的实时图像进行处理，获取所述实时图像中的人员所在的位置以及所述传送带主体所在的位置；

传送带边缘检测模块：检测所述实时图像中传送带运动方向所述传送带的两条边缘线；

判断模块：根据所述两条边缘线的位置以及所述人员所在的位置，输出传送带上是否有人的判断信息。

本实施中的一种基于卷积神经网络的烟叶收购传送带是否有人的判断装置实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为烟叶收购行业减少成本，减少违规行为的出现，降低相应的经济损失。

为了有效提高烟叶收购传送带是否有人的判断的准确性及可靠性，且能够有效提高烟叶收购传送带是否有人的判断过程的自动化程度及效率，本申请提供一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法中的全部或部分内容的系统，所述系统具体包含有如下内容：

处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的步骤。

通信接口和总线；其中，所述处理器、存储器通过通信接口和总线完成相互间的通信；该终端可以是台式计算机、平板电脑及移动终端等。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该计算机程序被处理器执行时可实现包括本申请提供一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法的部分或全部步骤。所述的计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

根据本实施方式的用于判断传送带上是否有人的方法利用基于卷积神经网络的检测算法检测人员和传送带主体区域；然后利用霍夫直线检测算法检测图像中指定方向的边缘线；对检测到的边缘线进行局部非极大值抑制操作；根据检测到的传送带主体区域和非极大值抑制后的线段之间的位置关系，确定传送带的两条边缘线；根据是否有人员出现在传送带的两条边缘线之间，判断是否有人员站在传送带上。该方法实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为烟叶收购行业减少成本，减少违规行为的出现，降低相应的经济损失。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，所述方法包括以下步骤：

S1：卷积神经网络模型训练，得到训练后的卷积神经网络模型；

S2：通过摄像头获取传送带区域的实时图像；

S3：将所述实时图像输入训练后的卷积神经网络模型，获取所述实时图像中的人员所在的位置以及传送带主体所在的位置；

S4：采用直线检测技术，根据所述传送带主体所在的位置，获取所述实时图像中传送带运动方向所述传送带主体的两条边缘线；

S5：根据所述实时图像中所述人员所在的位置以及所述两条边缘线的位置，输出传送带上是否有人的判断信息：

所述人员所在位置在所述两边边缘线之间，判断为传送带上有人；

所述人员所在位置与所述两边边缘线重合，判断为传送带上有人；

所述人员所在位置在所述两边边缘线之外，判断为传送带上无人。

2.根据权利要求1所述的所述一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，所述步骤S1具体包括：

S11：通过摄像头采集不同光照条件下包含各种人员姿态、不同传送带形态的图像样本集；

S12：对所述图像样本集进行预处理；

S13：构建卷积神经网络；

S14：对所述预处理后的图像样本集进行训练，得到所述训练后的卷积神经网络模型。

3.根据权利要求2所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，所述步骤S12对所述图像样本集进行预处理的步骤包括：

第一步，标记所述图像样本集中所有图像中目标的位置所在的区域，制作训练样本的标签，所述目标为人员以及传送带主体；

第二步，对经过所述第一步处理后的所述图像样本进行灰度调整，不改变标记的所述目标的位置；

第三步，对经过所述第二步处理后的所述图像样本集进行色度调整，不改变标记的所述目标的位置；

第四步，对经过所述第三步处理后的所述图像样本集进行裁剪或缩小处理：所述裁剪过程中保证所述目标在裁剪区域内，所述目标的位置修改为裁剪图像中目标的实际位置；所述缩小处理过程中，所述图像样本边界以外用黑色像素填充。

4.根据权利要求2所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，步骤S13所述卷积神经网络包括第一卷积层、第一最大值池化层、第二卷积层、第二最大值池化层、第三卷积层、第三最大值池化层、第四卷积层、第五卷积层、第六卷积层、回归层，其中所述第一最大值池化层与所述第一卷积层串联，所述第二卷积层与所述第一最大值池化层串联，所述第二最大值池化层与所述第二卷积层串联，所述第三卷积层与所述第二最大值池化层串联，所述第三最大值池化层与所述第三卷积层串联，所述第四卷积层与所述第三最大值池化层串联，所述第五卷积层与所述第四卷积层串联，所述第六卷积层与所述第五卷积层串联，所述回归层与所述第六卷积层串联。

5.根据权利要求4所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，步骤S14对所述预处理后的图像样本集进行训练，采用随机梯度下降对所述卷积神经网络中的卷积核参数进行优化，使得损失函数的值收敛至预设值以下，得到所述训练后的卷积神经网络模型。

6.根据权利要求5所述的一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，使得所述损失函数的值收敛至0.3以下。

7.根据权利要求1所述的所述一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，所述步骤S4具体包括：

S41：采用sobel算子对所述实时图像中传送带运动方向传送带的边缘进行检测；

S42：对经过所述边缘检测后的实时图像进行二值化处理，将大于第一预设阈值T1的像素取第一值，将低于所述第一预设阈值T1的像素取第二值，生成仅包含边缘的二值图像；

S43：对所述二值图像进行霍夫直线变换，将高亮像素的笛卡尔坐标系转换到极坐标系，其中，所述笛卡尔坐标系中的点对应所述极坐标系中的正弦曲线；统计所述极坐标系中相交于一点的正弦曲线个数，将所述极坐标系中相交于一点的正弦曲线个数大于第二预设阈值T2的点反转换回所述笛卡尔坐标系，从而获得仅包含边缘线段的二值图像；

S44：对所述仅包含边缘线段的二值图像进行局部非极大值抑制操作，生成传送带边缘线段。

8.根据权利要求7所述的所述一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，所述步骤S44具体为：

第一步：根据所述传送带主体所在的位置，将所述仅包含边缘线段的二值图像中的线段进行分组，位于所述传送带主体一侧的边缘线段为第一组，位于所述传送带主体另一侧的边缘线段为第二组；

第二步，将第一组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体一侧的边缘线；将第二组的边缘线段按照长度由大到小排序，保留长度最长的一条线段，作为所述传送带主体另一侧的边缘线。

9.根据权利要求7所述的所述一种基于卷积神经网络的烟叶收购传送带是否有人的判断方法，其特征在于，对所述实时图像进行边缘检测，如果所述传送带运动方向与水平方向的夹角小于传送带运动方向与竖直方向的夹角，则sobel算子取竖直梯度算子；如果所述传送带运动方向与竖直方向的夹角小于传送带运动方向与水平方向的夹角，则sobel算子取水平梯度算子。

10.一种基于卷积神经网络的烟叶收购传送带是否有人的判断装置，其特征在于，所述装置包括：

卷积神经网络训练模块：用于获得训练后的卷积神经网络；

实时图像获取模块：用于获取传送带区域实时图像；

人员及传送带主体位置检测模块：通过训练后的卷积神经网络模型对所述实时图像进行处理，获取所述实时图像中的人员所在的位置以及所述传送带主体所在的位置；

传送带边缘检测模块：检测所述实时图像中传送带运动方向所述传送带的两条边缘线；

判断模块：根据所述两条边缘线的位置以及所述人员所在的位置，输出传送带上是否有人的判断信息。

Images