CN110009000B - 基于adaboost+svm改进分类算法的粮堆目标检测方法 - Google Patents

Abstract

本发明提供一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法，涉及粮仓机器人视觉技术领域。本发明步骤如下：步骤1：建立粮堆的识别模型；步骤2：通过图像采集设备采集一组粮仓实际场景图片；步骤3：将彩色图像转换为灰度图，将灰度图与识别模型进行对比，并储存成功检测出的候选区域；步骤4：将候选区域按照相似度大小排列，选择出相似度最大的f个粮堆，对彩色图像进行二次判别，输出标注出框选区域的彩色图像；步骤5：通过彩色图像获得参数集，根据参数集计算出粮堆底部宽度，并储存粮堆的宽度、粮堆质心距相机的距离、粮堆质心与相机的夹角方位角。该方法实现了对粮堆的准确、快速地识别，同时也减少了人工平仓作业的成本。

Description

基于ADABOOST+SVM改进分类算法的粮堆目标检测方法

技术领域

本发明涉及粮仓机器人视觉技术领域，尤其涉及一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法。

背景技术

粮食储备关系到国家安全和社会稳定，粮食仓储技术创新和发展也格外备受关注。平整粮面作为粮食入仓即将进入常规储藏阶段的最后一个处理环节是至关重要的。粮面平整度直接关系到粮食储藏期间通风、熏蒸，粮温测控等储粮技术的实施效果，进而影响到粮食在储藏期的安全。

然而，我国目前粮食仓储的平仓工作，大多还保留着纯人工作业，造成平仓速度慢、劳动强度大、平仓效率低下，不能满足平仓作业的需要，甚至会对人的生命安全带来严重威胁，随着工业技术的不断革新，机器人悄然走进了粮油仓储行业。现阶段粮仓机器人在巡仓、检仓、报仓等功能上有了很大的进步，但是在平仓作业上，现阶段的机器人还无法实现全自动自主工作的功能，需要人工去远程操控，这样费时费力并且平仓效果不太理想。

自主平仓机器人在对粮仓进行翻平，首先要检测出粮堆所在的方位及距离。但由于粮仓内部光线不足、空间过大等原因，使得粮堆的检测变得困难。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法，实现了对粮堆的准确、快速地识别，同时也减少了人工平仓作业的成本。

为解决上述技术问题，本发明所采取的技术方案是：

本发明提供一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法，包括以下步骤：

步骤1：建立粮堆的识别模型；

步骤2：通过图像采集设备采集一组粮仓实际场景图片；一组图片包括一张彩色图和一张深度图；

步骤3：对采集的彩色图像转换为灰度图，将转换后的灰度图与步骤1中获得的识别模型进行对比，并储存成功检测出的候选区域；

步骤3.1：将彩色图转换为灰度图，并提取图像的LBP特征；

步骤3.2：将图像的LBP特征与模型进行对比，直到检测不出粮堆为止，将所有成功检测的候选区域都存储在迭代器中，形成集合P；成功检测的标准为：设定允许检测出的粮堆框选区面积大小范围为(a₁，b₁)至(a₂，b₂)，其中a₁为最小范围的长度值，b₁为最小范围的宽度值，a₂为最大范围的长度值，b₂为最大范围的宽度值，设定对比成功次数为n，每对比成功一次对候选区域进行尺寸缩小，缩小比例为ζ；

步骤3.4：判断步骤3.2中的集合P是否为空集或集合中样本数量少于预设样本数量S，是则执行步骤3.5；否则执行步骤4；

步骤3.5：将图像采集设备调整角度或位置，采集一组粮仓实际场景图片，包括一张彩色图和一张深度图；采集完成后执行步骤3.1。

步骤4：将步骤3中获得的候选区域按照相似度大小排列，选择出相似度最大的f个粮堆，根据选择的f个粮堆对步骤1中的彩色图像按照判别条件进行二次判别，输出标注出框选区域的彩色图像，若判别失败则执行步骤3.5；

所述判别条件为：设置位于图像中心处宽度像素范围为(w₁，w₂)、高度像素范围为(h₁，h₂)的粮堆框选区域，其中w₁为粮堆框选区宽度的最小像素值，w₂为粮堆框选区宽度的最大像素值，h₁为粮堆框选区高度的最小像素值，h₂为粮堆框选区高度的最大像素值；所述粮堆框选区域中的粮堆候选区必须完整且数量大于等于1；

步骤5：通过步骤1中的彩色图和深度图获得参数集，根据参数集计算出粮堆底部宽度W，并储存粮堆的宽度W、粮堆质心距相机的距离D_c、粮堆质心与相机的夹角方位角θ_c；

步骤5.1：首先将步骤1中的彩色图中的像素坐标点转换为深度图中的像素坐标点；再通过像素坐标系与世界坐标系之间的转换得到粮堆质心与摄像头的方位角θ_c和粮堆左下顶点与右下顶点之间的夹角θ；并提取出深度图像素坐标下的各个粮堆的质心坐标(x，y)、质心距相机距离D_c、左下顶点坐标(x₁，y₁)、左下顶点距相机距离D_l、右下顶点坐标(x₂，y₂)、右下顶点距相机距离D_r，将上述参数形成参数集；

步骤5.2：根据左下顶点距相机距离D_l，右下顶点距相机距离D_r，左下顶点的与右下顶点之间的夹角θ，计算出粮堆底部宽度W，计算公式如下：

式中：D_l表示粮堆左下顶点距相机距离；D_r表示粮堆右下顶点距相机距离；

θ表示粮堆左下顶点与右下顶点之间的夹角；abs表示计算值取绝对值。

所述步骤1的具体步骤如下：

步骤1.1：数据集的处理；根据采集条件采集包括正反两例的数据集，其中正例为粮堆的图像；反例为除粮堆之外的图像；所述采集条件为正反例数据集制作要满足反例数量大于正例图像，其比例为：反例：正例>10；

步骤1.2：建立粮堆的识别模型；模型的建立方法如下：选出每级SVM分类模型中共同分错的样本，将正例错分反例的样本个数记为N_p-n，反例错分为正例的个数记为N_n-p，然后分别算出正例错分反例样本向量特征的聚类中心C_p-n和反例错分为正例样本向量特征的聚类中心C_n-p；

随机提取框选区域的向量特征，根据欧氏距离公式计算离上述两类聚类中心的距离；权重优化公式分为下列两种情况，详情如下：

情况一：划分为C_p-n类

投票正例分类器权重优化公式为：

投票反例分类器权重优化公式为：

情况二：划分为C_n-p类

投票正例分类器权重优化公式为：

投票反例分类器权重优化公式为：

式中：η_i表示投票正例分类器的权重；η_j表示投票反例分类器的权重；N_p-n表示各级分类器共同将正例错分为反例的个数；N_n-p表示各级分类器共同将反例错分为正例的个数；N_总表示样本总个数；N₊表示分类器投票为正例的个数；N_-表示分类器投票为反例的个数；

所述步骤4的具体步骤如下：

步骤4.1：迭代器中粮堆候选区按粮堆相似度大小降次排序进行存储，通过筛选，选择出相似度最大的f个粮堆候选区，其中f≤S；

步骤4.2：根据选择的f个粮堆对步骤3.1中的彩色图像按照判别条件进行二次判别，若判别成功将排除粮堆框选区以外的粮堆候选区，输出标记粮堆框选区域的彩色图像；若判别失败则执行步骤3.5。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法；该方法填补了粮仓中对粮堆检测方法的空白，充分发挥了全自主平仓机器人的智能性和安全性的优势。该发明运用的粮堆检测的模型训练方法以及粮堆目标检测系统都具有开创性的尝试。相比于传统的人工或人工远程控制机器人平仓过程，具有独创性多、识别准确度高、可靠性强等特点，实现了对粮堆的准确、快速地识别，同时也减少了人工平仓作业的成本。

附图说明

图1为本发明实施例提供的粮堆目标检测方法的流程图；

图2为本发明实施例提供的使用的ADABOOST+SVM改进分类算法原理图；

图3为本发明实施例提供的粮堆二次判别的流程图；

图4为本发明实施例提供的粮堆检测实验效果图；

图5为本发明实施例提供的输出的标记粮堆框选区域的彩色图；

图6为本发明实施例提供的粮堆宽度图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的方法如下所述。

本发明提供一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法，包括以下步骤：

步骤1：建立粮堆的识别模型；

步骤1.1：数据集的处理；根据采集条件采集包括正反两例的数据集；其中正例为粮堆的图像，由于自然粮堆的横纵比例有一定规律，本实施例中经过测量我们在手动标记正例粮堆框选区域的时候设置的范围统一为(300，100)，由于选取的图像特征为LBP，正例数据集背景的纹理不能过于光滑；反例为除粮堆之外的图像，包含的分辨率不固定(也可以是同一幅照片的几种分辨率形式)；所述采集条件为要满足反例数量大于正例图像，其比例为：反例：正例>10；

步骤1.2：建立粮堆的识别模型；模型的建立方法选用ADABOOST+SVM，如图2所示，方法如下：选出每级SVM分类模型中共同分错的样本(两类：即将正例错分为反例、反例错分为正例)，，将正例错分反例的样本个数记为N_p-n，反例错分为正例的个数记为N_n-p，然后分别算出正例错分反例样本向量特征的聚类中心C_p-n和反例错分为正例样本向量特征的聚类中心C_n-p；

随机提取框选区域的向量特征，根据欧氏距离公式计算离上述两类聚类中心的距离；例如划分为C_n-p类，表示在此区域各级分类器易将反例错分为正例，这就需要减小投票为正例的各级分类器权重，增加投票为反例的各级分类器权重，反之亦然；权重优化公式分为下列两种情况，详情如下：

情况一：划分为C_p-n类

投票正例分类器权重优化公式为：

投票反例分类器权重优化公式为：

情况二：划分为C_n-p类

投票正例分类器权重优化公式为：

投票反例分类器权重优化公式为：

式中：η_i表示投票正例分类器的权重；η_j表示投票反例分类器的权重；N_p-n表示各级分类器共同将正例错分为反例的个数；N_n-p表示各级分类器共同将反例错分为正例的个数；N_总表示样本总个数；N₊表示分类器投票为正例的个数；N_-表示分类器投票为反例的个数；

步骤2：通过图像采集设备采集一组粮仓实际场景图片；一组图片包括一张彩色图和一张深度图；

本实施例中图像采集设备为Kinect v2；彩色图的分辨率是1920x1080像素，深度图的分辨率为512x424像素。

步骤3：对采集的彩色图像转换为灰度图，将转换后的灰度图与步骤1中获得的识别模型进行对比，并储存成功检测出的候选区域；

步骤3.1：将彩色图转换为灰度图，并提取图像的LBP特征；

步骤3.2：将图像的LBP特征与模型进行对比，直到检测不出粮堆为止，将所有成功检测的候选区域都存储在迭代器中，形成集合P；成功检测的标准为：设定允许检测出的粮堆框选区面积大小范围为(a₁，b₁)至(a₂，b₂)，其中a₁为最小范围的长度值，b₁为最小范围的宽度值，a₂为最大范围的长度值，b₂为最大范围的宽度值，设定对比成功次数为n，每对比成功一次对候选区域进行尺寸缩小，缩小比例为ζ；

步骤3.4：判断步骤3.2中的集合P是否为空集或集合中样本数量少于预设样本数量S，是则执行步骤3.5；否则执行步骤4；

步骤3.5：将图像采集设备调整角度或位置，采集一组粮仓实际场景图片，包括一张彩色图和一张深度图；采集完成后执行步骤3.1。

步骤4：将步骤3中获得的候选区域按照相似度大小排列，选择出相似度最大的f个粮堆，根据选择的f个粮堆对步骤1中的彩色图像按照判别条件进行二次判别，输出标注出框选区域的彩色图像，若判别失败则执行步骤3.5；

步骤4.1：迭代器中粮堆候选区按粮堆相似度大小降次排序进行存储，通过筛选，选择出相似度最大的f个粮堆候选区，其中f≤S；

步骤4.2：根据选择的f个粮堆对步骤3.1中的彩色图像按照判别条件进行二次判别，若判别成功将排除粮堆框选区以外的粮堆候选区，输出标记粮堆框选区域的彩色图像；若判别失败则执行步骤3.5，如图3所示。

所述判别条件为：设置位于图像中心处宽度像素范围为(w₁，w₂)、高度像素范围为(h₁，h₂)的粮堆框选区域，其中w₁为粮堆框选区宽度的最小像素值，w₂为粮堆框选区宽度的最大像素值，h₁为粮堆框选区高度的最小像素值，h₂为粮堆框选区高度的最大像素值；所述粮堆框选区域中的粮堆候选区必须完整且数量大于等于1；

步骤5：通过步骤1中的彩色图和深度图获得参数集，根据参数集计算出粮堆底部宽度W，并储存粮堆的宽度W、粮堆质心距相机的距离D_c、粮堆质心与相机的夹角方位角θ_c；

步骤5.1：首先将步骤1中的彩色图中的像素坐标点转换为深度图中的像素坐标点；再通过像素坐标系与世界坐标系之间的转换得到粮堆质心与摄像头的方位角θ_c和粮堆左下顶点与右下顶点之间的夹角θ；并提取出深度图像素坐标下的各个粮堆的质心坐标(x，y)、质心距相机距离D_c、左下顶点坐标(x₁，y₁)、左下顶点距相机距离D_l、右下顶点坐标(x₂，y₂)、右下顶点距相机距离D_r，将上述参数形成参数集，如图4所示；

步骤5.2：根据左下顶点距相机距离D_l，右下顶点距相机距离D_r，左下顶点的与右下顶点之间的夹角θ，计算出粮堆底部宽度W，计算公式如下：

式中：D_l表示粮堆左下顶点距相机距离；D_r表示粮堆右下顶点距相机距离；

θ表示粮堆左下顶点与右下顶点之间的夹角；abs表示计算值取绝对值。

本实施例的中数据集包括33张分辨率为300x100的粮堆框选区域作为正例；反例一共为350张分辨率不同的场景(包含同一幅图的几种分辨率模式)。

在改进ADABOOST+SVM方法中，共选用12级SVM分类器(级数过高会导致过拟合现象)，在各级SVM分类器中共同将正例误分为反例的个数N_p-n＝5；投票正例的个数N₊＝5；投票反例的个数N_-＝7；则每一个投票正例分类器的权重优化计算为：

投票反例分类器权重优化计算为：

首先利用相机Kinect v2采集一组深度图和彩色图片，对分辨率为1920x1080彩色图片进行灰度空间转换并提取图像LBP特征。对彩色图片进行框选与模型进行比对，为了增强识别的准确性，每次要对图像进行缩放。例如缩放比例ζ设置为1.1，就是每次图像以上一幅图像为基础进行1.1的比例缩放，如果框选区的匹配成功次数为n＝3则符合要求，同时对框选区面积范围进行一定的设置，设面积范围为(120，60)至(300，100)，表示框选区像素长乘高最小是120x60像素点，最大为300x100像素点，长乘高的比例设置要参考实际粮堆长和高的比例范围。如果满足以上条件的框选区域就会存储在迭代器里面。上述过程为粮堆的第一次判别过程；

由于迭代器中粮堆候选区是按粮堆相似度大小降次排序进行存储的，我们只需要留下相似度较高的几个区域，例如我们想要找出3个，则在迭代器中会存储前三个粮堆框选区域L₁、L₂、L₃。同时二次判别过程会将图像四周边缘的粮堆候选区排除掉，一般四周的区域离机器人距离较远，到达较为困难。设置粮堆框选区位于图像中心处宽度像素范围为(400，1520)、高度像素范围(400，850)进行筛选，此时满足条件的只有L₁，则最终只输出将L₁框选的彩色图片，如图5所示。上述过程为第二次判别过程。

现只对框选区L₁进行信息提取，首先对L₁储存左下顶点和右下顶点在彩色图像上的坐标转换到深度图坐标下，并且在深度图中得到粮堆质心距相机距离。例如此时的左下顶点坐标为[188,304]，右下顶点坐标为[352,304]，质心距离为0.874m，左下顶点距相机为0.893m，右下顶点距相机为0.929m，通过像素坐标系与世界坐标系之间的转换可以得到粮堆质心以相机中心的方位角约为+1.38度(+表示相机中心右侧，-表示相机中心左侧)，左下顶点与右下顶点之间的夹角约为25.96度。通过计算公式可以得到粮堆的宽度，公式如下：

式中：D_l表示粮堆左下顶点距相机距离；D_r表示粮堆右下顶点距相机距离；

θ表示粮堆左下顶点与右下顶点之间的夹角；abs表示计算值取绝对值。则此时的粮堆宽度为为0.4108m，如图6所示，本实施例通过用米尺手动测量粮堆宽度，证实了本方法的有效性。粮堆信息以数组的形式进行存储：[0.874,1.38,0.4108],分别表示粮堆质心距相机的距离、方位以及粮堆的宽度。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法，其特征在于：包括以下步骤：

步骤1：建立粮堆的识别模型；

步骤1.1：数据集的处理；根据采集条件采集包括正反两例的数据集，其中正例为粮堆的图像；反例为除粮堆之外的图像；所述采集条件为正反例数据集制作要满足反例数量大于正例图像，其比例为：反例：正例>10；

步骤1.2：建立粮堆的识别模型；模型的建立方法如下：选出每级SVM分类模型中共同分错的样本，将正例错分反例的样本个数记为N_p-n，反例错分为正例的个数记为N_n-p，然后分别算出正例错分反例样本向量特征的聚类中心C_p-n和反例错分为正例样本向量特征的聚类中心C_n-p；

随机提取框选区域的向量特征，根据欧氏距离公式计算离上述两类聚类中心的距离；权重优化公式分为下列两种情况，详情如下：

情况一：划分为C_p-n类

投票正例分类器权重优化公式为：

投票反例分类器权重优化公式为：

情况二：划分为C_n-p类

投票正例分类器权重优化公式为：

投票反例分类器权重优化公式为：

式中：η_i表示投票正例分类器的权重；η_j表示投票反例分类器的权重；N_p-n表示各级分类器共同将正例错分为反例的个数；N_n-p表示各级分类器共同将反例错分为正例的个数；N_总表示样本总个数；N₊表示分类器投票为正例的个数；N_-表示分类器投票为反例的个数；

步骤2：通过图像采集设备采集一组粮仓实际场景图片；一组图片包括一张彩色图和一张深度图；

步骤3：对采集的彩色图像转换为灰度图，将转换后的灰度图与步骤1中获得的识别模型进行对比，并储存成功检测出的候选区域；

步骤3.1：将彩色图像转换为灰度图，并提取图像的LBP特征；

步骤3.2：将图像的LBP特征与模型进行对比，直到检测不出粮堆为止，将所有成功检测的候选区域都存储在迭代器中，形成集合P；成功检测的标准为：设定允许检测出的粮堆框选区面积大小范围为(a₁,b₁)至(a₂,b₂)，其中a₁为最小范围的长度值，b₁为最小范围的宽度值，a₂为最大范围的长度值，b₂为最大范围的宽度值，设定对比成功次数为n，每对比成功一次对候选区域进行尺寸缩小，缩小比例为ζ；

步骤3.4：判断步骤3.2中的集合P是否为空集或集合中样本数量少于预设样本数量S，是则执行步骤3.5；否则执行步骤4；

步骤3.5：将图像采集设备调整角度或位置，采集一组粮仓实际场景图片，包括一张彩色图和一张深度图；采集完成后执行步骤3.1；

步骤4：将步骤3中获得的候选区域按照相似度大小排列，选择出相似度最大的f个粮堆，根据选择的f个粮堆对步骤1中的彩色图像按照判别条件进行二次判别，输出标注出框选区域的彩色图像，若判别失败则执行步骤3.5；

所述判别条件为：设置位于图像中心处宽度像素范围为(w₁,w₂)、高度像素范围为(h₁,h₂)的粮堆框选区域，其中w₁为粮堆框选区宽度的最小像素值，w₂为粮堆框选区宽度的最大像素值，h₁为粮堆框选区高度的最小像素值，h₂为粮堆框选区高度的最大像素值；所述粮堆框选区域中的粮堆候选区必须完整且数量大于等于1；

步骤5：通过步骤1中的彩色图和深度图获得参数集，根据参数集计算出粮堆底部宽度W，并储存粮堆的宽度W、粮堆质心距相机的距离D_c、粮堆质心与相机的夹角方位角θ_c；

步骤5.1：首先将步骤1中的彩色图中的像素坐标点转换为深度图中的像素坐标点；再通过像素坐标系与世界坐标系之间的转换得到粮堆质心与摄像头的方位角θ_c和粮堆左下顶点与右下顶点之间的夹角θ；并提取出深度图像素坐标下的各个粮堆的质心坐标(x，y)、质心距相机距离D_c、左下顶点坐标(x₁，y₁)、左下顶点距相机距离D_l、右下顶点坐标(x₂，y₂)、右下顶点距相机距离D_r，将上述参数形成参数集；

步骤5.2：根据左下顶点距相机距离D_l，右下顶点距相机距离D_r，左下顶点的与右下顶点之间的夹角θ，计算出粮堆底部宽度W，计算公式如下：

式中：D_l表示粮堆左下顶点距相机距离；D_r表示粮堆右下顶点距相机距离；

θ表示粮堆左下顶点与右下顶点之间的夹角；abs表示计算值取绝对值。

2.根据权利要求1所述的一种基于ADABOOST+SVM改进分类算法的粮堆目标检测方法，其特征在于：所述步骤4的具体步骤如下：

步骤4.1：迭代器中粮堆候选区按粮堆相似度大小降次排序进行存储，通过筛选，选择出相似度最大的f个粮堆候选区，其中f≤S；

步骤4.2：根据选择的f个粮堆对步骤3.1中的彩色图像按照判别条件进行二次判别，若判别成功将排除粮堆框选区以外的粮堆候选区，输出标记粮堆框选区域的彩色图像；若判别失败则执行步骤3.5。

Images