CN108710909A - 一种可变形旋转不变装箱物体清点方法 - Google Patents

Abstract

一种可变形旋转不变装箱物体清点方法，提取物体的带方向的HOG特征，构造可变形部件模型并使用样本集进行训练，使用训练得到的模型对待测图片进行物体检测。本发明一方面通过计算HOG特征主能量区域并将其旋转到统一参考方向来消除物体旋转对于可变形部件模型的影响，极大地提高了清点的准确率；另一方面使用快速特征金字塔构造方法来避免多次提取HOG特征的大计算量，同时使用改进的edge boxes算法提取目标候选区域避免传统滑动窗口法的穷举搜索，极大地提高了检测效率。本发明方法既具有对复杂环境的高兼容性又具有较高的准确率和计算效率。

Description

一种可变形旋转不变装箱物体清点方法

技术领域

本发明属于机器视觉技术领域，涉及利用机器视觉技术进行物体清点，为一种可变形旋转不变装箱物体清点方法。

背景技术

在传统罐装行业中，对于装箱物体数量的清点一般以称重和人工点数为主，然而，很多时候物体规格并不一致，无法从重量上确定是否缺漏以及具体缺漏的为哪一种物体，以便后续补充，并且准确称重需使传送带停下影响生产效率；另一方面，人眼长时间工作极易疲劳导致出错、人工效率低下以及人力成本高，极大地限制了大规模工业生产的发展。利用基于计算机图像处理技术和物体检测算法来进行装箱物体数量的清点，能够有效解决这些问题。

常用的基于图像增强和图像分割的计数方法适用于物体结构简单、物体与背景有明显差异、物体与物体之间无粘连的情况，对场景限制较高，适应性较差；而一些基于数学模型的方法，例如最小化平方误差的密度估计算法、聚类之后进行椭圆拟合的方法则更适用于大量小物体的计数。

通过物体检测来进行物体的计数清点也是一个可行的方式。但基于特征点匹配的物体检测方法，要求待检测物体具有丰富的纹理、能够提取到丰富的特征点，无法检测表面光滑、结构简单的物体；基于广义霍夫变换的物体检测方法，采用物体轮廓作为特征，必须提取到清晰、准确的轮廓，然而在多数情况下，由于背景干扰、物体交叠等原因，极易导致轮廓难以提取、轮廓缺失、轮廓难以分离等问题，从而使后续处理难以进行。为了实现装箱物体数量的自动化清点，要求所用物体检测算法必须能够应对背景干扰、物体旋转、拍摄角度造成的形变、颜色变化等情况，而现有算法中少有鲁棒性满足要求的。

参考文献：

[1]Barbedo J G A.A Review on Methods for Automatic Counting ofObjects in Digital Images[J].IEEE Latin America Transactions,2012,10(5):2112-2124.

[2]Engineering,Instrumentation.“Literature Review on Object CountingUsing Image Processing Techniques.”(2014):8509–8512.Print.

[3]夏威,单洪明.采用密度估计进行物体计数[J].计算机科学与探索,2013,7(11):1002-1008.

[4]王志彬,王开义,张水发,等.基于K-means聚类和椭圆拟合方法的白粉虱计数算法[J].农业工程学报,2014,30(1):105-112.

[5]黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014,37(6):1225-1240.

发明内容

本发明要解决问题是：现有装箱物体清点系统一般依赖称重和人工点数，应用场景局限，效率低下；现有物体检测方法对于图像背景和物体本身特征有一定要求，难以适应工业生产环境中背景复杂，物体种类多样的场景。总之，现有方法难以兼容现实生产场景中的复杂情况。

本发明的技术方案为：一种可变形旋转不变装箱物体清点方法，对装箱物体图片检测其中物体来实现清点，通过提取装箱物体图片中物体带方向的HOG特征，构造可变形部件模型并使用样本集进行训练，使用训练得到的模型对待测图片进行物体检测；首先，对样本数据集进行学习：计算样本图像带方向的HOG特征，将样本图像HOG特征按能量最大的主方向旋转到统一方向，并使用图像特征金字塔快速计算方法构造HOG特征金字塔，训练可变形部件模型，所述模型用于后续物体检测；然后，对待检测图像，同样提取HOG特征金字塔，在图中使用edge boxes算法提取目标候选框，并将候选框映射到每一层特征金字塔中相应的位置，对每个位置使用训练好的可变形部件模型计算得分，对得分达到设定阈值的重叠窗口区域采取非极大值抑制，得到最后的检测目标；统计待检测图像中检测出的目标个数，即可完成物体数量的清点。

进一步的，对edge boxes算法进行改进，用于提取目标候选框：

对待检测图片I，使用结构化边缘检测算法提取边缘图像E,进行非极大值抑制，得到更稀疏的边缘图E_NMS,在边缘图E_NMS中，将近乎在一条直线上的边缘点集中起来形成一个边缘群edge group,根据这些边缘群定义窗口b的得分为：

s_b＝窗口b完全包含的边缘群-窗口b中心区域的边缘群

加入可变形部件模型根滤波器的大小作为先验信息，避免得到过大或者过小的区域，最终的窗口得分为：

上式中，b_w和b_h表示窗口b的宽和高，w₀，h₀是训练得到的可变形部件模型的根滤波器的宽和高，将所有窗口按照得分高低进行排列，取得分最高的1000个窗口作为目标候选区域。

作为优选方式，提取带方向的HOG特征的具体为：

1)对图像进行归一化：对于彩色图像中的每个像素点，选取该像素三通道中梯度幅值最大的像素点的梯度值作为其梯度值，并进行Gamma校正：

I(x，y)＝I(x，y)^gamma

2)计算图像梯度，图像中像素点(x,y)的梯度为：

G_x(x，y)＝I(x+l，y)-I(x-l，y)

C_y(x,y)＝I(x,y+1)-I(x,y-1)

式中，G_x(x,y)、G_y(x,y)和I(x,y)分别表示图像中点(x,y)的水平方向梯度值、垂直方向梯度值和像素值，点(x,y)处的梯度幅值G(x,y)和梯度方向θ(x,y)分别为：

3)为每个细胞单元cell计算31维梯度方向直方图特征：将图像分为若干个cell，每个cell大小为8*8，对于cell中每个像素点的梯度方向离散到p个值中的一个，使用对比度敏感定义B₁和对比度不敏感定义B₂，B₁方向范围为0～360°，B₂方向范围为0～180°：

取p＝9，对于每一个cell按照B₁(x,y)和B₂(x,y)的公式进行加权投影，梯度幅值G(x,y)即为权值，得到9个对比度不敏感方向和18个对比度敏感方向通道，再加上周围4个cell的梯度特征各自的均值，共是9+18+4＝31维梯度方向直方图特征；

4)将上述31维HOG特征按照8个方向分成8个部分，计算每部分的能量，即HOG特征正权重的L-2范数：

上式中，N表示每个区域中所有像素点的个数，D表示HOG特征的维数，将整个区域的特征以区域中点为中心，将E_i最大区域作为主方向，旋转到事先设定的参考方向。

进一步的，本发明装箱物体清点的具体步骤为：

1)利用正负样本数据集，训练可变形部件模型：

对于每一张样本图片，提取带方向的HOG特征，并按照快速特征金字塔构造方法计算其HOG特征金字塔，具体为：对于关键层，首先通过采样和平滑从原图中得到此关键层尺寸的图片，提取HOG特征；对于关键层中间的特征层，则直接从关键层特征中抽样得到；

构造可变形部件模型，包括一个大体上覆盖整个目标的粗糙的根滤波器和6个覆盖目标中较小部件的精细的部件滤波器，其中，部件滤波器的分辨率是根滤波器的两倍，根据可变型部件模型计算目标假设的得分的方法为：

上式中，(p₀,…,p_m)，m＝6，表示每个滤波器在特征金字塔中的位置，其中p_j＝(x_j,y_j,l_j)表示第j个滤波器所在的层和位置坐标；F_j表示第j个滤波器，其中F₀为根滤波器；φ(H,p_j)表示p_j处的HOG特征；d_j·φ_d(dx_j,dy_j)表示当前位置相对于锚点位置的变形花费，即相对于未发生形变时的标准位置的变形花费，其中d_j为一个系数向量，d_j＝(0,0,1,1)；(dx_j,dy_j)＝(x_j,y_j)-(2(x₀,y₀)+v_j)给出的是第j个部件相对于锚点位置的偏移量，(x_j,y_j)为当前所在位置，(x₀,y₀)为根滤波器所在层的坐标，为了统一到部件滤波器所在层需乘2，v_j表示第j个部件的锚点相对于根滤波器的偏移；φ_d(dx,dy)＝(dx,dy,dx²,dy²)表示变形特征，即水平、垂直位移及其平方，b为偏差值；

计算所有正样本的长宽比的平均值作为根滤波器的长宽，将6个部件滤波器放置在根滤波器的高能量区域，高能量指滤波器值的平方和，并且关于根滤波器中轴两两对称，使用隐藏变量支持向量机LSVM来学习上述模型参数，使用随机梯度下降法调整参数；

2)对每一张待检测图像，使用快速特征金字塔构造方法构造其HOG特征金字塔，并对原图使用edge boxes算法提取目标候选框，将其映射到特征金字塔中相应位置，使用训练好的可变形部件模型进行检测，具体为：

根据提取到的目标候选框的位置和大小，在特征金字塔中取出此窗口区域，计算其得分，此窗口的综合得分可以表示为该层根滤波器的响应值加上经过变换和下采样的部件滤波器的响应值(包括变形花费)：

b为偏差值，λ是金字塔的层数，此时λ＝6，表示根滤波器的响应值，表示各部件的响应值，即第j个部件在l₀-λ层的响应值，对于一个固定的根位置，选择每个部件滤波器得分最高的位置，再减去此最佳位置的变形花费，即为此部件滤波器对综合得分的贡献；

对于每个综合得分大于设定阈值T_d的窗口，根据所在特征金字塔的位置，计算出在原检测图像中的包围盒。在检测过程中，对于每个目标实例可能产生多个包围盒的重叠，采取非极大值抑制的方法，对于重叠超过50％的包围盒，只保留得分最高的一个作为最终结果；

3)统计检测目标数量，并输出检测结果。

本发明提出一种可变形旋转不变物体检测方法，提取物体的带方向的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征，以应对旋转物体的检测；构造可变形部件模型并使用一定数量的样本集进行训练；使用改进的edge boxes算法提取目标候选框，只对候选框区域使用可变形部件模型进行检测，避免传统滑动窗口检测方法带来的巨大计算量。

本发明提出的一种可变形旋转不变装箱物体清点方法，既能够应对工业生产中复杂的背景及多变的物体结构，又具有较高的准确率。其有益效果在于：1)通过计算HOG特征主能量区域并将其旋转到统一参考方向，来消除物体旋转对于可变形部件模型的影响，极大地提高了清点的准确率；2)在可变形部件模型的技术上，针对现有可变形部件模型存在的问题，如文献[7][8][9]中的可变形部件模型计算复杂度高导致的检测效率较低的问题，本发明一方面使用快速特征金字塔构造方法来避免多次提取HOG特征的大计算量，另一方面使用改进的edge boxes算法提取目标候选区域避免传统滑动窗口法的穷举搜索。

附图说明

图1为本发明方法的流程框图。

图2为本发明中31维HOG特征计算方法的示意图。

图3为本发明中快速特征金字塔构造方法示意图。

图4为本发明实施例样本图片示意，(a)为正样本示例，(b)为负样本示例。

图5为本发明实施例可变形部件模型的对比图，(a)为未加入方向信息训练得到的可变形部件模型，(b)为加入方向信息后训练得到的可变形部件模型。

图6为本发明改进的edge boxes算法提取到的目标候选框结果图。

图7为本发明实施例的检测效果图。

具体实施方式

本发明提出了一种可变形旋转不变装箱物体清点方法，能够准确、自动化地实现生产流水线上装箱物体数量地清点。本发明方法主要包括快速HOG特征金字塔构造、可变形部件模型的训练及物体检测和数量统计三个部分。

如图1所示，本发明首先通过样本数据集训练可变形部件模型，提取输入样本图像的改进HOG特征，计算HOG特征的主方向，并将其旋转到统一方向，然后使用图像特征金字塔快速计算方法构造HOG特征金字塔，通过这些加入方向信息的特征金字塔训练可变形部件模型；然后，对于待检测图像，同样快速提取HOG特征金字塔，在原图中使用edge boxes算法提取目标候选框，并将候选框映射到每一层特征金字塔中相应的位置，对每个位置使用训练好的可变形部件模型计算得分，对得分达到设定阈值的重叠窗口区域采取非极大值抑制，得到最后的检测目标；统计待检测图像中检测出的目标个数，即可完成物体数量的清点。

其中快速提取特征金字塔方法参见文献：

[6]Dollar P,Appel R,Belongie S,et al.Fast Feature Pyramids for ObjectDetection.[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2014,36(8):1532-1545.；

可变形部件模型的建立参见文献：

[7]Felzenszwalb P,Mcallester D,Ramanan D.A discriminatively trained,multiscale,deformable part model[J].2008,8::1-8.

[8]Felzenszwalb P F,Girshick R B,Mcallester D,et al.Object detectionwith discriminatively trained part-based models.[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2010,32(9):1627.

[9]Felzenszwalb P F,Girshick R B,Mcallester D.Cascade objectdetection with deformable part models[C]//Computer Vision and PatternRecognition.IEEE,2010:2241-2248.

现有的edge boxes算法参见文献：

[10]Zitnick C L,Dollár P.Edge Boxes:Locating Object Proposals fromEdges[J].2014,8693:391-405.

[11]Zitnick C L.Structured Forests for Fast Edge Detection[C]//IEEEInternational Conference on Computer Vision.IEEE,2014:1841-1848.

本发明具体实施方式如下：

1、快速HOG特征金字塔构造：

1)31维HOG特征提取

HOG特征描述了物体一定的边缘和梯度特征，很好地抓住了物体整体和局部形状的特征，对几何和光学变换也有一定的不变性，相比于传统36维HOG特征，31维的HOG特征大大降低了后续计算的复杂度，同时在检测精度上能够达到同样的效果。因此，本发明采用31维的HOG特征，首先，对图像进行归一化，然后计算图像梯度，为图像中的每个细胞单元cell计算31维梯度方向直方图特征。计算31维HOG特征的具体步骤为：

a)对图像进行归一化，对于彩色图像，选取梯度幅值最大的颜色通道作为操作对象，并进行Gamma校正：

I(x,y)＝I(x,y)^gamma (1)

上式中，gamma＝0.5，可以将暗区对比度提高，亮区对比对下降。

b)计算图像梯度G(x,y)，图像中像素点(x,y)的水平方向梯度值G_x(x,y)、垂直方向梯度值G_y(x,y)的计算方法为：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (2)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (3)

式中，H(x,y)表示图像中点(x,y)的像素值。点(x,y)处的梯度幅值G(x,y)和梯度方向θ(x,y)分别为：

c)为每个细胞单元cell计算31维梯度方向直方图特征：将图像分为若干个cell，每个cell大小为8*8，对于cell中每个像素点的梯度方向离散到p个值中的一个，使用对比度敏感定义B₁，方向范围为0～360°，和对比度不敏感定义B₂，方向范围为0～180°：

取p＝9，对于每一个cell按照式(6)和式(7)进行加权投影，梯度幅值G(x,y)即为权值，可以得到9个对比度不敏感方向和18个对比度敏感方向通道，再加上周围4个cell的梯度特征各自的均值，共是9+18+4＝31维梯度方向直方图特征，如图2所示。

2)计算HOG特征主能量区域并旋转：

由于装箱过程中，物体会发生旋转，故需要在HOG特征中加入方向信息，以提高在物体旋转时检测的准确率，如图5，(a)(b)分别是未加入方向信息训练得到的可变形部件模型和加入方向信息训练得到的可变形部件模型，明显可以看出，加入方向信息训练得到的可变形部件模型更好地描述了目标物体的特征。

将步骤1)中提取到的31维HOG特征按照8个方向分成8个部分，计算每部分的能量，即HOG特征正权重的L-2范数：

上式中，N表示每个区域中所有像素点的个数，D表示HOG特征的维数。将整个区域的特征以区域中点为中心，将E_i最大区域作为主方向，旋转到事先约定的参考方向。

3)使用快速特征金字塔构造方法构造HOG特征金字塔：

为了能够检测出不同大小的目标，需要在图片的不同尺度进行检测，因此需要构造HOG特征金字塔，一般的构造方法为对原始图片进行一系列降采样得到图像金字塔，然后从图像金字塔中计算HOG特征，得到HOG特征金字塔，但是这种方法将产生巨大的计算量，为了节约计算成本，本发明采用快速特征金字塔构造方法。具体构造方法可参见文献[6]：对于关键层(例如原尺度，1/2尺度等)，首先通过采样和平滑从原图中得到此尺寸的图片，提取此图的HOG特征；对于关键层中间的特征层，则直接从最近的特征层中抽样得到，如图3所示。

2、可变形部件模型的训练

样本数据集正样本集和若干负样本集，如图4所示，其中(a)为正样本示例，(b)为负样本示例。

如图1所示，可变形部件模型的训练过程为对于每个样本，使用其快速HOG特征金字塔，来构造可变形部件模型并训练其参数。具体为：

1)构造并初始化可变形部件模型：

可变形部件模型包括一个大体上覆盖整个目标的粗糙的根滤波器和6个覆盖目标中较小部件的精细的部件滤波器。其中，部件滤波器的分辨率是根滤波器的两倍。根据可变型部件模型计算目标假设的得分的方法为：

上式中，(p₀,…,p_m)，m＝6，表示每个滤波器在特征金字塔中的位置，其中p_j＝(x_j,y_j,l_j)表示第j个滤波器所在的层和位置坐标；F_j表示第j个滤波器，其中F₀为根滤波器；φ(H,p_j)表示p_j处的HOG特征；d_j·φ_d(dx_j,dy_j)表示当前位置相对于锚点位置的变形花费，即相对于未发生形变时的标准位置的变形花费，其中d_j为一个系数向量，d_j＝(0,0,1,1)，表示第j个部件的变形花费就是它实际位置与锚点位置的平方；

(dx_j,dy_j)＝(x_j,y_j)-(2(x₀,y₀)+v_j) (10)

给出的是第j个部件相对于锚点位置的偏移量，(x_j,y_j)为当前所在位置，(x₀,y₀)为根滤波器所在层的坐标，为了统一到部件滤波器所在层需乘2，v_j表示第j个部件的锚点相对于根滤波器的偏移。

φ_d(dx,dy)＝(dx,dy,dx²,dy²) (11)

表示变形特征，即水平、垂直位移及其平方。b为偏差值。

计算所有正样本的包围盒的长宽比的平均值作为根滤波器的大小，将6个部件放置在根滤波器的最高的6个高能量(滤波器值的平方和)区域，并且关于根滤波器中轴两两对称。

2)训练可变形部件模型参数

使用隐藏变量支持向量机LSVM(Latent SVM)来学习上述模型参数，每次迭代使用随机梯度下降法调整参数。

3、物体检测和数量统计

对于每张待测图片，检测其中的目标物体，并统计物体数量。如图1，检测的具体步骤为：

1)按步骤1中所述方法计算其HOG特征金字塔；

2)现有的edge boxes算法提取目标候选框能正常进行，但是计算速度较慢，本发明提出了一种改进的edge boxes算法提取目标候选框，具体为：

对待检测图片I，使用结构化边缘检测算法提取边缘图像E,进行非极大值抑制，得到更稀疏的边缘图E_NMS,在此边缘图中，将近乎在一条直线上的边缘点集中起来形成一个边缘群(edge group),根据这些边缘群定义窗口b的得分为：

S_b＝窗口b完全包含的边缘群-窗口b中心区域的边缘群 (12)

上式中，减去第二项的原因是中心区域的边缘远没有靠近窗口边界的边缘重要。

加入可变形部件模型根滤波器的大小作为先验信息，避免得到过大或者过小的区域，最终的窗口得分为：

上式中，b_w和b_h表示窗口b的宽和高，w₀，h₀是训练得到的可变形部件模型的根滤波器的宽和高。

将所有窗口按照得分高低进行排列，取得分最高的1000个窗口作为目标候选区域。

3)对每个目标候选区域使用训练好的可变形部件模型进行检测：

将每个目标候选框映射到HOG特征金字塔中相应位置，计算其得分。此窗口的综合得分可以表示为该层根滤波器的响应值加上经过变换和下采样的部件滤波器的响应值(包括变形花费)：

b为偏差值，λ是金字塔的层数，此时λ＝6，表示根滤波器的响应值，表示各部件的响应值，即第j个部件在l₀-λ层的响应值，对于一个固定的根位置，选择每个部件滤波器得分最高的位置，再减去此最佳位置的变形花费，即为此部件滤波器对综合得分的贡献；

对于每个综合得分大于设定阈值T_d的窗口，根据所在特征金字塔的位置，计算出在原检测图像中的包围盒。

4)重叠包围盒非极大值抑制：

在检测过程中，对于每个目标实例可能产生多个包围盒的重叠，采取非极大值抑制的方法，对于重叠超过50％的包围盒，只保留得分最高的一个作为最终结果。

5)统计检测目标数量，并输出检测结果。

图5(b)为本发明采用方法训练得到的可变形部件模型，其中，从左到右分别为根滤波器、6个精细的部件滤波器、为对应于6个部件滤波器的变形花费，灰度值越高表示值越大即花费越高。图6为使用改进的edge boxes方法提取到的候选区域效果图。图7为本发明的检测效果图，其中包括了3种不同光线条件、不同物体颜色的图片，灰色框为检测出物体的包围盒，包围盒的数量即检测出物体的数量。由图7可见，本发明方法，对于不同光照条件、不同背景、不同颜色物体都能准确识别，鲁棒性较高。图7(b)中出现了负样本的情况，本发明的检测中能够将其准确排除。对整个测试集的检测结果统计，本发明方法的检测精度能够达到99.3％，相对于其他方法，本发明方法实现了高精度和高兼容性的稳定检测。

Claims (4)

1.一种可变形旋转不变装箱物体清点方法,其特征是对装箱物体图片检测其中物体来实现清点，通过提取装箱物体图片中物体带方向的HOG特征，构造可变形部件模型并使用样本集进行训练，使用训练得到的模型对待测图片进行物体检测；首先，对样本数据集进行学习：计算样本图像带方向的HOG特征，将样本图像HOG特征按能量最大的主方向旋转到统一方向，并使用图像特征金字塔快速计算方法构造HOG特征金字塔，训练可变形部件模型，所述模型用于后续物体检测；然后，对待检测图像，同样提取HOG特征金字塔，在图中使用edgeboxes算法提取目标候选框，并将候选框映射到每一层特征金字塔中相应的位置，对每个位置使用训练好的可变形部件模型计算得分，对得分达到设定阈值的重叠窗口区域采取非极大值抑制，得到最后的检测目标；统计待检测图像中检测出的目标个数，即可完成物体数量的清点。

2.根据权利要求1所述的一种可变形旋转不变装箱物体清点方法，其特征是对edgeboxes算法进行改进，用于提取目标候选框：

对待检测图片I，使用结构化边缘检测算法提取边缘图像E,进行非极大值抑制，得到更稀疏的边缘图E_NMS,在边缘图E_NMS中，将近乎在一条直线上的边缘点集中起来形成一个边缘群edge group,根据这些边缘群定义窗口b的得分为：

s_b＝窗口b完全包含的边缘群-窗口b中心区域的边缘群

加入可变形部件模型根滤波器的大小作为先验信息，避免得到过大或者过小的区域，最终的窗口得分为：

上式中，b_w和b_h表示窗口b的宽和高，w₀，h₀是训练得到的可变形部件模型的根滤波器的宽和高，将所有窗口按照得分高低进行排列，取得分最高的1000个窗口作为目标候选区域。

3.根据权利要求1或2所述的一种可变形旋转不变装箱物体清点方法，其特征是提取带方向的HOG特征的具体为：

1)对图像进行归一化：对于彩色图像中的每个像素点，选取该像素三通道中梯度幅值最大的像素点的梯度值作为其梯度值，并进行Gamma校正：

I(x,y)＝I(x,y)^gamma

2)计算图像梯度，图像中像素点(x,y)的梯度为：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

式中，G_x(x,y)、G_y(x,y)和I(x,y)分别表示图像中点(x,y)的水平方向梯度值、垂直方向梯度值和像素值，点(x,y)处的梯度幅值G(x,y)和梯度方向θ(x,y)分别为：

3)为每个细胞单元cell计算31维梯度方向直方图特征：将图像分为若干个cell，每个cell大小为8*8，对于cell中每个像素点的梯度方向离散到p个值中的一个，使用对比度敏感定义B₁和对比度不敏感定义B₂，B₁方向范围为0～360°，B₂方向范围为0～180°：

取p＝9，对于每一个cell按照B₁(x,y)和B₂(x,y)的公式进行加权投影，梯度幅值G(x,y)即为权值，得到9个对比度不敏感方向和18个对比度敏感方向通道，再加上周围4个cell的梯度特征各自的均值，共是9+18+4＝31维梯度方向直方图特征；

4)将上述31维HOG特征按照8个方向分成8个部分，计算每部分的能量，即HOG特征正权重的L-2范数：

上式中，N表示每个区域中所有像素点的个数，D表示HOG特征的维数，将整个区域的特征以区域中点为中心，将E_i最大区域作为主方向，旋转到事先设定的参考方向。

4.根据权利要求1或2所述的可变形旋转不变装箱物体清点方法，其特征是装箱物体清点的具体步骤为：

1)利用正负样本数据集，训练可变形部件模型：

对于每一张样本图片，提取带方向的HOG特征，并按照快速特征金字塔构造方法计算其HOG特征金字塔，具体为：对于关键层，首先通过采样和平滑从原图中得到此关键层尺寸的图片，提取HOG特征；对于关键层中间的特征层，则直接从关键层特征中抽样得到；

构造可变形部件模型，包括一个大体上覆盖整个目标的粗糙的根滤波器和6个覆盖目标中较小部件的精细的部件滤波器，其中，部件滤波器的分辨率是根滤波器的两倍，根据可变型部件模型计算目标假设的得分的方法为：

上式中，(p₀,…,p_m)，m＝6，表示每个滤波器在特征金字塔中的位置，其中p_j＝(x_j,y_j,l_j)表示第j个滤波器所在的层和位置坐标；F_j表示第j个滤波器，其中F₀为根滤波器；φ(H,p_j)表示p_j处的HOG特征；d_j·φ_d(dx_j,dy_j)表示当前位置相对于锚点位置的变形花费，即相对于未发生形变时的标准位置的变形花费，其中d_j为一个系数向量，d_j＝(0,0,1,1)；(dx_j,dy_j)＝(x_j,y_j)-(2(x₀,y₀)+v_j)给出的是第j个部件相对于锚点位置的偏移量，(x_j,y_j)为当前所在位置，(x₀,y₀)为根滤波器所在层的坐标，为了统一到部件滤波器所在层需乘2，v_j表示第j个部件的锚点相对于根滤波器的偏移；φ_d(dx,dy)＝(dx,dy,dx²,dy²)表示变形特征，即水平、垂直位移及其平方，b为偏差值；

计算所有正样本的长宽比的平均值作为根滤波器的长宽，将6个部件滤波器放置在根滤波器的高能量区域，高能量指滤波器值的平方和，并且关于根滤波器中轴两两对称，使用隐藏变量支持向量机LSVM来学习上述模型参数，使用随机梯度下降法调整参数；

2)对每一张待检测图像，使用快速特征金字塔构造方法构造其HOG特征金字塔，并对原图使用edge boxes算法提取目标候选框，将其映射到特征金字塔中相应位置，使用训练好的可变形部件模型进行检测，具体为：

根据提取到的目标候选框的位置和大小，在特征金字塔中取出此窗口区域，计算其得分，此窗口的综合得分表示为该层根滤波器的响应值加上经过变换和下采样的部件滤波器的响应值：

b为偏差值，λ是金字塔的层数，此时λ＝6，表示根滤波器的响应值，表示各部件的响应值，即第j个部件在l₀-λ层的响应值，对于一个固定的根位置，选择每个部件滤波器得分最高的位置，再减去此最佳位置的变形花费，即为此部件滤波器对综合得分的贡献；

对于每个综合得分大于设定阈值T_d的窗口，根据所在特征金字塔的位置，计算出在原检测图像中的包围盒。在检测过程中，对于每个目标实例可能产生多个包围盒的重叠，采取非极大值抑制的方法，对于重叠超过50％的包围盒，只保留得分最高的一个作为最终结果；

3)统计检测目标数量，并输出检测结果。