CN107194338A - 基于人体树图模型的交通环境行人检测方法 - Google Patents
基于人体树图模型的交通环境行人检测方法 Download PDFInfo
- Publication number
- CN107194338A CN107194338A CN201710336956.2A CN201710336956A CN107194338A CN 107194338 A CN107194338 A CN 107194338A CN 201710336956 A CN201710336956 A CN 201710336956A CN 107194338 A CN107194338 A CN 107194338A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- model
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Abstract
本发明公开了基于人体树图模型的交通环境行人检测方法。属于道路交通行人检测领域。首先选取具有人体关节标注信息的数据集作为模型的训练样本，并将关节点扩充为所需的人体部件；基于各父子部件的相对位置关系，采用样本相对距离、样本相关差异度均值和样本集总体相关差异度均值的概念，对K‑means算法初始聚类中心进行优化，实现对人体各部件类型的聚类，进而获取训练样本的隐藏变量；利用坐标下降法解决隐结构SVM问题，训练获取检测判别模型；在检测阶段，依据所构筑的人体树图结构、部件状态转移方程和离线训练模型，融合动态规划思想实现对测试样本特征金字塔的遍历，进而获取图像的全部人体检测结果，并利用非极大值抑制算法得到最终的检测包围盒。
Description
技术领域
本发明属于道路交通行人检测领域。结合改进的人体树图模型对人体各部分之间的共生及空间关系进行编码，涉及一种基于部件姿态估计算法的交通行人检测方法。
背景技术
近年来，由于汽车保有量与使用率的增加，交通事故的发生呈现逐年上升趋势。其中行人作为交通事故的主要受害者，保证其生命财产安全是智能车辆研究领域的重要课题。随着先进驾驶辅助系统(Advanced Driver Assistance Systems，ADAS)的有效应用，智能车辆在辅助驾驶及触险报警等方面的功能已经日趋完善。如何快速、准确的检测出行驶过程中的行人，有效提升驾驶系统的鲁棒性及安全性，为后续的车辆避障与路径规划提供可靠保障是智能车辆自主驾驶技术亟需解决的问题。
智能车辆行人检测技术属于机器视觉研究领域，目前的检测机制从提升系统鲁棒性和实时性的角度出发，主要围绕行人特征的描述性能、分类器的设计结构及判别能力，以及多姿态、多视角下的检测问题进行了研究。但是上述工作往往是将目标行人视为一个整体或是将人体划分为多个独立的部分进行训练，忽视了人体各部分之间的空间及共生关系，难以实现对行人姿态的准确判别，进而影响检测结果的准确度及包围盒对人体的覆盖率。
K-means作为一种动态聚类算法，能根据训练样本的类别对树执行剪枝进而实现对样本的分类，具有计算复杂度低、耗时短且聚类性能优良的特点。本发明在改进的部件树图模型基础上对人体各部分之间的空间关系和局部刚度进行描述，提出了一种离线训练、在线检测的交通环境行人检测方法。以训练样本的部件类型为隐藏变量，针对其在K-means聚类过程中对初始聚类中心存在较强依赖性的缺陷，采用基于数据空间分布的初始聚类中心选取方法，并将模型学习过程转化为解决结构化SVM问题，利用坐标下降法完成模型的训练。在检测阶段，利用动态规划思想求解状态转移方程获取不同尺度下的人体检测包围盒，通过非极大值抑制算法得到图像的最终行人检测结果。
发明内容
本发明的目的在于提供了一种准确且可靠的交通环境行人检测方法。
为实现上述目的，本发明采用的技术方案为基于人体树图模型的交通环境行人检测方法，从提高行人检测准确度及包围盒对人体的覆盖率角度出发，提出基于改进树图模型的行人检测方法。首先选取具有人体关节标注信息的数据集作为模型的训练样本，根据实际需要将标注关节点扩充为所需的人体部分，定义各个部件之间的父子关系，并将以父部件为原点获取的子部件相对位置作为K-means算法的数据输入；采用样本间的相对距离、样本相关差异度均值以及样本集总体相关差异度均值的概念，根据各个样本的差异度均值进行样本排序，依次选出初始聚类中心。选取依据为相关差异度均值较大，且与已选定聚类中心的距离均大于样本集的差异度均值，并通过设置各个部件的类型数量，得到相应的聚类结果，进而完成对训练集样本部件的类型标注；之后以样本的部件类型为隐藏变量，利用坐标下降法解决隐结构化SVM问题，训练获取检测判别模型；在检测阶段，依据所构筑的人体树图结构、部件状态转移方程和离线训练所得的模型，融合动态规划的思想实现对测试样本特征金字塔的遍历，进而获取某一图像的全部人体检测结果，并利用非极大值抑制算法获取最终的行人检测包围盒。
本方法的技术实现过程如下：
(1)训练样本预处理及部件类型聚类
利用隐结构SVM训练行人检测模型首先需要大量带有人体关节标注信息的数据集，如PennAction Dataset、sub-JHMDB Dataset、Image Parse Dataset和Buffy Dataset等。不同数据集定义的关节点对人体的覆盖率差别较大，涉及人体的上半身或全身，在实际应用过程中应根据行人检测场合及环境的需要选取恰当的模型训练数据集。通过对数据集中的关节点进行扩充以提高部件对人体的覆盖率，实现更加准确、完整的人体部件检测，进而获取更加精准的行人检测包围盒。训练样本预处理包括以下两个步骤：
步骤一，设数据集中人体关节标注信息为n×2的矩阵O，T为m×n的变换矩阵，则扩充后的人体部件信息为m×2的矩阵S，S＝T·O。n表示数据集中人体关节标注点个数，m表示扩充后的人体部件数量。
步骤二，对全部部件按照空间次序进行排序标号，构筑人体树图模型，令头部部件为模型的根节点，并依次定义部件之间的父子关系。
采用改进的K-means算法对人体各个部件的类型进行聚类，进而获取训练样本的隐藏变量，用于隐结构SVM的训练过程。
由于K-means算法是对其自身目标函数求解近似的局部最优解，并不能确信得到全局最优，因此聚类结果会随着初始聚类中心的不同发生较大偏差。样本与其所属聚类中心的相关差异度较小，与其它聚类中心的相关差异度较大。鉴于上述特点，在初始化聚类中心时，选择相关差异度大于样本集相关差异度均值的样本，并且聚类中心之间的相关差异度也应大于样本集的整体差异度均值。与标准K-means采用随机采样方式获取的聚类中心相比，采用改进的K-means算法更有利于得到好的聚类结果。具体聚类的步骤如下：
步骤一，设图片h中某一子部件与其父部件的相对位置为Ph，h∈{1,2,…,H}，H表示图片个数，且Ph均为二维向量。计算PA与任意PB的欧氏距离dAB，
其中,A、B∈{1,2,…,H}，且A≠B，PA＝[PA1,PA2]，PB＝[PB1,PB2]。
步骤二，依据步骤一计算全部dAB，并求解PA的相关差异度αA，如公式(2)所示。
步骤三，通过计算全部的αA，得出全部图片的相关差异度均值η：
步骤四，对全部的相关差异度进行排序，提取最大相关差异度αmax所对应的父子部件相对位置作为第1个初始聚类中心，并将当前最大相关差异度从排序中删除，得到新的相关差异度排序。
步骤五，提取出新的相关差异度排序中的αmax所对应的父子部件相对位置，若该相对位置与已选定的全部初始聚类中心的欧氏距离均大于相关差异度均值η，则将该父子部件相对位置视为第2个初始聚类中心，并将当前αmax从排序中删除；否则，直接删除当前的αmax，重复执行步骤五，直至选出全部的初始聚类中心。
步骤六，设第u个聚类集合Su的聚类中心为cu，则Su可由如下公式表示。其中Ph分配给Su的依据是，对于任意其它聚类中心cv均满足公式(4)中的成员属性，
其中cu、cv表示两个聚类中心，u、v∈{1,2,…,K}，K为聚类中心个数，即树图模型的部件类型数量，且u≠v。
步骤七，根据人体树图模型中部件类型的聚类结果，更新聚类中心：
步骤八，若迭代达到最大次数或者是相邻两代的差值小于设定的阈值时，运算结束，获取最终的部件类型聚类中心；否则重复步骤六。
(2)基于隐结构SVM的检测模型训练
结构化SVM是传统SVM分类器的扩展模型，其主要解决的问题往往包含较为丰富的结构信息，如树图模型、场景关联等。隐结构SVM则是在其基础上考虑了包含隐藏变量的情况，从而令原始的凸优化问题转变为了非凸，增加了模型优化的难度。本方法将数据集中带有人体标注信息的样本视为正样本，随机选取任意适当分辨率下不含行人的图像作为负样本，并以K-means聚类获取的正样本部件类型为隐藏变量，基于隐结构SVM框架训练行人检测模型。具体模型训练步骤如下：
步骤一，为构建树图结构的评分模型，定义一幅图像为I，图像中人体部件的像素位置为pi＝(x，y)，其中i∈{1,...,m}，。ti表示部件i的类型，ti∈{1,...,K}，是通过子部件与其父部件之间的位置关系进行定义的，这种位置关系的类型数量取决于训练时所设立的K-means聚类中心个数K。设t＝{t1,…,tK}，构建的人体树图G＝(V，E)，其中V表示人体树图的部件节点集合，E表示部件之间的关系集合，通过定义一个兼顾局部得分和父子部件得分的求和函数来计算部件得分，
其中，表示部件i属于某一种特定类型的支持度，表示部件i、j特定共生关系下的支持度，即视为偏置部分。通过如下公式计算图像中部件的类型及其位置的总得分：
其中，表示从图像I中的像素点位置pi提取的HOG特征向量，ψ(pi-pj)＝[dxdx2dy dy2]表示部件i对于部件j的相对位置，其中dx＝xi-xj，dy＝yi-yj。此外，为部件i在类型ti时的滤波器模板；表示部件i和j在特定类型组合下的滤波器模板，编码一对部件的静态位置关系和刚度信息，即为共生信息。
步骤二，将正样本集合表示为{Io，po，to}，负样本集合为{Io}，其中Io表示图像集合，po为相应的部件像素点集合，to为图像中人体的部件类型集合。令zo＝(po，to)，待训练的模型参数为β＝(w，b)，将公式(7)简写为线性函数的形式S(I，z)＝β·f(I，z)，则求解以下公式完成模型训练，
公式(8)的约束条件是正样本的得分应该高于1；负样本对于每个位置和类型的所有配置的得分都应该低于-1。ξo为松弛变量，便于在更大的可行域内求解。C为惩罚因子。
步骤三，采用坐标下降法求解上述二次规划问题，获取检测模型。
(3)基于树图模型与动态规划算法的行人检测
基于上述人体树图结构和离线训练所得的模型，结合动态规划的思想对不同尺度下的测试图像执行人体部件检测，利用非极大值抑制算法获取最优的部件包围盒，并通过合并全部的部件包围盒得到最终的行人检测结果。具体检测步骤如下：
步骤一，设金字塔总层数为θ，求解当前测试图像I的HOG特征金字塔。首先利用高斯金字塔对图形进行降采样，计算公式如下，
其中Gk(x,y)为第k层高斯金字塔图像，x、y为图像的像素坐标；G0为原始图像，作为金字塔的底层；q(e,g)＝q(g)·q(g)为高斯卷积核，q为高斯核函数。基于所得的θ层图像金字塔求取相应的HOG特征，获取测试图像的HOG特征金字塔。
步骤二，由于采用的部件模型是树形结构，因此检测图像人体部件的问题可以通过动态规划的思想解决。将公式(7)转化为动态规划算法的状态转移方程，如下所示，
其中kids(i)表示树图G中部件i的子部件集合。公式(10)融合了部件i的子部件信息，并计算i在所有像素位置pi及可能类型ti下的局部得分。公式(11)用于计算子部件i向父部件j传递的信息，包括父子部件之间的最大共生关系支持度、最大子部件得分和父子部件在特定类型组合下的滤波器模板与父子部件相对位置的卷积。
步骤三，对经过步骤二获取的不同图像尺度下的检测结果执行非极大值抑制算法，获取当前图像的最优人体部件检测，并针对全部部件包围盒坐标求取相应的xmax、xmin、ymax和ymin，完成对测试图像的行人检测任务。
附图说明
图1基于改进树图模型的行人检测流程图。
图2改进K-means聚类算法流程图。
图3全身及半身部件标注点构型示意图。
图4实际行人检测效果图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明在改进的树图模型基础上提出了一种高准确度的行人检测方法。针对部件类型聚类过程中K-means算法对初始聚类中心存在较强依赖性的缺陷，采用了基于数据空间分布获取初始聚类中心的策略，并以此为隐藏变量，利用隐结构SVM完成检测模型的训练；之后，依据树图模型定义相应的状态转移方程，基于动态规划算法思想及所训练的模型完成行人检测任务。所涉及的方法整体流程如附图1所示，具体实施过程分为以下步骤：
步骤一，在训练样本预处理阶段，考虑交通环境下距离车载摄像头较远的目标人体往往可以检测出全身，而距离较近时通常只能检测出半身，则依据实际需求，分别选取具有全身和半身标注的数据集。为提高检测包围盒对人体的覆盖率，设计变换矩阵对部件信息进行扩充，并增加镜像图像以保证训练时的正负样本平衡。
步骤二，完成对训练集样本部件的标号，并定义除头部以外全部部件的对应父部件。
步骤三，在部件类型聚类阶段，为了解决K-means算法对初始聚类中心存在较强依赖性的问题，选择相关差异度大于样本集相关差异度均值的样本，并且聚类中心之间的相关差异度也应大于样本集的整体差异度均值。依据公式(1)至公式(5)和图2(改进K-means聚类算法流程图)，获取人体各个部件的类型聚类结果。
步骤四，在模型训练阶段，根据公式(6)和公式(7)构筑的人体树图模型，利用步骤三所得的各部件类型聚类结果对训练集样本的部件类型进行标注，并以此为隐藏变量，基于隐结构SVM框架对行人检测模型进行训练。
步骤五，采用坐标下降法对公式(8)所示问题进行求解，获取检测模型。
步骤六，在行人检测阶段，利用公式(9)求解测试样本的图像金字塔，获取HOG特征金字塔。引入动态规划算法思想，将树图模型评分函数转化为检测所需的状态转移方程，如公式(10)和公式(11)所示。利用前文所述的各部件之间的父子关系，遵循子到父的传递规律求解出各个人体部件的当前状态信息，进而获取根部件的最终得分。
步骤七，对全部的根部件得分执行非极大值抑制算法，得到测试样本的最优检测评分。利用此结果对各个部件的位置进行检索，获取人体全身或半身的部件包围盒，计算全部包围盒的xmax、xmin、ymax和ymin信息，完成对测试图像的行人检测任务。
下面为本发明的在智能车辆系统中的一个应用实例。
选取Image Parse Dataset为人体全身检测的训练样本集，包含305张关节点标注准确且覆盖全身的人体图像。该数据集中预先标注的人体关节信息矩阵大小为14×2，本发明在其基础上利用26×14的变换矩阵对部件信息进行扩充，最终得到26×2的标注矩阵。对26个人体部件进行依次标号，定义其相应的父部件标号向量为F1＝[0 1 2 3 4 5 6 3 8 910 11 12 13 2 15 16 17 18 15 20 21 22 23 24 25]，头部部件为根部件，其父部件为0。选取Buffy Dataset为人体半身检测的训练样本集，该数据集标注了人体半身的10个关节点信息，本发明利用18×10的变换矩阵对其部件信息进行扩充，得到18×2的部件信息矩阵。定义父部件标号向量为F2＝[0 1 2 3 4 5 6 3 8 9 2 11 12 13 14 11 16 17]。详细的全身及半身部件标注点构型示意如图3所示，其中星号代表扩充的人体部件。
分别设置全身和半身人体模型的部件类型个数为4和6，采用本发明所提改进的K-means聚类算法得到相应的聚类中心。对2个数据集中的人体部件类型进行标注，作为隐结构SVM模型训练的隐藏变量，通过坐标下降法得到行人检测模型。在检测阶段，利用动态规划算法获取不同尺度下的部件检测包围盒，经过非极大值抑制算法得到图像的最终行人检测结果，实际行人检测效果如图4所示，检测完毕。
Claims (1)
1.基于人体树图模型的交通环境行人检测方法，其特征在于：
本方法的实现过程如下，
(1)训练样本预处理及部件类型聚类
利用隐结构SVM训练行人检测模型首先需要大量带有人体关节标注信息的数据集，不同数据集定义的关节点对人体的覆盖率差别较大，涉及人体的上半身或全身，在实际应用过程中应根据行人检测场合及环境的需要选取恰当的模型训练数据集；通过对数据集中的关节点进行扩充以提高部件对人体的覆盖率，实现更加准确、完整的人体部件检测，进而获取更加精准的行人检测包围盒；训练样本预处理包括以下两个步骤：
步骤一，设数据集中人体关节标注信息为n×2的矩阵O，T为m×n的变换矩阵，则扩充后的人体部件信息为m×2的矩阵S，S＝T·O；n表示数据集中人体关节标注点个数，m表示扩充后的人体部件数量；
步骤二，对全部部件按照空间次序进行排序标号，构筑人体树图模型，令头部部件为模型的根节点，并依次定义部件之间的父子关系；
采用改进的K-means算法对人体各个部件的类型进行聚类，进而获取训练样本的隐藏变量，用于隐结构SVM的训练过程；
在初始化聚类中心时，选择相关差异度大于样本集相关差异度均值的样本，并且聚类中心之间的相关差异度也应大于样本集的整体差异度均值；采用改进的K-means算法具体聚类的步骤如下：
步骤一，设图片h中某一子部件与其父部件的相对位置为Ph，h∈{1,2,…,H}，H表示图片个数，且Ph均为二维向量；计算PA与任意PB的欧氏距离dAB，
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>A</mi>
<mi>B</mi>
</mrow>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>A</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>B</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>A</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>B</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,A、B∈{1,2,…,H}，且A≠B，PA＝[PA1,PA2]，PB＝[PB1,PB2]；
步骤二，依据步骤一计算全部dAB，并求解PA的相关差异度αA，如公式(2)所示；
<mrow>
<msub>
<mi>&alpha;</mi>
<mi>A</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>B</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>B</mi>
<mo>&NotEqual;</mo>
<mi>A</mi>
</mrow>
<mi>H</mi>
</munderover>
<msub>
<mi>d</mi>
<mrow>
<mi>A</mi>
<mi>B</mi>
</mrow>
</msub>
</mrow>
<mi>H</mi>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤三，通过计算全部的αA，得出全部图片的相关差异度均值η：
<mrow>
<mi>&eta;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>A</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>H</mi>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>A</mi>
</msub>
</mrow>
<mi>H</mi>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤四，对全部的相关差异度进行排序，提取最大相关差异度αmax所对应的父子部件相对位置作为第1个初始聚类中心，并将当前最大相关差异度从排序中删除，得到新的相关差异度排序；
步骤五，提取出新的相关差异度排序中的αmax所对应的父子部件相对位置，若该相对位置与已选定的全部初始聚类中心的欧氏距离均大于相关差异度均值η，则将该父子部件相对位置视为第2个初始聚类中心，并将当前αmax从排序中删除；否则，直接删除当前的αmax，重复执行步骤五，直至选出全部的初始聚类中心；
步骤六，设第u个聚类集合Su的聚类中心为cu，则Su由如下公式表示；其中Ph分配给Su的依据是，对于任意其它聚类中心cv均满足公式(4)中的成员属性，
<mrow>
<msub>
<mi>S</mi>
<mi>u</mi>
</msub>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>P</mi>
<mi>h</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>P</mi>
<mi>h</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>u</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>&le;</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>P</mi>
<mi>h</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>v</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中cu、cv表示两个聚类中心，u、v∈{1,2,…,K}，K为聚类中心个数，即树图模型的部件类型数量，且u≠v；
步骤七，根据人体树图模型中部件类型的聚类结果，更新聚类中心：
<mrow>
<msub>
<mi>c</mi>
<mi>u</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<msub>
<mi>S</mi>
<mi>u</mi>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>P</mi>
<mi>h</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>S</mi>
<mi>u</mi>
</msub>
</mrow>
</munder>
<msub>
<mi>P</mi>
<mi>h</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤八，若迭代达到最大次数或者是相邻两代的差值小于设定的阈值时，运算结束，获取最终的部件类型聚类中心；否则重复步骤六；
(2)基于隐结构SVM的检测模型训练
结构化SVM是传统SVM分类器的扩展模型，隐结构SVM则是在其基础上考虑了包含隐藏变量的情况，从而令原始的凸优化问题转变为了非凸，增加了模型优化的难度；本方法将数据集中带有人体标注信息的样本视为正样本，随机选取任意适当分辨率下不含行人的图像作为负样本，并以K-means聚类获取的正样本部件类型为隐藏变量，基于隐结构SVM框架训练行人检测模型；具体模型训练步骤如下：
步骤一，为构建树图结构的评分模型，定义一幅图像为I，图像中人体部件的像素位置为pi＝(x，y)，其中i∈{1,...,m}，；ti表示部件i的类型，ti∈{1,...,K}，是通过子部件与其父部件之间的位置关系进行定义的，这种位置关系的类型数量取决于训练时所设立的K-means聚类中心个数K；设t＝{t1,…,tK}，构建的人体树图G＝(V，E)，其中V表示人体树图的部件节点集合，E表示部件之间的关系集合，通过定义一个兼顾局部得分和父子部件得分的求和函数来计算部件得分，
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>V</mi>
</mrow>
</munder>
<msubsup>
<mi>b</mi>
<mi>i</mi>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
</msubsup>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</munder>
<msubsup>
<mi>b</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示部件i属于某一种特定类型的支持度，表示部件i、j特定共生关系下的支持度，即视为偏置部分；通过如下公式计算图像中部件的类型及其位置的总得分：
其中，表示从图像I中的像素点位置pi提取的HOG特征向量，ψ(pi-pj)＝[dx dx2dy dy2]表示部件i对于部件j的相对位置，其中dx＝xi-xj，dy＝yi-yj；此外，为部件i在类型ti时的滤波器模板；表示部件i和j在特定类型组合下的滤波器模板，编码一对部件的静态位置关系和刚度信息，即为共生信息；
步骤二，将正样本集合表示为{Io，po，to}，负样本集合为{Io}，其中Io表示图像集合，po为相应的部件像素点集合，to为图像中人体的部件类型集合；令zo＝(po，to)，待训练的模型参数为β＝(w，b)，将公式(7)简写为线性函数的形式S(I，z)＝β·f(I，z)，则求解以下公式完成模型训练，
<mrow>
<mtable>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mrow>
<mi>w</mi>
<mo>,</mo>
<msub>
<mi>&xi;</mi>
<mi>o</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</munder>
</mrow>
</mtd>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>&beta;</mi>
<mo>&CenterDot;</mo>
<mi>&beta;</mi>
<mo>+</mo>
<mi>C</mi>
<munder>
<mi>&Sigma;</mi>
<mi>o</mi>
</munder>
<msub>
<mi>&xi;</mi>
<mi>o</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>o</mi>
<mo>&Element;</mo>
<mi>p</mi>
<mi>o</mi>
<mi>s</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>&beta;</mi>
<mo>&CenterDot;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>I</mi>
<mi>o</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>o</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>&xi;</mi>
<mi>o</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>o</mi>
<mo>&Element;</mo>
<mi>n</mi>
<mi>e</mi>
<mi>g</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>z</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>&beta;</mi>
<mo>&CenterDot;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>I</mi>
<mi>o</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>o</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>&le;</mo>
<mo>-</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>&xi;</mi>
<mi>o</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(8)的约束条件是正样本的得分应该高于1；负样本对于每个位置和类型的所有配置的得分都应该低于-1；ξo为松弛变量，便于在更大的可行域内求解；C为惩罚因子；
步骤三，采用坐标下降法求解上述二次规划问题，获取检测模型；
(3)基于树图模型与动态规划算法的行人检测
基于上述人体树图结构和离线训练所得的模型，结合动态规划的思想对不同尺度下的测试图像执行人体部件检测，利用非极大值抑制算法获取最优的部件包围盒，并通过合并全部的部件包围盒得到最终的行人检测结果；具体检测步骤如下：
步骤一，设金字塔总层数为θ，求解当前测试图像I的HOG特征金字塔；首先利用高斯金字塔对图形进行降采样，计算公式如下，
<mrow>
<msub>
<mi>G</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>e</mi>
<mo>=</mo>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mn>2</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>g</mi>
<mo>=</mo>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mn>2</mn>
</munderover>
<mi>q</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>,</mo>
<mi>g</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>G</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mi>x</mi>
<mo>+</mo>
<mi>e</mi>
<mo>,</mo>
<mn>2</mn>
<mi>y</mi>
<mo>+</mo>
<mi>g</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Gk(x,y)为第k层高斯金字塔图像，x、y为图像的像素坐标；G0为原始图像，作为金字塔的底层；q(e,g)＝q(g)·q(g)为高斯卷积核，q为高斯核函数；基于所得的θ层图像金字塔求取相应的HOG特征，获取测试图像的HOG特征金字塔；
步骤二，由于采用的部件模型是树形结构，因此检测图像人体部件的问题通过动态规划的思想解决；将公式(7)转化为动态规划算法的状态转移方程，如下所示，
<mrow>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
</munder>
<msubsup>
<mi>b</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</msubsup>
<mo>+</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
</munder>
<mi>s</mi>
<mi>c</mi>
<mi>o</mi>
<mi>r</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</msubsup>
<mo>&CenterDot;</mo>
<mi>&psi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中kids(i)表示树图G中部件i的子部件集合；公式(10)融合了部件i的子部件信息，并计算i在所有像素位置pi及可能类型ti下的局部得分；公式(11)用于计算子部件i向父部件j传递的信息，包括父子部件之间的最大共生关系支持度、最大子部件得分和父子部件在特定类型组合下的滤波器模板与父子部件相对位置的卷积；
步骤三，对经过步骤二获取的不同图像尺度下的检测结果执行非极大值抑制算法，获取当前图像的最优人体部件检测，并针对全部部件包围盒坐标求取相应的xmax、xmin、ymax和ymin，完成对测试图像的行人检测任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710336956.2A CN107194338A (zh) | 2017-05-14 | 2017-05-14 | 基于人体树图模型的交通环境行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710336956.2A CN107194338A (zh) | 2017-05-14 | 2017-05-14 | 基于人体树图模型的交通环境行人检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107194338A true CN107194338A (zh) | 2017-09-22 |
Family
ID=59873463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710336956.2A Pending CN107194338A (zh) | 2017-05-14 | 2017-05-14 | 基于人体树图模型的交通环境行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194338A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609541A (zh) * | 2017-10-17 | 2018-01-19 | 哈尔滨理工大学 | 一种基于可变形卷积神经网络的人体姿态估计方法 |
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN108647663A (zh) * | 2018-05-17 | 2018-10-12 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
| CN109407665A (zh) * | 2018-09-28 | 2019-03-01 | 浙江大学 | 一种小型半自动无人驾驶配送车及配送路径规划方法 |
| CN110390660A (zh) * | 2018-04-16 | 2019-10-29 | 北京连心医疗科技有限公司 | 一种医学图像危及器官自动分类方法、设备和储存介质 |
| CN111738174A (zh) * | 2020-06-25 | 2020-10-02 | 中国科学院自动化研究所 | 基于深度解耦的人体实例解析方法、系统 |
| CN113592814A (zh) * | 2021-07-30 | 2021-11-02 | 深圳大学 | 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法 |
| CN113627220A (zh) * | 2020-05-09 | 2021-11-09 | 上海汽车集团股份有限公司 | 一种电动尾门的开启控制方法及装置 |
| US11348275B2 (en) | 2017-11-21 | 2022-05-31 | Beijing Sensetime Technology Development Co. Ltd. | Methods and apparatuses for determining bounding box of target object, media, and devices |
| WO2022144607A1 (en) * | 2020-12-31 | 2022-07-07 | Sensetime International Pte. Ltd. | Methods, devices, electronic apparatuses and storage media of image processing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102646199A (zh) * | 2012-02-29 | 2012-08-22 | 湖北莲花山计算机视觉和信息科学研究院 | 复杂场景中的车型识别方法 |
| CN103064086A (zh) * | 2012-11-04 | 2013-04-24 | 北京工业大学 | 一种基于深度信息的车辆跟踪方法 |
-
2017
- 2017-05-14 CN CN201710336956.2A patent/CN107194338A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102646199A (zh) * | 2012-02-29 | 2012-08-22 | 湖北莲花山计算机视觉和信息科学研究院 | 复杂场景中的车型识别方法 |
| CN103064086A (zh) * | 2012-11-04 | 2013-04-24 | 北京工业大学 | 一种基于深度信息的车辆跟踪方法 |
Non-Patent Citations (6)
| Title |
|---|
| XIA FANGTING: ""Pose-Guided Human Semantic Part Segmentation"", 《HTTPS://ESCHOLARSHIP.ORG/UC/ITEM/34R7T3D3》 * |
| YANG YI等: ""Articulated Human Pose Estimation with Flexible Mixtures of Parts"", 《DISSERTATION OF DOCTOR OF UNIVERSITY OF CALIFORNIA》 * |
| YI YANG等: ""Articulated human detection with flexible mixture of parts"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| YI YANG等: ""Articulated pose estimation with flexible mixtures-of-parts"", 《CVPR 2011》 * |
| 周福送等: ""基于强监督部件模型的遥感图像目标检测"", 《计算机应用》 * |
| 李武等: ""基于平均差异度优选初始聚类中心的改进K均值聚类算法"", 《控制与决策》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609541A (zh) * | 2017-10-17 | 2018-01-19 | 哈尔滨理工大学 | 一种基于可变形卷积神经网络的人体姿态估计方法 |
| CN107609541B (zh) * | 2017-10-17 | 2020-11-10 | 哈尔滨理工大学 | 一种基于可变形卷积神经网络的人体姿态估计方法 |
| US11348275B2 (en) | 2017-11-21 | 2022-05-31 | Beijing Sensetime Technology Development Co. Ltd. | Methods and apparatuses for determining bounding box of target object, media, and devices |
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN110390660A (zh) * | 2018-04-16 | 2019-10-29 | 北京连心医疗科技有限公司 | 一种医学图像危及器官自动分类方法、设备和储存介质 |
| CN108647663A (zh) * | 2018-05-17 | 2018-10-12 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN108647663B (zh) * | 2018-05-17 | 2021-08-06 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
| CN109407665A (zh) * | 2018-09-28 | 2019-03-01 | 浙江大学 | 一种小型半自动无人驾驶配送车及配送路径规划方法 |
| CN113627220A (zh) * | 2020-05-09 | 2021-11-09 | 上海汽车集团股份有限公司 | 一种电动尾门的开启控制方法及装置 |
| CN111738174A (zh) * | 2020-06-25 | 2020-10-02 | 中国科学院自动化研究所 | 基于深度解耦的人体实例解析方法、系统 |
| CN111738174B (zh) * | 2020-06-25 | 2022-09-20 | 中国科学院自动化研究所 | 基于深度解耦的人体实例解析方法、系统 |
| WO2022144607A1 (en) * | 2020-12-31 | 2022-07-07 | Sensetime International Pte. Ltd. | Methods, devices, electronic apparatuses and storage media of image processing |
| CN113592814A (zh) * | 2021-07-30 | 2021-11-02 | 深圳大学 | 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法 |
| CN113592814B (zh) * | 2021-07-30 | 2023-04-07 | 深圳大学 | 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194338A (zh) | 基于人体树图模型的交通环境行人检测方法 | |
| US11200685B2 (en) | Method for three-dimensional human pose estimation | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
| CN104978580B (zh) | 一种用于无人机巡检输电线路的绝缘子识别方法 | |
| CN104914870B (zh) | 基于岭回归超限学习机的户外机器人局部路径规划方法 | |
| CN110335337A (zh) | 一种基于端到端半监督生成对抗网络的视觉里程计的方法 | |
| CN105631861B (zh) | 结合高度图从无标记单目图像中恢复三维人体姿态的方法 | |
| CN102880866B (zh) | 一种人脸特征提取方法 | |
| CN104268862B (zh) | 一种自主车三维地形可通行性分析方法 | |
| CN105787439A (zh) | 一种基于卷积神经网络的深度图像人体关节定位方法 | |
| CN102968643B (zh) | 一种基于李群论的多模态情感识别方法 | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN104463191A (zh) | 一种基于注意机制的机器人视觉处理方法 | |
| CN107423730A (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| CN104933417A (zh) | 一种基于稀疏时空特征的行为识别方法 | |
| CN103268500B (zh) | 一种对行走状态变化具有鲁棒性的步态识别方法 | |
| CN105844663A (zh) | 一种自适应orb目标跟踪方法 | |
| CN105389569A (zh) | 一种人体姿态估计方法 | |
| CN101777116A (zh) | 一种基于动作跟踪的脸部表情分析方法 | |
| CN102915039A (zh) | 一种仿动物空间认知的多机器人联合目标搜寻方法 | |
| CN110197152A (zh) | 一种用于自动驾驶系统的道路目标识别方法 | |
| CN110244734A (zh) | 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法 | |
| CN106934380A (zh) | 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法 | |
| CN106203261A (zh) | 基于svm和surf的无人车野外水体检测与跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170922 |
|
| RJ01 | Rejection of invention patent application after publication |