CN109766796B - 一种面向密集人群的深度行人检测方法 - Google Patents

Abstract

本发明属于图像及视频处理技术领域，尤其为一种面向密集人群的深度行人检测方法，包括以下几个步骤：采用基于全局特征的卷积神经网络提取图像中行人候选框，根据置信分数和相互交叠程度，从中定位人群图像区域，并选择出较可靠独立行人和非独立行人目标；对人群区域图像进行自适应尺度变换后合并成一幅紧凑人群图像，采用基于局部特征的自底向上卷积神经网络提取人群中的行人关键点集；检测并排除虚假行人关键点后定位行人，与非独立行人目标进行比较分析后得到人群中的行人检测结果。本发明，在基于全局特征的深度行人检测基础上，定位人群图像区域，采用基于行人关键点的自底向上深度行人检测方法，避免了对非极大值抑制类方法和技术的依赖，并综合了两类深度行人检测方法的优势，从而提高密集人群中行人检测的准确性和定位精度。

Description

一种面向密集人群的深度行人检测方法

技术领域

本发明属于图像及视频处理技术领域，具体涉及一种面向密集人群的深度行人检测方法。

背景技术

目标检测的任务是从图像或视频中检测和定位特定种类目标，是计算机视觉领域的核心问题之一。行人检测是目标检测的重要分支，该技术可与行人跟踪，行人重识别等技术结合，广泛应用于车辆辅助驾驶系统、智能视频监控和人体行为分析等领域。由于行人兼具刚性和柔性物体的特性，外观易受穿着、尺度、姿态、视角和遮挡等影响，使得行人检测成为计算机视觉领域中一个极具挑战性的课题。

近年来，深度神经网络模型如RCNN、YOLO、SSD等凭借大规模数据和强大的端到端学习能力，能够较好地学习图像中行人的不变特征，显著提高行人检测的准确性。深度神经网络模型通常在行人目标附近获得稠密的行人候选框，然后采用非极大值抑制方法或类似手段消除多余候选框并最终确定行人目标图像区域。非极大值抑制的结果与行人候选框之间的交并比阈值IoU(Intersection over Union)设置有关，在密集人群情况下，行人间距小且存在严重的相互遮挡，过低的IoU阈值会带来行人漏检，而过高的IoU阈值则易造成虚警，因此，密集人群中的行人检测仍然是一个亟待解决的问题。

本发明的目的在于改善上述现有技术存在的缺陷，提出一种面向密集人群的深度行人检测方法，该方法在基于全局特征的深度行人检测基础上，定位人群图像区域，采用基于行人关键点的自底向上深度行人检测方法，避免了对非极大值抑制类方法和技术的依赖，并综合了两类深度行人检测方法的优势，从而提高密集人群中行人检测的准确性和定位精度。

发明内容

为解决上述背景技术中提出的问题。本发明提供了一种面向密集人群的深度行人检测方法，具有能够提高密集人群中行人检测的准确性和定位精度的特点。

为实现上述目的，本发明提供如下技术方案：一种面向密集人群的深度行人检测方法，包括以下几个步骤：

S1、采用基于全局特征的卷积神经网络提取图像中行人候选框，合并相互交叠程度大于给定阈值的候选框形成若干个大人群图像区域候选框；对原行人候选框使用非极大值抑制方法进行过滤，选择出高置信分数行人检测框；将高置信分数行人检测框与人群候选框进行比较分析，确定人群图像区域；根据行人与人群区域的关系，将高置信分数行人检测框划分为独立行人和非独立行人；

S2、根据所包含非独立行人及行人候选框个数，对每一人群区域图像进行自适应尺度变换，对大尺度人群区域图像块进行图像自适应下采样，对小尺度人群区域图像块进行图像自适应超分辨率；将尺度调整后的人群图像块合并成一幅紧凑人群图像，新图像中人群图像块之间不相连通；采用基于局部特征的自底向上卷积神经网络提取人群中行人的关键点集；将关键点坐标映射到原图像后得到人群中每一行人的关键点集；

S3、检测并排除虚假行人关键点后定位行人，并与非独立行人目标进行比较分析后确定人群中的行人目标，与独立行人目标一起构成最终行人检测结果。

优选的，所述S1步骤中，对于一幅任意大小的图像，采用基于全局特征的卷积神经网络提取图像中的行人候选框，为提高效率同时避免漏检，设置低置信分数阈值，筛选出若干行人候选框P＝[p₁,p₂,…,p_i,…]；

对稠密候选框P进行合并得到图像区域A＝[a₁,a₂,…,a_i,…]，即合并相互交并比IoU大于给定阈值的候选框，此时选择低IoU阈值，使图像区域a_i包含第i个人群中的所有行人；

对原稠密候选框P采用非极大值抑制方法，得到高置信分数的可靠非极大值抑制检测框N＝[n₁,n₂,…,n_i,…]；

将非极大值抑制检测框N与图像区域A进行比较分析，将N划分为独立行人目标和非独立行人目标，同时从A中选择出人群图像区域G＝[g₁,g₂,…,g_i,…]。

优选的，所述S2的步骤的中，为兼顾计算效率和准确性，根据所包含的非独立行人及行人候选框个数，对人群区域图像块进行自适应尺度调整，即对大尺度人群区域图像块进行图像自适应下采样，对小尺度人群区域图像块进行图像自适应超分辨率；

将所有经过自适应尺度调整的人群区域图像块合并成一幅紧凑人群图像，在新图像中人群区域图像块之间应保持一定的安全距离，避免跨区域行人检测；

将人群图像输入到基于局部特征的自底向上卷积神经网络提取行人关键点，将关键点位置坐标映射到原图像后得到人群中每一行人的关键点集。

优选的，所述S3的步骤中，先根据检测到的关键点和关键点间的位置关系，将行人图像划分为正向、背向、左侧身和右侧身四个类别，再按类别根据关键点置信分数和相互位置关系检测并排除虚假行人关键点；

利用每一类行人较可靠关键点位置和间距信息估计行人检测框；将得到的行人检结果与非独立行人目标进行比较分析，确定人群中每一行人的位置信息；

最后，与S1所得独立行人目标合并，构成所提面向密集人群的深度行人检测方法的行人检测结果。

与现有技术相比，本发明的有益效果是：

本发明，在基于全局特征的深度行人检测基础上，定位人群图像区域，采用基于行人关键点的自底向上深度行人检测方法，避免了对非极大值抑制类方法和技术的依赖，并综合了两类深度行人检测方法的优势，从而提高密集人群中行人检测的准确性和定位精度。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明面向密集人群的深度行人检测方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1，本发明提供以下技术方案：一种面向密集人群的深度行人检测方法，包括以下几个步骤：

S1、采用基于全局特征的卷积神经网络提取图像中行人候选框，合并相互交叠程度大于给定阈值的候选框形成若干个大人群图像区域候选框；对原行人候选框使用非极大值抑制方法进行过滤，选择出高置信分数行人检测框；将高置信分数行人检测框与人群候选框进行比较分析，确定人群图像区域；根据行人与人群区域的关系，将高置信分数行人检测框划分为独立行人和非独立行人；

S2、根据所包含非独立行人及行人候选框个数，对每一人群区域图像进行自适应尺度变换，对大尺度人群区域图像块进行图像自适应下采样，对小尺度人群区域图像块进行图像自适应超分辨率；将尺度调整后的人群图像块合并成一幅紧凑人群图像，新图像中人群图像块之间不相连通；采用基于局部特征的自底向上卷积神经网络提取人群中行人的关键点集；将关键点坐标映射到原图像后得到人群中每一行人的关键点集；

S3、检测并排除虚假行人关键点后定位行人，并与非独立行人目标进行比较分析后确定人群中的行人目标，与独立行人目标一起构成最终行人检测结果。

具体的，所述S1步骤中，对任意大小的一幅图像，采用基于全局特征的卷积神经网络提取图像中的行人预测候选框，为提高效率同时避免漏检，设置低置信分数阈值如0.3，保留置信分数大于阈值的行人预测候选框P＝[p₁,p₂,…,p_i,…]；

对稠密的候选框P进行合并得到若干图像区域A＝[a₁,a₂,…,a_i,…]，即合并相互交并比大于给定阈值的候选框，此时选择低IoU阈值如0.15，使图像区域a_i包含第i个人群中的所有行人；

对原稠密候选框P采用非极大值抑制方法从中去除多数低置信分数候选框，如当候选框之间的交并比IoU大于给定阈值时只保留置信分数最高的候选框，得到可靠的非极大值抑制检测框N＝[n₁,n₂,…,n_i,…]；

将非极大值抑制检测框N与图像区域A进行比较分析，将N划分为独立行人和非独立行人两类目标，同时从A中选择出人群图像区域G＝[g₁,g₂,…,g_i,…]。当某个图像区域a包含多个非极大值抑制检测框时，或者当某个图像区域a与其包含的唯一非极大值抑制检测框的面积比大于给定阈值时，将该图像区域a视为一个人群图像区域g。最后，不被任何人群图像区域g包含的非极大值抑制检测框被归类为独立行人目标，否则被归类为非独立行人目标。

具体的，所述S2的步骤的中，为兼顾计算效率和准确性，根据所包含的非独立行人及行人候选框个数，对人群区域图像块g进行自适应尺度调整，即对大尺度人群区域图像块进行图像自适应下采样，对小尺度人群区域图像块进行图像自适应超分辨率；

将所有经过自适应尺度调整的人群区域图像块合并成一幅紧凑人群图像，在新图像中人群区域图像块之间不相连通，避免跨区域行人检测；

将人群图像输入到基于局部特征的自底向上卷积神经网络提取行人关键点，包括左耳、右耳、左眼、右眼、鼻、颈、左肩、右肩、左肘、右肘、左手、右手、左臀、右臀、左膝、右膝、左脚和右脚等关键点，然后将关键点位置坐标映射到原图像，得到每一行人的关键点集。

具体的，所述S3的步骤中，因基于局部特征即行人关键点的自底向上深度行人检测方法在低分辨率人群和复杂背景情况下，易将虚假关键点错误地归类到某一行人，将影响行人定位的准确性，先根据检测到的关键点和关键点间的位置关系，将行人图像划分为正向、背向、左侧身和右侧身四个类别，对于正向行人，以颈-鼻、颈-左肩、颈-右肩、左肩-左肘、右肩-右肘、颈-左臀、颈-右臀等7对关键点间距作为参考值，检测并去除虚假关键点；对于背向行人，以颈-左耳、颈-右耳、颈-左肩、颈-右肩、左肩-左肘、右肩-右肘、颈-左臀、颈-右臀等8对关键点间距作为参考值，检测并去除虚假关键点；对于左或右侧身行人，以颈-左耳或右耳、颈-左肩或右肩、颈-左臀或右臀、左肩-左肘或右肩-右肘等4对关键点间距作为参考值，检测并去除虚假关键点；

再根据行人可靠关键点位置和间距离信息估计人群中行人检测框。对于每一行人目标，除了手和脚4个肢体末端关键点之外，根据由其余可见关键点构成的肢体(或如颈-鼻、颈-臀等虚拟肢体)长度进行加权求和得到一个基准长度指标，使用基准长度指标和部分可靠关键点来估计行人矩形检测框的上下和左右边界。例如，监控摄像机通常从高处俯瞰地面，对于正向行人，如果能够检测到鼻和左右膝盖，则结合颈-鼻和颈-左膝、颈-右膝长度和基准长度来估计矩形框的上边界和下边界，以降低摄像机仿射变换带来的影响；对于背对向摄像机行人，尤其是长发女性，常无法检测到鼻、左右眼和左右耳等头部关键点，行人检测框的上边界仅依靠基准长度来估计；

根据关键点信息能够获得人群中的行人目标和位置信息C＝[c₁,c₂,…,c_i,…]，但当人群中行人相互遮挡严重且图像分辨率比较低时，基于局部特征的卷积神经网络行人检测方法可能漏检密集人群中的行人，而基于全局特征的卷积神经网络行人检测方法利用行人全局图像特征有可能检测到这类非独立行人，因此，将基于关键点的行人检测结果与S1步骤所得非独立行人目标进行比较分析，将在S3步骤中未被检测到的非独立行人作为人群中行人检测结果的一部分。示例性地，在每一人群图像区域g内，选择出与基于关键点局部特征得到的所有检测框的IoU均低于给定阈值的非独立行人目标，若其置信分数大于给定阈值，则可认为该非独立行人目标是被基于局部特征方法漏检的真实行人，将这部分由S1步骤所得非独立行人和独立行人目标，以及基于局部特征方法得到的行人目标作为所提面向密集人群的深度行人检测方法的检测结果。

本发明的工作原理及使用流程：本发明首先采用基于全局特征的卷积神经网络提取图像中行人候选框，根据置信分数和相互交叠程度，从中定位人群图像区域，并选择出较可靠独立行人和非独立行人目标。对于一幅任意大小的图像，采用基于全局特征的卷积神经网络提取图像中的行人预选框，为提高效率同时避免漏检，设置低置信分数阈值如0.3，保留置信分数大于阈值的行人预测候选框P＝[p₁,p₂,…,p_i,…]；对稠密的候选框P进行合并得到若干图像区域A＝[a₁,a₂,…,a_i,…]，即合并相互交并比大于给定阈值的候选框，此时选择低IoU阈值如0.15，使得图像区域a_i包含第i个人群中的所有行人。

对原稠密候选框P采用非极大值抑制方法从中去除多数低置信分数候选框，如当候选框之间的交并比大于给定阈值时只保留置信分数最高的候选框，得到可靠的非极大值抑制检测框N＝[n₁,n₂,…,n_i,…]；将非极大值抑制检测框N与图像区域A进行比较分析，将N划分为独立行人和非独立行人两类目标，同时从A中选择出人群图像区域G＝[g₁,g₂,…,g_i,…]。示例性地，当某个图像区域a包含多个非极大值抑制检测框时，或者当某个图像区域a与其包含的唯一非极大值抑制检测框的面积比大于给定阈值时，将该图像区域a视为一个人群图像区域g。最后，不被任何人群图像区域g包含的非极大值抑制检测框被归类为独立行人目标，否则被归类为非独立行人目标。

其次，对人群区域图像进行自适应尺度变换后合并成一幅紧凑人群图像，采用基于局部特征的自底向上卷积神经网络提取人群中每一行人的关键点集。根据所包含的非独立行人及行人候选框个数，对人群区域图像块进行自适应尺度调整，即对大尺度人群区域图像块进行图像自适应下采样，对小尺度人群区域图像块进行图像自适应超分辨率；将所有经过自适应尺度调整的人群区域图像块合并成一幅紧凑人群图像，在新图像中人群区域图像块之间不相互连通，避免跨区域行人检测。

将人群图像输入到基于局部特征的自底向上卷积神经网络提取行人关键点，包括左耳、右耳、左眼、右眼、鼻、颈、左肩、右肩、左肘、右肘、左手、右手、左臀、右臀、左膝、右膝、左脚和右脚等关键点，然后将关键点位置坐标映射到原图像，得到每一行人的关键点集。

最后，检测并排除虚假行人关键点后定位行人，并与非独立行人目标进行比较分析后确定人群中的行人目标，与独立行人目标构成最终行人检测结果。先根据检测到的关键点和关键点间的位置关系，将行人图像划分为正向、背向、左侧身和右侧身四个类别，对于正向行人，以颈-鼻、颈-左肩、颈-右肩、左肩-左肘、右肩-右肘、颈-左臀、颈-右臀等7对关键点间距作为参考值，检测并去除虚假关键点；对于背向行人，以颈-左耳、颈-右耳、颈-左肩、颈-右肩、左肩-左肘、右肩-右肘、颈-左臀、颈-右臀等8对关键点间距作为参考值，检测并去除虚假关键点。

对于左或右侧身行人，以颈-左耳或右耳、颈-左肩或右肩、颈-左臀或右臀、左肩-左肘或右肩-右肘等4对关键点间距作为参考值，检测并去除虚假关键点；再根据行人较可靠关键点位置和间距离信息估计人群中行人检测框。对于每一行人目标，除了手和脚4个肢体末端关键点之外，根据由其余可见关键点构成的肢体(或如颈-鼻、颈-臀等虚拟肢体)长度进行加权求和得到一个基准长度指标，使用基准长度指标和部分可靠关键点来估计行人矩形检测框的上下和左右边界。例如，监控摄像机通常从高处俯瞰地面，对于正向行人，如果能够检测到鼻和左右膝盖，则结合颈-鼻和颈-左膝、颈-右膝长度和基准长度来估计矩形框的上边界和下边界，以降低摄像机仿射变换带来的影响；对于背对向摄像机行人，尤其是长发女性，常无法检测到鼻、左右眼和左右耳等头部关键点，行人检测框的上边界仅依靠基准长度来估计；将基于关键点的行人检测结果与S1步骤所得非独立行人目标进行比较分析，将在S3步骤中未被检测到的非独立行人作为人群中行人检测结果的一部分。示例性地，在每一人群图像区域g内，选择出与基于关键点局部特征得到的所有检测框的IoU均低于给定阈值的非独立行人目标，若其置信分数大于给定阈值，则可认为该非独立行人目标是被基于局部特征方法漏检的真实行人，将这部分由S1步骤所得非独立行人和独立行人目标，以及基于局部特征方法得到的行人目标作为所提面向密集人群的深度行人检测方法的检测结果。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种面向密集人群的深度行人检测方法，其特征在于：包括以下几个步骤：

S1、采用基于全局特征的卷积神经网络提取图像中行人候选框，合并相互交叠程度大于给定阈值的候选框形成若干个大人群图像区域候选框；对原行人候选框使用非极大值抑制方法进行过滤，选择出高置信分数行人检测框；将高置信分数行人检测框与人群候选框进行比较分析，确定人群图像区域；根据行人与人群区域的关系，将高置信分数行人检测框划分为独立行人和非独立行人；

S2、根据所包含非独立行人及行人候选框个数，对每一人群区域图像进行自适应尺度变换，对大尺度人群区域图像块进行图像自适应下采样，对小尺度人群区域图像块进行图像自适应超分辨率；将尺度调整后的人群图像块合并成一幅紧凑人群图像，新图像中人群图像块之间不相连通；采用基于局部特征的自底向上卷积神经网络提取人群中行人的关键点集；将关键点坐标映射到原图像后得到人群中每一行人的关键点集；

S3、检测并排除虚假行人关键点后定位行人，与非独立行人目标进行比较分析后确定人群中的行人目标，与独立行人目标一起构成最终行人检测结果。

2.根据权利要求1所述的一种面向密集人群的深度行人检测方法，其特征在于：所述S3的步骤中，

先根据检测到的关键点和关键点间的位置关系，将行人图像划分为正向、背向、左侧身和右侧身四个类别，再按类别根据关键点置信分数和相互位置关系检测并排除虚假行人关键点；

利用每一类行人可靠关键点位置和间距信息估计行人检测框；将得到的行人检测结果与非独立行人目标进行比较分析，确定人群中每一行人的位置信息；

最后，与S1所得独立行人目标合并，构成所提面向密集人群的深度行人检测方法的行人检测结果。

Images