CN114332683A - 一种基于深度学习自动选择区域的行人检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习自动选择区域的行人检测方法及装置，该方法包括：步骤1，采集待检测场景图像，形成样本集；步骤2，对图像进行预处理；步骤3，选取深度学习图像分割模型，对样本集进行训练，得到可用于行人区域分割的模型。步骤4，运用训练好的深度学习图像分割模型，截取实际应用场景的图像，进行行人区域分割，使用轮廓检测算法从所述二值化图中提取步骤3中的白色部分区域并保存，对该场景进行多次分割，提取每次分割均出现的行人区域范围。步骤5，与行人检测算法结合，采用行人检测模型，在执行行人检测模型时，在非极大值抑制过程中设定重叠范围阈值去除与步骤4提取的行人区域范围重叠较小和没有重叠的预测框，再对剩余的框进行非极大值抑制计算，得到区域内行人检测框结果。通过深度学习图像分割模型自动划出行人范围，降低后续确定行人区域的计算量。然后运用深度学习模型检测行人，并且根据分割好的区域进一步优化行人框，大大提高检测准确率。

Description

一种基于深度学习自动选择区域的行人检测方法及装置

技术领域

本发明涉及计算机视觉和深度学习研究领域，具体涉及一种基于深度学习自动选择区域的行人检测方法及装置。

背景技术

随着我国人工智能不断普及,行人检测技术在各大领域都有应用，极大地提升了智慧安防、智慧交通等可靠性。不同于传统检测算法，深度学习行人检测有着更高的准确率、鲁棒性。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：常规的深度学习检测算法是对整张图像进行检测，需要对行人区域框进行大量的计算，不仅容易出现非行人的误检，也增大了行人检测的计算成本。通过装置中加装红外传感器，使得行人在图像上能够与背景很好的区分开，但这种装置成本高，对外部热环境和信号的稳定性要求比较高。手动画出行人区域，对范围进行限制，这种方法虽然可以降低检测的复杂程度，但手动划定区域存在误差大、耗费人力等问题。通过采用多级特征融合模型和SVM对候选区域进行分类，用于加速训练时间和提升准确性，这种模型的准确率较低，且需要对每次检测做相关操作，增加了计算负担。

发明内容

为了克服现有技术的不足，本发明提供了一种基于深度学习自动选择区域的行人检测方法及装置，通过深度学习图像分割模型自动划出行人范围，降低后续确定行人区域的计算量。然后运用深度学习模型检测行人，并且根据分割好的区域进一步优化行人框，大大提高检测准确率。技术方案如下：

本发明提供了一种基于深度学习自动选择区域的行人检测方法，该方法包括如下步骤：

步骤1，采集待检测场景图像，形成样本集；

具体为：从1080p监控摄像头中获得视频，分别从一天不同光照条件下的视频中截取一定量的图像作为样本集，对样本集进行标注，标注出可能出现行人的区域；标注时需要尽可能地标出所有可能出现行人的区域。

步骤2，对图像进行预处理；

步骤3，选取深度学习图像分割模型，对样本集进行训练，得到可用于行人区域分割的模型。

将标注好的原图与标签输入深度学习图像分割模型进行训练，训练集数据会经过多层resblock及多次卷积操作后得到特征，再经过多层转换操作输出分割的图像；设置sigmoid阈值，计算输出的分割图像的每个像素点，使得最后输出成为二值化图，将二值化图与标注图像对比后，通过反向传播更新权重；模型训练过程中会自动找到普遍适合的参数，训练完成后的二值化图用于行人区域分割；该二值化图中白色部分为模型分割出的行人可能出现的区域。

步骤4，运用训练好的深度学习图像分割模型，截取实际应用场景的图像，进行行人区域分割，使用轮廓检测算法从所述二值化图中提取步骤3中的白色部分区域并保存，对该场景进行多次分割，提取每次分割均出现的行人区域范围。

步骤5，与行人检测算法结合，采用行人检测模型，在执行行人检测模型时，在非极大值抑制过程中设定重叠范围阈值去除与步骤4提取的行人区域范围重叠较小和没有重叠的预测框，再对剩余的框进行非极大值抑制计算，得到区域内行人检测框结果。

进一步的，步骤1还包括对样本集中的图像进行过滤，去掉存在图像质量问题的图像。

优选的，步骤1中所述可能出现行人的区域以大片的马路、人行道、水泥路面为主，若场景为泥土路面，极小的遮挡可以忽略不记。

优选的，步骤2具体为计算样本集中图像数据的均值和方差，并将图像的像素值归一化到[0,1]，然后缩放到合适大小。

优选的，步骤3深度学习图像分割网络模型采用基于unet改进的D‐LinkNet图像分割网络模型进行训练。

优选的，步骤5行人检测模型采用深度学习yolov5行人检测模型。

优选的，还包括步骤6，安装摄像装置后，对摄像装置进行调整，使其拍摄的图像更清晰，和/或包含所有想要的可能出现行人的区域。

优选的，步骤6具体为：根据步骤4得到的行人区域范围和步骤5得到的行人检测框，确认是否已找到需要的范围，若范围不合适或因特殊原因移动、旋转，可调整摄像装置的位置、姿态使得图像上呈现更清晰的图像，或者包含所有想要的可能出现行人的区域。进一步的，若范围不合适或因特殊原因移动、旋转，还可设置自动调整，同时通知管理人员。

与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：在行人检测之前，先运用深度学习图像分割模型自动划出行人范围，降低后续确定行人区域的计算量，只需再检测前运行一次分割，不过多占用检测时的计算资源，深度学习区域提取比HOG等算法精度更高。然后运用深度学习模型检测行人，并且根据分割好的区域进一步优化行人框，大大提高检测准确率。再根据自动分割区域后的情况调整装置的角度、位置等，以便于更好地检测行人。由于程序自动划定区域，设备部署量大的情况下，只需确认区域是否正确，对不正确的进行调整即可，安装配件更少，减少安装工作成本。

附图说明

图1 为本公开实施例提供的一种基于unet改进的D‐LinkNet图像分割模型网络结构图。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请的说明书和权利要求书及上述附图中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。

第一方面：本公开实施例提供了一种基于深度学习自动选择区域的行人检测方法，该方法包括如下步骤：

步骤1，采集待检测场景图像，形成样本集；

具体为：从1080p监控摄像头中获得视频，为了保证样本集在时间维度的完整性，分别从一天不同光照条件下（比如上午、中午、下午、晚上四个时间段）的视频中截取一定量的图像作为样本集，进一步的，对样本集中的图像进行过滤，去掉存在图像质量问题的图像。对样本集进行标注，标注出可能出现行人的区域；优选的，所述可能出现行人的区域以大片的马路、人行道、水泥路面为主，若场景为泥土路面，极小的遮挡可以忽略不记，如落叶、杂物等。标注时需要尽可能地标出所有可能出现行人的区域，这对接下来的区域划分有一定的影响。

步骤2，对图像进行预处理；

优选的，步骤2具体为计算样本集中图像数据的均值和方差，并将图像的像素值归一化到[0,1]，然后缩放到合适大小。

步骤3，选取深度学习图像分割模型，对样本集进行训练，得到可用于行人区域分割的模型。

由于行人区域分割不需要在每次识别后进行，选择合理的分割网络对图像样本进行训练显得很关键。目前大部分分割网络均可使用，不同网络对检测的准确性、检测速度、数据集适应能力有不同的效果。采用基于unet改进的D‐LinkNet图像分割网络模型进行训练，附图1为一种基于unet改进的D‐LinkNet图像分割模型网络结构图。

将标注好的原图与标签输入深度学习图像分割模型进行训练，训练集数据会经过多层resblock及多次卷积操作后得到特征，再经过多层转换操作输出分割的图像；设置sigmoid阈值，计算输出的分割图像的每个像素点，使得最后输出成为二值化图，将二值化图与标注图像对比后，通过反向传播更新权重；模型训练过程中会自动找到普遍适合的参数，训练完成后的二值化图用于行人区域分割；该二值化图中白色部分为模型分割出的行人可能出现的区域。

步骤4，运用训练好的深度学习图像分割模型，截取实际应用场景的图像，进行行人区域分割，使用轮廓检测算法从所述二值化图中提取步骤3中的白色部分区域并保存，对该场景进行多次分割，提取每次分割均出现的行人区域范围。

步骤5，与行人检测算法结合，采用行人检测模型，优选的，行人检测模型采用深度学习yolov5行人检测模型，在执行行人检测模型时，常规的行人检测算法直接进行非极大值抑制获取行人框，本方法在非极大值抑制过程中设定重叠范围阈值去除与步骤4提取的行人区域范围重叠较小和没有重叠的预测框，再对剩余的框进行非极大值抑制计算，以降低运算复杂度和误检几率,最终得到区域内行人检测框结果。

优选的，还包括步骤6，安装摄像装置后，对摄像装置进行调整，使其拍摄的图像更清晰，和/或包含所有想要的可能出现行人的区域。

优选的，步骤6具体为：根据步骤4得到的行人区域范围和步骤5得到的行人检测框，确认是否已找到需要的范围，若范围不合适或因特殊原因移动、旋转，可调整摄像装置的位置、姿态使得图像上呈现更清晰的图像，或者包含所有想要的可能出现行人的区域。进一步的，若范围不合适或因特殊原因移动、旋转，还可设置自动调整，同时通知管理人员。

该检测过程中使用的是场景分割模块计算好的划定区域，不需要在每次检测后重新计算区域，且减少了非极大值抑制计算复杂度。

第二方面，本公开实施例提供了一种基于深度学习自动选择区域的行人检测装置，基于相同的技术构思，该装置可以实现或执行所有可能的实现方式中任一项所述的一种基于深度学习自动选择区域的行人检测方法

上述实施例提供的一种基于深度学习自动选择区域的行人检测装置与一种基于深度学习自动选择区域的行人检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习自动选择区域的行人检测方法，其特征在于，该方法包括如下步骤：

步骤1，采集待检测场景图像，形成样本集；

具体为：从1080p监控摄像头中获得视频，分别从一天不同光照条件下的视频中截取一定量的图像作为样本集，对样本集进行标注，标注出可能出现行人的区域；标注时需要尽可能地标出所有可能出现行人的区域；

步骤2，对图像进行预处理；

步骤3，选取深度学习图像分割模型，对样本集进行训练，得到可用于行人区域分割的模型；

将标注好的原图与标签输入深度学习图像分割模型进行训练，训练集数据会经过多层resblock及多次卷积操作后得到特征，再经过多层转换操作输出分割的图像；设置sigmoid阈值，计算输出的分割图像的每个像素点，使得最后输出成为二值化图，将二值化图与标注图像对比后，通过反向传播更新权重；模型训练过程中会自动找到普遍适合的参数，训练完成后的二值化图用于行人区域分割；该二值化图中白色部分为模型分割出的行人可能出现的区域；

步骤4，运用训练好的深度学习图像分割模型，截取实际应用场景的图像，进行行人区域分割，使用轮廓检测算法从所述二值化图中提取步骤3中的白色部分区域并保存，对该场景进行多次分割，提取每次分割均出现的行人区域范围；

步骤5，与行人检测算法结合，采用行人检测模型，在执行行人检测模型时，在非极大值抑制过程中设定重叠范围阈值去除与步骤4提取的行人区域范围重叠较小和没有重叠的预测框，再对剩余的框进行非极大值抑制计算，得到区域内行人检测框结果。

2.根据权利要求1所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤1还包括对样本集中的图像进行过滤，去掉存在图像质量问题的图像。

3.根据权利要求1所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤1中所述可能出现行人的区域以大片的马路、人行道、水泥路面为主，若场景为泥土路面，极小的遮挡可以忽略不记。

4.根据权利要求1所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤2具体为计算样本集中图像数据的均值和方差，并将图像的像素值归一化到[0,1]，然后缩放到合适大小。

5.根据权利要求1-4任一项所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤3深度学习图像分割网络模型采用基于unet改进的D‐LinkNet图像分割网络模型进行训练。

6.根据权利要求5所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤5行人检测模型采用深度学习yolov5行人检测模型。

7.根据权利要求6所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，还包括步骤6，安装摄像装置后，对摄像装置进行调整，使其拍摄的图像更清晰，和/或包含所有想要的可能出现行人的区域。

8.根据权利要求7所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤6具体为：根据步骤4得到的行人区域范围和步骤5得到的行人检测框，确认是否已找到需要的范围，若范围不合适或因特殊原因移动、旋转，可调整摄像装置的位置、姿态使得图像上呈现更清晰的图像，或者包含所有想要的可能出现行人的区域。

9.根据权利要求8所述的一种基于深度学习自动选择区域的行人检测方法，其特征在于，步骤6中若范围不合适或因特殊原因移动、旋转，还可设置自动调整，同时通知管理人员。

10.一种基于深度学习自动选择区域的行人检测装置，其特征在于，该装置可以实现权利要求1-9任一项所述的一种基于深度学习自动选择区域的行人检测方法。

Images