CN115713731B - 拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 - Google Patents
拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 Download PDFInfo
- Publication number
- CN115713731B CN115713731B CN202310031839.0A CN202310031839A CN115713731B CN 115713731 B CN115713731 B CN 115713731B CN 202310031839 A CN202310031839 A CN 202310031839A CN 115713731 B CN115713731 B CN 115713731B
- Authority
- CN
- China
- Prior art keywords
- frame
- pedestrian
- module
- prediction
- whole body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 118
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000001629 suppression Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 claims 1
- 238000012805 post-processing Methods 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 40
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种拥挤场景行人检测模型构建方法及拥挤场景行人检测方法，在通用目标检测的基础上，构建了互相关联的多个模块共同构成行人检测模型，用于提升目标检测器在拥挤场景下对行人的检测能力。本发明一方面提出了一种引导网络加强对头部区域的关注，促使检测器使用更有辨识力的特征来预测行人的全身区域；另一方面预测局部区域的人群计数，用来指导后处理阶段对相互重叠的检测框的选取，可以在不引入误检的情况下，召回更多漏检的行人。本方法可以与大多数的基于目标检测框架以及多种非极大值抑制算法结合，稳定提升检测器性能。
Description
技术领域
本发明涉及图像处理领域，更具体地，涉及一种拥挤场景行人检测模型构建方法及拥挤场景行人检测方法。
背景技术
随着计算机硬件水平的逐渐提高，GPU 算力的提升，以深度学习为基础的众多人工智能技术进入了发展的黄金时期。计算机视觉技术作为人工智能尤为重要的组成部分，近年来，也受到了极大的关注。计算机视觉技术指通过计算机对摄像设备拍摄的图片或视频进行处理，以实现人眼的功能，从而实现目标检测、目标跟踪、目标识别等效果。行人检测技术因聚焦于行人这一特定目标，从而与社会生产及生活密切相关，所以，行人检测技术一直是计算机视觉领域中的研究重难点。
行人检测可以说是基于目标检测的，但是会针对行人的具体特征，进行适当的优化，从而提高行人的检测效果。具体来讲，行人检测是一种使用计算机来判断图片或者视频中是否存在行人并获取行人的精确位置信息的技术。目前，行人检测技术的应用场景有车辆无人驾驶、安防系统等，同时也可以与行人目标跟踪、行人重识别等技术相结合，进而应用于交互机器人系统、智慧交通、行人搜索、视频监控系统等领域中。
然而，由于行人检测的应用场景可能是商场、街道、十字路口等密集场景，从而会在行人与背景间造成类内、类间遮挡的问题。遮挡会带来行人的表观特征减少，使检测器不能很好的区分遮挡行人和背景，进而造成较高的漏检误检。
发明内容
本发明针对现有技术中存在的技术问题，提供一种拥挤场景行人检测模型构建方法及拥挤场景行人检测方法。
根据本发明的第一方面，提供了一种拥挤场景行人检测模型构建方法，所述检测模型包括主干网络、区域提取网络、解码器、并行的头部引导模块、局部计数预测模块和检测分支模块，包括：
获取训练样本集，所述训练样本集包括多个训练样本，每一个所述训练样本包括含有行人的图像和对应的头部标注框和全身标注框；
基于主干网络提取每一个训练样本的高层次特征，分别经过区域提取网络输出候选框以及经过解码器输出解码特征；
基于每一个训练样本的候选框和解码特征，分别对所述头部引导模块、局部计数预测模块和检测分支模块进行训练，并分别计算所述头部引导模块、局部计数预测模块和检测分支模块的损失函数；
基于所述头部引导模块、局部计数预测模块和检测分支模块的损失函数，调整所述主干网络、区域提取网络、解码器、并行的头部引导模块、局部计数预测模块和检测分支模块的超参数，直到所述检测模型的总损失最小，得到所述检测模型；
其中，所述头部引导模块输出行人的头部预测框，所述局部计数预测模块输出行人对应的局部计数，所述检测分支模块输出行人的全身预测框及分类置信度。
根据本发明的第二方面，提供一种拥挤场景行人检测方法，包括：
将待检测图像通过构建的检测模型中的主干网络获取待检测图像的高层次特征，并通过所述区域提取网络提取候选框，将所述高层次特征和所述候选框输入所述解码器得到解码特征；
将所述候选框和所述解码特征分别输入所述检测分支模块和所述局部计数预测模块，获取行人的全身预测框、分类置信度和行人的局部计数；
基于行人的全身预测框、行人的局部计数和分类置信度，对所述行人的全身预测框使用基于局部计数动态阈值的非极大值抑制算法，得到所述待检测图像的检测结果。
本发明提供的一种拥挤场景行人检测模型构建方法及拥挤场景行人检测方法，在通用目标检测的基础上，构建了互相关联的多个模块联合构成行人检测模型，用于提升目标检测器在拥挤场景下对行人的检测能力。本发明一方面提出了一种引导网络加强对头部区域的关注，促使检测器使用更有辨识力的特征来预测行人的全身区域；另一方面预测局部区域的人群计数，用来指导后处理阶段对相互重叠的检测框的选取，可以在不引入误检的情况下，召回更多漏检的行人。此外，本方法额外引入的参数量及对速度的影响可以忽略不计，以极低的成本显著提高了检测器性能。特别地，本方法可以与大多数的基于提案的目标检测框架以及多种非极大值抑制算法结合，稳定的提升检测器性能。
附图说明
图1为本发明提供的一种拥挤场景行人检测模型构建方法的流程图；
图2为拥挤场景行人检测模型的结构示意图；
图3为本发明提供的一种拥挤场景行人检测方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
针对现有技术存在的技术问题，本发明提供了拥挤场景行人检测模型以及检测方法，通过头部引导学习的方式，促使检测器使用可视度更高的头部区域来估计全身区域，进而提高遮挡场景下行人的检出率。同时设计了局部计数作为额外的语义信息。设计局部计数动态阈值来辅助非极大值抑制算法，使其能够对区域密度进行感知，采取更加合适的阈值，实现在抑制冗余框的同时，有效保留因遮挡导致的置信度分数较低的检测框。
图1为本发明提供的一种拥挤场景行人检测模型构建方法流程图，其中，如图2所示，检测模型包括主干网络、区域提取网络、解码器、并行的头部引导模块、局部计数预测模块和检测分支模块。检测模型的构建方法包括：
S1，获取训练样本集，所述训练样本集包括多个训练样本，每一个所述训练样本包括含有行人的图像和对应的头部标注框和全身标注框。
可理解的是，对于整个检测模型的训练过程来说，首先，获取训练样本集，其中，训练样本集中包括多个训练样本，每一个训练样本包括包含行人的图像，以及对图像的头部标注框和全身标注框。
S2，基于主干网络提取每一个训练样本的高层次特征，分别经过区域提取网络输出候选框以及经过解码器输出解码特征。
可理解的是，可参见图2，在训练的过程中，对于每一个训练样本，首先，基于主干网络提取图像中的高层次特征，然后高层次特征输入区域提取网络中，输出多个候选框，候选框为包含行人全身的预测框，将候选框和高层次特征输入解码器，由解码器解码得到解码特征。
S3，基于每一个训练样本的候选框和解码特征，分别对所述头部引导模块、局部计数预测模块和检测分支模块进行训练，并分别计算所述头部引导模块、局部计数预测模块和检测分支模块的损失函数。
可理解的是，头部引导模块、局部计数预测模块和检测分支模块为并行模块，基于训练样本集中的每一个图像对应的多个候选框和解码特征，分别训练头部引导模块、局部计数预测模块和检测分支模块。
其中，头部引导模块的训练过程包括：基于区域提取网络从图像中提取的每一个候选框，计算当前候选框与每一个全身标注框的交并比，将与当前候选框的交并比最大的全身标注框作为当前候选框的交并比分配标签；基于区域提取网络提取的每一个候选框，通过分支检测模块输出当前候选框对应的行人的全身预测框，计算全身预测框与每一个全身标注框的损失，将损失最小的全身标注框作为当前候选框的损失分配标签；若候选框的交并比分配标签与损失分配标签一致，则该候选框为无争议的候选框；否则，该候选框为有争议的候选框；基于无争议的候选框和解码特征，对头部引导模块进行迭代训练，每迭代训练一次，计算头部回归损失；基于头部回归损失，调整所述主干网络、区域提取网络、解码器以及所述头部引导模块的超参数。
可理解的是，基于区域提取网络对每一张图像进行检测，输出多个候选框，并基于交并比为每一个候选框分配一个全身标注框，称为该候选框的交并比分配标签。同样的，基于检测分支模块对每一张图像进行检测，输出多个全身预测框，并基于全身预测框与全身标注框的损失为每一个全身预测框对应的候选框分配一个全身标注框，称为该候选框的损失分配标签。
其中，交并比分配标签满足以下公式：
其中,为候选框，为全身标注框，为交并比分配标签，N为全身标注框个数，为交并比函数；
损失分配标签满足以下公式：
其中，为边界框回归损失函数，为行人的全身预测框，为损失分配标签。
分别得到每一个候选框的交并比分配标签和损失分配标签，根据候选框的交并比分配标签与损失分配标签是否一致得到匹配向量：
若不一致则认为该候选框的标签与所包含信息不一致，被定义为有争议的候选框，若一致则定义为无争议的候选框，基于无争议的候选框对头部引导模块进行训练。
在基于无争议的候选框对头部引导模块进行训练的过程中，头部回归损失的计算公式为：
其中为第i个候选框对应的头部预测框，为交并比分配标签对应的头部标注框，K为头部预测框个数。
基于损失函数对主干网络、区域提取网络、解码器以及头部引导模块的超参数进行调整。
其中，局部计数预测模块包括两个串接的全连接层，两个全连接层的中间通道数目为1024，局部计数预测模块的训练过程为：
为区域提取网络提取的每一个候选框进行局部计数标注：
其中是非极大值抑制算法所采用的交并比阈值,和为权重系数，且，为阶跃函数，当输入大于0输出1，否则输出0：
。
基于每一个候选框和解码特征对局部计数预测模块进行训练，在训练的过程中，损失函数采用加权的均方误差损失：
其中ci为局部计数预测模块输出的局部计数,为调节密度敏感性的超参数。
基于加权的均方误差损失，调整主干网络、区域提取网络、解码器以及局部计数预测模块的超参数。
同样检测分支模块的训练为常规的训练过程，基于检测分支模块输出的全身预测框与全身标注框之间的损失，调整主干网络、区域提取网络、解码器和检测分支模块的超参数。
S4，基于所述头部引导模块、局部计数预测模块和检测分支模块的损失函数，调整所述主干网络、区域提取网络、解码器、并行的头部引导模块、局部计数预测模块和检测分支模块的超参数，直到所述检测模型的总损失最小，得到所述检测模型。
可理解的是，在训练的过程中，是对头部引导模块、局部计数预测模块和检测分支模块联合进行训练，分别计算头部引导模块的损失函数、局部计数预测模块的损失函数和检测分支模块的损失函数，然后根据三个模块的损失函数，计算整个检测模型的损失函数，通过不断调整主干网络、区域提取网络、解码器、头部引导模块、局部计数预测模块和检测分支模块的超参数，使得整个检测模型的总损失最小，获得训练后的最优检测模型。
其中，头部引导模块的输入为通过区域提取网络得到的候选框及通过解码器解码得到的解码特征，输出为行人的头部预测框。局部计数预测模块的输入为通过区域提取网络得到的候选框及通过解码器解码得到的解码特征，输出为行人的局部计数。检测分支模块的输入为通过区域提取网络得到的候选框及通过解码器解码得到的解码特征，输出为行人的全身预测框及分类置信度。
参见图3，为本发明提供的一种拥挤场景行人检测方法，包括：
S1’，将待检测图像通过构建的检测模型中的主干网络获取待检测图像的高层次特征，并通过所述区域提取网络提取候选框，将所述高层次特征和所述候选框输入所述解码器得到解码特征。
可理解的是，上述实施例构建了检测模型，对于待检测图像，分别输入主干网络、区域提取网络和解码器，输出对应的候选框和解码特征。
S2’，将候选框和解码特征分别输入所述检测分支模块和所述局部计数预测模块，获取行人的全身预测框、分类置信度和行人的局部计数。
S3’，基于行人的全身预测框、行人的局部计数和分类置信度，对所述行人的全身预测框使用基于局部计数动态阈值的非极大值抑制算法，得到所述待检测图像的检测结果。
可理解的是，将待检测图像的候选框和解码特征分别输入检测分支模块和局部计数预测模块，输出行人的全身预测框、分类置信度和行人的局部计数。然后，对行人的全身预测框使用基于局部计数动态阈值的非极大值抑制算法，得到待检测图像的全身预测框检测结果。
其中，对行人的全身预测框使用基于局部计数动态阈值的非极大值抑制算法，得到待检测图像的全身预测框检测结果，包括：
步骤1、给定待检测图像的行人的全身预测框集合B及对应分类置信度集合S、局部计数集合C；
步骤2，选定分类置信度最高的全身预测框M并将其从全身预测框集合B中移至最终全身预测框集合F中；
步骤3，取出全身预测框M对应的局部计数cm，使用下述公式计算局部计数动态阈值:
其中，是非极大值抑制算法所采用的交并比阈值，为比例系数，用于调节局部计数与局部计数动态阈值之间的敏感程度；
步骤4，从全身预测框集合B中删除所有与全身检测框M的交并比IoU大于所述局部计数动态阈值的全身预测框，并在分类置信度集合S中删除对应的分类置信度，以更新所述全身预测框集合B和所述分类置信度集合S；
步骤5，对于全身预测框集合B中所有与全身预测框M的交并比IoU大于的全身预测框，更新每一个全身预测框的局部计数ci=ci-1，其中，ci为第i个全身预测框的局部计数；
步骤6，对更新后的全身预测框集合B循环执行步骤2至步骤5，直到全身预测框集合B为空，获取最终全身预测框集合F，即待检测图像的最终检测结果。
本发明提供的一种拥挤场景行人检测模型构建方法及拥挤场景行人检测方法，具有以下有益效果：
（1）创新性的使用头部引导模块来促使检测模型使用可视度更高的头部区域预测全身区域，有效的提升了行人拥挤场景下的行人检出率；
（2）利用现有的信息构建了局部计数预测模块，可以作为其他视觉任务相关的语义信息；
（3）设计基于局部计数动态阈值的非极大值抑制算法，在能够删除冗余检测的同时，召回更多的遮挡行人。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (6)
1.一种拥挤场景行人检测模型构建方法，其特征在于，所述检测模型包括主干网络、区域提取网络、解码器、并行的头部引导模块、局部计数预测模块和检测分支模块，包括：
获取训练样本集，所述训练样本集包括多个训练样本，每一个所述训练样本包括含有行人的图像和对应的头部标注框和全身标注框；
基于主干网络提取每一个训练样本的高层次特征，分别经过区域提取网络输出候选框以及经过解码器输出解码特征；
基于每一个训练样本的候选框和解码特征，分别对所述头部引导模块、局部计数预测模块和检测分支模块进行训练，并分别计算所述头部引导模块、局部计数预测模块和检测分支模块的损失函数；
基于所述头部引导模块、局部计数预测模块和检测分支模块的损失函数，调整所述主干网络、区域提取网络、解码器、并行的头部引导模块、局部计数预测模块和检测分支模块的超参数，直到所述检测模型的总损失最小，得到所述检测模型；
其中，所述头部引导模块输出行人的头部预测框，所述局部计数预测模块输出行人对应的局部计数，所述检测分支模块输出行人的全身预测框及分类置信度；
所述头部引导模块的训练过程包括：
基于所述区域提取网络提取的每一个候选框，计算当前候选框与每一个全身标注框的交并比，将与所述当前候选框的交并比最大的全身标注框作为所述当前候选框的交并比分配标签；
基于所述区域提取网络提取的每一个候选框，通过所述检测分支模块输出当前候选框对应的行人的全身预测框，计算全身预测框与每一个全身标注框的损失，将损失最小的全身标注框作为当前候选框的损失分配标签；
若候选框的交并比分配标签与损失分配标签一致，则该候选框为无争议的候选框；否则，该候选框为有争议的候选框；
基于无争议的候选框和解码特征，对所述头部引导模块进行迭代训练，每迭代训练一次，计算头部回归损失；
基于所述头部回归损失，调整所述主干网络、区域提取网络、解码器以及所述头部引导模块的超参数。
2.根据权利要求1所述的拥挤场景行人检测模型构建方法，其特征在于，所述交并比分配标签满足以下公式：
其中，为第i个候选框，为全身标注框，为交并比分配标签，N为全身标注框个数，为交并比函数；
所述损失分配标签满足以下公式：
其中，为边界框回归损失函数，为第i个候选框对应的全身预测框，为损失分配标签；
根据每一个候选框的交并比分配标签与损失分配标签是否一致得到匹配向量：
若当前候选框的交并比分配标签与损失分配标签不一致，则所述当前候选框被定义为有争议的候选框，若一致，则所述当前候选框被定义为无争议的候选框，基于无争议的候选框对所述头部引导模块进行训练。
3.根据权利要求1所述的拥挤场景行人检测模型构建方法，其特征在于，所述头部回归损失的计算公式为：
其中为第i个候选框对应的头部预测框，为交并比分配标签对应的头部标注框，K为头部预测框个数。
4.根据权利要求1所述的拥挤场景行人检测模型构建方法，其特征在于，所述局部计数预测模块包括两个串接的全连接层，两个全连接层的中间通道数目为1024，所述局部计数预测模块的训练过程为：
为所述区域提取网络提取的每一个候选框进行局部计数标注：
其中，为第i个候选框的局部计数标注，是非极大值抑制算法所采用的交并比阈值，和为权重系数，且，为阶跃函数，当输入大于0输出1，否则输出0：
基于每一个候选框和解码特征对所述局部计数预测模块进行训练，并计算加权的均方误差损失：
其中ci为所述局部计数预测模块输出的第i个全身预测框的局部计数，为调节密度敏感性的超参数；
基于加权的均方误差损失，调整所述主干网络、区域提取网络、解码器以及所述局部计数预测模块的超参数。
5.一种拥挤场景行人检测方法，其特征在于，包括：
将待检测图像通过权利要求1所述拥挤场景行人检测模型构建方法构建的检测模型中的主干网络获取待检测图像的高层次特征，并通过所述区域提取网络提取候选框，将所述高层次特征和所述候选框输入所述解码器得到解码特征；
将所述候选框和所述解码特征分别输入所述检测分支模块和所述局部计数预测模块，获取行人的全身预测框、分类置信度和行人的局部计数；
基于行人的全身预测框、行人的局部计数和分类置信度，对所述行人的全身预测框使用基于局部计数动态阈值的非极大值抑制算法，得到所述待检测图像的检测结果。
6.根据权利要求5所述的拥挤场景行人检测方法，其特征在于，所述基于行人的全身预测框、行人的局部计数和分类置信度，对所述行人的全身预测框使用基于局部计数动态阈值的非极大值抑制算法，得到所述待检测图像的检测结果，包括：
步骤1、给定待检测图像的行人的全身预测框集合B及对应分类置信度集合S、局部计数集合C；
步骤2，选定分类置信度最高的全身预测框M并将其从全身预测框集合B中移至最终全身预测框集合F中；
步骤3，取出全身预测框M对应的局部计数cm，使用下述公式计算局部计数动态阈值:
其中，是非极大值抑制算法所采用的交并比阈值，为比例系数，用于调节局部计数与局部计数动态阈值之间的敏感程度；
步骤4，从全身预测框集合B中删除所有与全身检测框M的交并比IoU大于所述局部计数动态阈值的全身预测框，并在分类置信度集合S中删除对应的分类置信度，以更新所述全身预测框集合B和所述分类置信度集合S；
步骤5，对于全身预测框集合B中所有与全身预测框M的交并比IoU大于的全身预测框，更新每一个全身预测框的局部计数ci=ci-1，其中，ci为第i个全身预测框的局部计数；
步骤6，对更新后的全身预测框集合B循环执行步骤2至步骤5，直到全身预测框集合B为空，获取最终全身预测框集合F。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310031839.0A CN115713731B (zh) | 2023-01-10 | 2023-01-10 | 拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310031839.0A CN115713731B (zh) | 2023-01-10 | 2023-01-10 | 拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115713731A CN115713731A (zh) | 2023-02-24 |
| CN115713731B true CN115713731B (zh) | 2023-04-07 |
Family
ID=85236268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310031839.0A Active CN115713731B (zh) | 2023-01-10 | 2023-01-10 | 拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115713731B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229376B (zh) * | 2023-05-06 | 2023-08-04 | 山东易视智能科技有限公司 | 一种人群预警方法、计数系统、计算设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934346B (zh) * | 2017-01-24 | 2019-03-15 | 北京大学 | 一种目标检测性能优化的方法 |
| CN109670452A (zh) * | 2018-12-20 | 2019-04-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、电子设备和人脸检测模型 |
| CN112115862B (zh) * | 2020-09-18 | 2023-08-29 | 广东机场白云信息科技有限公司 | 一种结合密度估计的拥挤场景行人检测方法 |
| CN113191204B (zh) * | 2021-04-07 | 2022-06-17 | 华中科技大学 | 一种多尺度遮挡行人检测方法及系统 |
| CN115565207B (zh) * | 2022-11-29 | 2023-04-07 | 武汉图科智能科技有限公司 | 一种融合特征模仿的遮挡场景下行人检测方法 |
-
2023
- 2023-01-10 CN CN202310031839.0A patent/CN115713731B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115713731A (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Segment as points for efficient online multi-object tracking and segmentation | |
| CN113688652B (zh) | 一种异常驾驶行为的处理方法和装置 | |
| CN112016500A (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
| US20210326638A1 (en) | Video panoptic segmentation | |
| CN110942072A (zh) | 基于质量评估的质量分、检测模型训练、检测方法及装置 | |
| Xie et al. | Count-and similarity-aware R-CNN for pedestrian detection | |
| CN115713731B (zh) | 拥挤场景行人检测模型构建方法及拥挤场景行人检测方法 | |
| Hammam et al. | Real-time multiple spatiotemporal action localization and prediction approach using deep learning | |
| Xu et al. | Violent video classification based on spatial-temporal cues using deep learning | |
| Song et al. | Prnet++: Learning towards generalized occluded pedestrian detection via progressive refinement network | |
| CN112927266A (zh) | 基于不确定性引导训练的弱监督时域动作定位方法及系统 | |
| CN110163060A (zh) | 图像中人群密度的确定方法及电子设备 | |
| CN115905622A (zh) | 视频标注方法、装置、设备、介质及产品 | |
| Abdelmutalab et al. | Pedestrian detection using MB-CSP model and boosted identity aware non-maximum suppression | |
| Alharbey et al. | Human Faces Detection and Tracking for Crowd Management in Hajj and Umrah. | |
| Zhang et al. | Underwater target detection algorithm based on improved YOLOv4 with SemiDSConv and FIoU loss function | |
| Chen et al. | Online spatio-temporal action detection in long-distance imaging affected by the atmosphere | |
| CN111428589B (zh) | 一种渐变转场的识别方法及系统 | |
| CN116958873A (zh) | 行人跟踪方法、装置、电子设备及可读存储介质 | |
| CN116052108A (zh) | 基于Transformer的交通场景小样本目标检测方法及装置 | |
| CN114882372A (zh) | 一种目标检测的方法及设备 | |
| Zhang et al. | Boundary information matters more: Accurate temporal action detection with temporal boundary network | |
| CN113408356A (zh) | 基于深度学习的行人重识别方法、装置、设备及存储介质 | |
| Liao et al. | Gaussian process for activity modeling and anomaly detection | |
| Hou et al. | End-to-end bloody video recognition by audio-visual feature fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Patentee before: Wuhan Tuke Intelligent Technology Co.,Ltd. |