CN115331175A - 基于自适应集成模型的区域人数统计方法和系统 - Google Patents
基于自适应集成模型的区域人数统计方法和系统 Download PDFInfo
- Publication number
- CN115331175A CN115331175A CN202211016480.1A CN202211016480A CN115331175A CN 115331175 A CN115331175 A CN 115331175A CN 202211016480 A CN202211016480 A CN 202211016480A CN 115331175 A CN115331175 A CN 115331175A
- Authority
- CN
- China
- Prior art keywords
- human body
- detection algorithm
- position information
- feature detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 196
- 238000001514 detection method Methods 0.000 claims abstract description 170
- 230000001629 suppression Effects 0.000 claims abstract description 20
- 238000013139 quantization Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 68
- 238000012937 correction Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 7
- 101150049349 setA gene Proteins 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于自适应集成模型的区域人数统计方法和系统，属于人工智能技术领域，本发明要解决的技术问题为现有技术识别难以适配不同的拍摄角度和距离场景下的区域人数统计，采用的技术方案为：该方法具体如下：通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；根据人体目标数量和位置信息判断是否出现人体目标；将人体目标高宽比AR与阈值ARth进行对比；根据平均目标大小
计算拍摄距离量化系数DR；根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
Description
技术领域
本发明涉及人工智能技术领域，具体地说是一种基于自适应集成模型的区域人数统计方法和系统。
背景技术
随着逐步放开了对人口流动的控制，城市化进程不断加快，沿海发达城市的人口密度不断提升。出于传染病防控和预防社会治安问题，目前已经在城市道路和重点场所安装了大量的摄像头，用于对特定区域的人员和行为进行实时检测，以便快速定位特殊人员。
针对上述问题，需要利用城市公共区域的摄像头查看视频数据，基于智能视频分析，对划定区域内的人员数量进行统计，当检测到有区域人数超过设定阈值时自动抓拍并产生报警，减少人力监管的成本。
现有技术主要分为两类，具体如下：
一类是基于红外热成像原理的人数统计，采用实例分割技术分析热成像图像中出现的活体数量，此方法只适用于地铁、商场和写字楼入口等场景，设备成本较高，同时在开放区域由于人员距离较远容易导致漏统计。
另一类是基于可见光成像原理的人数统计，通过神经网络算法对人数进行统计，该方法准确率较高，但是难以适配不同的拍摄角度和距离。
发明内容
本发明的技术任务是提供一种基于自适应集成模型的区域人数统计方法和系统，来解决现有技术识别难以适配不同的拍摄角度和距离场景下的区域人数统计的问题。
本发明的技术任务是按以下方式实现的，一种基于自适应集成模型的区域人数统计方法，该方法具体如下：
通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；
根据人体目标数量和位置信息判断是否出现人体目标：
若出现人体目标，则计算人体目标平均高宽比AR；
若未出现人体目标，则调用脸部特征检测算法获取脸部骨骼位置信息；
将人体目标高宽比AR与阈值ARth进行对比：
当AR<ARth时，则对应的城市公共区域的摄像头为高空俯拍摄像头，并调用头部特征检测算法获取头部位置信息；
当AR>ARth时，则对应的城市公共区域的摄像头不是高空俯拍摄像头，并计算平均目标大小
根据平均目标大小
计算拍摄距离量化系数DR；具体情况如下：
当DR<DRmin时，则判定为近距离拍摄，并调用脸部特征检测算法和骨骼关键点检测算法获取脸部骨骼位置信息和人体骨骼位置信息；
当DRmin<DR<DRmax时，则判定为中距离拍摄，调用骨骼关键点检测算法和人体特征检测算法获取人体骨骼位置信息和人体特征位置信息；
当DR>DRmax时，则判定为远距离拍摄，调用人体特征检测算法和头部特征检测算法获取人体特征位置信息和头部位置信息；
其中，DRmin和DRmax分别为拍摄距离阈值，根据历史经验最优值为DRmin＝0.5，DRmax＝2，根据数据集实际情况调整；
根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
作为优选，人体目标平均高宽比AR的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；
平均目标大小
的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；W表示图像宽度；H表示图像高度；
拍摄距离量化系数DR计算公式如下：
其中，Sst表示目标大小的标准值，自行设定或者以数据集中全部人体目标计算得到的
作为Sst。
更优地，所述头部特征检测算法采用单阶段目标检测中的YOLO系列算法，通过头部特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有头部外接矩形的二维坐标(XH1,i,XH2,i,YH1,i,YH2,i)和置信度CHi；
在构建头部特征检测算法训练数据集时，采用高空摄像头俯拍得到的图像数据，高空摄像头俯拍得到的图像数据包括若干人体头部目标。
更优地，所述脸部特征检测算法采用MTCNN算法，通过网络开源的人脸特征数据集进行模型训练，训练后得到的模型检测出图像中所有人脸外接矩形的二维坐标(XF1,i,XF2,i,YF1,i,YF2,i)和置信度CFi；
骨骼关键点检测算法采用OpenPose算法，通过网络开源的骨骼关键点数据集进行模型训练，训练后得到的模型检测图像中所有人体骨骼外接矩形的二维坐标(XS1,i,XS2,i,YS1,i,YS2,i)和置信度CSi。
更优地，所述人体特征检测算法采用单阶段目标检测中的YOLO系列算法，通过自建的人体特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有人体目标的外接矩形的二维坐标(XB1,i,XB2,i,YB1,i,YB2,i)和置信度CBi；
在构建人体特征检测算法训练数据集时，采用多种拍摄角度和距离的混合图像数据集，混合图像数据集包括俯拍头部目标、正拍人脸目标以及各种距离的人体全身和半身目标。
更优地，所述加权非极大值抑制算法引入了权重参数对目标候选框的置信度进行修正，修正置信度具体如下
C'Fi＝WCF×CFi；
C'Si＝WCS×CSi；
C'Bi＝WCB×CBi；
C'Hi＝WCH×CHi；
其中，WCF，WCS，WCB及WCH分别为脸部特征检测算法的权重、骨骼关键点检测算法的权重、人体特征检测算法的权重以及头部特征检测算法的权重；
脸部特征检测算法的权重WCF、骨骼关键点检测算法的权重WCS、人体特征检测算法的权重WCB以及头部特征检测算法的权重WCH的计算方式如下：
加权非极大值抑制算法具体实现方式如下：
(1)、构建初始化候选框集合H，初始化候选框集合H包含全部N个候选框；
(2)、构建一个存放最优框的集合M并初始化为空集；
(3)、搜索所有候选框，找到修正置信度最高的一个候选框m，从初始化候选框集合H移到最优框的集合M，遍历初始化候选框集合H中所有的候选框，计算与修正置信度最高候选框m的交幷比IoU，判断是否超过阈值：
若超过阈值，则认为对应的候选框与修正置信度最高候选框m重叠，将该候选框从初始化候选框集合H中去除；
(4)重复步骤(3)，直到初始化候选框集合H为空集,初始化候选框集合H中的候选框即为最终返回的目标。
一种基于自适应集成模型的区域人数统计系统，该系统包括，
视频抽帧模块，用于通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；
人体目标判断模块，用于根据人体目标数量和位置信息判断是否出现人体目标：
若出现人体目标，则计算人体目标平均高宽比AR；
若未出现人体目标，则调用脸部特征检测算法获取脸部骨骼位置信息；
阈值对比模块，用于将人体目标高宽比AR与阈值ARth进行对比：
当AR<ARth时，则对应的城市公共区域的摄像头为高空俯拍摄像头，并调用头部特征检测算法获取头部位置信息；
当AR>ARth时，则对应的城市公共区域的摄像头不是高空俯拍摄像头，并计算平均目标大小
拍摄距离判定模块，用于根据平均目标大小
计算拍摄距离量化系数DR；具体情况如下：
当DR<DRmin时，则判定为近距离拍摄，并调用脸部特征检测算法和骨骼关键点检测算法获取脸部骨骼位置信息和人体骨骼位置信息；
当DRmin<DR<DRmax时，则判定为中距离拍摄，调用骨骼关键点检测算法和人体特征检测算法获取人体骨骼位置信息和人体特征位置信息；
当DR>DRmax时，则判定为远距离拍摄，调用人体特征检测算法和头部特征检测算法获取人体特征位置信息和头部位置信息；
其中，DRmin和DRmax分别为拍摄距离阈值，最优值为DRmin＝0.5，DRmax＝2，根据数据集实际情况调整；
区域人数和位置信息获取模块，用于根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
作为优选，人体目标平均高宽比AR的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；
平均目标大小
的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；W表示图像宽度；H表示图像高度；
拍摄距离量化系数DR计算公式如下：
其中，Sst表示目标大小的标准值，自行设定或者以数据集中全部人体目标计算得到的
作为Sst。
更优地，所述头部特征检测算法采用单阶段目标检测中的YOLO系列算法，通过头部特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有头部外接矩形的二维坐标(XH1,i,XH2,i,YH1,i,YH2,i)和置信度CHi；
在构建头部特征检测算法训练数据集时，采用高空摄像头俯拍得到的图像数据，高空摄像头俯拍得到的图像数据包括若干人体头部目标；
所述脸部特征检测算法采用MTCNN算法，通过网络开源的人脸特征数据集进行模型训练，训练后得到的模型检测出图像中所有人脸外接矩形的二维坐标(XF1,i,XF2,i,YF1,i,YF2,i)和置信度CFi；
所述骨骼关键点检测算法采用OpenPose算法，通过网络开源的骨骼关键点数据集进行模型训练，训练后得到的模型检测图像中所有人体骨骼外接矩形的二维坐标(XS1,i,XS2,i,YS1,i,YS2,i)和置信度CSi；
所述人体特征检测算法采用单阶段目标检测中的YOLO系列算法，通过自建的人体特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有人体目标的外接矩形的二维坐标(XB1,i,XB2,i,YB1,i,YB2,i)和置信度CBi；
在构建人体特征检测算法训练数据集时，采用多种拍摄角度和距离的混合图像数据集，混合图像数据集包括俯拍头部目标、正拍人脸目标以及各种距离的人体全身和半身目标；
所述加权非极大值抑制算法引入了权重参数对目标候选框的置信度进行修正，修正置信度具体如下：
C'Fi＝WCF×CFi；
C'Si＝WCS×CSi；
C'Bi＝WCB×CBi；
C'Hi＝WCH×CHi；
其中，WCF，WCS，WCB及WCH分别为脸部特征检测算法的权重、骨骼关键点检测算法的权重、人体特征检测算法的权重以及头部特征检测算法的权重；
脸部特征检测算法的权重WCF、骨骼关键点检测算法的权重WCS、人体特征检测算法的权重WCB以及头部特征检测算法的权重WCH的计算方式如下：
加权非极大值抑制算法具体实现方式如下：
(1)、构建初始化候选框集合H，初始化候选框集合H包含全部N个候选框；
(2)、构建一个存放最优框的集合M并初始化为空集；
(3)、搜索所有候选框，找到修正置信度最高的一个候选框m，从初始化候选框集合H移到最优框的集合M，遍历初始化候选框集合H中所有的候选框，计算与修正置信度最高候选框m的交幷比IoU，判断是否超过阈值：
若超过阈值，则认为对应的候选框与修正置信度最高候选框m重叠，将该候选框从初始化候选框集合H中去除；
(4)重复步骤(3)，直到初始化候选框集合H为空集,初始化候选框集合H中的候选框即为最终返回的目标。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于自适应集成模型的区域人数统计方法。
本发明的基于自适应集成模型的区域人数统计方法和系统具有以下优点：
(一)本发明通过采用人体特征检测算法，可以计算摄像头的拍摄角度和拍摄距离，根据拍摄角度和距离进行模型融合，所得到的集成模型兼容性更好，在准确率方面更具优势；
(二)本发明采用加权非极大值抑制的方法进行模型集成，解决单一模型容易受到拍摄角度和距离变化导致性能不稳定的问题，可以满足多种场景下的区域人数统计需求；
(三)本发明解决了单一算法模型无法适配不同角度和不同拍摄距离的问题，通过模型集成提升了系统的鲁棒性，集成后的算法模型在识别准确率上大大优于单一模型。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于自适应集成模型的区域人数统计方法的流程框图；
附图2为基于自适应集成模型的区域人数统计的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于自适应集成模型的区域人数统计方法和系统作以下详细地说明。
实施例1：
如附图1所示，本实施例提供了一种基于自适应集成模型的区域人数统计方法，该方法具体如下：
S1、通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；
S2、根据人体目标数量和位置信息判断是否出现人体目标：
①、若出现人体目标，则执行步骤S3；
②、若未出现人体目标，则调用脸部特征检测算法获取脸部骨骼位置信息；
S3、计算人体目标平均高宽比AR，并通过人体目标高宽比AR推断拍摄角度；
S4、将人体目标高宽比AR与阈值ARth进行对比：
当AR<ARth时，则对应的城市公共区域的摄像头为高空俯拍摄像头，并调用头部特征检测算法获取头部位置信息；
当AR>ARth时，则对应的城市公共区域的摄像头不是高空俯拍摄像头，并计算平均目标大小
S5、根据平均目标大小
计算拍摄距离量化系数DR；具体情况如下：
当DR<DRmin时，则判定为近距离拍摄，并调用脸部特征检测算法和骨骼关键点检测算法获取脸部骨骼位置信息和人体骨骼位置信息；
当DRmin<DR<DRmax时，则判定为中距离拍摄，调用骨骼关键点检测算法和人体特征检测算法获取人体骨骼位置信息和人体特征位置信息；
当DR>DRmax时，则判定为远距离拍摄，调用人体特征检测算法和头部特征检测算法获取人体特征位置信息和头部位置信息；
其中，DRmin和DRmax分别为拍摄距离阈值，最优值为DRmin＝0.5，DRmax＝2，根据数据集实际情况调整；
S6、根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
本实施例步骤S3中的人体目标平均高宽比AR的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；
本实施例步骤S4中的平均目标大小
的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；W表示图像宽度；H表示图像高度；
本实施例步骤S5中的拍摄距离量化系数DR计算公式如下：
其中，Sst表示目标大小的标准值，自行设定或者以数据集中全部人体目标计算得到的
作为Sst。
本实施例中的头部特征检测算法采用单阶段目标检测中的YOLO系列算法，通过头部特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有头部外接矩形的二维坐标(XH1,i,XH2,i,YH1,i,YH2,i)和置信度CHi；
在构建头部特征检测算法训练数据集时，采用高空摄像头俯拍得到的图像数据，高空摄像头俯拍得到的图像数据包括若干人体头部目标。
本实施例中的脸部特征检测算法采用MTCNN算法，通过网络开源的人脸特征数据集进行模型训练，训练后得到的模型检测出图像中所有人脸外接矩形的二维坐标(XF1,i,XF2,i,YF1,i,YF2,i)和置信度CFi；
本实施例中的骨骼关键点检测算法采用OpenPose算法，通过网络开源的骨骼关键点数据集进行模型训练，训练后得到的模型检测图像中所有人体骨骼外接矩形的二维坐标(XS1,i,XS2,i,YS1,i,YS2,i)和置信度CSi。
本实施例中的人体特征检测算法采用单阶段目标检测中的YOLO系列算法，通过自建的人体特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有人体目标的外接矩形的二维坐标(XB1,i,XB2,i,YB1,i,YB2,i)和置信度CBi；
在构建人体特征检测算法训练数据集时，采用多种拍摄角度和距离的混合图像数据集，混合图像数据集包括俯拍头部目标、正拍人脸目标以及各种距离的人体全身和半身目标。
本实施例中的加权非极大值抑制算法引入了权重参数对目标候选框的置信度进行修正，修正置信度具体如下
C'Fi＝WCF×CFi；
C'Si＝WCS×CSi；
C'Bi＝WCB×CBi；
C'Hi＝WCH×CHi；
其中，WCF，WCS，WCB及WCH分别为脸部特征检测算法的权重、骨骼关键点检测算法的权重、人体特征检测算法的权重以及头部特征检测算法的权重；
脸部特征检测算法的权重WCF、骨骼关键点检测算法的权重WCS、人体特征检测算法的权重WCB以及头部特征检测算法的权重WCH的计算方式如下：
本实施例中的加权非极大值抑制算法具体实现方式如下：
(1)、构建初始化候选框集合H，初始化候选框集合H包含全部N个候选框；
(2)、构建一个存放最优框的集合M并初始化为空集；
(3)、搜索所有候选框，找到修正置信度最高的一个候选框m，从初始化候选框集合H移到最优框的集合M，遍历初始化候选框集合H中所有的候选框，计算与修正置信度最高候选框m的交幷比IoU，判断是否超过阈值：
若超过阈值，则认为对应的候选框与修正置信度最高候选框m重叠，将该候选框从初始化候选框集合H中去除；
(4)重复步骤(3)，直到初始化候选框集合H为空集,初始化候选框集合H中的候选框即为最终返回的目标。
实施例2：
如附图2所示，本实施例提供了一种基于自适应集成模型的区域人数统计系统，该系统包括，
视频抽帧模块，用于通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；
人体目标判断模块，用于根据人体目标数量和位置信息判断是否出现人体目标：
若出现人体目标，则计算人体目标平均高宽比AR；
若未出现人体目标，则调用脸部特征检测算法获取脸部骨骼位置信息；
阈值对比模块，用于将人体目标高宽比AR与阈值ARth进行对比：
当AR<ARth时，则对应的城市公共区域的摄像头为高空俯拍摄像头，并调用头部特征检测算法获取头部位置信息；
当AR>ARth时，则对应的城市公共区域的摄像头不是高空俯拍摄像头，并计算平均目标大小
拍摄距离判定模块，用于根据平均目标大小
计算拍摄距离量化系数DR；具体情况如下：
当DR<DRmin时，则判定为近距离拍摄，并调用脸部特征检测算法和骨骼关键点检测算法获取脸部骨骼位置信息和人体骨骼位置信息；
当DRmin<DR<DRmax时，则判定为中距离拍摄，调用骨骼关键点检测算法和人体特征检测算法获取人体骨骼位置信息和人体特征位置信息；
当DR>DRmax时，则判定为远距离拍摄，调用人体特征检测算法和头部特征检测算法获取人体特征位置信息和头部位置信息；
其中，DRmin和DRmax分别为拍摄距离阈值，最优值为DRmin＝0.5，DRmax＝2，根据数据集实际情况调整；
区域人数和位置信息获取模块，用于根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
本实施例中的人体目标平均高宽比AR的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；
本实施例中的平均目标大小
的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；W表示图像宽度；H表示图像高度；
本实施例中的拍摄距离量化系数DR计算公式如下：
其中，Sst表示目标大小的标准值，自行设定或者以数据集中全部人体目标计算得到的
作为Sst。
本实施例中的头部特征检测算法采用单阶段目标检测中的YOLO系列算法，通过头部特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有头部外接矩形的二维坐标(XH1,i,XH2,i,YH1,i,YH2,i)和置信度CHi；
在构建头部特征检测算法训练数据集时，采用高空摄像头俯拍得到的图像数据，高空摄像头俯拍得到的图像数据包括若干人体头部目标；
本实施例中的脸部特征检测算法采用MTCNN算法，通过网络开源的人脸特征数据集进行模型训练，训练后得到的模型检测出图像中所有人脸外接矩形的二维坐标(XF1,i,XF2,i,YF1,i,YF2,i)和置信度CFi；
本实施例中的骨骼关键点检测算法采用OpenPose算法，通过网络开源的骨骼关键点数据集进行模型训练，训练后得到的模型检测图像中所有人体骨骼外接矩形的二维坐标(XS1,i,XS2,i,YS1,i,YS2,i)和置信度CSi；
本实施例中的人体特征检测算法采用单阶段目标检测中的YOLO系列算法，通过自建的人体特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有人体目标的外接矩形的二维坐标(XB1,i,XB2,i,YB1,i,YB2,i)和置信度CBi；
在构建人体特征检测算法训练数据集时，采用多种拍摄角度和距离的混合图像数据集，混合图像数据集包括俯拍头部目标、正拍人脸目标以及各种距离的人体全身和半身目标；
本实施例中的加权非极大值抑制算法引入了权重参数对目标候选框的置信度进行修正，修正置信度具体如下：
C'Fi＝WCF×CFi；
C'Si＝WCS×CSi；
C'Bi＝WCB×CBi；
C'Hi＝WCH×CHi；
其中，WCF，WCS，WCB及WCH分别为脸部特征检测算法的权重、骨骼关键点检测算法的权重、人体特征检测算法的权重以及头部特征检测算法的权重；
脸部特征检测算法的权重WCF、骨骼关键点检测算法的权重WCS、人体特征检测算法的权重WCB以及头部特征检测算法的权重WCH的计算方式如下：
本实施例中的加权非极大值抑制算法具体实现方式如下：
(1)、构建初始化候选框集合H，初始化候选框集合H包含全部N个候选框；
(2)、构建一个存放最优框的集合M并初始化为空集；
(3)、搜索所有候选框，找到修正置信度最高的一个候选框m，从初始化候选框集合H移到最优框的集合M，遍历初始化候选框集合H中所有的候选框，计算与修正置信度最高候选框m的交幷比IoU，判断是否超过阈值：
若超过阈值，则认为对应的候选框与修正置信度最高候选框m重叠，将该候选框从初始化候选框集合H中去除；
(4)重复步骤(3)，直到初始化候选框集合H为空集,初始化候选框集合H中的候选框即为最终返回的目标。
实施例3：
本实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于自适应集成模型的区域人数统计方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于自适应集成模型的区域人数统计方法，其特征在于，该方法具体如下：
通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；
根据人体目标数量和位置信息判断是否出现人体目标：
若出现人体目标，则计算人体目标平均高宽比AR；
若未出现人体目标，则调用脸部特征检测算法获取脸部骨骼位置信息；
将人体目标高宽比AR与阈值ARth进行对比：
当AR<ARth时，则对应的城市公共区域的摄像头为高空俯拍摄像头，并调用头部特征检测算法获取头部位置信息；
当AR>ARth时，则对应的城市公共区域的摄像头不是高空俯拍摄像头，并计算平均目标大小
根据平均目标大小
计算拍摄距离量化系数DR；具体情况如下：
当DR<DRmin时，则判定为近距离拍摄，并调用脸部特征检测算法和骨骼关键点检测算法获取脸部骨骼位置信息和人体骨骼位置信息；
当DRmin<DR<DRmax时，则判定为中距离拍摄，调用骨骼关键点检测算法和人体特征检测算法获取人体骨骼位置信息和人体特征位置信息；
当DR>DRmax时，则判定为远距离拍摄，调用人体特征检测算法和头部特征检测算法获取人体特征位置信息和头部位置信息；
其中，DRmin和DRmax分别为拍摄距离阈值，最优值为DRmin＝0.5，DRmax＝2，根据数据集实际情况调整；
根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
2.根据权利要求1所述的基于自适应集成模型的区域人数统计方法，其特征在于，人体目标平均高宽比AR的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；
平均目标大小
的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；W表示图像宽度；H表示图像高度；
拍摄距离量化系数DR计算公式如下：
其中，Sst表示目标大小的标准值，自行设定或者以数据集中全部人体目标计算得到的
作为Sst。
3.根据权利要求1或2所述的基于自适应集成模型的区域人数统计方法，其特征在于，所述头部特征检测算法采用单阶段目标检测中的YOLO系列算法，通过头部特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有头部外接矩形的二维坐标(XH1,i,XH2,i,YH1,i,YH2,i)和置信度CHi；
在构建头部特征检测算法训练数据集时，采用高空摄像头俯拍得到的图像数据，高空摄像头俯拍得到的图像数据包括若干人体头部目标。
4.根据权利要求3所述的基于自适应集成模型的区域人数统计方法，其特征在于，所述脸部特征检测算法采用MTCNN算法，通过网络开源的人脸特征数据集进行模型训练，训练后得到的模型检测出图像中所有人脸外接矩形的二维坐标(XF1,i,XF2,i,YF1,i,YF2,i)和置信度CFi；
骨骼关键点检测算法采用OpenPose算法，通过网络开源的骨骼关键点数据集进行模型训练，训练后得到的模型检测图像中所有人体骨骼外接矩形的二维坐标(XS1,i,XS2,i,YS1,i,YS2,i)和置信度CSi。
5.根据权利要求4所述的基于自适应集成模型的区域人数统计方法，其特征在于，所述人体特征检测算法采用单阶段目标检测中的YOLO系列算法，通过自建的人体特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有人体目标的外接矩形的二维坐标(XB1,i,XB2,i,YB1,i,YB2,i)和置信度CBi；
在构建人体特征检测算法训练数据集时，采用多种拍摄角度和距离的混合图像数据集，混合图像数据集包括俯拍头部目标、正拍人脸目标以及各种距离的人体全身和半身目标。
6.根据权利要求5所述的基于自适应集成模型的区域人数统计方法，其特征在于，所述加权非极大值抑制算法引入了权重参数对目标候选框的置信度进行修正，修正置信度具体如下
C′Fi＝WCF×CFi；
C′si＝WCS×CSi；
C′Bi＝WCB×CBi；
C′Hi＝WCH×CHi；
其中，WCF，WCS，WCB及WCH分别为脸部特征检测算法的权重、骨骼关键点检测算法的权重、人体特征检测算法的权重以及头部特征检测算法的权重；
脸部特征检测算法的权重WCF、骨骼关键点检测算法的权重WCS、人体特征检测算法的权重WCB以及头部特征检测算法的权重WCH的计算方式如下：
加权非极大值抑制算法具体实现方式如下：
(1)、构建初始化候选框集合H，初始化候选框集合H包含全部N个候选框；
(2)、构建一个存放最优框的集合M并初始化为空集；
(3)、搜索所有候选框，找到修正置信度最高的一个候选框m，从初始化候选框集合H移到最优框的集合M，遍历初始化候选框集合H中所有的候选框，计算与修正置信度最高候选框m的交幷比IoU，判断是否超过阈值：
若超过阈值，则认为对应的候选框与修正置信度最高候选框m重叠，将该候选框从初始化候选框集合H中去除；
(4)重复步骤(3)，直到初始化候选框集合H为空集,初始化候选框集合H中的候选框即为最终返回的目标。
7.一种基于自适应集成模型的区域人数统计系统，其特征在于，该系统包括，
视频抽帧模块，用于通过城市公共区域的摄像头获取视频数据，从视频数据中获取抽帧后的图像，通过人体特征检测算法得到图像中的人体目标数量和位置信息；
人体目标判断模块，用于根据人体目标数量和位置信息判断是否出现人体目标：
若出现人体目标，则计算人体目标平均高宽比AR；
若未出现人体目标，则调用脸部特征检测算法获取脸部骨骼位置信息；
阈值对比模块，用于将人体目标高宽比AR与阈值ARth进行对比：
当AR<ARth时，则对应的城市公共区域的摄像头为高空俯拍摄像头，并调用头部特征检测算法获取头部位置信息；
当AR>ARth时，则对应的城市公共区域的摄像头不是高空俯拍摄像头，并计算平均目标大小
拍摄距离判定模块，用于根据平均目标大小
计算拍摄距离量化系数DR；具体情况如下：
当DR<DRmin时，则判定为近距离拍摄，并调用脸部特征检测算法和骨骼关键点检测算法获取脸部骨骼位置信息和人体骨骼位置信息；
当DRmin<DR<DRmax时，则判定为中距离拍摄，调用骨骼关键点检测算法和人体特征检测算法获取人体骨骼位置信息和人体特征位置信息；
当DR>DRmax时，则判定为远距离拍摄，调用人体特征检测算法和头部特征检测算法获取人体特征位置信息和头部位置信息；
DRmin和DRmax分别为拍摄距离阈值，最优值为DRmin＝0.5，DRmax＝2，根据数据集实际情况调整；
区域人数和位置信息获取模块，用于根据所有的头部位置信息、人体特征位置信息、人体骨骼位置信息和脸部骨骼位置信息，并基于加权非极大值抑制算法获取区域人数信息和位置信息。
8.根据权利要求7所述的基于自适应集成模型的区域人数统计系统，其特征在于，人体目标平均高宽比AR的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；
平均目标大小
的计算公式如下：
其中，N表示识别到的人体目标数量；XB1,i,XB2,i,YB1,i,YB2,i表示第i个人体目标的四个坐标位置；W表示图像宽度；H表示图像高度；
拍摄距离量化系数DR计算公式如下：
其中，Sst表示目标大小的标准值，自行设定或者以数据集中全部人体目标计算得到的
作为Sst。
9.根据权利要求7或8所述的基于自适应集成模型的区域人数统计系统，其特征在于，所述头部特征检测算法采用单阶段目标检测中的YOLO系列算法，通过头部特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有头部外接矩形的二维坐标(XH1,i,XH2,i,YH1,i,YH2,i)和置信度CHi；
在构建头部特征检测算法训练数据集时，采用高空摄像头俯拍得到的图像数据，高空摄像头俯拍得到的图像数据包括若干人体头部目标；
所述脸部特征检测算法采用MTCNN算法，通过网络开源的人脸特征数据集进行模型训练，训练后得到的模型检测出图像中所有人脸外接矩形的二维坐标(XF1,i,XF2,i,YF1,i,YF2,i)和置信度CFi；
所述骨骼关键点检测算法采用OpenPose算法，通过网络开源的骨骼关键点数据集进行模型训练，训练后得到的模型检测图像中所有人体骨骼外接矩形的二维坐标(XS1,i,XS2,i,YS1,i,YS2,i)和置信度CSi；
所述人体特征检测算法采用单阶段目标检测中的YOLO系列算法，通过自建的人体特征检测算法训练数据集进行模型训练，训练后得到的模型检测出图像中所有人体目标的外接矩形的二维坐标(XB1,i,XB2,i,YB1,i,YB2,i)和置信度CBi；
在构建人体特征检测算法训练数据集时，采用多种拍摄角度和距离的混合图像数据集，混合图像数据集包括俯拍头部目标、正拍人脸目标以及各种距离的人体全身和半身目标；
所述加权非极大值抑制算法引入了权重参数对目标候选框的置信度进行修正，修正置信度具体如下：
C′Fi＝WCF×CFi；
C′si＝WCS×CSi；
C′Bi＝WCB×CBi；
C′Hi＝WCH×CHi；
其中，WCF，WCS，WCB及WCH分别为脸部特征检测算法的权重、骨骼关键点检测算法的权重、人体特征检测算法的权重以及头部特征检测算法的权重；
脸部特征检测算法的权重WCF、骨骼关键点检测算法的权重WCS、人体特征检测算法的权重WCB以及头部特征检测算法的权重WCH的计算方式如下：
加权非极大值抑制算法具体实现方式如下：
(1)、构建初始化候选框集合H，初始化候选框集合H包含全部N个候选框；
(2)、构建一个存放最优框的集合M并初始化为空集；
(3)、搜索所有候选框，找到修正置信度最高的一个候选框m，从初始化候选框集合H移到最优框的集合M，遍历初始化候选框集合H中所有的候选框，计算与修正置信度最高候选框m的交幷比IoU，判断是否超过阈值：
若超过阈值，则认为对应的候选框与修正置信度最高候选框m重叠，将该候选框从初始化候选框集合H中去除；
(4)重复步骤(3)，直到初始化候选框集合H为空集,初始化候选框集合H中的候选框即为最终返回的目标。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至6中任一项所述的基于自适应集成模型的区域人数统计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211016480.1A CN115331175A (zh) | 2022-08-24 | 2022-08-24 | 基于自适应集成模型的区域人数统计方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211016480.1A CN115331175A (zh) | 2022-08-24 | 2022-08-24 | 基于自适应集成模型的区域人数统计方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115331175A true CN115331175A (zh) | 2022-11-11 |
Family
ID=83926808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211016480.1A Pending CN115331175A (zh) | 2022-08-24 | 2022-08-24 | 基于自适应集成模型的区域人数统计方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115331175A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102663282B1 (ko) * | 2023-06-15 | 2024-05-03 | 주식회사 이투온 | 군중 밀집도 자동 측정 시스템 |
-
2022
- 2022-08-24 CN CN202211016480.1A patent/CN115331175A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102663282B1 (ko) * | 2023-06-15 | 2024-05-03 | 주식회사 이투온 | 군중 밀집도 자동 측정 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765964B (zh) | 基于计算机视觉的电梯轿厢内异常行为的检测方法 | |
| Porikli et al. | Human body tracking by adaptive background models and mean-shift analysis | |
| JP6448223B2 (ja) | 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム | |
| CN110969118B (zh) | 轨迹监控系统和方法 | |
| CN110633643A (zh) | 一种面向智慧社区的异常行为检测方法及系统 | |
| CN110633648B (zh) | 一种自然行走状态下的人脸识别方法和系统 | |
| CN110866454A (zh) | 人脸活体检测方法及系统、计算机可读取的存储介质 | |
| CN113743260B (zh) | 一种地铁站台密集人流情况下的行人跟踪方法 | |
| CN115331175A (zh) | 基于自适应集成模型的区域人数统计方法和系统 | |
| CN107748765A (zh) | 一种人员库生成方法及系统 | |
| CN111353338A (zh) | 一种基于营业厅视频监控的能效改进方法 | |
| CN112989889A (zh) | 一种基于姿态指导的步态识别方法 | |
| CN109754411A (zh) | 基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 | |
| CN109919068B (zh) | 基于视频分析适应密集场景人流实时监测方法 | |
| JP2010049297A (ja) | 画像監視装置 | |
| CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
| JP6080572B2 (ja) | 通行物体検出装置 | |
| KR20200060868A (ko) | 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 | |
| Almomani et al. | Segtrack: A novel tracking system with improved object segmentation | |
| JP5132509B2 (ja) | 移動物体追跡装置 | |
| Yang et al. | Robust people detection and tracking in a multi-camera indoor visual surveillance system | |
| CN116342645A (zh) | 一种针对游泳馆场景下的多目标跟踪方法 | |
| JP6851246B2 (ja) | 物体検出装置 | |
| Michael et al. | Fast change detection for camera-based surveillance systems | |
| KR101311728B1 (ko) | 침입자의 얼굴감지 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |