CN112232236B - 行人流量的监测方法、系统、计算机设备和存储介质 - Google Patents

行人流量的监测方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN112232236B
CN112232236B CN202011127097.4A CN202011127097A CN112232236B CN 112232236 B CN112232236 B CN 112232236B CN 202011127097 A CN202011127097 A CN 202011127097A CN 112232236 B CN112232236 B CN 112232236B
Authority
CN
China
Prior art keywords
module
image
detected
face image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011127097.4A
Other languages
English (en)
Other versions
CN112232236A (zh
Inventor
郁强
张香伟
毛云青
方思勰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202011127097.4A priority Critical patent/CN112232236B/zh
Publication of CN112232236A publication Critical patent/CN112232236A/zh
Application granted granted Critical
Publication of CN112232236B publication Critical patent/CN112232236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请涉及行人流量的监测方法、系统、计算机设备和存储介质，其中方法包括获取实时视频，将实时视频输入到已训练的目标检测模型，得到已训练的目标检测模型输出的人脸图像；将待测人脸图像在预设人脸数据库中与其他人脸图像进行比对，输出识别结果；将识别结果与预设相似度阈值比较，若不超过阈值，将识别结果对应的待测人脸图像保存到行人流量文件夹中，若超过阈值，选取峰值信噪比最高的待测人脸图像，保存到行人流量文件夹中；统计行人流量。通过本发明，可以在实时视频中提取出人脸图像，将人脸图像的数据进行统计，得到行人流量信息，通过监控行人流量的信息，能够合理地规划交通流畅性和商业服务范围。

Description

行人流量的监测方法、系统、计算机设备和存储介质
技术领域
本申请涉及目标检测领域，特别是涉及行人流量的监测方法、系统、计算机设备和存储介质。
背景技术
图像目标检测算法是深度学习的一个重要研究方向，在深度学习之前，传统的目标检测主要利用手动标注的特征，通过选择性搜索生成候选框，随后进行分类和回归。此类算法包括Viola-Jones的人脸检测算法、支持向量机(SVM)以及HOG(Histograms ofOriented Gradients)的扩展DPM(Deformable Parts Model)算法等等。
基于深度学习的静态图像目标检测算法主要是从R-CNN检测器发展而来的，该检测器从无监督算法生成的目标候选框发展而来，并使用卷积神经网络对其进行分类。该模型是尺度不变的，但是R-CNN的训练和推理的计算成本与候选框数量成线性关系。为了缓解这一计算瓶颈，Faster-RCNN开始提出设置锚框，这样网络对于学习的对象更加具有针对性，采用RPN(区域候选网络)网络来提取候选框，在COCO数据集是mAP达到了27.2％。之后在单阶段目标检测中，以yolo和SSD算法为代表的目标检测方法通过采用特征金字塔网络结构，利用浅层特征预测小目标，深层特征预测大目标，其中Joseph Redmon的YOLOv3将mAP达到了33％，Zhang的RefineDet更是达到了41.8％。在视频目标检测领域，Dai等人深度特征流在非关键视频帧上使用FlowNet网络估计光流，通过关键帧提取的特征做双线性变形的形式得到非关键帧的特征图。Wang等人引入了一个时域卷积神经网络对每一个管道进行重新打分，这样通过时间域的信息来重新评估每个候选框的置信度。zhu等人的THP-VID提出稀疏递归特征聚合、时间自适应的关键帧选取方法在ImageNet VID视频检测数据集上达到78.6％mAP。上述两阶段检测算法还有特征网络更好的HyperNet、MSCNN、PVANet和Light-Head R-CNN，RPN网络更精准的MR-CNN、FPN和CRAFT，ROI分类更完善的R-FCN、CoupleNet、Mask R-CNN和Cascade R-CNN，样本后处理的OHEM、Soft-NMS和A-Fast-RCNN，mini-Batch更大的神经网络MegDet。
进入2019年Anchor Free方法颇有点井喷的感觉，Anchor的本质是候选框，其主要的思路大都起源于2015年的DensBox和2016年的UnitBox。其中分为基于关键点的CornerNet、CenterNet、ExtremeNet，和密集预测的FSAF、FCOS、FoveaBox，这些算法在目标检测方向都有不错表现。
进入2020年神经网络架构搜索已经成为最近深度学习算法的热点。基于强化学习的神经架构搜索利用循环神经网络生成神经网络的模型描述，提出的神经架构搜索是基于梯度的。对于可伸缩图像识别领域的可转移架构学习，在文中首先在一个小数据集上搜索结构上组成一个模块，然后将模块再转移到一个大数据集上。高效结构搜索的层次化表示，提出了一种可扩展的进化搜索方法变体，一种描述神经网络结构的层次化表示方法。PNASNet该方法采用基于序列模型的优化策略学习卷积神经网络的结构。Auto-Keras使用贝叶斯优化引导网络形变，以提升NAS的效率。NASBOT提出了一种基于高斯过程的神经结构搜索框架。DARTS以可微的方式构造任务，解决了结构搜索的可伸缩性问题。
许多研究人员在目标检测领域取得了一定的进展，但是，在实际设计和使用中仍面临许多问题，主要体现在以下两个方面：
(1)视频目标检测在实际应用中检测效果不太明显，实际应用中如何提升视频目标检测精度仍是一个问题；具体而言，目前视频目标检测对小目标的提取特征能力不强，对于景区中人流量问题，当通过监控场景进行检测时，视频中的目标会随着网络加深语义信息逐渐丰富，但目标分辨率越来越模糊，使其目标检测精度不高，目前视频目标检测精度存在问题，导致景区中的行人无法被高效地提取出来，影响了景区中的行人流量的统计结果。
(2)行人目标检测的效果仍需要提升，特别是针对监控视频状态下小目标和遮挡目标的问题仍然是较大的挑战；具体而言，目前目标检测算法中通过构造特征金字塔的方式设置多层检测器，在特征融合的阶段如何进一步的提升检测效果，以生成更具区分性的特征的问题亟待解决。
目前针对目标检测技术存在的上述问题，行人流量无法被有效监控地问题尚未提出有效的解决方案。
发明内容
本申请实施例提供了行人流量的监测方法，系统、计算机设备和存储介质，以至少解决相关技术中景区中的行人流量无法被有效地监控的问题。
第一方面，本申请实施例提供了行人流量的监测方法，所述方法包括：获取实时视频，从所述实时视频中提取图像帧，将所述图像帧输入到已训练的目标检测模型，得到所述已训练的目标检测模型输出的人脸图像；其中，所述已训练的目标检测模型为利用人脸图像样本集训练后获得的用于人脸目标检测的神经网络模型；对所述人脸图像进行预处理，得到待测人脸图像；将所述待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征；将每个所述待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果；通过所述计算结果与预设余弦相似度阈值比较判断所述待测人脸图像是否存在相似人脸图像，如果是，将所述待测人脸图像和所述相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将所述待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将所述计算结果超过所述预设余弦相似度阈值对应的其它待测人脸图像作为所述待测人脸图像的相似人脸图像；统计所述行人流量文件夹中所述最终人脸图像的数量得到行人流量。
在其中一些实施例中，所述已训练的目标检测模型包括特征提取网络和预测网络；获取实时视频，从所述实时视频中提取图像帧，将所述图像帧输入到已训练的目标检测模型，得到所述已训练的目标检测模型输出的人脸图像包括：获取实时视频；根据所述实时视频得到连续一段时间内同一地点的待检测图像；将所述待检测图像输入到特征提取网络中，经过所述特征提取网络中复数个残差模块，得到所述待检测图像的浅层特征图、中层特征图及深层特征图；其中，每个所述残差模块包括至少一个残差块，在所述残差块中通过学习和利用特征图通道之间的相关性，筛选出针对通道的注意力，将所述残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图；将所述浅层特征图、所述中层特征图及所述深层特征图输入到预测网络中进行融合，得到所述待检测图像中的一个或多个人脸图像。
在其中一些实施例中，对所述人脸图像进行预处理包括，得到所述待测人脸图像包括：定位所述人脸图像中的人脸特征点，根据所述人脸特征点中的人眼坐标校正人脸至平面内水平，得到待测人脸图像。
在其中一些实施例中，所述已训练的图像超分辨率模型为所述已训练的目标检测模型中的所述已训练的特征提取网络。
在其中一些实施例中，在所述残差块中通过学习和利用特征图通道之间的相关性，筛选出针对通道的注意力，将所述残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图包括：将所述图像进行1*1卷积升维后经过混合深度可分离卷积进行特征提取，输出特征图；将所述特征图分别输入到通道注意力模块和特征图注意力模块；在所述通道注意力模块对所述特征图进行池化、重塑、升维、特征压缩操作，将输出项与所述通道注意力模块的输入项相乘并进行降维卷积；在所述特征图注意力模块对所述特征图分组后经过混合深度可分离卷积进行特征提取，对每组的输出项进行拼接并进行降维卷积；将所述通道注意力模块和所述特征图注意力模块的得到的结果进行元素级相加操作，将所述残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图。
在其中一些实施例中，所述预测网络为交叉双向特征金字塔模块。
在其中一些实施例中，将所述待检测图像输入到所述已训练的特征提取网络中；其中，所述待检测图像为三通道图；将所述三通道图经过3*3卷积后输入到残差网络中，其中，所述残差网络包括从输入端至输出端的第一残差模块、第二残差模块、第三残差模块、第四残差模块、第五残差模块、第六残差模块以及第七残差模块，所述第一残差模块、所述第二残差模块、所述第三残差模块、所述第四残差模块、所述第五残差模块、所述第六残差模块以及所述第七残差模块中分别对应残差块的数量为1个、2个、2个、3个、3个、4个以及1个；在所述第四残差模块得到浅层特征图，在所述第五残差模块得到中层特征图，在所述第六残差模块得到深层特征图；在所述第三残差模块和所述第七残差模块的输出设置三个融合单元进行相邻两层或三层特征融合；在所述第四残差模块、所述第五残差模块和所述第六残差模块设置七个融合单元且每层的分辨率相等，在所述第四残差模块、所述第五残差模块和所述第六残差模块的倒数第二个融合单元将特征图融合到一起，所述融合单元的融合方法为上采样或者下采样；在所述第四残差模块、所述第五残差模块、所述第六残差模块的所述融合单元后面分别接一个头部预测模块，通过所述头部预测模块得到所述待检测图像中待测目标的位置、待测目标包围框的大小以及置信度。
第二方面，本申请实施例提供了一种行人流量的监控系统，包括获取模块，获取实时视频，从所述实时视频中提取图像帧，将所述图像帧输入到已训练的目标检测模型，得到所述已训练的目标检测模型输出的人脸图像；预处理模块，用于对所述人脸图像进行预处理，得到待测人脸图像；识别模块，用于将所述待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征；相似度计算模块，用于将每个所述待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果；判断模块，用于通过所述计算结果与预设余弦相似度阈值比较判断所述待测人脸图像是否存在相似人脸图像，如果是，将所述待测人脸图像和所述相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将所述待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将所述计算结果超过所述预设余弦相似度阈值对应的其它待测人脸图像作为所述待测人脸图像的相似人脸图像；计数模块，用于统计所述行人流量文件夹中所述最终人脸图像的数量得到行人流量。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的行人流量的监测方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的行人流量的监测方法。
相比于相关技术，本申请实施例提供的行人流量的监测方法、系统、计算机设备和存储介质，用来解决现有技术中景区中的行人流量无法被有效地监控的问题。相关技术中的行人监控方法的检测精度低、对小目标和遮挡目标检测的效果不好，导致景区中的人脸无法被高效地提取出来，影响了景区中的行人流量的统计结果。针对目标检测精度不高，本方案提出一种残差块，该残差块1、采用了混合深度可分离卷积，即不同的通道分配不同的卷积核，来获得不同大小的感受野特征图，从而考虑到视频中不同大小的目标，使其主干网络提取更加鲁棒的特征，有利于对目标进行定位和分类。2、在残差块中首先利用不同的卷积核获得不同的感受野，结合特征注意力机制和通道注意力机制，使其强化前景(目标)特征提取，弱化背景信息。本方案设计一个交叉双向特征金字塔模块，通过充分优化特征语义信息和分辨率的结合方式，使其对视频中的目标检测精度鲁棒性更高。针对人脸目标检测的效果不好的问题，本方案提出上述网络架构以生成更具区分性的特征。此外，通过安装焦距、高度合理的摄像头，避免目标小、拍摄不到正对人脸以及行人距离较近时互相遮挡的问题。具体而言，本申请通过在特征提取网络中结合通道注意力机制和特征图注意力机制，设计新的残差结构，学习并利用利用通道之间的相关性，筛选出针对通道的注意力。在特征提取网络中引入卷积核注意力机制，利用不同大小的感受视野(卷积核)对于不同尺度(远近、大小)的目标会有不同的效果，结合两者的性质设计了一个更加鲁棒性的特征提取网络，并在卷积核注意力机制中使用不通过大小的深度可分离卷积核(3*3、5*5、7*7和9*9)，这样不但浮点运算量上不会增加，而且还可以获得不同大小的感受野，此方法可以增强特征提取网络提取特征的能力，使人脸能在视频图像中能被检测出来。完成特征的初步提取之后，为了使提取的特征更加具有高语义信息，在预测网络中设计了一个交叉双向特征金字塔模块，在倒数第二个特征融合单元聚合了三个尺度的局部上下文信息，深层特征包含较多的语义信息，还有足够大的感受野，浅层特征包含更多的细节信息，这样的融合方式更加接近全局特征和局部特征融合的目的，以生成更具区分性的特征。通过本发明，可以在实时视频中提取出人脸图像，将人脸图像的数量进行统计，得到行人流量信息，通过监控行人流量的信息，能够合理地规划交流流畅性和商业服务范围。此外，人流量间接地显示了观光景点受欢迎程度，能有效分配观光景点的管理和维护人员，以及对流量比较大的区域采取预防突发事件的措施。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的行人流量的监测方法的流程图；
图2是根据本申请实施例的特征提取网络中的一个残差块的网络架构图；
图3是根据本申请实施例的预测网络中的交叉双向特征金字塔模块架构图；
图4是根据本申请实施例的电子装置的硬件结构示意图；
图5是基于人脸相似数据分析的人流量统计的流程图；
图6是根据本申请实施例的行人流量的监控系统的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
本实施例提供了行人流量的监测方法，图1是根据本申请实施例的行人流量的监测方法的流程图，如图1所示，该流程包括获取图像、图像预处理、特征识别、相似度计算、相似度判断、行人流量计数，具体而言，该方法包括：
步骤101、获取实时视频，从实时视频中提取图像帧，将图像帧输入到已训练的目标检测模型，得到已训练的目标检测模型输出的人脸图像。
在本实施例中，可以通过监控视频采集图像，具体的，在监控视频中，找出L段含有待测目标的视频，Vi表示第i段视频，Vi共有Ni幅视频图像，从Ni幅视频图像中选取Mi幅视频图像作为训练与测试图像，则从L段视频可获得幅视频图像作为训练与测试图像。
在其中一些实施例中，为了清楚地拍摄到人脸正面，摄像头的俯仰角不超过15度，摄像头在室内的安装高度一般为2-2.5米。在室外安装高度一般为3-3.5米。在人脸检测时，对于200万像素的摄像机，需根据摄像头清晰度微调像素，为了拍摄到更为清晰的人脸，人脸像素在100*80或以上时效果较好。
示例性的，实时视频检测的摄像头可以是200万像素，焦距为12mm，摄像头安装高度可以为2.3米左右，负责监控距离约15米左右的行人检测，为了获取更准确的行人流量数据，在道路的两边都装设摄像头，分别监测道路两个方向的行人。
在本实施例中，通过安装焦距、高度合理的摄像头，避免拍摄的目标太小、无法拍摄到正脸及行人距离较近时互相遮挡的问题。在实际工程中摄像头的安装高度和角度会直接影响摄像头拍摄到的人脸照片的清晰度，进而影响网络的检测精度，通过上述安装数据，能很大的提高网络的检测精度，上面数据是本实施例中经工程试验测试得到的较优角度和高度数据。
在其中一些实施例中，从一段视频中的N视频图像中选取M幅视频图像作为训练与测试图像方法的数据增强。
在本实施例中，可以通过几何变换增强数据：将采集每类中的P张目标图像通过平移、旋转图像(45°，90°，180°，270°)、缩小图像(1/3,1/2)、Mosaic数据增强和剪切变换来增加数据；将数据增强后的图像的一部分作为训练数据，另一部分作为测试数据，并且训练数据和测试数据不交叉。
在其中一些实施例中，在训练前对数据进行手动标注。具体地，在Windows操作系统、linux操作系统或者MAC操作系统配置python和lxml环境之后，使用LabelImg标注工具得到待测目标的图像标签框，由标注人员对其进行边界框标注，将标注图像数据信息存为XML格式文件，生成的XML文件遵循PASCAL VOC的格式，根据训练模型框架的不同，可以把XML标注数据格式转化为和框架匹配的标签数据格式。
在本实施例中，本发明的已训练的目标检测模型是通过标注数据训练得到的，具体为，通过监控视频采集图像，对选取的图像中作为训练与测试的数据进行数据增强，将数据增强后的图像的一部分作为训练数据，另一部分作为测试数据，并且训练数据和测试数据不交叉。对数据进行标注，得到待测目标的图像标签框。
在其中一些实施例中，已训练的目标检测模型包括特征提取网络和预测网络；获取实时视频，从实时视频中提取图像帧，将图像帧输入到已训练的目标检测模型，得到已训练的目标检测模型输出的人脸图像包括：获取实时视频；根据实时视频得到连续一段时间内同一地点的待检测图像；将待检测图像输入到特征提取网络中，经过特征提取网络中复数个残差模块，得到待检测图像的浅层特征图、中层特征图及深层特征图；其中，每个残差模块包括至少一个残差块，在残差块中通过学习和利用特征图通道之间的相关性，筛选出针对通道的注意力，将残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图；将浅层特征图、中层特征图及深层特征图输入到预测网络中进行融合，得到待检测图像中的一个或多个人脸图像。
在本实施例中，将待检测图像输入到特征提取网络中，根据输入到神经网络中视频图像分辨率实验测试网络的深度为D和宽度为W的一个具体值，特征提取网络的总体结构为：根据对网络深度、宽度和分辨率中的任何参数进行缩放都可以提高模型精度，随着网络深度加深(捕获到更丰富和更复杂的特征)、宽度增加(捕捉到更细粒度的特征从而易于训练)和输入网络的图像分辨率提高(捕捉到更细粒度的模式)，网络精度的回报会削弱；根据网络深度、宽度和分辨率这三个因素我们设计的特征提取网络倾向聚焦于更多细节相关领域。选定网络输入图像的分辨率为X*X，依据卷积运算的计算量，加倍网络深度会使浮点运算量加倍，而加倍网络宽度会使浮点运算量增加四倍，所以在确定输入图像分辨率后再选定网络深度D，最后在输入分辨率图像和网络深度均确定的情况下，选出特征提取网络的宽度W。
在其中一些实施例中，在残差块中通过学习和利用特征图通道之间的相关性，筛选出针对通道的注意力，将残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图包括：将图像进行1*1卷积升维后经过混合深度可分离卷积进行特征提取，输出特征图；将特征图分别输入到通道注意力模块和特征图注意力模块；在通道注意力模块对特征图进行池化、重塑、升维、特征压缩操作，将输出项与通道注意力模块的输入项相乘并进行降维卷积；在特征图注意力模块对特征图分组后经过混合深度可分离卷积进行特征提取，对每组的输出项进行拼接并进行降维卷积；将通道注意力模块和特征图注意力模块的得到的结果进行元素级相加操作，将残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图。
在本实施例中，参考图2，特征提取网络由一个一个的残差块构成。本发明的残差块先经过1*1的卷积输出通道为C个，C个通道均匀的划分为4份，每一份特征通道数为C/4，每隔C/4个特征通道对应一个深度可分离卷积。即，3*3对应C/4个特征通道，5*5对应C/4个特征通道，7*7对应C/4个特征通道，9*9对应C/4个特征通道。混合深度可分离卷积从3*3作为起始第一个，以2i+1(1＝<i<＝4)的方式增加卷积核的大小并且本发明所用最大深度可分离卷为9*9，然后对混合深度可分离卷积的输出结果进行1*1的卷积操作、批量归一化操作和H-Swish的激活函数操作；对输出的C个通道特征分别对其进行通道注意力机制和特征图注意力机制，通过学习和利用特征图通道之间的相关性，筛选出针对通道的注意力，将残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图。
在其中一些实施例中，将待检测图像输入到特征提取网络中，经过特征提取网络中复数个残差模块，得到图像的浅层特征图、中层特征图及深层特征图；包括：将图像输入到特征提取网络中；其中，图像缩放为宽高一样的大小的三通道图；将三通道图经过3*3卷积后输入到残差网络中，其中，残差网络包括从输入端至输出端的第一残差模块、第二残差模块、第三残差模块、第四残差模块、第五残差模块、第六残差模块以及第七残差模块，第一残差模块、第二残差模块、第三残差模块、第四残差模块、第五残差模块、第六残差模块以及第七残差模块中分别对应残差块的数量为1个、2个、2个、3个、3个、4个以及1个；在第四残差模块得到浅层特征图作为预测小目标的特征，在第五残差模块得到中层特征图作为预测中目标的特征，在第六残差模块得到深层特征图作为预测大目标的特征。
在其中一些实施例中，在通道注意力模块对特征图进行池化、重塑、升维、特征压缩操作，将输出项与通道注意力模块的输入项相乘并进行降维卷积包括：在通道注意力模块对特征图进行全局平均池化操作；重塑特征图，重塑后的特征图用1*1卷积升维；对升维后特征图用1*1卷积压缩其特征通道数；对特征通道数进行通道数扩张，得到输出项；其中，输出项为一维特征向量；将一维特征向量与特征图相乘，用1*1卷积进行特征融合。
在其中一些实施例中，在特征图注意力模块对特征图分组后经过混合深度可分离卷积进行特征提取，对每组的输出项进行拼接并进行降维卷积包括：将特征图分为四组，经过混合深度可分离卷积进行特征提取；其中，混合深度可分离卷积从3*3作为起始第一个卷积核，以2i+1(1＝<i<＝4)的方式增加卷积核的大小；对混合深度可分离卷积的输出结果进行1*1的卷积操作，得到分离的四组卷积；对分离的四组卷积进行元素级相加、全局平均池化、分离出四组全连接层和获取对应的四组Softmax的值的操作，将获取的四组Softmax的值分别和对应的特征进行元素级相乘，将元素级相乘得到的四组特征进行元素级相加，将元素级相加得到的结果用1*1卷积进行特征融合。
在其中一些实施例中，预测网络为交叉双向特征金字塔模块。
在本实施例中，参考图3，在第三残差模块和第七残差模块的输出设置三个融合单元进行相邻两层或三层特征融合；在第四残差模块、第五残差模块和第六残差模块设置七个融合单元且每层的分辨率相等，在第四残差模块、第五残差模块和第六残差模块的倒数第二个融合单元将特征图融合到一起，融合单元的融合方法为上采样或者下采样；在第四残差模块、第五残差模块、第六残差模块的融合单元后面分别接一个头部预测模块，通过头部预测模块得到待检测图像中行人的位置、行人的包围框的大小以及置信度。值得一提的是，在本实施例中，预测网络通过EfficientDet特征金字塔网络中加入交叉双向聚合尺度模块，把相邻的多个尺度的特征进行融合。参考图3，在倒数第二个特征融合单元聚合了三个尺度的局部上下文信息，深层特征包含较多的语义信息，还有足够大的感受野，浅层特征包含更多的细节信息，这样的融合方式更加接近全局特征和局部特征融合的目的，以生成更具区分性的特征。
在步骤101当中，参考图2-图3，此部分残差块中采用了特征图通道注意力机制和卷积核注意力机制的结合，特征图通道注意力机制包括通道注意力模块和特征图注意力模块，学习并利用通道之间的相关性，筛选出了针对通道的注意力；卷积核注意力机制利用不同大小的感受视野(卷积核)对于不同尺度(远近、大小)的目标会有不同的效果，并在卷积核注意力机制中使用不通过大小的深度可分离卷积核，这样不但浮点运算量上减小，而且还可以获得不同大小的感受野，依此增强特征提取网络提取特征的能力，使行人能在视频图像中能被检测出来。完成特征的初步提取之后，为了使提取的特征更加具有高语义信息，在预测网络中设计了一个交叉双向特征金字塔模块，在倒数第二个特征融合单元聚合了三个尺度的局部上下文信息，深层特征包含较多的语义信息，还有足够大的感受野，浅层特征包含更多的细节信息，这样的融合方式更加接近全局特征和局部特征融合的目的，以生成更具区分性的特征。上述步骤通过加强特征提取网络的特征提取能力以及优化金字塔模块，能够针对监控视频状态下的目标特别是小目标，如远景中的行人、人脸进行目标检测，使其不会随着网络加深淹没在上下文背景中，提高了景区中行人流量结果统计的准确性。
步骤102、对人脸图像进行预处理，得到待测人脸图像。
在其中一些实施例中，可以将人脸图像保存到人脸数据文件夹中，每隔一段时间对人脸数据文件夹中的人脸图像进行处理，例如，获取一天的实时视频，将实时视频处理成一天内同一地点的人脸图像，将人脸图像保存到人脸数据文件夹中并对其标注当日日期，对该人脸数据文件夹中的人脸图像进行处理，统计得到的即为当日的行人流量。
在其中一些实施例中，对人脸图像进行预处理包括，得到待测人脸图像包括：定位人脸图像中的人脸特征点，根据人脸特征点中的人眼坐标校正人脸至平面内水平，得到待测人脸图像。
在本实施例中，在获取人脸识别结果之前，先将对人脸图像进行预处理，将人脸校正至平面内水平，可以提高后续对待测人脸图像的训练效率。
在本实施例中，人脸特征点包括但不限于鼻尖、鼻根、下把、左眼外角、左眼内角、右眼外角、右眼内角、嘴中心、嘴左角、嘴右脚、左脸最外、右脸最外。用于人脸对齐并不需要用到所有的点坐标，一般情况下通过左右眼、鼻子和左右嘴角判断人脸中的眼睛、鼻子和嘴巴的位置。本实施例通过人眼坐标校正人脸至平面内水平，还可以通过其他特征点对图像进行校正操作，在此不进行具体地叙述。
步骤103、将待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征。
步骤104、将每个待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果。
步骤105、通过计算结果与预设余弦相似度阈值比较判断待测人脸图像是否存在相似人脸图像，如果是，将待测人脸图像和相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将计算结果超过预设余弦相似度阈值对应的其它待测人脸图像作为待测人脸图像的相似人脸图像。
在步骤103-步骤105当中，可以将待测人脸图像保存到人脸数据文件夹中，生成人脸数据文件夹下的待测人脸图像的数据路径，将人脸数据文件夹导入人脸数据库中，提取待测人脸图像与人脸数据文件夹中的数据的特征，依次将待测人脸图像与人脸数据文件夹中的数据进行比对，对每一个待测人脸图像都输出一个余弦相似度。找一个验证集合，遍历可能的阈值，计算评价指标，确定最佳阈值作为余弦相似度阈值。在比对中没有大于余弦相似度阈值的行人流量加1并存到行人流量文件夹，将比对中超过余弦相似度阈值的待测人脸图像经过图像超分辨率模型选择峰值信噪比最高的图像存到行人流量文件夹中，并将其他峰值信噪比低的图像提取到另外一个文件夹中进行保存。
在其中一些实施例中，已训练的图像超分辨率模型为已训练的目标检测模型中的已训练的特征提取网络。
在本实施例中，将相似的待测人脸图像利用图像超分辨率算法选取图像质量最高的待测人脸图像放入行人流量文件夹中，将其他图像质量不够高的待测人脸图像放入另外一个文件夹中进行保存。本实施例中的峰值信噪比为常见的图像质量评价指标，将图像质量高的待测人脸图像作为行人流量的数据，可以节省行人流量文件夹的存储空间。本步骤中将已训练的特征提取网络作为图像超分辨率的网络架构，具体网络架构参考步骤101中的特征提取网络，在此不多作叙述。
步骤106、统计行人流量文件夹中的最终人脸图像的数量得到行人流量。
示例性的，可以每天统计一次行人流量，将统计的结果作为当天的行人流量。与人脸数据文件夹对应的，可以每日生成一个行人流量文本并以当天日期命名。
在本实施例中，通过统计人脸的数量，得到行人流量信息，通过监控行人流量的信息，能够合理地规划交通流畅性和商业服务范围。
通过上述步骤101至步骤106，本发明提供了行人流量的监测方法，可以根据输入的图像的分辨率在特征提取部分加深网络和加宽网络，加深网络能对特征逐层的抽象，不断精炼提取知识，而加宽网络可以让每一层学习到更加丰富的特征，比如不同方向、不同频率的纹理特征，完成特征的初步提取之后，把相邻的多个尺度的特征进行融合，使倒数第二个特征融合单元聚合了三个尺度的局部上下文信息，不仅获得了较多的语义信息，还包含了更多的细节信息，提高了模型的特征提取精度。与现有技术相比，本发明在单个残差块内结合了特征图通道注意力机制和卷积核注意力机制，其中，特征图通道注意力机制包括通道注意力模块和特征图注意力模块，用来学习并利用通道之间的相关性，筛选出了针对通道的注意力；卷积核注意力机制利用不同大小的感受视野(卷积核)对于不同尺度(远近、大小)的目标会有不同的效果，并在卷积核注意力机制中使用不通过大小的深度可分离卷积核，这样不但浮点运算量上减小，而且还可以获得不同大小的感受野，依此增强特征提取网路提取特征的能力，使人脸能在视频图像中能被检测出来。在完成特征的初步提取之后，经过交叉双向特征金字塔进行特征融合，能够针对监控视频下小目标进行目标检测，使其不会随着网络加深淹没在上下文背景中，能提升目标检测精度。通过本发明，可以在实时视频中提取出人脸图像，将人脸图像的数量进行统计，得到行人流量信息，通过监控行人流量的信息，能够合理地规划交通流畅性和商业服务范围。此外，人流量间接地显示了观光景点受欢迎程度，能有效分配观光景点的管理和维护人员，以及对流量比较大的区域采取预防突发事件的措施。
基于相同的技术构思，图6示例性的示出了了本发明实施例提供的行人流量的监测系统，包括：
获取模块20，用于获取实时视频，从实时视频中提取图像帧，将图像帧输入到已训练的目标检测模型，得到已训练的目标检测模型输出的人脸图像；其中，已训练的目标检测模型为利用人脸图像样本集训练后获得的用于人脸目标检测的神经网络模型。
预处理模块21，用于对人脸图像进行预处理，得到待测人脸图像。
识别模块22，用于将待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征。
相似度计算模块23，将每个待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果。
判断模块24，用于通过计算结果与预设余弦相似度阈值比较判断待测人脸图像是否存在相似人脸图像，如果是，将待测人脸图像和相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将计算结果超过预设余弦相似度阈值对应的其它待测人脸图像作为待测人脸图像的相似人脸图像。
计数模块25，用于统计行人流量文件夹中最终人脸图像的数量得到行人流量。
本实施例还提供了一种电子装置，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器302可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器304可在数据处理装置的内部或外部。在特定实施例中，存储器304是非易失性(Non-Volatile)存储器。在特定实施例中，存储器304包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器304
(FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory，简称SDRAM)等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意行人流量的监控方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
传输设备306可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备306可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
输入输出设备308用于输入或输出信息。例如，上述输入输出设备可以是显示屏、音箱、麦克、鼠标、键盘或其他设备。在本实施例中，输入的信息可以是实时视频，输入的信息可以是行人流量结果、统计图表等等。
可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
S101、获取实时视频，从实时视频中提取图像帧，将图像帧输入到已训练的目标检测模型，得到已训练的目标检测模型输出的人脸图像。
S102、对人脸图像进行预处理，得到待测人脸图像。
S103、将待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征。
S104、将每个待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果。
S105、通过计算结果与预设余弦相似度阈值比较判断待测人脸图像是否存在相似人脸图像，如果是，将待测人脸图像和相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将计算结果超过预设余弦相似度阈值对应的其它待测人脸图像作为待测人脸图像的相似人脸图像。
S106、统计行人流量文件夹中最终人脸图像的数量得到行人流量。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的行人流量的监控方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意行人流量的监控方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种行人流量的监测方法，其特征在于，所述方法包括：
获取实时视频，从所述实时视频中提取图像帧，将所述图像帧输入到已训练的目标检测模型，得到所述已训练的目标检测模型输出的人脸图像；其中，所述已训练的目标检测模型为利用人脸图像样本集训练后获得的用于人脸目标检测的神经网络模型，所述已训练的目标检测模型包括特征提取网络和预测网络，所述特征提取网络由一个一个的残差块构成，在残差块中通过学习和利用特征图通道之间的相关性，将图像进行1*1卷积升维后经过混合深度可分离卷积进行特征提取输出特征图，将特征图分别输入到通道注意力模块和特征图注意力模块，在通道注意力模块对特征图进行池化、重塑、升维、特征压缩操作，将输出项与通道注意力模块的输入项相乘并进行降维卷积；在特征图注意力模块对特征图分组后经过混合深度可分离卷积进行特征提取，对每组的输出项进行拼接并进行降维卷积；将通道注意力模块和特征图注意力模块的得到的结果进行元素级相加操作，将残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图，预测网络为交叉双向特征金字塔模块；对所述人脸图像进行预处理，得到待测人脸图像；
将所述待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征；
将每个所述待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果；
通过所述计算结果与预设余弦相似度阈值比较判断所述待测人脸图像是否存在相似人脸图像，如果是，将所述待测人脸图像和所述相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将所述待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将所述计算结果超过所述预设余弦相似度阈值对应的其它待测人脸图像作为所述待测人脸图像的相似人脸图像；
统计所述行人流量文件夹中所述最终人脸图像的数量得到行人流量。
2.根据权利要求1所述的行人流量的监测方法，其特征在于，
获取实时视频，从所述实时视频中提取图像帧，将所述图像帧输入到已训练的目标检测模型，得到所述已训练的目标检测模型输出的人脸图像包括：
获取实时视频；
根据所述实时视频得到连续一段时间内同一地点的待检测图像；
将所述待检测图像输入到特征提取网络中，经过所述特征提取网络中复数个残差模块，得到所述待检测图像的浅层特征图、中层特征图及深层特征图；其中，每个所述残差模块包括至少一个残差块，在所述残差块中通过学习和利用特征图通道之间的相关性，筛选出针对通道的注意力，将所述残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图；
将所述浅层特征图、所述中层特征图及所述深层特征图输入到所述预测网络中进行融合，得到所述待检测图像中的一个或多个人脸图像。
3.根据权利要求1所述的行人流量的监测方法，其特征在于，对所述人脸图像进行预处理包括，得到所述待测人脸图像包括：
定位所述人脸图像中的人脸特征点，根据所述人脸特征点中的人眼坐标校正人脸至平面内水平，得到待测人脸图像。
4.根据权利要求2所述的行人流量的监测方法，其特征在于，所述已训练的图像超分辨率模型为所述已训练的目标检测模型中的所述已训练的特征提取网络。
5.根据权利要求2所述的行人流量的监测方法，其特征在于，将所述待检测图像输入到所述已训练的特征提取网络中；其中，所述待检测图像为三通道图；
将所述三通道图经过3*3卷积后输入到残差网络中，其中，所述残差网络包括从输入端至输出端的第一残差模块、第二残差模块、第三残差模块、第四残差模块、第五残差模块、第六残差模块以及第七残差模块，所述第一残差模块、所述第二残差模块、所述第三残差模块、所述第四残差模块、所述第五残差模块、所述第六残差模块以及所述第七残差模块中分别对应残差块的数量为1个、2个、2个、3个、3个、4个以及1个；
在所述第四残差模块得到浅层特征图，在所述第五残差模块得到中层特征图，在所述第六残差模块得到深层特征图；
在所述第三残差模块和所述第七残差模块的输出设置三个融合单元进行相邻两层或三层特征融合；在所述第四残差模块、所述第五残差模块和所述第六残差模块设置七个融合单元且每层的分辨率相等，在所述第四残差模块、所述第五残差模块和所述第六残差模块的倒数第二个融合单元将特征图融合到一起，所述融合单元的融合方法为上采样或者下采样；
在所述第四残差模块、所述第五残差模块、所述第六残差模块的所述融合单元后面分别接一个头部预测模块，通过所述头部预测模块得到所述待检测图像中待测目标的位置、待测目标包围框的大小以及置信度。
6.一种行人流量的监控系统，其特征在于，包括：
获取模块，获取实时视频，从所述实时视频中提取图像帧，将所述图像帧输入到已训练的目标检测模型，得到所述已训练的目标检测模型输出的人脸图像，所述已训练的目标检测模型包括特征提取网络和预测网络，所述特征提取网络由一个一个的残差块构成，在残差块中通过学习和利用特征图通道之间的相关性，将图像进行1*1卷积升维后经过混合深度可分离卷积进行特征提取输出特征图，将特征图分别输入到通道注意力模块和特征图注意力模块，在通道注意力模块对特征图进行池化、重塑、升维、特征压缩操作，将输出项与通道注意力模块的输入项相乘并进行降维卷积；在特征图注意力模块对特征图分组后经过混合深度可分离卷积进行特征提取，对每组的输出项进行拼接并进行降维卷积；将通道注意力模块和特征图注意力模块的得到的结果进行元素级相加操作，将残差块的输出项和旁路连接支路的特征图进行拼接作为下一个残差块的输入特征图，预测网络为交叉双向特征金字塔模块；
预处理模块，用于对所述人脸图像进行预处理，得到待测人脸图像；
识别模块，用于将所述待测人脸图像输入到已训练的人脸识别模型进行特征提取，得到对应的待测人脸图像特征；
相似度计算模块，用于将每个所述待测人脸图像特征分别与其它待测人脸图像特征进行余弦相似度计算获得计算结果；
判断模块，用于通过所述计算结果与预设余弦相似度阈值比较判断所述待测人脸图像是否存在相似人脸图像，如果是，将所述待测人脸图像和所述相似人脸图像输入图像超分辨模型，获得峰值信噪比最高的图像作为最终人脸图像保存至行人流量文件夹中，如果否，将所述待测人脸图像作为最终人脸图像直接保存至行人流程文件夹中，其中，将所述计算结果超过所述预设余弦相似度阈值对应的其它待测人脸图像作为所述待测人脸图像的相似人脸图像；
计数模块，用于统计所述行人流量文件夹中所述最终人脸图像的数量得到行人流量。
7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的行人流量的监测方法。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的行人流量的监测方法。
CN202011127097.4A 2020-10-20 2020-10-20 行人流量的监测方法、系统、计算机设备和存储介质 Active CN112232236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011127097.4A CN112232236B (zh) 2020-10-20 2020-10-20 行人流量的监测方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011127097.4A CN112232236B (zh) 2020-10-20 2020-10-20 行人流量的监测方法、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112232236A CN112232236A (zh) 2021-01-15
CN112232236B true CN112232236B (zh) 2024-02-06

Family

ID=74118180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011127097.4A Active CN112232236B (zh) 2020-10-20 2020-10-20 行人流量的监测方法、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112232236B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197878B (zh) * 2023-11-07 2024-03-05 中影年年(北京)科技有限公司 基于机器学习的人物面部表情捕捉方法及系统
CN117292067B (zh) * 2023-11-24 2024-03-05 中影年年(北京)科技有限公司 基于扫描实物获得的虚拟3d模型方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697435A (zh) * 2018-12-14 2019-04-30 重庆中科云从科技有限公司 人流量监测方法、装置、存储介质及设备
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN110991287A (zh) * 2019-11-23 2020-04-10 深圳市恩钛控股有限公司 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN111598038A (zh) * 2020-05-22 2020-08-28 深圳市瑞立视多媒体科技有限公司 脸部特征点检测方法、装置、设备及存储介质
WO2020186886A1 (zh) * 2019-03-18 2020-09-24 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN109697435A (zh) * 2018-12-14 2019-04-30 重庆中科云从科技有限公司 人流量监测方法、装置、存储介质及设备
WO2020186886A1 (zh) * 2019-03-18 2020-09-24 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN110991287A (zh) * 2019-11-23 2020-04-10 深圳市恩钛控股有限公司 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN111598038A (zh) * 2020-05-22 2020-08-28 深圳市瑞立视多媒体科技有限公司 脸部特征点检测方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的视频监控人脸识别方法;晏鹏程;张一鸣;童光红;黄锋;欧先锋;;成都工业学院学报(01);全文 *
联合多任务学习的人脸超分辨率重建;王欢;吴成东;迟剑宁;于晓升;胡倩;;中国图象图形学报(02);全文 *

Also Published As

Publication number Publication date
CN112232236A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112232231B (zh) 行人属性的识别方法、系统、计算机设备和存储介质
CN112232237B (zh) 车辆流量的监控方法、系统、计算机设备和存储介质
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN112232232B (zh) 一种目标检测方法
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN102163290B (zh) 基于时空关联信息的多视角视频监控中异常事件建模方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
Jiang et al. Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN112232236B (zh) 行人流量的监测方法、系统、计算机设备和存储介质
Liu et al. Extended faster R-CNN for long distance human detection: Finding pedestrians in UAV images
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
Rangrej et al. Consistency driven sequential transformers attention model for partially observable scenes
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测系统及方法
CN111027440A (zh) 一种基于神经网络的人群异常行为检测装置和检测方法
Aldhaheri et al. MACC Net: Multi-task attention crowd counting network
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN117292324A (zh) 一种人群密度估计方法及系统
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
Fan et al. Generating high quality crowd density map based on perceptual loss
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
Cao et al. A long-memory pedestrian target tracking algorithm incorporating spatiotemporal trajectory feature enhancement model
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant