CN111860230B - 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法 - Google Patents

一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法 Download PDF

Info

Publication number
CN111860230B
CN111860230B CN202010630270.6A CN202010630270A CN111860230B CN 111860230 B CN111860230 B CN 111860230B CN 202010630270 A CN202010630270 A CN 202010630270A CN 111860230 B CN111860230 B CN 111860230B
Authority
CN
China
Prior art keywords
pedestrian
information
mask
flow direction
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010630270.6A
Other languages
English (en)
Other versions
CN111860230A (zh
Inventor
盛浩
胡瀚涛
周建伟
王帅
吴玉彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010630270.6A priority Critical patent/CN111860230B/zh
Publication of CN111860230A publication Critical patent/CN111860230A/zh
Application granted granted Critical
Publication of CN111860230B publication Critical patent/CN111860230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法，包括以下5大模块：口罩佩戴检测模块；行人流向预测模块；区域风险评估预测模块；信息可视化模块；告警上报模块。对未佩戴口罩行为提取，流向及人群密度分析，问题高发区域分析；对于未佩戴口罩行为的图片的告警和高发区域的全局展示，自动上报和广播提醒。

Description

一种基于视频监控人员未佩戴口罩行为的自动检测系统及 方法
技术领域
本发明涉及一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法，属于监测预警安保领域。
背景技术
在新型冠状病毒疫情的影响下，戴口罩已成为出行必备的防护措施，机场、火车站、商超、办公楼等公共场所将面临巨大的人流量，如果单靠人工检测口罩是否佩戴以及是否佩戴规范，不仅效率低下且容易出现疏漏。因此，如何利用人工智能等技术，来帮助减少公共场所监督佩戴口罩所带来的人力消耗、提高检查效率迫在眉睫。
目前，视频监控采集到的区域场景数据信息主要被用于提取视觉特征，来完成对于目标识别、快速跟踪、自主定位的任务。然而利用视频监控进行人员未佩戴口罩行为的自动检测还没能有效地投入到现实使用中，而对公共场所进行智能人员未佩戴口罩行为检测的应用亟需尽快开发并投入应用来辅助对疫情的监控。
同时，由于人员流动的方向、幅度都存在着巨大的不确定性，导致不能对相关疫情爆发可能性高的区域进行相对准确的预测，而口罩的数目在一定程度上代表了该区域爆发疫情的可能性大小，同时在多个区域内进行监测可以在一定范围内记录人员的流动，在之后如果存在相关人员感染病毒，可以通过该系统迅速定位该人员的区域流动情况以及接触的其它人员，从而对不同区域的疫情爆发可能进行风险评估。
发明内容
本发明技术解决问题：着眼于疫情影响下人员未佩戴口罩行为监测的需求，提供一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法，对未佩戴口罩行为提取，流向及人群密度分析，问题高发区域分析；对于未佩戴口罩行为的图片的告警和高发区域的全局展示，自动上报和广播提醒,提高在人员密集区域中对口罩监测的效率，同时完成对监测区域疫情爆发风险性的评估预警以及人员流动的预测，为广阔公共环境下的人员未佩戴口罩行为进行监测和特殊警情实时预警提供了技术支持。
本发明技术解决方案：一种基于视频监控人员未佩戴口罩行为的自动检测系统，包括：口罩佩戴检测模块、行人流向预测模块、区域风险评估预测模块、信息可视化模块和告警上报模块；
口罩佩戴检测模块：负责对摄像头拍摄的每张监控图像中的每个像素的行人特征进行处理和分类，以判断该行人是否佩戴口罩，如果没有配戴口罩，则将未配戴口罩的该行人特征与身份相关信息即行人身份特征上传至外部的监控系统的全局共享信息中，该身份特征包括一份唯一标识的身份码、未佩戴口罩的标记、所出现的区域位置与时间，并传至行人流向预测模块以及区域风险评估预测模块中；
行人流向预测模块：利用摄像头内自带的时间记录功能和行人重识别功能获取不同行人出现在不同摄像头下的时间间隔，基于口罩佩戴检测模块得到的行人身份码以及出现的区域位置和相应的时间，按照时间顺序对行人所出现的位置进行先后排序，并依次构建出以数据结构形式存储于监控系统中的全局共享信息中的事件集作为全局事件集，所述事件集记录同一个行人在两不同摄像机下出现的时间间隔，并设定时间间隔作为划分事件的依据；基于所述事件集，利用贝叶斯公式计算出每个事件发生的先验概率，预测出行人可能出现的下一个或几个区域的概率，并上报给区域风险评估预测模块；
区域风险评估预测模块：基于口罩佩戴检测模块提供的行人特征与行人流向预测模块提供的行人流向预测信息，生成行人出现的流向预测先验概率表，该先验概率表是由各行人流向预测的先验概率组成，在该先验概率表的基础上整合口罩佩戴检测模块与行人流向预测模块提供的信息，计算出未佩戴口罩行人的整体流向以及各个区域的潜在风险，并依此计算出问题高发区域即高风险区域，将计算得出的问题高发区域、未佩戴口罩行人的图片和出现的区域的信息作为预测结果上报给信息可视化模块；
信息可视化模块：负责对区域风险评估预测模块的预测结果进行整理，针对监控系统发现的未佩戴口罩的行人，进行对该未佩戴口罩的行人图片以及所在区域的展示；同时，还将该未佩戴口罩的行人的可能流向和可能出现的区域进行预测并展示；此外，该模块还负责对这些未佩戴口罩的行人进行广播劝诫和提醒；最后，对区域风险评估预测模块计算出的出现未佩戴口罩行为高发区域进行标记，展现给操作者；
告警上报模块：负责上报区域风险评估预测模块中的所预测出的人员流向结果和风险各区域评估的风险信息至监控系统的中心数据库以及获取各其它区域的检测系统上传到中心数据库的信息从而产生相应的影响因子，从而获取其它区域检测系统预估的对本区域产生影响的各个影响因子，用于对本区域检测系统所在的区域进行风险评估，将应用于本区域的检测系统和其它区域的检测系统所获取的信息进行整合以及将可能的相互影响用于本区域的风险评估。
所述口罩佩戴检测模块具体实现如下：
初始化，加载口罩佩戴检测模块的网络参数，设置全局变量集合m，该全局变量集合m用于监控系统查询某张图片的某个部分或者某个像素位置是否属于未带口罩的人脸区域。对行人特征的处理和分类具体实现如下，循环输入每一张场景图片，判断是否处理完所有图片，如果是则结束，如果尚有图片未处理完，则对图片进行分割，循环判断图片中的每一个像素，若已判断完，表示已经处理完该张图片，继续处理下一张，若判断的像素属于戴口罩人脸区域，记录下该像素的位置信息(x,y)，将该位置信息与该图片的编号n作为三元组(n,x,y)共同存到全局变量m中，再处理下一个像素，直至判断完所有的像素，若出现属于戴口罩人脸区域的像素，则该将该行人特征与身份相关信息上传至监控系统的全局共享信息中。
所述行人流向预测模块具体实现如下：
首先对进行初始化，加载事件集，循环输入未佩戴口罩预测模块产生的行人特征和摄像机信息，读取事件集，利用各个摄像头内自带的时间记录功能和行人重识别功能将在不同区域出现的行人信息进行比对，如果出现重合，则根据贝叶斯公式计算出该行人出现在其他摄像头下的时刻的先验概率，并统计成表以及计算出该行人出现在不同摄像头下的时间间隔，将行人的图片和出现的区域信息提交给信息可视化模块，将以行人在一定时间间隔范围内出现在两不同摄像机下作为一个事件进行事件划分和统计，将行人在不同时间间隔内出现在不同摄像机下作为一个事件录入全局事件集中；否则将该行人的特征和出现时刻按照一个新的标识作为之后行人信息比对的参考，如果处理完所有的图片，则检查全局事件集，搜索出所有只在某一摄像头下的行人，将这些行人按照未在其他任何摄像机下，即超时出现，作为事件进行记录，基于全局事件集，利用贝叶斯公式计算出每个事件发生的先验概率，预测出行人可能出现的下一个或几个区域的概率，并上报给区域风险评估预测模块。
所述区域风险评估预测模块具体实现如下：
基于口罩佩戴检测模块提供的行人特征与行人流向预测模块提供的行人流向预测信息，生成行人出现的流向预测先验概率表，该先验概率表是由各行人流向预测的先验概率组成，根据先验概率表生成人群流向预测图，更新后发送给区域风险评估预测模块，统计该区域出现未佩戴口罩行人的人次和潜在人次，判断是否构成问题高发区域或潜在问题高发区域，如果是，则统计出风险高发区域和潜在高发区域，并报备区域风险评估预测模块，之后判断是否处理完所有信息，如果是则结束，否则继续处理后面的信息。处理完所有信息后将计算得出的问题高发区域、未佩戴口罩行人的图片和出现的区域的信息作为预测结果上报给信息可视化模块；
本发明的一种基于视频监控人员未佩戴口罩行为的自动检测方法，步骤如下：
(1)口罩佩戴检测步骤：在预训练过程中，利用带有的行人特征提取能力，人为地选取一定量的行人图片分别作为训练集、测试集并对其是否佩戴口罩这一行为进行标注，并当作分类问题对该口罩佩戴检测模块内的神经网络模型负责提取行人特征的神经网络层进行训练；在预训练之后，该步骤产生的分类结果，即行人特征的提取结果，将会被用于口罩佩戴检测步骤；
(2)口罩佩戴检测步骤：在实际部署中，利用监控系统进行行人检测和行人特征提取，并使用训练好的口罩佩戴检测神经网络层对行人是否佩戴口罩这一行为作判断，并将未佩戴口罩行人的特征、图片、区域信息进行上传，该结果将在行人流向预测步骤以及区域风险评估步骤中作为输入信息至行人流向预测模块和区域风险评估预测模块；
(3)行人流向预测步骤：在行人流向预测神经网络层的预训练过程中，利用该网络层带有的行人特征提取和匹配重识别能力处理口罩佩戴检测步骤中生成的行人特征、图片、区域信息，对于出现在每一个监控系统下的行人进行轨迹跟踪，并以此记录下不同行人的出现顺序集作为事件集存储进全局共享信息中，存入该全局共享信息中的事件集将被用于先验地对行人的可能流向进行概率预测；
(4)行人流向预测步骤：在实际部署中，加载先前学习好的行人出现轨迹事件集，并利用口罩佩戴检测模块上传的行人身份信息和区域信息，根据事件集信息先验地对行人的可能流向进行概率预测，得到预测结果将作为风险评估预测步骤进行区域风险评估的输入信息；
(5)区域风险评估预测步骤：根据口罩佩戴检测步骤提供的行人信息和流向预测步骤计算出的流向预测，实时地统计问题高发区域和潜在的问题高发区域，并将预测出的高发区域和潜在问题高发区域信息与为佩戴口罩行人的位置区域信息结合在一起，同时该步骤产生的结果将在信息可视化步骤中以数字、图表形式展示出来；
(6)信息可视化步骤：根据区域风险评估预测步骤的输入信息，包括高发区域和潜在问题高发区域信息与为佩戴口罩行人的位置区域信息，分门别类地进行可视化输出——对于未佩戴口罩的行人，将行人的图片和出现区域以及可能流向区域进行可视化，并通过广播对涉事人员进行口头提醒和劝诫；对于问题高发区域和潜在问题高发区域，模块需对其进行可视化，以引起操作者的重视，以便于下一步行动；
(7)告警上报步骤：从上层数据库下载其它区域系统所上传的风险评估信息，在风险评估工作完之后，在其结果上加上其它系统的风险评估信息的影响从而得到新的区域风险评估信息，同时将本区域检测系统的风险评估信息的结果以及相关的人员流向预测信息上传到数据库中，用于其它区域检测系统进行风险评估的优化。
本发明与现有技术相比的优点在于：
(1)本发明的行人流向预测算法具有以下优点：能够充分利用各相机间的行人出现的时序信息，依次为依据构建出的先验事件集可以有效帮助系统更好地追踪到未佩戴口罩行人的踪迹，并且能够在一定程度上起到轨迹预测的作用；
(2)本发明的区域风险评估模块充分地利用到了行人流向预测模块的预测结果，能够有效根据行人流向预测的结果提前计算出潜在问题高发区域，通过告警指示功能提前对这些区域的人流进行引导和疏散，起到防患于未然的作用；
(3)与现有技术相比，本发明更注重系统内各相机间的协同交互作用，通过共享行人身份特征信息，轨迹预测信息等全局信息的方式，提前让摄像机对标定的行人进行强化跟踪，弥补了单一摄像机下轨迹跟踪算法的固有缺陷。
附图说明
图1为本发明装备整体模块协作流程图；
图2为本发明中口罩佩戴检测模块的实现流程图；
图3为本发明中行人流向预测模块预训练部分实现流程图；
图4为本发明中行人流向预测模块部署部分实现流程图；
图5为本发明中区域风险评估模块部分实现流程图；
图6为本发明中信息可视化部分流程图；
图7位本发明中告警上报模块部分流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
如图1所法，本发明系统主要包括：
口罩佩戴检测模块：负责对摄像头拍摄的每张监控图像中的每个像素的行人特征进行处理和分类，以判断该行人是否佩戴口罩，如果没有配戴口罩，则将未配戴口罩的该行人特征与身份相关信息即行人身份特征上传至外部的监控系统的全局共享信息中；
行人流向预测模块：利用摄像头内自带的时间记录功能和行人重识别功能获取不同行人出现在不同摄像头下的时间间隔，基于口罩佩戴检测模块得到的行人身份码以及出现区域位置和相应时间，按照时间顺序对行人所出现的位置进行先后排序，并构建出以数据结构形式存储于监控系统中的全局共享信息中的事件集作为全局事件集；基于所述事件集，利用贝叶斯公式计算出每个事件发生的先验概率，预测出行人可能出现的下一个或几个区域的概率，并上报给区域风险评估预测模块；
区域风险评估预测模块：基于口罩佩戴检测模块提供的行人特征与行人流向预测模块提供的行人流向预测信息，生成行人出现的流向预测先验概率表，该先验概率表是由各行人流向预测的先验概率组成。在该先验概率表的基础上整合口罩佩戴检测模块与行人流向预测模块提供的信息，计算出未佩戴口罩行人的整体流向以及各个区域的潜在风险，并依此计算出问题高发区域即高风险区域，将计算得出的问题高发区域、未佩戴口罩行人的图片和出现的区域的信息作为预测结果上报给信息可视化模块；
信息可视化模块：负责上报区域风险评估预测模块中的所预测出的人员流向结果和风险各区域评估的风险信息至监控系统的中心数据库以及获取各其它区域的检测系统上传到中心数据库的信息从而产生相应的影响因子，从而获取其它区域检测系统预估的对本区域产生影响的各个影响因子，用于对本区域检测系统所在的区域进行风险评估，将应用于本区域的检测系统和其它区域的检测系统所获取的信息进行整合以及将可能的相互影响用于本区域的风险评估。
上述各模块的具体实现过程如下：
1、口罩佩戴检测模块
该模块的实现过程如图2所示：
(1)初始化系统，加载网络参数，设置全局变量集合m，该全局信息用于监控系统查询某张图片的某个区域或者某个像素位置是否属于未带口罩的人脸区域，缓解系统计算压力；
(2)循环输入每一张场景图片；
(3)判断是否处理完所有图片，如果是则结束，否则继续步骤(4)；
(4)如果尚有图片未处理完，则对图片进行分割；
(5)循环判断图片中的每一个像素，若已判断完，则返回步骤(2)；
(6)若该像素属于戴口罩人脸区域，则进行下一步，否则返回步骤(5)；
(7)记录下该像素的位置信息(x,y)，将该位置信息与该图片的编号n作为三元组(n,x,y)共同存到全局变量m中，并返回步骤(5)。
2、行人流向预测模块
该模块利用各个摄像头内自带的时间记录功能和行人重识别功能来获取不同行人出现在不同摄像头下的时间间隔，并依次构建出事件集(这个事件集记录的是同一个行人在两不同摄像机下出现的时间间隔，并人为设计一定时间间隔作为划分事件的依据)。利用该事件集，系统便可以依据贝叶斯公式计算出每一个事件发生的先验概率。
对上述相关功能进行公式化描述：
(1)对内部摄像机进行编码，记为C＝(c1，c2...cn)。其中n对应的是监控系统内部摄像机的总数量；
(2)对(同一行人出现在两不同摄像机下的)时间间隔进行划分编码T＝(t1,t2...tm)。其中m对应的是划分出的时间间隔的总类数(这里需要留出一类较长的时间片代表行人未出现在指定摄像头下的事件)，表1是时间间隔划分的一种示例；
表1
时间间隔编码 间隔范围
t<sub>1</sub> 小于30秒
t<sub>2</sub> 30秒-5分钟
t<sub>3</sub> 5分钟-30分钟
t<sub>4</sub> 大于30分钟(视为不再出现)
(3)定义同一行人在一定时间间隔范围内出现在两不同摄像机下的条件概率空间：Ω＝{(cj，tk|ci)|ci，cj∈C，i≠j，tk∈T}，在这里(cj，tk|ci)表示的是一行人出现在于某时刻摄像头ci下后，在tk时间范围内出现在cj摄像头下的事件；
在构建出事件集后
Figure BDA0002568356420000071
依此计算出每一个事件的先验概率：
Figure BDA0002568356420000072
其中M()对应的是该事件出现的总次数。换言之，计算事件发生概率依据的是通过对事件发生的频率统计来实现的。
由大数定律可知，统计的样本数足够多的情况下得出的先验概率才会变得足够精确。为能统计出足够的事件，该系统会预留出一个时间段作为预训练期。在预训练阶段，监控系统会根据其自备的行人重识别能力及信息共享能力自行统计事件集。
该模块的预训练实现过程如图3所示：
(1)循环输入行人的信息，每一条行人信息表现为高维向量；
(2)通过将行人特征信息与系统内重识别模块提供的行人身份特征信息逐个计算欧氏距离d，计算公式如下：
d(fi，fj)＝||fi-fj||2
fi，fj对应的是不同的高维特征，||·||2指代的是欧氏距离。
当该距离值低于某阈值w时，视为两特征代表的行人身份重合，反之则视为不重合；
(3)如果出现重合，则进行下一步，否则跳至步骤(5)；
(4)对于所有重合行人出现的摄像头信息、出现时刻进行统计，并计算出该行人出现在不同摄像头下的时间间隔，将以行人在一定时间间隔范围内出现在两不同摄像机下作为一个事件进行事件划分和统计，根据两相机编号、先后顺序和时间间隔按照事先划分好的事件集Ω进行分类，将分类好的事件录入全局事件集E中，并跳至步骤(6)；
(5)将该行人的特征和出现时刻按照一个新的行人身份录入重识别模块；
(6)判断当前模块是否处理完全部图片，如果是，则进行下一步，否则返回步骤(3)；
(7)检查全局事件集，搜索出所有只在某一摄像头下的行人，将他们按照未在其他任何摄像机下(超时)出现作为事件进行记录，将这些事件录入到全局事件集E中；
该模块的部署实现过程如图4所示：
(1)初始化系统，加载全局事件集E；
(2)循环输入未佩戴口罩行人的图片I、出现时刻t和摄像机编号c；
(3)读取全局事件集E，计算出该行人出现在其他摄像头下的时刻的先验概率P(cj，tk|ci)，并统计成先验概率表T；
(4)将行人图片I和出现的区域信息c提交给信息可视化模块(这里的区域信息对应的即相应编号的相机监控的区域，因此与相机信息等价)。并将计算出的先验概率表T按人次报备给区域风险评估预测模块；
(5)判断是否处理完所有输入信息，若是则结束，否则返回步骤(2)；
3、区域风险评估预测模块
该模块的实现过程如图5所示：
(1)循环输入行人出现的流向预测先验概率表T；
(2)根据先验概率表生成人群流向预测图，更新后发送给区域风险评估预测模块；
(3)统计该区域出现未佩戴口罩行人的人次和潜在人次，其中未佩戴口罩行人的人次直接由口罩佩戴检测模块上报给区域风险评估预测模块的次数决定，每上报1次视为出现1人次的未佩戴口罩，记来源于第ci相机下出现的未佩戴口罩行人的人次为pci；潜在未佩戴口罩人次则由其他区域的未佩戴口罩人次和先验概率表T计算其数学期望联合得出，计算公式为：
Figure BDA0002568356420000081
Figure BDA0002568356420000082
代表第cj相机下出现的未佩戴口罩行人的人次。
Figure BDA0002568356420000083
代表的是在第ci个摄像机下，在当前时间算起tk时间段以内该摄像机或该区域下出现未佩戴口罩行人的潜在人次；P(cj，tk|ci)表示的是一行人出现在于某时刻摄像头ci下后，在tk时间范围内出现在cj摄像头下的概率；
(1)判断是否构成问题高发区域或潜在问题高发区域，判断标准为事先设定好的阈值wp，
Figure BDA0002568356420000091
这些阈值为整数，代表触发问题高发区域或潜在问题高发区域的条件值。如果
Figure BDA0002568356420000092
则视该区域为问题高发区域，反之则不是；如果
Figure BDA0002568356420000093
则视该区域为潜在问题高发区域；如果是问题高发区域或潜在问题高发区域则继续，否则跳至步骤(7)；
(2)统计出风险高发区域和潜在高发区域，并报备区域风险评估预测模块；判断是否处理完所有信息，如果是则结束，否则返回步骤(2)；
4、信息可视化模块
该模块的实现过程如图6所示：
(1)循环接受其他模块的报备信息；
(2)判断该信息是否是未佩戴口罩的行人信息，如果是则继续，否则跳至(5)；
(3)对行人照片和其所在区域进行可视化，并通过广播进行提醒和劝诫；
(4)判断该信息是否是高风险或潜在高风险区域信息？如果是，则继续，否则跳至步骤(7)；
(5)对这些区域按照风险程度高低进行高亮显示；
(6)判断是否处理完所有信息，是则结束，否则跳回步骤(2)；
5、告警上报模块
(1)从上层数据库下载其它区域系统所上传的风险评估信息；
(2)在风险评估模块工作完之后，在其结果上加上其它系统的风险评估信息的影响从而得到新的区域风险评估信息；
(3)将本系统的风险评估信息的结果以及相关的人员流向预测信息上传到数据库中，用于其它区域的系统进行风险评估的优化。
以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于视频监控人员未佩戴口罩行为的自动检测系统，其特征在于，包括：口罩佩戴检测模块、行人流向预测模块、区域风险评估预测模块、信息可视化模块和告警上报模块；
口罩佩戴检测模块：负责对摄像头拍摄的每张监控图像中的每个像素的行人特征进行处理和分类，以判断该行人是否佩戴口罩，如果没有配戴口罩，则将未配戴口罩的该行人特征与身份相关信息即行人身份特征上传至外部的监控系统的全局共享信息中，该身份特征包括一份唯一标识的身份码、未佩戴口罩的标记、所出现的区域位置与时间，并传至行人流向预测模块以及区域风险评估预测模块中；
行人流向预测模块：利用摄像头内自带的时间记录功能和行人重识别功能获取不同行人出现在不同摄像头下的时间间隔，基于口罩佩戴检测模块得到的行人身份码以及出现的区域位置和相应的时间，按照时间顺序对行人所出现的位置进行先后排序，并依次构建出以数据结构形式存储于监控系统中的全局共享信息中的事件集作为全局事件集，所述事件集记录同一个行人在两不同摄像机下出现的时间间隔，并设定时间间隔作为划分事件的依据；基于所述事件集，利用贝叶斯公式计算出每个事件发生的先验概率，预测出行人可能出现的下一个或几个区域的概率，并上报给区域风险评估预测模块；
区域风险评估预测模块：基于口罩佩戴检测模块提供的行人特征与行人流向预测模块提供的行人流向预测信息，生成行人出现的流向预测先验概率表，该先验概率表是由各行人流向预测的先验概率组成，在该先验概率表的基础上整合口罩佩戴检测模块与行人流向预测模块提供的信息，计算出未佩戴口罩行人的整体流向以及各个区域的潜在风险，并依此计算出问题高发区域即高风险区域，将计算得出的问题高发区域、未佩戴口罩行人的图片和出现的区域的信息作为预测结果上报给信息可视化模块；
信息可视化模块：负责对区域风险评估预测模块的预测结果进行整理，针对监控系统发现的未佩戴口罩的行人，进行对该未佩戴口罩的行人图片以及所在区域的展示；同时，还将该未佩戴口罩的行人的可能流向和可能出现的区域进行预测并展示；此外，该模块还负责对这些未佩戴口罩的行人进行广播劝诫和提醒；最后，对区域风险评估预测模块计算出的出现未佩戴口罩行为高发区域进行标记，展现给操作者；
告警上报模块：负责上报区域风险评估预测模块中的所预测出的人员流向结果和风险各区域评估的风险信息至监控系统的中心数据库以及获取各其它区域的检测系统上传到中心数据库的信息产生相应的影响因子，从而获取其它区域检测系统预估的对本区域产生影响的各个影响因子，用于对本区域检测系统所在的区域进行风险评估，将应用于本区域的检测系统和其它区域的检测系统所获取的信息进行整合以及将可能的相互影响用于本区域的风险评估。
2.根据权利要求1所述的基于视频监控人员未佩戴口罩行为的自动检测系统，其特征在于：所述口罩佩戴检测模块具体实现如下：
初始化，加载口罩佩戴检测模块的网络参数，设置全局变量集合，该全局变量集合用于监控系统查询某张图片的某个部分或者某个像素位置是否属于未带口罩的人脸区域，对行人特征的处理和分类具体实现如下，循环输入每一张场景图片，判断是否处理完所有图片，如果是则结束，如果尚有图片未处理完，则对图片进行分割，循环判断图片中的每一个像素，若已判断完，表示已经处理完该张图片，继续处理下一张，若判断的像素属于戴口罩人脸区域，记录下该像素的位置信息，将该位置信息与该张图片的编号作为三元组共同存到全局变量中，再处理下一个像素，直至判断完所有的像素，若出现属于戴口罩人脸区域的像素，则该将该行人特征与身份相关信息上传至监控系统的全局共享信息中。
3.根据权利要求1所述的基于视频监控人员未佩戴口罩行为的自动检测系统，其特征在于：所述行人流向预测模块具体实现如下：
首先对进行初始化，加载事件集，循环输入未佩戴口罩预测模块产生的行人特征和摄像机信息，读取事件集，利用各个摄像头内自带的时间记录功能和行人重识别功能将在不同区域出现的行人信息进行比对，如果出现重合，则根据贝叶斯公式计算出该行人出现在其他摄像头下的时刻的先验概率，并统计成表以及计算出该行人出现在不同摄像头下的时间间隔，将行人的图片和出现的区域信息提交给信息可视化模块，将以行人在一定时间间隔范围内出现在两不同摄像机下作为一个事件进行事件划分和统计，将行人在不同时间间隔内出现在不同摄像机下作为一个事件录入全局事件集中；否则将该行人的特征和出现时刻按照一个新的标识作为之后行人信息比对的参考，如果处理完所有的图片，则检查全局事件集，搜索出所有只在某一摄像头下的行人，将这些行人按照未在其他任何摄像机下，即超时出现，作为事件进行记录，基于全局事件集，利用贝叶斯公式计算出每个事件发生的先验概率，预测出行人可能出现的下一个或几个区域的概率，并上报给区域风险评估预测模块。
4.根据权利要求1所述的基于视频监控人员未佩戴口罩行为的自动检测系统，其特征在于：所述区域风险评估预测模块具体实现如下：
基于口罩佩戴检测模块提供的行人特征与行人流向预测模块提供的行人流向预测信息，生成行人出现的流向预测先验概率表，该先验概率表是由各行人流向预测的先验概率组成，根据先验概率表生成人群流向预测图，更新后发送给区域风险评估预测模块，统计该区域出现未佩戴口罩行人的人次和潜在人次，判断是否构成问题高发区域或潜在问题高发区域，如果是，则统计出风险高发区域和潜在高发区域，并报备区域风险评估预测模块，之后判断是否处理完所有信息，如果是则结束，否则继续处理后面的信息；处理完所有信息后将计算得出的问题高发区域、未佩戴口罩行人的图片和出现的区域的信息作为预测结果上报给信息可视化模块。
5.一种基于视频监控人员未佩戴口罩行为的自动检测方法，其特征在于，步骤如下：
(1)口罩佩戴检测步骤：在预训练过程中，利用带有的行人特征提取能力，人为地选取一定量的行人图片分别作为训练集、测试集并对其是否佩戴口罩这一行为进行标注，并当作分类问题对该口罩佩戴检测模块内的神经网络模型负责提取行人特征的神经网络层进行训练；在预训练之后，该步骤产生的分类结果，即行人特征的提取结果，将会被用于口罩佩戴检测步骤；
(2)口罩佩戴检测步骤：在实际部署中，利用监控系统进行行人检测和行人特征提取，并使用训练好的口罩佩戴检测神经网络层对行人是否佩戴口罩这一行为作判断，并将未佩戴口罩行人的特征、图片、区域信息进行上传，该结果将在行人流向预测步骤以及区域风险评估步骤中作为输入信息至行人流向预测模块和区域风险评估预测模块；
(3)行人流向预测步骤：在行人流向预测神经网络层的预训练过程中，利用该网络层带有的行人特征提取和匹配重识别能力处理口罩佩戴检测步骤中生成的行人特征、图片、区域信息，对于出现在每一个监控系统下的行人进行轨迹跟踪，并以此记录下不同行人的出现顺序集作为事件集存储进全局共享信息中，存入该全局共享信息中的事件集将被用于先验地对行人的可能流向进行概率预测；
(4)行人流向预测步骤：在实际部署中，加载先前学习好的行人出现轨迹事件集，并利用口罩佩戴检测模块上传的行人身份信息和区域信息，根据事件集信息先验地对行人的可能流向进行概率预测，得到预测结果将作为风险评估预测步骤进行区域风险评估的输入信息；
(5)区域风险评估预测步骤：根据口罩佩戴检测步骤提供的行人信息和流向预测步骤计算出的流向预测，实时地统计问题高发区域和潜在的问题高发区域，并将预测出的高发区域和潜在问题高发区域信息与为佩戴口罩行人的位置区域信息结合在一起，同时该步骤产生的结果将在信息可视化步骤中以数字、图表形式展示出来；
(6)信息可视化步骤：根据区域风险评估预测步骤的输入信息，包括高发区域和潜在问题高发区域信息与为佩戴口罩行人的位置区域信息，分门别类地进行可视化输出——对于未佩戴口罩的行人，将行人的图片和出现区域以及可能流向区域进行可视化，并通过广播对涉事人员进行口头提醒和劝诫；对于问题高发区域和潜在问题高发区域，进行可视化，以引起操作者的重视，以便于下一步行动；
(7)告警上报步骤：从上层数据库下载其它区域系统所上传的风险评估信息，在风险评估工作完之后，在其结果上加上其它系统的风险评估信息的影响得到新的区域风险评估信息，同时将本区域检测系统的风险评估信息的结果以及相关的人员流向预测信息上传到数据库中，用于其它区域检测系统进行风险评估的优化。
CN202010630270.6A 2020-07-03 2020-07-03 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法 Active CN111860230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010630270.6A CN111860230B (zh) 2020-07-03 2020-07-03 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010630270.6A CN111860230B (zh) 2020-07-03 2020-07-03 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法

Publications (2)

Publication Number Publication Date
CN111860230A CN111860230A (zh) 2020-10-30
CN111860230B true CN111860230B (zh) 2022-12-06

Family

ID=73152789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010630270.6A Active CN111860230B (zh) 2020-07-03 2020-07-03 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法

Country Status (1)

Country Link
CN (1) CN111860230B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395967A (zh) * 2020-11-11 2021-02-23 华中科技大学 一种口罩佩戴监测方法、电子设备和可读存储介质
CN112992372A (zh) * 2021-03-09 2021-06-18 深圳前海微众银行股份有限公司 疫情风险监测方法、装置、设备、存储介质及程序产品
CN113034826A (zh) * 2021-03-10 2021-06-25 深圳市兴海物联科技有限公司 基于视频的异常事件告警方法及其系统、设备、存储介质
CN113314230A (zh) * 2021-05-27 2021-08-27 创新奇智(上海)科技有限公司 基于大数据的智能防疫方法、装置、设备及存储介质
CN113837059B (zh) * 2021-09-22 2023-12-19 哈尔滨工程大学 一种规劝行人及时佩戴口罩的巡视车及其控制方法
CN113628738B (zh) * 2021-10-08 2022-01-04 中南大学 一种口鼻罩智能回收检测主动防疫装置与方法
CN114332766A (zh) * 2021-12-28 2022-04-12 城云科技（中国）有限公司 基于行动规律的危险行为预警方法、装置及其应用
CN114255517B (zh) * 2022-03-02 2022-05-20 中运科技股份有限公司 一种基于人工智能分析的景区游客行为监测系统及方法
CN115905733B (zh) * 2022-10-28 2024-03-08 广州地铁集团有限公司 一种基于机器视觉的口罩佩戴异常检测及轨迹追踪方法
CN115966313B (zh) * 2023-03-09 2023-06-09 创意信息技术股份有限公司 基于人脸识别的一体化管理平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008380A (zh) * 2014-06-16 2014-08-27 武汉大学 一种基于显著区域的行人检测方法及系统
CN111126249A (zh) * 2019-12-20 2020-05-08 深圳久凌软件技术有限公司 一种大数据和贝叶斯相结合的行人重识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008380A (zh) * 2014-06-16 2014-08-27 武汉大学 一种基于显著区域的行人检测方法及系统
CN111126249A (zh) * 2019-12-20 2020-05-08 深圳久凌软件技术有限公司 一种大数据和贝叶斯相结合的行人重识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"PredictiveModelingofPedestrianMotionPatterns with BayesianNonparametrics";Yu Fan Chen 等;《Ashttp://dx.doi.org/10.2514/6.2016-1861》;20160131;第1-15页 *
"基于神经网络StarNet的行人轨迹交互预测算法";炎亮 等;《https://tech.meituan.com/2019/11/21/pedestrian-trajectory-interactive-prediction-algorithm-starnet.html》;20191121;第1-3页 *

Also Published As

Publication number Publication date
CN111860230A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860230B (zh) 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN112333431B (zh) 场景监测方法、装置、电子设备及存储介质
US8855361B2 (en) Scene activity analysis using statistical and semantic features learnt from object trajectory data
CN103986910A (zh) 一种基于智能分析摄像机的客流统计方法和系统
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN112163497B (zh) 一种基于图像识别的工地事故预测方法及装置
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及系统
CN110827434A (zh) 网格化目标识别的社区安保巡防记录系统及方法
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN109389177B (zh) 一种基于协同级联森林的隧道车辆再识别方法
CN117035378B (zh) 一种基于物联网的智慧工地管理方法及系统
CN113159984A (zh) 一种变电站工作人员工作路径追踪方法
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
CN116630853A (zh) 一种重点交通枢纽的实时视频人员寻踪方法及系统
CN116152745A (zh) 一种抽烟行为检测方法、装置、设备及存储介质
Sebastian et al. Performance evaluation metrics for video tracking
CN113365026A (zh) 一种小区监控视频目标跟踪安防预警方法和装置
CN108760739B (zh) 一种人防门锈蚀状态检测系统及方法
CN113255422A (zh) 一种基于深度学习的工序衔接目标识别管理方法及系统
CN112633163A (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
Vasavi et al. People Counting Based on YOLO
CN110929590A (zh) 社区档案管理系统
CN118097198B (zh) 一种基于人工智能的自动着装合规性管控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant