CN113408464A - 一种行为检测方法、装置、电子设备及存储介质 - Google Patents
一种行为检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113408464A CN113408464A CN202110734988.4A CN202110734988A CN113408464A CN 113408464 A CN113408464 A CN 113408464A CN 202110734988 A CN202110734988 A CN 202110734988A CN 113408464 A CN113408464 A CN 113408464A
- Authority
- CN
- China
- Prior art keywords
- target
- violation
- personnel
- behavior
- alarm information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 230000006399 behavior Effects 0.000 claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000000391 smoking effect Effects 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 235000019504 cigarettes Nutrition 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种行为检测方法、装置、电子设备及存储介质，其中，该方法包括：获取目标工作场所的实时视频数据，并提取实时视频数据中的图像帧；识别图像帧中的目标人员，并对识别出的目标人员进行多种违规行为检测；违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种；在检测到目标人员的目标违规行为后，输出与目标违规行为对应的告警信息；目标违规行包括多种违规行为中的一种或多种。本公开实施例，在检测出工作人员违规的情况下，输出相应的告警信息，以对监管方进行提醒，避免了人工查看，进而降低了人力成本，提高了监管效率。
Description
技术领域
本公开涉及视觉智能分析技术领域，具体而言，涉及一种行为检测的方法、装置、电子设备及存储介质。
背景技术
目前，随着国家对餐饮行业的监管越来越严格，针对厨房工作人员的行为规范的要求也越来越全面细致。为了实现对厨房工作人员的监管，现有技术中，通常在需要监管的区域设置摄像头，然后通过人工查看监控视频的方式，来监控是否有工作人员存在违规行为。
然而，该方法虽能实现对厨房工作人员的监管，但却需要安排专门的人员去观看视频，进而导致需要较高的人力成本，且需要花费大量的时间。
发明内容
本公开实施例至少提供一种行为检测方法、装置、电子设备及计算机可读存储介质。
第一方面，本公开实施例提供了一种行为检测方法，包括：
获取目标工作场所的实时视频数据，并提取所述实时视频数据中的图像帧；
识别所述图像帧中的目标人员，并对识别出的所述目标人员进行多种违规行为检测；所述违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种；
在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息；所述目标违规行包括所述多种违规行为中的一种或多种。
本公开实施例中，可以对获取的实施视频数据进行检测，并在检测出目标人员违规的情况下，输出相应的告警信息，以对监管方进行提醒，避免了人工查看，进而降低了人力成本，提高了监管效率。另外，本申请实施例中，可以同时对多种违规行为进行检测，进而可以提高检测效率。
根据第一方面，在一种可能的实施方式中，将所述图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，在所述人员属于所述目标人员数据库中的人员的情况下，确定识别出所述目标人员。
本公开实施例中，通过将图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，来识别目标人员，可以提高目标人员识别的准确率。
根据第一方面，在一种可能的实施方式中，识别所述图像帧中的目标人员，包括：
识别所述图像帧中位于目标监测区域内的目标人员。
本公开实施例中，将监测范围缩小至目标监测区域，也即，只对目标检测区域所对应的图像进行处理，进而可以减少检测处理时间，提高检测的效率和精度。
根据第一方面，在一种可能的实施方式中，对识别出的目标人员进行多种违规行为检测，包括：
基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；
基于检测的人体属性特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种人体属性特征。
本公开实施例中，通过预先训练好的人体检测模型来实现对厨房目标人员的行为的检测，可以提高违规行为检测的精度；此外，能够一次性检测多种人体属性特征，提高了检测效率。
根据第一方面，在一种可能的实施方式中，对识别出的目标人员进行多种违规行为检测，包括：
基于预先训练的头肩检测模型，对所述目标人员的头肩区域进行预设行为特征检测；
基于检测的头肩行为特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种头肩行为特征。
本公开实施例中，通过预先训练好的头肩检测模型，来对厨房目标人员的头肩区域进行预设行为特征检测，进而可以对头肩部位进行有针对性的检测，如此可以提高检测的精度。
根据第一方面，在一种可能的实施方式中，所述输出与所述目标违规行为对应的告警信息，包括：
根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级；
根据所述违规等级输出与所述违规等级相对应的告警信息；其中所述告警信息中包含所述目标人员的图像信息。
本公开实施例中，由于告警信息中包括有图像信息可以使得该告警信息的提示更加直观。
根据第一方面，在一种可能的实施方式中，不同的违规等级所对应的告警信息的展示方式不同。
本公开实施例中，通过划分不同等级的违规行为，并以不同展示方式输出违规行为相应的告警信息，可以使得监管方根据告警信息的不同展示方式知晓目标人员的违规程度，起到不同的提示和警醒作用。
根据第一方面，在一种可能的实施方式中，所述根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级，包括：
根据所述目标违规行为的种类的数量以及危害程度，确定所述目标违规行为所对应的违规等级。
本实施方式中，结合目标违规行为的种类的数量以及危害程度，来确定目标违规行为所对应的违规等级，可以使得所述划分的等级符合实际需求，提高了该行为检测方法的适用性。
根据第一方面，在一种可能的实施方式中，所述根据所述违规等级输出与所述违规等级相对应的告警信息，包括：
根据所述违规等级以及违规等级与告警信息的输出方式的关联关系，确定与所述违规等级对应的告警信息输出方式；
根据所述告警信息输出方式，输出所述告警信息。
本公开实施例中，由于预先设定了违规等级与告警信息的输出方式的关联关系，因此可以在确定违规等级后，及时且准确地确定对应的告警信息的输出方式，如此，提高了告警信息的输出效率。
第二方面，本公开实施例还提供一种行为监测装置，包括：
获取模块，用于获取目标工作场所的实时视频数据，并提取所述实时视频数据中的图像帧；
识别检测模块，用于识别所述图像帧中的目标人员，并对识别出的所述目标人员进行多种违规行为检测；所述违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种；
输出模块，用于在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息；所述目标违规行包括所述多种违规行为中的一种或多种。
根据第二方面，在一种可能的实施方式中，所述识别检测模块具体用于：
将所述图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，在所述人员属于所述目标人员数据库中的人员的情况下，确定识别出所述目标人员。
根据第二方面，在一种可能的实施方式中，所述识别检测模块具体用于：
识别所述图像帧中位于目标监测区域内的目标人员。
根据第二方面，在一种可能的实施方式中，所述识别检测模块具体用于：
基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；
基于检测的人体属性特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种人体属性特征。
根据第二方面，在一种可能的实施方式中，所述识别检测模块具体用于：
基于预先训练的头肩检测模型，对所述目标人员的头肩区域进行预设行为特征检测；
基于检测的头肩行为特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种头肩行为特征。
根据第二方面，在一种可能的实施方式中，所述输出模块具体用于：
根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级；
根据所述违规等级输出与所述违规等级相对应的告警信息；其中所述告警信息中包含所述目标人员的图像信息。
根据第二方面，在一种可能的实施方式中，不同的违规等级所对应的告警信息的展示方式不同。
根据第二方面，在一种可能的实施方式中，所述输出模块具体用于：
根据所述目标违规行为的种类的数量以及危害程度，确定所述目标违规行为所对应的违规等级。
根据第二方面，在一种可能的实施方式中，所述输出模块具体用于：
根据所述违规等级以及违规等级与告警信息的输出方式的关联关系，确定与所述违规等级对应的告警信息输出方式；
根据所述告警信息输出方式，输出所述告警信息。
第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中所述的行为检测方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中所述的行为检测方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种行为检测方法的流程图；
图2示出了本公开实施例所提供的一种厨房场景的示意图；
图3示出了本公开实施例所提供的一种利用人体检测模型检测目标违规行为的方法流程图；
图4示出了本公开实施例所提供的一种利用头肩检测模型检测目标违规行为的方法流程图；
图5示出了本公开实施例所提供的一种告警信息的输出方法的流程图。
图6示出了本公开实施例所提供的一种目标人员违规行为的告警信息示意图；
图7示出了本公开实施例所提供的一种行为检测装置的结构示意图；
图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
近年来，国家积极推进明厨亮灶的政策，通过对餐饮食品加工过程进行公示，将餐饮服务关键部位与环节置于社会监督之下来保证整个食品加工的安全。随着国家对餐饮行业的监管越来越严格，针对厨房工作人员的行为规范的要求也越来越全面细致。
经研究发现，为了实现对厨房工作人员的监管，现有技术中，通常在需要监管的区域设置摄像头，然后通过人工查看监控视频的方式，来监控是否有工作人员存在违规行为。然而，该方法虽能实现对厨房工作人员的监管，但却需要安排专门的人员去观看视频，进而导致需要较高的人力成本，且需要花费大量的时间。因此，如何节省监管的人力成本和提高监管的效率，为本公开要解决的技术问题。
基于上述研究，本公开提供了一种行为检测方法，可以对获取的实施视频数据进行检测，并在检测出目标人员违规的情况下，输出相应的告警信息，以对监管方进行提醒，避免了人工查看，进而降低了人力成本，提高了监管效率。另外，本申请实施例中，由于违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种，因此，可以同时对多种违规行为进行检测，进而可以提高检测效率。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种行为检测方法进行详细介绍，本公开实施例所提供的行为检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为手机、平板电脑等移动设备、车载设备、可穿戴设备等。
参见图1所示，为本公开实施例所提供的一种行为检测方法的流程示意图，其中，该方法可以应用于上述电子设备中，或应用于本地或云端的服务器中。图1所示的行为检测方法包括以下S101～S103
S101，获取目标工作场所的实时视频数据，并提取所述实时视频数据中的图像帧。
示例地，目标工作场所是指某一饭店或餐厅的厨房区域，该目标工作场所设置有至少一个摄像头，通过摄像头可以对该目标工作场所的工作空间进行拍摄。
视频数据是指连续的图像序列，其实质是由一组组连续的图像构成的，其中，图像帧(Frame)是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。因此，为了方便后续的检测，需要提取所述实时视频数据中的图像帧。
请参阅图2，其为从实时视频数据中提取出来的一个图像帧的示意图，从该示意图中可以看出，目标工作场所为厨房区域，两名工作人员即为目标人员，其中一名工作人员没有穿工作服，发生了违规行为，具体检测方式及告警信息的输出方式将在后文进行详细阐述。
S102，识别所述图像帧中的目标人员，并对识别出的目标人员进行多种违规行为检测；所述违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种。
示例性地，可以将所述图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，在所述人员属于所述目标人员数据库中的人员的情况下，确定识别出所述目标人员。
例如，以厨房场景为例，可以将厨房的工作人员作为目标人员，并建立相关的目标人员的人像数据库。若当前厨房的工作人员为10人，则可以将该10名工作的人员的人脸图像进行采集并存储，当识别出图像帧中的人员特征时，可以将将所述图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，在当前人员特征与存储的10名工作人员中的其中某一人员特征的相似度达到预设阈值时，则可人为当前识别出的人员属于所述目标人员数据库中的人员。其中，预设阈值可以是90％，也可以是80％，在此不做限定。
在一些实施方式中，为了提高图像的识别效率，还可以只识别所述图像帧中位于目标监测区域内的目标人员。其中，目标监测区域是指存在目标人员的区域(比如灶台)，或者目标人员活动较为集中的区域。
可以理解，由于摄像头的安装位置不同，所拍摄的角度不同，进而导致所拍摄的画面不同，比如，有的摄像头所拍摄的画面中可能存在墙壁或者其他杂物区域，而这些区域基本不会出现目标人员，因此，为了提高识别的效率，可以只对目标监测区域进行识别即可。
请再次参阅图2，目标监测区域也即图像中的ROI(Region Of Interest，感兴趣区域)，其中，在图像处理领域，ROI是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，圈定该区域以便进行进一步处理。使用ROI圈定检测的目标，将监测范围缩小，如此，可以减少处理时间，增加精度。
当然，在其他实施方式中，也可以不设置ROI，直接对整个图像帧进行检测，此时也可以将整个图像帧视为ROI，在此不做限定。
S103，在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息；所述目标违规行包括所述多种违规行为中的一种或多种。
其中，告警信息是指监管方接收到的提示信息，用以提示监管方厨房有目标人员存在违规行为。
本公开实施例中，可以对获取的实施视频数据进行检测，并在检测出目标人员违规的情况下，输出相应的告警信息，以对监管方进行提醒，避免了人工查看，进而降低了人力成本，提高了监管效率。另外，本申请实施例中，可以同时对多种违规行为进行检测，进而可以提高检测效率。
针对上述S102，在对识别出的目标人员进行多种违规行为检测时，参见图3所示，包括以下S1021～S1022：
S1021，基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征。
其中，人体属性特征可以包括人体各个部位的特征。比如，在一些实施方式中，人体属性特征可以包括嘴部特征、头部特征、腿部特征、腹部特征、脚部特征、面部特征及手臂特征等，在此不做限定。
示例地，人体检测模型为一种神经网络模型，其可以通过采集大量的违规行为所对应的人体特征的数据样本进行学习训练而获得。例如，可以采集各个目标违规行为所对应的人体特征的样本，比如未穿工作服所对应的腹部特征、手臂特征及腿部特征的样本，然后通过对这些样本进行训练，而得到相应的神经网络模型。如此，在通过该人体检测模型对当前图像帧进行检测时，即可识别出当前图像帧中的具体的人体属性特征。
S1022，基于检测的人体属性特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种人体属性特征。
示例地，每种违规行为对应至少一种人体属性特征，比如未戴口罩对应的是嘴部特征、脸颊特征及耳部特征。具体地，戴口罩的情况下，嘴部特征是未显露的，脸颊会被口罩遮挡一部分，而耳部也会出现口罩的系带，因此，通过对这些特征进行比对和分析，即可识别出当前图像帧中的目标人员是否存在未戴口罩的目标违规行为。同理，其他目标违规行为，也可以通过该方式进行识别，在此不再赘述。
本实施方式中，由于一个目标违规行为可以通过多个人体特征去结合判断，因此，可以提高检测识别的精度，较少误判的情况发生。
针对上述S102，在另一些实施方式中，在对识别出的目标人员进行多种违规行为检测时，参见图4所示，包括以下S102a～S102b：
S102a，基于预先训练的头肩检测模型，对所述目标人员的头肩区域进行预设行为特征检测。
示例地，头肩检测模型为一种神经网络模型，其可以通过采集大量的违规行为所对应的头肩行为的数据样本进行学习训练而获得。例如，可以采集目标违规行为(比如抽烟)所对应的大量的头肩区域的行为特征的样本，然后通过对这些样本进行训练，而得到相应的神经网络模型。如此，在通过该头肩检测模型对当前图像帧进行检测时，即可识别出当前图像帧中的具体的头肩行为特征。
S102b，基于检测的头肩行为特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种头肩行为特征。
示例地，每种违规行为对应至少一种头肩行为特征，比如是否抽烟对应的是嘴部动作特征、头部动作特征及肩部动作特征。具体地，在抽烟时，目标人员的嘴部会张开再闭合以将香烟放入口中，且在放入香烟抽吸香烟以及将香烟从嘴部取出的时候，头部及肩部的行为都会发生变化。因此，通过对这些行为特征进行识别和分析，即可识别出当前图像帧中的工作人员是否存在抽烟的违规行为。
本公开实施例中，由于针对头肩行为特征训练一个头肩检测模型，进而可以更好针对头肩行为进行检测识别，提高头肩行为所对应的目标违规行为的识别精度。
针对上述S103，在检测到目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息时，参见图5所示，包括以下S1031～S1032：
S1031，根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级。
示例性地，在检测到目标违规行为包括未带口罩及打电话时，确定目标违规行为对应一级违规；在检测到目标违规行为包括玩手机及未穿工作服时，确定为二级违规；在检测到目标违规行为包括未戴帽子及抽烟时，确定三级违规。
在另一些实施方式中，可以根据所述目标违规行为的种类的数量以及危害程度，确定所述目标违规行为所对应的违规等级。示例性地，在目标违规行为只包括一种且危害程度较轻的情况下，将目标违规行为确定为一级，比如若目标违规行为包括未戴帽子，该目标违规行为只是对卫生情况造成影响，可以视为一级违规；在目标违规行为只包括一种，且危害程度较重的情况下将目标违规行为确定为二级，比如若目标违规行为包括抽烟，由于抽烟的危害性较大，容易引发火灾、爆炸等安全事故，因此，可以将该目标违规行为确定为二级；在目标违规行为只包括多种的情况下，则表明目标人员存在严重的纪律问题，因此，可以将该目标违规行为确定为三级。可以理解，目标违规行为的等级越高，则表明目标违规行为的违规程度越重。
本实施方式中，在确定违规行为等级时由于同时考虑了违规行为的数量以及危害程度两个因素，使得所确定的等级更符合实际情况，提高了该行为检测方法的适用性。
另外，需要说明的是，上述违规行为的等级确定仅仅是示例，在其他实施方式中，违规等级的确定还可以以目标违规行为的其他因素作为参考，在此不做限定。
S1032，根据所述违规等级输出与所述违规等级相对应的告警信息；其中所述告警信息中包含所述目标人员的图像信息。
示例性地，参见图6所示，为本公开实施例提供的一种告警信息的示意图，从图6中可以直观地看到其中一名工作人员未穿工作服，身体部位用方框框出，并以文字形式展示具体违规行为“XX工作人员没穿工作服”的告警信息，如此，让告警信息更加醒目，便于监测方第一时间掌握工作人员存在哪种违规行为。在一些实施方式中，不同的违规等级所对应的告警信息的展示方式不同。例如，若违规等级较为严重(如二级违规)，则展示文字可以是红色字体加粗，同时输出声音告警；而违规等级较轻的如一级违规，展示文字可以只是普通字体，不需要输出声音告警。如此，通过划分不同等级的违规行为，并以不同展示方式输出违规行为相应的告警信息，可以起到不同的提示和警醒作用，对于一些程度严重的违规行为，能够以一种更醒目的告警方式警示监测方。
在另一些实施方式中，为了提高告警信息的输出方式的确定效率，还可以根据违规等级以及违规等级与告警信息的输出方式的关联关系，确定与所述违规等级对应的告警信息输出方式；然后根据所述告警信息输出方式，输出所述告警信息。
其中，可以预先建立违规等级与告警信息的输出方式的关联关系，例如，一级违规对应的告警信息的输出方式为图片；二级违规对应的告警信息的输出方式为图片加文字描述；三级违规对应的告警信息的输出方式为图片加文字加声音。其中图片为目标人员的违规行为的真实图片，文字描述可以是违规行为发生的时间、地点及人物等，声音则可以是报警声音。此外，在其他实施方式中，告警信息的输出方式还可以外加灯光显示，在此不做限定。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与行为检测方法对应的行为检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述行为检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种行为检测装置的结构示意图，所述装置500包括：
获取模块501，用于获取目标工作场所的实时视频数据，并提取所述实时视频数据中的图像帧；
识别检测模块502，用于识别所述图像帧中的目标人员，并对识别出的所述目标人员进行多种违规行为检测；所述违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种；
输出模块503，用于在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息；所述目标违规行包括所述多种违规行为中的一种或多种。
在一种可能的实施方式中，所述识别检测模块502具体用于：
将所述图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，在所述人员属于所述目标人员数据库中的人员的情况下，确定识别出所述目标人员。
在一种可能的实施方式中，所述识别检测模块502具体用于：
识别所述图像帧中位于目标监测区域内的目标人员。
在一种可能的实施方式中，所述识别检测模块502具体用于：
基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；
基于检测的人体属性特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种人体属性特征。
在一种可能的实施方式中，所述识别检测模块502具体用于：
基于预先训练的头肩检测模型，对所述目标人员的头肩区域进行预设行为特征检测；
基于检测的头肩行为特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种头肩行为特征。
在一种可能的实施方式中，所述输出模块502具体用于：
根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级；
根据所述违规等级输出与所述违规等级相对应的告警信息；其中所述告警信息中包含所述目标人员的图像信息。
在一种可能的实施方式中，不同的违规等级所对应的告警信息的展示方式不同。
在一种可能的实施方式中，所述输出模块503具体用于：
根据所述目标违规行为的种类的数量以及危害程度，确定所述目标违规行为所对应的违规等级。
在一种可能的实施方式中，所述输出模块503具体用于：
根据所述违规等级以及违规等级与告警信息的输出方式的关联关系，确定与所述违规等级对应的告警信息输出方式；
根据所述告警信息输出方式，输出所述告警信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所揭示的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的行为检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的行为检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种行为检测方法，其特征在于，包括：
获取目标工作场所的实时视频数据，并提取所述实时视频数据中的图像帧；
识别所述图像帧中的目标人员，并对识别出的所述目标人员进行多种违规行为检测；所述违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种；
在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息；所述目标违规行包括所述多种违规行为中的一种或多种。
2.根据权利要求1所述的方法，其特征在于，所述识别所述图像帧中的目标人员，包括：
将所述图像帧中的人员特征与目标人员数据库中的人员特征进行匹配，在所述人员属于所述目标人员数据库中的人员的情况下，确定识别出所述目标人员。
3.根据权利要求1或2所述的方法，其特征在于，识别所述图像帧中的目标人员，包括：
识别所述图像帧中位于目标监测区域内的目标人员。
4.根据权利要求1-3任一所述的方法，其特征在于，对识别出的目标人员进行多种违规行为检测，包括：
基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；
基于检测的人体属性特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种人体属性特征。
5.根据权利要求1-4任一所述的方法，其特征在于，对识别出的目标人员进行多种违规行为检测，包括：
基于预先训练的头肩检测模型，对所述目标人员的头肩区域进行预设行为特征检测；
基于检测的头肩行为特征，确定所述目标人员是否存在目标违规行为；其中，每种目标违规行为对应至少一种头肩行为特征。
6.根据权利要求1-5任一所述的方法，其特征在于，所述输出与所述目标违规行为对应的告警信息，包括：
根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级；
根据所述违规等级输出与所述违规等级相对应的告警信息；其中所述告警信息中包含所述目标人员的图像信息。
7.根据权利要求6所述的方法，其特征在于，不同的违规等级所对应的告警信息的展示方式不同。
8.根据权利要求1-7任一所述的方法，其特征在于，所述根据所述目标违规行为的种类，确定所述目标违规行为所对应的违规等级，包括：
根据所述目标违规行为的种类的数量以及危害程度，确定所述目标违规行为所对应的违规等级。
9.根据权利要求6-8任一所述的方法，其特征在于，所述根据所述违规等级输出与所述违规等级相对应的告警信息，包括：
根据所述违规等级以及违规等级与告警信息的输出方式的关联关系，确定与所述违规等级对应的告警信息输出方式；
根据所述告警信息输出方式，输出所述告警信息。
10.一种行为检测装置，其特征在于，包括：
获取模块，用于获取目标工作场所的实时视频数据，并提取所述实时视频数据中的图像帧；
识别检测模块，用于识别所述图像帧中的目标人员，并对识别出的所述目标人员进行多种违规行为检测；所述违规行为至少包括：未戴口罩、未戴帽子、未穿工作服、打赤膊、玩手机、抽烟、打电话以及吃东西中的至少一种；
输出模块，用于在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息；所述目标违规行包括所述多种违规行为中的一种或多种。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的行为检测方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的行为检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110734988.4A CN113408464A (zh) | 2021-06-30 | 2021-06-30 | 一种行为检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110734988.4A CN113408464A (zh) | 2021-06-30 | 2021-06-30 | 一种行为检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113408464A true CN113408464A (zh) | 2021-09-17 |
Family
ID=77680434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110734988.4A Pending CN113408464A (zh) | 2021-06-30 | 2021-06-30 | 一种行为检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408464A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792691A (zh) * | 2021-09-22 | 2021-12-14 | 平安国际智慧城市科技股份有限公司 | 一种视频识别方法、系统、设备及介质 |
| CN114155612A (zh) * | 2022-02-10 | 2022-03-08 | 深圳爱莫科技有限公司 | 餐饮人员不规范行为模型训练方法、检测方法及处理设备 |
| WO2024022216A1 (zh) * | 2022-07-25 | 2024-02-01 | 京东方科技集团股份有限公司 | 信息处理方法、装置、存储介质及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146322A (zh) * | 2018-09-12 | 2019-01-04 | 深圳市商汤科技有限公司 | 监控方法及装置和系统、电子设备以及存储介质 |
| CN110718067A (zh) * | 2019-09-23 | 2020-01-21 | 浙江大华技术股份有限公司 | 违规行为告警方法及相关装置 |
| CN110875841A (zh) * | 2018-09-04 | 2020-03-10 | 广东神马搜索科技有限公司 | 报警信息的推送方法、装置及可读存储介质 |
| CN111523488A (zh) * | 2020-04-26 | 2020-08-11 | 上海集光安防科技股份有限公司 | 厨房工作人员行为实时监控方法 |
| CN111914667A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种吸烟检测方法及装置 |
| CN112349073A (zh) * | 2020-10-28 | 2021-02-09 | 广州鸿大智能科技有限公司 | 动力环境告警方法、装置和存储介质 |
| CN112434612A (zh) * | 2020-11-25 | 2021-03-02 | 创新奇智(上海)科技有限公司 | 吸烟检测方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-06-30 CN CN202110734988.4A patent/CN113408464A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110875841A (zh) * | 2018-09-04 | 2020-03-10 | 广东神马搜索科技有限公司 | 报警信息的推送方法、装置及可读存储介质 |
| CN109146322A (zh) * | 2018-09-12 | 2019-01-04 | 深圳市商汤科技有限公司 | 监控方法及装置和系统、电子设备以及存储介质 |
| CN110718067A (zh) * | 2019-09-23 | 2020-01-21 | 浙江大华技术股份有限公司 | 违规行为告警方法及相关装置 |
| CN111523488A (zh) * | 2020-04-26 | 2020-08-11 | 上海集光安防科技股份有限公司 | 厨房工作人员行为实时监控方法 |
| CN111914667A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种吸烟检测方法及装置 |
| CN112349073A (zh) * | 2020-10-28 | 2021-02-09 | 广州鸿大智能科技有限公司 | 动力环境告警方法、装置和存储介质 |
| CN112434612A (zh) * | 2020-11-25 | 2021-03-02 | 创新奇智(上海)科技有限公司 | 吸烟检测方法、装置、电子设备及计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792691A (zh) * | 2021-09-22 | 2021-12-14 | 平安国际智慧城市科技股份有限公司 | 一种视频识别方法、系统、设备及介质 |
| CN113792691B (zh) * | 2021-09-22 | 2024-03-22 | 平安国际智慧城市科技股份有限公司 | 一种视频识别方法、系统、设备及介质 |
| CN114155612A (zh) * | 2022-02-10 | 2022-03-08 | 深圳爱莫科技有限公司 | 餐饮人员不规范行为模型训练方法、检测方法及处理设备 |
| WO2024022216A1 (zh) * | 2022-07-25 | 2024-02-01 | 京东方科技集团股份有限公司 | 信息处理方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113408464A (zh) | 一种行为检测方法、装置、电子设备及存储介质 | |
| CN107742100B (zh) | 一种考生身份验证方法及终端设备 | |
| CN106203458B (zh) | 人群视频分析方法及系统 | |
| CN110648352B (zh) | 一种异常事件的检测方法、装置及电子设备 | |
| CN110674790B (zh) | 一种视频监控中异常场景处理方法及系统 | |
| CN111783744A (zh) | 一种操作现场安全防护检测方法及装置 | |
| CN109089160A (zh) | 一种高校餐厅食品加工违规行为视频分析系统及方法 | |
| CN109544862A (zh) | 基于智能家居的行为识别方法、装置、存储介质及设备 | |
| WO2016097998A1 (en) | System for and method for detection of insider threats | |
| CN110807117B (zh) | 一种用户关系预测方法及装置、计算机可读存储介质 | |
| CN112153373A (zh) | 明厨亮灶设备的故障识别方法、装置及存储介质 | |
| CN109190657A (zh) | 基于数据切片及图像哈希组合的样本同源分析方法 | |
| US20230410222A1 (en) | Information processing apparatus, control method, and program | |
| CN111797756A (zh) | 基于人工智能的视频分析方法、设备及介质 | |
| CN115798047A (zh) | 行为识别方法和装置、电子设备、计算机可读存储介质 | |
| CN110674418A (zh) | 一种获取隐性涉毒人员的方法及装置 | |
| CN110751125A (zh) | 穿戴检测方法及装置 | |
| CN113591751A (zh) | 变电站异常情况告警方法、装置、计算机设备及存储介质 | |
| CN114254867A (zh) | 一种电信诈骗受害人风险评估系统及方法 | |
| CN113673870B (zh) | 一种企业数据分析方法及相关组件 | |
| CN114173094A (zh) | 视频监控方法、装置、计算机设备和存储介质 | |
| CN110765261A (zh) | 潜在专利纠纷的监控方法、装置、服务器和存储介质 | |
| CN117789119A (zh) | 一种违规行为监测方法、装置、设备及存储介质 | |
| CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
| CN108694808A (zh) | 一种多渠道出租车司机人身安全智能分析报警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |