CN114037934A - 一种工服穿戴行为的识别方法、终端设备和存储介质 - Google Patents

Abstract

本发明提供了一种工服穿戴行为的识别方法、终端设备和存储介质，其方法包括：获取在工作期间内门店内员工的预设活动区域；获取监控视频流；所述监控视频流所监控的区域包括被监控门店的预设活动区域；根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。本发明提升识别员工穿戴工服情况的准确率和可靠性。

Description

一种工服穿戴行为的识别方法、终端设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤指一种工服穿戴行为的识别方法、终端设备和存储介质。

背景技术

随着经济的不断发展，人们对于餐饮行业的食品安全监督及质量控制有较高的需求，对门店的安全也极其关注。其中，员工是否按照企业规范穿戴了工服，是餐饮行业中食品安全监督的一个重要考核点。

传统的现场监督方式费时费力，目前已经有一些工服识别方法，比如VGGNet、GoogleNet，YOLO等物体识别算法，这些算法经过特定数据训练可以识别特定门员工工是否穿戴工衣工服。但是，由于摄像头的视野采集区域内存在顾客，会将不穿门店工服的顾客识别为违规员工，从而出现大量的误判。

要解决门店工作区域因存在顾客而导致传统图像识别算法失效的问题，首先要正确区分员工和顾客，目前普遍采用的方法是录入员工的人脸特征，然后将摄像头实时采集的数据与预先采集的员工人脸特征数据进行比较，从而达到区分员工与顾客的目标。但该方面在临街门店这样的应用领域却面临一个可行性问题，原因是员工中会有临时雇佣人员、人员结构不稳定，难以对其采集人脸特征数据。

发明内容

本发明的目的是提供一种工服穿戴行为的识别方法、终端设备和存储介质，解决现有技术中能针对非临街门店或者只能针对员工相对稳定的情形，容易出现员工穿戴工服识别结果不准确、误判的问题。

本发明提供的技术方案如下：

本发明提供一种工服穿戴行为的识别方法，包括步骤：

获取在工作期间内门店内员工的预设活动区域；

获取监控视频流；所述监控视频流所监控的区域包括被监控门店的预设活动区域；

根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。

进一步的，所述获取在工作期间内门店内员工的预设活动区域包括步骤：

获取所述当前时刻之前的历史监控视频流，从所述历史监控视频流中抽取图像序列；所述图像序列包括若干个按照时间先后顺序排列的图像帧；

将所述图像帧输入至预先训练的目标识别模型，输出所述工服对应的边界框和位置信息；所述工服被包含在所述边界框内；

根据所述工服对应的边界框和位置信息，统计穿戴工服的员工在不同位置的出现频次以生成员工分布热力图；

汇总出现频次排名靠前的位置信息所对应服务区域得到所述预设活动区域。

进一步的，所述根据所述工服对应的边界框和位置信息，统计穿戴工服的员工在不同位置的出现频次以生成员工分布热力图包括步骤：

统计各工服对应边界框的中心点坐标的出现频次，确定各工服所在位置处员工出现的权重；所述出现频次与权重成正比；

根据各工服对应边界框的中心点坐标、边界框长宽信息、权重，生成颜色渐变的员工热力图；所述权重与颜色的深度成正比。

进一步的，所述根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工包括步骤：

对所述监控视频流进行图像处理得到待识别图像；

将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息；所述目标对象包括人体和所述工服；

根据所述目标对象的边界框和位置信息查找出所述违规员工。

进一步的，所述对所述监控视频流进行图像处理得到待识别图像包括步骤：

对所述监控视频流进行分帧处理得到第一类待识别图像；

所述将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息包括步骤：

将所述第一类待识别图像输入至所述目标识别模型，输出人体、工服分别对应的边界框和位置信息；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

根据所述员工和工服分别对应的边界框和位置信息，判断员工对应的人体边界框内是否包括工服边界框；

若所述人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为目标人物；所述目标人物为未穿戴有工服的人员；

判断所述目标人物对应的位置信息是否在所述预设活动区域内；

若所述目标人物对应的位置信息在所述预设活动区域内，输出所述目标人物为所述违规员工。

进一步的，所述对所述监控视频流进行图像处理得到待识别图像包括步骤：

对所述监控视频流进行分帧处理得到第一类待识别图像；

所述将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息包括步骤：

将所述第一类待识别图像输入至所述目标识别模型，输出人体、工服分别对应的边界框和位置信息；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

根据人体对应的位置信息查找出所述预设活动区域内的员工；

根据所述员工和工服分别对应的边界框和位置信息，判断所述员工对应的人体边界框内是否包括工服边界框；

若所述人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为所述违规员工。

进一步的，所述对所述监控视频流进行图像处理得到待识别图像包括步骤：

对所述监控视频流进行分帧处理得到第一类待识别图像；

从所述第一类待识别图像中查找出所述预设活动区域对应的目标像素点，根据所述目标像素点进行图像分割得到第二类待识别图像；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

将所述第二类待识别图像输入至所述目标识别模型，输出所述预设活动区域内员工和工服分别对应的边界框和位置信息；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

根据所述员工和工服分别对应的边界框和位置信息，判断员工对应的人体边界框内是否包括工服边界框；

若人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为所述违规员工。

进一步的，所述获取在工作期间内门店内员工的预设活动区域之前包括步骤：

获取大量已标注有标记框的样本图像；所述标记框包括人体标记框和工服标记框；

将所述样本图像随机分为训练样本集和测试样本集，根据所述训练样本集训练生成目标识别模型；

根据所述测试样本集对所述训练好的目标识别模型进行测试并调整，直至每种目标对象的识别错误率低于预设阈值时训练完成。

本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器，用于执行所述存储器上所存放的计算机程序，实现所述的工服穿戴行为的识别方法所执行的操作。

本发明还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述的工服穿戴行为的识别方法所执行的操作。

通过本发明提供的一种工服穿戴行为的识别方法、终端设备和存储介质，能够提升识别员工穿戴工服情况的准确率和可靠性。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种工服穿戴行为的识别方法、终端设备和存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种工服穿戴行为的识别方法的一个实施例的流程图；

图2是本发明一种工服穿戴行为的识别方法的另一个实施例的流程图；

图3是本发明一种工服穿戴行为的识别方法的另一个实施例的流程图；

图4是本发明一种工服穿戴行为的识别方法的另一个实施例的流程图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

【第一实施例】如图1所示，一种工服穿戴行为的识别方法，包括：

S100获取在工作期间内门店内员工的预设活动区域；

具体的，门店是指线下的提供餐饮服务的实体门店，门店中包括多个员工，而部分员工的工作位置不固定，例如，同一个服务员可以提供关于点餐、派餐、结算等多种服务，因此，需要获取门店内的每个员工在上班期间执行工作的服务区域，然后汇总该门店中所有员工的服务区域得到预设活动区域。需要注意的是，提供餐饮服务的实体门店包括但是不限于餐厅类的门店，饮品类的门店(例如奶茶店)，商超类的门店(例如售卖食物的便利店)。

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

具体的，摄像头可以是具有视频摄像/传播和静态图像捕捉等基本功能的设备。可以在门店内安装监控摄像头，且监控摄像头的镜头朝向预设活动区域。当然，也可以在街道上布设监控摄像头，且监控摄像头的镜头朝向预设活动区域。其中，街道上布设监控摄像头的视野内可以包括多个门店以同时监控多个门店，即获取的摄像头拍摄视频中的监控视频流中可包括多个门店。

通过固定位置的摄像头(门店内摄像头或街道布设的门店外摄像头)对被监控门店进行拍摄，从该摄像头中获取对门店的监控视频流。优选的，在多个角度和位置分别安装不同视角的摄像头，汇总获取不同视角摄像头的监控视频流。

S300根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。

具体的，餐饮服务从业的员工的工服包括工衣、工帽、口罩等等。根据从摄像头处采集获取的监控视频流进行处理得到每个时刻对应的图像帧，然后，根据当前时刻的图像帧判断预设活动区域内的员工在当前时刻是否穿戴工服。如果预设活动区域内的任意一个员工在当前时刻未穿戴工服即查找到违规员工，则输出对应的识别结果并可以发起提醒。当然，如果预设活动区域内的所有员工在当前时刻均穿戴工服，则根据下一时刻的图像帧继续判断查找在下一时刻所述预设活动区域内的违规员工。

本发明预先设置好预设活动区域，然后根据包括预设活动区域的监控视频流进行图像识别处理，实时监测预设活动区域内的员工是否穿戴工服，实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明通过预先构建工作区域、只有在工作区域内未穿戴工服的人员才属于违规店员，从而避免了将顾客误判为违规店员、或算法只在特定场景有效的缺陷，能够有效判断门店员工是否存在未穿戴工服的违规行为，可以适用于各种类型的店面和员工团队，误判率低。

【第二实施例】一种工服穿戴行为的识别方法，包括：

S110获取所述当前时刻之前的历史监控视频流，从所述历史监控视频流中抽取图像序列；所述图像序列包括若干个按照时间先后顺序排列的图像帧；

具体的，本实施例是上述实施例的优化实施例，本实施例中与上述实施例相同的部分参见上述实施例。获取距离当前时刻之前一定时长的监控视频流作为历史监控视频流用于员工活动区域识别，例如，一般采集当前时刻之前一整天工作时间段、分辨率640*640大小的监控视频流。对历史监控视频流按一定时间间隔均匀抽取得到若干个图像帧，由于每个图像帧对应有时间戳信息，因此，可以将若干个图像帧按照时间先后顺序排列得到图像序列。其中，由于历史监控视频流相邻帧之间包含的信息可能较为类似，所以，本发明按照一定时间间隔(比如1分钟间隔)抽取图像帧，以获取差异度较高的图像序列。

S120将所述图像帧输入至预先训练的目标识别模型，输出所述工服对应的边界框和位置信息；所述工服被包含在所述边界框内；

具体的，边界框往往是矩形框，在识别目标对象的过程中包括分类和定位，目标分类即输入图像即可识别出图像中的目标对象的类别，目标定位即输入图像即可标出图像中类别物体的位置(矩形框)。经过大量的样本图像训练得到的目标识别模型，可以有效地识别出图像帧中的工服，从而可以快速地对工服采用边界框的方式进行标记，并输出各边界框分别对应的位置信息，工服被包含在边界框中。

其中，位置信息可以表示为边界框的中心点坐标(b_x，b_y)或者(b_x，b_y，b_z)、边界框的长度为b_l，边界框的宽度为b_w。当然，位置信息还可以表示为边界框的左上角角点坐标为(l_x，l_y)、边界框的长度为b_l，边界框的宽度为b_w。当然，位置信息还可以表示为边界框的左上角角点坐标(l_x，l_y)以及右下角角点坐标(r_x，r_y)。本发明可以利用这样的标记好的边界框及其位置信息，进行一些数据统计的工作。因此，训练好的目标识别模型中会构建有若干个不同的边界框来标记从图像帧中识别出的工服，并输出各个工服对应边界框的位置信息。

S130根据所述工服对应的边界框和位置信息，统计穿戴工服的员工在不同位置的出现频次以生成员工分布热力图；

具体的，员工分布热力图能够可视化表明预设活动区域内的员工在工作期间内的活动轨迹点的密度，利用历史时间段的历史监控视频流进行图像识别得到的工服对应的边界框和位置信息，分析统计历史时间段内(例如前一天、前一周等)工服在预设活动区域内的出现频次,通过出现频次渲染包括预设活动区域的门店地图的颜色，以区分显示在工作期间被监控门店的预设活动区域内员工的密度或者出现频次，颜色越深表示出现频次越多，颜色浅代表出现频次比较少，这样，通过员工分布热力图可以很直观的看到预设活动区域内的员工出现频次。由于可以利用标记好的边界框及其位置信息，进行一些数据统计的工作，因此根据上述流程获取到历史时间段预设活动区域内工服对应的边界框和位置信息后，就可以直接统计在历史时间段内预设活动区域内穿戴工服的员工在不同位置的出现频次，进而根据统计得到的出现频次信息、工服对应的边界框和位置信息生成对应的员工分布热力图。

S140汇总出现频次排名靠前的位置信息所对应服务区域得到所述预设活动区域；

具体的，对于从监控视频流中抽出的图像序列输入至目标识别模型，将会识别出工服，从而得到一系列的边界框(boundingbox)以及边界框的位置信息(即中心点坐标、边界框的长、宽信息)，通过这些边界框和位置信息就可以参照上述流程绘制出员工分布热力图。然后，过滤掉员工分布热力图中低频次的位置信息所对应的服务区域就可以得到预设活动区域，即将员工分布热力图中各工服对应边界框所在区域的出现频次按照大小顺序依次排列，舍弃低频次的位置信息所对应的服务区域，保留高频次的位置信息所对应的服务区域就得到了预设活动区域。例如，将出现频次按照排列靠前的前五个位置信息所对应的服务区域合并得到预设活动区域。

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S300根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。

本发明通过热力图技术以及图像识别定位技术，统计得到工作期间门店内员工出现频次比较多的预设活动区域，然后根据包括预设活动区域的监控视频流进行图像识别处理，实时监测预设活动区域内的员工是否穿戴工服，实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明限定预设活动区域，只判断在预设活动区域内的员工是否穿戴工服，避免将不穿门店工服的顾客识别为违规店员从而出现大量的误判，提高员工穿戴工服识别检测的准确率和可靠性。

【第三实施例】一种工服穿戴行为的识别方法，包括：

S110获取所述当前时刻之前的历史监控视频流，从所述历史监控视频流中抽取图像序列；所述图像序列包括若干个按照时间先后顺序排列的图像帧；

S120将所述图像帧输入至预先训练的目标识别模型，输出所述工服对应的边界框和位置信息；所述工服被包含在所述边界框内；

S131统计各工服对应边界框的中心点坐标的出现频次，确定各工服所在位置处员工出现的权重；所述出现频次与权重成正比；

S132根据各工服对应边界框的中心点坐标、边界框长宽信息、权重，生成颜色渐变的员工热力图；所述权重与颜色的深度成正比；

具体的，本实施例是上述实施例的优化实施例，本实施例中与上述实施例相同的部分参见上述实施例。首先参照上述实施例，如果位置信息表示为边界框的中心点坐标(b_x，b_y)或者(b_x，b_y，b_z)、边界框的长度为b_l，边界框的宽度为b_w，那么先识别图像帧中的所有工服(包括工衣、工帽、口罩等等)，得到不同工服的边界框分别对应的中心点坐标(b_x，b_y，b_z)后，将所有工服边界框的中心点坐标放入一个list类型的变量集data中，即data＝{(b_x1，b_y1，b_z1)，(b_x2，b_y2，b_z2)，……，(b_xn，b_yn，b_zn)}，其中，n为某工服对应的序号。然后，根据变量集进行统计工服边界框的中心点的出现频次，按照工服边界框的中心点坐标所对应位置出现的频次进行计算得到对应的权重，由于出现频次与权重成正比，且权重与颜色的深度成正比，因此，颜色越深代表出现频次越多。这样，就能够根据工服边界框的中心点坐标所对应位置的出现频次，将对应中心点及其边界框用相应的颜色进行上色生成员工热力图。

当然，参照上述实施例，如果位置信息表示为边界框的左上角角点坐标为(l_x，l_y，l_z)、边界框的长度为b_l，边界框的宽度为b_w，可以换算计算得到边界框的中心点坐标(b_x，b_y)或者(b_x，b_y，b_z)。同理，如果位置信息表示为边界框的左上角角点坐标(l_x，l_y)以及右下角角点坐标(r_x，r_y)，同样可以换算计算得到边界框的中心点坐标(b_x，b_y)，以及边界框的长度为b_l＝|l_x－r_x|，边界框的宽度为b_w＝|l_y－r_y|。

S140汇总出现频次排名靠前的位置信息所对应服务区域得到所述预设活动区域；

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S300根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。

本发明通过热力图技术以及图像识别定位技术，统计得到工作期间门店内员工出现频次比较多的预设活动区域，然后根据包括预设活动区域的监控视频流进行图像识别处理，实时监测预设活动区域内的员工是否穿戴工服，实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明限定预设活动区域，只判断在预设活动区域内的员工是否穿戴工服，避免将不穿门店工服的顾客识别为违规店员，从而出现大量的误判，提高员工穿戴工服识别检测的准确率和可靠性。

【第四实施例】一种工服穿戴行为的识别方法，包括：

S100获取在工作期间内门店内员工的预设活动区域；

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S310对所述监控视频流进行图像处理得到待识别图像；

S320将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息；所述目标对象包括人体和所述工服；

S330根据所述目标对象的边界框和位置信息查找出所述违规员工。

具体的，本实施例是上述实施例的优化实施例，本实施例中与上述实施例相同的部分参见上述实施例。对监控视频流进行图像处理得到待识别图像后，将待识别图像输入到目标识别模型，和上述实施例一样，由目标识别模型识别输出预设活动区域内，所有人体和所有工服(包括工衣、工帽、口罩等等)对应的边界框和位置信息。由于每个目标对象(包括人体和工服)对应有各自在世界坐标系上的位置信息，根据预设活动区域在世界坐标系上的空间位置，可以将各目标对象的位置信息与预设活动区域进行匹配以得到是否存在空间重叠的判断结果，进而根据判断结果得到预设活动区域内所有员工的工服穿戴识别结果，以查找出预设活动区域内的违规员工。

本发明实时监测预设活动区域内的员工是否穿戴工服，实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明限定预设活动区域，只判断在预设活动区域内的员工是否穿戴工服，避免将不穿门店工服的顾客识别为违规店员从而出现大量的误判，提高员工穿戴工服识别检测的准确率和可靠性。

【第五实施例】如图2所示，一种工服穿戴行为的识别方法，包括：

S100获取在工作期间内门店内员工的预设活动区域；

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S311对所述监控视频流进行分帧处理得到第一类待识别图像；

具体的，本实施例是上述实施例的优化实施例，本实施例中与上述实施例相同的部分参见上述实施例。设置截取时间间隔，根据截取时间间隔将监控视频流进行分帧处理，即根据截取时间间隔截取监控视频流第1帧图片、第2帧图片，以及第m帧图片作为第一类待识别图像，保存截取的第一类待识别图像到本地或云空间、服务器。

S321将所述第一类待识别图像输入至所述目标识别模型，输出人体、工服分别对应的边界框和位置信息；

具体的，对监控视频流进行图像处理得到第一类待识别图像后，将第一类待识别图像输入到目标识别模型，和上述实施例一样，由目标识别模型识别输出第一类待识别图像中的所有人体和所有工服(包括工衣、工帽、口罩等等)对应的边界框和位置信息。由于每个目标对象(包括人体和工服)对应有各自在世界坐标系上的位置信息，根据预设活动区域在世界坐标系上的空间位置，可以将各目标对象的位置信息与预设活动区域进行匹配以得到是否存在空间重叠的判断结果，进而根据判断结果得到预设活动区域内所有员工的工服穿戴识别结果。

S331根据所述人体和工服分别对应的边界框和位置信息，判断人体对应的人体边界框内是否包括工服边界框；

S332若所述人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

具体的，由于各个目标对象的边界框和位置信息已知，因此，可以根据目标对象的边界框和位置信息进行判断各人体边界框对应的人员是否正确佩戴有工服。如果人体边界框内包括各类工服边界框，且人体边界框内同种类型工服边界框的数量均为一时，说明人体边界框对应的人员整齐地穿戴有规定需求穿戴的工服(工衣、工帽和口罩中的任意一种或多种)，那么就切换至下一人体边界框继续进行查找目标人物。当然，如果人体边界框内存在的同种工服边界框的数量大于一时，说明人体边界框与至少两个同种工服边界框存在重叠区域，放弃对人体边界框的判断，切换至下一人体边界框继续进行查找目标人物。

优选的，对于人挨着人或者员工身体只有一部分出现在摄像头区域中的情况，基于工服穿戴行为的识别要求是精确度(precision)要高，而回收率(recall)不做要求，为避免因遮挡情况而导致的误报，在实际应用时，只会对与其它人体边界框(personboundingbox)无交集，且不在图像边界上的人体边界框，同种类型工服边界框的数量为一个的人体边界框进行判断是否穿戴工服。

优选的，为了便于区别出人体边界框和工服边界框(包括工衣边界框、工帽边界框、口罩边界框等等)，并且为了避免出错，将属于同一目标对象的边界框分配相同颜色。例如，工衣边界框为红色，人体边界框为绿色，工帽边界框为黄色，口罩边界框为蓝色。本发明可以仅用于判断人员是否佩戴有任意一种类型的工服，或者还可以用于判断人员是否同时佩戴所有类型的工服。

示例性的，某个员工甲在图像中的人体边界框为C1，员工甲所穿戴的工衣L1对应的工衣边界框为CL1，员工乙所穿戴的工衣L2对应的工衣边界框为CL2，如果员工甲紧挨着员工乙，导致摄像头成像拍摄得到的第一类待识别图像中人体边界框为C1中同时存在工衣边界框为CL1和工衣边界框为CL2，那么，为了避免误报就放弃对员工甲是否正确佩戴有工服的判断，直接切换至下一人体边界框继续进行查找目标人物。

S333若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为目标人物；所述目标人物为未穿戴有工服的人员；

具体的，如果人体边界框内不存在任意一个工服边界框时，说明所有类型的工服边界框均人体边界框外，即人体边界框与所有种类的工服边界框均不存在重叠区域，那么这个人体边界框对应的人员就是当前第一类待识别图像中的目标人物之一，切换至下一人体边界框继续进行查找目标人物。

示例性的，某个人员丙在图像中的人体边界框为C1，人员丙所穿戴的工衣L1对应的工衣边界框为CL1，人员丙所穿戴的工帽M1对应的工帽边界框为CM1，人员丙所配戴的口罩N1对应的口罩边界框为CN1。如果门店员工的工服穿戴检测需求只是检测员工的工衣工帽的穿戴情况，那么如果人体边界框为C1内包括工衣边界框为CL1和工帽边界框为CM1，说明人员丙不是未穿戴有工衣工帽的目标人物。当然，如果人体边界框为C1内只包括工衣边界框为CL1(或工帽边界框为CM1)，说明人员丙是未穿戴有工衣工帽的目标人物。

S334判断所述目标人物对应的位置信息是否在所述预设活动区域内；

S335若所述目标人物对应的位置信息在所述预设活动区域内，输出所述目标人物为所述违规员工。

具体的，根据上述流程查找出第一类待识别图像中的所有目标人物即未穿戴有工服的人员后，就进一步的根据目标人物对应的位置信息，判断目标人物对应的位置信息是否位于预设活动区域内，如果目标人物对应的位置信息不位于预设活动区域内，说明预设活动区域内的目标人物虽然未穿戴工服，但是并不属于门店中预设活动区域内的员工。但是，如果目标人物对应的位置信息位于预设活动区域内，说明目标人物就是属于门店中预设活动区域内的员工，并且由于目标人物就是未穿戴有工服的人员，因此，说明目标人物是在预设活动区域内未穿戴工服的员工。

本发明通过应用预训练的目标识别模型，识别出图像中的工衣、工帽、人体、口罩等多种类型的目标对象的位置信息。根据人体的位置信息中是否包含了所需检测的工服来标记该人员是否穿戴了工服，将未穿戴工服的目标人物的位置信息与预设活动区域做交集，从而识别出该目标人物是否属于违规员工(即在预设活动区域内未穿戴工服的员工)。本发明直接对采集到的第一类待识别图像进行识别查找出没有穿戴工服的目标人物，然后再判断该目标人物是否在预设活动区域的范围内，如果目标人物位于预设活动区域的范围内说明该目标人物就是违规员工。通过本发明能够实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明限定预设活动区域，只判断在预设活动区域内的员工是否穿戴工服，避免将不穿门店工服的顾客识别为违规店员从而出现大量的误判，提高员工穿戴工服识别检测的准确率和可靠性。

【第六实施例】如图3所示，一种工服穿戴行为的识别方法，包括：

S100获取在工作期间内门店内员工的预设活动区域；

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S311对所述监控视频流进行分帧处理得到第一类待识别图像；

S321将所述第一类待识别图像输入至所述目标识别模型，输出人体、工服分别对应的边界框和位置信息；

S341根据人体对应的位置信息查找出所述预设活动区域内的员工；

S342根据所述员工和工服分别对应的边界框和位置信息，判断所述员工对应的人体边界框内是否包括工服边界框；

S343若所述人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

S344若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为所述违规员工。

具体的，本实施例是上述实施例的优化实施例，本实施例中与上述实施例相同的部分参见上述实施例。本实施例与图2所示对应实施例不同之处在于，本实施例是在预设活动区域内识别出身份为员工的人员，再判断员工是否存在没有穿戴工服，如果有则确定该身份为员工的人员为违规员工。即先人体对应位置信息查找出预设活动区域内的员工，也就是将人体对应的位置信息与预设活动区域的位置坐标进行交集处理，即查找预设活动区域内的人体边界框，所查找出来的人体边界框对应的人员就是预设活动区域内的员工。然后，判断员工对应的人体边界框内是否包括工服边界框，如果人体边界框内包括各类工服边界框，且人体边界框内同种类型工服边界框的数量均为一时，说明人体边界框对应的员工整齐地穿戴有规定需求穿戴的工服(工衣、工帽和口罩中的任意一种或多种)，那么就切换至下一人体边界框继续进行判断。当然，如果人体边界框内存在的同种工服边界框的数量大于一时，说明人体边界框与至少两个同种工服边界框存在重叠区域，放弃对人体边界框的判断，切换至下一人体边界框继续进行判断。此外，如果人体边界框内不存在任意一个工服边界框时，说明所有类型的工服边界框均人体边界框外，即员工对应的人体边界框与所有种类的工服边界框均不存在重叠区域，那么这个人体边界框对应的员工就是违规员工。

本发明通过应用预训练的目标识别模型，识别出图像中的工衣、工帽、人体、口罩等多种类型的目标对象的位置信息。根据人体的位置信息与预设活动区域进行交集处理识别出中预设活动区域内的员工，然后，根据员工的位置信息与工服的位置信息进行交集处理来判断该员工是否穿戴了工服，将未穿戴工服的员工认定为违规员工(即在预设活动区域内未穿戴工服的员工)。本发明直接对采集到的第一类待识别图像进行识别查找出预设活动区域内的员工，然后再判断预设活动区域内的员工是否穿戴有工服，如果预设活动区域内的员工未穿戴工服就说明该员工就是违规员工。通过本发明能够实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明限定预设活动区域，只判断在预设活动区域内的员工是否穿戴工服，避免将不穿门店工服的顾客识别为违规店员，从而出现大量的误判，提高员工穿戴工服识别检测的准确率和可靠性。

【第七实施例】如图4所示，一种工服穿戴行为的识别方法，包括：

S100获取在工作期间内门店内员工的预设活动区域；

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S311对所述监控视频流进行分帧处理得到第一类待识别图像；

S312从所述第一类待识别图像中查找出所述预设活动区域对应的目标像素点，根据所述目标像素点进行图像分割得到第二类待识别图像；

具体的，本实施例是上述实施例的优化实施例，本实施例中与上述实施例相同的部分参见上述实施例。通过上述实施例截取得到第一类待识别图像后，对第一类待识别图像进行图像识别，以识别得到第一类待识别图像中的预设活动区域，可以使用图像分割技术将第一类待识别图像中的预设活动区域进行提取分割得到第二类待识别图像。其中，图像分割处理技术为现有技术，在此不再详细说明，任意分割生成第二类待识别图像的技术均在本发明的保护范围之内。

当然，还可以将员工分布热力图后与第一类待识别图像做交集，即根据第一类待识别图像中各个像素点的像素坐标，将第一类待识别图像的原图划分成长*宽的网格，遍历查找落在员工分布热力图区域内的目标像素网格，从第一类待识别图像的原图中提取目标像素网格组成的区域，并分割出来就构成了只包括预设活动区域的第二类待识别图像，即第二类待识别图像是将第一类待识别图像中除预设活动区域以外的图像特征剔除后的图像。

S351将所述第二类待识别图像输入至所述目标识别模型，输出所述预设活动区域内员工和工服分别对应的边界框和位置信息；

具体的，和上述实施例一样，由于第二类待识别图像只包括预设活动区域内的人体和工服，而，预设活动区域内的人体其实就是员工，因此由目标识别模型可以识别输出第二类待识别图像中的所有员工对应的边界框和位置信息，以及所有工服(包括工衣、工帽、口罩等等)对应的边界框和位置信息。由于第二类待识别图像剔除了除预设活动区域以外的图像特征，即第二类待识别图像只包括预设活动区域的图像特征，因此，由于每个目标对象(包括人体和工服)对应有各自在世界坐标系上的位置信息，根据预设活动区域在世界坐标系上的空间位置，可以将各目标对象的位置信息与预设活动区域进行匹配以得到是否存在空间重叠的判断结果，进而根据判断结果得到预设活动区域内所有员工的工服穿戴识别结果。

S352根据所述员工和工服分别对应的边界框和位置信息，判断员工对应的人体边界框内是否包括工服边界框；

S353若人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

具体的，由于各个目标对象的边界框和位置信息已知，因此，可以根据目标对象的边界框和位置信息进行判断各人体边界框对应的员工是否正确佩戴有工服。因为，目标对象的边界框和位置信息的计算来源于第二待识别图像，如果人体边界框内包括各类工服边界框，且人体边界框内同种类型的工服边界框的数量均为一时，因此，说明人体边界框对应的员工整齐地穿戴有规定需求穿戴的工服(工衣、工帽和口罩中的任意一种或多种)，那么就切换至下一人体边界框继续进行判断。当然，如果人体边界框内存在的同种工服边界框的数量大于一时，说明人体边界框与至少两个同种工服边界框存在重叠区域，放弃对人体边界框的判断，切换至下一人体边界框继续判断。

S354若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为所述违规员工。

具体的，因为，目标对象的边界框和位置信息的计算来源于第二待识别图像，如果人体边界框内不存在任意一个工服边界框时，说明所有类型的工服边界框均人体边界框外，即人体边界框与所有种类的工服边界框均不存在重叠区域，那么这个人体边界框对应的员工就是当前第二类待识别图像中的违规员工。本实施例与图2和图3所示对应实施例不同之处在于，本实施例是在预设活动区域内识别判断是否存在没有穿戴工服的人员，如果有则确定该人员为违规员工。即对采集到的第一待识别图像进行切割得到只包括预设活动区域的第二待识别图像，然后基于第二待识别图像查找出身份为员工的人员，再进一步判断身份为员工的人员是否穿戴有工服。本实施例相对于图4所示对应实施例的优点在于能够减少图像识别工作量，提高违规员工的识别速度和识别效率。

本发明通过应用预训练的目标识别模型，识别出图像中的工衣、工帽、人体、口罩等多种类型的目标对象的位置信息，基于第二待识别图像输出的人体对应位置信息可以直接查找出预设活动区域内的员工。根据第二待识别图像所识别输出的员工的位置信息与工服的位置信息进行交集处理来判断该员工是否穿戴了工服，将未穿戴工服的员工认定为违规员工(即在预设活动区域内未穿戴工服的员工)。本发明直接对采集到的第二类待识别图像进行识别查找出预设活动区域内的员工，然后再判断预设活动区域内的员工是否穿戴有工服，如果预设活动区域内的员工未穿戴工服就说明该员工就是违规员工。通过本发明能够实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。本发明限定预设活动区域，只判断在预设活动区域内的员工是否穿戴工服，避免将不穿门店工服的顾客识别为违规店员从而出现大量的误判，提高员工穿戴工服识别检测的准确率和可靠性。

基于前述第二至第七任意实施例，本发明在S100之前还有目标识别模型的训练步骤，即S100获取在工作期间内门店内员工的预设活动区域之前包括步骤：

S010获取大量已标注有标记框的样本图像；所述标记框包括人体标记框和工服标记框；

具体的，获取由人工进行标记的样本图像，样本图像中的标记框是囊括了目标对象的边界的，即人体标记框囊括了人体的边界轮廓、工服(包括但是不限于工衣、工帽、口罩)标记框囊括了工服的边界轮廓。由于是人工进行的标记，标记出的标记框往往能够与目标对象的边界轮廓达到非常高的匹配。其中，标记框往往是矩形框。由于在餐饮服务领域，需要识别出各种工服，因此，需要获取各种工服的样本图像。

在得到少量人工的标记好的样本图像后，对该样本图像进行样本图像增强操作，样本图像增强操作可以使用现有技术中的图像增强方法，如对样本图像进行旋转、翻转、缩放、平移等变化，以增加扩充样本图像的数量，其中，增强后的样本图像也是已标记了标签的图像。

S020将所述样本图像随机分为训练样本集和测试样本集，根据所述训练样本集训练生成目标识别模型；

具体的，对样本图像进行随机抽取，将大量的样本图像分别划分为训练样本集和测试样本集，一般，训练样本集与测试样本集中的样本图像的数量比例为7:3，当然，也可以设置其他的数量比例。本发明可以采用VGGNet和VGGNet等网络结构建立候选模型，然后，将通过上述步骤得到的训练样本集中的样本图像输入上述构建的候选模型中进行训练，得到训练好的目标识别模型。

S030根据所述测试样本集对所述训练好的目标识别模型进行测试并调整，直至每种目标对象的识别错误率低于预设阈值时训练完成；

具体的，通过训练样本集训练得到训练好的目标识别模型后，将测试样本集中的样本图像输入至训练好的目标识别模型，以统计每种目标对象的识别错误率。通过比较识别出的目标对象的类别、位置与标记框的类别、位置是否一致来得到误判率，只有类别和位置都与标记框的类别、位置一致时，才认为是正确的识别，否则为误判。统计出每种目标对象的识别错误率后，对此前训练好的目标识别模型进行参数调整，直至得到的目标识别模型对每种目标对象的识别错误率低于预设阈值时结束训练得到最终的目标识别模型。

S100获取在工作期间内门店内员工的预设活动区域；

S200获取监控视频流；所述监控视频流包括被监控门店的预设活动区域；

S300根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。

本发明对样本图像进行数量增强，可降低人为采集原始图像和标记生成样本图像的工作量，同时根据识别错误率进行有针对性的参数调整，提高训练好的目标识别模型的识别率和定位精度。本发明预先设置好预设活动区域，然后根据训练好的目标识别模型对包括预设活动区域的监控视频流进行分类、识别和定位，根据分类定位结果判断预设活动区域内的员工是否穿戴工服，实现全面对门店内各个员工的违规穿戴行为进行实时监控，以便提高员工穿戴工服的监管力度和监管效率。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将所述装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

本发明的一个实施例，一种终端设备，包括处理器、存储器，其中，存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的计算机程序，实现上述所对应方法实施例中的工服穿戴行为的识别方法。

所述终端设备可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述终端设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，上述仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线，还可以包括输入/输出接口，其中，处理器、存储器、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器存储有计算机程序，该处理器用于执行存储器上所存放的计算机程序，实现上述所对应方法实施例中的工服穿戴行为的识别方法。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是所述终端设备的内部存储单元，例如：终端设备的硬盘或内存。所述存储器也可以是所述终端设备的外部存储设备，例如：所述终端设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述终端设备所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器通过通信总线从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器可以包括程序模块，例如内核(kernel)，中间件(middleware)，应用程序编程接口(ApplicationProgrammingInterface，API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(例如感应器、键盘、触摸屏)输入的命令或数据。通信接口将该终端设备与其它网络设备、用户设备、网络进行连接。例如，通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。终端设备可以通过通信接口连接网络，终端设备和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。

本发明的一个实施例，一种存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现上述工服穿戴行为的识别方法对应实施例所执行的操作。例如，存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。

它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序发送指令给相关的硬件完成，所述的计算机程序可存储于一存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括：能够携带所述计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读的存储介质不包括电载波信号和电信信号。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种工服穿戴行为的识别方法，其特征在于，包括步骤：

获取在工作期间内门店内员工的预设活动区域；

获取监控视频流；所述监控视频流所监控的区域包括被监控门店的预设活动区域；

根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工。

2.根据权利要求1所述的工服穿戴行为的识别方法，其特征在于，所述获取在工作期间内门店内员工的预设活动区域包括步骤：

获取所述当前时刻之前的历史监控视频流，从所述历史监控视频流中抽取图像序列；所述图像序列包括若干个按照时间先后顺序排列的图像帧；

将所述图像帧输入至预先训练的目标识别模型，输出所述工服对应的边界框和位置信息；所述工服被包含在所述边界框内；

根据所述工服对应的边界框和位置信息，统计穿戴工服的员工在不同位置的出现频次以生成员工分布热力图；

汇总出现频次排名靠前的位置信息所对应服务区域得到所述预设活动区域。

3.根据权利要求2所述的工服穿戴行为的识别方法，其特征在于，所述根据所述工服对应的边界框和位置信息，统计穿戴工服的员工在不同位置的出现频次以生成员工分布热力图包括步骤：

统计各工服对应边界框的中心点坐标的出现频次，确定各工服所在位置处员工出现的权重；所述出现频次与权重成正比；

根据各工服对应边界框的中心点坐标、边界框长宽信息、权重，生成颜色渐变的员工热力图；所述权重与颜色的深度成正比。

4.根据权利要求1所述的工服穿戴行为的识别方法，其特征在于，所述根据所述监控视频流查找出所述预设活动区域内未穿戴工服的违规员工包括步骤：

对所述监控视频流进行图像处理得到待识别图像；

将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息；所述目标对象包括人体和所述工服；

根据所述目标对象的边界框和位置信息查找出所述违规员工。

5.根据权利要求4所述的工服穿戴行为的识别方法，其特征在于，所述对所述监控视频流进行图像处理得到待识别图像包括步骤：

对所述监控视频流进行分帧处理得到第一类待识别图像；

所述将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息包括步骤：

将所述第一类待识别图像输入至所述目标识别模型，输出人体、工服分别对应的边界框和位置信息；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

根据所述人体和工服分别对应的边界框和位置信息，判断人体对应的人体边界框内是否包括工服边界框；

若所述人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为目标人物；所述目标人物为未穿戴有工服的人员；

判断所述目标人物对应的位置信息是否在所述预设活动区域内；

若所述目标人物对应的位置信息在所述预设活动区域内，输出所述目标人物为所述违规员工。

6.根据权利要求4所述的工服穿戴行为的识别方法，其特征在于，所述对所述监控视频流进行图像处理得到待识别图像包括步骤：

对所述监控视频流进行分帧处理得到第一类待识别图像；

所述将所述待识别图像输入至预先训练的目标识别模型，识别输出目标对象对应的边界框和位置信息包括步骤：

将所述第一类待识别图像输入至所述目标识别模型，输出人体、工服分别对应的边界框和位置信息；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

根据人体对应的位置信息查找出所述预设活动区域内的员工；

根据所述员工和工服分别对应的边界框和位置信息，判断所述员工对应的人体边界框内是否包括工服边界框；

若所述人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为所述违规员工。

7.根据权利要求4所述的工服穿戴行为的识别方法，其特征在于，所述对所述监控视频进行图像处理得到待识别图像包括步骤：

对所述监控视频进行分帧处理得到第一类待识别图像；

从所述第一类待识别图像中查找出所述预设活动区域对应的目标像素点，根据所述目标像素点进行图像分割得到第二类待识别图像；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

将所述第二类待识别图像输入至所述目标识别模型，输出所述预设活动区域内员工和工服分别对应的边界框和位置信息；

所述根据所述目标对象的边界框和位置信息查找出所述违规员工包括步骤：

根据所述员工和工服分别对应的边界框和位置信息，判断员工对应的人体边界框内是否包括工服边界框；

若人体边界框内存在的同种工服边界框的数量大于一时，放弃对所述人体边界框的判断；

若所述人体边界框内不存在任意一个工服边界框时，确定所述人体边界框对应的人员为所述违规员工。

8.根据权利要求2-7任一项所述的工服穿戴行为的识别方法，其特征在于，所述获取在工作期间内门店内员工的预设活动区域之前包括步骤：

获取大量已标注有标记框的样本图像；所述标记框包括人体标记框和工服标记框；

将所述样本图像随机分为训练样本集和测试样本集，根据所述训练样本集训练生成目标识别模型；

根据所述测试样本集对所述训练好的目标识别模型进行测试并调整，直至每种目标对象的识别错误率低于预设阈值时训练完成。

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器，用于执行所述存储器上所存放的计算机程序，实现如权利要求1至权利要求8任一项所述的工服穿戴行为的识别方法所执行的操作。

10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的工服穿戴行为的识别方法所执行的操作。

Images