CN109948479A - 工厂的监控方法、装置及设备 - Google Patents

Abstract

本发明实施例提供一种工厂的监控方法、装置及设备，该方法包括：从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别。若人脸识别通过，则从视频中提取第二图像帧，第二图像帧为第一图像帧之后的图像帧。根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内，若否，则控制报警装置发出报警。本实施例避免了需要人工巡检才能实现监控，提升监控的效率。

Description

工厂的监控方法、装置及设备

技术领域

本发明实施例涉及智能监控领域，尤其涉及一种工厂的监控方法、装置及设备。

背景技术

工厂又称制造厂，是一类用以生产货物的大型工业建筑物。大部分工厂都拥有以机器或设备构成的生产线或流水线。

在现有的非智慧工厂或部分智慧工厂中，部分机器或设备是需要工人的操作才能完成相应的任务。具体地，生产线或流水线中，每一个工人都只专注处理某一个片段的工作，以提高工作效率及产量。每个工人都在自己的作业范围内进行相应的工作。

目前，在工厂中对于工人是否在作业范围内工作，主要通过人工巡检完成，监控效率低下。

发明内容

本发明实施例提供一种工厂的监控方法、装置及设备，以克服工厂作业过程中监控效率低下的问题。

第一方面，本发明实施例提供一种工厂的监控方法，包括：从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别；

若人脸识别通过，则从所述视频中提取第二图像帧，所述第二图像帧为所述第一图像帧之后的图像帧；

根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，若否，则控制报警装置发出报警。

在一种可能的设计中，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，包括：

若所述用户在所述第一图像帧中的第一位置在所述第一图像帧中的预设区域内，则提取所述用户在第一图像帧中的第一中心点，其中，所述预设区域是根据所述预设工作范围确定的；

提取所述用户在第二图像帧中的第二中心点，根据所述第一中心点和所述第二中心点，判断用户是否在所述工作区域内的预设工作范围内。

在一种可能的设计中，所述根据所述第一中心点和所述第二中心点，判断用户是否在所述工作区域内的预设工作范围内，包括：

根据所述第一中心点和所述预设区域的边界，获取各个边界方向对应的预设距离；

根据所述第二中心点相对所述第一中心点的偏移方向，确定所述第二中心点对应的目标边界方向并获取所述目标边界方向对应的目标预设距离；

判断所述第二中心点与所述第一中心点的距离是否小于所述目标预设距离，若是，则继续获取下一第二图像帧，直至得到大于任一边界方向对应的预设距离的目标距离；

根据所述目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在所述工作区域内的预设工作范围内。

在一种可能的设计中，所述根据所述目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，包括：

根据所述新获取的第二图像帧中的用户的第二中心点和所述第一中心点，若确定在预设时长内存在M个距离大于任一边界方向对应的预设距离，则判断所述用户不在所述工作区域内的预设工作范围内，所述M为整数。

在一种可能的设计中，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，包括：

若所述用户在所述第一图像帧中的第一位置不在预设区域内，则判断预设时长内是否存在N个目标第二图像帧，其中，所述用户在所述目标第二图像帧中的第二位置不在所述预设区域内；

若存在N个目标第二图像帧，则确定所述用户不在所述工作区域内的预设工作范围内，所述N为整数。

在一种可能的设计中，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，所述方法还包括：

对所述第二图像帧中的用户进行识别，判断所述用户是否背对所述摄像头；判断结果为所述用户正对所述摄像头。

在一种可能的设计中，所述从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别之前，所述方法还包括：

接收所述摄像头发送的视频信息，所述视频信息包括所述摄像头的标识和所述摄像头拍摄的视频；

获取所述摄像头的标识对应的识别信息，所述识别信息包括预存的人脸以及所述预设区域。

在一种可能的设计中，所述获取所述摄像头的标识对应的识别信息之前，还包括：

获取所述用户通过终端发送的注册信息，所述注册信息包括所述用户的人脸、所述用户的工作区域；

根据摄像头的位置，确定所述摄像头的标识对应的图像帧中的预设区域。

所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，还包括：

根据所述注册信息中所述用户的工作区域，确定所述工作区域中的标准用户数量；

判断所述第一图像帧中的用户数量是否与所述标准用户数量相同，判断结果为相同；

判断所述第二图像帧中的用户数量是否与所述第一图像帧中的用户数量相同，判断结果为相同。

第二方面，本发明实施例提供一种工厂的监控装置，包括：

获取模块，用于从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别；

提取模块，用于若人脸识别通过，则从所述视频中提取第二图像帧，所述第二图像帧为所述第一图像帧之后的图像帧；

判断模块，用于根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，若否，则控制报警装置发出报警。

在一种可能的设计中，所述判断模块具体用于与：

若所述用户在所述第一图像帧中的第一位置在所述第一图像帧中的预设区域内，则提取所述用户在第一图像帧中的第一中心点，其中，所述预设区域是根据所述预设工作范围确定的；

提取所述用户在第二图像帧中的第二中心点，根据所述第一中心点和所述第二中心点，判断用户是否在所述工作区域内的预设工作范围内。

在一种可能的设计中，所述判断模块具体用于：

根据所述第一中心点和所述预设区域的边界，获取各个边界方向对应的预设距离；

根据所述第二中心点相对所述第一中心点的偏移方向，确定所述第二中心点对应的目标边界方向并获取所述目标边界方向对应的目标预设距离；

判断所述第二中心点与所述第一中心点的距离是否小于所述目标预设距离，若是，则继续获取下一第二图像帧，直至得到大于任一边界方向对应的预设距离的目标距离；

根据所述目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在所述工作区域内的预设工作范围内。

在一种可能的设计中，所述判断模块具体用于：

根据所述新获取的第二图像帧中的用户的第二中心点和所述第一中心点，若确定在预设时长内存在M个距离大于任一边界方向对应的预设距离，则判断所述用户不在所述工作区域内的预设工作范围内，所述M为整数。

在一种可能的设计中，所述判断模块具体用于：

若所述用户在所述第一图像帧中的第一位置不在预设区域内，则判断预设时长内是否存在N个目标第二图像帧，其中，所述用户在所述目标第二图像帧中的第二位置不在所述预设区域内；

若存在N个目标第二图像帧，则确定所述用户不在所述工作区域内的预设工作范围内，所述N为整数。

在一种可能的设计中，所述判断模块还用于：

在根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，对所述第二图像帧中的用户进行识别，判断所述用户是否背对所述摄像头；判断结果为所述用户正对所述摄像头。

在一种可能的设计中，还包括：接收模块：

所述接收模块，用于在从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别之前，接收所述摄像头发送的视频信息，所述视频信息包括所述摄像头的标识和所述摄像头拍摄的视频；

获取所述摄像头的标识对应的识别信息，所述识别信息包括预存的人脸以及所述预设区域。

在一种可能的设计中，所述接收模块还用于：

在获取所述摄像头的标识对应的识别信息之前，获取所述用户通过终端发送的注册信息，所述注册信息包括所述用户的人脸、所述用户的工作区域；

根据摄像头的位置，确定所述摄像头的标识对应的图像帧中的预设区域。

在一种可能的设计中，所述判断模块还用于：

在根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，根据所述注册信息中所述用户的工作区域，确定所述工作区域中的标准用户数量；

判断所述第一图像帧中的用户数量是否与所述标准用户数量相同，判断结果为相同；

判断所述第二图像帧中的用户数量是否与所述第一图像帧中的用户数量相同，判断结果为相同。

第三方面，本发明实施例提供一种工厂的监控设备，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。

本发明实施例提供一种工厂的监控方法、装置及设备，该方法包括：从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别。若人脸识别通过，则从视频中提取第二图像帧，第二图像帧为第一图像帧之后的图像帧。根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内，若否，则控制报警装置发出报警。通过从摄像头拍摄的视频中获取第一图像帧以及第二图像帧，其次在根据第一图像帧和第二图像帧确定用户不在工作区域内的预设工作范围时，控制报警装置发出报警，从而避免了需要人工巡检才能实现监控，提升监控的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的工厂的监控方法的系统示意图；

图2为本发明实施例提供的工厂的监控方法的场景示意图；

图3为本发明实施例提供的工厂的监控方法的流程图一；

图4为本发明实施例提供的工厂的监控方法的流程图二；

图5为本发明实施例提供的工厂的监控方法的界面示意图一；

图6为本发明实施例提供的工厂的监控方法的界面示意图二；

图7为本发明实施例提供的工厂的监控方法的流程图三；

图8为本发明实施例提供的工厂的监控装置的结构示意图一；

图9为本发明实施例提供的工厂的监控装置的结构示意图二

图10为本发明实施例提供的工厂的监控设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的工厂的监控方法的系统示意图，如图1所示，包括：摄像头101、服务器102、报警装置103以及终端104。

在本实施例中，工厂内设置的多个工作区域中，每个工作区域都设置有摄像头，在一个工作区域内设置有至少一个摄像头101，此处对摄像头101的具体数量不做特别限制，其中摄像头101用于拍摄工作区域内的作业情况，并将拍摄的视频及相关的视频信息发送至服务器102，其中视频信息例如可以包括摄像头101的标识等。

进一步地，服务器102接收摄像头101发送的视频信息，并对视频信息进行解析，其次根据解析的结果判断当前摄像头101所拍摄的工作区域内的工人是否在作业范围内工作，若确定工人不在作业范围内工作，则控制报警装置103进行报警，从而实现对工人作业情况的自动监控。

具体的，报警装置103根据服务器103的控制指令进行报警，其中报警的方式例如可以为通过预设提示声音进行报警，还例如可以为通过灯光闪烁进行报警，还例如可以为在大屏幕上显示文字或图像进行报警灯，本实施例对报警装置103的具体设计及报警方式不做特别限制，只要能具备报警作用即可。

进一步地，终端104用于与服务器进行交互，具体的，终端104例如可以接收用户输入的注册信息，其中注册信息例如可以包括用户的人脸和用户的工作区域等，并将注册信息发送给服务器104，以供服务器来判断工人是否在作业范围内，其中终端104例如还可以接收服务器发送的报警情况统计结果等，从而方便的获取工人的作业情况，其中终端104还例如可以向服务器103摄像机控制指令，服务器102根据摄像机控制指令控制摄像机101调整角度、开启或关闭等，其中终端

在本实施例中，终端104可以是移动终端(Mobile Terminal)或移动用户设备等，上述终端可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信。其中，移动终端例如可以为移动电话(或称为“蜂窝”电话)或具有可移动性的计算机等，可移动性的计算机例如，便携式计算机、袖珍式计算机或手持式计算机等，此处对终端104不做特别限制。

基于上述介绍的系统，本发明实施例提供了一种工厂监控方法，下面首先结合图2对本发明实施例提供的工厂监控方法的应用场景进行说明，图2为本发明实施例提供的工厂的监控方法的场景示意图。

如图2所示，图2是按照工厂俯视图的角度进行说明的，在工厂20中设置有摄像头201以及摄像头202，其中摄像头201对应的工作区域为区域一203，摄像头202对应的工作区域为区域二204，则摄像头201拍摄区域一203的视频并将视频信息发送至服务器，摄像头202拍摄区域二204的视频并将视频信息发送至服务器

区域一203中设置有预设工作范围206，该预设工作范围206例如可以对应工作台等，预设工作范围206的划分可以根据需求进行设定，本实施例对此不做限定，以上仅为示例性的介绍，在一个工作区域内还例如可以设置有多个摄像头，本实施例对此不做限定。

基于上述介绍的系统和场景，下面结合图3对本发明实施例提供的工厂监控方法进行详细说明，图3为本发明实施例提供的工厂的监控方法的流程图一。

如图3所示，该方法包括：

S301、从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别。

在本实施例中，摄像头拍摄的视频中包含当前摄像头对应的工作区域的视频图像，正常情况下，对应的工作区域应该至少有一个用户在进行作业，具体的，按照图像帧的方式对摄像头拍摄的视频进行分析，其中一个图像帧即为视频中一个单幅图像画面。

具体的，首先获取第一图像帧，第一图像帧中至少包含工作区域的图像信息以及在该工作区域中作业的用户的图像信息，其次对第一图像帧进行分析，在第一图像帧中提取人脸进行人脸识别，其中人脸识别的具体实现方式可以根据需要进行设定，本发明实施例对人脸识别的实现方式不做限制。

可选地，第一图像帧中至少包含一个人脸，当第一图像帧中提取到的人脸多于一个时，则对多个人脸分别进行人脸识别，从而得到多个人脸识别信息。

S302、若人脸识别通过，则从视频中提取第二图像帧，第二图像帧为第一图像帧之后的图像帧。

进一步地，根据人脸识别的结果进行判断，若人脸识别通过，则确定第一图像帧中的人脸与该工作区域对应的预存的人脸相匹配，从而可以确保当前工作区域中用户的身份正确。

其次，从视频中提取第二图像帧，其中第二图像帧为第一图像帧之后的图像帧，具体的，例如可以按照预设周期提取第一图像帧之后的图像帧作为第二图像帧，还例如可以随机提取第一图像帧之后的图像帧作为第二图像帧。

可选地，在不同的时间点，第二图像帧可以不同，选择第二图像帧的具体实现方式可以根据需要进行选择，此处对其不做限制，只要是第一图像帧之后的图像帧都可以作为第二图像帧。

S303、根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内，若是，则执行S302，若否，则执行S404。

S304、控制报警装置发出报警。

其次，判断用户是否在工作区域内的预设工作范围内，其中预设工作范围例如可以为该工作区域中工作台的范围，还例如可以为预设大小对应的范围等，预设工作范围的选择可以根据需求进行设定。

若确定用户在预设工作范围内，则持续进行第二图像帧的提取以及判断用户是否在预设工作范围内。

若确定用户不在预设工作范围内，则控制报警装置发出警报，从而实现自动监控工人，其中发出警报的方式例如可以为声音警报，还例如可以为灯光警报灯，本实施例对此不进行特别限制。

具体的，根据第一图像帧和第二图像帧进行判断，例如可以通过第一图像帧中用户所在的位置与预设位置进行比较，从而判断用户是否在预设工作范围内，还例如可以通过第一图像帧中用户所在的位置与第二图像帧中用户所在的位置进行比较，判断两个图像帧中用户所在位置的距离是否超过预设距离，从而判断用户是否在预设工作范围内，其判断的具体方式可以根据实际进行设置，此处对此不做特别限定。

本发明实施例提供的工厂的监控方法，包括：从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别。若人脸识别通过，则从视频中提取第二图像帧，第二图像帧为第一图像帧之后的图像帧。根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内，若否，则控制报警装置发出报警。通过从摄像头拍摄的视频中获取第一图像帧以及第二图像帧，其次在根据第一图像帧和第二图像帧确定用户不在工作区域内的预设工作范围时，控制报警装置发出报警，从而避免了需要人工巡检才能实现监控，提升监控的效率。

在上述实施例的基础上，下面结合图4至图6对本发明实施例提供的工厂的监控方法进行进一步地详细介绍，图4为本发明实施例提供的工厂的监控方法的流程图二，图5为本发明实施例提供的工厂的监控方法的界面示意图一，图6为本发明实施例提供的工厂的监控方法的界面示意图二。

如图4所示，该方法包括：

S401、从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别。

S402、若人脸识别通过，则从视频中提取第二图像帧，第二图像帧为第一图像帧之后的图像帧。

具体的，S401、S402与S301、S302的实现方式类似，此处不再赘述。

S403、判断用户在第一图像帧中的第一位置是否在第一图像帧中的预设区域内，其中，预设区域是根据预设工作范围确定的，若是，则执行S404，若否，则执行S407。

具体的，第一图像帧中至少包含用户的图像信息，通过对第一图像帧进行分析，获取用户在第一图像帧中的第一位置，其中第一位置例如可以通过矩形的方式进行标定，还例如可以通过轮廓提取得到用户图像信息的关键点，以关键点在第一图像帧中的坐标标定第一位置，其中第一位置的标定方式可以根据需求进行设定，此处对此不做限制。

进一步地，根据第一位置判断用户是否在预设区域内，其中预设区域为第一图像帧中与实际工作区域的预设工作范围相对应的区域，例如预设工作范围为工作台的范围，则预设区域为第一图像帧中工作台的区域，预设区域例如可以通过矩形划分，还例如可以根据工作台的轮廓进行划分等。

其次，通过将第一图像帧中的预设区域与用户的第一位置进行比较，从而判断第一位置是否在预设区域内。

S404、提取用户在第一图像帧中的第一中心点。

若确定用户在第一图像帧中的第一位置在第一图像帧中的预设区域内，则可以确定在第一图像帧对应的时刻，用户在预设工作范围内，则再进一步根据第一图像帧和第二图像帧判断用户是否在预设工作范围内，

具体的，首先获取用户在第一图像帧中的第一中心点，下面结合图5进行详细介绍，如图5所示，第一图像帧50内至少包含一个用户501，在本实施例中，例如通过矩形的方式标底用户的第一位置，图中502即为用户的第一位置，根据矩形502即可获取用户在第一图像帧中的第一中心点503，其中第一中心点503为矩形502的中心点。

可选地，还例如可以通过轮廓识别的方式得到用户的轮廓，采用用户轮廓标定用户的第一位置，从而根据用户轮廓提取用户在第一图像帧中的第一中心点，其实现方式类似，此处不再赘述。

S405、提取用户在第二图像帧中的第二中心点，根据第一中心点和第二中心点，判断用户是否在工作区域内的预设工作范围内，若是，则执行S405，若否，则执行S406。

进一步地，提取用户在第二图像帧中的第二中心点，其提取方式与第一中心点类似，此处不再赘述。

其次，根据第一中心点和第二中心点判断用户是否在预设工作范围内，其判断的方式例如可以为判断第一中心点与第二中心点之间的距离是否超过预设距离，还例如可以为预设时长内第一中心点对应的第一位置与第二中心点对应的第二位置是否在预设区域内，从而确定用户是否在预设工作范围内，下面以一个具体的实现方式为例进行介绍，其余实现方式类似，此处不再赘述。

结合图6进行说明，图6中包括第二图像帧60，假设与第一图像帧的时刻相比，用户在第二图像帧对应的时刻移动至第二位置，第二位置与第一位置类似，此处不再进行详细说明，第二位置对应第二中心点602，图6中还标识有第一中心点601以及预设区域603。

首先根据第一中心点601与预设区域603的边界，获取各个边界方向对应的预设距离，此处以边界方向为上、下、左、右四个方向为例进行说明，其中边界方向例如还可以设置有左上、右上等，其实现方式类似。参见图6，第一中心点601与预设区域603的上、下、左、右四个边界方向对应的预设距离分别为S1、S2、S3、S4。

进一步地，根据第二中心点相对第一中心点的偏移方向，确定第二中心点对应的目标边界方向并获取目标边界方向对应的目标预设距离，具体的，在本示例中，第二中心点602在第一中心点601的右侧，则偏移方向为右，这表明第二图像帧与第一图像帧相比，用户进行了向右移动的动作。

其次，确定第二中心点602对应的目标边界方向即为“右”，则获取目标边界方向对应的目标预设距离，在本示例中，目标预设距离即为S4，进一步地，判断第二中心点602与第一中心点601的距离S0是否小于目标预设距离S4，若距离S0小于目标预设距离S4，则表明第二图像帧中用户的第二位置在预设区域内，对应的也就是说用户在预设工作范围内，即图6中所示意的情况，此时不进行报警，继续获取下一第二图像帧。

其中，获取的方式例如可以为不间断获取，还例如可以为按照预设周期获取，对获取的下一第二图像帧重复执行上述操作，直至得到大于任一边界方向对应的预设距离的目标距离，在得到目标距离时，表明当前第二图像帧中用户的第二位置不在预设范围内。

上述以偏移方向是向右为例进行了介绍，在实际作业中，用户的偏移方向可能是任何方向，此时可以以偏移方向为两个方向综合进行距离的计算，还例如可以通过设置边界方向为多个方向从而进行计算等，其实现方式类似，此处不再赘述。

可选地，用户有可能仅仅是因为特殊情况或者走动失误而偶尔不在预设工作范围内，则需要结合多次的距离判断结果来确定用户是否在预设工作范围内，具体的，若确定在预设时长内存在M个距离大于任一边界方向对应的预设距离，则表明在预设时长内，用户在图像帧中的位置有M次都超过了预设区域，则确定用户不在工作区域内的预设工作范围内，其中预设时长可以根据实际需求进行设定，此处不做限制，通过在预设时长内判断获取到目标距离的次数进行综合判断，从而避免了频繁报警。

S406、控制报警装置发出报警。

若确定用户不在工作区域的预设工作范围内，则控制报警装置发出报警，其中报警的方式在上述实施例中已经进行了介绍，此处不再赘述。

S407、判断预设时长内是否存在N个目标第二图像帧，其中，用户在目标第二图像帧中的第二位置不在预设区域内，若是，则执行S408，若否，则执行S407。

具体的，若确定用户在第一图像帧中的第一位置不在第一图像帧中的预设区域内，则表明在第一图像帧对应的时刻，用户不在预设工作范围，同样为了避免误检测，则继续提取第二图像帧，判断在预设时长内是否存在N个目标第二图像帧，其中目标第二图像帧为用户不在预设区域内的图像帧，其中N为整数。

若在预设时长内不存在N个目标第二图像帧，则可以确定预设时长内用户在预设工作范围内，进一步地，持续进行检测再判断。

S408、确定用户不在工作区域内的预设工作范围内，执行S406。

若确定预设时长内存在存在N个目标第二图像帧，则可以确定在预设时长内用户有N次都不在预设工作范围内，从而确定用户不在工作区域内的预设工作范围内。

本发明实施例提供的工厂的监控方法，包括：从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别。若人脸识别通过，则从视频中提取第二图像帧。判断用户在第一图像帧中的第一位置是否在第一图像帧中的预设区域内，若是，则提取用户在第一图像帧中的第一中心点。提取用户在第二图像帧中的第二中心点，根据第一中心点和第二中心点，判断用户是否在工作区域内的预设工作范围内，若否，则控制报警装置发出报警。通过根据第一图像帧对应的第一中心点与预设区域的边界计算各个边界方向对应的预设距离，其次通过第二中心点与第一中心点的距离与预设距离进行比较，从而确定用户是否在预设工作范围内，从而能够精确的实现对用户的监督，提升准确性，其次通过设置预设时长，判断在预设时长内用户不在预设工作范围的次数再确定用户是否在预设工作范围内，从而避免了频繁报警导致的体验下降。

若判断用户在第一图像帧中的第一位置不在第一图像帧中的预设区域内，判断预设时长内是否存在N个目标第二图像帧，其中，用户在目标第二图像帧中的第二位置不在预设区域内，若是，则确定用户不在工作区域内的预设工作范围内，控制报警装置发出报警。在用户在第一图像帧中的第一位置不在预设区域内时，根据预设时长与第二图像帧综合确定用户是否预设工作范围内，从而避免了误检测和频繁报警，提升监控的准确性。

在上述实施例的基础上，本发明实施例提供的工厂的监控方法，在根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内之前，还包括：

对第二图像帧中的用户进行识别，判断用户是否背对摄像头；判断结果为用户正对摄像头。

具体的，对第二图像帧中进行分析从而提取第二图像帧中用户的图像，其次再对用户的图像进行识别，判断用户是否背对摄像头，在判断结果为用户背对摄像头时，此时用户可能没有进行正常作业，则可以通过声音或灯光的方式提醒用户正对摄像头。

其次，若判断结果为用户正对摄像头，则根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内。

可选地，若在预设时长内的判断结果均为用户在预设工作范围内，或者获取的第二图像帧的数量超过预设数量，而判断结果均为用户在预设工作范围内，则可以重新获取第一图像帧，再次进行人脸识别，从而避免出现在第一次人脸识别通过之后用户找人替代的情况出现，进一步提升监控的准确性和有效性。

本实施例提供的工厂监控方法，通过对第二图像帧中的用户进行识别，判断用户是否背对摄像头，从而提升监控的有效性，避免出现用户消极怠工的情况。

在上述实施例的基础上，本发明实施例提供的工厂监控方法，在从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别之前，该方法还包括接收摄像头的视频信息以及获取用户的注册信息等，下面结合图7进行进一步地详细说明，图7为本发明实施例提供的工厂的监控方法的流程图三。

如图7所示，该方法包括：

S701、接收摄像头发送的视频信息，视频信息包括摄像头的标识和摄像头拍摄的视频。

在本实施例中，工厂安装有多个摄像头，其中一个工作区域至少安装有一个摄像头，每个摄像头有自身对应的标识，服务器接收摄像头发送的包括摄像头的标识和摄像头拍摄的视频的视频信息，其中视频信息例如还可以包含拍摄视频的时间戳等，此处对此不做限制。

S702、获取用户通过终端发送的注册信息，注册信息包括用户的人脸、用户的工作区域。

进一步地，服务器获取用户通过终端发送的注册信息，其中注册信息包括用户的人脸以及用户的工作区域，其中注册信息还例如可以包含用户的工作时间等，此处对此不做限制。

服务器可以根据用户的注册信息确定该用户的工作时间以及工作区域，例如可以确定某用户3点至6点在区域1工作，从而在后续判断用户是否在预设工作范围时，可以根据多个信息确定用户身份的正确性。

可选地，判断时间戳是否在工作时间内，当确定时间戳在工作时间内，再提取第二图像帧，从而避免出现用户找人代替自己的情况，提高监控的多样性。

S703、根据摄像头的位置，确定摄像头的标识对应的图像帧中的预设区域。

在本实施例中，每个摄像头对应各自的工作区域，根据摄像头的位置所对应的工作区域的预设工作范围，确定摄像头的标识对应的图像帧中的预设区域，其中预设区域与预设工作范围相对应。

S704、获取摄像头的标识对应的识别信息，识别信息包括预存的人脸以及预设区域。

进一步地，获取摄像头的标识对应的预存的人脸以及预设区域，其次再根据预存的人脸进行人脸识别，以及根据预设区域、第一图像帧和第二图像帧判断用户是否在预设工作范围内。

本发明实施例提供的工厂的监控方法，包括：接收摄像头发送的视频信息，视频信息包括摄像头的标识和摄像头拍摄的视频。获取用户通过终端发送的注册信息，注册信息包括用户的人脸、用户的工作区域。根据摄像头的位置，确定摄像头的标识对应的图像帧中的预设区域。获取摄像头的标识对应的识别信息，识别信息包括预存的人脸以及预设区域。通过根据摄像头的发送的视频信息以及用户的注册信息，能够获取预存的人脸以及摄像头拍摄的视频，从而使得在判断用户是否在工作区域内的预设工作范围内时能够具有正确的判断依据，提升判断的准确性。

在上述实施例的基础上，本发明实施例提供的工厂的监控方法，在根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，还包括：

根据注册信息中用户的工作区域，确定工作区域中的标准用户数量。

判断第一图像帧中的用户数量是否与标准用户数量相同，判断结果为相同。

判断第二图像帧中的用户数量是否与第一图像帧中的用户数量相同，判断结果为相同。

例如在第一工作区域的标准用户数量为2，则表明正常情况下应该有两位用户在第一工作区域进行作业，其次判断第一图像帧中的用户数量是否与标准用户数量相同。

若判断结果为不同，则表明当前有用户不在预设工作范围，或者有其余的用户在该预设工作范围，则可能出现的是用户离开工位或者有人在该工位闲聊的情况，对于第二图像帧执行同样的判断，当判断结果为相同时，则可以确定当前的工作区域人员正常，此时再进行后续的判断，从而提升的监控的效率。

图8为本发明实施例提供的工厂的监控装置的结构示意图一。如图8所示，该装置80包括：获取模块801、提取模块802以及判断模块803。

获取模块801，用于从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别；

提取模块802，用于若人脸识别通过，则从视频中提取第二图像帧，第二图像帧为第一图像帧之后的图像帧；

判断模块803，用于根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内，若否，则控制报警装置发出报警。

可选地，判断模块803具体用于与：

若用户在第一图像帧中的第一位置在第一图像帧中的预设区域内，则提取用户在第一图像帧中的第一中心点，其中，预设区域是根据预设工作范围确定的；

提取用户在第二图像帧中的第二中心点，根据第一中心点和第二中心点，判断用户是否在工作区域内的预设工作范围内。

可选地，判断模块803具体用于：

根据第一中心点和预设区域的边界，获取各个边界方向对应的预设距离；

根据第二中心点相对第一中心点的偏移方向，确定第二中心点对应的目标边界方向并获取目标边界方向对应的目标预设距离；

判断第二中心点与第一中心点的距离是否小于目标预设距离，若是，则继续获取下一第二图像帧，直至得到大于任一边界方向对应的预设距离的目标距离；

根据目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在工作区域内的预设工作范围内。

可选地，判断模块803具体用于：

根据新获取的第二图像帧中的用户的第二中心点和第一中心点，若确定在预设时长内存在M个距离大于任一边界方向对应的预设距离，则判断用户不在工作区域内的预设工作范围内，M为整数。

可选地，判断模块803具体用于：

若用户在第一图像帧中的第一位置不在预设区域内，则判断预设时长内是否存在N个目标第二图像帧，其中，用户在目标第二图像帧中的第二位置不在预设区域内；

若存在N个目标第二图像帧，则确定用户不在工作区域内的预设工作范围内，N为整数。

可选地，判断模块803还用于：

在根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内之前，对第二图像帧中的用户进行识别，判断用户是否背对摄像头；判断结果为用户正对摄像头。

本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图9为本发明实施例提供的工厂的监控装置的结构示意图二。如图9所示，本实施例在图8实施例的基础上，还包括：接收模块904。

可选地，接收模块904，用于在从摄像头拍摄的视频中获取第一图像帧，在第一图像帧中提取人脸进行人脸识别之前，接收摄像头发送的视频信息，视频信息包括摄像头的标识和摄像头拍摄的视频；

获取摄像头的标识对应的识别信息，识别信息包括预存的人脸以及预设区域。

可选地，接收模块904还用于：

在获取摄像头的标识对应的识别信息之前，获取用户通过终端发送的注册信息，注册信息包括用户的人脸、用户的工作区域；

根据摄像头的位置，确定摄像头的标识对应的图像帧中的预设区域。

可选地，判断模块903还用于：

在根据第一图像帧和第二图像帧，判断用户是否在工作区域内的预设工作范围内之前，根据注册信息中用户的工作区域，确定工作区域中的标准用户数量；

判断第一图像帧中的用户数量是否与标准用户数量相同，判断结果为相同；

判断第二图像帧中的用户数量是否与第一图像帧中的用户数量相同，判断结果为相同。

本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图10为本发明实施例提供的工厂的监控设备的硬件结构示意图，如图10所示，本实施例的服务器100包括：处理器1001以及存储器1002；其中

存储器1002，用于存储计算机执行指令；

处理器1001，用于执行存储器存储的计算机执行指令，以实现上述实施例中工厂的监控方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器1002既可以是独立的，也可以跟处理器1001集成在一起。

当存储器102独立设置时，该工厂的监控设备还包括总线1003，用于连接存储器1002和处理器1001。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上工厂的监控设备所执行的工厂的监控方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

在上述电子设备或者主控设备的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种工厂的监控方法，其特征在于，所述工厂内设置有多个工作区域，每个所述工作区域内设置有摄像头，所述方法包括：

从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别；

若人脸识别通过，则从所述视频中提取第二图像帧，所述第二图像帧为所述第一图像帧之后的图像帧；

根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，若否，则控制报警装置发出报警。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，包括：

若所述用户在所述第一图像帧中的第一位置在所述第一图像帧中的预设区域内，则提取所述用户在第一图像帧中的第一中心点，其中，所述预设区域是根据所述预设工作范围确定的；

提取所述用户在第二图像帧中的第二中心点，根据所述第一中心点和所述第二中心点，判断用户是否在所述工作区域内的预设工作范围内。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一中心点和所述第二中心点，判断用户是否在所述工作区域内的预设工作范围内，包括：

根据所述第一中心点和所述预设区域的边界，获取各个边界方向对应的预设距离；

根据所述第二中心点相对所述第一中心点的偏移方向，确定所述第二中心点对应的目标边界方向并获取所述目标边界方向对应的目标预设距离；

判断所述第二中心点与所述第一中心点的距离是否小于所述目标预设距离，若是，则继续获取下一第二图像帧，直至得到大于任一边界方向对应的预设距离的目标距离；

根据所述目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在所述工作区域内的预设工作范围内。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，包括：

根据所述新获取的第二图像帧中的用户的第二中心点和所述第一中心点，若确定在预设时长内存在M个距离大于任一边界方向对应的预设距离，则判断所述用户不在所述工作区域内的预设工作范围内，所述M为整数。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，包括：

若所述用户在所述第一图像帧中的第一位置不在预设区域内，则判断预设时长内是否存在N个目标第二图像帧，其中，所述用户在所述目标第二图像帧中的第二位置不在所述预设区域内；

若存在N个目标第二图像帧，则确定所述用户不在所述工作区域内的预设工作范围内，所述N为整数。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，所述方法还包括：

对所述第二图像帧中的用户进行识别，判断所述用户是否背对所述摄像头；判断结果为所述用户正对所述摄像头。

7.根据权利要求2所述的方法，其特征在于，所述从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别之前，所述方法还包括：

接收所述摄像头发送的视频信息，所述视频信息包括所述摄像头的标识和所述摄像头拍摄的视频；

获取所述摄像头的标识对应的识别信息，所述识别信息包括预存的人脸以及所述预设区域。

8.根据权利要求7所述的方法，其特征在于，所述获取所述摄像头的标识对应的识别信息之前，还包括：

获取所述用户通过终端发送的注册信息，所述注册信息包括所述用户的人脸、所述用户的工作区域；

根据摄像头的位置，确定所述摄像头的标识对应的图像帧中的预设区域。

9.根据权利要求8所述的方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，还包括：

根据所述注册信息中所述用户的工作区域，确定所述工作区域中的标准用户数量；

判断所述第一图像帧中的用户数量是否与所述标准用户数量相同，判断结果为相同；

判断所述第二图像帧中的用户数量是否与所述第一图像帧中的用户数量相同，判断结果为相同。

10.一种工厂的监控装置，其特征在于，所述工厂内设置有多个工作区域，每个所述工作区域内设置有摄像头，所述装置包括：

获取模块，用于从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别；

提取模块，用于若人脸识别通过，则从所述视频中提取第二图像帧，所述第二图像帧为所述第一图像帧之后的图像帧；

判断模块，用于根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内，若否，则控制报警装置发出报警。

11.根据权利要求10所述的装置，其特征在于，所述判断模块具体用于与：

若所述用户在所述第一图像帧中的第一位置在所述第一图像帧中的预设区域内，则提取所述用户在第一图像帧中的第一中心点，其中，所述预设区域是根据所述预设工作范围确定的；

提取所述用户在第二图像帧中的第二中心点，根据所述第一中心点和所述第二中心点，判断用户是否在所述工作区域内的预设工作范围内。

12.根据权利要求11所述的装置，其特征在于，所述判断模块具体用于：

根据所述第一中心点和所述预设区域的边界，获取各个边界方向对应的预设距离；

根据所述第二中心点相对所述第一中心点的偏移方向，确定所述第二中心点对应的目标边界方向并获取所述目标边界方向对应的目标预设距离；

判断所述第二中心点与所述第一中心点的距离是否小于所述目标预设距离，若是，则继续获取下一第二图像帧，直至得到大于任一边界方向对应的预设距离的目标距离；

根据所述目标距离对应的第二图像帧之后新获取的第二图像帧，判断用户是否在所述工作区域内的预设工作范围内。

13.根据权利要求12所述的装置，其特征在于，所述判断模块具体用于：

根据所述新获取的第二图像帧中的用户的第二中心点和所述第一中心点，若确定在预设时长内存在M个距离大于任一边界方向对应的预设距离，则判断所述用户不在所述工作区域内的预设工作范围内，所述M为整数。

14.根据权利要求11所述的装置，其特征在于，所述判断模块具体用于：

若所述用户在所述第一图像帧中的第一位置不在预设区域内，则判断预设时长内是否存在N个目标第二图像帧，其中，所述用户在所述目标第二图像帧中的第二位置不在所述预设区域内；

若存在N个目标第二图像帧，则确定所述用户不在所述工作区域内的预设工作范围内，所述N为整数。

15.根据权利要求10所述的装置，其特征在于，所述判断模块还用于：

在根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，对所述第二图像帧中的用户进行识别，判断所述用户是否背对所述摄像头；判断结果为所述用户正对所述摄像头。

16.根据权利要求11所述的装置，其特征在于，还包括：接收模块：

所述接收模块，用于在从所述摄像头拍摄的视频中获取第一图像帧，在所述第一图像帧中提取人脸进行人脸识别之前，接收所述摄像头发送的视频信息，所述视频信息包括所述摄像头的标识和所述摄像头拍摄的视频；

获取所述摄像头的标识对应的识别信息，所述识别信息包括预存的人脸以及所述预设区域。

17.根据权利要求16所述的装置，其特征在于，所述接收模块还用于：

在获取所述摄像头的标识对应的识别信息之前，获取所述用户通过终端发送的注册信息，所述注册信息包括所述用户的人脸、所述用户的工作区域；

根据摄像头的位置，确定所述摄像头的标识对应的图像帧中的预设区域。

18.根据权利要求17所述的装置，其特征在于，所述判断模块还用于：

在根据所述第一图像帧和所述第二图像帧，判断用户是否在所述工作区域内的预设工作范围内之前，根据所述注册信息中所述用户的工作区域，确定所述工作区域中的标准用户数量；

判断所述第一图像帧中的用户数量是否与所述标准用户数量相同，判断结果为相同；

判断所述第二图像帧中的用户数量是否与所述第一图像帧中的用户数量相同，判断结果为相同。

19.一种工厂的监控设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1至9中任一所述的方法。

20.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至9中任一所述的方法。