CN115116008B - 目标物品的状态识别方法、设备及存储介质 - Google Patents

Abstract

本申请公开目标物品的状态识别方法、设备及存储介质，属于图像处理技术领域，该方法包括：对针对监控区域采集的监控视频进行人员检测；响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态；其中，所述目标状态为所述至少两种物品状态中的指定目标状态。从而在进行目标物品的状态识别时，通过结合目标人员监测的方式，根据监控区域中目标人员的状态实时进行目标物品的状态监测，有效避免了不必要的目标物品的状态分析处理，以及在工作人员存在的情况下，直接检测识别目标造成的误报的问题，更加智能化。

Description

目标物品的状态识别方法、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种目标物品的状态识别方法、设备及存储介质。

背景技术

在电力能源、石油化工、轨道交通、生产车间等领域的场所内，经常需要对设备等目标进行管控，例如，一般采用给设备等目标上锁的方式来进行管控处理。然而，目前经常存在因为工作人员疏忽等原因，导致工作人员在工作结束后未对相应设备完成上锁，产生安全隐患。

综上，亟需一种高效且便捷的锁状态识别方法。

发明内容

本申请实施例提供一种目标物品的状态识别方法、设备及存储介质，用以高效、便捷的实现目标物品的状态识别。

第一方面，本申请实施例提供一种目标物品的状态识别方法，包括：

对针对监控区域采集的监控视频进行人员检测；

响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态；

其中，所述目标状态为所述至少两种物品状态中的指定目标状态。

在一些实施例中，所述响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域之前，还包括：

对所述人员检测确定出的各个人员进行权限识别；

将所述各个人员中具有目标权限的人员确定为所述目标人员，所述目标权限表征对所述目标物品进行操作的权限；

基于所述监控视频确定所述目标人员是否离开所述监控区域。

在一些实施例中，所述对所述人员检测确定出的各个人员进行权限识别，包括：

确定检测出的各个人员各自对应的人员标识信息；

根据所述人员标识信息确定所述各个人员是否具有所述目标权限。

在一些实施例中，所述人员标识信息可以包括编号，行为姿态等，在此并不进行限定。

在一些实施例中，所述根据所述人员标识信息确定所述各个人员是否具有所述目标权限，包括：

确定所述各个人员中，所述目标权限关联的人员标识信息集合中包含的人员标识信息对应的人员具有所述目标权限；

其中，所述目标权限关联的人员标识信息集合中包含的每个人员标识信息对应的人员具有所述目标权限。

在一些实施例中，所述人员标识信息包括人脸图像，所述确定检测出的各个人员各自对应的人员标识信息，包括：

从所述监控视频中确定出所述各个人员各自对应的人脸图像；

所述根据所述人员标识信息确定所述各个人员是否具有所述目标权限，包括：

将确定出的各个人脸图像输入人脸权限识别模型，得到所述各个人脸图像各自对应的人员是否具有所述目标权限。

在一些实施例中，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；所述对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态，包括：

对所述监控区域包含的第一物品进行状态识别；

响应于所述第一物品设置为所述目标状态，对所述监控区域对应的第二物品进行状态识别，确定所述第二目标物品是否设置为所述目标状态。

在一些实施例中，所述方法还包括：

响应于所述第一物品未设置为所述目标状态，输出异常提示。

在一些实施例中，所述目标状态表征所述目标物品在所述监控区域为合规状态，所述方法还包括：

响应于所述第二物品为所述目标状态，输出正常提示；或

响应于所述第二物品为非所述目标状态，输出异常提示。

在一些实施例中，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；所述对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态，包括：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频检测到所述第二物品的结果，提取所述第二物品的图像；

将所述第二物品的图像输入目标物品状态识别模型，得到所述第二物品的状态识别的结果。

在一些实施例中，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；所述对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态，包括：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频未检测到所述第二物品的结果，确定所述第二物品未设置为所述目标状态。

在一些实施例中，当所述监控区域中所述目标人员的数量为多个时，所述方法还包括：

基于所述监控视频确定所述监控区域中包括的所有目标人员都离开所述监控区域，对所述监控视频中包含的至少一个目标物品进行状态识别。

在一些实施例中，当所述监控区域中所述目标人员的数量为多个时，所述方法还包括：

基于所述监控视频确定所述监控区域中包括的所有目标人员中的第一目标人员离开所述监控区域，根据目标人员与目标物品的对应关系，对所述监控视频中所述第一目标人员对应的目标物品进行状态识别。

第二方面，本申请实施例提供一种目标物品的状态识别装置，包括：

监测模块，用于对针对监控区域采集的监控视频进行人员检测；

处理模块，用于响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态；

其中，所述目标状态为所述至少两种物品状态中的指定目标状态。

在一些实施例中，所述处理模块还用于：

对所述人员检测确定出的各个人员进行权限识别；

将所述各个人员中具有目标权限的人员确定为所述目标人员，所述目标权限表征对所述目标物品进行操作的权限；

基于所述监控视频确定所述目标人员是否离开所述监控区域。

在一些实施例中，所述处理模块还用于：

确定检测出的各个人员各自对应的人员标识信息；

根据所述人员标识信息确定所述各个人员是否具有所述目标权限。

在一些实施例中，所述处理模块还用于：

确定所述各个人员中，所述目标权限关联的人员标识信息集合中包含的人员标识信息对应的人员具有所述目标权限；

其中，所述目标权限关联的人员标识信息集合中包含的每个人员标识信息对应的人员具有所述目标权限。

在一些实施例中，所述处理模块还用于：

从所述监控视频中确定出所述各个人员各自对应的人脸图像；

所述根据所述人员标识信息确定所述各个人员是否具有所述目标权限，包括：

将确定出的各个人脸图像输入人脸权限识别模型，得到所述各个人脸图像各自对应的人员是否具有所述目标权限。

在一些实施例中，所述处理模块还用于：

对所述监控区域包含的第一物品进行状态识别；

响应于所述第一物品设置为所述目标状态，对所述监控区域对应的第二物品进行状态识别，确定所述第二目标物品是否设置为所述目标状态。

在一些实施例中，所述处理模块还用于：

响应于所述第一物品未设置为所述目标状态，输出异常提示。

在一些实施例中，所述处理模块还用于：

响应于所述第二物品为所述目标状态，输出正常提示；或

响应于所述第二物品为非所述目标状态，输出异常提示。

在一些实施例中，所述处理模块还用于：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频检测到所述第二物品的结果，提取所述第二物品的图像；

将所述第二物品的图像输入目标物品状态识别模型，得到所述第二物品的状态识别的结果。

在一些实施例中，所述处理模块还用于：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频未检测到所述第二物品的结果，确定所述第二物品未设置为所述目标状态。

在一些实施例中，所述处理模块还用于：

基于所述监控视频确定所述监控区域中包括的所有目标人员都离开所述监控区域，对所述监控视频中包含的至少一个目标物品进行状态识别。

在一些实施例中，所述处理模块还用于：

基于所述监控视频确定所述监控区域中包括的所有目标人员中的第一目标人员离开所述监控区域，根据目标人员与目标物品的对应关系，对所述监控视频中所述第一目标人员对应的目标物品进行状态识别。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述目标物品的状态识别方法。

第四方面，本申请实施例提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述目标物品的状态识别方法。

本申请实施例中，在进行目标物品的状态识别时，通过结合目标人员监测的方式，根据监控区域中目标人员的状态实时进行目标物品的状态监测，有效避免了不必要的目标物品的状态分析处理，以及在工作人员存在的情况下，直接检测识别目标物品造成的误报的问题，更加智能化。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种锁状态识别系统架构示意图；

图2为本申请实施例提供的一种锁状态识别的方法流程示意图；

图3为本申请实施例提供的第一种采集到的监控图像示意图；

图4为本申请实施例提供的第二种采集到的监控图像示意图；

图5为本申请实施例提供的一种提取到的锁图像示意图；

图6为本申请实施例提供的一种锁状态识别步骤示意图；

图7为本申请实施例提供的一种锁状态识别结构示意图；

图8为本申请实施例提供的另一种锁状态识别的硬件结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。另外，本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。

在电力能源、石油化工、轨道交通、生产车间等领域的场所内，经常需要对设备等目标进行管控，例如，一般采用给设备等目标上锁的方式来进行管控处理。然而，经常存在因为工作人员疏忽等原因，导致工作人员在工作结束后未对相应设备完成上锁，产生安全隐患。其中，目前相关技术中，提供的锁状态识别方法经常存在识别准备率较低，误报的情况。

基于上述问题，本申请实施例提供了一种锁状态识别方法和设备。该锁状态识别方法可以应用于终端，例如，计算机；也可应用于服务器等，在此并不进行限定。

本申请实施例中，在进行锁状态识别时，通过结合目标人物监测的方式，例如，利用深度学习的方法，对监控区域进行目标人物检测，以及结合目标人物监测的状态实时进行锁状态监测，有效避免了不必要的锁状态分析处理，以及在工作人员存在的情况下，直接检测识别锁造成的误报的问题，更加智能化。

请参考图1，为本申请实施例提供的锁状态识别系统架构示意图。该系统架构包括逻辑处理模块100、目标检测模块110以及目标识别模块120。逻辑处理模块100与目标检测模块110以及目标识别模块120之间可以相互通信。其中，各个设备之间的通信方式可以是有线通信方式，例如通过连接网线或串口线进行通信；也可以是无线通信方式，例如通过蓝牙或无线保真（wireless fidelity，WIFI）等技术进行通信，具体不做限制。

其中，所述逻辑处理模块100，用于实现系统的输入以及输出。

示例性的，所述逻辑处理模块100可以用于获取监控视频，以及将获取到的监控视频输入相应的处理模型进行处理。

作为一种示例，本申请实施例中提供采集设备，可以对监控区域进行视频采集，也可以对监控区域进行图像采集。其中，所述采集设备可以基于采集到的监控视频获取监控图像，也可以直接对监控区域进行图像采集，在此并不进行限定。

所述目标检测模块110，用于根据输入的监控视频进行目标检测，例如，根据输入的监控视频进行目标人员的检测，以及目标物品的检测等，在此并不进行限定。

其中，本申请实施例输入目标检测模块的待检测数据可以是视频数据，也可以是图像数据，即本申请实施例提供的检测模型具有图像检测功能和/或视频检测功能，为方便进行描述，下述输入检测模型的数据以视频数据为例。

作为一种示例，本申请实施例中所述目标检测模块110可以包括多个检测模型，具体并不限于下述几种：

检测模型1：人员检测模型。

本申请实施例中所述人员检测模型可以用于根据输入的监控视频来识别监控区域中是否存在人。

其中，本申请实施例中所述人员检测模型的神经网络结构在此并不进行限定，例如，可以是YoloV4等检测网络。其中，本申请实施例中在对所述人员检测模型进行训练时，用于进行训练的数据可以为公开数据中带人的数据，或者采集的素材，然后将人作为目标进行训练，从而得到人检测模型。

检测模型2：人脸检测模型。

本申请实施例中所述人脸检测模型可以用于在识别到监控区域存在人后，根据输入的监控视频来识别监控区域中的人脸，从而进一步确定所述监控区域中存在的人员是否包括目标人员，其中，所述目标人员为具有针对所述目标物品进行操作权限的人员。

其中，本申请实施例中所述人脸检测模型的神经网络结构在此并不进行限定，例如，可以是YoloV4等检测网络。其中，本申请实施例中在对所述人脸检测模型进行训练时，用于进行训练的数据可以为上述检测模型1用于训练的图像中人所在的区域，即抠出人区域的小图，然后将人脸作为目标进行训练，从而得到人脸检测模型。

检测模型3：目标物品检测模型。

本申请实施例中所述目标物品检测模型可以用于在识别到监控区域中的目标人员离开所述监控区域后，基于所述监控视频对所述监控区域对应的目标物品进行检测。

例如，本申请实施例提供的一种目标物品可以为电力系统的电箱锁，从而当确定所述目标人员离开所述监控区域后，对所述电箱锁进行检测。

进一步地，当本申请实施例中所述监控区域中的目标人员的数量为多个时，可以在确定所述监控区域中包括的所有目标人员都离开所述监控区域之后，在对所述监控区域中包含的目标物品进行检测。

进一步地，本申请实施例中所述目标物品的数量可以为一个或多个。

例如，本申请实施例提供的一种目标物品可以为电力系统的电箱锁，另一种目标物品可以为电力系统的电箱，从而当确定所述目标人员离开所述监控区域后，对所述电箱以及对所述电箱锁进行检测。

作为一种示例，所述目标物品检测模型可以根据监控区域与目标物品的对应关系，来确定需要进行检测的目标物品。进一步地，本申请实施例提供的目标物品还可以与目标人员存在对应关系，从而所述目标物品检测模型可以用于在识别到监控区域中的第一目标人员离开所述监控区域后，基于所述监控视频对所述第一目标人员对应的目标物品进行检测。

例如，本申请实施例检测到所述监控区域中所述目标人员的数量为两个，分别为目标人员1与目标人员2。其中，所述目标人员1对应所述监控区域中的目标物品1，所述目标人员2对应所述监控区域中的目标物品2。

当确定所述目标人员2离开所述监控区域后，对所述目标物品2进行检测。

其中，本申请实施例中所述目标物品检测模型的神经网络结构在此并不进行限定，例如，可以是YoloV4等检测网络。其中，本申请实施例中在对所述目标物品检测模型进行训练时，用于进行训练的数据可以为场景内目标物品的素材，然后将目标物品作为目标进行训练，从而得到目标物品检测模型。

作为一种实施例，上述几个检测模型还可以合成为一个检测模型，即合成后的检测模型具有上述三个检测模型的功能。

所述目标识别模块120，用于根据输入的监控视频进行目标识别，例如，根据输入的视频确定监控区域中的人员是否为目标人员，再例如，根据输入的视频确定监控区域中的目标物品的状态是否为目标状态等，在此并不进行限定。

作为一种示例，本申请实施例中所述目标识别模块120可以包括多个检测模型，具体并不限于下述几种：

识别模型1：人脸识别模型。

本申请实施例中所述人脸识别模型可以用于根据输入的人脸图像来识别监控区域中的人是否为目标人员。例如，根据输入的人脸图，判断该人脸是否在白名单里，若在，则确定为目标人员，若不在，则该人脸不是目标人员。

示例性的，所述人脸识别模型可以对上述人脸检测模型检测到的人脸进行关键点定位，例如，对上述人脸检测模型检测到的人脸进行校正、对齐，得到处理后的人脸图，然后对人脸图进行人脸特征提取，得到人脸特征向量，将人脸特征向量和已经存好的人脸库特征向量进行特征值比对，得到人脸识别结果，即是否是同一个人。

识别模型2：目标物品识别模型。

本申请实施例中所述目标物品识别模型可以用于根据输入的目标物品图像来识别监控区域中的目标物品的状态是否为目标状态。

其中，本申请实施例中所述目标物品识别模型的神经网络结构在此并不进行限定，例如，可以是单目标分类网络，也可以是其他分类网络如ResNet。例如，假设目标物品为锁，则可以视锁的数据而定，如果大部分只有锁闭合的数据，则选择单目标分类网络，如果锁的各种情况数据很均衡，则可以选择ResNet。

其中，本申请实施例中在对所述目标物品识别模型进行训练时，用于进行训练的数据可以为上述目标物品检测模型中目标物品所在的区域，即抠出目标物品区域的小图，然后将不同状态目标物品的小图作为不同类别进行训练，从而得到目标物品识别模型。

本申请实施例中所述目标物品识别模型可以基于检测到的目标物品的图像，对所述目标物品进行状态识别，来判断所述目标物品是否为目标状态。

例如，本申请实施例提供的一种目标物品可以为电力系统的电箱锁，所述电箱锁的目标状态为关闭状态，从而当确定所述目标人员离开所述监控区域后，对所述电箱锁的状态进行识别，来判断所述电箱锁是否为关闭的状态。

进一步地，当本申请实施例中所述监控区域中的目标人员的数量为多个时，可以在确定所述监控区域中包括的所有目标人员都离开所述监控区域之后，在对所述监控区域中包含的目标物品进行状态识别。

进一步地，本申请实施例中所述目标物品的数量可以为一个或多个。

例如，本申请实施例提供的一种目标物品可以为电力系统的电箱锁，另一种目标物品可以为电力系统的电箱，所述电箱锁的目标状态为关闭状态，所述电箱的目标状态也为关闭状态，从而当确定所述目标人员离开所述监控区域后，对所述电箱的状态进行识别，判断所述电箱是否为关闭状态，以及对所述电箱锁的状态进行识别，来判断所述电箱锁是否为关闭的状态。

可以理解的，若所述电箱锁与所述电箱对应时，当检测到所述电箱的目标状态为开启状态时，则可以直接确定所述电箱锁的状态为开启状态，从而减少检测分析流程与时间，节约系统开销。

作为一种示例，所述目标物品检测模型可以根据监控区域与目标物品的对应关系，来确定需要进行状态识别的目标物品的数量。进一步地，本申请实施例提供的目标物品还可以与目标人员存在对应关系，从而所述目标物品检测模型可以用于在识别到监控区域中的第一目标人员离开所述监控区域后，基于所述监控视频对所述第一目标人员对应的目标物品进行状态识别，来判断所述目标物品是否为目标状态。

例如，本申请实施例检测到所述监控区域中所述目标人员的数量为两个，分别为目标人员1与目标人员2。其中，所述目标人员1对应所述监控区域中的目标物品1，所述目标人员2对应所述监控区域中的目标物品2。

当确定所述目标人员2离开所述监控区域后，对所述目标物品2的状态进行识别，判断所述目标物品2的状态是否为目标状态。

如图2所示，本申请实施例提供一种目标物品状态识别方法，包括以下步骤：

步骤S201，对针对监控区域采集的监控视频进行人员检测。

作为一种示例，本申请实施例中的监控图像可以是通过监控区域中安置的摄像等采集装置获取的。

其中，本申请实施例中的采集装置可以实时获取所述监控区域的监控视频或图像，或者可以在接收到获取指示后对监控区域进行采集，或者可以每隔阈值周期触发对所述监控区域进行采集。

进一步地，本申请实施例中根据所述监控视频对所述监控区域进行人员检测时，可以将获取到的监控图像输入人员检测模型，若所述人员检测模型输出未检测到人员的结果，则继续对监控区域进行监控；若所述人员检测模型输出检测到人员的结果后，则确定所述监控区域中存在人员。

其中，为了有效避免不必要的目标物品检测分析以及降低误报率，本申请实施例在确定所述监控区域存在人之后，还可以进一步获取检测的人员的人脸图像，来确定所述监控区域中存在的人员是否包括目标人员。

例如，可以将获取到的人脸图像输入人脸识别模型，进行目标人员判断。其中，若所述人脸识别模型输出所述人脸图像为目标人员的人脸图像，则对所述目标人员进行持续监测，若所述人脸识别模型输出所述人脸图像不是目标人员的人脸图像，则继续对监控区域进行监控。

作为一种示例，本申请实施例中所述人脸识别模型可以通过将输入的人脸图像与白名单人脸图像列表进行比对的方式，确定所述人脸图像是否为目标人员的人脸图像。

其中，所述白名单人脸列表中每个人脸对应的人员都具有针对所述目标物品进行操作的权限。

其中，若所述人脸图像在所述白名单人脸图像列表中，则认为所述人脸图像为目标人员的人脸图像，若所述人脸图像不在所述白名单图像列表中，则认为所述人脸图像不是目标人员的人脸图像。

步骤S202，响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域对应的至少一个目标物品进行状态识别，确定进行状态识别的目标物品是否为目标状态。

其中，所述目标状态为所述至少两种物品状态中的指定目标状态，所述目标人员为具有针对所述目标物品进行操作权限的人员。

作为一种示例，本申请实施例若根据第一时刻获取到的监控图像确定所述监控区域存在目标人员，然后根据第二时刻获取到的监控图像确定所述监控区域不存在所述目标人员时，则可以理解为所述监控区域中的目标人员在执行完工作后离开，此时触发对所述监控区域中的目标物品的状态监测。其中，可以理解的，所述第一时刻要早于所述第二时刻，此外，为了更好的保障监测准确性以及实时性，所述第一时刻与所述第二时刻之间的间隔时长不超过第一阈值时长。

进一步地，本申请实施例在对所述监控区域中的目标物品进行监测时，可以将待识别图像输入目标物品检测模型进行检测，以此来判断所述监控区域中的所述目标物品是否存在。其中，所述待识别图像可以为所述第二时刻获取到的监控图像，也可以为所述第二时刻之后第二阈值时长内的监控图像。

进一步地，本申请实施例中在确定所述监控区域中的所述目标物品存在时，还可以从所述待识别图像中提取所述目标物品的图像，然后将所述目标物品的图像输入目标物品识别模型，以此来判断所述监控区域中所述目标物品的状态是否设置为目标状态。

示例性的，假设目标物品为锁，例如，假设获取到的监控图像如图3所示。其中，将所述图3的监控图像输入所述目标物品检测模型，目标物品检测模型在进行目标物品检测时，输出的检测结果为未检测到锁，证明此时监控区域中不存在锁，因此，输出锁状态异常。

再例如，假设目标物品为锁，获取到的监控图像如图4所示。其中，将所述图4的监控图像输入所述目标物品检测模型，目标物品检测模型在进行目标物品检测时，输出的结果为检测到锁，然后，提取所述图4中的锁图片，得到图5，将所述图5输入目标物品识别模型进行锁状态识别，输出的锁状态为开启状态，则输出锁状态异常。反之，若上述目标物品检测模型在进行目标物品检测时，输出的检测结果为检测到锁，然后进一步通过目标物品识别模型进行锁状态识别后，输出的锁状态为关闭状态，则输出锁状态正常。

通过上述方法，有效实现了目标物品的状态的自动识别，此外，通过结合目标人员分析检测，能够有效减少监控区域中人出现时的干扰，如对目标进行了遮挡等，以及利用只有当专门相关人员出现后，才会引起目标物品状态的改变这一情况，解决了平常时刻直接检测识别目标物品会存在误报的问题。

下面，为了更好的对本申请实施例进行介绍，基于上述图2所述的步骤，以目标物品为锁为例，进一步对本申请提供的目标物品的状态识别方法进行详细介绍，具体流程可以参见下述图6所示：

步骤S601，输入获取到的监控视频。

步骤S602，根据所述监控视频进行人员检测。

步骤S603，确定检测出的各个人员各自对应的人员标识信息。

作为一种示例，所述人员标识信息可以为人员的人脸信息，姿态信息，以及编号信息等，在此并不进行限定。

步骤S604，对所述人员检测确定出的各个人员进行权限识别，将所述各个人员中具有目标权限的人员确定为所述目标人员。

步骤S605，响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，进行锁检测。

步骤S606，确定是否存在锁，若是，执行S607，若否，执行S608。

步骤S607，获取锁图像，进行锁识别，继续执行S609。

步骤S608，输出异常结果。

步骤S609，确定是否为开启状态，若是，执行S608，若否，执行S610。

步骤S610，输出正常结果。

基于相同的技术构思，本申请实施例还提供一种目标物品的状态识别装置，目标物品的状态识别装置解决问题的原理与上述目标物品的状态识别方法相似，因此目标物品的状态识别装置的实施可参见图像处理方法的实施，重复之处不再赘述。图7为本申请实施例提供的一种目标物品的状态识别装置的结构示意图，包括监测模块701、处理模块702。

监测模块701，用于对针对监控区域采集的监控视频进行人员检测；

处理模块702，用于响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态；

其中，所述目标状态为所述至少两种物品状态中的指定目标状态。

在一些实施例中，所述处理模块702还用于：

对所述人员检测确定出的各个人员进行权限识别；

将所述各个人员中具有目标权限的人员确定为所述目标人员，所述目标权限表征对所述目标物品进行操作的权限；

基于所述监控视频确定所述目标人员是否离开所述监控区域。

在一些实施例中，所述处理模块702还用于：

确定检测出的各个人员各自对应的人员标识信息；

根据所述人员标识信息确定所述各个人员是否具有所述目标权限。

在一些实施例中，所述处理模块702还用于：

确定所述各个人员中，所述目标权限关联的人员标识信息集合中包含的人员标识信息对应的人员具有所述目标权限；

其中，所述目标权限关联的人员标识信息集合中包含的每个人员标识信息对应的人员具有所述目标权限。

在一些实施例中，所述处理模块702还用于：

从所述监控视频中确定出所述各个人员各自对应的人脸图像；

所述根据所述人员标识信息确定所述各个人员是否具有所述目标权限，包括：

将确定出的各个人脸图像输入人脸权限识别模型，得到所述各个人脸图像各自对应的人员是否具有所述目标权限。

在一些实施例中，所述处理模块702还用于：

对所述监控区域包含的第一物品进行状态识别；

响应于所述第一物品设置为所述目标状态，对所述监控区域对应的第二物品进行状态识别，确定所述第二目标物品是否设置为所述目标状态。

在一些实施例中，所述处理模块702还用于：

响应于所述第一物品未设置为所述目标状态，输出异常提示。

在一些实施例中，所述处理模块702还用于：

响应于所述第二物品为所述目标状态，输出正常提示；或

响应于所述第二物品为非所述目标状态，输出异常提示。

在一些实施例中，所述处理模块702还用于：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频检测到所述第二物品的结果，提取所述第二物品的图像；

将所述第二物品的图像输入目标物品状态识别模型，得到所述第二物品的状态识别的结果。

在一些实施例中，所述处理模块702还用于：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频未检测到所述第二物品的结果，确定所述第二物品未设置为所述目标状态。

在一些实施例中，所述处理模块702还用于：

基于所述监控视频确定所述监控区域中包括的所有目标人员都离开所述监控区域，对所述监控视频中包含的至少一个目标物品进行状态识别。

在一些实施例中，所述处理模块702还用于：

基于所述监控视频确定所述监控区域中包括的所有目标人员中的第一目标人员离开所述监控区域，根据目标人员与目标物品的对应关系，对所述监控视频中所述第一目标人员对应的目标物品进行状态识别。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

在介绍了本申请示例性实施方式的对比学习方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的方法。

下面参照图8来描述根据本申请的这种实施方式实现的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用电子设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理器811、上述至少一个存储器812、连接不同系统组件（包括存储器812和处理器111）的总线813。

总线813表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器812可以包括易失性存储器形式的可读介质，例如随机存取存储器（RAM）821和/或高速缓存存储器822，还可以进一步包括只读存储器（ROM）823。

存储器812还可以包括具有一组（至少一个）程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备800也可以与一个或多个外部设备814（例如键盘、指向设备等）通信，还可与一个或者多个使得用户能与电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它电子设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口815进行。并且，电子设备800还可以通过网络适配器816与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器816通过总线813与用于电子设备800的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器812，上述指令可由处理器811执行以完成上述对比学习方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本申请提供的任一示例性方法。

并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、闪存、光纤、光盘只读存储器（Compact Disk Read Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例中用于图像处理的方法的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频（Radio Frequency，RF）等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网（Local AreaNetwork，LAN）或广域网（Wide Area Network，WAN）连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种目标物品的状态识别方法，其特征在于，所述目标物品可设置至少两种物品状态，包括：

对针对监控区域采集的监控视频进行人员检测；

响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态；

其中，所述目标状态为所述至少两种物品状态中的指定目标状态；

其中，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；所述对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态，包括：

对所述监控区域包含的第一物品进行状态识别；

响应于所述第一物品设置为所述目标状态，对所述监控区域对应的第二物品进行状态识别，确定所述第二物品是否设置为所述目标状态。

2.如权利要求1所述的方法，其特征在于，所述响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域之前，还包括：

对所述人员检测确定出的各个人员进行权限识别；

将所述各个人员中具有目标权限的人员确定为所述目标人员，所述目标权限表征对所述目标物品进行操作的权限；

基于所述监控视频确定所述目标人员是否离开所述监控区域。

3.如权利要求2所述的方法，其特征在于，所述对所述人员检测确定出的各个人员进行权限识别，包括：

确定检测出的各个人员各自对应的人员标识信息；

根据所述人员标识信息确定所述各个人员是否具有所述目标权限。

4.如权利要求3所述的方法，其特征在于，所述根据所述人员标识信息确定所述各个人员是否具有所述目标权限，包括：

确定所述各个人员中，所述目标权限关联的人员标识信息集合中包含的人员标识信息对应的人员具有所述目标权限；

其中，所述目标权限关联的人员标识信息集合中包含的每个人员标识信息对应的人员具有所述目标权限。

5.如权利要求3所述的方法，其特征在于，所述人员标识信息包括人脸图像，所述确定检测出的各个人员各自对应的人员标识信息，包括：

从所述监控视频中确定出所述各个人员各自对应的人脸图像；

所述根据所述人员标识信息确定所述各个人员是否具有所述目标权限，包括：

将确定出的各个人脸图像输入人脸权限识别模型，得到所述各个人脸图像各自对应的人员是否具有所述目标权限。

6.如权利要求1所述的方法，其特征在于，所述目标状态表征所述目标物品在所述监控区域为合规状态，所述方法还包括：

响应于所述第二物品为所述目标状态，输出正常提示；或

响应于所述第二物品为非所述目标状态，输出异常提示。

7.如权利要求1~5中任一项所述的方法，其特征在于，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；所述对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态，包括：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频检测到所述第二物品的结果，提取所述第二物品的图像；

将所述第二物品的图像输入目标物品状态识别模型，得到所述第二物品的状态识别的结果。

8.如权利要求1~5中任一项所述的方法，其特征在于，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；所述对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态，包括：

对所述监控区域包含的第二物品进行状态识别；

响应于基于所述监控视频未检测到所述第二物品的结果，确定所述第二物品未设置为所述目标状态。

9.如权利要求1~5中任一项所述的方法，其特征在于，当所述监控区域中所述目标人员的数量为多个时，所述方法还包括：

基于所述监控视频确定所述监控区域中包括的所有目标人员都离开所述监控区域，对所述监控视频中包含的至少一个目标物品进行状态识别。

10.如权利要求1~5中任一项所述的方法，其特征在于，当所述监控区域中所述目标人员的数量为多个时，所述方法还包括：

基于所述监控视频确定所述监控区域中包括的所有目标人员中的第一目标人员离开所述监控区域，根据目标人员与目标物品的对应关系，对所述监控视频中所述第一目标人员对应的目标物品进行状态识别。

11.一种目标物品的状态识别装置，其特征在于，所述目标物品可设置至少两种物品状态，包括：

监测模块，用于对针对监控区域采集的监控视频进行人员检测；

处理模块，用于响应于基于所述人员检测的结果确定所述监控视频中的目标人员离开所述监控区域，对所述监控区域包含的目标物品进行状态识别，确定所述目标物品是否设置为目标状态；

其中，所述目标状态为所述至少两种物品状态中的指定目标状态，所述目标物品包括第一物品和第二物品，所述第一物品和所述第二物品的类型不同；

所述处理模块，具体用于：

对所述监控区域包含的第一物品进行状态识别；

响应于所述第一物品设置为所述目标状态，对所述监控区域对应的第二物品进行状态识别，确定所述第二物品是否设置为所述目标状态。

12.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1~10中任一项所述的方法。

Images