CN110879995A - 目标物品检测方法及装置、存储介质及电子装置 - Google Patents

Abstract

本发明提供了一种目标物品检测方法及装置、存储介质及电子装置，其中，该方法包括：获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。通过本发明，解决了相关技术中存在的触发误报警以及反复报警的问题，进而达到了提高报警准确率、减少重复报警的效果。

Description

目标物品检测方法及装置、存储介质及电子装置

技术领域

本发明涉及通信领域，具体而言，涉及一种目标物品检测方法及装置、存储介质及电子装置。

背景技术

许多行业对于其从业人员进入特定工作区域时的个人卫生状况都有较高的要求，比如餐饮行业的后厨人员、进入手术室的医生、精密仪器加工车间的工人等，从进入工作场所开始就应当严格遵循一定的卫生标准，以确保生产、操作过程的卫生、安全、合规。以后厨人员为例，工作人员必须要按照规定穿戴规定的衣帽。

例如，现有的厨师衣帽穿戴是否合规的识别流程可以如图1所示，主要包括如下步骤：

S102，对移动物体进行检测；

S104，获取包括有移动物体的图像的单帧图像；

S106，检测该单帧图像中厨师的位置；

S108，判断厨师是否戴帽子；

S110，判断厨师是否穿工装；

S112，返回判断结果。

由上述内容可知，在现有技术中会对每一帧图像都进行检测，由于现有技术中的检测模型图像识别准确率并不是100％的，例如，可能是90％，在该情况下，若一秒提取5帧图像，概率上讲，10秒里就有2次以上的误报警发生。并且，当穿戴不规范人员长时间(例如，5秒以上)出现在监控中，那么这段时间会一直出现对这个人的报警，一段时间内对同一个人反复报警的信息是冗余的。

针对相关技术中存在的触发误报警以及反复报警的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标物品检测方法及装置、存储介质及电子装置，以至少解决相关技术中存在的触发误报警以及反复报警的问题。

根据本发明的一个实施例，提供了一种目标物品检测方法，包括：获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

根据本发明的另一个实施例，提供了一种目标物品检测装置，包括：获取模块，用于获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；判断模块，用于基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；输出模块，用于在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法实施例中的步骤。

通过本发明，结合了多帧图像来综合对目标对象是否穿戴有目标物品进行检测，有效提高了检测准确率，此外，在需要进行告警时，仅在目标检测时刻结束之后再输出告警信息，避免了反复报警的问题，有效解决了相关技术中存在的触发误报警以及反复报警的问题，进而达到了提高报警准确率、减少重复报警的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据现有技术中的厨师衣帽穿戴是否合规的识别流程图；

图2是本发明实施例的一种目标物品检测方法的移动终端的硬件结构框图；

图3是根据本发明实施例的目标物品检测方法的流程图；

图4是根据本发明具体实施例的后厨人员衣帽检测方法流程图；

图5是根据本发明实施例的目标物品检测装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图2是本发明实施例的一种目标物品检测方法的移动终端的硬件结构框图。如图2所示，移动终端20可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204，可选地，上述移动终端还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端20还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标物品检测方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至移动终端20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端20的通信供应商提供的无线网络。在一个实例中，传输装置206包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种目标物品检测方法，图3是根据本发明实施例的目标物品检测方法的流程图，如图3所示，该流程包括如下步骤：

步骤S302，获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；

步骤S304，基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；

步骤S306，在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

其中，执行上述操作的可以是终端设备，或者是集成有用于拍摄上述目标帧图像的摄像设备的机器，还可以是其他的具备类似处理能力的处理器。

在上述实施例中，预定时间段可以是人为选取的，还可以是基于预先设置的选取规则自动选取的(例如，周期性执行上述检测操作)。上述的目标对象可以是人，例如，厨师、服务员等。上述的目标物品可以是帽子、衣服、口罩、工牌等。

在上述实施例中，结合了多帧图像来综合对目标对象是否穿戴有目标物品进行检测，有效提高了检测准确率，此外，在需要进行告警时，仅在目标检测时刻结束之后再输出告警信息，避免了反复报警的问题，有效解决了相关技术中存在的触发误报警以及反复报警的问题，进而达到了提高报警准确率、减少重复报警的效果。

在一个可选的实施例中，获取在预定时间段内拍摄的预定数量的目标帧图像包括：获取在所述预定时间段内拍摄的全部帧图像；按照预定抽取规则从所述全部帧图像中抽取所述预定数量的所述目标帧图像。在本实施例中，上述的预定数量的目标帧图像是从预定时间段内拍摄的全部帧图像中选取出的部分图像，由于目标对象在短时间内(例如，1秒，2秒内)不会发生目标物品穿戴变更，因此，对部分帧图像进行检测的检测结果和对所有帧图像进行检测的检测结果实际上是一样的。相对于相关技术中每一帧图像都要进行检测的方式，采用本发明中的方案可以有效降低检测工作量。其中，上述的抽取规则可以包括随机抽取方式，可以包括等数量帧间隔抽取方式，还可以包括按照预定时间间隔抽取(其中，抽取的目标帧之间的帧间隔可以是不同的)，且具体的抽取方式是可调的。

在一个可选的实施例中，基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品包括：利用预先训练的第一检测模型对所述预定数量的目标帧图像中包括的对象进行检测，以提取所述预定数量的目标帧图像中每一帧图像中包括的对象的关键点；基于所述每一帧图像中包括的对象的关键点确定出所述每一帧图像中包括的对象的用于穿戴所述目标物品的目标轮廓位置；利用预先训练的第二检测模型对所述每一帧图像中包括的对象进行划分，以将同一个对象划分至同一组内；确定出所述目标对象所属的目标组，并确定所述目标组内所包括的各目标图像所属的帧图像；利用预先训练的第二检测模型对各目标图像所属的帧图像中包括的所述目标对象的目标轮廓位置进行检测，以判断在所述目标对象的目标轮廓位置处是否穿戴有所述目标物品。在本实施例中，各模型可以是神经网络模型，且各模型均是预先利用对应的训练数据训练好的模型，具体的训练方式可以采用相关技术中的训练方式进行训练，在此，不做过多说明。通过上述操作，可以对多帧目标图像中包括的对象进行划分，即，把实质上是同一个对象的图像划分到一起，由此可以确定出预定时间段内所拍摄的对象的数量，此外，在执行该操作时，还可以为各对象打上对应的标识(例如，数字标识、名称标识、)，进而可以基于各对象所对应的图像信息来判断在该预定时间段内各对象的目标物品的穿戴情况。

在一个可选的实施例中，在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息包括：在确定超过预定比例的所述目标图像所属的帧图像的检测结果为所述目标对象的目标轮廓位置处未穿戴有所述目标物品时，确定所述目标组内所包括的各目标图像所属的帧图像对应的目标检测时间段；输出至少包括有第一信息的告警信息，其中，所述第一信息用于指示所述目标对象在所述目标检测时间段内未穿戴所述目标物品。在实际应用中，各模型执行检测操作时，也可能会存在一定的误判概率，而在本实施例中，实际上是基于各检测结果的比例来确定最终的检测结果，在该情况下，可以有效过滤掉误判的结果，而得到正确的检测结果，有效提高检测准确率。

在一个可选的实施例中，所述告警信息还包括所述目标组内所包括的各目标图像所属的帧图像中拍摄之间最早的帧图像。在本实施例中，在输出的告警信息中还可以包括有未按规定穿戴有目标物品的目标对象的图像信息，从而能够直观的确定出未按规定穿戴目标物品的目标对象。

下面以上述对象是厨师，上述目标物品是帽子以及工装为例，对本发明进行说明：

图4是根据本发明具体实施例的后厨人员衣帽检测方法流程图，如图4所示，该方法包括如下步骤：

S402，对后厨的移动物体进行检测；

S404，并获取移动帧前后一段时间的视频，其中，可以对获取的视频进行抽帧，例如，摄像头获取的视频一般为25帧每秒，为减少计算数据量可以抽取为5帧每秒；

S406，对每帧图像做人体关键点检测，其中，可以通过深度学习的方法训练人体关键点检测模型，用模型(对应于前述的第一检测模型)提取每张图像中人体的关键点；

S408，利用S406中关键点的坐标信息得到人的轮廓，并且分为:1、头部；2、上半身；3、下半身。为后面的目标追踪以及是否戴帽、是否穿工装的识别提供准确的轮廓位置；利用深度学习的识别模型(对应于前述的第二检测模型)，分别对本步骤中得到人的头部位置和衣服位置做检测，判断是否戴帽子和穿工装，得到每一帧的结果；

S410，利用深度学习中的多目标追踪技术(Multi-Object Tracking，简称为MOT)以及步骤S408中人的轮廓，追踪视频中的每个人，得到每帧中每个人的标识(Identifier，简称为ID)；

S412，综合前述的检测结果，通过统计ID的结果给出结论信息。

S414，输出不符合规范的厨师信息，例如某厨师A在20秒共100帧视频中出现了50帧，50帧中45帧判断他没有戴帽子，那就判断为没有戴帽子，返回这个人第一次出现的图片帧及头部坐标信息，提示报警。

需要说明的是，现有技术中的算法是把有视频拿到后，取出多帧，不断调用算法，判断单张图片；而在本发明实施例中，是将拿到的视频直接传给算法框架，算法框架自己做解析，得到结果。有效提高处理效率了，减少数据传输次数。其次，采用多目标追踪技术可以减少了一段时间内对同一个人反复报警的情况，提高了识别的准确度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种目标物品检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的目标物品检测装置的结构框图，如图5所示，该装置包括：

获取模块52，用于获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；判断模块54，用于基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；输出模块56，用于在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

在一个可选的实施例中，所述获取模块52包括：获取单元，用于获取在所述预定时间段内拍摄的全部帧图像；抽取单元，用于按照预定抽取规则从所述全部帧图像中抽取所述预定数量的所述目标帧图像。

在一个可选的实施例中，所述判断模块54包括：第一检测单元，用于利用预先训练的第一检测模型对所述预定数量的目标帧图像中包括的对象进行检测，以提取所述预定数量的目标帧图像中每一帧图像中包括的对象的关键点；第一确定单元，用于基于所述每一帧图像中包括的对象的关键点确定出所述每一帧图像中包括的对象的用于穿戴所述目标物品的目标轮廓位置；划分单元，用于利用预先训练的第二检测模型对所述每一帧图像中包括的对象进行划分，以将同一个对象划分至同一组内；第二确定单元，用于确定出所述目标对象所属的目标组，并确定所述目标组内所包括的各目标图像所属的帧图像；第二检测单元，用于利用预先训练的第二检测模型对各目标图像所属的帧图像中包括的所述目标对象的目标轮廓位置进行检测，以判断在所述目标对象的目标轮廓位置处是否穿戴有所述目标物品。

在一个可选的实施例中，所述输出模块56用于在确定超过预定比例的所述目标图像所属的帧图像的检测结果为所述目标对象的目标轮廓位置处未穿戴有所述目标物品时，确定所述目标组内所包括的各目标图像所属的帧图像对应的目标检测时间段；输出至少包括有第一信息的告警信息，其中，所述第一信息用于指示所述目标对象在所述目标检测时间段内未穿戴所述目标物品。

在一个可选的实施例中，所述告警信息还包括所述目标组内所包括的各目标图像所属的帧图像中拍摄之间最早的帧图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；

S2，基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；

S3，在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；

S2，基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；

S3，在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标物品检测方法，其特征在于，包括：

获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；

基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；

在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

2.根据权利要求1所述的方法，其特征在于，获取在预定时间段内拍摄的预定数量的目标帧图像包括：

获取在所述预定时间段内拍摄的全部帧图像；

按照预定抽取规则从所述全部帧图像中抽取所述预定数量的所述目标帧图像。

3.根据权利要求1所述的方法，其特征在于，基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品包括：

利用预先训练的第一检测模型对所述预定数量的目标帧图像中包括的对象进行检测，以提取所述预定数量的目标帧图像中每一帧图像中包括的对象的关键点；

基于所述每一帧图像中包括的对象的关键点确定出所述每一帧图像中包括的对象的用于穿戴所述目标物品的目标轮廓位置；

利用预先训练的第二检测模型对所述每一帧图像中包括的对象进行划分，以将同一个对象划分至同一组内；

确定出所述目标对象所属的目标组，并确定所述目标组内所包括的各目标图像所属的帧图像；

利用预先训练的第二检测模型对各目标图像所属的帧图像中包括的所述目标对象的目标轮廓位置进行检测，以判断在所述目标对象的目标轮廓位置处是否穿戴有所述目标物品。

4.根据权利要求3所述的方法，其特征在于，在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息包括：

在确定超过预定比例的所述目标图像所属的帧图像的检测结果为所述目标对象的目标轮廓位置处未穿戴有所述目标物品时，确定所述目标组内所包括的各目标图像所属的帧图像对应的目标检测时间段；

输出至少包括有第一信息的告警信息，其中，所述第一信息用于指示所述目标对象在所述目标检测时间段内未穿戴所述目标物品。

5.根据权利要求4所述的方法，其特征在于，所述告警信息还包括所述目标组内所包括的各目标图像所属的帧图像中拍摄之间最早的帧图像。

6.一种目标物品检测装置，其特征在于，包括：

获取模块，用于获取在预定时间段内拍摄的预定数量的目标帧图像，其中，所述预定时间段为初始检测时刻到目标检测时刻之间的时间段；

判断模块，用于基于所述预定数量的目标帧图像判断目标对象是否穿戴有目标物品，其中，在所述预定数量的目标帧图像中至少有一帧目标帧图像中包括有所述目标对象；

输出模块，用于在判断结果为否的情况下，在所述目标检测时刻之后输出告警信息。

7.根据权利要求6所述的装置，其特征在于，所述获取模块包括：

获取单元，用于获取在所述预定时间段内拍摄的全部帧图像；

抽取单元，用于按照预定抽取规则从所述全部帧图像中抽取所述预定数量的所述目标帧图像。

8.根据权利要求6所述的装置，其特征在于，所述判断模块包括：

第一检测单元，用于利用预先训练的第一检测模型对所述预定数量的目标帧图像中包括的对象进行检测，以提取所述预定数量的目标帧图像中每一帧图像中包括的对象的关键点；

第一确定单元，用于基于所述每一帧图像中包括的对象的关键点确定出所述每一帧图像中包括的对象的用于穿戴所述目标物品的目标轮廓位置；

划分单元，用于利用预先训练的第二检测模型对所述每一帧图像中包括的对象进行划分，以将同一个对象划分至同一组内；

第二确定单元，用于确定出所述目标对象所属的目标组，并确定所述目标组内所包括的各目标图像所属的帧图像；

第二检测单元，用于利用预先训练的第二检测模型对各目标图像所属的帧图像中包括的所述目标对象的目标轮廓位置进行检测，以判断在所述目标对象的目标轮廓位置处是否穿戴有所述目标物品。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。

Images