CN112766118A - 对象识别方法、装置、电子设备和介质 - Google Patents

Abstract

本公开提供一种用于营业网点的对象识别方法，包括：获得监控视频内容，该监控视频内容是针对营业网点的预设采集区域进行影像采集得到的，基于该监控视频内容，识别预设采集区域内是否存在目标对象，该目标对象属于携有安全隐患的违规物品集，以及当识别出预设采集区域内存在目标对象的情况下，在监控视频内容中实时展示目标对象的位置标识和类别标识，该位置标识用于标注目标对象在预设采集区域的位置，该类别标识用于标注目标对象在违规物品集中所属的类别。本公开还提供了一种用于营业网点的对象识别装置，电子设备以及计算机可读存储介质。本公开提供的方法和装置例如可以应用于金融领域或其他领域。

Description

对象识别方法、装置、电子设备和介质

技术领域

本公开涉及图像处理领域，特别是涉及一种对象识别方法、装置、电子设备和介质。

背景技术

银行开设的营业网点，为客户办理各项金融业务提供了便利，但是每天出入营业网点的人员相对较为繁杂。由于缺少安检措施，客户即使随身携有违规物品，例如打火机、易燃易爆物品，依然可以轻易地的进入营业网点，这样将在一定程度上威胁到银行服务人员和其他客户的人身安全。所以对违规物品的识别对营业网点营造安全的服务环境显得非常重要。为了弥补安检措施的缺失，相关技术也提供了一些针对违规物品的识别方法，以期能够及时地发现安全隐患。例如，配备一定数量的安保人员进行安全巡查，在大厅及柜台处部署视频监控装置对重点区域进行影像采集。

但是，对采集到的监控视频内容，需要通过肉眼持续观看才能实现“实时监控”的效果，但是人眼的注意力无法持久，很容易错过重要的画面信息，使得监控识别的可操作性不强且识别效果不佳，而现有的视频监控装置仅能起到一个“录像”的作用，即将一段时间内的现场画面用硬盘录像机(Digital Video Recorder，DVR)录制下来，在异常、突发事件发生后，再回放录像进行事后查看，此时损失和影响已经造成，属于“亡羊补牢”式的“被动监控”，使得监控识别的时效性不佳。

发明内容

有鉴于此，为了至少部分地克服相关技术中存在的上述技术问题，避免通过肉眼持续观看对工作人员的长期消耗和事后回放查看违规物品的后知后觉，实现“主动监控”以及“实时监控”，以期在对营业网点进行实时视频监控的同时，对现场画面中的对象进行识别，并在识别出存在违规物品的异常、突发事件的第一时间就可以发挥安全预警的作用，本公开提供了一种用于营业网点的对象识别方法、装置、电子设备和介质。

为了实现上述目标，本公开的一个方面提供了一种用于营业网点的对象识别方法，可以包括：获得监控视频内容，其中，上述监控视频内容是针对上述营业网点的预设采集区域进行影像采集得到的；基于上述监控视频内容，识别上述预设采集区域内是否存在目标对象，其中，上述目标对象属于携有安全隐患的违规物品集；以及当识别出上述预设采集区域内存在上述目标对象的情况下，在上述监控视频内容中实时展示上述目标对象的位置标识和类别标识，其中，上述位置标识用于标注上述目标对象在上述预设采集区域的位置，上述类别标识用于标注上述目标对象在上述违规物品集中所属的类别。

根据本公开的实施例，上述基于上述监控视频内容，识别上述预设采集区域内是否存在目标对象可以包括：基于上述监控视频内容，提取目标帧图像；以及将上述目标帧图像输入预设监测模型，以识别上述预设采集区域内是否存在目标对象，其中，上述预设监测模型为基于深度学习的神经网络模型。

根据本公开的实施例，上述将上述目标帧图像输入预设监测模型，以识别上述预设采集区域内是否存在目标对象可以包括：将上述目标帧图像输入预设监测模型，以提取目标特征；以及利用上述预设监测模型对上述目标特征进行识别，以识别上述预设采集区域内是否存在目标对象。

根据本公开的实施例，在将上述目标帧图像输入预设监测模型之前，上述方法还可以包括：获取初始监测模型；获取训练样本库，其中，上述训练样本库包含上述违规物品集中属于不同类别的违规物品所对应的参考图像；以及基于上述图像样本库，训练上述初始监测模型，以得到上述预设监测模型。

根据本公开的实施例，上述方法还可以包括：检测与上述目标对象对应的目标图像是否已存在于上述训练样本库中；以及当已存在于上述训练样本库中的情况下，将上述目标图像加入上述训练样本库，以更新上述训练样本库。

根据本公开的实施例，上述在上述监控视频内容中实时展示上述目标对象的位置标识和类别标识可以包括：利用上述预设监测模型输出上述目标对象的类别标识；利用上述预设监测模型输出上述目标对象的位置标识；以及在上述监控视频内容中实时展示上述位置标识和上述类别标识。

根据本公开的实施例，上述展示上述位置标识和上述类别标识可以包括：展示上述位置标识和上述类别标识，以突显，或覆盖，或模糊上述目标对象。

为了实现上述目标，本公开的另一个方面提供了一种用于营业网点的对象识别装置，可以包括：视频内容获得模块，用于获得监控视频内容，其中，上述监控视频内容是针对上述营业网点的预设采集区域进行影像采集得到的；目标对象识别模块，用于基于上述监控视频内容，识别上述预设采集区域内是否存在目标对象，其中，上述目标对象属于携有安全隐患的违规物品集；以及目标对象展示模块，用于当识别出上述预设采集区域内存在上述目标对象的情况下，在上述监控视频内容中实时展示上述目标对象的位置标识和类别标识，其中，上述位置标识用于标注上述目标对象在上述预设采集区域的位置，上述类别标识用于标注上述目标对象在上述违规物品集中所属的类别。

根据本公开的实施例，上述目标对象识别模块可以包括：目标帧图像提取子模块，用于基于上述监控视频内容，提取目标帧图像；以及目标对象识别子模块，用于将上述目标帧图像输入预设监测模型，以识别上述预设采集区域内是否存在目标对象，其中，上述预设监测模型为基于深度学习的神经网络模型。

根据本公开的实施例，上述目标对象识别子模块可以包括：目标特征提取单元，用于将上述目标帧图像输入预设监测模型，以提取目标特征；以及目标对象识别单元，用于利用上述预设监测模型对上述目标特征进行识别，以识别上述预设采集区域内是否存在目标对象。

根据本公开的实施例，在将上述目标帧图像输入预设监测模型之前，上述装置还可以包括：初始监测模型获取模块，用于获取初始监测模型；训练样本库获取模块，用于获取训练样本库，其中，上述训练样本库包含上述违规物品集中属于不同类别的违规物品所对应的参考图像；以及预设监测模型训练模块，用于基于上述图像样本库，训练上述初始监测模型，以得到上述预设监测模型。

根据本公开的实施例，上述装置还可以包括：目标图像检测模块，用于检测与上述目标对象对应的目标图像是否已存在于上述训练样本库中；以及训练样本库更新模块，用于当已存在于上述训练样本库中的情况下，将上述目标图像加入上述训练样本库，以更新上述训练样本库。

根据本公开的实施例，上述目标对象展示模块可以包括：类别标识输出子模块，用于利用上述预设监测模型输出上述目标对象的类别标识；位置标识输出子模块，用于利用上述预设监测模型输出上述目标对象的位置标识；以及目标对象展示子模块，用于在上述监控视频内容中实时展示上述位置标识和上述类别标识。

根据本公开的实施例，上述目标对象展示模块可以用于：展示上述位置标识和上述类别标识，以突显，或覆盖，或模糊上述目标对象。

为了实现上述目标，本公开的另一方面提供了一种电子设备，包括：一个或多个处理器，存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的装置。

为了实现上述目标，本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

为了实现上述目标，本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

与相关技术提供的用于营业网点的对象识别方法相比，本公开提供的对象识别方法，在对营业网点的现场环境进行实时视频监控的同时，可以对监控视频内容中的对象进行识别，并在识别出存在携有安全隐患的目标对象的情况下，在监控视频内容中实时展示目标对象的位置标识和类别标识，以标注目标对象在预设采集区域的位置，以及目标对象在违规物品集中所属的类别，工作人员可以通过实时展示的位置标识迅速定位目标对象，通过展示的类别标识，可以在发现安全隐患的第一时间有针对性的采取相应的安防措施，极大降低安全隐患。

由于本公开提供的对象识别方法不需要工作人员用肉眼观看监控视频内容来识别目标对象，避免了对工作人员体力上的长期消耗，因此可操作性强。又由于本公开提供的对象识别方法是将目标对象的位置标识和类别标识以可视化的方式实时地展示在监控视频内容中，而不是在事后回放进行查看，可以实现视频监控的同时，显示目标对象的位置和类别，因此时效性佳。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了适用于本公开实施例的可以应用对象识别方法和装置的应用场景；

图2示意性示出了根据本公开实施例的对象识别方法的流程图；

图3示意性示出了根据本公开另一实施例的对象识别方法的流程图；

图4示意性示出了根据本公开实施例的对象识别方法的展示效果图；

图5示意性示出了根据本公开实施例的对象识别装置的框图；

图6示意性示出了根据本公开实施例的适于实现上文描述的对象识别方法的计算机可读存储介质产品的示意图；以及

图7示意性示出了根据本公开实施例的适于实现上文描述的对象识别方法的电子设备的框图。

在附图中，相同或对应的标号表示相同或对应的部分。

应该注意的是，附图并未按比例绘制，并且出于说明目的，在整个附图中类似结构或功能的元素通常用类似的附图标记来表示。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了上述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程对象识别装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

相关技术提供的用于营业网点的对象识别方法，通过肉眼持续观看监控视频内容的“实时监控”方法，注意力无法持久，很容易错过重要的画面信息，使得监控识别的可操作性不强且识别效果不佳，而现有的视频监控装置仅能起到一个“录像”的作用，即将一段时间内的现场画面用DVR录制下来，在异常、突发事件发生后，再回放录像进行事后查看，此时损失和影响已经造成，属于“亡羊补牢”式的“被动监控”，使得监控识别的时效性不佳。

有鉴于此，本公开提供了一种用于营业网点的对象识别方法，包括对象识别阶段和对象展示阶段。其中在对象识别阶段，首先需要获得监控视频内容，该监控视频内容是针对营业网点的预设采集区域进行影像采集得到的，然后需要基于监控视频内容，识别预设采集区域内是否存在目标对象，该目标对象属于携有安全隐患的违规物品集。当识别出预设采集区域内存在目标对象的情况下，进入对象展示阶段，在监控视频内容中实时展示目标对象的位置标识和类别标识，该位置标识用于标注目标对象在预设采集区域的位置，类别标识用于标注目标对象在违规物品集中所属的类别。

通过本公开提供的对象识别方法，不仅可以实现目标对象的实时识别，而且还可以在监控视频内容中标注目标对象的位置和类别，便于相关人员采取相应措施。由于不需要持久的注意力，用肉眼观看监控视频内容，因此可操作性强，又由于是将目标对象的位置标识和类别标识可视化的实时展示在监控视频内容中，而不是在事后回放进行查看，因此时效性佳，并因此可以实现在识别出目标对象的第一时间，及时将识别结果展示给营业网点的相关工作人员，有利于根据识别结果快速开展相应的安全保护措施，将安全隐患降到最低，同时也可以大幅度降低相关工作人员的工作量。

需要说明的是，本公开提供的用于营业网点的对象识别方法和对象识别装置可用于金融领域的营业网点中，也可用于除金融领域之外的任意领域的营业网点中。因此，对本公开所提供的用于营业网点的对象识别方法和对象识别装置的应用领域不做限定。

随着我国经济的飞速发展，银行业务不断扩大，营业网点、自助设备日益普及，但社会治安形势也日益严峻。针对银行机构的治安、刑事案件明显上升，致使银行在安全防范系统建设的资金投入也逐步扩大。各类视频监控系统、报警系统等安全防范产品大量应用到银行中。同时其集中的财富、进出人员流动性强的特点，使之成为某些犯罪分子的犯罪侵害的目标。本公开的上下文将以银行的营业网点为例。需要说明的是，各个银行的营业网点根据其规模大小，其内部结构与功能区域也不尽相同，本公开对此不做限定。但是通常由柜员区，休息区，理财室，贵宾室，监控室，自助服务终端设备等几大部分组成。安防系统需要能够与照明、门禁及声音复核等设备联动。在识别出目标对象的情况下，还应该向安防监控中心值班人员发出声光报警信号，同时还应该准确记录报警时间、位置等信息，并能够详细查询、打印以上内容，以能够为紧急突发事件提供事后查看取证。

图1示意性示出了适用于本公开实施例的可以应用对象识别方法和装置的应用场景100。需要注意的是，图1所示仅为可应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

根据本公开的实施例，可以应用对象识别方法和装置的应用场景100可以是银行的营业网点的安防设备系统。可以理解的是，银行的营业网点是各银行机构办理现金出纳、有价证券业务、会计结算业务的物理区域，包括营业厅、与营业厅相同的库房、通道、办公室及相关设施。营业网点的监控分为柜员监控及环境监控，柜员监控主要针对柜员日常交易进行监控，环境监控主要针对营业网点内人员活动情况进行监控，以能够实时监视营业场所内人员的活动情况。

如图1所示，该应用场景100中营业网点已建成的安防设备系统可以包括监控摄像机101、报警主机102、监控指挥中心103、紧急报警按钮104、网络105和服务器106，该安防设备系统的部署可以用于柜员监控以及环境监控等重点部位的防范。网络105用以在监控摄像机101、报警主机102、监控指挥中心103、紧急报警按钮104和服务器106之间提供通信链路的介质。网络105可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。营业网点可以根据安防的实际需要部署多台监控摄像机101，分布在不同的位置，将监控的视频画面用DVR录制下来，DVR的视频画面通过视频切换器连入监控指挥中心103的监视器，营业网点的工作人员可以通过视频切换器及DVR的控制面板选择想要查看的视频画面。当出现异常情况时，自动触发报警主机102实现报警，也可以手动触发紧急报警按钮104实现报警。

需要说明的是，本公开的实施例所提供的对象识别方法一般可以由服务器106执行。相应地，本公开的实施例所提供的对象识别装置一般可以设置于服务器106中。本公开的实施例所提供的对象识别方法也可以由不同于服务器106且能够与服务器106通信的其他服务器执行。相应地，本公开的实施例所提供的对象识别装置也可以设置于不同于服务器106且能够与服务器106通信的其他服务器中。

应该理解，图1中的监控摄像机、报警主机、网络、紧急报警按钮的数目仅仅是示意性的。根据安防工作实际需要，可以部署任意数目的监控摄像机、报警主机、网络、紧急报警按钮。

图2示意性示出了根据本公开实施例的对象识别方法的流程图。

如图2所示，该对象识别方法200可以包括操作S210～操作S230。

在操作S210，获得监控视频内容。在本公开中，监控视频内容是针对营业网点的预设采集区域进行影像采集得到的。

根据本公开的实施例，监控视频内容可以由监控摄像机对营业网点的某预设采集区域进行视频录制而成的现场画面。其中预设采集区域可以是包含柜员区，休息区，理财室，贵宾室，监控室以及自助服务终端设备所在区域中的任意一个或多个采集区域，可以根据实际场景和安防工作的需要，在预设采集区域内部署一个或多台监控摄像机，以实现对该区域内监控区域的全面覆盖，本公开对监控摄像机的部署数量和设置位置不做限定。监控视频内容以视频流的方式展现在监控中心的显示屏幕上，相关工作人员可以通过视频切换器及DVR的控制面板选择想要查看的视频画面。

在操作S220，基于监控视频内容，识别预设采集区域内是否存在目标对象。在本公开中，目标对象属于携有安全隐患的违规物品集。

根据本公开的实施例，违规物品集作为违规物品的集合，包含众多属于不同类别的违规物品。违规物品可以包括但不限于法律规定的违禁品，爆炸性、易燃性、腐蚀性、毒性、强酸碱性和放射性挥发性的各种危险物品，类别包括但不限于雷管、火药、爆竹、汽油、酒精、煤油、桐油、生漆、火柴、农药等。

在操作S230，当识别出预设采集区域内存在目标对象的情况下，在监控视频内容中实时展示目标对象的位置标识和类别标识。

根据本公开的实施例，当识别出预设采集区域内不存在目标对象的情况下，继续执行操作S220，以实现对预设采集区域中目标对象的实时识别。

根据本公开的实施例，位置标识用于标注目标对象在预设采集区域的位置。可选地，位置标识可以是矩形框，用来框住目标对象在监控视频内容中的实时位置。可以理解的是，随着目标对象在监控视频内容中的运动，该位置标识也随着目标对象的运动而运动，以此实现对目标对象所在位置的实时标注。可选地，位置标识也可以是其他形状的框线，只要能够在监控视频内容中框住目标对象所在的区域即可，本公开对此不做限定。

根据本公开的实施例，类别标识用于标注目标对象在违规物品集中所属的类别。可选地，违规物品集中可以包括多个不同类别的违规物品，以及该违规物品所属的类别。例如，打火机类别，易燃易爆类别。在本公开中，安保措施可以划分不同的等级，等级越高，表明安全隐患越大，需要采取高级别的报警措施，对应于不同的类别，相关人员可以采取不同的安保措施。需要说明的是，类别标识是该目标对象所属类别的概率。

通过本公开的实施例，提供了一种对目标对象的实时识别方法，通过实时分析监控视频内容，能够对监控视频内容进行自动分析，对营业网点内的目标对象进行位置标注和类别标注，工作人员不需要时刻观察监控视频内容，只需要关注少量的异常对象，而不是全部的视频，即在识别出目标对象之后，根据监控视频内容中对目标对象的标注情况，直接得知目标对象“属于哪一类别”以及“在什么位置”的识别结果信息，可以大大提高警情处理的效果和效率，降低营业网点的运营成本。

作为一种可选的实施例，前述操作S220(基于监控视频内容，识别预设采集区域内是否存在目标对象)可以包括：基于监控视频内容，提取目标帧图像；以及将目标帧图像输入预设监测模型，以识别预设采集区域内是否存在目标对象，其中，预设监测模型为基于深度学习的神经网络模型。

根据本公开的实施例，基于深度学习的图像识别技术具有高识别率、高运行速度等优点，因此本公开的预设监测模型为基于深度学习的神经网络模型。具体地，可以基于YOLO(You Only Look Once)算法，YOLO将物体检测作为回归问题求解。基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。从网络设计上，YOLO训练和检测均是在一个单独网络中进行。YOLO与普通的卷积神经网络(CNN)对象分类网络模型最大的差异是输出层用线性函数做激活函数，因为需要预测位置标识的位置(数值型)，而不仅仅是对象的概率。可选地，也可以利用其它深度学习算法实现，例如Faster R-CNN算法。YOLO将物体检测作为一个回归问题进行求解，输入图像经过一次运算，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。而Faster R-CNN将检测结果分为两部分求解：目标对象的所属类别以及目标对象的位置标识(Bounding Box)。

通过本公开的实施例，基于深度神经网络的对象识别和定位算法，运行速度快，可以用于对目标对象的实时识别和展示，克服相关技术中实效性不佳的技术问题。

相关技术中，定位对象的过程可以描述为：遍历图片中所有可能的位置，地毯式搜索不同大小，不同宽高比，不同位置的每个区域，逐一检测其中是否存在某个对象，挑选其中概率最大的结果作为输出，显然这种定位的方法效率太低。

作为一种可选的实施例，将目标帧图像输入预设监测模型，以识别预设采集区域内是否存在目标对象可以包括：将目标帧图像输入预设监测模型，以提取目标特征；以及利用预设监测模型对目标特征进行识别，以识别预设采集区域内是否存在目标对象。

具体实施时，YOLO算法是将整个图像放在一个实例中，并预测物品的边界坐标以及所属类的概率。使用YOLO算法的最大优点是检测速度快，每秒可处理45帧，并且识别率高。YOLO将输入的目标帧图像分成S*S个格子，每个格子负责检测“落入”该格子的对象。若某个对象的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个对象。每个格子输出Bounding Box(包含物体的矩形区域)信息，以及每个对象属于某种类别的概率信息。Bounding Box信息包含5个数据值，分别是x，y，w，h和confidence。其中x，y是指当前格子预测得到的对象的Bounding Box的中心位置的坐标，w和h是Bounding Box的宽度和高度。可选地，实际训练过程中，w和h的值使用图像的宽度和高度进行归一化到[0，1]区间内，x，y是Bounding Box中心位置相对于当前格子位置的偏移值，并且被归一化到[0，1]。

通过本公开的实施例，输入一张目标帧图像，可以识别其中所包含的目标对象，以及每个目标对象的位置标识(包含该对象的矩形框)。本公开创造性的将候选区和目标对象的识别这两个阶段合二为一，看一眼目标帧图像就能知道是否存在目标对象以及该目标对象的位置，具有较佳的实效性。

作为一种可选的实施例，在将目标帧图像输入预设监测模型之前，该方法还可以包括：获取初始监测模型；获取训练样本库，其中，训练样本库包含违规物品集中属于不同类别的违规物品所对应的参考图像；以及基于图像样本库，训练初始监测模型，以得到预设监测模型。

具体地，初始监测模型和预设监测模型可以是基于YOLO的深度学习物体检测算法模型，在生成该预设监测模型时，可以使用标注好的违规物品集中属于不同类别的违规物品所对应的参考图像所对应的特征数据进行训练，调节训练比例、学习速率、迭代次数等，使预设监测模型的检测达到最优，在训练完成后，将提取的目标帧图像输入训练好的预设监测模型进行识别，就可以得到识别结果。

通过本公开的实施例，通过训练样本集来训练得到预设监测模型，可以不断优化预设监测模型的精度，提高目标对象的识别准确性。

作为一种可选的实施例，该方法还可以包括：检测与目标对象对应的目标图像是否已存在于训练样本库中；以及当已存在于训练样本库中的情况下，将目标图像加入训练样本库，以更新训练样本库。

根据本公开的实施例，考虑到训练样本库中参考图片无法做到穷举的实际情况，在每次识别出目标对象的情况下，可以检测该目标对象的目标图片是否已经存在于训练样本库中，若没有，则将该目标图片添加到训练样本库中，这样可以使得训练样本库处于不断壮大和更新的状态，预设监测模型也处于不断优化的状态，逐渐提高目标对象的识别精度。

作为一种可选的实施例，在监控视频内容中实时展示目标对象的位置标识和类别标识可以包括：利用预设监测模型输出目标对象的类别标识；利用预设监测模型输出目标对象的位置标识；以及在监控视频内容中实时展示位置标识和类别标识。

根据本公开的实施例，在预设监控模型在识别出目标对象的情况下，可以直接输出包括位置标识和类别标识的识别结果，这样在监控视频内容中以可视化的形式实时展示该识别结果。

通过本公开的实施例，由于目标对象的识别和识别结果的输出均由预设监测模型实现，因此监测速度快且识别精度高。

作为一种可选的实施例，展示位置标识和类别标识可以包括：展示位置标识和类别标识，以突显，或覆盖，或模糊目标对象。

根据本公开的实施例，展示位置标识和类别标识的展示效果可以是用于突显目标对象，或覆盖目标对象，或模糊目标对象。

可选地，可以用灰度图像，马赛克图像，或者点集图像，实现突显目标对象，或覆盖目标对象，或模糊目标对象的目的。本领域技术人员可以根据实际需要进行设置，本公开对此不作具体限定。具体实施时，可以用灰度图像覆盖除目标对象之外的其他对象，用高亮图像覆盖目标对象，或用高亮图像覆盖除目标对象之外的其他对象，用灰度图像覆盖目标对象。

通过本公开的实施例，通过突显目标对象，或覆盖目标对象，或模糊目标对象的方式，使得相关人员可以快速找到目标对象，提供显著的展示效果，可以提高展示效果的智能性。

图3示意性示出了根据本公开另一实施例的对象识别方法的流程图。如图3所示，该方法300可以包括操作S310～操作S330。

具体实施时，可以首先通过摄像头310采集影像信息320，该影像信息为网点内预设监控区域内的监控影像信息，然后将网点监控的影像信息320输入适用网点安全监测模型330，执行操作S310，以检测是否有违规物品，例如打火机或易燃易爆。如果有违规物品，则执行操作S320，展示监测结果。例如可以展示监测到的目标对象所在区域，也可以展示监测到的目标对象的所属类别，以提醒安保工作人员违规物品“在哪里”以及违规物品“是什么”。安保工作人员可根据影像中标注的区域，查看是哪位人员携带违规物品，并到检测到的区域进行相应措施。如果没有违规物品，则执行操作S330，继续监测。

下面对适用网点安全监测模型330进行以下说明。首先收集海量打火机、易燃易爆物品的图片信息340，然后对其进行分类，最终形成样本库。将分类好的样本库带入YOLO深度学习网络中，执行操作S340，训练海量数据，学习特征，形成适用网点安全监测模型330，训练过程中可以调节训练比例、学习速率、迭代次数，以得到适用网点安全监测模型330，使网络模型对目标对象的监测达到最优，可以准确的检测到目标对象的所属类别，即类别标识，以及目标对象所在的区域，即位置标识。将影像信息中所检测到的违规物品标注出是哪一类违规物品并框出所在区域。

通过本公开的实施例，本公开可以实时监测营业网点内是否存在违规物品，若监测到违规物品，则可以标注哪类违规物品及所在区域，通知安保人员进行相应措施，不仅可以保护营业网点以及客户的安全，还可以减少营业网点投入的安保人力。

图4示意性示出了根据本公开实施例的对象识别方法的展示效果示意图。根据本公开提供的对象识别方法识别出两个对象，如图4所示，该展示效果示意图400将影像信息中所监测到的对象标注出是哪一类并框出所在的区域。具体地，该展示效果示意图400包括两个对象所属的类别标识，分别是西伯利亚哈士奇(Siberian husky)以及德国牧羊犬(German shepherd)，该展示效果示意图400还包括这两个对象的位置标识，分别是左侧的矩形框和右侧的矩形框，其中，左侧的矩形框用于框出德国牧羊犬所在的位置，右侧的矩形框用于框出西伯利亚哈士奇所在的位置。需要说明的是，图4所示仅为对象识别的示意图，并非对识别对象的具体限定。

图5示意性示出了根据本公开实施例的对象识别装置的框图。

如图5所示，该对象识别装置500可以包括视频内容获得模块510、目标对象识别模块520以及目标对象展示模块530。

视频内容获得模块510，用于获得监控视频内容。在本公开中，监控视频内容是针对营业网点的预设采集区域进行影像采集得到的。可选地，视频内容获得模块510例如可以用于执行图2描述的操作S210，在此不再赘述。

目标对象识别模块520，用于基于监控视频内容，识别预设采集区域内是否存在目标对象。在本公开中，目标对象属于携有安全隐患的违规物品集。可选地，目标对象识别模块520例如可以用于执行图2描述的操作S220，在此不再赘述。

目标对象展示模块530，用于当识别出预设采集区域内存在目标对象的情况下，在监控视频内容中实时展示目标对象的位置标识和类别标识。在本公开中，位置标识用于标注目标对象在预设采集区域的位置，类别标识用于标注目标对象在违规物品集中所属的类别。可选地，目标对象展示模块530例如可以用于执行图2描述的操作S230，在此不再赘述。

作为一种可选的实施例，目标对象识别模块520可以包括：目标帧图像提取子模块，用于基于监控视频内容，提取目标帧图像；以及目标对象识别子模块，用于将目标帧图像输入预设监测模型，以识别预设采集区域内是否存在目标对象，其中，预设监测模型为基于深度学习的神经网络模型。

作为一种可选的实施例，目标对象识别子模块可以包括：提取目标特征提取单元，用于将目标帧图像输入预设监测模型，以提取目标特征；以及目标对象识别单元，用于利用预设监测模型对目标特征进行识别，以识别预设采集区域内是否存在目标对象。

作为一种可选的实施例，在将目标帧图像输入预设监测模型之前，装置还可以包括：初始监测模型获取模块，用于获取初始监测模型；训练样本库获取模块，用于获取训练样本库，其中，训练样本库包含违规物品集中属于不同类别的违规物品所对应的参考图像；以及预设监测模型训练模块，用于基于图像样本库，训练初始监测模型，以得到预设监测模型。

作为一种可选的实施例，对象识别装置还可以包括：目标图像检测模块，用于检测与目标对象对应的目标图像是否已存在于训练样本库中；以及训练样本库更新模块，用于当已存在于训练样本库中的情况下，将目标图像加入训练样本库，以更新训练样本库。

作为一种可选的实施例，目标对象展示模块可以包括：类别标识输出子模块，用于利用预设监测模型输出目标对象的类别标识；位置标识输出子模块，用于利用预设监测模型输出目标对象的位置标识；以及目标对象展示子模块，用于在监控视频内容中实时展示位置标识和类别标识。

作为一种可选的实施例，目标对象展示模块可以用于：展示位置标识和类别标识，以突显，或覆盖，或模糊目标对象。

需要说明的是，对象识别装置部分实施例中各模块的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与对象识别方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

根据本公开的实施例的模块、子模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FNGA)、可编程逻辑阵列(NLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，视频内容获得模块、目标对象识别模块、目标对象展示模块、目标帧图像提取子模块、目标对象识别子模块、目标特征提取单元、目标对象识别单元、初始监测模型获取模块、训练样本库获取模块、预设监测模型训练模块、目标图像检测模块、训练样本库更新模块、类别标识输出子模块、位置标识输出子模块以及目标对象展示子模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，视频内容获得模块、目标对象识别模块、目标对象展示模块、目标帧图像提取子模块、目标对象识别子模块、目标特征提取单元、目标对象识别单元、初始监测模型获取模块、训练样本库获取模块、预设监测模型训练模块、目标图像检测模块、训练样本库更新模块、类别标识输出子模块、位置标识输出子模块以及目标对象展示子模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FNGA)、可编程逻辑阵列(NLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，视频内容获得模块、目标对象识别模块、目标对象展示模块、目标帧图像提取子模块、目标对象识别子模块、目标特征提取单元、目标对象识别单元、初始监测模型获取模块、训练样本库获取模块、预设监测模型训练模块、目标图像检测模块、训练样本库更新模块、类别标识输出子模块、位置标识输出子模块及目标对象展示子模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现上文描述的对象识别方法的计算机可读存储介质产品的示意图。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在设备上运行时，程序代码用于使设备执行本说明书“示例性方法”部分中描述的根据本发明各种示例性实施例的用于营业网点的对象识别方法中的前述各项操作(或步骤)。例如，电子设备可以执行如图2中所示的操作S210～操作S230。电子设备也可以执行如图3中所示的操作S310～操作S340。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ENROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者的任意合适的组合。

如图6所示，描述了根据本发明的实施方式的对象识别的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆，RF等等，或者的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言-诸如Java，C++等，还包括常规的过程式程序设计语言-诸如“C”，语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAA)或广域网(WAA)一连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

图7示意性示出了根据本公开实施例的适于实现上文描述的对象识别方法的电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CNU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例图2中所示的操作S210～操作S230。电子设备也可以执行如图3中所示的操作S310～操作S340。

根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAA卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、子模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。计算机可读存储介质承载有一个或者多个程序，当一个或者多个程序被执行时，实现根据本公开实施例的对象识别方法，包括图2中所示的操作S210～操作S230。图3中所示的操作S310～操作S340。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机防问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ENROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目标，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种用于营业网点的对象识别方法，包括：

获得监控视频内容，其中，所述监控视频内容是针对所述营业网点的预设采集区域进行影像采集得到的；

基于所述监控视频内容，识别所述预设采集区域内是否存在目标对象，其中，所述目标对象属于携有安全隐患的违规物品集；

当识别出所述预设采集区域内存在所述目标对象的情况下，在所述监控视频内容中实时展示所述目标对象的位置标识和类别标识，其中，所述位置标识用于标注所述目标对象在所述预设采集区域的位置，所述类别标识用于标注所述目标对象在所述违规物品集中所属的类别。

2.根据权利要求1所述的方法，其中，所述基于所述监控视频内容，识别所述预设采集区域内是否存在目标对象包括：

基于所述监控视频内容，提取目标帧图像；

将所述目标帧图像输入预设监测模型，以识别所述预设采集区域内是否存在目标对象，其中，所述预设监测模型为基于深度学习的神经网络模型。

3.根据权利要求2所述的方法，其中，所述将所述目标帧图像输入预设监测模型，以识别所述预设采集区域内是否存在目标对象包括：

将所述目标帧图像输入预设监测模型，以提取目标特征；

利用所述预设监测模型对所述目标特征进行识别，以识别所述预设采集区域内是否存在目标对象。

4.根据权利要求2所述的方法，其中，在将所述目标帧图像输入预设监测模型之前，所述方法还包括：

获取初始监测模型；

获取训练样本库，其中，所述训练样本库包含所述违规物品集中属于不同类别的违规物品所对应的参考图像；

基于所述图像样本库，训练所述初始监测模型，以得到所述预设监测模型。

5.根据权利要求4所述的方法，其中，所述方法还包括：

检测与所述目标对象对应的目标图像是否已存在于所述训练样本库中；

当已存在于所述训练样本库中的情况下，将所述目标图像加入所述训练样本库，以更新所述训练样本库。

6.根据权利要求2所述的方法，其中，所述在所述监控视频内容中实时展示所述目标对象的位置标识和类别标识包括：

利用所述预设监测模型输出所述目标对象的类别标识；

利用所述预设监测模型输出所述目标对象的位置标识；

在所述监控视频内容中实时展示所述位置标识和所述类别标识。

7.根据权利要求6所述的方法，其中，所述展示所述位置标识和所述类别标识包括：

展示所述位置标识和所述类别标识，以突显，或覆盖，或模糊所述目标对象。

8.一种用于营业网点的对象识别装置，包括：

视频内容获得模块，用于获得监控视频内容，其中，所述监控视频内容是针对所述营业网点的预设采集区域进行影像采集得到的；

目标对象识别模块，用于基于所述监控视频内容，识别所述预设采集区域内是否存在目标对象，其中，所述目标对象属于携有安全隐患的违规物品集；以及

目标对象展示模块，用于当识别出所述预设采集区域内存在所述目标对象的情况下，在所述监控视频内容中实时展示所述目标对象的位置标识和类别标识，其中，所述位置标识用于标注所述目标对象在所述预设采集区域的位置，所述类别标识用于标注所述目标对象在所述违规物品集中所属的类别。

9.一种电子设备，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至7中任一项所述的方法。

Images