CN114332706A - 目标事件的确定方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种目标事件的确定方法、装置、存储介质及电子装置，其中，该方法包括：获取目标视频数据中包括的目标帧图像；计算目标帧图像与预先存储的样本帧图像的第一相似度值，目标帧图像和样本帧图像均是对同一区域进行拍摄所得到的图像；在第一相似度值小于第一相似度阈值的情况下，确定目标帧图像中所包括的目标对象；计算目标对象与样本帧图像中所包括的样本对象之间的第二相似度值；基于第二相似度值，确定目标帧图像中是否存在目标事件。通过本发明，解决了相关技术中存在的对目标事件的确定的效率低的问题，达到了提高目标事件的确定的效率的效果。

Description

目标事件的确定方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及监控技术领域，具体而言，涉及一种目标事件的确定方法、装置、存储介质及电子装置。

背景技术

目前，视频监控已广泛应用于诸多领域，例如道路交通，消防，安全生产，电力系统，公共安全管理等，在生产生活、社会治安中均发挥了重要作用，例如，通过视频监控可以预防一些事件的发生或追溯一些事件发生的原因，以及通过视频监控可以确定是否发生某些事件等，下面以城市街道上店铺招牌信息的监控为例，在城市街道上店铺招牌是展示店铺信息的重要平台，也在一定程度上显示店铺的经营范围。门头招牌的展示信息合规与否可以给顾客良好的指引，其招牌信息也需与许可的名称保持一致。招牌的无故变更，若变更信息不准确，会对消费者进行误导，造成不必要的经济损失，相关技术中主要采取对店铺招牌图像进行文本识别，随后与招牌信息库中的信息进行匹配，从而实现对招牌的识别，由于相关技术中主要依据单幅图像进行招牌识别，而无法及时确定招牌的变更事件，从而导致效率低。

针对相关技术中存在的对目标事件的确定的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标事件的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的对目标事件的确定的效率低的问题。

根据本发明的一个实施例，提供了一种目标事件的确定方法，包括：获取目标视频数据中包括的目标帧图像；计算所述目标帧图像与预先存储的样本帧图像的第一相似度值，其中，所述目标帧图像和所述样本帧图像均是对同一区域进行拍摄所得到的图像；在所述第一相似度值小于第一相似度阈值的情况下，确定所述目标帧图像中所包括的目标对象；计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值；基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件。

在一个示例性实施例中，计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值包括：针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象与所述样本对象之间的所述第二相似度值：计算所述目标对象与所述样本对象中所包括的每个对象之间的第三相似度值；基于所述第三相似度值从所述样本对象中确定出第一样本对象，其中，所述第一样本对象是所述第三相似度值中所包括的最大相似度值所对应的对象；将所述目标对象与所述第一样本对象之间的相似度值确定为所述第二相似度值。

在一个示例性实施例中，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件包括：在确定所述目标帧图像中包括对应的所述第二相似度值小于第二相似度阈值的所述目标对象的情况下，确定所述目标帧图像中存在所述目标事件；在确定所述目标帧图像中包括的每个所述目标对象对应的所述第二相似度值均大于或等于第三相似度阈值的情况下，确定所述目标帧图像中不存在所述目标事件。

在一个示例性实施例中，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件包括：针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象是否存在所述目标事件：在确定所述第二相似度值大于或等于第二相似度阈值且小于第三相似度阈值的情况下，对所述目标帧图像中包括的所述目标对象的子图像进行识别，以得到所述目标对象的目标文本信息；确定出预先存储的与所述第一样本对象对应的样本文本信息；将所述目标文本信息与所述样本文本信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述目标文本信息与所述样本文本信息是否一致；在所述对比结果指示所述目标文本信息与所述样本文本信息一致的情况下，确定所述目标对象不存在所述目标事件；在所述对比结果指示所述目标文本信息与所述样本文本信息不一致的情况下，确定所述目标对象存在所述目标事件；在确定所述目标帧图像中不包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中不存在所述目标事件；在确定所述目标帧图像中包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中存在所述目标事件。

在一个示例性实施例中，在确定所述目标帧图像中不存在所述目标事件之后，所述方法还包括：判断所述目标视频数据中包括的除所述目标帧图像之外的其它帧图像中是否存在所述目标事件；在确定所述其它帧图像中均不存在所述目标事件的情况下，确定所述目标视频数据中不存在所述目标事件。

在一个示例性实施例中，在确定所述目标帧图像中存在所述目标事件之后，所述方法还包括：将所述样本帧图像更新为所述目标帧图像；将所述目标帧图像中包括的所述目标对象的信息、每个所述目标对象中包括的文本信息与所述目标帧图像对应存储至本地。

在一个示例性实施例中，在计算所述目标帧图像与预先存储的样本帧图像的第一相似度值之前，所述方法还包括：获取样本信息，其中，所述样本信息中包括所述样本帧图像；将所述样本信息存储至本地。

在一个示例性实施例中，获取样本信息包括：获取第二目标视频数据中包括的第二目标帧图像；在确定所述本地不存在所述样本信息的情况下，检测所述第二目标帧图像；在检测出所述第二目标帧图像中包括第二目标对象的情况下，对所述第二目标帧图像进行识别，以得到第二目标信息，其中，所述第二目标信息包括所述第二目标对象信息及与所述第二目标对象信息对应的第二目标文本信息；将所述第二目标帧图像及所述第二目标信息确定为所述样本信息。

根据本发明的另一个实施例，还提供了一种抓拍对象的确定装置，包括：第一获取模块，用于获取目标视频数据中包括的目标帧图像；第一计算模块，用于计算所述目标帧图像与预先存储的样本帧图像的第一相似度值，其中，所述目标帧图像和所述样本帧图像均是对同一区域进行拍摄所得到的图像；第一确定模块，用于在所述第一相似度值小于第一相似度阈值的情况下，确定所述目标帧图像中所包括的目标对象；第二计算模块，用于计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值；第二确定模块，用于基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过计算目标视频数据中包括的目标帧图像与样本帧图像之间的第一相似度值，以及在确定第一相似度值小于第一相似度阈值的情况下，计算目标帧图像中所包括的目标对象与样本帧图像中所包括的样本对象之间的第二相似度值，然后根据第二相似度值确定目标帧图像中是否存在目标事件。实现了基于目标视频数据对目标事件进行检测，以及对帧图像与帧图像中包括的目标对象分别进行相似度对比，从而实现确定是否存在目标事件的目的。避免了相关技术中因只能依靠从单幅图像中识别出的文本信息与数据库中的信息进行比对识别而导致无法及时确定是否存在目标事件的问题，因此，解决了相关技术中存在的对目标事件的确定的效率低的问题，达到了提高目标事件的确定的效率的效果。

附图说明

图1是本发明实施例的目标事件的确定方法的移动终端硬件结构框图；

图2是根据本发明实施例的目标事件的确定方法的流程图；

图3是根据本发明具体实施例的目标事件的确定方法的流程图；

图4是根据本发明实施例的目标事件的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的目标事件的确定方法的移动终端硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标事件的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种目标事件的确定方法，图2是根据本发明实施例的目标事件的确定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取目标视频数据中包括的目标帧图像；

步骤S204，计算所述目标帧图像与预先存储的样本帧图像的第一相似度值，其中，所述目标帧图像和所述样本帧图像均是对同一区域进行拍摄所得到的图像；

步骤S206，在所述第一相似度值小于第一相似度阈值的情况下，确定所述目标帧图像中所包括的目标对象；

步骤S208，计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值；

步骤S210，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件。

通过上述步骤，通过计算目标视频数据中包括的目标帧图像与样本帧图像之间的第一相似度值，以及在确定第一相似度值小于第一相似度阈值的情况下，计算目标帧图像中所包括的目标对象与样本帧图像中所包括的样本对象之间的第二相似度值，然后根据第二相似度值确定目标帧图像中是否存在目标事件。实现了基于目标视频数据对目标事件进行检测，以及对帧图像与帧图像中包括的目标对象分别进行相似度对比，从而实现确定是否存在目标事件的目的。避免了相关技术中因只能依靠从单幅图像中识别出的文本信息与数据库中的信息进行比对识别而导致无法及时确定是否存在目标事件的问题，因此，解决了相关技术中存在的对目标事件的确定的效率低的问题，达到了提高目标事件的确定的效率的效果。

其中，上述步骤的执行主体可以为终端，例如，具备图像处理能力的计算机终端，或者具备视频分析和图像处理能力的系统，或者智能设备，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。下面以图像处理系统执行上述操作为例(仅是一种示例性说明，在实际操作中还可以是其他的设备或模块来执行上述操作)进行说明：

在上述实施例中，图像处理系统获取目标视频数据中包括的目标帧图像，例如，目标帧图像可以是目标视频数据中的任意一帧图像，先计算目标帧图像与预先存储的样本帧图像的第一相似度值，其中，目标帧图像和样本帧图像均是对同一区域进行拍摄所得到的图像，例如，以城市街道上店铺招牌信息的监控为例，目标帧图像和样本帧图像是对同一条街道的同一区域进行拍摄所得到的图像，且样本帧图像中记录了所包括的对象(如店铺招牌)；在确定第一相似度值小于第一相似度阈值(例如，95％，或90％，或其它值)的情况下，即在目标帧图像与样本帧图像的相似度较低的情况下，确定目标帧图像中所包括的目标对象，在实际应用中，可利用神经网络检测目标帧图像中所包括的目标对象，例如，目标对象可以包括店铺招牌，或广告牌，或其它对象；然后，再计算目标对象与样本帧图像中所包括的样本对象(如上述店铺招牌)之间的第二相似度值，样本对象中可能包括一个或多个对象，即一个或多个店铺招牌，分别计算目标对象与样本对象中包括的每个对象之间的相似度，以得到第二相似度值，在实际应用中，在确定第一相似度值大于第一相似度阈值(例如，95％，或90％，或其它值)的情况下，可确定目标帧图像中不存在目标事件，例如，目标事件可以是帧图像中所包括的对象的信息是否发生变更；再基于第二相似度值，确定目标帧图像中是否存在目标事件，例如，目标事件可以是对象(如上述店铺招牌)信息是否发生变更，实现了从视频帧图像级别及目标对象级别分别进行相似度对比，从而确定是否存在目标事件的目的。避免了相关技术中因只能依靠从单幅图像中识别出的文本信息与数据库中的信息进行比对识别而导致无法及时确定是否存在目标事件的问题，因此，解决了相关技术中存在的对目标事件的确定的效率低的问题，达到了提高目标事件的确定的效率的效果。

在一个可选的实施例中，计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值包括：针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象与所述样本对象之间的所述第二相似度值：计算所述目标对象与所述样本对象中所包括的每个对象之间的第三相似度值；基于所述第三相似度值从所述样本对象中确定出第一样本对象，其中，所述第一样本对象是所述第三相似度值中所包括的最大相似度值所对应的对象；将所述目标对象与所述第一样本对象之间的相似度值确定为所述第二相似度值。在实际应用中，目标帧图像中可能包括一个或多个目标对象，针对目标帧图像中包括的每个目标对象均执行以下操作，以确定每个目标对象与样本对象之间的第二相似度值：先计算目标对象与样本对象中包括的每个对象之间的第三相似度值，例如，样本对象可能包括一个或多个对象(如店铺招牌)，计算目标对象与样本对象中包括的每个对象之间的相似度值，以得到第三相似度值，第三相似度值中包括一个或多个相似度值，例如，第三相似度值中包括95％、80％、50％、20％等多个相似度值，再从中确定出与目标对象的相似度值最大的对象为第一样本对象，同时，将目标对象与第一样本对象之间的相似度值确定为第二相似度值，即将样本对象中所包括的相似度最大的对象作为目标对象的比对对象。通过本实施例，实现了确定第二相似度值的目的，从而可以实现根据第二相似度值确定目标帧图像中是否存在目标事件的目的。

在一个可选的实施例中，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件包括：在确定所述目标帧图像中包括对应的所述第二相似度值小于第二相似度阈值的所述目标对象的情况下，确定所述目标帧图像中存在所述目标事件；在确定所述目标帧图像中包括的每个所述目标对象对应的所述第二相似度值均大于或等于第三相似度阈值的情况下，确定所述目标帧图像中不存在所述目标事件。在本实施例中，当确定目标帧图像中所包括的目标对象与样本帧图像中所包括的样本对象之间的第二相似度值小于第二相似度阈值(例如30％，或20％，或其它值)的情况下，可确定目标帧图像中存在目标事件，例如，以目标对象为店铺招牌为例，当确定目标帧图像中包括的店铺招牌A(对应于上述目标对象)与样本对象中所包括的每个对象(例如一个或多个店铺招牌)的最大相似度(对应于上述第二相似度值)小于第二相似度阈值时，基本可以确定目标帧图像中的店铺招牌信息相对于样本帧图像中所包括的店铺招牌信息已经发生的变更，即可确定上述目标帧图像中存在目标事件；而当确定目标帧图像中包括的每个目标对象对应的第二相似度值均大于或等于第三相似度阈值(例如90％，或85％，或其它值)的情况下，即在确定样本帧图像中存在与目标帧图像中所包括的每个目标对象的相似度均很高的样本对象的情况下，可确定目标帧图像中所包括的目标对象的信息未发生变更，即目标帧图像中不存在目标事件。通过本实施例，实现了基于目标帧图像中所包括的目标对象与样本帧图像中所包括的样本对象之间的相似度，以确定目标帧图像是否存在目标事件的目的。

在一个可选的实施例中，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件包括：针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象是否存在所述目标事件：在确定所述第二相似度值大于或等于第二相似度阈值且小于第三相似度阈值的情况下，对所述目标帧图像中包括的所述目标对象的子图像进行识别，以得到所述目标对象的目标文本信息；确定出预先存储的与所述第一样本对象对应的样本文本信息；将所述目标文本信息与所述样本文本信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述目标文本信息与所述样本文本信息是否一致；在所述对比结果指示所述目标文本信息与所述样本文本信息一致的情况下，确定所述目标对象不存在所述目标事件；在所述对比结果指示所述目标文本信息与所述样本文本信息不一致的情况下，确定所述目标对象存在所述目标事件；在确定所述目标帧图像中不包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中不存在所述目标事件；在确定所述目标帧图像中包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中存在所述目标事件。在本实施例中，对于目标帧图像中包括的每个目标对象(例如店铺招牌，或其它广告牌，或其它对象)，当确定目标对象对应的第二相似度值大于或等于第二相似度阈值(例如30％，或20％，或其它值)且小于第三相似度阈值(例如90％，或85％，或其它值)的情况下，例如，当第二相似度值为40％，或50％，或其他值时，对该目标对象(例如店铺招牌)进行识别，在实际应用中，可利用神经网络对目标对象进行文本识别，以得到目标对象的目标文本信息，例如，店铺招牌的文本信息，如店铺名称、电话号码等，再将目标文本信息与预先存储的第一样本对象的样本文本信息进行对比，例如，第一样本对象的样本文本信息(如某店铺的文本信息)已预先存储在本地，当对比结果指示两者的文本信息一致时，可确定该目标对象未发生目标事件(如店铺招牌信息变更事件)，当对比结果指示两者的文本信息不一致时，可确定该目标对象发生目标事件；以此类推，对目标帧图像中包括的每个目标对象均执行上述操作，以确定每个目标对象是否存在目标事件；在实际应用中，当确定目标帧图像中不包括有发生目标事件的目标对象时，即当目标帧图像中包括的所有目标对象均不存在目标事件(如店铺招牌信息发生变更事件)，可确定该目标帧图像中不存在目标事件；而当确定目标帧图像中包括有发生目标事件的目标对象时，即当目标帧图像中所包括的目标对象中只要其中有一个目标对象存在目标事件(如店铺招牌信息发生变更事件)，即可确定该目标帧图像中存在目标事件。通过本实施例，实现了从目标对象级别进行相似度对比，从而确定是否存在目标事件的目的。

在一个可选的实施例中，在确定所述目标帧图像中不存在所述目标事件之后，所述方法还包括：判断所述目标视频数据中包括的除所述目标帧图像之外的其它帧图像中是否存在所述目标事件；在确定所述其它帧图像中均不存在所述目标事件的情况下，确定所述目标视频数据中不存在所述目标事件。在本实施例中，当确定目标视频数据中所包括的所有帧图像中均不存在目标事件的情况下，可确定目标视频数据中不存在目标事件。通过本实施例，实现了通过对视频流数据进行检测以确定是否存在目标事件的目的，达到了提高目标事件的确定的效率的效果。

在一个可选的实施例中，在确定所述目标帧图像中存在所述目标事件之后，所述方法还包括：将所述样本帧图像更新为所述目标帧图像；将所述目标帧图像中包括的所述目标对象的信息、每个所述目标对象中包括的文本信息与所述目标帧图像对应存储至本地。在本实施例中，当确定目标帧图像中存在目标事件之后，例如，店铺招牌信息发生变更，将该目标帧图像作为样本帧图像进行存储，作为下一次视频帧图像对比的参考对象，以检测店铺招牌信息是否再一次发生变更，同时，将目标对象的信息、每个目标对象中包括的文本信息与目标帧图像对应存储至本地。通过本实施例，实现了当检测出存在目标事件后能够及时对样本帧图像及样本文本信息进行及时更新和存储的目的。

在一个可选的实施例中，在计算所述目标帧图像与预先存储的样本帧图像的第一相似度值之前，所述方法还包括：获取样本信息，其中，所述样本信息中包括所述样本帧图像；将所述样本信息存储至本地。在本实施例中，在计算目标帧图像与样本帧图像的第一相似度值之前，先获取包括样本帧图像在内的样本信息，并将样本信息存储至本地，样本帧图像作为与目标帧图像进行相似度对比的参考对象。通过本实施例，实现了预先获取并存储样本信息的目的。

在一个可选的实施例中，获取样本信息包括：获取第二目标视频数据中包括的第二目标帧图像；在确定所述本地不存在所述样本信息的情况下，检测所述第二目标帧图像；在检测出所述第二目标帧图像中包括第二目标对象的情况下，对所述第二目标帧图像进行识别，以得到第二目标信息，其中，所述第二目标信息包括所述第二目标对象信息及与所述第二目标对象信息对应的第二目标文本信息；将所述第二目标帧图像及所述第二目标信息确定为所述样本信息。在本实施例中，当本地不存在样本信息的情况下，例如，新安装的店铺招牌，本地并未存储新招牌相关的样本信息，这样，可以对获取的第二目标视频数据中所包括的第二目标帧图像进行检测，当检测出第二目标帧图像中包括第二目标对象(例如，新店铺招牌)时，对第二目标对象进行文本识别，以得到第二目标文本信息，例如，新店铺招牌的文本信息，然后，将第二目标帧图像、第二目标对象信息及与第二目标对象信息对应的第二目标文本信息确定为样本信息，以作为下一次视频帧图像对比的参考对象及参考信息。通过本实施例，实现了建立样本信息的目的。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。现结合实施例对本发明进行具体说明，下面以城市街道的店铺招牌的变更检测为例进行说明。

图3是根据本发明具体实施例的目标事件的确定方法的流程图，如图3所示，该流程包括以下步骤：

步骤S302，首先监控摄像头采集视频数据(对应于前述目标视频数据)，该视频包含但不限于城市街道商铺的门口场景；

步骤S304，判断在存储设备上是否存在保留帧的数据Ωr(对应于前述样本信息)，其中保留帧的数据包含保留帧的图像信息Ωri(对应于前述样本帧图像)，保留帧图像数据中的目标信息(对应于前述样本对象)Ωsio{obj₁,obj₂,…,obj_n}，招牌中的文本信息Ωrit{text₁,text₂,…,text_n}，其中目标信息Ωsio与文本信息Ωrit数据一一对应；

步骤S306，接上述步骤S304，若存储设备上不存在保留帧的数据，则说明该设备未运行过招牌变更程序，需要检测生成保留帧的数据；

步骤S308，将当前视频帧数据输入到训练好的目标检测网络中，得到检测到的招牌目标信息Ωd{Ωd₁，Ωd₂，…，Ωd_n}，其中招牌目标信息中包含目标视频帧中的位置信息；

步骤S310，判断Ωd中是否含有目标；

步骤S312，接上述步骤S310，若步骤S310招牌目标信息Ωd中含有招牌目标，则将含有招牌的小图送入到训练好的文本识别网络中，得到招牌中的文本信息Ωt{Ωt₁，Ωt₂，…，Ωt_n}；

步骤S314，将目标信息Ωd与文本信息Ωt建立一一对应关系，并将当前帧数据、招牌目标信息Ωd、招牌文本Ωt更新到设备中的保留帧数据Ωr，转到后续步骤S336；

步骤S316，接上述步骤S304，若存储设备上存在保留帧的数据，则说明该设备运行过招牌变更程序，计算送入的当前帧图像数据与保留帧图像信息的相似度Si(对应于前述第一相似度值)；

步骤S318，判断Si是否大于等于相似度阈值Ti(对应于前述第一相似度阈值)；

步骤S320，当上述步骤S318的判断结果为Si大于等于相似度阈值Ti，则认为当前帧图像与保留帧图像非常相似，当前视频帧未发生招牌变更事件；

步骤S322，当上述步骤S318的判断结果为若当前帧与保留帧的相似度Si小于相似度阈值St，St可与上述Ti相同，St也可与上述Ti不同，则认为当前帧图像与保留帧图像存在较大的不同，可能存在招牌变更；对可能存在招牌变更的视频帧，将该视频帧数据送入训练好的目标检测网络中，得到检测帧的招牌目标信息Ωs{Ωs1，Ωs2，…，Ωsn}；

步骤S324，计算每个目标与保留帧中目标的相似度，对相似度进行排序，选择保留帧目标中与当前目标相似度最大的作为当前目标的相似度So(对应于前述第二相似度值)，相似度最大的目标作为当前目标的比对目标(对应于前述第一样本对象)；

步骤S326，判断当前目标的相似度So是否大于等于最大相似度阈值Tomax(对应于前述第三相似度阈值)；

当上述步骤S326的判断结果为当前目标的相似度So大于等于最大相似度阈值Tomax，则认为当前帧中该目标对像与保留帧中比对目标非常相似，当前视频帧中该招牌目标未发生招牌变更，与上述步骤S320相同；

步骤S328，当上述步骤S326的判断结果为当前目标的相似度So小于最大相似度阈值Tomax时，则进一步判断当前目标的相似度So是否小于相似度阈值最小值Tomin(对应于前述第二相似度阈值)；

步骤S330，当上述步骤S328的判断结果为是的情况下，则认为当前帧图像该目标与保留帧图像中比对目标存在较大的不同，该目标存在招牌变更；

步骤S332，当上述步骤S328的判断结果为否的情况下，即当前目标的相似度So大于等于相似度阈值最小值Tomin且小于相似度阈值最大值Tomax，说明可能存在招牌变更的视频帧目标，将该视频帧数据送入训练好的文本识别网络中，得到检测帧的招牌目标的文本信息Ωt{Ωt₁，Ωt₂，…，Ωt_n}；

步骤S334，比对当前目标的文本信息与比对目标的文本信息(对应于前述样本文本信息)是否一致，如保持一致，则说明该目标不存在招牌变更。如不一致，则说明该目标发生招牌变更；

需要说明的是，对当前视频中检测到的每个目标，重复上述步骤S324-S334，得到当前帧是否发生招牌变更，若发生招牌变更事件，同上述步骤S330，则将当前帧数据、招牌目标信息Ωd、招牌文本Ωt更新到设备中的保留帧数据Ωr(同上述步骤S314)，再转到步骤S336；

步骤S336，待当前视频帧检测完成后，判断全部视频帧是否检测结束；

步骤S338，若视频帧检测结束，则整个检测流程结束，若视频帧检测未结束，则重复执行步骤S304-S338，直到视频帧检测结束。

需要说明的是，在执行至上述步骤S320后，可转至步骤S336以判断全部视频帧是否检测结束；此外，上述步骤S306-S312是针对存储设备上不存在保留帧的数据的情形，如果存储设备上预先已存储保留帧的数据，则在步骤S304之后直接进入步骤S316。

在本发明实施例中，利用视频的前后帧信息相似度，在视频帧级别进行相似度判断，减少了在相似帧的检测判断，提高变更招牌检测算法的检测速度；同时添加了目标级别的相似度判断，减少了在目标级别上对相似目标进行检测，提高了检测效率；此外，对相似度处于中等的目标进行文本信息的提取，增加了招牌在文本信息上的判断，可达到提高检测精度的效果，同时文本信息记录在案，便于管理；此外，利用视频监控完成招牌变更的检测，可减轻人力检测比对的繁琐，达到提高了检测速度的效果。

通过上述实施例，在视频帧级别上添加视频前后帧的相似度判断，为视频帧级别的检测策略，减少了相似帧的检测，提高检测速度；在检测目标级别上添加目标级别的相似度判断，为目标级别的检测策略，可进一步减少相似目标的检测，提高检测效率；在不确定检测目标上，增加了招牌目标的文本信息提取，作为二次判断，提高检测精度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种目标事件的确定装置，图4是根据本发明实施例的目标事件的确定装置的结构框图，如图4所示，该装置包括：

第一获取模块402，用于获取目标视频数据中包括的目标帧图像；

第一计算模块404，用于计算所述目标帧图像与预先存储的样本帧图像的第一相似度值，其中，所述目标帧图像和所述样本帧图像均是对同一区域进行拍摄所得到的图像；

第一确定模块406，用于在所述第一相似度值小于第一相似度阈值的情况下，确定所述目标帧图像中所包括的目标对象；

第二计算模块408，用于计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值；

第二确定模块410，用于基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件。

在一个可选的实施例中，上述第二计算模块408包括：第一执行单元，用于针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象与所述样本对象之间的所述第二相似度值：计算所述目标对象与所述样本对象中所包括的每个对象之间的第三相似度值；基于所述第三相似度值从所述样本对象中确定出第一样本对象，其中，所述第一样本对象是所述第三相似度值中所包括的最大相似度值所对应的对象；将所述目标对象与所述第一样本对象之间的相似度值确定为所述第二相似度值。

在一个可选的实施例中，上述第二确定模块410包括：第一确定单元，用于在确定所述目标帧图像中包括对应的所述第二相似度值小于第二相似度阈值的所述目标对象的情况下，确定所述目标帧图像中存在所述目标事件；第二确定单元，用于在确定所述目标帧图像中包括的每个所述目标对象对应的所述第二相似度值均大于或等于第三相似度阈值的情况下，确定所述目标帧图像中不存在所述目标事件。

在一个可选的实施例中，上述第二确定模块410包括：第二执行单元，用于针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象是否存在所述目标事件：在确定所述第二相似度值大于或等于第二相似度阈值且小于第三相似度阈值的情况下，对所述目标帧图像中包括的所述目标对象的子图像进行识别，以得到所述目标对象的目标文本信息；确定出预先存储的与所述第一样本对象对应的样本文本信息；将所述目标文本信息与所述样本文本信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述目标文本信息与所述样本文本信息是否一致；在所述对比结果指示所述目标文本信息与所述样本文本信息一致的情况下，确定所述目标对象不存在所述目标事件；在所述对比结果指示所述目标文本信息与所述样本文本信息不一致的情况下，确定所述目标对象存在所述目标事件；第三确定单元，用于在确定所述目标帧图像中不包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中不存在所述目标事件；第四确定单元，用于在确定所述目标帧图像中包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中存在所述目标事件。

在一个可选的实施例中，上述装置还包括：判断模块，用于在确定所述目标帧图像中不存在所述目标事件之后，判断所述目标视频数据中包括的除所述目标帧图像之外的其它帧图像中是否存在所述目标事件；第三确定模块，用于在确定所述其它帧图像中均不存在所述目标事件的情况下，确定所述目标视频数据中不存在所述目标事件。

在一个可选的实施例中，上述装置还包括：更新模块，用于在确定所述目标帧图像中存在所述目标事件之后，将所述样本帧图像更新为所述目标帧图像；第一存储模块，用于将所述目标帧图像中包括的所述目标对象的信息、每个所述目标对象中包括的文本信息与所述目标帧图像对应存储至本地。

在一个可选的实施例中，上述装置还包括：第二获取模块，用于在计算所述目标帧图像与预先存储的样本帧图像的第一相似度值之前，获取样本信息，其中，所述样本信息中包括所述样本帧图像；第二存储模块，用于将所述样本信息存储至本地。

在一个可选的实施例中，上述第二获取模块包括：获取单元，用于获取第二目标视频数据中包括的第二目标帧图像；检测单元，用于在确定所述本地不存在所述样本信息的情况下，检测所述第二目标帧图像；识别单元，用于在检测出所述第二目标帧图像中包括第二目标对象的情况下，对所述第二目标帧图像进行识别，以得到第二目标信息，其中，所述第二目标信息包括所述第二目标对象信息及与所述第二目标对象信息对应的第二目标文本信息；第五确定单元，用于将所述第二目标帧图像及所述第二目标信息确定为所述样本信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种目标事件的确定方法，其特征在于，包括：

获取目标视频数据中包括的目标帧图像；

计算所述目标帧图像与预先存储的样本帧图像的第一相似度值，其中，所述目标帧图像和所述样本帧图像均是对同一区域进行拍摄所得到的图像；

在所述第一相似度值小于第一相似度阈值的情况下，确定所述目标帧图像中所包括的目标对象；

计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值；

基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件。

2.根据权利要求1所述的方法，其特征在于，计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值包括：

针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象与所述样本对象之间的所述第二相似度值：

计算所述目标对象与所述样本对象中所包括的每个对象之间的第三相似度值；

基于所述第三相似度值从所述样本对象中确定出第一样本对象，其中，所述第一样本对象是所述第三相似度值中所包括的最大相似度值所对应的对象；

将所述目标对象与所述第一样本对象之间的相似度值确定为所述第二相似度值。

3.根据权利要求1所述的方法，其特征在于，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件包括：

在确定所述目标帧图像中包括对应的所述第二相似度值小于第二相似度阈值的所述目标对象的情况下，确定所述目标帧图像中存在所述目标事件；

在确定所述目标帧图像中包括的每个所述目标对象对应的所述第二相似度值均大于或等于第三相似度阈值的情况下，确定所述目标帧图像中不存在所述目标事件。

4.根据权利要求2所述的方法，其特征在于，基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件包括：

针对所述目标帧图像中包括的每个所述目标对象均执行以下操作，以确定每个所述目标对象是否存在所述目标事件：

在确定所述第二相似度值大于或等于第二相似度阈值且小于第三相似度阈值的情况下，对所述目标帧图像中包括的所述目标对象的子图像进行识别，以得到所述目标对象的目标文本信息；确定出预先存储的与所述第一样本对象对应的样本文本信息；将所述目标文本信息与所述样本文本信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述目标文本信息与所述样本文本信息是否一致；在所述对比结果指示所述目标文本信息与所述样本文本信息一致的情况下，确定所述目标对象不存在所述目标事件；在所述对比结果指示所述目标文本信息与所述样本文本信息不一致的情况下，确定所述目标对象存在所述目标事件；

在确定所述目标帧图像中不包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中不存在所述目标事件；

在确定所述目标帧图像中包括存在所述目标事件的目标对象的情况下，确定所述目标帧图像中存在所述目标事件。

5.根据权利要求1所述的方法，其特征在于，在确定所述目标帧图像中不存在所述目标事件之后，所述方法还包括：

判断所述目标视频数据中包括的除所述目标帧图像之外的其它帧图像中是否存在所述目标事件；

在确定所述其它帧图像中均不存在所述目标事件的情况下，确定所述目标视频数据中不存在所述目标事件。

6.根据权利要求1所述的方法，其特征在于，在确定所述目标帧图像中存在所述目标事件之后，所述方法还包括：

将所述样本帧图像更新为所述目标帧图像；

将所述目标帧图像中包括的所述目标对象的信息、每个所述目标对象中包括的文本信息与所述目标帧图像对应存储至本地。

7.根据权利要求1所述的方法，其特征在于，在计算所述目标帧图像与预先存储的样本帧图像的第一相似度值之前，所述方法还包括：

获取样本信息，其中，所述样本信息中包括所述样本帧图像；

将所述样本信息存储至本地。

8.根据权利要求7所述的方法，其特征在于，获取样本信息包括：

获取第二目标视频数据中包括的第二目标帧图像；

在确定所述本地不存在所述样本信息的情况下，检测所述第二目标帧图像；

在检测出所述第二目标帧图像中包括第二目标对象的情况下，对所述第二目标帧图像进行识别，以得到第二目标信息，其中，所述第二目标信息包括所述第二目标对象信息及与所述第二目标对象信息对应的第二目标文本信息；

将所述第二目标帧图像及所述第二目标信息确定为所述样本信息。

9.一种目标事件的确定装置，其特征在于，包括：

第一获取模块，用于获取目标视频数据中包括的目标帧图像；

第一计算模块，用于计算所述目标帧图像与预先存储的样本帧图像的第一相似度值，其中，所述目标帧图像和所述样本帧图像均是对同一区域进行拍摄所得到的图像；

第一确定模块，用于在所述第一相似度值小于第一相似度阈值的情况下，确定所述目标帧图像中所包括的目标对象；

第二计算模块，用于计算所述目标对象与所述样本帧图像中所包括的样本对象之间的第二相似度值；

第二确定模块，用于基于所述第二相似度值，确定所述目标帧图像中是否存在目标事件。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至8任一项中所述的方法的步骤。

11.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至8任一项中所述的方法的步骤。

Images