CN115471872A

CN115471872A - 散发广告的行为检测方法、装置、电子设备和存储介质

Info

Publication number: CN115471872A
Application number: CN202211170644.6A
Authority: CN
Inventors: 白家男; 章合群; 周祥明; 吴金晶
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2022-09-23
Filing date: 2022-09-23
Publication date: 2022-12-13

Abstract

本申请涉及图像处理技术领域，尤其涉及一种散发广告的行为检测方法、装置、电子设备和存储介质，用以提高行为检测效率。其中，方法包括：对待检测视频中的视频帧进行目标检测，获得候选对象的候选位置信息和广告的广告位置信息；基于视频帧的候选位置信息和广告位置信息，确定视频帧中候选对象与广告的位置关系；基于确定的位置关系，筛选出待检测对象，并将剩余候选对象作为散发对象；基于与广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为。由于本申请通过基于视频帧中基于待检测对象与广告的位置关系确定是否存在散发广告的行为，无需人工识别，提高行为检测效率。

Description

散发广告的行为检测方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种散发广告的行为检测方法、装置、电子设备和存储介质。

背景技术

在现代商业社会中，商品和服务信息绝大多数都是通过广告传递的，商家通过广告宣传能够提高收益。但是，部分商家为了经济利益，采取不正当渠道进行广告宣传，随意散发广告传单的乱象层出不穷。在人流量较大的街道散发广告传单，不仅严重影响交通秩序，并且由于广告传单容易被随意丢弃，还会造成环境污染影响市容。

近年来，严厉打击街头散发广告行为，目前主要是人工识别散发广告行为，进而对相关违规人员进行打击，但是基于上述方式识别散发广告行为，需要投入巨大的人力资源，并且覆盖不全面，识别效率低。

发明内容

本申请实施例提供一种散发广告的行为检测方法、装置、电子设备和存储介质，用以提高行为检测效率。

本申请实施例提供的一种散发广告的行为检测方法，包括：

分别对待检测视频中的各视频帧进行目标检测，获得所述各视频帧中候选对象的候选位置信息和广告的广告位置信息；

分别基于各视频帧对应的所述候选位置信息和所述广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系；

基于确定的各位置关系，从所述候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象；

基于与对应的所述广告之间的位置关系为存在重叠的散发对象的数量信息，确定所述待检测对象是否存在散发所述广告的行为。

在一种可选的实施方式中，所述基于确定的各位置关系，从所述候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象，包括：

针对每个候选对象，分别执行以下操作：

对于一个候选对象，若所述一个候选对象对应的目标视频帧的数量大于预设帧数阈值，则将所述一个候选对象作为所述待检测对象，其中，所述目标视频帧中候选对象与广告的位置关系为存在重叠；

否则，将所述一个候选对象划分为所述散发对象。

在一种可选的实施方式中，所述分别基于各视频帧对应的所述候选位置信息和所述广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系，包括：

针对每个视频帧中的候选对象分别执行以下操作：

对于一个视频帧，对所述视频帧中包含所述候选对象的视频帧区域进行对象关键点检测，获得所述视频帧区域中各个目标关键点的位置信息，所述视频帧区域是根据所述候选位置信息确定的；

基于各个目标关键点的位置信息，确定所述候选对象的目标部位的部位位置信息；

基于所述部位位置信息和所述广告位置信息，确定所述候选对象与所述广告之间的位置关系。

在一种可选的实施方式中，若确定所述待检测对象存在散发所述广告的行为，则所述方法还包括：

基于与所述广告之间的位置关系为存在重叠的散发对象的数量信息，确定所述待检测对象散发所述广告的次数。

基于所述确定的各位置关系，获得所述各视频帧中的待关联广告，所述待关联广告为在相应视频帧中与所述候选对象之间的位置关系为不存在重叠的广告；

将所述待关联广告与所述待检测对象进行关联，并基于所述待检测对象关联的待关联广告的数量信息，确定所述待检测对象对应的广告遗弃等级。

在一种可选的实施方式中，所述分别对待检测视频中的各视频帧进行目标检测，获得所述各视频帧中候选对象的候选位置信息和广告的广告位置信息，包括：

对每个视频帧分别执行以下操作：

对于一个视频帧，对所述一个视频帧进行目标检测，将检测到的各目标作为第一目标，并获得各第一目标的第一位置信息；每个第一目标为相应视频帧中的对象或广告；

基于各第一位置信息，与当前的目标集合中各第二目标在相应视频帧的第二位置信息，对所述各第一目标和所述各第二目标进行匹配，所述当前的目标集合包括在所述一个视频帧之前的视频帧中检测到的目标；

若匹配成功，且所述第一目标为对象，则将所述第一目标作为候选对象，并将所述第一位置信息作为所述候选对象的候选位置信息；

若匹配成功，且所述第一目标为广告，则将所述第一目标作为广告，并将所述第一位置信息作为所述广告的广告位置信息。

在一种可选的实施方式中，所述方法还包括：

将匹配成功的第一目标的第一位置信息，作为对应的第二目标在所述一个视频帧中的第二位置信息；和/或，

将匹配失败的第一目标，作为新的第二目标添加到所述对象集合中。

在一种可选的实施方式中，所述方法还包括：

对于一个第二目标，若在预设帧数内不存在与所述一个第二目标匹配成功的第一目标，则将所述一个第二目标从所述对象集合中去除。

在一种可选的实施方式中，在所述分别基于各视频帧对应的所述候选位置信息和所述广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系之前，还包括：

分别对所述各视频帧进行目标检测，获得所述各视频帧中的候选对象的第一置信度，并将第一置信度低于第一置信度阈值的候选对象去除；和/或，

分别对所述各视频帧进行目标检测，获得所述各视频帧中的广告的第二置信度，并将第二置信度低于第二置信度阈值的广告去除。

本申请实施例提供的一种散发广告的行为检测装置，包括：

检测单元，用于分别对待检测视频中的各视频帧进行目标检测，获得所述各视频帧中候选对象的候选位置信息和广告的广告位置信息；

第一确定单元，用于分别基于各视频帧对应的所述候选位置信息和所述广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系；

筛选单元，用于基于确定的各位置关系，从所述候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象；

第二确定单元，用于基于与对应的所述广告之间的位置关系为存在重叠的散发对象的数量信息，确定所述待检测对象是否存在散发所述广告的行为。

可选的，所述筛选单元具体用于：

针对每个候选对象，分别执行以下操作：

否则，将所述一个候选对象划分为所述散发对象。

可选的，所述第一确定单元具体用于：

针对每个视频帧中的候选对象分别执行以下操作：

可选的，若确定所述待检测对象存在散发所述广告的行为，所述装置还包括第三确定单元，用于：

可选的，若确定所述待检测对象存在散发所述广告的行为，所述装置还包括关联单元，用于：

可选的，所述检测单元具体用于：

对每个视频帧分别执行以下操作：

可选的，所述检测单元还用于：

可选的，所述装置还包括去除单元，用于：

本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种散发广告的行为检测方法的步骤。

本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种散发广告的行为检测方法的步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种散发广告的行为检测方法的步骤。

本申请有益效果如下：

本申请实施例提供的散发广告的行为检测方法、装置、电子设备和存储介质，通过分别对待检测视频中的各视频帧进行目标检测，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息；进而，基于各视频帧对应的候选位置信息和广告位置信息，从候选对象中筛选出待检测对象，将剩余候选对象作为散发对象；最后，基于与广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为，通过上述方式能够自动识别散发广告的行为，提高对散发广告的行为的检测效率，并且提高行为检测的准确率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中的一种应用场景的一个可选的示意图；

图2为本申请实施例中的一种散发广告的行为检测方法的实施流程图；

图3为本申请实施例中的待检测视频中的一个视频帧的示意图；

图4为本申请实施例中的一种位置关系确定方法的流程示意图；

图5为本申请实施例中的一种手部区域的计算原理示意图；

图6为本申请实施例中的一种位置关系判断方法的流程示意图；

图7为本申请实施例中的一种行为检测系统的结构示意图；

图8为本申请实施例中的一种告警逻辑判断模块的工作流程示意图；

图9为本申请实施例中的一种散发广告的行为检测装置的结构示意图；

图10为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；

图11为应用本申请实施例的另一种电子设备的一个硬件组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

下面对本申请实施例中涉及的部分概念进行介绍。

候选对象：指通过对待检测视频中的各视频帧进行目标检测获得的对象，候选对象的候选位置信息包括候选对象在各视频帧中的位置信息，在本申请实施例中，主要是以候选对象为待检测视频中的人进行说明的。

待检测对象：指根据候选对象与广告之间的位置关系，确定的携带广告的候选对象，即待检测对象可能存在散发广告的行为，在筛选出待检测对象之后，还需要根据待检测对象对应的广告与散发对象之间的位置关系，确定待检测对象是否存在散发广告的行为。

散发对象：指候选对象中除待检测对象之外的对象，在视频帧中可能会出现多个候选对象，散发对象可以是与广告之间的位置关系为不存在重叠的候选对象，也可以是与广告之间的位置关系为存在重叠，但是存在重叠的视频帧的数量小于预设帧数阈值，即没有长时间携带广告的候选对象，可以认为上述候选对象不存在散发广告的行为，并且上述候选对象可能是待检测对象散发广告的对象，因此称为散发对象。

待关联广告：指在视频帧中与候选对象之间的位置关系为不存在重叠的广告，即待关联广告与候选对象的位置之间不存在重叠，例如，待关联广告为被遗弃的广告。

广告遗弃等级：当待检测对象散发广告的行为时，部分散发对象会将广告遗弃在地面上，进而造成环境污染，而造成的环境污染是由于待检测对象的散发行为导致的，可以通过广告遗弃等级表征，形成对待检测对象的散发行为的完备的抓拍证据链。

本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

下面对本申请实施例的设计思想进行简要介绍：

近年来，各地相关部门都在严厉打击街头散发广告行为，相关技术中主要是通过以下方式进行行为检测：

方式一，通过负责人员在可能存在散发广告行为的地点进行巡视，人工识别散发广告行为，进而对相关违规人员进行打击。

但是，基于方式一识别散发广告行为，需要投入巨大的人力资源，并且覆盖不全面，识别效率低。

方式二，获取目标对象的行为观察视频，并使用行为观察视频训练目标行为识别模型，基于目标行为识别模型识别目标行为。

但是，基于方式二识别散发广告行为没有充分利用散发广告行为的内在特点，来预测人体行为，无法识别与散发广告行为密切相关的物体，并且此方式过度依赖于大量行为视频片段用于训练样本，对于小样本视频素材的行为，准确率较低。

本申请实施例提供了一种散发广告的行为检测方法、装置、电子设备和存储介质。通过分别对待检测视频中的各视频帧进行目标检测，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息；进而，基于各视频帧对应的候选位置信息和广告位置信息，从候选对象中筛选出待检测对象，将剩余候选对象作为散发对象；最后，基于与广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为，通过上述方式能够自动识别散发广告的行为，提高对散发广告的行为的检测效率，并且提高行为检测的准确率，并且无需大量的行为视频作为训练样本，降低行为检测难度。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。

在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有行为检测相关的客户端，该客户端可以是软件(例如浏览器、行为检测软件等)，也可以是网页、小程序等，服务器120则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行行为检测的服务器，本申请不做具体限定。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本申请实施例中的散发广告的行为检测方法可以由电子设备执行，该电子设备可以为服务器120或者终端设备110，即，该方法可以由服务器120或者终端设备110单独执行，也可以由服务器120和终端设备110 共同执行。比如由服务器120和终端设备110共同执行时，终端设备110获取待检测视频，并将待检测视频发送给服务器120，服务器120分别对待检测视频中的各视频帧进行目标检测，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息；分别基于各视频帧对应的候选位置信息和广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系；基于确定的各位置关系，从候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象；基于与对应的广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为，服务器120将存在散发广告的行为的待检测对象的信息发送给终端设备110，以使终端设备110的用户采取相应措施对散发广告的行为进行管理。

在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行通信。

在一种可选的实施方式中，通信网络是有线网络或无线网络。

需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。

本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的散发广告的行为检测方法，其中所涉及的待检测视频可保存于区块链上。

此外，本申请实施例可应用于各种场景，不仅包括行为检测场景，还包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。

下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的散发广告的行为检测方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。

参阅图2所示，为本申请实施例提供的一种散发广告的行为检测方法的实施流程图，以执行主体为服务器为例，该方法的具体实施流程包括如下步骤 S21-S24：

S21：服务器分别对待检测视频中的各视频帧进行目标检测，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息；

其中，待检测视频是通过在需要进行散发广告的行为检测的区域安装摄像头采集到的，例如在城市人行道旁附近安装摄像头，摄像头需要清晰的捕捉到过往行人的实时画面等。

参阅图3，为待检测视频中的一个视频帧的示意图，在监控画面内设置闭合的道路检测规则区域，如图3中的黑色粗线框所示，对视频帧中的道路检测规则区域进行目标检测。采集到待检测视频后，通过视频编解码技术进行对待检测视频进行数据解码，以基于实时图像数据进行目标检测。

对待检测视频进行目标检测，能够获得候选对象的候选位置信息，其中，候选对象的候选位置信息指候选对象分别在各视频帧中的位置信息，例如，候选对象1的候选位置信息包括候选对象1在第1-5帧视频帧中的位置信息。候选位置信息可以通过候选对象在视频帧中的边界框(坐标框)的左上角坐标(x1， y1)和右下角坐标(x2，y2)表示，也可以通过边界框的中心点坐标和边界框的宽、高表示，本申请在此不做具体限定。在本申请实施例中，主要是以候选对象为待检测视频中的人进行说明的，图3中的黑色细实线框表示人体在视频帧中的边界框。

广告是通过对待检测视频中的各视频帧进行目标检测获得的，广告包括传单、书本、手册等任意形式的广告，本申请在此不做具体限定。广告的广告位置信息指广告分别在各视频帧中的位置信息，图3中的虚线框表示人体在视频帧中的边界框。

在对待检测视频进行目标检测时，可以通过已训练的目标检测模型实现，通过以下方式进行模型训练：首先，采集城市人行道路的视频序列，获取视频帧得到图片作为训练数据集，然后，制作用于目标检测网络A的训练数据集，标注人体、广告作为正样本，这样目标检测模型A可以同时检测出人体与广告这两个类别。获得已训练的目标检测模型A后，由目标检测模块A检测出视频帧中的人体和广告两个类别，得到目标的坐标框Rect(位置信息)包括左上角坐标点(x1，y1)，右下角坐标(x2，y2)、置信度分数ConfOD(范围0-1之间的小数)，目标类别TypeOD(类别：1人体、2广告)。

通过分别对各视频帧进行目标检测，获得各视频帧中的候选对象的第一置信度，和各视频帧中的广告的第二置信度后，可以基于目标的置信度分数对目标进行筛选，当目标为候选对象时，将第一置信度低于第一置信度阈值的候选对象去除；当目标为广告时，将第二置信度低于第二置信度阈值的广告去除。

具体地，例如，候选对象2在第1帧视频帧中的置信度分数为0.8，在第2 帧视频帧中的置信度分数为0.2，在第3帧视频帧中的置信度分数为0.7，第一置信度阈值为0.5，表明在第2帧视频帧中检测到的候选对象2可能为误检，将第2帧中的候选对象2去除，则候选对象2的候选位置信息只包括候选对象2 在第1帧和第3帧中的位置信息；相应的，待检测对象1在第1帧视频帧中的置信度分数为0.6，在第2帧视频帧中的置信度分数为0.7，在第3帧视频帧中的置信度分数为0.3，第二置信度阈值为0.5，表明在第3帧视频帧中检测到的广告1可能为误检，将第3帧中的待检测对象1去除，则待检测对象1的候选位置信息只包括待检测对象1在第1帧和第2帧中的位置信息。

基于上述方式，能够去除置信度较低的候选对象和置信度较低的广告，过滤误检目标，提高行为检测的准确率。

在对各视频帧进行目标检测时，实际上只能获得每个视频帧中包含的目标的位置信息，而无法区分具体是哪个目标的位置信息，因此可以通过以下方式，将同一目标在不同视频帧中的位置信息相关联。

在一种可选的实施方式中，对步骤S21中的每个视频帧可以执行以下操作：

对于一个视频帧，对一个视频帧进行目标检测，将检测到的各目标作为第一目标，并获得各第一目标的第一位置信息；基于各第一位置信息，与当前的目标集合中各第二目标在相应视频帧的第二位置信息，对各第一目标和各第二目标进行匹配；

若匹配成功，且第一目标为对象，则将第一目标作为候选对象，并将第一位置信息作为候选对象的候选位置信息；

若匹配成功，且第一目标为广告，则将第一目标作为广告，并将第一位置信息作为广告的广告位置信息。

其中，每个第一目标为相应视频帧中的对象或广告；当前的目标集合包括在一个视频帧之前的视频帧中检测到的目标，第一目标的第一位置信息表征第一目标在视频帧中的边界框(检测坐标框)，第二目标的第二位置信息表征第二目标在视频帧中的边界框(跟踪坐标框)，在对第一目标和第二目标进行匹配时，计算当前帧的第一目标的检测坐标框与前一帧的第二目标的跟踪坐标框的交并比(IOU)，当第一目标与某个第二目标的IOU大于交并比阈值时即为匹配成功，当第一目标与多个第二目标均能匹配成功时，则第一目标与IOU最大的第二目标匹配成功。

以一个视频帧为待检测视频中的第2个视频帧为例，检测到目标1、目标2，此时当前的目标集合中包含在第1个视频帧中检测到的目标，包括目标A、第目标B和目标C，分别计算目标1与目标A、目标B和目标C的IOU，确定目标1与目标B的IOU大于交并比阈值，则目标1与目标B匹配成功，目标1 为对象，则将目标1作为候选对象1，将目标1的第一位置信息作为候选对象1 的在第2帧视频帧中的候选位置信息，即候选对象1在第1帧的候选位置信息为目标B的第二位置信息，候选对象1在第2帧的候选位置信息为目标1的第一位置信息，通过上述方式候选对象1在待检测视频中的跟踪轨迹，并且每个候选对象至少在两帧视频帧中存在位置信息。目标2的匹配过程同上，在此不进行赘述。

基于上述方式，将当前帧目标检测获得的目标与已有的跟踪目标进行匹配，能够过滤只出现一帧的误检目标，提高行为检测的准确率。

在一种可选的实施方式中，若第一目标能够与第二目标匹配成功，则将匹配成功的第一目标的第一位置信息，作为对应的第二目标在一个视频帧中的第二位置信息；若第一目标与各第二目标均匹配失败，则将匹配失败的第一目标，作为新的第二目标添加到对象集合中。

具体地，若一个视频帧为第3帧视频帧，第一目标2与第二目标3匹配成功，则将第一目标2的第一位置信息，作为第二目标3在第3帧视频帧中的第二位置信息，若第一目标3与各第二目标均匹配失败，则将第一目标3作为新的第二目标添加到对象集合中。

另外，在对象集合中，对于一个第二目标，若在预设帧数内不存在与一个第二目标匹配成功的第一目标，则将一个第二目标从对象集合中去除。

其中，预设帧数可以为12帧，即若一个第二目标在超过12帧均不能与第一目标匹配成功，则将第二目标从对象集合中去除。

具体地，可以采用检测跟踪(Tracking by Detection)的方式，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息，通过匹配算法对当前帧中的目标与已有的跟踪目标的跟踪轨迹进行匹配，形成跟踪目标的新的跟踪轨迹，其中，跟踪目标有四种状态位：Create，Update，Lost，Delete。

匹配过程是计算当前帧中的第一目标的检测坐标框与前一帧的跟踪坐标框的IOU，当IOU大于阈值时即为匹配成功，当第一目标的检测坐标框与多个跟踪坐标框均能匹配成功时，取IOU最大的跟踪框。在匹配过程中会遇到以下几种情况：当第一目标能够与已有的跟踪目标匹配上，则更新该跟踪目标的跟踪轨迹，该跟踪目标的状态位为Update；当前的第一目标找不到与之匹配的跟踪目标，说明该目标是新出现的跟踪目标，则为其创建跟踪轨迹，跟踪目标的状态位为Create，并给目标编号(也就是ID)；如果某个跟踪目标(即第二目标) 没有与之匹配的当前帧的检测目标(即第一目标)，则说明该跟踪目标在视频中丢失，跟踪目标的状态位为Lost；当一个跟踪目标的状态位为Lost超过12 帧时，则该跟踪目标的状态位更新为Delete，并删除该跟踪目标的跟踪轨迹。当跟踪目标的状态位为Update时，将其作为候选对象或代检测广告，即候选对象或广告均为存在至少两帧的位置信息，通过上述方式能够过滤掉误检的目标，例如只出现一帧的目标，减少计算量，提高行为检测的准确率。

S22：服务器分别基于各视频帧对应的候选位置信息和广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系；

其中，每个视频帧对应至少一个候选对象的候选位置信息和至少一个广告的广告位置信息，可以基于一个视频帧对应的候选位置信息和广告位置信息，确定在此视频帧中候选对象与广告之间的位置关系，例如，可以根据候选位置信息确定候选对象在视频帧中的边界框，根据广告位置信息确定广告在视频帧中的边界框，并计算边界框之间的是否存在IOU交集，若存在，则对应的候选对象与广告之间的位置关系为存在重叠，若不存在，则对应的候选对象与广告之间的位置关系为不存在重叠。

当候选对象为人体时，由于散发广告的行为与人体手臂相关的关键点密切相关，因此还可以通过人体手部区域与广告的边界框之间是否存在交集(即存在重叠)，确定候选对象与广告之间的位置关系；在一种可选的实施方式中，如图4所示，为本申请实施例中的一种位置关系确定方法的流程示意图，步骤 S22可以实施为以下步骤：

步骤S221：对于一个视频帧，对视频帧中包含候选对象的视频帧区域进行对象关键点检测，获得视频帧区域中各个目标关键点的位置信息，视频帧区域是根据候选位置信息确定的；

步骤S222：基于各个目标关键点的位置信息，确定候选对象的目标部位的部位位置信息；

步骤S223：基于部位位置信息和广告位置信息，确定候选对象与广告之间的位置关系。

具体地，当目标类别是人体时，将人体框(即包含候选对象的视频帧区域) 送入已训练的人体骨骼关键点网络B中，得到人体的17个关键点的位置信息，由于散发广告行为与人体手臂相关的关键点密切相关，这里只取4个关键点分别为左腕关节、左肘关节、右腕关节、右肘关节作为目标关键点，得到各个目标关键点的中心点坐标(x，y)，通过手腕、手肘中心点位置来预测手部掌心 (左、右)坐标，设左肘关节坐标为(x1，y1)，左腕关节坐标为(x2，y2)，得到左掌心坐标(x3，y3)，计算公式如下：

d2＝0.2*2*d1

Δx＝0.2*d1*cosθ

Δy＝0.2*d1*sinθ

x3＝Δx+x2

y3＝Δv+y2

其中，θ为腕部与肘部之间的夹角，d1为腕部与肘部之间的距离，0.2为预测系数，最终得到左手手部区域H的位置信息(即部位位置信息)：以手掌(x3， y3)为中心点，d2为边长的正方形区域，如图5所示，为本申请实施例中的一种手部区域的计算原理示意图。同理，右手手部区域的位置信息也可基于上述方式获得，在此不进行赘述。在获得人体的左手手部区域的位置信息和右手手部区域的位置信息后，可以分别计算候选对象的左手手部区域和右手手部区域与广告是否存在交集，确定候选对象与待检测对象的位置关系。

人体骨骼关键点网络B可以通过以下方式训练：采集城市人行道路的视频序列，获取视频帧得到图片作为训练数据集。制作用于人体骨骼关键点网络B 的训练数据集，标注出人体全身17个关键点，这样训练的人体骨骼关键点网络 B可以预测出人体17个关键点。如图3所示，黑色点为人体手臂相关的关键点 (手肘、手腕)，即目标关键点。

判断广告的边界框存在与人体手部区域H(左、右)的IOU交集，则标记此人体目标携带广告传单标志位flag为1，然后整合检测结果，当目标类型是人体时，人体目标的信息包括：人体坐标框，人体坐标框的置信度分数，当前帧携带广告传单标志位flag，携带的广告坐标框；目标类别是2广告传单时，广告目标的信息有：广告坐标框，广告坐标框的置信度分数。

参阅图6，其为本申请实施例中的一种位置关系判断方法的流程示意图，包括以下步骤：

S61：输入当前帧的视频帧图像；

S62：目标检测网络A对视频帧图像进行目标检测，获得目标的位置信息；

S63：判断目标的类型是否为人体，若是执行步骤S64，若否执行步骤S66；

S64：人体骨骼关键点网络B对包含人体的区域进行关键点检测，获得目标关键点的位置信息；

S65：基于目标关键点的位置信息预测人体目标的手部区域的位置信息；

S66：将人体目标与存在交集的广告目标关联。

S23：服务器基于确定的各位置关系，从候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象；

具体地，根据候选对象与广告之间的位置关系进行筛选，待检测对象为候选对象中可能存在散发广告的行为的对象，散发对象为待检测对象散发广告的对象。

在本申请实施例中，利用目标检测网络检测出人体目标、广告目标，通过人体骨骼关键点网络识别出手腕、手肘关键点，并且预测出手部区域，与广告目标做关联，可以有效识别散发广告的行为，无需大量行为视频片段作为训练集，实用性强。

在一种可选的实施方式中，步骤S23可以实施为以下步骤：

对于一个候选对象，若一个候选对象对应的目标视频帧的数量大于预设帧数阈值，则将一个候选对象作为待检测对象，其中，目标视频帧中候选对象与广告的位置关系为存在重叠；否则，将一个候选对象划分为散发对象。

具体地，在对候选对象进行筛选时，若一个候选对象与广告的位置关系为存在重叠的视频帧的帧数大于预设帧数阈值，则将此候选对象作为待检测对象，候选对象与广告的位置关系为存在重叠可以表征在对应的视频帧中候选对象携带广告，目标视频帧的数量则表征候选对象携带广告的累积时间，若累积时间大于预设帧数阈值，则认为此候选对象长时间携带广告，可能存在散发广告的行为。

例如，当人体目标(候选对象)携带广告传单标志位flag为1时，即在当前帧中人体目标与广告的位置关系为存在重叠，此人体目标携带广告累积时间 t加1，并判断t是否大于阈值t1，若是则认为该人体目标长时间携带广告传单，需要进一步判断是否存在散发行为。

S24：服务器基于与对应的广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为。

具体地，在步骤S23中确定待检测对象之后，可以根据与待检测对象存在交集的广告与散发对象的位置关系，确定待检测对象散发广告的次数，若散发次数大于次数阈值则可以确定待检测对象存在散发广告的行为。

例如，将待检测对象对应的广告的坐标框与其他各个散发对象的坐标框进行IOU交集计算，若存在有交集的散发对象，则数量信息加1，当数量信息大于设置的次数阈值n1时，确定待检测对象存在散发广告的行为。

在本申请实施例中，通过分别对待检测视频中的各视频帧进行目标检测，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息；进而，基于各视频帧对应的候选位置信息和广告位置信息，从候选对象中筛选出待检测对象，将剩余候选对象作为散发对象；最后，基于与广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为，通过上述方式能够自动识别散发广告的行为，提高对散发广告的行为的检测效率，并且提高行为检测的准确率。

在一种可选的实施方式中，若确定待检测对象存在散发广告的行为，则基于与广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象散发广告的次数。

具体地，与广告之间的位置关系为存在重叠的散发对象的数量信息等于待检测对象散发广告的次数，即若与广告之间的位置关系为存在重叠的散发对象的数量为10，则表明待检测对象向10个散发对象散发了广告，散发广告的次数为10次。

在一种可选的实施方式中，若确定待检测对象存在散发广告的行为，则基于确定的各位置关系，获得各视频帧中的待关联广告，并将待关联广告与待检测对象进行关联，并基于待检测对象关联的待关联广告的数量信息，确定待检测对象对应的广告遗弃等级。

其中，待关联广告为在相应视频帧中与候选对象之间的位置关系为不存在重叠的广告，待关联广告为被遗弃的广告，由于待关联广告被遗弃后会造成环境污染，因此要对待检测对象关联的待关联广告的数量信息进行统计，确定广告遗弃等级(即传单遗弃等级)，广告遗弃等级需要作为对待检测对象散发广告行为的证据进行上报。

基于上述方式，在确定待检测对象存在散发行为后，对待检测对象的散发广告的次数、广告遗弃等级进行了识别，形成完备的抓拍证据链，无需人工识别，即可完成对散发广告的行为的检测和证据收集，提高行为检测效率。

本申请中的散发广告的行为检测方法用于街头散发广告的行为检测时，参阅图7，为本申请实施例中的一种行为检测系统的结构示意图，行为检测系统以深度学习方法为基本方法，包括以下模块：

数据采集模块：设置监控区域并获取城市人行道监控数据；

深度网络识别模块：对数据采集模块获取到的城市人行道监控数据进行目标检测检测出人体目标、广告目标，对人体目标进行人体骨骼关键点识别，获得人体目标的关键点，预测出人体目标的手部区域并与携带的广告相关联，将整合后的信息送入多目标跟踪模块；

多目标跟踪模块：对深度网络识别模块检测到的人体目标和广告目标进行主动跟踪，得到人体目标的运动轨迹以及ID、广告目标的运动轨迹以及ID，然后将跟踪的结果送到告警逻辑判断模块；

告警逻辑判断模块：根据多目标跟踪模块获得的人体目标的运动轨迹以及 ID、广告目标的运动轨迹以及ID，判断人体目标是否存在散发广告行为，输出散发广告行为判断结果、散发广告次数以及传单遗弃等级。

在本申请实施例中，不但可以准确识别出散发广告的行为，还可以识别遗弃广告等级、散发广告的次数，上报的证据链完备，可作为执法依据。告警逻辑判断模块是通过累计计数、位置关联等判断逻辑进行识别，可避免个别帧误检结果影响整体告警准确率。

其中，告警逻辑判断模块的具体工作流程如图8所示，其为本申请实施例中的一种告警逻辑判断模块的工作流程示意图，包括以下步骤：

S801：循环跟踪结果；

S802：获取当前帧人体目标的置信度分数、在视频帧中的位置信息和携带的广告传单标志位、携带的广告的位置信息，以及广告目标的置信度分数和在视频帧中的位置信息；

S803：判断当前目标的类别是否为人体目标，若是执行步骤S807，若否执行步骤S804；

S804：判断当前的广告目标的置信度分数是否大于阈值th1，若是执行步骤 S805，若否执行步骤S801；

S805：判断当前的广告目标的中心点坐标是否在设置的监控区域内，若是执行步骤S806，若否执行步骤S801；

S806：判断其他各个人体目标与当前的广告目标是否有IOU交集，若是执行步骤S801，若否执行步骤S813；

S807：判断当前的人体目标的置信度分数是否大于阈值th2，若是执行步骤 S808，若否执行步骤S801；

S808：判断当前的人体目标的携带广告传单标志位是否为1，若是执行步骤S809，若否执行步骤S801；

S809：将当前的人体目标携带广告累积时间t加1；

S810：判断t是否大于阈值t1，若是执行步骤S811，若否执行步骤S801；

S811：将当前的人体目标携带的广告与其他各个人体目标进行IOU交集计算，获得存在交集的人体目标的数量信息，作为当前的人体目标的散发次数；

S812：判断散发次数是否大于设置的阈值n1，若是执行步骤S813，若否执行步骤S801；

S813：确定与其他各个人体目标没有交集的广告目标的数量，作为当前的人体目标的传单遗弃等级；

S814：将当前的人体目标、传单遗弃等级、散发次数作为告警结果上传给上层平台，并通知执法人员。

本申请中的告警逻辑判断模块，步骤层层递进，逻辑严密，实用性强。通过设置置信度分数阈值，过滤掉误检目标。通过设置携带广告累积时间，提高散发广告的告警准确率；通过计算人体与携带的广告的位置关系，可以准确识别散发广告的行为。上报散发广告人体目标、散发广告的次数以及遗弃传单等级，形成完备的抓拍证据链。

基于相同的发明构思，本申请实施例还提供一种散发广告的行为检测装置。如图9所示，其为散发广告的行为检测装置900的结构示意图，可以包括：

检测单元901，用于分别对待检测视频中的各视频帧进行目标检测，获得各视频帧中候选对象的候选位置信息和广告的广告位置信息；

第一确定单元902，用于分别基于各视频帧对应的候选位置信息和广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系；

筛选单元903，用于基于确定的各位置关系，从候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象；

第二确定单元904，用于基于与对应的广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象是否存在散发广告的行为。

可选的，筛选单元903具体用于：

针对每个候选对象，分别执行以下操作：

对于一个候选对象，若一个候选对象对应的目标视频帧的数量大于预设帧数阈值，则将一个候选对象作为待检测对象，其中，目标视频帧中候选对象与广告的位置关系为存在重叠；

否则，将一个候选对象划分为散发对象。

可选的，第一确定单元902具体用于：

针对每个视频帧中的候选对象分别执行以下操作：

对于一个视频帧，对视频帧中包含候选对象的视频帧区域进行对象关键点检测，获得视频帧区域中各个目标关键点的位置信息，视频帧区域是根据候选位置信息确定的；

基于各个目标关键点的位置信息，确定候选对象的目标部位的部位位置信息；

基于部位位置信息和广告位置信息，确定候选对象与广告之间的位置关系。

可选的，若确定待检测对象存在散发广告的行为，装置还包括第三确定单元905，用于：

基于与广告之间的位置关系为存在重叠的散发对象的数量信息，确定待检测对象散发广告的次数。

可选的，若确定待检测对象存在散发广告的行为，装置还包括关联单元906，用于：

基于确定的各位置关系，获得各视频帧中的待关联广告，待关联广告为在相应视频帧中与候选对象之间的位置关系为不存在重叠的广告；

将待关联广告与待检测对象进行关联，并基于待检测对象关联的待关联广告的数量信息，确定待检测对象对应的广告遗弃等级。

可选的，检测单元901具体用于：

对每个视频帧分别执行以下操作：

对于一个视频帧，对一个视频帧进行目标检测，将检测到的各目标作为第一目标，并获得各第一目标的第一位置信息；每个第一目标为相应视频帧中的对象或广告；

基于各第一位置信息，与当前的目标集合中各第二目标在相应视频帧的第二位置信息，对各第一目标和各第二目标进行匹配，当前的目标集合包括在一个视频帧之前的视频帧中检测到的目标；

可选的，检测单元901还用于：

将匹配成功的第一目标的第一位置信息，作为对应的第二目标在一个视频帧中的第二位置信息；和/或，

将匹配失败的第一目标，作为新的第二目标添加到对象集合中。

可选的，检测单元901还用于：

对于一个第二目标，若在预设帧数内不存在与一个第二目标匹配成功的第一目标，则将一个第二目标从对象集合中去除。

可选的，装置还包括去除单元907，用于：

分别对各视频帧进行目标检测，获得各视频帧中的候选对象的第一置信度，并将第一置信度低于第一置信度阈值的候选对象去除；和/或，

分别对各视频帧进行目标检测，获得各视频帧中的广告的第二置信度，并将第二置信度低于第二置信度阈值的广告去除。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图10所示，包括存储器1001，通讯模块1003以及一个或多个处理器1002。

存储器1001，用于存储处理器1002执行的计算机程序。存储器1001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器1001可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1001也可以是非易失性存储器 (non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器 1001是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器1001可以是上述存储器的组合。

处理器1002，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1002，用于调用存储器1001中存储的计算机程序时实现上述散发广告的行为检测方法。

通讯模块1003用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器1001、通讯模块1003和处理器1002之间的具体连接介质。本申请实施例在图10中以存储器1001和处理器1002之间通过总线1004连接，总线1004在图10中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1004可以分为地址总线、数据总线、控制总线等。为便于描述，图10中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

存储器1001中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的散发广告的行为检测方法。处理器1002用于执行上述的散发广告的行为检测方法，如图2所示。

在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图11所示，包括：通信组件 1110、存储器1120、显示单元1130、摄像头1140、传感器1150、音频电路1160、蓝牙模块1170、处理器1180等部件。

通信组件1110用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。

存储器1120可用于存储软件程序及数据。处理器1180通过运行存储在存储器1120的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1120 存储有使得终端设备110能运行的操作系统。本申请中存储器1120可以存储操作系统及各种应用程序，还可以存储执行本申请实施例散发广告的行为检测方法的计算机程序。

显示单元1130还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元1130可以包括设置在终端设备110正面的显示屏1132。其中，显示屏1132可以采用液晶显示器、发光二极管等形式来配置。显示单元1130 可以用于显示本申请实施例中的行为检测用户界面等。

显示单元1130还可用于接收输入的数字或字符信息，产生与终端设备110 的用户设置以及功能控制有关的信号输入，具体地，显示单元1130可以包括设置在终端设备110正面的触摸屏1131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

其中，触摸屏1131可以覆盖在显示屏1132之上，也可以将触摸屏1131与显示屏1132集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元1130可以显示应用程序以及对应的操作步骤。

摄像头1140可用于捕获静态图像，用户可以将摄像头1140拍摄的图像通过应用发布评论。摄像头1140可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device， CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor， CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1180转换成数字图像信号。

终端设备还可以包括至少一种传感器1150，比如加速度传感器1151、距离传感器1152、指纹传感器1153、温度传感器1154。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路1160、扬声器1161、传声器1162可提供用户与终端设备110之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号，传输到扬声器1161，由扬声器1161转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1162将收集的声音信号转换为电信号，由音频电路1160接收后转换为音频数据，再将音频数据输出至通信组件1110以发送给比如另一终端设备110，或者将音频数据输出至存储器 1120以便进一步处理。

蓝牙模块1170用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1170与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

处理器1180是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1120内的软件程序，以及调用存储在存储器1120内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1180可包括一个或多个处理单元；处理器1180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1180中。本申请中处理器1180可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的散发广告的行为检测方法。另外，处理器1180与显示单元1130耦接。

在一些可能的实施方式中，本申请提供的散发广告的行为检测方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的散发广告的行为检测方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器 (CD-ROM)并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序命令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种散发广告的行为检测方法，其特征在于，该方法包括：

2.如权利要求1所述的方法，其特征在于，所述基于确定的各位置关系，从所述候选对象中筛选出待检测对象，并将剩余候选对象作为散发对象，包括：

针对每个候选对象，分别执行以下操作：

否则，将所述一个候选对象划分为所述散发对象。

3.如权利要求1所述的方法，其特征在于，所述分别基于各视频帧对应的所述候选位置信息和所述广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系，包括：

针对每个视频帧中的候选对象分别执行以下操作：

4.如权利要求1～3任一项所述的方法，其特征在于，若确定所述待检测对象存在散发所述广告的行为，则所述方法还包括：

5.如权利要求1～3任一项所述的方法，其特征在于，若确定所述待检测对象存在散发所述广告的行为，则所述方法还包括：

6.如权利要求1～3任一项所述的方法，其特征在于，所述分别对待检测视频中的各视频帧进行目标检测，获得所述各视频帧中候选对象的候选位置信息和广告的广告位置信息，包括：

对每个视频帧分别执行以下操作：

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

8.如权利要求6所述的方法，其特征在于，所述方法还包括：

9.如权利要求1～3任一项所述的方法，其特征在于，在所述分别基于各视频帧对应的所述候选位置信息和所述广告位置信息，确定相应视频帧中的候选对象与广告之间的位置关系之前，还包括：

10.一种散发广告的行为检测装置，其特征在于，包括：

11.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～9中任一所述方法的步骤。

12.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～9中任一所述方法的步骤。

13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行权利要求1～9中任一所述方法的步骤。