CN114821978A - 一种误报警的消除方法、装置以及介质 - Google Patents

Abstract

本申请涉及数据处理技术领域，公开了一种误报警的消除方法、装置以及介质，在智能摄像机监控时，通过对声音序列的提取和分析判断出当前天气是否为有风天气，以确认是否会因风力影响而发生误报警。当有风时，通过摄像机采集到的图像定位疑似风动区域，并调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；若是，则忽略疑似风动区域，若否，则输出报警。采用本技术方案先通过采集到的声音序列判断是否存在风力影响，有风时再通过图像定位疑似风动区域，再根据存有像素位置的风动位置图和误报警样本数据的风动样本库确定疑似风动区域是否是真正的风动区域，由此在确定风动区域后不进行输出，从而实现对误报警的消除。

Description

一种误报警的消除方法、装置以及介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种误报警的消除方法、装置以及介质。

背景技术

在安防领域，智能摄像机极大地提升了安防行业的效率，摄像机使用物体检测算法对抓拍图像进行处理，根据检测的结果进行相应的报警。然而由于使用场景的复杂性，物体检测算法导致的误报警不能完全避免，尤其是在大风等异常天气时。由于风力的影响，很多物体会改变其形态，如树木、旗帜、软性招牌、车辆遮挡物等各种可以被风吹动的物体，从而会产生误报警的情况。

由此可见，如何在使用物体检测算法对抓拍图像进行处理时消除误报警是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种误报警的消除方法、装置以及介质，用于在使用物体检测算法对抓拍图像进行处理时消除误报警。

为解决上述技术问题，本申请提供一种误报警的消除方法，该方法包括：

抓拍图像和对应时刻的声音序列；

根据所述声音序列判断当前天气是否为有风天气；

若是，则根据所述图像定位疑似风动区域；

调用风动位置图以及风动样本库确认所述疑似风动区域是否为风动区域；其中，所述风动位置图中存有因风力吹动导致图像内容变化的像素位置；所述风动样本库存有因风力吹动导致误报警的样本数据。

若是，则忽略所述疑似风动区域，若否，则输出报警。

优选的，所述根据所述图像定位疑似风动区域包括：

计算每连续两帧所述图像中的像素变化图并对所述像素变化图进行二值化处理；

将各所述像素变化图相加得到整体像素变化图；

在所述整体像素变化图中选择一个正值像素加入预设集合中；

判断所述预设集合中的正值像素在所述整体像素变化图中的相邻像素是否为正值，若是，则将为正值的所述相邻像素加入所述预设集合，重复本步骤直至所述预设集合中不再加入像素；

确定所述预设集合中各像素组成的区域为所述疑似风动区域，并计算所述疑似风动区域的最小外包矩形以确定图像区域。

优选的，所述调用风动位置图以及风动样本库确认所述疑似风动区域是否为风动区域包括：

若所述疑似风动区域对应的所述图像区域中，属于所述风动位置图的像素占全部像素的比值不小于第一阈值，则确认所述疑似风动区域为所述风动区域；

若所述比值小于所述第一阈值且大于第二阈值，则判断所述疑似风动区域的数据是否与所述风动样本库中的所述样本数据匹配；所述数据包括图像数据和声音数据；若匹配，则确认所述疑似风动区域为所述风动区域；若不匹配，则根据区域物体分类算法确定所述疑似风动区域的类别以确定所述疑似风动区域是否为新增风动区域，若是所述新增风动区域，则进入所述忽略所述疑似风动区域的步骤；若不是，则进入所述输出报警的步骤；其中所述类别包括目标类和背景类；

若所述比值不大于所述第二阈值，则进入所述根据区域物体分类算法确定所述疑似风动区域的类别以确定所述疑似风动区域是否为新增风动区域的步骤。

优选的，所述风动位置图的建立包括：

采集连续的两帧图像；

计算两帧所述图像中的像素变化以得到风动变化图；

若当前天气为无风天气，则所述风动变化图中的像素的位置风动值减1；

若当前天气为有风天气，则所述风动变化图中的像素的位置风动值加1；

返回所述采集连续的两帧图像的步骤，直至达到预设次数；

确定所述风动变化图中位置风动值为正值的像素的位置为风动位置；

根据所述风动位置确认联通区域；

将所述联通区域中的像素的位置风动值均设置为正值，以得到风动位置图。

优选的，所述风动样本库的建立包括：

获取当前声音序列以判断当前天气是否为有风天气；

若为有风天气，则抓取当前图像；

根据所述当前图像进行物体检测以得到图像区域；

判断所述图像区域中的像素与所述风动位置图中位置为风动位置的像素相同的比例是否大于阈值；

若是，则将所述当前声音序列和所述当前图像对应的声音数据和图像数据作为风动样本存入侯选库；

返回所述获取当前声音序列以判断当前天气是否为有风天气的步骤，直至所述风动样本的个数达到预设个数；

在所述风动样本中同一音量等级的样本中选择一个作为样本数据存入所述风动样本库。

优选的，所述根据所述声音序列判断当前天气是否为有风天气包括：

计算所述声音序列的音量，并使用风声检测器判断所述声音序列中是否有风声；

若所述声音序列的音量超出声音阈值且所述声音序列中有风声，则确认所述当前天气为有风天气；

其中，所述风声检测器为根据预设数量的声音序列使用机器学习技术训练而成的神经网络。

优选的，还包括：

根据所述新增风动区域更新所述风动位置图和所述风动样本库。

为解决上述技术问题，本申请还提供一种误报警的消除装置，该装置包括：

抓拍模块，用于抓拍图像和对应时刻的声音序列；

判断模块，用于根据所述声音序列判断当前天气是否为有风天气；

定位模块，用于若是，则根据所述图像定位疑似风动区域；

确认模块，用于调用风动位置图以及风动样本库确认所述疑似风动区域是否为风动区域；其中，所述风动位置图中存有因风力吹动导致图像内容变化的像素位置；所述风动样本库存有因风力吹动导致误报警的样本数据。

输出模块，用于若是，则忽略所述疑似风动区域，若否，则输出报警。

为解决上述技术问题，本申请还提供另一种误报警的消除装置，该装置包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述的误报警的消除方法的步骤。

为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的误报警的消除方法的步骤。

本申请所提供的误报警的消除方法，在智能摄像机监控时，通过对声音序列的提取和分析判断出当前天气是否为有风天气，以确认是否可能会因风力影响而发生误报警。当有风时，通过摄像机采集到的图像定位疑似风动区域，并调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；其中，风动位置图中存有因风力吹动导致图像内容变化的像素位置；风动样本库存有因风力吹动导致误报警的样本数据，若是，则忽略疑似风动区域，若否，则输出报警。采用本技术方案，由于风动物体的变化是在一个固定区域里面反复发生形变，移动范围有限，且形变是有周期性的。因此先通过采集到的声音序列判断是否存在风力影响，有风时再通过图像定位疑似风动区域，再根据存有像素位置的风动位置图和误报警样本数据的风动样本库确定疑似风动区域是否是真正的风动区域，由此在确定风动区域后不进行输出，从而实现对误报警的消除。

此外，本申请所提供的误报警的消除装置以及介质与上述的误报警的消除方法相对应，效果同上。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种误报警的消除方法的流程图；

图2为本申请实施例提供的一种误报警的消除装置的结构图；

图3为本申请实施例提供的另一种误报警的消除装置的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

随着技术的进步，越来越多具有物体检测能力的智能摄像机被用在安防监控等场景中，极大地推动了安防行业的发展。然而由于当前人工智能技术的局限性和使用场景的复杂性，当开启物体检测算法时，不可避免的会有一定的误报警。物体检测算法在受到异常天气影响时误报警往往更为频繁，而大风天气是较为常见的异常天气。

在安防领域，摄像机使用物体检测算法对抓拍图像进行处理，根据检测的结果进行相应的报警，如人形、车辆、宠物等事件的报警。智能摄像机极大地提升了安防行业的效率，然而由于使用场景的复杂性、当前智能算法的局限性和摄像机有限的处理能力，物体检测算法导致的误报警不能完全避免，尤其是在大风、雨雪等异常天气时。由于风力的影响，很多物体会改变其形态，如树木、旗帜、软性招牌、车辆遮挡物等各种可以被风吹动的物体。在本申请中，将可以被风力吹动的物体简称为风动物体。一方面风动物体的形态复杂多变，另一方面现有的物体检测算法还不能很好的处理形态多变的物体，如何消除风力吹动导致的物体检测算法误报警是本领域技术人员亟待解决的问题。

本申请的核心是提供一种误报警的消除方法、装置以及介质，用于在使用物体检测算法对抓拍图像进行处理时消除误报警。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

图1为本申请实施例提供的一种误报警的消除方法的流程图，如图1所示，该方法包括：

S10：抓拍图像和对应时刻的声音序列。

本实施例中的执行主体可以是误报警的消除装置，其通常作为服务端，利用物体检测算法对客户端例如摄像头采集的图像信息进行处理，以判断是否输出报警。在步骤S10中，客户端除了摄像头外，还包括麦克风，该麦克风与摄像头配合使用，用于采集摄像头周边环境的声音信息。客户端将采集到的图像和声音序列发送至服务端进行报警判断，在具体实施中，为了实现是否报警的准确判断，本实施例中的图像和声音序列可以是一段时间的图像和声音序列。需要说明的是，本实施例中的执行主体既可以部署在远程主机，也可以部署在有较强处理能力的边缘设备，例如相机等。

S11：根据声音序列判断当前天气是否为有风天气，若是，则进入步骤S12。

需要说明的是，本申请的目的是想消除因风力吹动物体而产生的误报警，该误报警肯定是在有风天气下才能产生的，因此在本实施例中，需要先判断当前的天气是否是有风天气，只有在有风天气时，才需要进行误报警的消除。在当前天气不是有风天气时，可以直接利用物体检测算法判断是否需要报警，直接根据图像进行输出。在步骤S11中，是通过麦克风采集的声音序列判断当前天气是否为有风天气。在其他实施例中，也可以通过联网的方式通过天气预报获取当前地区的天气情况，可以理解的是，由于地区、测试时间以及周边环境的不同，从天气预报处获取的天气情况并不能实际的反映当前天气，因此优选的，本实施例通过麦克风实时的收集摄像头周边环境的声音信息，能够更加准确的反映当前时刻的天气情况。在通过声音序列判断当前天气是否为有风天气时，可以根据收集的声音的音量、音调等信息判断是否为有风天气。

S12：根据图像定位疑似风动区域。

S13：调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；其中，风动位置图中存有因风力吹动导致图像内容变化的像素位置；风动样本库存有因风力吹动导致误报警的样本数据。若是，则进入步骤S14，若否，则进入步骤S15。

S14：忽略疑似风动区域。

S15：输出报警。

在具体实施中，风动物体虽然变化多样，但风动物体的变化有其内在的规律，和真实检测目标如人形、宠物等的变化有很大的不同。首先，随着风力变化，风动物体是在一个固定区域里面反复发生形变，即风动物体的移动范围是有限的，毕竟大部分质地坚硬的物体不会受到风力的影响。其次，随着风力变化，风动物体的形变是有周期性的。所以，对一个固定场景，通过一定时间的统计，可以获得风动物体的运动范围信息和风动物体的图像等信息。

本实施例中的风动位置图记录的是因风力吹动导致图像内容变化的像素位置。风动样本库存放的是因风力吹动导致的风动物体产生的误报警样本。当风动物体被风吹动时会导致摄像机拍摄的图像内容产生变化，这些内容变化导致了风动误报的发生，因此本申请首先定位图像中的内容变化区域。在确定当前天气是有风天气后，通过对图像的分析处理，筛选出可能是风动物体变化的疑似风动区域，再通过风动位置图以及风动样本库确认出真正的风动区域。在具体实施中，还可以通过定期更新风动位置图和风动样本库，来及时响应场景中风动物体的变化情况。

本申请实施例提供的误报警的消除方法，在智能摄像机监控时，通过对声音序列的提取和分析判断出当前天气是否为有风天气，以确认是否可能会因风力影响而发生误报警。当有风时，通过摄像机采集到的图像定位疑似风动区域，并调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；其中，风动位置图中存有因风力吹动导致图像内容变化的像素位置；风动样本库存有因风力吹动导致误报警的样本数据，若是，则忽略疑似风动区域，若否，则输出报警。采用本技术方案，由于风动物体的变化是在一个固定区域里面反复发生形变，移动范围有限，且形变是有周期性的。因此先通过采集到的声音序列判断是否存在风力影响，有风时再通过图像定位疑似风动区域，再根据存有像素位置的风动位置图和误报警样本数据的风动样本库确定疑似风动区域是否是真正的风动区域，由此在确定风动区域后不进行输出，从而实现对误报警的消除。

在上述实施例的基础上，本实施例提供一种具体的定位疑似风动区域的方法，根据图像定位疑似风动区域包括：

计算每连续两帧图像中的像素变化图并对像素变化图进行二值化处理；

将各像素变化图相加得到整体像素变化图；

在整体像素变化图中选择一个正值像素加入预设集合中；

判断预设集合中的正值像素在整体像素变化图中的相邻像素是否为正值，若是，则将为正值的相邻像素加入预设集合，重复本步骤直至预设集合中不再加入像素；

确定预设集合中各像素组成的区域为疑似风动区域，并计算疑似风动区域的最小外包矩形以确定图像区域。

在上述实施例中介绍到，抓拍的图像和声音序列是一段时间的图像和声音序列，在本实施例中，例如采集的图像分别为I₁，I₂，I₃，I₄，I₅共5帧连续图像，计算每连续两帧图像中的像素变化图，例如计算图像I₁和I₂之间的像素变化，得到像素变化图D₁₂如下：

D₁₂ =abs（I₁（R）-I₂（R））+ abs（I₁（G）-I₂（G））+ abs（I₁（B）-I₂（B））；

其中I₁（R）、I₁（G）、I₁（B）分别表示I₁帧图像的RGB三通道的数值，I₂（R）、I₂（G）、I₂（B）分别表示I₂帧图像的RGB三通道的数值，abs表示取绝对值操作，D₁₂表示图像I₁和I₂之间对应位置的像素变化。然后对像素变化图进行二值化，如果D₁₂中对应的像素变化值大于一定阈值，在具体实施中通常为50，则二值化后像素变化图D₁₂中对应像素的值为1，反之如果小于50，则对应像素的值为0。

通过计算得出D₁₂，D₂₃，D₃₄，D₄₅每连续两帧的像素变化图，由于使用连续两帧得到的像素变化图只反映了部分运动区域，所以把多个像素变化图进行累加以获得更稳定的运动区域。通过累加得到整体像素变化图D = D₁₂ + D₂₃ + D₃₄ + D₄₅。可以理解的是，本步骤中得到的整体像素变化图反映的运动包括风动物体的运动，还包括真实检测目标例如行人、车辆移动等产生的运动。

在得到整体像素变化图后，需要从中找出每个疑似风动区域，实现对不同区域的分别。在本实施例中，首先在整体像素变化图D中随机选择一个正值像素作为起点像素，把起点像素加入集合Ω中，在起点像素加入集合Ω之前，集合Ω为空集。然后依据该起点像素进行像素扩展，在整体像素变化图D中查找集合Ω中每个像素的上下左右四个方向的相邻像素，如果某个相邻像素为正值并且未在Ω中，则把该像素加入集合Ω中。多次重复这一像素扩展过程，直到集合Ω中的像素不再增加。最后得到的Ω中的像素是相互联通的，它们一起组成一个疑似风动区域。反复执行本步骤，得到图像中全部的疑似风动区域。为方便后续的风动区域评估，本实施例还计算每个疑似风动区域的最小外包矩形以确定图像区域。

本实施例提供了一种具体的定位疑似风动区域的方法，通过每连续两帧图像中的像素变化确定出像素变化图，再根据像素扩展确定出疑似风动区域。

本实施例中的风动位置图和风动样本库是依据风动物体的移动范围有限以及风动物体的形变呈周期性而设置的，在调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域时，若疑似风动区域对应的图像区域中，属于风动位置图的像素占全部像素的比值不小于第一阈值，则确认疑似风动区域为风动区域；

若比值小于第一阈值且大于第二阈值，则判断疑似风动区域的数据是否与风动样本库中的样本数据匹配；数据包括图像数据和声音数据；若匹配，则确认疑似风动区域为风动区域；若不匹配，则根据区域物体分类算法确定疑似风动区域的类别以确定疑似风动区域是否为新增风动区域，若是新增风动区域，则进入忽略疑似风动区域的步骤；若不是，则进入输出报警的步骤；其中类别包括目标类和背景类；

若比值不大于第二阈值，则进入根据区域物体分类算法确定疑似风动区域的类别以确定疑似风动区域是否为新增风动区域的步骤。

在本实施例中，对一个疑似风动区域，使用风动位置图来判断其是否为真正的风动区域。若属于风动位置图的像素占全部像素的比值不小于第一阈值95%的像素都是风动像素，则可以判定该区域为风动区域，并把该区域作为风动引起的误报，不输出此区域的检测结果。如果该疑似风动区域中对应风动像素比例小于第一阈值95%且大于第二阈值50%，则需要继续进行疑似风动区域的二次评估。如果该疑似风动区域中对应风动像素比例少于50%，则需要继续运行区域物体分类算法进行判断。

对于有些疑似风动区域，需要进行二次评估。二次评估是通过与风动样本库中的样本数据匹配来判断一个疑似风动区域是否为真实风动区域。由于风动区域随着不同风力会呈现多样的形态，单纯使用图像信息进行匹配可能会产生较多的误匹配，因此本实施例同时使用风动物体的图像特征和对应时刻的声音特征，通过声音信息的加入进一步增强匹配的准确度。

针对当前疑似风动区域样本，首先按照空间位置在风动样本库中筛选出与当前样本数据有交集的所有样本并放入集合Ψ中，交集的判断是依据两个样本数据在空间位置的交并比值大于0.5。然后对当前样本数据与集合Ψ中的每个样本进行匹配度计算，计算公式如下：

d（s，s*）= wd₁（IR，IR*）+（1-w）d₂（Seqt，Seqt*）

其中d₁为图像数据匹配度计算方法，d₂为声音数据匹配度计算方法，w为图像数据匹配度的权重，w取值为0.9。为计算图像数据匹配度，首先分别提取图像区域IR，IR*的图像特征，该图像特征由使用深度学习训练得到的神经网络计算得出，然后计算两个图像特征的余弦相似度作为d₁的输出。为计算声音序列相似度，首先分别提取声音序列Seqt，Seqt*的声音特征，该声音特征由使用深度学习训练得到的神经网络计算得出，然后计算两个声音特征的余弦相似度作为d₂的输出。当d(s，s*)值大于一定阈值时，则判定当前样本为风动物体导致的误报，不再进行后续的物体分类算法。否则，说明当前样本可能不是风动物体或者是新增的风动物体，需要后续的区域物体分类算法来判断。

区域物体分类算法是对局部图像区域进行一个多分类的判断。输入一个风动图像区域，分类算法会判定区域的类别，类别为检测目标类加上背景类，如进行人形检测，则分类算法会判定区域的类别是人形还是背景。在本实施例中，物体分类算法采用深度神经网络分类器，首先采集一定数量的图像区域并进行类别标注，然后通过训练即可获得对应的物体分类算法。

本实施例提供的误报警的消除方法，根据风动物体的移动范围有限以及风动物体的形变呈周期性，通过记录因风力吹动导致图像内容变化的像素位置的风动位置图和存放因风力吹动导致的风动物体产生的误报警样本的风动样本库，实现对风动区域的确定。

可以理解的是，风动位置图和风动样本库是对风动物体进行建模的核心模块，本实施例中对当前时刻的物体检测是依据于提前创建好的风动位置图和风动样本库，本实施例提供一种具体的风动位置图和风动样本库的建立方法。其中，风动位置图的建立包括：

采集连续的两帧图像；

计算两帧图像中的像素变化以得到风动变化图；

若当前天气为无风天气，则风动变化图中的像素的位置风动值减1；

若当前天气为有风天气，则风动变化图中的像素的位置风动值加1；

返回采集连续的两帧图像的步骤，直至达到预设次数；

确定风动变化图中位置风动值为正值的像素的位置为风动位置；

根据风动位置确认联通区域；

将联通区域中的像素的位置风动值均设置为正值，以得到风动位置图。

通过上述实施例的介绍，风动位置图记录的是因风力吹动导致图像内容变化的像素位置。本实施例使用基于运动区域统计的方式来确定风动区域，为了排除目标物体的运动影响，如行人、车辆、宠物的运动，需要同时统计有风时的运动区域和无风时的运动区域。有风时的运动像素位置加分，无风时的运动像素位置减分。在完成风动位置图初始化后，风动位置图的计算流程具体包含如下步骤：

通过麦克风拾音判断当前天气是否为无风天气，通过采集连续两帧图像，计算两帧图像中的像素变化来确定风动变化图，计算方法和前述的像素变化图计算方法一致。若当前天气为无风天气，由于在无风时的运动区域一般为真实的报警目标如人、车、宠物等导致的运动，这些区域不是风动区域，所以此处通过风动值减1的方式对真实目标产生的运动区域进行抑制。而由于在有风时的运动区域很可能是真实的风力吹动导致的运动，因此，风动变化图中的像素的位置风动值加1。

可以理解的是，上述步骤运行的次数越多，对风动变化图的统计会越准确。因此本实施例运行一定次数的上述步骤，一般不少于10次。统计完成后，

确定风动变化图中位置风动值为正值的像素的位置为风动位置，根据风动位置确认联通区域。风动变化图所有正值的像素认为是风动位置，由于连续图像之间的像素变化往往发生在风动区域的边缘，可能出现一个区域的边缘像素被判定为风动像素，但是中间像素却被判定为非风动像素的情况，因此还需要把中间像素位置调整为风动像素。具体来说，对风动变化图使用上述的像素扩展的方法，得到不同联通区域的风动位置。风动变化图中的分组联通像素后，把每组联通像素所包围的所有像素都设置为风动像素，从而得到风动位置图。

风动位置图首次创建后会持续更新，风动位置图的更新会同时考虑更新前的风动位置信息和更新时的风动位置信息，风动位置的变化会逐步更新到风动位置图中。随着时间的累积，风动位置的判断会越来越准确，更新频率可以为每天一次。

风动样本库的建立包括：

获取当前声音序列以判断当前天气是否为有风天气；

若为有风天气，则抓取当前图像；

根据当前图像进行物体检测以得到图像区域；

判断图像区域中的像素与风动位置图中位置为风动位置的像素相同的比例是否大于阈值；

若是，则将当前声音序列和当前图像对应的声音数据和图像数据作为风动样本存入侯选库；

返回获取当前声音序列以判断当前天气是否为有风天气的步骤，直至风动样本的个数达到预设个数；

在风动样本中同一音量等级的样本中选择一个作为样本数据存入风动样本库。

风动样本库中存放的是因风力吹动导致的风动物体产生的误报警。通过风动位置图的使用，可以最大限度保证样本库中的样本都是真实的误报警。如果某个真实检测目标偶然被放入风动样本库中，也不会对物体检测造成严重影响，因为同一真实检测目标如行人或宠物，在同样的有风天气反复出现的可能性较低。即使一个真实检测目标因为出现在某个风动区域而被作为误报，同一目标也会在其它非风动区域被检测出。

在风动样本库生成后，可以阶段性的对风动样本库进行更新，更新的频率和风动位置图的更新频率可以保持一致。具体来说，首先抓取声音序列和图像信息。当判断为有风天气时，正常运行物体检测算法并获得一定数量的报警样本。对一个报警样本，首先判断区域与风动位置图中风动位置的交集，如果区域中有超过75%的像素都属于风动位置，则计算对应声音序列的音量，并在区域对应的样本分组中替换掉具有同样音量的风动样本。样本更新可以保证风动样本库能响应风动区域变化，进一步提升效果。

需要说明的是，上述实施例提供的是摄像机拍摄角度不变时的风动位置图和风动样本库的生成和更新过程。当摄像机的拍摄角度静止不变时，对每台摄像机只要维护一份风动位置图和风动样本库就可以有效的减少风动造成的误报。当摄像机有云台支持可以经常调整拍摄角度时，可以通过构建角度相关的风动位置图和风动样本库的方式来支持多角度误报消除。具体来说，首先把云台的转动范围划分成一定数量的角度区域，在每个角度区域中，最大转动方向上的转动角度应小于10度，最大转动方向为云台运动的主要方向，如云台主要做水平运动则水平方向为最大转动方向。其次对每一个角度区域，分别生成一份风动位置图和风动样本库，生成方法和上述单角度时一致。然后在有风天气时，当云台转到一个角度时，只需使用当前角度对应的风动位置图和风动样本库，就可以有效减小风动物体导致的误报。最后对每个角度区域的风动位置图和风动样本库按照一定频率进行更新，更新方法和前述单角度时一致。

上述实施例中对如何判断当前天气是否为有风天气并没有做出限定，在本实施例中，根据声音序列判断当前天气是否为有风天气包括：

计算声音序列的音量，并使用风声检测器判断声音序列中是否有风声；

若声音序列的音量超出声音阈值且声音序列中有风声，则确认当前天气为有风天气；

其中，风声检测器为根据预设数量的声音序列使用机器学习技术训练而成的神经网络。

在本实施例中，为进行有风天气判断，本实施例同时采用风声音量和风声检测器的判断方法。在获得声音序列后，计算声音序列的音量，然后使用风声检测器判断声音序列中是否有风声。如果音量大于一定程度（例如60分贝）并且风声检测器判断有风声存在，则综合判断为有风天气。风声检测器为一个支持二分类的深度神经网络，输入一段例如2秒钟的音频序列就可以判断其中是否有风声存在。为生成该神经网络，首先收集一定数量的声音序列，并对每一个声音序列都进行人工标注确定该声音序列是否包含风声。然后使用机器学习技术训练一个支持二分类的深度神经网络，该分类器训练完成后就可以作为风声检测器。

本实施例通过风声音量和风声检测器两种判断方法，能够对从风力风速多角度判断出当前天气是否为有风天气。

在上述实施例中，对于误报警的消除方法进行了详细描述，本申请还提供误报警的消除装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。

图2为本申请实施例提供的一种误报警的消除装置的结构图，如图2所示，该装置包括：

抓拍模块10，用于抓拍图像和对应时刻的声音序列；

判断模块11，用于根据声音序列判断当前天气是否为有风天气；

定位模块12，用于若是，则根据图像定位疑似风动区域；

确认模块13，用于调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；其中，风动位置图中存有因风力吹动导致图像内容变化的像素位置；风动样本库存有因风力吹动导致误报警的样本数据。

输出模块14，用于若是，则忽略疑似风动区域，若否，则输出报警。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请实施例提供的误报警的消除装置，在智能摄像机监控时，通过对声音序列的提取和分析判断出当前天气是否为有风天气，以确认是否可能会因风力影响而发生误报警。当有风时，通过摄像机采集到的图像定位疑似风动区域，并调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；其中，风动位置图中存有因风力吹动导致图像内容变化的像素位置；风动样本库存有因风力吹动导致误报警的样本数据，若是，则忽略疑似风动区域，若否，则输出报警。采用本技术方案，由于风动物体的变化是在一个固定区域里面反复发生形变，移动范围有限，且形变是有周期性的。因此先通过采集到的声音序列判断是否存在风力影响，有风时再通过图像定位疑似风动区域，再根据存有像素位置的风动位置图和误报警样本数据的风动样本库确定疑似风动区域是否是真正的风动区域，由此在确定风动区域后不进行输出，从而实现对误报警的消除。

图3为本申请实施例提供的另一种误报警的消除装置的结构图，如图3所示，该装置包括：存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例误报警的消除方法的步骤。

本实施例提供的误报警的消除装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器（Digital Signal Processor，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的误报警的消除方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于图像数据、声音数据等。

在一些实施例中，误报警的消除装置还可以包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图3中示出的结构并不构成对误报警的消除装置的限定，可以包括比图示更多或更少的组件。

本申请实施例提供的误报警的消除装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：抓拍图像和对应时刻的声音序列；根据声音序列判断当前天气是否为有风天气；若是，则根据图像定位疑似风动区域；调用风动位置图以及风动样本库确认疑似风动区域是否为风动区域；其中，风动位置图中存有因风力吹动导致图像内容变化的像素位置；风动样本库存有因风力吹动导致误报警的样本数据。若是，则忽略疑似风动区域，若否，则输出报警。

最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的误报警的消除方法、装置以及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种误报警的消除方法，其特征在于，包括：

抓拍图像和对应时刻的声音序列；

根据所述声音序列判断当前天气是否为有风天气；

若是，则根据所述图像定位疑似风动区域；

调用风动位置图以及风动样本库确认所述疑似风动区域是否为风动区域；其中，所述风动位置图中存有因风力吹动导致图像内容变化的像素位置；所述风动样本库存有因风力吹动导致误报警的样本数据；

若是，则忽略所述疑似风动区域，若否，则输出报警。

2.根据权利要求1所述的误报警的消除方法，其特征在于，所述根据所述图像定位疑似风动区域包括：

计算每连续两帧所述图像中的像素变化图并对所述像素变化图进行二值化处理；

将各所述像素变化图相加得到整体像素变化图；

在所述整体像素变化图中选择一个正值像素加入预设集合中；

判断所述预设集合中的正值像素在所述整体像素变化图中的相邻像素是否为正值，若是，则将为正值的所述相邻像素加入所述预设集合，重复本步骤直至所述预设集合中不再加入像素；

确定所述预设集合中各像素组成的区域为所述疑似风动区域，并计算所述疑似风动区域的最小外包矩形以确定图像区域。

3.根据权利要求2所述的误报警的消除方法，其特征在于，所述调用风动位置图以及风动样本库确认所述疑似风动区域是否为风动区域包括：

若所述疑似风动区域对应的所述图像区域中，属于所述风动位置图的像素占全部像素的比值不小于第一阈值，则确认所述疑似风动区域为所述风动区域；

若所述比值小于所述第一阈值且大于第二阈值，则判断所述疑似风动区域的数据是否与所述风动样本库中的所述样本数据匹配；所述数据包括图像数据和声音数据；若匹配，则确认所述疑似风动区域为所述风动区域；若不匹配，则根据区域物体分类算法确定所述疑似风动区域的类别以确定所述疑似风动区域是否为新增风动区域，若是所述新增风动区域，则进入所述忽略所述疑似风动区域的步骤；若不是，则进入所述输出报警的步骤；其中所述类别包括目标类和背景类；

若所述比值不大于所述第二阈值，则进入所述根据区域物体分类算法确定所述疑似风动区域的类别以确定所述疑似风动区域是否为新增风动区域的步骤。

4.根据权利要求3所述的误报警的消除方法，其特征在于，所述风动位置图的建立包括：

采集连续的两帧图像；

计算两帧所述图像中的像素变化以得到风动变化图；

若当前天气为无风天气，则所述风动变化图中的像素的位置风动值减1；

若当前天气为有风天气，则所述风动变化图中的像素的位置风动值加1；

返回所述采集连续的两帧图像的步骤，直至达到预设次数；

确定所述风动变化图中位置风动值为正值的像素的位置为风动位置；

根据所述风动位置确认联通区域；

将所述联通区域中的像素的位置风动值均设置为正值，以得到风动位置图。

5.根据权利要求4所述的误报警的消除方法，其特征在于，所述风动样本库的建立包括：

获取当前声音序列以判断当前天气是否为有风天气；

若为有风天气，则抓取当前图像；

根据所述当前图像进行物体检测以得到图像区域；

判断所述图像区域中的像素与所述风动位置图中位置为风动位置的像素相同的比例是否大于阈值；

若是，则将所述当前声音序列和所述当前图像对应的声音数据和图像数据作为风动样本存入侯选库；

返回所述获取当前声音序列以判断当前天气是否为有风天气的步骤，直至所述风动样本的个数达到预设个数；

在所述风动样本中同一音量等级的样本中选择一个作为样本数据存入所述风动样本库。

6.根据权利要求1至5任意一项所述的误报警的消除方法，其特征在于，所述根据所述声音序列判断当前天气是否为有风天气包括：

计算所述声音序列的音量，并使用风声检测器判断所述声音序列中是否有风声；

若所述声音序列的音量超出声音阈值且所述声音序列中有风声，则确认所述当前天气为有风天气；

其中，所述风声检测器为根据预设数量的声音序列使用机器学习技术训练而成的神经网络。

7.根据权利要求3所述的误报警的消除方法，其特征在于，还包括：

根据所述新增风动区域更新所述风动位置图和所述风动样本库。

8.一种误报警的消除装置，其特征在于，包括：

抓拍模块，用于抓拍图像和对应时刻的声音序列；

判断模块，用于根据所述声音序列判断当前天气是否为有风天气；

定位模块，用于若是，则根据所述图像定位疑似风动区域；

确认模块，用于调用风动位置图以及风动样本库确认所述疑似风动区域是否为风动区域；其中，所述风动位置图中存有因风力吹动导致图像内容变化的像素位置；所述风动样本库存有因风力吹动导致误报警的样本数据；

输出模块，用于若是，则忽略所述疑似风动区域，若否，则输出报警。

9.一种误报警的消除装置，其特征在于，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的误报警的消除方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的误报警的消除方法的步骤。

Images