CN113515989A - 移动对象、烟火检测方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种移动对象、烟火检测方法、设备及存储介质。在移动对象检测方法中，基于不同时刻对目标场景进行拍摄得到的图像，可提取静态空间特征，并基于不同时刻的静态空间特征之间的关联，计算动态空间特征。基于静态空间特征和动态时域特征进行移动对象的检测，一方面，使得参与计算的特征更加丰富，可提升检测结果的准确性和可靠性，另一方面，可使得不同的特征之间进行互补，降低漏检概率。

Description

移动对象、烟火检测方法、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种移动对象、烟火检测方法、设备及存储介质。

背景技术

火灾带来的危害是巨大而沉痛的，准确地检测烟火并进行火灾预警是一个重要的研究方向。在一些传统的检测方法中，通常采用感温传感器或者感烟传感器进行烟雾检测，例如烟雾报警器等。但是，基于上述传感器的检测方式较适用于室内空间，在室外较为开阔的空间则无法准确地进行烟火检测。

现有技术中，存在一些基于计算机视觉技术检测室外烟火的方法，但是，这些检测方法的准确率较低，容易出现烟火漏报现象。因此，有待提出一种新的解决方案。

发明内容

本申请的多个方面提供一种移动对象、烟火检测方法、设备及存储介质，用以提升移动对象的准确率，避免漏检、漏报。

本申请实施例提供一种移动对象检测方法，包括：获取在不同时刻对目标场景进行拍摄得到的第一图像和第二图像；分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象。

本申请实施例还提供一种移动对象检测方法，包括：响应客户端对第一接口的调用请求，获取接口参数包含的图像数据；所述图像数据包含不同时刻对目标场景进行拍摄得到的第一图像和第二图像；分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象，并将所述移动对象的识别结果返回至所述客户端。

本申请实施例还提供一种烟火检测方法，包括：获取在当前时刻拍摄目标场景得到的第一图像以及在历史时刻拍摄所述目标场景得到的第二图像；分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；若根据所述第一静态空间特征和所述动态时域特征识别出所述第一图像中包含烟火，则输出所述目标场景对应的烟火警报消息。

本申请实施例还提供一种电子设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本申请实施例提供的方法中的步骤。

本申请实施例中，基于不同时刻对目标场景进行拍摄得到的图像，可提取静态空间特征，并基于不同时刻的静态空间特征之间的关联，计算动态空间特征。基于静态空间特征和动态时域特征进行移动对象的检测，一方面，使得参与计算的特征更加丰富，可提升检测结果的准确性和可靠性，另一方面，可使得不同的特征之间进行互补，降低漏检概率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的烟火检测方法的流程示意图；

图2a为本申请一示例性实施例提供的算法模型的结构示意图；

图2b为本申请一示例性实施例提供的特征提取网络的结构示意图；

图2c为本申请一示例性实施例提供的相关计算网络的结构示意图；

图3为本申请一示例性实施例提供的在目标场景中检测出烟火的示意图；

图4为本申请一示例性实施例提供的烟火检测系统的结构示意图；

图5a为本申请一示例性实施例提供的移动对象检测方法的流程示意图；

图5b为本申请另一示例性实施例提供的移动对象检测方法的流程示意图；

图6为本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

火灾是人类面临的严重灾害之一，是发生概率较高的自然灾害，如果不能初期及时发现并制止火灾的蔓延，将导致严重的人员伤亡和财产损失。对烟火进行检测是及时发现火灾的重要技术手段。传统的烟火检测方法中，采用典型的感温或感烟探测器，当探测器周围的温度或烟雾浓度达到一定的数量值，探测器会发出警报。在这种检测方式中，温度或烟雾浓度需要一定的时长才能升高到可触发探测器进行报警的数量值，进而导致探测器的检测时间通常长达几分钟，可靠性和及时性都存在较大的挑战。

基于探测器进行烟火检测的方式较适用于室内空间，不适用于较为开阔的环境。例如，在工业厂房、文物古迹场所、森林草原、大型隧道等等较为空旷的空间中，这些近距离的感温、感烟传感器基本失效，一旦失火将造成不可估量的损失。

因此，迫切需要可以在开阔场景中使用的快速、可靠、准确的烟火探测方案，及时准确地发现火灾。目前，存在一些基于计算机视觉技术进行烟火检测的方法。在基于视觉的检测方法中，可采用摄像头对场景进行拍摄，并根据拍摄得到的图像数进行烟火检测。摄像头具有较大的视场，可应用在工业厂房、文物古迹场所、森林草原、大型隧道等等较为空旷的空间中，解决近距离的感温、感烟传感器存在的问题。

在一些基于视觉的烟火检测方法中，拍摄到场景的图像后，采用人工提取火焰探测的运动和颜色特征，再结合支持向量机(Support Vector Machine,SVM)等机器学习算法实现烟火检测。然而，由于烟火是典型的非刚性不规则目标，具有形态多样、尺寸不稳定、特征不明显等难点，因此，手动提取特征不仅费时费力，而且可靠性较差，不利于解决实际问题。

在另一些基于视觉的烟火检测方法中，利用深度学习，训练VGG(visual geometrygroup network，可视化几何组网络)、Resnet等分类网络来识别场景图像中的烟火。分类网络中包含烟火识别模块，拍摄到的场景的图像输入烟火识别模块后，由烟火识别模块进行烟火检测。但是，在这种方法中，由于烟火数据不充分，常常导致训练得到的分类模型型存在过拟合的问题，进而无法准确地得到烟火检测结果。

在又一些基于视觉的烟火检测方法中，在分类网络的基础上增加了移动对象检测模块。首先，由移动对象检测模块识别出视频画面中的移动物体，再将识别出的移动物体所在的子图像传递给烟火识别模块。这种方式在一定程度控制了误报，但是，当烟火特征不明显时，图像中的烟火常常被移动对象检测模块漏掉，进而导致烟火漏报现象。

针对上述技术方案存在的无法准确地识别图像中的烟火的技术问题，本申请实施例提供了一种烟火检测方法，以下将结合附图进行说明。

图1为本申请一示例性实施例提供的烟火检测方法的流程示意图，如图1所示，该方法包括：

步骤101、获取在当前时刻拍摄目标场景得到的第一图像以及在历史时刻拍摄所述目标场景得到的第二图像。

步骤102、分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征。

步骤103、根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征。

步骤104、若根据所述第一静态空间特征和所述动态时域特征识别出所述第一图像中包含烟火，则输出所述目标场景对应的烟火警报消息。

本实施例的执行主体可以是服务器等具有计算分析功能的设备。对目标场景进行拍摄的操作可基于目标场景安装的图像采集设备实现，例如，摄像头、摄录机、智能手机、平板电脑等等。图像采集设备拍摄到目标场景的图像后，可将图像发送至服务器，以使服务器执行本实施例的烟火检测操作。

在本实施例中，目标场景可以包括室内场景或者室外场景；其中，室内场景可包括但不限于：房间内部、厂房、博物馆、运动场馆等等，室外场景可包括但不限于：森林、草原、隧道、户外景区等等。

火灾属于蔓延速度极快的一种灾害，因此，烟火检测需要较高的时效性。在本实施例中，图像采集设备可实时拍摄目标场景的图像发送至服务器，服务器可实时进行烟火检测，以提快速、可靠、准确地进行火灾预警。

在本实施例中，第一图像，是图像采集设备在当前时刻对目标场景进行拍摄得到的，因此，第一图像反映了目标场景当前的实时状态。第二图像，是图像采集设备在历史时刻对目标场景进行拍摄得到的，该历史时刻，可以是当前时刻的前一时刻，或者与当前时刻具有较短时间差的时刻，本实施例不做限制。第二图像反映了目标场景在历史时刻的状态，进而，根据第一图像和第二图像，可分析出目标场景在当前时刻与历史时刻的不同之处。

获取到第一图像和第二图像之后，接下来，可分别对第一图像和第二图像进行特征提取。在本实施例中，特征提取的操作可基于特征提取算法实现，将在后续实施例中进行详细介绍，本实施例不做赘述。由于第一图像和第二图像分别为某一时刻拍摄到的静态图像，因此，可从第一图像和第二图像上提取到静态的空间特征。若图像中存在烟火，则静态的空间特征，可表达烟火的形状、颜色、纹理等特征。对第一图像进行特征提取，可得到第一静态空间特征，对第二图像进行特征提取，可得到第二静态空间特征。

应当理解，在本实施例中，采用“第一”和“第二”对描述对象进行限定，仅用于方便描述和区分相似的描述对象，并不对描述对象的顺序或者等级构成限制。由于第一图像和第二图像均为对目标场景进行拍摄得到的，因此，第一图像和第二图像之间存在一定的关联特性，该关联特性可体现在：第一图像和第二图像的背景具有一定的不变性。当目标场景中出现移动物体时，移动物体所在的区域被激活，该移动物体所在的区域形成了第一图像和第二图像之间的不同之处。因此，基于当前时刻拍摄到的第一图像以及历史时刻拍摄到的第二图像进行分析，即可判断相对于历史时刻而言，当前时刻的目标场景中是否出现了烟火等移动物体。

例如，对同一个房间进行拍摄时，房间的背景在不同图像中是相同的。当房间中出现具有飘动特性和湍流特性的烟火，那么，烟火未出现时对房间拍摄得到的图像A与烟火出现时对放房间进行拍摄到得到的图像B，在图像背景上具有一定的联系。基于该背景上的联系，可确定出可能存在烟火的区域，并在后续的步骤中，专注于对可能存在烟火的区域进行分析。

基于上述分析，在本实施例中，可根据第一静态空间特征和第二静态空间特征之间的关联，计算第一图像和第二图像之间的动态时域特征。该动态时域特征，用于表达目标场景随时间动态变化的特征。该动态时域特征，可用于判断第二图像相对于第一图像是否存在区别，若无区别，则可认为当前时刻的目标场景和历史时刻的目标场景未产生明显变化；若有区别，则可基于该区别从第二图像中确定发生变化的区域，并有利于将发生变化的区域作为烟火检测的重点。

获取到动态时域特征后，在本实施例中，可结合第一静态空间特征和动态时域特征来识别第一图像中是否包含烟火。在这种实施方式中，将目标场景的静态空间特征和动态时域特征进行结合，有利于特征之间相互补充，避免出现漏报、误报的情况。

其中，根据第一静态空间特征和动态时域特征识别烟火的操作，可基于预先训练的算法模型实现，将在后续的实施例中进行说明。

若确定目标场景中存在烟火，则可启动警报处理流程，向预先设定的工作人员发送火灾警报，或者直接拨打预先设置的火警电话，以尽可能地降低火灾造成的损失。

在本实施例中，基于当前时刻和历史时刻对目标场景进行拍摄得到的图像，可提取静态空间特征，并基于不同时刻的静态空间特征之间的关联，计算动态空间特征。基于静态空间特征和动态时域特征进行烟火检测，一方面，使得参与计算的特征更加丰富，可提升检测结果的准确性和可靠性，另一方面，可使得不同的特征之间进行互补，避免误报、漏报现象。

在一些可选的实施例中，本申请上述实施例提供的烟火检测方法，可基于算法模型实现。该算法模型的结构可如图2a所示，包括：特征提取网络、相关计算网络以及目标检测网络。

基于图2a所示的算法模型，可选地，获取到第一图像后，可将第一图像输入算法模型，该算法模型中的特征提取网络，可对第一图像进行特征提取。

可选地，在特征提取网络中，可从第一图像上提取用于表达语义信息的第一图像特征以及用于表达细节信息的第二图像特征；接着，将第一图像特征和第二图像特征进行融合，得到第一静态空间特征。其中，语义信息通常为深层特征，该深层特征可基于高层的特征提取网络进行提取，高层的语义信息能够帮助模型准确地检测出复杂的目标。细节信息通常为浅层特征，可基于浅层的特征提取网络进行提取，该浅层特征表达的形态信息更加可靠，有利于区分出较为简单的目标。

第一图像上存在不同尺寸的目标时，利用高层特征，可有效检测出较大尺寸的目标，利用浅层特征，可有效检测出较小尺寸的目标。在本实施例中，将深层特征以及浅层特征进行融合后作为第一静态空间特征，有利于识别第一图像中的不同尺寸的目标，且有利于将复杂的目标区分开来。

可选地，该特征提取网络，可实现为Faster-RCNN(Rich feature hierarchiesfor accurate oject detection and semantic segmentation，一种用于目标检测和语义分割的神经网络)、YOLO网络、SSD(Single Shot MultiBox Detector，单发多框检测器)、FPN(Feature Pyramid Networks for Object Detection，用于目标检测的特征金字塔网络)以及ResNet中的一种或者多种的组合，本实施例不做限制。以下将以ResNet和FPN为例进行示例性说明。

在一些可选的实施例中，该特征提取网络，可以采用以FCOS(FullyConvolutional One-Stage Object Detection，全卷积一级目标检测)作为基础检测框架，由ResNet和FPN组成的网络结构。基于该特征提取网络，可截取视频单帧图像为输入，提取烟火的形状、颜色、纹理等空间静态特征。该ResNet可实现为如图2b所示的主干网络(backBone)ResNet-50。如图2a所示，ResNet-50和FPN提取到的特征，可进行逐位相加，得到静态空间特征。

上述过程记载了从第一图像上提取第一静态空间特征的可选实施方式，同理，可采用相同的实施方式从第二图像上提取第二静态空间特征。

可选地，在本申请实施例提供的算法模型中，用于对第一图像进行特征提取的特征提取网络和用于对第二图像进行特征提取的特征提取网络，可以构成如图2a所述的孪生网络。该孪生网络，具有相同的结构以及相同的模型参数，可按照相同的实施方式从输入的第k帧图像以及第k-t帧图像上提取特征。进而，可控制影响特征检测过程的变量，以确保提取得到的第一静态空间特征和第二静态空间特征具有可比性，避免对后续识别结果造成影响。

可选地，提取到第一静态空间特征和第二静态空间特征后，可将第一静态空间特征和第二静态空间特征输入相关计算网络，以根据第一静态空间特征和第二静态空间特征之间的关联，计算第一图像和第二图像之间的动态时域特征。

可选地，在相关计算网络中，可计算第一静态空间特征和第二静态空间特征的相关性，并根据该相关性的计算结果，得到动态时域特征。可选地，在一些实施例中，可直接将相关性的计算结果作为动态时域特征；或者，在另一些实施例中，可对相关性的计算结果进行进一步特征提取，得到动态时域特征。

相关计算网络中，包含相关计算层(correlation layer)，该相关计算层可用于挖掘物体的移动趋势。在目标场所拍摄到的图像中，多帧图片之间的背景是固定不变的，当出现烟火等移动物体时，移动物体所在的区域被激活，烟火的动态特征被放大，可有效提取烟火动态时域特征。

其中，计算第一静态空间特征和第二静态空间特征的相关性，可采用如下公式：

其中，C(x1，x2)表示相关性计算结果，可作为动态时域特征，f1表示第一静态空间特征，f2表示第二静态空间特征，x1表示第一静态空间特征中的点，x2表示第二静态空间特征中的点，k表示需要比较的区域；o表示[-k，k]之间的一个变量，例如k＝7时，o是[-7,7]之间的一个数。

需要说明的是，计算第一静态空间特征和第二静态空间的相关性时，可分别针对每一层特征进行相关计算。例如图2a所示，可分别在p3-p7层特征上计算特征之间的的相关性，不再赘述。

接下来，获取到动态时域特征后，可结合动态时域特征和第一静态空间特征，分析第一图像中是否存在烟火。

可选地，在相关计算网络中，可将计算得到的相关性的计算结果和第一静态空间特征进行拼接，得到融合特征。接着，将融合特征输入目标检测网络，以在目标检测网络中识别第一图像中是否存在烟火。

图2c对相关计算网络的结构进行了示意。如图2c所示，第k帧的静态空间特征和第k-t帧的动态空间特征，在相关计算网络中进行相关计算，再由激活函数relu进行非线性处理，得到动态时域特征。动态时域特征与第k帧的静态空间特征进行拼接后，可经过一个1x1的卷积层进行卷积计算。通过卷积计算，可灵活地变化融合特征的维度，为后续的计算过程减轻计算量。

可选地，目标检测网络包括：边框回归网络(Recongnition head)以及分类网络(Classification head)。如图2a所示，上述步骤计算得到的融合特征，可分别输入边框归回网络以及分类网络。在边框回归网络中，可根据融合特征在第一图像上识别出烟火的边界框。在分类网络中，可根据融合特征判断一图像上是否存在烟火。

图2a所示算法模型可被描述为Correlation FCOS模型，Correlation FCOS模型包括：FCOS和Correlation block(相关计算模块)。烟火的运动是直观有效的重要特征，Correlation FCOS模型可充分利用烟雾的形态、色彩等空间静态特征和飘动、湍流等时域动态特征。在Correlation FCOS模型中，FCOS可以处理多帧数据，用于通过卷积神经网络挖掘静态空间特征；Correlation block用于挖掘动态时域特征，并融合动态时域特征和静态空间特征，以充分挖掘监控图像中的信息，使得特征表达更可靠、更充分，实现了高召回、高精准度、强稳定性的烟火识别算法。

在本实施例中，FCOS对单帧图像进行特征提取时，可以较好地提取烟火的静态空间特征，即单帧图片中烟火的形态、颜色等信息。基于不同时刻拍摄到的多帧图像上的静态空间特征，可较好地捕捉到烟火的飘动、湍流等关键的动态时域特征。烟火的颜色多样，形态变化多端，基于静态空间特征以及动态时域特征，可提升烟火检测的准确率，降低误报、漏报的概率。

详细完备的实验对比表明，相比基于FCOS对单帧图像进行烟火检测而言，本申请实施例提供的Correlation FCOS提高了算法的召回率、精准率，降低了误报、漏报，在多个数据集上的评测指标提升至少8个百分点。以图3中的场景为例，Correlation FCOS检测模型输出了不同尺寸的边界框，既检测出了较大的火焰，也检测出了小目标的火焰，同时检测出了半透明的浅烟，而FCOS模型漏报了浅烟。

本发明中所提及的用于视频多帧检测的Correlation FCOS算法，融合空间静态特征和动态时域特征，端到端的定位、识别烟火异常情况，是一种高识别率、强稳定性的烟火视频智能分析算法。

对于生产中的烟火等异常事件，算法通过对监控视频的实时分析，可以自动识别烟火异常事件并及时报警，极大地弥补人工日常巡检的不及时性、提高预测事件监测效率以及干预效果，避免异常事件扩大化、保障厂区平稳安全生产。

相比于传统的近距离感温、感烟的检测方法，本申请实施例提供的基于视觉的烟火检测方法在工业厂房、文物古迹、森林草原、大型隧道等空旷的场景中有不可比拟的优势。该优势可体现在：视觉方法视场大，部署方便、硬件监控复用、成本低廉、响应速度快等优点，而传统的近距离感温、感烟的检测方法在空旷场景是失效的。

相对于人工提取烟火特征并采用SVM进行分类的方式，本申请实施例中采用了ResNet50和FPN组成的特征提取器，可自适应地提取烟火的特征，学习烟雾的形态、色彩等静态特征，同时也融合飘动、湍流等时域动态特征，极大的提高了检测精度。

相比于基于分类网络的只能识别有或者无的问题，本申请实施例中采用目标检测的方法，包含特征提取、目标回归、目标分类等部分。相比于基于全图进行分类的方法，本申请实施增加了更清晰、明确的监督信息，减少了误报的同时也给出烟火的精准定位。

相比于人为设计移动对象来提取运动区域，之后裁剪移动物体进行分类的方法，本申请实施例提供了Correlation block来提取烟火的运动特征，降低了对人力的需求。

相比于基于单帧图像进行目标检测方法存在的只能提取形态、颜色等空间静态特征，极易导致漏报、误报的缺陷，本申请实施例提供的基于视频多帧图像进行目标检测的Correlation FCOS，得益于Correlation block，融合了烟雾的形态、色彩等空间静态特征和飘动、湍流等时域动态特征，使得特征表达更加充分，极大提升了检测的准确性，降低了误报、漏报的概率。

在本申请实施例中，自动识别到火灾之后可自动启动报警，实现早发现、早报告、早干预，将火灾危害降低到最小。

上述Correlation FCOS模型，可基于大量的包含烟火的样本图像进行迭代训练，以使得Correlation FCOS模型不断学习如何提取特征并根据提取到的特征进行目标检测，此处不再进行赘述。

基于本申请上述实例提供的烟火检测方法，可部署烟火检测系统，该烟火检测系统可用于对目标场景进行烟火检测并自动报警，实现火灾的早发现、早报告、早干预，将火灾危害降低到最小。以下将结合附图进行示例性说明。

图4是本申请一示例性实施例提供的烟火检测系统的结构示意图，如图4所示，该烟火检测系统400包括：图像采集设备401、服务器402以及警报设备403。

其中，图像采集设备401可实现为多种能够实现高清拍摄的电子设备，包括但不限于基于CCD(Charge-coupled Device，电荷耦合元件)图像传感器或者CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)图像传感器进行成像的电子设备，例如高速摄像机、摄录仪、旋转摄像机、红外夜视相机等，不再赘述。

可选地，图像采集设备401的数量可以是一个或者多个，本实施例不做限制。当目标场景为室外较为宽阔的场景时，可在目标场景中设置多个图像采集设备，以使得图像采集设备的拍摄范围能够覆盖目标场景，实现无死角火灾监控。当目标场景为室内场景时，可在室内的一角安装图像采集设备，并调整图像采集设备的拍摄视角。通常，可使得图像采集设备的拍摄视场覆盖室内的易燃区域，例如灶台、天然气阀门、焊接操作台等等。

其中，服务器402可实现为常规服务器、云服务器、云主机、虚拟中心等服务器等设备，本实施例对此不做限制。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，不再赘述。

其中，警报设备403可实现为智能终端设备，例如智能音箱、手机、电脑、计算机、车载终端、可穿戴设备等等，本实施例不做限制。

图像采集设备401可将持续拍摄得到的视频流发送至服务器402进行处理，或者，可将间隔拍摄得到的图像序列发送至服务器402进行处理，本实施例不做限制。

其中，图像采集设备401与服务器402之间的通信，可采用有线通信方式无线通信方式进行通信。其中，无线通信方式包括蓝牙、ZigBee、红外线、WiFi(WIreless-Fidelity，无线保真技术)等短距离通信方式，也包括LORA等远距离无线通信方式，还可包括基于移动网络的无线通信方式。其中，当通过移动网络通信连接时，移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种，本实施例不做限制。

基于图4所示的烟火检测系统400，可在居家环境、工厂环境以及室外多种环境中自动识别火灾并自动报警，降低火灾造成的损失。通常，大多数工厂厂区、市政场所、户外景区等均部署有监控摄像头，已部署的监控摄像头等硬件设备可以复用进行烟火检测，具有成本低廉等优点。

上述各实施例记载的烟火检测方法，可被扩展为一种移动对象检测方法，该移动对象检测方法可用于满足多种不同场景下的移动对象检测需求。图5a为本申请一示例性实施例提供的对象检测方法的流程示意图，如图5a所示，该方法包括：

步骤501a、获取在不同时刻对目标场景进行拍摄得到的第一图像和第二图像。

步骤502a、分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征。

步骤503a、根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征。

步骤504a、根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象。

本申请实施例可应用于不同的场景，例如运动检测场景、入侵物感知场景、防盗监控场景、烟火检测场景等等。应用场景不同时，移动对象的实现形态也不同。例如，在不同的场景下，移动对象可分别实现为：移动的人、动物、机器人、车辆、被抛出的物体等等，本实施例包含但不限于此。

本实施例可基于一个“端到端”的算法模型实现。可选地，该算法模型可包括特征提取网络、相关计算网络以及目标检测网络。

其中，在不同时刻对目标场景进行拍摄时，若目标场景发生变化，则该变化可体现在不同时刻拍摄到的图像中。可选地，第一图像的拍摄时刻可以早于第二图像的拍摄时刻，基于此，可根据较晚时刻拍摄到的图像表现的目标场景的状态，推测目标场景在较早时刻的状态。可选地，第一图像的拍摄时刻可以晚于第二图像的拍摄时刻，基于此，可根据较早时刻拍摄到的图像表现的目标场景的状态，推测目标场景在较晚时刻的状态，本实施例不做限制。

当然，在一些情况下，该第二图像，也可以是在确认目标场景中未出现移动物体时拍摄到的参考图像。在目标场景自身无变化时，该参考图像具有较高的特征稳定性和参考价值，根据该参考图像检测其他时刻的移动物体，具有更高的准确率。

在一些示例性的实施例中，所述第二图像包括：当前时刻对所述目标场景进行拍摄得到的图像，所述第二图像包括：所述当前时刻的前一时刻对所述目标场景进行拍摄得到的图像。其中，前一时刻和当前时刻的时间差，可以根据需求进行设置，例如可以为1秒、5秒、20秒、30秒或者其他时间。当移动对象为烟火时，可当缩小前一时刻和当前时刻的时间差，以及时发现烟火。当移动对象为移动速度较为缓慢的动物时，可适当增加前一时刻和当前时刻的时间差，以降低计算频率。

在一些示例性的实施例中，对所述第一图像进行特征提取的一种方式，包括：将所述第一图像输入特征提取网络；在所述特征提取网络中，从所述第一图像上提取用于表达语义信息的第一图像特征以及用于表达细节信息的第二图像特征；将所述第一图像特征和所述第二图像特征进行融合，得到所述第一静态空间特征。

在一些示例性的实施例中，所述特征提取网络包括：ResNet特征提取器和FPN特征提取器。

在一些示例性的实施例中，根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征的一种方式，可包括：将所述第一静态空间特征和所述第二静态空间特征输入相关计算网络；在所述相关计算网络中，计算所述第一静态空间特征和所述第二静态空间特征的相关性，并根据所述相关性的计算结果，得到所述动态时域特征。

在一些示例性的实施例中，根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象的一种方式，可包括：在所述相关计算网络中，将所述相关性的计算结果和所述第一静态空间特征进行拼接，得到融合特征；将所述融合特征输入目标检测网络，以在所述目标检测网络中识别所述第一图像中的移动对象。

在一些示例性的实施例中，所述目标检测网络包括：边框回归网络以及分类网络；在所述目标检测网络中识别所述第一图像中的移动对象的一种方式，可包括：将所述融合特征输入所述边框回归网络，以使所述边框回归网络根据所述融合特征在所述第一图像上识别出所述移动对象的边界框；以及，将所述融合特征输入所述分类网络，以使所述分类网络根据所述融合特征在所述第一图像上检测出所述移动对象的类别。

在本实施例中，基于不同时刻对目标场景进行拍摄得到的图像，可提取静态空间特征，并基于不同时刻的静态空间特征之间的关联，计算动态空间特征。基于静态空间特征和动态时域特征进行移动对象的检测，一方面，使得参与计算的特征更加丰富，可提升检测结果的准确性和可靠性，另一方面，可使得不同的特征之间进行互补，降低漏检概率。

图5b为本申请另一示例性实施例提供的移动对象检测方法的流程示意图，如图5a所示，该方法包括：

步骤501b、响应客户端对第一接口的调用请求，获取接口参数包含的图像数据；所述图像数据包含不同时刻对目标场景进行拍摄得到的第一图像和第二图像。

步骤502b、分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征。

步骤503b、根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征。

步骤504b、根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象。

步骤505b、将所述移动对象的识别结果返回至所述客户端。

本实施例的执行主体可以是服务端设备，例如常规服务器或者云服务器。其中，客户端可实现为用户侧的手机、计算机、平板电脑等设备。

在本实施例中，可将前述各实施例提供的移动对象检测方法封装为可供第三方使用的软件工具，例如SaaS(Software-as-a-Service，软件即服务)工具。其中，该SaaS工具可实现为插件或者应用程序。该插件或者应用程序可以被部署在服务端设备上，并可向客户端等第三方用户开放指定的接口。为便于描述，在本实施例中，将该指定的接口描述为第一接口。进而，第三方用户通过调用该第一接口，便捷地访问并使用服务端设备提供的移动对象检测服务。

例如，在一些场景下，该SaaS工具可被部署在云服务器，第三方用户可调用云服务器提供的第一接口来在线使用该SaaS工具。其中，第三方用户调用第一接口时，可通过配置第一接口的接口参数，向SaaS工具提供移动对象检测操作所需的输入数据，即本实施例所述的图像数据。可选地，该图像数据可包括连续拍摄得到的视频数据，或者离散拍摄得到的图像序列，本实施例不做限制。

SaaS工具接收到针对第一接口的调用请求后，可通过解析第一接口的接口参数，获取客户端提供的图像数据，并从图像数据中获取不同时刻对目标场景进行拍摄得到的第一图像和第二图像。接下来，SaaS工具可从第一图和第二图像中提取静态空间特征，并根据静态空间特征之间的关联，计算动态时域特征。基于静态空间特征和动态时域特征，SaaS工具可识别第一图像中的移动对象。识别到第一图像中的移动对象后，SaaS工具可通过该第一接口或者其他通信方式，将该移动对象的识别结果返回至客户端，不再赘述。

在本实施例中，服务端设备可基于其上运行的SaaS工具，向客户端提供移动对象的检测服务，客户端用户可通过调用SaaS工具提供的接口使用服务端设备提供的移动对象检测服务。基于客户端与服务端设备的交互，客户端可将移动对象识别的操作完全交由服务端设备执行，进而，可借助服务端设备强大的计算能力和可靠的对象检测算法，实现低成本、高准确率的对象识别操作。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤501至步骤503的执行主体可以为设备A；又比如，步骤501和502的执行主体可以为设备A，步骤503的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如501、502等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图6是本申请一示例性实施例提供的电子设备的结构示意图，如图6所示，该电子设备包括：存储器601、处理器602以及通信组件603。

存储器601，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

其中，存储器601可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器602，与存储器601耦合，用于执行存储器601中的计算机程序，以用于：通过通信组件603获取在不同时刻对目标场景进行拍摄得到的第一图像和第二图像；分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象。

进一步可选地，处理器602在对所述第一图像进行特征提取时，具体用于：将所述第一图像输入特征提取网络；在所述特征提取网络中，从所述第一图像上提取用于表达语义信息的第一图像特征以及用于表达细节信息的第二图像特征；将所述第一图像特征和所述第二图像特征进行融合，得到所述第一静态空间特征。

进一步可选地，所述特征提取网络包括：ResNet特征提取器和FPN特征提取器。

进一步可选地，处理器602在根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征时，具体用于：将所述第一静态空间特征和所述第二静态空间特征输入相关计算网络；在所述相关计算网络中，计算所述第一静态空间特征和所述第二静态空间特征的相关性，并根据所述相关性的计算结果，得到所述动态时域特征。

进一步可选地，处理器602在根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象时，具体用于：在所述相关计算网络中，将所述相关性的计算结果和所述第一静态空间特征进行拼接，得到融合特征；将所述融合特征输入目标检测网络，以在所述目标检测网络中识别所述第一图像中的移动对象。

进一步可选地，所述目标检测网络包括：边框回归网络以及分类网络；处理器602在所述目标检测网络中识别所述第一图像中的移动对象时，具体用于：将所述融合特征输入所述边框回归网络，以使所述边框回归网络根据所述融合特征在所述第一图像上识别出所述移动对象的边界框；以及，将所述融合特征输入所述分类网络，以使所述分类网络根据所述融合特征在所述第一图像上检测出所述移动对象的类别。

进一步可选地，所述第二图像包括：当前时刻对所述目标场景进行拍摄得到的图像，所述第二图像包括：所述当前时刻的前一时刻对所述目标场景进行拍摄得到的图像。

进一步，如图6所示，该电子设备还包括：显示组件604、电源组件605、音频组件606等其它组件。图6中仅示意性给出部分组件，并不意味着电子设备只包括图6所示组件。

其中，通信组件603被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

其中，显示组件604包括屏幕，其屏幕可以包括液晶显示组件(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

其中，电源组件605，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本实施例中，基于不同时刻对目标场景进行拍摄得到的图像，可提取静态空间特征，并基于不同时刻的静态空间特征之间的关联，计算动态空间特征。基于静态空间特征和动态时域特征进行移动对象的检测，一方面，使得参与计算的特征更加丰富，可提升检测结果的准确性和可靠性，另一方面，可使得不同的特征之间进行互补，降低漏检概率。

值得说明的是，除前述执行逻辑之外，图6示意的电子设备还可执行如下的移动对象检测逻辑：响应客户端对第一接口的调用请求，获取接口参数包含的图像数据；所述图像数据包含不同时刻对目标场景进行拍摄得到的第一图像和第二图像；分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象，并将所述移动对象的识别结果返回至所述客户端。

除前述执行逻辑之外，图6示意的电子设备还可执行如下的烟火检测逻辑：获取在当前时刻拍摄目标场景得到的第一图像以及在历史时刻拍摄所述目标场景得到的第二图像；分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；若根据所述第一静态空间特征和所述动态时域特征识别出所述第一图像中包含烟火，则输出所述目标场景对应的烟火警报消息。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种移动对象检测方法，其特征在于，包括：

获取在不同时刻对目标场景进行拍摄得到的第一图像和第二图像；

分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；

根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；

根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象。

2.根据权利要求1所述的方法，其特征在于，对所述第一图像进行特征提取，包括：

将所述第一图像输入特征提取网络；

在所述特征提取网络中，从所述第一图像上提取用于表达语义信息的第一图像特征以及用于表达细节信息的第二图像特征；

将所述第一图像特征和所述第二图像特征进行融合，得到所述第一静态空间特征。

3.根据权利要求2所述的方法，其特征在于，所述特征提取网络包括：ResNet特征提取器和FPN特征提取器。

4.根据权利要求1所述的方法，其特征在于，根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征，包括：

将所述第一静态空间特征和所述第二静态空间特征输入相关计算网络；

在所述相关计算网络中，计算所述第一静态空间特征和所述第二静态空间特征的相关性，并根据所述相关性的计算结果，得到所述动态时域特征。

5.根据权利要求4所述的方法，其特征在于，根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象，包括：

在所述相关计算网络中，将所述相关性的计算结果和所述第一静态空间特征进行拼接，得到融合特征；

将所述融合特征输入目标检测网络，以在所述目标检测网络中识别所述第一图像中的移动对象。

6.根据权利要求5所述的方法，其特征在于，所述目标检测网络包括：边框回归网络以及分类网络；

在所述目标检测网络中识别所述第一图像中的移动对象，包括：

将所述融合特征输入所述边框回归网络，以使所述边框回归网络根据所述融合特征在所述第一图像上识别出所述移动对象的边界框；以及，

将所述融合特征输入所述分类网络，以使所述分类网络根据所述融合特征在所述第一图像上检测出所述移动对象的类别。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述第二图像包括：当前时刻对所述目标场景进行拍摄得到的图像，所述第二图像包括：所述当前时刻的前一时刻对所述目标场景进行拍摄得到的图像。

8.一种移动对象检测方法，其特征在于，包括：

响应客户端对第一接口的调用请求，获取接口参数包含的图像数据；所述图像数据包含不同时刻对目标场景进行拍摄得到的第一图像和第二图像；

分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；

根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；

根据所述第一静态空间特征和所述动态时域特征，识别所述第一图像中的移动对象，并将所述移动对象的识别结果返回至所述客户端。

9.一种烟火检测方法，其特征在于，包括：

获取在当前时刻拍摄目标场景得到的第一图像以及在历史时刻拍摄所述目标场景得到的第二图像；

分别对所述第一图像和所述第二图像进行特征提取，得到第一静态空间特征以及第二静态空间特征；

根据所述第一静态空间特征和所述第二静态空间特征之间的关联，计算所述第一图像和所述第二图像之间的动态时域特征；

若根据所述第一静态空间特征和所述动态时域特征识别出所述第一图像中包含烟火，则输出所述目标场景对应的烟火警报消息。

10.一种电子设备，其特征在于，包括：存储器、处理器和通信组件；

所述存储器用于存储一条或多条计算机指令；

所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-9任一项所述的方法中的步骤。

11.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被处理器执行时能够实现权利要求1-9任一项所述的方法中的步骤。

Images