CN114332702A - 目标区域的检测方法和装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种目标区域的检测方法和装置、存储介质及电子设备。其中，该方法包括：接收目标设备发送的可见光图像和红外图像，其中，可见光图像和红外图像从同一视频帧中获取到，且同一视频帧为目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；将可见光图像和红外图像输入到目标检测网络，得到目标区域对应的第一检测结果；将第一检测结果与红外图像对应的第二检测结果进行融合得到第三检测结果，其中，第二检测结果是通过对目标区域的红外图像进行运动检测确定的，解决了现有技术中对于对复杂场景下，目标区域进行检测的准确度不高的技术问题。

Description

目标区域的检测方法和装置、存储介质及电子设备

技术领域

本发明涉及红外可见光融合识别领域，具体而言，涉及一种目标区域的检测方法和装置、存储介质及电子设备。

背景技术

全天时的智能检测报警是安防领域一个重点和难点，因为当处于夜晚低光照与恶劣天气下低能见度的环境时，仅依靠可见光或热成像的图像很难满足精准报警需求。为满足全天时的智能监控报警，融合可见光图像和热成像图像越来越被关注。现如今红外可见光融合识别主要可分为基于像素级的融合和基于特征级的融合。基于像素级的融合直接对可见光和热成像图像的像素点进行融合处理，容易被图像所自带的噪声影响到最后的融合质量和识别结果。基于特征级的融合则是通过将两种类别的图像输入给卷积神经网络提取多维张量特征后进行特征级别的融合，与像素级融合相比更加的轻量准确，过滤掉更多的噪声同时也降低了细节的处理能力；但是相关技术对环境和图像质量较为依赖，如果在遮挡等其他复杂场景下或者图像分辨率较低，噪音较多时仅依靠融合后的特征识别将会导致模型检测率低，产生一些漏报，误报。

针对上述的问题，现有技术中对于复杂场景下的目标区域中的定位检测与分类准确度不高等问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标区域的检测方法和装置、存储介质及电子设备，以至少解决现有技术中对于复杂场景下的目标区域中的定位检测与分类准确度不高等问题。

根据本发明实施例的一个方面，提供了一种目标区域的检测方法，包括：接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

根据本发明实施例的另一方面，还提供了一种目标区域的检测方法装置，包括：接收模块，用于接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；目标检测模块，用于将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；融合模块，用于将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行任一项方法实施例中的方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的任一项方法实施例中的方法。

在本发明实施例中，采用目标检测网络进行分析的方式，对可见光图像和红外图像进行融合处理，以得到目标区域的第一检测结果，并将第一检测结果与对红外图像通过背景模型进行运动检测得到第二检测结果进行融合，继而得到第三检测结果，对红外图像与可见光图像特征进行了更深层次的提取利用，增强了检测模型的鲁棒性和准确性，进而达到了对目标区域中存在的目标对象进行准确定位检测与分类的目的，从而实现了提升对于目标区域的检测效率的技术效果，使得目标设备可以更有效的应对白天夜晚、雨雪雾天以及遮挡场景等情况的全天监测，进而解决了现有技术中对于对复杂场景下，目标区域进行检测的准确度不高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种目标区域的检测方法的计算机终端的硬件结构框图；

图2为根据本发明实施例的目标区域的检测方法的流程图；

图3为根据本发明可选实施例的目标检测模型对应的红外可见光融合深度神经网络的结构示意图；

图4为根据本发明可选实施例的目标检测模型的流程示意图；

图5是根据本发明实施例的目标区域的检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例所提供的方法实施例可以在计算机终端、移动终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种目标区域的检测方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标区域的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

根据本发明实施例的一个方面，提供了一种目标区域的检测方法，可选地，作为一种可选的实施方式，上述目标区域的检测方法可以但不限于应用于如图1所示的环境中。

可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述目标区域的检测方法包括：

步骤S202，接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；

步骤S204，将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；

步骤S206，将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

通过上述步骤，采用目标检测网络进行分析的方式，对可见光图像和红外图像进行融合处理，以得到目标区域的第一检测结果，并将第一检测结果与对红外图像通过背景模型进行运动检测得到第二检测结果进行融合，继而得到第三检测结果，对红外图像与可见光图像特征进行了更深层次的提取利用，增强了检测模型的鲁棒性和准确性，进而达到了对目标区域中存在的目标对象进行准确定位检测与分类的目的，从而实现了提升对于目标区域的检测效率的技术效果，使得目标设备可以更有效的应对白天夜晚、雨雪雾天以及遮挡场景等情况的全天监测，进而解决了现有技术中对于对复杂场景下，目标区域进行检测的准确度不高的技术问题。

上述步骤S204从可见光图像和红外图像中获取目标区域对应的第一检测结果的方式有多种，在一个可选实施例中，可以通过以下方案实现：将可见光图像和红外图像输入到目标检测网络中的特征提取融合模块，得到所述特征提取融合模块输出的所述可见光图像和所述红外图像的融合特征图，其中，所述特征提取融合模块包括级联的多个卷积层模块和一个张量拼接模块；将所述融合特征图输入到所述目标检测网络中的层次深度聚合模块，得到所述层次深度聚合模块输出的多个上采样特征图；将所述多个上采样特征图输入到所述目标检测网络中的迭代深度聚合模块，得到所述迭代深度聚合模块输出的预测标注框信息，并将所述预测标注框信息作为所述目标检测网络对所述目标区域的第一检测结果。

需要说明的是，为了保证可见光图像和红外图像输入时的对应性，在通过目标设备获取到目标区域的可见光图像和红外图像之后，还需要进行一定的配准标定，可选的，配准标定判断具体如下：将边缘作为两种类型图像进行配准的相关性特征，首先将边缘灰度信息进行预处理增强，利用Canny算子提取边缘并用边界相关计算仿射变换参数以实现两幅图像的配准标定。

可选的，将可见光图像和红外图像输入到目标检测网络中的特征提取融合模块，得到所述特征提取融合模块输出的所述可见光图像和所述红外图像的融合特征图，包括：通过所述多个卷积层模块对所述可见光图像进行特征提取，得到所述可见光图像对应的可见光特征图；通过所述多个卷积层模块对所述红外图像进行特征提取，得到所述可见光图像对应的红外特征图；使用所述张量拼接模块对所述可见光特征图和所述红外特征图进行特征拼接，确定出所述可见光图像和所述红外图像的融合特征图。

可以理解的是，在通过特征提取融合模块进行图像处理时，分别对可见光图像与红外图像进行处理，并在处理完成后使用特征提取融合模块中携带的张量拼接模块对提取出的红外特征图和可见光特征图进行融合，得到包含红外特征和可见光特征的融合特征图。

可选地，将所述融合特征图输入到所述目标检测网络中的层次深度聚合模块，得到所述层次深度聚合模块输出的多个上采样特征图，包括：将所述融合特征图通过所述层次深度聚合模块的第一层下采样子模块进行下采样提取，得到所述融合特征图对应的第一阶段特征图；其中，所述下采样提取用于指示将所述融合特征图根据第一层下采样子模块的预设块大小划分为多个基础块，并对所述多个基础块中的每一个基础块进行特征融合；将所述第一阶段特征图输入到所述层次深度聚合模块的第二层下采样子模块进行下采样提取，得到所述融合特征图对应的第二阶段特征图，并通过预设的残差卷积层对所述第二阶段特征图进行部分层的聚合，以确定出之后输入到所述层次深度聚合模块的第三层下采样子模块进行下采样提取的第二目标层级特征图；在所述层次深度聚合模块中所有层级的下采样子模块完成下采样提取的情况下，对经过残差卷积层处理的每一个目标层级特征图进行上采样，以确定出所述层次深度聚合模块输出的多个上采样特征图。

简而言之，层次深度聚合模块分为多个层级对红外可见光融合特征图中特征进行下采样提取，并在每个层级内进行块block的特征提取融合，并使用了跳跃连接的思想，通过将前移层级的特征图通过最大池化层跳跃至下一层级的下采样提取进行特征融合，使得当前块block聚合之前层级的特征图并通过反卷积模块还原尺寸，继而可以根据层次深度聚合模块的层级数量输出对应数量减一的红外可见光融合特征图处理后的上采样特征图。

可选的，将所述多个上采样特征图输入到所述目标检测网络中的迭代深度聚合模块，得到所述迭代深度聚合模块输出的预测标注框信息，包括：通过所述迭代深度聚合模块中的累加卷积模块对所述层次深度聚合模块输出的多个上采样特征图进行特征融合；根据所述特征融合的结果确定出预测标注框信息，其中，所述预测标注框信息包括以下至少之一：预测标注框的热力图预测类别、预测标注框的长宽预测、预测标注框中的像素还原偏移预测。

可选的，上述步骤S206实施之前，确定第二检测结果的具体方法包括：将所述目标设备获取的视频帧中的第一帧的红外图像作为标准红外图像，并根据所述标准红外图像确定所述目标区域的背景模型；通过所述背景模型对所述视频帧中除第一帧以外的其他帧的红外图像中的每一个像素点进行判断，以分割出所述其他帧的红外图像中前景点与背景点。

可选的，通过所述背景模型对视频帧中除第一帧以外的其他帧的红外图像中的每一个像素点进行判断，以分割出所述其他帧的红外图像中前景点与背景点，包括：确定所述其他帧的红外图像中每一个像素点的当前像素值与所述背景模型对应样本集中的像素值的差值；在所述差值处于所述背景模型对应的像素值误差区间内的情况下，确定所述当前像素点为目标背景点；在所述差值处于所述背景模型对应的像素值误差区间外的情况下，确定所述当前像素点为目标前景点。

可选的，上述背景模型部分设计如下；V(x,y)代表着当前对应的像素值，M(x,y)＝{V₁(x,y),...V_n(x,y)代表着历史样本集，R为当前像素值和样本历史值差值的取值范围，本背景模型中将其设置为20。首先选取样本集中的邻域样本点n数量为50，在保障内存耗时的同时增加对复杂场景的适应能力。设置阈值th为43，将像素值V(x,y)与历史样本集M(x,y)中的点相减，±R为允许的波动范围，在该范围内的数量N＞th,则代表该像素点与历史像素点相似，可将其判断为属于背景点。关于前景点的判断与背景点类似，根据上述背景点的判断流程，可以设置判断前景点的阈值T＝n-th为7，即像素值V(x,y)与历史样本集M(x,y)中的点相减得到的大于R或小于-R的个数N₁若大于T，则将该像素点判断为前景点。

可选的，将所述目标设备获取的视频帧中第一帧的红外图像作为标准红外图像，以根据所述标准红外图像确定所述目标区域的背景模型，包括：确定所述标准红外图像中所有像素点对应的像素值和/或像素点对应邻居点的像素值，得到所述标准红外图像的样本集；根据预设的运动检测需求与所述样本集对预设背景模型进行训练，得到背景模型。

可选的，根据预设的运动检测需求与所述样本集对预设背景模型进行训练，包括：根据像素差值和所述预设的运动检测需求的误差阈值确定出所述预设背景模型允许的像素值误差区间，其中，所述像素差值为所述样本集的最大像素值与最小像素值的差值；根据所述预设的运动检测需求从所述样本集中确定出目标数量的邻域样本点集合，并获取使用所述邻域样本点确定任一像素点为背景点的第一预设阈值，其中，所述邻域样本点集合为进行像素点相似度判断时的参考点的集合，所述第一预设阈值用于指示在确定任一像素点与当前样本集中的像素点为相似像素点时对应邻域样本点集合中像素值变化在所述像素值误差区间内的像素点数量。

在一个实施例中，根据预设的运动检测需求与所述样本集对预设背景模型进行训练，得到背景模型之后，所述方法还包括：根据时间采样因子从所述背景模型识别出的背景点中获取目标背景点集合；将所述目标背景点集合添加至所述样本集中对所述样本集中的背景点进行更新，并使用更新后的样本集校验所述背景模型。

也就是说，为了提升背景模型在不断变化情况下的检测准确性，还可以设置对应的更新策略对样本集进行更新，具体的，通过判断每个检测出来的背景点都有

的概率去更新该像素点的样本值，同时对于该像素点的邻居点使用

的概率去更新其样本值，l代表了时间采样因子，可选的，背景模型可以将其值设置为16。可选的，对于检测出来的前景点，若其连续20帧都被判定为前景点，则将其置为背景点，并同样按

的概率去更新其样本值。需要说明的是，该更新策略利用了像素值的空间传播特性，可以有效避免重影区域的产生，且由于是随机的更新其中一个像素值，样本值在算法过程中的更新与时间不相关，使得检测的准确性大大提升。

为了更好的理解本发明实施例以及可选实施例的技术方案，以下结合示例对上述的目标区域的检测方法的流程进行解释说明，但不用于限定本发明实施例的技术方案。

作为可选的实施方式，提供了一种红外-可见光融合的深度神经网络及其建模方法，通过使用红外编码器和可见光编码器分别进行特征提取，融合编码器的特征结果后输出至解码器模块进行双光融合识别，避免了单一红外或可见光摄像机定位电力监控危险源的缺点。但是，在构建的网络模型只可以作为分类网络根据红外可见光分割图像数据集判别是否包含危险目标，损失函数中只采用了交叉熵损失而未定义检测框回归的部分，故无法跟踪定位到具体的目标，无法适用于全天时的智能监控场景定位目标。

作为可选的实施方式，还提供了基于对称融合网络的红外可见光融合识别方法，先对已有的红外图像和可见光图像进行深层特征提取，获得红外和可见光图像特征图。然后分别对两种特征图进行张量拼接和特征融合，得到红外融合和可见光融合图像。最后通过权重偏移系数调整两种融合图像的特征比例，获得最终船只检测识别结果。虽然添加了自适应分配权重去适配白天可见光场景和低亮度的夜晚场景，但是未对融合后的特征进行特征再提取利用，同时在雨雪天气以及遮挡场景下会有很多漏检、误检的情况发生。

本发明可选实施例提出了一种基于红外可见光图像融合的目标检测模型，对红外可见光图像的特征进行深度提取与融合利用，同时借助运动检测模块提高复杂场景下目标检测的准确性，实现对白天夜晚以及复杂场景的目标检测，定位与分类，目标检测模型在特征层面对可见光图像与红外图像进行了融合获得了目标检测模块的识别结果，在得到运动检测模块的红外图像检测结果后与目标检测的结果进行第二次融合合并得到最终的目标检测结果。因此，可以提高装置的容错率以及识别准确率，在白天夜晚以及各种复杂场景下能够实现全天时的智能目标检测。

作为一种可选的实施方式，图3为本发明可选实施例的目标检测模型对应的红外可见光融合深度神经网络的结构示意图，通过红外可见光融合深度神经网络将输入的红外图像与可见光图像进行处理融合，实现红外图像与可见光图像的深层特征提取再利用，可选的，红外可见光融合深度神经网络为DLA34网络结构，该网络主体为三个模块:特征提取融合模块32，HDA(hierarchical deep aggregation，层次深度聚合，简称HDA)UP特征融合模块34与IDA(iterative deep aggregation，迭代深度聚合，简称IDA)UP特征融合模块36。

图4为本发明可选实施例的目标检测模型的流程示意图，具体处理流程如下：

步骤S302、通过可见光和红外摄像机获取当前场景下的可见光图像和红外图像并进行配准标定判断。将校准后的红外图像与可见光图像分别作为红外可见光融合深度神经网络的两个输入，实现红外图像与可见光图像的深层特征提取再利用。

可选的，配准标定判断具体如下：将边缘作为两种类型图像进行配准的相关性特征，首先将边缘灰度信息进行预处理增强，利用Canny算子提取边缘并用边界相关计算仿射变换参数以实现两幅图像的配准标定。

步骤S304、通过特征提取融合模块32对输入的校准后的红外图像与校准后的可见光图像分别进行特征提取，并在完成提取后对提取出红外特征图和可见光特征图后进行张量拼接融合作为后面特征再提取融合模块的输入；

可选的，上述特征提取融合模块32包括3个大小为7*7*16的卷积层模块以及1个张量拼接模块。

步骤S306、HDAUP特征融合模块34将特征提取融合模块32输出的红外可见光融合特征图作为输入，分为4个层级stage对红外可见光融合特征图中特征进行下采样提取。HDAUP强调了4个层级stage内的block的特征提取融合，使用了跳跃连接skip-connection的思想，使得当前block可以聚合之前层的特征图并通过反卷积模块还原尺寸。IDAUP特征融合模块36在接收到HDAUP特征融合模块34通过反卷积模块还原尺寸的特征基础上，使用了聚合节点Aggregation Node由底层向高层传播的同时聚集特征。IDA的聚合公式为

I表示整个IDAUP特征融合模块，N代表聚合节点Aggregation Node的数量，N(x₁,x₂)表示一个输入为x₁和x₂的聚合节点Aggregation Node。它通过反卷积将不同层级stage的特征融合。

步骤S308、红外可见光融合深度神经网络输出的head部分由三部分组成，分别为热力图预测类别hm_head，长宽预测wh_head和像素还原偏移预测reg_head，同理损失函数部分也由这三个部分组成，权重占比为hm_head:reg_head:wh_head＝1:1:0.1。hm_head的损失函数loss通过对热力图样本分为难易样本，给难预测样本分配更大的损失函数loss，易样本分配更小的损失函数loss以此来预测标注框的中心点。reg_head的损失函数loss为原图下采样后还原因取整原因偏差的像素点。wh_head是使用L1损失函数loss计算出预测框长宽的损失。

需要说明的是，通过HDAUP特征融合模块和IDAUP特征融合模块，红外可见光融合特征图经过了特征再提取以及各层级stage间和内部的特征融合，使得识别的准确率得到提高，鲁棒性更强。

此外，通过使用上述的DLA34网络模型可以更好的保障模型的准确率，使得漏检，误检的目标数量降低。并且由于红外图像抗干扰能力强的特性，在极端天气下如雨雪场景或夜晚遮挡等能见度低的情况下依然可以检测出目标，使用其作为运动检测模块的输入。融合目标检测网络与运动检测模块的识别结果可以更进一步提升识别准确率。

步骤S310、上述目标检测模型还包括运：运动检测模块，用于通过运动检测模块对于上述的红外图像进行运动检测。运动检测模块采用了ViBe(visual backgroundextractor，视觉背景提取，简称ViBe)算法提取出背景，它建立了一个样本集存储所有像素点，保存了像素点过去的像素值以及邻居点的像素值，通过对比当前像素值和样本历史值来判断像素点是否属于背景。

可选的，上述目标检测模型中对于背景模型部分设计如下；V(x,y)代表着当前对应的像素值，M(x,y)＝{V₁(x,y),...V_n(x,y)代表着历史样本集，R为当前像素值和样本历史值差值的取值范围，本背景模型中将其设置为20。首先选取样本集中的邻域样本点n数量为50，在保障内存耗时的同时增加对复杂场景的适应能力。设置阈值th为43，将像素值V(x,y)与历史样本集M(x,y)中的点相减，±R为允许的波动范围，在该范围内的数量N＞th,则代表该像素点与历史像素点相似，可将其判断为属于背景点。

可选的，背景建模初始化的方法为选取视频帧的第一帧来作为背景模型，选取了每个像素点周围的50个点作为样本集，在减小计算量的同时也存储了视频的时空信息。

可选的，关于前景点的判断与背景点类似，根据上述背景点的判断流程，可以设置判断前景点的阈值T＝n-th为7，即像素值V(x,y)与历史样本集M(x,y)中的点相减得到的大于R或小于-R的个数N₁若大于T，则将该像素点判断为前景点。

可选的，上述ViBe算法还可以设置对应的更新策略对样本集进行更新，具体的，通过判断每个检测出来的背景点都有

的概率去更新该像素点的样本值，同时对于该像素点的邻居点使用

的概率去更新其样本值，l代表了时间采样因子，在本目标检测模型中将其值设置为16。同时对于检测出来的前景点，若其连续20帧都被判定为前景点，则将其置为背景点，并同样按

的概率去更新其样本值。需要说明的是，该更新策略利用了像素值的空间传播特性，可以有效避免重影Ghost区域的产生，且由于是随机的更新其中一个像素值，样本值在算法过程中的更新与时间不相关，使得检测的准确性大大提升。

步骤S312，确定运动检测模块对红外图像的运动检测结果；

步骤S314，融合红外可见光融合深度神经网络的输出结果与红外图像的运动检测结果；

步骤S316，输出目标检测模型的最终检测结果。

通过上述实施例，提供了一种目标检测模型。通过在原有红外可见光融合识别的基础上增加了运动检测模块，利用红外图像抗干扰能力强的特点增强了该装置在复杂环境下的目标检测精度。再通过融合红外可见光融合识别网络的结果与红外图像运动检测识别的结果，减少了复杂场景的误检率，漏检率，可以更有效的应对白天夜晚、雨雪雾天以及遮挡场景等情况的全天监测，并且在使用中采用简单的卷积网络模块对可见光与红外图像进行特征提取拼接融合后，又引入了DLA34网络对融合后的特征进行再提取利用，同时在网络内部各层与层之间，层级stage与层级stage之间也进行了特征图的融合，对红外图像与可见光图像特征进行了更深层次的提取利用，增强了检测模型的鲁棒性和准确性，进而实现了各种复杂场景下对目标的定位检测与分类，相比于现有的技术，准确率和召回率都要更高，使得应用场景更广泛。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

根据本发明实施例的另一个方面，还提供了一种用于实施上述目标区域的检测方法的目标区域的检测装置。如图5所示，该装置包括：

接收模块52，用于接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；

目标检测模块54，用于将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；

融合模块56，用于将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

通过上述步骤，采用目标检测网络进行分析的方式，对可见光图像和红外图像进行融合处理，以得到目标区域的第一检测结果，并将第一检测结果与对红外图像通过背景模型进行运动检测得到第二检测结果进行融合，继而得到第三检测结果，对红外图像与可见光图像特征进行了更深层次的提取利用，增强了检测模型的鲁棒性和准确性，进而达到了对目标区域中存在的目标对象进行准确定位检测与分类的目的，从而实现了提升对于目标区域的检测效率的技术效果，使得目标设备可以更有效的应对白天夜晚、雨雪雾天以及遮挡场景等情况的全天监测，进而解决了现有技术中对于对复杂场景下，目标区域进行检测的准确度不高的技术问题。

可选的，上述目标检测模块，还用于将可见光图像和红外图像输入到目标检测网络中的特征提取融合模块，得到所述特征提取融合模块输出的所述可见光图像和所述红外图像的融合特征图，其中，所述特征提取融合模块包括级联的多个卷积层模块和一个张量拼接模块；将所述融合特征图输入到所述目标检测网络中的层次深度聚合模块，得到所述层次深度聚合模块输出的多个上采样特征图；将所述多个上采样特征图输入到所述目标检测网络中的迭代深度聚合模块，得到所述迭代深度聚合模块输出的预测标注框信息，并将所述预测标注框信息作为所述目标检测网络对所述目标区域的第一检测结果。

可选的，上述目标检测模块还包括：特征提取单元，用于通过所述多个卷积层模块对所述可见光图像进行特征提取，得到所述可见光图像对应的可见光特征图；通过所述多个卷积层模块对所述红外图像进行特征提取，得到所述可见光图像对应的红外特征图；使用所述张量拼接模块对所述可见光特征图和所述红外特征图进行特征拼接，确定出所述可见光图像和所述红外图像的融合特征图。

可选的，上述目标检测模块还包括：第一特征融合单元，用于将所述融合特征图通过所述层次深度聚合模块的第一层下采样子模块进行下采样提取，得到所述融合特征图对应的第一阶段特征图；其中，所述下采样提取用于指示将所述融合特征图根据第一层下采样子模块的预设块大小划分为多个基础块，并对所述多个基础块中的每一个基础块进行特征融合；将所述第一阶段特征图输入到所述层次深度聚合模块的第二层下采样子模块进行下采样提取，得到所述融合特征图对应的第二阶段特征图，并通过预设的残差卷积层对所述第二阶段特征图进行部分层的聚合，以确定出之后输入到所述层次深度聚合模块的第三层下采样子模块进行下采样提取的第二目标层级特征图；在所述层次深度聚合模块中所有层级的下采样子模块完成下采样提取的情况下，对经过残差卷积层处理的每一个目标层级特征图进行上采样，以确定出所述层次深度聚合模块输出的多个上采样特征图。

简而言之，层次深度聚合模块分为多个层级对红外可见光融合特征图中特征进行下采样提取，并在每个层级内进行块block的特征提取融合，并使用了跳跃连接的思想，通过将前移层级的特征图通过最大池化层跳跃至下一层级的下采样提取进行特征融合，使得当前块block聚合之前层级的特征图并通过反卷积模块还原尺寸，继而可以根据层次深度聚合模块的层级数量输出对应数量减一的红外可见光融合特征图处理后的上采样特征图。

可选的，上述目标检测模块还包括：第二特征融合单元，用于通过所述迭代深度聚合模块中的累加卷积模块对所述层次深度聚合模块输出的多个上采样特征图进行特征融合；根据所述特征融合的结果确定出预测标注框信息，其中，所述预测标注框信息包括以下至少之一：预测标注框的热力图预测类别、预测标注框的长宽预测、预测标注框中的像素还原偏移预测。

可选的，上述装置还包括：背景检测模块，用于将所述目标设备获取的视频帧中的第一帧的红外图像作为标准红外图像，并根据所述标准红外图像确定所述目标区域的背景模型；通过所述背景模型对所述视频帧中除第一帧以外的其他帧的红外图像中的每一个像素点进行判断，以分割出所述其他帧的红外图像中前景点与背景点。

可选的，上述背景检测模块，还用于确定所述其他帧的红外图像中每一个像素点的当前像素值与所述背景模型对应样本集中的像素值的差值；在所述差值处于所述背景模型对应的像素值误差区间内的情况下，确定所述当前像素点为目标背景点；在所述差值处于所述背景模型对应的像素值误差区间外的情况下，确定所述当前像素点为目标前景点。

可选的，上述背景模型部分设计如下；V(x,y)代表着当前对应的像素值，M(x,y)＝{V₁(x,y),...V_n(x,y)代表着历史样本集，R为当前像素值和样本历史值差值的取值范围，本背景模型中将其设置为20。首先选取样本集中的邻域样本点n数量为50，在保障内存耗时的同时增加对复杂场景的适应能力。设置阈值th为43，将像素值V(x,y)与历史样本集M(x,y)中的点相减，±R为允许的波动范围，在该范围内的数量N＞th,则代表该像素点与历史像素点相似，可将其判断为属于背景点。关于前景点的判断与背景点类似，根据上述背景点的判断流程，可以设置判断前景点的阈值T＝n-th为7，即像素值V(x,y)与历史样本集M(x,y)中的点相减得到的大于R或小于-R的个数N₁若大于T，则将该像素点判断为前景点。

可选的，上述背景检测模块，还用于确定所述标准红外图像中所有像素点对应的像素值和/或像素点对应邻居点的像素值，得到所述标准红外图像的样本集；根据预设的运动检测需求与所述样本集对预设背景模型进行训练，得到背景模型。

可选的，上述背景检测模块，还用于根据像素差值和所述预设的运动检测需求的误差阈值确定出所述预设背景模型允许的像素值误差区间，其中，所述像素差值为所述样本集的最大像素值与最小像素值的差值；根据所述预设的运动检测需求从所述样本集中确定出目标数量的邻域样本点集合，并获取使用所述邻域样本点确定任一像素点为背景点的第一预设阈值，其中，所述邻域样本点集合为进行像素点相似度判断时的参考点的集合，所述第一预设阈值用于指示在确定任一像素点与当前样本集中的像素点为相似像素点时对应邻域样本点集合中像素值变化在所述像素值误差区间内的像素点数量。

可选的，上述背景检测模块还包括更新单元，用于根据时间采样因子从所述背景模型识别出的背景点中获取目标背景点集合；将所述目标背景点集合添加至所述样本集中对所述样本集中的背景点进行更新，并使用更新后的样本集校验所述背景模型。

也就是说，为了提升背景模型在不断变化情况下的检测准确性，还可以设置对应的更新策略对样本集进行更新，具体的，通过判断每个检测出来的背景点都有

的概率去更新该像素点的样本值，同时对于该像素点的邻居点使用

的概率去更新其样本值，l代表了时间采样因子，可选的，背景模型可以将其值设置为16。可选的，对于检测出来的前景点，若其连续20帧都被判定为前景点，则将其置为背景点，并同样按

的概率去更新其样本值。需要说明的是，该更新策略利用了像素值的空间传播特性，可以有效避免重影区域的产生，且由于是随机的更新其中一个像素值，样本值在算法过程中的更新与时间不相关，使得检测的准确性大大提升。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1、接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；

S2、将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；

S3、将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1、接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；

S2、将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；

S3、将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种目标区域的检测方法，其特征在于，包括：

接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；

将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；

将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

2.根据权利要求1所述的方法，其特征在于，将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果，包括：

将可见光图像和红外图像输入到目标检测网络中的特征提取融合模块，得到所述特征提取融合模块输出的所述可见光图像和所述红外图像的融合特征图，其中，所述特征提取融合模块包括级联的多个卷积层模块和一个张量拼接模块；

将所述融合特征图输入到所述目标检测网络中的层次深度聚合模块，得到所述层次深度聚合模块输出的多个上采样特征图；

将所述多个上采样特征图输入到所述目标检测网络中的迭代深度聚合模块，得到所述迭代深度聚合模块输出的预测标注框信息，并将所述预测标注框信息作为所述目标检测网络对所述目标区域的第一检测结果。

3.根据权利要求2所述的方法，其特征在于，将可见光图像和红外图像输入到目标检测网络中的特征提取融合模块，得到所述特征提取融合模块输出的所述可见光图像和所述红外图像的融合特征图，包括：

通过所述多个卷积层模块对所述可见光图像进行特征提取，得到所述可见光图像对应的可见光特征图；

通过所述多个卷积层模块对所述红外图像进行特征提取，得到所述可见光图像对应的红外特征图；

使用所述张量拼接模块对所述可见光特征图和所述红外特征图进行特征拼接，确定出所述可见光图像和所述红外图像的融合特征图。

4.根据权利要求2所述的方法，其特征在于，将所述融合特征图输入到所述目标检测网络中的层次深度聚合模块，得到所述层次深度聚合模块输出的多个上采样特征图，包括：

将所述融合特征图通过所述层次深度聚合模块的第一层下采样子模块进行下采样提取，得到所述融合特征图对应的第一阶段特征图；其中，所述下采样提取用于指示将所述融合特征图根据第一层下采样子模块的预设块大小划分为多个基础块，并对所述多个基础块中的每一个基础块进行特征融合；

将所述第一阶段特征图输入到所述层次深度聚合模块的第二层下采样子模块进行下采样提取，得到所述融合特征图对应的第二阶段特征图，并通过预设的残差卷积层对所述第二阶段特征图进行部分层的聚合，以确定出之后输入到所述层次深度聚合模块的第三层下采样子模块进行下采样提取的第二目标层级特征图；

在所述层次深度聚合模块中所有层级的下采样子模块完成下采样提取的情况下，对经过残差卷积层处理的每一个目标层级特征图进行上采样，以确定出所述层次深度聚合模块输出的多个上采样特征图。

5.根据权利要求2所述的方法，其特征在于，将所述多个上采样特征图输入到所述目标检测网络中的迭代深度聚合模块，得到所述迭代深度聚合模块输出的预测标注框信息，包括：

通过所述迭代深度聚合模块中的累加卷积模块对所述层次深度聚合模块输出的多个上采样特征图进行特征融合；

根据所述特征融合的结果确定出预测标注框信息，其中，所述预测标注框信息包括以下至少之一：预测标注框的热力图预测类别、预测标注框的长宽预测、预测标注框中的像素还原偏移预测。

6.根据权利要求1所述的方法，其特征在于，将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果之前，所述方法还包括：

将所述目标设备获取的视频帧中的第一帧的红外图像作为标准红外图像，并根据所述标准红外图像确定所述目标区域的背景模型；

通过所述背景模型对所述视频帧中除第一帧以外的其他帧的红外图像中的每一个像素点进行判断，以分割出所述其他帧的红外图像中前景点与背景点。

7.根据权利要求6所述的方法，其特征在于，通过所述背景模型对视频帧中除第一帧以外的其他帧的红外图像中的每一个像素点进行判断，以分割出所述其他帧的红外图像中前景点与背景点，包括：

确定所述其他帧的红外图像中每一个像素点的当前像素值与所述背景模型对应样本集中的像素值的差值；

在所述差值处于所述背景模型对应的像素值误差区间内的情况下，确定所述当前像素点为目标背景点；

在所述差值处于所述背景模型对应的像素值误差区间外的情况下，确定所述当前像素点为目标前景点。

8.根据权利要求6所述的方法，其特征在于，将所述目标设备获取的视频帧中第一帧的红外图像作为标准红外图像，以根据所述标准红外图像确定所述目标区域的背景模型，包括：

确定所述标准红外图像中所有像素点对应的像素值和/或像素点对应邻居点的像素值，得到所述标准红外图像的样本集；

根据预设的运动检测需求与所述样本集对预设背景模型进行训练，得到背景模型。

9.根据权利要求8所述的方法，其特征在于，根据预设的运动检测需求与所述样本集对预设背景模型进行训练，包括：

根据像素差值和所述预设的运动检测需求的误差阈值确定出所述预设背景模型允许的像素值误差区间，其中，所述像素差值为所述样本集的最大像素值与最小像素值的差值；

根据所述预设的运动检测需求从所述样本集中确定出目标数量的邻域样本点集合，并获取使用所述邻域样本点确定任一像素点为背景点的第一预设阈值，其中，所述邻域样本点集合为进行像素点相似度判断时的参考点的集合，所述第一预设阈值用于指示在确定任一像素点与当前样本集中的像素点为相似像素点时对应邻域样本点集合中像素值变化在所述像素值误差区间内的像素点数量。

10.根据权利要求8所述的方法，其特征在于，根据预设的运动检测需求与所述样本集对预设背景模型进行训练，得到背景模型之后，所述方法还包括：

根据时间采样因子从所述背景模型识别出的背景点中获取目标背景点集合；

将所述目标背景点集合添加至所述样本集中对所述样本集中的背景点进行更新，并使用更新后的样本集校验所述背景模型。

11.一种目标区域的检测装置，其特征在于，包括：

接收模块，用于接收目标设备发送的可见光图像和红外图像，其中，所述可见光图像和所述红外图像从同一视频帧中获取到，且所述同一视频帧为所述目标设备对目标区域进行图像采集所得到的视频帧中的任一帧图像；

目标检测模块，用于将所述可见光图像和所述红外图像输入到目标检测网络，得到所述目标区域对应的第一检测结果；

融合模块，用于将所述第一检测结果与所述红外图像对应的第二检测结果进行融合得到第三检测结果，其中，所述第二检测结果是通过对目标区域的所述红外图像进行运动检测确定。

12.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至10任一项中所述的方法。

13.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。

Images