CN112967322A - 运动目标检测模型建立方法和运动目标检测方法 - Google Patents

Abstract

本发明实施例公开了一种运动目标检测模型建立方法和运动目标检测方法，运动目标检测模型建立方法包括：将获取的视频样本进行按帧拆分得到多个样本；将部分样本用于初始化前景分割模型，剩余的其他样本作为训练集；重复以下步骤：获取并将子训练集输入前景分割模型，得到浅层前景目标图；将子训练集输入至全卷积网络模型，得到深层前景目标图；将浅层前景目标图分别与深层前景目标图融合，得到前景目标特征图集；利用前景目标特征图集更新前景分割模型。当前景目标的识别准确率达到预设值，将前景分割模型和全卷积网络模型作为运动目标检测模型。由此，本发明解决了前景分割模型中错检和漏检的问题，提高了运动目标的检测准确度。

Description

运动目标检测模型建立方法和运动目标检测方法

技术领域

本发明涉及目标检测领域，尤其涉及一种运动目标检测模型建立方法和运动目标检测方法。

背景技术

随着互联网资源多样和丰富性，如智能监控、智能电视等具备处理视频的终端设备也多样化普及，而视频中运动目标的确定，也逐渐成为当前环境下的热门研究。

常见的运动目标检测方法有VMBe、PBAS和LOBSTER等传统意义上的前景分割方法，但此类方法普遍存在像素错检和像素漏检的情况，导致此类前景分割方法应用于运动目标前景检测中时，运动目标的检测准确度不高。

发明内容

有鉴于此，本发明提供一种运动目标检测模型建立方法和运动目标检测方法，以解决前景分割方法应用于运动目标前景检测中时，运动目标的检测准确度不高的难题。

第一方面，本发明的第一个实施方式提供了一种运动目标检测模型建立方法，包括：

按照时间顺序对视频样本进行分帧处理，得到样本集合；

标记样本集合中每个样本的前景目标，并将样本集合中前N个样本作为初始化样本集，剩余的样本作为训练集；

利用初始化样本集初始化预设的前景分割模型；

(1)从训练集中获取一个子训练集，将子训练集输入至前景分割模型，确定子训练集中每个样本的每个像素的像素类别，并利用像素类别为前景像素的像素点得到样本对应的浅层前景目标图，其中，子训练集包括训练集中至少5个连续的样本，像素类别包括前景像素和背景像素；

(2)将子训练集输入至全卷积网络模型，得到子训练集对应的一张深层前景目标图；

(3)基于预设的融合方式，将每张浅层前景目标图分别与深层前景目标图融合，得到子训练集对应的前景目标特征图集；

(4)利用前景目标特征图集更新前景分割模型；

重复上述步骤(1)至(4)，当前景目标特征图集中每张前景目标特征图的前景目标的识别准确率达到预设值时，将前景分割模型和全卷积网络模型作为运动目标检测模型。

第二方面，本发明的第二实施方式提供一种运动目标检测方法，包括：

获取待检测的视频样本，并按照时间顺序对待检测的视频样本进行分帧处理，得到待检测样本集合；

将待检测样本集合中所有的样本逐个输入至运动目标检测模型，得到每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图，其中，运动目标检测模型通过如第一方面中任一项的运动目标检测模型建立方法得到；

基于预设的融合方式，将每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图一一对应融合，确定并标注每个样本中的前景目标，得到已标注的待检测样本集合；

整合已标注的待检测样本集合，确定待检测的视频样本中的运动目标。

第三方面，本发明的第三个实施方式提供一种运动目标检测模型建立装置，包括：

样本集合获取模块，用于按照时间顺序对视频样本进行分帧处理，得到样本集合；

样本集合拆分模块，用于标记样本集合中每个样本的前景目标，并将样本集合中前N个样本作为初始化样本集，剩余的样本作为训练集；

初始化模块，用于利用初始化样本集初始化预设的前景分割模型；

浅层前景目标图获取模块，用于从训练集中获取一个子训练集，将子训练集输入至前景分割模型，确定子训练集中每个样本的每个像素的像素类别，并利用像素类别为前景像素的像素点得到样本对应的浅层前景目标图，其中，子训练集包括训练集中至少5个连续的样本，像素类别包括前景像素和背景像素；

深层前景目标图获取模块，用于将子训练集输入至全卷积网络模型，得到子训练集对应的一张深层前景目标图；

前景目标特征获取模块，用于基于预设的融合方式，将每张浅层前景目标图分别与深层前景目标图融合，得到子训练集对应的前景目标特征图集；

前景分割模型更新模块，用于利用前景目标特征图集更新前景分割模型；

运动目标检测模型获取模块，用于重复运行浅层前景目标图获取模块、深层前景目标图获取模块、前景目标特征获取模块及前景分割模型更新模块，当前景目标特征图集中每张前景目标特征图的前景目标的识别准确率达到预设值时，将前景分割模型和全卷积网络模型作为运动目标检测模型。

第四方面，本发明的第四个实施方式提供一种运动目标检测装置，包括：

待测样本集合获取模块，用于获取待检测的视频样本，并按照时间顺序对待检测的视频样本进行分帧处理，得到待检测样本集合；

前景特征获取模块，用于将待检测样本集合中所有的样本逐个输入至运动目标检测模型，得到每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图，其中，运动目标检测模型通过如第一方面中任意一项的运动目标检测模型建立方法得到；

前景目标标注模块，用于基于预设的融合方式，将每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图一一对应融合，确定并标注每个样本中的前景目标，得到已标注的待检测样本集合；

运动目标确定模块，用于整合已标注的待检测样本集合，确定待检测的视频样本中的运动目标。

第五方面，本发明的第五个实施方式提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如上述第一方面中任意一项的运动目标检测模型建立方法或上述第二方面中的运动目标检测方法。

第六方面，本发明的第六个实施方式提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如上述第一方面中任意一项的运动目标检测模型建立方法或上述第二方面中的运动目标检测方法。

本发明所公开的运动目标检测模型建立方法，将获取的视频样本进行按帧拆分，得到多个样本；将部分样本用于初始化前景分割模型，剩余的其他样本作为训练集；重复以下步骤：(1)从训练集中获取一个子训练集，将子训练集输入至前景分割模型，确定子训练集中每个样本的每个像素的像素类别，并利用像素类别为前景像素的像素点得到样本对应的浅层前景目标图；(2)将子训练集输入至全卷积网络模型，得到子训练集对应的一张深层前景目标图；(3)基于预设的融合方式，将每张浅层前景目标图分别与深层前景目标图融合，得到子训练集对应的前景目标特征图集；(4)利用前景目标特征图集更新前景分割模型。当前景目标特征图集中的每张前景目标特征图中前景目标的识别准确率达到预设值，将前景分割模型和全卷积网络模型作为运动目标检测模型。

本发明通过上述运动目标检测模型建立方法，将全卷积网络输出的深层信息，与前景分割模型分割输入的浅层信息融合，再利用融合后的特征信息训练前景分割模型，使得前景分割模型的更新更为准确和有效，从而解决了前景分割模型中存在的错检和漏检问题。进一步的，通过融合后的特征信息确定运动目标，使得运动目标的检测得到了前景分割模型和全卷积网络的支持，从而提高了运动目标的检测准确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了一张运动目标检测模型建立方法的流程示意图；

图2示出了一张运动目标检测方法的流程示意图；

图3示出了一张运动目标检测模型建立装置的结构示意图；

图4示出了一张运动目标检测模型装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

实施例1

参照图1，图1示出了一种运动目标检测模型建立方法的流程示意图，本发明第一个实施例所公开的运动目标检测模型建立方法，包括：

S110，按照时间顺序对视频样本进行分帧处理，得到样本集合。

可以理解的，视频中运动目标的变化通常是连续的，因此，为了保证后续训练时，前景分割模型能合理的判断出视频中连续变化的前景目标，本实施例基于时间顺序从视频样本取帧，并将得到的多个帧样本按照时间顺序存储。

S120，标记样本集合中每个样本的前景目标，并将样本集合中前N个样本作为初始化样本集，剩余的样本作为训练集；

S130，利用初始化样本集初始化预设的前景分割模型。

可选的，本实施例采用样本集的前N帧来初始化前景分割模型，其中，N为正整数，且用于初始化的初始集不超过总样本集合的5％。由于本实施例并未采用已有的训练集来进行初始化和训练，因此，通过实时拍摄设备获取到视频后，基于人工辅助完成前景目标标注，并选取视频的前N帧用于初始化，使得模型的初始化方法能针对具体的拍摄场景而进行，模型能基于较好的更新方向完成训练。

S140，从训练集中获取一个子训练集，将子训练集输入至前景分割模型，确定子训练集中每个样本的每个像素的像素类别，得到每个样本对应的浅层前景目标图，其中，子训练集包括训练集中至少5个连续的样本，像素类别包括前景像素和背景像素。

可选的，从训练集中获取子训练集时，当前获取的子训练集应当与上一轮训练时获取的子训练集是不同的子训练集，即上一次训练与这一次训练使用的是不同的样本图像，由此保证前景分割模型能随训练时间逐步提高模型的运动目标识别准确率。

进一步的，本实施例分割样本图像的前景和背景时，会对样本图像中所有的像素点进行一次数值判断，判断该像素的像素值/灰度值是否大于预设阈值。示范性的，本实施例首先将样本图片灰度化后，将灰度化图片输入至前景分割模型中，前景分割模型将所有像素点的灰度值累加并求平均数，再逐次判断各个像素点的像素值是否大于该平均值，若否，则认为该像素点为背景像素，并对该像素点进行白色填充，若是，则认定该像素点为前景像素，并进行黑色填充，从而得到样本的前景目标，由此得到了各个样本中所有像素的类别，进而得到每个样本对应的浅层前景目标图，即初步确定运动目标。

可以理解的，上述前景像素和背景像素的确定与分割仅仅是本实施例提供的一种可选的方式，本实施例并未限定浅层前景目标图只能通过上述方式获得。

S150，将子训练集输入至全卷积网络模型，得到子训练集对应的一张深层前景目标图。

具体的，全卷积网络(FCN，Fully Convolutional Networks)模型与常见的卷积网络模型，如AlexNet、VGG16，ResNet16等网络模型的差异为，全卷积网络将卷积网络中的用于分类和降维的全连接层替换成相应的卷积层，对输入原全连接层的特征图，进行相应的反卷积上采样，不断提高特征图分辨率直至达到原始样本分辨率。由此，对原图上每一个像素点都进行了分类预测，得到了各个像素点的像素类别，使得网络的输出不再是一个概率，而是一张已标注好的图片，由此得到了输入样本的深层前景信息。

进一步的，根据相邻帧运动目标数据高度冗余的原则，即一段视频中，相邻的帧图片中运动目标的变化可能非常小，甚至可能没有变化，因此，本实施例将连续的5帧样本输入至全卷积网络中时，仅输出一张深层前景目标图，即用于一张深层前景目标图代表5帧样本中运动目标。由此，减少了训练过程中全卷积网络的运算开销，简化了训练过程，降低了整个训练过程的计算量。

除此之外，本实施例采用的全卷积网络模型为预先训练好的网络，即前景分割模型并不参与全卷积网络的训练，网络中的参数可直接导入已训练好的网络，也可以是采用标注好的训练集通过训练得到。且本实施例也不对全卷积网络模型的具体结构进行限定，可由AlexNet改进而来，也可是ResNet16的变种，仅要求全卷积网络模型能输出相应的深层前景特征图即可。

S160，基于预设的融合方式，将每张浅层前景目标图分别与深层前景目标图融合，得到子训练集对应的前景目标特征图集。

具体而言，本实施例将S140中得到的多张浅层前景目标图，与S150中得到的一张生成前景目标图融合，以输出各个样本对应的前景目标图，从而得到相应的前景目标图集。针对每个样本图片，本实施例利用相应的浅层前景目标图和相应的深层前景目标图，共同描述该样本图片中的运动目标，使得样本图片中的运动目标，既能被前景分割模型基于像素点之间的差异而分割出来，亦能通过全卷积网络模型对各个像素点进行分类预测而得出，兼顾了两种分割方式的优势；再将浅层前景和深层前景融合，保证了运动目标分割的准确性。

由此，本实施例利用浅层目标前景目标图初步确定运动目标，再与深层前景目标图中的前景目标融合，进而对原始样本中的运动目标进行了二次确认，既解决了浅层目标前景目标图中存在的错检和漏检的问题，又提高了检测精度。

S170，利用前景目标特征图集更新前景分割模型。

可选的，本实施例利用S160中融合得到的前景特征图集来更新前景分割模型，使得前景分割模型下一次更新时，将浅层前景目标中错检和漏检的像素点，利用深层前景目标图进行修正和优化，因而前景分割模型训练时能以较高的准确率将前景像素和背景像素区分，进一步优化了前景分割模型的训练方向。

可以理解的，本实施例并不仅仅将前景分割模型输出的浅层前景目标图，与全卷积网络模型输出的深层前景目标图融合，以简单地通过融合后的前景特征图来确定运动目标，本实施例将融合后的前景特征图用于更新前景分割模型，从而改善了前景目标模型的训练和输出结果，使得前景分割模型更贴近真实情况。由此，本实施例将前景分割模型与全卷积网络模型融合，不仅提高了检测精度，更进一步提高了前景分割模型的训练效率。

S180，重复上述步骤S120至S170，直至前景目标特征图集中的每张前景目标特征图的前景目标的识别准确率达到预设值，将前景分割模型和全卷积网络模型作为运动目标检测模型。

具体而言，本实施例中，将“前景目标特征图集中的每张前景目标特征图的前景目标的识别准确率达到预设值”作为前景分割模型训练完成的条件，当达成该条件时，将前景分割模型和全卷积网络模型作为运动目标检测模型。可选的，本领域技术人员亦可采用其他的判别条件来作为模型终止训练的标志，如模型训练时召回率的变化，或是F2参数达到预设目标，本实施例并不对模型的终止条件进行任何的限定。

进一步的，本实施例是将前景分割模型和全卷积网络模型合并为一个完整的运动目标检测模型，兼顾了前景分割模型能描述像素差异的优势，和全卷积网络能针对各个像素点进行分类预测的优点，保证了样本图片中每个像素类别的正确分类，提升了前景目标的识别准确率。

本实施例将全卷积网络输出的深层信息，与前景分割模型分割输入的浅层信息融合，再利用融合后的特征信息训练前景分割模型，使得前景分割模型的更新更为准确和有效，从而解决了前景分割模型中存在的错检和漏检问题。进一步的，通过融合后的特征信息确定运动目标，使得运动目标的检测得到了前景分割模型和全卷积网络的支持，从而提高了运动目标的检测准确性。

在一些实施例中，上述S150包括：将子训练集中的第一个样本输入至全卷积网络模型，确定第一个样本中每个像素点的像素类别，得到子训练集对应的一张深层前景目标图。

可以理解的，根据相邻帧运动目标数据高度冗余的原则，相邻的帧样本中，运动目标可能不存在明显的变化。因此，本实施例采用了连续5个帧样本的第一帧样本来代表该连续5帧样本，从而得到子训练集对应的一张深层前景目标图，从而减少了全卷积网络模型的运算参数，简化了训练过程。

在一些实施例中，上述S160包括：依次利用每张浅层前景目标图更新深层前景目标图，得到更新后的深层前景目标图；

每张浅层前景目标图分别与更新后的深层前景目标图做并集处理，得到每张浅层前景目标图对应的前景目标特征图，构成前景目标特征图集。

具体而言，本实施例通过S150得到了一张深层前景目标图，以代表整个子训练集中所有样本对应的深层前景目标，从而减少了参数量。但可以理解的，利用一张深层前景目标图来代替5张运动前景特征，即以偏概全的表现方式并不能很好地对各个样本之间变化进行描述，亦可能存在错检和漏检的问题。因此，本实施例通过前景分割模型得到的连续5帧样本对应的5张浅层前景目标图，依次来更新该子训练集对应的深层前景目标图，使得该深层前景目标图中错检和漏检的像素点得以修正和更新，从而在后续步骤中，使用该更新后的深层前景目标图进行融合和更新时，能确保像素点的正确识别。

进一步的，得到上述更新后的深层前景目标图和多张浅层前景目标图之后，将浅层前景目标图与深层前景目标图融合，得到每个样本对应的前景特征图，从而构成前景特征图集。

更进一步的，上述利用每一个浅层前景目标图更新深层前景目标图，得到更新后的深层前景目标图，包括：

对所有在浅层前景目标图中像素类别为前景像素、在深层前景目标图中相应位置的像素类别为背景像素的像素点，基于预设概率更改深层前景目标图中的所有像素点的像素类别；

迭代更新深层前景目标图，得到更新后的深层前景目标图。

示范性的，以浅层前景目标图集中第一张浅层前景目标图来更新深层前景目标图为例：对任意在该浅层前景目标图中像素类别为前景像素，而在深层前景目标图中相应像素点位置却为背景像素的像素点，以1/50的概率更改深层前景目标图中的该像素点的类别，即以1/50的概率更改为前景像素。

可以理解的，基于1/50的概率随机地更新深层前景目标图的像素点，即采用了一种保守的随机更新策略，能有效避免前景目标的间歇性运动或是缓慢运动对前景分割模型的干扰，使得全卷积网络模型的输出能针对具体的场景而优化。

进一步的，利用每一个前景目标图来逐步更新深层前景目标图，保证更新后的深层前景目标图的准确性和有效性。

在一些实施例中，上述S130中的预设的前景分割模型为像素自适应分割算法；则S130包括：

将初始化样本集输入至像素自适应分割算法，初始化像素自适应分割算法中的距离阈值和学习率，得到前景分割模型；

进一步的，则S170包括：

利用前景目标特征图集更新前景分割模型中的距离阈值和学习率。

具体而言，像素自适应分割算法(Pixel-Based Adaptive Segmenter，PBAS)是一种基于像素的无参数模型，基于SACON算法和VIBE算法改进而来，相对于SACON算法和VIBE算法，PBAS引入了控制论的思想，使前景判断阈值和背景模型更新率自适应变化，随背景的复杂程度变化，还引入背景复杂程度的度量方法，根据背景复杂程度调整前景判断阈值和背景模型更新率。

示范性的，本实施例PBAS模型的初始化过程，和PBAS判别像素点的像素类别的具体过程如下所示：

初始化阶段，针对样本中的每一个像素点均统计N帧各个像素点历史值作为该点的背景模型，其中，历史值为输入的初始化样本集中各样本对应的RGB三通道像素和该像素点的梯度，统计过程如下式所示，其中，BG(x_i)即代表像素点的背景模型。

BG(x_i)＝{x_i(k)|k＝1，2，3...，N}

像素判别阶段中，通过当前帧I(x_i)与背景模型BG(x_i)来比较，决定到当前帧中各像素点的像素类别，即比较各像素点的当前值与背景模型的N个历史值，若当前值与其中至少B_min个历史值的距离小于判定阈值R(x_i)，则判定像素点为背景像素。判别过程如下式所示：

其中，F(x_i)取1，即代表该点为前景像素，取0则为背景像素，P代表大括号内条件满足的次数，dist[I(x_i),BG(x_i)]代表当前像素点与背景模型中相应像素点的距离。

更新过程中，PBAS不更新前景像素的像素点，而对于背景像素的像素点进行随机更新，在更新一个被判定为背景像素的像素点的同时，以同样的概率更新该像素点邻域内的一个随机像素点，更新方式均为用当前采样值去替换背景模型中的一个历史值。定义T(x_i)为学习率，上述更新过程只会以一定的概率1/T(x_i)发生，由于在复杂的样本中，像素点更容易被错误地认为是前景或者背景，所以此时需要更大的判定阈值R(x_i)和学习率T(x_i)，因此，仅当前值与历史值的差异较大时，才会被认定为前景像素，同时该点会以更小的概率去更新背景模型，其中样本的复杂度由下式确定：

其中，D_k(x_i)用于在进行历史值采样时，每一帧样本采集结束后，记录dist[I(x_i),BG(x_i)]中的最小值d_min(x_i)；

即代表该样本复杂度。

进一步的，当

较大时，相应需要更大的判定阈值R(x_i)和学习率T(x_i)来，反之亦然，则判定阈值R(x_i)的更新为：

其中，R_inde为单次更新的变化幅度，R_scale为调整背景复杂度

的尺度因子，二者均为预先设定的固定值。另外，设置R_lower为判定阈值的下限。

进一步的，学习率T(x_i)的更新为：

其中，T_inc和T_dec分别为T(x_i)单次更新的上调幅度和下调幅度，这二者也为预先设定的固定值。另外，为T(x_i)设定上界T_upper和下界T_lower，以控制其浮动范围。

由此，在每一帧前景分割之后，对各个像素单独地进行背景模型BG(x_i)、判定阈值R(x_i)和学习率T(x_i)的更新，因而具备自适应的阈值和学习率。

实施例2

本发明的第二个实施例公开了一种运动目标检测方法，参照图2，图2示出了一种运动目标检测方法的流程图，该运动目标检测方法包括：

S210，获取待检测的视频样本，并按照时间顺序对待检测的视频样本进行分帧处理，得到待检测样本集合。

类似的，与模型的训练过程相似，对任意的需要确定运动目标的待测视频样本，也需要将视频样本拆分成连续的多帧样本，使得运动目标检测模型能基于时间顺序，有效地识别出视频中的运动目标。

S220，将待检测样本集合中所有的样本逐个输入至运动目标检测模型，得到每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图，其中，运动目标检测模型通过如上述实施例1中任一项的运动目标检测模型建立方法得到。

可以理解的，本实施例是将实施例1中训练好的前景分割模型和预先训练好的全卷积模型视作运动目标检测模型，因而任意一帧样本均需要获取相应的浅层目标前景和深层目标前景。

进一步的，在本实施例中是对每个样本均输出了对应的深层前景目标图；具体而言，在训练过程中，为了减少训练中的参数量，和避免相邻帧运动目标数据高度冗余对全卷积网络的影响，因此一个子训练集对应一张深层前景目标图；而在本实施例中，为了使全卷积网络模型能对不同样本中的运动目标均输出相应的深层前景信息，以保证运动目标的准确性和有效性，因此对每一帧样本均需要输出相应的深层前景信息。

S230，基于预设的融合方式，将每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图一一对应融合，确定并标注每个样本中的前景目标，得到已标注的待检测样本集合。

S240，整合已标注的待检测样本集合，确定待检测的视频样本中的运动目标。

与训练过程类似，本实施例将各个样本对应的浅层前景目标图和深层前景目标图一一融合，从而确定每个样本中的前景目标，再将各个已确定前景目标的样本整合，确定原始视频样本中的前景目标。

本实施例基于训练好的运动目标检测模型，将待检测的视频样本中每一帧图片中的运动目标精准标注；且各个样本图片中运动目标的确定，既利用了前景分割模型能对各个像素点的差异而分割前景和背景的优势，又通过全卷积网络模型能对各个像素点进行分类检测，得出了输入图片的深层信息，并将前景分割模型输出的浅层前景信息和全卷积网络模型输出的深层前景信息融合，解决了前景分割模型可能存在的错检和漏检像素点的问题，提高了运动目标的识别准确率。

实施例3

参照图3，图3示出了一种运动目标检测模型建立装置的结构示意图，本发明第三个实施例所提供的运动目标检测模型建立装置300，包括：

样本集合获取模块310，用于按照时间顺序对视频样本进行分帧处理，得到样本集合；

样本集合拆分模块320，用于标记样本集合中每个样本的前景目标，并将样本集合中前N个样本作为初始化样本集，剩余的样本作为训练集；

初始化模块330，用于利用初始化样本集初始化预设的前景分割模型；

浅层前景目标图获取模块340，用于从训练集中获取一个子训练集，将子训练集输入至前景分割模型，确定子训练集中每个样本的每个像素的像素类别，得到每个样本对应的浅层前景目标图，其中，子训练集包括训练集中至少5个连续的样本，像素类别包括前景像素和背景像素；

深层前景目标图获取模块350，用于将子训练集输入至全卷积网络模型，得到子训练集对应的一张深层前景目标图；

前景目标特征获取模块360，用于基于预设的融合方式，将每张浅层前景目标图分别与深层前景目标图融合，得到子训练集对应的前景目标特征图集；

前景分割模型更新模块370，用于利用前景目标特征图集更新前景分割模型；

运动目标检测模型获取模块380，用于重复运行浅层前景目标图获取模块、深层前景目标图获取模块、前景目标特征获取模块及前景分割模型更新模块，直至前景目标特征图集中每张前景目标特征图的前景目标的识别准确率达到预设值时，将前景分割模型和全卷积网络模型作为运动目标检测模型。

可以理解的，本实施例的技术方案通过上述各个功能模块的协同作用，用于执行上述实施例1的运动目标检测模型建立方法，实施例1所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

实施例4

参照图4，图4示出了一种运动目标检测装置的结构示意图，本发明第四个实施例所提供的运动目标检测装置400，包括：

待测样本集合获取模块410，用于获取待检测的视频样本，并按照时间顺序对待检测的视频样本进行分帧处理，得到待检测样本集合；

前景特征获取模块420，用于将待检测样本集合中所有的样本逐个输入至运动目标检测模型，得到每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图，其中，运动目标检测模型通过如第一方面中任意一项的运动目标检测模型建立方法得到；

前景目标标注模块430，用于基于预设的融合方式，将每个样本对应的浅层前景目标图和每个样本对应的深层前景特征图一一对应融合，确定并标注每个样本中的前景目标，得到已标注的待检测样本集合；

运动目标确定模块440，用于整合已标注的待检测样本集合，确定待检测的视频样本中的运动目标。

可以理解的，本实施例的技术方案通过上述各个功能模块的协同作用，用于执行上述实施例2的运动目标检测方法，实施例2所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

在本实施例中，还涉及一种计算机设备，包括存储器和处理器，存储器用于存储计算机程序，处理器运行计算机程序以使终端设备能执行上述实施例1的运动目标检测模型建立方法或实施例2的运动目标检测方法。

在本实施例中，还涉及一种可读存储介质，存储有计算机程序，计算机程序在处理器上运行时执行上述实施例1的运动目标检测模型建立方法或实施例2的运动目标检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种运动目标检测模型建立方法，其特征在于，包括：

按照时间顺序对视频样本进行分帧处理，得到样本集合；

标记所述样本集合中每个样本的前景目标，并将所述样本集合中前N个所述样本作为初始化样本集，剩余的所述样本作为训练集；

利用所述初始化样本集初始化预设的前景分割模型；

(1)从所述训练集中获取一个子训练集，将所述子训练集输入至所述前景分割模型，确定所述子训练集中每个样本的每个像素的像素类别，得到每个所述样本对应的浅层前景目标图，其中，所述子训练集包括所述训练集中至少5个连续的所述样本，所述像素类别包括前景像素和背景像素；

(2)将所述子训练集输入至全卷积网络模型，得到所述子训练集对应的一张深层前景目标图；

(3)基于预设的融合方式，将每张所述浅层前景目标图分别与所述深层前景目标图融合，得到所述子训练集对应的前景目标特征图集；

(4)利用所述前景目标特征图集更新所述前景分割模型；

重复上述步骤(1)至(4)，直至所述前景目标特征图集中每张前景目标特征图的所述前景目标的识别准确率达到预设值时，将所述前景分割模型和全卷积网络模型作为运动目标检测模型。

2.根据权利要求1所述的运动目标检测模型建立方法，其特征在于，所述将所述子训练集输入至全卷积网络模型，得到所述子训练集对应的一张深层前景目标图，包括：

将所述子训练集中的第一个样本输入至全卷积网络模型，确定所述第一个样本中每个像素点的像素类别，得到所述子训练集对应的一张深层前景目标图。

3.根据权利要求1所述的运动目标检测模型建立方法，其特征在于，所述基于预设的融合方式，将每张所述浅层前景目标图分别与所述深层前景目标图融合，得到所述子训练集对应的前景目标特征图集，包括：

依次利用每张所述浅层前景目标图更新所述深层前景目标图，得到更新后的深层前景目标图；

每张所述浅层前景目标图分别与所述更新后的深层前景目标图做并集处理，得到每张所述浅层前景目标图对应的前景目标特征图，构成前景目标特征图集。

4.根据权利要求3所述的运动目标检测模型建立方法，其特征在于，所述利用每一个所述浅层前景目标图更新所述深层前景目标图，得到更新后的深层前景目标图，包括：

对所有在所述浅层前景目标图中像素类别为前景像素、在所述深层前景目标图中相应位置的像素类别为背景像素的像素点，基于预设概率更改所述深层前景目标图中的所有所述像素点的像素类别；

迭代更新所述深层前景目标图，得到更新后的深层前景目标图。

5.根据权利要求1所述的运动目标检测模型建立方法，其特征在于，所述预设的前景分割模型为像素自适应分割算法；

所述利用所述初始化样本集初始化预设的前景分割模型，包括：

将所述初始化样本集输入至像素自适应分割算法，初始化所述像素自适应分割算法中的距离阈值和学习率，得到前景分割模型；

所述利用所述前景目标特征图集更新所述前景分割模型，包括：

利用所述前景目标特征图集更新所述前景分割模型中的所述距离阈值和所述学习率。

6.一种运动目标检测方法，其特征在于，包括：

获取待检测的视频样本，并按照时间顺序对所述待检测的视频样本进行分帧处理，得到待检测样本集合；

将所述待检测样本集合中所有的样本逐个输入至运动目标检测模型，得到每个所述样本对应的浅层前景目标图和每个所述样本对应的深层前景特征图，其中，所述运动目标检测模型通过如权利要求1至5任一项所述的运动目标检测模型建立方法得到；

基于预设的融合方式，将每个所述样本对应的浅层前景目标图和每个所述样本对应的深层前景特征图一一对应融合，确定并标注每个所述样本中的前景目标，得到已标注的待检测样本集合；

整合所述已标注的待检测样本集合，确定所述待检测的视频样本中的运动目标。

7.一种运动目标检测模型建立装置，其特征在于，包括：

样本集合获取模块，用于按照时间顺序对视频样本进行分帧处理，得到样本集合；

样本集合拆分模块，用于标记所述样本集合中每个样本的前景目标，并将所述样本集合中前N个所述样本作为初始化样本集，剩余的所述样本作为训练集；

初始化模块，用于利用所述初始化样本集初始化预设的前景分割模型；

浅层前景目标图获取模块，用于从所述训练集中获取一个子训练集，将所述子训练集输入至所述前景分割模型，确定所述子训练集中每个样本的每个像素的像素类别，得到每个所述样本对应的浅层前景目标图，其中，所述子训练集包括所述训练集中至少5个连续的所述样本，所述像素类别包括前景像素和背景像素；

深层前景目标图获取模块，用于将所述子训练集输入至全卷积网络模型，得到所述子训练集对应的一张深层前景目标图；

前景目标特征获取模块，用于基于预设的融合方式，将每张所述浅层前景目标图分别与所述深层前景目标图融合，得到所述子训练集对应的前景目标特征图集；

前景分割模型更新模块，用于利用所述前景目标特征图集更新所述前景分割模型；

运动目标检测模型获取模块，用于重复运行所述浅层前景目标图获取模块、所述深层前景目标图获取模块、所述前景目标特征获取模块及所述前景分割模型更新模块，直至所述前景目标特征图集中每张前景目标特征图的所述前景目标的识别准确率达到预设值时，将所述前景分割模型和全卷积网络模型作为运动目标检测模型。

8.一种运动目标检测装置，其特征在于，包括：

待测样本集合获取模块，用于获取待检测的视频样本，并按照时间顺序对所述待检测的视频样本进行分帧处理，得到待检测样本集合；

前景特征获取模块，用于将所述待检测样本集合中所有的样本逐个输入至运动目标检测模型，得到每个所述样本对应的浅层前景目标图和每个所述样本对应的深层前景特征图，其中，所述运动目标检测模型通过如权利要求1至5任一项所述的运动目标检测模型建立方法得到；

前景目标标注模块，用于基于预设的融合方式，将每个所述样本对应的浅层前景目标图和每个所述样本对应的深层前景特征图一一对应融合，确定并标注每个所述样本中的前景目标，得到已标注的待检测样本集合；

运动目标确定模块，用于整合所述已标注的待检测样本集合，确定所述待检测的视频样本中的运动目标。

9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行如权利要求1-5任一项所述的运动目标检测模型建立方法或权利要求6所述的运动目标检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在处理器上运行时执行如权利要求1-5任一项所述的运动目标检测模型建立方法或权利要求6所述的运动目标检测方法。

Images