CN111428551B

CN111428551B - 密度检测方法、密度检测模型训练方法和装置

Info

Publication number: CN111428551B
Application number: CN201911402747.9A
Authority: CN
Inventors: 杨铮
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2023-06-16
Anticipated expiration: 2039-12-30
Also published as: CN111428551A

Abstract

本公开提供了一种密度检测方法、密度检测模型训练方法和装置，涉及计算机视觉技术领域。密度检测方法包括：获取目标视频；对于目标视频中的目标帧图像，提取目标帧图像的静态特征；根据目标视频和目标帧图像，提取目标帧图像的动态特征；根据目标帧图像的静态特征、目标帧图像的动态特征和目标对象的第一密度检测模型，检测目标帧图像中目标对象的密度，使得不仅可以确定目标帧图像的静态特征，还可以确定目标帧图像的动态特征，根据该静态特征和动态特征融合后的图像进行密度检测，使得可以应用于复杂的场景中，提高了确定目标视频中目标帧图像中的目标对象的密度的准确率。

Description

密度检测方法、密度检测模型训练方法和装置

技术领域

本公开涉及计算机视觉技术领域，特别涉及一种密度检测方法、密度检测模型训练方法和装置。

背景技术

随着计算机视觉技术的发展，通过对图像进行处理获取的图像信息的种类越来越丰富。例如，可以通过对图像进行处理，获取图像中人群的数量。其中，在获取图像中的人群数量时，从图像中获取人群密度，根据人群密度统计图像中的人群数量。

目前，一般是通过密度图来表示图像密度；相关技术中，在确定图像中人群的密度图时，常对图像的人群中人的头部区域进行标记，将标记了头部区域的图像作为密度图。

上述相关技术中，在确定图像中人群密度时，只能对简单的场景中，确定人的头部区域，对于复杂的场景，例如，人群密度较大的场景或人群流动速度较快的场景，无法准确确定图像中人群的密度。

发明内容

本公开提供了一种密度检测方法、密度检测模型训练方法和装置，提高了确定图像中目标对象的密度的准确性。

一方面，提供了一种密度检测方法，所述方法包括：

获取目标视频；

对于所述目标视频中的目标帧图像，提取所述目标帧图像的静态特征；

根据所述目标视频和所述目标帧图像，提取所述目标帧图像的动态特征；

根据所述目标帧图像的静态特征、所述目标帧图像的动态特征和目标对象的第一密度检测模型，检测所述目标帧图像中所述目标对象的密度。

在一种可能的实现方式中，所述根据所述目标帧图像的静态特征、所述目标帧图像的动态特征和目标对象的第一密度检测模型，检测所述目标帧图像中所述目标对象的密度，包括：

根据所述目标帧图像的静态特征，确定所述目标帧图像的静态特征图，以及，根据所述目标帧图像的动态特征，确定所述目标帧图像的动态特征图；

将所述目标帧图像的动态特征图、所述目标帧图像的静态特征图和所述目标帧图像，组成所述目标帧图像对应的多通道图像；

将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中目标对象的密度。

在另一种可能的实现方式中，所述静态特征包括边缘特征和/或纹理特征；所述动态特征包括光流特征。

在另一种可能的实现方式中，所述根据所述目标帧图像的静态特征，确定所述目标帧图像的静态特征图，包括：

根据所述目标帧图像的边缘特征，确定所述目标帧图像的边缘特征图，以及，根据所述目标帧图像的纹理特征，确定所述目标帧图像的纹理特征图；

所述根据所述目标帧图像的动态特征，确定所述目标帧图像的动态特征图，包括：

根据所述目标帧图像的光流特征，确定所述目标帧图像的光流特征图；

所述将所述目标帧图像的动态特征图、所述目标帧图像的静态特征图和所述目标帧图像，组成所述目标帧图像对应的多通道图像，包括：

将所述目标帧图像的边缘特征图、所述目标帧图像的纹理特征图、所述目标帧图像的光流特征图和所述目标帧图像，组成所述目标帧图像对应的多通道图像。

在另一种可能的实现方式中，所述将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中目标对象的密度，包括：

将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中目标对象的密度图，所述密度图中包括所述目标帧图像中每个像素点为所述目标对象的像素点的概率。

在另一种可能的实现方式中，所述方法还包括：

根据所述目标帧图像的密度图，统计所述目标帧图像中目标对象的数量的预测值。

在另一种可能的实现方式中，所述根据所述目标帧图像的静态特征、所述目标帧图像的动态特征和目标对象的第一密度检测模型，检测所述目标帧图像中所述目标对象的密度之前，所述方法还包括：

获取样本视频；

根据所述样本视频，确定多个第一样本图像；

对于任一第一样本图像，提取所述第一样本图像的静态特征；以及，根据所述样本视频和所述第一样本图像，提取所述第一样本图像的动态特征；

根据所述第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像；

根据所述第二样本图像对应的第一样本图像的第一密度，确定所述第二样本图像对应的密度标签，所述密度标签中包括所述第一密度；

根据所述多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到所述目标对象的第一密度检测模型。

在另一种可能的实现方式中，所述根据所述第一样本图像的静态特征和动态特征，确定第二样本图像，包括：

根据所述第一样本图像的静态特征，确定所述第一样本图像的静态特征图，所述静态特征包括边缘特征和/或纹理特征；

根据所述第一样本图像的动态特征，确定所述第一样本图像的动态特征图，所述动态特征包括光流特征；

将所述第一样本图像的静态特征图、所述第一样本图像的动态特征图和所述第一样本图像，组成所述第一样本图像对应的多通道样本图像，所述多通道样本图像为所述第二样本图像。

在另一种可能的实现方式中，所述根据所述第二样本图像对应的第一样本图像的第一密度，确定所述第二样本图像对应的密度标签，包括：

确定所述第一样本图像中的所述目标对象所在的至少一个第一图像区域，以及确定不包括所述目标对象的第二图像区域；

对每个第一图像区域内的像素点，标记所述像素点为所述目标对象的像素点的概率，使得所述每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将所述第二图像区域内的像素点所对应的该像素点为所述目标对象的像素点的概率标记为第二数值，得到所述第二样本图像对应的密度标签，所述像素点所对应的概率用于表示所述目标对象的密度。

另一方面，提供了一种密度检测模型训练方法，所述方法包括：

获取样本视频；

根据所述样本视频，确定多个第一样本图像；

在一种可能的实现方式中，所述根据所述第一样本图像的静态特征和动态特征，确定第二样本图像，包括：

对每个第一图像区域内的像素点，标记所述像素点为所述目标对象的像素点的概率，使得所述每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将所述第二图像区域内的像素点所对应的该像素点为所述目标对象的像素点的概率标记为第二数值，得到所述第二样本图像的密度标签，所述像素点所对应的概率用于表示所述目标对象的密度。

另一方面，提供了一种密度检测装置，所述装置包括：

第一获取模块，用于获取目标视频；

第一提取模块，用于对于所述目标视频中的目标帧图像，提取所述目标帧图像的静态特征；

第二提取模块，用于根据所述目标视频和所述目标帧图像，提取所述目标帧图像的动态特征；

检测模块，用于根据所述目标帧图像的静态特征、所述目标帧图像的动态特征和目标对象的第一密度检测模型，检测所述目标帧图像中所述目标对象的密度。

在一种可能的实现方式中，所述检测模块，还用于根据所述目标帧图像的静态特征，确定所述目标帧图像的静态特征图，以及，根据所述目标帧图像的动态特征，确定所述目标帧图像的动态特征图；将所述目标帧图像的动态特征图、所述目标帧图像的静态特征图和所述目标帧图像，组成所述目标帧图像对应的多通道图像；将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中目标对象的密度。

在另一种可能的实现方式中，所述检测模块，还用于根据所述目标帧图像的边缘特征，确定所述目标帧图像的边缘特征图，以及，根据所述目标帧图像的纹理特征，确定所述目标帧图像的纹理特征图；

所述检测模块，还用于根据所述目标帧图像的光流特征，确定所述目标帧图像的光流特征图；

所述检测模块，还用于将所述目标帧图像的边缘特征图、所述目标帧图像的纹理特征图、所述目标帧图像的光流特征图和所述目标帧图像，组成所述目标帧图像对应的多通道图像。

在另一种可能的实现方式中，所述检测模块，还用于将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中目标对象的密度图，所述密度图中包括所述目标帧图像中每个像素点为所述目标对象的像素点的概率。

在另一种可能的实现方式中，所述装置还包括：

统计模块，用于根据所述目标帧图像的密度图，统计所述目标帧图像中目标对象的数量的预测值。

在另一种可能的实现方式中，所述装置还包括：

第二获取模块，用于获取样本视频；

第一确定模块，用于根据所述样本视频，确定多个第一样本图像；

第三提取模块，用于对于任一第一样本图像，提取所述第一样本图像的静态特征；以及，根据所述样本视频和所述第一样本图像，提取所述第一样本图像的动态特征；

第二确定模块，用于根据所述第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像；

第三确定模块，用于根据所述第二样本图像对应的第一样本图像的第一密度，确定所述第二样本图像对应的密度标签，所述密度标签中包括所述第一密度；

第一训练模块，用于根据所述多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到所述目标对象的第一密度检测模型。

在另一种可能的实现方式中，所述第二确定模块，还用于根据所述第一样本图像的静态特征，确定所述第一样本图像的静态特征图，所述静态特征包括边缘特征和/或纹理特征；根据所述第一样本图像的动态特征，确定所述第一样本图像的动态特征图，所述动态特征包括光流特征；将所述第一样本图像的静态特征图、所述第一样本图像的动态特征图和所述第一样本图像，组成所述第一样本图像对应的多通道样本图像，所述多通道样本图像为所述第二样本图像。

在另一种可能的实现方式中，所述第三确定模块，还用于确定所述第一样本图像中的所述目标对象所在的至少一个第一图像区域，以及确定不包括所述目标对象的第二图像区域；对每个第一图像区域内的像素点，标记所述像素点为所述目标对象的像素点的概率，使得所述每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将所述第二图像区域内的像素点所对应的该像素点为所述目标对象的像素点的概率标记为第二数值，得到所述第二样本图像对应的密度标签，所述像素点所对应的概率用于表示所述目标对象的密度。

另一方面，提供了一种密度检测模型训练装置，所述装置包括：

第三获取模块，用于获取样本视频；

第四确定模块，用于根据所述样本视频，确定多个第一样本图像；

第四提取模块，用于对于任一第一样本图像，提取所述第一样本图像的静态特征；以及，根据所述样本视频和所述第一样本图像，提取所述第一样本图像的动态特征；

第五确定模块，用于根据所述第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像；

第六确定模块，用于根据所述第二样本图像对应的第一样本图像的第一密度，确定所述第二样本图像对应的密度标签，所述密度标签中包括所述第一密度；

第二训练模块，用于根据所述多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到所述目标对象的第一密度检测模型。

在一种可能的实现方式中，所述第五确定模块，还用于根据所述第一样本图像的静态特征，确定所述第一样本图像的静态特征图，所述静态特征包括边缘特征和/或纹理特征；根据所述第一样本图像的动态特征，确定所述第一样本图像的动态特征图，所述动态特征包括光流特征；将所述第一样本图像的静态特征图、所述第一样本图像的动态特征图和所述第一样本图像，组成所述第一样本图像对应的多通道样本图像，所述多通道样本图像为所述第二样本图像。

在另一种可能的实现方式中，所述第六确定模块，还用于确定所述第一样本图像中的所述目标对象所在的至少一个第一图像区域，以及确定不包括所述目标对象的第二图像区域；对每个第一图像区域内的像素点，标记所述像素点为所述目标对象的像素点的概率，使得所述每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将所述第二图像区域内的像素点所对应的该像素点为所述目标对象的像素点的概率标记为第二数值，得到所述第二样本图像的密度标签，所述像素点所对应的概率用于表示所述目标对象的密度。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现本公开实施中所述的密度检测方法和/或密度检测模型训练方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条指令，所述至少一条指令由处理器加载并执行，以实现本公开实施中所述的密度检测方法和/或密度检测模型训练方法。

另一方面，提供了一种计算机程序产品，所述计算机程序产品中存储至少一条指令，所述至少一条指令由处理器加载并执行，以实现本公开实施中所述的密度检测方法和/或密度检测模型训练方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开实施例中，通过获取目标视频，提取该目标视频中的目标帧图像的静态特征和动态特征；根据该目标帧图像的静态特征、动态特征和目标对象的第一密度检测模型，检测所述目标帧图像中目标对象的密度，使得不仅可以确定目标帧图像的静态特征，还可以确定目标帧图像的动态特征，根据该静态特征和动态特征融合后的图像进行密度检测，使得可以应用于复杂的场景中，提高了确定目标视频中目标帧图像中的目标对象的密度的准确率。

并且，在本实现方式中，通过标记了静态特征、动态特征的第二样本图像和密度标签，对第二密度检测模型进行训练，使得第一密度检测模型在对目标视频中的目标帧图像进行模型检测的过程中，可以根据帧图像的静态特征和动态特征，检测目标对象的密度，从而提高了第一密度检测模型检测目标对象的密度的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种密度检测方法流程图；

图2是根据一示例性实施例示出的一种密度检测模型训练方法流程图；

图3是根据一示例性实施例示出的一种密度检测模型训练方法流程图；

图4是根据一示例性实施例示出的一种密度检测方法流程图；

图5是根据一示例性实施例示出的一种特征提取模型的结构示意图；

图6是根据一示例性实施例示出的一种密度检测方法流程图；

图7是根据一示例性实施例示出的一种密度图的示意图；

图8是根据一示例性实施例示出的一种密度检测模型训练方法流程图

图9是根据一示例性实施例示出的一种密度检测方法流程图；

图10是根据一示例性实施例示出的一种密度检测装置框图；

图11是根据一示例性实施例示出的一种密度检测模型训练装置框图；

图12是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种密度检测方法流程图，如图1所示，该方法包括如下步骤。

步骤101：获取目标视频。

步骤102：对于该目标视频中的目标帧图像，提取该目标帧图像的静态特征。

步骤103：根据该目标视频和该目标帧图像，提取该目标帧图像的动态特征。

步骤104：根据该目标帧图像的静态特征、该目标帧图像的动态特征和目标对象的第一密度检测模型，检测该目标帧图像中该目标对象的密度。

在一种可能的实现方式中，该根据该目标帧图像的静态特征、该目标帧图像的动态特征和目标对象的第一密度检测模型，检测该目标帧图像中该目标对象的密度，包括：

根据该目标帧图像的静态特征，确定该目标帧图像的静态特征图，以及，根据该目标帧图像的动态特征，确定该目标帧图像的动态特征图；

将该目标帧图像的动态特征图、该目标帧图像的静态特征图和该目标帧图像，组成该目标帧图像对应的多通道图像；

将该多通道图像输入至该第一密度检测模型中，输出该目标帧图像中目标对象的密度。

在另一种可能的实现方式中，该静态特征包括边缘特征和/或纹理特征；该动态特征包括光流特征。

在另一种可能的实现方式中，该根据该目标帧图像的静态特征，确定该目标帧图像的静态特征图，包括：

根据该目标帧图像的边缘特征，确定该目标帧图像的边缘特征图，以及，根据该目标帧图像的纹理特征，确定该目标帧图像的纹理特征图；

该根据该目标帧图像的动态特征，确定该目标帧图像的动态特征图，包括：

根据该目标帧图像的光流特征，确定该目标帧图像的光流特征图；

该将该目标帧图像的动态特征图、该目标帧图像的静态特征图和该目标帧图像，组成该目标帧图像对应的多通道图像，包括：

将该目标帧图像的边缘特征图、该目标帧图像的纹理特征图、该目标帧图像的光流特征图和该目标帧图像，组成该目标帧图像对应的多通道图像。

在另一种可能的实现方式中，该将该多通道图像输入至该第一密度检测模型中，输出该目标帧图像中目标对象的密度，包括：

将该多通道图像输入至该第一密度检测模型中，输出该目标帧图像中目标对象的密度图，该密度图中包括该目标帧图像中每个像素点为该目标对象的像素点的概率。

在另一种可能的实现方式中，该方法还包括：

根据该目标帧图像的密度图，统计该目标帧图像中目标对象的数量的预测值。

在另一种可能的实现方式中，该根据该目标帧图像的静态特征、该目标帧图像的动态特征和目标对象的第一密度检测模型，检测该目标帧图像中该目标对象的密度之前，该方法还包括：

获取样本视频；

根据该样本视频，确定多个第一样本图像；

对于任一第一样本图像，提取该第一样本图像的静态特征；以及，根据该样本视频和该第一样本图像，提取该第一样本图像的动态特征；

根据该第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像；

根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签，该密度标签中包括该第一密度；

根据该多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到该目标对象的第一密度检测模型。

在另一种可能的实现方式中，该根据该第一样本图像的静态特征和动态特征，确定第二样本图像，包括：

根据该第一样本图像的静态特征，确定该第一样本图像的静态特征图，该静态特征包括边缘特征和/或纹理特征；

根据该第一样本图像的动态特征，确定该第一样本图像的动态特征图，该动态特征包括光流特征；

将该第一样本图像的静态特征图、该第一样本图像的动态特征图和该第一样本图像，组成该第一样本图像对应的多通道样本图像，该多通道样本图像为该第二样本图像。

在另一种可能的实现方式中，该根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签，包括：

确定该第一样本图像中的该目标对象所在的至少一个第一图像区域，以及确定不包括该目标对象的第二图像区域；

对每个第一图像区域内的像素点，标记该像素点为该目标对象的像素点的概率，使得该每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将该第二图像区域内的像素点所对应的该像素点为该目标对象的像素点的概率标记为第二数值，得到该第二样本图像对应的密度标签，该像素点所对应的概率用于表示该目标对象的密度。

图2是根据一示例性实施例示出的一种密度检测模型训练方法流程图，如图2所示，该方法包括如下步骤。

步骤201：获取样本视频。

步骤202：根据该样本视频，确定多个第一样本图像。

步骤203：对于任一第一样本图像，提取该第一样本图像的静态特征；以及，根据该样本视频和该第一样本图像，提取该第一样本图像的动态特征。

步骤204：根据该第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像。

步骤205：根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签，该密度标签中包括该第一密度。

步骤206：根据该多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到该目标对象的第一密度检测模型。

在一种可能的实现方式中，该根据该第一样本图像的静态特征和动态特征，确定第二样本图像，包括：

对每个第一图像区域内的像素点，标记该像素点为该目标对象的像素点的概率，使得该每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将该第二图像区域内的像素点所对应的该像素点为该目标对象的像素点的概率标记为第二数值，得到该第二样本图像的密度标签，该像素点所对应的概率用于表示该目标对象的密度。

在本实现方式中，通过标记了静态特征、动态特征的第二样本图像和密度标签，对第二密度检测模型进行训练，使得第一密度检测模型在对目标视频中的目标帧图像进行模型检测的过程中，可以根据帧图像的静态特征和动态特征，检测目标对象的密度，从而提高了第一密度检测模型检测目标对象的密度的准确度。

在进行密度检测之前，需要通过模型训练，得到用于检测目标对象的密度的第一密度检测模型。参见图3，图3是根据本公开实施例提出的一种密度检测模型训练方法，如图3所示，该方法包括如下步骤。

步骤301：电子设备获取目标对象的第二密度检测模型。

该电子设备可以为任一具有图像处理功能的电子设备，例如，该电子设备可以为手机、计算机设备、可穿戴设备等。在本公开实施例中，对该电子设备的种类不作具体限定。该目标对象可以为人、动物或车辆等，在本公开实施例中，对此不作具体限定。该目标对象的第二密度检测模型为全卷积网络模型，该目标对象的第二密度检测模型可以为FCN(Fully Convolutional Networks，全卷积神经网络)模型等神经网络模型。该第二密度检测模型可以为通过TensorFlow框架构建的多级神经网络模型。该第二密度检测模型可以根据用户的需要进行设计和调整，在本公开实施例中，对此不作具体限定。

参见图4，电子设备通过加载模型参数获取第二密度检测模型。其中，电子设备可以接收用户输入的模型参数，从而获取该第二密度检测模型；电子设备还可以通过调用本地存储的第二密度检测模型的模型参数，从而获取该第二密度检测模型，在本公开实施例中，对此不作具体限定。

步骤302：电子设备获取样本视频。

该样本视频可以为电子设备从样本视频库中获取到的样本视频数据，该样本视频可以为包含音频信息和样本视频信息的样本视频文件，也可以为样本视频数据传输过程中的样本视频流等，在本公开实施例中，对此不作具体限定。

步骤303：电子设备根据该样本视频，确定多个第一样本图像。

电子设备截取样本视频中的样本帧图像，根据截取的样本帧图像，确定第一样本图像。其中，该多个第一样本图像可以为同一样本视频中截取的样本帧图像，该多个第一样本图像还可以为从多个样本视频中截取的样本帧图像。在本公开实施例中，对此不作具体限定。

另外，该多个第一样本图像的数量可以根据需要进行设定，在本公开实施例中，对此不作具体限定。另外，电子设备还可以从完整图片中截取的部分区域，将截取出的部分区域作为第一样本图像。通过将完整图片截取为多张图片使得在样本图片数量不足时，也可以获取到足够的样本数据，从而丰富样本数据，提高模型训练的数据样本数量和多样化程度，防止过拟合。

步骤304：对于任一第一样本图像，电子设备提取该第一样本图像的静态特征。

在本步骤中，电子设备对第一样本图像进行图像处理，得到第一样本图像的静态特征。其中，该静态特征可以为边缘特征、纹理特征或HOG(方向梯度直方图，Histogram ofOriented Gradient)特征等。例如，可以通过canny算法(一种边缘检测算法)，确定第一样本图像的边缘特征；也可以根据LBP(Local Binary Patterns，局部二值模式)算子，确定第一样本图像的纹理特征等。

步骤305：对于任一第一样本图像，电子设备根据该样本视频和该第一样本图像，提取该第一样本图像的动态特征。

该动态特征图可以为该第一样本图像的稠密光流特征。

需要说明的一点是，电子设备可以先提取第一样本图像的静态特征，再提取第一样本图像的动态特征图；电子设备也可以先提取第一样本图像的动态特征图，再提取第一样本图像的静态特征图，电子设备还可以同时提取第一样本图像的静态特征图和确定第一样本图像的动态特征图。也即，电子设备可以先执行步骤304，再执行步骤305，电子设备也可以先执行步骤305，再执行步骤304，电子设备还可以同时执行步骤305和步骤304。在本公开实施例中，对此不作具体限定。

其中，该样本图像的静态特征和动态特征还可以通过特征提取模型获取，该特征提取模型为全卷积网络模型，该特征提取模型可以为FCN(Fully ConvolutionalNetworks，全卷积神经网络)模型等神经网络模型。该特征提取模型可以为通过TensorFlow框架构建的多级神经网络模型，例如，参见图5，该特征提取模型为四级神经网络模型，其中，第一级神经网络模型由两个特征提取层和一个池化层组成；第二级神经网络模型由三个特征提取层和一个池化层组成；第三级神经网络模型模型由四个特征提取层和一个池化层组成；第四级神经网络模型由五个特征提取层组成。其中，每个特征提取层的结构相同，都是由一层卷积层和一层归一化层组成。该神经网络模型还包括输出层，该输出层由三级输出层组成，其中，第一级输出层和第二级输出层的结构相同，都是由融合层和上采样层组成。第三级输出层由融合层、上采样层和归一化层组成。

其中，通过该特征提取模型的不同级的神经网络模型，可以获取该第一样本图像的不同图像特征，例如，通过第一级神经网络模型可以提取该第一样本图像的图像特征；通过第二级神经网络模型可以提取该第一样本图像的边缘特征，得到该第一样本图像对应的边缘特征图；通过第三级神经网络模型可以提取该第一样本图像的纹理特征，得到该第一样本图像对应的纹理特征图；通过第四级神经网络模型可以提取该第一样本图像的光流特征，得到该第一样本图像对应的动态特征图。

通过多级别的特征提取模型，层层细化确定该第一样本图像的不同的图像特征，并将该不同的图像特征进行融合，得到多通道图像，使得可以通过第一样本图像的不同类别的图像特征，使得该可以确定更复杂的图像中的密度。需要说明的一点是，该特征提取模型可以根据用户的需要进行设计和调整，在本公开实施例中，对此不作具体限定。

另外，该特征提取模型可以根据输入的第一样本图像同时输出该第一样本图像的静态特征和动态特征，也可以分别通过两次输入第一样本图像，分别确定第一样本图像的静态特征和动态特征。

步骤306：电子设备根据该第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像。

在本步骤中，电子设备根据第一样本图像的静态特征、动态特征和第一样本图像进行融合得到第二样本图像，在一种可能的实现方式中，电子设备根据第一样本图像的静态特征生成静态特征图，根据第一样本图像的动态特征生成动态特征图，将第一样本图像、第一样本图像的静态特征图和动态特征图组成第二样本图像，该过程可以通过以下步骤(1)-(3)实现，包括：

(1)电子设备根据该第一样本图像的静态特征，确定该第一样本图像的静态特征图。

其中，静态特征包括边缘特征和/或纹理特征，相应的，该第一样本图像的静态特征图可以为边缘特征图和/或纹理特征图。

当该静态特征图为边缘特征图时，该电子设备确定第一样本图像的静态特征，并根据第一样本图像的静态特征，确定该第一样本图像的静态特征图的过程可以通过以下步骤(A1)-(A3)实现，包括：

(A1)电子设备对该第一样本图像进行梯度处理，得到该第一样本图像对应的梯度幅值图像。

在本公开实施例中，可以通过任一方式对该第一样本图像进行边缘检测得到该图像的边缘特征。例如，可以通过canny算法，确定该第一样本图像的边缘特征。

电子设备可以直接对该第一样本图像进行梯度处理，确定该第一样本图像对应的梯度幅值图像；电子设备还可以先对该帧图像进行灰度处理，将灰度处理后的第一样本图像进行边缘检测。相应的，电子设备对该第一样本图像进行灰度处理，得到该第一样本图像中每个像素点的灰度值。该第一样本图像可以为任一类型的图像，当该第一样本图像为多通道图像时，电子设备可以将该第一样本图像中每个像素点对应的每个通道的值进行加权求和，得到该像素点的灰度值。例如，该第一样本图像可以为RGB三通道图像，相应的，在本步骤中，可以通过以下公式确定该第一样本图像中任一像素点的灰度值。

公式一：I_g＝a*R+b*G+c*B

其中，I_g为该像素点的灰度值，R为该像素点的R通道对应的像素值，G为该像素点的G通道对应的像素值，B为该像素点的B通道对应的像素值，a、b和c分别为像素点的R、G和B通道的像素值的权重，其中，该a、b和c的值可以根据需要进行设置，在本公开实施例中，对a、b和c的值不作具体限定。例如，在一种可能的实现方式中，a＝0.299、b＝0.587、c＝0.114。

电子设备根据该第一样本图像的像素点的像素值，对该像素点进行滤波处理，得到该第一样本图像的高频像素点图像。其中，电子设备可以通过高斯滤波模板对该灰度处理后的第一样本图像进行滤波。该高斯滤波模板的高斯核和具体参数可以根据用户需要进行设置，在本公开实施例中，对该高斯滤波模板不作具体限定。例如，该高斯滤波模板的高斯核可以为3，相应的，该高斯滤波模板为三维的矩阵，如公式二所示。

公式二：

电子设备根据该高频像素点图像，确定该第一样本图像的梯度值图像。

在本步骤中，电子设备确定滤波后每个像素点的x方向和y方向的梯度和梯度方向，根据该梯度和像素点的像素值确定该像素点的梯度幅值；根据该梯度幅值和梯度方向，得到梯度值图像。

例如，像素点的x方向的梯度为

像素点的y方向的梯度为

则该像素点的梯度为/>

该像素点的梯度方向为θ＝arctan(G_y/G_x)。其中，M为该像素点的梯度，G_x为像素点的x方向的梯度，G_y为像素点的y方向的梯度，θ为像素点的梯度方向。

根据每个像素点的梯度和梯度方向，确定该第一样本图像中每个像素点的梯度幅值，得到该第一样本图像对应的梯度幅值图像，其中，将梯度与像素点的像素的乘积，作为该像素点的梯度幅值。

(A2)电子设备根据该梯度幅值图像中每个像素点的梯度幅值，从该梯度幅值图像中选择梯度幅值大于第一阈值的多个第一边缘像素点，得到初始边缘特征图。

电子设备确定第一阈值和第二阈值，其中，该第一阈值大于该第二阈值。该第一阈值和第二阈值可以根据需要进行设置，在本公开实施例中，对该第一阈值和第二阈值不作具体限定。例如，该第一阈值和第二阈值的比可以为3:1，例如，第一阈值为9，第二阈值为3。

在本步骤中，对梯度值图像进行非极大值抑制，将该梯度值图像划分为多个不同的区域，确定每个区域的最大值像素点，将该像素点作为第一边缘像素点，将其他像素点对应的灰度幅值置为0。再使用双阈值算法检测和连接边缘，确定该边缘特征图。

该过程可以为将该梯度幅值图像中每个区域的第一边缘像素点与该第一阈值比较，得到初始边缘特征图。当该边缘特征图中没有未连接的断点像素点时，将该初始边缘特征图作为该第一样本图像的边缘特征图。当该初始边缘特征图中的边缘特征有未连接的断点像素点时，则执行步骤(A3)，将该初始边缘特征图中未连接的像素点进行连接。

(A3)当该边缘特征图中包括未连接的断点像素点时，根据该断点像素点的相邻像素点的梯度幅值，从该相邻像素点中选择梯度幅值大于第二阈值的第二边缘像素点，将该第二边缘像素点添加到该边缘图像中，直到该边缘特征图中不包括未连接的断点像素点为止。

该边缘特征图中的像素点可能不闭合，则通过在该边缘特征图的断点像素点的相邻像素点中，确定每个像素点的梯度幅值大于第二阈值的第二边缘像素点，将该第一边缘像素点和第二边缘像素点组成边缘特征图，当该第一边缘像素点和第二边缘像素点组成边缘特征图中不包括断点像素点时，将该第一边缘像素点和第二边缘像素点组成边缘特征图作为该第一样本图像对应的边缘特征图，当该第一边缘像素点和第二边缘像素点组成边缘特征图中还包括断点像素点时，继续执行步骤(A3)直到得到的边缘像素点中不再包括断点像素点。

其中，该步骤(A1)-(A3)可以通过调用opencv(一个基于BSD许可发行的跨平台计算机视觉库)中的Canny方法(一种边缘检测算法)，计算canny边缘特征图。其中，该Canny()方法中的第三个参数和第四个参数分别指定第一阈值和第二阈值。最后一个参数为高斯滤波模板中的高斯核，表示该高斯滤波模板的维数，例如，该最后一个参数可以为3，则该高斯滤波模板为三维矩阵。

当该静态特征图为纹理特征图时，该电子设备确定该第一样本图像的静态特征，并根据第一样本图像的静态特征，确定该第一样本图像的静态特征图的过程可以通过以下步骤(B1)-(B4)实现，包括：

(B1)对于该第一样本图像中每个像素点，电子设备确定该像素点的多个相邻像素点。

在本步骤中，对于第一样本图像中每个像素点，电子设备确定该像素点周围的多个像素点，该多个相邻像素点可以为该像素点四方向上的像素点，该多个像素点还可以为该像素点八方向上的像素点。在本公开实施例中，对此不作具体限定。

例如，电子设备可以根据LBP(Local Binary Patterns，局部二值模式)算子，将该像素点的相邻像素点定义在3*3的窗口内，则该多个相邻像素点可以为该窗口内除中心像素点以外，与该窗口内的中心像素点相邻的其他8个像素点。

(B2)对于任意相邻像素点，当该相邻像素点的灰度值大于该像素点的灰度值时，电子设备将该相邻像素点标记为第一位置数值；当该相邻像素点的灰度值不大于该像素点的灰度值时，将该相邻像素点标记为第二位置数值。

在本步骤中，电子设备分别比较该像素点周围的多个相邻像素点的灰度值与该像素点的灰度值，当该相邻像素点的灰度值大于该像素点的灰度值时，将该相邻像素点对应的像素位置标记为第一位置数值，当该相邻像素点的灰度值不大于该像素点的灰度值时，将该相邻像素点对应的像素位置标记为第二位置数值，其中，该第一数值和第二数值可以根据需要进行设置，例如，第一位置数值可以为1，该第二位置数值可以为0。

例如，以上述在3*3的窗口中的中心像素点的灰度值为阈值，将相邻的8个像素的灰度值与其进行比较，若相邻像素点的灰度值大于中心像素点的灰度值时，则该相邻像素点的位置被标记为1，否则为0。

(B3)电子设备根据该多个相邻像素点被标记的数值，确定该像素点的纹理值。

电子设备可以将该多个相邻像素点的位置标记的数值，生成数值序列，依据不同位置标记的数值在数值序列中的位置，得到不同位置对应的多个数值序列，根据该多个数值序列确定该像素点的纹理值。该过程可以通过以下步骤(B3-1)-(B3-4)实现，包括：

(B3-1)电子设备将该多个相邻像素点被标记的数值组成第一数值序列。

例如，该相邻像素点为3*3的窗口中中心像素点的八方向像素点，其中，相邻像素点的灰度值大于中心像素点的灰度值的相邻像素点的位置被标记为1，否则标记为0。这样将该8个相邻像素点组成第一数值序列，该第一数值序列可以为8位二进制数，将该8位二进制数作为该3*3的窗口中心像素点的一个LBP值，并用这个值来反映该区域的纹理信息。

例如，该3*3的窗口中中心像素点相邻的多个像素点的位置对应的标注数值分别为“1、1、0、0、1、0、0、1”，则该第一数值序列可以为{1 1 0 0 1 0 01}。

在另一种可能的实现方式中，由于不同位置标记的数值在该数值序列的不同位置时，可能产生不同的数值序列，为了使特征描述子具备旋转不变性，对每一个像素得到的LBP值按位进行循环旋转，选出旋转过程中其值最小的LBP值作为该像素的最终LBP纹理值。从而得到旋转局部二值模式(LBP)特征图。相应的，执行步骤(B3-2)-(B3-4)。

(B3-2)电子设备调整该第一数值序列中的数值的顺序，得到多个第二数值序列。

例如，该3*3的窗口中中心像素点相邻的多个像素点的位置对应的标注数值分别为“1、1、0、0、1、0、0、1”，第一数值序列为{1 1 0 0 1 0 0 1}，则该多个第二数值序列可以为{1 0 0 1 0 0 1 1}、{0 0 1 0 0 1 1 1}、{0 1 0 0 1 1 1 0}、{1 0 0 1 1 1 0 0}、{00 1 1 1 0 0 1}、{0 1 1 1 0 0 1 0}和{1 1 1 0 0 1 0 0}。

(B3-3)电子设备从该第一数值序列和该多个第二数值序列中选择最小数值对应的数值序列。

例如，当该3*3的窗口中中心像素点相邻的多个像素点的位置对应的标注数值分别为“1、1、0、0、1、0、0、1”，则该第一数值序列和第二数值序列组成为{1 1 0 0 1 0 0 1}、{1 0 0 1 0 0 1 1}、{0 0 1 0 0 1 1 1}、{0 1 0 0 1 1 1 0}、{10 0 1 1 1 0 0}、{0 0 11 1 0 0 1}、{0 1 1 1 0 0 1 0}和{1 1 1 0 0 1 0 0}，则电子设备可以根据该第一数值序列和第二数值序列确定该第一数值序列和第二数值序列对应的二进制数值，即11001001、10010011、00100111、01001110、10011100、00111001、01110010和11100100。电子设备从该多个二进制数值中选择数值最小的二进制数值，上述8个二进制数中，最小的二进制数为00100111。

(B3-4)电子设备将选择的数值序列确定为该像素点的纹理值，得到纹理特征图。

在本步骤中，电子设备可以将生成的二进制数值作为该像素点的纹理值，电子设备还可以将该二进制数值转换为其他进制数值的表达形式，将该数值作为该像素点的纹理值，得到纹理特征图。

(2)电子设备根据该第一样本图像的动态特征，确定该第一样本图像的动态特征图。

其中，动态特征包括光流特征，相应的，电子设备获取第一样本图像的动态特征的步骤可以通过以下步骤(C1)-(C3)实现，电子设备根据第一样本图像的动态特征，确定第一样本图像的动态特征图可以通过以下步骤(C4)实现：

(C1)对于任一第一样本图像，电子设备从该样本视频中获取该第一样本图像的相邻帧图像。

在本步骤中，电子设备根据该第一样本图像所在的样本视频的相邻的帧对应的帧图像，其中，该相邻帧图像可以为该第一样本图像之前的帧对应的帧图像也可以为该第一样本图像之后的帧对应的帧图像，还可以为该第一样本图像之前和之后的帧对应的帧图像。在本公开实施例中，对此不作具体限定。

另外，电子设备可以仅获取一张相邻帧图像，电子设备还可以获取多张相邻帧图像，在本公开实施例中，对电子设备获取的相邻的帧图像的数量不作具体限定。

(C2)电子设备根据该第一样本图像和该相邻帧图像，确定多组像素点，每组像素点包括包含相似图像信息的两个像素点，一个像素点位于该第一样本图像中，另一个像素点位于该相邻帧图像中。

在本步骤中，电子设备根据该每个第一样本图像和该第一样本图像对应的相邻帧图像，确定第一样本图像和相邻帧图像中对应的多组像素点，每一组像素点中携带的图像信息相似，例如，每一组像素点中像素点的对应像素通道的通道值相同。

(C3)确定每组像素点中，两个像素点之间的移动方向和移动速度。

电子设备将该第一样本图像与相邻帧图像进行对比，该对比过程可以通过以下公式三实现：

公式三：I(x，y，t)＝I(x+dx，y+dy，t+dt)

其中，I(x，y，t)为第一样本图像中的像素点，I(x+dx，y+dy，t+dt)为相邻帧图像中的像素点，x和y表示像素点的位置。t表示第一样本图像的帧数。dx为像素点在x方向上的产生变化的距离，dy为像素点在y方向上的产生变化的距离，其中，dx＝u·dt，dy＝ν·dt，也即dx为像素点在x方向上的速度的积分，dy为像素点在y方向上的速度的积分，u，v表示像素点(x，y)的水平和垂直方向的速度分量。

通过一阶泰勒公式将公式三展开，得到OFCE(Optical flow constraintequation，光流约束方程)，如公式四所示。

公式四：I_xu+I_yν+I_t＝0

其中，I_x和I_y分别为第一样本图像中的像素点在x，y方向的偏导数，u，v表示像素点(x，y)的水平和垂直方向的速度分量，I_t为第一样本图像中的像素点。由OFCE知，估计任一像素点的光流可以简单的归结为极小化方程公式五问题：

公式五：

其中，E_D(u，ν)为极小值，u，v表示像素点(x，y)的水平和垂直方向的速度分量，I_x和I_y分别为像素点在x，y方向的偏导数，I_t为第一样本图像中的像素点。

再根据空间光滑性约束(Horn-Schunck算法)，如公式六所示：

公式六：

其中，E_s为像素点光流场的能量，x和y表示像素点的位置，u，v表示像素点(x，y)的水平和垂直方向的速度分量，dx为像素点在x方向上的产生变化的距离，dy为像素点在y方向上的产生变化的距离，du为像素点水平方向上像素点速度的变化量，dv为像素点垂直方向上像素点速度的变化量。

联立公式五和公式六求解，得到该第一样本图像的每个像素点产生变化的移动方向和移动速度。

(C4)电子设备根据该每组像素点中两个像素点之间的移动方向和移动速度，生成该第一样本图像的光流特征图。

需要说明的一点是该过程可以通过调用opencv的CalcOpticalFlowHS()函数计算Horn-Schunck稠密光流。

(3)电子设备将该第一样本图像的静态特征图、该第一样本图像的动态特征图和该第一样本图像，组成该第一样本图像对应的多通道样本图像，该多通道样本图像为该第二样本图像。

参见图6，该第一样本图像的静态特征图包括边缘特征图和纹理特征图，第一样本图像的动态特征图包括光流特征图，则在本步骤中，电子设备将该第一样本图像的边缘特征图、纹理特征图、光流特征图和该第一样本图像组成多通道样本图像，将该多通道样本图像作为第二样本图像。

步骤307：电子设备根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签，该密度标签中包括该第一密度。

在本步骤之前，电子设备确定第一样本图像的第一密度。该第一密度可以为用户输入的第一样本图像的第一密度。其中，第一密度表示第一样本图像中，每个像素点为目标对象的像素点的概率，同一个目标对象对应的像素点的概率和为1。

在本步骤中，电子设备根据第二样本图像对应的第一样本图像的第一密度，确定第二样本图像的密度标签。电子设备根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签的过程可以通过以下步骤(1)-(3)实现，包括：

(1)电子设备确定该第一样本图像中的该目标对象所在的至少一个第一图像区域，以及确定不包括该目标对象的第二图像区域。

在本步骤中，电子设备确定该目标对象所在的至少一个第一图像区域。其中，该目标对象可以为人、动物或车辆等，在本公开实施例中，对此不作具体限定。电子设备可以根据用户标记的目标对象的位置，确定该第一样本图像中目标对象所在的至少一个第一图像区域和不包括该目标对象的第二图像区域；电子设备还可以根据第一样本图像的图像特征，确定第一样本该第一样本图像中目标对象所在的至少一个第一图像区域和不包括该目标对象的第二图像区域。

(2)对每个第一图像区域内的像素点，标记该像素点为该目标对象的像素点的概率，使得该每个第一图像区域内像素点所对应的概率之和为第一数值。

电子设备根据第一样本图像中的至少一个图像区域，确定该第一样本图像中每个第一图像区域中的像素点。对每个第一图像区域中的像素点的概率进行标记。

其中，电子设备可以通过任一方式对第一样本图像中的第一图像区域中像素点的概率进行标记。例如，可以通过二维混合高斯法对该多个第一样本图像中的目标对象进行标记。该过程可以为电子设备通过二维混合高斯法对第一图像域中的像素点进行标记，标记目标对象所在图像区域的像素点的概率。其中，每个图像区域中像素点的概率的和为1。

其中，该第一数值可以为任一非零的数值，第一数值可以根据需要进行设置，在本公开实施例中，对该第一数值不作具体限定，例如，该第一数值可以为1、2等。

(3)电子设备将该第二图像区域内的像素点所对应的该像素点为该目标对象的像素点的概率标记为第二数值，得到该第二样本图像对应的密度标签，该像素点所对应的概率用于表示该目标对象的密度。

本步骤与步骤(2)中电子设备对第一图像区域的像素点进行标记的过程相似，在此不再赘述。

其中，第二数值为与第一数值不同的数值，第二数值可以根据需要进行设置，例如，该第二数值可以为0。

需要说明的一点是，电子设备在标记第一样本图像中像素点的概率时，可以将该概率值标记在该第一样本图像上，也可以根据像素点的坐标和像素点的概率对像素点的概率进行标记，在本公开实施例中，对此不作具体限定。

当电子设备根据像素点的坐标和像素点的概率对像素点的概率进行标记时，可以根据像素点的位置坐标和像素点对应的概率对像素点进行标记，生成该第一样本图像对应的密度图，通过该密度图表示第一样本图像的密度标签。相应的，电子设备可以将每个目标对象所在第一图像区域的像素点标记在同一图像中，如图7所示，其中，图7中，左侧一列为第二样本图像，中间一列为与左侧的第二样本图像对应的第一样本图像的密度标签，其中，图中的X轴和Y轴分别表示对应图像的像素点的位置，Z轴表示像素点为目标对象的概率。

需要说明的一点是，步骤302-307中，电子设备根据多个第一样本图像获取多个第二样本图像的过程可以在获取到目标对象的第二密度检测模型后执行，也可以在获取到目标电子目标对象的第二密度检测模型之前执行，还可以在获取目标对象的第二密度检测模型的过程中执行。也即，电子设备可以先执行步骤301，再执行步骤302-307，电子设备还可以先执行步骤302-307，再执行步骤301，电子设备还可以同时执行步骤301和步骤302-307，在本公开实施例中，对该电子设备执行步骤301和步骤302-307的顺序不作具体限定。

步骤308：电子设备根据该多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到该目标对象的第一密度检测模型。

在本步骤中，电子设备根据多个第二样本图像和每个第二样本图像对应的第一样本图像的密度标签，对第二密度检测模型进行训练，得到第一密度检测模型，该训练过程可以通过以下步骤(1)-(4)实现，包括：

(1)对于任一第二样本图像，电子设备根据该第二密度检测模型、该第二样本图像的静态特征和动态特征，检测该第二样本图像中目标对象的第二密度。

在本步骤中，电子设备读取一个第二样本图像，根据该第二样本图像，通过第二密度检测模型确定该第二样本图像的第二密度。

(2)电子设备根据该第二样本图像对应的密度标签确定第二样本图像对应的第一密度。

(3)电子设备根据该第一密度和该第二密度，确定该第二密度检测模型的参数梯度。

在本公开实施例中，通过随机梯度下降法训练该模型参数。在本步骤中，将该第二密度检测模型的输入和输出描述为：y＝f(x，w^(k))。其中，x为该第二密度检测模型的任一层的输入特征，w^(k)为模型的参数，k为训练的次数，y为该层的输出特征。通过该层模型的输入特征和输出特征，可以得到该第二密度检测模型的损失值为：

其中，L(ω^(k))为该第二密度检测模型的损失值，w^(k)为模型的参数，k为训练的次数，f(x，w^(k))为该层模型的实际的输出特征，如第二密度，y′为期望的输出特征，如第一密度。

电子设备根据该第二密度检测模型的损失值，确定该第二密度检测模型的参数梯度。

在本步骤中，电子设备通过确定学习率和上述损失值函数的倒数来确定该参数模型的参数的梯度。例如，该梯度可以为

其中，α为学习率，其值为0到1的数值，可以根据需要进行设置，在本公开实施例中，对该学习率的数值不作具体限定，L(ω^(k))为该层模型的损失值，ω^(k)为模型的参数，k为训练的次数。

(4)当该第二密度与该第一密度之间的差值大于预设阈值时，电子设备根据该参数梯度对该第二密度检测模型的参数进行调整。

电子设备根据该参数梯度，调整该第二密度检测模型的模型参数。

在本步骤中，电子设备通过该参数梯度对模型参数进行调整，得到新的模型参数，根据该新的模型参数。其中，该新的模型参数可以通过该上一次训练得到的模型参数和参数梯度确定。该新的模型参数可以为：

其中，该w^(k+1)为调整后的模型参数，w^(k)为上一次训练得到的模型的参数，k为训练的次数，/>

为模型的参数梯度，L(w^(k))为该层模型的损失函数。

在本步骤中，电子设备调整模型参数后，重新从多个第二样本图像中加载一个第二样本图像，对该重新加载的第二样本图像进行密度检测，重复执行上述步骤(1)-(4)，对第二密度检测模型的参数进行调整，直到通过该第二密度检测模型得到的第二密度与第一密度之间的差值不大于预设阈值，则该第二密度检测模型的输出结果与实际结果相似，确定该第二密度检测模型训练完成，得到第一密度检测模型。其中，该第二密度与第一密度之间的差值可以为：(f(x，w^(k))-y′)其中，f(x，w^(k))为该第二密度，y′为第一密度。该预设阈值可以根据需要进行设置，在本公开实施例中，对此不作具体限定。

在模型训练完成后，还可以对模型进行二次训练，对模型进行优化，其中，模型优化算法可以为任一优化算法，例如，该模型优化算法可以为Adam优化算法。当通过Adam优化算法对模型进行优化训练时，可以通过12损失函数，作为模型的损失函数进行模型优化训练。通过以下公式七至十一对该第一密度检测模型进行优化训练。

公式七：m_t＝μ·m_t-1+(1-μ)·g_t

其中，m_t为对梯度的一阶矩估计，μ为经验值，可以根据用户需求进行设置，在本公开实施例中，对其数值不作具体限定。例如，μ可以为0-1中的任一数值。g_t为梯度值，t为迭代次数。

公式八：n_t＝ν·n_t-1+(1-ν)·g_t ²

其中，n_t为对梯度的一阶矩估计，ν为经验值，可以根据用户需求进行设置，在本公开实施例中，对其数值不作具体限定。例如，ν可以为0-1中的任一数值。g_t为梯度值，t为迭代次数。

公式九：

其中，

为矫正后的一阶矩估计，μ为经验值，可以根据用户需求进行设置，在本公开实施例中，对其数值不作具体限定。例如，μ可以为0-1中的任一数值，t为迭代次数。

公式十：

其中，

为矫正后的二阶矩估计，ν为经验值，可以根据用户需求进行设置，在本公开实施例中，对其数值不作具体限定。例如，ν可以为0-1中的任一数值。g_t为梯度值，t为迭代次数。

公式十一：

其中，η为学习效率，

为对η的动态约束。

通过对第一密度检测模型的模型参数进行约束，实现对第一密度检测模型的优化，防止过拟合，从而提高模型的精确度。

在另一种可能的实现方式中，电子设备还可以根据第二样本图像的数量对该目标对象的第二密度检测模型进行训练。相应的，电子设备将通过指定数量的第二样本图像进行训练后，得到该第一密度检测模型。其中，电子设备可以通过将多个第二样本数据拆分为多个样本数据组，通过对每个样本数据组对第二密度检测模型进行训练，得到多组模型参数，对该多组模型参数进行加权求和，得到该第二密度检测模型的模型参数，完成第二密度检测模型的训练得到第一密度检测模型。参见图8，例如，该第二样本图像的数量为第三数值，将该多个第二样本图像拆分N份，则每份第二样本图像的数量为第四数值，其中，第四数值为第三数值整除N得到的数值，其中，第三数值和N的数值都为正整数，且第三数值和N可以根据需要进行设置，在本公开实施例中，对该第三数值和N不作具体限定，例如，第三数值为40000，N为8，则第四数值为5000。

在通过该多个第二样本图像对第二密度检测模型进行训练时，从该多个第二样本图像中，读取一个第二样本图像的相关数据，根据该第二样本图像的相关数据对第二密度检测模型的模型参数进行梯度下降；在当前迭代次数小于第三数值时，将迭代次数加1；确定当前迭代次数是否可以整除第四数值，在当前迭代次数不能整除第四数值时，说明当前还未完成本组数据的模型训练过程，则继续执行从该多个第二样本图像中，读取一个第二样本图像的相关数据的过程；在当前迭代次数能整除第四数值时，说明当前完成本组数据的模型训练过程，保存当前权值，然后，执行从该多个第二样本图像中，读取一个第二样本图像的相关数据的过程，直到当前迭代次数不小于第三数值。

需要说明的一点是，当完成一个样本数据组的训练后，电子设备可以继续根据当前的模型参数进行训练，电子设备还可以将模型参数重新初始化，根据初始化的模型参数进行训练，在本公开实施例中，对此不作具体限定。

在本实现方式中，通过含有第一样本图像静态特征、动态特征的第二样本图像，以及和第一样本图像的第一密度对应的密度标签，对第二密度检测模型进行训练，通过使用多组数据对第二密度检测模型进行模型训练，通过每组数据对应的参数进行分加权，得到该第一密度检测模型的训练参数，提高了模型训练的准确性，使得第一密度检测模型后续在对视频中的目标帧图像进行模型检测的过程中，可以根据帧图像的静态特征和动态特征，检测目标对象的密度，从而提高了第一密度检测模型检测目标对象的密度的准确度。

在本实现方式中，通过含有第一样本图像静态特征、动态特征的第二样本图像，以及和第一样本图像的第一密度对应的密度标签，对第二密度检测模型进行训练，使得第一密度检测模型在对视频中的目标帧图像进行模型检测的过程中，可以根据帧图像的静态特征和动态特征，检测目标对象的密度，从而提高了第一密度检测模型检测目标对象的密度的准确度。

在完成对第二密度检测模型的训练后，可以根据该目标对象检测模型对视频中的目标帧图像进行目标对象密度检测，图9是根据一示例性实施例提出的一种密度检测方法的流程图，如图9所示，该方法包括如下步骤。

步骤901：电子设备获取目标视频。

其中，该电子设备可以为任一具有图像处理功能的电子设备，例如，该电子设备可以为手机、计算机设备、可穿戴设备等。在本公开实施例中，对该电子设备的种类不作具体限定。该目标视频可以为电子设备从目标视频库中获取到的目标视频数据，该目标视频可以为包含音频信息和目标视频信息的目标视频文件，也可以为目标视频数据传输过程中的目标视频流等，在本公开实施例中，对此不作具体限定该目标视频可以为包含多帧图像的目标视频。

步骤902：对于该目标视频中的目标帧图像，电子设备提取该目标帧图像的静态特征。

本步骤与步骤304相似，在此不赘述。

步骤903：电子设备根据该目标视频和该目标帧图像，提取该目标帧图像的动态特征。

本步骤与步骤305相似，在此不赘述。

步骤904：电子设备根据该静态特征，确定该目标帧图像的静态特征图。

本步骤与步骤306中的步骤(1)相似，在此不再赘述。

步骤905：电子设备根据该动态特征，确定该目标帧图像的动态特征图。

本步骤与步骤306中的步骤(2)相似，在此不再赘述。

步骤906：电子设备将该目标帧图像的动态特征图、该目标帧图像的静态特征图和该目标帧图像，组成该目标帧图像的对应的多通道图像。

本步骤与步骤306中的步骤(3)相似，在此不再赘述。

步骤907：电子设备将该多通道图像输入至第一密度检测模型中，输出目标帧图像中目标对象的密度。

在本步骤中，电子设备可以根据第一密度检测模型，确定该目标帧图像中目标对象的密度。该目标对象的密度表示图像单位面积内目标对象的数量，在本公开中，目标对象的密度是模型输出的，可以是图像中准确的密度，也可以为存在误差的密度，在本公开实施例中，对此不作具体限定。另外，相应的，本步骤可以为：电子设备将该多通道图像输入至第一密度检测模型中，输出该目标帧图像中目标对象的密度。

另外，在对该目标对象的第二密度检测模型训练得到第一密度检测模型时，还可以通过将第二样本图像的第一密度标记到密度图中，通过第二样本图像和第二样本图像对应的密度图对该第二密度检测模型训练，使得该第一密度检测模型在进行目标对象密度检测时，可以获取该目标对象的密度图，相应的，该目标对象的密度为：

其中，

为目标对象的密度，PD_t为像素点为目标对象的像素点的概率，/>

为图像中的像素点。

在本公开实施例中，电子设备在确定该目标帧图像的密度；展示该密度。相应的，该第一密度检测模型可以直接生成该密度图，如图7所示。其中，该密度图中包括该目标帧图像中每个像素点为该目标对象的像素点的概率。相应的，本步骤可以为：电子设备将该多通道图像输入第一密度检测模型中，输出该目标帧图像中该目标对象的密度图，该密度图中包括该目标帧图像中每个像素点为该目标对象的像素点的概率。

目标对象的密度由该目标对象所在区域的像素点的概率组成，该概率指该像素点为目标对象的像素点的概率，同一目标对象的像素点的概率值和为1。因此，在本步骤中，还可以通过对密度图进行积分，预测该目标帧图像中目标对象的数量。该过程可以为：电子设备根据该目标帧图像的密度图，统计该目标帧图像中目标对象的预测值。

参见图7，电子设备可以通过对该密度图进行积分，进而实现对目标帧图像中目标对象的区域中的像素点的概率进行求和，得到目标帧图像中每个图像区域为目标对象的概率，从而求和得到目标帧图像中的目标对象的数量的预测值。该积分过程可以通过该公式十二得到。

公式十二：

其中，person_count_t为目标对象的数量，PD_t为像素点为目标对象的像素点的概率。

在本公开实施例中，通过获取目标视频，提取该目标视频中的目标帧图像的静态特征和动态特征；根据该目标帧图像的静态特征、动态特征和目标对象的第一密度检测模型，检测所述目标帧图像中所述目标对象的密度，使得不仅可以确定目标帧图像中的静态特征，还可以确定目标帧图像中的动态特征，根据该静态特征和动态特征融合后的图像进行密度检测，使得可以应用于复杂的场景中，提高了确定目标视频中目标帧图像中的目标对象的密度的准确率。

图10是根据一示例性实施例示出的一种密度检测装置的框图。该装置包括：

另一方面，提供了一种密度检测装置，该装置包括：

第一获取模块1001，用于获取目标视频；

第一提取模块1002，用于对于该目标视频中的目标帧图像，提取该目标帧图像的静态特征；

第二提取模块1003，用于根据该目标视频和该目标帧图像，提取该目标帧图像的动态特征；

检测模块1004，用于根据该目标帧图像的静态特征、该目标帧图像的动态特征和目标对象的第一密度检测模型，检测该目标帧图像中该目标对象的密度。

在一种可能的实现方式中，该检测模块1004，还用于根据该目标帧图像的静态特征，确定该目标帧图像的静态特征图，以及，根据该目标帧图像的动态特征，确定该目标帧图像的动态特征图；将该目标帧图像的动态特征图、该目标帧图像的静态特征图和该目标帧图像，组成该目标帧图像对应的多通道图像；将该多通道图像输入至该第一密度检测模型中，输出该目标帧图像中目标对象的密度。

在另一种可能的实现方式中，该检测模块1004，还用于根据该目标帧图像的边缘特征，确定该目标帧图像的边缘特征图，以及，根据该目标帧图像的纹理特征，确定该目标帧图像的纹理特征图；

该检测模块1004，还用于根据该目标帧图像的光流特征，确定该目标帧图像的光流特征图；

该检测模块1004，还用于将该目标帧图像的边缘特征图、该目标帧图像的纹理特征图、该目标帧图像的光流特征图和该目标帧图像，组成该目标帧图像对应的多通道图像。

在另一种可能的实现方式中，该检测模块1004，还用于将该多通道图像输入至该第一密度检测模型中，输出该目标帧图像中目标对象的密度图，该密度图中包括该目标帧图像中每个像素点为该目标对象的像素点的概率。

在另一种可能的实现方式中，该装置还包括：

统计模块，用于根据该目标帧图像的密度图，统计该目标帧图像中目标对象的数量的预测值。

在另一种可能的实现方式中，该装置还包括：

第二获取模块，用于获取样本视频；

第一确定模块，用于根据该样本视频，确定多个第一样本图像；

第三提取模块，用于对于任一第一样本图像，提取该第一样本图像的静态特征；以及，根据该样本视频和该第一样本图像，提取该第一样本图像的动态特征；

第二确定模块，用于根据该第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像；

第三确定模块，用于根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签，该密度标签中包括该第一密度；

第一训练模块，用于根据该多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到该目标对象的第一密度检测模型。

在另一种可能的实现方式中，该第二确定模块，还用于根据该第一样本图像的静态特征，确定该第一样本图像的静态特征图，该静态特征包括边缘特征和/或纹理特征；根据该第一样本图像的动态特征，确定该第一样本图像的动态特征图，该动态特征包括光流特征；将该第一样本图像的静态特征图、该第一样本图像的动态特征图和该第一样本图像，组成该第一样本图像对应的多通道样本图像，该多通道样本图像为该第二样本图像。

在另一种可能的实现方式中，该第三确定模块，还用于确定该第一样本图像中的该目标对象所在的至少一个第一图像区域，以及确定不包括该目标对象的第二图像区域；对每个第一图像区域内的像素点，标记该像素点为该目标对象的像素点的概率，使得该每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将该第二图像区域内的像素点所对应的该像素点为该目标对象的像素点的概率标记为第二数值，得到该第二样本图像对应的密度标签，该像素点所对应的概率用于表示该目标对象的密度。

图11是根据一示例性实施例示出的一种密度检测模型训练装置的框图。该装置包括：

第三获取模块1101，用于获取样本视频；

第四确定模块1102，用于根据该样本视频，确定多个第一样本图像；

第四提取模块1103，用于对于任一第一样本图像，提取该第一样本图像的静态特征；以及，根据该样本视频和该第一样本图像，提取该第一样本图像的动态特征；

第五确定模块1104，用于根据该第一样本图像的静态特征和动态特征，确定第二样本图像，得到多个第二样本图像；

第六确定模块1105，用于根据该第二样本图像对应的第一样本图像的第一密度，确定该第二样本图像对应的密度标签，该密度标签中包括该第一密度；

第二训练模块1106，用于根据该多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到该目标对象的第一密度检测模型。

在一种可能的实现方式中，该第五确定模块1104，还用于根据该第一样本图像的静态特征，确定该第一样本图像的静态特征图，该静态特征包括边缘特征和/或纹理特征；根据该第一样本图像的动态特征，确定该第一样本图像的动态特征图，该动态特征包括光流特征；将该第一样本图像的静态特征图、该第一样本图像的动态特征图和该第一样本图像，组成该第一样本图像对应的多通道样本图像，该多通道样本图像为该第二样本图像。

在另一种可能的实现方式中，该第六确定模块1105，还用于确定该第一样本图像中的该目标对象所在的至少一个第一图像区域，以及确定不包括该目标对象的第二图像区域；对每个第一图像区域内的像素点，标记该像素点为该目标对象的像素点的概率，使得该每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将该第二图像区域内的像素点所对应的该像素点为该目标对象的像素点的概率标记为第二数值，得到该第二样本图像的密度标签，该像素点所对应的概率用于表示该目标对象的密度。

图12示出了本公开一个示例性实施例提供的电子设备1200的结构框图。该电子设备1200可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备1200包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本公开中方法实施例提供的密度检测方法和/或密度检测模型训练方法。

在一些实施例中，电子设备1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置电子设备1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在电子设备1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在电子设备1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。

定位组件1208用于定位电子设备1200的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1209用于为电子设备1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备1200还包括有一个或多个传感器1120。该一个或多个传感器1120包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以电子设备1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测电子设备1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对电子设备1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在电子设备1200的侧边框和/或显示屏1205的下层。当压力传感器1213设置在电子设备1200的侧边框时，可以检测用户对电子设备1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置电子设备1200的正面、背面或侧面。当电子设备1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制显示屏1205的显示亮度。具体地，当环境光强度较高时，调高显示屏1205的显示亮度；当环境光强度较低时，调低显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。

接近传感器1216，也称距离传感器，通常设置在电子设备1200的前面板。接近传感器1216用于采集用户与电子设备1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与电子设备1200的正面之间的距离逐渐变小时，由处理器1201控制显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与电子设备1200的正面之间的距离逐渐变大时，由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图12中示出的结构并不构成对电子设备1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

并且，在本实现方式中，通过含有第一样本图像静态特征、动态特征的第二样本图像和密度标签，对第二密度检测模型进行训练，使得第一密度检测模型在对目标视频中的目标帧图像进行模型检测的过程中，可以根据帧图像的静态特征和动态特征，检测目标对象的密度，从而提高了第一密度检测模型检测目标对象的密度的准确度。

在示例性实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质中存储至少一条指令，至少一条指令由服务器加载并执行，以实现上述实施例中密度检测方法和/或密度检测模型训练方法。该计算机可读存储介质可以是存储器。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例中，还提供一种计算机程序产品，所述计算机程序产品中存储至少一条指令，所述至少一条指令由处理器加载并执行，以实现本公开实施中所述的密度检测方法和/或密度检测模型训练方法。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中执行了详细描述，此处将不做详细阐述说明。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种密度检测方法，其特征在于，所述方法包括：

获取目标视频；

将所述多通道图像输入至目标对象的第一密度检测模型中，输出所述目标帧图像中所述目标对象的密度。

2.根据权利要求1所述的方法，其特征在于，所述静态特征包括边缘特征和/或纹理特征；所述动态特征包括光流特征。

3.根据权利要求1所述的方法，其特征在于，

所述根据所述目标帧图像的静态特征，确定所述目标帧图像的静态特征图，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述多通道图像输入至目标对象的第一密度检测模型中，输出所述目标帧图像中所述目标对象的密度，包括：

将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中所述目标对象的密度图，所述密度图中包括所述目标帧图像中每个像素点为所述目标对象的像素点的概率。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述目标帧图像的密度图，统计所述目标帧图像中所述目标对象的数量的预测值。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取样本视频；

根据所述样本视频，确定多个第一样本图像；

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一样本图像的静态特征和动态特征，确定第二样本图像，包括：

8.根据权利要求6所述的方法，其特征在于，所述根据所述第二样本图像对应的第一样本图像的第一密度，确定所述第二样本图像对应的密度标签，包括：

9.一种密度检测模型训练方法，其特征在于，所述方法包括：

获取样本视频；

根据所述样本视频，确定多个第一样本图像；

将所述第一样本图像的静态特征图、所述第一样本图像的动态特征图和所述第一样本图像，组成所述第一样本图像对应的多通道样本图像，所述多通道样本图像为所述第二样本图像；

根据多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到所述目标对象的第一密度检测模型。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第二样本图像对应的第一样本图像的第一密度，确定所述第二样本图像对应的密度标签，包括：

11.一种密度检测装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标视频；

检测模块，用于根据所述目标帧图像的静态特征，确定所述目标帧图像的静态特征图，以及，根据所述目标帧图像的动态特征，确定所述目标帧图像的动态特征图；将所述目标帧图像的动态特征图、所述目标帧图像的静态特征图和所述目标帧图像，组成所述目标帧图像对应的多通道图像；将所述多通道图像输入至目标对象的第一密度检测模型中，输出所述目标帧图像中所述目标对象的密度。

12.根据权利要求11所述的装置，其特征在于，所述静态特征包括边缘特征和/或纹理特征；所述动态特征包括光流特征。

13.根据权利要求11所述的装置，其特征在于，

所述检测模块，还用于根据所述目标帧图像的边缘特征，确定所述目标帧图像的边缘特征图，以及，根据所述目标帧图像的纹理特征，确定所述目标帧图像的纹理特征图；

14.根据权利要求11所述的装置，其特征在于，所述检测模块，还用于将所述多通道图像输入至所述第一密度检测模型中，输出所述目标帧图像中所述目标对象的密度图，所述密度图中包括所述目标帧图像中每个像素点为所述目标对象的像素点的概率。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

统计模块，用于根据所述目标帧图像的密度图，统计所述目标帧图像中所述目标对象的数量的预测值。

16.根据权利要求11-15任一项所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取样本视频；

17.根据权利要求16所述的装置，其特征在于，所述第二确定模块，还用于根据所述第一样本图像的静态特征，确定所述第一样本图像的静态特征图，所述静态特征包括边缘特征和/或纹理特征；根据所述第一样本图像的动态特征，确定所述第一样本图像的动态特征图，所述动态特征包括光流特征；将所述第一样本图像的静态特征图、所述第一样本图像的动态特征图和所述第一样本图像，组成所述第一样本图像对应的多通道样本图像，所述多通道样本图像为所述第二样本图像。

18.根据权利要求16所述的装置，其特征在于，所述第三确定模块，还用于确定所述第一样本图像中的所述目标对象所在的至少一个第一图像区域，以及确定不包括所述目标对象的第二图像区域；对每个第一图像区域内的像素点，标记所述像素点为所述目标对象的像素点的概率，使得所述每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将所述第二图像区域内的像素点所对应的该像素点为所述目标对象的像素点的概率标记为第二数值，得到所述第二样本图像对应的密度标签，所述像素点所对应的概率用于表示所述目标对象的密度。

19.一种密度检测模型训练装置，其特征在于，所述装置包括：

第三获取模块，用于获取样本视频；

第五确定模块，用于根据所述第一样本图像的静态特征，确定所述第一样本图像的静态特征图，所述静态特征包括边缘特征和/或纹理特征；根据所述第一样本图像的动态特征，确定所述第一样本图像的动态特征图，所述动态特征包括光流特征；将所述第一样本图像的静态特征图、所述第一样本图像的动态特征图和所述第一样本图像，组成所述第一样本图像对应的多通道样本图像，所述多通道样本图像为所述第二样本图像；

第二训练模块，用于根据多个第二样本图像和每个第二样本图像对应的密度标签，对目标对象的第二密度检测模型进行训练，得到所述目标对象的第一密度检测模型。

20.根据权利要求19所述的装置，其特征在于，所述第六确定模块，还用于确定所述第一样本图像中的所述目标对象所在的至少一个第一图像区域，以及确定不包括所述目标对象的第二图像区域；对每个第一图像区域内的像素点，标记所述像素点为所述目标对象的像素点的概率，使得所述每个第一图像区域内像素点所对应的概率之和为第一数值，以及，将所述第二图像区域内的像素点所对应的该像素点为所述目标对象的像素点的概率标记为第二数值，得到所述第二样本图像的密度标签，所述像素点所对应的概率用于表示所述目标对象的密度。