CN110826496B - 一种人群密度估计方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种人群密度估计方法、装置、设备及存储介质，该方法将解码视频流得到的多个视频帧中的部分视频帧划分至校验区，基于各人群密度估计算法在该校验区中各视频帧上的人群密度估计结果，从多种人群密度估计算法中选择出最适用于当前场景的人群密度估计算法，进而再基于所选出的人群密度估计算法对预测区中的视频帧进行处理；该方法可以基于校验区中的视频帧自适应地选择效果最优的人群密度估计算法，提高人群密度估计的准确性。

Description

一种人群密度估计方法、装置、设备及存储介质

技术领域

本申请涉及目标检测技术领域，尤其涉及一种人群密度估计方法、装置、设备及存储介质。

背景技术

人群密度估计是指对密集人群进行密度估计，一般可以用于商场、医院、广场、车站等地点的安防场景中，以预防混乱、踩踏、消防通道堵塞等问题的发生，或者用于预测排队长度或者等待时长来进行交通调度。可见，人群密度估计这一技术对人群监控和公共安全等方面有着很大的研究价值。

在实际应用中，人群密度估计的应用场景往往比较复杂多样，包括室内、室外、白天、夜晚、S型队列、Z型队列等多种或简单或复杂的场景，单一的人群密度估计算法往往很难覆盖所有情况，很难适应在不同场景下对人群密度进行准确估计。

基于此，目前在人群监控和公共安全等领域急需一种解决方案，能够自适应多种复杂的应用场景，实现对人群密度的准确估计。

发明内容

本申请实施例提供了一种人群密度估计方法、装置、设备及存储介质，能够自适应选择效果最优的人群密度估计算法，从而提高人群密度估计的准确性。

有鉴于此，本申请第一方面提供了一种人群密度估计方法，包括：

获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；

将所述多个视频帧依次划分至对应的校验区或预测区；

利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；

针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；

根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；

利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

本申请第二方面提供了一种人群密度估计装置，包括：

获取模块，用于获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；

划分模块，用于将所述多个视频帧依次划分至对应的校验区或预测区；

第一估计模块，用于利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；

确定模块，用于针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；

选择模块，用于根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；

第二估计模块，用于利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

本申请第三方面提供了一种人群密度估计系统，所述系统包括：

采集设备，用于采集视频流；

显示设备，用于显示任务配置界面，所述任务配置界面用于提供触发人群聚集监测请求的配置控件；

服务器，用于响应于所述显示设备通过网络发送的人群聚集监测请求，通过网络从所述采集设备获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；将所述多个视频帧依次划分至对应的校验区或预测区；利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果，向所述显示设备发送所述视频流中每个视频帧对应的人群密度估计结果。

本申请第四方面提供了一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；

所述处理器用于根据所述计算机程序中的指令，执行如上述第一方面所述的人群密度估计方法的步骤。

本申请第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述程序代码用于执行上述第一方面所述的人群密度估计方法的步骤。

本申请第六方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的人群密度估计方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

在本申请实施例提供的人群密度估计方法中，服务器获取待检测的视频流，并解码该视频流得到待处理的多个视频帧；然后，将这多个视频帧按照时间先后顺序相应地划分至校验区或预测区；利用预设的多种人群密度估计算法对校验区中每个视频帧进行人群密度估计，获得各人群密度估计算法在校验区中每个视频帧上的人群密度估计结果；针对校验区中的每个视频帧，选择各人群密度估计算法在该视频帧上的人群密度估计结果中的最大值，作为该视频帧对应的人群密度结果；再根据各人群密度估计算法在校验区中每个视频帧上的人群密度估计结果，从这多种人群密度估计算法中选出目标人群密度估计算法；最终，利用所选出的目标人群密度估计算法，对与该校验区顺序相连的预测区中的每个视频帧进行人群密度估计，得到该预测区中每个视频帧对应的人群密度估计结果。上述人群密度估计方法将解码视频流得到的多个视频帧中的部分视频帧划分至校验区，基于各人群密度估计算法在该校验区中各视频帧上的人群密度估计结果，从多种人群密度估计算法中选择出最适用于当前场景的人群密度估计算法，进而再基于所选出的人群密度估计算法对预测区中的视频帧进行处理；相比现有技术中基于单一的人群密度估计算法对人群密度进行估计，本申请实施例提供的方法可以基于校验区中的视频帧自适应地选择效果最优的人群密度估计算法，从而保证人群密度估计的准确性。

附图说明

图1为多种人群密度估计算法的实验效果对比图；

图2为本申请实施例提供的人群密度估计系统的工作原理示意图；

图3为本申请实施例提供的人群密度估计方法的流程示意图；

图4为本申请实施例提供的视频帧区域划分操作对应的原理示意图；

图5为本申请实施例提供的人群密度估计方法的应用场景示意图；

图6为本申请实施例提供的人群密度估计方法的流程示意图；

图7为本申请实施例提供的第一种人群密度估计装置的结构示意图；

图8为本申请实施例提供的第二种人群密度估计装置的结构示意图；

图9为本申请实施例提供的第三种人群密度估计装置的结构示意图；

图10为本申请实施例提供的第四种人群密度估计装置的结构示意图；

图11为本申请实施例提供的服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

经发明人实验研究发现，现有的各种人群密度估计算法在不同的场景下检测准确性不同。如图1所示，其展示了基于人头检测的人群密度估计算法、基于行人检测的人群密度估计算法和基于密度图的人群密度估计算法这三种人群密度估计算法在不同场景下的人群密度估计效果；在场景1中，图像中人物存在遮挡，但是由于图像中人物的人头较大，因此采用基于人头检测的人群密度估计算法可以取得较好的估计效果；在场景2中，夜间成像模糊且图像中各人物的人头较小，经对比发现，此时采用基于行人检测的人群密度估计算法取得的估计效果较好；在场景3中，图像人群密度大且彼此遮挡严重，经对比发现，此时采用基于密度图的人群密度估计算法取得的估计效果较好。根据图1所示的实验结果可知，单独使用一种人群密度估计算法通常难以覆盖所有场景，即无法针对各种场景准确地估计人群密度。

为了解决上述技术问题，本申请实施例提供了一种人群密度估计方法，该方法将解码视频流得到的多个视频帧中的部分视频帧划分至校验区，基于d多种人群密度估计算法在该校验区中各视频帧上的人群密度估计结果，从多种人群密度估计算法中选择出最适用于当前场景的人群密度估计算法，进而再基于所选出的人群密度估计算法，对与校验区顺序相连的预测区中的视频帧进行人群密度估计；相比现有技术中基于单一的人群密度估计算法对人群密度进行估计，本申请实施例提供的方法可以基于校验区中的视频帧自适应地选择效果最优的人群密度估计算法，从而保证人群密度估计的准确性。

应理解，本申请实施例提供的人群密度估计方法通常应用于具备数据处理能力的服务器，该服务器具体可以为应用服务器，也可以为Web服务器，具体部署时，该服务器可以为独立服务器，也可以为集群服务器。

为了便于理解本申请实施例提供的人群密度估计方法，下面先对该人群密度估计方法所适用的人群密度估计系统进行介绍。

参见图2，图2为本申请实施例提供的人群密度估计系统的工作原理示意图。如图2所示，该人群密度估计系统包括采集设备210、显示设备220和服务器230；其中，采集设备210用于采集视频流；显示设备220用于显示任务配置界面，该任务配置界面用于提供触发人群聚集检测请求的配置控件；服务器230用于响应用户通过显示设备220发起的人群聚集监测请求，从采集设备210获取待检测的视频流，进而针对该待检测的视频流执行本申请实施例提供的人群密度估计方法，对视频流中视频帧上的人群密度进行估计，并向显示设备220发送视频帧对应的人群密度估计结果。

具体应用时，用户可以触控显示设备220显示的任务配置界面中的配置控件，触发生成人群聚集监测请求，显示设备220通过网络将该人群聚集监测请求发送至服务器230。服务器230接收到人群聚集监测请求后，通过网络从采集设备210处获取待检测的视频流。

进而，服务器230对该待检测的视频流进行解码处理，得到待处理的多个视频帧；将这多个视频帧按照时间先后顺序依次划分至对应的校验区或预测区，利用预设的多种人群密度估计算法对校验区中每个视频帧进行人群密度估计，得到各人群密度估计算法在校验区中每个视频帧上的人群密度估计结果；针对校验区中的每个视频帧，服务器230可以选择各人群密度估计算法在该视频帧上的人群密度估计结果中的最大值，作为该视频帧对应的人群密度估计结果；此外，服务器230还需要根据各人群密度估计算法在该校验区中每个视频帧上的人群密度估计结果，从这多种人群密度估计算法中选出目标人群密度估计算法；进而，利用该目标人群密度估计算法对与该校验区顺序相连的预测区内的每个视频帧进行人群密度估计，从而得到预测区内每个视频帧对应的人群密度估计结果。

服务器230得到校验区和预测区中各视频帧各自对应的人群密度估计结果后，可以将各视频帧各自对应的人群密度估计结果发送至显示设备220，以使显示设备220相应地向用户展示人群密度估计结果。

应理解，图2所示的人群密度估计系统仅为示例，在实际应用中，上述采集设备210可以为任意一种具备图像采集功能的设备，如监控摄像头、摄像机等等；上述显示设备220可以为具备交互功能的设备，如计算机、智能手机、平板电脑等等；本申请在此不对人群密度估计系统中各设备做具体限定。

下面通过实施例对本申请提供的人群密度估计方法进行介绍。

参见图3，图3为本申请实施例提供的人群密度估计方法的流程示意图。如图3所示，该方法包括以下步骤：

步骤301：获取待检测的视频流，解码所述视频流得到待处理的多个视频帧。

当服务器需要基于视频流进行人群密度估计时，服务器可以通过网络从采集设备处获取视频流作为待检测的视频流；例如，服务器可以通过网络获取商场内某监控摄像头拍摄的视频流，作为待检测的视频流。此外，服务器也可以通过网络从相关数据库调取视频流作为待检测的视频流，例如，服务器可以从相关数据库中调取某历史时段的视频流，作为待检测的视频流。本申请在此不对服务器获取视频流的渠道做任何限定。

在一种可能的实现方式中，服务器可以接收客户端发送的人群聚集监测请求，该人群聚集监测请求中可以包括相应的告警阈值；服务器可以在接收到人群聚集监测请求后，响应于该人群聚集监测请求获取待检测的视频流。

以本申请实施例提供的方法用于估计公共场所的人群密度为例，安保人员可以通过相应的客户端向服务器发起人群聚集监测请求，以请求服务器估计公共场所内某个或某些特定区域的人群密度，服务器接收到该人群聚集监测请求后，相应地获取针对特定区域拍摄的视频流，并基于所获取的视频流进行人群密度估计。此外，上述人群聚集监测请求中还可以包括告警阈值，当监测到特定区域内的人群密度超过该告警阈值时，服务器需要向客户端发送告警信号，以提醒安保人员特定区域内的人群密度过高。

在另一种可能的实现方式中，服务器预先与采集设备建立好网络通讯关系，可以实时地从采集设备处获取其采集的视频流，作为待检测的视频流。

仍以本申请实施例提供的方法用于估计公共场所的人群密度为例，相关管理人员可以预先构建好服务器与公共场所内某个或某些监控摄像头之间的通讯关系，监控摄像头可以将其采集的视频流实时地传输至服务器，以使服务器基于其接收的视频流对公共场所内的人群密度持续进行监测。

应理解，除了可以通过上述两种实现方式触发获取待检测的视频流外，本申请实施例提供的人群密度估计方法还可以通过其他方式触发获取待检测的视频流，本申请在此不对触发获取视频流的方式做任何限定。

此外，本申请实施例提供的人群密度估计方法除了可以用于估计公共场所的人群密度外，还可以用于其他需要估计人群密度的场景，例如，基于某区域对应的历史监控视频流进行人群密度估计，进而根据人群密度估计结果统计该区域的人群密度变化趋势等；在此不对本申请实施例提供的人群密度估计方法所适用的应用场景做任何限定。

服务器获取到待检测的视频流后，需要对该视频流进行解码处理，以得到该视频流中包括的视频帧；在一种可能的实现方式中，服务器可以将解码视频流得到的各视频帧均作为待处理的视频帧；在另一种可能的实现方式中，服务器可以按照预设的抽帧比从视频流包括的各个视频帧中，抽取出部分视频帧作为待处理的视频帧，例如，服务器可以按照25:1的抽帧比从各视频帧中抽取出待处理的视频帧，又例如，服务器可以按照每隔1秒抽取一帧的抽帧比从各视频帧中抽取出待处理的视频帧，等等。本申请在此也不对获取待处理的视频帧的方式做任何限定。

步骤302：将所述多个视频帧依次划分至对应的校验区或预测区。

服务器获取到待处理的多个视频帧后，将这些视频帧按照时间先后顺序，依次相应地划分至对应的校验区或预测区，以便后续基于校验区中的视频帧确定目标人群密度估计算法，并利用所确定的目标人群密度估计算法对与该校验区顺序相连的预测区中的视频帧进行人群密度估计。

需要说明的是，基于校验区中的视频帧确定目标人群密度估计算法时，需要利用预存的多种人群密度估计算法对校验区中每个视频帧逐一进行人群密度估计处理，这种处理方式会耗费大量的处理资源，为了尽可能地节约处理资源，通常设置校验区长度小于预测区长度；例如，可以设置校验区长度为包括6帧视频帧，预测区长度为包括10800帧视频帧。本申请在此不对校验区长度和预测区长度做具体限定。

需要说明的是，考虑到不同时间段的人群密度变化可能较大，根据实际场景切换所采用的人群密度估计算法，才能确保人群密度检测的准确性；以对食堂内的人群密度进行估计为例，在就餐时间段内食堂的人群密度较大，而在非就餐时间段内食堂的人群密度较小，这种情况下，针对就餐时间段和非就餐时间段分别采用不同的人群密度估计算法，将更有利于准确地估计食堂的人群密度。

为了满足上述需求，在本申请实施例提供的方法中，服务器可以交替设置校验区和预设区，并根据预设的校验区长度和预测区长度，依次确定各校验区的编号范围和各预测区的编号范围；进而，当视频帧对应的视频帧编号落入校验区的帧编号范围时，将该视频帧划分至校验区；当视频帧对应的视频帧编号落入预测区的帧编号范围时，将该视频帧划分至预测区。

图4为本申请实施例提供的示例性的视频帧区域划分操作对应的原理示意图。如图4所示，服务器可以获取数据库中存储的监控摄像头拍摄的视频流，解码所获取的视频流得到待处理的多个视频帧；进而，可以根据预设的校验区长度和预测区长度，设置校验区对应的编号范围为0至5和i至i+5，设置预测区对应的编号范围为6至i-1和i+6至2i-1；进而，将视频帧编号属于0至5或属于i至i+5的视频帧划分至对应的校验区，将视频帧编号输入6至i-1或属于i+6至2i-1的视频帧划分至对应的预测区。

当然，服务器也可以直接按照视频帧对应的时间先后顺序，将各待处理的视频帧逐一划分至校验区或预测区。例如，假设服务器预先设置校验区包括6个视频帧，预测区包括10800个视频帧，服务器获取到待处理的多个视频帧后，可以将前6个视频帧划分至校验区，将第7个视频帧至第(7+10800)个视频帧划分至预测区；若待处理的视频帧数目小于或等于(7+10800)，则此时已完成对于待处理的多个视频帧的区域划分；若待处理的视频帧数目大于(7+10800)，则需要将第(7+10800+1)个视频帧至第(7+10800+6)个视频帧划分至下一校验区，将第(7+10800+7)个视频帧至第(7+10800+7+10800)个视频帧划分至下一预测区，以此类推，直至完成完成所有待处理的视频帧的区域划分操作为止。

步骤303：利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果。

服务器针对待处理的多个视频帧完成校验区和预测区的划分后，服务器可以进一步利用其预设的多种人群密度估计算法，对校验区中每个视频帧进行密度估计，并得到各人群密度估计算法在校验区中每个视频帧上的人群密度估计结果。

可选的，服务器预设的多种人群密度估计算法可以包括：基于人头检测的人群密度估计算法、基于行人检测的人群密度估计算法和基于密度图的人群密度估计算法中的至少两种。

其中，基于人头检测的人群密度估计算法可以通过检测视频帧中的人头、肩膀等部位估计视频帧中的人群密度，这种算法具体包括但不限于RetinaFace、FaceBoxes等人脸或人头检测算法。基于行人检测的人群密度估计算法可以通过分类器从视频帧中人物全身提取的小波、方向梯度直方图(Histogram of Oriented Gradient，HOG)、边缘等特征进行行人检测，这种算法具体包括但不限于Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO(YouOnly Look Once)、YOLOv2、YOLOv3等目标检测算法。基于密度图的人群密度估计算法可以基于模型学习到的视频帧中局部特征与其相应的密度图之间的映射关系，进行人群密度估计，这种算法包括但不限于MCNN(Multi-Column Convolutional Neural Network)、DENet等算法。

应理解，在实际应用中，服务器预设的多种人群密度估计算法除了可以包括上文提及的算法外，还可以包括其他可以用于估计人群密度的算法，如基于回归的人群密度估计算法等等，本申请在此不对服务器预设的多种人群密度估计算法做任何限定。

步骤304：针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果。

服务器针对校验区中的视频帧确定其对应的人群密度估计结果时，可以从各种人群密度估计算法在该视频帧上的人群密度估计结果中，选择最大的人群密度估计结果作为该视频帧对应的人群密度估计结果；如此，确定校验区中各个视频帧各自对应的人群密度估计结果。

考虑到基于人群密度估计算法所确定的人群密度估计结果之所以不准确，主要是因为存在漏检的情况，基于此，本申请实施例提供的方法针对校验区中的视频帧确定其对应的人群密度估计结果时，会从基于多种人群密度估计算法获得的多个人群密度估计结果中，选择最大的人群密度估计结果作为该视频帧对应的人群密度估计结果，由此保证准确地估计校验区中视频帧上的人群密度。

步骤305：根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法。

服务器利用其预设的多种人群密度估计算法，对校验区内每个视频帧完成人群密度估计处理后，获取各人群密度估计算法在校验区中每个视频帧上的人群密度估计结果，进而基于所获取的人群密度估计结果，从预设的多种人群密度估计算法中选出目标人群密度估计算法，该目标人群密度估计算法即为最适合估计当前场景的人群密度估计算法。

具体实现时，服务器可以针对多种人群密度估计算法中各人群密度估计算法，确定各人群密度估计算法在校验区内所有视频帧上的人群密度估计结果的平均估计结果；进而，从多种人群密度估计算法中，选择平均估计结果做大的人群密度估计算法作为目标人群密度估计算法。

例如，假设服务器预设的多种人群密度估计算法包括算法A和算法B，校验区中包括3个视频帧，分别为视频帧1、视频帧2和视频帧3，利用算法A对视频帧1进行人群密度估计得到估计结果1，利用算法B对视频帧1进行人群得到估计结果2，利用算法A对视频帧2进行人群密度估计得到估计结果3，利用算法B对视频帧2进行人群得到估计结果4，利用算法A对视频帧3进行人群密度估计得到估计结果5，利用算法B对视频帧2进行人群得到估计结果6。

服务器计算估计结果1、估计结果3和估计结果5对应的平均估计值a，作为算法A对应的平均估计值，计算估计结果2、估计结果4和估计结果6对应的平均估计值b，作为算法B对应的平均估计值；若平均估计值a大于平均估计值b，则选择算法A作为目标人群密度估计算法，若平均估计值a小于平均估计值b，则选择算法B作为目标人群密度估计算法。

对于人群密度估计算法i对应的平均估计结果，可以按照公式(1)计算得到：

其中，aveAlg_i为人群密度估计算法i对应的平均估计结果，N为校验区内包括的视频帧的数目，p_ij为人群密度估计算法i在校验区中第j帧上的人群密度估计结果。

步骤306：利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

服务器确定出目标人群密度估计算法后，利用该目标人群密度估计算法对与校验区顺序相连预测区内的每个视频帧进行人群密度估计，如此获得预测区中每个视频帧对应的人群密度估计结果。

需要说明的是，由于本申请实施例提供的校验区与预测区可能交替设置，因此，通过步骤305根据各人群密度估计算法在校验区中每个视频帧上的人群密度估计结果确定出的目标人群密度估计算法，通常仅适用于对与该校验区顺序相连的预测区中的视频帧进行人群密度估计，利用目标人群密度估计算法完成对于与该校验区顺序相连的预测区中各视频帧的人群密度估计后，服务器可以针对下一校验区重新执行步骤303、304和305，以确定下一校验区中各视频帧各自对应的人群密度估计结果以及适用于下一预测区的目标人群密度估计算法。

需要说明的是，若服务器是在响应于客户端发起的人群聚集监测请求的情况下基于待检测的视频流进行人群密度估计的，且该人群聚集监测请求中还包括告警阈值；则服务器确定出校验区和预测区中的视频帧对应的人群密度估计结果后，还需要检测所确定出的人群密度估计结果是否大于该告警阈值，若大于，则服务器还需要向客户端发送告警结果，以提醒相关用户待检测的视频流中存在人群密度超标的情况。

可选的，为了使得相关用户可以更清楚地获知人群密度超标情况，服务器在检测到校验区或预测区中的视频帧对应的人群密度估计结果大于告警阈值的情况下，还可以进一步根据该人群密度估计结果大于告警阈值的视频帧对应的人群密度估计结果，生成用于表征人群密集程度的人群密度热力图，并在向客户端发送告警结果时，发送该人群密度热力图，从而使得相关用户根据客户端接收的人群密度热力图，获知人群密度超标情况，即获取人群密度超标的视频帧中行人的分布情况。

当然，在实际应用中，服务器也可以不局限于仅对人群密度估计结果大于告警阈值的视频帧生成人群密度热力图，服务器可以根据待检测的视频流中每一视频帧对应的人群密度估计结果，生成每一视频帧对应的人群密度热力图，以通过该人群密度热力图表征人群密集程度。

上述人群密度估计方法将解码视频流得到的多个视频帧中的部分视频帧划分至校验区，基于各人群密度估计算法在该校验区中各视频帧上的人群密度估计结果，从多种人群密度估计算法中选择出最适用于当前场景的人群密度估计算法，进而再基于所选出的人群密度估计算法，对与校验区顺序相连的预测区中的视频帧进行人群密度估计；相比现有技术中基于单一的人群密度估计算法对人群密度进行估计，本申请实施例提供的方法可以基于校验区中的视频帧自适应地选择效果最优的人群密度估计算法，从而保证人群密度估计的准确性。

为了便于进一步理解本申请实施例提供的人群密度估计方法，下面以该人群密度估计方法应用于对公共场所进行安保的场景为例，对该人群密度估计方法做整体示例性介绍。

参见图5，图5为本申请实施例提供的人群密度估计方法的处理流程示意图。如图5所示，安保人员可以通过相应的客户端发起人群聚集监测请求，以请求服务器对公共场所内某特定区域进行人群密度估计，该人群聚集监测请求中可以包括安保人员设置的告警阈值。服务器接收到客户端发来的人群聚集监测请求后，从相关数据库中调取特定监控摄像头实时上传的监控录像，作为待检测的视频流，该特定监控摄像头即为用于监控该特定区域的摄像头。

服务器获取到待检测的视频流后，触发执行图6所示的处理流程。具体的，服务器先解码该待检测的视频流得到待处理的多个视频帧，并相应地将这多个视频帧分别划分至校验区或预测区。对视频帧上的人群密度进行估计时，服务器判断当前处理的视频帧是否属于校验区，若是，则运行其预设的多种人群密度估计算法对当前处理的视频帧进行人群密度估计，统计各人群密度估计算法在该视频帧上的人群密度估计结果。进而，判断当前处理的视频帧是否为校验区中的最后一帧，若是，则计算各人群密度估计算法各自对应的平均估计结果，即计算每种人群密度估计算法在校验区中各视频帧上的人群密度估计结果对应的平均估计结果，选择平均估计结果最大的人群密度估计算法，作为目标人群密度估计算法；进而针对当前处理的视频帧，返回基于各人群密度估计算法确定出的最大的人群密度估计结果作为对应的人群密度估计结果；反之，若否，则直接针对当前处理的视频帧，返回基于各人群密度估计算法确定出的最大的人群密度估计结果作为对应的人群密度估计结果，跳转至结束。

若服务器判断当前处理的视频帧不属于校验区，则说明该视频帧属于预测区，则服务器运行基于与该预测区相连的上一校验区确定的目标人群密度估计算法，对当前处理的视频帧进行预测，返回利用目标人群密度估计算法确定出的人群密度估计结果，跳转至结束。

服务器针对待处理的视频帧完成人群密度估计后，对视频帧对应的人群密度估计结果进行告警判定；即判断视频帧对应的人群密度估计结果是否超过人群聚集请求中携带的告警阈值，若超过，则向客户端返回告警结果。此外，服务器针对待处理的视频帧完成人群密度估计后，还可以根据视频帧对应的人群密度估计结果生成人群密度热力图，并向客户端返回该人群密度热力图，以反应视频帧中的人群密集度。

客户端接收到服务器返回的告警结果和/或人群密度热力图后，相应地在其显示界面上显示该告警结果和/或人群密度热力图。

针对上文描述的人群密度估计方法，本申请还提供了对应的人群密度估计装置，以使上述人群密度估计方法在实际中得以应用和实现。

参见图7，图7是与上文图3所示的人群密度估计方法对应的一种人群密度估计装置700的结构示意图，该人群密度估计装置700包括：

获取模块701，用于获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；

划分模块702，用于将所述多个视频帧依次划分至对应的校验区或预测区；

第一估计模块703，用于利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；

确定模块704，用于针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；

选择模块705，用于根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；

第二估计模块706，用于利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

可选的，在图7所示的人群密度估计装置的基础上，所述划分模块702具体用于：

按照校验区和预测区连续交替设置方式，根据预设的校验区长度和预测区长度，依次确定各校验区的帧编号范围和各预测区的帧编号范围；

当所述视频帧对应的视频帧编号落入某个校验区的帧编号范围时，将所述视频帧划分至所述校验区；

当所述视频帧对应的视频帧编号落入某个预测区的帧编号范围时，将所述视频帧划分至所述预测区。

可选的，所述校验区长度小于所述预测区长度。

可选的，在图7所示的人群密度估计装置的基础上，所述选择模块705具体用于：

针对所述多种人群密度估计算法中各人群密度估计算法，确定各人群密度估计算法在所述校验区内所有视频帧上的人群密度估计结果的平均估计结果；

从所述多种人群密度估计算法中选择平均估计结果最大的人群密度估计算法，作为所述目标人群密度估计算法。

可选的，所述预设的多种人群密度估计算法包括：基于人头检测的人群密度估计算法、基于行人检测的人群密度估计算法和基于密度图的人群密度估计算法中至少两种。

可选的，在图7所示的人群密度估计装置的基础上，参见图8，图8为本申请实施例提供的另一种人群密度估计装置的结构示意图；如图8所示，所述装置还包括：

接收模块801，用于接收客户端的人群聚集监测请求，所述人群聚集监测请求中包括告警阈值；

则所述获取模块701，具体用于响应于所述人群聚集监测请求，所述获取待检测的视频流的步骤；

所述装置还包括：

告警模块802，用于当检测到所述视频流中一视频帧对应的人群密度估计结果大于所述告警阈值时，向所述客户端发送告警结果。

可选的，在图8所示的人群密度估计装置的基础上，参见图9，图9为本申请实施例提供的另一种人群密度估计装置的结构示意图；如图9所示，所示装置还包括：

热力图生成模块901，用于当检测到所述视频流中一视频帧对应的人群密度估计结果大于所述告警阈值时，根据所述一视频帧对应的人群密度估计结果生成人群密度热力图；

则所述告警模块802，具体用于在向所述客户端发送告警结果时，还发送所述人群密度热力图。

可选的，在图7所述的人群密度估计装置的基础上，参见图10，图10为本申请实施例提供的另一种人群密度估计装置的结构示意图；如图10所示，所述装置还包括：

热力图生成模块1001，用于根据所述视频流中每一视频帧对应的人群密度估计结果，生成每一视频帧对应的人群密度热力图，所述人群密度热力图用于表征人群密集程度。

上述人群密度估计装置将解码视频流得到的多个视频帧中的部分视频帧划分至校验区，基于各人群密度估计算法在该校验区中各视频帧上的人群密度估计结果，从多种人群密度估计算法中选择出最适用于当前场景的人群密度估计算法，进而再基于所选出的人群密度估计算法，对与校验区顺序相连的预测区中的视频帧进行人群密度估计；相比现有技术中基于单一的人群密度估计算法对人群密度进行估计，本申请实施例提供的装置可以基于校验区中的视频帧自适应地选择效果最优的人群密度估计算法，从而保证人群密度估计的准确性。

本申请实施例还提供了一种用于估计人群密度的设备，该设备具体可以为服务器，下面将从硬件实体化的角度对本申请实施例提供的服务器进行介绍。

参见图11，图11为本申请实施例提供的一种服务器1100的结构示意图。该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构。

其中，CPU 1122用于执行如下步骤：

获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；

将所述多个视频帧依次划分至对应的校验区或预测区；

利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；

针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；

根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；

利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

可选的，CPU 1122还可以用于执行本申请实施例提供的人群密度估计方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种人群密度估计方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种人群密度估计方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种人群密度估计方法，其特征在于，包括：

获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；

将所述多个视频帧依次划分至对应的校验区或预测区；

利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；

针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；

根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；

利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

2.根据权利要求1所述的人群密度估计方法，其特征在于，所述将所述多个视频帧依次划分至对应的校验区或预测区，包括：

按照校验区和预测区连续交替设置方式，根据预设的校验区长度和预测区长度，依次确定各校验区的帧编号范围和各预测区的帧编号范围；

当所述视频帧对应的视频帧编号落入某个校验区的帧编号范围时，将所述视频帧划分至所述校验区；

当所述视频帧对应的视频帧编号落入某个预测区的帧编号范围时，将所述视频帧划分至所述预测区。

3.根据权利要求2所述的人群密度估计方法，其特征在于，所述校验区长度小于所述预测区长度。

4.根据权利要求1所述的人群密度估计方法，其特征在于，所述从所述多种人群密度估计算法中选择出目标人群密度估计算法，包括：

针对所述多种人群密度估计算法中各人群密度估计算法，确定各人群密度估计算法在所述校验区内所有视频帧上的人群密度估计结果的平均估计结果；

从所述多种人群密度估计算法中选择平均估计结果最大的人群密度估计算法，作为所述目标人群密度估计算法。

5.根据权利要求1所述的人群密度估计方法，其特征在于，所述预设的多种人群密度估计算法包括：基于人头检测的人群密度估计算法、基于行人检测的人群密度估计算法和基于密度图的人群密度估计算法中至少两种。

6.根据权利要求1所述的人群密度估计方法，其特征在于，所述方法还包括：

接收客户端的人群聚集监测请求，所述人群聚集监测请求中包括告警阈值；

响应于所述人群聚集监测请求，执行所述获取待检测的视频流的步骤；

所述方法还包括：

当检测到所述视频流中一视频帧对应的人群密度估计结果大于所述告警阈值时，向所述客户端发送告警结果。

7.根据权利要求6所述的人群密度估计方法，其特征在于，所述方法还包括：

当检测到所述视频流中一视频帧对应的人群密度估计结果大于所述告警阈值时，根据所述一视频帧对应的人群密度估计结果生成人群密度热力图；

在向所述客户端发送告警结果时，还发送所述人群密度热力图。

8.根据权利要求1所述的人群密度估计方法，其特征在于，所述方法还包括：

根据所述视频流中每一视频帧对应的人群密度估计结果，生成每一视频帧对应的人群密度热力图，所述人群密度热力图用于表征人群密集程度。

9.一种人群密度估计装置，其特征在于，包括：

获取模块，用于获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；

划分模块，用于将所述多个视频帧依次划分至对应的校验区或预测区；

第一估计模块，用于利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；

确定模块，用于针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；

选择模块，用于根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；

第二估计模块，用于利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果。

10.根据权利要求9所述的人群密度估计装置，其特征在于，所述划分模块具体用于：

按照校验区和预测区连续交替设置方式，根据预设的校验区长度和预测区长度，依次确定各校验区的帧编号范围和各预测区的帧编号范围；

当所述视频帧中的视频帧编号落入某个校验区的帧编号范围时，将所述视频帧划分至所述校验区；

当所述视频帧中的视频帧编号落入某个预测区的帧编号范围时，将所述视频帧划分至所述预测区。

11.根据权利要求9所述的人群密度估计装置，所述选择模块具体用于：

针对所述多种人群密度估计算法中各人群密度估计算法，确定各人群密度估计算法在所述校验区内所有视频帧上的人群密度估计结果的平均估计结果；

从所述多种人群密度估计算法中选择平均估计结果最大的人群密度估计算法，作为目标人群密度估计算法。

12.根据权利要求9所述的人群密度估计装置，其特征在于，所述装置还包括：

接收模块，用于接收客户端的人群聚集监测请求，所述人群聚集监测请求中包括告警阈值；

所述获取模块，具体用于响应于所述人群聚集监测请求，所述获取待检测的视频流的步骤；

所述装置还包括：

告警模块，用于当检测到所述视频流中一视频帧对应的人群密度估计结果大于所述告警阈值时，向所述客户端发送告警结果。

13.一种人群密度估计系统，其特征在于，所述系统包括：

采集设备，用于采集视频流；

显示设备，用于显示任务配置界面，所述任务配置界面用于提供触发人群聚集监测请求的配置控件；

服务器，用于响应于所述显示设备通过网络发送的人群聚集监测请求，通过网络从所述采集设备获取待检测的视频流，解码所述视频流得到待处理的多个视频帧；将所述多个视频帧依次划分至对应的校验区或预测区；利用预设的多种人群密度估计算法对所述校验区内每个视频帧进行人群密度估计，得到各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果；针对所述校验区内每个视频帧，选择所述各人群密度估计算法在所述视频帧上的人群密度估计结果中的最大值，作为所述视频帧对应的人群密度估计结果；根据所述各人群密度估计算法在所述校验区内每个视频帧上的人群密度估计结果，从所述多种人群密度估计算法中选择出目标人群密度估计算法；利用所述目标人群密度估计算法对与所述校验区顺序相连的预测区内每个视频帧进行人群密度估计，得到与所述校验区顺序相连的预测区内每个视频帧对应的人群密度估计结果，向所述显示设备发送所述视频流中每个视频帧对应的人群密度估计结果。

14.一种电子设备，其特征在于，包括：

处理器和存储器；

其中，所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序以实现所述权利要求1至8中任一项所述方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至8任一项所述的方法。

Images