CN114821487A - 客流统计方法、装置、智能终端、系统、设备及介质 - Google Patents

Abstract

本申请公开了一种客流统计方法、装置、智能终端、系统、设备及介质，其方法包括：获取目标图像集，目标图像集包括拍摄目标区域的多帧图像；对目标图像集进行行人检测处理，得到若干个检测目标；对各检测目标进行目标跟踪处理，得到目标跟踪结果；根据目标跟踪结果，对各检测目标进行驻足分析处理，得到驻足分析结果；根据目标跟踪结果和驻足分析结果，对客流信息进行统计，得到客流统计结果。本申请通过增设驻足分析环节，得到了针对性更强、参考价值更大的统计结果，显著提供了客流统计结果的精准度，能够为业务运营提供更加有意义、精细的参考内容，如评估商品或展示内容的关注度，更好地制定运营模式和提供个性化服务等。

Description

客流统计方法、装置、智能终端、系统、设备及介质

技术领域

本申请涉及数字图像处理技术领域，具体涉及一种客流统计方法、装置、 智能终端、系统、设备及介质。

背景技术

当下，客流统计技术已成为城市公共场所中广泛应用的一项技术。例如，机场、车站、码头、银行、危险场所、工作区域等常需要统计进入、走出、停留在监控画面中行人的个数，以保证工作及生产场所的安全，同时也可进行考勤统计。而超市、商场、购物中心这样的商业设施还可以根据客流统计的结果，动态地安排工作人员，提高服务质量，并控制成本提升业绩。

目前常见的客流统计技术至少包括如下方式：基于压力传感器的方式、基于红外传感器的方式、基于WIFI探针的方式和基于视觉/视频的方式。其中，基于压力传感器的方式和基于红外传感器的方式均是将传感器布置在场所出入口位置，需要行人贯序通过，无法应对多人同时通过的情形，而且仅限于客流出入分析；基于WIFI探针的方式依赖于手机，可能存在一人携带多个手机、手机关机或不带手机的情形，统计结果并不精确；相较之下，基于视觉的方式布置非常灵活并且可以达到较高的精度，因而已然成为主流。

但是现有技术中，基于视觉方式对客流统计通常只能对数量进行简单的统计，缺乏对行人驻足情况进行统计分析的研究，使得统计数据过于笼统、针对性弱，难以为业务提供精准的参考内容。

需要说明的是，上述说明仅作为背景示例，而不必然的成为现有技术。

发明内容

针对上述问题，本申请实施例提供了一种客流统计方法、装置、智能终端、系统、设备及介质，通过对检测到的目标进行驻足分析处理，能够得到精准的客流统计数据，显著提高了客流统计数据的针对性和精准性。

第一方面，本申请实施例提供了一种客流统计方法，所述方法包括：

获取目标图像集，所述目标图像集包括拍摄目标区域的多帧图像；

对所述目标图像集进行行人检测处理，得到若干个检测目标；

对各所述检测目标进行目标跟踪处理，得到目标跟踪结果；

根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果；

根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果。

第二方面，本申请实施例还提供了一种客流统计装置，所述装置包括：

获取单元，用于获取目标图像集，所述目标图像集包括拍摄目标区域的多帧图像；

行人检测单元，用于对所述目标图像集进行行人检测处理，得到若干个检测目标；

目标跟踪单元，用于对各所述检测目标进行目标跟踪处理，得到目标跟踪结果；

驻足分析单元，用于根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果；

客流统计单元，用于根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果。

第三单元，本申请实施例还提供了一种智能终端，所述智能终端部署有上述的客流统计装置。

第四方面，本申请实施例还提供了一种客流统计系统，所述客流统计系统包括统计服务器和若干个智能终端，各所述智能终端与所述统计服务器通信连接；其中，所述统计服务器部署有前述的客流统计装置；

所述智能终端，用于采集目标图像集，并将得到的目标图像集发送至所述统计服务器。

第五方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。

第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请通过对目标图像集进行行人检测处理，得到一个或多个检测目标，然后对各检测目标进行基础性的目标跟踪，然后根据目标跟踪结果进行驻足分析处理，最后根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果，在客流统计结果中不仅可以包括进入、走出、停留在画面或指定区域的人数和/或时间外，还统计行人驻足数目和/或时间。本申请通过增设驻足分析环节，得到了针对性更强、参考价值更大的统计结果，显著提供了客流统计结果的精准度，能够为业务运营提供更加有意义、精细的参考内容，如评估商品或展示内容的关注度，更好地制定运营模式和提供个性化服务等。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一个实施例的客流统计方法的流程示意图；

图2示出了根据本申请的另一个实施例的客流统计方法的流程示意图；

图3示出了根据本申请的一个实施例的客流统计装置的结构示意图；

图4示出了根据本申请的一个实施例的智能终端的结构示意图；

图5示出了根据本申请的一个实施例的智能终端的应用场景的示意图；

图6示出了根据本申请的另一个实施例的智能终端的应用场景的示意图；

图7示出了根据本申请的一个实施例的客流统计系统的结构示意图；

图8为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

现有技术中，基于视觉的客流统计方式一般利用彩度（RGB）相机或深度相机来采集视频图像，然后通过行人检测、目标跟踪和统计三个基本步骤来实现客流统计。

就统计内容而言，现有客流统计技术大多关注于统计进入、走出和停留在画面或指定区域的人数。但现实场景中，基于视觉的客流统计还衍生出一些更精细的需求，比如：在商店、超市、自动贩卖机、智能广告牌等场景中，商家不仅仅关注整体客流量，还希望通过客流统计得出顾客在货柜或广告牌附近的停留时间，进而评估商品或展示内容的关注度，从而更好地制定运营模式和提供个性化服务。

对此，本申请通过增设驻足分析环节，得到了针对性更强、参考价值更大的统计结果，显著提供了客流统计结果的精准度，能够为业务运营提供更加有意义、精细的参考内容。

图1示出了根据本申请的一个实施例的客流统计方法的流程示意图，从图1可以看出，本申请至少包括步骤S110~步骤S150：

步骤S110：获取目标图像集，所述目标图像集包括拍摄目标区域的多帧图像。

目标图像集可以是一段视频流或者实时获得的视频流，其可以为存储在数据库中，历史时间内通过拍摄获得的，也可以是通过客流相机实时拍摄。

如将客流相机以一定位姿安装在指定地点，能够对目标区域进行拍摄，得到视频流，视频流可以为多帧彩色图像（RGB图像）按照时序组成的视频；也可以为多帧深度图像按照时序组成的视频。需要说明的是，为了保护行人的隐私，本申请的目标图像集中的多帧图像优选为深度图。为了方便叙述，后续实施例中，均以目标图像集为深度图为例进行说明。

另外，在本申请中，一定位姿可以指将客流相机布置在一定高度，如超过2m，水平拍摄目标区域或有一定向下倾角的倾斜拍摄目标区域。水平拍摄是指以水平地面为基准，将客流相机的镜头平行地面安装，以客流相机的镜头作为第一视角，拍摄到的画面为目标区域的平视图；倾斜拍摄是指以水平地面为基准，将客流相机的镜头以一定角度倾斜向下安装，以客流相机的镜头作为第一视角，拍摄到的画面为目标区域的斜视图。需要特别说明的是，本申请不适合垂直向下拍摄的场景，所述垂直向下，以水平地面为基准，是指将客流相机的镜头面垂直水平地面安装，以客流相机的镜头作为第一视角，拍摄到的画面为目标区域的俯视图。

步骤S120：对所述目标图像集进行行人检测处理，得到若干个检测目标。

对目标图像集中的各帧对象进行行人检测处理，行人检测处理可基于人体特征进行，其行人检测模型可以为现有技术中的任意一种网络模型，如基于深度学习的卷积神经网络，经过训练后，其可对图像中的行人目标进行检测，得到行人检测结果。

行人检测结果通常以识别框的形式出现，即在目标图像中出现一些识别框（或称锚点框），每个识别框至少包括一个检测目标的至少部分。

为了方便后续对这些检测目标进行处理，可以为每一个检测目标分配一个唯一的身份识别ID；另外在需要的情况下，在行人检测结果中还可以包含每个检测目标的特征信息，如位置信息等。

步骤S130：对各所述检测目标进行目标跟踪处理，得到目标跟踪结果。

对各个检测目标进行基本的目标跟踪处理，如将每个检测目标作为一个跟踪目标，目标跟踪的主要目的是获取每一个跟踪目标的运动轨迹。

此外，本申请区别于现有的目标跟踪处理方法，本申请还记录对每个跟踪目标开始进行目标跟踪处理的起始时间，该时间也可以理解为每个跟踪目标构建起来的初始时间，可记为第一时间。

需要说明的是，通过一个目标从被检测到至对其进行目标跟踪处理，会有几毫秒或者几十毫秒的延迟，但是对于宏观的客流统计来说，这种延迟是可以忽略不计的，因此后续统计过程中，可将一个跟踪目标构建起来的初始时间，即第一时间作为该跟踪目标的驻足起始时间t _{dwell_start} 和静止起始时间t _{stationary_start} 。

根据目标跟踪处理可以得到跟踪目标的运动轨迹，以及驻足起始时间t _{dwell_start} 和静止起始时间t _{stationary_start} 等，将这些数据对应存储，作为目标跟踪结果。

步骤S140：根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果。

然后根据目标跟踪结果，对各检测目标进行驻足分析处理，驻足分析确定可以理解为分析跟踪到的检测目标是否驻足，如果驻足，则进一步确定其驻足时间，驻足时间可以理解为对检测目标完成目标跟踪处理的时间。

在本申请的一些实施例中，对于是否驻足的判定，可以依据一定的驻足分析规则进行判定，如可以根据一个跟踪到的行人目标停留在目标区域中的时长确定，如设定一个驻足时长阈值，如果跟踪到的行人目标的停留时长大于该驻足时长阈值，确定该行人目标为驻足，且进一步可确定该行人目标的驻足时长。

步骤S150：根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果。

最后，根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，统计对象包括但不限于进入画面人数、走出画面人数、停留人数、驻足人数、各驻足行人的驻足时间。

统计对象可以是针对一段视频流的，也可以是针对一段时间的，可以是实时的，也可以是对历史一段时间内的客流情况信息的统计，对此本申请不作限定，可以根据统计需求，在步骤S110中，获取相应的目标图像集。

进入画面人数可以为通过目标跟踪处理跟踪到的检测目标的数量；走出画面人数可以为过目标跟踪处理消失在画面或者目标区域的数量，停留人数为进入画面人数与走出画面人数的差；驻足人数为进入画面行人中通过驻足分析处理，满足驻足分析规则中的驻足条件的行人的数量；各驻足行人的驻足时间为根据驻足分析规则中限定的驻足时长。

得到客流统计结果后，可以将这些结果进行输出，如输出到指定终端或者指定路径，对此本申请不作限定，可根据需要设置。对于客流统计结果也可以指输出指定的感兴趣的一部分，对此本申请亦不作限定。

需要说明的是，停留人数和驻足人数会有一定的交叉，如一个人停留在画面中未离开，且其满足驻足条件，则在统计停留人数和驻足人数均包括这个目标。

由图1所示的方法可以看出，本申请通过对目标图像集进行行人检测处理，得到一个或多个检测目标，然后对各检测目标进行基础性的目标跟踪，然后根据目标跟踪结果进行驻足分析处理，最后根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果，在客流统计结果中不仅可以包括进入、走出、停留在画面或指定区域的人数和/或时间外，还统计行人驻足数目和/或时间。本申请通过增设驻足分析环节，得到了针对性更强、参考价值更大的统计结果，显著提供了客流统计结果的精准度，能够为业务运营提供更加有意义、精细的参考内容，如评估商品或展示内容的关注度，更好地制定运营模式和提供个性化服务等。

在本申请的一些实施例中，推荐一种行人检测方法，具体的，所述对所述目标图像集进行行人检测处理，得到若干个检测目标，包括：对于所述目标图像集中的一帧目标图像，对该帧目标图像进行预处理；基于背景建模方法，确定所述目标图像中的画面运动区域；对所述画面运动区域进行聚类，得到若干个簇集合；根据得到的簇集合，确定行人检测结果，所述行人检测结果至少包括若干个检测目标，以及各检测目标对应的身份ID。

以下对行人检测进行具体的说明，如对目标帧图像进行预处理包括下采样和/或格式转换，还包括对预处理后的图像进行阈值选通。下采样和/或格式转换包括但不限于，若深度图像分辨率较大，则对原始深度图像进行下采样（即缩小），若深度图像位深度大于8，则将其转换为8bit图像，可以先对原始深度图像进行下采样，再将下采样的深度图像转换为8bit图像。也可以先将原始深度图像转成8bit图像，再对8bit图像进行下采样。然后对预处理后的图像进行阈值选通，设定阈值范围[I _min ，I _max ]，将超过阈值范围的像素值置为0。I _min 、I _max 根据应用需求和实际场景而定，例如设置I _min 为5，I _max 为250。

通过背景建模获取画面运动区域，可采用CodeBook（一种码本算法）或LOBSTER算法进行背景建模得到画面运动区域。

然后对所得运动区域进行聚类，所述聚类（也可称为区域生长）包括掩膜（mask）初始化和执行聚类两个步骤。其中，掩膜（mask）初始化包括制作一个和预处理后图像同等分辨率的图像掩膜用以标记像素是否有效。具体地，将所得运动区域（前景）对应像素标记为有效，其余区域（背景）置为无效。进一步，将掩膜的上、下、左、右边界像素都置为无效，这样，在执行聚类时避免对每个像素进行边界校验，提高效率。

然后执行聚类得到候选人体区域集合，根据图像掩膜和预处理后的图像，对所有有效的像素进行聚类得到簇集合，即为候选人体区域集合。具体地，对于任意已在簇集合中的一个像素A，遍历其邻域像素，对任意一个有效的邻域像素N _i ，若N _i 与A的像素值之差的绝对值小于设定的簇内相似度阈值S，则将N _i 加入到A所在的簇集合中，否则新建一个簇集合并将N _i 加入其中并继续聚类。

最后，根据得到的簇集合计算人体检测结果，所述人体检测结果包括多个识别框，在这些识别框中可以为人体区域集合（即聚类所得的簇集合）和人体包围盒集合，在另一些实施例中，识别框中还可以为人头顶点集合。具体计算步骤为求得所有簇集合的包围盒，具体的，遍历所有簇集合，对每个簇集合，求其AABB包围盒，将其作为该簇集合的识别框。求AABB包围盒的过程为：遍历簇集合的所有像素，求得簇集合中像素x、y坐标最小值、最大值：x _min 、y _min 、x _max 、y _max ，即可确定相应的包围盒矩形，该矩形即为目标识别框。

在本申请的一些实施例中，在上述方法中，所述对各所述检测目标进行目标跟踪处理，得到目标跟踪结果，包括：构建多个跟踪目标，各跟踪目标分别对应一个检测目标；将各所述跟踪目标的驻足起始时间、静止起始时间均设置为第一时间，所述第一时间为各所述跟踪目标被构建时的构建时间；对于一个跟踪目标，基于目标跟踪方法，根据该跟踪目标的身份ID信息和/或位置信息，关联包含该检测目标的多帧目标图像，确定该检测目标的运动轨迹；循环执行所述对于一个跟踪目标，基于目标跟踪方法，根据该跟踪目标的身份ID信息和/或位置信息，关联包含该检测目标的多帧目标图像的行人检测结果，确定该检测目标的运动轨迹的步骤，得到各所述跟踪目标的运动轨迹；将各所述跟踪目标的运动轨迹、驻足起始时间、静止起始时间对应存储，作为所述目标跟踪结果。

目标跟踪处理是基于行人检测结果进行的，在行人检测结果中，包括一个或多个检测目标，并为每一个检测目标分配一个唯一的身份ID，在行人检测结果还可以包括每个检测目标的位置信息等，进行目标跟踪时，首先建立若干个跟踪目标，每个跟踪目标对应一个检测目标，也可以说将各个检测目标分别作为一个跟踪目标。在构建跟踪目标时，对每个跟踪目标的驻足起始时间、静止起始时间进行设置，在本实施例中，均设置为各跟踪目标被构建时的构建时间，将该时间记为第一时间。

对于一个跟踪目标，可以根据一个跟踪目标身份ID、位置信息、或者二者的结合，关联包含跟踪目标的多帧目标图像，如在连续的多帧目标图像中，均存在一个身份ID相同的跟踪目标，则实现了对其进行跟踪，然后根据位置信息计算出该跟踪目标的运动轨迹；在另一些实施例中，若关联到的连续多帧目标图像中的一帧或少数几帧不包含跟踪目标，可对其运动轨迹进行平滑处理。

将一个跟踪目标的运动轨迹、驻足起始时间、静止起始时间对应存储，作为该跟踪目标的目标跟踪结果。

需要说明的是，虽然跟踪目标是对应于行人检测处理步骤得到的检测目标一一对应建立的，但并不是每个检测目标都会被跟踪到，如在连续多帧目标图像中，仅有一帧包括检测目标A，而在关联其他帧目标图像中，却找不到该检测目标A，则可判断该目标为误检，可将该检测目标A剔除。

在本申请的一些实施例中，在上述方法中，所述根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果，包括：根据预设的多级分类规则，对各所述目标跟踪结果中的各跟踪目标进行标记，得到各跟踪目标的性质分类，所述性质分类包括：行人目标、驻足行人目标和静止目标；所述方法还包括：将被确定为静止目标的跟踪目标记录在误检列表中；根据所述误检列表对所述行人检测结果和/或历史客流统计结果进行修正。

为了实现精确的的驻足分析处理，本申请预设了多级分类规则，根据该多级分类规则，可对目标跟踪结果中的各目标进行状态或者性质的标记，通过多级研判，得到每一个跟踪目标的性质，标记可以为行人目标、驻足行人目标和静止目标。

其中，行人目标指快速通过目标区域的行人；驻足行人目标是指在满足驻足条件的目标，即发生驻足行为的行人；静止目标是指满足静止条件的目标，如果一个跟踪目标被判定为静止目标，在可以说明其为一个静物，而非行人。

如果通过驻足分析确定在所有的跟踪目标中，存在一个或者多个静止目标，也说明在行人检测中存在错误，即将一个静止目标检测为一个行人了，如将一个放置在目标区域的大花瓶检测为行人。为了纠正这种错误，在本申请的一些实施例中，设置了误检列表，在列表中可以记录被确定为静止目标的跟踪目标，以及跟踪目标的ID等信息，每次发现静止目标都可以将其记录在误检列表中，并根据误检列表对所述行人检测结果进行修正，如果存在历史客流统计结果，为了得到更加准确的结果，也可以对历史客流统计结果进行修正。

修正的过程，简单的理解就是通过跟踪目标的ID在行人检测结果中，确定对应的目标，经进行剔除。

在本申请的一些实施例中，在上述方法中，所述根据预设的多级分类规则，对各所述目标跟踪结果中的各跟踪目标进行标记，得到各跟踪目标的性质分类，包括：记录第二时间以及现有的若干个跟踪目标，其中，所述第二时间为本轮次目标跟踪处理的结束时间；对所述现有的若干个跟踪目标进行目标跟踪结果匹配处理，确定各跟踪目标的一级分类结果，所述一级分类结果包括快速通过行人目标和可能驻足行人目标；对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的二级分类规则，确定各所述跟踪目标的二级分类结果，所述二级分类结果包括快速通过行人目标和可能驻足行人目标；对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的三级分类规则，确定各所述跟踪目标的三级分类结果，所述三级分类结果包括快速通过行人目标、驻足行人目标和静止目标。

本申请设计了多级的驻足分析规则，能够准确的确定跟踪目标的类别属性，从而对各个跟踪目标是否为快速通过行人目标、驻足行人目标或者是静止目标等做出精准判定。

具体的，首先记录第二时间和现有的一个或者多个跟踪目标，其中，所述第二时间为本轮次目标跟踪处理的结束时间。现有的跟踪目标当前时刻完成目标跟踪处理的跟踪目标，对于新来到的跟踪目标，但是并没有完成目标跟踪处理的跟踪目标放到下一个轮次进行处理。

本申请中的多级的驻足分析规则大概可以分为三级，通常情况下，在后级别的驻足分析是以在前级别的驻足分析结果为基础的。

在驻足分析中需要以下的参数或者数据，包括但不限于各跟踪目标的运动轨迹的位移标准差，以及预设的多个阈值。

根据各所述分析目标的运动轨迹，确定各分析目标的位移标准差X轴分值σ _x 、位移标准差Y轴σ _y 以及位移标准差σ。

所述位移标准差的表达式为式（1），位移标准差X轴分值的表达式为式（2），位移标准差Y轴分值的表达式为式（3）：

式（1）；

式（2） ；

式（3） ；

其中，σ _x 表示位移标准差X轴分值，σ _y 表示位移标准差Y轴分值，x _i 表示运动轨迹中各点的X坐标，y _i 表示运动轨迹中各点的Y坐标，

表示x _i 的均值，

表示y _i 的均值，K为运动轨迹({p ₁ (x,y),p ₂ (x,y)......p _k (x,y)})中的点数。

设定驻足位移标准差阈值T _{dwell_σ} 、静止位移标准差阈值T _{stationary_σ} 、驻足时长阈值T _{dwell_duration} 和静止时长阈值T _{stationary_duration} 。其中静止位移标准差阈值T _{stationary_σ} 应大于驻足位移标准差阈值T _{dwell_σ} ，这几个阈值的具体值可根据实际场景和应用需求来定，例如驻足时长阈值T _{dwell_duration} 可取值为3s，静止时长阈值T _{stationary_duration} 取值为60s。

一级的驻足分析规则为：对所述现有的若干个跟踪目标进行目标跟踪结果匹配处理，确定各跟踪目标的一级分类结果，所述一级分类结果包括快速通过行人目标和可能驻足行人目标。

具体的，遍历所述现有的若干个跟踪目标，对于一个跟踪目标，若在所述目标跟踪结果中不包含该跟踪目标，则说明该跟踪目标是快速通过行人目标，将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

在进行一级分类处理过后，则将保留一级分类结果为可能驻足行人目标的若干个跟踪目标进入后续程序，即二级分类处理。

二级分类处理的具体流程为，确定各所述跟踪目标的位移标准差X轴分值、位移标准差Y轴分值以及位移标准差；对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，若一个跟踪目标的位移标准差小于预设的驻足位移标准差阈值，或位移标准差X轴分值以及位移标准差Y轴分值均小于预设的驻足位移标准差阈值，则确定该跟踪目标的二级分类结果为可能驻足行人；否则，则确定该跟踪目标的二级分类结果为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

在二级分类处理中，以位移标准差为基准进行分类，对于确定出的一个一级分类结果为可能驻足行人目标的跟踪目标，判断其位移标准差σ是否小于预设的驻足位移标准差阈值T _{dwell_σ} ，即σ<T _{dwell_σ} ，若是，则说明该跟踪目标具有驻足的可能，确定其二级分类结果为可能驻足行人目标；否则，则确定其二级分类结果为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

在一些实施例中，还可以将“一个跟踪目标的位移标准差σ是否小于预设的驻足位移标准差阈值T _{dwell_σ} ”的判断条件替换为“一个跟踪目标的位移标准差X轴分值以及位移标准差Y轴分值是否均小于预设的驻足位移标准差阈值”，二者是等同的，可以根据需要进行选择。

在进行二级分类处理过后，则将保留二级分类结果为可能驻足行人目标的若干个跟踪目标进入后续程序，即三级分类处理。

三级分类处理的具体流程为，对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，若一个跟踪目标的第二时间与驻足起始时间的差值大于预设的驻足时长阈值，则确定该跟踪目标的三级分类结果为驻足行人目标；若一个跟踪目标的位移标准差小于预设的静止位移标准差阈值，或位移标准差X轴分值以及位移标准差Y轴分值均小于预设的静止位移标准差阈值；且所述第二时间与该跟踪目标的静止起始时间的差值大于预设的静止时长阈值，则确定该跟踪目标的三级分类结果为静止目标；其中，所述静止位移标准差阈值小于所述驻足位移标准差阈值；否则，则确定该跟踪目标为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

也就是说，通过一些条件的限定，将二级分类结果为可能驻足行人目标的若个干跟踪目标继续进行分类，可精准的确定出跟踪目标的类别属性，包括是否驻足、是否静止，在三级分类结果中，仍然会发现一部分行人为快速通过行人。

以一个二级分类结果为可能驻足行人目标的跟踪目标为例，判断其第二时间t与驻足起始时间的t _{dwell_start} 差值的差值是否大于预设的驻足时长阈值T _{dwell_duration} ，若是，即t-t _{dwell_start} >T _{dwell_duration} ，则确定该跟踪目标的三级分类结果为驻足行人，并将其驻足起始时间t _{dwell_start} 作为该跟踪目标的驻足时间，在统计时予以统计。

如果一个跟踪目标不满足该条件，则继续判断其是否满足位移标准差σ是否小于预设的静止位移标准差阈值T _{stationary_σ} ，且所述第二时间t与该跟踪目标的静止起始时间t _{stationary_start} 的差值是否大于预设的静止时长阈值T _{stationary_duration} ，若满足，即σ<T _{stationary_σ} 且t-t _{dwell_start} >T _{stationary_duration} ，则确定该跟踪目标的三级分类结果为静止目标，可将其加入到误检列表中。

如果一个跟踪目标均不满足上述两个条件，则确定该跟踪目标的三级分类结果为快速通过行人，并将该跟踪目标的驻足起始时间、静止起始时间设置为所述第二时间。

同理，在一些实施例中，还可以将“判断一个跟踪目标的位移标准差σ是否小于预设的静止位移标准差阈值T _{stationary_σ} ”的判断条件替换为“判断一个跟踪目标的位移标准差X轴分值以及位移标准差Y轴分值是否均小于预设的静止位移标准差阈值T _{stationary_σ} ”，二者是等同的。

在本申请的一些实施例中，所述方法还包括：将被确定为静止目标的跟踪目标记录在误检列表中；根据所述误检列表对所述行人检测结果和/或历史客流统计结果进行修正。

通过上述描述可以看出，驻足分析处理不仅可以对跟踪到的跟踪目标分析其是否驻足并计算其驻足时间，还可以对被误检的静止物体进行甄别。若发现误检的静止物体，则将误检的目标从目标跟踪结果和行人检测结果中剔除，并且把剔除的检测目标反馈给行人检测处理步骤，以便在进行背景建模时对相应的局部背景模型进行修正，进而改善后续的检测效果。

进一步的，若统计结果包括历史人数、历史驻足人数，则当发现误检的静止物体时，将历史人数、历史驻足人数减去误检的静止物体数目，从而对统计结果进行修正。

下面对多个跟踪目标进行驻足分析处理的流程做整体的介绍，本实施例的驻足分析处理包括：

步骤S2100：记录第二时间t，第二时间为本轮次目标跟踪处理的结束时间；记录现有的跟踪目标T={T ₁ ，T ₂ ,...T _i ,...T _n }；创建误检列表；设置各种阈值，各种阈值以及表示同前所述。

步骤S2200：根据T _i 的运动轨迹计算其位移标准差σ。

步骤S2300：遍历T，对任意跟踪目标T _i 执行以下：

步骤S2310：若T _i 在本次跟踪中未匹配到目标跟踪结果，则将T _i 的驻足起始时间t _{dwell_start} 和静止起始时间t _{stationary_start} 均置为第二时间t并返回分析T _i+1 ；否则执行步骤S2320。

步骤S2320：判断是否满足σ<T _{dwell_σ} ，若满足，则执行步骤S2321；若不满足则执行步骤S2330。

步骤S2321：判断T _i 是否满足t-t _{dwell_start} >T _{dwell_duration} ，若满足，则确定该跟踪目标为驻足行人；否则，则执行步骤S2322；

步骤S2322：判断T _i 是否满足σ<T _{stationary_σ} 且t-t _{dwell_start} >T _{stationary_duration} ，若满足，则确定该跟踪目标为静止目标，并将T _i 加入到误检列表中；否则，则执行步骤S2323；

步骤S2323：将T _i 的静止起始时间t _{stationary_start} 置为第二时间t。

步骤S2330：将T _i 的驻足起始时间t _{dwell_start} 和静止起始时间t _{stationary_start} 均置为第二时间t并返回步骤S2320分析T _i+1 。

图2示出了根据本申请的另一个实施例的客流统计方法的流程示意图，从图2可以看出，本实施例包括：

获取目标图像集，目标图像集为指定历史时间内通过深度客流相机对目标区域拍摄的视频流。

对目标图像集进行行人检测处理，得到多个检测目标。

对多个检测目标分别进行目标跟踪处理，得到多个检测目标的运动轨迹。

对跟踪到的检测目标进行驻足分析处理，驻足分析处理包括甄别误检的静止目标。

判断是否发现静止目标，若发现，则将误检的静止目标从目标跟踪结果和行人检测结果中剔除；并将误检的结果反馈到行人检测处理环节，以改进行人检测处理环节。

若没有发现静止目标，则根据目标跟踪结果以及驻足分析结果，对客流情况进行统计，统计结果包括基础统计信息以及行人驻足信息。

在本申请的一些实施例中，在上述方法中，所述目标图像集中的多帧目标图像为彩色图；所述根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果，还包括：对各帧目标图像进行感兴趣区域限定，以对所述目标区域中的限定区域中的跟踪目标进行驻足分析处理。

在本申请的一些实施例中，在上述方法中，所述目标图像集中的多帧目标图像为深度图；所述根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果，还包括：对各帧目标图像进行距离和/或感兴趣区域限定，以对所述目标区域中的限定区域中的跟踪目标进行驻足分析处理。

通常情况下，是对相机拍摄的整个画面中的客流情况进行分析和统计，为了使得客流统计更加具有针对性，可以在驻足分析之前，对目标图像集中的各帧目标图像进行限定，以对目标区域中的限定区域中的跟踪目标进行驻足分析处理。

具体的，对限定区域的限定可以是距离限定，也可以是ROI（region of interest，感兴趣区域）限定。若用于采集图像的相机为深度相机，则所述范围限定可以是距离限定和/或ROI限定，而若为RGB相机，则所述范围限定为ROI限定。

图3示出了根据本申请的一个实施例的一种客流统计装置的结构示意图，从图3可以看出，所述装置300包括：

获取单元310，用于获取目标图像集，所述目标图像集包括拍摄目标区域的多帧深度图；

行人检测单元320，用于对所述目标图像集进行行人检测处理，得到若干个检测目标；

目标跟踪单元330，用于对各所述检测目标进行目标跟踪处理，得到目标跟踪结果；

驻足分析单元340，用于根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果；

客流统计单元350，用于根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果。

在本申请的一些实施例中，在上述装置中，行人检测单元320，用于对于所述目标图像集中的一帧目标图像，对该帧目标图像进行预处理；基于背景建模方法，确定所述目标图像中的画面运动区域；对所述画面运动区域进行聚类，得到若干个簇集合；根据得到的簇集合，确定行人检测结果，所述行人检测结果至少包括若干个检测目标，以及各检测目标对应的身份ID。

在本申请的一些实施例中，在上述装置中，目标跟踪单元330，用于构建多个跟踪目标，各跟踪目标分别对应一个检测目标；将各所述跟踪目标的驻足起始时间、静止起始时间均设置为第一时间，所述第一时间为各所述跟踪目标被构建时的构建时间；对于一个跟踪目标，基于目标跟踪方法，根据该跟踪目标的身份ID信息和/或位置信息，关联包含该跟踪目标的多帧目标图像，确定该跟踪目标的运动轨迹；循环执行所述对于一个跟踪目标，基于目标跟踪方法，根据该跟踪目标的身份ID信息和/或位置信息，关联包含该跟踪目标的多帧目标图像，确定该跟踪目标的运动轨迹的步骤，得到各所述跟踪目标的运动轨迹；将各所述跟踪目标的运动轨迹、驻足起始时间、静止起始时间对应存储，作为所述目标跟踪结果。

在本申请的一些实施例中，在上述装置中，驻足分析单元340，用于记录第二时间以及现有的若干个跟踪目标，其中，所述第二时间为本轮次目标跟踪处理的结束时间；对所述现有的若干个跟踪目标进行目标跟踪结果匹配处理，确定各跟踪目标的一级分类结果，所述一级分类结果包括快速通过行人目标和可能驻足行人目标；对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的二级分类规则，确定各所述跟踪目标的二级分类结果，所述二级分类结果包括快速通过行人目标和可能驻足行人目标；对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的三级分类规则，确定各所述跟踪目标的三级分类结果，所述三级分类结果包括快速通过行人目标、驻足行人目标和静止目标。

在本申请的一些实施例中，在上述装置中，驻足分析单元340，用于遍历各所述现有的若干个跟踪目标，对于一个跟踪目标，若确定在所述目标跟踪结果中不包含该跟踪目标，则确定该跟踪目标的一级分类结果为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间设置为所述第二时间；否则，则确定该跟踪目标的一级分类结果为可能驻足行人目标。

在本申请的一些实施例中，在上述装置中，驻足分析单元340，用于确定各所述跟踪目标的位移标准差X轴分值、位移标准差Y轴分值以及位移标准差；对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，若一个跟踪目标的位移标准差小于预设的驻足位移标准差阈值，或位移标准差X轴分值以及位移标准差Y轴分值均小于预设的驻足位移标准差阈值，则确定该跟踪目标的二级分类结果为可能驻足行人；否则，则确定该跟踪目标的二级分类结果为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

在本申请的一些实施例中，在上述装置中，所述位移标准差的表达式为式（1），位移标准差X轴分值的表达式为式（2），位移标准差Y轴分值的表达式为式（3）：

式（1）；

式（2） ；

式（3） ；

其中，σ _x 表示位移标准差X轴分值，σ _y 表示位移标准差Y轴分值，x _i 表示运动轨迹中各点的X坐标，y _i 表示运动轨迹中各点的Y坐标，

表示x _i 的均值，

表示y _i 的均值，K为运动轨迹({p ₁ (x,y),p ₂ (x,y)......p _k (x,y)})中的点数。

在本申请的一些实施例中，在上述装置中，驻足分析单元340，用于对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，若一个跟踪目标的第二时间与驻足起始时间的差值大于预设的驻足时长阈值，则确定该跟踪目标的三级分类结果为驻足行人目标；若一个跟踪目标的位移标准差小于预设的静止位移标准差阈值，或者或位移标准差X轴分值以及位移标准差Y轴分值均小于预设的静止位移标准差阈值；且所述第二时间与该跟踪目标的静止起始时间的差值大于预设的静止时长阈值，则确定该跟踪目标的三级分类结果为静止目标；其中，所述静止位移标准差阈值小于所述驻足位移标准差阈值；否则，则确定该跟踪目标为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

在本申请的一些实施例中，在上述装置中，驻足分析单元340，还用于将被确定为静止目标的分析目标记录在误检列表中；根据所述误检列表对所述行人检测结果和/或历史客流统计结果进行修正。

在本申请的一些实施例中，在上述装置中，驻足分析单元340，还用于对各帧目标图像进行感兴趣区域限定，以对所述目标区域中的限定区域中的跟踪目标进行驻足分析处理。

在本申请的一些实施例中，在上述方法中，驻足分析单元340，还用于对各帧目标图像进行距离和/或感兴趣区域限定，以对所述目标区域中的限定区域中的跟踪目标进行驻足分析处理。

在本申请的一些实施例中，在上述装置中，所述客流统计结果包括：进入画面人数、走出画面人数、停留人数、驻足人数、各驻足行人的驻足时间。

能够理解，上述客流统计装置，能够实现前述实施例中提供的客流统计方法的各个步骤，关于客流统计方法的相关阐释均适用于客流统计装置，此处不再赘述。

图4示出了根据本申请的一个实施例的智能终端的结构示意图，从图4可以看出，所述智能终端400部署有前述任一的客流统计装置300，用来实现本申请前述任一的方法。智能终端可以是具有深度图像拍摄功能的电子设备，如深度相机、深度客流相机等等，可将智能终端以一定位姿安装在目标区域的指定位置，以便于对目标区域进行拍摄。

作为一个应用场景，如图5所示，图5示出了根据本申请的一个实施例的智能终端的应用场景的示意图，从图5可以看出，带有客流统计装置的智能终端，该智能终端可以为商场、车站等公共场所的一个智能广告牌或智能贩卖机。在现有技术中，普通的智能终端智能统计整体客流量，如进出入画面的人数。而集成了本发明提出的客流统计装置的智能终端，还可以基于统计的行人驻足信息来判断所展示的内容或所售卖的商品对行人的吸引力。此外，当智能广告牌发现有行人驻足时，还可以自动展示广告。

进一步，图5中智能终端采用了深度相机，可以设置一个限定的范围，更具体地说设置一个限定的距离，比如3m，当有行人在限定的距离内驻足时，才纳入统计或产生类似自动展示广告的动作，而限定距离之外的驻足的行人则被忽略（认为是对展示内容或商品不感兴趣）。通过对距离的限定，直接排除了对展示内容不敢兴趣的多个目标，使得后续的目标跟踪以及驻足分析的处理工作量极大的减少，且针对性更强，即加大程度减轻了智能终端的硬件以及算力的压力，又进一步提高了客流统计的针对性和精准度。

作为另一个应用场景，如图6所示，图6示出了根据本申请的另一个实施例的智能终端的应用场景的示意图，从图6可以看出，带有客流统计装置的智能终端，该智能终端为商铺、展馆的一个智能监控设备，相应地，图中A、B、C、D、E、F等区域为商铺内的不同品类商品区或展馆内的不同展区，管理者可以预先在画面中的商品区或展区周围标好限定的ROI（图中虚线所示）。这样的智能监控设备，除了用于常规监控和客流量统计之外，可以用于精细化地监控各商品区或展区位置的行人驻足情况，以便管理者评估不同品类商品的关注度、转化率或不同展区的关注度，从而做出更合理地决策。由此可见，通过对感兴趣区域的限定，可以针对性更强的统计出特定展示内容的顾客感兴趣程度，进一步提高了客流统计的针对性。

图7示出了根据本申请的一个实施例的客流统计系统的结构示意图，从图7可以看出，所述客流统计系统700包括统计服务器710和若干个智能终端400，各所述智能终端400与所述统计服务器710通信连接；其中，所述统计服务器710部署有前述任一所述的客流统计装置300，所述智能终端400，用于采集目标图像集，并将得到的目标图像集发送至所述统计服务器710，统计服务器710根据接收的目标图像集执行前述任一的方法，以对客流进行统计。

由图4和图7可以看出，客流统计装置300可部署于智能终端，也可以部署统计服务器，对此本申请不作限定，可根据实际需要以及智能终端和统计服务器的算力决定。

图8是本申请的一个实施例电子设备的结构示意图。请参考图8，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成客流统计装置。处理器，执行存储器所存放的程序，并具体用于执行上述方法。

上述如本申请图3所示实施例揭示的客流统计装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图3中客流统计装置执行的方法，并实现客流统计装置在图3所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图3所示实施例中客流统计装置执行的方法，并具体用于执行前述方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种客流统计方法，其特征在于，所述方法包括：

获取目标图像集，所述目标图像集包括拍摄目标区域的多帧图像；

对所述目标图像集进行行人检测处理，得到若干个检测目标；

对各所述检测目标进行目标跟踪处理，得到目标跟踪结果；

根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果；

根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果。

2.根据权利要求1所述的方法，其特征在于，所述对各所述检测目标进行目标跟踪处理，得到目标跟踪结果，包括：

构建多个跟踪目标，各跟踪目标分别对应一个检测目标；

将各所述跟踪目标的驻足起始时间、静止起始时间均设置为第一时间，所述第一时间为各所述跟踪目标被构建时的构建时间；

对于一个跟踪目标，基于目标跟踪方法，根据该跟踪目标的身份ID信息和/或位置信息，关联包含该跟踪目标的多帧目标图像，确定该跟踪目标的运动轨迹，循环执行数次，以确认各所述跟踪目标的运动轨迹；

将各所述跟踪目标的运动轨迹、驻足起始时间、静止起始时间对应存储，作为所述目标跟踪结果。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果，包括：

根据预设的多级分类规则，对各所述目标跟踪结果中的各跟踪目标进行标记，得到各跟踪目标的性质分类，所述性质分类包括：行人目标、驻足行人目标和静止目标；

所述方法还包括：

将被确定为静止目标的跟踪目标记录在误检列表中；

根据所述误检列表对行人检测处理结果和/或历史客流统计结果进行修正。

4.根据权利要求3所述的方法，其特征在于，所述根据预设的多级分类规则，对各所述目标跟踪结果中的各目标进行标记，得到各跟踪目标的性质分类，包括：

记录第二时间以及现有的若干个跟踪目标，其中，所述第二时间为本轮次目标跟踪处理的结束时间；

对所述现有的若干个跟踪目标进行目标跟踪结果匹配处理，确定各跟踪目标的一级分类结果，所述一级分类结果包括快速通过行人目标和可能驻足行人目标；

对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的二级分类规则，确定各所述跟踪目标的二级分类结果，所述二级分类结果包括快速通过行人目标和可能驻足行人目标；

对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的三级分类规则，确定各所述跟踪目标的三级分类结果，所述三级分类结果包括快速通过行人目标、驻足行人目标和静止目标。

5.根据权利要求4所述的方法，其特征在于，所述对所述现有的若干个跟踪目标进行目标跟踪结果匹配处理，确定各跟踪目标的一级分类结果，包括：

遍历各所述现有的若干个跟踪目标，对于一个跟踪目标，若确定在所述目标跟踪结果中不包含该跟踪目标，则确定该跟踪目标的一级分类结果为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间设置为所述第二时间；

否则，则确定该跟踪目标的一级分类结果为可能驻足行人目标。

6.根据权利要求4所述的方法，其特征在于，所述对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的二级分类规则，确定各跟踪目标的二级分类结果，包括：

确定各所述跟踪目标的位移标准差X轴分值、位移标准差Y轴分值以及位移标准差；

对于确定出的一级分类结果为可能驻足行人目标的跟踪目标，若一个跟踪目标的位移标准差小于预设的驻足位移标准差阈值，或位移标准差X轴分值以及位移标准差Y轴分值均小于预设的驻足位移标准差阈值，则确定该跟踪目标的二级分类结果为可能驻足行人；

否则，则确定该跟踪目标的二级分类结果为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

7.根据权利要求6所述的方法，其特征在于，所述位移标准差的表达式为式（1），位移标准差X轴分值的表达式为式（2），位移标准差Y轴分值的表达式为式（3）：

式（1）；

式（2） ；

式（3） ；

其中，σ _x 表示位移标准差X轴分值，σ _y 表示位移标准差Y轴分值，x _i 表示运动轨迹中各点的X坐标，y _i 表示运动轨迹中各点的Y坐标，

表示x _i 的均值，

表示y _i 的均值，K为运动轨迹({p ₁ (x,y),p ₂ (x,y)......p _k (x,y)})中的点数。

8.根据权利要求4所述的方法，其特征在于，所述对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，根据对应的目标跟踪结果，以及预设的三级分类规则，确定各跟踪目标的三级分类结果，包括：

对于确定出的二级分类结果为可能驻足行人目标的跟踪目标，若一个跟踪目标的第二时间与驻足起始时间的差值大于预设的驻足时长阈值，则确定该跟踪目标的三级分类结果为驻足行人目标；

若一个跟踪目标的位移标准差小于预设的静止位移标准差阈值，或者位移标准差X轴分值以及位移标准差Y轴分值均小于预设的静止位移标准差阈值；且所述第二时间与该跟踪目标的静止起始时间的差值大于预设的静止时长阈值，则确定该跟踪目标的三级分类结果为静止目标；其中，所述静止位移标准差阈值小于预设的驻足位移标准差阈值；

否则，则确定该跟踪目标为快速通过行人目标，并将该跟踪目标的驻足起始时间、静止起始时间均设置为所述第二时间。

9.根据权利要求3所述的方法，其特征在于，所述目标图像集中的多帧目标图像为彩色图；

所述根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果，还包括：

对各帧目标图像进行感兴趣区域限定，以对所述目标区域中的限定区域中的跟踪目标进行驻足分析处理。

10.根据权利要求3所述的方法，其特征在于，所述目标图像集中的多帧目标图像为深度图；

所述根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果，还包括：

对各帧目标图像进行距离和/或感兴趣区域限定，以对所述目标区域中的限定区域中的跟踪目标进行驻足分析处理。

11.根据权利要求1~10中任一项所述的方法，其特征在于，所述对所述目标图像集进行行人检测处理，得到若干个检测目标，包括：

对于所述目标图像集中的一帧目标图像，对该帧目标图像进行预处理；

基于背景建模方法，确定所述目标图像中的画面运动区域；

对所述画面运动区域进行聚类，得到若干个簇集合；

根据得到的簇集合，确定行人检测结果，所述行人检测结果至少包括若干个检测目标，以及各检测目标对应的身份ID。

12.根据权利要求1~10中任一项所述的方法，其特征在于，所述客流统计结果包括：进入画面人数、走出画面人数、停留人数、驻足人数、各驻足行人的驻足时间。

13.一种客流统计装置，其特征在于，所述装置包括：

获取单元，用于获取目标图像集，所述目标图像集包括拍摄目标区域的多帧图像；

行人检测单元，用于对所述目标图像集进行行人检测处理，得到若干个检测目标；

目标跟踪单元，用于对各所述检测目标进行目标跟踪处理，得到目标跟踪结果；

驻足分析单元，用于根据所述目标跟踪结果，对各所述检测目标进行驻足分析处理，得到驻足分析结果；

客流统计单元，用于根据所述目标跟踪结果和所述驻足分析结果，对客流信息进行统计，得到客流统计结果。

14.一种智能终端，其特征在于，所述智能终端部署有权利要求13所述的客流统计装置。

15.一种客流统计系统，其特征在于，所述客流统计系统包括统计服务器和若干个智能终端，各所述智能终端与所述统计服务器通信连接；其中，所述统计服务器部署有权利要求13所述的客流统计装置；

所述智能终端，用于采集目标图像集，并将得到的目标图像集发送至所述统计服务器。

16.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~12中任一项所述的方法。

Images