CN115731247A - 目标计数方法、装置、设备及存储介质 - Google Patents

Abstract

提供了一种目标计数方法、装置、设备及存储介质。该目标计数方法包括：获取预定时间段内针对相同视场捕获的多个图像帧；确定多个图像帧中的一个或多个待测区域；针对每一个待测区域，确定待测区域中的总目标数；以及基于一个或多个待测区域的各自总目标数，计算预定时间段内视场中的目标总量。确定待测区域中的总目标数包括：统计待测区域中的第一目标数；将待测区域划分为第一区域和第二区域；统计预定时间段内通过第一区域的第二目标数；以及基于第一目标数和第二目标数计算待测区域的总目标数。

Description

目标计数方法、装置、设备及存储介质

技术领域

本申请涉及目标跟踪与计数，尤其涉及用于复杂远景的目标计数方法、 装置、设备及存储介质。

背景技术

在视频监控技术领域，基于视频监控的目标跟踪与计数技术一直是本领 域人员关注的重点方向。目标跟踪与计数技术在不同场合能够发挥各种不同 作用。例如，在公共场所可以监视并统计人流量，在人流量超过警戒线时可 以做出控制措施，从而防止过度拥挤造成的安全隐患。例如，在繁华的商业 街头，可以通过统计一段时间内的人流量，有效地估计广告投放的浏览量， 从而对不同位置处的广告位的价值进行预估。

传统的人群计数方法都是基于近景目标检测和特征提取的方法进行的， 这需要待测图像中的目标具有足够细节的特征以便能够对目标进行准确的识 别和跟踪。然而，在待测图像是远景拍摄的图像的情况下，这种基于近景目 标检测和特征提取的方法显然是不适用的。一方面，在远景图像中，由于需 要计数的目标过小，将现有的近景检测算法直接应用于远景视频将会导致准 确率大大下降。另一方面，在远景图像中，由于目标是持续移动的，发生交错 遮挡时会引起特征变化，容易发生误检,从而导致计数错误。

发明内容

本申请是鉴于上述问题做出的。本申请的目的在于，提供一种用于复杂 远景的目标计数方法，该方法可以通过确定区域中的出口或入口，对远距离 拍摄视频中的移动目标(如行人、车辆等)进行计数，并统计一段时间内的通 行量，使得即使在目标较小的场景下，也能够准确进行目标数量的统计。

在一个示例性方面，本公开提供了一种目标计数方法，包括：获取预定 时间段内针对相同视场捕获的多个图像帧；确定所述多个图像帧中一个或多 个待测区域；针对每一个待测区域，确定所述待测区域中的总目标数；以及 基于所述一个或多个待测区域的各自总目标数，计算所述预定时间段内所述 视场中的目标总量，其中，确定所述待测区域中的总目标数包括：统计所述 待测区域中的第一目标数；将所述待测区域划分为第一区域和第二区域；统 计所述预定时间段内通过所述第一区域的第二目标数；以及基于所述第一目标数和所述第二目标数计算所述待测区域的总目标数。

在一些实施例中，确定所述多个图像帧中一个或多个待测区域包括：基 于分辨率平均划分所述多个图像帧以得到多个待测区域；或者基于所述多个 图像帧中的目标密度选取一个或多个待测区域。

在一些实施例中，将所述多个图像帧中目标密度大于第一阈值的一个或 多个区域所对应的区域确定为所述一个或多个待测区域。

在一些实施例中，将所述待测区域划分为第一区域和第二区域包括：将 所述待测区域中不与其它待测区域交界的边缘区域、以及包含特定对象的区 域确定为所述第一区域；以及将所述待测区域中的其余区域确定为所述第二 区域。

在一些实施例中，将所述待测区域划分为第一区域和第二区域包括：将 所述待测区域划分为多个子区域；计算第二时间段内每个子区域内的目标的 轨迹密度；将目标的轨迹密度大于第二阈值、并且不与其它待测区域交界的 一个或多个子区域确定为所述第一区域；以及将所述待测区域中的其余子区 域确定为所述第二区域。

在一些实施例中，将所述待测区域划分为多个子区域包括：按面积将所 述待测区域平均划分为多个子区域；或者基于所述待测区域中的目标的轨迹 密度将所述待测区域划分为多个子区域。

在一些实施例中，基于所述待测区域中的目标的轨迹密度将所述待测区 域划分为多个子区域包括：获取所述第二时间段内所述待测区域中所有目标 的轨迹的k个起始坐标；分别对所述k个起始坐标中的横坐标和纵坐标进行 排序，以得到横坐标的m分位数和纵坐标的n分位数；基于横坐标的m分位 数和纵坐标的n分位数将所述待测区域划分成m×n个子区域，其中m和n 均为正整数。

在一些实施例中，基于所述待测区域中的目标的轨迹密度将所述待测区 域划分为多个子区域包括：获取所述第二时间段内所述待测区域中所有目标 的轨迹的k个终止坐标；分别对所述k个终止坐标中的横坐标和纵坐标进行 排序，以得到横坐标的m分位数和纵坐标的n分位数；基于横坐标的m分位 数和纵坐标的n分位数将所述待测区域划分成m×n个子区域，其中m和n 均为正整数。

在一些实施例中，计算第二时间段内每个子区域内的目标的轨迹密度包 括：计算所述第二时间段内每个子区域内的目标的轨迹数量；计算每个子区 域的面积；将每个子区域内的目标的轨迹数量除以每个子区域的面积，以得 到每个子区域内的目标的轨迹密度。

在一些实施例中，所述第二阈值包括所述待测区域内的目标的平均轨迹 密度、所有子区域内的目标的轨迹密度的L分位数或预定阈值，其中L为正 整数。

在一些实施例中，统计所述待测区域中的第一目标数包括：统计初始时 间段内所述待测区域中的最大目标数作为初始目标数；或者统计终止时间段 内的所述待测区域中的最大目标数作为最终目标数。

在一些实施例中，当所述第一目标数是所述初始目标数的情况下，统计 所述预定时间段内通过所述第一区域的第二目标数包括：统计所述预定时间 段内进入所述第一区域的进入目标数，并且基于所述第一目标数和所述第二 目标数计算所述待测区域的总目标数包括：将所述初始目标数与所述进入目 标数相加，以得到所述待测区域的总目标数。

在一些实施例中，当所述第一目标数是所述最终目标数的情况下，统计 所述预定时间段内通过所述第一区域的第二目标数包括：统计所述预定时间 段内从所述第一区域离开的离开目标数，并且基于所述第一目标数和所述第 二目标数计算所述待测区域的总目标数包括：将所述最终目标数与所述离开 目标数相加，以得到所述待测区域的总目标数。

在另一个示例性方面，本公开提供了一种目标计数装置，包括：图像获 取模块，其被配置为获取预定时间段内针对相同视场捕获的多个图像帧；区 域确定模块，其被配置为确定所述多个图像帧中一个或多个待测区域；以及 目标统计模块，其被配置为针对每一个待测区域，确定所述待测区域中的总 目标数，以及基于所述一个或多个待测区域的各自总目标数，计算所述预定 时间段内所述视场中的目标总量，其中，确定所述待测区域中的总目标数包 括：统计所述待测区域中的第一目标数；将所述待测区域划分为第一区域和 第二区域；统计所述预定时间段内通过所述第一区域的第二目标数；以及基 于所述第一目标数和所述第二目标数计算所述待测区域的总目标数。

在又一个示例性方面，本公开提供了一种目标计数设备，包括：处理器； 以及存储器，存储一个或多个计算机程序模块；其中，所述一个或多个计算 机程序模块被配置为当由所述处理器运行时，执行本申请所述的目标计数方 法。

在又一个示例性方面，本公开提供了一种非暂时性计算机可读存储介质， 其上存储有计算机指令，其中，所述计算机指令被处理器执行时执行本申请 所述的目标计数方法。

附图说明

图1示出了根据本公开原理的实施例的目标计数方法的示例性流程图。

图2示出了根据本公开原理的实施例的目标计数方法的另一示例性流程 图。

图3A示出了根据本公开原理的实施例的确定图像帧中的待测区域的示 意图。

图3B示出了根据本公开原理的实施例的确定图像帧中的待测区域的又 一示意图。

图4A示出了根据本公开原理的实施例的确定图像帧中的出入口区域的 示意图。

图4B示出了根据本公开原理的实施例的确定图像帧中的出入口区域的 又一示意图。

图5示出了根据本公开原理的实施例的确定图像帧中的出入口区域的示 例性流程图。

图6示出了根据本公开原理的实施例的确定图像帧中的出入口区域的又 一示意图。

图7示出了根据本公开原理的实施例的目标计数装置的功能性框图。

图8示出了根据本公开原理的实施例的目标计数设备的示意图。

图9示出了根据本公开原理的实施例的计算机可读存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公 开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而 且不应该被解释为限于这里阐述的实施例，相反地，提供这些实施例是为了 更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用 于示例性作用，并非用于限制本公开的保护范围。

应当理解的是，本公开的方法实施方式中记载的各个步骤可以按照不同 的顺序执行，和/或并行执行。此外，方法实施例可以包括其它的步骤和/或省 略某些步骤。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。 术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实 施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施 例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

应当理解的是，本公开中提及的“第一”、“第二”等概念仅用于对不同 的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行 的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制 性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理 解为“一个或多个”。

本公开的实施例提供了一种目标计数方法。图1示出了根据本公开原理 的实施例的目标计数方法100的流程图。

如图1所示，根据本公开的实施例的目标处理方法100包括以下步骤：

S101：获取预定时间段内针对相同视场捕获的多个图像帧；

S102：确定所述多个图像帧中一个或多个待测区域；

S103：针对每一个待测区域，确定所述待测区域中的总目标数；以及

S104：基于所述一个或多个待测区域的各自总目标数，计算所述预定时 间段内所述视场中的目标总量。

如前所述，传统的基于近景目标检测和特征提取的目标计数方法通常要 求拍摄到的图像具有足够的细节，以便能够识别出目标的特征。这种拍摄方 法要求摄像头或摄像机与目标之间具有足够近的距离(例如，小于5m)，从 而能够捕获到关于目标的更多细节特征(例如，人脸、衣着、体型特征等)。 足够近的拍摄距离意味着单个摄像头的视场范围的局限性，这种方法势必需 要针对同一个场景布置多个摄像头，从而能够覆盖目标场景的全部范围。相 比之下，本申请是针对远景进行目标计数的，因此可以仅仅使用单个固定位 置的摄像头来对目标视场进行远景拍摄(例如，距离大于50m、100m等)。 例如，在步骤S101中，可以使用某个十字路口处以固定位置、固定视角布置 的单个摄像头对该十字路口周围200m范围内的视场进行拍摄，从而得到预 定时间段内针对相同视场的一段视频(即，一系列图像帧)。

在一些实施例中，预定时间段可以是任意时长的时间段，这取决想要对 目标进行计数的时间区间。例如，如果想统计某个静电在1小时之内的人流 量，可以将预定时间段设定为1小时。例如，如果想统计某个商业街区在一 天之内的总人流量，也可以将该预定时间段设定为24小时等。

此外，应当理解的是，由于本申请中的多个图像帧通常是使用固定位置、 固定视角布置的单个摄像头拍摄的，由此获得的多个图像帧通常具有相同的 视场范围。

应当理解的是，由于本申请中的多个图像帧是基于远景拍摄的，为了能 够对整体视场进行相对准确的目标计数，通常需要对图像帧进行划分，以便 对划分后的每个区域进行放大，然后基于放大的区域进行计数处理，通过综 合每个区域的计数结果，即可得到整个市场内的目标总数。因此，在获得了 预定时间段内针对相同视场捕获的多个图像帧之后，需要针对多个图像帧进 行划分，以确定一个或多个待测区域，即上述步骤S102。

需要注意的是，在本文中，术语“待测区域”是指整个图像中需要实际进 行目标统计的区域。在一些情况下，“待测区域”可以指多个区域，这些区域覆 盖整个图像的全部范围。在其它情况下，“待测区域”也可以指图像中目标相 对密集的一个或多个区域。例如，基于场景的不同或者基于对统计精度的不 同要求，可以选用不同的待测区域确定方法。

图3A示出了根据本公开原理的实施例的确定图像帧中的待测区域的示 意图。图3B示出了根据本公开原理的实施例的确定图像帧中的待测区域的 又一示意图。

例如，如图3A所示，确定多个图像帧中一个或多个待测区域可以包括 基于分辨率平均划分多个图像帧(例如，如图所示的图像帧300)以得到多个 待测区域(例如，如图3A所示的4个待测区域ROI1，ROI2，ROI3，ROI4)。 例如，如果图像帧的分辨率为1600x1200，则可以基于该分辨率将图像帧进 行平均划分，以得到尺寸相等的多个待测区域。类似的，也可以基于分辨率 以非平均的方式划分图像帧，从而得到多个待测区域。另外，应当理解的是，尽管图3A示出了将图像帧划分为4个待测区域的示例，但这仅仅是示例性 的，可以根据需要将图像帧划分为更多或更少的待测区域。

上述基于分辨率的划分方式相对来说是比较简单的，因为它可以不考虑 场景的实际情况而将所有图像帧进行统一划分，该划分方式会将图像帧中的 所有区域都包括在待测区域中，并针对每个待测区域进行目标计数。然而， 需要说明的是，该划分方式在执行上虽然比较简单，但是在效果上也存在一 定的缺陷。例如，在实际场景中，并不是每个图像区域都具有统计价值。也就 是说，并不是每个区域都会存在具有统计意义的目标数量，这种将图像帧的 每个划分区域都确定为待测区域的统计方式显然在某些情况下是冗余的。

例如，针对图3A中的划分方式，可以判断出只有地面所在的待测区域 ROI3和ROI4才有可能出现相对大量的人流或车流，而建筑物外立面所在的 待测区域ROI1和ROI2相对来说是不可能出现目标或者目标数量较小的区 域。因此，如果统一地将所有的划分区域都确定为待测区域，就需要针对每 个待测区域都运行目标计数算法，这显然会增大目标统计所需的时间成本。

因此，本申请还提出了另一种基于目标密度的待测区域确定方法。例如， 如图3B所示，可以基于多个图像帧中的目标密度来选取一个或多个待测区 域。在一些实施例中，可以将多个图像帧(例如，如图所示的图像帧300)中 目标密度大于第一阈值的一个或多个区域所对应的区域确定为待测区域，例 如，图3B中的待测区域ROI1和ROI2。例如，以100x100像素为单位区域， 如果该单位区域中的目标密度大于5，可以认为该单位区域属于目标相对密 集的区域，因此可以将该单位区域确定为想要的待测区域或待测区域的一部分。应当理解的是，如上所述的100x100像素大小单位区域和目标密度大于 5都仅仅是示例性的，可以根据需要选取不同大小的单位区域或不同的目标 密度阈值。

通过基于密度的待测区域确定方法，可以有效地将无统计意义或统计意 义较小的区域排除，从而能够更有效地进行目标数量的统计。

然而，应当理解的是，以上虽然针对时间成本和效率问题讨论了基于图 像分辨率的待测区域确定方法和基于目标密度的待测区域确定方法，这并不 意味着基于目标密度的待测区域确定方法在各方面都是最优的。例如，由于 在待测区域的确定方法中设定了目标密度阈值，这就意味着只有目标密度高 于该阈值的区域的目标流量才会被统计，而目标密度低于该阈值的区域则不 会被统计，从而可能会导致部分少量数据的丢失。然而，鉴于在远景目标统 计的背景下，一般来说都存在数量十分庞大的目标数量，这种少量数据的丢失对最终结果的影响可以认为是十分微小的。

回到图1，在确定了多个图像帧中的一个或多个待测区域之后，方法100 进行到步骤S103，即针对每一个待测区域，确定待测区域中的总目标数。

下面将结合图2详细描述针对每一个待测区域确定目标数的具体方法。

图2示出了根据本公开原理的实施例的目标计数方法200的另一示例性 流程图。图2中的方法200可以视为图1中步骤S103的细化步骤。

如图2所示，确定某一待测区域中的总目标数包括以下步骤：

S201：统计所述待测区域中的第一目标数；

S202：将所述待测区域划分为第一区域和第二区域；

S203：统计所述预定时间段内通过所述第一区域的第二目标数；以及

S204：基于所述第一目标数和所述第二目标数计算所述待测区域的总目 标数。

在一些实施例中，为了对远景拍摄视频中的移动目标(如行人、车辆等) 进行计数，并统计一段时间内的通行量，我们通常可以采用以下两种计算方 式：

方式一：从第1～n帧经过目标数＝初始目标数+进入目标数；

方式二：从第1～n帧经过目标数＝最终目标数+离开目标数。

取决于统计方向和统计方式的不同，步骤S201中的第一目标数可分别 对应于方式一中的初始目标数或方式二中的最终目标数。例如，在以进入目 标数为统计方向的情况下，第一目标数指的是待测区域中最开始的目标的数 目。相比之下，在以离开目标数为统计方向的情况下，第一目标数指的是最 终在待测区域中剩余的目标数目。

如上所述，方式一是以进入目标数为统计方向对目标流量进行统计的方 法。

例如，在方式一中，假设预定时间段内一共捕获了目标场景的n帧图像， 则方式一中的初始目标数可以等于初始时间段内该待测区域中的最大目标数。 例如，该初始时间段可以对应于预定时间段(例如，1小时)中最开始的10 秒种、1分钟等等，并且该初始时间段内待测区域中的最大目标数可以等于例 如10秒钟内的k个图像帧中的最大目标数。

然而，初始目标数的统计方法不限于上述方法。例如，还可以将预定时 间段内的n帧图像中的第一帧图像中的目标数作为初始目标数。此外，初始 目标数的确定可以不依赖于预定时间段内的n帧图像。例如，可以将预定时 间段之前的时刻捕获的图像帧中的目标数作为初始目标数。

在确定了初始目标数的情况下，可以跟踪在预定时间段内进入待测区域 的目标数，从而可以将初始目标数和进入目标数的和作为预定时间段内待测 区域中的目标流量，即从第1～n帧经过的目标数。

类似地，方式二是以离开目标数为统计方向对目标流量进行统计的另一 种方法。

例如，在方式二中，假设预定时间段内一共捕获了目标场景的n帧图像， 则方式二中的最终目标数可以等于终止时间段内该待测区域中的最大目标数。 例如，该初始时间段可以对应于预定时间段(例如，1小时)中最后的10秒 种、1分钟等等，并且该终止时间段内待测区域中的最大目标数可以等于例如 10秒钟内的k个图像帧中的最大目标数。

然而，最终目标数的统计方法不限于上述方法。例如，还可以将预定时 间段内的n帧图像中的最后一帧图像中的目标数作为最终目标数。此外，最 终目标数的确定可以不依赖于预定时间段内的n帧图像。例如，可以将预定 时间段之后的时刻捕获的图像帧中的目标数作为最终目标数。

在确定了最终目标数的情况下，可以跟踪在预定时间段内离开待测区域 的目标数，从而可以将最终目标数和离开目标数的和作为预定时间段内待测 区域中的目标流量，即从第1～n帧经过的目标数。

应当理解的是，虽然在图2中未示出，确定某一待测区域中的总目标数 的方法200还可以包括将待测区域进行放大的步骤。如前所述，远景图像是 在距离目标较远(例如，>50m)的方式拍摄的图像，如果要对分区后的每个 待测区域进行目标统计，则需要对待测区域进行放大，使得目标能够更容易 地被识别。方法200也可以包括其他对图像进行优化的其它步骤，包括但不 限于降噪、模糊背景、亮度对比度调节等等。

在如上所述统计了第一目标数(即，初始目标数或最终目标数)之后， 方法200进行到步骤S202，即将所述待测区域划分为第一区域和第二区域。

结合上述方式一和方式二中列举的统计方法可知，对于目标频繁移动的 场景，相比于统计某一时刻待测区域中的静态的目标总量，统计动态移动的 目标数(例如，进入的目标数和离开的目标数)具有更关键的意义，因为某一 时刻的静态目标总量仅仅能够反映瞬时的目标数量，而不能反映一段时间内 的目标流通量。要计算一段时间内的目标流通量，需要考虑多种环境因素的 存在。例如，仅仅统计从图像边缘进入或离开的目标数量是不准确的，因为 现实环境并不是一个简单的边缘入口或边缘出口模型，现实环境往往比这要 复杂很多。例如，待测区域中的很多其它对象都有可能扮演目标入口或出口 的角色，例如地铁站、地下通道的出入口、交通工具、商场门口等。因此，如 何确定目标有可能进入或离开的区域是本申请的关键任务。

为了更准确地统计待测区域中的目标流量，我们需要将待测区域划分为 两种类型的区域，第一类是出口或入口区域，也可以称之为“统计区域”，即有 目标进入或目标离开而导致目标数量发生变化的区域，例如对应于S202中的 “第一区域”。第二类是“非统计区域”，即待测区域中不会有目标进入或目标 离开而导致目标数量发生变化的区域，例如，马路上的斑马线等。

例如，针对如上所述的斑马线区域，如果在两个图像帧之间由于行人的 交错遮挡而引起目标检测算法的误差，就会导致在后一帧的检测结果中出现 一个新的目标ID。如果不对这种类似的新的目标ID进行过滤或滤除，该新 的目标ID就会对最终的计数结果产生影响，使得最终的计数结果要大于实际 的计数结果。

然而，在实际情况中，类似于“斑马线”的区域是不可能出现新的目标的， 因为这种区域不存在真实的出口或入口。因此我们需要设计一种划分方式， 将统计区域限定为真正能够出现新目标或者目标有可能从此处离开视场的区 域，同时将不可能存在出口或入口的区域排除在外，作为非统计区域。这样， 即使在某些帧之间存在交错遮挡从而为某个目标分配了新的ID，我们也不会 将该新出现的ID统计在进入或离开的人数中，因为新出现的ID通常是由于 目标交错遮挡使目标的特征发生了局部变化而导致的，而不是意味着例如斑 马线上能够真正出现新的目标。我们将这些新出现的ID称为“伪数据”。通 过上述两类区域的划分，可以有效地将非统计区域中的伪数据进行滤除，从 而避免重复计数。

应当理解的是，在本申请中，术语“统计区域”、或“第一区域”、或“出口 区域”与“入口区域”具有类似的含义，均表示有可能出现新目标或目标可能离 开的区域。相比之下，“非统计区域”或“第二区域”是指不可能出现新目标或 目标不可能离开的区域。

此外，应当理解的是，虽然本申请分别用“第一区域”和“第二区域”分别 命名了统计区域和非统计区域，但其中的“第一”或“第二”仅仅是为了分类的 目的，并不旨在限定区域的数量。例如，“第一区域”可以包含一个或多个子区 域，或者可以是多个子区域的并集，而“第二区域”也可以包含一个或多个子 区域，或者也可以是多个子区域的并集。在一般情况下，“第二区域”是待测区 域中排除了“第一区域”以外的其余区域。

本申请提出了两种划分统计区域和非统计区域的方法。图4A示出了根 据本公开原理的实施例的确定图像帧中的出入口区域的示意图。图4B示出 了根据本公开原理的实施例的确定图像帧中的出入口区域的又一示意图。

在一些实施例中，将待测区域划分为第一区域和第二区域可以包括：将 待测区域中不与其它待测区域交界的边缘区域、以及包含特定对象的区域确 定为第一区域；以及将待测区域中的其余区域确定为第二区域。

例如，在图4A所示的示例中，图像300中存在两个待测区域ROI1和 ROI2。针对ROI1，首先将ROI1中的边缘区域A1、A2和A3确定为统计区 域中的部分区域，然后将包含特定对象(例如，卡车)的区域A4确定为统计 区域中的部分区域。应当理解的是，ROI1的统计区域仅包括A1、A2、A3在 内的边缘区域，却将与ROI2交界的区域M相对应的边缘区域排除在外，这 是因为我们通常认为针对单个待测区域ROI1或ROI2，交界区域M处虽然会 有目标的出入，但是由于交界区域M存在于整体图像300中间，而不是存在 于整体图像300的边缘处。因此对于整体图像300而言，交界区域M不会出 现新的目标，也不会有新的目标从此处离开的。因此如果将交界区域M也设 定为统计区域，只会造成ROI1和ROI2的重复统计，从而影响最终的目标统 计结果。因此，待测区域ROI1中的统计区域由A1、A2、A3和A4构成，而 剩余的区域构成ROI1的非统计区域。

类似的，针对ROI2，首先将ROI2中的边缘区域B1、B2和B3确定为 统计区域中的部分区域，然后将包含特定对象(例如，建筑物出入口)的区域 B4确定为统计区域中的部分区域。同样地，ROI2中的统计区域也仅包括B1、 B2、B3在内的边缘区域，却将与ROI1交界的区域M相对应的边缘区域排除 在外，从而将不会出现新的目标也不会有目标从此处离开的交界区域M排除。 因此，待测区域ROI2中的统计区域由B1、B2、B3和B4构成，而剩余的区 域构成ROI2的非统计区域。

在一些实施例中，可以利用基于神经网络的图像识别技术来标记如上所 述的包含特定对象的区域或边缘区域。例如，特定对象可以包括建筑物出入 口、地下通道出入口、地铁站出入口、交通工具中的一种或多种。通常情况 下，我们可以认为上述特定对象处可能会出现新的目标，或者会有目标从此 处离开。

此外，本申请还提出了另一种基于目标的轨迹密度划分统计区域和非统 计区域的方法。例如，图4B的示例示出了基于目标的轨迹密度的划分方法的 划分结果的示意图。

如图4B所示，图像300中的待测区域ROI1中被确定了两个统计区域 A1和A2，并且图像300中的待测区域ROI2中被确定了两个统计区域B1和 B2。与图4A所示的划分结果相比，图4B中基于轨迹密度的划分结果更为集 中。这是由于基于轨迹密度的划分方法不再依赖于图像中的图形特征来将可 能出现目标的区域划分为统计区域，而是基于实际的目标密度来选取统计区 域，前者是一种预测性的划分，而后者是一种基于实际情况的确定性划分。

下面将结合图5至图6详细描述基于轨迹密度的统计区域的确定方法。

图5示出了根据本公开原理的实施例的基于轨迹密度确定图像帧中的出 入口区域的方法500的示例性流程图。图6示出了根据本公开原理的实施例 的基于轨迹密度确定图像帧中的出入口区域的又一示意图。

如图5所示，将待测区域划分为第一区域和第二区域的方法500包括：

S501：将待测区域划分为多个子区域；

S502：计算第二时间段内每个子区域内的目标的轨迹密度；

S503：将目标的轨迹密度大于第二阈值、并且不与其它待测区域交界的 一个或多个子区域确定为第一区域；以及

S504：将待测区域中的其余子区域确定为第二区域。

在一些实施例中，基于轨迹密度的统计区域和非统计区域的划分方法是 基于子区域进行的。因此，首先需要将待测区域进一步细分为多个子区域。 需要注意的是，本申请在多处提到了“划分”，例如，在图3A-3B的示例中， “划分”的目的是将整体图像300划分为多个待测区域ROI。相比之下，本示 例所述的划分是对待测区域ROI的进一步细分。

在一些实施例中，针对一个待测区域，存在多种方法将其细分为多个子 区域。

例如，将待测区域划分为多个子区域可包括按面积将待测区域平均划分 为多个子区域。例如，如果待测区域的大小为800x800像素，可以将其平均 划分为4x4个大小为200x200的子区域。在一些实施例中，也可以按面积将 待测区域不均等地划分为多个子区域，例如，可以使用二叉树、三叉树、四叉 树等划分规则，也可以使用二叉树、三叉树、四叉树之间的相互组合的划分 规则。

在一些实施例中，将待测区域划分为多个子区域可包括基于待测区域中 的目标的轨迹密度将待测区域划分为多个子区域。图6示出了按照轨迹密度 将待测区域划分为多个子区域的示意图。

例如，如图6中的(a)所示，以进入人数统计为例，基于待测区域中的 目标的轨迹密度将待测区域划分为多个子区域可以包括：首先获取第二时间 段内待测区域中所有目标的轨迹的k个起始坐标。这里，“第二时间段”可以 是上述预定时间段(例如，24小时)内的起始的一段时间，例如，30秒或1 分钟等。

例如，对于大小为W*H的视频，可以通过多目标跟踪获取所有轨迹的起 始坐标{[x₀,y₀],[x₁,y₁],…,[x_k-1,y_k-1]}，其中k为轨迹总数。

然后，如图6中的(b)所示，分别对上述k个起始坐标中的横坐标和纵 坐标进行排序，以得到横坐标的m分位数和纵坐标的n分位数，然后基于横 坐标的m分位数和纵坐标的n分位数将所述待测区域划分成m×n个子区域， 其中m和n均为正整数。

例如，分别对[x₀,x₁,…,x_k-1]和[y₀,y₁,…,y_k-1]从小到大排序，取m和n 分位数坐标[X₁,…,X_m-1]和[Y₁,…,Y_n-1],m>2,n>2。然后，使用m和n分位 数坐标将视频划分成m×n个子区域。例如，在图6的(b)中，根据4和3 分位数坐标将视频或图像帧划分为4x3个子区域。应当理解的是，使用分位 数对待测区域进行划分的方法不会必然导致每个子区域具有相同大小的面积， 相反地，此种划分方式导致每个子区域中具有相同数量的目标起始坐标。

然后，针对每个子区域计算其轨迹密度，将轨迹密度大于预定阈值的子 区域确定为统计区域或入口区域。

例如，首先可以计算第二时间段内每个子区域内的目标的轨迹数量，然 后计算出每个子区域的面积，最后将每个子区域内的目标的轨迹数量除以每 个子区域的面积，以得到每个子区域内的目标的轨迹密度。

例如，针对m×n个子区域，统计每个子区域内出现的轨迹数量 [k_1,1,…k_m,0,…,k_m,n]，然后计算每个子区域面积，例如，第(m-1)×(n- 1)个子区域的面积为S_m-1,n-1＝(X_m-1-X_m-2)*(Y_m-1-Y_m-2)，并且特别 地，第m×n个子区域的面积为S_m,n＝(W-X_m-1)*(H-Y_m-1)，第1个子区域的面积为S_1,1＝(X₁-0)*(Y₁-0)。最后，计算每个区域的密度，例如， 第(m,n)个子区域的轨迹密度为P_m,n＝k_m,n/S_m,n。

然后，如步骤S503所示，将目标的轨迹密度大于第二阈值、并且不与其 它待测区域交界的一个或多个子区域确定为第一区域。例如，该第二阈值可 以表示整个图像内目标轨迹的平均密度。例如，如果某一子区域的轨迹密度 大于平均密度，则可将该子区域判定为出入口区域。例如，如果视频大小 1280x720，轨迹(ID)总数500，则

平均密度＝轨迹总数/图像面积＝500/(1280x720)，

如果某个子区域的大小为320x180，并且出现在该子区域的轨迹(ID) 总数200，则该子区域密度＝200/(320x180)大于上述平均密度，可将该子区 域判定为入口区域。

图6中的(c)示出了将如上使用4和3分位数划分的4x3个子区域中的 6个子区域(A1-A6)确定为第一区域的示意图。应当理解的是，除A1-A6以 外的其它子区域将被自动确定为非统计区域，即第二区域。

以上示出了以进入人数统计为例确定统计区域和非统计区域的方法。在 一些实施例中，还可以以离开人数统计为例，来确定统计区域和非统计区域。 例如，在以离开人数统计的情况下，上述起始坐标应当被替换为轨迹的终止 坐标，其它的步骤与起始坐标的方法是类似的，在此不再赘述。

在一些实施例中，除了根据如上所述的平均密度来设置上述第二阈值的 方法以外，还可以将所有子区域内的目标的轨迹密度的L分位数确定为目标 轨迹的密度阈值，即上述第二阈值，其中L为正整数。在其它实施例中，也 可以根据需要基于经验值来预设上述第二阈值，例如，可以将第二阈值设定 为200/100x100像素、或300/100x100像素等。

在如上所述确定了待测区域中的出口和入口区域以后，即可以针对所确 定的出口或入口区域来统计预定时间段内通过该区域的第二目标数。在本申 请中，“第二目标数”又可称为“进入目标数”或“离开目标数”，这取决于具体 选取的统计方式或统计方向。例如，在“第二目标数”是“进入目标数”的情况 下，我们可以将预定时间段(例如，24小时)之内在所确定的入口区域中新 出现的目标数进行累加，从而得到该预定时间段内的进入目标数。此外，在 “第二目标数”是“离开目标数”的情况下，我们可以将预定时间段(例如，24小时)之内在所确定的出口区域中离开的目标数进行累加，从而得到该预定 时间段内的进入目标数。

应当理解的是，不论是对进入目标数还是对离开目标数进行计数，都可 以采用各种适用的目标跟踪技术来描绘出各个目标的移动轨迹，进而基于移 动轨迹的方向及其相对于出入口的位置来确定进入目标数或离开目标数。此 外，还可以采用其他标记方法来对进入或离开出入口的目标进行计数，例如， 可以为每一个新进入的目标分配一个新的ID，该ID的数值可以表示当前目 标的计数值。例如，假设在时刻t0有一个新的目标从出入口区域出现，则可 将该新的目标的ID记为001。然后，假设在时刻t1又有一个新的目标从出入口出现，则可将该新的目标的ID记为002，以此类推。对从出入口处离开的 目标也可以采用类似的标记方法，在此不再赘述。

在统计出预定时间段内通过统计区域的第二目标数之后，返回到图2中 的S204。在一些实施例中，当统计出了待测区域中的初始/最终目标数，并且 统计出了预定时间段内通过统计区域的第二目标数的情况下，可以基于第一 目标数和第二目标数计算待测区域的总目标数。

例如，当所述第一目标数是所述初始目标数的情况下，统计所述预定时 间段内通过所述第一区域的第二目标数包括：统计所述预定时间段内进入所 述第一区域的进入目标数，并且基于所述第一目标数和所述第二目标数计算 所述待测区域的总目标数包括：将所述初始目标数与所述进入目标数相加， 以得到所述待测区域的总目标数。该方法对应于如上所述的“方式一”。

例如，当所述第一目标数是所述最终目标数的情况下，统计所述预定时 间段内通过所述第一区域的第二目标数包括：统计所述预定时间段内从所述 第一区域离开的离开目标数，并且基于所述第一目标数和所述第二目标数计 算所述待测区域的总目标数包括：将所述最终目标数与所述离开目标数相加， 以得到所述待测区域的总目标数。该方法对应于如上所述的“方式二”。

然后，回到图1中的步骤S104，在针对所有待测区域确定了各自的总目 标数的情况下，可以基于一个或多个待测区域的各自总目标数，计算预定时 间段内视场中的目标总量。例如，针对图4B中的图像300，如果针对待测区 域ROI1在24小时之内统计的总目标数为5000，针对待测区域ROI2在24小 时之内统计的总目标数为3000，则可以将二者的和(即，8000)确定为图像 300表示的视场内在24小时之内的目标总量。

以上结合图1-6描述了通过对图像进行出入口的划分，从而对远景下的 目标进行计数的方法。该方法能够通过确定出入口所在的区域来排除其他非 统计区域带来的干扰，从而提高目标计数的精度。同时能够通过将统计区域 缩限为目标密度超于阈值的特定区域，来降低对整个视场都进行计算所需的 时间成本和计算成本。下面将介绍根据本申请的实施例的目标计数装置。

本申请还提供了一种图像处理装置。图7示出了根据本公开原理的实施 例的目标计数装置700的功能性框图。需要说明的是，上文关于图1-6所描 述的目标计数方法的细节同样适用于图7的实施例的中目标计数装置700， 除非文中另有说明或根据上下文明显不适用。

如图7所示，图像处理装置700包括待测图像获取模块701、区域确定 模块702和目标统计模块703。这些模块可以通过软件、硬件、固件或它们的 任意组合实现。

在本公开的实施例中，待测图像获取模块701被配置为被配置为获取预 定时间段内针对相同视场捕获的多个图像帧。例如，待测图像获取模块701可 以实现为单独的相机(诸如立体相机、红外相机等)，待测图像获取模块701 也可以集成在各种电子终端中，包括但不限于手机、平板电脑、无人机、导航 仪等，用于捕获各种场所的人群的图像作为待测图像。此外，待测图像获取 模块701也可以是位于机场、火车站、地铁站等公共场所的网络摄像头中的 任意一个。

如前所述，传统的基于近景目标检测和特征提取的目标计数方法通常要 求拍摄到的图像具有足够的细节，以便能够识别出目标的特征。这种拍摄方 法要求摄像头或摄像机与目标之间具有足够近的距离(例如，小于5m)，从 而能够捕获到关于目标的更多细节特征(例如，人脸、衣着、体型特征等)。 相比之下，本申请是针对远景进行目标计数的，因此本申请中的待测图像获 取模块701可以是对目标视场进行远景拍摄(例如，距离大于50m、100m等) 的单个固定位置的摄像装置。例如，待测图像获取模块701可以是某个十字 路口处以固定位置、固定视角布置的单个摄像头，其可以对该十字路口周围 200m以内的视场范围进行拍摄，从而得到预定时间段内针对相同视场的一段 视频(即，一系列图像帧)。

在一些实施例中，预定时间段可以是任意时长的时间段，这取决想要对 目标进行计数的时间区间。例如，如果想统计某个场所在1小时之内的人流 量，可以将预定时间段设定为1小时。例如，如果想统计某个商业街区在一 天之内的总人流量，也可以将该预定时间段设定为24小时等。

此外，应当理解的是，由于本申请中的多个图像帧通常是使用固定位置、 固定视角布置的单个摄像头拍摄的，由此获得的多个图像帧通常具有相同的 视场范围。

在本公开的实施例中，区域确定模块702被配置为被配置为确定多个图 像帧中一个或多个待测区域。在本文中，术语“待测区域”是指整个图像中需 要实际进行目标统计的区域。在一些情况下，“待测区域”可以指覆盖整个图 像的多个划分区域。在其它情况下，“待测区域”也可以指图像中目标相对密 集的一个或多个区域。此外，区域确定模块702可以作为单独的计算机可执 行程序存储在非暂时性计算机可读介质上，也可以固件的形式实施在现场可 编程门阵列(FPGA)或专用集成电路(ASIC)中。

在本公开的实施例中，目标统计模块703被配置为针对每一个待测区域， 确定待测区域中的总目标数。此外，目标统计模块703还被配置为基于所述 一个或多个待测区域的各自总目标数，计算所述预定时间段内所述视场中的 目标总量。

在一些实施例在，确定所述待测区域中的总目标数包括：统计所述待测 区域中的第一目标数；将所述待测区域划分为第一区域和第二区域；统计所 述预定时间段内通过所述第一区域的第二目标数；以及基于所述第一目标数 和所述第二目标数计算所述待测区域的总目标数。

在本公开的实施例中，待测图像获取模块701、区域确定模块702和目 标统计模块703被配置为执行如上关于图1至6所述的类似处理，在此不再 赘述。

应当理解的是，本公开的实施例中，目标计数装置700还可以包括更多 的模块，而不限于上述待测图像获取模块701、区域确定模块702和目标统计 模块703。例如，目标计数装置700还可以包括目标跟踪模块(未示出)，其 被配置为在多个图像帧中跟踪每个目标的运动，从而创建每个目标的运动轨 迹。此外，目标计数装置700还可以包括通信模块，以与服务器或其它设备 进行有线或无线通信。此外，目标计数装置700还可以包括输入/输出模块， 以例如接收用户的输入。此外，例如，目标计数装置700还可以包括附加的 显示模块，以例如向用户显示最终生成的目标计数结果。

本公开的实施例还提供了一种目标计数设备。图8示出了根据本公开原 理的实施例的目标计数设备800的示意图。

如图8所示，根据本实施例的目标计数设备800包括处理器810、存储 部分820、通信部分830、输入/输出部分840、和显示部分850，这些部分耦 接到I/O接口860上。

处理器810是诸如微处理器的程序控制设备，例如，其根据安装在目标 计数设备800中的程序进行操作。存储部分820例如是存储元件，诸如ROM 或RAM等。将由处理器810等执行的程序存储在存储部分820中。通信部 分830例如是通信接口，诸如无线LAN模块。输入/输出部分840例如是输 入/输出端口，诸如HDMI(注册商标)(高清多媒体接口)端口、USB(通用 串行总线)端口或AUX(辅助)端口。显示部分850例如是显示器，诸如液 晶显示器或有机EL(电致发光)显示器。

图8所示的目标计数设备800可用于实现本申请公开的目标计数方法。 例如，根据本公开的实施例的目标计数方法可以被实现为计算机软件程序。 例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算 机可读介质上的计算机程序，该计算机程序包括用于执行上述目标计数方法 的程序代码。在这样的实施例中，该计算机程序可以通过通信部分830从网 络上被下载和安装，或者从存储部分820安装。在该计算机程序被目标计数 设备800执行时，可以执行本公开实施例提供的目标计数方法中限定的功能。 该目标计数方法已在上文中结合附图做出了详细描述，在此不再赘述。

本公开的实施例还提供一种非暂时性计算机可读存储介质。图9示出了 根据本公开原理的实施例的计算机可读存储介质900的示意图。其中，计算 机可读存储介质900上存储有计算机程序指令901，其中，计算机程序指令 901被处理器执行时执行本公开实施例提供的目标计数方法。

在上述描述中，已经基于实施例描述了本发明。本实施例仅是说明性的， 并且本领域技术人员应当理解，可以以各种方式修改本实施例的构成元素和 处理的组合，并且这种修改也在本发明的范围内。

Claims (11)

1.一种目标计数方法，包括：

获取预定时间段内针对相同视场捕获的多个图像帧；

确定所述多个图像帧中一个或多个待测区域；

针对每一个待测区域，确定所述待测区域中的总目标数；以及

基于所述一个或多个待测区域的各自总目标数，计算所述预定时间段内所述视场中的目标总量，

其中，确定所述待测区域中的总目标数包括：

统计所述待测区域中的第一目标数；

将所述待测区域划分为第一区域和第二区域；

统计所述预定时间段内通过所述第一区域的第二目标数；以及

基于所述第一目标数和所述第二目标数计算所述待测区域的总目标数。

2.根据权利要求1所述的方法，其中，将所述待测区域划分为第一区域和第二区域包括：

将所述待测区域划分为多个子区域；

计算第二时间段内每个子区域内的目标的轨迹密度；

将目标的轨迹密度大于第二阈值、并且不与其它待测区域交界的一个或多个子区域确定为所述第一区域；以及

将所述待测区域中的其余子区域确定为所述第二区域。

3.根据权利要求2所述的方法，其中，将所述待测区域划分为多个子区域包括：

按面积将所述待测区域平均划分为多个子区域；或者

基于所述待测区域中的目标的轨迹密度将所述待测区域划分为多个子区域。

4.根据权利要求3所述的方法，其中，基于所述待测区域中的目标的轨迹密度将所述待测区域划分为多个子区域包括：

获取所述第二时间段内所述待测区域中所有目标的轨迹的k个起始坐标；

分别对所述k个起始坐标中的横坐标和纵坐标进行排序，以得到横坐标的m分位数和纵坐标的n分位数；

基于横坐标的m分位数和纵坐标的n分位数将所述待测区域划分成m×n个子区域，其中m和n均为正整数。

5.根据权利要求3所述的方法，其中，基于所述待测区域中的目标的轨迹密度将所述待测区域划分为多个子区域包括：

获取所述第二时间段内所述待测区域中所有目标的轨迹的k个终止坐标；

分别对所述k个终止坐标中的横坐标和纵坐标进行排序，以得到横坐标的m分位数和纵坐标的n分位数；

基于横坐标的m分位数和纵坐标的n分位数将所述待测区域划分成m×n个子区域，其中m和n均为正整数。

6.根据权利要求1所述的方法，其中，确定所述多个图像帧中一个或多个待测区域包括：

基于分辨率平均划分所述多个图像帧以得到多个待测区域；或者

基于所述多个图像帧中的目标密度选取一个或多个待测区域。

7.根据权利要求1所述的方法，其中，统计所述待测区域中的第一目标数包括：

统计初始时间段内所述待测区域中的最大目标数作为初始目标数；或者

统计终止时间段内的所述待测区域中的最大目标数作为最终目标数。

8.根据权利要求7所述的方法，其中，当所述第一目标数是所述初始目标数的情况下，统计所述预定时间段内通过所述第一区域的第二目标数包括：

统计所述预定时间段内进入所述第一区域的进入目标数，并且

基于所述第一目标数和所述第二目标数计算所述待测区域的总目标数包括：

将所述初始目标数与所述进入目标数相加，以得到所述待测区域的总目标数。

9.根据权利要求7所述的方法，其中，当所述第一目标数是所述最终目标数的情况下，统计所述预定时间段内通过所述第一区域的第二目标数包括：

统计所述预定时间段内从所述第一区域离开的离开目标数，并且

基于所述第一目标数和所述第二目标数计算所述待测区域的总目标数包括：

将所述最终目标数与所述离开目标数相加，以得到所述待测区域的总目标数。

10.一种目标计数装置，包括：

图像获取模块，其被配置为获取预定时间段内针对相同视场捕获的多个图像帧；

区域确定模块，其被配置为确定所述多个图像帧中一个或多个待测区域；以及

目标统计模块，其被配置为针对每一个待测区域，确定所述待测区域中的总目标数，以及基于所述一个或多个待测区域的各自总目标数，计算所述预定时间段内所述视场中的目标总量，

其中，确定所述待测区域中的总目标数包括：

统计所述待测区域中的第一目标数；

将所述待测区域划分为第一区域和第二区域；

统计所述预定时间段内通过所述第一区域的第二目标数；以及

基于所述第一目标数和所述第二目标数计算所述待测区域的总目标数。

11.一种非暂时性计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令被处理器执行时执行权利要求1-9中任一项所述的目标计数方法。

Images