CN112232262A - 一种客流量统计方法及装置 - Google Patents
一种客流量统计方法及装置 Download PDFInfo
- Publication number
- CN112232262A CN112232262A CN202011167472.8A CN202011167472A CN112232262A CN 112232262 A CN112232262 A CN 112232262A CN 202011167472 A CN202011167472 A CN 202011167472A CN 112232262 A CN112232262 A CN 112232262A
- Authority
- CN
- China
- Prior art keywords
- area
- region
- human body
- line segment
- reference line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title abstract description 10
- 230000009471 action Effects 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 41
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000001931 thermography Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及技术，特别涉及一种客流量统计方法及装置，该方法为：在获得的待处理的视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域，再对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；然后基于获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。这样，便可以基于预先划分好的各个区域，准确获得各个人体的行动轨迹对应的移动方向，有效避免了由于人体行动的不确定性而造成的统计遗漏、提升了统计结果的准确性。
Description
技术领域
本公开涉及计算机技术，特别涉及一种客流量统计方法及装置。
背景技术
客流量统计作为一项重要的市场研究手段，它能够为大型商场、购物中心、机场、车站、博物馆、展览馆等公共场所的运营决策和综合管理提供准确及时的数据参考。具体而言，在实体零售业中，客流量与购买力均为非常重要的参数。
相关技术下，对客流量的传统统计方法主要有人工统计方式、热成像统计方式等。然而，基于实体零售环境的复杂性，通过上述统计方式进行客流量统计往往只能得到笼统的统计结果，准确性无法达到使用需求。
例如，实体零售业中，某一区域的客流量的瞬间剧增，会造成人与人的遮挡现象。
若采用人工统计方式，则基于统计人员的位置不同，会造成很大的统计误差。
若采用热成像统计方式，则基于热成像的机理，热成像技术对遮挡后形成的图像无法识别，热成像统计方式会误将因遮挡形成的图像识别为一个普通热成像图像，从而降低了统计结果的准确性。
因此，需要设计一种新的客流量统计的方法，以克服上述缺陷。
发明内容
本公开实施例提供一种客流量统计的方法及装置，用以解决相关技术下无法准确统计客流量的问题。
本公开实施例提供的具体技术方案如下：
第一方面，一种客流量统计的方法，包括：
获得待处理的视频数据，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域；所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述外区域的必经区域；
对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；
根据获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。
可选的，获得待处理的视频数据之后，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域之前，进一步包括：
在所述视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域；
在所述候选内区域和所述非候选内区域的交界线中，选取第一参考线段；所述第一参考线段表征人体在所述候选内区域和所述非候选内区域之间移动时使用的区域；
基于所述第一参考线段，向所述候选内区域平移第一设定距离，设置第二参考线段，并以所述第二参考线段为起始边，在所述候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段；
基于所述第二参考线段，向所述候选内区域平移第二设定距离，设置第三参考线段，并以所述第三参考线段为起始边，在所述非候选内区域中划分一个多边形，作为外区域，其中，所述第三参考线段长于所述第二参考线段；
在所述非候选内区域中，将所述外区域以外的区域作为远区域。
可选的，对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹，包括：
基于所述各个视频帧，通过人体识别算法获取各个人体对应的检测框；
将获得的各个检测框中的指定位置作为关键点；
对各个人体对应的关键点进行追踪，获得各个人体对应的行动轨迹。
可选的，根据获得的各个行动轨迹与所述内区域和外区域的位置比对结果，对所述内区域进行客流量统计，包括：
分别对每一条行动轨迹执行以下操作：
基于一条行动轨迹，获得人体的移动方向；
确定所述移动方向为：由所述远区域经所述外区域向所述内区域移动，且所述人体在所述远区域、所述外区域和所述内区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：进入所述内区域的客流量；
确定所述移动方向为：由所述内区域经所述外区域向所述远区域移动，且所述人体在所述内区域、所述外区域和所述远区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：离开所述内区域的客流量。
可选的，基于一条行动轨迹，获得人体的移动方向，包括：
基于一条行动轨迹，确定人体在所述远区域、所述外区域和所述内区域均出现时，获得所述人体在所述内区域和所述外区域的交界周边范围内的移动向量；
若所述移动向量与预设的方向向量的方向相同，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若所述移动向量与预设的方向向量的方向相反，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
可选的，进一步包括：
若基于一条行动轨迹，确定所述人体在所述远区域和所述外区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若基于一条行动轨迹，确定所述人体在所述内区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
第二方面，一种客流量统计的装置，包括：
识别单元，用于获得待处理的视频数据，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域；所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述外区域的必经区域；
获得单元，用于对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；
统计单元，用于根据获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。
可选的，获得待处理的视频数据之后，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域之前，所述识别单元进一步用于：
在所述视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域；
在所述候选内区域和所述非候选内区域的交界线中，选取第一参考线段；所述第一参考线段表征人体在所述候选内区域和所述非候选内区域之间移动时使用的区域；
基于所述第一参考线段，向所述候选内区域平移第一设定距离，设置第二参考线段，并以所述第二参考线段为起始边，在所述候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段；
基于所述第二参考线段，向所述候选内区域平移第二设定距离，设置第三参考线段，并以所述第三参考线段为起始边，在所述非候选内区域中划分一个多边形，作为外区域，其中，所述第三参考线段长于所述第二参考线段；
在所述非候选内区域中，将所述外区域以外的区域作为远区域。
可选的，对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹，所述获得单元用于：
基于所述各个视频帧，通过人体识别算法获取各个人体对应的检测框；
将获得的各个检测框中的指定位置作为关键点；
对各个人体对应的关键点进行追踪，获得各个人体对应的行动轨迹。
可选的，根据获得的各个行动轨迹与所述内区域和外区域的位置比对结果，对所述内区域进行客流量统计，所述统计单元用于：
分别对每一条行动轨迹执行以下操作：
基于一条行动轨迹，获得人体的移动方向；
确定所述移动方向为：由所述远区域经所述外区域向所述内区域移动，且所述人体在所述远区域、所述外区域和所述内区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：进入所述内区域的客流量；
确定所述移动方向为：由所述内区域经所述外区域向所述远区域移动，且所述人体在所述内区域、所述外区域和所述远区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：离开所述内区域的客流量。
可选的，基于一条行动轨迹，获得人体的移动方向，所述统计单元用于：
基于一条行动轨迹，确定人体在所述远区域、所述外区域和所述内区域均出现时，获得所述人体在所述内区域和所述外区域的交界周边范围内的移动向量；
若所述移动向量与预设的方向向量的方向相同，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若所述移动向量与预设的方向向量的方向相反，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
可选的，所述统计单元进一步用于：
若基于一条行动轨迹，确定所述人体在所述远区域和所述外区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若基于一条行动轨迹，确定所述人体在所述内区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
第三方面，一种计算机设备，包括：
存储器，用于存储可执行计算机程序；
处理器，用于读取并执行存储器中存储的可执行指令，以实现如上述第一方面中任一项所述的方法。
第四方面，一种计算机可读存储介质，当所述计算机可读存储介质中的指令由处理器执行时，使得所述处理器能够执行如上述第一方面中任一项所述的方法。
本公开实施例中，在获得的待处理的视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域，再对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；然后基于获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。这样，便可以基于预先划分好的各个区域，准确获得各个人体的行动轨迹对应的移动方向，有效避免了由于人体行动的不确定性而造成的统计遗漏、提升了统计结果的准确性。
附图说明
图1为本公开实施例中内区域、外区域和远区域的划分示意图；
图2为本公开实施例中划分内区域、外区域和远区域的流程示意图；
图3A、图3B、图3C、图3D、图3E为本公开实施例中划分内区域、外区域和远区域的过程示意图；
图4为本公开实施例中基于视频数据进行客流量统计的流程示意图；
图5为本公开实施例中获得人体对应的行动轨迹的示意图；
图6A、图6B、图6C、图6D、图6E、图6F为本公开实施例中基于一条行动轨迹获得人体对应的移动方向的第一应用示意图；
图6G、图6H为本公开实施例中基于获得的人体的移动方向确定客流量统计结果的第二应用示意图；
图7为本公开实施例中用于客流量统计的装置逻辑结构示意图；
图8为本公开实施例中计算机设备实体结构示意图。
具体实施方式
为了解决传统统计方法无法准确统计客流量的问题，本公开实施例中，在获得的待处理的视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域，其中，所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述内区域的必经区域；然后对所述视频数据包含的各个视频帧进行人体识别跟踪，从而获得各个人体对应的行动轨迹；再根据获得的各个行动轨迹与内区域、外区域和远区域的位置比对结果，完成对内区域的客流量统计。
下面结合附图对本公开优选的实施方式作出进一步详细说明。
实际应用中，在获得通过监控视频装置拍摄的待处理的视频数据后，在正式统计客流量之前，需要先在视频数据中进行区域划分，为了便于描述，可选的，本公开实施例中，将所述视频数据中展示的空间，划分为内区域，外区域和远区域。
所谓内区域，是指需要进行客流量统计的区域。
例如，参阅图1所示，以大型商场二楼走廊一侧的一间服装门店为例。
那么，内区域是需要进行客流量统计的服装门店的店门附近区域。
所谓外区域，是指到达内区域的必经区域。
例如，参阅图1所示，仍以大型商场二楼走廊一侧的一间服装门店为例。
那么，外区域是进入服装门店必须经过的店门前的部分走廊区域。
所谓远区域，是指到达外区域的必经区域。
例如，参阅图1所示，仍以大型商场二楼走廊一侧的一间服装门店为例。
那么，远区域是进入外区域必须经过的服装门店的店门两侧的走廊区域。
上述内区域、外区域和远区域的准确划分，可以提高客流量统计的准确度。
具体的，参阅图2所示，本公开实施例中，区域划分的具体过程如下：
步骤200：在所述视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域。
具体实施中，通过监控视频装置拍摄获得待处理的视频数据，在所述待处理的视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域。
例如，参阅图3A所示，仍以大型商场二楼走廊一侧的一间服装门店为例。
通过服装门店附近安装的监控视频装置，拍摄获得服装门店的视频数据。
将服装门店的店门所在墙体的一侧作为候选内区域，以及将服装门店的店门所在墙体的另一侧的区域作为非候选内区域。
步骤210：在候选内区域和非候选内区域的交界线中，选取第一参考线段；所述第一参考线段表征人体在候选内区域和非候选内区域之间移动时使用的区域。
具体实施中，在所述视频数据包含的各个视频帧中，将划分出的候选内区域和非候选内区域的交界线中的一段，选取为第一参考线段，其中，所述第一参考线段是人体从非候选内区域移动到候选内区域时使用的必经区域。
例如，参阅图3B所示，仍以大型商场二楼走廊一侧的一间服装门店为例。
基于获得的服装门店的视频数据，在服装门店的视频数据包含的各个视频帧中，将服装门店的店门在墙体中占用的线段，选取为第一参考线段。
步骤220：基于第一参考线段，向候选内区域平移第一设定距离，设置第二参考线段，并以第二参考线段为起始边，在候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段。
具体实施中，在所述视频数据包含的各个视频帧中，基于第一参考线段，向候选内区域平移第一设定距离，从而得到第二参考线段，其中，所述第一设定距离可以是一个任意长度。
之所以基于所述第一参考线段，向候选内区域平移所述第一设定距离设置所述第二参考线段，是因为：当人体停留第一参考线段附近，不向候选内区域进行移动时，或者，当人体在第一参考线段附近徘徊，不向候选内区域进行移动时，可以避免造成对客流量的误统计。
再以第二参考线段为起始边，在候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段，所述多边形的包围区域需要完全包含所述待客流量统计的区域。
基于第二参考线段得到的多边形，包含了所述视频数据包含的各个视频帧中，所有有效进入或离开候选内区域的区域，从而可以避免因人体识别跟踪算法不稳定而导致客流量统计误差。
例如，参阅图3C所示，仍以大型商场二楼走廊一侧的一间服装门店为例，假设所述第一设定距离为0.1m。
那么，基于获得的服装门店的视频数据，在服装门店的视频数据包含的各个视频帧中，将基于服装门店的店门在墙体中占用的第一参考线段，向服装门店内平移0.1m得到第二参考线段，再以第二参考线段为起始边，在服装门店内划分一个多边形，从而得到服装门店的内区域。
这样，当顾客站在服装门店的店门附近，不向服装门店内进行移动，或者，当顾客在服装门店的店门附近徘徊，不向服装门店内进行移动时，可以避免造成对客流量的误统计。
步骤230：基于第二参考线段，向候选内区域平移第二设定距离，设置第三参考线段，并以第三参考线段为起始边，在非候选内区域中划分一个多边形，作为外区域，其中，所述第三参考线段长于所述第二参考线段。
具体实施中，在所述视频数据包含的各个视频帧中，基于第二参考线段，向候选内区域平移第二设定距离，从而得到第三参考线段，其中，所述第二设定距离可以是一个任意长度。
之所以基于所述第二参考线段，向所述候选内区域平移所述第二设定距离设置所述第三参考线段，是因为：若以第一参考线段作为起始边，在非候选内区域中划分一个多边形，得到外区域，那么，当人体处于第一参考线段和第二参考线段之间时，会无法准确进行客流量统计。
因此，可选的，将第二参考线段向候选内区域平移第二设定距离，得到第三参考线段，再以第三参考线段作为起始边，在非候选内区域中划分一个多边形，作为外区域，这样，就可以避免出现客流量遗漏统计的情况；其中，可选的，所述多边形可以是一个类矩形，需完全覆盖整个店门。
进一步地，可选的，可以将所述第三参考线段设置为长于所述第二参考线段。这是因为：若人体沿第一参考线段所在直线移动并进入内区域，采用上述设置方式，可以避免出现客流量遗漏统计的情况。
例如，参阅图3D所示，仍以大型商场二楼走廊一侧的一间服装门店为例，假设所述第一设定距离为0.1m，以及所述第二设定距离为0.05m。
那么，基于获得的服装门店的视频数据，在服装门店的视频数据包含的各个视频帧中，将第二参考线段再向服装门店内平移0.05m，得到第三参考线段，然后，以第三参考线段为起始边，在服装门店外的非候选内区域中划分一个多边形，从而得到服装门店的外区域。
步骤240：在非候选内区域中，将外区域以外的区域作为远区域。
具体实施中，在非候选内区域中，将外区域以外的区域作为远区域。
例如，参阅图3E所示，仍以大型商场二楼走廊一侧的一间服装门店为例。
在获得的服装门店的视频数据包含的各个视频帧中的非候选内区域内，将服装门店的外区域以外的区域划分为服装门店的远区域。
进一步地，在区域划分完毕后，可以基于人体识别跟踪算法获得的人体行动轨迹，与所述内区域、所述外区域以及所述远区域的位置进行比对，从而得到准确的客流量统计结果。
参阅图4所示，本公开实施例中，基于视频数据进行客流量统计的具体流程如下：
步骤400：获得待处理的视频数据，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域；所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述内区域的必经区域。
上述步骤200－步骤240已经对内区域、外区域和远区域的划分方式进行了详细的介绍，在此不再赘述。
步骤410：对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹。
具体实施中，通过监控视频装置拍摄获得待处理的视频数据，在所述待处理的视频数据包含的各个视频帧中，采用人体识别算法获取各个人体对应的检测框，可选的，所述检测框可以包含人体的全身。
然后，在获取的各个人体对应的检测框中选择指定位置作为所述各个人体对应的关键点，可选的，可以将各个检测框的下边框的中心点的位置，作为相应人体对应的关键点，再将所述各个人体对应的关键点的位置信息传递给追踪程序，所述追踪程序基于所述各个人体对应的关键点进行追踪，从而获得各个人体对应的行动轨迹。
例如，参阅图5所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设顾客A的行动轨迹为：从远区域经外区域到内区域。
那么，基于服装门店的监控视频装置拍摄获得的视频数据，在所述视频数据包含的各个视频帧中，将顾客A的全部身体作为针对顾客A的检测框，选取所述检测框的下边框的中心点的位置作为该顾客A对应的关键点，再基于所述关键点进行追踪，从而获得顾客A的行动轨迹为：从服装门店的远区域，经服装门店的外区域，进入服装门店的内区域。
步骤420：根据获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。
具体实施中，在所述视频数据包含的各个视频帧中，可以基于人体识别跟踪算法对所述各个人体对应的关键点进行追踪，从而得到各个人体对应的行动轨迹，例如，在一个应用场景下，顾客A的行动轨迹如图5所示。
具体的，以一条行动轨迹为例，在执行步骤420时，可以采用但不限于以下操作：
1)基于一条行动轨迹，获得人体的移动方向。
可选的，本公开实施例中，为了能够准确识别人体的移动方向，需要预设一方向向量。可选的，所述预设的方向向量为：当人体停留在所述第一参考线段附近时，将人体的身高的1/3设置为所述预设的方向向量的长度，将人体由所述外区域向所述内区域移动的移动方向设置为所述预设的方向向量的方向。
例如，参阅图6A所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设顾客A的身高为1.8m。
那么，在服装门店的视频数据包含的各个视频帧中，将人体从服装门店的店门前(即，外区域)进入服装门店内(即，内区域)的移动方向，设置为预设的方向向量的方向，将人体身高的1/3，即1.8*1/3＝0.6m，设置为预设的方向向量的高度。
基于上述方向向量，在执行步骤1)时，可以采用但不限于以下操作：
a、基于一条行动轨迹，确定人体在所述远区域、所述外区域和所述内区域均出现时，获得所述人体在所述内区域和所述外区域的交界周边范围内的移动向量。
其中，所述交界周边范围为所述人体在所述内区域和所述外区域内的一个指定区域。
例如，参阅图6B所示，仍以大型商场二楼走廊一侧的一间服装门店为例。
在服装门店的视频数据包含的各个视频帧中，若确定顾客A在服装门店的店门前的走廊远处，服装门店的店门前，以及服装门店内均出现，那么，基于顾客A从服装门店的店门前向服装门店内移动的移动长度和移动方向，获得顾客A的移动向量。
b、若所述移动向量与预设的方向向量的方向相同，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动。
例如，参阅图6C所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设所述的预设的方向向量的方向为由服装门店的店门前向服装门店内移动，以及顾客B的移动向量的方向为从服装门店的店门前向服装门店内移动，且顾客B在服装门店的店门前的走廊远处，服装门店的店门前，以及服装门店内均出现。
那么，顾客B的移动向量与所述预设的方向向量的方向相同，则确定顾客B的移动方向为：由服装门店的店门前的走廊远处经服装门店的店门前向服装门店内移动。
c、若所述移动向量与预设的方向向量的方向相反，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
例如，参阅图6D所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设所述的预设的方向向量的方向为由服装门店的店门前向服装门店内移动，以及顾客B的移动向量的方向为从服装门店内向服装门店的店门前移动，且顾客B在服装门店的店门前的走廊远处，服装门店的店门前，以及服装门店内均出现。
那么，顾客B的移动向量与所述预设的方向向量的方向相反，则确定顾客B的移动方向为：由服装门店的店内经服装门店的店门前向服装门店的店门前的走廊远处移动。
另一方面，具体实施中，在拥挤场景下，会出现人体遮挡现象，而各个人体对应的关键点会在视频数据中消失，从而导致了各个人体对应的行为轨迹的中断，在这种情况下，可以按照各个人体的移动惯性，基于获得的各个人体的行动轨迹，推断人体的移动方向。具体包含但不限于以下两种情况：
情况1：若基于一条行动轨迹，确定所述人体在所述远区域和所述外区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动。
例如，参阅图6E所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设顾客B在服装门店的店门前的走廊远处和服装门店的店门前均出现，但顾客B在服装门店的店门前和服装门店内的交界区域内消失。
那么，按照顾客B的移动惯性，确定顾客B的移动方向为：从服装门店的店门前的走廊远处经服装门店的店门前向服装门店内移动。
情况2：若基于一条行动轨迹，确定所述人体在所述内区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
例如，参阅图6F所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设顾客B在服装门店内出现，但顾客B在服装门店内和服装门店的店门前的交界区域内消失。
那么，按照顾客B的移动惯性，确定顾客B的移动方向为：从服装门店内经服装门店的店门前向服装门店的店门前的走廊远处移动。
2)确定人体的移动方向为：由所述远区域经所述外区域向所述内区域移动，且所述人体在所述远区域、所述外区域和所述内区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：进入所述内区域的客流量。
其中，所述设定阈值可以是任意时长，例如，所述设定阈值为3帧。
可选的，本公开实施例中，在后续操作3)中提到的设定阈值与操作2)中的设定阈值的含义相同，即所述设定阈值可以是任意时长，在此不再赘述。
例如，参阅图6G所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设顾客B的行动轨迹为从远区域经外区域到内区域，以及假设顾客B在远区域内的停留时长为5帧，在外区域内的停留时长为4帧，在内区域内的停留时长为8帧，且均达到设定阈值(如，3帧)。
在服装门店这一场景下，顾客B出现在服装门店的店门前的走廊远处的监控视频画面中，顾客B从服装门店前的走廊远处(即，远区域)走到服装门店的店门前(即，外区域)的视频数据共持续了5帧，再从服装门店的店门前(即，外区域)走进服装门店内(即、内区域)的视频数据共持续了4帧，然后，顾客B在服装门店内的视频数据共持续了8帧。那么，将顾客B的这一行动轨迹统计为：进入服装门店的客流量。
3)确定人体的移动方向为：由所述内区域经所述外区域向所述远区域移动，且所述人体在所述内区域、所述外区域和所述远区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：离开所述内区域的客流量。
例如，参阅图6H所示，仍以大型商场二楼走廊一侧的一间服装门店为例。假设设定阈值为3帧，以及假设顾客B的行动轨迹为从内区域经外区域到远区域，且顾客B在内区域内的停留时长为9帧，在外区域内的停留时长为4帧，在远区域内的停留时长为15帧，且均达到设定阈值(如，3帧)。
在服装门店这一场景下，顾客B出现在服装门店内的监控视频画面中，顾客B在服装门店内(即，内区域)的视频数据共持续9帧，再从服装门店走到服装门店的店门前(即，外区域)的视频数据共持续了4帧，然后，顾客B从服装门店的店门前走到服装门店的店门前的走廊远处(即，远区域)的视频数据共持续了15帧。那么，将顾客B的这一行动轨迹统计为：离开服装门店的客流量。
另一方面，在上述情况1和情况2这两种意外情况下，由于获得的各个人体对应的行动轨迹不全，当确定所述人体在所述远区域和所述外区域均出现，在所述内区域和所述外区域的交界周边范围内消失时，默认所述人体在消失的所述内区域和所述外区域的停留时长均达到设定阈值；以及当确定所述人体在所述内区域出现，在所述内区域和所述外区域的交界周边范围内消失时，默认所述人体在消失的所述外区域和所述远区域的停留时长均达到设定阈值，在此不再赘述。
基于同一发明构思，参阅图7所示，本公开实施例提供一种客流量统计的装置，包括：
识别单元701，用于获得待处理的视频数据，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域；所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述外区域的必经区域；
获得单元702，用于对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；
统计单元703，用于根据获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。
可选的，获得待处理的视频数据之后，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域之前，所述识别单元701进一步用于：
在所述视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域；
在所述候选内区域和所述非候选内区域的交界线中，选取第一参考线段；所述第一参考线段表征人体在所述候选内区域和所述非候选内区域之间移动时使用的区域；
基于所述第一参考线段，向所述候选内区域平移第一设定距离，设置第二参考线段，并以所述第二参考线段为起始边，在所述候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段；
基于所述第二参考线段，向所述候选内区域平移第二设定距离，设置第三参考线段，并以所述第三参考线段为起始边，在所述非候选内区域中划分一个多边形，作为外区域，其中，所述第三参考线段长于所述第二参考线段；
在所述非候选内区域中，将所述外区域以外的区域作为远区域。
可选的，对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹，所述获得单元702用于：
基于所述各个视频帧，通过人体识别算法获取各个人体对应的检测框；
将获得的各个检测框中的指定位置作为关键点；
对各个人体对应的关键点进行追踪，获得各个人体对应的行动轨迹。
可选的，根据获得的各个行动轨迹与所述内区域和外区域的位置比对结果，对所述内区域进行客流量统计，所述统计单元703用于：
分别对每一条行动轨迹执行以下操作：
基于一条行动轨迹，获得人体的移动方向；
确定所述移动方向为：由所述远区域经所述外区域向所述内区域移动，且所述人体在所述远区域、所述外区域和所述内区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：进入所述内区域的客流量；
确定所述移动方向为：由所述内区域经所述外区域向所述远区域移动，且所述人体在所述内区域、所述外区域和所述远区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：离开所述内区域的客流量。
可选的，基于一条行动轨迹，获得人体的移动方向，所述统计单元703用于：
基于一条行动轨迹，确定人体在所述远区域、所述外区域和所述内区域均出现时，获得所述人体在所述内区域和所述外区域的交界周边范围内的移动向量；
若所述移动向量与预设的方向向量的方向相同，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若所述移动向量与预设的方向向量的方向相反，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
可选的，所述统计单元703进一步用于：
若基于一条行动轨迹，确定所述人体在所述远区域和所述外区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若基于一条行动轨迹，确定所述人体在所述内区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
基于同一发明构思，参阅图8所示，本公开实施例提供一种计算机设备，包括：
存储器801，用于存储可执行计算机程序；
处理器802，用于读取并执行存储器801中存储的可执行指令，以实现上述各个实施例中介绍的任意一种方法。
基于同一发明构思，本公开实施例提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由处理器执行时，使得所述处理器802能够执行上述各个实施例中介绍的任意一种方法。
综上所述，本公开实施例中，在获得的待处理的视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域，再对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；然后基于获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。这样，便可以基于预先划分好的各个区域，准确获得各个人体的行动轨迹对应的移动方向，有效避免了由于人体行动的不确定性而造成的统计遗漏、提升了统计结果的准确性。
另一方面，在拥挤场景下，针对各个人体对应的行动轨迹发生中断的情况，可以按照人体的移动惯性，结合中断的行动轨迹，准确地推断出人体的移动方向，从而进一步提升了客流量统计的准确性。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开实施例进行各种改动和变型而不脱离本公开实施例的精神和范围。这样，倘若本公开实施例的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
Claims (10)
1.一种客流量统计的方法，其特征在于，包括：
获得待处理的视频数据，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域；所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述外区域的必经区域；
对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；
根据获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。
2.如权利要求1所述的方法，其特征在于，获得待处理的视频数据之后，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域之前，进一步包括：
在所述视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域；
在所述候选内区域和所述非候选内区域的交界线中，选取第一参考线段；所述第一参考线段表征人体在所述候选内区域和所述非候选内区域之间移动时使用的区域；
基于所述第一参考线段，向所述候选内区域平移第一设定距离，设置第二参考线段，并以所述第二参考线段为起始边，在所述候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段；
基于所述第二参考线段，向所述候选内区域平移第二设定距离，设置第三参考线段，并以所述第三参考线段为起始边，在所述非候选内区域中划分一个多边形，作为外区域，其中，所述第三参考线段长于所述第二参考线段；
在所述非候选内区域中，将所述外区域以外的区域作为远区域。
3.如权利要求1所述的方法，其特征在于，对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹，包括：
基于所述各个视频帧，通过人体识别算法获取各个人体对应的检测框；
将获得的各个检测框中的指定位置作为关键点；
对各个人体对应的关键点进行追踪，获得各个人体对应的行动轨迹。
4.如权利要求1、2或3所述的方法，其特征在于，根据获得的各个行动轨迹与所述内区域和外区域的位置比对结果，对所述内区域进行客流量统计，包括：
分别对每一条行动轨迹执行以下操作：
基于一条行动轨迹，获得人体的移动方向；
确定所述移动方向为：由所述远区域经所述外区域向所述内区域移动，且所述人体在所述远区域、所述外区域和所述内区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：进入所述内区域的客流量；
确定所述移动方向为：由所述内区域经所述外区域向所述远区域移动，且所述人体在所述内区域、所述外区域和所述远区域的停留时长，均达到设定阈值，则将所述一条行动轨迹统计为：离开所述内区域的客流量。
5.如权利要求4所述的方法，其特征在于，基于一条行动轨迹，获得人体的移动方向，包括：
基于一条行动轨迹，确定人体在所述远区域、所述外区域和所述内区域均出现时，获得所述人体在所述内区域和所述外区域的交界周边范围内的移动向量；
若所述移动向量与预设的方向向量的方向相同，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若所述移动向量与预设的方向向量的方向相反，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
6.如权利要求5所述的方法，其特征在于，进一步包括：
若基于一条行动轨迹，确定所述人体在所述远区域和所述外区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述远区域经所述外区域向所述内区域移动；
若基于一条行动轨迹，确定所述人体在所述内区域出现，但在所述内区域和所述外区域的交界周边范围内消失，则确定所述人体的移动方向为：由所述内区域经所述外区域向所述远区域移动。
7.一种客流量统计的装置，其特征在于，包括：
识别单元，用于获得待处理的视频数据，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域；所述内区域表征需要进行客流量统计的区域，所述外区域为到达所述内区域的必经区域，所述远区域表征到达所述外区域的必经区域；
获得单元，用于对所述视频数据包含的各个视频帧进行人体识别跟踪，获得各个人体对应的行动轨迹；
统计单元，用于根据获得的各个行动轨迹与所述内区域、所述外区域和所述远区域的位置比对结果，对所述内区域进行客流量统计。
8.如权利要求7所述的装置，其特征在于，获得待处理的视频数据之后，在所述视频数据包含的各个视频帧中，至少识别出预先划分的内区域、外区域和远区域之前，所述识别单元进一步用于：
在所述视频数据包含的各个视频帧中，划分出候选内区域和非候选内区域；
在所述候选内区域和所述非候选内区域的交界线中，选取第一参考线段；所述第一参考线段表征人体在所述候选内区域和所述非候选内区域之间移动时使用的区域；
基于所述第一参考线段，向所述候选内区域平移第一设定距离，设置第二参考线段，并以所述第二参考线段为起始边，在所述候选内区域中划分一个多边形，作为内区域，其中，所述第二参考线段不小于所述第一参考线段；
基于所述第二参考线段，向所述候选内区域平移第二设定距离，设置第三参考线段，并以所述第三参考线段为起始边，在所述非候选内区域中划分一个多边形，作为外区域，其中，所述第三参考线段长于所述第二参考线段；
在所述非候选内区域中，将所述外区域以外的区域作为远区域。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储可执行计算机程序；
处理器，用于读取并执行存储器中存储的可执行指令，以实现如权利要求1－6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1－6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011167472.8A CN112232262A (zh) | 2020-10-27 | 2020-10-27 | 一种客流量统计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011167472.8A CN112232262A (zh) | 2020-10-27 | 2020-10-27 | 一种客流量统计方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112232262A true CN112232262A (zh) | 2021-01-15 |
Family
ID=74110443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011167472.8A Pending CN112232262A (zh) | 2020-10-27 | 2020-10-27 | 一种客流量统计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232262A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105957108A (zh) * | 2016-04-28 | 2016-09-21 | 成都达元科技有限公司 | 基于人脸检测及跟踪的客流量统计系统 |
| CN106355682A (zh) * | 2015-07-08 | 2017-01-25 | 北京文安智能技术股份有限公司 | 一种视频分析方法、装置及系统 |
| CN108875677A (zh) * | 2018-06-29 | 2018-11-23 | 上海小蚁科技有限公司 | 客流量统计方法及装置、存储介质、终端 |
| CN110334569A (zh) * | 2019-03-30 | 2019-10-15 | 深圳市晓舟科技有限公司 | 客流量进出识别方法、装置、设备及存储介质 |
| CN110659588A (zh) * | 2019-09-02 | 2020-01-07 | 平安科技（深圳）有限公司 | 一种客流量统计方法、装置及计算机可读存储介质 |
| CN110659578A (zh) * | 2019-08-26 | 2020-01-07 | 中国电子科技集团公司电子科学研究院 | 基于检测跟踪技术的客流统计方法、系统及设备 |
| US20200098112A1 (en) * | 2018-09-21 | 2020-03-26 | International Business Machines Corporation | Crowd flow rate estimation |
| CN111160243A (zh) * | 2019-12-27 | 2020-05-15 | 深圳云天励飞技术有限公司 | 客流量统计方法及相关产品 |
-
2020
- 2020-10-27 CN CN202011167472.8A patent/CN112232262A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355682A (zh) * | 2015-07-08 | 2017-01-25 | 北京文安智能技术股份有限公司 | 一种视频分析方法、装置及系统 |
| CN105957108A (zh) * | 2016-04-28 | 2016-09-21 | 成都达元科技有限公司 | 基于人脸检测及跟踪的客流量统计系统 |
| CN108875677A (zh) * | 2018-06-29 | 2018-11-23 | 上海小蚁科技有限公司 | 客流量统计方法及装置、存储介质、终端 |
| US20200098112A1 (en) * | 2018-09-21 | 2020-03-26 | International Business Machines Corporation | Crowd flow rate estimation |
| CN110334569A (zh) * | 2019-03-30 | 2019-10-15 | 深圳市晓舟科技有限公司 | 客流量进出识别方法、装置、设备及存储介质 |
| CN110659578A (zh) * | 2019-08-26 | 2020-01-07 | 中国电子科技集团公司电子科学研究院 | 基于检测跟踪技术的客流统计方法、系统及设备 |
| CN110659588A (zh) * | 2019-09-02 | 2020-01-07 | 平安科技（深圳）有限公司 | 一种客流量统计方法、装置及计算机可读存储介质 |
| CN111160243A (zh) * | 2019-12-27 | 2020-05-15 | 深圳云天励飞技术有限公司 | 客流量统计方法及相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| US10893207B2 (en) | Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program | |
| KR101971866B1 (ko) | 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 | |
| US9971941B2 (en) | Person counting method and device for same | |
| US8965050B2 (en) | Behavior analysis device | |
| Gabriel et al. | The state of the art in multiple object tracking under occlusion in video sequences | |
| US7940957B2 (en) | Object tracker for visually tracking object motion | |
| CN110334569B (zh) | 客流量进出识别方法、装置、设备及存储介质 | |
| JP2017157216A5 (zh) | ||
| US11049259B2 (en) | Image tracking method | |
| Liem et al. | Joint multi-person detection and tracking from overlapping cameras | |
| CN111399492A (zh) | 一种机器人及其障碍物感知方法和装置 | |
| US11508140B2 (en) | Auto-configuring a region of interest (ROI) associated with a camera | |
| CN106663325B (zh) | 图像处理装置及其图像处理方法 | |
| CN107094234B (zh) | 一种应用于移动摄像终端的拍摄区域遮挡方法和装置 | |
| Liu et al. | Accelerating vanishing point-based line sampling scheme for real-time people localization | |
| JP6349272B2 (ja) | 移動物体追跡装置 | |
| CN111429194B (zh) | 用户轨迹确定系统、方法、装置及服务器 | |
| CN112232262A (zh) | 一种客流量统计方法及装置 | |
| KR101595334B1 (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
| JP2013532451A (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
| Huang et al. | Particle filter with least square fitting prediction and spatial relationship based multi-view elimination for 3D Volleyball players tracking | |
| CN110956644B (zh) | 一种运动轨迹确定方法及系统 | |
| Shal’nov et al. | Estimation of the people position in the world coordinate system for video surveillance | |
| CN112313707A (zh) | 跟踪方法和可移动平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |