CN112686173B - 一种客流计数方法、装置、电子设备及存储介质 - Google Patents
一种客流计数方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112686173B CN112686173B CN202011639910.6A CN202011639910A CN112686173B CN 112686173 B CN112686173 B CN 112686173B CN 202011639910 A CN202011639910 A CN 202011639910A CN 112686173 B CN112686173 B CN 112686173B
- Authority
- CN
- China
- Prior art keywords
- head
- counted
- dimensional
- person
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 147
- 238000004590 computer program Methods 0.000 claims description 10
- 210000002683 foot Anatomy 0.000 description 38
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种客流计数方法、装置、电子设备及存储介质，该方法包括以下步骤：获取待计数视频流，所述待计数视频流包括第一预设数量的检测帧；对所述待计数视频流的所述检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹；判断所述待计数人员的三维轨迹是否穿过预设的门平面；若所述待计数人员的三维轨迹穿过所述预设的门平面，则对所述待计数人员进行计数。本发明能够提高客流统计的准确率。
Description
技术领域
本发明涉及客流统计技术领域，尤其涉及一种客流计数方法、装置、电子设备及存储介质。
背景技术
在目前精准营销的商业模式下，客流计数、客流转化率、客户在店铺行为等信息已经成为商家十分关注的信息。目前市场上已有的客流相机大多为2D客流相机，即通过在二维像平面内画线、画框等设置来判断客流信息。比如，单目的2D计数主要是检测跟踪人头，判断人头是否从检测线的上方移动到下方。缺点在于画线在一些情况下无法计算到小孩子进出。且单一的计数逻辑无法同时兼容店铺场景的多变、行人进店路线多变、行人身高等等因素，造成客流统计的准确率较差。可见，现有客流计数方法存在客流统计的准确率较差的问题。
发明内容
本发明实施例提供一种客流计数方法，能够解决现有客流计数方法存在客流统计的准确率较差的问题。
第一方面，本发明实施例提供一种客流计数方法，所述客流计数方法包括：
获取待计数视频流，所述待计数视频流包括第一预设数量的检测帧；
对所述待计数视频流的所述检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；
根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹；
判断所述待计数人员的三维轨迹是否穿过预设的门平面；
若所述待计数人员的三维轨迹穿过所述预设的门平面，则对所述待计数人员进行计数。
可选的，所述对所述待计数视频流的所述检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息的步骤包括：
对所述检测帧进行人头检测以及人体检测，得到人头检测结果与人体检测结果；
基于所述人头检测结果进行人头跟踪，得到人头跟踪结果，所述人头跟踪结果包括人头中心点位置；
基于所述人体检测结果，进行人体关键点检测，得到人脚关键点位置；
根据所述人头中心点位置以及所述人脚关键点位置，对所述待计数人员进行身高估计，得到所述待计数人员的身高信息；
根据预设的地面方程、所述人头中心点位置以及所述人脚关键点位置进行人头三维估计，计算得到所述待计数人员的人头三维信息。
可选的，所述人头三维信息包括三维人头位置和人头ID，所述根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹的步骤包括：
根据所述三维人头位置和所述人头ID，计算所述待计数视频流中所述待计数人员的三维轨迹。
可选的，所述待计数视频流还包括跟踪帧，相邻检测帧之间间隔有第二预设数量的跟踪帧，所述跟踪帧继承上一检测帧的身高信息，所述根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹的步骤，包括：
对当前跟踪帧进行人头检测，得到人头检测结果；
基于所述人头检测结果进行人头跟踪，得到人头跟踪结果，所述人头跟踪结果包括人头中心点位置；
根据预设的地面方程、所述人头中心点位置以及所述继承上一检测帧的身高信息进行人头三维估计，计算得到当前跟踪帧中所述待计数人员的人头三维信息；
基于所述检测帧与所述跟踪帧中所述待计数人员的人头三维信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹。
可选的，所述方法还包括：
对所述跟踪帧进行人体检测，得到人体检测结果；
基于所述人体检测结果，进行人体关键点检测，得到人脚关键点位置；
根据所述人头中心点位置以及所述人脚关键点位置，对所述待计数人员进行身高估计，得到所述待计数人员的身高信息；
根据所述跟踪帧对应的身高信息、所述检测帧对应的身高信息，重新计算所述待计数人员的人头三维信息，并根据重新计算的人头三维信息重新计算所述待计数人员的三维轨迹。
可选的，所述根据所述跟踪帧对应的身高信息、所述检测帧对应的身高信息，重新计算所述待计数人员的人头三维信息的步骤，包括：
根据所述跟踪帧对应的身高信息、所述检测帧对应的身高信息，选取符合预设条件的身高信息作为目标身高信息；
根据所述目标身高信息，重新计算所述待计数人员的人头三维信息。
可选的，所述方法还包括：
根据预设的地面方程，配置垂直于所述预设的地面方程的门平面。
第二方面，本发明实施例还提供了一种客流计数装置，包括：
获取模块，用于获取待计数视频流，所述待计数视频流包括第一预设数量的检测帧；
估计模块，用于对所述待计数视频流的所述检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；
轨迹跟踪模块，用于根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹；
判断模块，用于判断所述待计数人员的三维轨迹是否穿过预设的门平面；
计数模块，用于若所述待计数人员的三维轨迹穿过所述预设的门平面，则对所述待计数人员进行计数。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中提供的客流计数方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中提供的客流计数方法中的步骤。
在本发明实施例中，通过获取待计数视频流，待计数视频流包括第一预设数量的检测帧；对待计数视频流的检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹；判断待计数人员的三维轨迹是否穿过预设的门平面；若待计数人员的三维轨迹穿过预设的门平面，则对待计数人员进行计数。这样能够结合待计数视频流中待计数人员的身高信息、人头三维信息、三维轨迹、预设的门平面等来对待计数人员进行计数，进而能够提高客流统计的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种客流计数方法的流程图；
图2是本发明实施例提供的一种身高估计示意图；
图3是本发明实施例提供的另一种坐标系转换示意图；
图4是本发明实施例提供的一种关键点射线的表达式示意图；
图5是本发明实施例提供的一种人头三维信息估计示意图；
图6是本发明实施例提供的一种预设的门平面的示意图；
图7是本发明实施例提供的另一种客流计数方法的流程图；
图8是本发明实施例提供的另一种身高估计示意图；
图9是本发明实施例提供的一种客流计数装置的结构示意图；
图10是本发明实施例提供的另一种客流计数装置的结构示意图；
图11是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种客流计数方法的流程图，如图1所示，该客流计数方法包括以下步骤：
步骤101、获取待计数视频流，待计数视频流包括第一预设数量的检测帧。
其中，上述待计数视频流为商家想要计算客流的视频流，例如，若想计算某店面的客流量时，可以将在某店面入口采集到的视频流，作为待计数视频流，这样可以通过计算该店面入口的视频流中的人员数量，进而可以得到该店面的客流量。当然，还可以是某商场、商城入口采集到的视频流等。该待计数视频流可以是通过设置在某店面入口的视频采集设备采集得到的，视频采集设备可以是监控器、摄像头、相机等，且视频采集设备可以为单目三维(3D)的视频采集设备。当某店面、商场、商城设置有多个入口时，均可以将多个入口的视频流做为该场所的待计数视频流。待计数视频流包括多帧待计数图像。
上述第一预设数量的检测帧可以是指该待计数视频流中的多个检测帧。检测帧的选取可以是以某个帧数为选取单位来进行选择的，比如，现有的待计数视频流总共包括20帧的视频流，那么在选取检测帧时，可以间隔5帧为单位间隔来选取检测帧，这样就可以选取得到4个检测帧，分别为第1帧、第6帧、第11帧、第17帧。当然了，第一预设数量的数值可以根据实际需要进行设置选取。且检测帧的选取也可以是基于随机间隔帧数进行无规律选取。
步骤102、对待计数视频流的检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息。
其中，上述待计数人员为存在于待计数视频流中的人员。
上述人头三维信息包括三维人头位置和人头ID(Identity document，身份标识)。三维人头位置即待计数人员的头部在三维空间中位置。上述人头ID为同一待计数人员的人头标识，用于区别多个待计数人员的人头。
上述身高信息包括：待计数人员的头关键点、脚关键点之间的距离。待计数人员的头关键点、脚关键点之间的距离即为待计数人员的身高。
具体的，对检测帧进行人头检测以及人体检测，得到人头检测结果与人体检测结果。基于人头检测结果进行人头跟踪，得到人头跟踪结果，人头跟踪结果包括人头中心点位置。基于人体检测结果，进行人体关键点检测，得到人脚关键点位置。根据人头中心点位置以及人脚关键点位置，对待计数人员进行身高估计，得到待计数人员的身高信息。根据预设的地面方程、人头中心点位置以及人脚关键点位置进行人头三维估计，计算得到待计数人员的人头三维信息。
更具体的，人头检测以及人体检测采用centerNet网络(一种目标检测网络)进行检测。且在对人头以及人体进行检测时对应设置有人头框以及人体框。当centerNet网络对人头以及人体进行检测时，能够把同一个待计数人员的人头以及人体输出到对应的人头框以及人体框中，进而得到对应的人头检测结果以及人体检测结果。
在检测到某个待计数人员的人头后，可对该人头进行跟踪。具体的，采用sort(排序)算法对待计算人员的人头进行追踪，同时赋予人头ID。每个人头都有属于自己的人头中心位置(如鼻子位置)，以及每个人头中心位置均有对应的人头ID，对人头进行跟踪时，只要跟踪该人头的人头中心位置的人头ID即可。
在检测到某个待计数人员的人体后，需要检测该人体对应的人体关键点，并确定该人体关键点的人脚关键点位置(比如脚踝位置)。具体的，人体关键点的检测采用mobilePose(一种轻量级的单人姿态估计框架)网络进行。
在确定人头中心位置以及人脚关键点位置后，计算人头中心位置以及人脚关键点位置之间的距离即可得到该待计数人员的身高。如图2所示，通过脚射线与地面交点求取人脚三维点pf(人脚关键点位置)，通过头射线与人脚三维点pf的地面法线交点求取人头三维点ph(人头中心点位置)。人脚三维点pf与人头三维点ph的两点间距离则是待计数人员的身高。通过头脚关键点在二维图像上的像素坐标结合相机(摄像头等)内参可以求出头脚的三维坐标系下的射线。默认待计数人员的脚在地面，求取地面与脚部射线的三维交点，得到人脚三维点pf，并从脚部地面点做地面法向量，求取法向量与头部射线的三维交点，得到人头三维点ph(若不相交则求最近点)。人脚三维点pf与人头三维点ph的两点间距离则是待计数人员的身高。
需要说明的是，该距离只是人头中心点(如鼻子位置)与人脚关键点(如脚踝位置)的距离，与我们通常意义上说的脚底到头顶的身高有差距，需要进行一定的补偿。
进一步的，相机(摄像头等)坐标系到像素坐标系的转换，其中，相机的内参矩阵由标定过程得到，如图3所示，其中，u为图像点的横坐标，v为图像点的纵坐标，XcYcZc为三维点在相机坐标系下的XYZ坐标，f为相机焦距，u0为相机光心在像素坐标下的横坐标，v0为相机光心在像素坐标下的纵坐标，c为变量下标表示相机坐标系(Camera)下的变量。在图3中描述了像素坐标系的图像点转换成为三维空间射线的数学过程，即相机坐标系三维点(Xc,Yc,Zc)左乘相机的内参矩阵则可以得到其在像素坐标系中的坐标。
如图4所示，为关键点射线的表达，其中，像素坐标系中点的位置确定方向；Zc控制了射线的长度。在图4中，是与图3相反的过程，像素坐标系中的图像点坐标左乘相机的内参矩阵的逆，可以得到其对应的相机坐标系下的三维点坐标，但是因为深度参数Zc(三维点在相机坐标系下的Z坐标)未知，所以最终表现为一条有由Zc参数控制的射线。
在确定待计算人员的身高后，根据待计算人员的身高以及预设的地面方程预估待计算人员的人头三维位置。并基于人头三维位置与人头ID的对应关系得到该待计数人员的人头三维信息，如图5所示。
需要说明的是该预设的地面方程是通过预先标定得到的。具体的，基于marker进行地面检测，得到预设的地面方程。
步骤103、根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹。
具体的，根据三维人头位置和人头ID，计算待计数视频流中待计数人员的三维轨迹。其中，待计数人员的三维轨迹可以是根据待计数人员的身高信息预估其人头三维位置，并根据同一人头ID形成该待计数人员的人头三维轨迹，进而得到待计数人员的三维轨迹。一个三维轨迹包括同一个待计数人员的多个人头三维位置以及对应的人头ID。
可选的，待计数视频流还包括跟踪帧，相邻检测帧之间间隔有第二预设数量的跟踪帧，跟踪帧继承上一检测帧的身高信息。其中，相邻的两个检测帧之间可以设置有多个跟踪帧。第二预设数量的跟踪帧可以根据实际需要进行设置。
具体的，对当前跟踪帧进行人头检测，得到人头检测结果。基于人头检测结果进行人头跟踪，得到人头跟踪结果，人头跟踪结果包括人头中心点位置。根据预设的地面方程、人头中心点位置以及继承上一检测帧的身高信息进行人头三维估计，计算得到当前跟踪帧中待计数人员的人头三维信息。基于检测帧与跟踪帧中待计数人员的人头三维信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹。
更具体的，对跟踪帧的人头检测以及人头跟踪与检测帧的处理方式相同。将待计数人员在检测帧中的三维轨迹与在跟踪帧中的三维轨迹进行结合，进而得到待计数视频流中待计数人员的完整三维轨迹。进一步提高客流统计的准确率。
在本发明一实施方式中，根据预设的地面方程，配置垂直于预设的地面方程的门平面。
步骤104、判断待计数人员的三维轨迹是否穿过预设的门平面。
具体的，上述预设的门平面垂直于上述预设的地面方程。如图6所示，虚线框为预设的门平面，地面的实线框为多个计数独立的计数区域(用预设的地面方程来表示)。
步骤105、若待计数人员的三维轨迹穿过预设的门平面，则对待计数人员进行计数。
在本发明实施例中，通过获取待计数视频流，待计数视频流包括第一预设数量的检测帧；对待计数视频流的检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹；判断待计数人员的三维轨迹是否穿过预设的门平面；若待计数人员的三维轨迹穿过预设的门平面，则对待计数人员进行计数。这样能够结合待计数视频流中待计数人员的身高信息、人头三维信息、三维轨迹、预设的门平面等来对待计数人员进行计数，进而能够提高客流统计的准确率。
参见图7，图7是本发明实施例提供的另一种客流计数方法的流程图。该客流计数方法还包括：
步骤201、对跟踪帧进行人体检测，得到人体检测结果。
步骤202、基于人体检测结果，进行人体关键点检测，得到人脚关键点位置。
步骤203、根据人头中心点位置以及人脚关键点位置，对待计数人员进行身高估计，得到待计数人员的身高信息。
步骤204、根据跟踪帧对应的身高信息、检测帧对应的身高信息，重新计算待计数人员的人头三维信息，并根据重新计算的人头三维信息重新计算待计数人员的三维轨迹。
具体的，如图8所示，在待计数视频流中，待计数人员会不断移动，待计数人员的身高也会在移动过程中存在跳变，这样可能会带来错误的进出计数。所以需要在待计数视频流的跟踪帧中不断估计待计数人员的身高，得到对应的身高信息。并同时基于检测帧的身高信息以及跟踪帧的身高信息来计算待计数人员的整条三维轨迹。
更具体的，根据跟踪帧对应的身高信息、检测帧对应的身高信息，选取符合预设条件的身高信息作为目标身高信息。根据目标身高信息，重新计算待计数人员的人头三维信息。
其中，预设条件为身高条件，通过历史身高获取整条三维轨迹最优的身高。当然，目标身高信息即包括整条三维轨迹中的最优身高。所述最优的身高为满足预设条件的身高，比如可以将三维轨迹中的多个身高进行大小排序，并将排序最大的身高与预设的身高进行比较，若排序最大的身高满足预设的身高，则将该排序最大的身高确定为最优身高。预设的身高可以是预先设置的。
因为将整条轨迹中最优的身高作为目标身高信息，并使用最优身高重新计算整条三维轨迹，再判断该三维轨迹的进出计数。通过重新计数能够减少身高跳变带来的错误计数。
在本发明实施例中，能够基于检测帧和跟踪帧的身高信息计算待计算人员的完整三维轨迹，进而避免身高移动过程中所带来的误差，进一步提高待计数人员的准确率。
参见图9，图9是本发明实施例提供的一种客流计数装置的结构示意图，该客流计数装置300包括：
获取模块301，用于获取待计数视频流，待计数视频流包括第一预设数量的检测帧；
估计模块302，用于对待计数视频流的检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；
轨迹跟踪模块303，用于根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹；
判断模块304，用于判断待计数人员的三维轨迹是否穿过预设的门平面；
计数模块305，用于若待计数人员的三维轨迹穿过预设的门平面，则对待计数人员进行计数。
可选的，估计模块302包括：
第一检测单元，用于对检测帧进行人头检测以及人体检测，得到人头检测结果与人体检测结果；
第一人头跟踪单元，用于基于人头检测结果进行人头跟踪，得到人头跟踪结果，人头跟踪结果包括人头中心点位置；
第二检测单元，用于基于人体检测结果，进行人体关键点检测，得到人脚关键点位置；
第一估计单元，用于根据人头中心点位置以及人脚关键点位置，对待计数人员进行身高估计，得到待计数人员的身高信息；
第二估计单元，用于根据预设的地面方程、人头中心点位置以及人脚关键点位置进行人头三维估计，计算得到待计数人员的人头三维信息。
可选的，人头三维信息包括三维人头位置和人头ID，轨迹跟踪模块303用于根据三维人头位置和人头ID，计算待计数视频流中待计数人员的三维轨迹。
可选的，待计数视频流还包括跟踪帧，相邻检测帧之间间隔有第二预设数量的跟踪帧，跟踪帧继承上一检测帧的身高信息，轨迹跟踪模块303包括：
人头检测单元，用于对当前跟踪帧进行人头检测，得到人头检测结果；
第二人头跟踪单元，用于基于人头检测结果进行人头跟踪，得到人头跟踪结果，人头跟踪结果包括人头中心点位置；
第三估计单元，用于根据预设的地面方程、人头中心点位置以及继承上一检测帧的身高信息进行人头三维估计，计算得到当前跟踪帧中待计数人员的人头三维信息；
轨迹跟踪单元，用于基于检测帧与跟踪帧中待计数人员的人头三维信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹。
可选的，如图10所示，图10是本发明实施例提供的另一种客流计数装置的结构示意图。客流计数装置300还包括：
人体检测模块306，用于对跟踪帧进行人体检测，得到人体检测结果；
人体关键点检测模块307，用于基于人体检测结果，进行人体关键点检测，得到人脚关键点位置；
身高估计模块308，用于根据人头中心点位置以及人脚关键点位置，对待计数人员进行身高估计，得到待计数人员的身高信息；
重新计算模块309，用于根据跟踪帧对应的身高信息、检测帧对应的身高信息，重新计算待计数人员的人头三维信息，并根据重新计算的人头三维信息重新计算待计数人员的三维轨迹。
可选的，重新计算模块309包括：
选取单元，用于根据跟踪帧对应的身高信息、检测帧对应的身高信息，选取符合预设条件的身高信息作为目标身高信息；
重新计算单元，用于根据目标身高信息，重新计算待计数人员的人头三维信息。
可选的，客流计数装置300还包括：
配置模块，用于根据预设的地面方程，配置垂直于预设的地面方程的门平面。
本发明实施例提供的客流计数装置300能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
参见图11，图11是本发明实施例提供的一种电子设备的结构示意图，该电子设备400包括：存储器402、处理器401及存储在存储器402上并可在处理器401上运行的计算机程序，处理器401执行计算机程序时实现上述实施例提供的客流计数方法中的步骤，处理器401执行以下步骤：
获取待计数视频流，待计数视频流包括第一预设数量的检测帧；
对待计数视频流的检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息；
根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹；
判断待计数人员的三维轨迹是否穿过预设的门平面；
若待计数人员的三维轨迹穿过预设的门平面，则对待计数人员进行计数。
可选的，处理器401执行的对待计数视频流的检测帧进行待计数人员的人头三维估计和身高估计，得到待计数人员的人头三维信息和身高信息的步骤包括：
对检测帧进行人头检测以及人体检测，得到人头检测结果与人体检测结果；
基于人头检测结果进行人头跟踪，得到人头跟踪结果，人头跟踪结果包括人头中心点位置；
基于人体检测结果，进行人体关键点检测，得到人脚关键点位置；
根据人头中心点位置以及人脚关键点位置，对待计数人员进行身高估计，得到待计数人员的身高信息；
根据预设的地面方程、人头中心点位置以及人脚关键点位置进行人头三维估计，计算得到待计数人员的人头三维信息。
可选的，人头三维信息包括三维人头位置和人头ID，处理器401执行的根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹的步骤包括：
根据三维人头位置和人头ID，计算待计数视频流中待计数人员的三维轨迹。
可选的，待计数视频流还包括跟踪帧，相邻检测帧之间间隔有第二预设数量的跟踪帧，跟踪帧继承上一检测帧的身高信息，处理器401执行的根据人头三维信息和身高信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹的步骤，包括：
对当前跟踪帧进行人头检测，得到人头检测结果；
基于人头检测结果进行人头跟踪，得到人头跟踪结果，人头跟踪结果包括人头中心点位置；
根据预设的地面方程、人头中心点位置以及继承上一检测帧的身高信息进行人头三维估计，计算得到当前跟踪帧中待计数人员的人头三维信息；
基于检测帧与跟踪帧中待计数人员的人头三维信息对待计数人员进行轨迹跟踪，计算待计数人员的三维轨迹。
可选的，处理器401还执行步骤：
对跟踪帧进行人体检测，得到人体检测结果；
基于人体检测结果，进行人体关键点检测，得到人脚关键点位置；
根据人头中心点位置以及人脚关键点位置，对待计数人员进行身高估计，得到待计数人员的身高信息；
根据跟踪帧对应的身高信息、检测帧对应的身高信息，重新计算待计数人员的人头三维信息，并根据重新计算的人头三维信息重新计算待计数人员的三维轨迹。
可选的，处理器401执行的根据跟踪帧对应的身高信息、检测帧对应的身高信息，重新计算待计数人员的人头三维信息的步骤，包括：
根据跟踪帧对应的身高信息、检测帧对应的身高信息，选取符合预设条件的身高信息作为目标身高信息；
根据目标身高信息，重新计算待计数人员的人头三维信息。
可选的，处理器401还执行的步骤：
根据预设的地面方程，配置垂直于预设的地面方程的门平面。
本发明实施例提供的电子设备400能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的客流计数方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (9)
1.一种客流计数方法，其特征在于，所述方法包括以下步骤：
获取待计数视频流，所述待计数视频流包括第一预设数量的检测帧；
对所述检测帧进行人头检测以及人体检测，得到人头检测结果与人体检测结果；基于所述人头检测结果进行人头跟踪，得到人头跟踪结果，所述人头跟踪结果包括人头中心点位置；基于所述人体检测结果，进行人体关键点检测，得到人脚关键点位置；根据所述人头中心点位置以及所述人脚关键点位置，对所述待计数人员进行身高估计，得到所述待计数人员的身高信息；根据预设的地面方程、所述人头中心点位置以及所述人脚关键点位置进行人头三维估计，计算得到所述待计数人员的人头三维信息；
根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹；
判断所述待计数人员的三维轨迹是否穿过预设的门平面；
若所述待计数人员的三维轨迹穿过所述预设的门平面，则对所述待计数人员进行计数。
2.如权利要求1所述的客流计数方法，其特征在于，所述人头三维信息包括三维人头位置和人头ID，所述根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹的步骤包括：
根据所述三维人头位置和所述人头ID，计算所述待计数视频流中所述待计数人员的三维轨迹。
3.如权利要求2中所述的客流计数方法，其特征在于，所述待计数视频流还包括跟踪帧，相邻检测帧之间间隔有第二预设数量的跟踪帧，所述跟踪帧继承上一检测帧的身高信息，所述根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹的步骤，包括：
对当前跟踪帧进行人头检测，得到人头检测结果；
基于所述人头检测结果进行人头跟踪，得到人头跟踪结果，所述人头跟踪结果包括人头中心点位置；
根据预设的地面方程、所述人头中心点位置以及所述继承上一检测帧的身高信息进行人头三维估计，计算得到当前跟踪帧中所述待计数人员的人头三维信息；
基于所述检测帧与所述跟踪帧中所述待计数人员的人头三维信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹。
4.如权利要求3所述的客流计数方法，其特征在于，所述方法还包括：
对所述跟踪帧进行人体检测，得到人体检测结果；
基于所述人体检测结果，进行人体关键点检测，得到人脚关键点位置；
根据所述人头中心点位置以及所述人脚关键点位置，对所述待计数人员进行身高估计，得到所述待计数人员的身高信息；
根据所述跟踪帧对应的身高信息、所述检测帧对应的身高信息，重新计算所述待计数人员的人头三维信息，并根据重新计算的人头三维信息重新计算所述待计数人员的三维轨迹。
5.如权利要求4所述的客流计数方法，其特征在于，所述根据所述跟踪帧对应的身高信息、所述检测帧对应的身高信息，重新计算所述待计数人员的人头三维信息的步骤，包括：
根据所述跟踪帧对应的身高信息、所述检测帧对应的身高信息，选取符合预设条件的身高信息作为目标身高信息；
根据所述目标身高信息，重新计算所述待计数人员的人头三维信息。
6.如权利要求3所述的客流计数方法，其特征在于，所述方法还包括：
根据预设的地面方程，配置垂直于所述预设的地面方程的门平面。
7.一种客流计数装置，其特征在于，包括：
获取模块，用于获取待计数视频流，所述待计数视频流包括第一预设数量的检测帧；
估计模块，用于对所述检测帧进行人头检测以及人体检测，得到人头检测结果与人体检测结果；基于所述人头检测结果进行人头跟踪，得到人头跟踪结果，所述人头跟踪结果包括人头中心点位置；基于所述人体检测结果，进行人体关键点检测，得到人脚关键点位置；根据所述人头中心点位置以及所述人脚关键点位置，对所述待计数人员进行身高估计，得到所述待计数人员的身高信息；根据预设的地面方程、所述人头中心点位置以及所述人脚关键点位置进行人头三维估计，计算得到所述待计数人员的人头三维信息；
轨迹跟踪模块，用于根据所述人头三维信息和身高信息对所述待计数人员进行轨迹跟踪，计算所述待计数人员的三维轨迹；
判断模块，用于判断所述待计数人员的三维轨迹是否穿过预设的门平面；
计数模块，用于若所述待计数人员的三维轨迹穿过所述预设的门平面，则对所述待计数人员进行计数。
8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的客流计数方法中的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的客流计数方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011639910.6A CN112686173B (zh) | 2020-12-31 | 2020-12-31 | 一种客流计数方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011639910.6A CN112686173B (zh) | 2020-12-31 | 2020-12-31 | 一种客流计数方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686173A CN112686173A (zh) | 2021-04-20 |
| CN112686173B true CN112686173B (zh) | 2024-05-03 |
Family
ID=75456711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011639910.6A Active CN112686173B (zh) | 2020-12-31 | 2020-12-31 | 一种客流计数方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686173B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550086A (zh) * | 2022-02-17 | 2022-05-27 | 上海商汤智能科技有限公司 | 一种人群定位方法及装置、电子设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464946A (zh) * | 2009-01-08 | 2009-06-24 | 上海交通大学 | 基于头部识别和跟踪特征的检测方法 |
| JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| CN102982598A (zh) * | 2012-11-14 | 2013-03-20 | 三峡大学 | 基于单个摄像头场景配置的视频人数统计方法和系统 |
| CN104751491A (zh) * | 2015-04-10 | 2015-07-01 | 中国科学院宁波材料技术与工程研究所 | 一种人群跟踪及人流量统计方法及装置 |
| CN105957108A (zh) * | 2016-04-28 | 2016-09-21 | 成都达元科技有限公司 | 基于人脸检测及跟踪的客流量统计系统 |
| CN106251363A (zh) * | 2016-07-18 | 2016-12-21 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人流人数统计方法和装置 |
| CN207993028U (zh) * | 2018-02-09 | 2018-10-19 | 深圳市基鸿运科技有限公司 | 一种基于红外双目摄像机测距的客流装置 |
| CN109271942A (zh) * | 2018-09-26 | 2019-01-25 | 上海七牛信息技术有限公司 | 一种人流统计方法以及系统 |
| CN110298268A (zh) * | 2019-06-12 | 2019-10-01 | 深圳市晓舟科技有限公司 | 单镜头识别双向客流的方法、装置、存储介质及摄像头 |
| CN111652900A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大华技术股份有限公司 | 基于场景流的客流量的计数方法、系统及设备、存储装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6276519B2 (ja) * | 2013-05-22 | 2018-02-07 | 株式会社 日立産業制御ソリューションズ | 人数計測装置および人物動線解析装置 |
-
2020
- 2020-12-31 CN CN202011639910.6A patent/CN112686173B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| CN101464946A (zh) * | 2009-01-08 | 2009-06-24 | 上海交通大学 | 基于头部识别和跟踪特征的检测方法 |
| CN102982598A (zh) * | 2012-11-14 | 2013-03-20 | 三峡大学 | 基于单个摄像头场景配置的视频人数统计方法和系统 |
| CN104751491A (zh) * | 2015-04-10 | 2015-07-01 | 中国科学院宁波材料技术与工程研究所 | 一种人群跟踪及人流量统计方法及装置 |
| CN105957108A (zh) * | 2016-04-28 | 2016-09-21 | 成都达元科技有限公司 | 基于人脸检测及跟踪的客流量统计系统 |
| CN106251363A (zh) * | 2016-07-18 | 2016-12-21 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人流人数统计方法和装置 |
| CN207993028U (zh) * | 2018-02-09 | 2018-10-19 | 深圳市基鸿运科技有限公司 | 一种基于红外双目摄像机测距的客流装置 |
| CN109271942A (zh) * | 2018-09-26 | 2019-01-25 | 上海七牛信息技术有限公司 | 一种人流统计方法以及系统 |
| CN110298268A (zh) * | 2019-06-12 | 2019-10-01 | 深圳市晓舟科技有限公司 | 单镜头识别双向客流的方法、装置、存储介质及摄像头 |
| CN111652900A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大华技术股份有限公司 | 基于场景流的客流量的计数方法、系统及设备、存储装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于头顶点三维运动轨迹的身份识别新方法;贾立好;邹建华;车凯;;自动化学报(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686173A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| CN109190508B (zh) | 一种基于空间坐标系的多摄像头数据融合方法 | |
| CN109076198B (zh) | 基于视频的对象跟踪遮挡检测系统、方法和设备 | |
| Siagian et al. | Biologically inspired mobile robot vision localization | |
| CN111126399B (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| US8374392B2 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
| US8369574B2 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
| US20090016610A1 (en) | Methods of Using Motion-Texture Analysis to Perform Activity Recognition and Detect Abnormal Patterns of Activities | |
| JP2019075116A (ja) | トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてイメージ上の客体に対応するバウンディングボックスを獲得するための方法及びこれを利用した装置 | |
| CN104508704A (zh) | 人体测量 | |
| CN110555434A (zh) | 一种局部对比和全局指导的立体图像视觉显著性检测方法 | |
| US8103090B2 (en) | Behavior and pattern analysis using multiple category learning | |
| JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| CN109583373B (zh) | 一种行人重识别实现方法 | |
| JP5027741B2 (ja) | 画像監視装置 | |
| JP2023504662A (ja) | 脳機能地図を描画するための方法およびシステム | |
| CN109961013A (zh) | 车道线的识别方法、装置、设备及计算机可读存储介质 | |
| CN111461222B (zh) | 目标物轨迹相似度的获取方法、装置及电子设备 | |
| US20170053172A1 (en) | Image processing apparatus, and image processing method | |
| KR101139930B1 (ko) | 부분 템플릿 매칭 기반의 객체 식별 장치 및 방법 | |
| CN111091025A (zh) | 图像处理方法、装置和设备 | |
| CN112686173B (zh) | 一种客流计数方法、装置、电子设备及存储介质 | |
| Schulz et al. | Utilizing the structure of field lines for efficient soccer robot localization | |
| CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
| CN104063689B (zh) | 一种基于双目立体视觉的人脸图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |