CN113642455A - 行人数量确定方法、装置以及计算机可读存储介质 - Google Patents
行人数量确定方法、装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113642455A CN113642455A CN202110920920.5A CN202110920920A CN113642455A CN 113642455 A CN113642455 A CN 113642455A CN 202110920920 A CN202110920920 A CN 202110920920A CN 113642455 A CN113642455 A CN 113642455A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- track
- trajectory
- detection frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 288
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 238000003709 image segmentation Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体提供一种行人数量确定方法、装置以及计算机可读存储介质,旨在解决在如何准确地对行人数量进行确定的问题。为此目的,本发明的方法包括对目标区域的区域监控视频中的每帧监控图像分别进行行人检测;对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对轨迹池进行行人轨迹更新,对轨迹池进行行人轨迹聚类;根据轨迹聚类的结果确定目标区域内的行人数量。通过对行人检测框与行人轨迹进行轨迹匹配,实现了行人轨迹的匹配与更新,从而能够根据行人轨迹进行行人数量确定。通过轨迹聚类能够有效去除属于同一个行人的行人轨迹,提高了行人数量确定的准确性。
Description
技术领域
本发明涉及图像处理技术领域,具体提供一种行人数量确定方法、装置以及计算机可读存储介质。
背景技术
为了满足区域安防和管理等需求,通常需要对出入这些区域的行人数量进行确定,进而再根据确定出的行人数量采用相应等级的安防措施或管理措施等。目前常规的行人数量确定方法主要是先获取进入这些区域的行人的人脸图像,然后根据人脸图像对行人进行身份识别,最后根据身份识别的结果确定进入这些区域的行人的数量。但是,在无法获取行人的人脸图像的情况下,将不能继续使用上述方法对行人数量进行确定。
相应地,本领域需要一种新的行人数量确定方案来解决上述问题。
发明内容
本发明旨在解决上述技术问题,即,解决在无法获取行人的人脸图像的情况下,如何准确地对行人数量进行确定的问题。
在第一方面,本发明提供一种行人数量确定方法,所述方法包括:
对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框;
对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新;其中,所述轨迹池中当前存储的行人轨迹是根据所述目标区域的历史行人检测框确定的
对更新后的轨迹池中的行人轨迹进行轨迹聚类;
根据轨迹聚类的结果确定所述目标区域内的行人数量。
在上述行人数量确定方法的一个技术方案中,“对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配”的步骤具体包括:
采用预设的行人重识别模型分别提取在所述监控图像中每个行人检测框各自对应的行人图像的行人图像特征;
针对每个行人检测框,分别计算所述行人检测框对应的行人图像特征与每个所述行人轨迹的轨迹特征之间的相似度代价值;其中,所述行人图像特征与所述轨迹特征之间的特征相似程度与所述相似度代价值成负相关关系;
根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
并且/或者,“根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新”的步骤具体包括:
针对每个匹配成功的行人检测框,获取与所述行人检测框匹配成功的行人轨迹,根据所述行人检测框对所述行人轨迹包含的行人检测框进行检测框更新,根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新;
针对每个匹配失败的行人检测框,根据所述行人检测框在所述轨迹池中创建新的行人轨迹,根据所述行人检测框对应的行人图像特征确定所述新的行人轨迹的初始轨迹特征;
针对每个匹配失败的行人轨迹,判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中所述行人轨迹是否均为匹配失败的行人轨迹;若是,则从所述轨迹池中删除所述行人轨迹。
在上述行人数量确定方法的一个技术方案中,“根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配”的步骤具体包括:
获取所述行人检测框中相似度代价值大于预设阈值的行人检测框并将相应的相似度代价值设置为预设的最大值;
采用匈牙利算法,根据每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
并且/或者,“根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新”的步骤具体包括根据所述行人检测框对应的行人图像特征并按照下式所示的方法对所述行人轨迹的轨迹特征进行特征更新:
Fnew=α·Fpre+(1-α)·Fcur
其中,所述Fnew表示特征更新后行人轨迹的轨迹特征,所述Fpre表示特征更新前行人轨迹的轨迹特征,所述Fcur表示与所述行人轨迹匹配成功的行人检测框对应的行人图像特征,所述α表示预设的权重。
在上述行人数量确定方法的一个技术方案中,“对更新后的轨迹池中的行人轨迹进行轨迹聚类”的步骤具体包括:
获取所述目标区域中能够表示行人出入所述目标区域的出入位置;
根据所述出入位置确定在监控图像中能够表示行人出入所述目标区域的图像分割线;
针对更新后的轨迹池中的每个行人轨迹,判断所述行人轨迹是否与所述图像分割线相交;若是,则将所述行人轨迹作为有效的行人轨迹;若否,则将所述行人轨迹作为无效的行人轨迹;
对所有有效的行人轨迹进行轨迹聚类;
并且/或者,“根据轨迹聚类的结果确定所述目标区域内的行人数量”的步骤具体包括:
根据所述轨迹聚类的结果,分别获取对行人轨迹进行轨迹聚类形成的聚类簇的数量以及未与其他行人轨迹形成聚类簇的行人轨迹的数量;
根据所述聚类簇以及所述未与其他行人轨迹形成聚类簇的行人轨迹的数量和,确定所述目标区域内的行人数量。
在上述行人数量确定方法的一个技术方案中,“判断所述行人轨迹是否与所述图像分割线相交”的步骤具体包括:
获取所述行人轨迹中包含的根据连续的两帧监控图像进行行人数量确定时得到的两个行人检测框,并将所述两个行人检测框作为一组相邻帧检测框;
针对所述行人轨迹中的每组相邻帧检测框,判断所述相邻帧检测框中两个行人检测框的检测框底边是否分别位于所述图像分割线的两侧;若是,则判断所述检测框底边的中点连线是否与所述图像分割线相交;
若至少一组相邻帧检测框的中点连线与所述图像分割线相交,则判定所述行人轨迹与所述图像分割线相交;否则,判定所述行人轨迹与所述图像分割线不相交。
第二方面,提供一种行人数量确定装置,所述装置包括:
行人检测框获取模块,其被配置成对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框;
行人轨迹更新模块,其被配置成对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新;其中,所述轨迹池中当前存储的行人轨迹是根据所述目标区域的历史行人检测框确定的;
行人轨迹聚类模块,其被配置成对更新后的轨迹池中的行人轨迹进行轨迹聚类;
行人数量确定模块,其被配置成根据轨迹聚类的结果确定所述目标区域内的行人数量。
在上述行人数量确定装置的一个技术方案中,所述行人轨迹更新模块包括行人轨迹匹配子模块和/或行人轨迹更新子模块;
所述行人轨迹匹配子模块包括:
行人图像特征提取单元,其被配置成采用预设的行人重识别模型分别提取在所述监控图像中每个行人检测框各自对应的行人图像的行人图像特征;
相似度代价值计算单元,其被配置成针对每个行人检测框,分别计算所述行人检测框对应的行人图像特征与每个所述行人轨迹的轨迹特征之间的相似度代价值;其中,所述行人图像特征与所述轨迹特征之间的特征相似程度与所述相似度代价值成负相关关系;
行人轨迹匹配单元,其被配置成根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
所述行人轨迹更新子模块包括:
第一轨迹更新单元,其被配置成针对每个匹配成功的行人检测框,获取与所述行人检测框匹配成功的行人轨迹,根据所述行人检测框对所述行人轨迹包含的行人检测框进行检测框更新,根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新;
第二轨迹更新单元,其被配置成针对每个匹配失败的行人检测框,根据所述行人检测框在所述轨迹池中创建新的行人轨迹,根据所述行人检测框对应的行人图像特征确定所述新的行人轨迹的初始轨迹特征;
第三轨迹更新单元,其被配置成针对每个匹配失败的行人轨迹,判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中所述行人轨迹是否均为匹配失败的行人轨迹;若是,则从所述轨迹池中删除所述行人轨迹。
在上述行人数量确定装置的一个技术方案中,所述行人轨迹匹配单元被进一步配置成执行下列操作:
获取所述行人检测框中相似度代价值大于预设阈值的行人检测框并将相应的相似度代价值设置为预设的最大值;
采用匈牙利算法,根据每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
并且/或者,所述第一轨迹更新单元被进一步配置成根据所述行人检测框对应的行人图像特征并按照下式所示的方法对所述行人轨迹的轨迹特征进行特征更新:
Fnew=α·Fpre+(1-α)·Fcur
其中,所述Fnew表示特征更新后行人轨迹的轨迹特征,所述Fpre表示特征更新前行人轨迹的轨迹特征,所述Fcur表示与所述行人轨迹匹配成功的行人检测框对应的行人图像特征,所述α表示预设的权重。
在上述行人数量确定装置的一个技术方案中,所述行人轨迹聚类模块包括:
出入位置获取子模块,其被配置成获取所述目标区域中能够表示行人出入所述目标区域的出入位置;
图像分割线获取子模块,其被配置成根据所述出入位置确定在监控图像中能够表示行人出入所述目标区域的图像分割线;
行人轨迹相交判断子模块,其被配置成针对更新后的轨迹池中的每个行人轨迹,判断所述行人轨迹是否与所述图像分割线相交;若是,则将所述行人轨迹作为有效的行人轨迹;若否,则将所述行人轨迹作为无效的行人轨迹;
行人轨迹聚类子模块,其被配置成对所有有效的行人轨迹进行轨迹聚类;
并且/或者,所述行人数量确定模块被进一步配置成执行下列操作:
根据所述轨迹聚类的结果,分别获取对行人轨迹进行轨迹聚类形成的聚类簇的数量以及未与其他行人轨迹形成聚类簇的行人轨迹的数量;
根据所述聚类簇以及所述未与其他行人轨迹形成聚类簇的行人轨迹的数量和,确定所述目标区域内的行人数量。
在上述行人数量确定装置的一个技术方案中,所述行人轨迹相交判断子模块被进一步配置成执行下列操作:
获取所述行人轨迹中包含的根据连续的两帧监控图像进行行人数量确定时得到的两个行人检测框,并将所述两个行人检测框作为一组相邻帧检测框;
针对所述行人轨迹中的每组相邻帧检测框,判断所述相邻帧检测框中两个行人检测框的检测框底边是否分别位于所述图像分割线的两侧;若是,则判断所述检测框底边的中点连线是否与所述图像分割线相交;
若至少一组相邻帧检测框的中点连线与所述图像分割线相交,则判定所述行人轨迹与所述图像分割线相交;否则,判定所述行人轨迹与所述图像分割线不相交。
在第三方面,提供一种控制装置,该控制装置包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述行人数量确定方法的技术方案中任一项技术方案所述的行人数量确定方法。
在第四方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述行人数量确定方法的技术方案中任一项技术方案所述的行人数量确定方法。
在采用上述技术方案的情况下,本发明能够对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框;对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对轨迹池进行行人轨迹更新;对更新后的轨迹池中的行人轨迹进行轨迹聚类;根据轨迹聚类的结果确定目标区域内的行人数量;其中,轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的。基于上述实施方式,通过对行人检测框与行人轨迹进行轨迹匹配,实现了行人轨迹的匹配与更新,从而能够根据行人轨迹进行行人数量确定。进一步,在通过轨迹匹配与更新(跟踪)后通过对行人轨迹进行轨迹聚类,能够有效去除属于同一个行人的行人轨迹,提高了根据行人轨迹进行行人数量确定的准确性,从而即使在无法获取行人的人脸图像的情况下,也能够准确地进行行人数量确定。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是根据本发明的一个实施例的行人数量确定方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的轨迹匹配的方法的主要步骤流程示意图;
图3是根据本发明的另一个实施例的轨迹匹配的方法的主要步骤流程示意图;
图4是根据本发明的另一个实施例的行人数量确定方法的主要步骤流程示意图;
图5是根据本发明的一个实施例的行人数量确定装置的主要结构框图示意图;
图6是根据本发明的一个实施例的提取行人图像特征与更新轨迹特征的流程示意图;
图7是根据本发明的一个实施例的轨迹匹配与更新的流程示意图;
图8是根据本发明的一个实施例的行人轨迹与图像分割线相交的示意图。
附图标记列表:
11:行人检测框获取模块;12:行人轨迹更新模块;13:行人轨迹聚类模块;14:行人数量确定模块。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本发明涉及到的一些术语。
行人重识别模型指的是利用行人重识别(Person Re-Identification,Re-ID)技术构建卷积神经网络模型,其能够提取人体图像的人体特征,即Re-ID特征。在本发明实施例中采用行人重识别模型能够提取在监控图像中行人检测框对应的行人图像的行人图像特征,该行人图像特征也就是说上述Re-ID特征。
匈牙利算法(Hungary)是一种在多项式时间内求解任务分配问题的组合优化算法,该算法是美国数学家哈罗德·库恩于1965年提出的。为了描述简洁,在此不再对匈牙利算法的具体算法原理进行赘述。
下面结合附图对本发明实施例中的行人数量确定方法进行说明。
参阅附图1,图1是根据本发明的一个实施例的行人数量确定方法的主要步骤流程示意图。如图1所示,本发明实施例中的行人数量确定方法主要包括下列步骤S101-步骤S104。
步骤S101:对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框。
在本实施例中可以对区域监控视频进行解析获取区域监控视频中的每帧监控图像,再对每帧监控图像分别进行行人检测,得到行人检测框。其中,行人检测框指的是监控图像中单个行人的检测框,其能够表示单个行人在监控图像中的图像位置,根据行人检测框就可以对行人进行图像定位。在本实施例中可以采用图像处理技术领域中常规的行人检测方法对监控图像进行行人检测,并根据检测的结果获取行人检测框。
步骤S102:对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对轨迹池进行行人轨迹更新。
在本实施例中轨迹池指的是能够存储与目标区域相关的所有或一部分行人轨迹的区域。轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的。例如,在某日对进入目标区域的行人进行首次行人数量确定时,可以在检测到行人检测框之后,为每个行人检测框分别创建一个行人轨迹如为每个行人检测框分别分配一个轨迹ID,同时设置每个轨迹ID所表示的行人轨迹包含的行人检测框的检测框信息。随后,当再次检测到行人检测框之后,就可以对这些行人检测框与轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对轨迹池进行行人轨迹更新,如对当前存储的行人轨迹进行更新或创建新的行人轨迹或删除当前存储的行人轨迹等等。此外,在本实施例中也可以将行人检测框存储在预设的目标区域的检测池内,该检测池同样是能够存储与目标区域相关的所有或一部分行人检测框的区域。
步骤S103:对更新后的轨迹池中的行人轨迹进行轨迹聚类。
在实际应用中,一个行人可能会在不同的时间反复出入目标区域,因此会产生多个不同的行人轨迹,而通过轨迹聚类可以有效去除属于同一个行人的行人轨迹,有利于后续根据行人轨迹的数量准确地确定出目标区域的行人数量。
步骤S104:根据轨迹聚类的结果确定目标区域内的行人数量。
在本实施例的一个实施方式中,可以根据轨迹聚类的结果并通过下列步骤11-步骤12确定目标区域内的行人数量:
步骤11:根据轨迹聚类的结果,分别获取对行人轨迹进行轨迹聚类形成的聚类簇的数量以及未与其他行人轨迹形成聚类簇的行人轨迹(独立的行人归基金)的数量。步骤12:根据所聚类簇以及未与其他行人轨迹形成聚类簇的行人轨迹的数量和,确定目标区域内的行人数量。
基于上述步骤S101-步骤S104,本发明实施例通过对行人检测框与行人轨迹进行轨迹匹配,实现了行人轨迹的匹配与更新,从而能够根据行人轨迹进行行人数量确定。进一步,在通过轨迹匹配与更新(跟踪)后通过对行人轨迹进行轨迹聚类,能够有效去除属于同一个行人的行人轨迹,提高了根据行人轨迹进行行人数量确定的准确性,从而即使在无法获取行人的人脸图像的情况下,也能够准确地进行行人数量确定。
下面对上述步骤S102-步骤S104作具体说明。
参阅附图2,在步骤S102的一个实施方式中,可以通过下列步骤S201-步骤S203对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配。
步骤S201:采用预设的行人重识别模型分别提取在监控图像中每个行人检测框各自对应的行人图像的行人图像特征。
步骤S202:针对每个行人检测框,分别计算行人检测框对应的行人图像特征与每个行人轨迹的轨迹特征之间的相似度代价值;其中,行人图像特征与轨迹特征之间的特征相似程度与相似度代价值成负相关关系。
在一个实施方式中,由于行人图像特征与轨迹特征的表示形式均为特征向量的形式,因此可以先计算行人图像特征与轨迹特征之间的夹角的余弦值确定行人图像特征与轨迹特征之间的相似度(余弦相似度),再根据余弦相似度计算相似度代价值。具体而言,可以采用下式(1)所示的方法计算行人图像特征与轨迹特征之间的相似度代价值:
公式(1)中各参数含义如下:
步骤S203:根据相似度代价值对行人检测框与行人轨迹进行轨迹匹配。
在一个实施方式中,可以通过下列步骤21-步骤22根据相似度代价值对行人检测框与行人轨迹进行轨迹匹配:
步骤21:获取行人检测框中相似度代价值大于预设阈值的行人检测框并将相应的相似度代价值设置为预设的最大值。参阅前述步骤S202中的实施方式,如果采用公式(1)所示的方法计算相似度代价值,则可以将预设的最大值设置为1。需要说明的是,本领域技术人员可以根据实际需求灵活地设置预设阈值和预设的最大值的具体数值。
步骤22:采用匈牙利算法,根据每个行人检测框各自对应的相似度代价值对行人检测框与行人轨迹进行轨迹匹配。
通过先将相似度较低的行人检测框与行人轨迹的配对过滤掉,保留相似度较高的行人检测框与行人轨迹的配对,再使用匈牙利算法对相似度较高的行人检测框与行人轨迹的配对进行轨迹匹配,能够显著提高轨迹匹配的结果的准确性。
通过上述步骤S201-步骤S203,在无法获取行人的人脸图像的情况下,可以采用提取Re-ID特征(采用预设的行人重识别模型提取到的行人图像特征)的方式获取行人特征,进而根据行人图像特征与轨迹特征之间的相似度代价值,对行人检测框与行人轨迹进行轨迹匹配,实现行人轨迹的匹配与跟踪,从而能够根据行人轨迹进行准确地行人数量确定。
在步骤S102的一个实施方式中,可以根据轨迹匹配的结果并通过下列步骤31-步骤33对轨迹池进行行人轨迹更新:
步骤31:针对每个匹配成功的行人检测框,获取与行人检测框匹配成功的行人轨迹,根据行人检测框对行人轨迹包含的行人检测框进行检测框更新,根据行人检测框对应的行人图像特征对行人轨迹的轨迹特征进行特征更新。
根据前述实施例所述可知,轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的,行人轨迹可以包含行人检测框的检测框信息,同时行人轨迹包含的行人检测框都分配有这个行人轨迹的轨迹ID。因此,在根据行人检测框对行人轨迹包含的行人检测框进行检测框更新,可以在行人轨迹的检测框信息中增加匹配成功的行人检测框,同时为匹配成功的行人检测框分配这个行人轨迹的轨迹ID。
在本实施方式中可以根据行人检测框对应的行人图像特征并通过下式(2)所示的方法对行人轨迹的轨迹特征进行特征更新:
Fnew=α·Fpre+(1-α)·Fcur (2)
公式(2)中各参数的含义如下:
Fnew表示特征更新后行人轨迹的轨迹特征,Fpre表示特征更新前行人轨迹的轨迹特征,Fcur表示与行人轨迹匹配成功的行人检测框对应的行人图像特征,α表示预设的权重。
参阅附图6,将行人检测框输入至预设的行人重识别模型,行人重识别模型提取在监控图像中行人检测框各自对应的行人图像的行人图像特征,在经过步骤S102后确定这个行人检测框是匹配成功的行人检测框,此时可以根据这个行人检测框对应的行人图像特征对行人轨迹的轨迹特征进行更新。
步骤32:针对每个匹配失败的行人检测框,根据行人检测框在轨迹池中创建新的行人轨迹,根据行人检测框对应的行人图像特征确定新的行人轨迹的初始轨迹特征。
在本实施方式中,在创建新的行人轨迹时可以在新的行人轨迹的检测框信息中增加匹配失败的行人检测框,同时为匹配失败的行人检测框分配这个新的行人轨迹的轨迹ID,并将匹配失败的行人检测框对应的行人图像特征作为上述新的行人轨迹的初始轨迹特征。
步骤33:针对每个匹配失败的行人轨迹,判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹;若是,则从轨迹池中删除行人轨迹。
参阅附图7,在一个例子中,轨迹池内包括六个行人轨迹,检测池内包括六个行人检测框。通过步骤21-步骤22可以确定,三个行人检测框分别与行人轨迹4-6匹配上,即这三个行人检测框是匹配成功的行人检测框(图7所示的匹配成功的检测框),可以根据这三个行人检测框各自对应的行人图像特征,分别对行人轨迹4-6进行轨迹特征更新(图7所示的轨迹更新)。还有三个行人检测框与任何行人轨迹都没有匹配上,即这三个行人检测框是匹配失败的行人检测框(图7所示的匹配失败的检测框),可以为这三个行人检测框创建新的行人轨迹(图7所示的创建新的轨迹),并将这些新创建的行人轨迹存储至轨迹池中。此外,行人轨迹1-3都没有与任何的行人检测框匹配上,即行人轨迹1-3是匹配失败的行人轨迹(图7所示的匹配失败的轨迹)。此时,通过步骤33判断出行人轨迹1-3中的两个行人轨迹在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果不均为匹配失败的行人轨迹,即这两个行人轨迹属于未超过等待时间的轨迹。而行人轨迹1-3中的一个行人轨迹在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果不均为匹配失败的行人轨迹,即这个行人轨迹属于超过等待时间的轨迹。因此,可以将未超过等待时间的轨迹继续存储在轨迹池内(图7所示的继续在轨迹池中存储轨迹),将超过等待时间的轨迹从轨迹池内删除(图7所示的删除轨迹)。
基于上述步骤31-步骤33,当在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹时,表明这个行人轨迹所表示的行人可能已经离开了目标区域,后续无需再对这个行人轨迹进行轨迹匹配等操作,因此可以直接删除这个行人轨迹。通过删除这些行人轨迹不仅能够减轻轨迹池的存储压力,还能够避免由于人体图像特征相似导致的轨迹匹配错误,例如两个行人都穿黑色的衣服,可能导致这两个人的行人图像特征比较相似,在其中一人已经离开目标区域后如果不删除这个人的行人轨迹,在进行轨迹匹配时可能导致这个人的行人轨迹与另一个人的行人图像特征匹配上。
此外,通过判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹的方式确定行人是否已经离开了目标区域,能够有效避免由于遮挡或行人短暂离开目标区域导致的行人轨迹误删除。
参阅附图3,在步骤S103的一个实施方式中,可以通过下列步骤S301-步骤S306对更新后的轨迹池中的行人轨迹进行轨迹聚类:
步骤S301:获取目标区域中能够表示行人出入目标区域的出入位置。
例如,如果目标区域是某个场所的出入区域,那么能够表示行人出入目标区域的出入位置可以是连通与封闭场所与外界的门体所在的位置。
步骤S302:根据出入位置确定在监控图像中能够表示行人出入目标区域的图像分割线。
参阅前述步骤S301中的例子,如果出入位置是门体,那么图像分割线可以是这个门体在监控图像中的位置,图像分割线的一侧表示出入区域中属于场所的区域,图像分割线的另一侧表示出入区域中属于外界的区域。
步骤S303:针对更新后的轨迹池中的每个行人轨迹,判断行人轨迹是否与图像分割线相交;若是,则转至步骤S304;若否,则转至步骤S305。
步骤S304:将行人轨迹作为有效的行人轨迹,随后转至步骤S306。
步骤S305:将行人轨迹作为无效的行人轨迹,随后转至步骤S306。
步骤S306:对所有有效的行人轨迹进行轨迹聚类。
在本实施例中可以采用dbscan聚类算法或infomap聚类算法等图像处理技术领域中常规的图像数据聚类算法对所有有效的行人轨迹进行轨迹聚类。为了描述简洁,在此不再对上述聚类算法的算法原理进行赘述。
进一步,在上述步骤S303的一个实施方式中,可以通过下列步骤41-步骤43判断行人轨迹是否与图像分割线相交:
步骤41:获取行人轨迹中包含的根据连续的两帧监控图像进行行人数量确定时得到的两个行人检测框,并将两个行人检测框作为一组相邻帧检测框。
步骤42:针对行人轨迹中的每组相邻帧检测框,判断相邻帧检测框中两个行人检测框的检测框底边是否分别位于图像分割线的两侧;若是,则判断检测框底边的中点连线是否与图像分割线相交。
步骤43:若至少一组相邻帧检测框的中点连线与图像分割线相交,则判定行人轨迹与图像分割线相交;否则,判定行人轨迹与图像分割线不相交。
参阅附图8,如图8所示,某个行人轨迹包括行人检测框1-5,行人检测框1-2构成一组相邻帧检测框,行人检测框2-3构成一组相邻帧检测框,行人检测框3-4构成一组相邻帧检测框,行人检测框4-5构成一组相邻帧检测框。其中,行人检测框3和行人检测框4的检测框底边分别位于图像分割线的两侧,并且行人检测框3和行人检测框4的检测框底边的中点连线与图像分割线相交。因此,可以判定这个行人轨迹与图像分割线相交。
参阅附图4,图4是根据本发明的另一个实施例的行人数量确定方法的主要步骤流程示意图。如图4所示,本发明实施例中的行人数量确定方法主要包括下列步骤S401-步骤S407。
步骤S401:获取目标区域的区域监控视频。
步骤S402:对区域监控视频中的每帧监控图像进行行人检测,得到行人检测框。
步骤S403:提取在监控图像中每个行人检测框各自对应的行人图像的行人图像特征。
步骤S404:对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配。
步骤S405:对行人轨迹进行过滤,获取有效的行人轨迹。
步骤S406:对所有有效的行人轨迹进行轨迹聚类。
步骤S407:根据轨迹聚类的结果确定目标区域内的行人数量。
需要说明的是,上述步骤S401-步骤S407中各步骤所述的方法,分别与前述行人数量确定方法实施例中描述的相关方法相同,为了描述简洁,在此不再赘述。
进一步,在根据本发明的再一个行人数量确定方法实施例中,也可以按照下列步骤51-步骤53确定目标区域内的行人数量:
步骤51:采集目标区域的监控图像,采用预设的行人重识别模型分别提取在监控图像中行人检测框对应的行人图像的行人图像特征。
步骤52:计算行人图像特征与预设的目标区域的特征库中存储的行人图像特征之间的特征相似度;若特征相似度大于阈值,则删除这个行人图像特征;若特征相似度小于等于阈值,则将这个行人图像特征存储至特征库中。
步骤53:针对每帧监控图像重复执行步骤51-步骤52,根据特征库中行人图像特征的数量确定目标区域内的行人数量。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
进一步,本发明还提供了一种行人数量确定装置。
参阅附图5,图5是根据本发明的一个实施例的行人数量确定装置的主要结构框图。如图5所示,本发明实施例中的行人数量确定装置主要包括行人检测框获取模块11、行人轨迹更新模块12、行人轨迹聚类模块13和行人数量确定模块14。在一些实施例中,行人检测框获取模块11、行人轨迹更新模块12、行人轨迹聚类模块13和行人数量确定模块14中的一个或多个可以合并在一起成为一个模块。在一些实施例中行人检测框获取模块11可以被配置成对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框;行人轨迹更新模块12可以被配置成对行人检测框与预设的目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对轨迹池进行行人轨迹更新;其中,轨迹池中当前存储的行人轨迹是根据目标区域的历史行人检测框确定的。行人轨迹聚类模块13可以被配置成对更新后的轨迹池中的行人轨迹进行轨迹聚类;行人数量确定模块14可以被配置成根据轨迹聚类的结果确定目标区域内的行人数量。一个实施方式中,具体实现功能的描述可以参见步骤S101-步骤S103所述。
在一个实施方式中,行人轨迹更新模块12可以包括行人轨迹匹配子模块和/或行人轨迹更新子模块。
在本实施方式中,行人轨迹匹配子模块包括行人图像特征提取单元、相似度代价值计算单元和行人轨迹匹配单元。行人图像特征提取单元可以被配置成采用预设的行人重识别模型分别提取在监控图像中每个行人检测框各自对应的行人图像的行人图像特征;相似度代价值计算单元可以被配置成针对每个行人检测框,分别计算行人检测框对应的行人图像特征与每个行人轨迹的轨迹特征之间的相似度代价值;其中,行人图像特征与轨迹特征之间的特征相似程度与相似度代价值成负相关关系;行人轨迹匹配单元可以被配置成根据相似度代价值对行人检测框与行人轨迹进行轨迹匹配。一个实施方式中,具体实现功能的描述可以参见步骤S201-步骤S203所述。
在本实施方式中,行人轨迹更新子模块包括第一轨迹更新单元、第二轨迹更新单元和第三轨迹更新单元。第一轨迹更新单元可以被配置成针对每个匹配成功的行人检测框,获取与行人检测框匹配成功的行人轨迹,根据行人检测框对行人轨迹包含的行人检测框进行检测框更新,根据行人检测框对应的行人图像特征对行人轨迹的轨迹特征进行特征更新;第二轨迹更新单元可以被配置成针对每个匹配失败的行人检测框,根据行人检测框在轨迹池中创建新的行人轨迹,根据行人检测框对应的行人图像特征确定新的行人轨迹的初始轨迹特征;第三轨迹更新单元可以被配置成针对每个匹配失败的行人轨迹,判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中行人轨迹是否均为匹配失败的行人轨迹;若是,则从轨迹池中删除行人轨迹。一个实施方式中,具体实现功能的描述可以参见步骤31-步骤33所述。
在一个实施方式中,第一轨迹更新单元可以被进一步配置成根据行人检测框对应的行人图像特征并按照公式(2)所示的方法对行人轨迹的轨迹特征进行特征更新。
在一个实施方式中,行人轨迹匹配单元可以被进一步配置成执行下列操作:获取行人检测框中相似度代价值大于预设阈值的行人检测框并将相应的相似度代价值设置为预设的最大值;采用匈牙利算法,根据每个行人检测框各自对应的相似度代价值对所述行人检测框与行人轨迹进行轨迹匹配。一个实施方式中,具体实现功能的描述可以参见步骤21-步骤22所述。
在一个实施方式中,行人轨迹聚类模块13包括出入位置获取子模块、图像分割线获取子模块、行人轨迹相交判断子模块和行人轨迹聚类子模块。在本实施方式中,出入位置获取子模块可以被配置成获取目标区域中能够表示行人出入目标区域的出入位置;图像分割线获取子模块可以被配置成根据出入位置确定在监控图像中能够表示行人出入目标区域的图像分割线;行人轨迹相交判断子模块可以被配置成针对更新后的轨迹池中的每个行人轨迹,判断行人轨迹是否与图像分割线相交;若是,则将行人轨迹作为有效的行人轨迹;若否,则将行人轨迹作为无效的行人轨迹;行人轨迹聚类子模块可以被配置成对所有有效的行人轨迹进行轨迹聚类。一个实施方式中,具体实现功能的描述可以参见步骤S301-步骤S306所述。
在一个实施方式中,行人轨迹相交判断子模块可以被进一步配置成执行下列操作:获取行人轨迹中包含的根据连续的两帧监控图像进行行人数量确定时得到的两个行人检测框,并将两个行人检测框作为一组相邻帧检测框;针对行人轨迹中的每组相邻帧检测框,判断相邻帧检测框中两个行人检测框的检测框底边是否分别位于图像分割线的两侧;若是,则判断检测框底边的中点连线是否与图像分割线相交;若至少一组相邻帧检测框的中点连线与图像分割线相交,则判定行人轨迹与图像分割线相交;否则,判定行人轨迹与图像分割线不相交。一个实施方式中,具体实现功能的描述可以参见步骤41-步骤43所述。
在一个实施方式中,行人数量确定模块14可以被进一步配置成执行下列操作:根据轨迹聚类的结果,分别获取对行人轨迹进行轨迹聚类形成的聚类簇的数量以及未与其他行人轨迹形成聚类簇的行人轨迹的数量;根据聚类簇以及未与其他行人轨迹形成聚类簇的行人轨迹的数量和,确定目标区域内的行人数量。
上述行人数量确定装置以用于执行图1-4所示的行人数量确定方法实施例,两者的技术原理、所解决的技术问题及产生的技术效果相似,本技术领域技术人员可以清楚地了解到,为了描述的方便和简洁,行人数量确定装置的具体工作过程及有关说明,可以参考行人数量确定方法的实施例所描述的内容,此处不再赘述。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中,控制装置包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的行人数量确定方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的行人数量确定方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的行人数量确定方法的程序,该程序可以由处理器加载并运行以实现上述行人数量确定方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种行人数量确定方法,其特征在于,所述方法包括:
对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框;
对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新;其中,所述轨迹池中当前存储的行人轨迹是根据所述目标区域的历史行人检测框确定的;
对更新后的轨迹池中的行人轨迹进行轨迹聚类;
根据轨迹聚类的结果确定所述目标区域内的行人数量。
2.根据权利要求1所述的行人数量确定方法,其特征在于,“对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配”的步骤具体包括:
采用预设的行人重识别模型分别提取在所述监控图像中每个行人检测框各自对应的行人图像的行人图像特征;
针对每个行人检测框,分别计算所述行人检测框对应的行人图像特征与每个所述行人轨迹的轨迹特征之间的相似度代价值;其中,所述行人图像特征与所述轨迹特征之间的特征相似程度与所述相似度代价值成负相关关系;
根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
并且/或者,
“根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新”的步骤具体包括:
针对每个匹配成功的行人检测框,获取与所述行人检测框匹配成功的行人轨迹,根据所述行人检测框对所述行人轨迹包含的行人检测框进行检测框更新,根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新;
针对每个匹配失败的行人检测框,根据所述行人检测框在所述轨迹池中创建新的行人轨迹,根据所述行人检测框对应的行人图像特征确定所述新的行人轨迹的初始轨迹特征;
针对每个匹配失败的行人轨迹,判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中所述行人轨迹是否均为匹配失败的行人轨迹;若是,则从所述轨迹池中删除所述行人轨迹。
3.根据权利要求2所述的行人数量确定方法,其特征在于,“根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配”的步骤具体包括:
获取所述行人检测框中相似度代价值大于预设阈值的行人检测框并将相应的相似度代价值设置为预设的最大值;
采用匈牙利算法,根据每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
并且/或者,
“根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新”的步骤具体包括根据所述行人检测框对应的行人图像特征并按照下式所示的方法对所述行人轨迹的轨迹特征进行特征更新:
Fnew=α·Fpre+(1-α)·Fcur
其中,所述Fnew表示特征更新后行人轨迹的轨迹特征,所述Fpre表示特征更新前行人轨迹的轨迹特征,所述Fcur表示与所述行人轨迹匹配成功的行人检测框对应的行人图像特征,所述α表示预设的权重。
4.根据权利要求1所述的行人数量确定方法,其特征在于,“对更新后的轨迹池中的行人轨迹进行轨迹聚类”的步骤具体包括:
获取所述目标区域中能够表示行人出入所述目标区域的出入位置;
根据所述出入位置确定在监控图像中能够表示行人出入所述目标区域的图像分割线;
针对更新后的轨迹池中的每个行人轨迹,判断所述行人轨迹是否与所述图像分割线相交;若是,则将所述行人轨迹作为有效的行人轨迹;若否,则将所述行人轨迹作为无效的行人轨迹;
对所有有效的行人轨迹进行轨迹聚类;
并且/或者,
“根据轨迹聚类的结果确定所述目标区域内的行人数量”的步骤具体包括:
根据所述轨迹聚类的结果,分别获取对行人轨迹进行轨迹聚类形成的聚类簇的数量以及未与其他行人轨迹形成聚类簇的行人轨迹的数量;
根据所述聚类簇以及所述未与其他行人轨迹形成聚类簇的行人轨迹的数量和,确定所述目标区域内的行人数量。
5.根据权利要求4所述的行人数量确定方法,其特征在于,“判断所述行人轨迹是否与所述图像分割线相交”的步骤具体包括:
获取所述行人轨迹中包含的根据连续的两帧监控图像进行行人数量确定时得到的两个行人检测框,并将所述两个行人检测框作为一组相邻帧检测框;
针对所述行人轨迹中的每组相邻帧检测框,判断所述相邻帧检测框中两个行人检测框的检测框底边是否分别位于所述图像分割线的两侧;若是,则判断所述检测框底边的中点连线是否与所述图像分割线相交;
若至少一组相邻帧检测框的中点连线与所述图像分割线相交,则判定所述行人轨迹与所述图像分割线相交;否则,判定所述行人轨迹与所述图像分割线不相交。
6.一种行人数量确定装置,其特征在于,所述装置包括:
行人检测框获取模块,其被配置成对目标区域的区域监控视频中的每帧监控图像分别进行行人检测,得到行人检测框;
行人轨迹更新模块,其被配置成对所述行人检测框与预设的所述目标区域的轨迹池中的行人轨迹进行轨迹匹配,根据轨迹匹配的结果对所述轨迹池进行行人轨迹更新;其中,所述轨迹池中当前存储的行人轨迹是根据所述目标区域的历史行人检测框确定的;
行人轨迹聚类模块,其被配置成对更新后的轨迹池中的行人轨迹进行轨迹聚类;
行人数量确定模块,其被配置成根据轨迹聚类的结果确定所述目标区域内的行人数量。
7.根据权利要求6所述的行人数量确定装置,其特征在于,所述行人轨迹更新模块包括行人轨迹匹配子模块和/或行人轨迹更新子模块;
所述行人轨迹匹配子模块包括:
行人图像特征提取单元,其被配置成采用预设的行人重识别模型分别提取在所述监控图像中每个行人检测框各自对应的行人图像的行人图像特征;
相似度代价值计算单元,其被配置成针对每个行人检测框,分别计算所述行人检测框对应的行人图像特征与每个所述行人轨迹的轨迹特征之间的相似度代价值;其中,所述行人图像特征与所述轨迹特征之间的特征相似程度与所述相似度代价值成负相关关系;
行人轨迹匹配单元,其被配置成根据所述相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
所述行人轨迹更新子模块包括:
第一轨迹更新单元,其被配置成针对每个匹配成功的行人检测框,获取与所述行人检测框匹配成功的行人轨迹,根据所述行人检测框对所述行人轨迹包含的行人检测框进行检测框更新,根据所述行人检测框对应的行人图像特征对所述行人轨迹的轨迹特征进行特征更新;
第二轨迹更新单元,其被配置成针对每个匹配失败的行人检测框,根据所述行人检测框在所述轨迹池中创建新的行人轨迹,根据所述行人检测框对应的行人图像特征确定所述新的行人轨迹的初始轨迹特征;
第三轨迹更新单元,其被配置成针对每个匹配失败的行人轨迹,判断在根据连续的多帧监控图像进行行人数量确定时得到的所有轨迹匹配的结果中所述行人轨迹是否均为匹配失败的行人轨迹;若是,则从所述轨迹池中删除所述行人轨迹。
8.根据权利要求7所述的行人数量确定装置,其特征在于,所述行人轨迹匹配单元被进一步配置成执行下列操作:
获取所述行人检测框中相似度代价值大于预设阈值的行人检测框并将相应的相似度代价值设置为预设的最大值;
采用匈牙利算法,根据每个所述行人检测框各自对应的相似度代价值对所述行人检测框与所述行人轨迹进行轨迹匹配;
并且/或者,
所述第一轨迹更新单元被进一步配置成根据所述行人检测框对应的行人图像特征并按照下式所示的方法对所述行人轨迹的轨迹特征进行特征更新:
Fnew=α·Fpre+(1-α)·Fcur
其中,所述Fnew表示特征更新后行人轨迹的轨迹特征,所述Fpre表示特征更新前行人轨迹的轨迹特征,所述Fcur表示与所述行人轨迹匹配成功的行人检测框对应的行人图像特征,所述α表示预设的权重。
9.根据权利要求6所述的行人数量确定装置,其特征在于,所述行人轨迹聚类模块包括:
出入位置获取子模块,其被配置成获取所述目标区域中能够表示行人出入所述目标区域的出入位置;
图像分割线获取子模块,其被配置成根据所述出入位置确定在监控图像中能够表示行人出入所述目标区域的图像分割线;
行人轨迹相交判断子模块,其被配置成针对更新后的轨迹池中的每个行人轨迹,判断所述行人轨迹是否与所述图像分割线相交;若是,则将所述行人轨迹作为有效的行人轨迹;若否,则将所述行人轨迹作为无效的行人轨迹;
行人轨迹聚类子模块,其被配置成对所有有效的行人轨迹进行轨迹聚类;
并且/或者,
所述行人数量确定模块被进一步配置成执行下列操作:
根据所述轨迹聚类的结果,分别获取对行人轨迹进行轨迹聚类形成的聚类簇的数量以及未与其他行人轨迹形成聚类簇的行人轨迹的数量;
根据所述聚类簇以及所述未与其他行人轨迹形成聚类簇的行人轨迹的数量和,确定所述目标区域内的行人数量。
10.根据权利要求9所述的行人数量确定装置,其特征在于,所述行人轨迹相交判断子模块被进一步配置成执行下列操作:
获取所述行人轨迹中包含的根据连续的两帧监控图像进行行人数量确定时得到的两个行人检测框,并将所述两个行人检测框作为一组相邻帧检测框;
针对所述行人轨迹中的每组相邻帧检测框,判断所述相邻帧检测框中两个行人检测框的检测框底边是否分别位于所述图像分割线的两侧;若是,则判断所述检测框底边的中点连线是否与所述图像分割线相交;
若至少一组相邻帧检测框的中点连线与所述图像分割线相交,则判定所述行人轨迹与所述图像分割线相交;否则,判定所述行人轨迹与所述图像分割线不相交。
11.一种控制装置,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的行人数量确定方法。
12.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的行人数量确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110920920.5A CN113642455B (zh) | 2021-08-11 | 2021-08-11 | 行人数量确定方法、装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110920920.5A CN113642455B (zh) | 2021-08-11 | 2021-08-11 | 行人数量确定方法、装置以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113642455A true CN113642455A (zh) | 2021-11-12 |
CN113642455B CN113642455B (zh) | 2024-05-17 |
Family
ID=78420853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110920920.5A Active CN113642455B (zh) | 2021-08-11 | 2021-08-11 | 行人数量确定方法、装置以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113642455B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272982A (zh) * | 2022-09-28 | 2022-11-01 | 汇纳科技股份有限公司 | 基于行人重识别的客流量统计方法、系统、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107437069A (zh) * | 2017-07-13 | 2017-12-05 | 江苏大学 | 基于轮廓的猪只饮水行为识别方法 |
CN110533013A (zh) * | 2019-10-30 | 2019-12-03 | 图谱未来(南京)人工智能研究院有限公司 | 一种轨迹检测方法及装置 |
US20200074186A1 (en) * | 2018-08-28 | 2020-03-05 | Beihang University | Dense crowd counting method and apparatus |
CN111242985A (zh) * | 2020-02-14 | 2020-06-05 | 电子科技大学 | 基于马尔科夫模型的视频多行人追踪方法 |
CN111798483A (zh) * | 2020-06-28 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种抗遮挡行人跟踪的方法、装置及存储介质 |
CN112669349A (zh) * | 2020-12-25 | 2021-04-16 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
-
2021
- 2021-08-11 CN CN202110920920.5A patent/CN113642455B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107437069A (zh) * | 2017-07-13 | 2017-12-05 | 江苏大学 | 基于轮廓的猪只饮水行为识别方法 |
US20200074186A1 (en) * | 2018-08-28 | 2020-03-05 | Beihang University | Dense crowd counting method and apparatus |
CN110533013A (zh) * | 2019-10-30 | 2019-12-03 | 图谱未来(南京)人工智能研究院有限公司 | 一种轨迹检测方法及装置 |
CN111242985A (zh) * | 2020-02-14 | 2020-06-05 | 电子科技大学 | 基于马尔科夫模型的视频多行人追踪方法 |
CN111798483A (zh) * | 2020-06-28 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种抗遮挡行人跟踪的方法、装置及存储介质 |
CN112669349A (zh) * | 2020-12-25 | 2021-04-16 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272982A (zh) * | 2022-09-28 | 2022-11-01 | 汇纳科技股份有限公司 | 基于行人重识别的客流量统计方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113642455B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102945366A (zh) | 一种人脸识别的方法及装置 | |
CN108038176B (zh) | 一种路人库的建立方法、装置、电子设备及介质 | |
CN108170750A (zh) | 一种人脸数据库更新方法、系统及终端设备 | |
CN106570465A (zh) | 一种基于图像识别的人流量统计方法及装置 | |
CN106803263A (zh) | 一种目标跟踪方法及装置 | |
CN108446681B (zh) | 行人分析方法、装置、终端及存储介质 | |
CN108268823A (zh) | 目标再识别方法和装置 | |
CN105844649A (zh) | 一种人数统计方法和装置及系统 | |
CN111597910A (zh) | 一种人脸识别方法、装置、终端设备及介质 | |
CN111126257B (zh) | 行为检测方法及装置 | |
CN113642455B (zh) | 行人数量确定方法、装置以及计算机可读存储介质 | |
CN114155488A (zh) | 获取客流数据的方法、装置、电子设备以及存储介质 | |
CN113220750A (zh) | 同行人员的识别方法、装置及计算机可读存储介质 | |
CN113628248B (zh) | 行人驻留时长确定方法、装置以及计算机可读存储介质 | |
CN111611821B (zh) | 二维码识别方法、装置、计算机设备和可读存储介质 | |
CN113077018A (zh) | 一种目标对象识别方法、装置、存储介质及电子装置 | |
CN110084157B (zh) | 图像重识别的数据处理方法及装置 | |
CN112651417A (zh) | 车牌识别方法、装置、设备及存储介质 | |
CN114387296A (zh) | 目标轨迹追踪方法、装置、计算机设备及存储介质 | |
CN111597980B (zh) | 一种目标对象聚类方法及装置 | |
CN113705366A (zh) | 人员管理系统身份识别方法、装置及终端设备 | |
CN114359332A (zh) | 基于深度图像的目标跟踪方法、装置、设备和介质 | |
CN112149552A (zh) | 一种智能监控方法和装置 | |
CN114913567A (zh) | 口罩佩戴的检测方法、装置、终端设备及可读存储介质 | |
CN117349688B (zh) | 一种基于峰值轨迹的轨迹聚类方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |