CN111291605A

CN111291605A - 人流分析系统及人流分析方法

Info

Publication number: CN111291605A
Application number: CN201910247521.XA
Authority: CN
Inventors: 吴炳飞; 林俊贤; 黄柏维; 钟孟良
Original assignee: Spring Foundation of NCTU
Current assignee: Spring Foundation of NCTU
Priority date: 2018-12-07
Filing date: 2019-03-29
Publication date: 2020-06-16
Also published as: TWI686748B; US11017241B2; US20200184229A1; TW202022706A

Abstract

本发明的人流分析系统及人流分析方法，其中，人流分析系统包含影像源、运算装置、主机。影像源取得第一影像及第二影像。运算装置连接影像源。运算装置根据数据集辨识第一影像，以产生第一侦测影像。第一侦测影像具有对应第一影像的行人的位置框。运算装置根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。主机连接运算装置并根据第一侦测影像和追踪影像，以产生人流表单。

Description

人流分析系统及人流分析方法

技术领域

本发明是关于一种人流分析系统及人流分析方法；具体而言，本发明是关于区域性的人流分析系统及人流分析方法。

背景技术

随着影像分析技术的进步，有更多的影像分析应用出现。例如运用于卖场、百货公司、店铺等场所进行影像分析、人像侦测等等。根据人流状况可应用于开店设址、行销活动、运输服务等事项的决策。现有的影像分析方法往往需要另外架设不同视角的摄影装置，花费成本较高。整体来说，现有技术对移动中行人的辨识和追踪效果仍有待改进。

发明内容

本发明的一目的在于提供一种人流分析系统及人流分析方法，可达成行人的侦测与追踪。

本发明的一目的在于提供一种人流分析系统及人流分析方法，可依据侦测与追踪结果自动调整参数以改善分析准确度。

本发明的人流分析系统包含影像源、运算装置、主机。影像源系取得第一影像及第二影像。运算装置连接影像源。运算装置根据数据集辨识第一影像，以产生第一侦测影像。第一侦测影像具有对应第一影像的行人的位置框。运算装置根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。主机连接运算装置并根据第一侦测影像和追踪影像，以产生人流表单。

于一实施例中，该运算装置包含：一侦测模块，用以产生该第一侦测影像；一追踪模块，根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差以产生该追踪影像；以及一密度估计模块，该密度估计模块根据该数据集和该第一影像，以产生一密度图。

于一实施例中，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该参数调整模块根据该数据集以及来自该影像源的该些影像，以产生一相似度信息，并产生对应该相似度信息的一权值，该参数调整模块根据该权值调整该参数。

于一实施例中，该相似度信息包含一个数估计值与一距离估计值，该参数调整模块根据该个数估计值与该距离估计值产生该权值，以调整该参数。

于一实施例中，该数据集为多个人群影像，每一人群影像中具有对应每一行人的一预设位置框。

本发明的人流分析方法包含以下步骤：(A)以影像源持续取得多个影像，包含第一影像及第二影像；(B)将多个影像传送至运算装置，运算装置根据数据集辨识第一影像，以产生第一侦测影像，第一侦测影像具有对应第一影像的行人的位置框；(C)以运算装置根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像，追踪影像具有对应第二影像的行人的另一位置框；(D)根据第一侦测影像和追踪影像，以产生人流表单。由此达成对拍摄场景的人流侦测与追踪。

于一实施例中，该运算装置包含一侦测模块、一追踪模块及一密度估计模块，该方法更包含：以该侦测模块产生该第一侦测影像；以该追踪模块根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差，以产生该追踪影像；以及以该密度估计模块根据根据该数据集和该第一影像，以产生一密度图。

于一实施例中，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该方法更包含：以该参数调整模块根据该数据集以及来自该影像源的该些影像，产生一相似度信息；产生对应该相似度信息的一权值，并根据该权值调整该参数。

于一实施例中，该相似度信息包含一个数估计值与一距离估计值，该方法更包含：根据该个数估计值与该距离估计值产生该权值，以调整该参数。

附图说明

图1为本发明人流分析系统的一实施例示意图。

图2为运算装置的一实施例示意图。

图3为人流分析方法的一实施例流程图。

图4A至图4B为产生侦测影像的一实施例示意图。

图5A至图5C为产生追踪影像的一实施例示意图。

图6为运算装置的另一实施例示意图。

图7为人流分析方法的另一实施例流程图。

图8A至图8B为产生密度图的一实施例示意图。

图9为运算装置的另一实施例示意图。

图10为人流分析方法的另一实施例流程图。

图11A至图11C为密度图的不同实施例示意图。

主要元件符号说明：

1 人流分析系统

10,10A 影像源

20,20A 运算装置

30 主机

40 网络

210 侦测模块

220 追踪模块

230 密度估计模块

240 储存单元

250 参数调整模块

D,D1,D2,D3 位置框

F,F1,F2 影像

FA1 侦测影像

FB,FB1,FB2 密度图

FC 追踪影像

H1～H6 热点

S 搜寻范围

T1～T8 行人

具体实施方式

图1为本发明人流分析系统1的一实施例示意图。如图1所示，人流分析系统1包含影像源(10,10A)、运算装置(20,20A)、主机30。影像源(10,10A)持续取得多个影像。影像源是指获取影像以供运算装置做后续处理的装置，例如为摄影装置。举例而言，所述多个影像包含第一影像及第二影像。第一影像及第二影像为不同时间先后取得的影像。运算装置20连接影像源10，运算装置20A连接影像源10A。运算装置(20,20A)例如为嵌入式系统，或是个人电脑。以影像源10和运算装置20为例，运算装置20根据数据集辨识第一影像，以产生第一侦测影像。数据集为具有行人的图档数据，这些图档数据作为影像样本。于一实施例，数据集为已标记行人位置的影像样本。于另一实施例，数据集为多个具有人群的影像，每一人群影像中具有对应每一行人的预设位置框，这些具有人群的影像作为影像样本。利用影像样本训练神经网络模型，通过已训练的神经网络模型对影像源取得的影像进行辨识，以产生第一侦测影像。第一侦测影像具有对应第一影像的行人的位置框。换言之，当辨识第一影像中出现行人时，则会于第一侦测影像对应行人的位置产生位置框。类似地，次一时刻取得的第二影像亦会由运算装置辨识，以产生另一侦测影像。

此外，运算装置20根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像。例如，数据集具有已标记行人位置的影像样本以及该行人于不同时间的影像样本，利用前述影像样本训练另一神经网络模型，通过已训练的神经网络模型对第一侦测影像和第二影像进行辨识，根据两者的差异以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。需注意的是，用以产生侦测影像的神经网络模型与用以产生追踪影像的神经网络模型较佳为不同的神经网络模型。

人流分析系统可包含至少一个影像源。例如图1所示，人流分析系统1包含多个影像源(10,10A)。不同影像源可装设于不同地点，对不同场景进行拍摄。影像源(10,10A)经由运算装置连接主机30。例如图1所示，运算装置通过网络40与主机30连接。主机30根据不同时间所得侦测影像和追踪影像，以产生人流表单。

图2为运算装置20的一实施例示意图。如图2所示，运算装置20包含侦测模块210及追踪模块220。如前所述，人流分析系统通过不同神经网络模型对影像进行分析与追踪。侦测模块210与追踪模块220分别为运算装置20中执行不同神经网络模型的处理单元。运算装置20具有与数据集相关的参数。不同神经网络模型的参数可通过数据集于训练阶段预先调整。例如，侦测模块210中具有侦测参数，而追踪模块220中具有追踪参数。侦测模块210用以产生第一侦测影像。追踪模块220用以产生追踪影像。

图3为人流分析方法的一实施例流程图。如图3所示，人流分析方法包含步骤S10～S70。在步骤S10，以影像源持续取得多个影像。举例而言，所述多个影像包含第一影像和第二影像。在步骤S30，传送第一影像和第二影像至运算装置，运算装置根据数据集辨识第一影像，以产生第一侦测影像，第一侦测影像具有对应第一影像的行人的位置框。第二影像亦由上述方式产生另一侦测影像。

在步骤S50，运算装置根据数据集、第一侦测影像和第二影像的差异，以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。在步骤S70，根据第一侦测影像和追踪影像，以产生人流表单。

图4A至图4B为产生侦测影像的一实施例示意图。如图4A所示，第一影像F1中具有多个行人T1～T8。如图4B所示，在第一侦测影像FA1中具有对应行人T1～T8的位置框D1～D3。例如，神经网络模型对第一影像执行不同程度的压缩，产生多个不同解析度的影像。由于行人影像随着距离影像源视野远近而有不同大小(参考图4A)，影像的压缩程度会与行人影像视野远近的分布有关。压缩程度大的影像主要用于辨识距离影像源视野近的区域，而压缩程度小的影像主要用于辨识距离影像源视野远的区域。接着将不同解析度的影像逐一分割多个区块，并分析不同解析度的影像中各区块的信心值。当信心值大于预设阈值时，则判断有行人。压缩程度大的影像所得出的行人侦测结果大致对应影像源视野近的区域；反之，压缩程度小的影像所得出的行人侦测结果大致对应影像源视野远的区域。

于一实施例，在侦测模块中可视需求进一步设定对影像源所撷取影像的压缩程度，以特定的视野范围内的人流作为有效的侦测结果(例如，由此将视野太远的侦测结果排除)，由此获得所需的人流分布情报，并减少不必要的计算量。

以图4B为例，根据压缩程度将第一影像分为三种不同视野，行人侦测结果产生不同的位置框。例如，行人T1和T2为位置框D1，行人T1和T4为位置框D2，行人T5～T8为位置框D3。位置框(D1,D2,D3)的形式可依照视野远近进一步区分为不同的标记，如图4B所示，视野远的区域的位置框为细线框，视野近的区域的位置框为粗线框。在其他实施例，位置框(D1,D2,D3)的形式可用不同颜色来区分行人影像所在不同视野的位置。由此除了可以取得空间中行人的数量，且可以让使用者对侦测影像的结果更容易判读。产生位置框之后，根据位置框的数量可得到人数。由此方式可增加侦测行人的效率。

图5A至图5C为产生追踪影像的一实施例示意图。前述追踪模块可根据数据集、第一侦测影像、第二影像、以及第一侦测影像和第二影像的像素差产生追踪影像。图5A为第一侦测影像FA1的局部，如图5A所示，行人T3具有对应的位置框D。人流分析系统可针对位置框设定搜寻范围S。搜寻范围S大于位置框D的范围。图5B为第二影像F2的局部，如图5B所示，行人T3在第二影像中移动至不同位置。运算装置根据第一侦测影像、第二影像、第一侦测影像和第二影像的像素差，以产生追踪影像。换言之，利用前一影像的侦测结果、当前影像，以及两者的像素差，以产生追踪影像。图5B为追踪影像FC的局部，如图5C所示，行人T3具有对应的位置框D。由此完成行人影像追踪。相较于只考虑第一侦测影像和第二影像的方式，利用影像间的像素差可提高对影像追踪结果的准确度，换言之，通过像素差这样的影像间差异性信息，可避免受到局部身体特征(例如人头)的变化而影像追踪效果，由此设计可提高对行人影像的追踪。在其他实施例，追踪影像可采用互相关计算(Cross Correlation)或模板匹配(Template Matching)来产生，通过前述方式产生影像间的差异性信息，避免仅依赖侦测影像和影像源的影像使得追踪结果受到局部身体特征的变化而影响，以确保追踪效果。

图6为运算装置的另一实施例示意图。如图6所示，在此实施例，运算装置20除了侦测模块210和追踪模块220，可进一步包含密度估计模块230及储存单元240。侦测模块210、追踪模块220、密度估计模块230分别为运算装置20中执行不同神经网络模型的处理单元。数据集例如包含对应行人分布状况的影像样本。密度估计模块230中具有密度参数。密度估计模块230可根据影像源取得的影像产生密度图。

具体而言，密度图是呈现人群密度分布状态，例如以热点来表示。热点的范围大小代表人群的聚集程度，热点的颜色代表人群的数量。利用密度图呈现空间中行人的分布状态，由此估测出行人分布较紧密的区域，以及行人分布较分散的区域。储存单元240可存有前述的数据集、第一侦测影像、追踪影像以及密度图等数据。于一实施例，于储存单元中可建立行人分布状况的影像样本。在其他实施例中，行人分布状况的影像样本可自已标记行人位置的影像样本转换后而取得，换言之，用于训练密度估计模块230中的神经网络模型的影像样本可以不需预先建立，可减少储存空间。

图7为人流分析方法的另一实施例流程图。如图7所示，与前述流程的差异在于，人流分析方法中增加密度分析的步骤。在步骤S20，运算装置根据数据集和第一影像，以产生密度图。如前所述，运算装置可包含密度估计模块。根据数据集的行人分布状况的影像样本训练另一神经网络模型，并由密度估计模块执行。密度估计模块通过已训练的神经网络模型对第一影像辨识，以产生密度图。

图8A至图8B为产生密度图的一实施例示意图。如图8A所示，在影像F中具有多个行人T1～T8。如图8B所示，在密度图FB中具有对应行人T1～T8的热点H1～H6。在图8B的例子中，热点H1～H6以等高线图表示，等高线轮廓大小随视野远近以及人群的聚集程度而改变。等高线愈密表示该热点的人群密度愈高，聚集更多行人。如图8B所示，行人T1～T5分别对应热点H1～H5。行人T6～T8则对应热点H6，热点H6的等高线分布较其他热点来得密。由此方式，可由密度分析步骤先估计人群的密度与大致的人数分布，再藉由后续侦测与追踪步骤判断人数以及定位行人走向。

图9为运算装置的另一实施例示意图。如图9所示，运算装置20包含侦测模块210、追踪模块220、密度估计模块230、储存单元240、参数调整模块。侦测模块210、追踪模块220、密度估计模块230分别具有一神经网络模型，亦即，侦测模块210、追踪模块220、密度估计模块230分别为运算装置20中执行不同神经网络模型的处理单元。各神经网络模型具有对应的参数。参数调整模块250根据数据集以及来自影像源的影像，以产生相似度信息，并产生对应相似度信息的权值，参数调整模块250根据权值调整参数。

举例而言，侦测模块210中具有侦测参数，追踪模块220中具有追踪参数，密度估计模块230中具有密度参数。数据集为已标记行人位置的影像样本。影像源取得第一影像及第二影像，参数调整模块250根据影像样本产生第一影像和影像样本的相似度信息，类似地，根据影像样本产生第二影像和影像样本的另一相似度信息。按照相似程度产生不同的权值，并依据权值调整前述侦测参数、追踪参数、密度参数。

需注意的是，参数调整模块250对影像源所撷取影像的分析结果与其他处理单元(如侦测模块210、追踪模块220、密度估计模块230)对影像源所撷取影像的分析结果不同。由于实际场景与数据集的影像样本可能有差异，可能影响处理单元(如侦测模块210、追踪模块220、密度估计模块230)对影像源所撷取影像的分析结果的准确性。通过参数调整模块250可因应场景差异以调整各处理单元(如侦测模块210、追踪模块220、密度估计模块230)中的神经网络模型的参数。

图10为人流分析方法的另一实施例流程图。如图10所示，与前述流程的差异在于，人流分析方法中增加参数调整的步骤。在步骤S60，参数调整模块根据数据集以及来自影像源的多个影像(第一影像、第二影像)，以产生相似度信息，并根据相似度信息所得到的权值调整参数。如前所述，运算装置可具有对应不同神经网络模型的侦测参数、追踪参数、密度参数。进一步而言，调整参数的步骤包含：将数据集分别与第一影像及第二影像比较，以产生多个相似度信息。例如，数据集具有多个已标记行人位置的影像样本以及多个对应行人分布状况的影像样本。第一影像与多个已标记行人位置的影像样本逐一比较以产生多个相似度信息。类似地，第二影像可据此得到多个相似度信息。根据不同的相似度信息产生对应的权值，并且由参数调整模块根据权值调整参数。

以人流分析后所得的密度图为例，密度图与多个对应行人分布状况的影像样本逐一比较以产生多个相似度信息。运算装置根据上述相似度信息，产生对应每一相似度信息的权值，并根据权值调整密度估计模块中神经网络模型的密度参数。于一实施例，参数调整模块执行参数调整步骤可设定于运算装置的闲置时间进行。例如，储存单元储存一段时间的影像源对某一场景所撷取的影像后，运算装置于闲置时间调用影像源所撷取的影像与数据集进行相似度运算，以产生不同大小的权值。神经网络模型参数依据权值高低做调整。由此让数据库既有的影像样本能更适应当前场景，以增进行人侦测、行人追踪等分析中的表现。

对于人流分析后所得的密度图而言，于另一实施例，调整参数的步骤包含：运算装置根据数据集、密度图，以产生数个相似度信息。相似度信息包含个数估计值与距离估计值。参数调整模块根据个数估计值与距离估计值产生权值以调整参数。举例而言，前述密度图的相似度信息产生步骤更进一步依据个数估计值与距离估计值来调整。个数估计值表示人流分析结果热点个数与数据集影像样本热点个数的差异。距离估计值表示人流分析结果热点位置与数据集影像样本热点位置的差异。

图11A至图11C为密度图的不同实施例示意图。如图11A所示，密度图FB样本具有热点H1～H3。如图11B所示，人流分析系统的分析结果得到密度图FB1具有热点H11、H21、H31，为方便说明，图11B及图11C中加入图11A的热点位置(以虚线圆圈表示)。图11C呈现人流分析系统的不同分析结果，在图11C中，分析结果得到另一密度图FB2具有热点H12、H22、H321、H322、H323。相较于图11B的结果，图11C的密度图于个数估计值(圆圈的数量)和距离估计值(圆圈的位置)有较大的变异，亦即与数据集的相似程度较低。参数调整模块根据不同相似度信息，产生对应每一相似度信息的权值，并根据权值调整密度估计模块中的神经网络模型的参数。

表1为人流表单的例子。如表1所示，行人侦测结果与行人追踪结果传送至主机。主机根据拍摄场景的行人侦测结果与行人追踪结果，依据不同时间分别记录而产生人流表单。

表1

时间	地点	人数	方向
				08:00AM	场景A	100	往x1
11:00AM	场景A	30	往x2
				13:00PM	场景A	70	往x3

本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已公开的实施例并未限制本发明的范围。相反地，包含于申请专利范围的精神及范围的修改及均等设置均包含于本发明的范围内。

Claims

1.一种人流分析系统，其特征在于，包含：

一影像源，持续取得多个影像，该些影像包含一第一影像及一第二影像；

一运算装置，连接该影像源，该运算装置根据一数据集辨识该第一影像，以产生一第一侦测影像，其中该第一侦测影像具有对应该第一影像的行人的一位置框；该运算装置根据该数据集、该第一侦测影像与该第二影像的差异，以产生一追踪影像，该追踪影像具有对应该第二影像的行人的另一位置框；

一主机，连接该运算装置并根据该第一侦测影像和该追踪影像，以产生一人流表单。

2.如权利要求1所述的人流分析系统，其特征在于，该运算装置包含：

一侦测模块，用以产生该第一侦测影像；

一追踪模块，根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差以产生该追踪影像；以及

一密度估计模块，该密度估计模块根据该数据集和该第一影像，以产生一密度图。

3.如权利要求2所述的人流分析系统，其特征在于，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该参数调整模块根据该数据集以及来自该影像源的该些影像，以产生一相似度信息，并产生对应该相似度信息的一权值，该参数调整模块根据该权值调整该参数。

4.如权利要求3所述的人流分析系统，其特征在于，该相似度信息包含一个数估计值与一距离估计值，该参数调整模块根据该个数估计值与该距离估计值产生该权值，以调整该参数。

5.如权利要求1所述的人流分析系统，其特征在于，该数据集为多个人群影像，每一人群影像中具有对应每一行人的一预设位置框。

6.一种人流分析方法，其特征在于，包含以下步骤：

(A)以一影像源持续取得多个影像，该些影像包含一第一影像及一第二影像；

(B)将该些影像传送至一运算装置，该运算装置根据一数据集辨识该第一影像，以产生一第一侦测影像，该第一侦测影像具有对应该第一影像的行人的一位置框；

(C)以该运算装置根据该数据集、该第一侦测影像与该第二影像的差异，以产生一追踪影像，该追踪影像具有对应该第二影像的行人的另一位置框；

(D)根据该第一侦测影像和该追踪影像，以产生一人流表单。

7.如权利要求6所述的人流分析方法，其特征在于，该运算装置包含一侦测模块、一追踪模块及一密度估计模块，该方法更包含：

以该侦测模块产生该第一侦测影像；

以该追踪模块根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差，以产生该追踪影像；以及

以该密度估计模块根据根据该数据集和该第一影像，以产生一密度图。

8.如权利要求7所述的人流分析方法，其特征在于，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该方法更包含：

以该参数调整模块根据该数据集以及来自该影像源的该些影像，产生一相似度信息；

产生对应该相似度信息的一权值，并根据该权值调整该参数。

9.如权利要求8所述的人流分析方法，其特征在于，该相似度信息包含一个数估计值与一距离估计值，该方法更包含：根据该个数估计值与该距离估计值产生该权值，以调整该参数。