CN111291605A - 人流分析系统及人流分析方法 - Google Patents
人流分析系统及人流分析方法 Download PDFInfo
- Publication number
- CN111291605A CN111291605A CN201910247521.XA CN201910247521A CN111291605A CN 111291605 A CN111291605 A CN 111291605A CN 201910247521 A CN201910247521 A CN 201910247521A CN 111291605 A CN111291605 A CN 111291605A
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- module
- tracking
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005206 flow analysis Methods 0.000 title claims description 31
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims description 32
- 238000010586 diagram Methods 0.000 description 20
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明的人流分析系统及人流分析方法，其中，人流分析系统包含影像源、运算装置、主机。影像源取得第一影像及第二影像。运算装置连接影像源。运算装置根据数据集辨识第一影像，以产生第一侦测影像。第一侦测影像具有对应第一影像的行人的位置框。运算装置根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。主机连接运算装置并根据第一侦测影像和追踪影像，以产生人流表单。
Description
技术领域
本发明是关于一种人流分析系统及人流分析方法；具体而言，本发明是关于区域性的人流分析系统及人流分析方法。
背景技术
随着影像分析技术的进步，有更多的影像分析应用出现。例如运用于卖场、百货公司、店铺等场所进行影像分析、人像侦测等等。根据人流状况可应用于开店设址、行销活动、运输服务等事项的决策。现有的影像分析方法往往需要另外架设不同视角的摄影装置，花费成本较高。整体来说，现有技术对移动中行人的辨识和追踪效果仍有待改进。
发明内容
本发明的一目的在于提供一种人流分析系统及人流分析方法，可达成行人的侦测与追踪。
本发明的一目的在于提供一种人流分析系统及人流分析方法，可依据侦测与追踪结果自动调整参数以改善分析准确度。
本发明的人流分析系统包含影像源、运算装置、主机。影像源系取得第一影像及第二影像。运算装置连接影像源。运算装置根据数据集辨识第一影像，以产生第一侦测影像。第一侦测影像具有对应第一影像的行人的位置框。运算装置根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。主机连接运算装置并根据第一侦测影像和追踪影像，以产生人流表单。
于一实施例中，该运算装置包含：一侦测模块，用以产生该第一侦测影像；一追踪模块，根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差以产生该追踪影像；以及一密度估计模块，该密度估计模块根据该数据集和该第一影像，以产生一密度图。
于一实施例中，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该参数调整模块根据该数据集以及来自该影像源的该些影像，以产生一相似度信息，并产生对应该相似度信息的一权值，该参数调整模块根据该权值调整该参数。
于一实施例中，该相似度信息包含一个数估计值与一距离估计值，该参数调整模块根据该个数估计值与该距离估计值产生该权值，以调整该参数。
于一实施例中，该数据集为多个人群影像，每一人群影像中具有对应每一行人的一预设位置框。
本发明的人流分析方法包含以下步骤：(A)以影像源持续取得多个影像，包含第一影像及第二影像；(B)将多个影像传送至运算装置，运算装置根据数据集辨识第一影像，以产生第一侦测影像，第一侦测影像具有对应第一影像的行人的位置框；(C)以运算装置根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像，追踪影像具有对应第二影像的行人的另一位置框；(D)根据第一侦测影像和追踪影像，以产生人流表单。由此达成对拍摄场景的人流侦测与追踪。
于一实施例中，该运算装置包含一侦测模块、一追踪模块及一密度估计模块，该方法更包含：以该侦测模块产生该第一侦测影像；以该追踪模块根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差，以产生该追踪影像；以及以该密度估计模块根据根据该数据集和该第一影像，以产生一密度图。
于一实施例中，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该方法更包含：以该参数调整模块根据该数据集以及来自该影像源的该些影像，产生一相似度信息；产生对应该相似度信息的一权值，并根据该权值调整该参数。
于一实施例中，该相似度信息包含一个数估计值与一距离估计值，该方法更包含：根据该个数估计值与该距离估计值产生该权值，以调整该参数。
附图说明
图1为本发明人流分析系统的一实施例示意图。
图2为运算装置的一实施例示意图。
图3为人流分析方法的一实施例流程图。
图4A至图4B为产生侦测影像的一实施例示意图。
图5A至图5C为产生追踪影像的一实施例示意图。
图6为运算装置的另一实施例示意图。
图7为人流分析方法的另一实施例流程图。
图8A至图8B为产生密度图的一实施例示意图。
图9为运算装置的另一实施例示意图。
图10为人流分析方法的另一实施例流程图。
图11A至图11C为密度图的不同实施例示意图。
主要元件符号说明：
1 人流分析系统
10,10A 影像源
20,20A 运算装置
30 主机
40 网络
210 侦测模块
220 追踪模块
230 密度估计模块
240 储存单元
250 参数调整模块
D,D1,D2,D3 位置框
F,F1,F2 影像
FA1 侦测影像
FB,FB1,FB2 密度图
FC 追踪影像
H1～H6 热点
S 搜寻范围
T1～T8 行人
具体实施方式
图1为本发明人流分析系统1的一实施例示意图。如图1所示，人流分析系统1包含影像源(10,10A)、运算装置(20,20A)、主机30。影像源(10,10A)持续取得多个影像。影像源是指获取影像以供运算装置做后续处理的装置，例如为摄影装置。举例而言，所述多个影像包含第一影像及第二影像。第一影像及第二影像为不同时间先后取得的影像。运算装置20连接影像源10，运算装置20A连接影像源10A。运算装置(20,20A)例如为嵌入式系统，或是个人电脑。以影像源10和运算装置20为例，运算装置20根据数据集辨识第一影像，以产生第一侦测影像。数据集为具有行人的图档数据，这些图档数据作为影像样本。于一实施例，数据集为已标记行人位置的影像样本。于另一实施例，数据集为多个具有人群的影像，每一人群影像中具有对应每一行人的预设位置框，这些具有人群的影像作为影像样本。利用影像样本训练神经网络模型，通过已训练的神经网络模型对影像源取得的影像进行辨识，以产生第一侦测影像。第一侦测影像具有对应第一影像的行人的位置框。换言之，当辨识第一影像中出现行人时，则会于第一侦测影像对应行人的位置产生位置框。类似地，次一时刻取得的第二影像亦会由运算装置辨识，以产生另一侦测影像。
此外，运算装置20根据数据集、第一侦测影像与第二影像的差异，以产生追踪影像。例如，数据集具有已标记行人位置的影像样本以及该行人于不同时间的影像样本，利用前述影像样本训练另一神经网络模型，通过已训练的神经网络模型对第一侦测影像和第二影像进行辨识，根据两者的差异以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。需注意的是，用以产生侦测影像的神经网络模型与用以产生追踪影像的神经网络模型较佳为不同的神经网络模型。
人流分析系统可包含至少一个影像源。例如图1所示，人流分析系统1包含多个影像源(10,10A)。不同影像源可装设于不同地点，对不同场景进行拍摄。影像源(10,10A)经由运算装置连接主机30。例如图1所示，运算装置通过网络40与主机30连接。主机30根据不同时间所得侦测影像和追踪影像，以产生人流表单。
图2为运算装置20的一实施例示意图。如图2所示，运算装置20包含侦测模块210及追踪模块220。如前所述，人流分析系统通过不同神经网络模型对影像进行分析与追踪。侦测模块210与追踪模块220分别为运算装置20中执行不同神经网络模型的处理单元。运算装置20具有与数据集相关的参数。不同神经网络模型的参数可通过数据集于训练阶段预先调整。例如，侦测模块210中具有侦测参数，而追踪模块220中具有追踪参数。侦测模块210用以产生第一侦测影像。追踪模块220用以产生追踪影像。
图3为人流分析方法的一实施例流程图。如图3所示，人流分析方法包含步骤S10～S70。在步骤S10，以影像源持续取得多个影像。举例而言，所述多个影像包含第一影像和第二影像。在步骤S30，传送第一影像和第二影像至运算装置，运算装置根据数据集辨识第一影像，以产生第一侦测影像，第一侦测影像具有对应第一影像的行人的位置框。第二影像亦由上述方式产生另一侦测影像。
在步骤S50，运算装置根据数据集、第一侦测影像和第二影像的差异，以产生追踪影像。追踪影像具有对应第二影像的行人的另一位置框。在步骤S70，根据第一侦测影像和追踪影像，以产生人流表单。
图4A至图4B为产生侦测影像的一实施例示意图。如图4A所示，第一影像F1中具有多个行人T1～T8。如图4B所示，在第一侦测影像FA1中具有对应行人T1～T8的位置框D1～D3。例如，神经网络模型对第一影像执行不同程度的压缩，产生多个不同解析度的影像。由于行人影像随着距离影像源视野远近而有不同大小(参考图4A)，影像的压缩程度会与行人影像视野远近的分布有关。压缩程度大的影像主要用于辨识距离影像源视野近的区域，而压缩程度小的影像主要用于辨识距离影像源视野远的区域。接着将不同解析度的影像逐一分割多个区块，并分析不同解析度的影像中各区块的信心值。当信心值大于预设阈值时，则判断有行人。压缩程度大的影像所得出的行人侦测结果大致对应影像源视野近的区域；反之，压缩程度小的影像所得出的行人侦测结果大致对应影像源视野远的区域。
于一实施例，在侦测模块中可视需求进一步设定对影像源所撷取影像的压缩程度，以特定的视野范围内的人流作为有效的侦测结果(例如，由此将视野太远的侦测结果排除)，由此获得所需的人流分布情报，并减少不必要的计算量。
以图4B为例，根据压缩程度将第一影像分为三种不同视野，行人侦测结果产生不同的位置框。例如，行人T1和T2为位置框D1，行人T1和T4为位置框D2，行人T5～T8为位置框D3。位置框(D1,D2,D3)的形式可依照视野远近进一步区分为不同的标记，如图4B所示，视野远的区域的位置框为细线框，视野近的区域的位置框为粗线框。在其他实施例，位置框(D1,D2,D3)的形式可用不同颜色来区分行人影像所在不同视野的位置。由此除了可以取得空间中行人的数量，且可以让使用者对侦测影像的结果更容易判读。产生位置框之后，根据位置框的数量可得到人数。由此方式可增加侦测行人的效率。
图5A至图5C为产生追踪影像的一实施例示意图。前述追踪模块可根据数据集、第一侦测影像、第二影像、以及第一侦测影像和第二影像的像素差产生追踪影像。图5A为第一侦测影像FA1的局部，如图5A所示，行人T3具有对应的位置框D。人流分析系统可针对位置框设定搜寻范围S。搜寻范围S大于位置框D的范围。图5B为第二影像F2的局部，如图5B所示，行人T3在第二影像中移动至不同位置。运算装置根据第一侦测影像、第二影像、第一侦测影像和第二影像的像素差，以产生追踪影像。换言之，利用前一影像的侦测结果、当前影像，以及两者的像素差，以产生追踪影像。图5B为追踪影像FC的局部，如图5C所示，行人T3具有对应的位置框D。由此完成行人影像追踪。相较于只考虑第一侦测影像和第二影像的方式，利用影像间的像素差可提高对影像追踪结果的准确度，换言之，通过像素差这样的影像间差异性信息，可避免受到局部身体特征(例如人头)的变化而影像追踪效果，由此设计可提高对行人影像的追踪。在其他实施例，追踪影像可采用互相关计算(Cross Correlation)或模板匹配(Template Matching)来产生，通过前述方式产生影像间的差异性信息，避免仅依赖侦测影像和影像源的影像使得追踪结果受到局部身体特征的变化而影响，以确保追踪效果。
图6为运算装置的另一实施例示意图。如图6所示，在此实施例，运算装置20除了侦测模块210和追踪模块220，可进一步包含密度估计模块230及储存单元240。侦测模块210、追踪模块220、密度估计模块230分别为运算装置20中执行不同神经网络模型的处理单元。数据集例如包含对应行人分布状况的影像样本。密度估计模块230中具有密度参数。密度估计模块230可根据影像源取得的影像产生密度图。
具体而言，密度图是呈现人群密度分布状态，例如以热点来表示。热点的范围大小代表人群的聚集程度，热点的颜色代表人群的数量。利用密度图呈现空间中行人的分布状态，由此估测出行人分布较紧密的区域，以及行人分布较分散的区域。储存单元240可存有前述的数据集、第一侦测影像、追踪影像以及密度图等数据。于一实施例，于储存单元中可建立行人分布状况的影像样本。在其他实施例中，行人分布状况的影像样本可自已标记行人位置的影像样本转换后而取得，换言之，用于训练密度估计模块230中的神经网络模型的影像样本可以不需预先建立，可减少储存空间。
图7为人流分析方法的另一实施例流程图。如图7所示，与前述流程的差异在于，人流分析方法中增加密度分析的步骤。在步骤S20，运算装置根据数据集和第一影像，以产生密度图。如前所述，运算装置可包含密度估计模块。根据数据集的行人分布状况的影像样本训练另一神经网络模型，并由密度估计模块执行。密度估计模块通过已训练的神经网络模型对第一影像辨识，以产生密度图。
图8A至图8B为产生密度图的一实施例示意图。如图8A所示，在影像F中具有多个行人T1～T8。如图8B所示，在密度图FB中具有对应行人T1～T8的热点H1～H6。在图8B的例子中，热点H1～H6以等高线图表示，等高线轮廓大小随视野远近以及人群的聚集程度而改变。等高线愈密表示该热点的人群密度愈高，聚集更多行人。如图8B所示，行人T1～T5分别对应热点H1～H5。行人T6～T8则对应热点H6，热点H6的等高线分布较其他热点来得密。由此方式，可由密度分析步骤先估计人群的密度与大致的人数分布，再藉由后续侦测与追踪步骤判断人数以及定位行人走向。
图9为运算装置的另一实施例示意图。如图9所示，运算装置20包含侦测模块210、追踪模块220、密度估计模块230、储存单元240、参数调整模块。侦测模块210、追踪模块220、密度估计模块230分别具有一神经网络模型，亦即，侦测模块210、追踪模块220、密度估计模块230分别为运算装置20中执行不同神经网络模型的处理单元。各神经网络模型具有对应的参数。参数调整模块250根据数据集以及来自影像源的影像，以产生相似度信息，并产生对应相似度信息的权值，参数调整模块250根据权值调整参数。
举例而言，侦测模块210中具有侦测参数，追踪模块220中具有追踪参数，密度估计模块230中具有密度参数。数据集为已标记行人位置的影像样本。影像源取得第一影像及第二影像，参数调整模块250根据影像样本产生第一影像和影像样本的相似度信息，类似地，根据影像样本产生第二影像和影像样本的另一相似度信息。按照相似程度产生不同的权值，并依据权值调整前述侦测参数、追踪参数、密度参数。
需注意的是，参数调整模块250对影像源所撷取影像的分析结果与其他处理单元(如侦测模块210、追踪模块220、密度估计模块230)对影像源所撷取影像的分析结果不同。由于实际场景与数据集的影像样本可能有差异，可能影响处理单元(如侦测模块210、追踪模块220、密度估计模块230)对影像源所撷取影像的分析结果的准确性。通过参数调整模块250可因应场景差异以调整各处理单元(如侦测模块210、追踪模块220、密度估计模块230)中的神经网络模型的参数。
图10为人流分析方法的另一实施例流程图。如图10所示，与前述流程的差异在于，人流分析方法中增加参数调整的步骤。在步骤S60，参数调整模块根据数据集以及来自影像源的多个影像(第一影像、第二影像)，以产生相似度信息，并根据相似度信息所得到的权值调整参数。如前所述，运算装置可具有对应不同神经网络模型的侦测参数、追踪参数、密度参数。进一步而言，调整参数的步骤包含：将数据集分别与第一影像及第二影像比较，以产生多个相似度信息。例如，数据集具有多个已标记行人位置的影像样本以及多个对应行人分布状况的影像样本。第一影像与多个已标记行人位置的影像样本逐一比较以产生多个相似度信息。类似地，第二影像可据此得到多个相似度信息。根据不同的相似度信息产生对应的权值，并且由参数调整模块根据权值调整参数。
以人流分析后所得的密度图为例，密度图与多个对应行人分布状况的影像样本逐一比较以产生多个相似度信息。运算装置根据上述相似度信息，产生对应每一相似度信息的权值，并根据权值调整密度估计模块中神经网络模型的密度参数。于一实施例，参数调整模块执行参数调整步骤可设定于运算装置的闲置时间进行。例如，储存单元储存一段时间的影像源对某一场景所撷取的影像后，运算装置于闲置时间调用影像源所撷取的影像与数据集进行相似度运算，以产生不同大小的权值。神经网络模型参数依据权值高低做调整。由此让数据库既有的影像样本能更适应当前场景，以增进行人侦测、行人追踪等分析中的表现。
对于人流分析后所得的密度图而言，于另一实施例，调整参数的步骤包含：运算装置根据数据集、密度图，以产生数个相似度信息。相似度信息包含个数估计值与距离估计值。参数调整模块根据个数估计值与距离估计值产生权值以调整参数。举例而言，前述密度图的相似度信息产生步骤更进一步依据个数估计值与距离估计值来调整。个数估计值表示人流分析结果热点个数与数据集影像样本热点个数的差异。距离估计值表示人流分析结果热点位置与数据集影像样本热点位置的差异。
图11A至图11C为密度图的不同实施例示意图。如图11A所示，密度图FB样本具有热点H1～H3。如图11B所示，人流分析系统的分析结果得到密度图FB1具有热点H11、H21、H31，为方便说明，图11B及图11C中加入图11A的热点位置(以虚线圆圈表示)。图11C呈现人流分析系统的不同分析结果，在图11C中，分析结果得到另一密度图FB2具有热点H12、H22、H321、H322、H323。相较于图11B的结果，图11C的密度图于个数估计值(圆圈的数量)和距离估计值(圆圈的位置)有较大的变异，亦即与数据集的相似程度较低。参数调整模块根据不同相似度信息，产生对应每一相似度信息的权值，并根据权值调整密度估计模块中的神经网络模型的参数。
表1为人流表单的例子。如表1所示，行人侦测结果与行人追踪结果传送至主机。主机根据拍摄场景的行人侦测结果与行人追踪结果，依据不同时间分别记录而产生人流表单。
表1
| 时间 | 地点 | 人数 | 方向 |
| 08:00AM | 场景A | 100 | 往x1 |
| 11:00AM | 场景A | 30 | 往x2 |
| 13:00PM | 场景A | 70 | 往x3 |
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已公开的实施例并未限制本发明的范围。相反地，包含于申请专利范围的精神及范围的修改及均等设置均包含于本发明的范围内。
Claims (9)
1.一种人流分析系统，其特征在于，包含：
一影像源，持续取得多个影像，该些影像包含一第一影像及一第二影像；
一运算装置，连接该影像源，该运算装置根据一数据集辨识该第一影像，以产生一第一侦测影像，其中该第一侦测影像具有对应该第一影像的行人的一位置框；该运算装置根据该数据集、该第一侦测影像与该第二影像的差异，以产生一追踪影像，该追踪影像具有对应该第二影像的行人的另一位置框；
一主机，连接该运算装置并根据该第一侦测影像和该追踪影像，以产生一人流表单。
2.如权利要求1所述的人流分析系统，其特征在于，该运算装置包含：
一侦测模块，用以产生该第一侦测影像；
一追踪模块，根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差以产生该追踪影像；以及
一密度估计模块，该密度估计模块根据该数据集和该第一影像，以产生一密度图。
3.如权利要求2所述的人流分析系统，其特征在于，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该参数调整模块根据该数据集以及来自该影像源的该些影像，以产生一相似度信息，并产生对应该相似度信息的一权值，该参数调整模块根据该权值调整该参数。
4.如权利要求3所述的人流分析系统，其特征在于，该相似度信息包含一个数估计值与一距离估计值，该参数调整模块根据该个数估计值与该距离估计值产生该权值，以调整该参数。
5.如权利要求1所述的人流分析系统，其特征在于，该数据集为多个人群影像，每一人群影像中具有对应每一行人的一预设位置框。
6.一种人流分析方法，其特征在于，包含以下步骤：
(A)以一影像源持续取得多个影像，该些影像包含一第一影像及一第二影像；
(B)将该些影像传送至一运算装置，该运算装置根据一数据集辨识该第一影像，以产生一第一侦测影像，该第一侦测影像具有对应该第一影像的行人的一位置框；
(C)以该运算装置根据该数据集、该第一侦测影像与该第二影像的差异，以产生一追踪影像，该追踪影像具有对应该第二影像的行人的另一位置框；
(D)根据该第一侦测影像和该追踪影像，以产生一人流表单。
7.如权利要求6所述的人流分析方法，其特征在于，该运算装置包含一侦测模块、一追踪模块及一密度估计模块，该方法更包含：
以该侦测模块产生该第一侦测影像；
以该追踪模块根据该数据集、该第一侦测影像、该第二影像、该第一侦测影像和该第二影像的像素差，以产生该追踪影像；以及
以该密度估计模块根据根据该数据集和该第一影像，以产生一密度图。
8.如权利要求7所述的人流分析方法，其特征在于，该运算装置包含一参数调整模块，该侦测模块、该追踪模块、该密度估计模块分别具有一神经网络模型，各该神经网络模型具有对应的一参数，该方法更包含：
以该参数调整模块根据该数据集以及来自该影像源的该些影像，产生一相似度信息；
产生对应该相似度信息的一权值，并根据该权值调整该参数。
9.如权利要求8所述的人流分析方法，其特征在于，该相似度信息包含一个数估计值与一距离估计值，该方法更包含：根据该个数估计值与该距离估计值产生该权值，以调整该参数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107144211 | 2018-12-07 | ||
| TW107144211A TWI686748B (zh) | 2018-12-07 | 2018-12-07 | 人流分析系統及人流分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111291605A true CN111291605A (zh) | 2020-06-16 |
Family
ID=70766892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910247521.XA Pending CN111291605A (zh) | 2018-12-07 | 2019-03-29 | 人流分析系统及人流分析方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11017241B2 (zh) |
| CN (1) | CN111291605A (zh) |
| TW (1) | TWI686748B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115526266A (zh) * | 2022-10-18 | 2022-12-27 | 支付宝(杭州)信息技术有限公司 | 模型训练方法和装置、业务预测方法和装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7443002B2 (ja) * | 2019-09-13 | 2024-03-05 | キヤノン株式会社 | 画像解析装置、画像解析方法、及びプログラム |
| TWI793425B (zh) * | 2020-06-18 | 2023-02-21 | 遠東百貨股份有限公司 | 人潮導引系統及其操作方法 |
| TWI771790B (zh) | 2020-11-03 | 2022-07-21 | 財團法人工業技術研究院 | 智慧商店系統及智慧商店方法 |
| CN112541440B (zh) * | 2020-12-16 | 2023-10-17 | 中电海康集团有限公司 | 一种基于视频行人识别的地铁人流网络融合方法及人流预测方法 |
| CN113688747B (zh) * | 2021-08-27 | 2024-04-09 | 国网浙江省电力有限公司双创中心 | 图像中人员目标检测方法、系统、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008138802A1 (en) * | 2007-05-15 | 2008-11-20 | Continental Automotive Gmbh | Device for object detection in an image, and method thereof |
| CN104217245A (zh) * | 2014-08-27 | 2014-12-17 | 高阳 | 基于异构网络的人流轨迹追踪和区域停留时间统计的方法与系统 |
| CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN104992223A (zh) * | 2015-06-12 | 2015-10-21 | 安徽大学 | 基于深度学习的密集人数估计方法 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2626841A1 (en) * | 2005-11-23 | 2007-05-31 | Object Video, Inc. | Object density estimation in video |
| EP2093698A1 (en) * | 2008-02-19 | 2009-08-26 | British Telecommunications Public Limited Company | Crowd congestion analysis |
| TWI492188B (zh) * | 2008-12-25 | 2015-07-11 | Univ Nat Chiao Tung | 利用多攝影機自動偵測與追蹤多目標的方法及系統 |
| CN102334142A (zh) * | 2009-02-24 | 2012-01-25 | 三菱电机株式会社 | 人物追踪装置以及人物追踪程序 |
| US20120047087A1 (en) * | 2009-03-25 | 2012-02-23 | Waldeck Technology Llc | Smart encounters |
| TWI401473B (zh) * | 2009-06-12 | 2013-07-11 | Chung Shan Inst Of Science | 影像式夜間行人偵測系統及方法 |
| US20120135744A1 (en) * | 2009-07-21 | 2012-05-31 | Kota Enterprises, Llc | Systems and methods for generating and managing communication rules associated with geographic locations |
| EP2535843A4 (en) * | 2010-02-10 | 2016-12-21 | Hangzhou Hikvision Digital Tec | METHOD AND SYSTEM FOR POPULATION FLOW STATISTICS |
| TWI408625B (zh) * | 2010-04-15 | 2013-09-11 | Univ Nat Chiao Tung | 車輛追蹤系統及其方法 |
| TW201209728A (en) * | 2010-08-20 | 2012-03-01 | Sunvision Technology Company | Statistical system for recognizing and detecting pedestrians |
| JP6276519B2 (ja) * | 2013-05-22 | 2018-02-07 | 株式会社 日立産業制御ソリューションズ | 人数計測装置および人物動線解析装置 |
| KR101480348B1 (ko) * | 2013-05-31 | 2015-01-09 | 삼성에스디에스 주식회사 | 사람 검출 장치 및 방법과 사람 계수 장치 및 방법 |
| EP3312770B1 (en) * | 2013-06-28 | 2023-05-10 | NEC Corporation | Crowd state recognition device, method, and program |
| AU2013242830B2 (en) * | 2013-10-10 | 2016-11-24 | Canon Kabushiki Kaisha | A method for improving tracking in crowded situations using rival compensation |
| US20160019698A1 (en) * | 2014-07-21 | 2016-01-21 | Florida Atlantic University | Systems and methods for people counting in sequential images |
| JP6650677B2 (ja) * | 2015-02-26 | 2020-02-19 | キヤノン株式会社 | 映像処理装置、映像処理方法、およびプログラム |
| CN106408080B (zh) * | 2015-07-31 | 2019-01-01 | 富士通株式会社 | 运动物体的计数装置及方法 |
| JP2017097510A (ja) * | 2015-11-20 | 2017-06-01 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| US20170161591A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for deep-learning based object tracking |
| US10134146B2 (en) * | 2016-01-14 | 2018-11-20 | RetailNext, Inc. | Detecting, tracking and counting objects in videos |
| US11144761B2 (en) * | 2016-04-04 | 2021-10-12 | Xerox Corporation | Deep data association for online multi-class multi-object tracking |
| CN109313805A (zh) * | 2016-06-22 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理系统、图像处理方法和程序 |
| JP6977730B2 (ja) * | 2016-09-13 | 2021-12-08 | 日本電気株式会社 | 人流推定装置、人流推定方法およびプログラム |
| TWI628623B (zh) * | 2016-11-25 | 2018-07-01 | 國家中山科學研究院 | 全天候熱影像式行人偵測方法 |
| CN110235138B (zh) * | 2016-12-05 | 2023-09-05 | 摩托罗拉解决方案公司 | 用于外观搜索的系统和方法 |
| CN106845383B (zh) * | 2017-01-16 | 2023-06-06 | 腾讯科技（上海）有限公司 | 人头检测方法和装置 |
| US10679428B1 (en) * | 2017-05-26 | 2020-06-09 | Snap Inc. | Neural network-based image stream modification |
| US20190122082A1 (en) * | 2017-10-23 | 2019-04-25 | Motionloft, Inc. | Intelligent content displays |
| US11023707B2 (en) * | 2017-10-27 | 2021-06-01 | Avigilon Corporation | System and method for selecting a part of a video image for a face detection operation |
| CN110096933B (zh) * | 2018-01-30 | 2023-07-18 | 华为技术有限公司 | 目标检测的方法、装置及系统 |
| US11288820B2 (en) * | 2018-06-09 | 2022-03-29 | Lot Spot Inc. | System and method for transforming video data into directional object count |
| CN110675426B (zh) * | 2018-07-02 | 2022-11-22 | 百度在线网络技术（北京）有限公司 | 人体跟踪方法、装置、设备及存储介质 |
| US10970871B2 (en) * | 2018-09-07 | 2021-04-06 | Huawei Technologies Co., Ltd. | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud |
| US10832416B2 (en) * | 2018-09-21 | 2020-11-10 | International Business Machines Corporation | Crowd flow rate estimation |
-
2018
- 2018-12-07 TW TW107144211A patent/TWI686748B/zh active
-
2019
- 2019-03-29 CN CN201910247521.XA patent/CN111291605A/zh active Pending
- 2019-07-08 US US16/504,755 patent/US11017241B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008138802A1 (en) * | 2007-05-15 | 2008-11-20 | Continental Automotive Gmbh | Device for object detection in an image, and method thereof |
| CN104217245A (zh) * | 2014-08-27 | 2014-12-17 | 高阳 | 基于异构网络的人流轨迹追踪和区域停留时间统计的方法与系统 |
| CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN104992223A (zh) * | 2015-06-12 | 2015-10-21 | 安徽大学 | 基于深度学习的密集人数估计方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115526266A (zh) * | 2022-10-18 | 2022-12-27 | 支付宝(杭州)信息技术有限公司 | 模型训练方法和装置、业务预测方法和装置 |
| CN115526266B (zh) * | 2022-10-18 | 2023-08-29 | 支付宝(杭州)信息技术有限公司 | 模型训练方法和装置、业务预测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11017241B2 (en) | 2021-05-25 |
| US20200184229A1 (en) | 2020-06-11 |
| TWI686748B (zh) | 2020-03-01 |
| TW202022706A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291605A (zh) | 人流分析系统及人流分析方法 | |
| US20230117712A1 (en) | Feature density object classification, systems and methods | |
| US11527105B2 (en) | System and method for scalable cloud-robotics based face recognition and face analysis | |
| US9426449B2 (en) | Depth map generation from a monoscopic image based on combined depth cues | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| US9600898B2 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| KR102284096B1 (ko) | 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| Kolar Rajagopal et al. | Exploring transfer learning approaches for head pose classification from multi-view surveillance images | |
| KR20180105876A (ko) | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 | |
| US20140254934A1 (en) | Method and system for mobile visual search using metadata and segmentation | |
| JP2003030667A (ja) | イメージ内で目を自動的に位置決めする方法 | |
| US20160092726A1 (en) | Using gestures to train hand detection in ego-centric video | |
| CN105404884A (zh) | 图像分析方法 | |
| US10163212B2 (en) | Video processing system and method for deformation insensitive tracking of objects in a sequence of image frames | |
| CN110889314B (zh) | 图像处理方法、装置、电子设备、服务器及系统 | |
| JP2017033372A (ja) | 人物認識装置及びそのプログラム | |
| CN112991159B (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
| JP4572175B2 (ja) | 非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラム | |
| CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 | |
| CN106611417B (zh) | 将视觉元素分类为前景或背景的方法及装置 | |
| JP6789676B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN110738137A (zh) | 一种人流量统计方法及装置 | |
| Zulkifley et al. | On improving CAMSHIFT performance through colour constancy approach | |
| JP2019103029A (ja) | 情報処理装置、色補正方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200616 |
|
| WD01 | Invention patent application deemed withdrawn after publication |