CN112861581A - 人数分析方法及其系统 - Google Patents

Abstract

本发明提供一种人数分析方法及其系统。人数分析方法包含影像拍摄步骤及前台分析步骤。影像拍摄步骤包含：由上而下俯拍以取得第一影像，由侧向拍摄以取得第二影像。前台分析步骤包含：前景物体分析，其分析出第一影像中位于感兴趣范围的复数前景物体；人体侦测，其分析第二影像中的人体及人体位置；交集分析，其将人体位置对应至第一影像上，以找出对应人体的前景物体；人数预估，其计算第一影像中，所述前景物体相对感兴趣范围的第一覆盖率，并以第一覆盖率、人体数量、所有前景物体相对感兴趣范围的第二覆盖率，推估人数。借此可推估待拍摄区的人数。

Description

人数分析方法及其系统

技术领域

本发明是有关于一种分析方法及其系统，且尤其是有关一种用于定点的人数分析方法及其系统。

背景技术

在运输系统中，人数统计一直是关键的一环，透过统计自驾接驳车的舱外出入口或公共候车亭等场所的人数，可以提升对营运策略分析的效率，如可协助客运业者依照候车人数多寡来决定发车的动态调配依据。

为了统计人数，有业者发展出以无线传输的连线数量来确认人数，其利用行人身上的手机或其他手持装置的无线信号，通过其范围内的流量大小，以反向推估人数。然而，此类无线信号没有方向性，即，四周围所有发送端都会被接受，而有无法锁定特定区域的缺点。

故有业者采用GPS来计算人数，其利用行人身上的手机或其他手持装置的GPS信号，通过其地理上的定位信息，以反向推估人数。然而，一般商用GPS的精度误差为10米等级，需要通过移动以及历史信息，才可建构出精确的流量状态，而有计算复杂及数据量庞大的缺点。

还有业者采用阻断式光闸来计算人数，其利用红外线、超音波或其他阻断式信号，当有物体经过系统发射端和接收端之间，即可计算人数。然而，此种阻断式光闸设定于定点，若有相连物件一起穿越，则无法区分相连物件的数量，而具有计算不精确的缺点。

是以，更有业者采用影像式的计数方式，其利用影像感测器，并以影像处理方法辨识出目标对象，进而统计数量或流量，其具有不需要限制对象物体即可针对需要的范围进行统计的优点，且不会接收到不需要的杂讯。然而，物件的遮蔽影响与干扰较为严重。

有鉴于此，如何有效地提升人数量测的精确度，遂成相关业者努力的目标。

发明内容

本发明提供一种人数分析方法及其系统，透过分析不同角度的第一影像及第二影像，而能估算人数。

依据本发明的一态样的一实施方式提供一种人数分析方法，其用于分析一待拍摄区的一人数且包含一影像拍摄步骤及一前台分析步骤。影像拍摄步骤包含：由上而下俯拍待拍摄区以取得一第一影像，及由侧向拍摄待拍摄区以取得一第二影像。前台分析步骤包含：进行一前景物体分析、进行一人体侦测、进行一交集分析及进行一人数预估。于前景物体分析中，分析出第一影像中位于一感兴趣范围的复数前景物体；于人体侦测中，分析第二影像中的至少一人体，前述至少一人体具有一人体位置；于交集分析中，将前述至少一人体的人体位置对应至第一影像上，以找出对应前述至少一人体的一前景物体。于人数预估中，计算第一影像中，前述至少一前景物体相对感兴趣范围的一第一覆盖率，并以第一覆盖率、前述至少一人体的数量，及前述复数前景物体相对感兴趣范围的一第二覆盖率，推估待拍摄区的人数。

借此，透过取得不同角度的第一影像及第二影像，并利用二者进行交集分析，可推估待拍摄区的一人数。

依据前述的人数分析方法的复数实施例，其中，可于前台分析步骤中，提供一前台控制单元进行n(w₁)/N＝t(w₂)/T的计算，其中n表示前述至少一人体的数量，N表示人数，t表示第一覆盖率，T表示第二覆盖率，w₁表示第一影像的一第一权重值，w₂表示第二影像的一第二权重值，w₁及w₂均大于0且小于1，且w₁+w₂＝1。

依据前述的人数分析方法的复数实施例，其中，于前台分析步骤中，提供一前台控制单元进行n/N＝t/T的计算，其中n表示至少一人体的数量，N表示人数，t表示第一覆盖率，T表示第二覆盖率。

依据前述的人数分析方法的复数实施例，可还包含一后台分析步骤，当人数大于或等于一阈值时，提供一后台控制单元以一深度学习方式对第二影像进行分析，以计算出一实际人数。

依据前述的人数分析方法的复数实施例，其中，深度学习方式可采用语义分割法。

依据前述的人数分析方法的复数实施例，其中，于后台分析步骤中，可判定第二影像中前述至少一人体的姿态。

依据前述的人数分析方法的复数实施例，其中，于前台分析步骤中，第一影像中感兴趣范围内任一点的一座标为已知，将前述至少一人体的人体位置以二维转三维方式转换为一人体对应座标，以对应至感兴趣范围内的一座标。

依据前述的人数分析方法的复数实施例，其中，于前景物体分析中，每隔一固定时间进行一次拍摄，以取得复数的第一影像，比较复数第一影像，以复数第一影像中的不动者做为一背景，以便自第一影像中分析出前景物体。

依据前述的人数分析方法的复数实施例，其中，于前台分析步骤中，进行一人数分级，当人数落在一第一范围内，为一低等级；当人数超出第一范围但落在一第二范围内，为一中等级；若人数超出第二范围，为一高等级。

依据本发明的另一态样的一实施方式提供一种人数分析系统，其应用如前述的人数分析方法且包含一第一摄影机、一第二摄影机及一前台控制单元。第一摄影机设置于待拍摄区的一上方，以取得第一影像，第二摄影机设置于待拍摄区的一侧方，以取得第二影像；前台控制单元信号连接第一摄影机及第二摄影机，以取得第一影像及第二影像，且前台控制单元包含一前景后景分离模块、一人体分析模块、一交集分析模块及一人数预估模块。前景后景分离模块用以取得第一影像中的前景物体；人体分析模块用以分析第二影像的前述至少一人体及前述至少一人体的人体位置，并计算前述至少一人体的数量；交集分析模块用以将前述至少一人体的人体位置对应至第一影像上，以找出对应前述至少一人体的一前景物体，人数预估模块用以计算待拍摄区的人数。

依据前述的人数分析系统的复数实施例，可还包含一后台控制单元，其信号连接前台控制单元且包含一精算模块，精算模块以一深度学习方式对第二影像进行分析，以计算出一实际人数。其中，当人数大于或等于一阈值时，前台控制单元发出一启动信号予后台控制单元。

依据前述的人数分析系统，其中，深度学习方式采用语义分割法。

依据前述的人数分析系统的复数实施例，其中，后台控制单元还包含一姿态分析模块，其分析第二影像中的前述至少一人体，以判定前述至少一人体的姿态。

附图说明

图1绘示依照本发明一实施例的一种人数分析方法的方块示意图；

图2绘示图1的人数分析方法的步骤流程图；

图3绘示图1的人数分析方法的配置示意图；

图4绘示图1的人数分析方法的一第一影像；

图5绘示图4的第一影像的前景分离图；

图6绘示图1的人数分析方法的一第二影像；

图7绘示图6的第二影像分析结果；

图8绘示图5的第一影像与图7的第二影像的对应结果；以及

图9绘示依照本发明另一实施例的一种人数分析系统的架构示意图。

【符号说明】

100...人数分析方法

110...影像拍摄步骤

120...前台分析步骤

130...后台分析步骤

S01、S02、S03、S04...步骤

S05、S06、S07、S08...步骤

S09、S10...步骤

210...第一摄影机

220...第二摄影机

300...人数分析系统

310...第一摄影机

320...第二摄影机

330...前台控制单元

331...前景背景分离模块

332...人体分析模块

333...交集分析模块

334...人数预估模块

340...后台控制单元

341...精算模块

342...姿态分析模块

A1、A2、A3...前景物体

P1、P2...人体

W1...待拍摄区

Wroi...感兴趣范围

具体实施方式

以下将参照附图说明本发明的实施例。为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，阅读者应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明部分实施例中，这些实务上的细节是非必要的。此外，为简化附图起见，一些已知惯用的结构与元件在附图中将以简单示意的方式绘示；并且重复的元件将可能使用相同的编号或类似的编号表示。

此外，本文中当某一元件(或机构或模块等)“连接”、“设置”或“耦合”于另一元件，可指所述元件是直接连接、直接设置或直接耦合于另一元件，亦可指某一元件是间接连接、间接设置或间接耦合于另一元件，意即，有其他元件介于所述元件及另一元件之间。而当有明示某一元件是“直接连接”、“直接设置”或“直接耦合”于另一元件时，才表示没有其他元件介于所述元件及另一元件之间。而第一、第二、第三等用语只是用来描述不同元件或成分，而对元件/成分本身并无限制，因此，第一元件/成分亦可改称为第二元件/成分。且本文中的元件/成分/机构/模块的组合非此领域中的一般周知、常规或已知的组合，不能以元件/成分/机构/模块本身是否为已知，来判定其组合关系是否容易被技术领域中的通常知识者轻易完成。

请参阅图1，其中图1绘示依照本发明一实施例的一种人数分析方法100的方块示意图。人数分析方法100用于分析一待拍摄区的一人数且包含一影像拍摄步骤110及一前台分析步骤120。

影像拍摄步骤110包含：由上而下俯拍待拍摄区以取得一第一影像，及由侧向拍摄待拍摄区以取得一第二影像。

前台分析步骤120包含：进行一前景物体分析、进行一人体侦测、进行一交集分析及进行一人数预估。于前景物体分析中，分析出第一影像中位于一感兴趣范围的复数前景物体；于人体侦测中，分析第二影像中的至少一人体，前述至少一人体具有一人体位置；于交集分析中，将前述至少一人体的人体位置对应至第一影像上，以找出对应前述至少一人体的一前景物体。于人数预估中，计算第一影像中，前述至少一前景物体相对感兴趣范围的一第一覆盖率，并以第一覆盖率、前述至少一人体的数量，及前述复数前景物体相对感兴趣范围的一第二覆盖率，推估待拍摄区的一人数。

借此，透过取得不同角度的第一影像及第二影像，并利用二者进行交集分析，可推估待拍摄区的一人数。后面将更仔细地说明人数分析方法100的细节。

请参阅图2至图8，并配合图1，其中图2绘示图1的人数分析方法100的步骤流程图，图3绘示图1的人数分析方法100的配置示意图，图4绘示图1的人数分析方法100的一第一影像，图5绘示图4的第一影像的前景分离图，图6绘示图1的人数分析方法100的一第二影像，图7绘示图6的第二影像分析结果，图8绘示图5的第一影像与图7的第二影像的对应结果。

如图3所示，可提供一第一摄影机210，其可设置于一待拍摄区W1的正上方，而能由上而下俯拍待拍摄区W1。另外，可再提供一第二摄影机220，其可设置于待拍摄区W1的侧方，而能由侧向拍摄待拍摄区W1。在本实施例中，待拍摄区W1示例为一公车候车亭，但其他实施例中，待拍摄区亦可以是任一需要分析人数的地点，例如客运站等，而第二摄影机可设置于待拍摄区的任一侧。此外，亦可使用单一摄影机，使其位移以取得所需角度的第一影像或第二影像，本发明不以此为限。

第一摄影机210所拍摄的第一影像如图4所示，可于第一影像中设定一感兴趣范围Wroi，再利用影像处理中的前景背景分离技术，而可如图5所示，分析出前景物体A1、A2、A3。在本实施例中，第一摄影机210可以是每隔一固定时间进行一次拍摄，而取得复数的第一影像，比较此些第一影像，再以此些第一影像中的不动者做为一背景，以便自第一影像中分析出前景物体。

第二摄影机220所拍摄的第二影像如图6所示，其可以利用影像分类器进行判断，而可如图7所示，透过特征撷取，框选出人体P1、P2。在框选出人体P1、P2后，可分析各人体P1、P2的人体位置，例如以图中某点为原点，定出人体P1、P2的相对于原点的座标，之后，可再将人体位置对应至第一影像。

较佳地，第一影像中感兴趣范围Wroi内任一点的一座标为已知，并将人体位置以二维转三维方式转换为一人体对应座标，以对应至感兴趣范围Wroi内的一座标。更详细地说，第一摄影机210事先经过配置，故其所拍摄的第一影像中的任一点的座标与待拍摄区W1的座标对应关系为已知，再透过第二摄影机220的安装高度，将第二影像的人体位置进行转换，转成对应至待拍摄区W1的座标，即可再对应至第一影像。而可如图8所示，找到第一影像中与第二影像的人体P1、P2对应的前景物体A2、A3。

在本文中，覆盖率的计算为：前景物体的像素(pixel)数量/订定范围内的所有像素数量，故第一覆盖率为：前景物体A2、A3所占的像素数量/感兴趣范围Wroi内所有像素数量，第二覆盖率为：前景物体A1、A2、A3所占的像素数量/感兴趣范围Wroi内所有像素数量，即第二覆盖率是指所有前景物体所占的像素数量与感兴趣范围Wroi内所有像素数量的比值。

上述的计算可由一前台控制单元(将于图9论述)进行。换句话说，在计算出第一覆盖率及第二覆盖率后，前台控制单元可进行n/N＝t/T的计算，以取得人数。其中，n表示人体P1、P2的数量，N表示人数，t表示第一覆盖率，T表示第二覆盖率。借此，可由人体P1、P2的数量、第一覆盖率以及第二覆盖率来推估感兴趣范围Wroi的人数。

在其他实施例中，前台控制单元可进行n(w₁)/N＝t(w₂)/T的计算，其中w₁表示第一影像的一第一权重值，w₂表示第二影像的一第二权重值，w₁及w₂均大于0且小于1，且w₁+w₂＝1。在此情况下，前台控制单元可先判断第一影像与第二影像的可信度高低，若第一影像的可信度较高，则使w₂>w₁；反之，若第二影像的可信度较高，则使w₁>w₂，本发明不以此为限。

在进行影像拍摄步骤110及前台分析步骤120后，即可概略得到待拍摄区W1的人数，使用者即可决定是否参考此人数的多寡来进行车辆的调度。在一实施例中，亦可将人数分成低、中、高等三等级，依不同等级进行车辆的配置。

然而，当人数过多时，容易有人体相互遮挡的情况，进而导致第二影像中人体判断的失准。此时，为了更精准的计算人数，人数分析方法100可还包含一后台分析步骤130，当人数大于或等于一阈值时，提供一后台控制单元以一深度学习方式对第二影像进行分析，以计算出一实际人数，若人数有进行分级时，可在人数达到高等级时进行后台分析步骤130。

较佳地，深度学习方式可采用语义分割法，利用强化深度学习的训练方法，对破碎或遮蔽的人体进行训练以辨识出非完整的人，借此可精准的计算出实际人数。

更佳地，于后台分析步骤130中，更可判定第二影像中至少一人体的姿态。在此情况下，后台控制单元可结合其他种类的深度学习进行特殊事件的判断，例如人体的姿态为趴或倒，表示异常，而可发出异常通报，然本发明不限于此。

在进行人数分析方法100时，可如图2所示，进行步骤S01，透过第一摄影机210取得第一影像，再进行步骤S02，对第一影像进分析以判定前景物体A1～A3，而同时可以进行步骤S03，透过第二摄影机220取得第二影像，并进行步骤S04的人体特征撷取，以进入步骤S05，判定人体P1、P2，并取得人体P1、P2的数量及人体位置。

之后，可进行步骤S06的交集分析，将第二影像中的人体位置对应至第一影像中，以找到对应的前景物体A2、A3，并进入步骤S07，使前台控制单元进行人数的计算。

在取得人数后，可先进入步骤S08进行一人数分级，例如人数落在一第一范围内，为一低等级，人数超出第一范围但落在一第二范围内，为一中等级，若人数超出第二范围，则为一高等级。本实施例中，阈值可为第二范围的最大值，因此当步骤S09确认人数达到阈值时，代表为高等级，进入步骤S10，进行高密度人数精算，以取得实际人数。

请参阅图9，其中图9绘示依照本发明另一实施例的一种人数分析系统300的架构示意图。人数分析系统300应用如图1的人数分析方法100且包含第一摄影机310、第二摄影机320及一前台控制单元330。

第一摄影机310设置于待拍摄区的一上方，以取得第一影像，第二摄影机320设置于待拍摄区的一侧方，以取得第二影像；前台控制单元330信号连接第一摄影机310及第二摄影机320，以取得第一影像及第二影像，且前台控制单元330包含一前景背景分离模块331、一人体分析模块332、一交集分析模块333及一人数预估模块334。前景背景分离模块331用以取得第一影像中前景物体；人体分析模块332用以分析第二影像的至少一人体及前述至少一人体的人体位置，并计算至少一人体的数量；交集分析模块333用以将至少一人体的人体位置对应至第一影像上，以找出对应至少一人体的一前景物体，人数预估模块334用以计算待拍摄区的人数。

第一摄影机310及第二摄影机320的配置方式可相当于图3中的第一摄影机210及第二摄影机220，不再赘述。

前景背景分离模块331可先判定背景物体，再使用前景背景分离技术将前景物体分离出来。人体分析模块332中包含基于支持向量机(support vector machine；SVM)的影像分类器。在支持向量机的训练过程中，可先输复数训练样本影像，并使用共生梯度直方图(GO-Histogram of Gradient；GO-HOG)方法，进行HOG梯度运算及共伴矩阵运算，供支持向量机训练，找出超平面以判断人体与非人体。故在前景背景分离模块331中，可先针对取得的第二影像进行共生梯度直方图方法撷取人体的特征，而让支持向量机进行判断。

交集分析模块333中，将人体位置以二维转三维的方式进行转换，而能找出第一影像中对应第二影像人体的前景物体。人数预估模块334则可进行n/N＝t/T或n(w₁)/N＝t(w₂)/T的计算，以取得待拍摄区的人数，并可进一步地将人数进行分级。

人数分析系统300可还包含一后台控制单元340，其信号连接前台控制单元330且包含一精算模块341，精算模块341以一深度学习方式对第二影像进行分析，以计算出一实际人数。其中，当人数大于或等于一阈值时，前台控制单元330发出一启动信号予后台控制单元340。

换而言之，当前台控制单元330的人数预估模块334计算出人数后，若人数达到高等级，即，高于阈值时，前台控制单元330会发出启动信号，后台控制单元340在收到启动信号后，精算模块341才会开始进行分析。

精算模块341中，深度学习方式采用语义分割法。精算模块341以卷积神经网路(Convolutional Neural Networks；CNN)对第二影像进行分析，其透过建构多个卷积层来撷取第二影像的特征，再使用全卷积网路层(Fully Convolutional Networks；FCN)进行处理，以进行语义分割，由于其对于被遮挡或破碎的不完整的人体的影像仍具有一定的辨识能力，而能精确计算出实际人数。

此外，后台控制单元340可还包含一姿态分析模块342，其分析第二影像中的至少一人体，以判定至少一人体的姿态。姿态分析模块342可采用其他种类的深度学习方式，进而可以判定人体的姿态。在其他实施例中，亦可不包含姿态分析模块，不以此为限。

透过上面的实施例可知，本发明具有以下述的优点。

一、透过前台控制单元与后台控制单元的配置方式，可使人数分析系统具有分散式系统的扩充能力。

二、本发明采用前后二阶段分工的方法，当第一阶段在达到特定条件后，再触发第二阶段进行精密运算，可避免全场域搭载深度学习设备造成的效能负担问题，同时可使人数分析方法具有边缘运计算的功能，使资源能达到更有效率的运用。

三、以多个角度进行拍摄，并配合感兴趣范围的限定，能比较交集范围，再由人体位置、数量、第一覆盖率及第二覆盖率等，可以依统计分析的方式评估人数，进而推估人数的分级。

四、后台分析步骤中所采的语意分割可对不完整的人体具有一定的辨识能力，而有助于对开放空间的团体进行计数，且具有较高自由度与精度的人体侦测效能。

五、后台分析步骤可使用其他种类的深度学习进行特殊事件的判断，例如姿态识别等，而能有助于提升人数分析系统及人数分析方法的应用性。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (13)

1.一种人数分析方法，用于分析一待拍摄区的一人数，其特征在于，该人数分析方法包含：

一影像拍摄步骤，包含：

由上而下俯拍该待拍摄区以取得一第一影像；及

由侧向拍摄该待拍摄区以取得一第二影像；以及

一前台分析步骤，包含：

进行一前景物体分析，分析出该第一影像中位于一感兴趣范围的复数前景物体；

进行一人体侦测，分析该第二影像中的至少一人体，该至少一人体具有一人体位置；

进行一交集分析，将该至少一人体的该人体位置对应至该第一影像上，以找出对应该至少一人体的一该前景物体；及

进行一人数预估，计算该第一影像中，该一至少一前景物体相对该感兴趣范围的一第一覆盖率，并以该第一覆盖率、该至少一人体的数量，及该些前景物体相对该感兴趣范围的一第二覆盖率，推估该待拍摄区的该人数。

2.根据权利要求1所述的人数分析方法，其特征在于，于该前台分析步骤中，提供一前台控制单元进行n(w₁)/N＝t(w₂)/T的计算，其中n表示该至少一人体的数量，N表示该人数，t表示该第一覆盖率，T表示该第二覆盖率，w₁表示该第一影像的一第一权重值，w₂表示该第二影像的一第二权重值，w₁及w₂均大于0且小于1，且w₁+w₂＝1。

3.根据权利要求1所述的人数分析方法，其特征在于，于该前台分析步骤中，提供一前台控制单元进行n/N＝t/T的计算，其中n表示该至少一人体的数量，N表示该人数，t表示该第一覆盖率，T表示该第二覆盖率。

4.根据权利要求1所述的人数分析方法，其特征在于，还包含：

一后台分析步骤，当该人数大于或等于一阈值时，提供一后台控制单元以一深度学习方式对该第二影像进行分析，以计算出一实际人数。

5.根据权利要求4所述的人数分析方法，其特征在于，该深度学习方式采用语义分割法。

6.根据权利要求4所述的人数分析方法，其特征在于，于该后台分析步骤中，判定该第二影像中该至少一人体的姿态。

7.根据权利要求4所述的人数分析方法，其特征在于，于该前台分析步骤中，该第一影像中该感兴趣范围内任一点的一座标为已知，将该至少一人体的该人体位置以二维转三维方式转换为一人体对应座标，以对应至该感兴趣范围内的一该座标。

8.根据权利要求1所述的人数分析方法，其特征在于，于该前景物体分析中，每隔一固定时间进行一次拍摄，以取得复数的该第一影像，比较该些第一影像，以该些第一影像中的不动者做为一背景，以便自一该第一影像中分析出该些前景物体。

9.根据权利要求1所述的人数分析方法，其特征在于，于该前台分析步骤中，进行一人数分级，当该人数落在一第一范围内，为一低等级；当该人数超出该第一范围但落在一第二范围内，为一中等级；若该人数超出该第二范围，为一高等级。

10.一种人数分析系统，其特征在于，应用如权利要求1所述的人数分析方法，该人数分析系统包含：

一第一摄影机，设置于该待拍摄区的一上方，以取得该第一影像；

一第二摄影机，设置于该待拍摄区的一侧方，以取得该第二影像；以及

一前台控制单元，信号连接该第一摄影机及该第二摄影机，以取得该第一影像及该第二影像，且该前台控制单元包含：

一前景背景分离模块，用以取得该第一影像中的该些前景物体；

一人体分析模块，用以分析该第二影像的该至少一人体及该至少一人体的该人体位置，并计算该至少一人体的数量；

一交集分析模块，用以将该至少一人体的该人体位置对应至该第一影像上，以找出对应该至少一人体的一该前景物体；及

一人数预估模块，用以计算该待拍摄区的该人数。

11.根据权利要求10所述的人数分析系统，其特征在于，还包含：

一后台控制单元，信号连接该前台控制单元且包含一精算模块，该精算模块以一深度学习方式对该第二影像进行分析，以计算出一实际人数；

其中，当该人数大于或等于一阈值时，该前台控制单元发出一启动信号予该后台控制单元。

12.根据权利要求11所述的人数分析系统，其特征在于，该深度学习方式采用语义分割法。

13.根据权利要求11所述的人数分析系统，其特征在于，该后台控制单元还包含：

一姿态分析模块，分析该第二影像中的该至少一人体，以判定该至少一人体的姿态。

Images