CN107610142A - 依据影像进行人流计数的系统及方法 - Google Patents

Abstract

本发明有关于一种依据影像进行人流计数的系统及方法，尤为一种同时考虑撷取范围内的深度信息及彩色影像的差距以自适应调整的人流计数的系统及方法，主要为通过距离一人行基准面一高度的一三原色深度传感器以俯角在一撷取范围内同时撷取获得二维以及三维影像，并根据一对象于二维以及三维影像中面积重迭的比例值调整一选取阈值来降低阳光对传感器的影响，进而进行高准确度的人流计数。

Description

依据影像进行人流计数的系统及方法

技术领域

本发明有关于一种依据影像进行人流计数的系统及方法，尤为一种同时考虑撷取范围内的深度信息及彩色影像的差距以自适应调整的人流计数的系统及方法。

背景技术

目前现有技术中常见的影像式人流计数技术大致可分为二维影像式、双二维镜头深度感测式与红外线深度影像感测式等三类。其中，二维影像式技术主要是通过对彩色影像进行前后景分离以侦测出前景对象，再对前景对象进行人形或头形判断比对，以进行人流侦测，然而，此种技术的实施在前后景分离步骤时相当容易受限于光影变化的影响而导致准确率下降。其中，双二维镜头深度感测式技术则是通过两组二维镜头对目标区域拍摄影像之间的相位差，来计算区域内各像素点的高度信息以产生立体影像，然而，此种技术的实施将因为目标区域内对象彼此相互遮蔽或是细微光影的变化等因素影响，导致其产生的立体影像破碎或对部份位置无法推算高度信息，进而影响人流计数的精确度。另外，红外线深度影像感测技术则是通过红外线发射器以及接收器来实施，其是计算红外线反射的信息来推估区域内各位置的深度值，较不易受到影子变化的影响，然而，其具有一相当大的弱点，因红外线容易受到阳光干扰，此时红外线深度影像感测技术将难以取得区域内深度值，故此种技术若应用于户外或半户外区域时，其准确率将大幅下降，使得其可用性与适用场域受到限制。

如上所述，先前的影像人流计数技术仍具有许多缺失有待改良。

发明内容

为了改善现有技术中二维影像式、双二维镜头深度感测式与红外线深度影像感测式各自的缺点，本发明提出一种依据影像进行人流计数的方法，其至少包括下列步骤：

通过一三原色深度(RGB-D)传感器在一撷取范围内撷取一深度信息以及一彩色影像，该三原色深度传感器设置于距离一人行基准面一高度的位置并以一俯角朝向该人行基准面进行感测。其中，依据该高度之值以及各像素点位置深度值对该深度信息实施灰阶转换后可以得到该撷取范围内的一三维(3Dimensional)影像，而对该彩色影像实施针对人类视觉可感知部份强化的伽玛校正(Gamma Correction)后可得该撷取范围内的一二维(2Dimensional)影像。

再者，通过自适应高斯混合模型对该三维影像以及该二维影像建模以实施前景分离，将该三维影像以及该二维影像中包含的该人行基准面作为前景分离出来。其中，实施前景分离后，可进一步过滤噪声和前景中的小对象，再对该人行基准面进行连通区域合并，以确立该撷取范围内的可行走路径。

另外，通过边缘侦测在该三维影像及该二维影像中各自标记出位于该人行基准面上的至少一对象的面积，并计算同一对象在该三维影像以及该二维影像中面积重迭的比例值，以是否超出一选取阈值来决定选取该三维影像中的该对象或该二维影像中的该对象做为追踪目标，因为若该撷取范围内受太阳光照射影响较强烈，深度感测取得的深度值可能较为零散或是几乎无法取得，在这种状况下，三维的对象侦测很可能发生侦测缺漏或完全无法进行侦测，故可选择二维影像作为备案。其中，该选取阈值可为一定值或一动态值，例如，该选取阈值范围可介于零至一间，零表示完全选用三维影像中的对象，一表示完全选用二维影像中的对象，而初始的选取阈值可设定为零至一间的任意值，而该选取阈值可以是永久固定地或是可调的，亦或是可依据一天当中的时间区段不同以设定该选取阈值，例如，上午九时至下午三时阳光影响可能较为严重，此时该选取阈值则可设定为较大值，以使系统偏向选择二维影像中的对象进行追踪。

其中，若该对象在该三维影像及该二维影像两者中面积相互重迭的比例值超出一临界范围，其可能代表三维与二维影像的差异过大，或是，若该对象在该三维影像中的面积小于一临界值，可能代表红外线干扰严重，此时，则可以调整该选取阈值以排除阳光干扰所产生的影响。其中，若降低该选取阈值将提升该三维影像中的该对象被选取的机率，升高该选取阈值将提升该二维影像中的该对象被选取的机率。

另外，本方法在该三维影像中进行类椭圆侦测，将通过该撷取范围内的类椭圆对象标记为一人员。

最后，追踪类椭圆侦测到的该人员或自该三维影像及该二维影像中被选取的该对象，当该人员或该对象的行进路径跨越预先在该撷取范围内决定的一基线，则判断有一人经过该撷取范围，故据其增加一人数值。其中，当该人员或被选取的该对象跨越该基线时，则对该人员或该对象实施路径回溯，将该人员或该对象于其行进路径中在该三维影像中高度最高值作为该人员的一人员身高值记录起来。另外，该人员或该对象的行进路径跨越该基线的时间点亦可被记录起来。

对应于本发明的方法，本发明提出一种依据影像进行人流计数的系统，其至少包括：该三原色深度(RGB-D)传感器、一对象侦测模块以及一对象追踪模块。

其中，该三原色深度传感器设置于距离该人行基准面该高度的位置，通过俯角在该撷取范围内撷取影像，包含该深度信息以及一彩色影像。

其中，该对象侦测模块与该三原色深度传感器通信连接，该对象侦测模块根据该深度信息产生该三维影像以及根据该彩色影像产生该二维影像，并分别对该三维影像以及该二维影像实施前景分离，该对象侦测模块在该三维影像及该二维影像中标记出该对象的面积，并计算该对象在该三维影像以及该二维影像中面积重迭的比例值是否超出该选取阈值以决定选取该对象在该三维影像以及该二维影像中的何者，另外，该对象侦测模块在该三维影像中进行类椭圆侦测以决定标记该人员。

其中，该对象追踪模块用以追踪该人员以及被选取的该对象直至其离开该撷取范围，该对象追踪模块可追踪该人员以及被选取的该对象的行进路径是否跨越该撷取范围内的一基线，并据其增加该人数值。当该人员或被选取的该对象跨越该基线时，该对象追踪模块更可对该人员或该对象实施路径回溯，纪录在行进路径中该人员或该对象在该三维影像中高度最高值作为一人员身高值。

其中，该三维影像是由该对象侦测模块依据该高度之值以及各像素点位置深度值来对该深度信息实施灰阶转换而得，而该二维影像是由该对象侦测模块对该彩色影像实施伽玛(Gamma)校正而得。另外，前景分离的实施是由该对象侦测模块通过自适应高斯混合模型对该三维影像以及该二维影像建模以将该人行基准面分离，而实施前景分离后，该对象侦测模块可进行噪声和小对象过滤，再对该撷取范围进行连通区域合并，进而通过边缘侦测找出该对象。

通过本发明的依据影像进行人流计数的系统，可对该撷取范围内在该人行基准面上经过的人流进行计数，而该系统更可以进行自适应调整以选择利用二维或三维影像中的对象来计数，据此，本发明能降低阳光对该系统准确率的影响，克服了现有技术受到场域限制的缺点。

附图说明

图1为本发明系统的三原色深度传感器的一设置情境示意图。

图2为本发明依据影像进行人流计数的方法的步骤流程图。

图3为本发明依据影像进行人流计数的方法的一情境示意图。

图4为本发明依据影像进行人流计数的方法的差异性计算的第一示意图。

图5为本发明依据影像进行人流计数的方法的差异性计算的第二示意图。

1三原色深度传感器

具体实施方式

以下将以实施例结合图式对本发明进行进一步说明，首先请参照图1，其为本发明系统的三原色深度传感器的一设置情境示意图，在此图中，可以见到一三原色深度传感器1设置于一场域的天花板上，该三原色深度传感器1与天花板呈垂直的俯角向下侦测一撷取范围中的人流，该三原色深度传感器1可以持续获取该撷取范围内的彩色影像以及深度信息。

再请参照图2，是本发明依据影像进行人流计数的方法的步骤流程图，其步骤详细分述如下：

步骤S201撷取影像：如图1所示将三原色深度传感器安装于一场域中的天花板或是骑楼上方，距该场域中的人行基准面一定高度，并使该三原色传感器采俯视角度向下对一撷取范围拍摄，以撷取该撷取范围内自上而下的深度信息与二维彩色影像。

步骤S202影像前处理：对象侦测模块对三原色深度传感器取得的影像进行影像前处理，首先，将取得该撷取范围内的深度信息与彩色影像两者位置对齐校正，再通过三原色深度传感器距离取得该撷取范围内人行基准面以及各对象的深度，以将撷取影像中的深度信息转换为灰阶值在0到255之间的灰阶影像，得出一三维影像，另外，对象侦测模块的影像前处理更将二维彩色影像进行伽玛(Gamma)校正，得出一二维影像。

步骤S203三维对象框选及S204二维对象框选：对象侦测模块接着对三维与二维影像分别进行对象侦测，侦测时，先通过自适应式高斯混合模型分别进行背景建模，以分离出该撷取范围中的前景，再对前景进行侵蚀与扩散流程以滤除噪声和前景中占据面积较小的对象，再者，对象侦测模块在前景中进行连通区域侦测，并根据对象在撷取范围中占据的面积以框选出前景中的对象。另外，因三维影像具有深度值的特性，故在三维影像中可再进行类椭圆形状侦测以判断该对象是否为具有头部的人员，其中，若对象侦测模块能在一对象上侦测到类椭圆的头部，则可将对象框的面积缩小至头部的区域，若无法侦测到头部，则还是维持该对象原先框选的区域面积。

步骤S205对象比对：当对象侦测模块在三维影像以及二维影像中皆框选出前景上的对象后，则可开始进行对象比对，以找出三维影像与二维影像中对象框选的面积有相互重迭部分的对象配对组，以进行步骤S206对各个对象配对组进行差异性计算，计算出一对象在三维影像和二维影像中彼此重迭区域的面积(即交集)占该对象配对组面积的联集区域的比例，再进入步骤S207判断差异性是否大于或小于临界值，若重迭区域所占的比例低于一临界值(可能代表二维与三维对象的差异过大)或三维对象的框选面积小于该临界值(可能代表红外线受干扰严重)，此时，进行步骤S208阈值调整，以提升对象的选取阈值，增加二维对象被选取的机率，相反地，若重迭区域所占的比例或三维对象的框选面积高于该临界值，则降低选取阈值，提升三维对象被选取的机率。

步骤S209对象选定：当选取阈值确定后，或差异性并无大于或小于临界值，则该对象侦测模块进行对象选定，若一对象在三维与二维影像中的重迭区域占该对象配对组比例低，则采用二维的该对象，反之则采用三维的该对象。

步骤S210对象追踪：接着将经该对象侦测模块选定的对象以及在二维及三维影像中无重迭的对象交付给对象追踪模块进行对象追踪，对象追踪模块将追踪该些对象在该撷取范围内的行动路径，并进行步骤S211通过跨线侦测追踪该些对象是否跨越该撷取范围内的一基线，当追踪中的对象发生跨越该基线的行为时，则进行步骤S212事件记录，记录该对象跨线的时间和位置以进行计数，并可回溯该对象在该撷取范围内的历史行动路径，以寻找出该对象在历史行动路径中的最大高度值，以记录为该对象的身高值，因为，若对象侦测模块能侦测到一对象具备类椭圆头部，则可直接将其判断为人员，但若在一对象上无法侦测到具备类椭圆头部，但该对象仍可于该撷取范围内移动，其可能仍为一人员，仅因为戴帽或发型等因素使其头部难以被侦测到，而通过本发明，该人员仍可被侦测到并计数为人流。

请参照图3，是本发明依据影像进行人流计数的方法的一情境示意图，其展示一撷取范围受本发明的三原色传感器拍摄下撷取的二维彩色影像与三维深度影像。

再请参照图4，是本发明依据影像进行人流计数的方法的差异性计算的第一示意图，其中，图中左侧上方所示为对象侦测模块于一撷取范围中获取的三维影像，该三维影像中有三个对象面积被框选(以虚线框选)，而图中左侧下方所示为对象侦测模块在同一撷取范围中同时获取的二维影像，该二维影像中则有四个对象面积被框选(以实线框选)，接着，图中右侧上方所示为对象侦测模块将三维影像与二维影像校正迭合，以判断二三维对象是否有重迭配对，此时，可以发现三维影像与二维影像中有三个对象框选的面积有相互重迭部分(惟右下对象在三维影像中并未侦测到)，此即为三个对象配对组，而对象侦测模块将根据各个对象在三维影像与二维影像中重迭的面积比例差异来决定是否调整选取阈值。

请参照图5，是本发明依据影像进行人流计数的方法的差异性计算的第二示意图，其中，对应图4，图中上侧图所示为对象侦测模块于图4的撷取范围中获取的对象配对组的迭合示意图，而对象侦测模块将再计算三个对象配对组中的每一对象配对组彼此重迭(交集)的面积在同一对象配对组于其二维与三维影像中被框选的面积联集的占比，以判断针对同一对象应采用其三维影像或二维影像中的何者，并在选定三维或二维对象后，将选定的此些对象交付对象追踪模块进行追踪，由图中可见，仅有左下方对象重迭面积占比超过选取阈值，故该对象选其在三维影像中的对象，其余皆选取二维对象。

本发明的依据影像进行人流计数的方法及系统可通过上述实施例中的步骤流程以及示意图的方式来实现，然而，应当了解，上述的实施例仅为说明本发明的技术手段而已，并非用以限制本发明的技术范畴。

Claims (14)

1.一种依据影像进行人流计数的方法，其特征在于，至少包括下列步骤：

通过距离一人行基准面一高度的一三原色深度(RGB-D)传感器以俯角在一撷取范围内同时撷取一深度信息以及一彩色影像，再根据该深度信息产生一三维影像以及根据该彩色影像产生一二维影像；

分别对该三维影像以及该二维影像实施前景分离；

在该三维影像及该二维影像中标记出一对象的面积；

计算该对象在该三维影像以及该二维影像中面积重迭的比例值是否超出一选取阈值以选取该对象在该三维影像或该二维影像中的一者；

在该三维影像中进行类椭圆侦测以标记一人员；

追踪该人员或被选取的该对象的行进路径是否跨越该撷取范围内的一基线以增加一人数值。

2.根据权利要求1所述的方法，其特征在于，该选取阈值为可依据时间区段决定的一定值或一动态值。

3.根据权利要求1或2所述的方法，其特征在于，若该对象在该三维影像及该二维影像中面积重迭的比例值超出一临界范围或该对象在该三维影像中的面积小于一临界值，则调整该选取阈值以排除阳光干扰因素，其中，降低该选取阈值将提升选取该三维影像中的该对象的机率，升高该选取阈值将提升选取该二维影像中的该对象的机率。

4.根据权利要求1或2所述的方法，其特征在于，该三维影像是依据该高度之值以及各像素点位置深度值来对该深度信息实施灰阶转换而得，该二维影像是对该彩色影像实施伽玛校正(Gamma Correction)而得。

5.根据权利要求1或2所述的方法，其特征在于，前景分离的实施是通过自适应高斯混合模型对该三维影像以及该二维影像建模以判断该人行基准面。

6.根据权利要求5所述的方法，其特征在于，实施前景分离后将进行噪声和小对象过滤并进行连通区域合并，进而通过边缘侦测找出该对象。

7.根据权利要求1或2所述的方法，其特征在于，当该人员或被选取的该对象跨越该基线时，对该人员或该对象实施路径回溯，纪录在行进路径中该人员或该对象在该三维影像中高度最高值作为一人员身高值。

8.一种依据影像进行人流计数的系统，其特征在于，至少包括：

一三原色深度(RGB-D)传感器，设置于距离一人行基准面一高度的位置，以俯角在一撷取范围内同时撷取一深度信息以及一彩色影像；

一对象侦测模块，根据该深度信息产生一三维影像以及根据该彩色影像产生一二维影像，并分别对该三维影像以及该二维影像实施前景分离，该对象侦测模块在该三维影像及该二维影像中标记出一对象的面积，并计算该对象在该三维影像以及该二维影像中面积重迭的比例值是否超出一选取阈值以选取该对象在该三维影像或该二维影像中的一者，另外，该对象侦测模块在该三维影像中进行类椭圆侦测以标记一人员；以及

一对象追踪模块，追踪该人员以及被选取的该对象的行进路径是否跨越该撷取范围内的一基线以增加一人数值。

9.根据权利要求8所述的系统，其特征在于，该选取阈值为可依据时间区段决定的一定值或一动态值。

10.根据权利要求8或9所述的系统，其特征在于，若该对象在该三维影像及该二维影像中面积重迭的比例值超出一临界范围或该对象在该三维影像中的面积小于一临界值，则该对象侦测模块调整该选取阈值以排除阳光干扰因素，其中，降低该选取阈值将提升选取该三维影像中的该对象的机率，升高该选取阈值将提升选取该二维影像中的该对象的机率。

11.根据权利要求8或9所述的系统，其特征在于，该三维影像是依据该高度之值以及各像素点位置深度值来对该深度信息实施灰阶转换而得，该二维影像是对该彩色影像实施伽玛(Gamma)校正而得。

12.根据权利要求8或9所述的系统，其特征在于，前景分离的实施是该对象侦测模块通过自适应高斯混合模型对该三维影像以及该二维影像建模以判断该人行基准面。

13.根据权利要求12所述的系统，其特征在于，该对象侦测模块实施前景分离后将进行噪声和小对象过滤并进行连通区域合并，进而通过边缘侦测找出该对象。

14.根据权利要求8或9所述的系统，其特征在于，当该人员或被选取的该对象跨越该基线时，该对象追踪模块对该人员或该对象实施路径回溯，纪录在行进路径中该人员或该对象在该三维影像中高度最高值作为一人员身高值。