CN108804987B - 门开闭状态检测方法和装置、以及人流检测系统 - Google Patents

Abstract

本发明提供一种门开闭状态检测方法和装置、以及使用其的人流检测系统。实时取得当前帧和当前帧的规定时间之前的对照帧，将当前帧缩小到预先设定的大小并将对其划分图像块提取各图像块的梯度特征，根据当前帧和对照帧，利用光流法计算当前帧的像素速度图并将其缩小到与当前帧缩小图相同大小，然后计算当前帧的各图像块的权重值，与梯度特征结合而获得带权重的特征，对带权重的特征进行分类，将特征分类结果与通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果，其中，门状态样本库具有各样本图像与门状态的对应关系，门状态检测器的自学习训练通过与上述类似的步骤进行。

Description

门开闭状态检测方法和装置、以及人流检测系统

技术领域

本发明涉及一种门开闭状态检测方法和门开闭状态检测装置，尤其是涉及检测公交车门开闭状态的门开闭状态检测方法和门开闭状态检测装置、以及结合该门开闭状态检测方法和门开闭状态检测装置得到的门状态信息检测人流的人流检测系统。

背景技术

当前，随着城镇化的推进，城市面积逐年增长，城镇人口基数大量增大，民众出行距离不断增加，导致城市交通压力剧增。作为缓解城市交通压力的重要手段，大力发展、优化公共交通事业已迫在眉睫。

通过发展城市公共交通来提高城市交通资源利用效率、有效缓解城市交通拥堵，需要基于大规模的市民出行和客流基础数据进行公共交通的规划优化、设计和调整。在公共交通人流量调查统计方面，过去主要采用人工调查法、压力传感技术统计法、红外传感技术统计法等。但这些方法在实效性、准确性、抗干扰性、普适性以及成本上都或多或少存在一些问题。

近年来，随着计算机图像分析技术的迅猛发展，在公共交通工具车门附近安装摄像元件，采集乘客上下车行为视频，然后通过视频图像技术检测乘客流量计数的方法得到实现。这样的方法在实效性、准确性、抗干扰性、普适性等方面相对于现有方法均得到大幅提高。不过，由于交通工具内环境复杂，处理的信息量较大，对整个系统内的位于交通工具内的前端设备的硬件要求较高。

对此，考虑到乘客只会在车门打开时上下车，为进一步降低成本，可以对交通工具的车门的开关进行检测，在检测到车门打开时进行人流分析用视频数据的采集，而在检测到车门关闭的期间停止人流分析用视频数据的采集。这样，能够减小前端设备处理的数据量，并且前端设备在车门关闭期间能够调用更多的资源进行图像分析，提高人流量分析的处理效率，降低前端设备的成本。

此外，车门开闭状态信息也能够用于公交安全管理上，例如避免在车门未关闭或关紧的状态下公交车行驶等。

针对车门开闭状态的检测，中国专利文献CN 104899880 A公开了一种基于监控视频的公交车辆车门开闭状态自动检测方法。该方法利用视频采集设备采集的车门图像数据，将车辆在发车前的图像帧保存为背景图，并标定检测区域，在标定区域内将采集的实时图像帧和背景图进行对比分析，当图像帧和背景图的灰度差异度和对比差异度均较大时，认为车门处于开启状态；否则判断车门为关闭状态。

发明内容

但是，CN 104899880 A这样的现有技术存在如下问题：

(1)需要选定一个局部区域进行检测，而当该区域例如被乘客等遮挡时，无法准确检测车门开闭状态。

(2)一般来说，选定检测区域时往往会利用车门边缘的黑条，也就是说，一般会在该黑条上选择检测区域，但是公交车型多种多样，有些公交车的车门上未必有这样黑条，此时选择合适的检测区域就变得较为困难，而且同一公交车上后门和前门的情况也大为不同，有时现有技术用在后门能准确检测，但是用到前门就无法准确检测。

(3)现有技术对光照变化较为敏感，而公交车在白天和晚上光照大为不同，但是现有技术中用一种模式去应对多种情况，经常会发生误检测。

本发明鉴于上述现有技术中的问题，目的在于提供一种不需要费劲选择检测区域、能够应对各种应用场景的准确的门开闭状态检测方法和门开闭状态检测装置、以及结合该门开闭状态检测方法和门开闭状态检测装置得到的门状态信息检测人流的人流检测系统。

上述目的可通过以下技术方案实现。

本发明的第一方面是一种门开闭状态检测方法，其根据从摄像机输入的由上述摄像机对门进行拍摄来检测门开闭状态，上述门开闭状态检测方法的特征在于，包括：实时取得待测的当前帧图像的当前帧图像取得步骤；将上述当前帧图像缩小到预先设定的大小的当前帧缩小图的当前帧图像缩小步骤；对上述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取步骤；对提取出的上述当前帧图像的上述梯度特征进行分类的当前帧图像特征分类步骤；和将上述当前帧图像特征分类步骤中得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测步骤，其中，上述门状态样本库具有各样本图像与门状态的对应关系，上述门状态检测器的自学习训练通过如下步骤进行：输入上述样本图像的样本图像输入步骤；将上述样本图像缩小到预先设定的大小的样本缩小图的样本图像缩小步骤；对上述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取步骤；和对提取出的上述样本图像的上述梯度特征进行分类，参照上述门状态样本库中的样本图像与门状态的对应关系得到上述门状态检测器的样本图像特征分类步骤。

本发明的第二方面是一种门开闭状态检测方法，其根据从摄像机输入的由上述摄像机对门进行拍摄来检测门开闭状态，上述门开闭状态检测方法的特征在于，包括：实时取得当前帧图像和当前帧的规定时间之前的对照帧图像的图像取得步骤；将上述当前帧图像缩小到预先设定的大小的当前帧缩小图的当前帧图像缩小步骤；对上述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取步骤；根据上述当前帧图像和上述对照帧图像，计算上述当前帧图像的各图像块的权重值的特征权重计算步骤；结合上述当前帧缩小图的各图像块的上述梯度特征和上述权重值，获得带权重的特征的带权重特征提取步骤；对提取出的上述当前帧图像的上述带权重的特征进行分类的当前帧图像带权重特征分类步骤；和将上述当前帧图像带权重特征分类步骤中得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测步骤，其中，上述门状态样本库具有各样本图像与门状态的对应关系，上述门状态检测器的自学习训练通过如下步骤进行：输入上述样本图像和该样本图像规定时间之前的样本对照图像的样本图像输入步骤；将上述样本图像缩小到预先设定的大小的样本缩小图的样本图像缩小步骤；对上述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取步骤；根据上述样本图像和上述样本对照图像，计算上述样本图像的各图像块的权重值的样本特征权重计算步骤；结合上述样本缩小图的各图像块的上述梯度特征和上述权重值，获得带权重的特征的样本带权重特征提取步骤；和对提取出的上述样本图像的上述带权重的特征进行分类，参照上述门状态样本库中的样本图像与门状态的对应关系得到上述门状态检测器的样本图像特征分类步骤。

本发明的第三方面的门开闭状态检测方法，其特征在于：上述特征权重计算步骤包括：根据上述当前帧图像和上述对照帧图像，利用光流法计算得到表示上述当前帧图像中各像素点的运动速度的像素速度图的速度图计算步骤；将上述像素速度图缩小到与上述当前帧缩小图相同大小的上述规定大小的速度图缩小步骤；和根据缩小后的上述速度图计算上述当前帧图像的各图像块的权重值的权重值计算步骤，并且上述样本特征权重计算步骤包括：根据上述样本图像和上述样本对照图像，利用光流法计算得到表示上述样本图像中各像素点的运动速度的样本图像像素速度图的样本速度图计算步骤；将上述样本图像像素速度图缩小到与上述样本缩小图相同大小的上述规定大小的样本速度图缩小步骤；和根据缩小后的上述样本速度图计算上述样本图像的各图像块的权重值的样本权重值计算步骤。

本发明的第四方面是一种门开闭状态检测装置，其根据从摄像机输入的由上述摄像机对门进行拍摄来检测门开闭状态，上述门开闭状态检测装置的特征在于，包括：实时取得待测的当前帧图像的当前帧图像取得单元；将上述当前帧图像缩小到预先设定的大小的当前帧缩小图的当前帧图像缩小单元；对上述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取单元；对提取出的上述当前帧图像的上述梯度特征进行分类的当前帧图像特征分类单元；和将由上述当前帧图像特征分类单元得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测单元，其中，上述门状态样本库具有各样本图像与门状态的对应关系，利用下述单元进行上述门状态检测器的自学习训练：输入上述样本图像的样本图像输入单元；将上述样本图像缩小到预先设定的大小的样本缩小图的样本图像缩小单元；对上述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取单元；和对提取出的上述样本图像的上述梯度特征进行分类，参照上述门状态样本库中的样本图像与门状态的对应关系得到上述门状态检测器的样本图像特征分类单元。

本发明的第五方面是一种门开闭状态检测装置，其根据从摄像机输入的由上述摄像机对门进行拍摄来检测门开闭状态，上述门开闭状态检测装置的特征在于，包括：实时取得当前帧图像和当前帧的规定时间之前的对照帧图像的图像取得单元；将上述当前帧图像缩小到预先设定的大小的当前帧缩小图的当前帧图像缩小单元；对上述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取单元；根据上述当前帧图像和上述对照帧图像，计算上述当前帧图像的各图像块的权重值的特征权重计算单元；结合上述当前帧缩小图的各图像块的上述梯度特征和上述权重值，获得带权重的特征的带权重特征提取单元；对提取出的上述当前帧图像的上述带权重的特征进行分类的当前帧图像带权重特征分类单元；和将上述当前帧图像带权重特征分类单元中得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测单元，其中，上述门状态样本库具有各样本图像与门状态的对应关系，利用下述单元进行上述门状态检测器的自学习训练：输入上述样本图像和该样本图像规定时间之前的样本对照图像的样本图像输入单元；将上述样本图像缩小到预先设定的大小的样本缩小图的样本图像缩小单元；对上述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取单元；根据上述样本图像和上述样本对照图像，计算上述样本图像的各图像块的权重值的样本特征权重计算单元；结合上述样本缩小图的各图像块的上述梯度特征和上述权重值，获得带权重的特征的样本带权重特征提取单元；和对提取出的上述样本图像的上述带权重的特征进行分类，参照上述门状态样本库中的样本图像与门状态的对应关系得到上述门状态检测器的样本图像特征分类单元。

本发明的第六方面的门开闭状态检测装置，其特征在于：上述特征权重计算单元包括：根据上述当前帧图像和上述对照帧图像，利用光流法计算得到表示上述当前帧图像中各像素点的运动速度的像素速度图的速度图计算单元；将上述像素速度图缩小到与上述当前帧缩小图相同大小的上述规定大小的速度图缩小单元；和根据缩小后的上述速度图计算上述当前帧图像的各图像块的权重值的权重值计算单元，并且上述样本特征权重计算单元包括：根据上述样本图像和上述样本对照图像，利用光流法计算得到表示上述样本图像中各像素点的运动速度的样本图像像素速度图的样本速度图计算单元；将上述样本图像像素速度图缩小到与上述样本缩小图相同大小的上述规定大小的样本速度图缩小单元；和根据缩小后的上述样本速度图计算上述样本图像的各图像块的权重值的样本权重值计算单元。

本发明的第七方面是一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被计算机执行而实现上述的门开闭状态检测方法。

本发明的第八方面是一种人流检测系统，其特征在于：包括人流检测装置和上述的门开闭状态检测装置，上述人流检测装置根据摄像机拍摄的图像检测人流量，在利用上述门开闭状态检测装置得知门从打开变化为关闭的情况下，上述人流检测装置停止进行人流检测，在利用上述门开闭状态检测装置得知门从关闭变化为打开的情况下，上述人流检测装置进行人流检测。

发明效果

根据本发明，能够提供一种不需要费劲选择检测区域、能够应对各种应用场景的准确的门开闭状态检测方法和门开闭状态检测装置、以及结合该门开闭状态检测方法和门开闭状态检测装置得到的门状态信息检测人流的人流检测系统。

附图说明

图1是表示安装了本发明的门开闭状态检测装置100的客车101的示意图。

图2是本发明的实施方式1的功能框图。

图3是本发明的实施方式1的流程图。

图4是本发明的实施方式2的功能框图。

图5是本发明的实施方式2的流程图。

具体实施方式

下面参照附图对本发明的具体实施方式进行说明。

以下的实施方式中，在有必要时为了便于说明而分成多个实施例来描述，但除了特别明确说明的情况之外，它们之间并非无关，其中的一方可以为另一方的一部分或全部变形例、细节、补充说明等。

此外，在以下实施方式中，在提及要素的数字等(包括个数、数值、量、范围等)的情况下，除了特别明确说明的情况和从原理上明显限定为特定数字的情况之外，并不限定于该特定数字，可为特定数字以上或以下。

另外，在以下的实施方式中，其结构要素(包括步骤要素等)除了特别明确说明的情况和从原理上明显理解为是必须的情况之外，都不一定是必须的，并且也可以包括说明书中未明确提及的要素，这无需明言。

同样地，在以下的实施方式中，在提及结构要素等的形状、位置关系等时，除了特别明确说明的情况和从原理上明显地理解为并不可行的情况之外，包括实质上与其形状等近似或类似的要素。这对于上述数值和范围也同样。例如，下文中以检测客车等车辆的车门开关为例进行说明，但不限于此，可以是任何设施的门。

图1是表示安装了本发明的门开闭状态检测装置100的客车101的示意图。如图1所示，在客车101的车门102、103附近各自安装有一个摄像机104、105，摄像机104、105分别对相应的车门及其附近进行拍摄，拍摄到的图像经有线或无线方式传递到门开闭状态检测装置100。图1中门开闭状态检测装置100示意性地表示在车顶，当然可以设置在客车101的任意部位。

图1中仅示出了开门关门检测用的摄像机104、105，未示出人流检测用的摄像机。在基于从上向下俯视车门附近拍摄的图像进行人流分析的情况下，还需要在车门附近另外设置垂直角度的摄像机(图1中未图示)，不过，在能够保证人流检测精度的前提下，当然也可以不另外设置人流检测用摄像机，而是与开门关门检测共用摄像机104、105。并且，图1中也未示出人流检测装置，它可以是另外设置但与门开闭状态检测装置100耦合的装置，也可以与门开闭状态检测装置100设置为一体，或者，它们也可以由同一硬件设备执行存储在存储设备中的不同的软件而实现。

摄像机104、105对车门及其附近进行拍摄，摄像机拍摄的角度没有特别的限制，优选分别以正视或接近正视车门的角度拍摄图像。

<实施方式1>

下面参照图2和图3对本发明实施方式1的门开闭状态检测装置100的门开闭状态检测方法的流程和原理进行说明。

图2是本发明的实施方式1的功能框图。图3是本发明的实施方式1的流程图。

如图2、3所示，首先，在当前帧图像取得步骤S11中，利用当前帧图像取得单元1001实时取得待测的当前帧图像。当前帧图像取得单元1001可以为图1中所示的摄像机104或105。摄像机104或105实时拍摄门状态并采集为视频，将当前帧图像发送给后面的当前帧图像缩小单元1002。由于摄像机拍摄的是车门整体，而不需要特别指定拍摄车门的哪个部位，所以安设容易。

接着，在当前帧图像缩小步骤S12中，利用当前帧图像缩小单元1002将当前帧图像缩小到预先设定的大小的当前帧缩小图。

如上所述，本发明相比现有技术，不选择特定区域进行检测处理，而是对车门整体的图像进行检测处理，而车门整体的图像的分辨率一般较高，存在大量对于判断门开闭状态无用的细节信息，反而会对车门开闭状态的判断产生干扰。本发明将当前帧图像进行缩小处理，保留整体的结构的信息，而忽略掉细节信息。具体缩小比例可以事先设定，比如本实施方式中，当前帧图像的分辨率为160像素×160像素，缩小为48像素×48像素。上述缩小的大小只是一例，可以根据实际情况制定，只要能尽可能保留结构信息且忽略不必要的细节信息即可。

接着，在当前帧图像梯度特征提取步骤S13中，利用当前帧图像梯度特征提取单元1003对当前帧缩小图划分图像块并提取各图像块的梯度特征。

本发明为了提取当前帧缩小图的结构信息，采用HOG(Histogram of OrientedGradient，方向梯度直方图)方法。HOG主要是对局部区域的梯度方向进行计算，然后用直方图来描述，即其是一种图像局部重叠区域的特征描述符。相较于其它特征描述，如颜色特征、类Haar小波特征等，HOG有其独特的优势。首先，HOG特征描述在较小的空间域上能有效克服图像的光学形变和几何形变，因为HOG是对图像局部区域单元的直方图统计。其次，在区域重叠计算及局部区域的归一化等条件下，即使同为关门图像，形状也会发生细微的变化，但是这些细微的差别并不会严重影响检测效果。

在利用HOG方法进行的当前帧图像梯度特征提取步骤S13中，首先将当前帧缩小图划分成各个图像块(例如分为N块，N为自然数)，然后提取各个块状区域的梯度特征，获得N维向量fi,i＝l,2..N，作为图像的整体结构特征。

接着，在当前帧图像特征分类步骤S14中，利用当前帧图像特征分类单元1004对提取出的当前帧图像的梯度特征进行分类。分类可以采用例如SVM(Support VectorMachine，支持向量机)分类器。

最后，在门状态检测步骤S15中，利用门状态检测单元1005将当前帧图像特征分类步骤S14中得到的特征分类结果与预先存储在存储器中的通过门状态样本库训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果。

门状态样本库具有各样本图像与门状态的对应关系，也就是说，门状态样本库存储有大量已知是开门状态还是关门状态的样本图像，利用样本库进行自训练学习。由于公交车上的设备处理能力有限，自训练学习一般在远程服务器上完成，通过手动或者网络同步的方式更新到公交车设备上，当然在公交车本地完成也没有问题。

利用样本库进行的自训练学习的流程与上述检测流程大致相同，具体如下。

首先，在样本图像输入步骤S110中，由样本图像输入单元10010输入样本图像。

接着，在样本图像缩小步骤S120中，利用样本图像缩小单元10020将样本图像缩小到预先设定的大小的样本缩小图。此处的预先设定的大小与上述检测流程中设定的大小一样。本实施方式中，与上述检测流程同样缩小到48像素×48像素。

接着，在样本图像梯度特征提取步骤S130中，利用样本图像梯度特征提取单元10030对样本缩小图划分图像块并提取各图像块的梯度特征。

最后，在样本图像特征分类步骤S140中，利用样本图像特征分类单元10040对提取出的样本图像的梯度特征进行分类，参照门状态样本库中的样本图像与门状态的对应关系得到门状态检测器。

根据本实施方式，不需要费劲选择检测区域，能够应对各种应用场景的准确的门开闭状态检测。

<实施方式2>

下面参照图4和图5对本发明实施方式2的门开闭状态检测装置100的门开闭状态检测方法的流程和原理进行说明。

图4是本发明的实施方式2的功能框图。图5是本发明的实施方式2的流程图。

实施方式2与实施方式1的不同点在于引入了光流法对干扰因素进行进一步排除。如上所述，现有技术存在的问题之一是乘客有可能遮挡车门而导致误检测。由于摄像机与车门相对静止，所以摄像机拍摄车门而得的图像中背景的速度值可以认为为0，而乘客不论如何保持静立不动，肯定会有一定的晃动，即拍摄到的人的部分的像素点存在一定的运动速度。而光流法能够敏感地检测出该运动速度，利用这一点可以将乘客的影响去除。

如图4、5所示，首先，在图像取得步骤S21中，利用图像取得单元实时取得当前帧图像和当前帧的规定时间之前的对照帧图像。对照帧图像用于后面光流法，本实施方式中是取当前帧的上一帧，当然前几帧也没有问题，但是一般不会相隔太远。当拍摄门状态并采集为视频并将当前帧图像发送给后面的当前帧图像缩小单元2002时，其前一帧被缓存起来。

接着，在当前帧图像缩小步骤S22中，利用当前帧图像缩小单元2002将当前帧图像缩小到预先设定的大小的当前帧缩小图。与实施方式1同样，本实施方式中缩小为48像素×48像素。

接着，在当前帧图像梯度特征提取步骤S23中，利用当前帧图像梯度特征提取单元2003对当前帧缩小图划分图像块并提取各图像块的梯度特征。

接着，在特征权重计算步骤S26中，由特征权重计算单元2006根据当前帧图像和对照帧图像，计算当前帧图像的各图像块的权重值。

本实施方式中采用光流法，具体来说，特征权重计算步骤S26包括：速度图计算步骤S26-1、速度图缩小步骤S26-2和权重值计算步骤S26-2。

在速度图计算步骤S26-1中，速度图计算单元2061根据当前帧图像和对照帧图像，利用光流法计算得到表示当前帧图像中各像素点的运动速度的像素速度图。

在速度图缩小步骤S26-2中，速度图缩小单元2062将像素速度图缩小到与当前帧缩小图相同大小的规定大小。本实施方式中，将速度图缩小到48像素×48像素。

在权重值计算步骤S26-3中，权重值计算单元2063根据缩小后的速度图计算当前帧图像的各图像块的权重值。具体来说，根据缩小后的速度图，计算当前帧缩小图中各像素点的权重值。其中，像素点的速度越大，其权重值越小。这是因为，像素点的速度越大，说明其越不可能是车门、背景等相对不动的物体而越可能是乘客等遮挡物，所以其所在位置的特征在所有特征中的重要程度也越低。当前帧的各图像块，可以取该图像块中的代表性的一个像素点(例如，本实施方式中取该图像块的中心点)的速度作为速度，记作PS，则当前帧图像的权重值可以记作wi＝1-PS,i＝l,2..N。

接着，在带权重特征提取步骤S27中，由带权重特征提取单元2007结合当前帧缩小图的各图像块的梯度特征和权重值，获得带权重的特征。具体来说，带权重的特征可以记作gi＝fi*wi,i＝1.2..N。

接着，在当前帧图像带权重特征分类步骤S24中，利用当前帧图像带权重特征分类单元2004对提取出的当前帧图像的带权重的特征进行分类。

最后，在门状态检测步骤S25中，由门状态检测单元2005将当前帧图像带权重特征分类步骤中得到的特征分类结果与预先存储在存储器中的通过门状态样本库训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果。

门状态样本库具有各样本图像与门状态的对应关系，也就是说，门状态样本库存储有大量已知是开门状态还是关门状态的样本图像，利用样本库进行自训练学习。

利用样本库进行的自训练学习的流程与上述检测流程大致相同，具体如下。

首先，在样本图像输入步骤S210中，由样本图像输入单元20010输入样本图像和该样本图像规定时间之前的样本对照图像。

接着，在样本图像缩小步骤S220中，由样本图像缩小单元20020将样本图像缩小到预先设定的大小的样本缩小图。同样，本实施方式中，样本缩小图的大小为48像素×48像素。

接着，在样本图像梯度特征提取步骤S230中，由样本图像梯度特征提取单元20030对样本缩小图划分图像块并提取各图像块的梯度特征。

接着，在样本特征权重计算步骤S260中，由样本特征权重计算单元20060根据样本图像和样本对照图像，计算样本图像的各图像块的权重值。

同样，样本特征权重计算步骤S260包括：样本速度图计算步骤S260-1、样本速度图缩小步骤S260-2和样本权重值计算步骤S260-3。

在样本速度图计算步骤S260-1中，由样本速度图计算单元20061根据样本图像和样本对照图像，利用光流法计算得到表示样本图像中各像素点的运动速度的样本图像像素速度图。

在样本速度图缩小步骤S260-2中，由样本速度图缩小单元20062将样本图像像素速度图缩小到与样本缩小图相同大小的规定大小。本实施方式中，为48像素×48像素。

在样本权重值计算步骤S260-3中，由样本权重值计算单元20063根据缩小后的样本速度图计算样本图像的各图像块的权重值。

接着，在样本带权重特征提取步骤S270中，由样本带权重特征提取单元20070结合样本缩小图的各图像块的梯度特征和权重值，获得带权重的特征。

最后，在样本图像特征分类步骤S240中，由样本图像特征分类单元20040对提取出的样本图像的带权重的特征进行分类，参照门状态样本库中的样本图像与门状态的对应关系得到门状态检测器。

根据本实施方式，不需要费劲选择检测区域，能够应对各种应用场景的准确的门开闭状态检测，而且相比对比文件能够更加准确地检测门开闭状态。

下面用一个实施例与现有例的对比进行说明。

<实施例>

本实施例采用本发明实施方式2的方法流程来检测门开闭状态。现有例采用现有技术(例如CN 104899880A)中的选择特定区域来检测门开闭状态的方法。

为了方便对比，本实施例和现有例的测试视频都为总时长约1.5h，共约43200帧图像，期间共有24次开关门。

视频中，当车门关闭时，包含：(1)6次乘客在车门前晃动，遮挡住部分车门区域的情况；(2)8次阳光直射，导致部分车门区域光线变化的情况。

分别利用本实施例和现有例的方法，对上述视频进行测试，测试结果下面的表1所示。

[表1]

	判断正确的次数	开误判为关的次数	关误判为开的次数
				现有例	22	2	12
实施例	24	0	0

根据表1的测试结果可知，在视频中车门关闭时，出现车门区域遮挡和光线变化的情况，导致现有例中的方法无法对门开闭状态进行正确判断，出现多次错误判断。而本实施例不受遮挡和光线变化的影响，较准确地实现视频中门开闭状态的判断。

以上所述仅是本发明的优选的实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明原理和基础的前提下，还可以做出若干改进、润饰、更换步骤组合等，这些改进、润饰、更换步骤组合等也应该是本发明的保护范围。

本领域技术人员应明白，本发明能够提供为方法、系统、或计算机程序产品。本发明能够完全由硬件实现、完全由软件实现、或结合软件和硬件来实现。而且，本发明能够采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是根据本发明具体实施方式的方法、系统、或计算机程序产品的流程图和/或方框图来描述的。应理解能够由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。能够将这些计算机程序指令提供给通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以实现一个通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也能够存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也能够装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

此外，本发明的门开闭状态检测装置100可以用于人流检测系统，该人流检测系统包括门开闭状态检测装置100和未图示的人流检测装置。人流检测装置根据人流检测用摄像机拍摄的图像检测人流量。在利用门开闭状态检测装置得知门从打开变化为关闭的情况下，人流检测装置停止进行人流检测，在利用门开闭状态检测装置得知门从关闭变化为打开的情况下，人流检测装置进行人流检测。由此，可以提高人流检测系统的检测精度并且减少资源消耗。

工业利用性

本发明的门开闭状态检测装置设置简单，处理开销小，且能够应对各种光照条件，适用性广，尤其适用于公交车门的检测，并且能够配合人流检测装置检测人流，是非常有用的。

Claims (8)

1.一种门开闭状态检测方法，其根据从摄像机输入的由所述摄像机对门进行拍摄来检测门开闭状态，所述门开闭状态检测方法的特征在于，包括：

实时取得待测的当前帧图像的当前帧图像取得步骤；

将所述当前帧图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的当前帧缩小图的当前帧图像缩小步骤；

采用HOG方法对所述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取步骤；

对提取出的所述当前帧图像的所述梯度特征进行分类的当前帧图像特征分类步骤；和

将所述当前帧图像特征分类步骤中得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测步骤，

其中，所述门状态样本库具有各样本图像与门状态的对应关系，

所述门状态检测器的自学习训练通过如下步骤进行：

输入所述样本图像的样本图像输入步骤；

将所述样本图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的样本缩小图的样本图像缩小步骤；

采用HOG方法对所述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取步骤；和

对提取出的所述样本图像的所述梯度特征进行分类，参照所述门状态样本库中的样本图像与门状态的对应关系得到所述门状态检测器的样本图像特征分类步骤。

2.一种门开闭状态检测方法，其根据从摄像机输入的由所述摄像机对门进行拍摄来检测门开闭状态，所述门开闭状态检测方法的特征在于，包括：

实时取得当前帧图像和当前帧的规定时间之前的对照帧图像的图像取得步骤；

将所述当前帧图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的当前帧缩小图的当前帧图像缩小步骤；

采用HOG方法对所述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取步骤；

根据所述当前帧图像和所述对照帧图像，计算所述当前帧图像的各图像块的权重值的特征权重计算步骤；

结合所述当前帧缩小图的各图像块的所述梯度特征和所述权重值，获得带权重的特征的带权重特征提取步骤；

对提取出的所述当前帧图像的所述带权重的特征进行分类的当前帧图像带权重特征分类步骤；和

将所述当前帧图像带权重特征分类步骤中得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测步骤，

其中，所述门状态样本库具有各样本图像与门状态的对应关系，

所述门状态检测器的自学习训练通过如下步骤进行：

输入所述样本图像和该样本图像规定时间之前的样本对照图像的样本图像输入步骤；

将所述样本图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的样本缩小图的样本图像缩小步骤；

采用HOG方法对所述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取步骤；

根据所述样本图像和所述样本对照图像，计算所述样本图像的各图像块的权重值的样本特征权重计算步骤；

结合所述样本缩小图的各图像块的所述梯度特征和所述权重值，获得带权重的特征的样本带权重特征提取步骤；和

对提取出的所述样本图像的所述带权重的特征进行分类，参照所述门状态样本库中的样本图像与门状态的对应关系得到所述门状态检测器的样本图像特征分类步骤。

3.如权利要求2所述的门开闭状态检测方法，其特征在于：

所述特征权重计算步骤包括：

根据所述当前帧图像和所述对照帧图像，利用光流法计算得到表示所述当前帧图像中各像素点的运动速度的像素速度图的速度图计算步骤；

将所述像素速度图缩小到与所述当前帧缩小图相同大小的规定大小的速度图缩小步骤；和

根据缩小后的所述速度图计算所述当前帧图像的各图像块的权重值的权重值计算步骤，并且

所述样本特征权重计算步骤包括：

根据所述样本图像和所述样本对照图像，利用光流法计算得到表示所述样本图像中各像素点的运动速度的样本图像像素速度图的样本速度图计算步骤；

将所述样本图像像素速度图缩小到与所述样本缩小图相同大小的规定大小的样本速度图缩小步骤；和

根据缩小后的所述样本速度图计算所述样本图像的各图像块的权重值的样本权重值计算步骤。

4.一种门开闭状态检测装置，其根据从摄像机输入的由所述摄像机对门进行拍摄来检测门开闭状态，所述门开闭状态检测装置的特征在于，包括：

实时取得待测的当前帧图像的当前帧图像取得单元；

将所述当前帧图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的当前帧缩小图的当前帧图像缩小单元；

采用HOG方法对所述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取单元；

对提取出的所述当前帧图像的所述梯度特征进行分类的当前帧图像特征分类单元；和

将由所述当前帧图像特征分类单元得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测单元，

其中，所述门状态样本库具有各样本图像与门状态的对应关系，

利用下述单元进行所述门状态检测器的自学习训练：

输入所述样本图像的样本图像输入单元；

将所述样本图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的样本缩小图的样本图像缩小单元；

采用HOG方法对所述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取单元；和

对提取出的所述样本图像的所述梯度特征进行分类，参照所述门状态样本库中的样本图像与门状态的对应关系得到所述门状态检测器的样本图像特征分类单元。

5.一种门开闭状态检测装置，其根据从摄像机输入的由所述摄像机对门进行拍摄来检测门开闭状态，所述门开闭状态检测装置的特征在于，包括：

实时取得当前帧图像和当前帧的规定时间之前的对照帧图像的图像取得单元；

将所述当前帧图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的当前帧缩小图的当前帧图像缩小单元；

采用HOG方法对所述当前帧缩小图划分图像块并提取各图像块的梯度特征的当前帧图像梯度特征提取单元；

根据所述当前帧图像和所述对照帧图像，计算所述当前帧图像的各图像块的权重值的特征权重计算单元；

结合所述当前帧缩小图的各图像块的所述梯度特征和所述权重值，获得带权重的特征的带权重特征提取单元；

对提取出的所述当前帧图像的所述带权重的特征进行分类的当前帧图像带权重特征分类单元；和

将所述当前帧图像带权重特征分类单元中得到的特征分类结果与预先存储在存储器中的通过门状态样本库自学习训练得到的门状态检测器中的特征分类进行比对，得到当前的门状态并输出门状态检测结果的门状态检测单元，

其中，所述门状态样本库具有各样本图像与门状态的对应关系，

利用下述单元进行所述门状态检测器的自学习训练：

输入所述样本图像和该样本图像规定时间之前的样本对照图像的样本图像输入单元；

将所述样本图像缩小到预先设定的大小以使得保留整体结构的信息而忽略掉细节信息的样本缩小图的样本图像缩小单元；

采用HOG方法对所述样本缩小图划分图像块并提取各图像块的梯度特征的样本图像梯度特征提取单元；

根据所述样本图像和所述样本对照图像，计算所述样本图像的各图像块的权重值的样本特征权重计算单元；

结合所述样本缩小图的各图像块的所述梯度特征和所述权重值，获得带权重的特征的样本带权重特征提取单元；和

对提取出的所述样本图像的所述带权重的特征进行分类，参照所述门状态样本库中的样本图像与门状态的对应关系得到所述门状态检测器的样本图像特征分类单元。

6.如权利要求5所述的门开闭状态检测装置，其特征在于：

所述特征权重计算单元包括：

根据所述当前帧图像和所述对照帧图像，利用光流法计算得到表示所述当前帧图像中各像素点的运动速度的像素速度图的速度图计算单元；

将所述像素速度图缩小到与所述当前帧缩小图相同大小的规定大小的速度图缩小单元；和

根据缩小后的所述速度图计算所述当前帧图像的各图像块的权重值的权重值计算单元，并且

所述样本特征权重计算单元包括：

根据所述样本图像和所述样本对照图像，利用光流法计算得到表示所述样本图像中各像素点的运动速度的样本图像像素速度图的样本速度图计算单元；

将所述样本图像像素速度图缩小到与所述样本缩小图相同大小的规定大小的样本速度图缩小单元；和

根据缩小后的所述样本速度图计算所述样本图像的各图像块的权重值的样本权重值计算单元。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：

该程序被计算机执行而实现权利要求1～3中任一项所述的门开闭状态检测方法。

8.一种人流检测系统，其特征在于：

包括人流检测装置和权利要求4～6中任一项所述的门开闭状态检测装置，

所述人流检测装置根据摄像机拍摄的图像检测人流量，

在利用所述门开闭状态检测装置得知门从打开变化为关闭的情况下，所述人流检测装置停止进行人流检测，

在利用所述门开闭状态检测装置得知门从关闭变化为打开的情况下，所述人流检测装置进行人流检测。

Images