CN106559647A - 开门关门检测装置和方法、人流检测系统和交通工具 - Google Patents

Abstract

本发明提供一种低成本，并且对摄像机的位置、角度的变化具有较强鲁棒性的开门关门检测装置。其根据从摄像机输入的由摄像机对门进行拍摄而得到的被检测图像来检测门的开关，包括：从摄像机获取门打开时的开门参考图像和门关闭时的关门参考图像的参考图像获取部；检测目标设定部，求取开门参考图像与关门参考图像的差异区域，从差异区域中选择规定大小的区域作为检测目标区域，以关门参考图像中的检测目标区域的图像作为检测目标；以将检测目标区域包括在内的方式设定第一检测区域的第一检测区域设定部；从被检测图像的第一检测区域检测检测目标的目标检测部；和控制部，在目标检测部检测到检测目标的情况下，判断为被检测图像是关门图像。

Description

开门关门检测装置和方法、人流检测系统和交通工具

技术领域

本发明属于视频图像分析和人工智能领域，涉及一种基于图像分析进行开门关门检测的装置和方法，以及使用该装置和方法的人流检测系统和交通工具。

背景技术

当前，随着城镇化的推进，城市面积逐年增长，城镇人口基数大量增大，民众出行距离不断增加，导致城市交通压力剧增。作为缓解城市交通压力的重要手段，大力发展、优化公共交通事业已迫在眉睫。

通过发展城市公共交通来提高城市交通资源利用效率、有效缓解城市交通拥堵，需要基于大规模的市民出行和客流基础数据进行公共交通的规划优化、设计和调整。在公共交通人流量调查统计方面，过去主要采用人工调查法、压力传感技术统计法、红外传感技术统计法等。但这些方法在实效性、准确性、抗干扰性、普适性以及成本上都或多或少存在一些问题。

近年来，随着计算机图像分析技术的迅猛发展，在公共交通工具车门附近安装摄像元件，采集乘客上下车行为视频，然后通过视频图像技术检测乘客流量计数的方法得到实现。这样的方法在实效性、准确性、抗干扰性、普适性等方面相对于现有方法均得到大幅提高。不过，由于交通工具内环境复杂，处理的信息量较大，对整个系统内的位于交通工具内的前端设备的硬件要求较高。

对此，考虑到乘客只会在车门打开时上下车，为进一步降低成本，可以对交通工具的车门的开关进行检测，在检测到车门打开时进行人流分析用视频数据的采集，而在检测到车门关闭的期间停止人流分析用视频数据的采集。这样，能够减小前端设备处理的数据量，并且前端设备在车门关闭期间能够调用更多的资源进行图像分析，提高人流量分析的处理效率，降低前端设备的成本。

针对开门关门的检测，中国专利文献CN 103986906A公开了一种基于监控视频的开门关门检测方法，以被检测房间门关闭时对应的图像帧作为参考帧，根据参考帧获取被检测房间门的背景模型，并利用背景模型对检测视频帧中房间门区域进行背景减法计算得到前景图像，通过提取前景图像的特征直线，然后利用特征直线与背景模型中门缝的水平位置，确定本检测门的开关状态。

发明内容

发明要解决的技术问题

不过，专利文献CN 103986906A的技术需要对整个房间门区域进行检测，再根据门缝位置确定开关状态，因此存在计算处理的资源消耗较大，硬件成本升高的问题。

而且，专利文献CN 103986906A应用于安防监控领域，未考虑到应用于公共交通领域的情况。由于公共交通工具上人员拥挤并且经常存在震动等，因此在采用视频图像分析的方式对公共交通工具的车门开关进行检测的情况下，安装在车门附近、起到视频图像采集作用的摄像机的安装位置、角度等可能会因受到碰撞或震动而发生较大的变动，摄像机所拍摄的图像的位置发生变化，对开关门的检测造成影响。

另外，在安防监控领域中，摄像机所拍摄的图像、视频通常会实时显示在监视器上，监控人员可以定时或根据需要通过监视器查看被监控对象的状况，即使在发生摄像机移动的情况下，也可以随时人为调整。但在公共交通领域中，安装在公共交通工具上的通常为不附带监视器的嵌入式设备，乘务等工作人员无法实时掌握摄像机的状态，并且交通工具运行中工作人员通常无法随时调整摄像机的位置、角度等，因此要求对摄像机的移动有较强的鲁棒性。

解决问题的技术手段

鉴于以上问题，本发明的目的在于提供一种能够实现低成本，并且对摄像机的位置、角度的变化具有较强鲁棒性的开门关门检测装置和方法，以及基于该装置和方法的人流检测系统和交通工具。

上述目的可通过以下技术方案实现。

本发明第一技术方案的开门关门检测装置，根据从摄像机输入的由所述摄像机对门进行拍摄而得到的被检测图像来检测门的开关，包括：从所述摄像机获取门打开时的开门参考图像和门关闭时的关门参考图像的参考图像获取部；检测目标设定部，求取所述开门参考图像与所述关门参考图像的差异区域，从所述差异区域中选择规定大小的区域作为检测目标区域，以所述关门参考图像中的所述检测目标区域的图像作为检测目标；以将所述检测目标区域包括在内的方式设定第一检测区域的第一检测区域设定部；从所述被检测图像的所述第一检测区域检测所述检测目标的目标检测部；和控制部，在所述目标检测部检测到所述检测目标的情况下，判断为所述被检测图像是关门图像。

本发明第二技术方案的开门关门检测方法，根据从摄像机输入的由所述摄像机对门进行拍摄而得到的被检测图像来检测门的开关，包括：检测目标设定步骤，求取从所述摄像机获取的门打开时的开门参考图像与门关闭时的关门参考图像的差异区域，从所述差异区域中选择规定大小的区域作为检测目标区域，以所述关门参考图像中的所述检测目标区域的图像作为检测目标；以将所述检测目标区域包括在内的方式设定第一检测区域的第一检测区域设定步骤；从所述被检测图像的所述第一检测区域检测所述检测目标的第一目标检测步骤；在至少满足从所述第一检测区域没有检测到所述检测目标的条件下，以将所述第一检测区域包括在内的方式设定第二检测区域的第二检测区域设定步骤；和在设定了所述第二检测区域的情况下，从所述第二检测区域检测所述检测目标的第二目标检测步骤，在所述第一目标检测步骤或所述第二目标检测步骤中检测到所述检测目标的情况下，判断为所述被检测图像是关门图像。

本发明第三技术方案的人流检测系统，包括人流检测装置和本发明第一技术方案的开门关门检测装置，所述人流检测装置根据人流检测用摄像机拍摄的图像检测人流量，在所述开门关门检测装置的所述输出部向所述人流检测装置输出了表示门从打开变化为关闭的消息的情况下，所述人流检测装置停止所述人流检测用摄像机的拍摄，在所述开门关门检测装置的所述输出部向所述人流检测装置输出了表示门从关闭变化为打开的消息的情况下，所述人流检测装置开始所述人流检测用摄像机的拍摄。

本发明第四技术方案的交通工具，包括本发明第一技术方案的开门关门检测装置或本发明第三技术方案的人流检测系统。

发明效果

根据本发明，可提供一种能够实现低成本，并且对摄像机的位置、角度的变化具有较强鲁棒性的开门关门检测装置和方法，以及基于该装置和方法的人流检测系统和交通工具。

附图说明

图1是表示安装了本发明的开门关门检测装置100的客车101的示意图。

图2是说明摄像机对车门及附近的拍摄状况的图，其中，图2(a)和图2(b)分别示意性地表示了车门开和关的状态。

图3是表示本发明实施方式1的开门关门检测装置100的开门关门检测流程的流程图。

图4(a)～图4(i)是说明本发明的开门关门检测装置100的开门关门检测原理的示意图。

图5是表示在R3区域中搜索检测目标T的过程的示意图。

图6是表示变形例1的开门关门检测流程的流程图。

图7是表示变形例2的开门关门检测流程的流程图。

图8是表示本发明实施方式1的开门关门检测装置100的结构的模块图。

具体实施方式

下面参照附图对本发明的具体实施方式进行说明。

以下的实施方式中，在有必要时为了便于说明而分成多个实施例来描述，但除了特别明确说明的情况之外，它们之间并非无关，其中的一方可以为另一方的一部分或全部变形例、细节、补充说明等。

此外，在以下实施方式中，在提及要素的数字等(包括个数、数值、量、范围等)的情况下，除了特别明确说明的情况和从原理上明显限定为特定数字的情况之外，并不限定于该特定数字，可为特定数字以上或以下。

另外，在以下的实施方式中，其结构要素(包括步骤要素等)除了特别明确说明的情况和从原理上明显理解为是必须的情况之外，都不一定是必须的，并且也可以包括说明书中未明确提及的要素，这无需明言。

同样地，在以下的实施方式中，在提及结构要素等的形状、位置关系等时，除了特别明确说明的情况和从原理上明显地理解为并不可行的情况之外，包括实质上与其形状等近似或类似的要素。这对于上述数值和范围也同样。例如，下文中以检测客车等车辆的车门开关为例进行说明，但不限于此，可以是任何设施的门。

图1是表示安装了本发明的开门关门检测装置100的客车101的示意图。如图1所示，在客车101的车门102、103附近各自安装有一个摄像机104、105，摄像机104、105分别对相应的车门及其附近进行拍摄，拍摄到的图像经有线或无线方式传递到开门关门检测装置100。图1中开门关门检测装置100示意性地表示在车顶，当然可以设置在客车101的任意部位。

图1中仅示出了开门关门检测用的摄像机104、105，未示出人流检测用的摄像机。在基于从上向下俯视车门附近拍摄的图像进行人流分析的情况下，还需要在车门附近另外设置垂直角度的摄像机(图1中未图示)，不过，在能够保证人流检测精度的前提下，当然也可以不另外设置人流检测用摄像机，而是与开门关门检测共用摄像机104、105。并且，图1中也未示出人流检测装置，它可以是另外设置但与开门关门检测装置100耦合的装置，也可以与开门关门检测装置100设置为一体，或者，它们也可以由同一硬件设备执行存储在存储设备中的不同的软件而实现。

摄像机104、105对车门及其附近进行拍摄，摄像机拍摄的角度没有特别的限制，优选分别以正视或接近正视车门的角度拍摄图像。在以下说明中，将仅针对摄像机104、105中的一个——例如摄像机104——进行说明，不过另一个也是同样的。

图2是说明摄像机对车门及附近的拍摄状况的图，其中，图2(a)和图2(b)分别示意性地表示了车门开和关的状态。图中阴影部分201表示车门附近站立的乘客，实线所示的方框表示摄像机104的拍摄区域202。拍摄区域202至少包括门区域203的一部分，考虑到车门附近的乘客201会占据车门区域下部至中部甚至上部的部分区域，为了避免乘客对开门关门的检测造成影响，拍摄区域202主要包括门区域203的上部，例如，优选门区域203的上部1/2的区域占据拍摄区域202的80％以上。

实施方式1

下面参照图3并结合图4(a)～图4(i)对本发明实施方式1的开门关门检测装置100的开门关门检测流程和原理进行说明。

图3是表示本发明实施方式1的开门关门检测装置100的检测方法的流程图。图4(a)～图4(i)是说明本发明的开门关门检测装置100的开门关门检测原理的示意图。

其中，图4(a)是表示门打开时摄像机104拍摄到的图像的示意图，图4(b)表示门关闭时摄像机104拍摄到的图像的示意图。这里，图4(a)和图4(b)分别作为预先拍摄的开门参考图像和关门参考图像，可以在设备安装调试时拍摄，应当尽量减少图像拍摄时的外部干扰，优选确保这两幅参考图像中仅存在门开关的区别。

开门关门检测流程中首先执行初始化处理，例如，在步骤S301中，从摄像机104获取如图4(a)和图4(b)所示的开门参考图像和关门参考图像，通过对两参考图像逐像素相减，得到两图像之间的差分图像，检测出关门参考图像中的与开门参考图像存在差异的差异区域，例如图4(b)中的虚线所示的R1区域。

接着，在步骤S302中，如图4(b)所示，从关门参考图像的R1区域中选择一定大小的区域R2，以该关门参考图像中的区域R2这一部分的图像作为开门关门检测的检测目标T。即，若被检测图像中存在检测目标T，则认为该被检测图像是关门图像，若不存在检测目标T，则可以认为该被检测图像是开门图像，当然也可以如后文所述执行进一步的处理后再给出结论。这里，区域R2的选取确保检测目标T能够体现关门图像与开门图像的差异即可，优选但不限定为矩形区域，中心坐标位于(x2，y2)，长宽分别为Δx₂和Δy₂。

并且，计算检测目标T的特征H_T，作为在检测是否存在检测目标T时使用的指标。其中，关于特征H_T，可以考虑使用梯度方向直方图特征(HOG)，HOG主要是对局部区域的梯度方向进行计算，然后用直方图来描述，即其是一种图像局部重叠区域的特征描述符。相较于其它特征描述，如颜色特征、类Haar小波特征等，HOG有其独特的优势。首先，HOG特征描述在较小的空间域上能有效克服图像的光学形变和几何形变，因为HOG是对图像局部区域单元的直方图统计。其次，在区域重叠计算及局部区域的归一化等条件下，即使同为关门图像，形状也会发生细微的变化，但是这些细微的差别并不会严重影响检测效果。

然后，在步骤S303中，如图4(c)所示，以包含区域R2在内的方式选取区域R3作为第一目标检测区域。同样地，区域R3也优选但不限定为矩形区域，中心坐标位于(x3，y3)，长宽分别为Δx₃和Δy₃。此处，区域R3的中心坐标可以与区域R2相同，也可以不同，Δx₃和Δy₃与Δx₂和Δy₂的关系可以考虑摄像机104的安装方式、车辆的震动状况等适当决定。例如，图4(c)表示了(x2，y2)＝(x3，y3)，Δx₃＝3Δx₂，Δy₃＝3Δy₂的例子。

至此，可以认为开门关门检测装置100的初始化处理(S301～S303)已经完成。该初始化处理可以仅在开门关门检测装置100安装时执行一次，并将得到的关于检测目标T、特征H_T以及区域R3的数据(包括上述中心坐标、长宽等)存储起来，并在运行过程中更新，每次启动后直接调用所存储的数据。但该初始化处理也可以在开门关门检测装置100每次启动时都执行，这时，图4(a)和图4(b)所示的参考图像可以在每次初始化时重新拍摄，根据重新拍摄的参考图像获得关于检测目标T、特征H_T以及区域R3的数据。

在初始化处理完成后，步骤S304中，开门关门检测装置100以预定的频率从摄像机104获取该摄像机104拍摄的被检测图像，根据拍摄到的被检测图像判断门的开关。这里，预定的频率例如可以是每秒一帧或数帧，当然也可以接收摄像机104所拍摄的全部帧的图像。

在步骤S305中，例如，在接收到如图4(d)或图4(e)所示的被检测图像时，从被检测图像的第一目标检测区域R3中搜索检测目标T。具体而言，如图5所示，对于被检测图像的第一目标检测区域R3，例如从左上角起以(ΔL_x，ΔL_y)为步长计算包含在区域R3内的所有的长宽分别为Δx₂和Δy₂的矩形区域的特征H，比较该特征H与特征H_T的关系。在存在二者之间的差异为预定的目标判定阈值以下的区域的情况下，步骤S306的结果为检测到检测目标T，即如图4(e)所示，区域R3中存在目标T，判断为当前的被检测图像为门关闭时的图像。这里的目标判定阈值可以根据具体情况设定，或者根据统计结果而设定。

这时，在步骤S307中，判断是否存在前一次也就是前一个从摄像机104获取的被检测图像。在存在前一个被检测图像的情况下，在步骤S308中，获取前一个被检测图像的检测结果。这里的关于前一个被检测图像的判断结果是例如在上一个被检测图像判断过程中保存在存储器中的。

若前一个被检测图像的检测结果为开门图像，则认为发生了车门从打开变化为关闭的事件，这时，可以在步骤S309中向外部输出表示检测到门从打开变化为关闭的消息，例如在输出到人流检测装置的情况下，人流检测装置根据该消息停止人流检测用数据的采集，将更多的资源分配到人流检测分析上。接着，在步骤S310中将判断结果“关门”保存起来，返回步骤S304从摄像机104获取下一被检测图像。

如果步骤S307中判断为不存在前一个被检测图像，或者步骤S308中判断为前一个被检测图像为关门图像，则不向外部输出消息，而是经步骤S310后返回步骤S304从摄像机104获取下一被检测图像。

另外，在不存在上述特征H与特征H_T二者之间的差异为预定的目标判定阈值以下的区域的情况下，步骤S306的结果为没有检测到目标T，即如图4(d)所示，区域R3中不存在检测目标T。

这时，在步骤S311中，判断是否存在前一次也就是前一个从摄像机104获取的被检测图像。在存在前一个被检测图像的情况下，在步骤S312中，获取前一个被检测图像的检测结果。

在前一个被检测图像的检测结果为关门图像，或步骤S311中判断为不存在前一个从摄像机104获取的被检测图像的情况下，认为发生了车门从关闭变化为打开的事件，这时，在步骤S313中对时间t开始计时，同时可以向外部输出表示检测到门从关闭变化为打开的消息，例如在输出到人流检测装置的情况下，人流检测装置根据该消息开始人流检测用数据的采集。接着，在步骤S314中将判断结果“开门”保存起来，返回步骤S304从摄像机104获取下一被检测图像。

如果步骤S312中获取的前一个被检测图像的检测结果为开门图像，则在步骤S315中判断时间t是否为预定的阈值T_t1以上，即是否满足t≥T_t1。这里的阈值T_t1是根据车辆每次开门时的门保持打开的平均时间预先确定的开门时间上限值，可认为若开门时间超过该开门时间上限值属于异常情况。另外，平均时间是根据车辆运行的路线、时间段等的历史统计数据预先计算的值。

此处，在步骤S315判断为否，即不满足t≥T_t1的情况下，不进行特别的处理，经步骤S314返回步骤S304从摄像机104获取下一被检测图像。

在步骤S315判断为是，即满足t≥T_t1的情况下，判断为门保持打开的时间已达到异常。这时，考虑摄像机104可能发生位置、角度的变化。例如，在当前被检测图像是如图4(f)所示的图像的情况下，车门事实上已经关闭，但由于摄像机104的角度因某种原因发生变化，导致检测目标T的位置移动到R2’，不再存在于图4(f)的R3区域，从而在上述步骤S306中无法检测到检测目标T。

接着，在步骤S316中，对于当前的被检测图像，如图4(f)所示，以包含区域R3在内的方式选取区域R4作为第二目标检测区域。同样地，区域R4也优选但不限定为矩形区域，中心坐标位于(x4，y4)，长宽分别为Δx₄和Δy₄。此处，区域R4的中心坐标可以与区域R3相同，也可以不同，Δx₄和Δy₄与Δx₃和Δy₃的关系可以考虑摄像机104的安装方式、车辆的震动状况等适当决定。例如，图4(f)表示了(x4，y4)＝(x3，y3)，Δx₄＝2Δx₃，Δy₄＝2Δy₄的例子，但并不限定于此，R4区域在极限情况下也可以考虑选择被检测图像的整个区域。

然后，在步骤S317中，从被检测图像的第二目标检测区域R4搜索检测目标T。具体而言，与第一目标检测区域R3同样地，对于被检测图像的第二目标检测区域R4，例如从左上角起以(ΔL_x，ΔL_y)为步长计算包含在区域R4内的所有的长宽分别为Δx₂和Δy₂的矩形区域的特征H，比较该特征H与特征H_T的关系。在存在二者之间的差异为预定的目标判定阈值以下的区域的情况下，步骤S318的判断结果为检测到检测目标T，即如图4(f)所示，检测目标T移动后的区域R2’位于R4中，判断为当前的被检测图像为门关闭时的图像。

接着，在步骤S319中，根据步骤S303中的区域R2与区域R3的相对关系，以移动后的区域R2’为基准，生成新的第一目标检测区域R3’，例如，在图4(g)所示的例子中，由于检测目标T的区域R2’的中心坐标变化到(x2’，y2’)，所以新的第一目标检测区域R3’的中心坐标变化为(x3’，y3’)＝(x2’，y2’)，长宽仍然保持为Δx₃和Δy₃。使用该生成的新的第一目标检测区域R3’更新第一目标检测区域R3供此后的处理中使用。

之后，处理转移到步骤S309，向外部输出表示检测到门从打开变化为关闭的消息，接着经步骤S310返回步骤S304从摄像机104获取下一被检测图像。

另外，在步骤S318中，在第二目标检测区域R4中没有检测到检测目标T的情况下，即，如图4(h)所示，在检测目标T移动到区域R2”并且该区域R2”不存在于区域R4中的情况下，可以认为摄像机104的位置、角度的变化过大，需要人工干预，因此可以如步骤S320所示，向服务器或者向车辆上的乘务发出警报，并停止开门关门检测。

根据以上所述的本发明实施方式1的开门关门检测装置100的开门关门检测流程，由于仅在被检测图像的第一目标检测区域R3对检测目标T进行搜索，而无需在被检测图像的整个图像中进行搜索，所以能够减轻处理器的压力，降低车辆上安装的前端设备的成本。另外，在检测到门保持打开的时间长于预定的开门时间上限值的情况下，将检测目标T的搜索区域从第一目标检测区域R3扩大到第二目标检测区域R4，当在区域R4中检测到目标T(位于移动后的R2’)时，以该R2’区域为基准重新生成新的第一目标检测区域R3’。从而，即使在摄像机的位置、角度发生变化的情况下，也能够通过更新第一目标检测区域加以应对，无需监控设备监视车门的状况，无需工作人员的人工调整，对摄像机的位置、角度变化具有较强的鲁棒性。此外，在本发明实施方式1中，也可以省去步骤S315～S320的处理，即，在步骤S312中获取的前一个被检测图像的检测结果为开门图像的情况下，直接经步骤S314返回步骤S304。这样的情况下，虽然无法应对摄像机的位置、角度的变化，但如上所述，由于仅在R3区域中搜索检测目标T，能够实现成本的降低。

另外，上述本发明实施方式1的开门关门检测装置100的开门关门检测流程可以具有以下变形例。

变形例1

在上述实施方式1中，步骤S313中在输出表示检测到门从关闭变化为打开的消息的同时，开始对时间t进行计时，之后，在所计时的时间t为阈值以上的情况下，将第一目标检测区域R3扩大为第二目标检测区域R4。

不过，也可以不采用计时的方式而是采用图6所示的计数的方式。图6与图3的不同之处仅在于步骤S613(对应于图3中的步骤S313)、步骤S615(对应于图3中的步骤S315)和步骤S600。

如上所述，被检测图像可以按预定的频率从摄像机104获取，因此，在步骤S613中也可以不对时间t进行计时，而是对计数值i开始计数，将i归零即i＝0。

并且，在步骤S312之后、步骤S615之前，执行步骤S600使i递增(i＝i++)。之后，在步骤S615中判断计数值i是否为预定的阈值I_t1以上，即是否满足i≥I_t1。在不满足的情况下经步骤S314返回步骤S304，在满足的情况下前进至步骤S312。

此处阈值I可由上述的阈值T_t1根据被检测图像获取的频率而计算得出。

根据本变形例1，与实施方式1同样地能够减轻处理器的压力，降低车辆上安装的前端设备的成本。并且对摄像机的位置、角度变化具有较强的鲁棒性。

变形例2

在上述实施方式1中，在步骤S318中没有检测到目标T的情况下，认为摄像机104的位置、角度的变化过大，需要人工干预，因此在步骤S320中向服务器或者向车辆上的乘务发出警报，并停止开门关门检测。

不过，例如在集会场所等特殊地点等情况下，可能某次开门时间的确会过长，例如图4(i)所示，即使时间t已经为阈值以上，当前输入的被检测图像仍然是门打开的状态。

考虑到这样的情况，可以在图3所示的步骤S318与步骤S320之间，如图7所示进行步骤S700的处理。

具体而言，在步骤S700中，判断t是否为第二阀值T_t2以上。这里的阈值T_t2大于T_t1，是考虑到上述某次开门时间过长的情况下，使T_t1适当增大而得的值，例如可以为T_t1的1.2倍等。在步骤S700的判断结果为否的情况下，经步骤S314返回步骤S304，在判断结果为是的情况下，前进至步骤S320。

根据本变形例2，除了能够获得与实施方式1相同的技术效果之外，还能够防止出现将开门时间过长的情况误判断为摄像机104发生了需要人工干预的位置、角度的变化，避免因这样的误判断导致开门关门检测中止。

另外，本变形例2是对实施方式1的进一步改进，当然也可以应用于变形例1，即进一步判断计数值i是否超过第二阈值I_t2。

变形例3

在上述实施方式1，说明了在步骤S301中从摄像机104获取由该摄像机104预先拍摄的开门时和关门时的图像作为开门参考图像和关门参考图像的情况。不过，为了提高准确性，也可以预先拍摄多幅(n1幅)开门时的图像和多幅(n2幅)关门时的图像，对它们分别求取平均图像，分别作为开门参考图像和关门参考图像。

通过采用这样的方式，能够避免开门参考图像和关门参考图像在拍摄时受到的外部因素的影响，更加准确地求取上述的差异区域R1，进而得到更准确的检测目标T。

变形例4

此外，上述实施方式1中，在步骤S315中对时间t是否为预定的阈值T_t1以上进行了判断。不过，考虑到可能会存在门已经关闭，但由于摄像机的位置、角度变动导致R3区域中无法检测到目标T，不过时间还未到达阈值T_t1的情况。这样的情况下，在时间到达阈值T_t1之前，不会像步骤S309那样输出消息，该时间段内人流检测装置采集的数据可以认为是多余的、并且导致处理量增大的数据。

为应对这样的情况，也可以省略步骤S315，即，在步骤S312中获取的前一个被检测图像的检测结果为开门图像的情况下，直接前往步骤S316，选取区域R4作为第二目标检测区域。这样，能够避免人流检测装置采集上述多余的数据，降低处理量。

当然，在上述变形例1～3中，也可以省略相应的处理。

接下来，参照附图8对本发明实施方式1的开门关门检测装置100的结构进行说明。图8是表示本发明实施方式1的开门关门检测装置100的模块图，开门关门检测装置100执行图3、图6～7所示的检测流程。

如图8所示，本发明实施方式1的开门关门检测装置100包括输入部1001、参考图像获取部1002、被检测图像获取部1003、检测目标设定部1004、第一检测区域设定部1005、第二检测区域设定部1012、目标检测部1006、存储部1007、计时/计数部1008、控制部1009、输出部1010和警报部1011。

其中，输入部1001用于输入来自摄像机104的图像，例如输入图3的步骤S301中的开门参考图像和关门参考图像，以及步骤S304中的被检测图像。这里的开门参考图像和关门参考图像进一步由参考图像获取部1002获取，被检测图像进一步由被检测图像获取部1003获取。

参考图像获取部1002可以获取开门参考图像和关门参考图像各一幅传递到检测目标设定部1004，也可以如上述变形例3所述，获取多幅(n1幅)开门时的图像和多幅(n2幅)关门时的图像，对它们分别求取平均图像，分别作为开门参考图像和关门参考图像传递到检测目标设定部1004。

检测目标设定部1004如步骤S301、S302所示根据参考图像检测差异区域R1，并从差异区域R1中设定检测目标的区域R2，计算关门参考图像中的区域R2这一部分的图像即检测目标T的特征H_T。

第一检测区域设定部1005从检测目标设定部1004获取关于区域R2的数据(中心坐标、长宽等)，以包含区域R2在内的方式选取区域R3作为第一目标检测区域。检测目标设定部1004将关于特征H_T的数据输出到目标检测部1006，第一检测区域设定部1005将关于区域R3的数据(中心坐标、长宽等)输出到第二检测区域设定部1012和目标检测部1006。这些数据同时也可以输出到存储部1007中，从而在开门关门检测装置100下次启动时无需重新检测目标T的区域R2并设定第一目标检测区域R3，而是由目标检测部1006直接从存储部1007中读取这些数据。

目标检测部1006从被检测图像获取部1003获取被检测图像，对于当前的被检测图像，如步骤S305所示在其区域R3中搜索检测目标T。控制部1009将步骤S310和步骤S314中的结果保存到存储部1007中，供步骤S308和步骤S312使用。

具体而言，如图3的步骤S306～S313所示，控制部1009判断是否存在前一个被检测图像，并从存储部1007获取前一个被检测图像的判断结果。在检测到目标T且前一个被检测图像为开门图像的情况下，控制部1009控制输出部1010向外部输出表示检测到门从打开变化为关闭的消息，并在存储部1007中保存当前的被检测图像的判断结果“关门”。

在检测到检测目标T且不存在前一个被检测图像或前一个被检测图像为关门图像的情况下，控制部1009在存储部1007中保存当前的被检测图像的判断结果“关门”，接着，目标检测部1006从被检测图像获取部1003获取下一个被检测图像。

在没有检测到目标T且不存在前一个被检测图像或前一个被检测图像为关门图像的情况下，控制部1009控制计时/计数部1008开始计时/计数，同时控制输出部1010向外部输出表示检测到门从打开变化为关闭的消息。接着，控制部1009在存储部1007中保存当前的被检测图像的判断结果“开门”，然后，目标检测部1006从被检测图像获取部1003获取下一个被检测图像。

而在没有检测到目标T且前一个被检测图像为开门图像的情况下，控制部1009获取计时/计数部1008所计得的时间/计数，判断是否为预定的阈值即上述的阈值T_t1或I_t1以上。需要注意的是，在计时/计数部1008采用计数方式的情况下，控制部1009首先使计数加1，然后再获取计数。

在计得的时间/计数未达到阈值以上时，控制部1009在存储部1007中保存当前的被检测图像的判断结果“开门”，接着，目标检测部1006从被检测图像获取部1003获取下一个被检测图像。

在计得的时间/计数为阈值以上时，控制部1009控制第二检测区域设定部1012，以包含区域R3在内的方式选取区域R4作为第二目标检测区域。

目标检测部1006从第二检测区域设定部1012获取关于该第二目标检测区域R4的数据(中心坐标、长宽等)，对于当前的被检测图像，如步骤S317所示在其区域R4中搜索检测目标T。

在区域R4中检测到目标T(即R2’)的情况下，控制部1009控制第一检测区域设定部1005根据来自目标检测部1006的关于区域R2’的数据(中心坐标、长宽等)，生成新的第一目标检测区域R3’，使用关于新的第一目标检测区域R3’的数据(中心坐标、长宽等)更新存储部1007中存储的关于区域R3的数据。同时，将更新后的关于区域R3的数据输出到目标检测部1006，并控制输出部1010向外部输出表示检测到门从打开变化为关闭的消息。其中，在生成新的第一目标检测区域R3’时，可以保持R2’和R3’之间的相对(位置)关系与R2和R3之间的相对关系相同。

在区域R4中没有检测到目标T(即R2’)的情况下，控制部1009可以控制警报部1011向外部发出表示摄像机104的调整可能需要人工干预的消息。

当然，也可以如图7的步骤S700所示，控制部1009获取计时/计数部1008所计得的时间/计数，判断是否为预定的第二阀值T_t2或I_t2以上。同样地，在计时/计数部1008采用计数方式的情况下，控制部1009首先使计数加1，然后再获取计数。在计得的时间/计数未达到阈值以上时，控制部1009在存储部1007中保存当前的被检测图像的判断结果“开门”，接着，目标检测部1006从被检测图像获取部1003获取下一个被检测图像。在计得的时间/计数为阈值以上时，控制部1009控制警报部1011向外部发出表示摄像机104的调整可能需要人工干预的消息。

如上所述，根据本发明实施方式1的开门关门检测装置100，由于目标检测部1006仅在被检测图像的第一目标检测区域R3对检测目标T进行搜索，而无需在被检测图像的整个图像中进行搜索，所以能够减轻目标检测部1006的压力，降低成本。同时，通过第二检测区域设定部1012，能够将检测目标T的搜索区域从第一目标检测区域R3扩大到第二目标检测区域R4，在检测到目标T后由第一检测区域设定部1005重新生成并更新第一目标检测区域R3。从而，即使在摄像机的位置、角度发生变化的情况下，也能够通过更新第一目标检测区域加以应对，无需监控设备监视车门的状况，无需工作人员的人工调整，对摄像机的位置、角度变化具有较强的鲁棒性。

而且，与上述变形例2同样地，也能够防止出现将开门时间过长的情况误判断为摄像机104发生了需要人工干预的位置、角度的变化，避免因这样的误判断导致开门关门检测中止。并且与变形例3同样地，也能够避免开门参考图像和关门参考图像在拍摄时受到的外部因素的影响，更加准确地求取上述的差异区域R1，进而得到更准确的目标检测区域R2。另外，与变形例4同样地，也能够避免车门虽然已经关闭但因未到达阈值T_t1而导致人流检测装置采集多余的数据。

以上对本发明的优选实施方式进行了说明，但本发明并不限定于上述实施方式，可在不脱离其思想的范围内进行各种变更。

此外，本发明并不限定于上述实施方式，还包含各种变形例。并且，上述实施方式是为了使本发明简单易懂而进行的详细说明，并非限定必须具备所说明的全部的结构。

此外，对于参照图8说明的开门关门检测装置100的各结构，它们的一部分或者全部可以由硬件构成，也可以通过由处理器执行程序来实现。此外，控制线和信息线只表示了说明上所需要的部分，未必表示了产品上的全部控制线和信息线。实际上也可以理解为大致全部的结构都彼此连接。

工业利用性

本发明的开门关门检测装置优选应用于公共交通工具上，但并不限定于此，可以应用于所有的在门附近安装有对门进行拍摄的摄像机的场景。

Claims (17)

1.一种开门关门检测装置，根据从摄像机输入的由所述摄像机对门进行拍摄而得到的被检测图像来检测门的开关，其特征在于，包括：

从所述摄像机获取门打开时的开门参考图像和门关闭时的关门参考图像的参考图像获取部；

检测目标设定部，求取所述开门参考图像与所述关门参考图像的差异区域，从所述差异区域中选择规定大小的区域作为检测目标区域，以所述关门参考图像中的所述检测目标区域的图像作为检测目标；

以将所述检测目标区域包括在内的方式设定第一检测区域的第一检测区域设定部；

从所述被检测图像的所述第一检测区域检测所述检测目标的目标检测部；和

控制部，在所述目标检测部检测到所述检测目标的情况下，判断为所述被检测图像是关门图像。

2.如权利要求1所述的开门关门检测装置，其特征在于：

还包括以将所述第一检测区域包括在内的方式设定第二检测区域的第二检测区域设定部，

所述目标检测部从所述第一检测区域或所述第二检测区域检测所述检测目标，

所述控制部控制所述目标检测部，使得所述目标检测部在至少满足从所述第一检测区域没有检测到所述检测目标的条件下，从所述第二检测区域检测所述检测目标。

3.如权利要求2所述的开门关门检测装置，其特征在于：

还包括输出部，

在所述目标检测部从所述被检测图像的所述第一检测区域检测到所述检测目标，并且所述被检测图像的前一个被检测图像是开门图像的情况下，所述控制部控制所述输出部输出表示门从打开变化为关闭的消息。

4.如权利要求2所述的开门关门检测装置，其特征在于：

还包括计时部和输出部，

在所述目标检测部从所述被检测图像的所述第一检测区域没有检测到所述检测目标，并且所述被检测图像的前一个被检测图像是关门图像的情况下，

所述控制部判断为所述被检测图像是开门图像，控制所述计时部开始计时，并控制所述输出部输出表示门从关闭变化为打开的消息。

5.如权利要求4所述的开门关门检测装置，其特征在于：

在所述目标检测部从所述被检测图像的所述第一检测区域没有检测到所述检测目标，并且所述被检测图像的前一个被检测图像是开门图像的情况下，

所述控制部判断所述计时部的计时是否为规定的开门时间上限值以上，

在所述计时部的计时不为所述开门时间上限值以上的情况下，所述控制部判断为所述被检测图像为开门图像。

6.如权利要求5所述的开门关门检测装置，其特征在于：

在所述计时部的计时为所述开门时间上限值以上的情况下，所述控制部控制所述目标检测部从所述被检测图像的所述第二检测区域检测所述检测目标，

在所述目标检测部从所述被检测图像的所述第二检测区域检测到所述检测目标的情况下，

所述控制部控制所述第一检测区域设定部，根据所述检测到的检测目标的位置设定新的第一检测区域，使用该新的第一检测区域更新所述第一检测区域，同时，所述控制部控制所述输出部输出表示门从打开变化为关闭的消息。

7.如权利要求6所述的开门关门检测装置，其特征在于：

还包括警报部，

在所述目标检测部从所述被检测图像的所述第二检测区域没有检测到所述检测目标的情况下，所述控制部控制所述警报部发出表示所述摄像机的位置、角度发生了需要人工调整的变化的警报，并停止从所述摄像机输入被检测图像。

8.如权利要求1～7中任一项所述的开门关门检测装置，其特征在于：

所述检测目标设定部计算所述检测目标的特征值作为目标特征值，

所述目标检测部从所述被检测图像的所述第一检测区域或所述第二检测区域中检测特征值与所述目标特征值之差为规定的目标判定阈值以下的所述规定大小的区域。

9.如权利要求1～7中任一项所述的开门关门检测装置，其特征在于：

所述开门参考图像是所述摄像机对打开的门进行多次拍摄求取平均而得的图像，

所述关门参考图像是所述摄像机对关闭的门进行多次拍摄求取平均而得的图像。

10.一种人流检测系统，其特征在于：

包括人流检测装置和权利要求3～7中任一项所述的开门关门检测装置，

所述人流检测装置根据人流检测用摄像机拍摄的图像检测人流量，

在所述开门关门检测装置的所述输出部向所述人流检测装置输出了表示门从打开变化为关闭的消息的情况下，所述人流检测装置停止所述人流检测用摄像机的拍摄，

在所述开门关门检测装置的所述输出部向所述人流检测装置输出了表示门从关闭变化为打开的消息的情况下，所述人流检测装置开始所述人流检测用摄像机的拍摄。

11.一种交通工具，其特征在于：

包括权利要求1～9中任一项所述的开门关门检测装置或权利要求10所述的人流检测系统。

12.一种开门关门检测方法，根据从摄像机输入的由所述摄像机对门进行拍摄而得到的被检测图像来检测门的开关，其特征在于，包括：

检测目标设定步骤，求取从所述摄像机获取的门打开时的开门参考图像与门关闭时的关门参考图像的差异区域，从所述差异区域中选择规定大小的区域作为检测目标区域，以所述关门参考图像中的所述检测目标区域的图像作为检测目标；

以将所述检测目标区域包括在内的方式设定第一检测区域的第一检测区域设定步骤；

从所述被检测图像的所述第一检测区域检测所述检测目标的第一目标检测步骤；

在至少满足从所述第一检测区域没有检测到所述检测目标的条件下，以将所述第一检测区域包括在内的方式设定第二检测区域的第二检测区域设定步骤；和

在设定了所述第二检测区域的情况下，从所述第二检测区域检测所述检测目标的第二目标检测步骤，

在所述第一目标检测步骤或所述第二目标检测步骤中检测到所述检测目标的情况下，判断为所述被检测图像是关门图像。

13.如权利要求12所述的开门关门检测方法，其特征在于：

还包括输出步骤，

在所述第一目标检测步骤中检测到所述检测目标，并且所述被检测图像的前一个被检测图像是开门图像的情况下，通过所述输出步骤输出表示门从打开变化为关闭的消息。

14.如权利要求12所述的开门关门检测装置，其特征在于：

还包括计时步骤和输出步骤，

在所述第一目标检测步骤没有检测到所述检测目标，并且所述被检测图像的前一个被检测图像是关门图像的情况下，

判断为所述被检测图像是开门图像，通过所述计时步骤利用计时部开始计时，并通过所述输出步骤输出表示门从关闭变化为打开的消息。

15.如权利要求14所述的开门关门检测方法，其特征在于：

在所述第一目标检测步骤没有检测到所述检测目标，并且所述被检测图像的前一个被检测图像是开门图像的情况下，

判断所述计时部的计时是否为规定的开门时间上限值以上，

在所述计时部的计时不为所述开门时间上限值以上的情况下，判断为所述被检测图像为开门图像。

16.如权利要求15所述的开门关门检测方法，其特征在于：

在所述计时部的计时为所述开门时间上限值以上的情况下，通过所述第二检测区域设定步骤设定所述第二检测区域，并通过所述第二目标检测步骤检测所述检测目标，

所述开门关门检测方法还包括：

第一检测区域更新步骤，在所述第二目标检测步骤检测到所述检测目标的情况下，根据所述检测到的检测目标的位置设定新的第一检测区域，使用该新的第一检测区域更新所述第一检测区域，

在通过所述第一检测区域更新步骤更新了所述第一检测区域之后，通过所述输出步骤输出表示门从打开变化为关闭的消息。

17.如权利要求16所述的开门关门检测方法，其特征在于：

还包括警报步骤，

在所述第二目标检测步骤没有检测到所述检测目标的情况下，通过所述警报步骤发出表示所述摄像机的位置、角度发生了需要人工调整的变化的警报，并停止从所述摄像机输入被检测图像。