CN109684976B - 门状态监测方法、装置、设备和系统及存储介质 - Google Patents

Abstract

本发明公开了一种门状态监测方法、装置、设备和系统及存储介质，涉及计算机技术领域，用于通过视频监控技术对门的状态进行监控，降低因设备损坏造成的无法及时监测防汛门状态的可能性。该方法包括：接收图像采集装置传回的当前时刻的门的图像，并从门的图像中提取出多个检测框；将多个检测框与预先配置的M个标注框中的每一个标注框进行匹配，以从多个检测框中确定与标注框相匹配的检测框；获取M个标注框中成功匹配到相匹配的检测框的的第一数量，以及获取标注框与相匹配的检测框之间的距离大于第一预设距离阈值的标注框的第二数量；基于门的类型，根据第一数量和第二数量确定门当前时刻的状态。

Description

门状态监测方法、装置、设备和系统及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种门状态监测方法、装置、设备和系统及存储介质。

背景技术

目前，防汛门，或称防洪门，用于对水灾起到防护作用。一般而言，在江河延案会分布数量众多的防汛门，在潮位较高时或者汛期期间，管理部门会要求沿江单位关闭闸门，避免发生灾情，因此，对防汛门的状态进行监测从而保障防汛门的正常运作，对于避免灾情是很有必要的。其中，防汛门状态自动监测系统即为一种对防汛门的状态进行监测的自动化系统，防汛门状态自动监测系统的目的在于，通过工程控制技术、通信技术和智能识别技术等手段，对江河沿线多个防汛门进行实时监测，及时了解防汛门是否有异常情况，比如开关启闭状态，是否被隐没等，以便提前发现险情。

但是，目前一般是通过硬件设备，例如探测头等来感应防汛门的状态，请参见图1，为目前的防汛门状态自动监测系统的架构示意图。其中，在该架构中，通过设置在各个防汛门上的光传感器的感应信号传输给光时域反射仪(Optical Time Domain Reflectometer，OTDR)，进而OTDR将检测信号发送给相应的水闸监测站，逐级上报至监测站中，并可通过网络将检测结果上传到水务总局控制中心的服务器中。可见，由于用于感应防汛门状态的探测头需要长时间与水接触，水中包含的各种物质容易对探测头产生腐蚀，从而探测头的寿命周期一般较短，一旦探测头损坏，很有可能因为未及时检测到防汛门的状态而无法对灾情进行及时处理，并且探测头自身的异常很难判断，一般需要人工到现场进行人工检测，耗费人力。

发明内容

本发明实施例提供一种门状态监测方法、装置、设备和系统及存储介质，用于通过视频监测技术对门的状态进行监测，降低因设备损坏造成的无法对门的状态及时进行监测的可能性。

第一方面，提供一种门状态监测方法，该方法包括：

接收图像采集装置传回的当前时刻的门的图像，并从所述门的图像中提取出多个检测框，其中，所述门上设置有M个标志符号，所述标志符号为用于检测门状态的参考符号，一个检测框为一个标志符号的潜在区域；

将所述多个检测框与预先配置的M个标注框中的每一个标注框进行匹配，以从所述多个检测框中确定与标注框相匹配的检测框，其中，标注框为在所述门处于关闭状态或者开启状态时的图像中标注的标志符号所在的区域，一个标注框对应于一个标志符号；

获取M个标注框中成功匹配到相匹配的检测框的第一数量，以及获取标注框与相匹配的检测框之间的距离大于第一预设距离阈值的标注框的第二数量，其中，所述距离为基于预先配置的标注框的位置信息，与获取的相匹配的检测框在门的图像中的位置信息确定的；

基于所述门的类型，根据所述第一数量和所述第二数量确定所述门当前时刻的状态。

本发明实施例中，可以通过对门的图像中的标志符号所在的检测框进行检测，并根据检测框和预先标注的该门上的标注符号所在的标注框的匹配成功的数量，以及检测框和标注框之间的距离来确定门当前时刻的状态。这样，通过图像监控技术既可以实现门状态的确定，那么只需要设置摄像头等图像采集装置既可以采集到门的图像，从而能够避免探测头直接与水接触而产生的寿命短的问题，从而降低因设备损坏造成的无法及时监测门状态的可能性，提升门状态监测的可靠性。

可选的，所述从所述门的图像中提取出多个检测框，包括：

将所述门的图像输入至预先训练好的特征提取模型中，通过特征提取模型从所述门的图像中提取出所述多个检测框；

其中，所述特征提取模型是通过包含标志符号图像的多个样本图像进行训练学习获得的，每一个样本图像包括指示样本图像是否为标志符号图像的标签信息。

可选的，所述将所述多个检测框与标注框进行匹配，以从所述多个检测框中确定与标注框相匹配的检测框，包括：

获取标注框经掩膜处理后的梯度直方图；并，

获取每一个检测框经掩膜处理后的梯度直方图；其中，所述经掩膜处理后的梯度直方图中，仅包括梯度值不小于预设梯度值阈值的像素点；

以梯度直方图的中心点为基准点，将标注框经掩膜处理后的梯度直方图与每一个检测框经掩膜处理后的梯度直方图进行重合，以确定标注框经掩膜处理后的梯度直方图与检测框经掩膜处理后的梯度直方图中重合的像素点对；

基于重合的像素点对获取标注框与每一个检测框的欧氏距离，并将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的检测框。

本发明实施例中，在进行检测框与标注框进行匹配时，通过进行掩膜处理，将梯度值较小的像素点过滤，也就是对图像边缘不敏感的像素点不参与欧氏距离的计算，从而减少计算量，提升门状态确定的实时性。

可选的，在获取每一个检测框经掩膜处理后的梯度直方图之前，所述方法还包括：

基于所述M个标注框的尺寸，确定最大尺寸，其中，最大尺寸中的长度为所述M个标注框的最大长度，最大尺寸中的宽度为所述M个标注框的最大宽度；

根据所述最大尺寸对每一个检测框进行扩边，以使得扩边后的检测框的尺寸与所述最大尺寸相同；

则获取每一个检测框经掩膜处理后的梯度直方图，包括：

获取每一个扩边后的检测框经掩膜处理后的梯度直方图。

本发明实施例中，在标注框和检测框进行匹配时，一般需要尺寸相同，因此可以根据标注框中最大尺寸对每一个检测框进行扩边，这样，在后续与标注框进行匹配时，无论标注框的大小如何，检测框始终可以满足与其进行匹配的条件，避免检测框大小不足以与标注框进行匹配的情况。

可选的，在获取标注框与每一个检测框的欧氏距离之前，所述方法还包括：

针对所述多个检测框中每一个检测框，执行以下步骤：

确定检测框与标注框之间的距离是否大于第二预设距离阈值，其中，所述第二预设距离阈值不小于所述第一预设距离阈值；

若确定结果为是，则从所述多个检测框中删除该检测框；

则所述获取标注框与每一个检测框的欧氏距离，包括：

获取标注框与过滤后剩余的每一个检测框的欧氏距离。

本发明实施例中，可以根据检测框与标注框质检的距离对明显不能匹配上的检测框进行过滤，从而提升检测框与标注框的匹配效率。

可选的，所述基于所述门的类型，根据所述第一数量和所述第二数量确定所述门当前时刻的状态，包括：

若所述门为左右开门类型的门，则在所述第二数量小于第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第二数量大于或者等于所述第一预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于被淹没状态；

或者，

若所述门为上下开门类型的门，则在所述第二数量小于所述第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第一数量不为零且小于第二预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于开启状态或者被淹没状态。

本发明实施例中，针对不同类型的门，制定不同的状态确定方法，从而使得门状态确定的准确性更高。

第二方面，提供一种门状态监测装置，所述装置包括：

检测框提取单元，用于接收图像采集装置传回的当前时刻的门的图像，并从所述门的图像中提取出多个检测框，其中，所述门上设置有M个标志符号，所述标志符号为用于检测门状态的参考符号，一个检测框为一个标志符号的潜在区域；

匹配单元，用于将所述多个检测框与预先配置的M个标注框中的每一个标注框进行匹配，以从所述多个检测框中确定与标注框相匹配的检测框，其中，标注框为在所述门处于关闭状态或者开启状态时的图像中标注的标志符号所在的区域，一个标注框对应于一个标志符号；

统计单元，用于获取M个标注框中成功匹配到相匹配的检测框的第一数量，以及获取标注框与相匹配的检测框之间的距离大于第一预设距离阈值的标注框的第二数量，其中，所述距离为基于预先配置的标注框的位置信息，与获取的相匹配的检测框在门的图像中的位置信息确定的；

确定单元，用于基于所述门的类型，根据所述第一数量和所述第二数量确定所述门当前时刻的状态。

可选的，所述检测框提取单元具体用于：

将所述门的图像输入至预先训练好的特征提取模型中，通过特征提取模型从所述门的图像中提取出所述多个检测框；

其中，所述特征提取模型是通过包含标志符号图像的多个样本图像进行训练学习获得的，每一个样本图像包括指示样本图像是否为标志符号图像的标签信息。

可选的，所述匹配单元具体用于：

获取标注框经掩膜处理后的梯度直方图；并，

获取每一个检测框经掩膜处理后的梯度直方图；其中，所述经掩膜处理后的梯度直方图中，仅包括梯度值不小于预设梯度值阈值的像素点；

以梯度直方图的中心点为基准点，将标注框经掩膜处理后的梯度直方图与每一个检测框经掩膜处理后的梯度直方图进行重合，以确定标注框经掩膜处理后的梯度直方图与检测框经掩膜处理后的梯度直方图中重合的像素点对；

基于重合的像素点对获取标注框与每一个检测框的欧氏距离，并将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的检测框。

可选的，所述匹配单元还用于：

基于所述M个标注框的尺寸，确定最大尺寸，其中，最大尺寸中的长度为所述M个标注框的最大长度，最大尺寸中的宽度为所述M个标注框的最大宽度；

根据所述最大尺寸对每一个检测框进行扩边，以使得扩边后的检测框的尺寸与所述最大尺寸相同；

获取每一个扩边后的检测框经掩膜处理后的梯度直方图。

可选的，所述匹配单元具体用于：

针对所述多个检测框中每一个检测框，执行以下步骤：

确定检测框与标注框之间的距离是否大于第二预设距离阈值，其中，所述第二预设距离阈值不小于所述第一预设距离阈值；

若确定结果为是，则从所述多个检测框中删除该检测框；

则所述获取标注框与每一个检测框的欧氏距离，包括：

获取标注框与过滤后剩余的每一个检测框的欧氏距离。

可选的，所述确定单元具体用于：

若所述门为左右开门类型的门，则在所述第二数量小于第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第二数量大于或者等于所述第一预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于被淹没状态；

或者，

若所述门为上下开门类型的门，则在所述第二数量小于所述第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第一数量不为零且小于第二预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于开启状态或者被淹没状态。

第三方面，提供一种门状态确定系统，所述系统包括：

图像采集装置，用于采集门的图像，并将所述门的图像发送给门状态确定装置；

门状态确定装置，用于根据所述门的图像通过第一方面所述的方法确定门的状态。

第四方面，提供一种门状态监控设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

第四方面，提供一种计算机存储介质，

所述计算机存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面所述的方法。

附图说明

图1为本发明实施例提供的现有技术的防汛门状态自动监测系统的结构框图；

图2为本发明实施例提供的应用场景示意图；

图3为本发明实施例提供的门状态监测装置的一种结构框图；

图4为本发明实施例提供的门状态监测方法的流程示意图；

图5为本发明实施例提供的从多个检测框中确定与标注框相匹配的检测框的流程示意图；

图6为本发明实施例提供的门状态监测装置的一种结构示意图；

图7为本发明实施例提供的门状态监控系统的一种结构示意图；

图8为本发明实施例提供的门状态监控设备的一种结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

下面介绍本发明实施例的技术背景。

目前，对于防汛门的状态监测，一般是通过硬件设备，例如探测头等来感应防汛门的状态，例如采用图1所示的光传感器感应防汛门的状态。但是，由于用于感应防汛门状态的探测头需要长时间与水接触，水中包含的各种物质容易对探测头产生腐蚀，从而探测头的寿命周期一般较短，一旦探测头损坏，很有可能因为未及时检测到防汛门的状态而无法对灾情进行及时处理，并且探测头自身的异常很难判断，一般需要人工到现场进行人工检测，耗费人力。

鉴于此，本发明实施例提供一种门状态监测方法，在该方法中，可以通过对采集的门的图像中的标志符号所在的检测框进行检测，并根据检测框和预先标注的该门上的标注符号所在的标注框的匹配成功的数量，以及检测框和标注框之间的距离来确定门当前时刻的状态。这样，通过图像监控技术既可以实现门状态的确定，那么只需要设置摄像头等图像采集装置既可以采集到门的图像，从而能够避免探测头直接与水接触而产生的寿命短的问题，从而降低因设备损坏造成的无法及时监测防汛门状态的可能性，提升防汛门状态监测的可靠性。此外，针对不同类型的门，可以制定不同的状态确定方式，从而使得门状态监控的准确性更高。

下面对本发明实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本发明实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本发明实施例提供的技术方案。

请参见图2所示，为本发明实施例中的技术方案能够适用的一种应用场景，在该场景中，包括多个图像采集装置10以及门状态监控装置20。

图像采集装置10设置在能够采集到门的图像的位置，例如以门为防汛门为例，图像采集装置10则可以设置在防汛门所在的堤坝附近岸边，用于采集防汛门图像。图像采集装置10采集门的图像后，将门的图像发送给门状态监控装置20。例如，图像采集装置10例如可以是摄像头，一个摄像头可以拍摄一个门的图像或者视频。

门状态监控装置20可以与图像采集装置10设置在距离很远的地方，例如以门为防汛门为例，门状态监控装置20可以设置在各个监测站中，用于监测该监测站所要监测的防汛门的状态，当然，在进行防汛门监测系统的布置之前，可以预先收集防汛门的数量，进而可以根据门状态监控装置20自身的处理能力，配置门状态监控装置20的数量，以及每一个门状态监控装置20需要检测的防汛门的数量。

其中，图像采集装置10和门状态监控装置20之间均可以通过网络进行连接，网络可以是有线形式的网络，也可以是无线形式的网络，例如无线局域网(Wireless LocalArea Networks，WLAN)或者移动蜂窝网络，当然也可以是其他无线网络，本发明实施例对此不做限制。

请参见图3所示，为门状态监控装置20的一种可能的结构框图，其中，门状态监控装置20包括用户配置模块201、图像识别模块202、门状态判别模块203和报警模块204。

其中，在进行门的状态识别之前，可以通过用户配置模块201为每个门预先配置好该门的相关配置信息，配置信息可以是门在关闭状态下或者开启状态下的配置信息。例如当门为防汛门时，防汛门大多时间是关闭的，要求是定期检测门的状态，因此优选的配置信息可以是在门完全关闭状态下产生的。配置信息例如可以包括门的类型、门上标志符号的类别和标志符号的位置信息等，门的类别一般包括上下门(上下开启)、左右门(左右开启)、扇形门(弧形开启)等，标志符号的类别一般包括数字和字母等。

图像识别模块202可以根据获取的门的图像，自动识别门上的标志符号，进而门状态判别模块203可以对比用户配置的标志符号信息和图像识别模块202识别的标志符号信息，再根据门的类型，设置不同的规则，从而判断门的状态，根据判别得到的状态以及预设值的报警规则，当多次检测到门都是开启状态，或者，多次未检测到标志符号则可以通过报警模块204进行报警。

下面结合附图介绍本发明实施例提供的技术方案。

请参见图4，本发明实施例提供一种门状态监测方法，该方法可以通过图2中所示的门状态监控装置来执行，该装置例如可以通过服务器来实现。该方法的流程如下。

步骤401：接收图像采集装置传回的当前时刻的门的图像。

本发明实施例中，门可以为防汛门，当然，对于其他应用场景的门或者在其他种类的门，本发明实施例的门状态监测方法同样适用。

具体的，图像采集装置采集的门的图像可以是以视频流的形式传输给门状态监控装置，门状态监控装置可以按照预先约定的视频流解码协议，对接收到的视频流进行解码，那么用于状态确定的门的图像则为视频流中一帧图像，本发明实施例后续以此为例。

当然，图像采集装置也可以每间隔一段时间采集一张门的图像，那么图像采集装置也可以是将门的图像以图片的形式发送给门状态监控装置。

步骤402：对门的图像进行图像预处理。

本发明实施例中，初始获取的门的图像中难免会存在一些噪点，因此可以在获取门的图像之后，可以先对门的图像进行图像预处理，以减少门的图像在成像过程中引入的噪点和光线的干扰。其中，图像预处理可以包括去噪和归一化处理。

步骤403：从门的图像中提取出多个检测框。

本发明实施例中，预先在门上设置了M个标志符号，标志符号为用于确定门状态的参考符号，其中，M为正整数。标志符号可以是数字、字母或者数字和字母的结合。以门为防汛门为例，防汛门上一般会设置有该防汛门的编号，那么则可以将该防汛门的编号作为标志符号，若是未设置防汛门的编号，那么则可以额外在防汛门上设置标志符号，不同的防汛门的标志符号可以不同，也可以相同，例如在防汛门上从左到右贴“2”“3”“4”“5”红色数字作为标志符号。

本发明实施例中，为后续进行门状态的判定，需要将标志符号从门的图像中提取出来，标志符号在门的图像中的位置信息可以通过边界框(bounding-box)来描述，为加以区分，实时从门的图像中提取的边界框称为检测框，检测框为标志符号的潜在区域，为确定门的状态，需要从门的图像中将检测框提取出来。具体的，可以将门的图像输入至预先训练好的特征提取模型中，通过特征提取模型从门的图像中提取出多个检测框，其中，特征提取模型是通过包含标志符号图像的多个样本图像进行训练学习获得的，每一个样本图像包括指示样本图像是否为标志符号图像的标签信息。

特征提取模型例如可以采用实时物体检测(Single-Shot MultiBox Detector，SSD)深度学习框架，采用轻量化卷积神经网络作为基础网络，例如Mobilenet网络，并采用softmax分类器作为最终分类器，当然，也可以采用其他可能的特征提取模型，例如可以采用logistic分类器作为最终分类器，本发明实施例对此不做限制。

具体的，在特征提取模型中，一般会包括多个卷积层，且越靠前的卷积层的感受野越小，能够检测较小的目标，越靠后的卷积层的感受野越大，能够检测较大的目标，但是本发明实施例中标志符号在门的图像中所占的区域一般不会太大，因此在较为靠后的几层对于检测框的提取的贡献很小，因此可以舍弃靠后的几层。例如，一般的卷积神经网络中，可以包括卷积层1～卷积层17，越靠后的卷积层的感受野越大，那么例如可以只选择卷积层1～卷积层15用于检测框的提取。

在SSD深度学习框架中，用于抽取用于分类的特征层一般为靠后的六层，但是由于标志符号在门的图像中所占的区域一般不会太大，较为靠后的特征层所提取的特征的感受野一般都较大，这样所得到的特征的准确率不高，因此在本发明实施例中，将处于靠前的特征层中多个层作为用于分类的特征层，例如可以将第4、5、13和14层作为用于分类的特征层。由于修改了抽取的特征层，那么同时需要修改SSD深度学习框架中与特征层相关的参数，这样，可以门的图像中比较小的数字也能有较多的边界框与之匹配，从而提升检测算法的准确率。

在实际应用中，在特征提取模型构建完成后，可以通过多个样本图像对特征提取模型进行训练，直至特征提取模型能够达到足够的准确率能够识别出标志符号。其中，训练所采用的多个样本图像中包含多个标志符号图像，且每一个样本图像均预先设置了标签信息，标签信息用于指示样本图像是否为标志符号图像。在特征提取模型训练完成后，则可以将训练得到的特征提取模型用于从门的图像中提取出多个检测框。

步骤404：将多个检测框与每一个标注框进行匹配，以从多个检测框中确定与标注框相匹配的检测框。

本发明实施例中，可以预先存储每个门的配置信息，配置信息可以包括门上标注的标志符号所在的边界框，为与检测框加以区分，这里将预先配置的边界框称为标注框。其中，标注框为在门处于关闭状态或者开启状态时的图像中标注的标志符号所在的区域，一个标注框对应于一个标志符号，即门上包括M个标志符号时，则标注框的数量也为M个。

具体的，由于通过步骤403所得到的检测框中可能包括其他非标志符号的检测框，因此需要从多个检测框中筛选出真正的标志符号所在的检测框，那么可以将多个检测框与预先配置的M个标注框进行匹配，从而找到与每一个标注框匹配的检测框。

请参见图5，为从多个检测框中确定与标注框相匹配的检测框的流程示意图。

步骤501：基于M个标注框的尺寸，确定最大尺寸。

本发明实施例中，由于在将检测框和标注框进行匹配时，需要检测框和标注框的尺寸相同，而获取的检测框和标注框的尺寸是不一定相同的，在进行匹配时，则可能会对检测框进行剪裁，但是若是检测框的尺寸小于标注框的尺寸，则需要重新从门的图像中获取该检测框，较为麻烦。那么为了保证检测框后续有足够的剪裁空间，即检测框不能比标注框小，减少后续不必要的麻烦，可以预先对检测框进行扩边，扩边的依据则可以是标注框中的最大尺寸，这样，无论标注框的尺寸为多少，检测框均能够有足够的剪裁空间。其中，最大尺寸中的长度为M个标注框的最大长度，最大尺寸中的宽度为M个标注框的最大宽度。

步骤502：根据最大尺寸对每一个检测框进行扩边，以使得扩边后的检测框的尺寸与最大尺寸相同。

具体的，当最大尺寸为P*N时，则扩编后的检测框的尺寸也为P*N。

步骤503：获取每一个扩边后的检测框经掩膜处理后的梯度直方图。

本发明实施例中，为便于检测框和标注框的匹配，可以将检测框和标注框的梯度直方图(Histogram of Oriented Gradient，HOG)作为特征进行匹配。其中，梯度直方图中每一个像素点的梯度值计算公式如下：

其中，g_i为检测框中第i个像素点的梯度值，δ_ix为第i个像素点沿X方向的梯度值，δ_iy为第i个像素点沿Y方向的梯度值。

为减少噪点的影响，可以过滤掉梯度直方图中一些点。例如将梯度值与梯度直方图中的最大梯度值之间的差值大于最大梯度值的5％的点舍弃，或者，将梯度值小于最大梯度值的10％的点舍弃。

本发明实施例中，梯度值较小的点表明该点可能不是轮廓点，但是在进行匹配时，对于较为细节的点，即可能并不是轮廓点的像素点并不关心，因此可以获取梯度直方图的掩膜图，并根据掩膜图对梯度直方图进行掩膜处理，即将除掩膜之外的像素点剪除。其中，掩膜图包括梯度直方图重梯度值不小于预设梯度值阈值的像素点，这样，在进行掩膜处理之后，梯度直方图中仅包括梯度值不小于预设梯度值阈值的像素点。其中，预设梯度值阈值可以是根据经验进行设置的，例如可以设置为最大梯度值的10％，当然，也可以是设置为其他值，本发明实施例对此不做限制。

步骤504：获取每一个标注框经掩膜处理后的梯度直方图。

其中，对于标注框的处理和检测框，因此可以参考上述检测框部分的描述，再次不过多赘述。

在实际应用中，标注框经掩膜处理后的梯度直方图可以是预先处理好存储在门状态监控装置中的，在需要使用时，直接调用即可，当然，也可以是在每一次流程中均执行一次，因此，实质上步骤504与步骤503并不存在实质上的先后顺序关系。

步骤505：基于检测框与标注框之间的距离对检测框进行初步筛选。

本发明实施例中，由于检测框与标注框之间的距离最大即为门的开门距离，若是超过了门的开门距离，那么检测框与标注框显然是不匹配的，因此，可以基于此对检测框进行初步筛选，从而提升匹配速度。其中，检测框与标注框之间的距离可以基于预先配置的标注框的位置信息与获取的相匹配的检测框在门的图像中的位置信息计算得到，标注框的位置信息即在初始采集的门的图像中的坐标，检测框的位置信息即在当前采集的门的图像中的坐标。

具体的，针对每一个标注框，可以将计算每一个检测框与之的距离，并确定该距离是否大于第二预设距离阈值，若确定大于第二预设距离阈值，则将该检测框从多个检测框中删除，在后续的匹配时则无需考虑该检测框。其中，第二预设距离阈值即可以根据门的类型进行设置，例如对于左右开门方式的门，第二预设距离阈值可以设置为门的最大开门距离的一半，对于上下开门方式的门，则第二预设距离阈值可以设置为门的最大开门距离。

当然，在实际应用中，步骤505并不是必须的，可以根据需求进行选择，本发明实施例对此不做限制。

步骤506：获取标注框和检测框经掩膜处理后的梯度直方图之间的欧氏距离。

本发明实施例中，可以通过将梯度直方图作为特征对标注框和检测框进行匹配，例如可以根据梯度直方图之间的欧氏距离确定标注框和检测框是否匹配，本发明实施例中具体以此为例。

具体的，在进行欧氏距离的计算之前，可以将标注框和检测框经掩膜处理后的梯度直方图进行与操作，以得到梯度直方图中重合的像素点对。具体而言，以梯度直方图的中心点为基准点，将标注框经掩膜处理后的梯度直方图与每一个检测框经掩膜处理后的梯度直方图进行重合，以确定出梯度直方图中重合的像素点对，进而根据重合的像素点计算标注框与检测框的欧氏距离，其中，欧氏距离的计算公式如下：

其中，dist(A,B)表示标注框和检测框经掩膜处理后的梯度直方图之间的欧氏距离，A表示标注框经掩膜处理后的梯度直方图，a_i为标注框经掩膜处理后的梯度直方图中第i个像素点，B表示检测框经掩膜处理后的梯度直方图，b_i为检测框经掩膜处理后的梯度直方图中第i个像素点，其中，用于欧氏距离计算的n个点即为上述确定出的梯度直方图中重合的像素点对的数量。

步骤507：将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的检测框。

本发明实施例中，与标注框之间的欧氏距离的大小表示标注框和检测框之间的相似程度，因此可以将与标注框之间的欧氏距离最小的检测框作为与标注框相匹配的检测框。当然，在实际应用中，还可以对欧氏距离设置阈值，只有满足小于该阈值时才能认为标注框和检测框相匹配，那么当匹配的检测框有多个时，则将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的最优检测框，否则不匹配，那么当不存在欧氏距离小于该阈值的检测框时，则可以确定该标注框并未在当前的门的图像中找到相匹配的检测框，也就可以判定标注框中的标志符号消失。

此外，若是在根据检测框和标注框之间的距离筛选后，无剩余的检测框，则可以确定该标注框并未在当前的门的图像中找到相匹配的检测框，也就可以判定标注框中的标志符号消失。

本发明实施例中，通过上述的过程，可以从检测框中找到每一个标注框相匹配的检测框，或者判定标注框中的标志符号消失。

下面请继续参见图4。

步骤405：获取M个标注框中成功匹配到相匹配的检测框的第一数量，以及获取距离大于或者等于第一预设距离阈值的标注框的第二数量。

步骤406：基于防汛门的类型，根据第一数量和第二数量确定门当前时刻的状态。

本发明实施例中，在遍历所有的标注框，得到每个标注框的匹配结果后，则可以统计M个标注框中成功匹配到相匹配的检测框的第一数量。并且，针对于成功匹配到相匹配的检测框的标注框，还会确定该标注框与相匹配的检测框之间的距离是否大于或者等于第一预设距离阈值，若距离是否大于或者等于第一预设距离阈值，则表明标注框与相匹配的检测框之间的距离较大，即表明该标注框内的标志符号的位置发生了改变，即门可能存在移动，为避免的哪个标志符号的检测失误，可以统计距离大于或者等于第一预设距离阈值的标注框的第二数量，进而保证后续判断的准确度。

本发明实施例中，根据门类型的不同，制定了不同的状态判定规则，下面以预配置的标注框为门关闭状态为例，对状态判定规则进行描述。

具体的，若门为左右开门类型的门，其特点是在开启过程中门上数字只是移动不会消失，则状态判定规则如下：

(1)在第二数量小于第一预设数量阈值时，确定门处于关闭状态。

(2)在第二数量大于或者等于第一预设数量阈值时，确定门处于开启状态。例如，若第二数量的数量超过2个时，则确定门处于开启状态。

(3)在第一数量为零时，确定门处于被淹没状态或者存在其他异常。

具体的，若门为左右开门类型的门或者扇形门，其特点是在开启过程中数字逐渐消失，则状态判定规则如下：

(1)在第二数量小于M且不为零时，确定门上的标志符号被物体遮挡。例如，当只有1个标志符号消失时，则认为门上的标志符号被人或者其他异物遮挡。

(2)在第二数量小于第一预设数量阈值时，确定门处于关闭状态。

(3)在第一数量不为零且小于第二预设数量阈值时，确定门处于开启状态。

(4)在第一数量为零时，确定门处于开启状态或者被淹没状态。

其中，上述第一预设数量阈值可以为2，第二预设数量阈值也可以为2，当然，也可以是其他可能的值，本发明实施例对此不做限制。

本发明实施例中，当确定门处于开启状态或者被淹没状态时，则可以触发报警，以提示监测站的工作人员及时确认，避免出现灾情。

综上所述，本发明实施例中，可以通过对门的图像中的标志符号所在的检测框进行检测，并根据检测框和预先标注的门上的标注符号所在的标注框的匹配成功的数量，以及检测框和标注框之间的距离来确定门当前时刻的状态。这样，通过图像监控技术既可以实现门状态的确定，那么只需要设置摄像头等图像采集装置既可以采集到门的图像，从而能够避免探测头直接与水接触而产生的寿命短的问题，从而降低因设备损坏造成的无法及时监测防汛门状态的可能性，提升防汛门状态监测的可靠性。此外，针对不同类型的门，可以制定不同的状态确定方式，从而使得门状态监控的准确性更高。

本发明实施例中，不仅能精确的判断门的启闭状态，还能直接通过成像是否正常就能判断系统是否发生了异常，减少了探头损害不能及时发现带来的安全隐患，从而降低了因设备损坏造成的无法及时监测防汛门状态的可能性，提升防汛门状态监测的可靠性。

请参见图6，基于同一发明构思，本发明实施例提供一种门状态监控装置60，包括：

检测框提取单元601，用于接收图像采集装置传回的当前时刻的门的图像，并从门的图像中提取出多个检测框，其中，门上设置有M个标志符号，标志符号为用于检测门状态的参考符号，一个检测框为一个标志符号的潜在区域；

匹配单元602，用于将多个检测框与预先配置的M个标注框中的每一个标注框进行匹配，以从多个检测框中确定与标注框相匹配的检测框，其中，标注框为在门处于关闭状态或者开启状态时的图像中标注的标志符号所在的区域，一个标注框对应于一个标志符号；

统计单元603，用于获取M个标注框中成功匹配到相匹配的检测框的第一数量，以及获取标注框与相匹配的检测框之间的距离大于第一预设距离阈值的标注框的第二数量，其中，距离为基于预先配置的标注框的位置信息，与获取的相匹配的检测框在门的图像中的位置信息确定的；

确定单元604，用于基于门的类型，根据第一数量和第二数量确定门当前时刻的状态。

可选的，检测框提取单元601具体用于：

将门的图像输入至预先训练好的特征提取模型中，通过特征提取模型从门的图像中提取出多个检测框；

其中，特征提取模型是通过包含标志符号图像的多个样本图像进行训练学习获得的，每一个样本图像包括指示样本图像是否为标志符号图像的标签信息。

可选的，匹配单元602具体用于：

获取标注框经掩膜处理后的梯度直方图；并，

获取每一个检测框经掩膜处理后的梯度直方图；其中，经掩膜处理后的梯度直方图中，仅包括梯度值不小于预设梯度值阈值的像素点；

以梯度直方图的中心点为基准点，将标注框经掩膜处理后的梯度直方图与每一个检测框经掩膜处理后的梯度直方图进行重合，以确定标注框经掩膜处理后的梯度直方图与检测框经掩膜处理后的梯度直方图中重合的像素点对；

基于重合的像素点对获取标注框与每一个检测框的欧氏距离，并将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的检测框。

可选的，匹配单元602还用于：

基于M个标注框的尺寸，确定最大尺寸，其中，最大尺寸中的长度为M个标注框的最大长度，最大尺寸中的宽度为M个标注框的最大宽度；

根据最大尺寸对每一个检测框进行扩边，以使得扩边后的检测框的尺寸与最大尺寸相同；

获取每一个扩边后的检测框经掩膜处理后的梯度直方图。

可选的，匹配单元602具体用于：

针对多个检测框中每一个检测框，执行以下步骤：

确定检测框与标注框之间的距离是否大于第二预设距离阈值，其中，第二预设距离阈值不小于第一预设距离阈值；

若确定结果为是，则从多个检测框中删除该检测框；

则获取标注框与每一个检测框的欧氏距离，包括：

获取标注框与过滤后剩余的每一个检测框的欧氏距离。

可选的，确定单元604具体用于：

若门为左右开门类型的门，则在第二数量小于第一预设数量阈值时，确定门处于关闭状态，或者，在第二数量大于或者等于第一预设数量阈值时，确定门处于开启状态，或者，在第一数量为零时，确定门处于被淹没状态；

或者，

若门为上下开门类型的门，则在第二数量小于第一预设数量阈值时，确定门处于关闭状态，或者，在第一数量不为零且小于第二预设数量阈值时，确定门处于开启状态，或者，在第一数量为零时，确定门处于开启状态或者被淹没状态。

该设备可以用于执行图2-5所示的实施例所提供的方法，因此，对于该设备的各功能模块所能够实现的功能等可参考图2-5所示的实施例的描述，不多赘述。

请参见图7，基于同一发明构思，门状态监控系统70，包括：

图像采集装置701，用于采集门的图像，并将门的图像发送给门状态监控装置702；

门状态监控装置702，用于根据门的图像通过图2-5所示的实施例所提供的方法确定门的状态。

其中，图像采集装置701的数量可以为多个，可以根据实际需求进行合理的设置，本发明实施例对此不做限制。

请参见图8，基于同一发明构思，本发明实施例提供一种门状态监控设备80，包括至少一个处理器801，至少一个处理器801用于执行存储器中存储的计算机程序时实现图2-5所示的实施例提供的门状态监测方法的步骤。

可选的，至少一个处理器801具体可以包括中央处理器(CPU)、特定应用集成电路(application specific integrated circuit，ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(field programmable gate array，FPGA)开发的硬件电路，可以是基带处理器。

可选的，至少一个处理器801可以包括至少一个处理核心。

可选的，该设备还包括存储器802，存储器802可以包括只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)和磁盘存储器。存储器802用于存储至少一个处理器801运行时所需的数据。存储器802的数量为一个或多个。其中，存储器802在图8中一并示出，但需要知道的是存储器802不是必选的功能模块，因此在图8中以虚线示出。

基于同一发明构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如图2-5所示的方法。

在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(universal serial bus flash drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法，不应理解为对本发明实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (15)

1.一种门状态监测方法，其特征在于，所述方法包括：

接收图像采集装置传回的当前时刻的门的图像，并从所述门的图像中提取出多个检测框，其中，所述门上设置有M个标志符号，所述标志符号为用于检测门状态的参考符号，一个检测框为一个标志符号的潜在区域；

将所述多个检测框与预先配置的M个标注框中的每一个标注框进行匹配，以从所述多个检测框中确定与标注框相匹配的检测框，其中，标注框为在所述门处于关闭状态或者开启状态时的图像中标注的标志符号所在的区域，一个标注框对应于一个标志符号；

获取M个标注框中成功匹配到相匹配的检测框的第一数量，以及获取标注框与相匹配的检测框之间的距离大于第一预设距离阈值的标注框的第二数量，其中，所述距离为基于预先配置的标注框的位置信息，与获取的相匹配的检测框在门的图像中的位置信息确定的；

基于所述门的类型，根据所述第一数量和所述第二数量确定所述门当前时刻的状态。

2.如权利要求1所述的方法，其特征在于，所述从所述门的图像中提取出多个检测框，包括：

将所述门的图像输入至预先训练好的特征提取模型中，通过特征提取模型从所述门的图像中提取出所述多个检测框；

其中，所述特征提取模型是通过包含标志符号图像的多个样本图像进行训练学习获得的，每一个样本图像包括指示样本图像是否为标志符号图像的标签信息。

3.如权利要求1所述的方法，其特征在于，所述将所述多个检测框与标注框进行匹配，以从所述多个检测框中确定与标注框相匹配的检测框，包括：

获取标注框经掩膜处理后的梯度直方图；并，

获取每一个检测框经掩膜处理后的梯度直方图；其中，所述经掩膜处理后的梯度直方图中，仅包括梯度值不小于预设梯度值阈值的像素点；

以梯度直方图的中心点为基准点，将标注框经掩膜处理后的梯度直方图与每一个检测框经掩膜处理后的梯度直方图进行重合，以确定标注框经掩膜处理后的梯度直方图与检测框经掩膜处理后的梯度直方图中重合的像素点对；

基于重合的像素点对获取标注框与每一个检测框的欧氏距离，并将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的检测框。

4.如权利要求3所述的方法，其特征在于，在获取每一个检测框经掩膜处理后的梯度直方图之前，所述方法还包括：

基于所述M个标注框的尺寸，确定最大尺寸，其中，最大尺寸中的长度为所述M个标注框的最大长度，最大尺寸中的宽度为所述M个标注框的最大宽度；

根据所述最大尺寸对每一个检测框进行扩边，以使得扩边后的检测框的尺寸与所述最大尺寸相同；

则获取每一个检测框经掩膜处理后的梯度直方图，包括：

获取每一个扩边后的检测框经掩膜处理后的梯度直方图。

5.如权利要求3所述的方法，其特征在于，在获取标注框与每一个检测框的欧氏距离之前，所述方法还包括：

针对所述多个检测框中每一个检测框，执行以下步骤：

确定检测框与标注框之间的距离是否大于第二预设距离阈值，其中，所述第二预设距离阈值不小于所述第一预设距离阈值；

若确定结果为是，则从所述多个检测框中删除该检测框；

则所述获取标注框与每一个检测框的欧氏距离，包括：

获取标注框与过滤后剩余的每一个检测框的欧氏距离。

6.如权利要求1～4任一项所述的方法，其特征在于，所述基于所述门的类型，根据所述第一数量和所述第二数量确定所述门当前时刻的状态，包括：

若所述门为左右开门类型的门，则在所述第二数量小于第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第二数量大于或者等于所述第一预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于被淹没状态；

或者，

若所述门为上下开门类型的门，则在所述第二数量小于所述第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第一数量不为零且小于第二预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于开启状态或者被淹没状态。

7.一种门状态监测装置，其特征在于，所述装置包括：

检测框提取单元，用于接收图像采集装置传回的当前时刻的门的图像，并从所述门的图像中提取出多个检测框，其中，所述门上设置有M个标志符号，所述标志符号为用于检测门状态的参考符号，一个检测框为一个标志符号的潜在区域；

匹配单元，用于将所述多个检测框与预先配置的M个标注框中的每一个标注框进行匹配，以从所述多个检测框中确定与标注框相匹配的检测框，其中，标注框为在所述门处于关闭状态或者开启状态时的图像中标注的标志符号所在的区域，一个标注框对应于一个标志符号；

统计单元，用于获取M个标注框中成功匹配到相匹配的检测框的第一数量，以及获取标注框与相匹配的检测框之间的距离大于第一预设距离阈值的标注框的第二数量，其中，所述距离为基于预先配置的标注框的位置信息，与获取的相匹配的检测框在门的图像中的位置信息确定的；

确定单元，用于基于所述门的类型，根据所述第一数量和所述第二数量确定所述门当前时刻的状态。

8.如权利要求7所述的装置，其特征在于，所述检测框提取单元具体用于：

将所述门的图像输入至预先训练好的特征提取模型中，通过特征提取模型从所述门的图像中提取出所述多个检测框；

其中，所述特征提取模型是通过包含标志符号图像的多个样本图像进行训练学习获得的，每一个样本图像包括指示样本图像是否为标志符号图像的标签信息。

9.如权利要求7所述的装置，其特征在于，所述匹配单元具体用于：

获取标注框经掩膜处理后的梯度直方图；并，

获取每一个检测框经掩膜处理后的梯度直方图；其中，所述经掩膜处理后的梯度直方图中，仅包括梯度值不小于预设梯度值阈值的像素点；

以梯度直方图的中心点为基准点，将标注框经掩膜处理后的梯度直方图与每一个检测框经掩膜处理后的梯度直方图进行重合，以确定标注框经掩膜处理后的梯度直方图与检测框经掩膜处理后的梯度直方图中重合的像素点对；

基于重合的像素点对获取标注框与每一个检测框的欧氏距离，并将与标注框之间的欧氏距离最小的检测框，确定为与标注框相匹配的检测框。

10.如权利要求9所述的装置，其特征在于，所述匹配单元还用于：

基于所述M个标注框的尺寸，确定最大尺寸，其中，最大尺寸中的长度为所述M个标注框的最大长度，最大尺寸中的宽度为所述M个标注框的最大宽度；

根据所述最大尺寸对每一个检测框进行扩边，以使得扩边后的检测框的尺寸与所述最大尺寸相同；

获取每一个扩边后的检测框经掩膜处理后的梯度直方图。

11.如权利要求9所述的装置，其特征在于，所述匹配单元具体用于：

针对所述多个检测框中每一个检测框，执行以下步骤：

确定检测框与标注框之间的距离是否大于第二预设距离阈值，其中，所述第二预设距离阈值不小于所述第一预设距离阈值；

若确定结果为是，则从所述多个检测框中删除该检测框；

则所述获取标注框与每一个检测框的欧氏距离，包括：

获取标注框与过滤后剩余的每一个检测框的欧氏距离。

12.如权利要求7～11任一项所述的装置，其特征在于，所述确定单元具体用于：

若所述门为左右开门类型的门，则在所述第二数量小于第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第二数量大于或者等于所述第一预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于被淹没状态；

或者，

若所述门为上下开门类型的门，则在所述第二数量小于所述第一预设数量阈值时，确定所述门处于关闭状态，或者，在所述第一数量不为零且小于第二预设数量阈值时，确定所述门处于开启状态，或者，在所述第一数量为零时，确定所述门处于开启状态或者被淹没状态。

13.一种门状态确定系统，其特征在于，包括：

图像采集装置，用于采集门的图像，并将所述门的图像发送给门状态确定装置；

门状态确定装置，用于根据所述门的图像通过权利要求1～6任一权利要求所述的方法确定门的状态。

14.一种门状态监测设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1～6任一权利要求所述的方法。

15.一种计算机存储介质，其特征在于：

所述计算机存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。

Images