CN116129343A - 消防通道占用检测方法、装置及电子设备 - Google Patents

消防通道占用检测方法、装置及电子设备 Download PDF

Info

Publication number
CN116129343A
CN116129343A CN202211359668.6A CN202211359668A CN116129343A CN 116129343 A CN116129343 A CN 116129343A CN 202211359668 A CN202211359668 A CN 202211359668A CN 116129343 A CN116129343 A CN 116129343A
Authority
CN
China
Prior art keywords
target
detection
fire
unknown
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211359668.6A
Other languages
English (en)
Inventor
刘红利
闾凡兵
吴婷
熊肖一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Hisense Intelligent System Research Institute Co ltd
Original Assignee
Changsha Hisense Intelligent System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Hisense Intelligent System Research Institute Co ltd filed Critical Changsha Hisense Intelligent System Research Institute Co ltd
Priority to CN202211359668.6A priority Critical patent/CN116129343A/zh
Publication of CN116129343A publication Critical patent/CN116129343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种消防通道占用检测方法、装置及电子设备。本发明基于预先定义的已知类别目标和标注规则，对视频帧图像集进行样本标注，得到已知类别目标标注图像，对已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，以两阶段检测器Faster‑RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，根据模型输出结果进行逻辑判断，输出消防通道占用检测结果，可以实现高效、准确的室内外消防通道占用检测，当消防通道被占用、堵塞时，能实时产生报警并推送给有关部门及时处理，防止火灾发生或蔓延。

Description

消防通道占用检测方法、装置及电子设备
技术领域
本发明涉及计算机视觉图像处理技术领域，尤其涉及一种消防通道占用检测方法、装置及电子设备。
背景技术
消防通道就是生命通道。消防通道是否畅通，关系到抢险救援能否高效完成，更关系着人民群众的生命财产安全能否得到及时有效地抢救，如果被占用、堵塞，会带来严重的消防安全隐患。因此，消防通道不能随便占用，必须时刻保持畅通。为了保证消防通道畅通，传统的消防通道安全检测方法主要依靠人工实地巡检或通过监控视频巡查，完成依赖人工、费时费力，无法达到实时检测、自动检测的目的。随着人工智能技术的发展，基于视频监控的消防通道自动检测方法越来越多。
公开号为CN113762164 A的发明提出了一种基于背景匹配的消防通道障碍物识别方法，首先获取不同光照条件待识别消防通道中不含障碍物的背景模板图像集，然后计算每张背景模板图像与待匹配图像的匹配度，通过判断背景模板图像与待匹配图像的匹配度是否大于设定匹配阈值来判断消防通道中是否存在障碍物。该方法属于传统检测方法，对封闭的室内场景友好，但因受光线、环境因素影响大，泛化性和鲁棒性弱，尤其不适用于室外场景。公开号为CN112528884 A的发明提出了一种基于深度学习方法的消防通道障碍物智能检测方法，该发明提出在不需要知道目标种类的情况下，对标注过的数据使用深度学习方法进行显著性目标检测模型训练，从而进行显著性目标检测，自动检测消防通道障碍物前景，再通过感兴趣区域判断，实现消防通道占用检测。该方法可以不事先定义占用目标种类，但是需要对监控视频画面中出现的所有前景目标进行标注，工作量大，且由于没有定义具体类别，容易造成重复报警，当人和动物停留在消防通道中，也会被识别为占用目标，实际应用容易产生较多误报。基于深度学习目标检测方法是消防通道占用检测比较主流的方法，但是，采用常规深度学习目标检测算法进行消防通道占用检测具有一定的局限性，该方法只能识别已知类别，当未经训练的目标出现时无法进行检测。
发明内容
本发明的目的在于提供一种消防通道占用检测方法、装置及电子设备，以解决常规深度学习目标检测算法只能识别已知类别的局限性，传统机器学习背景建模法泛化性差的问题。
第一方面，本发明提供一种消防通道占用检测方法，包括：
获取真实消防通道场景的视频流；
按照预设帧率对所述视频流截取视频帧图像集；
基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；
对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；
根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型；对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；
根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；
根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
进一步地，对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，包括：
对已知类别目标标注图像进行目标实例统计，选取目标实例数量大于预设数量的类别作为基础任务的已知类别；
将所述已知类别随机划分为训练集、验证集和测试集，剩余类别作为增量学习的类别。
进一步地，根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，包括：
以两阶段检测器Faster-RCNN作为基础检测器，在第一阶段，检测器通过类不可知的RPN给出可能存在目标的所有区域，在第二阶段，将每个区域进行分类和位置调整；
采用对比聚类来区分已知类别和未知类别，在特征空间上进行类别分割，同类别的实例靠近，不相似的类别远离，对于每个已知类别，维护一个原型向量，假设为 类别的中间层特征，则类别中间层特征的对比损失函数为：
；
；
为距离函数，为中间层特征与原型向量的距离，为相同类别和不相似类别之间的阈值，不同类别实例间的距离要大于该阈值，为欧氏距离，设置为10；在训练时，通过最小化对比损失来保证特征空间上的类别分割；
采用RPN的预测框进行未知目标标注，将预测框中置信度分数高且与已知类别真值无重叠的预设个预测框归类为未知目标，并将其特征加入未知列表的特征队列中；
采用基于能量的分类器，学习输入特征F与标签L之间的匹配程度，用来识别未知目标；
当检测到的未知类别达到一定数量时，对未知类别进行标注，采用类别增量学习方法对新的类别进行学习。
进一步地，根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果，包括：
接入实时监控视频流，按照一定间隔进行取帧，得到视频帧；
对视频帧划定检测区域，去除完全不相干的背景信息，每个摄像头只需划定一次检测区域；
调用消防通道开放场景目标检测模型，对视频帧进行目标检测，得到检测目标，所述检测目标包括已知分类目标或者和/或未知分类目标。
进一步地，根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果，包括：
判断所述检测目标是否在检测区域中；
如果所述检测目标在检测区域中，判断所述检测目标中的非行人、动物目标是否持续静止占用时间达到设定时间阈值T1；
如果所述检测目标中的非行人、动物目标持续静止占用时间达到设定时间阈值T1，发出目标占用报警信息；
判断是否所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2；
如果所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2，发出目标占用报警信息；
判断是否所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1；
如果所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1，发出目标占用报警信息。
进一步地，判断所述检测目标是否在检测区域中，判断规则是所述检测目标的包围框在检测区域中的面积是否达到所述检测目标的包围框的50%；
持续静止的判断规则为相邻两帧目标框的交并比大于0.8，且物品周围无行人目标；
物品周围无行人的判断规则为物品包围框与行人包围框的交并比小于0.2；
物品消失的判断规则为调用消防通道开放场景目标检测模型，对视频帧进行目标检测时未输出对应的目标类别。
第二方面，本发明提供一种消防通道占用检测装置，包括：
获取单元，用于获取真实消防通道场景的视频流；
截取单元，用于按照预设帧率对所述视频流截取视频帧图像集；
标注单元，用于基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；
划分单元，用于对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；
训练单元，用于根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型；对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；
检测单元，用于根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；
判断单元，用于根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
第三方面，本发明提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以上任一项所述方法的步骤。
本发明的有益效果：本发明提供的消防通道占用检测方法、装置及电子设备，通过获取真实消防通道场景的视频流，按照预设帧率对视频流截取视频帧图像集，基于预先定义的已知类别目标和标注规则，对视频帧图像集进行样本标注，得到已知类别目标标注图像，对已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像，根据训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，根据消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果，消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置，根据模型输出结果进行逻辑判断，输出消防通道占用检测结果；本发明首先定义一定常用占用物体类别，作为已知类别，对已定义的物体进行类别识别和位置定位，对未定义的物体进行位置定位，再结合少量标签，在已知物体类别的基础上增量的学习新物体类别，并保证已知类别的检测能力，从而可以实现高效、准确的室内外消防通道占用检测，当消防通道被占用、堵塞时，能实时产生报警并推送给有关部门及时处理，防止火灾发生或蔓延。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的消防通道占用检测方法的流程图；
图2为本发明的消防通道占用检测方法的整体原理图；
图3为一场景下的样本标注示意图；
图4为另一场景下的样本标注示意图；
图5为已知类和未知类的能量分布图；
图6为已知类别垃圾桶、雨伞、背包示意图；
图7为已知类别行人和未知类别推车示意图；
图8为t1任务到t2任务的示意图；
图9为已知类别机动车占用告警示意图；
图10为未知类别占用告警示意图；
图11为本发明的消防通道占用检测装置框图；
图12为本发明的电子设备框图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
请参阅图1和图2，本发明实施例提供一种消防通道占用检测方法，包括：
S101，获取真实消防通道场景的视频流。
具体地，采集轨道地铁、建筑园区消防通道相关场景的监控视频，收集室内外不同天气、时段有物体占用的时间段和没有物体占用的时间段。需要收集定义的所有已知类别占用的正样本，若某些已知类别没有出现在消防通道场景中，则可采集其他场景作为替换。
S102，按照预设帧率对所述视频流截取视频帧图像集。
具体地，可按照2秒的间隔截取视频帧图像集。
S103，基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像。
具体地，本发明针对轨道地铁、建筑园区消防通道场景，定义了27种常见违规摆放/堆放/停放在消防通道的物体类别，具体类别中英文名称、定义及标注注意事项见下表。其中，行人、动物为非占用物体，用于后续物体占用的逻辑判断。
表1 常见违规摆放/堆放/停放在消防通道的物体类别
只标注表1中定义的类别，其他前景物体不进行标注。已知类别可以根据实际情况调整。请参阅图3和图4，可选择labelImg、DarkLabel等矩形标注工具进行样本标注，对图像中有已知类别区域分别进行矩形标注，按照类别定义表中的英文进行命名，若一张图像中有多个不同或相同已知类别的目标均需标注，需注意的是，需要按照已知类别目标形状的最小外接矩形进行框选，尽量避免背景的干扰。
S104，对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像。
具体地，可对标注好的数据进行目标实例统计，选取目标实例数量大于400的类别作为基础任务的已知类别，本发明选取[1, 2, 4, 5, 6, 7, 8, 9,10, 11, 14, 15, 16,17, 23]这15个类别作为基础任务（记为t1）的已知类别，将标注好的数据集按照7:2:1比例随机划分为训练数据集、验证数据集和测试数据集，剩余类别作为增量学习的类别，待检测到更多目标实例再进行学习。
S105，根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型。对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习。
现有基于视频分析的消防通道占用检测主要分为两种检测方法：一是传统检测方法，通过帧差法判断图像的变化，从而检测通道占用情况，该方法会由于光线等环境因素变化造成严重的误检漏检，泛化性差；二是基于深度学习的目标检测方法，该类方法具有很好的检测能力，当占用消防通道的物体是已经出现在训练数据集中的物体，那检测准确率可以达到不错的水平；但是，当占用消防通道的物体是未经过训练的物体类别，那么常用的目标检测算法将无法检测出该物体。而在实际应用中，无法一一列举所有占用物体，因此，常用的深度学习目标检测方法只能一定程度上解决消防通道占用检测问题。
近两年，计算机视觉会议提出了面向开放世界的目标检测方法，该类方法更贴近现实场景下的目标检测，不仅能够识别出已知类别还能识别未知类别，并不断地进行增量学习，当未知类别给定小量标签后，又能够将未知类别识别成已知类别，并且对先前的已知类别的检测能力不受影响。因此，本发明打破传统消防通道占用检测只对部分已知种类物体占用进行检测的方法，突破光线、环境对消防通道占用检测的影响，提出将开放场景下目标检测技术应用到消防通道占用检测中，结合合理的逻辑判断，实现高精度的室内外消防通道占用检测。
本发明采用面向开放世界的目标检测（Towards Open World Object Detection，OWOD）方法，采用ORE解决方案，通过对比聚类和基于能量的分类器来进行开放世界的目标检测训练，不仅能够识别出已知类别还能识别未知类别，并不断地进行增量学习，当未知类别给定少量标签后，又能够将未知类别识别成已知类别，同时保持对先前的已知类别的检测能力不受影响。基于开放场景目标检测数据集，对OWOD模型进行训练与调优，得到高精度OWOD模型。具体算法构成如下：
基础网络：模型训练时以两阶段检测器Faster-RCNN作为基础检测器，在第一阶段，检测器通过类不可知的RPN给出可能存在目标的所有区域（潜在的未知类别区域），在第二阶段，将每个区域进行分类和位置调整；
对比聚类：采用对比聚类来区分已知类别和未知类别，在特征空间上进行类别分割，同类别的实例靠近，不相似的类别远离，对于每个已知类别，维护一个原型向量，假设为 类别的中间层特征，则类别中间层特征的对比损失函数为：
；
；
为距离函数，为中间层特征与原型向量的距离，为相同类别和不相似类别之间的阈值，不同类别实例间的距离要大于该阈值，本发明中为欧氏距离，设置为10；在训练时，通过最小化对比损失来保证特征空间上的类别分割。
未知类别自动标记：在对比聚类中，未知类别也有其对应的原型向量，按正常的流程，需要对图片中的所有未知类别进行标注，以便归类特征，但显然这是不现实的。因此，采用RPN的预测框进行未知目标标注，将预测框中置信度分数高且与已知类别真值无重叠的预设个预测框归类为未知目标，并将其特征加入未知列表的特征队列中；本发明中选择top-1个预测框归为未知目标。
基于能量的未知类分类器：由于开放场景中包含未知类别的特性，传统的softmax分类器可能会给出不可控的结果，所以采用基于能量的分类器，学习输入特征F与标签L之间的匹配程度，用来识别未知目标；图5是本发明t1任务15个已知类别和未知类别数据的能量分布，从图5可以看出二者有明显的分离。
增量学习：当检测到的未知类别达到一定数量时，对未知类别进行标注，采用类别增量学习方法对新的类别进行学习。
本发明中，请参阅图6、图7、图8，首先定义总类别数为29，其中已知类别27类，1类为未知类别，1类为背景。基础任务（t1）的已知类别为目标实例大于400个的15类，剩余8类因为目标实例少于400，不足以得到一个可用的类别，归为未知类别。基于t1数据集训练得到的基础任务（t1）模型，可以有效检测出15类已知类别以及未知类别。
然后，当检测到的未知类别数量达到N时（如N=1500），对未知类别进行标签赋值，形成新任务（记为t2）的数据集。t2任务的已知类别为t1任务的15个类别+剩余8个类别，基于t2数据集训练得到新任务（t2）模型，但因为t2数据集目标实例主要是剩余8个类别，而t1任务中的已知类很少，为了不遗忘t1任务学习到的15个类别，在t2任务之后，基于Nx个t1任务15类别的样本对t2模型进行微调，从而得到有效的t2模型可以有效检测出15+8个已知类别和未知类别。本发明中，Nx=100。
S106，根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置。
具体地，接入实时监控视频流，按照50帧取一张图片，得到视频帧；对视频帧划定检测区域，去除完全不相干的背景信息，减少误报，每个摄像头只需划定一次检测区域。调用消防通道开放场景目标检测模型，对视频帧进行目标检测，得到检测目标，所述检测目标包括已知分类目标或者和/或未知分类目标。
S107，根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
基于消防通道开放场景目标检测模型检测结果结合划定区域、持续静止占用时间T1、长时静止占用时间T2、消失时间T3的逻辑判断，实现消防通道是否被占用的检测，若发现消防通道被占用及时报警，并输出报警摄像头信息、占用物体位置，以便相关负责人及时处理。
具体地，判断所述检测目标是否在检测区域中；判断规则是所述检测目标的包围框在检测区域中的面积是否达到所述检测目标的包围框的50%，若是，则认为此目标在区域中，进入下一步判断，否则，舍弃。
本实施例中，对于行人、机动车、非机动车、动物、垃圾桶、售票机、口罩售卖机、灭火器这8类物体，也可采用以下判断规则：目标物体中心点或底边中心点是否在检测区域中，若是，则认为此目标在检测区域中，进入下一步判断，否则，舍弃；对于其他类别的物体，判断规则是目标物体中心点是否在检测区域中，若是，则认为此目标在区域中，进入下一步判断，否则，舍弃。
之后进行行人、动物目标过滤，行人、动物属于主动性目标，当发生紧急情况，可以主动撤离，所以不属于占用物体范畴，当上述步骤得到的目标类别为行人或动物时，过滤该目标，当上述步骤得到的目标不属于行人或动物时，进入下一步判断。
如果所述检测目标在检测区域中，判断所述检测目标中的非行人、动物目标是否持续静止占用时间达到设定时间阈值T1，T1=60s。请参阅图9和图10，如果所述检测目标中的非行人、动物目标持续静止占用时间达到设定时间阈值T1，发出目标占用报警信息；判断是否所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2，T2=43200s；如果所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2，发出目标占用报警信息。持续静止的判断规则为相邻两帧目标框的交并比（IOU）大于0.8，且物品周围无行人目标；物品周围无行人的判断规则为物品包围框与行人包围框的交并比小于0.2。判断是否所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，T3=150s，且持续静止时长达到T1。物品消失的判断规则为调用消防通道开放场景目标检测模型，对视频帧进行目标检测时未输出对应的目标类别。如果所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1，发出目标占用报警信息。造成物品消失的原因可能有：物品被短暂移除后再次放回、物品被行人遮挡后再次出现、模型未检测出该物品。
对于整张画面，检测区域中新增占用目标及时报警。报警信息包含：摄像机点位、报警图片地址（圈定检测区域和报警目标）、报警事件、报警描述，将报警信息推送给相关上层平台，通知相关负责人及时处置。循环以上S106、S107的步骤。
由以上实施例可知，本发明通过获取真实消防通道场景的视频流，按照预设帧率对视频流截取视频帧图像集，基于预先定义的已知类别目标和标注规则，对视频帧图像集进行样本标注，得到已知类别目标标注图像，对已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像，根据训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，根据消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果，消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置，根据模型输出结果进行逻辑判断，输出消防通道占用检测结果；本发明针对轨道地铁、建筑园区消防通道场景，定义了27种常见违规摆放/堆放/停放在消防通道的物体类别，具有较强的鲁棒性和泛化性，不受环境干扰，结合有效的逻辑判断，实现室内外消防通道任意物体占用检测。
请参阅图11，本发明提供一种室内外消防通道占用检测装置，包括：
获取单元11，用于获取真实消防通道场景的视频流；
截取单元12，用于按照预设帧率对所述视频流截取视频帧图像集；
标注单元13，用于基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；
划分单元14，用于对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；
训练单元15，用于根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型；对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；
检测单元16，用于根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；
判断单元17，用于根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
本发明的室内外消防通道占用检测装置，首先定义一定常用占用物体类别，作为已知类别，对已定义的物体进行类别识别和位置定位，对未定义的物体进行位置定位，再结合少量标签，在已知物体类别的基础上增量的学习新物体类别，并保证已知类别的检测能力。从而可以实现高效、准确的室内外消防通道占用检测，当消防通道被占用、堵塞时，能实时产生报警并推送给有关部门及时处理，防止火灾发生或蔓延。
请参阅图12，本发明提供一种电子设备，包括：存储器100和处理器200，所述存储器100存储有计算机程序，所述计算机程序被所述处理器200执行时，使得所述处理器200执行以上所述方法的步骤。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的室内外消防通道占用检测方法各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：Read-OnlyMemory，简称：ROM）或随机存储记忆体（英文：RandomAccessMemory，简称：RAM）等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于室内外消防通道占用检测装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例中的说明即可；以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种消防通道占用检测方法，其特征在于，包括：
获取真实消防通道场景的视频流；
按照预设帧率对所述视频流截取视频帧图像集；
基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；
对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；
根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型； 对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；
根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；
根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
2.如权利要求1所述的消防通道占用检测方法，其特征在于，对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，包括：
对已知类别目标标注图像进行目标实例统计，选取目标实例数量大于预设数量的类别作为基础任务的已知类别；
将所述已知类别随机划分为训练集、验证集和测试集，剩余类别作为增量学习的类别。
3.如权利要求1所述的消防通道占用检测方法，其特征在于，根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，包括：
以两阶段检测器Faster-RCNN作为基础检测器，在第一阶段，检测器通过类不可知的RPN给出可能存在目标的所有区域，在第二阶段，将每个区域进行分类和位置调整；
采用对比聚类来区分已知类别和未知类别，在特征空间上进行类别分割，同类别的实例靠近，不相似的类别远离，对于每个已知类别，维护一个原型向量，假设为 类别的中间层特征，则类别中间层特征的对比损失函数为：
；
；
为距离函数，为中间层特征与原型向量的距离，为相同类别和不相似类别之间的阈值，不同类别实例间的距离要大于该阈值，为欧氏距离，设置为10；在训练时，通过最小化对比损失来保证特征空间上的类别分割；
采用RPN的预测框进行未知目标标注，将预测框中置信度分数高且与已知类别真值无重叠的预设个预测框归类为未知目标，并将其特征加入未知列表的特征队列中；
采用基于能量的分类器，学习输入特征F与标签L之间的匹配程度，用来识别未知目标；
当检测到的未知类别达到一定数量时，对未知类别进行标注，采用类别增量学习方法对新的类别进行学习。
4.如权利要求1所述的消防通道占用检测方法，其特征在于，根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果，包括：
接入实时监控视频流，按照一定间隔进行取帧，得到视频帧；
对视频帧划定检测区域，去除完全不相干的背景信息，每个摄像头只需划定一次检测区域；
调用消防通道开放场景目标检测模型，对视频帧进行目标检测，得到检测目标，所述检测目标包括已知分类目标或者和/或未知分类目标。
5.如权利要求4所述的消防通道占用检测方法，其特征在于，根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果，包括：
判断所述检测目标是否在检测区域中；
如果所述检测目标在检测区域中，判断所述检测目标中的非行人、动物目标是否持续静止占用时间达到设定时间阈值T1；
如果所述检测目标中的非行人、动物目标持续静止占用时间达到设定时间阈值T1，发出目标占用报警信息；
判断是否所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2；
如果所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2，发出目标占用报警信息；
判断是否所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1；
如果所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1，发出目标占用报警信息。
6.如权利要求5所述的消防通道占用检测方法，其特征在于，判断所述检测目标是否在检测区域中，判断规则是所述检测目标的包围框在检测区域中的面积是否达到所述检测目标的包围框的50%；
持续静止的判断规则为相邻两帧目标框的交并比大于0.8，且物品周围无行人目标；
物品周围无行人的判断规则为物品包围框与行人包围框的交并比小于0.2；
物品消失的判断规则为调用消防通道开放场景目标检测模型，对视频帧进行目标检测时未输出对应的目标类别。
7.一种消防通道占用检测装置，其特征在于，包括：
获取单元，用于获取真实消防通道场景的视频流；
截取单元，用于按照预设帧率对所述视频流截取视频帧图像集；
标注单元，用于基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；
划分单元，用于对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；
训练单元，用于根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster-RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型；对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；
检测单元，用于根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；
判断单元，用于根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
8.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6中任一项所述方法的步骤 。
CN202211359668.6A 2022-11-02 2022-11-02 消防通道占用检测方法、装置及电子设备 Pending CN116129343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211359668.6A CN116129343A (zh) 2022-11-02 2022-11-02 消防通道占用检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211359668.6A CN116129343A (zh) 2022-11-02 2022-11-02 消防通道占用检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116129343A true CN116129343A (zh) 2023-05-16

Family

ID=86299725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211359668.6A Pending CN116129343A (zh) 2022-11-02 2022-11-02 消防通道占用检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116129343A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746028A (zh) * 2024-02-08 2024-03-22 暗物智能科技(广州)有限公司 一种未标注物品的视觉检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746028A (zh) * 2024-02-08 2024-03-22 暗物智能科技(广州)有限公司 一种未标注物品的视觉检测方法、装置、设备及介质
CN117746028B (zh) * 2024-02-08 2024-06-11 暗物智能科技(广州)有限公司 一种未标注物品的视觉检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN104303193B (zh) 基于聚类的目标分类
EP3343443A1 (en) Object detection for video camera self-calibration
US20130243343A1 (en) Method and device for people group detection
CN103093212B (zh) 基于人脸检测和跟踪截取人脸图像的方法和装置
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN111783530A (zh) 一种在限制区域内监控及鉴别行为的安全系统及方法
CN112711996A (zh) 一种用于消防通道占用检测的系统
CN113095301B (zh) 占道经营监测方法、系统与服务器
US11763662B2 (en) Systems and methods of enforcing dynamic thresholds of social distancing rules
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
CN108805184B (zh) 一种固定空间、车辆上的图像识别方法及系统
JP2004328622A (ja) 行動パターン識別装置
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN116129343A (zh) 消防通道占用检测方法、装置及电子设备
Andersson et al. Activity recognition and localization on a truck parking lot
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN113470009B (zh) 违规撑伞检测和识别方法、装置、电子设备及存储介质
Harahap et al. Detection and simulation of vacant parking lot space using east algorithm and haar cascade

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination