CN117315028B - 室外火场起火点定位方法、装置、设备及介质 - Google Patents

室外火场起火点定位方法、装置、设备及介质 Download PDF

Info

Publication number
CN117315028B
CN117315028B CN202311322492.1A CN202311322492A CN117315028B CN 117315028 B CN117315028 B CN 117315028B CN 202311322492 A CN202311322492 A CN 202311322492A CN 117315028 B CN117315028 B CN 117315028B
Authority
CN
China
Prior art keywords
detection frame
fire
real
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311322492.1A
Other languages
English (en)
Other versions
CN117315028A (zh
Inventor
张燕
胡晰远
厉吉华
修宁波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Duowei Shitong Technology Co ltd
Original Assignee
Beijing Duowei Shitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Duowei Shitong Technology Co ltd filed Critical Beijing Duowei Shitong Technology Co ltd
Priority to CN202311322492.1A priority Critical patent/CN117315028B/zh
Publication of CN117315028A publication Critical patent/CN117315028A/zh
Application granted granted Critical
Publication of CN117315028B publication Critical patent/CN117315028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本公开提供了一种室外火场起火点定位方法、装置、设备及介质，涉及火灾现场勘验技术领域。该方法包括：在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，第一检测框为框选起火点的检测框；控制无人机飞入摄像头的视野范围，无人机悬吊有目标物；对摄像头的实时视频中的目标物进行检测，得到第二检测框，第二检测框为框选目标物的检测框；在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置。根据本公开实施例，能够提高火场起火点定位的准确性，并且能够提高作业人员的工作效率及安全保障。

Description

室外火场起火点定位方法、装置、设备及介质
技术领域
本公开涉及火灾现场勘验技术领域，尤其涉及一种室外火场起火点定位方法、装置、设备及介质。
背景技术
在火灾调查中，起火部位的准确定位，对于验证火灾调查痕迹、物证和原因鉴定具有重要意义。在分析火灾事故起因的阶段，明确火势出现的区域是最重要的一环，直接影响之后调查工作的走向，具有关键的指导性功能。不过火灾现场损害较大，灭火救援无法保护现场，导致其再次被破坏，或则特殊的“无现场”火灾，都使得火灾事故调查阶段无法维持证据采集的完整性，从一定程度上增加了起火点排查的工作压力。
当前火灾视频勘验主要依据经验进行，实地现场定位准确性较低。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种室外火场起火点定位方法、装置、设备及介质，至少在一定程度上克服由于相关技术中因火灾视频勘验主要依据经验进行，所导致实地现场定位准确性较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供了一种室外火场起火点定位方法，包括：
在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，第一检测框为框选起火点的检测框；
控制无人机飞入摄像头的视野范围，无人机悬吊有目标物；
对摄像头的实时视频中的目标物进行检测，得到第二检测框，第二检测框为框选目标物的检测框；
在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置。
在本公开的一个实施例中，在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，包括：
获取拍摄到起火点的摄像头的历史视频；
根据历史视频，确定第一检测框在视频界面的位置；
在摄像头的位姿与拍摄历史视频的位姿相同的情况下，在实时视频中标注出第一检测框，第一检测框在实时视频中的位置与在历史视频中的位置相同。
在本公开的一个实施例中，对摄像头的实时视频中的目标物进行检测，得到第二检测框后，方法还包括：
根据第二检测框在视频中的位置和第一检测框在视频中的位置，确定无人机飞行指示信息；
基于无人机飞行指示信息，控制无人机向起火点的方向飞行。
在本公开的一个实施例中，在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置，包括：
计算第一检测框的位置和第二检测框的位置之间的交并比；
将第一检测框和第二检测框的交并比大于预设阈值时无人机的位置，确定为起火点位置。
在本公开的一个实施例中，目标物为发光物体。
在本公开的一个实施例中，对摄像头的实时视频中的目标物进行检测，得到第二检测框，包括：
采用预先训练的目标追踪模型SiamFC++，对摄像头的实时视频中的目标物进行检测，得到第二检测框。
在本公开的一个实施例中，对摄像头的实时视频中的目标物进行检测，得到第二检测框之前，方法还包括：
采用ONNX量化的方法，将模型中的浮点参数和操作转换为16位浮点型精度来加速SiamFC++模型，共生成特征提取模型和追踪模型；
对摄像头的实时视频中的目标物进行检测，得到第二检测框，包括：
调用特征提取模型和追踪模型，对摄像头的实时视频中的目标物进行追踪，得到第二检测框。
根据本公开的另一个方面，提供一种室外火场起火点定位装置，包括：
第一检测模块，被配置为在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，第一检测框为框选起火点的检测框；
飞行控制模块，被配置为控制无人机飞入摄像头的视野范围，无人机悬吊有目标物；
第二检测模块，被配置为对摄像头的实时视频中的目标物进行检测，得到第二检测框，第二检测框为框选目标物的检测框；
定位处理模块，被配置为在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置。
根据本公开的又一个方面，提供一种电子设备，包括：存储器，用于存储指令；处理器，用于调用所述存储器中存储的指令，实现上述的室外火场起火点定位方法。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述的室外火场起火点定位方法。
根据本公开的又一个方面，提供一种计算机程序产品，计算机程序产品存储有指令，所述指令在由计算机执行时，使得计算机实施上述的室外火场起火点定位方法。
根据本公开的又一个方面，提供一种芯片，包括至少一个处理器和接口；
接口，用于为至少一个处理器提供程序指令或者数据；
至少一个处理器用于执行程序指令，以实现上述的室外火场起火点定位方法。
本公开实施例所提供的室外火场起火点定位方法、装置、设备及介质，在实时视频中用第一检测框来框选出起火点的位置，控制无人机飞至起火点附近，无人机悬吊有目标物，实时检测并用第二检测框来框选出目标物，在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置，该方案能够提高火场起火点定位的准确性，并且能够提高作业人员的工作效率及安全保障。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种室外火场起火点定位方法流程图；
图2示出本公开实施例中一种室外火场起火点定位场景图；
图3示出本公开实施例中另一种室外火场起火点定位方法流程图；
图4示出本公开实施例中一种无人机飞行方向指示的人机界面；
图5示出本公开实施例中再一种室外火场起火点定位方法流程图；
图6示出本公开实施例中一种室外火场起火点定位装置示意图；
图7示出本公开实施例中一种电子设备的结构框图。
具体实施方式
下面将参考附图更全面地描述示例实施方式。
需要说明的是，示例实施方式能够以多种形式实施，不应被理解为限于在此阐述的范例。
基于背景技术部分可知，当前火灾视频勘验主要依据经验进行，实地现场定位准确性较低。
具体地，当前火灾视频勘验主要依据经验进行，无精确的像素级视频监控现场勘验方法，且在视频内定位起火点，导致的实地现场定位准确性低的技术问题。
发明人发现，双目立体视觉和三维重建技术要求两台摄像机参数完全相同且已知，光轴平行，且摆放位置要求严格，但实际情况下不可行，火场及起火点都是随机的，摄像机参数也必然存在差异、且存在多种畸变因素，而且很难做到前向绝对平行，对待定位的起火点及范围要求经量在摄像机成像的中间位置等苛刻条件，都表明双目立体视觉在火场起火点定位上距离实际应用还较远。
火灾对现场的损害较大，灭火救援过程中无法保护现场且会再次破坏现场，或者特殊的“无现场”火灾，都使得火灾事故无法提取现场起火点周围完整的明显标志性特征，难以还原起火点。
利用世界坐标系和成像平面坐标系的矩阵变换关系，定量计算出起火部位与监控摄像头的相对位置，但是在实际应用中，由于安装等原因，要获取摄像机的图像坐标系与世界坐标系之间转换的关键参数非常困难，且对相机参数要求较多，需要繁杂的相机矫正，往往精度无法满足要求。
为解决上述问题，本公开提供了一种室外火场起火点定位方法、装置、设备及介质，通过调用拍摄到起火点的摄像头历史视频和实时视频，基于单目标追踪算法追踪无人机光源框，在监控视频中逼近起火点并进行框匹配，从而实现在现场的起火部位像素级高精度定位，保证了火灾现场起火部位定位精度要求，简化了火灾现场起火部位排查的复杂过程，减轻了对专业调查人员的严重依赖。
下面结合附图及实施例对本示例实施方式进行详细说明。
首先，本公开实施例中提供了一种室外火场起火点定位方法，该方法可以由任意具备计算处理能力的电子设备执行。
图1示出本公开实施例中一种室外火场起火点定位方法流程图，如图1所示，本公开实施例中提供的室外火场起火点定位方法包括步骤S102-S108。
在S102中，在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，第一检测框为框选起火点的检测框。
在一些实施例中，在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，包括：获取拍摄到起火点的摄像头的历史视频；根据历史视频，确定第一检测框在视频界面的位置；在摄像头的位姿与拍摄历史视频的位姿相同的情况下，在实时视频中标注出第一检测框，第一检测框在实时视频中的位置与在历史视频中的位置相同。
本公开实施例通过分析摄像头的历史视频，获取起火点位置，也就是第一检测框在视频显示界面的位置，在此基础上，远程调用拍摄到起火点的监控摄像头实时视频，导入第一检测框。
在S104中，控制无人机飞入摄像头的视野范围，无人机悬吊有目标物。
火灾现场起飞无人机，无人机的位置在摄像头能拍摄到的范围内，并控制无人机飞向起火点的位置。
目标物可以是在视频中容易被辨认识别的物体，也就是说目标物为易识别物。在一个实施例中，目标物可以为发光物体。
在S106中，对摄像头的实时视频中的目标物进行检测，得到第二检测框，第二检测框为框选目标物的检测框。
这里，可以依靠视频单目标跟踪技术确保无人机光源在视频中的稳定分类与定位，得到第二检测框。
检测实时视频中目标物的方法可以有多种，包括各类目标检测算法，均可以实现在视频中检测并框选出目标物。
在S108中，在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置。
这里，预设条件可以有多种，例如可以计算两个检测框中心点之间的距离值，在距离值小于距离阈值的情况下，将无人机在现实世界的位置确定为起火点在现实世界的位置。预设条件还可以是计算两个检测框的交并比，判断交并比是否大于预设阈值，将第一检测框和第二检测框的交并比大于预设阈值时无人机的位置，确定为起火点位置。
图2示出一种室外火场起火点定位场意图，本公开实施例首先分析监控历史视频，获取起火点框位置，在此基础上，远程调用拍摄到起火点的监控摄像头实时视频，导入起火点框像素位置；此后，火灾现场起飞无人机，依靠视频单目标跟踪技术确保无人机光源在视频中的稳定分类与定位，并实时计算无人机光源框中心点与起火点框中心点的方位信息；视频界面设计无人机飞行路径指示无人机逼近光源，并实时计算光源框与起火点框的重合度，在判定为起火点后记录无人机位置信息，实现起火点的高精度定位。
在一些实施例中，在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置，包括：计算第一检测框的位置和第二检测框的位置之间的交并比；将第一检测框和第二检测框的交并比大于预设阈值时无人机的位置，确定为起火点位置。
由于起火点在视频中不是一个像素点，而是一个起火区域(第一检测框)，并且无人机所预测的光源位置也以光源预测框表示(第二检测框)。因此本公开实施例采用交并比IOU计算的方法来匹配无人机光源和起火点位置。通过设置交并比阈值，当光源预测框与起火点目标框间交并比值大于阈值时，认为到达起火点位置。利用目标检测中的交并比评价指标，能够更加准确的实现光源框与起火区域框匹配。
在一些实施例中，S106可以是基于单目标追踪算法的光源目标物(发光物体)定位追踪。
在一些实施例中，上述S106对摄像头的实时视频中的目标物进行检测，得到第二检测框，可以包括采用预先训练的目标追踪模型SiamFC++，对摄像头的实时视频中的目标物进行检测，得到第二检测框。
在训练目标追踪模型SiamFC++时，通过在监控中设置选取清晰的无人机光源框(第二检测框)的帧为第一帧，利用训练的SiamFC++卷积特征模型提取第一帧目标框特征图，并在后续帧中提取搜索区域卷积特征图；后续帧光源追踪是基于训练的SiamFC++追踪模型在搜索图像的特征图中通过与目标框特征图相互运算得到响应图，将响应图上最大值映射到原图找出相似区域，实现视频无人机光源框位置的稳定定位追踪。
在一些实施例中，图3示出一种室外火场起火点定位方法的流程图，该方法与图1所示方法相似，其不同之处在于对摄像头的实时视频中的目标物进行检测，得到第二检测框之前，采用ONNX量化的方法，将模型中的浮点参数和操作转换为16位浮点型精度来加速SiamFC++模型，共生成特征提取模型和追踪模型；以及将S106对摄像头的实时视频中的目标物进行检测，得到第二检测框，具体描述为S308调用特征提取模型和追踪模型，对摄像头的实时视频中的目标物进行追踪，得到第二检测框。
本公开实施例，无人机携带目标物(光源)在不同的监控范围内飞行录制视频，标注视频帧中的光源，将标注的图像按一定比例分为训练数据集和验证数据集训练目标追踪模型(SiamFC++)。由于深度神经网络结构复杂、参数量大，导致训练出来的模型推理时间较长、内存需求较大，对于计算能力受限边缘平台的部署工作存在巨大的困难和挑战。
本公开实施例采用ONNX量化的方法，通过将模型中的浮点参数和操作转换为16位浮点型精度来加速SiamFC++模型，共生成特征提取模型和追踪模型两个模型，减少模型的存储和空间。通过推理调用onnx模型进行追踪，提高模型运行速度。
在一些实施例中，对摄像头的实时视频中的目标物进行检测，得到第二检测框后，上述方法还包括：根据第二检测框在视频中的位置和第一检测框在视频中的位置，确定无人机飞行指示信息；基于无人机飞行指示信息，控制无人机向起火点的方向飞行。
如图4所示，本公开实施例通过计算无人机预测框中心的与起火点目标框中心的相对位置，也就是图4中第一检测框401中心点和第二检测框402中心点的相对位置，通过在人机界面上实时显示到起火点的方位指示信息，能够使无人机以最近的距离、最快的速度逼近起火点。
为便于理解，下面结合附图5，详细说明上述室外火场起火点定位方法。
本公开实施例的硬件可以包括主控机、无人机、监控摄像头等。主控机可以采用NVIDIA RTX 3080Ti GPU，i7-6700CPU。无人机可以采用具有RTK定位装置，可进行高精度定位。
打开便携式主控器，连接网络，调取监控摄像头历史视频，获取第一检测框坐标(x,y,w,h)：其中x,y为起火部位在监控图像中第一检测框的左上角位置，w为框宽，h为框高。
远程接入监控摄像头实时视频，不调整摄像头的任何外部位姿，保持监控拍到起火时的位姿。
起飞RTK无人机，调整无人机位置使其光源出现在监控图像中，人工框出光源框也就是第二检测框，主控器会自动获取第二检测框的信息(x0,y0,w0,h0)并记录，其中x0,y0为无人机光源在监控图像中的第二检测框的左上角位置，w0为光源框宽，h0为光源宽高。
主控机自动计算光源框中心点(xi+wi/2,yi+hi/2)到起火点框中心点(x+w/2,y+h/2))的方位信息，其中i为帧号，并给出指示信息，提示无人机向起火点位置靠近。
启动主控机追踪功能，逐帧实时检测跟踪第二检测框，记录第二检测框在每i帧的位置信息(xi+wi/2,yi+hi/2)。
实时计算两个框的交并比IOU，当IOU<阈值时，循环执行第三步、第四步和第五步；当IOU>阈值时，本公开实施例的阈值可以设为0.9，获取无人机RTK位置信息结束。
RTK无人机在火场起飞，无人机光源进入监控后，调整无人机位置，选取光源清晰、特征明显的帧标框，确保目标特征明显利于追踪算法的有效稳定追踪。主控机自动计算出监控中起火点框中心像素点与无人机光源框中心像素点的初始方位，同时启动单目标跟踪算法跟踪无人机光源，并实时计算出起火点框中心像素点与无人机光源框中心像素点间的相对距离和方位信息，指示无人机向起火点逼近，当无人机光源框与起火点框匹配时，系统存储无人机RTK位置信息作为起火点位置，实现起火点位置的精准定位。
本公开实施例可用于火场起火点的准确定位，提高了作业人员的工作效率及安全保障。结合监控摄像头和RTK无人机，采用单目标跟踪算法，实现了火场起火点RTK定位。该方法简单合理，成本较低，对火场起火点可以快速、精准的定位提供可靠依据。
在本公开实施例中，术语“第一”、“第二”和“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。
在一些实施例中，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
基于同一发明构思，本公开实施例中还提供了一种室外火场起火点定位装置，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图6示出本公开实施例中一种室外火场起火点定位装置示意图，如图6所示，该室外火场起火点定位装置600，包括：
第一检测模块602，被配置为在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，第一检测框为框选起火点的检测框；
飞行控制模块604，被配置为控制无人机飞入摄像头的视野范围，无人机悬吊有目标物；
第二检测模块606，被配置为对摄像头的实时视频中的目标物进行检测，得到第二检测框，第二检测框为框选目标物的检测框；
定位处理模块608，被配置为在第一检测框的位置和第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置。
在一些实施例中，第一检测模块602，被配置为获取拍摄到起火点的摄像头的历史视频；根据历史视频，确定第一检测框在视频界面的位置；在摄像头的位姿与拍摄历史视频的位姿相同的情况下，在实时视频中标注出第一检测框，第一检测框在实时视频中的位置与在历史视频中的位置相同。
在一些实施例中，该室外火场起火点定位装置600，还包括：
信息处理模块，被配置为根据第二检测框在视频中的位置和第一检测框在视频中的位置，确定无人机飞行指示信息；
无人机控制模块，被配置为基于无人机飞行指示信息，控制无人机向起火点的方向飞行。
在一些实施例中，定位处理模块608，被配置为计算第一检测框的位置和第二检测框的位置之间的交并比；将第一检测框和第二检测框的交并比大于预设阈值时无人机的位置，确定为起火点位置。
在一些实施例中，目标物为发光物体。
在一些实施例中，第二检测模块606，被配置为采用预先训练的目标追踪模型SiamFC++，对摄像头的实时视频中的目标物进行检测，得到第二检测框。
在一些实施例中，该室外火场起火点定位装置600，还包括：
模型处理模块，被配置为对摄像头的实时视频中的目标物进行检测，得到第二检测框之前，采用ONNX量化的方法，将模型中的浮点参数和操作转换为16位浮点型精度来加速SiamFC++模型，共生成特征提取模型和追踪模型。
第二检测模块606，被配置为调用特征提取模型和追踪模型，对摄像头的实时视频中的目标物进行追踪，得到第二检测框。
本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
关于上述实施例中的室外火场起火点定位装置，其中各个模块执行操作的具体方式已经在有关该室外火场起火点定位方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。
实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面参照图7来描述本公开实施例提供的电子设备。图7显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
图7示出本本公实施例提供的一种电子设备700的架构示意图。如图7所示，该电子设备700包括但不限于：至少一个处理器710、至少一个存储器720。
存储器720，用于存储指令。
在一些实施例中，存储器720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。
在一些实施例中，存储器720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
在一些实施例中，存储器720可存储操作系统。该操作系统可以是实时操作系统(Real Time eXecutive，RTX)、LINUX、UNIX、WINDOWS或OS X之类的操作系统。
在一些实施例中，存储器720中还可以存储有数据。
作为一个示例，处理器710可以读取存储器720中存储的数据，该数据可以与指令存储在相同的存储地址，该数据也可以与指令存储在不同的存储地址。
处理器710，用于调用存储器720中存储的指令，实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理器710可以执行上述方法实施例的各步骤。
需要说明的是，上述处理器710可以是通用处理器或者专用处理器。处理器710可以包括一个或者一个以上处理核心，处理器710通过运行指令执行各种功能应用以及数据处理。
在一些实施例中，处理器710可以包括中央处理器(central processing unit，CPU)和/或基带处理器。
在一些实施例中，处理器710可以根据各个控制指令中携带的优先级标识和/或功能类别信息确定一个指令。
本公开中，处理器710和存储器720可以单独设置，也可以集成在一起。
作为一个示例，处理器710和存储器720可以集成在单板或者系统级芯片(systemon chip，SOC)上。
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700还可以包括总线730。
总线730可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备740(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。
并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。
如图7所示，网络适配器760通过总线730与电子设备700的其它模块通信。
应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
可以理解的是，本公开实施例示意的结构并不构成对电子设备700的具体限定。在本公开另一些实施例中，电子设备700可以包括比图7所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图7所示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开还提供了一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述方法实施例描述的室外火场起火点定位方法。
本公开实施例中计算机可读存储介质，为可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的计算机指令。
作为一个示例，计算机可读存储介质是非易失性存储介质。
在一些实施例中，本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、U盘、移动硬盘或者上述的任意合适的组合。
本公开实施例中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机指令(可读程序代码)。
这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。
在一些示例中，计算机可读存储介质上包含的计算指令可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
本公开实施例还提供一种计算机程序产品，计算机程序产品存储有指令，指令在由计算机执行时，使得计算机实施上述方法实施例描述的室外火场起火点定位方法。
上述指令可以是程序代码。在具体实施时，程序代码可以由一种或多种程序设计语言的任意组合来编写。
程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本公开实施例还提供了一种芯片，包括至少一个处理器和接口；
接口，用于为至少一个处理器提供程序指令或者数据；
至少一个处理器用于执行程序指令，以实现上述方法实施例描述的室外火场起火点定位方法。
在一些实施例中，该芯片还可以包括存储器，该存储器，用于保存程序指令和数据，存储器位于处理器之内或处理器之外。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。
本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (9)

1.一种室外火场起火点定位方法，其特征在于，包括：
在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，所述第一检测框为框选起火点的检测框；
控制无人机飞入所述摄像头的视野范围，所述无人机悬吊有目标物；
对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框，所述第二检测框为框选所述目标物的检测框；
在所述第一检测框的位置和所述第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置；
所述在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，包括：获取拍摄到起火点的摄像头的历史视频；根据所述历史视频，确定第一检测框在视频界面的位置；在摄像头的位姿与拍摄所述历史视频的位姿相同的情况下，在实时视频中标注出第一检测框，所述第一检测框在实时视频中的位置与在历史视频中的位置相同。
2.根据权利要求1所述的方法，其特征在于，对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框后，所述方法还包括：
根据所述第二检测框在视频中的位置和所述第一检测框在视频中的位置，确定无人机飞行指示信息；
基于所述无人机飞行指示信息，控制所述无人机向所述起火点的方向飞行。
3.根据权利要求1所述的方法，其特征在于，在所述第一检测框的位置和所述第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置，包括：
计算所述第一检测框的位置和所述第二检测框的位置之间的交并比；
将所述第一检测框和所述第二检测框的交并比大于预设阈值时无人机的位置，确定为起火点位置。
4.根据权利要求1所述的方法，其特征在于，所述目标物为发光物体。
5.根据权利要求4所述的方法，其特征在于，对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框，包括：
采用预先训练的目标追踪模型SiamFC++，对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框。
6.根据权利要求4所述的方法，其特征在于，对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框之前，所述方法还包括：
采用ONNX量化的方法，将模型中的浮点参数和操作转换为16位浮点型精度来加速SiamFC++模型，共生成特征提取模型和追踪模型；
对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框，包括：
调用所述特征提取模型和所述追踪模型，对所述摄像头的实时视频中的所述目标物进行追踪，得到第二检测框。
7.一种室外火场起火点定位装置，其特征在于，包括：
第一检测模块，被配置为在拍摄到起火点的摄像头的实时视频中，标注出第一检测框，所述第一检测框为框选起火点的检测框；
飞行控制模块，被配置为控制无人机飞入所述摄像头的视野范围，所述无人机悬吊有目标物；
第二检测模块，被配置为对所述摄像头的实时视频中的所述目标物进行检测，得到第二检测框，所述第二检测框为框选所述目标物的检测框；
定位处理模块，被配置为在所述第一检测框的位置和所述第二检测框的位置满足预设条件时，将无人机在现实世界的位置确定为起火点位置；
所述第一检测模块，被配置为获取拍摄到起火点的摄像头的历史视频；根据所述历史视频，确定第一检测框在视频界面的位置；在摄像头的位姿与拍摄所述历史视频的位姿相同的情况下，在实时视频中标注出第一检测框，所述第一检测框在实时视频中的位置与在历史视频中的位置相同。
8.一种电子设备，其特征在于，包括：
存储器，用于存储指令；
处理器，用于调用所述存储器中存储的指令，实现如权利要求1-6任一项所述的室外火场起火点定位方法。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-6中任意一项所述的室外火场起火点定位方法。
CN202311322492.1A 2023-10-12 2023-10-12 室外火场起火点定位方法、装置、设备及介质 Active CN117315028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311322492.1A CN117315028B (zh) 2023-10-12 2023-10-12 室外火场起火点定位方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311322492.1A CN117315028B (zh) 2023-10-12 2023-10-12 室外火场起火点定位方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117315028A CN117315028A (zh) 2023-12-29
CN117315028B true CN117315028B (zh) 2024-04-30

Family

ID=89236971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311322492.1A Active CN117315028B (zh) 2023-10-12 2023-10-12 室外火场起火点定位方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117315028B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101944952B1 (ko) * 2017-12-01 2019-02-01 이병섭 화재 탐지 기능의 무인항공기
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
CN112508865A (zh) * 2020-11-23 2021-03-16 深圳供电局有限公司 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
WO2021114702A1 (zh) * 2019-12-10 2021-06-17 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN113012215A (zh) * 2019-12-20 2021-06-22 华为技术有限公司 一种空间定位的方法、系统及设备
CN113920538A (zh) * 2021-10-20 2022-01-11 北京多维视通技术有限公司 目标检测方法、装置、设备、存储介质及计算机程序产品
CN114155284A (zh) * 2021-12-15 2022-03-08 天翼物联科技有限公司 基于多目标行人场景的行人跟踪方法、装置、设备及介质
CN114495041A (zh) * 2022-01-27 2022-05-13 北京合众思壮时空物联科技有限公司 车辆与目标物之间距离的测量方法、装置、设备及介质
WO2022134344A1 (zh) * 2020-12-21 2022-06-30 苏州科达科技股份有限公司 目标检测方法、系统、设备及存储介质
CN115328212A (zh) * 2022-08-26 2022-11-11 成都流体动力创新中心 一种基于无人机吊舱的目标追踪方法及装置
CN115546297A (zh) * 2022-09-20 2022-12-30 深圳市优必选科技股份有限公司 单目测距方法、装置、电子设备及存储介质
CN115984768A (zh) * 2022-12-14 2023-04-18 苏州加乘科技有限公司 一种基于固定型单目摄像头的多目标行人实时检测定位方法
KR20230061877A (ko) * 2021-10-29 2023-05-09 에이치디한국조선해양 주식회사 실내 소방 시스템
CN116206223A (zh) * 2023-02-20 2023-06-02 武汉理工大学 一种基于无人机边缘计算的火灾检测方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101944952B1 (ko) * 2017-12-01 2019-02-01 이병섭 화재 탐지 기능의 무인항공기
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
WO2021114702A1 (zh) * 2019-12-10 2021-06-17 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN113012215A (zh) * 2019-12-20 2021-06-22 华为技术有限公司 一种空间定位的方法、系统及设备
CN112508865A (zh) * 2020-11-23 2021-03-16 深圳供电局有限公司 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
WO2022134344A1 (zh) * 2020-12-21 2022-06-30 苏州科达科技股份有限公司 目标检测方法、系统、设备及存储介质
CN113920538A (zh) * 2021-10-20 2022-01-11 北京多维视通技术有限公司 目标检测方法、装置、设备、存储介质及计算机程序产品
KR20230061877A (ko) * 2021-10-29 2023-05-09 에이치디한국조선해양 주식회사 실내 소방 시스템
CN114155284A (zh) * 2021-12-15 2022-03-08 天翼物联科技有限公司 基于多目标行人场景的行人跟踪方法、装置、设备及介质
CN114495041A (zh) * 2022-01-27 2022-05-13 北京合众思壮时空物联科技有限公司 车辆与目标物之间距离的测量方法、装置、设备及介质
CN115328212A (zh) * 2022-08-26 2022-11-11 成都流体动力创新中心 一种基于无人机吊舱的目标追踪方法及装置
CN115546297A (zh) * 2022-09-20 2022-12-30 深圳市优必选科技股份有限公司 单目测距方法、装置、电子设备及存储介质
CN115984768A (zh) * 2022-12-14 2023-04-18 苏州加乘科技有限公司 一种基于固定型单目摄像头的多目标行人实时检测定位方法
CN116206223A (zh) * 2023-02-20 2023-06-02 武汉理工大学 一种基于无人机边缘计算的火灾检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘世农 ; 罗雳 ; 彭松 ; .无人机数据生产系统技术在贵州森林防火中的应用探究.贵州林业科技.2018,(02),65-68. *
基于树莓派的无人机环境监测反馈系统;张玄;王猛;杜文乐;;电子技术与软件工程;20180406(07);133-134 *
魏明鑫 ; 黄浩 ; 胡永明 ; 王德志 ; 李岳彬 ; .基于深度学习的多旋翼无人机单目视觉目标定位追踪方法.计算机测量与控制.2020,(04),161-165. *

Also Published As

Publication number Publication date
CN117315028A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
EP3621036A1 (en) Method and apparatus for generating three-dimensional data, device, and storage medium
CN111415409B (zh) 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN111462249B (zh) 一种交通摄像头标定方法及装置
CN108876857B (zh) 无人驾驶车辆的定位方法、系统、设备及存储介质
CN112508865B (zh) 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN111988524A (zh) 一种无人机与摄像头协同避障方法、服务器及存储介质
CN109840454B (zh) 目标物定位方法、装置、存储介质以及设备
CN108268831A (zh) 一种无人车视觉检测的鲁棒性测试方法和系统
CN113011280A (zh) 人员接触距离的检测方法、装置、计算机设备和存储介质
JP2021157853A (ja) 信号灯の灯色識別方法、装置及び路側機器
CN113297958A (zh) 一种自动化标注方法、装置、电子设备和存储介质
EP4020312B1 (en) Traffic light recognition method, apparatus, storage medium and program product
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
CN115082857A (zh) 一种目标对象的检测方法、装置、设备以及存储介质
CN114066999A (zh) 基于三维建模的目标定位系统及方法
CN113469872B (zh) 一种区域显示方法、装置、设备及存储介质
CN111563689B (zh) 一种飞行器操作评分方法及系统
CN117315028B (zh) 室外火场起火点定位方法、装置、设备及介质
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
EP4080479A2 (en) Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system
CN113591569A (zh) 障碍物检测方法、装置、电子设备以及存储介质
CN110597293A (zh) 一种无人机自主飞行方法、装置、设备及存储介质
CN111950420A (zh) 一种避障方法、装置、设备和存储介质
US20240127475A1 (en) Information processing apparatus, information processing method, and program
CN117593887A (zh) 信号灯的变更检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant