CN117523431A - 一种烟火检测方法、装置、电子设备及存储介质 - Google Patents
一种烟火检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117523431A CN117523431A CN202311552413.6A CN202311552413A CN117523431A CN 117523431 A CN117523431 A CN 117523431A CN 202311552413 A CN202311552413 A CN 202311552413A CN 117523431 A CN117523431 A CN 117523431A
- Authority
- CN
- China
- Prior art keywords
- detection result
- binocular
- aerial vehicle
- unmanned aerial
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 473
- 239000000779 smoke Substances 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims description 47
- 238000012216 screening Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 17
- 238000012544 monitoring process Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000010902 straw Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000594 effect on fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本申请提供一种烟火检测方法、装置、电子设备及存储介质，该方法包括：对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的；对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的；对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。在上述方案的实现过程中，通过对无人机图像检测的结果和双目图像检测的结果进行融合，有效地融合了多种监测来源的图像检测结果，且多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
Description
技术领域
本申请涉及烟火检测和森林火灾监测的技术领域，具体而言，涉及一种烟火检测方法、装置、电子设备及存储介质。
背景技术
目前的烟火检测通常是通过无人机巡逻的方式来烟火检测的，例如：通过无人机在天空中巡逻，从而监测地面是否有森林火灾或者自然山火等等现象。然而，在实践过程中发现，无人机容易受到气象的遮挡、光照、设备或者地面反射光等影响，导致无人机的误报概率较高。
发明内容
本申请实施例的目的在于提供一种烟火检测方法、装置、电子设备及存储介质，用于改善无人机的误报概率较高的问题。
本申请实施例提供了一种烟火检测方法，包括：对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的；对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的；对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。在上述方案的实现过程中，通过对无人机图像检测的结果和双目图像检测的结果进行融合，有效地融合了多种监测来源的图像检测结果，且多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
可选地，在本申请实施例中，双目检测结果，包括：目标对象在世界坐标系下的三维坐标；对目标对象的双目图像进行烟火检测，包括：对双目图像进行特征点提取和匹配，获得匹配的多个特征点对；根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标。在上述方案的实现过程中，通过根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标，从而减少了不匹配的特征点对计算三维坐标的干扰，有效地提高了确定目标对象在世界坐标系下的三维坐标的准确率。
可选地，在本申请实施例中，双目检测结果，还包括：双目相机确定目标对象是烟火的第一概率；在根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标之前，还包括：对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框；根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标。在上述方案的实现过程中，通过根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标，从而减少了检测框之外的特征点对计算三维坐标的干扰，有效地提高了确定目标对象在世界坐标系下的三维坐标的准确率。
可选地，在本申请实施例中，根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标，包括：针对匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和双目相机的相机参数确定目标对象的一个三维空间坐标，获得多个三维空间坐标；将多个三维空间坐标的中位数或者平均值确定为三维坐标。在上述方案的实现过程中，通过将多个三维空间坐标的中位数或者平均值确定为三维坐标，从而改善了三维空间坐标中的偏差值影响最终结果的情况，有效地提高了确定目标对象在世界坐标系下的三维坐标的准确率。
可选地，在本申请实施例中，无人机检测结果，包括：目标对象在相机坐标系下的像素坐标；对目标对象的无人机图像进行烟火检测，包括：获取目标对象在无人机图像中的候选框；将无人机图像中的候选框的中心点坐标确定为像素坐标。在上述方案的实现过程中，通过将无人机图像中的候选框的中心点坐标确定为像素坐标的简化处理，排除了空地不同源中目标大小不同对于实际融合的干扰，从而提高了烟火检测的准确率。
可选地，在本申请实施例中，无人机检测结果，还包括：无人机相机确定目标对象是烟火的第二概率；获取目标对象在无人机图像中的候选框，包括：对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框。在上述方案的实现过程中，通过对无人机图像进行目标检测得到目标对象在无人机图像中的候选框，从而改善了候选框之外的背景像素点影响烟火检测结果的情况，有效地提高了烟火检测的准确率。
可选地，在本申请实施例中，烟火检测结果，包括：融合坐标；对无人机检测结果和双目检测结果进行融合，包括：对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。在上述方案的实现过程中，通过对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，由于多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
可选地，在本申请实施例中，对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，包括：将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标；对转化后的像素坐标和无人机检测结果中的像素坐标进行融合。在上述方案的实现过程中，通过将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标；对转换后的像素坐标和无人机检测结果中的像素坐标进行融合，从而改善了不同维度的坐标难以融合的情况，且由于多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
可选地，在本申请实施例中，烟火检测结果，还包括：融合概率；对无人机检测结果和双目检测结果进行融合，还包括：使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，获得融合概率。在上述方案的实现过程中，通过使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，从而有效地利用了改进贝叶斯模型的条件独立特性，且多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
可选地，在本申请实施例中，对无人机检测结果和双目检测结果进行融合，包括：根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合。在上述方案的实现过程中，通过根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合，由于多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
可选地，在本申请实施例中，根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合，包括：若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则向双目相机发送无人机检测结果，以使双目相机在确认无人机检测结果之后，对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则向无人机相机发送双目检测结果，以使无人机相机在确认双目检测结果之后，对无人机检测结果和双目检测结果进行融合。
本申请实施例还提供了一种烟火检测装置，包括：第一烟火检测模块，用于对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的；第二烟火检测模块，用于对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的；检测结果融合模块，用于对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。
可选地，在本申请实施例中，双目检测结果，包括：目标对象在世界坐标系下的三维坐标；第一烟火检测模块，包括：特征提取匹配子模块，用于对双目图像进行特征点提取和匹配，获得匹配的多个特征点对；三维坐标确定子模块，用于根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标。
可选地，在本申请实施例中，双目检测结果，还包括：双目相机确定目标对象是烟火的第一概率；第一烟火检测模块，还包括：第一概率获得子模块，用于对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框；特征点对筛选子模块，用于根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标。
可选地，在本申请实施例中，三维坐标确定子模块，包括：空间坐标确定单元，用于针对匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和双目相机的相机参数确定目标对象的一个三维空间坐标，获得多个三维空间坐标；三维坐标确定单元，用于将多个三维空间坐标的中位数或者平均值确定为三维坐标。
可选地，在本申请实施例中，无人机检测结果，包括：目标对象在相机坐标系下的像素坐标；第二烟火检测模块，包括：候选框获取子模块，用于获取目标对象在无人机图像中的候选框；像素坐标确定子模块，用于将无人机图像中的候选框的中心点坐标确定为像素坐标。
可选地，在本申请实施例中，无人机检测结果，还包括：无人机相机确定目标对象是烟火的第二概率；候选框获取子模块，包括：第二概率获得单元，用于对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框。
可选地，在本申请实施例中，烟火检测结果，包括：融合坐标；检测结果融合模块，包括：融合坐标获得子模块，用于对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。
可选地，在本申请实施例中，融合坐标获得子模块，包括：相机坐标转换单元，用于将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标；相机坐标融合单元，用于对转换后的像素坐标和无人机检测结果中的像素坐标进行融合。
可选地，在本申请实施例中，烟火检测结果，还包括：融合概率；检测结果融合模块，还包括：融合概率获得子模块，用于使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，获得融合概率。
可选地，在本申请实施例中，检测结果融合模块，包括：检测概率融合子模块，用于根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，检测概率融合子模块，包括：第一结果融合单元，用于若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，检测概率融合子模块，包括：第二结果融合单元，用于若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则向双目相机发送无人机检测结果，以使双目相机在确认无人机检测结果之后，对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，检测概率融合子模块，包括：第三结果融合单元，用于若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则向无人机相机发送双目检测结果，以使无人机相机在确认双目检测结果之后，对无人机检测结果和双目检测结果进行融合。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请实施例中的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的烟火检测方法的流程示意图；
图2示出的本申请实施例提供的三维空间坐标的确定过程示意图；
图3示出的本申请实施例提供的三维坐标转换无人机视角像素坐标系下的像素坐标的示意图；
图4示出的本申请实施例提供的根据概率融合无人机检测结果和双目检测结果的示意图；
图5示出的本申请实施例提供的烟火检测装置的结构示意图；
图6示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请实施例中的附图仅起到说明和描述的目的，并不用于限定本申请实施例的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请实施例中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请实施例内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请实施例的一部分，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请实施例的详细描述并非旨在限制要求保护的本申请实施例的范围，而是仅仅表示本申请实施例的选定实施例。
可以理解的是，本申请实施例中的“第一”“第二”用于区别类似的对象。本领域技术人员可以理解“第一”“第二”等字样并不对数量和执行次序进行限定，并且“第一”“第二”等字样也并不限定一定不同。在本申请实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。术语“多个”指的是两个以上(包括两个)，同理，“多组”指的是两组以上(包括两组)。
在介绍本申请实施例提供的烟火检测方法之前，先介绍本申请实施例中所涉及的一些概念：
目标检测(Object Detection)，又被称为定位检测或者目标提取，是一种基于目标几何和统计特征的图像理解算法，目标检测是将目标的定位和识别合二为一，具体例如：基于计算机视觉算法，检测出图像中感兴趣的目标，即以矩形框标示出目标的位置，并识别出目标的类别。
YOLO的全称为You only look once，译为你只能看一眼，是指一种实时目标检测(real-time object detection)方法，YOLO将目标区域预测和目标类别预测整合于单个神经网络模型中，实现在准确率较高的情况下快速目标检测与识别；YOLO模型则是指根据上述的目标检测方法使用神经网络训练后的模型。
开源计算机视觉库(Open Source Computer Vision Library，OpenCV)，是一个跨平台的计算机视觉库；OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。
需要说明的是，本申请实施例提供的烟火检测方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑、平板电脑、个人数字助理或者移动上网设备等。服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。
下面介绍该烟火检测方法适用的应用场景，这里的应用场景包括但不限于：可以使用该烟火检测方法对森林火灾、自然山火、焚烧秸秆或者烟火态势进行监控和检测等，以便于融合双目检测结果和空中的无人机检测结果，由于多种监测来源图像的检测结果可以相互验证，因此改善了烟火检测时单一监测源的局限性，该烟火检测方法能够减小烟火检测的误报概率，提高了烟火检测的准确率。
请参见图1示出的本申请实施例提供的烟火检测方法的流程示意图；本申请实施例提供了一种烟火检测方法，包括：
步骤S110：对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的。
目标对象，是指需要检测的对象，例如：一片森林、两座山或者堆放秸秆的田地等等，这些目标对象中可以存放有易燃的物质(例如森林或山中有枯萎干燥的树叶)，因此需要烟火检测。
双目图像，是使用双目相机对目标对象进行拍摄获得的图像，该双目相机可以是由两个相同参数的摄像头在同一水平线设置的相机，上述的双目相机可以是人站在地面上拿着的双目相机，也可以是防火机构布设在塔台上的双目相机。
双目检测结果，是指根据双目图像检测获得的结果，此处的双目检测结果包括但不限于：目标对象在世界坐标系下的三维坐标，以及目标对象是烟火的第一概率等。
步骤S120：对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的。
无人机图像，是使用无人机相机对目标对象进行拍摄获得的图像，此处的无人机相机可以是单目摄像头，当然也可以是双目摄像头，还可以是红外相机、遥感相机或者深度相机。当无人机相机是双目摄像头时，可以只使用无人机的双目摄像头中的其中一个相机。当无人机相机在采集图像时，可以是悬停状态，并在无俯仰角度(与地面平行)的情况下采集无人机图像。
无人机检测结果，是指根据无人机图像检测获得的结果，此处的无人机检测结果包括但不限于：目标对象在相机坐标系下的像素坐标，以及目标对象是烟火的第二概率等。
可以理解的是，上述的双目图像可以是地面的双目相机拍摄的，无人机图像可以是使用天空中的无人机相机拍摄的，双目图像和无人机图像可以是同一时刻拍摄的，也可以是相差预设时长内拍摄的，例如：双目图像是第1秒拍摄的，而无人机图像是第2秒拍摄的，两者图像的相差时长不大，拍摄时刻相近的图像能够用于检测出是否真实存在同一目标烟火。
步骤S130：对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。
在上述方案的实现过程中，通过对无人机图像检测的结果和双目图像检测的结果进行融合，有效地融合了多种监测来源的图像检测结果，也就是说，在空中无人机能够有效地进行实时检测，而在地面的双目相机能够有效地确定空间世界坐标系下的三维检测结果，因此，在融合双目相机的三维检测结果和空中无人机的实时检测检测结果时，这两者监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。
作为上述步骤S110的一种可选实施方式，上述的双目检测结果可以包括：目标对象在世界坐标系下的三维坐标；上述的对目标对象的双目图像进行烟火检测的实施方式可以包括：
步骤S111：对双目图像进行特征点提取和匹配，获得匹配的多个特征点对。
可以理解的是，双目图像可以包括左目图像和右目图像，其中，左目图像是使用双目相机的左边摄像头对目标对象进行拍摄获得的，右目图像是使用双目相机的右边摄像头对目标对象进行拍摄获得的。在使用双目相机之前，还可以先使用张正友标定法对该双目相机的左边摄像头和右边摄像头进行标定，从而获得双目相机的相机参数。
上述步骤S111的实施方式例如：使用图像特征检测算法对双目图像进行特征点提取，获得左目图像的多个特征点和右目图像的多个特征点，然后，对左目图像的多个特征点和右目图像的多个特征点进行图像匹配，获得匹配的多个特征点对，上述的图像特征检测算法包括但不限于：定向快速及旋转简报(Oriented-FAST and Rotated BRIEF，ORB)算法、尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)、加速稳健特征(SpeedUp Robust Features，SURF)或者Harris算法等；其中，ORB算法包括：FAST特征点检测算子和BRIEF特征描述子这两部分，具体可以采用开源计算机视觉库(Open Source ComputerVision Library，OpenCV)来实现ORB算法对特征点和特征点在尺度和旋转不变性的要求。
步骤S112：根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标。
请参见图2示出的本申请实施例提供的三维空间坐标的确定过程示意图；由于上述的双目相机可以是水平放置在地面上的，也可以是由地面上的工作人员手持双目相机，并面向目标对象(例如火焰)进行拍摄，因此，可以根据双目相机中的左目摄像头拍摄的左目图像和右目摄像头拍摄的右目图像来确定三维空间坐标。此处的三维空间坐标是指以左目摄像头为坐标原点的世界坐标系中坐标，在具体实践过程中，可以将像素坐标中的坐标值从像素坐标系转换为图像坐标系，再将图像坐标系转换为相机坐标系，然后将相机坐标系转换为世界坐标系。作为上述步骤S112的一种可选实施方式，根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标的实施方式可以包括：
步骤S112a：针对匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和双目相机的相机参数确定目标对象的一个三维空间坐标，获得多个三维空间坐标。
可选地，在使用上述的双目相机之前，还可以先使用张正友标定法对该双目相机的左边摄像头和右边摄像头进行标定，从而获得双目相机的相机参数，此处的相机参数可以包括内部参数和外部参数。
上述步骤S112a的实施方式包括：在获得匹配的多个特征点对之后，还可以基于这些多个特征点对来选取出左目图像中的特征点像素坐标和右目图像的特征点像素坐标，使用三角测量理论根据左目图像中的特征点像素坐标和右目图像的特征点像素坐标之间的视差和双目相机的内部参数及外部参数来确定目标对象的一个三维空间坐标。具体例如：上述的目标对象可以表示为P(X，Y，Z)点，那么P(X，Y，Z)点在双目图像中的投影点的像素坐标就可以理解为上面的左目图像的特征点和右目图像的特征点，然后，再根据三角形ΔPxlxr与ΔPOlOr相似的原理，可以得到的公式对左目图像中的特征点像素坐标和右目图像的特征点像素坐标之间的视差和双目相机的内部参数及外部参数进行计算，获得目标对象的一个三维空间坐标；其中，T为基线，基线表示双目相机中的左目摄像头的光心与右目摄像头的光心之间的距离在X轴方向上的分量，f为左目摄像头的焦距或者右目摄像头的焦距，xl表示P点在左目摄像头的投影位置点，xr表示P点在右目摄像头的投影位置点，xl表示像平面左边缘到P点在左目摄像头的投影位置点之间的距离，xr表示像平面右边缘到P点在右目摄像头的投影位置点之间的距离，Z表示P点的深度，也是P点的世界坐标Z方向坐标。
可以理解的是，上述P点的X坐标值和Y坐标值也可以由上面的相似三角形得到，以左目摄像头为世界坐标系原点基准，假设P点在左目摄像头上的投影像素点坐标是(u，v)，得到的世界坐标系下的三维坐标可以表示为其中，Z表示P点的深度，也是P点的世界坐标Z方向坐标值，上述的X和Y分别表示P点的X坐标值和Y坐标值，T为基线，基线表示双目相机中的左目摄像头的光心与右目摄像头的光心之间的距离在X轴方向上的分量，f为左目摄像头的焦距或者右目摄像头的焦距。针对匹配的多个特征点对中的每个特征点对，都进行上述的处理，即可获得多个三维空间坐标。
步骤S112b：将多个三维空间坐标的中位数或者平均值确定为三维坐标。
上述步骤S112b的实施方式例如：由于特征点通常有很多，且得到的三维空间坐标也有很多个，可能会带来很多误差，因此，可以将多个三维空间坐标的中位数或者平均值确定为三维坐标，此处的三维坐标可以表示为Pg(Xg,Yg,Zg)，从而改善计算误差带来的影响，提高确定三维坐标的准确率。
作为上述步骤S110的一种可选实施方式，上述的双目检测结果还可以包括：双目相机确定目标对象是烟火的第一概率；在根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标之前，还可以对双目图像进行目标检测，该实施方式可以包括：
步骤S113：对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框。
上述步骤S113的实施方式例如：使用YOLOv1模型、YOLOv2模型、YOLOv3模型、YOLOv4模型或者YOLOv5模型等目标检测模型对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框，此处的检测框可以使用多种形式来表示，例如目标检测模型可以输出检测框的左上点的像素坐标以及右下点的像素坐标，或者，目标检测模型还可以输出检测框的左下点的像素坐标以及右上点的像素坐标。假设上述的目标检测模型使用的是YOLOv5模型，那么可以使用不同的模型结构宽度和深度的模型，包括但不限于：Yolov5s、Yolov5m、Yolov5l或者Yolov5x四种类型的模型。在实际执行过程中，可以加载预训练的目标检测模型权重，进行实时目标检测框输出。
步骤S114：根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标。
上述步骤S114的实施方式例如：使用检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，并使用检测框之内的特征点对来确定目标对象在世界坐标系下的三维坐标，此处使用检测框之内的特征点对确定三维坐标的实施方式可以参见步骤S112的实施方式，因此就不再赘述。
作为上述步骤S120的一种可选实施方式，上述的无人机检测结果可以包括：目标对象在相机坐标系下的像素坐标；上述的对目标对象的无人机图像进行烟火检测的实施方式可以包括：
步骤S121：获取目标对象在无人机图像中的候选框。
可以理解的是，上述目标对象在无人机图像中的候选框可以是以像素坐标来表示的，因此，可以从数据库或者配置文件中加载预训练好的目标检测模型，实时得到上述的候选框。
步骤S122：将无人机图像中的候选框的中心点坐标确定为像素坐标。
上述步骤S122的实施方式例如：由于目标对象在无人机图像中的候选框可能是一个比较大的矩形区域，而烟火的火芯通常在矩形区域的中心，因此，可以将无人机图像中的候选框的中心点坐标确定为目标烟火的像素坐标，例如：无人机图像检测结果中的像素坐标可以定义为Pu(xu,yu)。
作为上述步骤S121的一种可选实施方式，上述的无人机检测结果还可以包括：无人机相机确定目标对象是烟火的第二概率；上述的获取目标对象在无人机图像中的候选框的实施方式可以包括：
步骤S121a：对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框。
上述步骤S121a的实施方式例如：使用目标检测模型对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框；其中，本申请实施例中可以使用的目标检测模型包括但不限于：YOLOv1模型、YOLOv2模型、YOLOv3模型、YOLOv4模型或者YOLOv5模型等，或者，RCNN系列、fast RCNN系列和faster RCNN系列等神经网络模型。
作为上述步骤S121的另一种可选实施方式，由于目标对象在无人机图像中的候选框可以是以左上点的像素坐标以及右下点的像素坐标来表示，或者，以目标检测模型还可以输出检测框的左下点的像素坐标以及右上点的像素坐标来表示，所以，可以从关系型数据库、非关系型数据库或者配置文件中获取目标对象在无人机图像中的候选框；其中，可以使用的关系型数据库例如：Mysql、PostgreSQL、Oracle和SQLSever等，可以使用的非关系型数据库包括：grakn数据库、Hadoop子系统HBase、MongoDB和CouchDB等。
作为上述步骤S130的一种可选实施方式，上述的烟火检测结果可以包括：融合坐标；上述的对无人机检测结果和双目检测结果进行融合的实施方式可以包括：
步骤S131：对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。
请参见图3示出的本申请实施例提供的三维坐标转换无人机视角像素坐标系下的像素坐标的示意图；可以理解的是，可以先将双目检测结果中的三维坐标由世界坐标系转换为无人机视角像素坐标系，从而获得转换后的像素坐标，再将转换后的像素坐标和无人机检测结果中的像素坐标进行融合，下面详细描述这个过程。可以理解的是，上述的世界坐标系可以是以左目摄像头的中心点为坐标系原点，当然也可以是以右目摄像头的中心点为坐标系原点来表示三维坐标，下面均以左目摄像头的中心点为坐标系原点为例进行说明。
作为上述步骤S131的一种可选实施方式，可以先将三维坐标转换为无人机视角像素坐标系下的像素坐标，然后再对转换后的像素坐标和无人机检测结果中的像素坐标进行融合，该实施方式可以包括：
步骤S131a：将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标。
上述步骤S131a的实施方式例如：上述双目检测结果中的三维坐标可以使用Pg(Xg,Yg,Zg)来表示。然后，将双目检测结果中的三维坐标转换为无人机的俯视图视角坐标系下的相机坐标，那么Pg(Xg,Yg,Zg)相对于左目摄像头而言，相机坐标中的横坐标值就等于三维坐标中的Zg，相机坐标中的纵坐标值就等于Xg，因此，无人机的俯视图视角像素坐标系下的像素坐标可以表示为P′g(Zg,Xg)。
步骤S131b：对转换后的像素坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。
上述步骤S131b的实施方式例如：在获得无人机检测结果之后，可以从无人机检测结果中获取上述相机坐标在左目图像中的像素坐标，该像素真值坐标可以使用(a，b)来表示，然后，根据像素真值坐标(a，b)以及俯视图视角像素坐标系下的像素坐标P′g(Zg,Xg)，可以换算得到最终的融合坐标，该融合坐标可以表示为Pt(Zg*s+a,Xg*s+b)；其中，s为像素距离与真实距离的换算比例，该换算比例可以是事先存储的，也可以是由OpenCV从卫星影像中识别出的像素坐标和实地标定点的真实距离计算得到的。
作为上述步骤S130的一种可选实施方式，上述的烟火检测结果还可以包括：融合概率；上述的对无人机检测结果和双目检测结果进行融合的实施方式还可以包括：
步骤S132：使用贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，获得融合概率。
上述步骤S132的实施方式例如：假设目标烟火的类别标签是y，且双目检测结果中的第一概率表示为x1，无人机检测结果中的第二概率表示为x2，可以获得条件独立公式为p(x1,x2|y)＝p(x1|y)p(x2|y)，可以推理出融合概率是目标烟火的概率为该式中的分母对融合概率的影响较小，因此可以写为p(y|x1,x2)∝p(x1,x2|y)p(y)，然后将上述的条件独立公式代入该公式，可以得到改进贝叶斯模型的融合概率公式/>在获得改进贝叶斯模型的融合概率公式之后，就可以通过改进贝叶斯模型的融合概率公式对双目检测结果中的第一概率和无人机检测结果中的第二概率进行计算融合，其中，p(y)表示目标烟火类别的先验分布概率，根据样本数据集类别分布计算得到，x1表示双目检测结果中的第一概率，x2表示无人机检测结果中的第二概率，p(y|x1,x2)表示上述的融合概率。
可以理解的是，上述改进贝叶斯模型中的第一概率和第二概率是相互独立的，在给定目标烟火的类别标签是y的情况下，可以预测地面双目检测结果中的第一概率是x1；如果这个预测不会改变无人机检测结果中的第二概率x2，那么上述的相互独立的条件假设是成立的。
作为上述步骤S130的一种可选实施方式，上述对无人机检测结果和双目检测结果进行融合的实施方式可以包括：
步骤S133：根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合。
请参见图4示出的本申请实施例提供的根据概率融合无人机检测结果和双目检测结果的示意图；作为上述步骤S133的一种可选实施方式，如果双目相机和无人机相机均检测到烟火，那么可以直接触发融合操作。具体地，上述的根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合的实施方式可以包括：
步骤S133a：若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。
可以理解的是，如果双目相机和无人机相机其中一个相机检测到烟火，那么可以让没有检测到烟火的相机将检测结果发送给另一个相机，并让另一个相机在确认该检测结果后，决定是否触发两者检测结果的融合操作，以减少烟火检测的误报率。
作为上述步骤S133的一种可选实施方式，根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合的实施方式可以包括：
步骤S133b：若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则向双目相机发送无人机检测结果，以使双目相机在确认无人机检测结果之后，对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。
作为上述步骤S133的一种可选实施方式，根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合的实施方式可以包括：
步骤S133c：若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则向无人机相机发送双目检测结果，以使无人机相机在确认双目检测结果之后，对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。
可以理解的是，如果双目相机和无人机相机均没有检测到烟火，那么此时可以不触发任何事件，例如：若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则不触发任何事件。
请参见图5示出的本申请实施例提供的烟火检测装置的结构示意图；本申请实施例提供了一种烟火检测装置200，包括：
第一烟火检测模块210，用于对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的。
第二烟火检测模块220，用于对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的。
检测结果融合模块230，用于对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。
可选地，在本申请实施例中，双目检测结果，包括：目标对象在世界坐标系下的三维坐标；第一烟火检测模块，包括：
特征提取匹配子模块，用于对双目图像进行特征点提取和匹配，获得匹配的多个特征点对。
三维坐标确定子模块，用于根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标。
可选地，在本申请实施例中，双目检测结果，还包括：双目相机确定目标对象是烟火的第一概率；第一烟火检测模块，还包括：
第一概率获得子模块，用于对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框。
特征点对筛选子模块，用于根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标。
可选地，在本申请实施例中，三维坐标确定子模块，包括：
空间坐标确定单元，用于针对匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和双目相机的相机参数确定目标对象的一个三维空间坐标，获得多个三维空间坐标。
三维坐标确定单元，用于将多个三维空间坐标的中位数或者平均值确定为三维坐标。
可选地，在本申请实施例中，无人机检测结果，包括：目标对象在相机坐标系下的像素坐标；第二烟火检测模块，包括：
候选框获取子模块，用于获取目标对象在无人机图像中的候选框。
像素坐标确定子模块，用于将无人机图像中的候选框的中心点坐标确定为像素坐标。
可选地，在本申请实施例中，无人机检测结果，还包括：无人机相机确定目标对象是烟火的第二概率；候选框获取子模块，包括：
第二概率获得单元，用于对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框。
可选地，在本申请实施例中，烟火检测结果，包括：融合坐标；检测结果融合模块，包括：
融合坐标获得子模块，用于对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。
可选地，在本申请实施例中，融合坐标获得子模块，包括：
相机坐标转换单元，用于将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标。
相机坐标融合单元，用于对转换后的像素坐标和无人机检测结果中的像素坐标进行融合。
可选地，在本申请实施例中，烟火检测结果，还包括：融合概率；检测结果融合模块，还包括：
融合概率获得子模块，用于使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，获得融合概率。
可选地，在本申请实施例中，检测结果融合模块，包括：
检测概率融合子模块，用于根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，检测概率融合子模块，包括：
第一结果融合单元，用于若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，检测概率融合子模块，包括：
第二结果融合单元，用于若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则向双目相机发送无人机检测结果，以使双目相机在确认无人机检测结果之后，对无人机检测结果和双目检测结果进行融合。
可选地，在本申请实施例中，检测概率融合子模块，包括：
第三结果融合单元，用于若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则向无人机相机发送双目检测结果，以使无人机相机在确认双目检测结果之后，对无人机检测结果和双目检测结果进行融合。
应理解的是，该装置与上述的烟火检测方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图6示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
本申请实施例还提供了一种计算机可读存储介质330，该计算机可读存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上的方法。其中，计算机可读存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Read-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。此外，在本说明书的描述中，参考术语“一个实施例”“一些实施例”“示例”“具体示例”“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (16)
1.一种烟火检测方法，其特征在于，包括：
对目标对象的双目图像进行烟火检测，获得双目检测结果，所述双目图像是使用双目相机对所述目标对象进行拍摄获得的；
对所述目标对象的无人机图像进行烟火检测，获得无人机检测结果，所述无人机图像是使用无人机相机对所述目标对象进行拍摄获得的；
对所述无人机检测结果和所述双目检测结果进行融合，获得烟火检测结果。
2.根据权利要求1所述的方法，其特征在于，所述双目检测结果，包括：所述目标对象在世界坐标系下的三维坐标；所述对目标对象的双目图像进行烟火检测，包括：
对所述双目图像进行特征点提取和匹配，获得匹配的多个特征点对；
根据所述匹配的多个特征点对确定所述目标对象在世界坐标系下的三维坐标。
3.根据权利要求2所述的方法，其特征在于，所述双目检测结果，还包括：所述双目相机确定所述目标对象是烟火的第一概率；在所述根据所述匹配的多个特征点对确定所述目标对象在世界坐标系下的三维坐标之前，还包括：
对所述双目图像进行目标检测，获得所述第一概率，以及所述目标对象在所述双目图像中的检测框；
根据所述检测框对所述匹配的多个特征点对进行筛选，获得所述检测框之内的特征点对，所述检测框之内的特征点对用于确定所述目标对象在世界坐标系下的三维坐标。
4.根据权利要求2所述的方法，其特征在于，所述根据所述匹配的多个特征点对确定所述目标对象在世界坐标系下的三维坐标，包括：
针对所述匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和所述双目相机的相机参数确定所述目标对象的一个三维空间坐标，获得多个三维空间坐标；
将所述多个三维空间坐标的中位数或者平均值确定为所述三维坐标。
5.根据权利要求1所述的方法，其特征在于，所述无人机检测结果，包括：所述目标对象在相机坐标系下的像素坐标；所述对所述目标对象的无人机图像进行烟火检测，包括：
获取所述目标对象在所述无人机图像中的候选框；
将所述无人机图像中的候选框的中心点坐标确定为所述像素坐标。
6.根据权利要求5所述的方法，其特征在于，所述无人机检测结果，还包括：所述无人机相机确定所述目标对象是烟火的第二概率；所述获取所述目标对象在所述无人机图像中的候选框，包括：
对所述无人机图像进行目标检测，获得所述第二概率，以及所述目标对象在所述无人机图像中的候选框。
7.根据权利要求1-6任一所述的方法，其特征在于，所述烟火检测结果，包括：融合坐标；所述对所述无人机检测结果和所述双目检测结果进行融合，包括：
对所述双目检测结果中的三维坐标和所述无人机检测结果中的像素坐标进行融合，获得所述融合坐标。
8.根据权利要求7所述的方法，其特征在于，所述对所述双目检测结果中的三维坐标和所述无人机检测结果中的像素坐标进行融合，包括：
将所述双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标；
对所述转换后的像素坐标和所述无人机检测结果中的像素坐标进行融合。
9.根据权利要求7所述的方法，其特征在于，所述烟火检测结果，还包括：融合概率；所述对所述无人机检测结果和所述双目检测结果进行融合，还包括：
使用贝叶斯模型对所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率进行融合，获得所述融合概率。
10.根据权利要求1-6任一所述的方法，其特征在于，所述对所述无人机检测结果和所述双目检测结果进行融合，包括：
根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合。
11.根据权利要求10所述的方法，其特征在于，所述根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：
若所述双目检测结果中的第一概率大于第一预设阈值，且所述无人机检测结果中的第二概率大于第二预设阈值，则对所述无人机检测结果和所述双目检测结果进行融合。
12.根据权利要求10所述的方法，其特征在于，所述根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：
若所述双目检测结果中的第一概率小于或等于第一预设阈值，且所述无人机检测结果中的第二概率大于第二预设阈值，则向所述双目相机发送所述无人机检测结果，以使所述双目相机在确认所述无人机检测结果之后，对所述无人机检测结果和所述双目检测结果进行融合。
13.根据权利要求10所述的方法，其特征在于，所述根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：
若所述双目检测结果中的第一概率大于第一预设阈值，且所述无人机检测结果中的第二概率小于或等于第二预设阈值，则向所述无人机相机发送所述双目检测结果，以使所述无人机相机在确认所述双目检测结果之后，对所述无人机检测结果和所述双目检测结果进行融合。
14.一种烟火检测装置，其特征在于，包括：
第一烟火检测模块，用于对目标对象的双目图像进行烟火检测，获得双目检测结果，所述双目图像是使用双目相机对所述目标对象进行拍摄获得的；
第二烟火检测模块，用于对所述目标对象的无人机图像进行烟火检测，获得无人机检测结果，所述无人机图像是使用无人机相机对所述目标对象进行拍摄获得的；
检测结果融合模块，用于对所述无人机检测结果和所述双目检测结果进行融合，获得烟火检测结果。
15.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一所述的方法。
16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311552413.6A CN117523431A (zh) | 2023-11-17 | 2023-11-17 | 一种烟火检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311552413.6A CN117523431A (zh) | 2023-11-17 | 2023-11-17 | 一种烟火检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117523431A true CN117523431A (zh) | 2024-02-06 |
Family
ID=89760420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311552413.6A Pending CN117523431A (zh) | 2023-11-17 | 2023-11-17 | 一种烟火检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523431A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894574A (zh) * | 2016-03-30 | 2016-08-24 | 清华大学深圳研究生院 | 一种双目三维重建方法 |
| WO2018014730A1 (zh) * | 2016-07-18 | 2018-01-25 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
| CN110940636A (zh) * | 2019-12-05 | 2020-03-31 | 华南农业大学 | 柑橘林病虫害智能识别与林间信息监测系统 |
| CN113762314A (zh) * | 2021-02-02 | 2021-12-07 | 北京京东振世信息技术有限公司 | 一种烟火检测方法和装置 |
| CN114170535A (zh) * | 2022-02-11 | 2022-03-11 | 北京卓翼智能科技有限公司 | 目标检测定位方法、装置、控制器及存储介质和无人机 |
| WO2022111044A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、终端控制方法及装置 |
| CN114964275A (zh) * | 2022-05-24 | 2022-08-30 | 无锡八英里电子科技有限公司 | 地空协同地图构建方法、装置、设备及存储介质 |
| CN115760930A (zh) * | 2022-12-21 | 2023-03-07 | 陕西欧卡电子智能科技有限公司 | 基于多摄像头的水面目标跟踪方法、装置、计算机设备及存储介质 |
| CN115880598A (zh) * | 2023-02-15 | 2023-03-31 | 深圳市蜉飞科技有限公司 | 一种基于无人机的地面图像检测方法及相关装置 |
| CN115909252A (zh) * | 2022-12-16 | 2023-04-04 | 安徽蔚来智驾科技有限公司 | 车载多相机目标检测方法、控制装置、存储介质及车辆 |
| CN116934833A (zh) * | 2023-07-18 | 2023-10-24 | 广州大学 | 基于双目视觉水下结构病害检测方法、设备及介质 |
-
2023
- 2023-11-17 CN CN202311552413.6A patent/CN117523431A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894574A (zh) * | 2016-03-30 | 2016-08-24 | 清华大学深圳研究生院 | 一种双目三维重建方法 |
| WO2018014730A1 (zh) * | 2016-07-18 | 2018-01-25 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
| CN110940636A (zh) * | 2019-12-05 | 2020-03-31 | 华南农业大学 | 柑橘林病虫害智能识别与林间信息监测系统 |
| WO2022111044A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、终端控制方法及装置 |
| CN113762314A (zh) * | 2021-02-02 | 2021-12-07 | 北京京东振世信息技术有限公司 | 一种烟火检测方法和装置 |
| CN114170535A (zh) * | 2022-02-11 | 2022-03-11 | 北京卓翼智能科技有限公司 | 目标检测定位方法、装置、控制器及存储介质和无人机 |
| CN114964275A (zh) * | 2022-05-24 | 2022-08-30 | 无锡八英里电子科技有限公司 | 地空协同地图构建方法、装置、设备及存储介质 |
| CN115909252A (zh) * | 2022-12-16 | 2023-04-04 | 安徽蔚来智驾科技有限公司 | 车载多相机目标检测方法、控制装置、存储介质及车辆 |
| CN115760930A (zh) * | 2022-12-21 | 2023-03-07 | 陕西欧卡电子智能科技有限公司 | 基于多摄像头的水面目标跟踪方法、装置、计算机设备及存储介质 |
| CN115880598A (zh) * | 2023-02-15 | 2023-03-31 | 深圳市蜉飞科技有限公司 | 一种基于无人机的地面图像检测方法及相关装置 |
| CN116934833A (zh) * | 2023-07-18 | 2023-10-24 | 广州大学 | 基于双目视觉水下结构病害检测方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| CN109146929B (zh) | 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| US20100002910A1 (en) | Method and Apparatus for Developing Synthetic Three-Dimensional Models from Imagery | |
| CN111724558B (zh) | 一种监控方法、装置及入侵报警系统 | |
| CN111982291A (zh) | 一种基于无人机的火点定位方法、装置及系统 | |
| CN113345019A (zh) | 一种输电线路通道隐患目标测距方法、设备及介质 | |
| CN111983603A (zh) | 运动轨迹接力方法、系统、装置和中心端处理设备 | |
| US20160202071A1 (en) | A Method of Determining The Location of A Point of Interest and The System Thereof | |
| CN112614165B (zh) | 烟火监控方法、装置、摄像机、电子装置和存储介质 | |
| CN115526892B (zh) | 基于三维重建的图像缺陷去重检测方法和装置 | |
| CN111397541A (zh) | 排土场的边坡角测量方法、装置、终端及介质 | |
| WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
| CN112215037A (zh) | 对象追踪方法及装置、电子设备及计算机可读存储介质 | |
| CN113887641A (zh) | 一种基于输电通道的隐患目标确定方法、设备及介质 | |
| CN113793413A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN108444452B (zh) | 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置 | |
| US11954832B2 (en) | Three-dimensional reconstruction method and apparatus | |
| CN116503566B (zh) | 一种三维建模方法、装置、电子设备及存储介质 | |
| CN111160233B (zh) | 基于三维成像辅助的人脸活体检测方法、介质及系统 | |
| CN117523431A (zh) | 一种烟火检测方法、装置、电子设备及存储介质 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| CN110910379B (zh) | 一种残缺检测方法及装置 | |
| CN116863085B (zh) | 一种三维重建系统、三维重建方法、电子设备及存储介质 | |
| Tian et al. | GPU-based Real-time Image Mosaicing for UAVs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |