CN117058253A - 一种基于ptz摄像机的高精度告警定位方法 - Google Patents
一种基于ptz摄像机的高精度告警定位方法 Download PDFInfo
- Publication number
- CN117058253A CN117058253A CN202311320847.3A CN202311320847A CN117058253A CN 117058253 A CN117058253 A CN 117058253A CN 202311320847 A CN202311320847 A CN 202311320847A CN 117058253 A CN117058253 A CN 117058253A
- Authority
- CN
- China
- Prior art keywords
- smoke
- camera
- longitude
- calculating
- ptz camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000000779 smoke Substances 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 abstract description 8
- 229910052742 iron Inorganic materials 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000003546 flue gas Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011152 fibreglass Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于PTZ摄像机的高精度告警定位方法，属于计算机视觉领域，方法包括：构造烟雾码本和检测码本；计算检测码本每个相似簇与烟雾码本的欧几里德距离，初步判断疑似烟雾；对疑似烟雾的帧使用滑动窗口切割，对每个窗口进行YOLO5s、EfficientNet算法检测，得到异常框图；识别异常框图附近建筑参照物，与地图数据中实际参照物进行特征匹配，进行相机标定；以PTZ摄像机的经纬度坐标为原点，构造一条朝向目标点的射线，利用所经过的DEM数据中散点坐标信息对其进行几何构造，计算获得异常点的经纬度坐标；参数修正，输出异常点实际经纬度坐标。本发明有助于解决铁塔悬挂的PTZ相机的高精度告警定位难题。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于PTZ摄像机的高精度告警定位方法。
背景技术
随着科技的快速发展，PTZ（Pan-Tilt-Zoom）摄像机已经在自然灾害救援、物流运输等领域发挥了重要作用。然而基于传统的目标检测与定位方法的局限性，PTZ摄像机在实际应用中往往遇到诸如目标遮挡、相机抖动等问题，导致定位精度和稳定性较低，这对定位方法在公共安全维护、环境保护等领域的应用条件提出了更高的要求。
目前，基于深度学习的目标检测算法逐渐成为了解决目标检测任务的主流方法，尤其是YOLO（You Only Look Once）系列和EfficientNet 类算法，在目标检测任务重表现出较高的精度和实时性。然而这些算法在特定场景下仍然存在一定的不足，例如目标小或遮挡时检测精度较低，不能满足PTZ摄像机在复杂环境下的应用需求。在定位方面，由于摄像机视场和目标之间的几何关系较复杂，传统的相机标定方法较为繁琐，定位精度受到限制。
发明内容
针对上述存在的问题，本发明提供了一种基于PTZ摄像机的高精度告警定位方法，通过将数字高程模型数据和卫星图像结合起来，实现利用较少参数进行高精度三维定位的功能，计算目标点的经纬度坐标。
本发明为解决上述技术问题采用的技术方案如下：
一种基于PTZ摄像机的高精度告警定位方法，具体包含如下步骤：
步骤1， 对现有烟雾数据集进行图像预处理，使用灰度共生矩阵GLCM进行特征提取，构造烟雾码本，存储烟雾的特征字典；
步骤2，按帧读取PTZ摄像机的视频流数据，进行图像预处理，同样使用GLCM进行特征提取，将特征向量存储于检测码本；
步骤3，将步骤2得到的检测码本的向量进行聚类，生成多个相似簇，计算每个相似簇与步骤1得到的烟雾码本的欧几里德距离，初步判断是否疑似烟雾；
步骤4，对疑似烟雾的帧使用滑动窗口切割，对每个窗口进行YOLO5s、EfficientNet算法检测，得到带坐标的异常框图；
步骤5，利用YOLO5s算法识别异常框图附近的设定范围内的建筑参照物，与地图数据中的实际参照物进行特征匹配，然后进行相机标定，评估相机初始水平朝向；
步骤6，以PTZ摄像机的经纬度坐标为原点，生成相机初始朝向的一条射线，获取射线上分布均匀的散点对应的经纬度坐标，利用数字高程模型的坐标信息对获得的散点经纬度坐标数据进行几何构造，计算获得异常点的经纬度坐标；
步骤7，计算画面抖动、相机遮挡造成的精度误差，进行参数修正，输出异常点实际经纬度坐标。
进一步的，步骤1中所述进行图像预处理的方式具体为对现有烟雾图片数据集进行Gabor滤波处理，进行纹理强化。
进一步的，步骤2的内容具体包括：对视频流数据按时间序列进行采样操作，每隔一个固定的时间段选取一帧图片；对每个摄像机整个时间序列的图片做Gabor滤波（加伯滤波）处理；然后对处理后的数据集使用GLCM特征提取算法通过方向梯度和直方图均衡化对灰度图像进行特征提取，得到能够反映图片中色彩、纹理特征的特征向量；将获取到的特征向量通过聚类算法生成检测码本。
进一步的，步骤3中判断是否疑似烟雾的内容具体包括：将计算得到的欧几里德距离与人工设定的阈值进行比较，若小于该阈值，则初步判断图片为疑似烟雾。
进一步的，步骤4的内容具体包括：
步骤4.1，对每张疑似烟雾的图片按坐标截取固定的长度，即滑动窗口，并以固定的步长滑动，直至坐标末，得到处理后的数据集；
步骤4.2，利用YOLO5s的轻量化模型对经过步骤4.1得到的滑动窗口处理后的数据集进行遍历，筛选烟雾概率高于75%的窗口；
步骤4.3，利用EfficientNet模型对经过步骤4.2得到的识别结果进行优化，输出最终判断为烟雾的窗口坐标。
进一步的，步骤5的内容具体包括：
步骤5.1，选择以相机所在经纬坐标为圆心截取其半径5千米范围内的卫星图像；
步骤5.2，根据数字高程模型数据中各散点的经纬坐标，将步骤5.1所述区域的散点信息映射到卫星图像中；
步骤5.3，提取卫星图像中道路或建筑参照物的颜色和轮廓特征，构建特征矩阵；
步骤5.4，使用YOLO5s模型识别视频中异常框图设定范围内的建筑参照物；对比卫星图像与视频中已识别的参照物，将卫星图像与相机图像对应，并建立直角坐标系，通过匹配的特征矩阵计算相机的初始水平朝向。
进一步的，步骤6的内容包括：生成一条朝向目标点的射线，利用Bresenham算法，将射线投影到DEM散点图中；计算每个散点的垂直偏移角，获取与射线在同一栅格内的真实垂直偏移角的散点，计算其经纬度坐标。
进一步的，步骤7中进行参数修正的具体内容包括：计算相机云台参数P、T、Z的均值；读取相机周围的DEM数据，收集射线上海拔极大值和极小值，计算相邻极大值与极小值之间的差，通过差值判断真实经纬度所处地形；计算烟雾框图长宽比，利用自然烟气抬升原理计算烟源位置的修正值。
本发明的技术方案能产生以下的技术效果：
1. 本发明的基于PTZ摄像机的高精度告警定位方法提出窗口筛选、特征映射等规则和算法，通过在烟雾异常检测过程中对疑似烟雾的图片按坐标使用滑动窗口切割，并对每个窗口使用YOLOs5中局部敏感的NMS算法，通过在计算每个边界框和其余边界框的交并比时根据它们的类别和位置关系分别设置不同的交并比阈值，使得对重叠区域较少的边界框给予更高的保留概率，进而解决了定位任务中相机标定的难题。
2. 本发明提出将标定偏移角参数和PTZ相机参数匹配的定位方案，将DEM数据与卫星图像相映射，实现利用较少参数进行高精度三维定位的功能，无需进行传统定位方法中的测距环节。
3. 在参数修正的过程中，通过估计烟雾状态，推测被遮挡的高度，并修正烟源位置的海拔使得本发明方案能够有效应对实际应用中目标遮挡、相机抖动等难题。
附图说明
图1为本发明的基于PTZ摄像机的高精度告警定位方法的整体流程示意图；
图2为本发明实施例中的烟雾异常检测流程示意图；
图3为本发明实施例中的烟雾异常定位流程示意图；
图4为本发明实施例中所建立的图像坐标系示意图；
图5为本发明实施例中所得到的告警定位的结果样例示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及对应的附图对本发明的技术方案进行清楚、完整地描述。需要强调的是，在描述本发明过程中，各种公式和约束条件分别使用前后一致的标号进行区分，但也不排除使用不同的标号标志相同的公式和/或约束条件，这样设置的目的是为了更清楚的说明本发明特征所在。
本实施例通过烟雾异常检测进行详细说明。如图1所示为本发明所述的基于PTZ摄像机的高精度告警定位方法，包括以下步骤：
步骤1，对现有烟雾数据集进行图像预处理，使用灰度共生矩阵进行特征提取，构造烟雾码本，存储烟雾的特征字典。
本步骤中，使用包含烟雾图片的数据集作为烟雾特征提取数据集，将包含烟雾的图片转换成灰度图像，经过Gabor滤波，减少数据量和计算复杂度，并突出图片的纹理和轮廓；对灰度图像进行归一化操作，将像素值缩放到0-1之间，以消除不同图片之间的亮度差异，并提高算法的稳定性；然后使用GLCM（灰度共生矩阵）特征提取算法通过方向梯度和直方图均衡化的方法，对经过归一化操作的灰度图像在ASM能量、对比度、逆差矩、自相关特征上进行特征提取，以得到能够反映图片中烟雾特征的信息；最后将纹理强化后的数据转换成灰度图像的特征矩阵，使用聚类算法构造烟雾码本，存储烟雾的特征字典。
步骤2，按帧读取摄像机实时拍摄的视频流数据，对其进行图像预处理，同样使用GLCM进行特征提取，将特征向量存储于检测码本。
输入摄像机实时拍摄的用于异常点检测和定位的视频流；然后根据时间序列对视频流进行采样操作，每隔一个固定时间段选取一帧图片，进行Gabor滤波，以减少数据量和计算复杂度并突出图片的纹理和轮廓；然后对视频流的灰度图像进行归一化操作，将像素值缩放到0-1之间；然后使用GLCM特征提取算法通过方向梯度和直方图均衡化的方法对经过归一化操作的灰度图像进行特征提取，从而得到能够反映图片中颜色、纹理特征的特征向量，并将其存储于检测码本中。
步骤3，将步骤2中得到的检测码本的向量进行聚类，生成多个相似簇，计算每个相似簇与步骤1得到的烟雾码本的欧几里德距离，进而初步判断是否为疑似烟雾：
步骤3.1，计算数据的时空排列概率；
逐帧提取特征后的是一个以为中心的数据集合，是这个集合的中心
数据；数据的概率根据下式得出：
其中是中的一个数据，是数据的相对位置，是中的相关联数据，
是中心点的相关联数据。对于每一个数据，通过混合高斯模型和期望最大化（EM）算法计
算其时空排列概率为；
根据上述计算结果，然后根据下式计算得出后验概率：
其中是每个码字的权重；所述后验概率是测试视频提取特征后与烟雾码本中
相似特征的距离的函数，离相似特征越近，后验概率就越高；
进而将上述实验获得的后验概率与人工设定的阈值进行比较，将实验获得的概率小于给定阈值的像素区域定为异常，即疑似烟雾。
步骤4，对疑似烟雾的帧使用滑动窗口切割，对每个窗口进行YOLO5s、EfficientNet算法检测，得到带坐标的异常框图
其中，首先对包含异常区域的图片按像素坐标截取固定的长度，即滑动窗口，并以固定的步长滑动直至坐标末，得到处理后的数据集；然后对每个窗口使用YOLO5s模型进行针对烟雾的目标检测，从而提高识别的效率；其中，所述YOLO5s模型中使用了优化版的非极大值抑制算法，即局部敏感的NMS算法。传统NMS算法对于要抑制的边界框施加同样的压制阈值，但是这种处理方式在存在重叠区域较少的情况下可能会导致误删。本实施例中为了解决这个问题，采用局部敏感的NMS方法，在计算每个边界框和其余边界框的IoU（交并比）时，根据它们的类别和位置关系来分别设置不同的IoU阈值，从而对重叠区域较少的边界框给予更高的保留概率。
然后在本步骤中对YOLO5s检测认为疑似烟雾的概率高于75%的窗口使用EfficientNet模型进行检测，进一步输出判断为烟雾的窗口的最终检测结果，记录此窗口坐标；最后在原视频中根据窗口坐标，对判断为烟雾的异常位置进行框图并保存图片，如上整体的烟雾异常检测流程如图2所示。
步骤5，利用YOLO5s算法识别异常框图附近的设计范围内的建筑参照物，与地图数据中的实际参照物进行特征匹配，然后进行相机标定，评估相机初始水平朝向，烟雾异常定位流程如图3所示
步骤5.1，区域确认
为提高定位效率，降低特征提取的难度，同时考虑铁塔的布设间隔，以相机所在经纬度坐标为圆心，截取其半径5公里范围内的卫星图像，并根据数字高程模型DEM数据中各散点的经纬度坐标，将所截取区域内的散点信息映射到卫星图像中；
步骤5.2，目标检测
提取卫星图像中道路或建筑等参照物的颜色和轮廓特征，构建特征矩阵；在相机视界中，通过YOLO5s目标检测算法识别相机光心的周围参照物，并根据参照物的相应特征进行分类；
步骤5.3，特征匹配
比对建筑参照物与视频中已识别的参照物，当发现视频中参照物的形状特征、颜色特征与卫星图像中某参照物的特征矩阵高度匹配，则该建筑参照物与相机图像的参照物匹配成功；当卫星图像中某片区域同时匹配成功三个及以上特征矩阵时，认为该区域的卫星图像与相机图像可以对应。
步骤5.4，参数标定
特征匹配成功后，以视频图像左上顶点，即为坐标原点，以水平为x轴，
竖直为y轴，建立如图4所示的平面直角坐标系，参照物坐标记为。特征点的水平像
素坐标为，水平向右移动相机，计算此时相机的水平偏向参数的变化值为, 记此时特
征点的水平像素坐标变化为，则特征点的水平像素变化值为式（1）：
式（1）
利用式（2）计算单位像素对应的P值变化：
式（2）
光心的水平像素坐标为Xmid，则二者水平像素差为式（3）：
式（3）
因此,相机朝向与其和特征点之间连线的偏角可用单位像素对应的P值变化与
二者水平像素差，经过式（4）进行计算：
式（4）
但在实际情况中，P值变化所对应的距离改变，即受相机透视原理的影响，其数
值会随着距离的变化而变化。因此，可以通过取平均值的方式减少误差。
在卫星图中，以相机为极点，正北方向为极轴，顺时针为正方向（由于PTZ相机顺时
针转动时P值增大），建立极坐标系。设卫星图像中匹配了n个特征点，则相机的初始偏角
为式（5）：
式（5）
其中为极坐标系下与相机连线的偏移角；
步骤5.5，水平偏向角修正
分析数据集中的视频流发现，PTZ相机具有识别并追踪目标的功能。因此只需在原
有的水平偏量的基础上加上值的变化量即可。记初始水平偏移参数为，移动后的偏移角
为，则相机的水平偏移角为式（6）：
式（6）
步骤6，以相机为原点，生成相机初始朝向的一条射线，获取射线上分布均匀的散点对应的经纬度坐标，利用DEM的坐标信息对散点经纬度坐标数据进行几何构造，计算获得异常点的经纬度坐标
步骤6.1，获取DEM数据：获取以栅格形式存储的DEM数据，其中每个栅格单元包含一个高程值。数字高程模型通过对地球表面在不同位置的高程或海拔的三维表示，用于有效规避关键参数难以确定的问题。
步骤6.2，进行几何构造
相机水平偏向角参数标定后，以PTZ相机的经纬度坐标为原点，构造一条朝向目标点的射线，由于DEM数据的散点图为栅格图像，因此利用 Bresenham算法，将射线投影到DEM散点图中，射线表示为式（7）：
式（7）
射线与 DEM 数据的交点记为，其中为离散点的经度
值，为离散点的纬度值，为离散点的海拔高度。由于相机具有挂高，所以监控点会和每个离散点构成一个俯仰角，将该参数作为查询最优解的唯一参数。
在垂直平面上构造直角三角形，利用反正切函数公式，可以计算出到上每个离
散点的俯仰角，点的俯仰角表示为式（8）：
式（8）
其中分别为监测点的经度、纬度和海拔高度。比较 与相机实际垂直偏移角，若此时，则表明目标点在与之间；同时将与相机实际垂直偏移角作差，若，即的垂直偏移角比的更接近相机真实的垂直偏移角，
则认为更靠近目标点，因此输出的经纬坐标，作为所求目标点的实际位置。反之，则输
出的经纬坐标，作为所求目标点的实际位置。
步骤7，计算画面抖动、相机遮挡造成的精度误差进行参数修正，输出异常点实际经纬度坐标
考虑相机抖动具有周期性，因此以固定步长对视频流（V）进行帧数（Frame）抽取。
如式（9），计算在这些图像中相机云台参数的平均值（ , , ），此作为相机输入的云台
参数：
式（9）
同时，在实际应用场景中，检测目标周围的环境可能相当较为复杂，地形、建筑、道路等都可能成为遮挡目标的障碍。而这些遮挡物会直接影响目标检测的框图信息。因此本实施例设计如下校正算法以减少因相机遮挡造成的精度误差。
在相机检测异常并告警后，根据烟源被遮挡的程度，判别器会判断目标是否需要遮挡修正。平原地区的烟雾遮挡因素较为单一，多为建筑物遮挡；而山区多为地形遮挡，其估测难度变大很多。因此：
1）首先对地形进行分析：读取相机周围的DEM数据，收集射线L上海拔极大值和极小值，计算相邻极大值与极小值之间的差值，通过差值判断真实经
纬度所处地形；若差值超过100米，且符合条件的数组超过5对，则认为地形为山区；
否则，则认为是平原地区；
2）平原/山地地区的定位校正
21）当判断为平原地区时，由于平原地区篝火造成的烟雾具有流量小，高度低，易
瓦解等特点，因此建筑物对其遮挡造成的影响不大，进而以经纬坐标为特征信息，将DEM数
据映射到卫星图像中，利用匹配遮挡物特征信息和卫星图特征点，查询射线上与特征点距
离最近的散点；
22）当判断为山地地区时，先需对烟雾的状态进行评估，推测得出烟雾目标被遮挡的程度：
221）输入框图的长宽比，根据烟雾的扩散程度大致推断烟气抬升的阶段；其中自然烟气抬升分为以下三个阶段：（一）浮升阶段：由于烟流的热力作用，烟气密度比空气小，产生浮力上升；（二）瓦解阶段：当烟气上升到一定高度后，烟流与空气混合，失去动量和浮力，发生较大的波动；（三）变平阶段：这时烟流完全变平，在大气湍流的作用下，上下左右扩散，使烟流愈扩愈大；
根据下式（10）计算出烟气抬升的大致高度：
式（10）
其中，为环境温度垂直变化量，为烟气抬升高度，为排出烟气的热量；
222）初步计算烟源位置，记为
考虑到，在射线投影所经过的散点中，只有海拔为极大值的离散点有遮挡目标的
可能，且这些极大点的遮挡效果简化为初步定位点与检测点之间海拔最高的点的遮挡效果，为烟气在不同抬升阶段的高度系数，为式
（10）计算的烟气抬升大致高度。利用式（11）得到目标点海拔的修正值：
式（11）
因此只需在计算时，离散点海拔的修正海拔为式（12）：
式（12）
地形的起伏可能会导致最优解为多解的可能，因此，在的限制下，的取点应
在与之间，此时最优解有且只有一个，从而解决山地区域地形遮挡的问题。
为验证此修正方案的可行性与修正程度，本实施例选取中国铁塔股份有限公司提供的云贵高原地区数据集进行功能测试。数据集包括：23个视频流数据，一份包含PTZ相机相关参数的表格，一份包含告警地点相关信息的表格。修正方案将对比中国铁塔股份有限公司给出的检测数据与此修正方案的修正数据。
进行测试的操作系统是基于基础软硬件平台（Intel Core i7-10750H 芯片 +NVIDIA Geforce RTX3080 显卡），测试需要的语言环境为 Python，所用到的测试软件为Pycharm, 在软件中用到的主要 Python 包的版本如表1所示；表2为此修正方案的实验结果：
表1 测试软件Pycharm中用到的主要Python 包版本信息
| numpy | tensorflow | torch | opencv | pandas |
| 1.18.5 | 2.4.1 | 2.0.0 | 4.1.1 | 1.1.4 |
表2 实施例修正方案的实验结果
| 编号 | 提供值误差 | 计算值误差 | 提升百分比% | 修正值误差 | 修正提升% |
| 01 | 296.500 | 111.1369 | 62.51 | 111.1369 | 62.517 |
| 02 | 1656.3030 | 790.4584 | 52.27 | 720.4597 | 56.50 |
| 03 | 2136.8353 | 1053.1519 | 50.74 | 733.3070 | 65.68 |
| 04 | 1800.1511 | 1314.0351 | 27.01 | 714.5697 | 60.30 |
| 05 | 2064.6990 | 1441.5783 | 30.17 | 681.0938 | 67.01 |
| 06 | 1944.6709 | 348.8461 | 82.06 | 348.8461 | 82.06 |
| 07 | 1265.4076 | 850.3022 | 32.80 | 850.3022 | 32.80 |
| 08 | 810.8725 | 564.03565 | 30.20 | 564.0352 | 30.44 |
| 09 | 985.59071 | 675.5028 | 31.46 | 675.5028 | 31.462 |
| 10 | 972.7868 | 1052.1069 | -8.72 | 785.0337 | 19.30 |
| 11 | 1328.0390 | 872.9530 | 34.26 | 672.4297 | 49.36 |
| 12 | 2326.4001 | 1381.0537 | 40.63 | 981.8791 | 57.79 |
| 13 | 1201.8670 | 856.5174 | 28.16 | 506.1284 | 57.88 |
| 14 | 897.0902 | 748.5628 | 16.57 | 748.5628 | 16.55 |
| 15 | 1400.4839 | 835.9116 | 40.31 | 735.6342 | 47.47 |
表2展示了遮挡修正后的告警距离误差。由于本方法是将俯仰角作为查找最优解的指标，因此目标点的海拔将直接决定了告警定位的距离。而若只利用基本的定位方法，对于大部分目标遮挡的情况，PTZ 相机的视界中只会把烟物与遮挡物的交界处视为烟源位置。这便导致告警定位距离会偏大，并随着遮挡程度的增大而增大。
如图5，展示了告警定位的结果样例，可以看出定位效果最高可以达到十米级精度。当定位目标周围的参考物特征明显、地形复杂程度较低时，本方法定位精度很高。
以上详细描述了本发明的较佳具体实施例，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。
Claims (8)
1.一种基于PTZ摄像机的高精度告警定位方法，其特征在于，具体包含如下步骤：
步骤1，对现有烟雾数据集进行图像预处理，使用灰度共生矩阵GLCM进行特征提取，构造烟雾码本，存储烟雾的特征字典；
步骤2，按帧获取PTZ摄像机的视频流数据，进行图像预处理，使用GLCM进行特征提取，将特征向量存储于检测码本；
步骤3，将步骤2得到的检测码本的向量进行聚类，生成多个相似簇，计算每个相似簇与步骤1得到的烟雾码本的欧几里德距离，初步判断是否疑似烟雾；
步骤4，对疑似烟雾的帧使用滑动窗口切割，对每个窗口进行YOLO5s、EfficientNet算法检测，得到带坐标的异常框图；
步骤5，利用YOLO5s算法识别异常框图设定范围内的建筑参照物，与地图数据中的实际参照物进行特征匹配，然后进行相机标定，评估相机初始水平朝向；
步骤6，以PTZ摄像机的经纬度坐标为原点，生成相机初始朝向的一条射线，获取射线上分布均匀的散点对应的经纬度坐标，利用数字高程模型的坐标信息对获得的散点经纬度坐标数据进行几何构造，计算获得异常点的经纬度坐标；
步骤7，计算画面抖动、相机遮挡造成的精度误差，进行参数修正，输出异常点实际经纬度坐标。
2.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤1中所述进行图像预处理的方式具体为对现有烟雾图片数据集进行Gabor滤波处理，进行纹理强化。
3.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤2的内容具体包括：对视频流数据按时间序列进行采样操作，每隔一个固定的时间段选取一帧图片；对每个摄像机整个时间序列的图片做Gabor滤波处理；然后对处理后的数据集使用GLCM特征提取算法通过方向梯度和直方图均衡化对灰度图像进行特征提取，得到特征向量；将获取到的特征向量通过聚类算法生成检测码本。
4.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤3中判断是否疑似烟雾的内容具体包括： 将计算得到的欧几里德距离与人工设定的阈值进行比较，若小于该阈值，则初步判断图片为疑似烟雾。
5.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤4的内容具体包括：
步骤4.1，对每张疑似烟雾的图片按坐标截取固定的长度，即滑动窗口，并以固定的步长滑动，直至坐标末，得到处理后的数据集；
步骤4.2，利用YOLO5s的轻量化模型对经过步骤4.1得到的滑动窗口处理后的数据集进行遍历，筛选烟雾概率高于75%的窗口；
步骤4.3，利用EfficientNet模型对经过步骤4.2得到的识别结果进行优化，输出最终判断为烟雾的窗口坐标。
6.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤5的内容具体包括：
步骤5.1，选择以相机所在经纬坐标为圆心截取其半径5千米范围内的卫星图像；
步骤5.2，根据数字高程模型数据中各散点的经纬坐标，将步骤5.1所得到区域的散点信息映射到卫星图像中；
步骤5.3，提取卫星图像中道路或建筑参照物的颜色和轮廓特征，构建特征矩阵；
步骤5.4，使用YOLO5s模型识别视频中异常框图设定范围内的建筑参照物；对比卫星图像与视频中已识别的参照物，将卫星图像与相机图像对应，并建立直角坐标系，通过匹配的特征矩阵计算相机的初始水平朝向。
7.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤6的内容包括：生成一条朝向目标点的射线，利用Bresenham算法将射线投影到DEM散点图中；计算每个散点的垂直偏移角，获取与射线在同一栅格内的真实垂直偏移角的散点，计算其经纬度坐标。
8.根据权利要求1所述的一种基于PTZ摄像机的高精度告警定位方法，其特征在于，步骤7中进行参数修正的具体内容包括：计算相机云台参数的均值；读取相机周围的DEM数据，收集射线上海拔极大值和极小值，计算相邻极大值与极小值之间的差，通过差值判断真实经纬度所处地形；计算烟雾框图长宽比，利用自然烟气抬升原理计算烟源位置的修正值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311320847.3A CN117058253B (zh) | 2023-10-12 | 2023-10-12 | 一种基于ptz摄像机的高精度告警定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311320847.3A CN117058253B (zh) | 2023-10-12 | 2023-10-12 | 一种基于ptz摄像机的高精度告警定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058253A true CN117058253A (zh) | 2023-11-14 |
| CN117058253B CN117058253B (zh) | 2024-01-23 |
Family
ID=88664884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311320847.3A Active CN117058253B (zh) | 2023-10-12 | 2023-10-12 | 一种基于ptz摄像机的高精度告警定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058253B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011014107A (ja) * | 2009-07-06 | 2011-01-20 | Hitachi Solutions Ltd | 座標検出装置 |
| CN103065413A (zh) * | 2012-12-13 | 2013-04-24 | 中国电子科技集团公司第十五研究所 | 获取火灾等级信息的方法及装置 |
| JP2017016531A (ja) * | 2015-07-03 | 2017-01-19 | キヤノン株式会社 | 座標入力装置、その制御方法及びプログラム |
| CN108876856A (zh) * | 2018-06-29 | 2018-11-23 | 北京航空航天大学 | 一种大型建筑火灾火源识别定位方法及系统 |
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN112560657A (zh) * | 2020-12-12 | 2021-03-26 | 南方电网调峰调频发电有限公司 | 烟火识别方法、装置、计算机设备和存储介质 |
| CN113537099A (zh) * | 2021-07-21 | 2021-10-22 | 招商局重庆交通科研设计院有限公司 | 一种公路隧道火灾烟雾动态检测方法 |
| CN113553985A (zh) * | 2021-08-02 | 2021-10-26 | 中再云图技术有限公司 | 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器 |
| CN113989488A (zh) * | 2021-10-20 | 2022-01-28 | 青岛浩海网络科技股份有限公司 | 一种基于视频监控的烟火点定位方法 |
| CN115330957A (zh) * | 2022-10-10 | 2022-11-11 | 南京信息工程大学 | 建筑物内部火灾烟气模拟扩散的方法及应急方案调用方法 |
| CN115410134A (zh) * | 2022-09-30 | 2022-11-29 | 西安工程大学 | 一种基于改进YOLOv5s的视频火灾烟雾检测方法 |
| CN115937746A (zh) * | 2022-12-15 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种烟火事件监测方法、装置及存储介质 |
-
2023
- 2023-10-12 CN CN202311320847.3A patent/CN117058253B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011014107A (ja) * | 2009-07-06 | 2011-01-20 | Hitachi Solutions Ltd | 座標検出装置 |
| CN103065413A (zh) * | 2012-12-13 | 2013-04-24 | 中国电子科技集团公司第十五研究所 | 获取火灾等级信息的方法及装置 |
| JP2017016531A (ja) * | 2015-07-03 | 2017-01-19 | キヤノン株式会社 | 座標入力装置、その制御方法及びプログラム |
| CN108876856A (zh) * | 2018-06-29 | 2018-11-23 | 北京航空航天大学 | 一种大型建筑火灾火源识别定位方法及系统 |
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN112560657A (zh) * | 2020-12-12 | 2021-03-26 | 南方电网调峰调频发电有限公司 | 烟火识别方法、装置、计算机设备和存储介质 |
| CN113537099A (zh) * | 2021-07-21 | 2021-10-22 | 招商局重庆交通科研设计院有限公司 | 一种公路隧道火灾烟雾动态检测方法 |
| CN113553985A (zh) * | 2021-08-02 | 2021-10-26 | 中再云图技术有限公司 | 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器 |
| CN113989488A (zh) * | 2021-10-20 | 2022-01-28 | 青岛浩海网络科技股份有限公司 | 一种基于视频监控的烟火点定位方法 |
| CN115410134A (zh) * | 2022-09-30 | 2022-11-29 | 西安工程大学 | 一种基于改进YOLOv5s的视频火灾烟雾检测方法 |
| CN115330957A (zh) * | 2022-10-10 | 2022-11-11 | 南京信息工程大学 | 建筑物内部火灾烟气模拟扩散的方法及应急方案调用方法 |
| CN115937746A (zh) * | 2022-12-15 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种烟火事件监测方法、装置及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| LEENDERT REMMELZWAAL: "An AI-Based Early Fire Detection System Utilizing HD Cameras and Real-Time Image Analysis", ARTIFICIAL INTELLIGENCE AND APPLICATIONS, pages 1 - 11 * |
| RENJIE XU等: "A Forest Fire Detection System Based on Ensemble Learning", FORESTS, vol. 12, no. 2, pages 1 - 16 * |
| 单会见: "基于无人机的林火识别和定位算法研究", 中国优秀硕士学位论文全文数据库 农业科技辑, pages 046 - 5 * |
| 王炳蔚: "基于多特征融合的烟雾识别与定位算法", 中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑, pages 026 - 95 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058253B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
| CN108303747B (zh) | 检查设备和检测枪支的方法 | |
| US9767371B2 (en) | Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same | |
| Morsdorf et al. | Clustering in airborne laser scanning raw data for segmentation of single trees | |
| EP3876189A1 (en) | Geographic object detection device, geographic object detection method, and geographic object detection program | |
| CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
| CN112344869B (zh) | 基于侧面拟合的铁塔变形监测方法及系统 | |
| CN114332650B (zh) | 一种遥感图像道路识别方法及系统 | |
| CN111027511B (zh) | 基于感兴趣区块提取的遥感图像舰船检测方法 | |
| CN111680574B (zh) | 一种人脸检测方法、装置、电子设备和存储介质 | |
| CN111209822A (zh) | 一种热红外图像的人脸检测方法 | |
| CN115641553A (zh) | 掘进机作业环境侵入物的在线检测装置及方法 | |
| CN115205604A (zh) | 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法 | |
| CN115100741A (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| CN116110081A (zh) | 基于深度学习的安全帽佩戴的检测方法及系统 | |
| CN113076889B (zh) | 集装箱铅封识别方法、装置、电子设备和存储介质 | |
| CN117058253B (zh) | 一种基于ptz摄像机的高精度告警定位方法 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN116403085A (zh) | 一种基于多任务的变电站多指针仪表识别方法及装置 | |
| CN116863357A (zh) | 一种无人机遥感堤坝影像定标与智能分割变化检测方法 | |
| CN116543308A (zh) | 一种基于多模型融合的滑坡检测预警模型及预警方法 | |
| CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 | |
| CN113706815B (zh) | 一种结合YOLOv3和光流法的车辆火灾识别方法 | |
| CN115713620A (zh) | 一种红外小目标检测方法、装置、计算设备及存储介质 | |
| CN115909099A (zh) | 基于无人机巡检的边坡危岩识别与监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |