CN114187517A - 一种融合视频监控和遥感的异常目标检测方法及系统 - Google Patents
一种融合视频监控和遥感的异常目标检测方法及系统 Download PDFInfo
- Publication number
- CN114187517A CN114187517A CN202111525179.9A CN202111525179A CN114187517A CN 114187517 A CN114187517 A CN 114187517A CN 202111525179 A CN202111525179 A CN 202111525179A CN 114187517 A CN114187517 A CN 114187517A
- Authority
- CN
- China
- Prior art keywords
- abnormal target
- remote sensing
- monitoring
- picture
- longitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 197
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 196
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 230000002087 whitening effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000002547 anomalous effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种融合视频监控和遥感的异常目标检测方法及系统，方法包括：根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；根据多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到监控画面的第一异常目标集合和遥感图像的第二异常目标集合；根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；根据映射关系将第一异常目标集合中的画面坐标转化为经纬度坐标，得到第三异常目标集合；根据第三异常目标集合中的经纬度、目标类型和第二异常目标集合中的经纬度、目标类型对异常目标进行检测。本发明减少对异常目标漏判、误判的情况，提高异常目标检测的精准度和检测效率。
Description
技术领域
本发明涉及异常检测技术领域，特别是涉及一种融合视频监控和遥感的异常目标检测方法及系统。
背景技术
遥感图像蕴含着丰富的地物信息，在国土资源监管、海洋资源监测、地质勘查等领域意义重大。随着遥感传感器技术的高速发展，遥感图像信息呈现出几何级数的急剧增长。遥感图像具有监测范围大的显著优点，较适用于大尺度的自然资源监测。
与此同时，受遥感图像数据获取周期长、信息复杂、数据量大等特性的影响，现有的基于遥感图像的异常目标识别技术存在识别精确度不高、检测效率低下等问题。另一方面，与之相对应的传统视频监控技术具有实时、直观的优点；但受安装环境的限制，监测范围通常较为狭小。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种融合视频监控和遥感的异常目标检测方法及系统。
为实现上述目的，本发明提供了如下方案：
一种融合视频监控和遥感的异常目标检测方法，包括：
根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；
根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；
根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；
根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；
根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。
优选地，所述多通道自编码器包括第一编码器、第二编码器、第一解码器、第二解码器和隐藏层；监控画面依次经过所述第一编码器、所述隐藏层和所述第一解码器得到监控图像的重构向量；遥感图像依次经过所述第二编码器、所述隐藏层和所述第二解码器得到遥感图像的重构向量。
优选地，所述隐藏层为存储监控和遥感对应的特征向量的共享池。
优选地，所述根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合，包括：
分别将所述监控画面和所述遥感图像进行白化处理；
将白化处理后的监控画面和白化处理后的遥感图像分别输入至所述第一编码器和所述第二编码器中进行异常目标检测识别；
分别将不同通道的多通道自编码器计算的特征向量进行重构，并用损失函数计算重构误差；所述重构误差包括所述监控画面的第一误差和所述遥感图像的第一误差；
若所述第一误差大于预设重构误差阈值，则根据所述第一误差的区域确定所述第一异常目标集合；
若所述第二误差大于预设重构误差阈值，则根据所述第二误差的区域确定所述第二异常目标集合。
优选地，所述根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系，包括：
获取所述预设监控摄像头参数；所述预设监控摄像头参数包括监控摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信息；
标定监控摄像头所在的位置在水平面上的垂直投影位置；
基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经度水平距离；
根据所述直线水平距离和所述经度水平距离计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；
根据所述直线水平距离和所述监控摄像头距离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹角，记为第二夹角；
根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标的转换关系；
根据监控摄像头画面中多个画面坐标建立监控摄像头画面坐标集合；
根据所述监控摄像头画面坐标集合和所述转换关系得到变换矩阵；
根据所述变换矩阵确定所述监控摄像头画面坐标和遥感经纬度坐标的映射关系。
优选地，在所述根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合之前，还包括：
对所述监控画面和所述遥感图像进行时间对齐。
优选地，所述根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测，包括：
获取预设的纬度阈值和经度阈值；
对所述第三异常目标集合中的经度和所述第二异常目标集合中的经度作差，得到第一差值；
对所述第三异常目标集合中的纬度和所述第二异常目标集合中的纬度作差，得到第二差值；
若所述第三异常目标集合中的目标类型与所述第二异常目标集合中的目标类型相同、所述第一差值小于所述经度阈值且所述第二差值小于所述纬度阈值时，则确定所述第三异常目标集合中的经纬度和所述第二异常目标集合中的经纬度分别对应的异常目标为同一个异常目标；否则，则确定所述第三异常目标集合中的经纬度和所述第二异常目标集合中的经纬度分别对应的异常目标为不同的异常目标。
一种融合视频监控和遥感的异常目标检测系统，包括：
模型构建模块，用于根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；
第一检测模块，用于根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；
映射关系确定模块，用于根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；
转化模块，用于根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；
第二检测模块，用于根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。
优选地，所述多通道自编码器包括第一编码器、第二编码器、第一解码器、第二解码器和隐藏层；监控画面依次经过所述第一编码器、所述隐藏层和所述第一解码器得到监控图像的重构向量；遥感图像依次经过所述第二编码器、所述隐藏层和所述第二解码器得到遥感图像的重构向量。
优选地，所述隐藏层为存储监控和遥感对应的特征向量的共享池。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种融合视频监控和遥感的异常目标检测方法及系统，所述方法包括：根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。本发明融合视频监控和遥感的异常目标检测，实现对异常目标的精准检测，减少对异常目标漏判、误判的情况，提高异常目标检测的精准度和检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的实施例中的异常目标检测方法的流程图；
图2为本发明提供的实施例中的融合视频监控和遥感的异常目标检测流程图；
图3为本发明提供的实施例中的多通道自编码器示意图；
图4为本发明提供的实施例中的异常目标检测系统的模块连接图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤元。
本发明的目的是提供一种融合视频监控和遥感的异常目标检测方法及系统，实现对异常目标的精准检测，减少对异常目标漏判、误判的情况，提高异常目标检测的精准度和检测效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1和图2分别为本发明提供的实施例中的异常目标检测方法的流程图和融合视频监控和遥感的异常目标检测流程图，如图1和图2所示，本发明提供了一种融合视频监控和遥感的异常目标检测方法，包括：
步骤100：根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；
步骤200：根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；
步骤300：根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；
步骤400：根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；
步骤500：根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。
优选地，所述多通道自编码器包括第一编码器、第二编码器、第一解码器、第二解码器和隐藏层；监控画面依次经过所述第一编码器、所述隐藏层和所述第一解码器得到监控图像的重构向量；遥感图像依次经过所述第二编码器、所述隐藏层和所述第二解码器得到遥感图像的重构向量。
优选地，所述隐藏层为存储监控和遥感对应的特征向量的共享池。
图3为本发明提供的实施例中的多通道自编码器示意图，如图3所示，本实施例第一个步骤为构建及训练面向多模态数据的自编码器，具体步骤如下：
步骤1.1：自编码器的基本构建块是编码器(encoder)、解码器(decoder)和隐藏层(code)。使用神经网络卷积层构建编码器f1作为监控图像的输入通道；同样地，构建编码器f2作为遥感图像的输入通道。将监控和遥感图像分别对应的特征向量作为编码器的输入，分别进入对应的编码器通道，通过使用神经网络最大池化进行特征图下采样，然后将最后一个卷积层的输出展平，并将其馈送到隐藏层。
步骤1.2：为减少数据的耦合度，设置隐藏层(code)作为存储监控和遥感对应的特征向量的共享池。
使用神经网络构建监控图像对应的解码器f1和遥感图像对应的解码器f2，以隐藏层的输出作为输入。解码器通过神经网络将特征向量转换为高维，输出以近似输入图像，得到监控图像的重构向量x'1和遥感图像的重构向量x'2。
步骤1.3：利用既有的监控画面和遥感图像的样本作为训练数据集训练自编码器。通过最小化重构均方误差损失函数
使重构误差达到最小，得到训练完成的多通道自编码器。
优选地，所述根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合，包括：
分别将所述监控画面和所述遥感图像进行白化处理；
将白化处理后的监控画面和白化处理后的遥感图像分别输入至所述第一编码器和所述第二编码器中进行异常目标检测识别；
分别将不同通道的多通道自编码器计算的特征向量进行重构，并用损失函数计算重构误差；所述重构误差包括所述监控画面的第一误差和所述遥感图像的第一误差；
若所述第一误差大于预设重构误差阈值，则根据所述第一误差的区域确定所述第一异常目标集合；
若所述第二误差大于预设重构误差阈值，则根据所述第二误差的区域确定所述第二异常目标集合。
可选地，本实施例中的第二个步骤为根据上述步骤1中经过训练的多通道自编码器，分别对监控画面和遥感图像进行异常目标检测，得到粗检测结果，具体流程如下：
步骤2：根据上述步骤1中经过训练的多通道自编码器，分别对监控画面和遥感图像进行异常目标检测，得到粗检测结果。
步骤2.1：分别将监控画面和遥感图像进行白化处理，以降低输入数据的环境照明强度等不良因素的影响。
步骤2.2：将处理后的监控画面和遥感图像作为输入数据分别输入编码器通道f1和f2中进行异常目标检测识别。随后分别将不同通道自编码器计算的特征向量进行重构，并用损失函数计算重构误差。
步骤2.3：设置重构误差阈值Q,对于存在重构误差的目标，若重构误差大于阈值Q，则说明此目标为异常目标；若重构误差小于阈值Q，则说明此目标不存在异常情况。
基于重构误差的区域确定异常目标点的位置和范围，分别得到监控画面的异常目标集合M1和遥感图像的异常目标集合M2。
优选地，所述根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系，包括：
获取所述预设监控摄像头参数；所述预设监控摄像头参数包括监控摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信息；
标定监控摄像头所在的位置在水平面上的垂直投影位置；
基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经度水平距离；
根据所述直线水平距离和所述经度水平距离计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；
根据所述直线水平距离和所述监控摄像头距离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹角，记为第二夹角；
根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标的转换关系；
根据监控摄像头画面中多个画面坐标建立监控摄像头画面坐标集合；
根据所述监控摄像头画面坐标集合和所述转换关系得到变换矩阵；
根据所述变换矩阵确定所述监控摄像头画面坐标和遥感经纬度坐标的映射关系。
可选地，本实施例中的第三个步骤为建立监控摄像头画面坐标和经纬度坐标的映射关系，具体流程如下：
步骤3.1：根据Haversine公式，计算摄像头所在的位置在水平面上的垂直投影位置O′和摄像头可视范围内的水平面任意位置Ai的直线水平距离di，单位为m，O′和Ai的经度水平距离si，单位为m：
其中：a、b均为中间变量值，O′(λ0，ψ0)为摄像头所在的位置在水平面上的垂直投影位置，Ai(λi，ψi)为摄像头可视范围内的水平面任意位置，r为地球半径，单位为m；
步骤3.2：由步骤3.1，计算O′和Ai的连线和地理真北方向的夹角βi：
步骤3.3：由步骤3.1，计算O和Ai的连线和垂直线的夹角θi：
其中，H为摄像头距离水平面的高度，单位为m；
步骤3.4：计算Ai在监控摄像头画面坐标(xi，yi)：
其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；
θ为摄像头中心线与垂直线的夹角，β为摄像头中心线在水平面上的投影和地理真北方向的夹角，ωx为摄像头水平视场角，ωy为摄像头垂直视场角。
步骤3.5：在监控摄像头画面中随机选取多个画面坐标，得到监控摄像头画面坐标集合，从监控摄像头画面坐标集合中每次选取三组坐标，通过上述监控摄像头画面坐标和经纬度坐标的映射关系，将选取的监控摄像头画面坐标转换为经纬度坐标，根据监控摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体内容如下：
通过逆矩阵计算得到多个变换矩阵Hi：
其中(xi1,yi1)、(xi2,yi2)、(xi3,yi3)是监控摄像头画面中的三组坐标，(loni1,lati1)、(loni2,lati2)、(loni3,lati3)是由三组监控摄像头画面坐标转换的经纬度坐标。
取多个变换矩阵Hi的平均值：
监控摄像头画面坐标和经纬度坐标的转换关系如下：
其中，(x,y)是监控摄像头画面坐标。
优选地，在所述根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合之前，还包括：
对所述监控画面和所述遥感图像进行时间对齐。
优选地，所述根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测，包括：
获取预设的纬度阈值和经度阈值；
对所述第三异常目标集合中的经度和所述第二异常目标集合中的经度作差，得到第一差值；
对所述第三异常目标集合中的纬度和所述第二异常目标集合中的纬度作差，得到第二差值；
若所述第三异常目标集合中的目标类型与所述第二异常目标集合中的目标类型相同、所述第一差值小于所述经度阈值且所述第二差值小于所述纬度阈值时，则确定所述第三异常目标集合中的经纬度和所述第二异常目标集合中的经纬度分别对应的异常目标为同一个异常目标；否则，则确定所述第三异常目标集合中的经纬度和所述第二异常目标集合中的经纬度分别对应的异常目标为不同的异常目标。
进一步地，本实施例中的第四个步骤是基于上述步骤3中建立的监控摄像头画面坐标和经纬度坐标的映射关系，融合视频监控和遥感的异常目标检测结果，实现对异常目标的精准检测。其具体流程如下：
步骤4.1：对齐遥感图像和监控图像。具体而言，对于任意时戳相邻的两张遥感图Y1和Y2，其对应的时间戳为t1和t2。则拍摄时间在[t1,(t1+t2)/2]范围的监控图像遥感图像Y1相对应；拍摄时间在[(t1+t2)/2，t2]范围的监控图像与遥感图像Y2相对应。
步骤4.2：根据步骤3.5建立的监控摄像头画面坐标和经纬度坐标的转换关系，将视频监控检测到的异常目标集合S1＝{<xi,yi,obji>}(即上述步骤的M1)中的画面坐标转化为经纬度坐标，得到视频监控异常目标集合S'1＝{<loni,lati,obji>}。其中，(xi,yi)为第i个异常目标的画面坐标，(loni,lati)为第i个异常目标转换后的经纬度坐标，obji为第i个异常目标的类型。
步骤4.3：遥感检测到的异常集合为S2＝{<lonj,latj,objj>}(即上述步骤的M2)，设置一个阈值(Δlon,Δlat)，对遥感图像异常目标集合S2和视频监控异常目标集合S′1中的经纬度两两之间作差，筛选出满足条件的异常目标对，具体条件如下：
若满足上述条件且目标类型相同时，则说明两个经纬度分别对应的异常目标为同一个异常目标；否则，则说明是两个不同的异常目标，从而实现对异常目标的精准检测。
图4为本发明提供的实施例中的异常目标检测系统的模块连接图，如图4所示，本发明还提供了一种融合视频监控和遥感的异常目标检测系统，包括：
模型构建模块，用于根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；
第一检测模块，用于根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；
映射关系确定模块，用于根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；
转化模块，用于根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；
第二检测模块，用于根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。
本发明的有益效果如下：
本发明融合视频监控和遥感的异常目标检测，实现对异常目标的精准检测，减少对异常目标漏判、误判的情况，提高异常目标检测的精准度和检测效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种融合视频监控和遥感的异常目标检测方法，其特征在于，包括：
根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；
根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；
根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；
根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；
根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。
2.根据权利要求1所述的融合视频监控和遥感的异常目标检测方法，其特征在于，所述多通道自编码器包括第一编码器、第二编码器、第一解码器、第二解码器和隐藏层；监控画面依次经过所述第一编码器、所述隐藏层和所述第一解码器得到监控图像的重构向量；遥感图像依次经过所述第二编码器、所述隐藏层和所述第二解码器得到遥感图像的重构向量。
3.根据权利要求2所述的融合视频监控和遥感的异常目标检测方法，其特征在于，所述隐藏层为存储监控和遥感对应的特征向量的共享池。
4.根据权利要求2所述的融合视频监控和遥感的异常目标检测方法，其特征在于，所述根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合，包括：
分别将所述监控画面和所述遥感图像进行白化处理；
将白化处理后的监控画面和白化处理后的遥感图像分别输入至所述第一编码器和所述第二编码器中进行异常目标检测识别；
分别将不同通道的多通道自编码器计算的特征向量进行重构，并用损失函数计算重构误差；所述重构误差包括所述监控画面的第一误差和所述遥感图像的第一误差；
若所述第一误差大于预设重构误差阈值，则根据所述第一误差的区域确定所述第一异常目标集合；
若所述第二误差大于预设重构误差阈值，则根据所述第二误差的区域确定所述第二异常目标集合。
5.根据权利要求1所述的融合视频监控和遥感的异常目标检测方法，其特征在于，所述根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系，包括：
获取所述预设监控摄像头参数；所述预设监控摄像头参数包括监控摄像头距离水平面的高度、监控摄像头中心线与垂直线的夹角、监控摄像头中心线在水平面上的投影和地理真北方向的夹角、监控摄像头水平视场角、监控摄像头垂直视场角和监控摄像头图像分辨率参数信息；
标定监控摄像头所在的位置在水平面上的垂直投影位置；
基于半正矢公式，计算所述垂直投影位置距监控摄像头可视范围内的水平面上的任意位置的直线水平距离和经度水平距离；
根据所述直线水平距离和所述经度水平距离计算所述垂直投影位置和所述任意位置的连线与地理真北方向的夹角，记为第一夹角；
根据所述直线水平距离和所述监控摄像头距离水平面的高度计算所述监控摄像头所在的位置和所述任意位置的连线与垂直线的夹角，记为第二夹角；
根据所述监控摄像头中心线与垂直线的夹角、所述监控摄像头中心线在水平面上的投影和地理真北方向的夹角、所述监控摄像头水平视场角、所述监控摄像头垂直视场角和所述监控摄像头图像分辨率参数信息计算所述任意位置在监控摄像头画面坐标的转换关系；
根据监控摄像头画面中多个画面坐标建立监控摄像头画面坐标集合；
根据所述监控摄像头画面坐标集合和所述转换关系得到变换矩阵；
根据所述变换矩阵确定所述监控摄像头画面坐标和遥感经纬度坐标的映射关系。
6.根据权利要求1所述的融合视频监控和遥感的异常目标检测方法，其特征在于，在所述根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合之前，还包括：
对所述监控画面和所述遥感图像进行时间对齐。
7.根据权利要求1所述的融合视频监控和遥感的异常目标检测方法，其特征在于，所述根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测，包括：
获取预设的纬度阈值和经度阈值；
对所述第三异常目标集合中的经度和所述第二异常目标集合中的经度作差，得到第一差值；
对所述第三异常目标集合中的纬度和所述第二异常目标集合中的纬度作差，得到第二差值；
若所述第三异常目标集合中的目标类型与所述第二异常目标集合中的目标类型相同、所述第一差值小于所述经度阈值且所述第二差值小于所述纬度阈值时，则确定所述第三异常目标集合中的经纬度和所述第二异常目标集合中的经纬度分别对应的异常目标为同一个异常目标；否则，则确定所述第三异常目标集合中的经纬度和所述第二异常目标集合中的经纬度分别对应的异常目标为不同的异常目标。
8.一种融合视频监控和遥感的异常目标检测系统，其特征在于，包括：
模型构建模块，用于根据预设的监控画面和遥感图像的样本训练自编码器模型，得到训练好的多通道自编码器；
第一检测模块，用于根据所述多通道自编码器分别对监控画面和遥感图像进行异常目标检测，相应得到所述监控画面的第一异常目标集合和所述遥感图像的第二异常目标集合；
映射关系确定模块，用于根据预设监控摄像头参数建立监控摄像头画面坐标和遥感经纬度坐标的映射关系；
转化模块，用于根据所述映射关系将所述第一异常目标集合中的画面坐标转化为经纬度坐标，得到所述第三异常目标集合；
第二检测模块，用于根据所述第三异常目标集合中的经纬度、目标类型和所述第二异常目标集合中的经纬度、目标类型对异常目标进行检测。
9.根据权利要求8所述的融合视频监控和遥感的异常目标检测系统，其特征在于，所述多通道自编码器包括第一编码器、第二编码器、第一解码器、第二解码器和隐藏层；监控画面依次经过所述第一编码器、所述隐藏层和所述第一解码器得到监控图像的重构向量；遥感图像依次经过所述第二编码器、所述隐藏层和所述第二解码器得到遥感图像的重构向量。
10.根据权利要求9所述的融合视频监控和遥感的异常目标检测系统，其特征在于，所述隐藏层为存储监控和遥感对应的特征向量的共享池。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111525179.9A CN114187517A (zh) | 2021-12-14 | 2021-12-14 | 一种融合视频监控和遥感的异常目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111525179.9A CN114187517A (zh) | 2021-12-14 | 2021-12-14 | 一种融合视频监控和遥感的异常目标检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114187517A true CN114187517A (zh) | 2022-03-15 |
Family
ID=80543667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111525179.9A Pending CN114187517A (zh) | 2021-12-14 | 2021-12-14 | 一种融合视频监控和遥感的异常目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187517A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110196892A (zh) * | 2019-05-09 | 2019-09-03 | 生态环境部卫星环境应用中心 | 一种基于物联网的保护地综合监控平台及其方法 |
| CN111882512A (zh) * | 2020-07-20 | 2020-11-03 | 北京理工大学 | 基于深度学习的图像融合方法、装置、设备和存储介质 |
| CN112009525A (zh) * | 2020-08-21 | 2020-12-01 | 中科蓝卓(北京)信息科技有限公司 | 基于遥感技术的轨道异物侵限检测系统 |
| CN113327231A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于空谱联合的高光谱异常目标检测方法和系统 |
| CN113590761A (zh) * | 2021-08-13 | 2021-11-02 | 网易有道信息技术（北京）有限公司 | 文本处理模型的训练方法、文本处理方法及相关设备 |
| CN113642463A (zh) * | 2021-08-13 | 2021-11-12 | 广州市赋安电子科技有限公司 | 一种视频监控和遥感图像的天地多视图对齐方法 |
-
2021
- 2021-12-14 CN CN202111525179.9A patent/CN114187517A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110196892A (zh) * | 2019-05-09 | 2019-09-03 | 生态环境部卫星环境应用中心 | 一种基于物联网的保护地综合监控平台及其方法 |
| CN111882512A (zh) * | 2020-07-20 | 2020-11-03 | 北京理工大学 | 基于深度学习的图像融合方法、装置、设备和存储介质 |
| CN112009525A (zh) * | 2020-08-21 | 2020-12-01 | 中科蓝卓(北京)信息科技有限公司 | 基于遥感技术的轨道异物侵限检测系统 |
| CN113327231A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于空谱联合的高光谱异常目标检测方法和系统 |
| CN113590761A (zh) * | 2021-08-13 | 2021-11-02 | 网易有道信息技术（北京）有限公司 | 文本处理模型的训练方法、文本处理方法及相关设备 |
| CN113642463A (zh) * | 2021-08-13 | 2021-11-12 | 广州市赋安电子科技有限公司 | 一种视频监控和遥感图像的天地多视图对齐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101216304B (zh) | 物体尺寸估测之系统及方法 | |
| Lenjani et al. | Automated building image extraction from 360 panoramas for postdisaster evaluation | |
| CN111523465A (zh) | 基于摄像机标定及深度学习算法的船舶身份识别系统 | |
| CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及系统 | |
| CN111931565A (zh) | 一种基于光伏电站uav的自主巡检与热斑识别方法及系统 | |
| CN110782498B (zh) | 一种视觉传感网络的快速通用标定方法 | |
| CN114332385A (zh) | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 | |
| CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| US11533431B2 (en) | Method and device for generating a panoramic image | |
| CN111598942A (zh) | 一种用于对电力设施仪表进行自动定位的方法及系统 | |
| CN106183995A (zh) | 一种基于立体视觉的可视倒车方法 | |
| CN115236655A (zh) | 基于全极化sar的滑坡识别方法、系统、设备及介质 | |
| CN115588040A (zh) | 一种基于全视图成像点坐标统计定位系统及方法 | |
| CN111091088A (zh) | 一种视频卫星信息支援海上目标实时检测定位系统及方法 | |
| CN113947714B (zh) | 一种视频监控和遥感的多模态协同优化方法及系统 | |
| CN104180794B (zh) | 数字正射影像拉花区域的处理方法 | |
| CN117451000B (zh) | 一种智轨列车道路路基沉降机器视觉检测方法及系统 | |
| CN113627427B (zh) | 一种基于图像检测技术的仪器仪表读数方法及系统 | |
| CN113095316B (zh) | 基于多级融合和角点偏移的图像旋转目标检测方法 | |
| CN113569647A (zh) | 一种基于ais的船舶高精度坐标映射方法 | |
| Jacobs et al. | Cloud motion as a calibration cue | |
| CN114187517A (zh) | 一种融合视频监控和遥感的异常目标检测方法及系统 | |
| Shan et al. | Feasibility of Accurate Point Cloud Model Reconstruction for Earthquake-Damaged Structures Using UAV-Based Photogrammetry | |
| CN115409691A (zh) | 融合激光测距和监控图像的双模态学习边坡风险检测方法 | |
| CN114187179B (zh) | 一种基于视频监控的遥感图像模拟生成方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220315 |
|
| RJ01 | Rejection of invention patent application after publication |