CN110276379A - 一种基于视频图像分析的灾情信息快速提取方法 - Google Patents

一种基于视频图像分析的灾情信息快速提取方法 Download PDF

Info

Publication number
CN110276379A
CN110276379A CN201910423623.2A CN201910423623A CN110276379A CN 110276379 A CN110276379 A CN 110276379A CN 201910423623 A CN201910423623 A CN 201910423623A CN 110276379 A CN110276379 A CN 110276379A
Authority
CN
China
Prior art keywords
camera
earthquake
group
disaster
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910423623.2A
Other languages
English (en)
Other versions
CN110276379B (zh
Inventor
方佳欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910423623.2A priority Critical patent/CN110276379B/zh
Publication of CN110276379A publication Critical patent/CN110276379A/zh
Application granted granted Critical
Publication of CN110276379B publication Critical patent/CN110276379B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于视频图像分析的灾情信息快速提取方法,属于结合地理信息的大数据与人工智能领域。首先获取灾区信息,以事件发生GPS位置数据为中心,用烈度圈划定影响区域进行栅格化,筛选出各人口密集区并分组。然后提取每组内的摄像头,并将包含某建筑性标志的摄像头分为有效摄像头组。最后针对某个有效摄像头,提取发震时刻点T前后时段的关键帧,分别建立关键帧序列,并分别进行相似度计算进行对比检测;同理计算所有有效摄像头的相似度对比差值;将所有对比差值加权,获得该标志性建筑物的受损指数,完成每组人口密集区的受损指数标注,绘制受损指数等值线,形成重点目标地区的识别与标注。本发明图像处理速度提升,数据集的范围精度更高。

Description

一种基于视频图像分析的灾情信息快速提取方法
技术领域
本发明属于结合地理信息的大数据与人工智能领域,具体是一种基于视频图像分析的 灾情信息快速提取方法。
背景技术
我国是一个灾害多发的国家,所以灾害应急处置工作非常重要。近年来,我国通过技 术与管理能力,建立起了一套灾害应急处置机制。如图1所示,在这一机制中,能根据网络监测数据及时捕捉灾害前兆信息,并发现灾害事件。当灾害发生时,启动对应的应急响应系统,利用专业评估模型对灾区范围和受灾程度等进行快速评估并形成辅助决策报告,指导后续的应急响应、指挥调度以及现场救援等工作。在这一过程中,灾情评估构成了一个重要环节。
根据目前我国应急响应体制的要求,灾情评估主要包括人口、经济、建筑物、重要目 标以及生命线等专题。在这些评估中,建筑物受损评估是重要的组成部分,一方面建筑物 自身损失直接反应灾情严重程度;另一方面该评估结果也为其他专题评估提供数据支撑, 并为现场救援以及指挥调度提供信息依据。
灾害发生后,准确及时地获取灾区灾情信息,判断经济、人口损失规模与空间位置是 灾害应急响应工作的重要支撑。目前,我国灾害应急工作受技术机制的影响,多采用后端 空间计算分析与现场人工采集上报相结合的方式,为应急指挥部决策提供分析依据。这一 工作模式存在以下不足:
1、基础数据与现场实际情况不符,影响计算精度:目前我国灾害行业所依赖的基础 数据库包括基础地理数据、人口经济数据、重要目标数据以及生命线数据等。这些数据以 国土、人口和民政等部门提供的数据为基础,这些数据在微观尺度上存在一定的实时性与 准确性,与现场的实际情况存在一定的差距,继而影响地理计算与损失评估的结果;
2、建筑物受损评估计算模型困难:近年来,由于我国城镇化建设速度加快,不同各地城市建筑建设区别较大。同时,在人口密集地区,存在违规建筑或临时建筑等。这些建 筑对象的信息难以获取,在后台的计算过程中不能准确分析,这就导致空间分析的结果与 实际情况存在较大差异;
3、现场信息获取困难且效率较低:在现场信息获取阶段,受技术与工作机制的制约, 在目标选定以及定位识别等方面存在一定的困难。同时,现场获取的信息经过处理后上报 给指挥后台在时间上存在较大的延迟。后端的相关指挥调度系统进行方案修订以及前端反 馈效率较低,影响灾情评估工作的整体效率。
上述情况对目前我国灾害应急工作的开展形成一定负面影响,导致灾情评估的支撑效 能不足,亟待有效手段提高。
随着大数据和人工智能技术的兴起,传统的机理分析与评估方法的不足更进一步凸显。 通过现场实时采集数据开展快速分析是未来灾害应急行业发展的重要技术需求之一,与传 统的电子娱乐、安全管理以及互联网应用不同;在灾害应急领域中,视频采集设备以及被 分析对象的监测对比需求存在较大差异,主要体现在以下几个方面:
1、缺乏样本训练,监督学习、半监督学习模式难以适应:灾害发生的时间、地点在事前往往难以预测,在灾害发生前,无法采集目标地区的视频样本,不能通过监督学习的方式进行训练。在灾害发生后,无法对现场采集的数据进行对比机监测;
2、视频采集设备位置的变化引起影像数据对比困难:视频采集设备通常具有一定的 观测范围,根据指令进行周边环境的巡视。同时,在灾害发生时,因震动、支撑结构倒塌等原因,采集设备的位置与姿态可能发生较大变化。这就导致常规的视频分析手段难以对事前与事后的数据进行统一的对比处理与分析;
3、判断结果的价值存在于对比检测失败的数据背景中:通常情况下,视频检测应用 的场景中,往往通过样本之间相似度的对比进行对象的识别与提取。而在灾害发生后,现 场遭到不同程度破坏,样本之间相似度无法达到分析处理流程的阈值设定。而判断、评估 损失程度的依据就存在这一匹配不确定性以及不对应性中。
发明内容
针对目前的分析手段不能应用于灾害应急领域,本发明基于灾区视频影像的建筑物受 损程度评估提出技术框架,结合灾害应急与社会计算的特点,基于人工智能技术开展研究 工作;提出了一种基于视频图像分析的灾情信息快速提取方法,突破了传统图像先验识别 技术的局限性,结合LBS计算和空间注册等技术形成面向灾害灾情信息提取与分析特点 的技术体系,满足未来我国灾害行业发展的需求。
具体步骤如下:
步骤一、实时监测全国台网中心发布的地震灾害信号,当某灾害信号触发后,获取对 应的灾区信息;
灾区信息包括灾害发生时间,事件发生GPS位置数据以及事件灾害等级等;
步骤二、以事件发生GPS位置数据为中心,在地图上用烈度圈划定与灾害等级对应的范围影响区域;
地图中详细标注建筑物、人口和经济要素等信息。
地震的划定标准包括按震级和烈度;
步骤三、将烈度圈叠加在地图上后进行栅格化,筛选出各人口密集区并分组。
每个栅格中配置人口分布数量,筛选出数量超过阈值的栅格作为人口密集区,并将每 个人口密集区分成一组,作为要分析的空间范围以及主要对象。
步骤四、根据各组人口密集区的空间位置以及范围分布,提取每组内的各摄像头;
如果某组人口密集区内没有摄像头,将该组归到地理位置最近的一组人口密集区中或 者舍弃该组。
步骤五、结合地理信息,将每组人口密集区内提取一个建筑性标志为分析对象,将该 组内包含该标志性建筑的摄像头分为有效摄像头组,同时获取该标志性建筑物的基本地理 位置信息;
将该组人口密集区内不含该标注性建筑的摄像头筛选舍弃。
步骤六、针对某个标注性建筑,将有效摄像头组内每个摄像头的地理部署位置,拍摄 角度,焦距,视角宽度以及有效姿态,作为各摄像头的空间注册信息。
拍摄角度θ是水平扇面上摄像头的拍摄角度,以正北为0°,顺时针正转;
根据当前摄像头拍摄的画面中,标志性建筑物的地理坐标在画面的正中位置,偏左位 置或者偏右位置均作为有效姿态。
步骤七、针对有效摄像头组中某个摄像头,以发震时刻点T为基准,提取发震时刻点 T前后时段的关键帧,并将关键帧中的标志性建筑进行截取,分别建立发震时刻点T前后时段的关键帧序列。
具体步骤如下:
步骤701、针对某个摄像头,分别提取发震时刻点T前后时段内该摄像头拍摄的关键 帧影像;
步骤702、将发震时刻点T前后的每张关键帧进行统一矫正;
发震时刻点T前后的所有关键帧的矫正数据集为:
PCk={Pbefore',Pafter'}
Pbefore'={P1',P2',.....Pt-1'}
Pafter'={Pt',Pt+1',.....Pm'}
m为截取关键帧的数量;Pt'为关键帧Pt矫正后的关键帧。
步骤703、根据该摄像头的空间注册信息,在矫正后的关键帧中定位要截取的标志性 建筑;
定位通过对当前摄像头进行映射投影得到,映射投影矩阵计算公式为:
θ是拍摄角度;f为该摄像头的焦距;n为该摄像头的视角宽度;Aspect为在焦距f与视角宽度n的基础上计算的该摄像头垂直扇面上的角度修正值。
步骤704、依次提取发震时刻点T前后的定位的每张关键帧,利用CNN神经网络对各帧中的标志性建筑物进行截取,组成两个关键帧序列。
每个关键帧序列记录的是该标志性建筑物在图像中的影像投影信息;
CNN神经网络采用平方误差代价函数替代,公式如下:
N为CNN神经网络迭代次数;c为CNN神经网络设置的收敛区间范围;为第n’次迭代过程中,某关键帧在收敛过程中的均方差。
步骤八、将发震时刻点T前时段的关键帧序列分别进行相似度计算,同时将发震时刻 点T后时段的关键帧序列分别进行相似度;最后将两次的相似度进行对比检测;
具体步骤为:
首先、利用CNN网络将发震时刻点T前时段的关键帧序列,计算每两帧之间标志性建筑的相似度,最后求取平均值P1
同理,将发震时刻点T后时段的关键帧序列,计算每两帧之间标志性建筑的相似度求 取平均值P2
最后、将两个相似度作差检测作为该摄像头的相似度对比差值;
步骤九、同理,计算有效摄像头组中每个摄像头的相似度对比差值;将所有摄像头的 对比差值加权,获得该标志性建筑物的受损指数,作为当前人口密集区的受损指数标注;
根据作对比差值,获取当前摄像头提取的受损指数b;
demageCheckRule(b')→damgeLevel
bk为第k个摄像头提取的标志性建筑物的受损指数;
对当前分组中全部摄像头的受损指数b进行提取后,进行融合计算;最终获取当前标 志性建筑物的状态,并在地图中进行标注。
步骤十、同理,完成每组人口密集区的受损指数标注,并绘制区域受损指数等值线, 形成重点目标地区的识别与标注。
本发明具有以下技术效果:
(1)一种基于视频图像分析的灾情信息快速提取方法,采用视景中采样区的视频对 比检测,图像处理速度提升,较常规手段降低20%左右,甚至更高;
(2)一种基于视频图像分析的灾情信息快速提取方法,采用基于人工智能的对比检 测方法,在数据集的范围精度方面,相较传统的方法能够提高60%左右,甚至更高。
附图说明
图1为现有技术中的灾害应急处理基本流程;
图2为本发明基于视频图像分析的灾情信息快速提取系统结构图;
图3为本发明一种基于视频图像分析的灾情信息快速提取方法的流程图;
图4为本发明在关键帧中定位识别要截取的标志性建筑的投影示意图;
图5为本发明投影中的转换示意图;
图6为本发明投影转换后的几何关系示意图;
具体实施方式
为了使本发明能够更加清楚地理解其技术原理,下面结合附图具体、详细地阐述本发 明实施例。
针对当前我国灾害行业发展需求,本发明提出一种基于视频图像分析的灾情信息快速 提取方法,基于信息网络以及我国智慧城市建设成果,在灾害发生后,根据事件信息获取 灾区现场地理信息,同时获取目标区域的摄像头信息;根据各摄像头的运行参数,结合地 理信息标定识别场景中的目标对象,确定摄像头采集图像视景中的采样区域。在这基础上, 提取事前前后关键帧进行对比检测,根据关键帧中采样区的差异判断目标受损情况。同时, 通过多组摄像头信息的提取,获取灾区中重点受损位置的判断与标注。
本发明在面向大型装备的智能监控、多目标跟踪定位以及地理信息服务系统等方面具 有较大应用价值,能实现灾害现场视频数据的快速采集,结合人工智能与大数据分析手段, 实现影像数据的快速对比,通过图像分析手段实现现场建筑物受损情况的分析。重点围绕 视频采集终端位置计算、关键帧提取与校正、基于人工智能的图像分析等技术在灾害应急 中的应用开展研究;解决行业应用中的实际问题,形成面向灾害应急的智能分析技术体系。
如图2所示,整个系统由处理分析层、对象识别层以及数据层三个层次组成。其中:
数据层:其通过前置端的数据接收接口,接收台网以及其它业务系统推送的灾害信息。 在灾害信息的基础上触发后续的数据采集以及其它任务。首先,根据灾害的灾区空间范围, 标定需要分析的空间位置。在这一基础上通过视频系统连接与视频终端提取模块连接方位 对应地区的视频监控系统。根据空间选择对应的摄像头列表并获取摄像头的工作参数。结 合灾害时刻创建时间窗口,形成事前与事后两个数据集。并通过视频监控系统获取这些摄 像头的视频流数据。在获取流数据后,在事前与事后两个时间段内分别设定关键帧时刻位 置。从视频流中提取对应的关键帧数据。同时,在关键帧提取中将摄像头的姿态信息封装 在对应的关键帧中,完成数据的前处理工作;
对象识别层:首先建立CNN分析网络,利用网络针对每个摄像头开展对象识别操作。, 根据前述的摄像头姿态信息获取姿态参考值,并建立投影变换矩阵。通过这一矩阵实现关 键帧之间的图像校正。其后在对每个关键帧进行处理,删除与参考值覆盖率不够的关键帧。 对满足要求的关键帧进行裁剪、对齐等校正操作。而后,针对事前关键帧进行建筑物识别 并进行空间注册。将多个事前关键帧中识别对象利用空间注册实现对应;
处理分析层:完成上述操作后,对事后关键帧中注册空间位置的影像进行提取与识别。 并将其与前述注册的识别对象建立对应关系。而后,进行匹配,获取事前事后对象匹配的 结果。完成单个摄像头对场景中建筑物受损情况的量化分析。在这一基础上,利用周围其 他摄像头的协同,最终实现针对当前空间全部可识别对象的协同分析。将该地区全部空间 分析结果进行汇总,形成地区受损分析产出。
如图3所示,包括步骤如下:
步骤一、实时监测全国台网中心发布的地震灾害信号,当某灾害信号触发后,获取对 应的灾区信息;
灾害信息主要包括灾害发生时间,事件发生GPS位置数据、事件灾害等级等基本信息;
步骤二、根据专业研判模型,以事件发生GPS位置数据为中心,在地图上用烈度圈划定与灾害等级对应的范围影响区域;
地图中详细标注建筑物、人口和经济要素等信息。烈度圈中包括人口稀少的田野以及 人口密集的县城等。地震的划定标准包括按震级和烈度;
步骤三、将烈度圈叠加在地图上后进行栅格化,筛选出各人口密集区并分组。
通过地理信息与空间范围进行叠加处理并栅格化,每个栅格中配置人口分布数量,筛 选出数量超过阈值的栅格作为人口密集区,并将每个人口密集区分成一组,作为要分析的 空间范围以及主要对象。
根据灾害信息获取人口密集区集合为:D={di|i=1,2,......n},共n组人口密集区。
步骤四、根据各组人口密集区的空间位置以及范围分布,提取每组内的各摄像头;
根据目标建筑物的位置以及空间关系,提取周边摄像头,建立摄像头分组;如果某组 人口密集区内没有摄像头,将该组归到地理位置最近的一组人口密集区中或者舍弃该组。
摄像头安装在云台上,包括固定式和运动式安装,固定式摄像头通过角度旋转,运动 式摄像头通过周期旋转。
针对某个人口密集区内的摄像头集合为:
d={area,{cj|j=1,2....m}}c={cID,cr,posiotn,projectM}
其中area为人口密集区的空间范围,共m个摄像头;每个摄像头c的信息由:cID为视频设备标识,cr为姿态参考值,posiotn为视频采集设备位置,projectM为投影矩阵。
步骤五、结合地理信息,将每组人口密集区内提取一个建筑性标志为分析对象,将该 组内包含该标志性建筑的摄像头分为有效摄像头组,同时获取该标志性建筑物的基本地理 位置信息;
不同的人口密集区中不一定都有摄像头全面覆盖这个标志性建筑,将不含标注性建筑 的摄像头筛选舍弃。
步骤六、针对某个标注性建筑,将有效摄像头组内每个摄像头的地理部署位置,拍摄 角度,焦距,视角宽度以及有效姿态,作为各摄像头的空间注册信息。
拍摄角度θ是水平扇面上摄像头的拍摄角度,以正北为0°,顺时针正转;
根据摄像头的部署位置,计算每个摄像头与该标注性建筑的空间位置关系,实现有效 姿态的计算;包括:当前摄像头拍摄的画面中,标志性建筑物的地理坐标在画面的正中位 置,偏左位置或者偏右位置均作为有效姿态。
步骤七、针对有效摄像头组中某个摄像头,以发震时刻点T为基准,提取发震时刻点 T前后时段的关键帧,并将关键帧中的标志性建筑进行截取,分别建立发震时刻点T前后时段的关键帧序列。
具体步骤如下:
步骤701、针对某个摄像头,分别提取发震时刻点T前后时段内该摄像头拍摄的关键 帧影像;
发震时刻T前后时间窗口中的特定时刻点下,摄像头的姿态参数为:
Ct={Ca,Cb}
Ca={(α,β,t)k|k=1,2,....t-1}
Cb={(α,β,t)k|k=t,2,....p}
Ca为发震时刻T前的参数列表,截取不同时刻点下该摄像头的姿态信息,包括水平角度α,垂直角度β以及采样时刻点t;
Cb为发震时刻T后的参数列表,截取不同时刻点下该摄像头的姿态信息。p为获取摄像头在特定时刻点的拍摄角度信息。
步骤702、将发震时刻点T前后的每张关键帧进行统一矫正;
矫正是根据摄像头的姿态参数对集合中关键帧进行裁剪、缩放、对齐与变形处理,实 现关键帧的统一校正;
每个关键帧根据采样t时刻摄像头的α与β角度构建投影矩阵Mt
根据前述cr参考值αr与βr构建参考投影矩阵Mr
根据(α,β)与(αrr)的关系建立处理映射投影Mp,实现矫正投影Mt·Mp=Mr
在这一基础上,实现对当前关键帧Pt的矫正变化,获得矫正后的关键帧Pt':
Pt'=proc(Pt,Mp)
得到该摄像头在发震时刻点T前后的所有关键帧的矫正数据集为:
PCk={Pbefore',Pafter'}
Pbefore'={P1',P2',.....Pt-1'}
Pafter'={Pt',Pt+1',.....Pm''}
m'为截取关键帧的数量;
步骤703、根据该摄像头的空间注册信息,在矫正后的关键帧中定位识别要截取的标 志性建筑,并标注在各帧中对应的空间位置;
定位通过标志性建筑的地理信息以及摄像头的姿态角度,构造空间映射投影得到,从 当前图像中截取该位置数据。
如图4所示;投影变换完成的是如何将三维模型显示到二维视口上,视锥体是一个三 维体,它的位置和摄像头相关,视锥体的形状决定了模型如何从camera space投影到屏幕 上。最常见的投影类型-透视投影,使得离摄像头近的物体投影后较大,而离摄像头较远的物体投影后较小。透视投影使用棱锥作为视锥体,摄像头位于棱锥的椎顶。该棱锥被前后两个平面截断,形成一个棱台,叫做View Frustum,只有位于Frustum内部的模型才是 可见的。
如图5所示,透视投影的目的是将上面的棱台转换为一个立方体(cuboid),转换后, 棱台的前剪裁平面的右上角点变为立方体的前平面的中心(图中弧线所示)。经过对其简 化形成如图6所示的几何关系,最终形成投影矩阵,计算公式为:
θ是拍摄角度;f为该摄像头的焦距;n为该摄像头的视角宽度;Aspect为在焦距f与视角宽度n的基础上计算的该摄像头垂直扇面上的角度修正值。
M的逆矩阵M'即为逆投影矩阵。
步骤704、依次提取发震时刻点T前后的定位的每张关键帧,对各帧中的标志性建筑 物进行截取,组成两个关键帧序列。
首先,从每个关键帧中识别出所有建筑物,从中提取目标标志性建筑物;
利用CNN网络对每个关键帧进行建筑物识别,CNN神经网络采用平方误差代价函数替代,公式如下:
N为CNN神经网络迭代次数;c为CNN神经网络设置的收敛区间范围;为第n’次迭代过程中,某关键帧在收敛过程中的均方差。
通过CNN网络识别发震时刻点T前关键帧中的目标标志性建筑物对象:
check(Pbefore')=∑getBuliding(Pi'),Pi'∈Pbefore'
bds={bi|i=1,2,...n},
b={(bid,(M2D',Pi'))k|k=1,...t-1}
在发震时刻点T前多个关键帧中将识别的目标标志性建筑物建立序列关系,每个序列 标记点中,记录该建筑物在图像中的影像投影信息;
同时,在上述发震时刻点T后的关键帧序列中获取对应的目标标志性建筑物识别信息:
getB(Pafter')=∑getBuliding(Pi'),Pi'∈Pafter'
bds={bi|i=1,2,...n},
b={(bid,(M2D',Pi'))k|k=1,...t-1}
事后识别的目标标志性建筑通过位置投影计算与事前的目标标志性建筑物之间建立 对应关系,即:
letP1=Pj(M2D',M'),M2D'∈b1,b1∈bdsbefore
letP2=Pj(M2D',M'),M2D'∈b2,b2∈bdsafter
iif(KDD(P1,P2)<closeRange)then(b1≡b2)
最终完成全部关键帧的处理,利用逆投影矩阵,针对每个摄像头建立不同关键帧之间 的目标标志性建筑物识别与对应关系,在事前与事后的关键帧中进行标注。
步骤八、将发震时刻点T前时段的关键帧序列分别进行相似度计算,同时将发震时刻 点T后时段的关键帧序列分别进行相似度;最后将两次的相似度进行对比检测;
针对跨帧识别的建筑物在发震时刻点T前后进行对比检测,根据识别结果判断其受损 情况。同时,在多个摄像头的基础上,对同一个建筑物进行协同分析,形成建筑物受损评 估结论;最后在多个地区的分析基础上确定受损严重地区。
整体过程如下:首先,根据发震时刻点T前关键帧同一位置识别的建筑物,利用神经 网络进行识别检测获取事前检测结果:
NetAnalysisi(bi)={e1,e2,...en},bi∈bdsbefore
同时,利用发震时刻点T后关键帧,对对应位置的建筑物进行识别匹配,获取事后检 测结果集合:
Netcheck(bi,b'i)={e1',e2',...en'},
bi∈bdsbefore,b'i∈bdsafter,
在上述计算的基础上,根据两个匹配集分布计算识别相似度
Fk({e1,e2,..et-1},{et',et+1',...em'})=φ
利用CNN网络将发震时刻点T前时段的关键帧序列,计算事前对象状态稳定情况下每两帧之间标志性建筑的相似度,最后求取平均值P1
同理,将发震时刻点T后时段的关键帧序列,计算每两帧之间标志性建筑的相似度求 取平均值P2
最后、将两个相似度作差检测作为该摄像头的相似度对比差值;
步骤九、同理,计算有效摄像头组中每个摄像头的相似度对比差值;将所有摄像头的 对比差值加权,获得该标志性建筑物的受损指数,作为当前人口密集区的受损指数标注;
根据相似度对比差值,获取当前摄像头提取建筑物的受损指数b;对当前分组中全部 摄像头的受损指数进行提取后,进行融合计算;最终获取当前标志性建筑物的状态,并在 地图中进行标注。
通过该地区多个能够同时观测到该点的摄像头中数据进行联合分析,实现对特定建筑 物目标的受损评估,计算公式如下:
demageCheckRule(b')→damgeLevel
bk为第k个摄像头提取的标志性建筑物的受损指数;
步骤十、同理,完成每组人口密集区的受损指数标注,并绘制区域受损指数等值线, 形成重点目标地区的识别与标注。
结合密度刨分法,在全域范围内根据不同区域受损指数,进行等值线绘制,通过多个 地区的综合分析,明确严重受损地区空间分布范围;最终形成整体灾情信息提取与受损分 布图,为后续的救援与应急力量部署与调度提供依据。
本发明根据摄像头的参数,计算其投影矩阵。根据运行参数,从每个原始影像帧中, 提取与目标建筑物匹配的画面区域形成采样区,形成采样分析序列。对画面区域内的图像 进行后续处理。采用这一方式,一方面降低数据处理量。另一方面,也屏蔽视景中其他对 象的干扰。

Claims (4)

1.一种基于视频图像分析的灾情信息快速提取方法,其特征在于,具体步骤如下:
步骤一、实时监测全国台网中心发布的地震灾害信号,当某灾害信号触发后,获取对应的灾区信息;
灾区信息包括灾害发生时间,事件发生GPS位置数据以及事件灾害等级;
步骤二、以事件发生GPS位置数据为中心,在地图上用烈度圈划定与灾害等级对应的范围影响区域;
步骤三、将烈度圈叠加在地图上后进行栅格化,筛选出各人口密集区并分组;
每个栅格中配置人口分布数量,筛选出数量超过阈值的栅格作为人口密集区,并将每个人口密集区分成一组,作为要分析的空间范围以及主要对象;
步骤四、根据各组人口密集区的空间位置以及范围分布,提取每组内的各摄像头;
如果某组人口密集区内没有摄像头,将该组归到地理位置最近的一组人口密集区中或者舍弃该组;
步骤五、结合地理信息,将每组人口密集区内提取一个建筑性标志为分析对象,将该组内包含该标志性建筑的摄像头分为有效摄像头组,同时获取该标志性建筑物的基本地理位置信息;
将该组人口密集区内不含该标注性建筑的摄像头筛选舍弃;
步骤六、针对某个标注性建筑,将有效摄像头组内每个摄像头的地理部署位置,拍摄角度,焦距,视角宽度以及有效姿态,作为各摄像头的空间注册信息;
拍摄角度θ是水平扇面上摄像头的拍摄角度,以正北为0°,顺时针正转;
根据当前摄像头拍摄的画面中,标志性建筑物的地理坐标在画面的正中位置,偏左位置或者偏右位置均作为有效姿态;
步骤七、针对有效摄像头组中某个摄像头,以发震时刻点T为基准,提取发震时刻点T前后时段的关键帧,并将关键帧中的标志性建筑进行截取,分别建立发震时刻点T前后时段的关键帧序列;
步骤八、将发震时刻点T前时段的关键帧序列分别进行相似度计算,同时将发震时刻点T后时段的关键帧序列分别进行相似度;最后将两次的相似度进行对比检测;
步骤九、同理,计算有效摄像头组中每个摄像头的相似度对比差值;将所有摄像头的对比差值加权,获得该标志性建筑物的受损指数,作为当前人口密集区的受损指数标注;
根据作对比差值,获取当前摄像头提取的受损指数b;
demageCheckRule(b')→damgeLevel
bk为第k个摄像头提取的标志性建筑物的受损指数;
对当前分组中全部摄像头的受损指数b进行提取后,进行融合计算;最终获取当前标志性建筑物的状态,并在地图中进行标注;
步骤十、同理,完成每组人口密集区的受损指数标注,并绘制区域受损指数等值线,形成重点目标地区的识别与标注。
2.如权利要求1所述的一种基于视频图像分析的灾情信息快速提取方法,其特征在于,步骤二中所述的地图中详细标注建筑物、人口和经济要素;地震的划定标准包括按震级和烈度。
3.如权利要求1所述的一种基于视频图像分析的灾情信息快速提取方法,其特征在于,所述的步骤七具体步骤如下:
步骤701、针对某个摄像头,分别提取发震时刻点T前后时段内该摄像头拍摄的关键帧影像;
步骤702、将发震时刻点T前后的每张关键帧进行统一矫正;
发震时刻点T前后的所有关键帧的矫正数据集为:
PCk={Pbefore',Pafter'}
Pbefore'={P1',P2',.....Pt-1'}
Pafter'={Pt',Pt+1',.....Pm'}
m为截取关键帧的数量;Pt'为关键帧Pt矫正后的关键帧;
步骤703、根据该摄像头的空间注册信息,在矫正后的关键帧中定位要截取的标志性建筑;
定位通过对当前摄像头进行映射投影得到,映射投影矩阵计算公式为:
θ是拍摄角度;f为该摄像头的焦距;n为该摄像头的视角宽度;Aspect为在焦距f与视角宽度n的基础上计算的该摄像头垂直扇面上的角度修正值;
步骤704、依次提取发震时刻点T前后的定位的每张关键帧,利用CNN神经网络对各帧中的标志性建筑物进行截取,组成两个关键帧序列;
每个关键帧序列记录的是该标志性建筑物在图像中的影像投影信息;
CNN神经网络采用平方误差代价函数替代,公式如下:
N为CNN神经网络迭代次数;c为CNN神经网络设置的收敛区间范围;为第n’次迭代过程中,某关键帧在收敛过程中的均方差。
4.如权利要求1所述的一种基于视频图像分析的灾情信息快速提取方法,其特征在于,所述的步骤八具体步骤为:
首先、利用CNN网络将发震时刻点T前时段的关键帧序列,计算每两帧之间标志性建筑的相似度,最后求取平均值P1
同理,将发震时刻点T后时段的关键帧序列,计算每两帧之间标志性建筑的相似度求取平均值P2
最后、将两个相似度作差检测作为该摄像头的相似度对比差值。
CN201910423623.2A 2019-05-21 2019-05-21 一种基于视频图像分析的灾情信息快速提取方法 Expired - Fee Related CN110276379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910423623.2A CN110276379B (zh) 2019-05-21 2019-05-21 一种基于视频图像分析的灾情信息快速提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910423623.2A CN110276379B (zh) 2019-05-21 2019-05-21 一种基于视频图像分析的灾情信息快速提取方法

Publications (2)

Publication Number Publication Date
CN110276379A true CN110276379A (zh) 2019-09-24
CN110276379B CN110276379B (zh) 2020-06-23

Family

ID=67959423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910423623.2A Expired - Fee Related CN110276379B (zh) 2019-05-21 2019-05-21 一种基于视频图像分析的灾情信息快速提取方法

Country Status (1)

Country Link
CN (1) CN110276379B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968115A (zh) * 2020-09-09 2020-11-20 山东大学第二医院 基于栅格化图像处理方法的骨科耗材检测方法及系统
CN112001950A (zh) * 2020-08-25 2020-11-27 天地伟业技术有限公司 一种基于目标检测与特征提取结合模型的多目标跟踪算法
CN112802308A (zh) * 2021-01-05 2021-05-14 成都极米科技股份有限公司 一种地震预警方法、装置及投影仪

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041406A1 (en) * 2004-06-04 2006-02-23 Porter Keith A Method, computer program product, and system for risk management
CN103065413A (zh) * 2012-12-13 2013-04-24 中国电子科技集团公司第十五研究所 获取火灾等级信息的方法及装置
CN103744973A (zh) * 2014-01-11 2014-04-23 西安电子科技大学 基于多特征哈希的视频拷贝检测方法
CN104346538A (zh) * 2014-11-26 2015-02-11 中国测绘科学研究院 基于三种灾情因子控制的地震灾害评估方法
CN105279199A (zh) * 2014-07-23 2016-01-27 民政部国家减灾中心 一种地震灾区农房倒损监测方法和设备
CN105701481A (zh) * 2016-02-26 2016-06-22 民政部国家减灾中心 一种倒塌建筑物提取方法
CN107451198A (zh) * 2017-07-05 2017-12-08 北京辰安信息科技有限公司 灾情评估方法和灾情评估装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041406A1 (en) * 2004-06-04 2006-02-23 Porter Keith A Method, computer program product, and system for risk management
CN103065413A (zh) * 2012-12-13 2013-04-24 中国电子科技集团公司第十五研究所 获取火灾等级信息的方法及装置
CN103744973A (zh) * 2014-01-11 2014-04-23 西安电子科技大学 基于多特征哈希的视频拷贝检测方法
CN105279199A (zh) * 2014-07-23 2016-01-27 民政部国家减灾中心 一种地震灾区农房倒损监测方法和设备
CN104346538A (zh) * 2014-11-26 2015-02-11 中国测绘科学研究院 基于三种灾情因子控制的地震灾害评估方法
CN105701481A (zh) * 2016-02-26 2016-06-22 民政部国家减灾中心 一种倒塌建筑物提取方法
CN107451198A (zh) * 2017-07-05 2017-12-08 北京辰安信息科技有限公司 灾情评估方法和灾情评估装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐兰声: "基于GIS系统的城市震灾评估和救灾应急的研究", 《地震工程学报》 *
赵全斌 等: "基于BIM的建筑地震受损程度评估模型设计", 《地震工程学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001950A (zh) * 2020-08-25 2020-11-27 天地伟业技术有限公司 一种基于目标检测与特征提取结合模型的多目标跟踪算法
CN112001950B (zh) * 2020-08-25 2024-04-19 天地伟业技术有限公司 一种基于目标检测与特征提取结合模型的多目标跟踪算法
CN111968115A (zh) * 2020-09-09 2020-11-20 山东大学第二医院 基于栅格化图像处理方法的骨科耗材检测方法及系统
CN111968115B (zh) * 2020-09-09 2021-05-04 山东大学第二医院 基于栅格化图像处理方法的骨科耗材检测方法及系统
CN112802308A (zh) * 2021-01-05 2021-05-14 成都极米科技股份有限公司 一种地震预警方法、装置及投影仪
CN112802308B (zh) * 2021-01-05 2022-08-16 成都极米科技股份有限公司 一种地震预警方法、装置及投影仪

Also Published As

Publication number Publication date
CN110276379B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CN111080679B (zh) 一种对大型场所室内人员动态跟踪定位的方法
CN109117749A (zh) 一种基于无人机巡检影像的异常目标监管方法及系统
CN111339826B (zh) 一种滑坡无人机线性传感器网络框架检测系统
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN110276379A (zh) 一种基于视频图像分析的灾情信息快速提取方法
CN112053391B (zh) 一种基于动态三维模型的监控预警方法、系统及存储介质
CN110428449A (zh) 目标检测跟踪方法、装置、设备及存储介质
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN116092199B (zh) 一种员工工作状态识别方法及识别系统
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN115979250B (zh) 基于uwb模块、语义地图与视觉信息的定位方法
CN116343103A (zh) 一种基于三维gis场景与视频融合的自然资源监管方法
CN110378292A (zh) 三维空间定位系统和方法
CN112562005A (zh) 一种空间标定方法和系统
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
CN106960027B (zh) 空间信息辅助的无人机视频大数据多时相关联分析方法
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质
CN111860378A (zh) 基于枪球联动和视频事件感知的商场消防设施巡检方法
CN114513746B (zh) 融合三重视觉匹配模型和多基站回归模型的室内定位方法
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
CN115767424A (zh) 一种基于rss与csi融合的视频定位方法
CN115527008A (zh) 基于混合现实技术的安全模拟体验培训系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 414000 dormitory of fengshuxin village community, Yueyanglou District, Yueyang City, Hunan Province

Applicant after: Fang Jiaxin

Address before: Room 2307, Building No. 2, 56 Anli Road, Chaoyang District, Beijing 100101

Applicant before: Fang Jiaxin

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623