CN106960027B - 空间信息辅助的无人机视频大数据多时相关联分析方法 - Google Patents

空间信息辅助的无人机视频大数据多时相关联分析方法 Download PDF

Info

Publication number
CN106960027B
CN106960027B CN201710166290.0A CN201710166290A CN106960027B CN 106960027 B CN106960027 B CN 106960027B CN 201710166290 A CN201710166290 A CN 201710166290A CN 106960027 B CN106960027 B CN 106960027B
Authority
CN
China
Prior art keywords
video
camera
multidate
information
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710166290.0A
Other languages
English (en)
Other versions
CN106960027A (zh
Inventor
王中元
肖晶
陈丹
傅佑铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201710166290.0A priority Critical patent/CN106960027B/zh
Publication of CN106960027A publication Critical patent/CN106960027A/zh
Application granted granted Critical
Publication of CN106960027B publication Critical patent/CN106960027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种空间信息辅助的无人机视频大数据多时相关联分析方法，通过实时采集和编码视频，获取无人机空间信息和摄像机参数等辅助信息，将辅助信息同时记录到压缩码流中；分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；通过时序保持的场景归类将同一场景的多时相视频按原有采集时间的顺序组织到一起。采用本发明方法可从不同时间拍摄到的不同场面的海量无人机视频大数据中，快速、可靠地定位与同一场面关联的多时相视频，为灾害现场的变化检测提供依据。

Description

空间信息辅助的无人机视频大数据多时相关联分析方法
技术领域
本发明属于视频分析技术领域，涉及一种无人机视频分析方法，具体涉及一种空间信息辅助的无人机视频大数据多时相关联分析方法。
技术背景
近年，自然灾害多发频发，对社会经济与安全的威胁十分严峻。低空无人机以其机动灵活、实时性强、低成本等优势，迅速成为快速获取地理数据的有效平台。无人机灾害应急测量系统快速探查灾情，掌握受损地物空间信息，能够完成地质灾害监测、应急救援和灾情评估任务，为地质灾害预防与救援方案制定快速提供准确依据。
在地震地质灾害中，灾害现场会出现滑坡、房屋倒塌、地貌变形等各种改变，及时监测这些变化对灾害过程动态监视、灾情评估、应急救援具有重要作用。完成这一工作需要从不同时间拍摄的不同场面的海量无人机视频大数据中，快速配准同一场面的多时相视频，进而通过变化检测技术判别地质灾害造成的地貌变化。许多经典的航拍视频配准算法都基于光流约束，该算法建立在帧间只有微小的平移量的基础上，当无人机机动、摄像机镜头摆动造成图像间存在较大位置角度变化时，算法性能会急剧降低。由于在图像发生几何变化和灰度畸变下表现出良好的稳定性，基于局部不变特征的图像配准算法近年来得到普遍关注，所谓不变特征是指在图像在几何变化、光照变化、噪声干扰时仍保持稳定性的图像局部特征点或特征区域。然而，灾害前后的图像变化不仅反映在几何变化和光照变化上，更主要的是前背景内容信息的根本变化，这类算法应用于灾害场景的图像配准中依然存在极大局限性。
总之，既然自然灾害给场景的地貌形态和景物内容造成了彻底的改变，传统的基于视频内容分析的方法无法胜任不同时间拍摄到的同一地理位置的多时相视频的关联分析任务。因此，必须发展面向灾害救援的无人机视频大数据多时相关联分析技术。
发明内容
为了解决上述技术问题，本发明提供了一种空间信息辅助的无人机视频大数据多时相关联分析方法。
本发明所采用的技术方案是：一种空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于，包括以下步骤：
步骤1：实时采集和编码视频，获取无人机的辅助信息，将辅助信息同时记录到压缩码流中；
步骤2：分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；
步骤3：时序保持的场景归类，即将同一场景的多时相视频按原有采集时间的顺序组织到一起。
相对于现有的无人机视频处理方法，本发明具有以下优点和积极效果：
(1)本发明方法能够从不同时间拍摄的不同场面的海量无人机视频大数据中，快速找出同一场面的多时相视频，从而为灾害现场的变化检测(如地震地质灾害中滑坡、房屋倒塌、地貌变形等)奠定基础；
(2)本发明巧妙地借助了空间信息的帮助，具有便捷、高效、可靠、实现代价低的优点。
附图说明
图1：本发明具体实施例中同一位置反向拍摄的视频间不存在覆盖区域与不同位置相向拍摄的视频间反而存在覆盖区域示意图；
图2：本发明具体实施例中同一位置前后两次摄像间的覆盖区域与不同位置前后两次摄像间的覆盖区域示意图；
图3：本发明具体实施例中同一位置摄像时重叠区域随着方位角的扩大而下降的情况示意图；
图4：本发明具体实施例中不同位置摄像时、摄像方位从相交－>交点距离增加－>不相交－>完全反向这一过程引起重叠区域逐步下降的情况示意图；
图5：本发明具体实施例的原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
多时相视频间是否包含公共场景不仅取决于拍摄位置，而且还与拍摄方位有关，例如，在同一位置反向拍摄的视频间不存在覆盖区域(如图1(A)所示)，不同位置相向拍摄的视频间反而存在覆盖区域(如图1(B)所示)。进一步分析，如图2(A)所示，同一位置前后两次摄像间的覆盖区域取决于方位角与摄像机视场的关系，方位角应落在视场范围内才可能存在公共区域；如图2(B)所示，不同位置前后两次摄像间的覆盖区域取决于交点距离与摄像机景深的关系，如果交点距摄像点太远而超出了景深范围，即使摄像方位相交也不能采集到交点位置的图像。为便于理解，图3示意了同一位置摄像时重叠区域随着方位角的扩大而下降的情况；图4示意了不同位置摄像时、摄像方位从相交－>交点距离增加－>不相交－>完全反向这一过程引起重叠区域逐步下降的情况。
根据上述原理，本发明提出的空间信息辅助的无人机视频大数据多时相关联分析方法包含两个阶段：采集阶段和分析阶段。在采集阶段，每帧图像的头部同时记录无人机的空间信息和摄像机参数，空间信息包含无人机位置、拍摄方向、拍摄角度、无人机高度；摄像机参数包含相机视场和景深。分析阶段利用记录的空间信息，结合摄像机性能参数，建立推理规则判断多时相视频间是否存在关联及关联程度。基于这一思路，请见图5，本发明所采用的技术方案包括以下步骤：
步骤1：实时采集和编码视频，获取无人机空间信息和摄像机参数等辅助信息，将辅助信息同时记录到压缩码流中；
其具体实施要点进一步说明如下：
①无人机空间信息包含无人机位置、拍摄方向、拍摄角度、无人机高度；
②摄像机参数包含相机视场和景深；
③辅助信息复合到每帧压缩码流的头部；
④无人机空间信息通过集成的GPS导航仪、飞行控制系统传感器等专门的测量设备及时数字化采集。
步骤2：分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；
其具体实施要点进一步说明如下：
①采集点相同与否根据记录的位置信息判断；若位置的欧氏距离在预设门限1km内则判为同一采集点；
②若采集点相同，且相同两幅图像的摄像方位夹角小于摄像机视场的1/2，判断为关联，否则不关联；
关联系数R为：
其中，A为摄像机的方位夹角，根据摄像方向和角度确定；V为摄像机的视场参数；
若采集点不同，且两幅图像的摄像方位交点离采集点的距离小于摄像机景深，判断为关联，否则不关联；
关联系数R为：
其中，D为摄像机的交点距离，根据无人机位置、高度、摄像方向和角度确定，当摄像方位相向时，交点可认为是两采集点间直线上的任意位置；L为摄像机的景深参数。
其具体实现包括以下子步骤：
步骤3.1：提取所有视频帧携带的位置信息；
步骤3.2：对位置信息采用kNN算法聚类，聚类结果为场景数目以及每帧视频所归属的场景；
步骤3.3：将同一场景的视频按逻辑或物理的方式组织在一起；逻辑方式为索引，不改变物理存储空间，物理方式改变物理存储空间，按需采用；
步骤3.4：采用步骤2中的方法，计算同一场景中每两两多时相视频帧间的关联系数，作为两帧视频记录的场面存在交集的依据。
步骤3：时序保持的场景归类，即将同一场景的多时相视频按原有采集时间的顺序组织到一起。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于，包括以下步骤：
步骤1：实时采集和编码视频，获取无人机的辅助信息，将辅助信息同时记录到压缩码流中；
步骤2：分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；
所述分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则；
若采集点相同，且相同两幅图像的摄像方位夹角小于摄像机视场的1/2，判断为关联，否则不关联；
关联系数R为：
其中，A为摄像机的方位夹角，根据摄像方向和角度确定；V为摄像机的视场参数；
若采集点不同，且两幅图像的摄像方位交点离采集点的距离小于摄像机景深，判断为关联，否则不关联；
关联系数R为：
其中，D为摄像机的交点距离，根据无人机位置、高度、摄像方向和角度确定，当摄像方位相向时，交点可认为是两采集点间直线上的任意位置；L为摄像机的景深参数；
步骤3：时序保持的场景归类，即将同一场景的多时相视频按原有采集时间的顺序组织到一起；
步骤3的具体实现包括以下子步骤：
步骤3.1：提取所有视频帧携带的位置信息；
步骤3.2：对位置信息采用kNN算法聚类，聚类结果为场景数目以及每帧视频所归属的场景；
步骤3.3：按照实际需要，将同一场景的视频按逻辑或物理的方式组织在一起；其中逻辑方式为索引，不改变物理存储空间；物理方式改变物理存储空间；
步骤3.4：采用步骤2中的方法，计算同一场景中每两两多时相视频帧间的关联系数，作为两帧视频记录的场面存在交集的依据。
2.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤1的所述获取无人机的辅助信息包括无人机空间信息、摄像机参数信息；所述无人机空间信息包含无人机位置、拍摄方向、拍摄角度、无人机高度；所述摄像机参数信息包含相机视场信息和景深信息。
3.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤1中辅助信息复合到每帧压缩码流的头部。
4.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤2中采集点相同与否根据记录的位置信息判断，若位置的欧氏距离在预设门限内则判为同一采集点。
CN201710166290.0A 2017-03-20 2017-03-20 空间信息辅助的无人机视频大数据多时相关联分析方法 Active CN106960027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710166290.0A CN106960027B (zh) 2017-03-20 2017-03-20 空间信息辅助的无人机视频大数据多时相关联分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710166290.0A CN106960027B (zh) 2017-03-20 2017-03-20 空间信息辅助的无人机视频大数据多时相关联分析方法

Publications (2)

Publication Number Publication Date
CN106960027A CN106960027A (zh) 2017-07-18
CN106960027B true CN106960027B (zh) 2019-06-25

Family

ID=59470317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710166290.0A Active CN106960027B (zh) 2017-03-20 2017-03-20 空间信息辅助的无人机视频大数据多时相关联分析方法

Country Status (1)

Country Link
CN (1) CN106960027B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671043B (zh) * 2018-12-27 2020-07-07 中国地质环境监测院 一种基于无人机的地表裂缝快速检测系统及方法
CN109685024B (zh) * 2018-12-27 2020-07-07 中国地质环境监测院 一种空地一体人工智能地质灾害隐患初筛系统及方法
CN113037947B (zh) * 2021-03-05 2022-06-17 艾迪普科技股份有限公司 一种连续动态图像中空间信息的编码方法
CN116796025A (zh) * 2022-03-18 2023-09-22 北京罗克维尔斯科技有限公司 一种图像关联方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442619A (zh) * 2008-12-25 2009-05-27 武汉大学 无控制点图像拼接方法
CN104820965A (zh) * 2015-04-30 2015-08-05 武汉大学 一种低空无人机影像无地理编码快速拼接方法
CN105424010A (zh) * 2015-11-17 2016-03-23 中国人民解放军信息工程大学 一种无人机视频地理空间信息注册方法
CN106056069A (zh) * 2016-05-27 2016-10-26 刘文萍 基于无人机图像分析的林地资源资产评估方法及其评估系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170023939A1 (en) * 2015-05-06 2017-01-26 Joel David Krouse System and Method for Controlling an Unmanned Aerial Vehicle over a Cellular Network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442619A (zh) * 2008-12-25 2009-05-27 武汉大学 无控制点图像拼接方法
CN104820965A (zh) * 2015-04-30 2015-08-05 武汉大学 一种低空无人机影像无地理编码快速拼接方法
CN105424010A (zh) * 2015-11-17 2016-03-23 中国人民解放军信息工程大学 一种无人机视频地理空间信息注册方法
CN106056069A (zh) * 2016-05-27 2016-10-26 刘文萍 基于无人机图像分析的林地资源资产评估方法及其评估系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人机高清视频跟踪监控系统的设计;刘宏娟 等;《测控遥感与导航定位》;20160809;第46卷(第9期);51-54

Also Published As

Publication number Publication date
CN106960027A (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
US11410002B2 (en) Ship identity recognition method based on fusion of AIS data and video data
CN106960027B (zh) 空间信息辅助的无人机视频大数据多时相关联分析方法
CN104091369B (zh) 一种无人机遥感影像建筑物三维损毁检测方法
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
US10909395B2 (en) Object detection apparatus
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
CN111626987B (zh) 一种基于无人机及无锚框网络的车辆检测方法
CN104599281B (zh) 一种基于水平直线方位一致性的全景图与遥感图配准方法
CN106033614A (zh) 一种强视差下的移动相机运动目标检测方法
CN112487894B (zh) 基于人工智能的轨道交通保护区自动巡查方法及装置
CN111275957A (zh) 一种交通事故信息采集方法、系统及摄像机
US20220214657A1 (en) Monitoring management and control system based on panoramic big data
Franceschini et al. Damage estimation and localization from sparse aerial imagery
JP6216353B2 (ja) 情報特定システム、情報特定方法及び、そのプログラム
Wu et al. Multimodal Collaboration Networks for Geospatial Vehicle Detection in Dense, Occluded, and Large-Scale Events
CN116912517B (zh) 相机视野边界的检测方法及装置
CN103591953B (zh) 一种基于单摄像头的人员定位方法
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN110992291A (zh) 基于三目视觉的测距方法、系统及存储介质
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
Tang Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections
CN101661619A (zh) 基于单视图测量的图片伪造检测方法
Novais et al. Community based repository for georeferenced traffic signs
CN112990187A (zh) 一种基于手持终端图像的目标位置情报生成方法
KR101517695B1 (ko) 주행 중 과속방지턱 탐지 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200930

Address after: 519000 unit 1, No. 33, Haihe street, Hengqin New District, Zhuhai City, Guangdong Province

Patentee after: ZHUHAI DAHENGQIN TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Patentee before: WUHAN University