CN114120077B - 一种基于无人机航拍大数据下的防控风险预警方法 - Google Patents

一种基于无人机航拍大数据下的防控风险预警方法 Download PDF

Info

Publication number
CN114120077B
CN114120077B CN202210096984.2A CN202210096984A CN114120077B CN 114120077 B CN114120077 B CN 114120077B CN 202210096984 A CN202210096984 A CN 202210096984A CN 114120077 B CN114120077 B CN 114120077B
Authority
CN
China
Prior art keywords
appearance
motion
granularity
convolution
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210096984.2A
Other languages
English (en)
Other versions
CN114120077A (zh
Inventor
高文飞
王辉
王磊
王瑞雪
王子晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Rongling Technology Group Co ltd
Original Assignee
Shandong Rongling Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Rongling Technology Group Co ltd filed Critical Shandong Rongling Technology Group Co ltd
Priority to CN202210096984.2A priority Critical patent/CN114120077B/zh
Publication of CN114120077A publication Critical patent/CN114120077A/zh
Application granted granted Critical
Publication of CN114120077B publication Critical patent/CN114120077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于机器人视觉领域异常检测技术，尤其涉及一种基于无人机航拍大数据下的防控风险预警方法。本发明通过采集数据，对数据提取多层次多粒度特征，然后对多层次多粒度特征进行外观编码和运动编码进行特征融合，输出风险判断结果。本发明使用一种隐式多粒度外观‑运动编码网络来学习异常情况，通过对外观‑运动编码对物体的外观和运动属性进行学习，将两个模块的输出进行融合，进一步增强了特征表示。

Description

一种基于无人机航拍大数据下的防控风险预警方法
技术领域
本发明属于机器人视觉领域异常检测技术，尤其涉及一种基于无人机航拍大数据下的防控风险预警方法。
背景技术
在高层建筑物密集的场所，往往存在高空坠物的隐患。除人为因素及台风、暴雨等自然因素外，钢架和墙面没有锁稳、缺乏有效固定，年久失修、钢架老化、腐朽等原因导致的高空坠物防不胜防，需要建筑物管理人付出巨大的人力物力进行巡查和防范。因此，针对高空坠物的安全隐患自动排查，极大减少了人工成本，减少了安全隐患。
针对无人机航拍大数据下的风险防控，特别是高空坠物风险防控这一关键问题，现有一种鲁棒、轻量的防控模型。这种防控模型基于智能监控的风险防控受限于数据采集的问题，在开放动态环境下不能针对性地进行预警。在具体场景下，针对粗粒度物体防控，如高空广告牌等具有长期静止、姿态保持不变的特性大型悬挂物，如果选择安装智能监控，成本较高；而针对细粒度物体防控，如高层建筑的阳台盆栽等小物体，其位置又处于智能监控的视觉盲区。而基于航空大数据的手段具有灵活性高、数据量少的优点，可以针对性、动态的对高危风险进行选择性监控。在采集的数据中，广告牌等物体作为主体静止不动，但同时存在临时出现的物体、光照等干扰噪声，并且由于高空坠落事件很少发生，正常数据和异常数据之间存在类不平衡问题，不可能收集所有潜在的异常事件，使得任务具有挑战性。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种基于无人机航拍大数据下的防控风险预警方法，所述方法包括以下步骤：
步骤S1：标定存在高空坠物风险的位置，设计无人机航拍巡航路线，设定无人机拍摄时间和坐标，同一坐标下拍摄的所有图像为一组序列数据，采集数据。
步骤S2：对采集的每一组序列数据提取多层次多粒度特征。
步骤S3：对提取的多层次多粒度特征进行外观编码和运动编码。
步骤S4：对外观编码和运动编码进行特征融合，输出风险判断结果。
优选的方案如下：
所述步骤S2中，提取多层次多粒度特征方法为：针对一组序列数据
Figure 888388DEST_PATH_IMAGE001
，
Figure 913981DEST_PATH_IMAGE002
表示拍摄时间，每张图像
Figure 335735DEST_PATH_IMAGE003
的大小是
Figure 539315DEST_PATH_IMAGE004
，
Figure 679309DEST_PATH_IMAGE005
表示图像的高度，
Figure 744479DEST_PATH_IMAGE006
表示图像的宽度，将每张图像
Figure 286319DEST_PATH_IMAGE003
复制3份
Figure 457537DEST_PATH_IMAGE007
，从三个不同分辨率的层次对
Figure 209462DEST_PATH_IMAGE008
进行粒度划分，
Figure 452224DEST_PATH_IMAGE009
划分为4个大小为
Figure 989516DEST_PATH_IMAGE010
个小补丁，
Figure 659531DEST_PATH_IMAGE011
划分为16个大小为
Figure 857339DEST_PATH_IMAGE012
个小补丁，
Figure 903793DEST_PATH_IMAGE013
划分为32个大小为
Figure 92329DEST_PATH_IMAGE014
个小补丁。沿时间维度对不同层次划分的粒度小补丁串在一起，即形成了4个输入组：
Figure 792300DEST_PATH_IMAGE015
，
Figure 128604DEST_PATH_IMAGE016
，
Figure 385273DEST_PATH_IMAGE017
，
Figure 382310DEST_PATH_IMAGE018
，其中
Figure 394128DEST_PATH_IMAGE019
表示小补丁索引。
经过
Figure 93094DEST_PATH_IMAGE020
卷积拓展过的
Figure 215771DEST_PATH_IMAGE021
神经网络共有5个卷积组，分别为
Figure 628166DEST_PATH_IMAGE022
，
Figure 686252DEST_PATH_IMAGE023
，
Figure 731569DEST_PATH_IMAGE024
，
Figure 80773DEST_PATH_IMAGE025
，
Figure 301670DEST_PATH_IMAGE026
，将
Figure 655290DEST_PATH_IMAGE003
输入到
Figure 312537DEST_PATH_IMAGE022
中，得到提取的特征
Figure 42595DEST_PATH_IMAGE027
，此时
Figure 117999DEST_PATH_IMAGE028
和
Figure 65357DEST_PATH_IMAGE029
的分辨率大小相同。
Figure 350845DEST_PATH_IMAGE030
经过一个1×1卷积层后与
Figure 494382DEST_PATH_IMAGE028
在通道维度上拼接，作为
Figure 548925DEST_PATH_IMAGE023
的输入，得到提取的特征
Figure 165720DEST_PATH_IMAGE031
，此时
Figure 813870DEST_PATH_IMAGE031
和
Figure 620152DEST_PATH_IMAGE032
的分辨率大小相同。
Figure 155301DEST_PATH_IMAGE032
经过一个1×1卷积层后与
Figure 287205DEST_PATH_IMAGE031
在通道维度上拼接，作为
Figure 157072DEST_PATH_IMAGE024
的输入，得到提取的特征
Figure 953996DEST_PATH_IMAGE033
，此时
Figure 717553DEST_PATH_IMAGE034
和
Figure 630145DEST_PATH_IMAGE035
的分辨率大小相同。
Figure 111942DEST_PATH_IMAGE035
经过一个1×1卷积层后与
Figure 151704DEST_PATH_IMAGE036
在通道维度上拼接，作为
Figure 707451DEST_PATH_IMAGE025
的输入，得到提取的特征
Figure 181157DEST_PATH_IMAGE037
，继续输入到
Figure 432141DEST_PATH_IMAGE026
中，得到特征
Figure 259283DEST_PATH_IMAGE038
。
Figure 997432DEST_PATH_IMAGE038
为提取的多层次多粒度特征。
所述步骤S3中，将提取的多层次多粒度特征
Figure 563411DEST_PATH_IMAGE038
经过一个
Figure 629587DEST_PATH_IMAGE039
卷积输出两个分解特征图，分别为外观特征图
Figure 650633DEST_PATH_IMAGE040
和运动特征图
Figure 869387DEST_PATH_IMAGE041
。
外观特征图
Figure 419317DEST_PATH_IMAGE040
经过一个
Figure 35106DEST_PATH_IMAGE039
卷积操作得到三个新的特征图
Figure 718897DEST_PATH_IMAGE042
、
Figure 166059DEST_PATH_IMAGE043
和
Figure 824573DEST_PATH_IMAGE044
，
Figure 362214DEST_PATH_IMAGE042
、
Figure 459483DEST_PATH_IMAGE045
和
Figure 964413DEST_PATH_IMAGE046
经过重塑操作，将大小由
Figure 980780DEST_PATH_IMAGE047
变为
Figure 305582DEST_PATH_IMAGE048
，
Figure 206542DEST_PATH_IMAGE049
经过转置后与
Figure 254394DEST_PATH_IMAGE050
点积，再与
Figure 848187DEST_PATH_IMAGE046
点积，得到的结果重塑回
Figure 863547DEST_PATH_IMAGE051
，再与
Figure 37040DEST_PATH_IMAGE040
相加，输出外观编码
Figure 703513DEST_PATH_IMAGE052
。
运动特征图
Figure 468207DEST_PATH_IMAGE053
经过一个3D卷积操作得到一个新的特征图
Figure 970864DEST_PATH_IMAGE054
，
Figure 213626DEST_PATH_IMAGE054
经过重塑操作，将大小由
Figure 970492DEST_PATH_IMAGE055
变为
Figure 312611DEST_PATH_IMAGE056
，得到
Figure 161619DEST_PATH_IMAGE057
。
Figure 332706DEST_PATH_IMAGE058
和转置后的
Figure 255663DEST_PATH_IMAGE057
点积，经过一个激活函数得到
Figure 96580DEST_PATH_IMAGE059
。
Figure 324561DEST_PATH_IMAGE059
经过转置后与
Figure 909126DEST_PATH_IMAGE058
点积，再重塑回
Figure 155431DEST_PATH_IMAGE060
，再与
Figure 901670DEST_PATH_IMAGE041
相加，输出运动编码
Figure 115482DEST_PATH_IMAGE061
。
上述
Figure 238159DEST_PATH_IMAGE062
表示时间索引，
Figure 338970DEST_PATH_IMAGE063
表示通道数，
Figure 210106DEST_PATH_IMAGE064
表示外观特征图
Figure 521001DEST_PATH_IMAGE065
的长度，
Figure 57156DEST_PATH_IMAGE066
表示外观特征图
Figure 402687DEST_PATH_IMAGE065
的宽度，
Figure 880941DEST_PATH_IMAGE067
表示运动特征图
Figure 679133DEST_PATH_IMAGE068
的长度，
Figure 81295DEST_PATH_IMAGE069
表示运动特征图
Figure 907431DEST_PATH_IMAGE068
的宽度。
所述步骤S4中，将
Figure 431954DEST_PATH_IMAGE052
和
Figure 592808DEST_PATH_IMAGE061
经过一个共享权重的卷积层后进行一个逐元素的加和操作实现特征融合，然后接一个前馈神经网络得到最终的预测结果，输出风险判断结果。
进行异常检测需要学习正常场景的模式，从而检测出未见的、未定义的异常。本发明通过检测广告牌等静止物体是否发生位移，进而判断是否存在坠落的风险。针对存在隐患的物体存在变形的外观和发生位移两大特性。本发明使用一种隐式多粒度外观-运动编码网络来学习异常情况。其中通过提取多层次多粒度特征来建模不同粒度物体在长时间跨度的时空依赖关系，通过对外观-运动编码对物体的外观和运动属性进行学习，这两个模块的输出进行融合，进一步增强了特征表示。
附图说明
图1为原始输入图像。
图2为外观特征图。
图3为运动特征图。
图4为外观编码。
图5为运动编码。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
本实施例提出一种基于无人机航拍大数据下的防控风险预警方法，包括以下步骤：
步骤S1：无人机航拍数据的采集过程如下：初始状态下，无人机在所设定的应用场景下，全方位立体的进行巡航。技术人员根据采集的图像，标定存在高空坠物风险的位置，设计无人机航拍巡航路线。之后，无人机每天在固定的时间沿固定的轨迹飞行，在固定的坐标拍摄图像。同一坐标下拍摄的所有图像视为一组序列数据，沿着时间维度判断该位置是否出现异常风险。
步骤S2：对采集的每一组序列数据提取多层次多粒度特征。高空坠物风险防控中，除广告牌等大型物体外，往往还有阳台上的盆栽等小物体的防控。这就要求防控风险预警方法对盆栽等细粒度物体鲁棒。此外，无人机航拍图像的质量高，单张图像分辨率高，使用普通卷积和深层网络难以获得全局的感受野。因此采用多层次多粒度特征提取方法。
步骤S3：对提取的多层次多粒度特征进行外观编码和运动编码。
步骤S4：对外观编码和运动编码进行特征融合，输出风险判断结果。
实施例二：
实施例一的步骤S2中，通过下述方法对多层次多粒度特征提取：针对一组序列图像
Figure 595399DEST_PATH_IMAGE070
，
Figure 40155DEST_PATH_IMAGE071
表示拍摄时间，使用多层次多粒度的方法提取带有区分性的特征。每张
Figure 735579DEST_PATH_IMAGE072
的大小是
Figure 383729DEST_PATH_IMAGE073
，
Figure 190011DEST_PATH_IMAGE005
表示图像的高度，
Figure 990739DEST_PATH_IMAGE074
表示图像的宽度，将每张图像
Figure 857064DEST_PATH_IMAGE003
复制3份
Figure 992510DEST_PATH_IMAGE075
，从三个不同分辨率的层次对
Figure 602483DEST_PATH_IMAGE003
进行粒度划分，
Figure 756253DEST_PATH_IMAGE009
划分为4个大小为
Figure 59058DEST_PATH_IMAGE076
个小补丁，
Figure 416221DEST_PATH_IMAGE011
划分为16个大小为
Figure 252721DEST_PATH_IMAGE012
个小补丁，
Figure 339626DEST_PATH_IMAGE013
划分为32个大小为
Figure 485437DEST_PATH_IMAGE077
个小补丁。沿时间维度对不同层次划分的粒度小补丁串在一起，即形成了4个输入组：
Figure 454530DEST_PATH_IMAGE015
，
Figure 530939DEST_PATH_IMAGE078
，
Figure 534667DEST_PATH_IMAGE079
，
Figure 54641DEST_PATH_IMAGE080
，其中
Figure 245451DEST_PATH_IMAGE081
表示小补丁索引。
经过
Figure 615297DEST_PATH_IMAGE082
卷积拓展过的
Figure 880057DEST_PATH_IMAGE083
神经网络共有5个卷积组，分别为
Figure 695566DEST_PATH_IMAGE022
，
Figure 763885DEST_PATH_IMAGE023
，
Figure 323042DEST_PATH_IMAGE024
，
Figure 911149DEST_PATH_IMAGE025
，
Figure 366402DEST_PATH_IMAGE084
，将
Figure 423482DEST_PATH_IMAGE003
输入到
Figure 520751DEST_PATH_IMAGE022
中，得到提取的特征
Figure 25681DEST_PATH_IMAGE027
，此时
Figure 42048DEST_PATH_IMAGE028
和
Figure 960325DEST_PATH_IMAGE029
的分辨率大小相同。
Figure 471072DEST_PATH_IMAGE030
经过一个1×1卷积层后与
Figure 892826DEST_PATH_IMAGE028
在通道维度上拼接，作为
Figure 847138DEST_PATH_IMAGE023
的输入，得到提取的特征
Figure 659236DEST_PATH_IMAGE031
，此时
Figure 363887DEST_PATH_IMAGE031
和
Figure 764781DEST_PATH_IMAGE032
的分辨率大小相同。
Figure 263896DEST_PATH_IMAGE032
经过一个1×1卷积层后与
Figure 766552DEST_PATH_IMAGE031
在通道维度上拼接，作为
Figure 432151DEST_PATH_IMAGE085
的输入，得到提取的特征
Figure 828497DEST_PATH_IMAGE086
，此时
Figure 108300DEST_PATH_IMAGE034
和
Figure 144258DEST_PATH_IMAGE035
的分辨率大小相同。
Figure 925132DEST_PATH_IMAGE035
经过一个1×1卷积层后与
Figure 51351DEST_PATH_IMAGE036
在通道维度上拼接，作为
Figure 892268DEST_PATH_IMAGE025
的输入，得到提取的特征
Figure 120250DEST_PATH_IMAGE087
，继续输入到
Figure 376919DEST_PATH_IMAGE084
中得到特征
Figure 482278DEST_PATH_IMAGE038
。
Figure 415468DEST_PATH_IMAGE038
为提取的多层次多粒度特征。
该方法将图像从不同层次划分成不同大小的小补丁，可以让网络学习到不同粒度的全局感受野，提取不同大小的物体更具有区分性的特征。且通过
Figure 114433DEST_PATH_IMAGE082
卷积拓展
Figure 502689DEST_PATH_IMAGE083
网络，学习不同时间段拍摄到照片的时间信息，对物体的时空关系进行建模，使得学习的特征具有长期依赖和历史记忆，更好的学习到物体的位置信息和外观信息，进而检测到是否存在高空坠落的风险。该方法的可拓展性高，可以针对具体任务设计更高层次更细粒度的小补丁划分。
实施例三：
在实施例一的步骤S3中，对提取的多层次多粒度特征进行双路编码，即进行外观编码和运动编码。在序列数据中物体具有两个属性，分别是外观和运动，即外观是否发生形变、颜色光照变化和遮挡等，运动指的是位置相对于背景是否发生变化。外观编码和运动编码具体方法如下：
首先将提取的多层次多粒度特征
Figure 88654DEST_PATH_IMAGE038
经过一个
Figure 271373DEST_PATH_IMAGE082
卷积输出两个分解特征图，外观特征图
Figure 519952DEST_PATH_IMAGE040
和运动特征图
Figure 570954DEST_PATH_IMAGE088
。
外观特征图
Figure 650905DEST_PATH_IMAGE065
经过一个
Figure 879892DEST_PATH_IMAGE082
卷积操作得到三个新的特征图
Figure 678084DEST_PATH_IMAGE089
、
Figure 34241DEST_PATH_IMAGE090
和
Figure 640803DEST_PATH_IMAGE091
，
Figure 430905DEST_PATH_IMAGE089
、
Figure 841026DEST_PATH_IMAGE045
和
Figure 109196DEST_PATH_IMAGE092
经过重塑操作，将大小由
Figure 773527DEST_PATH_IMAGE047
变为
Figure 734530DEST_PATH_IMAGE048
，
Figure 664571DEST_PATH_IMAGE093
经过转置后与
Figure 611798DEST_PATH_IMAGE094
点积，再与
Figure 520848DEST_PATH_IMAGE092
点积，得到的结果重塑回
Figure 308545DEST_PATH_IMAGE095
，再与
Figure 443991DEST_PATH_IMAGE065
相加，输出外观编码
Figure 53964DEST_PATH_IMAGE052
。
运动特征图
Figure 455338DEST_PATH_IMAGE068
经过一个3D卷积操作得到一个新的特征图
Figure 492564DEST_PATH_IMAGE096
，
Figure 115306DEST_PATH_IMAGE096
经过重塑操作，将大小由
Figure 450342DEST_PATH_IMAGE055
变为
Figure 333984DEST_PATH_IMAGE056
，得到
Figure 417478DEST_PATH_IMAGE057
。
Figure 386571DEST_PATH_IMAGE097
和转置后的
Figure 964445DEST_PATH_IMAGE057
点积，经过一个激活函数得到
Figure 640277DEST_PATH_IMAGE059
。
Figure 19306DEST_PATH_IMAGE059
经过转置后与
Figure 334749DEST_PATH_IMAGE097
点积，再重塑回
Figure 90216DEST_PATH_IMAGE060
，再与
Figure 620554DEST_PATH_IMAGE088
相加，输出运动编码
Figure 62162DEST_PATH_IMAGE061
。
上述
Figure 740268DEST_PATH_IMAGE062
表示时间索引，
Figure 705950DEST_PATH_IMAGE063
表示通道数，
Figure 543325DEST_PATH_IMAGE064
表示外观特征图
Figure 264156DEST_PATH_IMAGE065
的长度，
Figure 570504DEST_PATH_IMAGE066
表示外观特征图
Figure 90609DEST_PATH_IMAGE065
的宽度，
Figure 657857DEST_PATH_IMAGE067
表示运动特征图
Figure 424955DEST_PATH_IMAGE068
的长度，
Figure 343233DEST_PATH_IMAGE069
表示运动特征图
Figure 103247DEST_PATH_IMAGE068
的宽度。
实施例四：
在实施例一中，外观编码和运动编码特征融合方法为：
为了更好地利用外观编码和运动编码的全局语义信息，将外观编码
Figure 462685DEST_PATH_IMAGE052
和运动编码
Figure 790898DEST_PATH_IMAGE061
经过一个共享权重的卷积层后进行一个逐元素的加和操作实现特征融合，然后接一个前馈神经网络（FFN）得到最终的预测结果，输出风险判断结果。
表1是本发明方法的一个仿真实验，该实验采用受试者工作特征曲线下的面积（AUC）作为性能指标。AUC是衡量二分类模型优劣的一种评价指标，对于本发明涉及的检测是否异常的任务是十分契合的。本发明在自行搜集的仿真数据集和UCSD Ped2 公开数据集上进行实验。考虑到本发明的泛化性，本发明所采用的仿真数据集是三种不同型号无人航拍机（包括大疆mini2，MAX，kidsdeer）所拍摄的照片。数据集共324组序列数据，每一组序列数据中有50张航拍照片。每张照片都1到3个目标（目标主要是存在高空坠物安全隐患的物体）和若干干扰物体（包括路面上的车辆、阳台上的人、晾晒的衣物等），每张照片的标注信息都包括目标的位置信息。所有的照片都统一缩放到512×512×3大小，其中198组序列数据作为训练集、其余组序列数据作为验证集。UCSD Ped2数据集由两个通过安装的摄像机获得的俯瞰人行道场景组成。因此，前景对象的大小和移动变化很小，视频是灰度和低分辨率的。
本发明方法与Mem-guided、MemAE、Auto-reg、HybridAE四个异常检测算法进行比较，结果如表1所示：
表1 本发明方法与其他算法比较结果
Figure 291411DEST_PATH_IMAGE098
与现有技术相比，本发明采用多层次多粒度特征提取方法获得全局感受野，在仿真数据集和公开数据集UCSDPed2上都取得了比现有Mem-guided、MemAE、Auto-reg、HybridAE方法更好的效果。
如附图1-3是关于外观特征图和运动特征图的可视化效果分析。以附图1中的原始输入图像为例，附图2是外观特征图，可见本发明可以较为准确的识别场景中出现的物体，如窗户中出现的人和旗帜；附图3是运动特征图，可见本发明可以通过序列数据中前后文信息识别出位移的物体，如人挥舞的手臂和被风吹舞的旗帜。附图4和5分别是外观编码和运动编码，在外观特征图和运动特征图的基础上，在相应的位置有更高的编码值，表示本发明使用的模型关注到了正确的外观和运动信息，提取到了正确的特征并且使用了正确的编码表示。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于无人机航拍大数据下的防控风险预警方法，其特征在于，包括以下步骤：
步骤S1：标定存在高空坠物风险的位置，设计无人机航拍巡航路线，设定无人机拍摄时间和坐标，同一坐标下拍摄的所有图像为一组序列数据，采集数据；
步骤S2：对采集的每一组序列数据提取多层次多粒度特征；
步骤S3：对提取的多层次多粒度特征进行外观编码和运动编码；
步骤S4：对外观编码和运动编码进行特征融合，输出风险判断结果；
所述步骤S2，针对一组序列数据
Figure 942886DEST_PATH_IMAGE001
，每张图像
Figure 3246DEST_PATH_IMAGE002
的大小是
Figure 431954DEST_PATH_IMAGE003
，
Figure 303089DEST_PATH_IMAGE004
表示拍摄时间，
Figure 551668DEST_PATH_IMAGE005
表示图像的高度，
Figure 415718DEST_PATH_IMAGE006
表示图像的宽度，将每张图像
Figure 698932DEST_PATH_IMAGE002
复制3份
Figure 239504DEST_PATH_IMAGE007
，从三个不同分辨率的层次对
Figure 772116DEST_PATH_IMAGE008
进行粒度划分，
Figure 439858DEST_PATH_IMAGE009
划分为4个大小为
Figure 577578DEST_PATH_IMAGE010
个小补丁，
Figure 39784DEST_PATH_IMAGE011
划分为16个大小为
Figure 10757DEST_PATH_IMAGE012
个小补丁，
Figure 216611DEST_PATH_IMAGE013
划分为32个大小为
Figure 208837DEST_PATH_IMAGE014
个小补丁；沿时间维度对不同层次划分的粒度小补丁串在一起，即形成了4个输入组：
Figure 841944DEST_PATH_IMAGE015
，
Figure 801679DEST_PATH_IMAGE016
，
Figure 607961DEST_PATH_IMAGE017
，
Figure 657956DEST_PATH_IMAGE018
，
其中
Figure 524281DEST_PATH_IMAGE019
表示小补丁索引；经过
Figure 456465DEST_PATH_IMAGE020
卷积拓展过的
Figure 754853DEST_PATH_IMAGE021
神经网络共有5个卷积组，分别为
Figure 456093DEST_PATH_IMAGE022
，
Figure 696582DEST_PATH_IMAGE023
，
Figure 116062DEST_PATH_IMAGE024
，
Figure 716676DEST_PATH_IMAGE025
，
Figure 538002DEST_PATH_IMAGE026
，将
Figure 746129DEST_PATH_IMAGE002
输入到
Figure 652905DEST_PATH_IMAGE022
中，得到提取的特征
Figure 807943DEST_PATH_IMAGE027
，此时
Figure 231578DEST_PATH_IMAGE028
和
Figure 548290DEST_PATH_IMAGE029
的分辨率大小相同；
Figure 942362DEST_PATH_IMAGE030
经过一个1×1卷积层后与
Figure 635511DEST_PATH_IMAGE028
在通道维度上拼接，作为
Figure 680697DEST_PATH_IMAGE023
的输入，得到提取的特征
Figure 965047DEST_PATH_IMAGE031
，此时
Figure 846416DEST_PATH_IMAGE031
和
Figure 343256DEST_PATH_IMAGE032
的分辨率大小相同；
Figure 993680DEST_PATH_IMAGE032
经过一个1×1卷积层后与
Figure 402927DEST_PATH_IMAGE031
在通道维度上拼接，作为
Figure 506012DEST_PATH_IMAGE024
的输入，得到提取的特征
Figure 540965DEST_PATH_IMAGE033
，此时
Figure 311475DEST_PATH_IMAGE034
和
Figure 203207DEST_PATH_IMAGE035
的分辨率大小相同；
Figure 42856DEST_PATH_IMAGE035
经过一个1×1卷积层后与
Figure 881499DEST_PATH_IMAGE036
在通道维度上拼接，作为
Figure 506515DEST_PATH_IMAGE025
的输入，得到提取的特征
Figure 772412DEST_PATH_IMAGE037
，继续输入到
Figure 597892DEST_PATH_IMAGE026
中，得到多层次多粒度特征
Figure 709067DEST_PATH_IMAGE038
；
所述步骤S3中，将提取的多层次多粒度特征
Figure 188590DEST_PATH_IMAGE038
经过一个
Figure 625388DEST_PATH_IMAGE039
卷积输出两个分解特征图，分别为外观特征图
Figure 439629DEST_PATH_IMAGE040
和运动特征图
Figure 416812DEST_PATH_IMAGE041
；外观特征图
Figure 954104DEST_PATH_IMAGE040
经过一个
Figure 358540DEST_PATH_IMAGE039
卷积操作得到三个新的特征图
Figure 410810DEST_PATH_IMAGE042
、
Figure 145679DEST_PATH_IMAGE043
和
Figure 334215DEST_PATH_IMAGE044
，
Figure 847236DEST_PATH_IMAGE042
、
Figure 386802DEST_PATH_IMAGE045
和
Figure 158317DEST_PATH_IMAGE046
经过重塑操作，将大小由
Figure 466939DEST_PATH_IMAGE047
变为
Figure 416440DEST_PATH_IMAGE048
，
Figure 240040DEST_PATH_IMAGE049
经过转置后与
Figure 300400DEST_PATH_IMAGE050
点积，再与
Figure 211331DEST_PATH_IMAGE046
点积，得到的结果重塑回
Figure 597313DEST_PATH_IMAGE051
，再与
Figure 580312DEST_PATH_IMAGE040
相加，输出外观编码
Figure 444363DEST_PATH_IMAGE052
；运动特征图
Figure 976844DEST_PATH_IMAGE053
经过一个3D卷积操作得到一个新的特征图
Figure 64886DEST_PATH_IMAGE054
，
Figure 4023DEST_PATH_IMAGE054
经过重塑操作，将大小由
Figure 468503DEST_PATH_IMAGE055
变为
Figure 606223DEST_PATH_IMAGE056
，得到
Figure 819161DEST_PATH_IMAGE057
；
Figure 776752DEST_PATH_IMAGE058
和转置后的
Figure 982606DEST_PATH_IMAGE057
点积，经过一个激活函数得到
Figure 974832DEST_PATH_IMAGE059
；
Figure 122786DEST_PATH_IMAGE059
经过转置后与
Figure 833253DEST_PATH_IMAGE058
点积，再重塑回
Figure 577218DEST_PATH_IMAGE060
，再与
Figure 689531DEST_PATH_IMAGE041
相加，输出运动编码
Figure 290276DEST_PATH_IMAGE061
；
Figure 235842DEST_PATH_IMAGE062
表示时间索引，
Figure 783498DEST_PATH_IMAGE063
表示通道数，
Figure 750317DEST_PATH_IMAGE064
表示外观特征图
Figure 725226DEST_PATH_IMAGE040
的长度，
Figure 393974DEST_PATH_IMAGE065
表示外观特征图
Figure 745321DEST_PATH_IMAGE040
的宽度，
Figure 566646DEST_PATH_IMAGE066
表示运动特征图
Figure 774774DEST_PATH_IMAGE053
的长度，
Figure 681550DEST_PATH_IMAGE067
表示运动特征图
Figure 321741DEST_PATH_IMAGE053
的宽度；
所述步骤S4中，将
Figure 263152DEST_PATH_IMAGE052
和
Figure 579864DEST_PATH_IMAGE061
经过一个共享权重的卷积层后进行一个逐元素的加和操作实现特征融合，然后接一个前馈神经网络得到最终的预测结果，输出风险判断结果。
CN202210096984.2A 2022-01-27 2022-01-27 一种基于无人机航拍大数据下的防控风险预警方法 Active CN114120077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210096984.2A CN114120077B (zh) 2022-01-27 2022-01-27 一种基于无人机航拍大数据下的防控风险预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210096984.2A CN114120077B (zh) 2022-01-27 2022-01-27 一种基于无人机航拍大数据下的防控风险预警方法

Publications (2)

Publication Number Publication Date
CN114120077A CN114120077A (zh) 2022-03-01
CN114120077B true CN114120077B (zh) 2022-05-03

Family

ID=80361296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210096984.2A Active CN114120077B (zh) 2022-01-27 2022-01-27 一种基于无人机航拍大数据下的防控风险预警方法

Country Status (1)

Country Link
CN (1) CN114120077B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272899B (zh) * 2022-09-27 2023-04-07 广东国图勘测地理信息有限公司 一种风险预警方法、装置、飞行器及存储介质
CN115796591B (zh) * 2022-12-06 2023-07-07 深圳市博铭维系统工程有限公司 一种基于图像采集的智慧城市居住安全预警分析方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298227A (zh) * 2019-04-17 2019-10-01 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN112949579A (zh) * 2021-03-30 2021-06-11 上海交通大学 一种基于密集卷积块神经网络的目标融合检测系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280443A (zh) * 2018-02-23 2018-07-13 深圳市唯特视科技有限公司 一种基于深特征提取异步融合网络的动作识别方法
CN109858407B (zh) * 2019-01-17 2023-11-10 西北大学 一种基于多种信息流特征和异步融合的视频行为识别方法
CN111046732B (zh) * 2019-11-11 2023-11-28 华中师范大学 一种基于多粒度语义解析的行人重识别方法及存储介质
CN111259786B (zh) * 2020-01-14 2022-05-03 浙江大学 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111461217B (zh) * 2020-03-31 2023-05-23 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法
CN111738070A (zh) * 2020-05-14 2020-10-02 华南理工大学 一种多个小目标的自动准确检测方法
CN111476219A (zh) * 2020-06-02 2020-07-31 苏州科技大学 智能家居环境中图像目标检测方法
CN113269054B (zh) * 2021-04-30 2022-06-10 重庆邮电大学 一种基于时空2d卷积神经网络的航拍视频分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298227A (zh) * 2019-04-17 2019-10-01 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN112949579A (zh) * 2021-03-30 2021-06-11 上海交通大学 一种基于密集卷积块神经网络的目标融合检测系统及方法

Also Published As

Publication number Publication date
CN114120077A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111967393B (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
Eykholt et al. Robust physical-world attacks on deep learning visual classification
CN114120077B (zh) 一种基于无人机航拍大数据下的防控风险预警方法
CN111723654B (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN104378582B (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN108985192A (zh) 一种基于多任务深度卷积神经网络的视频烟雾识别方法
CN107352032A (zh) 一种人流量数据的监控方法及无人机
CN100565557C (zh) 基于粒子动态采样模型的红外人体目标跟踪系统
CN109191255B (zh) 一种基于无监督特征点检测的商品对齐方法
CN109241902A (zh) 一种基于多尺度特征融合的山体滑坡检测方法
CN111401188A (zh) 一种基于人体关键点特征的交警手势识别方法
Zhang et al. Transmission line abnormal target detection based on machine learning yolo v3
CN109948474A (zh) Ai热成像全天候智能监控方法
CN116363748A (zh) 基于红外-可见光图像融合的电网现场作业一体管控方法
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN103366158A (zh) 基于三维结构和色彩模型的单目视觉路面检测方法
CN116343513B (zh) 农村公路超视距风险点安全监测预警方法及其系统
CN105740819A (zh) 一种基于整数规划的人群密度估计方法
CN115482483A (zh) 一种交通视频目标跟踪装置、方法及存储介质
CN113837001A (zh) 监控场景下的异常闯入物实时检测方法及装置
CN113869122A (zh) 一种配网工程强化管控方法
Hummel et al. Data simulation and testing of visual algorithms in synthetic environments for security sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant