CN113033324B - 一种地质灾害前兆因子识别方法、装置，电子设备及存储介质 - Google Patents

一种地质灾害前兆因子识别方法、装置，电子设备及存储介质 Download PDF

Info

Publication number
CN113033324B
CN113033324B CN202110237629.8A CN202110237629A CN113033324B CN 113033324 B CN113033324 B CN 113033324B CN 202110237629 A CN202110237629 A CN 202110237629A CN 113033324 B CN113033324 B CN 113033324B
Authority
CN
China
Prior art keywords
region
frame
image frames
preset
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110237629.8A
Other languages
English (en)
Other versions
CN113033324A (zh
Inventor
柯小兵
龙文华
卿展晖
赵明辉
邱慧玲
李晓莅
阳剑峰
吕先锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiezuo Information Technology Co ltd
Guangdong Province Geological Environmental Monitoring Station
Original Assignee
Guangzhou Xiezuo Information Technology Co ltd
Guangdong Province Geological Environmental Monitoring Station
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiezuo Information Technology Co ltd, Guangdong Province Geological Environmental Monitoring Station filed Critical Guangzhou Xiezuo Information Technology Co ltd
Priority to CN202110237629.8A priority Critical patent/CN113033324B/zh
Publication of CN113033324A publication Critical patent/CN113033324A/zh
Application granted granted Critical
Publication of CN113033324B publication Critical patent/CN113033324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种地质灾害前兆因子识别方法、装置，电子设备及存储介质。该方法包括：获取待测区域的视频图像帧组；其中，所述视频图像帧组包括N个连续的图像帧；获取每个所述图像帧在不同通道下的特征图；从每个通道中提取出所有大小为a×a×m的卷积核；将提取的所有卷积核输入至预设的卷积神经网络模型中，获取与所述视频图像帧组对应的特征向量；根据预设的分类器对所述特征向量进行分类，生成所述待测区域的分类结果；其中，所述分类结果用于表征所述待测区域的前兆因子识别结果。与现有技术相比，提高了感知时序变化的能力，同时对真实地质灾害前兆因子变化更为敏感，具有识别准确率高、误报率低等优点。

Description

一种地质灾害前兆因子识别方法、装置，电子设备及存储介质
技术领域
本申请涉及地质预测技术领域，具体而言，涉及一种地质灾害前兆因子识别方法、装置，电子设备及存储介质。
背景技术
近年来受人类工程活动的影响，地质灾害呈高发势态，因此对地质灾害的监测预警就显得尤为重要。随着视频监控及图像分析技术的提升，采用图像分析技术对地质灾害发生的前兆因子进行识别和预警开始被关注。目前采用的图像识别技术主要通过2D(Dimensiona，维)卷积神经网络的目标检测、图像分类等算法，对前兆因子的单张图像进行识别。在实现本发明过程中，发明人发现针对临灾前兆，例如：落石、碎屑流、烟尘等均是连续运动的画面，单纯使用2D卷积神经网络的单张图像分析和识别，其识别准确率较低。
发明内容
本申请实施例的目的在于提供一种地质灾害前兆因子识别方法、装置，电子设备及存储介质，以改善“现有的对前兆因子进行识别的方式，其识别准确率较低”的问题。
本发明是这样实现的：
第一方面，本申请实施例提供一种地质灾害前兆因子识别方法，包括：获取待测区域的视频图像帧组；其中，所述视频图像帧组包括N个连续的图像帧；获取每个所述图像帧在不同通道下的特征图；从每个通道中提取出所有大小为a×a×m的卷积核；其中，a表示所述卷积核的边的像素数量，m表示提取的连续的特征图的数量；N≥m≥3；将提取的所有卷积核输入至预设的卷积神经网络模型中，获取与所述视频图像帧组对应的特征向量；根据预设的分类器对所述特征向量进行分类，生成所述待测区域的分类结果；其中，所述分类结果用于表征所述待测区域的前兆因子识别结果。
本申请实施例所提供的地质灾害前兆因子识别方法，首先获取N个连续的图像帧，然后提取出图像帧在每个特征通道下大小为a×a×m的卷积核。最后将提取的所有卷积核输入至预设的卷积神经网络模型中，并利用预设的分类器实现对N个连续的图像帧的识别进而得到地质灾害前兆因子的识别结果。也即，本申请所提取的为3D(Dimensiona，维)卷积核，其包含了时间次序的连续变化，与现有技术相比，提高了感知时序变化的能力，同时对真实地质灾害前兆因子变化更为敏感，具有识别准确率高、误报率低等优点。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述获取每个所述图像帧在不同通道下的特征图，包括：获取每个所述图像帧在灰度通道、x方向梯度通道、y方向梯度通道、x方向光流通道以及y方向光流通道的特征图。
在本申请实施例中，通过每个图像帧在灰度通道、x方向梯度通道、y方向梯度通道、x方向光流通道以及y方向光流通道的特征图以提高特征图的数量，以便于后续能够根据更多的特征进行前兆因子的识别，进一步的提高识别的准确性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述从每个通道中提取出所有大小为a×a×m的卷积核包括：提取第一帧特征图至第m帧特征图所组成的大小为a×a×m的卷积核；提取第二帧特征图至第m+1帧特征图所组成的大小为a×a×m的卷积核，依次提取，直至提取出第N-m帧特征图至第N帧特征图所组成的大小为a×a×m的卷积核。
在本申请实施例中，依次提取第一帧特征图至第m帧特征图所组成的大小为a×a×m的卷积核，第二帧特征图至第m+1帧特征图所组成的大小为a×a×m的卷积核···第N-m帧特征图至第N帧特征图所组成的大小为a×a×m的3D卷积核，通过该方式以便于完整且有序的提取出所有视频图像帧组中的卷积核。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤得到所述预设的卷积神经网络模型：获取训练样本数据；其中，所述训练样本数据为标记好类别的样本图像帧组在不同通道下提取的所有大小为a×a×m的卷积核；将所述训练样本数据输入至初始的卷积神经网络模型中，生成样本特征向量；将所述样本特征向量输入至所述预设的分类器中，通过最小化损失函数的计算值对所述初始的卷积神经网络模型进行优化，生成所述预设的卷积神经网络模型；其中，所述损失函数的表达式为：其中，J表示所述损失函数的计算值，A表示所述训练样本数据的总数，K表示分类数量，Δ表示边界值，Zcorrect表示为正常分类的得分，Zother表示错误分类得分。
在本申请实施例中，训练时输入的训练样本数据为a×a×m的卷积核，再结合预设的分类器对模型进行优化，有助于模型对运动态势的感知。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，N的数值为7，a的数值为7，m的数值为3。
在本申请实施例中，以7个连续的图像帧为一组，在每个通道下提取出7×7×3的卷积核。通过该方式，既保证了后续预测时能够达到较好的识别效果，也不会给设备太大的运算压力。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，在所述获取待测区域的视频图像帧组之前，所述方法还包括：根据预设区域中的地质环境条件数据，确定出所述待测区域；其中，所述待测区域为所述预设区域出现地质环境条件变化大于预设阈值的区域；获取所述待测区域的监控摄像设备传输的视频码流；将所述视频码流解码为图像帧，并按照时间次序排列，生成多个所述视频图像帧组。
在本申请实施例中，根据地质环境条件数据来确定出所需检测的待取区域，然后将视频码流解码为图像帧，并按照时间次序排列，生成多个视频图像帧组。通过该方式，能够提高对于高发的隐患区域的及时识别预测。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述将所述视频码流解码为图像帧，并按照时间次序排列，生成多个所述视频图像帧组包括：对相邻的图像帧进行帧间灰度差比对，通过高斯模糊及高斯双边滤波，确定出所述图像帧中出现变化的区域；获取所述图像帧中变化幅度大于预设幅度的区域，生成第一图像帧；将所述第一图像帧按照时间次序排列，生成多个所述视频图像帧组。
在本申请实施例中，先根据相邻的图像帧进行帧间灰度差比对，通过高斯模糊及高斯双边滤波，确定出图像帧中出现变化的区域；然后获取图像帧中变化幅度大于预设幅度的区域，生成第一图像帧；最后将第一图像帧按照时间次序排列，生成多个视频图像帧组，通过上述方式，能够仅对运动的区域进行识别，提升了后续的识别效率。
第二方面，本申请实施例提供一种地质灾害前兆因子识别装置，包括：第一获取模块，用于获取待测区域的视频图像帧组；其中，所述视频图像帧组包括N个连续的图像帧；第二获取模块，用于获取每个所述图像帧在不同通道下的特征图；提取模块，用于从每个通道中提取出所有大小为a×a×m的卷积核；其中，a表示所述卷积核的边的像素数量，m表示提取的连续的特征图的数量；N≥m≥3；第三获取模块，用于将提取的所有卷积核输入至卷积神经网络模型中，获取与所述视频图像帧组对应的特征向量；生成模块，用于根据预设的分类器对所述特征向量进行分类，生成所述待测区域的分类结果；其中，所述分类结果用于表征所述待测区域的前兆因子识别结果。
第三方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图。
图2为本申请实施例提供的一种地质灾害前兆因子识别方法的步骤流程图。
图3为本申请实施例提供的一种构建的卷积核的结构示意图。
图4为本申请实施例提供的一种卷积神经网络模型的结构示意图。
图5为本申请实施例提供的另一种地质灾害前兆因子识别方法的步骤流程图。
图6为本申请实施例提供的一种地质灾害前兆因子识别装置的模块框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
鉴于现有的对前兆因子进行识别的方式，存在识别准确率较低的问题，本申请发明人经过研究探索，提出以下实施例以解决上述问题。
请参阅图1，本申请实施例提供的一种应用地质灾害前兆因子识别方法及装置的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机(Personal Computer，PC)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)、云中的虚拟主机，或者是部署于待测区域的边缘计算设备中。在结构上，电子设备100可以包括处理器110和存储器120。
处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。地质灾害前兆因子识别装置200包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，地质灾害前兆因子识别装置200所包括的软件功能模块及计算机程序等，以实现地质灾害前兆因子识别方法。处理器110可以在接收到执行指令后，执行计算机程序。
其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
应当理解，图1所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件，或是具有与图1所示不同的配置。此外，图1所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2，图2为本申请实施例提供的地质灾害前兆因子识别方法的步骤流程图，该方法应用于图1所示的电子设备100。需要说明的是，本申请实施例提供的地质灾害前兆因子识别方法不以图2及以下所示的顺序为限制，该方法包括：步骤S101-步骤S105。
步骤101：获取待测区域的视频图像帧组；其中，视频图像帧组包括N个连续的图像帧。
其中，待测区域预先放置有现场监控摄像设备，用于对待测区域进行实时的监控。然后现场监控摄像设备采集的视频码流经过解码形成图像帧。于本申请实施例中，将N个连续的图像帧作为一个视频图像帧组，一段视频码流经过解码形成图像帧后可以形成多个视频图像帧组。
上述的N的数值可以根据实际情况设置，比如可以是7、10、15、20等等，本申请不作限定。
此外，上述对于视频码流的解码过程可以由专门的解码设备或软件所执行，解码设备或软件可根据所需的各种行业协议如28181、RTSP(Real Time Streaming Protocol，实时流传输协议)、厂家私有协议等进行选取。上述对于视频码流的解码过程同样也可以由电子设备所执行，本申请也不作限定。
步骤102：获取每个图像帧在不同通道下的特征图。
在获取待测区域的视频图像帧组之后，需要获取每个图像帧在不同通道下的特征图，以便于后续输入卷积神经网络模型中。
于本申请实施例中，为了便于后续能够根据更多的特征进行前兆因子的识别，进一步的提高识别的准确性，获取每个图像帧在不同通道下的特征图，包括：获取每个图像帧在灰度通道、x方向梯度通道、y方向梯度通道、x方向光流通道以及y方向光流通道的特征图。
需要说明的是，上述的x方向光流以及y方向光流可由相邻两帧计算得出。由于上述特征图的形成过程已为本领域所熟知，对此，本申请不作过多说明。
当然，在其他实施例中，获取每个图像帧在不同通道下的特征图也可以是仅仅获取上述五个通道中的其中两个通道下的特征图，比如可以是获取每个图像帧在x方向梯度通道、y方向梯度通道的特征图，也可以是获取每个图像帧在x方向光流通道以及y方向光流通道的特征图。当然，获取每个图像帧在不同通道下的特征图也可以是获取上述五个通道中的三个通道下的特征图获取四个通道下的特征图，本申请也不作限定。
步骤103：从每个通道中提取出所有大小为a×a×m的卷积核。
然后提取出每个通道中的所有大小为a×a×m的卷积核。其中，a表示卷积核的边的像素数量，a的取值可以是但不限于1、3，7，9等数值。m表示提取的连续的特征图的数量，m的取值也可以根据实际情况而定，但需说明的是，m的取值范围为N≥m≥3。也即，m的数值最大不能超过N的数值，最小为3。
需要说明的是，更多的层次、更小的像素区间会带来更高精度的结果，但相应的，也要求设备具备更高的计算力。因此，于本申请实施例中，N的取值为7，a的取值为7，m的取值为3，也即，以7个连续的图像帧为一组，在每个通道下提取出7×7×3的卷积核。通过该方式，既保证了后续预测时能够达到较好的识别效果，也不会给设备太大的运算压力。
为了便于理解所提取的大小为a×a×m的卷积核，请参阅图3，图3示出了特征图Frame 1至特征图Frame N在Z轴(时间轴)上依次进行排序，然后取连续的m帧特征图，提取其中相同位置的尺寸为a×a的区域，以此构成一个大小为a×a×m的卷积核(即为图示中标记的3D Cube Kernel(立方体核))。
于本申请实施例中，为了便于完整且有序的提取出所有视频图像帧组中的卷积核，从每个通道中提取出所有大小为a×a×m的卷积核具体包括：提取第一帧特征图至第m帧特征图所组成的大小为a×a×m的卷积核；提取第二帧特征图至第m+1帧特征图所组成的大小为a×a×m的卷积核，依次提取，直至提取出第N-m帧特征图至第N帧特征图所组成的大小为a×a×m的卷积核。
也即，在N个连续的特征图中，每一个a×a区块下，提取出的卷积核的集合为：
{Frame1，Frame2，...，Framem}；
{Frame2，Frame3，...，Framem+1}；
...
{FrameN-m，FrameN-m+1，...，FrameN}。
需要说明的是，每个{}中的Frame表示对应下标的一帧特征图中的a×a的区域，示例性的，{Frame1，Frame2，...，Framem}包含特征图Frame 1至特征图Frame M(第M帧特征图)中的一个a×a的区域所组成的卷积核。
步骤104：将提取的所有卷积核输入至预设的卷积神经网络模型中，获取与视频图像帧组对应的特征向量。
在提取出所有卷积核后输入至预设的卷积神经网络模型中，进而通过预设的卷积神经网络输出与视频图像帧组对应的特征向量。
下面对预设的卷积神经网络模型进行说明。
请参阅图4，在结构上，本申请实施例所提供的卷积神经网络模型包括9个卷积层、5个池化层以及1个全连接层。其连接关系为：卷积层-池化层-卷积层-卷积层-池化层-卷积层-卷积层-池化层-卷积层-卷积层-池化层-卷积层-卷积层-池化层-全连接层。
需要说明的是，卷积神经网络模型在输入卷积核之后，输入的卷积核经过第一层卷积层后得到一个特征值，然后，特征值又重新组成a×a×m的卷积核，又输入到下一层卷积层，依次类推，最终输出一组特征向量。
上述的卷积神经网络模型仅为一种示例性的结构。卷积神经网络模型的具体设计可以根据实际情况而定，比如卷积层的层数以及池化层的层数还可以是其他的数值。
下面对预设的卷积神经网络模型的生成过程进行说明。具体过程包括：获取训练样本数据；其中，训练样本数据为标记好类别的样本图像帧组在不同通道下提取的所有大小为a×a×m的卷积核；将训练样本数据输入至初始的卷积神经网络模型中，生成样本特征向量；然后将样本特征向量输入至所述预设的分类器中，通过最小化损失函数的计算值对初始的卷积神经网络模型进行优化，生成预设的卷积神经网络模型。
需要说明的是，训练样本数据也由视频图像帧组所得到，其中，训练时连续的图像帧的数量与模型实际预测时获取的视频图像帧组中的连续的图像帧的数量相同。相应的，提取的卷积核的大小也一致。也即，训练时，以7个连续的图像帧为一组，在每个通道下提取出7×7×3的卷积核。那么，在模型的实际预测时，也是以7个连续的图像帧为一组，在每个通道下提取出7×7×3的卷积核。其中，标记类别即为标记视频图像帧组中存在的前兆因子的类别，比如类别包括落石、碎屑流和烟尘，则可以人为根据视频图像帧组是否属于落石、碎屑流和烟尘中的任意一类来进行标记。
于本申请实施例中，损失函数的表达式为：
其中，J表示损失函数的计算值，A表示训练样本数据的总数，K表示分类数量，Δ表示边界值，Zcorrect表示为正常分类的得分，Zother表示错误分类得分。
通过最小化上述损失函数的计算值对初始的卷积神经网络模型中的参数进行优化，进而生成预设的卷积神经网络模型。
需要说明的是，本申请实施例中，卷积神经网络模型中的激活函数，为tanh()函数，其具体表达式为：
上式中，i表示层数，j和s表示特征图标号，x、y、z，及p、q、r代表坐标位置(x和p为水平坐标值、y和q为垂直坐标值、z和q代表在帧序列中坐标位置，即时间维度上坐标值)，b表示加法偏差，w表示卷积核权重值，P、Q、R代表垂直、水平、时间维度卷积核的大小。
上述的预设的分类器可以采用SVM(Support Vector Machine，支持向量机)。在其他实施例中，当分类仅为两类时，还可以采用常规的二分类器，对此，本申请不作限定。
步骤105：根据预设的分类器对特征向量进行分类，生成待测区域的分类结果；其中，分类结果用于表征待测区域的前兆因子识别结果。
最后，根据预设的分类器对特征向量进行分类，生成待测区域的分类结果。比如，以SVM作为预设的分类器进行分类，假设包括落石、碎屑流、烟尘这三类前兆因子类别以及无前兆因子类别，则通过SVM即可确定出待测区域的视频图像帧组是否属于上述前兆因子类别。若是分类结果为落石，则待测区域的前兆因子识别结果为落石。
此外，在生成待测区域的分类结果后，且该分类结果为前兆因子类别时，该方法还包括：向用户发出告警信息。
上述的告警信息可以是，但不限于通过软件消息接口(如HTTP(HypertextTransfer Protocol，超文本传输协议)接口)发出消息通知，也可以通过短信、微信、现场声光报警器发出告警。
综上，本申请实施例所提供的地质灾害前兆因子识别方法，首先获取N个连续的图像帧，然后提取出图像帧在每个特征通道下大小为a×a×m的卷积核。最后将提取的所有卷积核输入至预设的卷积神经网络模型中，并利用预设的分类器实现对N个连续的图像帧的识别进而得到地质灾害前兆因子的识别结果。也即，本申请所提取的为3D卷积核，其包含了时间次序的连续变化，与现有技术相比，提高了感知时序变化的能力，同时对真实地质灾害前兆因子变化更为敏感，具有识别准确率高、误报率低等优点。
请参阅图5，于本申请实施例中，还提供一种对高发的隐患区域的前兆因子识别方法，也即，在上述步骤S101获取待测区域的视频图像帧组之前，所述方法还包括：步骤S201-步骤S203。
步骤S201：根据预设区域中的地质环境条件数据，确定出待测区域；其中，待测区域为所述预设区域出现地质环境条件变化大于预设阈值的区域。
上述的预设阈值可以根据实际情况而定。其中，地质环境条件数据可以包括坡度、含水率等，本申请不作限定。需要说明的是，该步骤为确定出预设区域中地质环境条件变化大的区域。比如预设区域为A城市，则从A城市中确定出地质环境条件变化大于预设阈值的区域，比如地质环境条件变化大于预设阈值的区域为A城市中的隧道A，路口B。则确定出的待测区域即为隧道A和路口B。
步骤S202：获取待测区域的监控摄像设备传输的视频码流。
然后获取待测区域的监控摄像设备传输的视频码流，比如，从确定出隧道A和路口B的监控摄像设备的ID(Identity document，唯一编码)，然后获取隧道A和路口B的监控摄像设备所采集的视频码流。
步骤S203：将视频码流解码为图像帧，并按照时间次序排列，生成多个视频图像帧组。
最后，可将视频码流解码为图像帧，并按照时间次序排列，依次取N个连续的图像帧为一组，生成多个视频图像帧组。
可选地，为了提高后续的识别效率，步骤S203将视频码流解码为图像帧，并按照时间次序排列，生成多个视频图像帧组可具体包括：对相邻的图像帧进行帧间灰度差比对，通过高斯模糊及高斯双边滤波，确定出图像帧中出现变化的区域；获取图像帧中变化幅度大于预设幅度的区域，生成第一图像帧；将第一图像帧按照时间次序排列，生成多个视频图像帧组。
上述的预设幅度可以根据实际情况而定，本申请不作限定。
也即，该方式下，依次对相邻图像帧进行帧间灰度差比对，然后采用高斯模糊及高斯双边滤波，确定出图像帧中出现变化的区域。通常情况下，落石，碎屑流等仅会出现于图中的一小部分区域，因此，于本申请实施例中，在获取到这些变化幅度较大的区域后，进行剪裁(比如可以统一以512×512像素尺寸进行剪裁)，生成仅包含变化幅度较大的区域的第一图像帧，最后将第一图像帧按照时间次序排列，生成多个视频图像帧。通过上述方式，能够仅对运动的区域进行识别，提升了后续的识别效率。
此外，需要说明的是，由于上述的高斯模糊及高斯双边滤波等方式为本领域所熟知的滤波方式，因此，本申请不作详细说明。
综上，在本申请实施例中，根据地质环境条件数据来确定出所需检测的待取区域，然后将视频码流解码为图像帧，并按照时间次序排列，生成多个视频图像帧组。通过该方式，能够提高对于高发的隐患区域的及时识别预测。
请参阅图6，基于同一发明构思，本申请实施例还提供一种地质灾害前兆因子识别装置300，包括：
第一获取模块301，用于获取待测区域的视频图像帧组；其中，所述视频图像帧组包括N个连续的图像帧。
第二获取模块302，用于获取每个所述图像帧在不同通道下的特征图。
提取模块303，用于从每个通道中提取出所有大小为a×a×m的卷积核；其中，a表示所述卷积核的边的像素数量，m表示提取的连续的特征图的数量；N≥m≥3。
第三获取模块304，用于将提取的所有卷积核输入至卷积神经网络模型中，获取与所述视频图像帧组对应的特征向量。
生成模块305，用于根据预设的分类器对所述特征向量进行分类，生成所述待测区域的分类结果；其中，所述分类结果用于表征所述待测区域的前兆因子识别结果。
可选地，第二获取模块302具体用于获取每个所述图像帧在灰度通道、x方向梯度通道、y方向梯度通道、x方向光流通道以及y方向光流通道的特征图。
可选地，提取模块303具体用于提取第一帧特征图至第m帧特征图所组成的大小为a×a×m的卷积核；提取第二帧特征图至第m+1帧特征图所组成的大小为a×a×m的卷积核，依次提取，直至提取出N-m帧特征图至第N帧特征图所组成的大小为a×a×m的卷积核。
可选地，地质灾害前兆因子识别装置300还包括构建模块306。构建模块306用于获取训练样本数据；其中，所述训练样本数据为标记好类别的样本图像帧组在不同通道下提取的所有大小为a×a×m的卷积核；将所述训练样本数据输入至初始的卷积神经网络模型中，生成样本特征向量；将所述样本特征向量输入至所述预设的分类器中，通过最小化损失函数的计算值对所述初始的卷积神经网络模型进行优化，生成所述预设的卷积神经网络模型。
可选地，地质灾害前兆因子识别装置300还包括确定模块307。确定模块307用于在所述获取待测区域的视频图像帧组之前，根据预设区域中的地质环境条件数据，确定出所述待测区域；其中，所述待测区域为所述预设区域出现地质环境条件变化大于预设阈值的区域；获取所述待测区域的监控摄像设备传输的视频码流；将所述视频码流解码为图像帧，并按照时间次序排列，生成多个所述视频图像帧组。
可选地，确定模块307还具体用于对相邻的图像帧进行帧间灰度差比对，通过高斯模糊及高斯双边滤波，确定出所述图像帧中出现变化的区域；获取所述图像帧中变化幅度大于预设幅度的区域，生成第一图像帧；将所述第一图像帧按照时间次序排列，生成多个所述视频图像帧组。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种地质灾害前兆因子识别方法，其特征在于，包括：
获取待测区域的视频图像帧组；其中，所述视频图像帧组包括N个连续的图像帧；
获取每个所述图像帧在不同通道下的特征图；
从每个通道中提取出所有大小为a×a×m的卷积核；其中，a表示所述卷积核的边的像素数量，m表示提取的连续的特征图的数量；；
将提取的所有卷积核输入至预设的卷积神经网络模型中，获取与所述视频图像帧组对应的特征向量；
根据预设的分类器对所述特征向量进行分类，生成所述待测区域的分类结果；其中，所述分类结果用于表征所述待测区域的前兆因子识别结果；
其中，在所述获取待测区域的视频图像帧组之前，所述方法还包括：
根据预设区域中的地质环境条件数据，确定出所述待测区域；其中，所述待测区域为所述预设区域出现地质环境条件变化大于预设阈值的区域；
获取所述待测区域的监控摄像设备传输的视频码流；
将所述视频码流解码为图像帧，并按照时间次序排列，生成多个所述视频图像帧组；
其中，所述将所述视频码流解码为图像帧，并按照时间次序排列，生成多个所述视频图像帧组包括：
对相邻的图像帧进行帧间灰度差比对，通过高斯模糊及高斯双边滤波，确定出所述图像帧中出现变化的区域；
获取所述图像帧中变化幅度大于预设幅度的区域，生成第一图像帧；
将所述第一图像帧按照时间次序排列，生成多个所述视频图像帧组。
2.根据权利要求1所述的地质灾害前兆因子识别方法，其特征在于，所述获取每个所述图像帧在不同通道下的特征图，包括：
获取每个所述图像帧在灰度通道、x方向梯度通道、y方向梯度通道、x方向光流通道以及y方向光流通道的特征图。
3.根据权利要求1所述的地质灾害前兆因子识别方法，其特征在于，所述从每个通道中提取出所有大小为a×a×m的卷积核包括：
提取第一帧特征图至第m帧特征图所组成的大小为a×a×m的卷积核；
提取第二帧特征图至第m+1帧特征图所组成的大小为a×a×m的卷积核，依次提取，直至提取出第N-m帧特征图至第N帧特征图所组成的大小为a×a×m的卷积核。
4.根据权利要求1所述的地质灾害前兆因子识别方法，其特征在于，通过如下步骤得到所述预设的卷积神经网络模型：
获取训练样本数据；其中，所述训练样本数据为标记好类别的样本图像帧组在不同通道下提取的所有大小为a×a×m的卷积核；
将所述训练样本数据输入至初始的卷积神经网络模型中，生成样本特征向量；
将所述样本特征向量输入至所述预设的分类器中，通过最小化损失函数的计算值对所述初始的卷积神经网络模型进行优化，生成所述预设的卷积神经网络模型；
其中，所述损失函数的表达式为：
；
其中，J表示所述损失函数的计算值，A表示所述训练样本数据的总数，K表示分类数量，表示边界值，/>表示为正常分类的得分，/>表示错误分类得分。
5.根据权利要求1所述的地质灾害前兆因子识别方法，其特征在于，N的数值为7，a的数值为7，m的数值为3。
6.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；
所述存储器用于存储程序；
所述处理器用于运行存储在所述存储器中的程序，执行如权利要求1-5中任一项所述的方法。
7.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被计算机运行时执行如权利要求1-5中任一项所述的方法。
CN202110237629.8A 2021-03-03 2021-03-03 一种地质灾害前兆因子识别方法、装置，电子设备及存储介质 Active CN113033324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110237629.8A CN113033324B (zh) 2021-03-03 2021-03-03 一种地质灾害前兆因子识别方法、装置，电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110237629.8A CN113033324B (zh) 2021-03-03 2021-03-03 一种地质灾害前兆因子识别方法、装置，电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113033324A CN113033324A (zh) 2021-06-25
CN113033324B true CN113033324B (zh) 2024-03-08

Family

ID=76466113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110237629.8A Active CN113033324B (zh) 2021-03-03 2021-03-03 一种地质灾害前兆因子识别方法、装置，电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113033324B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295507A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的性别识别方法
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109035298A (zh) * 2018-09-05 2018-12-18 中南大学 一种基于黑烟运动特性的黑烟检测与dg计算方法
CN109949290A (zh) * 2019-03-18 2019-06-28 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN110472531A (zh) * 2019-07-29 2019-11-19 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
CN111582017A (zh) * 2020-03-24 2020-08-25 成都信息工程大学 面向视频监控端到端地质灾害自动识别方法、系统及应用
CN111797882A (zh) * 2019-07-30 2020-10-20 华为技术有限公司 图像分类方法及装置
CN112364856A (zh) * 2020-11-13 2021-02-12 润联软件系统(深圳)有限公司 翻拍图像识别方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295507A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的性别识别方法
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109035298A (zh) * 2018-09-05 2018-12-18 中南大学 一种基于黑烟运动特性的黑烟检测与dg计算方法
CN109949290A (zh) * 2019-03-18 2019-06-28 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN110472531A (zh) * 2019-07-29 2019-11-19 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
CN111797882A (zh) * 2019-07-30 2020-10-20 华为技术有限公司 图像分类方法及装置
CN111582017A (zh) * 2020-03-24 2020-08-25 成都信息工程大学 面向视频监控端到端地质灾害自动识别方法、系统及应用
CN112364856A (zh) * 2020-11-13 2021-02-12 润联软件系统(深圳)有限公司 翻拍图像识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
关于火灾火焰图像检测算法研究;段锁林;毛丹;;计算机仿真;20160215(02);全文 *

Also Published As

Publication number Publication date
CN113033324A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109858371B (zh) 人脸识别的方法及装置
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
US9008365B2 (en) Systems and methods for pedestrian detection in images
US9367733B2 (en) Method and apparatus for detecting people by a surveillance system
US9767363B2 (en) System and method for automatic detection of spherical video content
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
Avgerinakis et al. Recognition of activities of daily living for smart home environments
EP2919153A1 (en) Event detection apparatus and event detection method
Hashmi et al. An exploratory analysis on visual counterfeits using conv-lstm hybrid architecture
GB2555136A (en) A method for analysing media content
CN113052029A (zh) 基于动作识别的异常行为监管方法、装置及存储介质
CN111754541A (zh) 目标跟踪方法、装置、设备及可读存储介质
WO2018210047A1 (zh) 数据处理方法、数据处理装置、电子设备及存储介质
Ahmad et al. Inertial sensor data to image encoding for human action recognition
Parde et al. Face and image representation in deep CNN features
CN109902550A (zh) 行人属性的识别方法和装置
Xu et al. Concrete crack segmentation based on convolution–deconvolution feature fusion with holistically nested networks
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
US10839251B2 (en) Method and system for implementing image authentication for authenticating persons or items
Huang et al. Enhancing multi-camera people tracking with anchor-guided clustering and spatio-temporal consistency ID re-assignment
CN114764895A (zh) 异常行为检测装置和方法
CN113033324B (zh) 一种地质灾害前兆因子识别方法、装置，电子设备及存储介质
KR20160136157A (ko) 영상에서 배경 움직임 영역을 분할하는 방법 및 장치
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ke Xiaobing

Inventor after: Long Wenhua

Inventor after: Qing Zhanhui

Inventor after: Zhao Minghui

Inventor after: Qiu Huiling

Inventor after: Li Xiaoli

Inventor after: Yang Jianfeng

Inventor after: Lv Xianfeng

Inventor before: Ke Xiaobing

Inventor before: Long Wenhua

Inventor before: Qing Zhanhui

Inventor before: Zhao Minghui

Inventor before: Qiu Huiling

Inventor before: Li Xiaoli

Inventor before: Yang Jianfeng

Inventor before: Lv Xianfeng

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant