CN112541912A - 矿井突发灾害场景中显著性目标的快速检测方法及装置 - Google Patents

矿井突发灾害场景中显著性目标的快速检测方法及装置 Download PDF

Info

Publication number
CN112541912A
CN112541912A CN202011541385.4A CN202011541385A CN112541912A CN 112541912 A CN112541912 A CN 112541912A CN 202011541385 A CN202011541385 A CN 202011541385A CN 112541912 A CN112541912 A CN 112541912A
Authority
CN
China
Prior art keywords
node
target
input image
network
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011541385.4A
Other languages
English (en)
Other versions
CN112541912B (zh
Inventor
程德强
刘瑞航
李佳函
寇旗旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huatu Mining Technology Co ltd
China University of Mining and Technology CUMT
Original Assignee
Jiangsu Huatu Mining Technology Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huatu Mining Technology Co ltd, China University of Mining and Technology CUMT filed Critical Jiangsu Huatu Mining Technology Co ltd
Priority to CN202011541385.4A priority Critical patent/CN112541912B/zh
Publication of CN112541912A publication Critical patent/CN112541912A/zh
Application granted granted Critical
Publication of CN112541912B publication Critical patent/CN112541912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种矿井突发灾害场景中显著性目标的快速检测方法及装置，属于计算机视觉技术领域，解决了现有的显著性目标检测方法的检测精度较差和速度较慢的问题。方法包括：获取关于矿井突发灾害场景的输入图像；构造Unet网络，将输入图像输入Unet网络，得到输入图像对应的分割映射图像；构造全卷积FCN网络，将输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像；将输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于融合映射图像得到局部图；基于局部图获得最终的显著性目标。实现了矿井突发灾害场景中显著性目标的快速检测，提高了显著性目标检测的精度和速度。

Description

矿井突发灾害场景中显著性目标的快速检测方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种矿井突发灾害场景中显著性目标的快速检测方法及装置。
背景技术
煤矿井下视频图像在特殊的工矿环境下，采集到的图像照度低、变化大，背景噪声大且噪声分布不均匀，此外，部分煤矿井下视频既包含固定摄像机拍摄的视频图像也包括车载摄像机摄录的视频图像，煤矿井下全天候人工照明环境以及粉尘和潮湿等因素影响使得图像采集精度较差，都极大地影响了现场情景的呈现精度和远程主动预警联动效果，限制了矿井视频高精度采集和目标识别应用，
传统的煤矿视频监控系统只能对监控场景进行记录，这样就需要工作人员认真、连续的观察，不仅对其注意力要求高度集中，且在事故发生时不能快速的对事故进行报警及联动处理。煤矿井下视频的特殊性给人员自动检测带来很大困难，也使得目前的方法在井下突发灾害场景中显著性目标的快速检测及响应联动中受到限制。
目前的显著性目标检测方法大多是基于深度学习神经网络获取深度显著性特征的检测方法，其存在的问题包括：第一，目标检测大多是关注目标中心的位置，对于边缘的处理和关注存在一定缺陷；第二，对于有多个显著性目标的图像，各个目标之间的关联性没有用到显著性的推理当中，使得现有的显著性目标检测方法检测精度较差和速度较慢。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种矿井突发灾害场景中显著性目标的快速检测方法及装置，用以解决现有的显著性目标检测方法的检测精度较差和速度较慢的问题。
一方面，本发明实施例提供了一种矿井突发灾害场景中显著性目标的快速检测方法，包括下述步骤：
获取关于矿井突发灾害场景的输入图像；
构造Unet网络，将所述输入图像输入Unet网络，得到输入图像对应的分割映射图像，所述分割映射图像包含多个分割目标；
构造全卷积FCN网络，将所述输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像；
将所述输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于所述融合映射图像得到局部图；
基于所述局部图获得最终的显著性目标。
进一步，所述Unet网络包括编码器和解码器；
所述编码器包括依次连接的两个第一网络和四个第二网络，其中，所述第一网络包括依次连接的卷积层、批标准化层和激活层；所述第二网络包括依次连接的最大池化层和两个第一网络；
所述解码器包括依次连接的四个第三网络和一个卷积层，其中，所述第三网络包括依次连接的转置卷积层和两个第一网络。
进一步，所述全卷积FCN网络包括三部分；其中，
第一部分包含五个卷积层，每个卷积层后均连接一个池化层；
第二部分包含依次连接的三个卷积层；
第三部分用于对第二部分的输出进行上采样操作，所述上采样操作基于池化层和反卷积层实现。
进一步，将融合映射图像中的每一分割目标作为一个节点，并采用KD最近邻算法计算得到任意两个节点之间的距离和相对位置；
将每一个节点作为中心节点，获得距离中心节点最短和次短的两个节点作为中心节点的一跳节点，并将距离每一个所述一跳节点的最短和次短的两个节点作为中心节点的二跳节点；
基于所述中心节点的一跳节点和二跳节点得到节点集合，并获得所述节点集合中每一个节点的近邻节点，并将节点集合中每一个节点与其在节点集合中的所述近邻节点连接，得到每一分割目标对应的局部图。
进一步，基于所述局部图获得最终的显著性目标，包括下述步骤：
基于图卷积推理网络GCN将所有的局部图组合，得到组合图，并获取所述组合图中的每一节点与其对应的一跳节点的边权；
基于所述组合图中的每一节点与其对应的一跳节点的边权得到最终的显著性目标。
进一步，所述图卷积推理网络GCN包括依次连接的四个卷积层和两个全连接层。
进一步，基于所述组合图中的每一节点与其对应的一跳节点的边权得到最终的显著性目标，包括下述步骤：
判断每一节点与其对应的一跳节点的边权是否大于权重阈值，若是，合并所述节点与其对应的一跳节点，若否，不合并所述节点与其对应的一跳节点；
遍历所述组合图中的所有节点，得到最终的显著性目标。
另一方面，本发明实施例提供了一种矿井突发灾害场景中显著性目标的快速检测装置，包括：
数据采集模块，用于获取关于矿井突发灾害场景的输入图像；
Unet网络构建模块，用于构造Unet网络，将所述输入图像输入Unet网络，得到输入图像对应的分割映射图像，所述分割映射图像包含多个分割目标；
全卷积FCN网络构建模块，用于构造全卷积FCN网络，将所述输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像；
局部图获得模块，用于将所述输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于所述融合映射图像得到局部图；
显著性目标获得模块，基于所述局部图获得最终的显著性目标。
进一步，所述Unet网络包括编码器和解码器；
所述编码器包括依次连接的两个第一网络和四个第二网络，其中，所述第一网络包括依次连接的卷积层、批标准化层和激活层；所述第二网络包括依次连接的最大池化层和两个第一网络；
所述解码器包括依次连接的四个第三网络和一个卷积层，其中，所述第三网络包括依次连接的转置卷积层和两个第一网络。
进一步，所述全卷积FCN网络包括三部分；其中，
第一部分包含五个卷积层，每个卷积层后均连接一个池化层；
第二部分包含依次连接的三个卷积层；
第三部分用于对第二部分的输出进行上采样操作，所述上采样操作基于池化层和反卷积层实现。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、一种矿井突发灾害场景中显著性目标的快速检测方法，将Unet网络得到的分割映射图像和全卷积FCN网络得到的显著性映射图像融合，得到融合映射图像，接着基于该融合映射图像得到多张局部图，最后通过图卷积推理网络GCN对多张局部图进行处理，得到最终的显著性目标。该方法简单易行，易于实施，考虑了每一个分割目标的关联性，提高了获得的显著性目标的精度，提高了检测速度，具有较高的实用价值。
2、通过Unet网络获取输入图像对应的分割映射图像，为后期进行图像融合及显著性目标检测提供了技术支撑和依据。同时，分割映射图像包含多个分割目标，在后期融合图像的基础上对分割目标处理以得到局部图，考虑了各个分割目标之间的联系，有利于提高获得的显著性目标的精度。
3、将融合映射图像中的每一分割目标作为一个中心节点，以获得每一个中心节点对应的局部图，考虑了每一个分割目标之间的联系，有利于增强边缘的效果，使得最终获得的显著性目标精度更高。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为一个实施例中矿井突发灾害场景中显著性目标的快速检测方法框架图；
图2为一个实施例中矿井突发灾害场景中显著性目标的快速检测方法流程图；
图3为一个实施例中Unet网络结构图；
图4为一个实施例中全卷积FCN网络结构图；
图5为一个实施例中矿井突发灾害场景中显著性目标的快速检测装置结构图；
图6为一个实施例中执行本申请发明实施例提供的矿井突发灾害场景中显著性目标的快速检测方法的电子设备的硬件结构示意图。
附图标记：
100-数据采集模块，200-Unet网络构建模块，300-全卷积FCN网络构建模块，400-局部图获得模块，500-显著性目标获得模块，610-处理器，620-存储器，630-输入装置，640-输出装置。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
目前的显著性目标检测方法大多是基于深度学习神经网络获取深度显著性特征的检测方法，其存在的问题包括：第一，目标检测大多是关注目标中心的位置，对于边缘的处理和关注存在一定缺陷；第二，对于有多个显著性目标的图像，各个目标之间的关联性没有用到显著性的推理当中。为此，本申请提出了一种矿井突发灾害场景中显著性目标的快速检测方法及装置，如图1所示，通过Unet网络获得输入图像对应的分割映射图像，通过全卷积FCN网络获得输入图像对应的显著性映射图像，并将分割映射图像和显著性映射图像融合得到融合映射图像，接着基于该融合映射图像得到多张局部图，最后通过图卷积推理网络GCN对多张局部图进行处理，获得各个目标之间的联系，根据目标之间的联系得到最终的显著性目标。该方法简单易行，易于实施，考虑了每一个分割目标的关联性，提高了获得的显著性目标的精度，提高了检测速度，具有较高的实用价值。
本发明的一个具体实施例，公开了一种矿井突发灾害场景中显著性目标的快速检测方法，如图2所示，包括下述步骤S1～S5。
步骤S1、获取关于矿井突发灾害场景的输入图像。具体来说，矿井突发灾害场景的输入图像可以从煤矿井下的固定摄像机拍摄的视频图像中获取，也可以从煤矿井下的车载摄像机摄录的视频图像中获取。
步骤S2、构造Unet网络，将输入图像输入Unet网络，得到输入图像对应的分割映射图像，分割映射图像包含多个分割目标。具体来说，如图3所示，Unet网络包括编码器和解码器；其中，
编码器包括依次连接的两个第一网络和四个第二网络，其中，第一网络包括依次连接的卷积层Conv、批标准化层BN和激活层Relu；第二网络包括依次连接的最大池化层Maxpool和两个第一网络。详细地，输入图像通过两个第一网络生成64维特征图谱，64维特征图谱通过四个第二网络生成1024维特征图。
解码器包括依次连接的四个第三网络和一个卷积层，其中，第三网络包括依次连接的转置卷积层UpConv和两个第一网络。详细地，通过四个第三网络将1024维特征图采样为原图大小的64维特征图谱，并在利用跳跃连接将编码器生成的中间特征图谱拼接到解码器生成的特征图谱上；最后通过一个卷积层将拼接后的64维特征图谱生成分割图像。
通过Unet网络获取输入图像对应的分割映射图像，为后期进行图像融合及显著性目标检测提供了技术支撑和依据。同时，分割映射图像包含多个分割目标，在后期融合图像的基础上对分割目标处理，以得到局部图，考虑了各个分割目标之间的联系，有利于提高获得的显著性目标的精度。
步骤S3、构造全卷积FCN网络，将输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像。全卷积FCN网络包括三部分；如图4所示，第一部分包含五个卷积层，每个卷积层后均连接一个池化层；其中，每个卷积层之后连接的池化层用于将图像的尺寸变为上一层尺寸的1/2。
第二部分包含依次连接的三个卷积层，分别将图像的维度变为4096、4096、1000维。
第三部分用于对第二部分的输出进行上采样操作，上采样操作基于池化层和反卷积层实现，具体表现为进行上池化和反卷积操作。
通过全卷积FCN网络获取输入图像对应的显著性映射图像，为后期进行图像融合及显著性目标检测提供了技术支撑和依据。通过Unet网络和全卷积FCN网络的配合，有利于提高获得的显著性目标的精度和检测速度。
步骤S4、将输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于融合映射图像得到局部图。具体来说，将分割映射图像与显著性映射图像融合，可得到一张融合映射图像，对该融合映射图像进行处理，可得到多张局部图。
优选地，基于融合映射图像得到局部图，包括下述步骤：
步骤S401、将融合映射图像中的每一分割目标作为一个节点，并采用KD最近邻算法计算得到任意两个节点之间的距离和相对位置。具体来说，将输入图像输入Unet网络可得到分割映射图像，该分割映射图像包含多个分割目标，故融合映射图像中也包含多个分割目标，将每一分割目标作为一个节点，利用KD最近邻算法计算得到任意两个节点之间的距离和相对位置。详细地，KD最近邻算法的原理是：首先找到包含目标点的叶节点；然后从该叶节点出发，一次退回到父节点，不断查找与目标点最近的节点，当确定不可能存在更近的节点时停止，即可得到任意两个节点之间的距离和相对位置。
步骤S402、将每一个节点作为中心节点，获得距离中心节点最短和次短的两个节点作为中心节点的一跳节点，并将距离每一个一跳节点的最短和次短的两个节点作为中心节点的二跳节点。
步骤S403、基于中心节点的一跳节点和二跳节点得到一个节点集合N，并获得节点集合中每一个节点的三个近邻节点Ne，并将节点集合中每一个节点与其在节点集合中的近邻节点连接，得到每一分割目标对应的局部图。具体来说，得到节点集合中每一个节点的三个近邻节点Ne后，判断每一个近邻节点Ne是否在节点集合N中，若近邻节点Ne在节点集合N中，将节点与其在节点集合中的近邻节点连接，可得到分割目标对应的局部图。遍历每一个中心节点，可得到每一个分割目标对应的局部图。
将融合映射图像中的每一分割目标作为一个中心节点，以获得每一个分割目标对应的局部图，考虑了每一个分割目标之间的联系，有利于增强边缘的效果，使得最终获得的显著性目标精度更高。
步骤S5、基于局部图获得最终的显著性目标，包括下述步骤：
步骤S501、基于图卷积推理网络GCN将所有的局部图组合，得到组合图，并获取组合图中的每一节点与其对应的一跳节点的边权。具体来说，图卷积推理网络GCN包括依次连接的四个卷积层和两个全连接层，且在GCN网络中卷积层用到的激活函数是PReLU。详细地，图卷积推理网络GCN得到组合图中的每一节点与其对应的一跳节点的边权计算公式如下：
Y＝σ[(X||GX)W]
上式中，Y为组合图中的每一节点与其对应的一跳节点的边权，X局部图的特征矩阵，G为聚合矩阵，W为图卷积推理网络GCN的权重矩阵，σ()表示非线性激活函数，其中，G＝Λ-1/2AΛ-1/2，Λ表示对角矩阵，A表示邻接矩阵。
步骤S502、基于组合图中的每一节点与其对应的一跳节点的边权得到最终的显著性目标，包括下述步骤：
判断每一节点与其对应的一跳节点的边权是否大于权重阈值，若是，合并所述节点与其对应的一跳节点，若否，不合并所述节点与其对应的一跳节点；遍历组合图中的所有节点，得到最终的显著性目标。
具体来说，基于上述图卷积推理网络GCN能够将所有的局部图组合得到组合图，并得到组合图中的每一节点与其对应的一跳节点的边权。接着判断每一节点与其对应的一跳节点的边权是否大于权重阈值，其中，权重阈值在实际情况中基于人为设定，当每一节点与其对应的一跳节点的边权大于权重阈值时，将组合图中的每一节点与其对应的一跳节点的边权合并，遍历组合图中的所有节点，即可得到最终的显著性目标。
与现有技术相比，本实施例提供的矿井突发灾害场景中显著性目标的快速检测方法及装置，通过Unet网络得到的分割映射图像和全卷积FCN网络得到的显著性映射图像融合得到融合映射图像，接着基于该融合映射图像得到多张局部图，最后通过图卷积推理网络GCN对多张局部图进行处理，获得各个目标之间的联系，根据目标之间的联系得到最终的显著性目标。该方法简单易行，易于实施，考虑了每一个分割目标的关联性，提高了获得的显著性目标的精度，提高了检测速度，具有较高的实用价值。
本发明的另一个具体实施例，公开了一种矿井突发灾害场景中显著性目标的快速检测装置，如图5所示，包括：
数据采集模块100，用于获取关于矿井突发灾害场景的输入图像；
Unet网络构建模块200，用于构造Unet网络，将输入图像输入Unet网络，得到输入图像对应的分割映射图像，所述分割映射图像包含多个分割目标；
全卷积FCN网络构建模块300，用于构造全卷积FCN网络，将输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像；
局部图获得模块400，用于将输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于所述融合映射图像得到局部图；
显著性目标获得模块500，基于局部图获得最终的显著性目标。
由于矿井突发灾害场景中显著性目标的快速检测装置的实现原理与前述矿井突发灾害场景中显著性目标的快速检测方法的实现原理相同，故这里不再赘述。
参见图6，本发明另一实施例还提供了执行上述实施例中矿井突发灾害场景中显著性目标的快速检测方法的电子设备。该电子设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
矿井突发灾害场景中显著性目标的快速检测方法的电子设备还可以包括：输入装置630和输出装置640。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明的实施例中的矿井突发灾害场景中显著性目标的快速检测方法对应的程序指令/模块(单元)。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例图标显示方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储获取的应用程序的提醒事项的数量信息等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至列表项操作的处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与矿井突发灾害场景中显著性目标的快速检测装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的矿井突发灾害场景中显著性目标的快速检测方法。
上述产品可执行本发明的实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明的实施例所提供的方法。
本发明的实施例的电子设备可以以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有提醒事项记录功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元(模块)可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本发明实施例提供了一种非暂态计算机可读存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的矿井突发灾害场景中显著性目标的快速检测方法。
本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的矿井突发灾害场景中显著性目标的快速检测方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，包括下述步骤：
获取关于矿井突发灾害场景的输入图像；
构造Unet网络，将所述输入图像输入Unet网络，得到输入图像对应的分割映射图像，所述分割映射图像包含多个分割目标；
构造全卷积FCN网络，将所述输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像；
将所述输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于所述融合映射图像得到局部图；
基于所述局部图获得最终的显著性目标。
2.根据权利要求1所述的矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，所述Unet网络包括编码器和解码器；
所述编码器包括依次连接的两个第一网络和四个第二网络，其中，所述第一网络包括依次连接的卷积层、批标准化层和激活层；所述第二网络包括依次连接的最大池化层和两个第一网络；
所述解码器包括依次连接的四个第三网络和一个卷积层，其中，所述第三网络包括依次连接的转置卷积层和两个第一网络。
3.根据权利要求2所述的矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，所述全卷积FCN网络包括三部分；其中，
第一部分包含五个卷积层，每个卷积层后均连接一个池化层；
第二部分包含依次连接的三个卷积层；
第三部分用于对第二部分的输出进行上采样操作，所述上采样操作基于池化层和反卷积层实现。
4.根据权利要求1所述的矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，基于所述融合映射图像得到局部图，包括下述步骤：
将融合映射图像中的每一分割目标作为一个节点，并采用KD最近邻算法计算得到任意两个节点之间的距离和相对位置；
将每一个节点作为中心节点，获得距离中心节点最短和次短的两个节点作为中心节点的一跳节点，并将距离每一个所述一跳节点的最短和次短的两个节点作为中心节点的二跳节点；
基于所述中心节点的一跳节点和二跳节点得到节点集合，并获得所述节点集合中每一个节点的近邻节点，并将节点集合中每一个节点与其在节点集合中的所述近邻节点连接，得到每一分割目标对应的局部图。
5.根据权利要求4所述的矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，基于所述局部图获得最终的显著性目标，包括下述步骤：
基于图卷积推理网络GCN将所有的局部图组合，得到组合图，并获取所述组合图中的每一节点与其对应的一跳节点的边权；
基于所述组合图中的每一节点与其对应的一跳节点的边权得到最终的显著性目标。
6.根据权利要求5所述的矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，所述图卷积推理网络GCN包括依次连接的四个卷积层和两个全连接层。
7.根据权利要求6所述的矿井突发灾害场景中显著性目标的快速检测方法，其特征在于，基于所述组合图中的每一节点与其对应的一跳节点的边权得到最终的显著性目标，包括下述步骤：
判断每一节点与其对应的一跳节点的边权是否大于权重阈值，若是，合并所述节点与其对应的一跳节点，若否，不合并所述节点与其对应的一跳节点；
遍历所述组合图中的所有节点，得到最终的显著性目标。
8.一种矿井突发灾害场景中显著性目标的快速检测装置，其特征在于，包括：
数据采集模块，用于获取关于矿井突发灾害场景的输入图像；
Unet网络构建模块，用于构造Unet网络，将所述输入图像输入Unet网络，得到输入图像对应的分割映射图像，所述分割映射图像包含多个分割目标；
全卷积FCN网络构建模块，用于构造全卷积FCN网络，将所述输入图像输入全卷积FCN网络，得到输入图像对应的显著性映射图像；
局部图获得模块，用于将所述输入图像对应的分割映射图像和输入图像对应的显著性映射图像融合，得到融合映射图像，并基于所述融合映射图像得到局部图；
显著性目标获得模块，基于所述局部图获得最终的显著性目标。
9.根据权利要求8所述的矿井突发灾害场景中显著性目标的快速检测装置，其特征在于，所述Unet网络包括编码器和解码器；
所述编码器包括依次连接的两个第一网络和四个第二网络，其中，所述第一网络包括依次连接的卷积层、批标准化层和激活层；所述第二网络包括依次连接的最大池化层和两个第一网络；
所述解码器包括依次连接的四个第三网络和一个卷积层，其中，所述第三网络包括依次连接的转置卷积层和两个第一网络。
10.根据权利要求9所述的矿井突发灾害场景中显著性目标的快速检测装置，其特征在于，所述全卷积FCN网络包括三部分；其中，
第一部分包含五个卷积层，每个卷积层后均连接一个池化层；
第二部分包含依次连接的三个卷积层；
第三部分用于对第二部分的输出进行上采样操作，所述上采样操作基于池化层和反卷积层实现。
CN202011541385.4A 2020-12-23 2020-12-23 矿井突发灾害场景中显著性目标的快速检测方法及装置 Active CN112541912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011541385.4A CN112541912B (zh) 2020-12-23 2020-12-23 矿井突发灾害场景中显著性目标的快速检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011541385.4A CN112541912B (zh) 2020-12-23 2020-12-23 矿井突发灾害场景中显著性目标的快速检测方法及装置

Publications (2)

Publication Number Publication Date
CN112541912A true CN112541912A (zh) 2021-03-23
CN112541912B CN112541912B (zh) 2024-03-12

Family

ID=75017755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011541385.4A Active CN112541912B (zh) 2020-12-23 2020-12-23 矿井突发灾害场景中显著性目标的快速检测方法及装置

Country Status (1)

Country Link
CN (1) CN112541912B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192093A (zh) * 2021-05-10 2021-07-30 新疆大学 基于双流网络结构的快速显著性目标检测方法
CN115273044A (zh) * 2022-07-15 2022-11-01 哈尔滨市科佳通用机电股份有限公司 基于改进后的图卷积网络的车门破损故障识别检测方法
CN115509406A (zh) * 2022-11-23 2022-12-23 煤炭科学研究总院有限公司 煤矿多场景融合方法、装置、存储介质及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275701A1 (en) * 2011-04-26 2012-11-01 Minwoo Park Identifying high saliency regions in digital images
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
US20170358273A1 (en) * 2016-06-10 2017-12-14 Yen4Ken, Inc. Systems and methods for resolution adjustment of streamed video imaging
CN107506761A (zh) * 2017-08-30 2017-12-22 山东大学 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法
CN108537239A (zh) * 2018-04-18 2018-09-14 西南科技大学 一种图像显著性目标检测的方法
CN109376676A (zh) * 2018-11-01 2019-02-22 哈尔滨工业大学 基于无人机平台的公路工程现场施工人员安全预警方法
CN109800629A (zh) * 2018-12-05 2019-05-24 天津大学 一种基于卷积神经网络的遥感图像目标检测方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110866896A (zh) * 2019-10-29 2020-03-06 中国地质大学（武汉） 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN111104943A (zh) * 2019-12-17 2020-05-05 西安电子科技大学 基于决策级融合的彩色图像感兴趣区域提取方法
CN111209915A (zh) * 2019-12-25 2020-05-29 上海航天控制技术研究所 一种基于深度学习的三维图像同步识别和分割方法
US20200184252A1 (en) * 2018-12-10 2020-06-11 International Business Machines Corporation Deep Learning Network for Salient Region Identification in Images

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
US20120275701A1 (en) * 2011-04-26 2012-11-01 Minwoo Park Identifying high saliency regions in digital images
US20170358273A1 (en) * 2016-06-10 2017-12-14 Yen4Ken, Inc. Systems and methods for resolution adjustment of streamed video imaging
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107506761A (zh) * 2017-08-30 2017-12-22 山东大学 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108537239A (zh) * 2018-04-18 2018-09-14 西南科技大学 一种图像显著性目标检测的方法
CN109376676A (zh) * 2018-11-01 2019-02-22 哈尔滨工业大学 基于无人机平台的公路工程现场施工人员安全预警方法
CN109800629A (zh) * 2018-12-05 2019-05-24 天津大学 一种基于卷积神经网络的遥感图像目标检测方法
US20200184252A1 (en) * 2018-12-10 2020-06-11 International Business Machines Corporation Deep Learning Network for Salient Region Identification in Images
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110866896A (zh) * 2019-10-29 2020-03-06 中国地质大学（武汉） 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN111104943A (zh) * 2019-12-17 2020-05-05 西安电子科技大学 基于决策级融合的彩色图像感兴趣区域提取方法
CN111209915A (zh) * 2019-12-25 2020-05-29 上海航天控制技术研究所 一种基于深度学习的三维图像同步识别和分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN WANG; GUOQING YE; JIAHAN LI; QIQI KOU: "Improved Object-Tracking Algorithm for an Underground Mining Environment", 《2019 6TH INTERNATIONAL CONFERENCE ON SOFT COMPUTING & MACHINE INTELLIGENCE (ISCMI)》 *
WEITING LIU; XUE QING; JIAN ZHOU: "A novel image segmentation algorithm based on visual saliency detection and integrated feature extraction", 《2016 INTERNATIONAL CONFERENCE ON COMMUNICATION AND ELECTRONICS SYSTEMS (ICCES)》 *
刘瑞航: "视觉显著性预测方法研究", 《CNKI》 *
程德强，刘瑞航，李佳函等: "Activity guided multi-scales collaboration based on scaled-CNN for saliency prediction", 《IMAGE AND VISION COMPUTING》 *
钱生;陈宗海;林名强;张陈斌: "基于条件随机场和图像分割的显著性检测", 《自动化学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192093A (zh) * 2021-05-10 2021-07-30 新疆大学 基于双流网络结构的快速显著性目标检测方法
CN113192093B (zh) * 2021-05-10 2023-04-18 新疆大学 基于双流网络结构的快速显著性目标检测方法
CN115273044A (zh) * 2022-07-15 2022-11-01 哈尔滨市科佳通用机电股份有限公司 基于改进后的图卷积网络的车门破损故障识别检测方法
CN115509406A (zh) * 2022-11-23 2022-12-23 煤炭科学研究总院有限公司 煤矿多场景融合方法、装置、存储介质及电子设备
CN115509406B (zh) * 2022-11-23 2023-03-14 煤炭科学研究总院有限公司 煤矿多场景融合方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112541912B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN112541912B (zh) 矿井突发灾害场景中显著性目标的快速检测方法及装置
CN110132290B (zh) 智能驾驶路侧设备感知信息融合处理方法、装置、设备
CN111182453B (zh) 定位方法、装置、电子设备及存储介质
US20180012403A1 (en) Method and device for computing a path in a game scene
EP3828732A2 (en) Method and apparatus for processing identity information, electronic device, and storage medium
WO2019000472A1 (zh) 导航方法、装置、存储介质以及服务器
US20210217109A1 (en) Method and apparatus of constructing a fused relationship network, electronic device and medium
US8639023B2 (en) Method and system for hierarchically matching images of buildings, and computer-readable recording medium
CN112328911B (zh) 地点推荐方法、装置、设备及存储介质
CN115984417B (zh) 一种语义建图方法、装置及存储介质
US10191928B2 (en) Planar graph generation device and method
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN112798005B (zh) 一种道路数据的处理方法以及相关装置
CN115618099A (zh) 神经网络架构搜索的方法、装置及电子设备
CN112669196B (zh) 一种硬件加速引擎中因子图优化数据的方法和设备
CN112164225B (zh) 信息处理方法、装置、设备及存储介质
US20170270390A1 (en) Computerized correspondence estimation using distinctively matched patches
CN114648713A (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN112711647A (zh) 地图信息显示方法和装置、存储介质及电子设备
CN111049988A (zh) 移动设备的亲密度预测方法、系统、设备及存储介质
Beeharee et al. Filtering location-based information using visibility
CN114996586B (zh) 一种基于时空大数据的个性化出行路径生成方法及系统
CN112101390A (zh) 属性信息确定方法、属性信息确定装置及电子设备
CN113673770B (zh) 移动治超点的位置确定方法、装置、设备及存储介质
CN115909020B (zh) 模型鲁棒性检测方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant