CN111291712A - 基于插值的cn和胶囊网络的森林火灾识别方法及装置 - Google Patents

基于插值的cn和胶囊网络的森林火灾识别方法及装置 Download PDF

Info

Publication number
CN111291712A
CN111291712A CN202010117046.7A CN202010117046A CN111291712A CN 111291712 A CN111291712 A CN 111291712A CN 202010117046 A CN202010117046 A CN 202010117046A CN 111291712 A CN111291712 A CN 111291712A
Authority
CN
China
Prior art keywords
image
flame
target
color space
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010117046.7A
Other languages
English (en)
Other versions
CN111291712B (zh
Inventor
赵运基
周梦林
张楠楠
魏胜强
刘晓光
孔军伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202010117046.7A priority Critical patent/CN111291712B/zh
Publication of CN111291712A publication Critical patent/CN111291712A/zh
Application granted granted Critical
Publication of CN111291712B publication Critical patent/CN111291712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于插值的CN和胶囊网络的森林火灾识别方法，其包括以下步骤：构建森林火灾火焰的初始样本集合；对初始样本集合进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化；通过迁移学习方法对CapsNet网络进行训练，形成最终的火灾识别模型；应用CN算法构建火焰样本集合描述的主元颜色空间向量；采集目标图像，确定疑似火焰区域；提取疑似火焰图像并灰度化，应用连续空间线性插值的方法进行尺度标准化；将目标标准化图像输入火灾识别模型，得到最终的识别结果。本发明还公开了一种基于插值的CN和胶囊网络的森林火灾识别装置。本发明提高了火灾检测的实时性和有效性。

Description

基于插值的CN和胶囊网络的森林火灾识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于连续空间域线性插值的CN和胶囊网络的森林火灾识别方法和装置。
背景技术
森林火灾是一种严重影响生态环境的因素之一。它给森林带来的危害是毁灭性的，给环境带来的危害也是毁灭性的。森林火灾一旦发生，扑灭难度较大。因此，对森林火灾的及时预警显得格外重要。
随着科技的进步，对森林火灾的预警取得了长足的进步。森林火灾检测方法有多种，基于图像识别的森林火灾检测算法较多。其中，有多种算法是基于颜色空间的火灾检测与识别算法。基于颜色的火灾识别算法在检测过程中无法摆脱颜色空间固有的缺陷——颜色容易受到光照的影响，最终造成基于颜色空间的火灾检测算法存在较高的误报率。传统的卷积神经网络特征是基于局部信息的，而胶囊网络提取的特征是基于整体的，在数字识别，自然语言的理解中得到了有效的验证。胶囊网络不但能够提取到识别对象的局部特征，同时能够提取局部特征之间的相对信息，因此，将胶囊网络引入于火灾的识别。火焰的不同位置特征之间存在某种约束关系，基于局部纹理的火灾识别方法已经得到过有效的验证。Hition所公布的CapsNet网络结构是基于Mnist手写数据集识别手写数字的胶囊网络。整个网络结构的输入固定为28×28，因此，在实际的工程引用中，输入的图像必须确保为28×28的单通道图像尺度，也即是标准化的图像尺度。针对火灾检测中，尺度不一致的问题，单纯的图像强制尺度变换容易导致原始图像变形，从而改变了原始图像的分辨率，影响胶囊网络的特征提取结果，最终影响识别精度。
发明内容
为了克服基于颜色空间对火焰检测过程中受光照变换的影响，造成基于颜色空间描述的火灾检测算法误报率较高的缺陷，检测结果图像输入胶囊网络时尺度不一致，强制的尺度转换对原始图像的深度特征的影响，确保不同尺度条件下的空间特征一致性，本发明提供一种基于插值的CN和胶囊网络的森林火灾识别方法和装置。
第一方面，本发明实施例公开了一种基于插值的CN和胶囊网络的森林火灾识别方法，其包括以下步骤：
选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
对初始样本集合的所有样本的火焰区域的彩色图像进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化，将所述尺度标准化处理后的样本图像的集合称为火焰样本集合；
通过Mnist数据集对CapsNet网络进行训练，采用迁移学习方法使用火焰样本集合对训练后的CapsNet网络进行迁移学习，形成最终的火灾识别模型；
应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到 10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，将所述疑似火焰图像灰度化后应用连续空间线性插值的方法进行尺度标准化，得到目标标准化图像；
将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果。
作为一种优选实施例，应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
作为一种优选实施例，将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域，包括：
将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对 Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
作为一种优选实施例，将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure BDA0002391808660000041
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure BDA0002391808660000042
则表明所述疑似火焰图像中不存在火焰。
作为一种优选实施例，所述森林火灾识别方法还包括对所述识别结果进行判断：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
第二方面，本发明实施例公开了一种基于插值的CN和胶囊网络的森林火灾识别装置，其包括：
选择模块，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
标准化模块，用于对初始样本集合的所有样本的火焰区域的彩色图像进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化，将所述尺度标准化处理后的样本图像的集合称为火焰样本集合；
训练模块，用于通过Mnist数据集对CapsNet网络进行训练，采用迁移学习方法使用火焰样本集合对训练后的CapsNet网络进行迁移学习，形成最终的火灾识别模型；
转换模块，用于应用CN算法的颜色空间转换矩阵将火焰样本集合对应的 RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
投影模块，用于采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
插值模块，提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，将所述疑似火焰图像灰度化后应用连续空间线性插值的方法进行尺度标准化，得到目标标准化图像；
识别模块，用于将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果。
作为一种优选实施例，所述转换模块，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
作为一种优选实施例，所述投影模块，包括：
投影单元，用于将采集到的目标图像转换为RGB的三通道图像，将所述 RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
二值化单元，用于对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
分割单元，用于将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
作为一种优选实施例，所述识别模块，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure BDA0002391808660000061
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure BDA0002391808660000062
则表明所述疑似火焰图像中不存在火焰。
作为一种优选实施例，所述森林火灾识别装置还包括判断模块，用于：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
本发明的目的在于提供一种应用颜色空间进行粗检，然后应用CapsNet胶囊网络进行细检的火灾检测方法。首先，构建应用于初始化的火焰样本数据集合：将所有火焰样本图像转换为灰度空间，然后应用连续空间域插值的方法将所有样本图像标准化为28×28的灰度图像。应用手写数字的Mnist数据集对原始的CapsNet网络进行训练，测试，获得CapsNet网络的基本参数。应用火焰样本数据集实现CapsNet网络的迁移学习，然后，对整个CapsNet网络结构进行修正，将原始的输出为16×10的矩阵修改为16×2的矩阵，分别表示输出的识别结果为存在火灾和不存在火灾两种情况。应用火焰样本数据集对构建好的，部分参数已经迁移的CapsNet网络结构进行修正，并进行测试，最终完成CapsNet 网络的火焰识别迁移，即构建形成火灾识别模型。选择火焰样本图像，将样本图像转换至CN空间，对CN空间的颜色进行主元分析，最终构建主元颜色空间向量。检测过程中，通过采集设备采集监控区域(森林环境)的目标图像，将采集到的目标图像进行主元颜色空间向量投影并阈值化处理，给出疑似火焰区域位置。对CN检测到的疑似区域彩色图像进行灰度化，针对尺度不一致的问题，直接对检测到的疑似区域灰度图像进行连续空间域插值，以适应CapsNet网络对输入图像的要求。最后通过CapsNet网络检测，最终给出疑似火焰图像的最终的检测结果。
本发明提出了一种基于连续空间域插值的CN+CapsNet森林火灾在线识别方法及装置，其应用连续空间域插值的方法实现对输入胶囊网络图像的标准化，有效增强了胶囊网络提取的局部特征和全局特征对尺度的鲁棒性，提高胶囊网络应用于不同尺度图像的鲁棒性。同时将连续空间域插值的CN+CapsNet森林火灾在线识别方法固化至处理器(例如TX1，TX2，EdgeBord，XAVIER，EdgeBord 等)，实现处理器对图像采集设备视场范围内火灾情况进行在线检测，最终将检测结果通过网络传输至服务器，给出最终的报警信息。
相比现有技术，本发明的有益效果在于：
1、应用CN粗检和CapsNet胶囊网络二次检测的方法实现森林火灾的识别，充分实现了CN检测的快速性能和CapsNet精准检测的有效互补，提高了火灾检测的实时性和有效性；
2、采用粗检到细检的方式，有效的降低计算负担，从而降低硬件成本；
3、本发明提出的方法可以固化至一般的TX1，TX2，Edgebord等相关硬件设备上，并实现组网，对硬件计算能力的要求较低，可以大范围布置，提高森林火灾检测的精度。
附图说明
图1为本发明实施例一的基于插值的CN和胶囊网络的森林火灾识别方法的流程图；
图2为CapsNet网络的结构示意图；
图3为DigitalCaps层的计算示意图；
图4为疑似火焰区域获取的原理图；
图5为本发明实施例二的基于插值的CN和胶囊网络的森林火灾识别系统的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例一
本发明实施例一公开了一种基于插值的CN和胶囊网络的森林火灾识别方法，请参照图1所示，其包括以下步骤：
S110、选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本。
林火对象具有极强的特殊性，其小样本特性，在林火检测算法难以直接应用深度网络训练，将林火检测应用于实际检测系统仍然是一个具有挑战性的课题。为了保证样本的多样性和可行性，森林火灾图像的选取包含林火可能发生的大多数场景，本发明的火灾样本包括:白天、黑夜、阴天、晴天、小火点。负样本包括：夏季、秋季、冬季等。为了验证算法的鲁棒性，正样本中同时包含火和红色区域；负样本包括夕阳，火烧云等红色区域。为了验证算法的泛化能力将算法应用于DS2公认火灾样本集。表1给出本发明样本以及DS2样本集的信息。
表1数据集介绍
Figure BDA0002391808660000091
针对对应的正负样本构建正负样本对应的样本标签值，正样本的标签值为
Figure BDA0002391808660000092
负样本对应的标签值为
Figure BDA0002391808660000093
S120、对初始样本集合的所有样本的火焰区域的彩色图像进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化，将所述尺度标准化处理后的样本图像的集合称为火焰样本集合。
将原始的正样本图像中火焰区域的图像，负样本中与火焰颜色近似的图像等进行灰度化处理，最终将所有的初始样本集合中的图像(记为原始样本图像) 全部转换为灰度图像。对转换后的灰度图像应用连续空间域插值的方式进行标准化处理，最终构建的火焰样本数据集为灰度图像的正负样本集合，灰度图像的大小均为28×28。针对原始样本图像经过灰度化后的图像大小为MSi×NSi。将原始样本图像灰度化后的图像分别在x轴和y轴两个方向上进行连续空间域插值。以x轴为例进行连续空间域插值。原始样本图像中的行进行插值时，针对灰度化矩阵中的第k行进行连续空间域插值。第k行的矩阵形式可以表示为(k,1:NSi)。应用连续域插值公式进行连续域的线性插值，针对需要的标准化尺度进行插值，最终将原始的灰度图像经过线性插值获得最终标准化的能够直接输入CapsNet网络的灰度图像。连续空间域插值的公式如式1所示。
Figure BDA0002391808660000101
其中，插入的插值函数Jd{xd}(t)可视为插值函数bd经过平移之后叠加形成的函数，而特征通道d中第n维的特征值xd[n]可以看作响应位移函数对应的权重，标量T代表区域的尺度，在实际中，T由坐标系比例缩放得到，可以是任意数；Nd为分辨率；t∈[0，T]。
在连续空间域插值的过程中可以选择为第k行对应的灰度像素值，插值函数则选择与C-COT算法中相同的插值函数形式。Nd的值即为第k行元素的个数。依据公式1和最终需要构建的灰度图像为标准化的灰度图像，因此，依据公式1 应该构建成的线性插值结果数目为28。将此一维的连续空间域插值拓展至二维的连续空间域插值空间，最终实现灰度图像的标准化。此连续空间域插值的方法能够实现多分辨率图像中的特征一致性，最大限度的降低尺度变化对特征造成的影响。
S130、通过Mnist数据集对CapsNet网络进行训练，采用迁移学习方法使用火焰样本集合对训练后的CapsNet网络进行迁移学习，形成最终的火灾识别模型。
手写数字样本Mnist训练的CapsNet的网络结构示意图如图2所示。CapsNet 的网络结构主要包括：PrimaryCaps层(主胶囊层)和DigitalCaps层(数字胶囊层)。DigitalCaps层计算示意图如图3所示。CapsNet原始的手写数字识别模型中，Mnist数据集提供了6万张用于训练和测试的手写数字。从Mnist数据集中选择5万张手写数字图像用于CapsNet网络结构相关的参数训练。最终用Mnist 数据集中剩余1万张对训练的模型进行测试，测试完成后，形成初始CapsNet 网络模型。
将训练完成的初始CapsNet网络模型中相关的参数迁移至本发明基于CN和CapsNet的火灾检测方法的CapsNet网络中，无法迁移的结构参数采用随机初始化的方式进行初始化，形成初始火灾识别模型。初始火灾识别模型中，采用火焰样本集合中的样本图像对其进行二次训练，也即是迁移学习的过程。由于 CapsNet网络结构中存在相关参数限制，因此，输入网络的识别图像必须为28 ×28大小单通道的图像。火焰样本集合的数据集需要经过S120的处理，也即是将初始样本集合中的火焰样本区域图像强制转换为28×28的灰度图像，然后将转换后的火焰样本和非火焰样本作为正、负样本输入初始火灾识别模型进行训练和测试。最终经过迁移学习而确定的CapsNet网络作为最终的火焰检测的胶囊网络，即最终的火灾识别模型。
S140、应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量。
选择的火焰集合中的每一个样本，应用CN算法提供的RGB颜色空间提供的多颜色空间投影矩阵将每一个样本对应的原始RGB图像(这里的原始RGB 图像是指初始样本集合中的火焰样本区域图像，即为灰度化的图像)投影到10 维的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
S150、采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域。
将采集到的目标图像转换为RGB三通道图像mi×ni×3，通过应用CN算法提供的32768×10的转换矩阵，将原始的RGB彩色三通道图像投影到10个通道的颜色空间，获得目标初始投影结果图像mi×ni×10，将目标初始投影结果图像在主元颜色空间向量上投影，也即是在10×1的向量上投影，最终获得目标投影图像mi×ni。
在获得目标投影图像mi×ni中进行腐蚀和膨胀的处理。图4给出了投影结果图像经过腐蚀膨胀处理后确定候选目标区域的示例。对腐蚀和膨胀处理后的结果图像进行二值化，二值化的规则为像素值非零点的值为1，否则为0。最终构建二值化的图像。将二值化的图像在X轴投影，确定投影结果的非零值区域，并沿非零值区域对原始图像进行分割(第一分割图像)。分割结果的图像沿Y 轴投影，相同的方法确定非零区域(第二分割图像，即图4中的候选目标区域)，通过第二分割图像的投影(第二分割图像对应的目标投影图像上的位置)的方法最终确定火灾的区域。
S160、提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，将所述疑似火焰图像灰度化后应用连续空间线性插值的方法进行尺度标准化，得到目标标准化图像。
依据步骤S150确定的疑似火焰区域相关参数坐标(Xtj,Ytj,Wtj,Htj)确定目标图像中对应该疑似火焰区域的候选目标(即疑似火焰图像)的三通道图像矩阵，Xtj为第j个疑似火焰区域的最大横坐标，Ytj为第j个疑似火焰区域的最大纵坐标，Wtj为第j个疑似火焰区域的长度，Htj为第j个疑似火焰区域的宽度。第j个疑似火焰区域对应的三通道图像矩阵表示为Mj×Nj×3。为了能够实现疑似火焰图像正常输入CapsNet网络识别模型，需要对疑似火焰图像进行转换。将三通道的RGB彩色图像转换为单通道的灰度图像Mj×Nj。对疑似火焰图像Mj×Nj进行连续空间域插值处理，最终构建出疑似火焰图像的标准化的28×28的尺度图像。应用连续空间域插值的方式最终构建标准化的疑似区域灰度图像，记为目标标准化图像，所有的疑似火焰区域对应的目标标准化图像的集合记为目标标准化图像集合。
S170、将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果。
步骤S170中获得的疑似火焰图像经过处理后，逐个输入经过迁移学习能够识别火焰的火灾识别模型中，火灾识别模型经过两个卷积层，PrimaryCaps层， DigitalCaps层最终输出的为2×1的向量，如果最终输出向量的结果为
Figure BDA0002391808660000131
则表示该疑似火焰图像中存在火焰，如果输出的结果为
Figure BDA0002391808660000132
则表明对应的疑似火焰图像中不存在火焰图像。最终完成对所有疑似火焰图像的识别，确定疑似火焰图像中是否存在火焰，如果存在则表示采集到的图像中发生了火灾。
S180、对所述识别结果进行判断。
如果确定了疑似火焰图像中存在火焰，则给出采集到的图像中存在火焰的信息，通过报警网络给出相关的报警信息。报警信息包括但不限于火灾可能发生的时间、位置。
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
实施例二
实施例二公开了一种基于CN和CapsNet的森林火灾在线识别装置，为上述实施例的虚拟装置，请参照图5所示，其包括：
选择模块210，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
标准化模块220，用于对初始样本集合的所有样本的火焰区域的彩色图像进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化，将所述尺度标准化处理后的样本图像的集合称为火焰样本集合；
训练模块230，用于通过Mnist数据集对CapsNet网络进行训练，采用迁移学习方法使用火焰样本集合对训练后的CapsNet网络进行迁移学习，形成最终的火灾识别模型；
转换模块240，用于应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
投影模块250，用于采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
插值模块260，用于提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，将所述疑似火焰图像灰度化后应用连续空间线性插值的方法进行尺度标准化，得到目标标准化图像；
识别模块270，用于将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果。
进一步地，所述转换模块，包括：将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB 图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用 SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
进一步地，所述投影模块，包括：
投影单元，用于将采集到的目标图像转换为RGB的三通道图像，将所述 RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
二值化单元，用于对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
分割单元，用于将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
进一步地，所述识别模块，包括：将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure BDA0002391808660000161
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure BDA0002391808660000162
则表明所述疑似火焰图像中不存在火焰。
进一步地，所述森林火灾识别装置还包括判断模块，用于：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory， RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述基于插值的CN和胶囊网络的森林火灾识别装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种基于插值的CN和胶囊网络的森林火灾识别方法，其特征在于，其包括以下步骤：
选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
对初始样本集合的所有样本的火焰区域的彩色图像进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化，将所述尺度标准化处理后的样本图像的集合称为火焰样本集合；
通过Mnist数据集对CapsNet网络进行训练，采用迁移学习方法使用火焰样本集合对训练后的CapsNet网络进行迁移学习，形成最终的火灾识别模型；
应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，将所述疑似火焰图像灰度化后应用连续空间线性插值的方法进行尺度标准化，得到目标标准化图像；
将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果。
2.如权利要求1所述的基于插值的CN和胶囊网络的森林火灾识别方法，其特征在于，应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
3.如权利要求2所述的基于插值的CN和胶囊网络的森林火灾识别方法，其特征在于，将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域，包括：
将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
4.如权利要求1-3任一项所述的基于插值的CN和胶囊网络的森林火灾识别方法，其特征在于，将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure FDA0002391808650000031
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure FDA0002391808650000032
则表明所述疑似火焰图像中不存在火焰。
5.如权利要求4所述的基于插值的CN和胶囊网络的森林火灾识别方法，其特征在于，所述森林火灾识别方法还包括对所述识别结果进行判断：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
6.一种基于插值的CN和胶囊网络的森林火灾识别装置，其特征在于，其包括：
选择模块，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
标准化模块，用于对初始样本集合的所有样本的火焰区域的彩色图像进行灰度化操作，对灰度化后的样本图像进行连续空间域插值以实现尺度的标准化，将所述尺度标准化处理后的样本图像的集合称为火焰样本集合；
训练模块，用于通过Mnist数据集对CapsNet网络进行训练，采用迁移学习方法使用火焰样本集合对训练后的CapsNet网络进行迁移学习，形成最终的火灾识别模型；
转换模块，用于应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
投影模块，用于采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
插值模块，用于提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，将所述疑似火焰图像灰度化后应用连续空间线性插值的方法进行尺度标准化，得到目标标准化图像；
识别模块，用于将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果。
7.如权利要求6所述的基于插值的CN和胶囊网络的森林火灾识别装置，其特征在于，所述转换模块，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
8.如权利要求7所述的基于插值的CN和胶囊网络的森林火灾识别装置，其特征在于，所述投影模块，包括：
投影单元，用于将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
二值化单元，用于对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
分割单元，用于将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
9.如权利要求6-8任一项所述的基于插值的CN和胶囊网络的森林火灾识别装置，其特征在于，所述识别模块，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure FDA0002391808650000051
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure FDA0002391808650000052
则表明所述疑似火焰图像中不存在火焰。
10.如权利要求9所述的基于插值的CN和胶囊网络的森林火灾识别装置，其特征在于，所述森林火灾识别装置还包括判断模块，用于：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
CN202010117046.7A 2020-02-25 2020-02-25 基于插值的cn和胶囊网络的森林火灾识别方法及装置 Active CN111291712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117046.7A CN111291712B (zh) 2020-02-25 2020-02-25 基于插值的cn和胶囊网络的森林火灾识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117046.7A CN111291712B (zh) 2020-02-25 2020-02-25 基于插值的cn和胶囊网络的森林火灾识别方法及装置

Publications (2)

Publication Number Publication Date
CN111291712A true CN111291712A (zh) 2020-06-16
CN111291712B CN111291712B (zh) 2023-03-24

Family

ID=71022906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117046.7A Active CN111291712B (zh) 2020-02-25 2020-02-25 基于插值的cn和胶囊网络的森林火灾识别方法及装置

Country Status (1)

Country Link
CN (1) CN111291712B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128412A (zh) * 2021-04-22 2021-07-16 重庆大学 一种基于深度学习及火灾监控视频的火灾趋势预测方法
CN113643300A (zh) * 2021-07-13 2021-11-12 郑州大学 一种基于Seg-CapsNet算法的路面裂缝像素级别检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330183A1 (en) * 2017-05-11 2018-11-15 Canon Kabushiki Kaisha Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium
CN108985316A (zh) * 2018-05-24 2018-12-11 西南大学 一种改进重构网络的胶囊网络图像分类识别方法
CN109635814A (zh) * 2018-12-21 2019-04-16 河南理工大学 基于深度神经网络的森林火灾自动检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330183A1 (en) * 2017-05-11 2018-11-15 Canon Kabushiki Kaisha Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium
CN108985316A (zh) * 2018-05-24 2018-12-11 西南大学 一种改进重构网络的胶囊网络图像分类识别方法
CN109635814A (zh) * 2018-12-21 2019-04-16 河南理工大学 基于深度神经网络的森林火灾自动检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李巨虎等: "基于颜色和纹理特征的森林火灾图像识别", 《华南理工大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128412A (zh) * 2021-04-22 2021-07-16 重庆大学 一种基于深度学习及火灾监控视频的火灾趋势预测方法
CN113128412B (zh) * 2021-04-22 2022-06-07 重庆大学 一种基于深度学习及火灾监控视频的火灾趋势预测方法
CN113643300A (zh) * 2021-07-13 2021-11-12 郑州大学 一种基于Seg-CapsNet算法的路面裂缝像素级别检测方法

Also Published As

Publication number Publication date
CN111291712B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110659591B (zh) 基于孪生网络的sar图像变化检测方法
Lin et al. Multispectral change detection with bilinear convolutional neural networks
CN109671070B (zh) 一种基于特征加权和特征相关性融合的目标检测方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111310690B (zh) 基于cn和三通道胶囊网络的森林火灾识别方法及装置
Yamada et al. Learning features from georeferenced seafloor imagery with location guided autoencoders
CN108154133B (zh) 基于非对称联合学习的人脸画像-照片识别方法
CN110909643B (zh) 基于最近邻原型表示的遥感舰船图像小样本分类方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN106778814B (zh) 一种基于投影谱聚类算法的去除sar图像斑点的方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN109145704B (zh) 一种基于人脸属性的人脸画像识别方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113033385A (zh) 一种基于深度学习的违章建筑遥感识别方法及系统
CN110852292B (zh) 一种基于跨模态多任务深度度量学习的草图人脸识别方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN116152678A (zh) 小样本条件下基于孪生神经网络的海洋承灾体识别方法
CN103714340A (zh) 基于图像分块的自适应特征提取方法
CN112070116B (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN111931558A (zh) 船舶类别识别方法及系统
CN114119970B (zh) 目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant