CN111860570A - 一种云微粒子图像提取及分类方法 - Google Patents

一种云微粒子图像提取及分类方法 Download PDF

Info

Publication number
CN111860570A
CN111860570A CN202010495008.5A CN202010495008A CN111860570A CN 111860570 A CN111860570 A CN 111860570A CN 202010495008 A CN202010495008 A CN 202010495008A CN 111860570 A CN111860570 A CN 111860570A
Authority
CN
China
Prior art keywords
image data
cloud
image
binary
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010495008.5A
Other languages
English (en)
Other versions
CN111860570B (zh
Inventor
刘说
张无暇
杨玲
徐梓欣
杨智鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010495008.5A priority Critical patent/CN111860570B/zh
Publication of CN111860570A publication Critical patent/CN111860570A/zh
Application granted granted Critical
Publication of CN111860570B publication Critical patent/CN111860570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种云微粒子提取及分类方法，主要包括首先对图像数据进行分割处理，然后对图像数据进行类型判定，接着对CIP图像进行图像数据筛选和补全，对CPI图像进行图像数据去标注，之后建立云微粒子图像数据集，并建立基于迁移学习的深度神经网络分类模型，对云微粒子图像进行分类，通过该方法可有效的提高对云微粒子图像的分类准确率和可靠性。

Description

一种云微粒子图像提取及分类方法
技术领域
本发明属于图像处理及气象领域，具体涉及对不同机载云微粒子探测设备获取的数据进行云微粒子图像提取，并基于神经网络模型实现对云微粒子图像的分类。
背景技术
近年来，国内气象部门和科研机构都开始利用机载探头和雷达对云微物理结构和云降水过程进行研究。目前，北京市人工影响天气办公室的最新机载探测设备主要来自Droplet Measurement Technologies(DMT)and Stratton Park Engineering Company(SPEC)两家公司，而基于探测设备的探测范围、探测精度、探测环境和获取数据方式的不同，飞机上可能搭载不同的云微粒子探测设备，这些云微粒子探测设备中应用较为广泛的是CPI(Cloud Particle Imager)和CIP(Cloud Imaging Probe)两种机载探测设备。而这些机载探测设备所记录的粒子图像是云微物理研究的基础，同时许多气象物理参数可以从云微粒子图像中获得,以进行气象领域多个方向的相关研究。
图像分类就是先固定分类标签集合，然后从分类标签集合中找出一个分类标签分配给输入图像。虽然看起来挺简单的，但这是计算机视觉领域的核心问题之一，计算机视觉领域中很多看似不同的问题，如检测、分割，都可以被归结为图像分类问题。当前，卷积神经网络为图像分类问题提供了一种端到端的学习模型，可以通过传统的梯度下降方法来训练模型中的参数，经过训练的网络模型可以学习图像中的特征，并完成图像分类，而迁移学习是近年来发展起来的一项模型参数继承技术，它是一种基于预训练模型参数学习数据特征的方法，主要是通过使用大数据集上训练的模型参数对其他相似数据进行分类。
然而，由于不同云微粒子探测设备自身的特点不同，所获取的探测数据有较大的差异，并且探测数据还有各自的缺陷，如CPI探测数据中会存在破碎云微粒子图像，CIP探测数据中会存在像素丢失情况，这些问题都影响着云微粒子分类的准确性以及利用云微粒子分类结果来进行气象研究的可靠性。
发明内容
本发明针对上述现有技术的不足，提出了一种云微粒子图像提取方法，包括以下步骤：
步骤1：对云微粒子所述探测设备获取的图像数据进行分割处理；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞M1，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤M1，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜M2，判定图像数据类型为CPI数据，执行步骤5，当N2≥M2，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为x4×y4，滑动步长为s4，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为g3×g3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，得到最终的特征化的云微粒子图像。
进一步的，对云微粒子探测设备获取的图像数据进行分割处理，具体步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为g1×g1的矩阵进行腐蚀操作，然后选择一个结构单元为g1×g1的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据。
进一步的，步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为x1×y1，所述第一滑动步长为s1，中滑窗尺寸为x2×y2，第二滑动步长为s2，小滑窗尺寸为x3×y3，第三滑动步长为s3，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况。
进一步的，步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到r1个像素点值为1，搜索结束，得到r1个像素点的横坐标in,(n＝1,2,…,r1)，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到r2个像素点值为1，搜索结束，得到r2个像素点的横纵坐标jn,n＝1,2,…,r2，对取r2个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是g2×g2的正方形结构元素,腐蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值由0全部换为255，得到最终的特征化的云微粒子图像。
本发明针对上述现有技术的不足，同时提出了一种云微粒子图像分类方法，主要包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理，步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为g1×g1的矩阵进行腐蚀操作，然后选择一个结构单元为g1×g1的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1.1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞M1，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤M1，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜M2，判定图像数据类型为CPI数据，执行步骤5，当N2≥M2，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为x1×y1，所述第一滑动步长为s1，中滑窗尺寸为x2×y2，第二滑动步长为s2，小滑窗尺寸为x3×y3，第三滑动步长为s3，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为x4×y4，滑动步长为s4，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为g3×g3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像，然后执行步骤6；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到r1个像素点值为1，搜索结束，得到5个像素点的横坐标in,(n＝1,2,…,r1)，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到r2个像素点值为1，搜索结束，得到r2个像素点的横纵坐标jn,n＝1,2,…，10，对取r2个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是g2×g2的正方形结构元素,腐蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值全部由0转换为255，得到最终的特征化的云微粒子图像；
步骤6：建立云微粒子图像数据集，先对云微粒子图像种类进行划分，根据云微粒子图像中的粒子特征将云微粒子分为以下种类：微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类等，再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签；
步骤7：将标记好的数据集送入基于迁移学习的深度神经网络模型，首先，将云微粒子图像数据集以5:3的比例分为训练集和测试集，对云微粒子图像执行随机旋转和镜像对称旋转操作，再将云微粒子图像矩阵统一为224×224，并对云微粒子图像数字矩阵进行归一化，然后将训练集和测试集的批次大小值设置为10，将样本迭代次数设置为16，将交叉熵函数设置为损失函数，并将最小批次梯度下降作为参数更新功能，将学习率设置为0.0001，将完全连接层的最终输出值设置为9，使用Pytorch开源库获得预训练模型，在TL-AlexNet、TL-Vgg16、TL-Vgg19、TL-ResNet18、TL-ResNet34和TL-SqueezeNet六个模型上训练数据，最后，通过总体精度、准确率、召回率、F1分数对模型进行评价，获得适用于云微粒子图像的分类模型。
步骤8：将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果。
本发明与传统的云微粒子图像提取及分类方法相比，存在以下优点，从而解决了相应技术问题：
1、对不同云微粒子探测设备获取的探测数据进行统一的云微粒子图像提取及分类，提高了云微粒子处理方法的适用性。
2、对云微粒子探测设备所获取的探测数据是否存在像素丢失进行了判断，并进行了有针对性的数据补全，提高了分类准确性和可靠性。
3、对云微粒子探测设备所获取的探测数据是否存在像素被遮挡进行了判断，并进行了有针对性的数据筛选，提高了分类准确性和可靠性。
4、对云微粒子探测设备所获取的探测数据进行了去标注处理，提高了分类准确性和可靠性。
附图说明
图1为云微粒子图像提取及分类方法流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，方法流程图如图1所示，包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理，步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T＝254；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为2×2的矩阵进行腐蚀操作，然后选择一个结构单元为2×2的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1.1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞20，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤20，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜0.6，判定图像数据类型为CPI数据，执行步骤5，当N2≥0.6，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为18×90，滑动步长为s1＝18，中滑窗尺寸为10×90，滑动步长为s2＝10，小滑窗尺寸为5×90，滑动步长为s3＝5，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为14×90，滑动步长为s＝14，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为3×3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像，然后执行步骤6；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到5个像素点值为1，搜索结束，得到5个像素点的横坐标in,n＝1,2,3,4,5，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到10个像素点值为1，搜索结束，得到10个像素点的横纵坐标jn,n＝1,2,…，10，对取10个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是3×3的正方形结构元素,腐蚀操作的矩阵选择的是3×3的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，而此时所得图像的背景图像灰度值为0，不便于我们观察，我们将所得图像的背景图像灰度值全部换为255，得到最终的特征化的云微粒子图像；
步骤6：建立云微粒子图像数据集，先对云微粒子图像种类进行划分，根据云微粒子图像中的粒子特征将云微粒子分为以下种类：微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类等，再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签；
步骤7：将标记好的数据集送入基于迁移学习的深度神经网络模型，首先，将云微粒子图像数据集以5:3的比例分为训练集和测试集，对云微粒子图像执行随机旋转和镜像对称旋转操作，再将云微粒子图像矩阵统一为224×224，并对云微粒子图像数字矩阵进行归一化，然后将训练集和测试集的批次大小值设置为10，将样本迭代次数设置为16，将交叉熵函数设置为损失函数，并将最小批次梯度下降作为参数更新功能，将学习率设置为0.0001，将完全连接层的最终输出值设置为9，使用Pytorch开源库获得预训练模型，在TL-AlexNet、TL-Vgg16、TL-Vgg19、TL-ResNet18、TL-ResNet34和TL-SqueezeNet六个模型上训练数据，最后，通过总体精度、准确率、召回率、F1分数对模型进行评价，获得适用于云微粒子图像的分类模型。
步骤8：将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果；
显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

Claims (5)

1.一种云微粒子图像提取方法，主要包括以下步骤：
步骤1：对云微粒子所述探测设备获取的图像数据进行分割处理；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞M1，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤M1，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜M2，判定图像数据类型为CPI数据，执行步骤5，当N2≥M2，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为x4×y4，滑动步长为s4，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为g3×g3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，得到最终的特征化的云微粒子图像。
2.如权利要求1所述的一种云微粒子图像提取方法，其特征在于对云微粒子探测设备获取的图像数据进行分割处理，具体步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为g1×g1的矩阵进行腐蚀操作，然后选择一个结构单元为g1×g1的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据。
3.如权利要求1所述的一种云微粒子图像提取方法，其特征在于步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为x1×y1，所述第一滑动步长为s1，中滑窗尺寸为x2×y2，第二滑动步长为s2，小滑窗尺寸为x3×y3，第三滑动步长为s3，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况。
4.如权利要求1所述的一种云微粒子图像提取方法，其特征在于步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到r1个像素点值为1，搜索结束，得到r1个像素点的横坐标in,(n＝1,2,…,r1)，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到r2个像素点值为1，搜索结束，得到r2个像素点的横纵坐标jn,n＝1,2,…,r2，对取r2个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是g2×g2的正方形结构元素,腐蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值由0全部换为255，得到最终的特征化的云微粒子图像。
5.一种云微粒子图像分类方法，主要包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理，步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为g1×g1的矩阵进行腐蚀操作，然后选择一个结构单元为g1×g1的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1.1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞M1，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤M1，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜M2，判定图像数据类型为CPI数据，执行步骤5，当N2≥M2，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为x1×y1，所述第一滑动步长为s1，中滑窗尺寸为x2×y2，第二滑动步长为s2，小滑窗尺寸为x3×y3，第三滑动步长为s3，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为x4×y4，滑动步长为s4，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为g3×g3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像，然后执行步骤6；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到r1个像素点值为1，搜索结束，得到5个像素点的横坐标in,(n＝1,2,…,r1)，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到r2个像素点值为1，搜索结束，得到r2个像素点的横纵坐标jn,n＝1,2,…，10，对取r2个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是g2×g2的正方形结构元素,腐蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值全部由0转换为255，得到最终的特征化的云微粒子图像；
步骤6：建立云微粒子图像数据集，先对云微粒子图像种类进行划分，根据云微粒子图像中的粒子特征将云微粒子分为以下种类：微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类等，再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签；
步骤7：将标记好的数据集送入基于迁移学习的深度神经网络模型，首先，将云微粒子图像数据集以5:3的比例分为训练集和测试集，对云微粒子图像执行随机旋转和镜像对称旋转操作，再将云微粒子图像矩阵统一为224×224，并对云微粒子图像数字矩阵进行归一化，然后将训练集和测试集的批次大小值设置为10，将样本迭代次数设置为16，将交叉熵函数设置为损失函数，并将最小批次梯度下降作为参数更新功能，将学习率设置为0.0001，将完全连接层的最终输出值设置为9，使用Pytorch开源库获得预训练模型，在TL-AlexNet、TL-Vgg16、TL-Vgg19、TL-ResNet18、TL-ResNet34和TL-SqueezeNet六个模型上训练数据，最后，通过总体精度、准确率、召回率、F1分数对模型进行评价，获得适用于云微粒子图像的分类模型。
步骤8：将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果。
CN202010495008.5A 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法 Active CN111860570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495008.5A CN111860570B (zh) 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495008.5A CN111860570B (zh) 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法

Publications (2)

Publication Number Publication Date
CN111860570A true CN111860570A (zh) 2020-10-30
CN111860570B CN111860570B (zh) 2021-06-15

Family

ID=72985365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495008.5A Active CN111860570B (zh) 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法

Country Status (1)

Country Link
CN (1) CN111860570B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529805A (zh) * 2020-12-14 2021-03-19 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质
CN112686822A (zh) * 2020-12-30 2021-04-20 成都信息工程大学 一种基于堆叠生成对抗网络的图像补全方法
CN114648711A (zh) * 2022-04-11 2022-06-21 成都信息工程大学 一种基于聚类的云微粒子图像虚假目标滤除方法
CN114677499A (zh) * 2022-04-11 2022-06-28 成都信息工程大学 一种云微粒子图像粒子区域定位方法
CN114708279A (zh) * 2022-04-11 2022-07-05 西安邮电大学 一种云微粒子数据区域提取方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323192A (zh) * 2011-08-01 2012-01-18 北京信息科技大学 云粒子测量系统和方法
CN103926634A (zh) * 2014-03-12 2014-07-16 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法
US20140324350A1 (en) * 2013-04-30 2014-10-30 International Business Machines Corporation Machine Learning Approach for Analysis and Prediction of Cloud Particle Size and Shape Distribution
CN107194408A (zh) * 2017-06-21 2017-09-22 安徽大学 一种混合块稀疏协作模型的目标跟踪方法
CN107607954A (zh) * 2017-09-11 2018-01-19 中国民航大学 一种基于t‑s模型的fnn降水粒子相态识别方法
CN109902720A (zh) * 2019-01-25 2019-06-18 同济大学 基于子空间分解进行深度特征估计的图像分类识别方法
WO2019141813A1 (en) * 2018-01-19 2019-07-25 Veo Technologies Aps A computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
CN110853092A (zh) * 2019-11-21 2020-02-28 上海吉七物联网科技有限公司 一种基于不规则物体的点云量方算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323192A (zh) * 2011-08-01 2012-01-18 北京信息科技大学 云粒子测量系统和方法
US20140324350A1 (en) * 2013-04-30 2014-10-30 International Business Machines Corporation Machine Learning Approach for Analysis and Prediction of Cloud Particle Size and Shape Distribution
CN103926634A (zh) * 2014-03-12 2014-07-16 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法
CN107194408A (zh) * 2017-06-21 2017-09-22 安徽大学 一种混合块稀疏协作模型的目标跟踪方法
CN107607954A (zh) * 2017-09-11 2018-01-19 中国民航大学 一种基于t‑s模型的fnn降水粒子相态识别方法
WO2019141813A1 (en) * 2018-01-19 2019-07-25 Veo Technologies Aps A computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
CN109902720A (zh) * 2019-01-25 2019-06-18 同济大学 基于子空间分解进行深度特征估计的图像分类识别方法
CN110853092A (zh) * 2019-11-21 2020-02-28 上海吉七物联网科技有限公司 一种基于不规则物体的点云量方算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIXIA XIAO: "Classification of Ice Crystal Habits Observed From Airborne Cloud Particle Imager by Deep Transfer Learning", 《EARTH AND SPACE SCIENCE》 *
黄敏松: "改进的Holroyd云粒子形状识别方法及其应用", 《气象学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529805A (zh) * 2020-12-14 2021-03-19 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质
CN112529805B (zh) * 2020-12-14 2024-04-30 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质
CN112686822A (zh) * 2020-12-30 2021-04-20 成都信息工程大学 一种基于堆叠生成对抗网络的图像补全方法
CN114648711A (zh) * 2022-04-11 2022-06-21 成都信息工程大学 一种基于聚类的云微粒子图像虚假目标滤除方法
CN114677499A (zh) * 2022-04-11 2022-06-28 成都信息工程大学 一种云微粒子图像粒子区域定位方法
CN114708279A (zh) * 2022-04-11 2022-07-05 西安邮电大学 一种云微粒子数据区域提取方法
CN114648711B (zh) * 2022-04-11 2023-03-10 成都信息工程大学 一种基于聚类的云微粒子图像虚假目标滤除方法
CN114677499B (zh) * 2022-04-11 2023-04-18 成都信息工程大学 一种云微粒子图像粒子区域定位方法

Also Published As

Publication number Publication date
CN111860570B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN111860570B (zh) 一种云微粒子图像提取及分类方法
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN105608456A (zh) 一种基于全卷积网络的多方向文本检测方法
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN104657706B (zh) 基于图像的高铁线路线杆断裂与联接结构体异常检测方法
CN111860571B (zh) 一种基于cip数据质量控制的云微粒子分类方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN110414616B (zh) 一种利用空间关系的遥感图像字典学习分类方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111898627B (zh) 一种基于pca的svm云微粒子优化分类识别方法
CN104268552B (zh) 一种基于部件多边形的精细类别分类方法
CN110751644B (zh) 道路表面裂纹检测方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN111967313A (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN110991439A (zh) 一种基于像素级多特征联合分类的手写体字符的提取方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
Yusof et al. Automated asphalt pavement crack detection and classification using deep convolution neural network
CN107992899A (zh) 一种机场场面运动目标检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant