CN111860570B - 一种云微粒子图像提取及分类方法 - Google Patents

一种云微粒子图像提取及分类方法 Download PDF

Info

Publication number
CN111860570B
CN111860570B CN202010495008.5A CN202010495008A CN111860570B CN 111860570 B CN111860570 B CN 111860570B CN 202010495008 A CN202010495008 A CN 202010495008A CN 111860570 B CN111860570 B CN 111860570B
Authority
CN
China
Prior art keywords
image data
image
cloud
binary
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010495008.5A
Other languages
English (en)
Other versions
CN111860570A (zh
Inventor
刘说
张无暇
杨玲
徐梓欣
杨智鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010495008.5A priority Critical patent/CN111860570B/zh
Publication of CN111860570A publication Critical patent/CN111860570A/zh
Application granted granted Critical
Publication of CN111860570B publication Critical patent/CN111860570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种云微粒子提取及分类方法，主要包括首先对图像数据进行分割处理，然后对图像数据进行类型判定，接着对CIP图像进行图像数据筛选和补全，对CPI图像进行图像数据去标注，之后建立云微粒子图像数据集，并建立基于迁移学习的深度神经网络分类模型，对云微粒子图像进行分类，通过该方法可有效的提高对云微粒子图像的分类准确率和可靠性。

Description

一种云微粒子图像提取及分类方法
技术领域
本发明属于图像处理及气象领域，具体涉及对不同机载云微粒子探测设备获取的数据进行云微粒子图像提取，并基于神经网络模型实现对云微粒子图像的分类。
背景技术
近年来，国内气象部门和科研机构都开始利用机载探头和雷达对云微物理结构和云降水过程进行研究。目前，北京市人工影响天气办公室的最新机载探测设备主要来自Droplet Measurement Technologies(DMT)and Stratton Park Engineering Company(SPEC)两家公司，而基于探测设备的探测范围、探测精度、探测环境和获取数据方式的不同，飞机上可能搭载不同的云微粒子探测设备，这些云微粒子探测设备中应用较为广泛的是CPI(Cloud Particle Imager)和CIP(Cloud Imaging Probe)两种机载探测设备。而这些机载探测设备所记录的粒子图像是云微物理研究的基础，同时许多气象物理参数可以从云微粒子图像中获得,以进行气象领域多个方向的相关研究。
图像分类就是先固定分类标签集合，然后从分类标签集合中找出一个分类标签分配给输入图像。虽然看起来挺简单的，但这是计算机视觉领域的核心问题之一，计算机视觉领域中很多看似不同的问题，如检测、分割，都可以被归结为图像分类问题。当前，卷积神经网络为图像分类问题提供了一种端到端的学习模型，可以通过传统的梯度下降方法来训练模型中的参数，经过训练的网络模型可以学习图像中的特征，并完成图像分类，而迁移学习是近年来发展起来的一项模型参数继承技术，它是一种基于预训练模型参数学习数据特征的方法，主要是通过使用大数据集上训练的模型参数对其他相似数据进行分类。
然而，由于不同云微粒子探测设备自身的特点不同，所获取的探测数据有较大的差异，并且探测数据还有各自的缺陷，如CPI探测数据中会存在破碎云微粒子图像，CIP探测数据中会存在像素丢失情况，这些问题都影响着云微粒子分类的准确性以及利用云微粒子分类结果来进行气象研究的可靠性。
发明内容
本发明针对上述现有技术的不足，提出了一种云微粒子图像提取方法，包括以下步骤：
步骤1：对云微粒子所述探测设备获取的图像数据进行分割处理；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞M1，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤M1，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜M2，判定图像数据类型为CPI数据，执行步骤5，当N2≥M2，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为x4×y4，滑动步长为s4，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为g3×g3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，得到最终的特征化的云微粒子图像。
进一步的，对云微粒子探测设备获取的图像数据进行分割处理，具体步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为g1×g1的矩阵进行腐蚀操作，然后选择一个结构单元为g1×g1的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据。
进一步的，步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为x1×y1，所述第一滑动步长为s1，中滑窗尺寸为x2×y2，第二滑动步长为s2，小滑窗尺寸为x3×y3，第三滑动步长为s3，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况。
进一步的，步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到r1个像素点值为1，搜索结束，得到r1个像素点的横坐标in,(n＝1,2,…,r1)，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到r2个像素点值为1，搜索结束，得到r2个像素点的横纵坐标jn,n＝1,2,…,r2，对取r2个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是g2×g2的正方形结构元素,腐蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值由0全部换为255，得到最终的特征化的云微粒子图像。
本发明针对上述现有技术的不足，同时提出了一种云微粒子图像分类方法，主要包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理，步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为g1×g1的矩阵进行腐蚀操作，然后选择一个结构单元为g1×g1的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1.1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞M1，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤M1，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜M2，判定图像数据类型为CPI数据，执行步骤5，当N2≥M2，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为x1×y1，所述第一滑动步长为s1，中滑窗尺寸为x2×y2，第二滑动步长为s2，小滑窗尺寸为x3×y3，第三滑动步长为s3，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为x4×y4，滑动步长为s4，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为g3×g3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像，然后执行步骤6；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到r1个像素点值为1，搜索结束，得到5个像素点的横坐标in,(n＝1,2,…,r1)，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到r2个像素点值为1，搜索结束，得到r2个像素点的横纵坐标jn,n＝1,2,…，10，对取r2个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是g2×g2的正方形结构元素,腐蚀操作的矩阵选择的是g2×g2的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值全部由0转换为255，得到最终的特征化的云微粒子图像；
步骤6：建立云微粒子图像数据集，先对云微粒子图像种类进行划分，根据云微粒子图像中的粒子特征将云微粒子分为以下种类：微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类等，再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签；
步骤7：将标记好的数据集送入基于迁移学习的深度神经网络模型，首先，将云微粒子图像数据集以5:3的比例分为训练集和测试集，对云微粒子图像执行随机旋转和镜像对称旋转操作，再将云微粒子图像矩阵统一为224×224，并对云微粒子图像数字矩阵进行归一化，然后将训练集和测试集的批次大小值设置为10，将样本迭代次数设置为16，将交叉熵函数设置为损失函数，并将最小批次梯度下降作为参数更新功能，将学习率设置为0.0001，将完全连接层的最终输出值设置为9，使用Pytorch开源库获得预训练模型，在TL-AlexNet、TL-Vgg16、TL-Vgg19、TL-ResNet18、TL-ResNet34和TL-SqueezeNet六个模型上训练数据，最后，通过总体精度、准确率、召回率、F1分数对模型进行评价，获得适用于云微粒子图像的分类模型。
步骤8：将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果。
本发明与传统的云微粒子图像提取及分类方法相比，存在以下优点，从而解决了相应技术问题：
1、对不同云微粒子探测设备获取的探测数据进行统一的云微粒子图像提取及分类，提高了云微粒子处理方法的适用性。
2、对云微粒子探测设备所获取的探测数据是否存在像素丢失进行了判断，并进行了有针对性的数据补全，提高了分类准确性和可靠性。
3、对云微粒子探测设备所获取的探测数据是否存在像素被遮挡进行了判断，并进行了有针对性的数据筛选，提高了分类准确性和可靠性。
4、对云微粒子探测设备所获取的探测数据进行了去标注处理，提高了分类准确性和可靠性。
附图说明
图1为云微粒子图像提取及分类方法流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，方法流程图如图1所示，包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理，步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为T＝254；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为2×2的矩阵进行腐蚀操作，然后选择一个结构单元为2×2的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1.1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量N1，当矩形区域数量N1＞20，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于N1≤20，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例N2，当最大矩形区域所占图像数据比例N2＜0.6，判定图像数据类型为CPI数据，执行步骤5，当N2≥0.6，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤(a)：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为18×90，滑动步长为s1＝18，中滑窗尺寸为10×90，滑动步长为s2＝10，小滑窗尺寸为5×90，滑动步长为s3＝5，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为m×l的矩阵为滑窗，将矩阵Mml第1个元素Mml(1,1)与二值化图像数据的i行j列像素点C(i,j)重合，作为滑窗矩阵Mml在二值化图像数据C上滑动的起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i,q-l)重合后，对滑窗矩阵Mml进行换行，将滑窗矩阵Mml第1个元素Mml(1,1)与二值化图像数据像素点C(i+k(m-1),j)进行重合，作为滑窗矩阵在二值化图像数据C上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵Mml进行滑动，滑动步长为s，当滑窗矩阵上的点Mml(1,1)与二值化图像数据上的点C(i+k(m-1),q-l)重合后，继续对Mml进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量k为换行的次数，p×q为二值化图像数据的尺寸；
步骤(b)：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(c)；
步骤(c)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤(c1)，当a2中有记录，执行步骤(d)；
步骤(c1)：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤(d)；
步骤(d)：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为14×90，滑动步长为s＝14，然后，执行以下步骤：
步骤(e)：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤(f),当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足c1＜round(β1×c2)，c2≤round(β2×c3)，c3≤round(β3×c4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤(f)：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足d1＜round(β1×d2)，d2≤round(β2×d3)，d3≤round(β3×d4)，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况；
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为3×3的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像，然后执行步骤6；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为IBin，对二值化云微粒子图像IBin进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标i1，接着换下一列继续搜索，直到搜索到5个像素点值为1，搜索结束，得到5个像素点的横坐标in,n＝1,2,3,4,5，对in降序排列，取中间值记为imid,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点横纵坐标j1，接着换下一列继续搜索，直到搜索到10个像素点值为1，搜索结束，得到10个像素点的横纵坐标jn,n＝1,2,…，10，对取10个横纵坐标中jn值降序排列，取中间值记为jmid，假设云微粒子图像尺寸P×Q，则估计的标注位置为IBin([imid，P]，[1，jmid])，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为IBin([iexp，P]，[1，jexp])，其中，iexp＝round(β1·imid)，jexp＝round(β2·jmid)，β1∈(0.8,1)，β2∈(1,1.2)；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是3×3的正方形结构元素,腐蚀操作的矩阵选择的是3×3的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，而此时所得图像的背景图像灰度值为0，不便于我们观察，我们将所得图像的背景图像灰度值全部换为255，得到最终的特征化的云微粒子图像；
步骤6：建立云微粒子图像数据集，先对云微粒子图像种类进行划分，根据云微粒子图像中的粒子特征将云微粒子分为以下种类：微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类等，再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签；
步骤7：将标记好的数据集送入基于迁移学习的深度神经网络模型，首先，将云微粒子图像数据集以5:3的比例分为训练集和测试集，对云微粒子图像执行随机旋转和镜像对称旋转操作，再将云微粒子图像矩阵统一为224×224，并对云微粒子图像数字矩阵进行归一化，然后将训练集和测试集的批次大小值设置为10，将样本迭代次数设置为16，将交叉熵函数设置为损失函数，并将最小批次梯度下降作为参数更新功能，将学习率设置为0.0001，将完全连接层的最终输出值设置为9，使用Pytorch开源库获得预训练模型，在TL-AlexNet、TL-Vgg16、TL-Vgg19、TL-ResNet18、TL-ResNet34和TL-SqueezeNet六个模型上训练数据，最后，通过总体精度、准确率、召回率、F1分数对模型进行评价，获得适用于云微粒子图像的分类模型。
步骤8：将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果；
显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

Claims (5)

1.一种云微粒子图像提取方法，主要包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量
Figure 635356DEST_PATH_IMAGE001
，当矩形区域数量
Figure 200329DEST_PATH_IMAGE002
，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于
Figure 911933DEST_PATH_IMAGE003
，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例
Figure 636176DEST_PATH_IMAGE004
，当最大矩形区域所占图像数据比例
Figure 509454DEST_PATH_IMAGE005
，判定图像数据类型为CPI数据，执行步骤5，当
Figure 827303DEST_PATH_IMAGE006
，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为
Figure 811439DEST_PATH_IMAGE007
，滑动步长为
Figure 655767DEST_PATH_IMAGE008
，然后，执行以下步骤：
步骤（e）：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤（f）,当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足
Figure 965526DEST_PATH_IMAGE009
，
Figure 770671DEST_PATH_IMAGE010
，
Figure 558498DEST_PATH_IMAGE011
，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
步骤（f）：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足
Figure 132699DEST_PATH_IMAGE012
，
Figure 472413DEST_PATH_IMAGE013
，
Figure 499275DEST_PATH_IMAGE014
，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为
Figure 90794DEST_PATH_IMAGE015
的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，得到最终的特征化的云微粒子图像。
2.如权利要求1所述的一种云微粒子图像提取方法，其特征在于对云微粒子探测设备获取的图像数据进行分割处理，具体步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为
Figure 519501DEST_PATH_IMAGE016
；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为
Figure 30117DEST_PATH_IMAGE017
的矩阵进行腐蚀操作，然后选择一个结构单元为
Figure 75433DEST_PATH_IMAGE018
的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的上,下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据。
3.如权利要求1所述的一种云微粒子图像提取方法，其特征在于步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤（a）：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为
Figure 205063DEST_PATH_IMAGE019
，第一滑动步长为
Figure 488277DEST_PATH_IMAGE020
，中滑窗尺寸为
Figure 310739DEST_PATH_IMAGE021
，第二滑动步长为
Figure 436827DEST_PATH_IMAGE022
，小滑窗尺寸为
Figure 370148DEST_PATH_IMAGE023
，第三滑动步长为
Figure 507868DEST_PATH_IMAGE024
，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为
Figure 501232DEST_PATH_IMAGE025
的矩阵为滑窗，将矩阵
Figure 114616DEST_PATH_IMAGE026
第1个元素
Figure 586049DEST_PATH_IMAGE027
与二值化图像数据的
Figure 109434DEST_PATH_IMAGE028
行
Figure 273699DEST_PATH_IMAGE029
列像素点
Figure 984166DEST_PATH_IMAGE030
重合，作为滑窗矩阵
Figure 383924DEST_PATH_IMAGE031
在二值化图像数据
Figure 761815DEST_PATH_IMAGE032
上滑动的起点位置，并以从左到右顺序将滑窗矩阵
Figure 831402DEST_PATH_IMAGE031
进行滑动，滑动步长为
Figure 294745DEST_PATH_IMAGE033
，当滑窗矩阵上的点
Figure 232614DEST_PATH_IMAGE034
与二值化图像数据上的点
Figure 730591DEST_PATH_IMAGE035
重合后，对滑窗矩阵
Figure 971080DEST_PATH_IMAGE031
进行换行，将滑窗矩阵
Figure 921718DEST_PATH_IMAGE036
第1个元素
Figure 538644DEST_PATH_IMAGE034
与二值化图像数据像素点
Figure 750183DEST_PATH_IMAGE037
进行重合，作为滑窗矩阵在二值化图像数据
Figure 427152DEST_PATH_IMAGE038
上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵
Figure 599507DEST_PATH_IMAGE031
进行滑动，滑动步长为
Figure 20124DEST_PATH_IMAGE039
，当滑窗矩阵上的点
Figure 227115DEST_PATH_IMAGE034
与二值化图像数据上的点
Figure 934039DEST_PATH_IMAGE040
重合后，继续对
Figure 593691DEST_PATH_IMAGE031
进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量
Figure 552420DEST_PATH_IMAGE041
为换行的次数，
Figure 613917DEST_PATH_IMAGE042
为二值化图像数据的尺寸；
步骤（b）：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤（c）；
步骤（c）：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤（c1），当a2中有记录，执行步骤（d）；
步骤（c1）：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤（d）；
步骤（d）：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况。
4.如权利要求1所述的一种云微粒子图像提取方法，其特征在于步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为
Figure 763181DEST_PATH_IMAGE043
，对二值化云微粒子图像
Figure 910129DEST_PATH_IMAGE044
进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标
Figure 406969DEST_PATH_IMAGE045
，接着换下一列继续搜索，直到搜索到
Figure 322973DEST_PATH_IMAGE046
个像素点值为1，搜索结束，得到
Figure 637279DEST_PATH_IMAGE047
个像素点的横坐标
Figure 271523DEST_PATH_IMAGE048
，对
Figure 572054DEST_PATH_IMAGE050
降序排列，取中间值记为
Figure 608144DEST_PATH_IMAGE051
,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点纵坐标
Figure 968718DEST_PATH_IMAGE052
，接着换下一列继续搜索，直到搜索到
Figure 214891DEST_PATH_IMAGE053
个像素点值为1，搜索结束，得到
Figure 53534DEST_PATH_IMAGE054
个像素点的纵坐标
Figure 944130DEST_PATH_IMAGE055
，对取
Figure 475605DEST_PATH_IMAGE054
个纵坐标中
Figure 943496DEST_PATH_IMAGE056
值降序排列，取中间值记为
Figure 851409DEST_PATH_IMAGE057
，假设云微粒子图像尺寸
Figure 596511DEST_PATH_IMAGE058
，则估计的标注区域为
Figure 564467DEST_PATH_IMAGE059
，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为
Figure 395020DEST_PATH_IMAGE060
，其中，
Figure 700099DEST_PATH_IMAGE061
，
Figure 565287DEST_PATH_IMAGE062
，
Figure 438565DEST_PATH_IMAGE063
，
Figure 756414DEST_PATH_IMAGE064
；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是
Figure 865184DEST_PATH_IMAGE065
的正方形结构元素,腐蚀操作的矩阵选择的是
Figure 584879DEST_PATH_IMAGE066
的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值由0全部换为255，得到最终的特征化的云微粒子图像。
5.一种云微粒子图像分类方法，主要包括以下步骤：
步骤1：对云微粒子探测设备获取的图像数据进行分割处理，步骤包括:
步骤1.1：对图像数据进行二值化处理，得到二值化图像数据，具体方法为，首先将RGB三通道图像转化为单通道灰度图像，灰度化图像数据，然后再将图像数据二值化，二值化阈值设为
Figure 629058DEST_PATH_IMAGE067
；
步骤1.2：对二值化的图像数据进行形态学处理，形态学处理先采用一个结构单元为
Figure 434203DEST_PATH_IMAGE068
的矩阵进行腐蚀操作，然后选择一个结构单元为
Figure 346664DEST_PATH_IMAGE018
的矩阵进行膨胀操作，然后，对形态学处理后的二值化图像数据进行连通域搜索，先遍历图像中所以像素值为1的点，分别以这些像素值为1的像素点为中心点，搜索中心点相邻的上,下,左,右,左下,左上,右上和右下八方向上的像素点，当某个点值为1，则这两个像素点属于同一连接域，以该点为中心，继续搜索连通域之外的八方向相邻像素，连通域搜索完成后，标记相应的区域矩形得到连通域数量，最后,通过从左到右以及从上到下标记区域左上角的坐标，从二值化图像数据分割提取出相应标记区域的二值化云微粒子图像数据，从灰度化图像数据分割提取出相应标记区域的灰度化云微粒子图像数据；
步骤2：对探测设备获取到的图像数据进行类型判定，步骤包括：
步骤2.1：对步骤1.1所得的二值化图像数据进行矩形区域检测，并记录矩形区域数量
Figure 920865DEST_PATH_IMAGE069
，当矩形区域数量
Figure 135946DEST_PATH_IMAGE070
，判定图像数据类型为CPI数据，执行步骤3，当矩形区域数量小于或等于
Figure 162808DEST_PATH_IMAGE071
，执行步骤2.2；
步骤2.2：计算图像数据中最大矩形区域所占图像数据比例
Figure 19905DEST_PATH_IMAGE072
，当最大矩形区域所占图像数据比例
Figure 573246DEST_PATH_IMAGE073
，判定图像数据类型为CPI数据，执行步骤5，当
Figure 959228DEST_PATH_IMAGE074
，判定图像数据类型为CIP数据，执行步骤3；
步骤3：对图像数据进行筛选和补全，步骤包括：
步骤3.1：判断图像数据是否丢失像素，步骤包括：
步骤（a）：选取大、中、小三种滑窗矩阵提取二值化图像数据信息，大滑窗尺寸为
Figure 738965DEST_PATH_IMAGE075
，第一滑动步长为
Figure 868595DEST_PATH_IMAGE076
，中滑窗尺寸为
Figure 276443DEST_PATH_IMAGE077
，第二滑动步长为
Figure 98905DEST_PATH_IMAGE078
，小滑窗尺寸为
Figure 100359DEST_PATH_IMAGE079
，第三滑动步长为
Figure 33680DEST_PATH_IMAGE080
，滑窗提取二值化图像数据信息的过程为：首先，选取尺寸为
Figure 436980DEST_PATH_IMAGE081
的矩阵为滑窗，将矩阵
Figure 554978DEST_PATH_IMAGE036
第1个元素
Figure 778148DEST_PATH_IMAGE034
与二值化图像数据的
Figure 515160DEST_PATH_IMAGE082
行
Figure 772966DEST_PATH_IMAGE083
列像素点
Figure 796286DEST_PATH_IMAGE084
重合，作为滑窗矩阵
Figure 772332DEST_PATH_IMAGE036
在二值化图像数据
Figure 47456DEST_PATH_IMAGE038
上滑动的起点位置，并以从左到右顺序将滑窗矩阵
Figure 159768DEST_PATH_IMAGE031
进行滑动，滑动步长为
Figure 619568DEST_PATH_IMAGE039
，当滑窗矩阵上的点
Figure 817332DEST_PATH_IMAGE034
与二值化图像数据上的点
Figure 896146DEST_PATH_IMAGE085
重合后，对滑窗矩阵
Figure 128544DEST_PATH_IMAGE031
进行换行，将滑窗矩阵
Figure 634612DEST_PATH_IMAGE036
第1个元素
Figure 709884DEST_PATH_IMAGE034
与二值化图像数据像素点
Figure 326810DEST_PATH_IMAGE086
进行重合，作为滑窗矩阵在二值化图像数据
Figure 413715DEST_PATH_IMAGE038
上滑动的换行起点位置，并以从左到右顺序将滑窗矩阵
Figure 825105DEST_PATH_IMAGE031
进行滑动，滑动步长为
Figure 122094DEST_PATH_IMAGE039
，当滑窗矩阵上的点
Figure 542711DEST_PATH_IMAGE034
与二值化图像数据上的点
Figure 484122DEST_PATH_IMAGE087
重合后，继续对
Figure 331993DEST_PATH_IMAGE036
进行换行，直到矩阵遍历滑动过了二值化图像数据上所有像素点，变量
Figure 116278DEST_PATH_IMAGE088
为换行的次数，
Figure 340586DEST_PATH_IMAGE089
为二值化图像数据的尺寸；
步骤（b）：检测大滑窗所提取的所有二值化图像信息中是否有满足整行像素值全为0，且该行的相邻上方8行和下方8行都存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a1中，当a1中没有记录，判定图像数据不存在像素丢失的质量问题，执行步骤3.2，当a1中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤（c）；
步骤（c）：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方5行和下方5行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a2中，当a2中没有记录，执行步骤（c1），当a2中有记录，执行步骤（d）；
步骤（c1）：检测a1中所记录的所有行号在中滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方6行和下方6行存在某1行像素值全为1情况的行，将满足该情况的所有行的行号记入a21中，当a21中没有记录，判定图像数据不存在像素丢失的质量问题，进入步骤3.2，当a21中有记录，判定图像数据可能存在像素丢失的质量问题，执行步骤（d）；
步骤（d）：检测a2中所记录的所有行号在小滑窗所提取的所有二值化图像信息中，是否有满足整行像素值全为0，且该行的相邻上方3行和下方3行存在像素值全为1情况的行，将满足该情况的所有行的行号记入a3中，并将满足该情况的行的像素点在二值化图像数据上的坐标位置记入a4中，当a3中没有记录，进入步骤3.2，当a3中有记录，则判定图像数据存在质量问题，且a4中所记录的像素点所属的二值化云微粒子图像，存在像素丢失的情况；
步骤3.2：判断二值化云微粒子图像是否被遮挡，选取中小滑窗矩阵提取二值化图像数据，中小滑窗尺寸为
Figure 402083DEST_PATH_IMAGE090
，滑动步长为
Figure 420854DEST_PATH_IMAGE091
，然后，执行以下步骤：
步骤（e）：检测中小滑窗所提取的每个二值化图像信息中是否有满足第3行有连续非零值的情况，当没有这种情况时，执行步骤（f）,当有这种情况的时，将连续非零值数量记为c1，并检测该行相邻下方3行每行连续非零值的数量，分别记为c2，c3，c4，当同时满足
Figure 302223DEST_PATH_IMAGE092
，
Figure 189276DEST_PATH_IMAGE093
，
Figure 105279DEST_PATH_IMAGE094
，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中第3行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
步骤（f）：检测中小滑窗所提取的每个二值化图像信息中是否有满足倒数第2行有连续非零值的情况，当没有这种情况时，判定二值化云粒子图像无被遮挡，当有这种情况的时，将连续非零值数量记为d1，并检测该行相邻上方3行每行连续非零值的数量，分别记为d1，d2，d3，d4，当同时满足
Figure 294952DEST_PATH_IMAGE095
，
Figure 929196DEST_PATH_IMAGE096
，
Figure 371939DEST_PATH_IMAGE097
，则判定该中小滑窗所提取的二值化图像信息存在质量问题，且判定将该滑窗中倒数第2行连续非零值像素点所属二值化云微粒子图像存在被遮挡情况;
步骤4：将步骤3.1中所记录的存在像素丢失的二值化云微粒子图像进行像素填充，采用结构尺寸为
Figure 142449DEST_PATH_IMAGE098
的矩阵进行膨胀腐蚀操作，将步骤3.2中所记录的存在被遮挡情况的二值化云微粒子图像进行去除，得到筛选补全的云微粒子图像，然后执行步骤6；
步骤5：对步骤1所得的二值化云微粒子图像进行去标注，步骤为：
步骤5.1：确定二值化云微粒子图像中的标注区域，具体方法为：设二值化云微粒子图像为
Figure 503023DEST_PATH_IMAGE044
，对二值化云微粒子图像
Figure 624563DEST_PATH_IMAGE044
进行纵向和横向的搜索，因为云微粒子往往存在于云微粒子图像的中心位置，纵向搜索即从二值化云微粒子图像左上角第一个像素点开始，从上到下，从左到右搜索，当搜索到像素点值为1，标记该像素点横坐标
Figure 728785DEST_PATH_IMAGE099
，接着换下一列继续搜索，直到搜索到
Figure 744015DEST_PATH_IMAGE047
个像素点值为1，搜索结束，得到
Figure 275490DEST_PATH_IMAGE047
像素点的横坐标
Figure 618747DEST_PATH_IMAGE100
，对
Figure 261081DEST_PATH_IMAGE101
降序排列，取中间值记为
Figure 130817DEST_PATH_IMAGE102
,横向搜索即从二值化云微粒子图像右下角第一个像素点开始，从右到左，从下到上搜索，当搜索到像素点值为1，标记该像素点纵坐标
Figure 833193DEST_PATH_IMAGE103
，接着换下一列继续搜索，直到搜索到
Figure 929325DEST_PATH_IMAGE054
个像素点值为1，搜索结束，得到
Figure 375350DEST_PATH_IMAGE054
个像素点的纵坐标
Figure 240538DEST_PATH_IMAGE104
，对取
Figure 238450DEST_PATH_IMAGE054
个纵坐标中
Figure 290720DEST_PATH_IMAGE105
值降序排列，取中间值记为
Figure 540435DEST_PATH_IMAGE106
，假设云微粒子图像尺寸
Figure 260130DEST_PATH_IMAGE107
，则估计的标注区域为
Figure 428943DEST_PATH_IMAGE108
，为了确保标注能完全去除，将估计的标注区域增加扩大，最终标注区域为
Figure 968509DEST_PATH_IMAGE109
，其中，
Figure 21915DEST_PATH_IMAGE110
，
Figure 596116DEST_PATH_IMAGE111
，
Figure 811197DEST_PATH_IMAGE112
，
Figure 228272DEST_PATH_IMAGE113
；
步骤5.2：对步骤5.1得到的标注区域进行去形态学处理，具体方法为：对标注区域先膨胀再腐蚀，对应的参数设置为：膨胀操作的矩阵选择的是
Figure 554211DEST_PATH_IMAGE114
的正方形结构元素,腐蚀操作的矩阵选择的是
Figure 248497DEST_PATH_IMAGE066
的单位矩阵结构元素,这样既可去除标注信息，提高分类识别准确率；
步骤5.3：将去标注后的二值化云微粒子图像进行取反，再乘以原灰度化云微粒子图像，得到去标注后的云微粒子图像，将所得图像的背景图像灰度值全部由0转换为255，得到最终的特征化的云微粒子图像；
步骤6：建立云微粒子图像数据集，先对云微粒子图像种类进行划分，根据云微粒子图像中的粒子特征将云微粒子分为以下种类：微小类、球状云滴、球状雨滴、柱状类、针状类、不规则类、六角板状类、霰状类、枝状类、混合状类，再将筛选补全的云微粒子图像或特征化的云微粒子图像打上对应类型的标签；
步骤7：将标记好的数据集送入基于迁移学习的深度神经网络模型，首先，将云微粒子图像数据集以
Figure 634479DEST_PATH_IMAGE115
的比例分为训练集和测试集，对云微粒子图像执行随机旋转和镜像对称旋转操作，再将云微粒子图像矩阵统一为
Figure 414216DEST_PATH_IMAGE116
，并对云微粒子图像数字矩阵进行归一化，然后将训练集和测试集的批次大小值设置为10，将样本迭代次数设置为16，将交叉熵函数设置为损失函数，并将最小批次梯度下降作为参数更新功能，将学习率设置为0.0001，将完全连接层的最终输出值设置为9，使用Pytorch开源库获得预训练模型，在TL-AlexNet、TL-Vgg16、TL-Vgg19、TL-ResNet18、TL-ResNet34和TL-SqueezeNet六个模型上训练数据，最后，通过总体精度、准确率、召回率、F1分数对模型进行评价，获得适用于云微粒子图像的分类模型；
步骤8：将无标签的待识别图像数据输入已经训练好的模型当中,由神经网络提取图像特征并得出分类结果。
CN202010495008.5A 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法 Active CN111860570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495008.5A CN111860570B (zh) 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495008.5A CN111860570B (zh) 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法

Publications (2)

Publication Number Publication Date
CN111860570A CN111860570A (zh) 2020-10-30
CN111860570B true CN111860570B (zh) 2021-06-15

Family

ID=72985365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495008.5A Active CN111860570B (zh) 2020-06-03 2020-06-03 一种云微粒子图像提取及分类方法

Country Status (1)

Country Link
CN (1) CN111860570B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529805B (zh) * 2020-12-14 2024-04-30 北京达佳互联信息技术有限公司 图像修复方法、装置、电子设备和存储介质
CN112686822B (zh) * 2020-12-30 2021-09-07 成都信息工程大学 一种基于堆叠生成对抗网络的图像补全方法
CN114708279B (zh) * 2022-04-11 2023-04-07 西安邮电大学 一种云微粒子数据区域提取方法
CN114648711B (zh) * 2022-04-11 2023-03-10 成都信息工程大学 一种基于聚类的云微粒子图像虚假目标滤除方法
CN114677499B (zh) * 2022-04-11 2023-04-18 成都信息工程大学 一种云微粒子图像粒子区域定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323192A (zh) * 2011-08-01 2012-01-18 北京信息科技大学 云粒子测量系统和方法
CN103926634A (zh) * 2014-03-12 2014-07-16 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法
CN107607954A (zh) * 2017-09-11 2018-01-19 中国民航大学 一种基于t‑s模型的fnn降水粒子相态识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168448B2 (en) * 2013-04-30 2019-01-01 International Business Machines Corporation Machine learning approach for analysis and prediction of cloud particle size and shape distribution
CN107194408B (zh) * 2017-06-21 2021-06-01 安徽大学 一种混合块稀疏协作模型的目标跟踪方法
US11310418B2 (en) * 2018-01-19 2022-04-19 Veo Technologies Aps Computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
CN109902720B (zh) * 2019-01-25 2020-11-27 同济大学 基于子空间分解进行深度特征估计的图像分类识别方法
CN110853092A (zh) * 2019-11-21 2020-02-28 上海吉七物联网科技有限公司 一种基于不规则物体的点云量方算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323192A (zh) * 2011-08-01 2012-01-18 北京信息科技大学 云粒子测量系统和方法
CN103926634A (zh) * 2014-03-12 2014-07-16 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法
CN107607954A (zh) * 2017-09-11 2018-01-19 中国民航大学 一种基于t‑s模型的fnn降水粒子相态识别方法

Also Published As

Publication number Publication date
CN111860570A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860570B (zh) 一种云微粒子图像提取及分类方法
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
Jiao et al. A configurable method for multi-style license plate recognition
CN106897681B (zh) 一种遥感图像对比分析方法及系统
CN104657706B (zh) 基于图像的高铁线路线杆断裂与联接结构体异常检测方法
CN109165643B (zh) 一种基于深度学习的车牌识别方法
CN111860571B (zh) 一种基于cip数据质量控制的云微粒子分类方法
CN105513066B (zh) 一种基于种子点选取与超像素融合的通用物体检测方法
CN112686902B (zh) 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN111898627B (zh) 一种基于pca的svm云微粒子优化分类识别方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN104268552B (zh) 一种基于部件多边形的精细类别分类方法
CN111967313A (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN110991439A (zh) 一种基于像素级多特征联合分类的手写体字符的提取方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN110163109A (zh) 一种车道线标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant