CN114049629A - 竹材维管束识别方法、装置以及电子设备 - Google Patents
竹材维管束识别方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN114049629A CN114049629A CN202111233098.1A CN202111233098A CN114049629A CN 114049629 A CN114049629 A CN 114049629A CN 202111233098 A CN202111233098 A CN 202111233098A CN 114049629 A CN114049629 A CN 114049629A
- Authority
- CN
- China
- Prior art keywords
- bundle
- category
- vascular bundle
- vascular
- bamboo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及竹材维管束识别方法、装置以及电子设备,该方法包括:获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息包括:坐标位置和尺寸;所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。本发明提高了不同类型维管束的识别精度。
Description
技术领域
本发明涉及植物检测技术领域,尤其涉及竹材维管束识别方法、装置以及电子设备。
背景技术
维管束是竹材的重要解剖结构,对研究竹材物理力学性能及加工工艺具有重要意义。
观察维管束一般采用常规的显微技术手段,包括普通光学显微镜、激光共聚焦显微镜、扫描电子显微镜、X射线断层扫描技术等。但是常规显微技术手段,多采用人工计数法对小尺寸样品或者小观察区域进行维管束的数量或分布测定,难以对大批量样品、大尺寸样品、大观察区域进行维管束的数量和分布进行快速、准确测定。发明专利CN109829879B提出的维管束的检测方法及装置,通过平板式影像扫描仪获取竹材横切面的高清图像,在此基础上构建了基于YOLO v3算法的可对毛竹维管束进行高精度识别计算的维管束检测模型;但是该模型在实际应用时存在下述几点缺陷:(1)由于仅采用毛竹横截面图像进行标注及训练,仅可对毛竹(散生竹)节间部位的未分化及半分化型、半开放型、开放型维管束进行识别,对丛生竹中普遍存在的紧腰型、断腰型和双断腰型维管束,侧枝及竹节尤其秆环、箨环等特殊部位中的小尺寸、不规则形态维管束的识别并不具有普适性、识别效果较差甚至不能识别;(2)在对大尺寸图像进行维管束识别时,对大尺寸图像进行了“偏移四套子图分割”处理,以此保证边缘处维管束的识别,但此举使得图片处理量翻了四倍,大大影响模型的检测时间;(3)对原始的样本数据利用不充分;(4)模型训练手段比较原始,主要是以先验知识为主进行调参优化,在训练数据容易出现过拟合而实际数据中出现欠拟合现象,不能充分挖掘模型性能潜力,并且大量的维管束标注非常的耗费人力、物力。
发明内容
针对现有技术存在的问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的竹材维管束识别方法、装置以及电子设备。
第一个方面,本发明实施例提供一种竹材维管束识别方法,包括:
获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;
利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;
其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;
所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
根据本发明提供一种竹材维管束识别方法,所述类别维管束对应的训练样本集,包括:所述类别维管束对应的已标注训练样本和未标注训练样本;
其中,所述已/未标注训练样本,由竹材横切面图像及其对应的维管束文本信息构成,且维管束文本信息已/未标注在竹材横切面图像上。
根据本发明提供一种竹材维管束识别方法,所述类别维管束对应的目标检测算法,具体为:
若所述类别维管束具备尺寸小于预设尺寸的特征,则选择anchor-free架构的目标检测算法;
若所述类别维管束具备与薄壁细胞的颜色对比度小于预设颜色对比度的特征,则选择two-stage架构的目标检测算法;
否则,选择one-stage架构的目标检测算法。
根据本发明提供一种竹材维管束识别方法,所述类别维管束对应的专用识别模型的获取过程,具体为:
将所述类别维管束对应的训练样本集分为训练集和验证集;
基于所述训练集和所述类别维管束对应的目标检测算法、并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习,得到所述类别维管束对应的初始模型;
利用验证集验证所述类别维管束对应的初始模型的有效性;
若所述类别维管束对应的初始模型的有效性小于有效性预设阈值,则额外获取所述类别维管束对应的训练样本;其中,所述训练样本均为已标注的训练样本;
利用额外获取的训练样本对所述类别维管束对应的初始模型进行全监督学习,得到所述类别维管束对应的专用识别模型;
否则,将所述类别维管束对应的初始模型作为所述类别维管束对应的专用识别模型。
根据本发明提供一种竹材维管束识别方法,所述基于所述训练集和所述类别维管束对应的目标检测算法、并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习,得到所述类别维管束对应的初始模型,具体为:
步骤a:预先设置训练参数和损失函数;其中,所述训练参数,包括:权值衰减weight_decay、初始学习率init_learning_rate、每个epoch的样本数量和训练次数epochs;所述目标分类损失和定位损失的加和,所述目标分类损失为二进制交叉熵逻辑斯蒂损失,所述定位损失为交并比损失;
步骤b:将所述训练集中竹材横切面图像切分为若干个子图像;
步骤c:在当前epoch中,采用数据增广策略,对所述子图像进行数据增广;
步骤d:在维管束通用识别模型的基础上,采用所述类别维管束对应的目标检测算法对数据增广后的子图像中的维管束进行识别以及边框定位;其中,所述类别维管束对应的目标检测算法中维管束的锚框是采用K-means聚类算法对数据增广后的子图像进行搜索得到的;
步骤e:利用边框偏移回归算法,修正所述维管束的边框;
步骤f:以修正后边框内部维管束面积大小为特征,采用K-means聚类算法对所述维管束进行聚类,并过滤聚类后置信度小于90%的维管束;
步骤g:识别过滤后的维管束的文本信息,并基于过滤后的维管束文本信息的识别结果和给定结果之间的差异,计算当前epoch的损失函数,并基于损失函数,采用随机梯度下降法更新训练参数;
步骤h:重复执行步骤c~步骤g,直至当前训练次数达到预先设置的训练次数时,将当前模型作为所述类别维管束对应的初始模型进行输出。
根据本发明提供一种竹材维管束识别方法,所述采用数据增广策略,对所述子图像进行数据增广,具体为:
从所述类别维管束对应的数据增广策略集合中随机选择一组数据增广策略,并利用选择的一组数据增广策略对所述子图像进行数据增广;
其中,所述类别维管束对应的数据增广策略集合,是由性能最高的n组数据增广策略构成;
所述各组数据增广策略的性能,是利用各组数据增广策略对所述类别维管束对应的竹材横切面图像进行数据增广,并采用Tiny检测模型对数据增广后的竹材横切面图像进行识别性能评定得到的;
所述Tiny检测模型为能对竹材横切面图像中的维管束及其文本信息进行识别的模型;
所述各组数据增广策略是对各种数据增广策略进行随机组合得到的;
所述数据增广策略,包括:镜像、旋转、缩放、裁剪、平移、高斯噪声、图像亮度、饱和度和对比度变化。
根据本发明提供一种竹材维管束识别方法,所述修正所述维管束的边框,具体计算公式如下:
bx=σ(tx)+cx
by=σ(ty)+cy
上式中,σ()表示线性回归函数,tx和ty分别表示定位过程中给出的维管束边框中心横轴偏移量和纵轴偏移量,cx和cy分别表示横轴单位步长和纵轴单位步长,bx和by分别表示修正后维管束的边框中心的横轴坐标和纵轴坐标,tw和th分别表示定位过程中给出的维管束边框的宽度偏移量和高度偏移量,pw和ph表示定位的维管束边框的宽度和高度,bh和bw表示修正后维管束边框的宽度和高度。
根据本发明提供一种竹材维管束识别方法,所述类别维管束对应的初始模型的有效性为该模型准确率和召回率的调和平均数;
其中,所述类别维管束对应的初始模型的准确率,具体计算公式如下:
preclslon=m1/(m1+n1)
所述类别维管束对应的初始模型的召回率,具体计算公式如下:
recall=m1/(m1+m2)
上式中,preclslon表示所述类别维管束对应的初始模型的准确率,recall表示所述类别维管束对应的初始模型的召回率,m1表示被正确识别的维管束的个数,n1表示被错误的识别为维管束的个数,m2表示未被正确识别的维管束的个数。
第二方面,本发明还提供一种竹材维管束识别装置,包括:
获取模块,用于获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;
识别模块,用于利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;
其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
第三方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述竹材维管束识别方法的步骤。
本发明提供的竹材维管束识别方法、装置以及电子设备,在数据增广策略和边框偏移回归算法的基础上,对通用识别模型进行迁移学习得到专用识别模型,不需要针对新任务从头开始训练网络,减少训练集的标注量,节省了时间成本;通用识别模型的使用增强了专用识别模型的鲁棒性和泛化能力;数据增广策略和边框偏移回归算法的设定提升了专用识别模型的识别准确度,进而提升本发明对不同类型维管束的识别精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的竹材维管束识别方法的流程示意图;
图2是本发明提供的不同类型维管束的形态示意图;
图3是本发明提供的维管束边框定位示意图;
图4是本发明提供的利用数据增广策略进行模型训练的示例;
图5是本发明提供的修正前后所述维管束边框的对比图;
图6是本发明提供的竹材维管束识别装置结构图;
图7是本发明提供的实现竹材维管束识别方法的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图7描述本发明。
第一方面,如图1所示,本发明提供的一种竹材维管束识别方法,包括:
S11、获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;
图2提供了不同类型维管束的形态示意图,由图2中可知,维管束类型,包括:
未分化型维管束、半分化型维管束、半开放型维管束、开放型维管束、紧腰型维管束、断腰型维管束、双断腰型维管束、侧枝中的维管束和竹节中的维管束;
其中,未分化型维管束:没有导管与筛管,只有纤维束或纤维团;
半分化型维管束:具有较小的输导组织,外方纤维鞘较小并独立;
半开放型维管束:具有较明显的导管,外方纤维鞘大小正常,两个侧方纤维鞘和内方纤维鞘连在一起;
开放型维管束:具有明显大导管,且四个纤维鞘相互独立且大小均一。
紧腰型维管束:不存在纤维股,仅含中心维管束,支撑组织仅由硬质细胞鞘组成,内方纤维鞘显著地较其他鞘为大,并向左右呈扇状延伸,细胞间隙中无侵填体;
断腰型维管束:维管束由两部分组成,即中心维管束和一个纤维股组成,纤维股位于中心维管束的内侧,纤维股远大于纤维鞘;
双断腰型维管束:维管束被薄壁组织分为三部分,即中心维管束的外方和内方各增生一个纤维股,中心维管束形态类似于开放型,但四个纤维鞘的大小略小于开放型维管束的纤维鞘,外方和内方的纤维股远大于纤维鞘;
侧枝中的维管束:形状与节间部位的维管束类似,但尺寸相较而言更小,仅为其1/2左右;
竹节中的维管束:纤维鞘大多分为两部分,侧方纤维鞘消失或极小,并且外方纤维鞘和内方纤维鞘的沿竹材径向具有较大的尖削度,与节间部分相对比,此处维管束纤维鞘的颜色与薄壁细胞较为接近。
S12、利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;
本发明针对不同类型的维管束,构建不同的识别模型,提升了不同类型维管束的识别精度。
这里所述的坐标位置包括:维管束边框中心坐标,以及维管束边框的宽高;
其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;
目前,发明专利CN109829879B中构建的模型,针对毛竹中未分化型维管束、半分化型维管束、半开放型维管束和开放型维管束这四种类型的维管束已具较好识别效果,而其他竹种中即使也具有这四种类型的维管束,其识别效果也不如毛竹,因此本发明这四个类别维管束对应的训练样本集中应适当增加包含着四类维管束的其它竹种样本,以丰富数据集,增加模型的泛化能力。
设定各类别维管束对应的目标检测算法时考虑了维管束的大小、以及维管束与薄壁细胞的颜色对比度,增强了各类别维管束对应的专用识别模型的识别准确度。
同样数据增广策略和边框偏移回归算法的采用,增强了各类别维管束对应的专用识别模型的识别准确度。
此外,本发明补充了紧腰型维管束、断腰型维管束、双断腰型维管束、侧枝中的维管束和竹节中的维管束这五种类型维管束的识别方法,提升了不同类型维管束的识别精度。
所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
本发明在数据增广策略和边框偏移回归算法的基础上,对通用识别模型进行迁移学习得到专用识别模型,不需要针对新任务从头开始训练网络,减少训练集的标注量,节省了时间成本;通用识别模型的使用增强了专用识别模型的鲁棒性和泛化能力;数据增广策略和边框偏移回归算法的设定提升了专用识别模型的识别准确度,进而提升本发明对不同类型维管束的识别精度。
在上述各实施例的基础上,作为一种可选的实施例,所述类别维管束对应的训练样本集,包括:所述类别维管束对应的已标注训练样本和未标注训练样本;
其中,所述已/未标注训练样本,由竹材横切面图像及其对应的维管束文本信息构成,且维管束文本信息已/未标注在竹材横切面图像上。
本发明以多种不同属的竹材为对象获取训练样本,竹材横切面图像可以采用授权公告号CN 109829879 B的专利中提到的样品预处理方法对竹材进行横切面砂光与大尺寸(10000px×10000px)高像素(9600ppi)横切面图像的获取;也可以通过手持摄影设备(手机、单反镜头)、体视显微镜、电子显微镜、CT等设备获取竹材横切面图像,以肉眼能够明显分辨出维管束为准。
此外,标注训练样本时采用Label-Img软件标注维管束,各类型维管束均采样标注2000个以保证不同竹种的维管束都能被充分采集到;
标注的主要信息包含维管束的尺寸信息(长轴长度、短轴长度。纤维鞘/纤维股的面积等)和坐标信息。
本发明采用训练样本分为已标注训练样本和未标注训练样本,避免了大量的维管束标注而引发的人力、物力的耗费,提高了实用性。
在上述各实施例的基础上,作为一种可选的实施例,所述类别维管束对应的目标检测算法,具体为:
若所述类别维管束具备尺寸小于预设尺寸的特征,则选择anchor-free架构的目标检测算法;
若所述类别维管束具备与薄壁细胞的颜色对比度小于预设颜色对比度的特征,则选择two-stage架构的目标检测算法;
否则,选择one-stage架构的目标检测算法。
在本实施例中,针对不同类型、大小、颜色对比度的维管束选择不同种类的目标检测算法:
1)针对侧枝处、竹材顶部、小径竹等处的较小尺寸维管束,可选择anchor-free架构的目标检测算法,例如:ExtremeNet,该架构算法具有密集的anchor box可有效提高网络目标召回能力,对于小目标检测来说提升非常明显。
2)针对竹节处、黄秆京竹等多个竹种的维管束和薄壁细胞的颜色对比度较小,难以从背景中区分出来的情况,可选择two-stage架构的目标检测算法;
例如:Faster R-CNN,该架构算法具有Anchor机制,可共享计算量,对目标具有较高的定位、检出率。
3)针对大多数竹种节间处的维管束,可选择one-stage架构的目标检测算法,例如:YoloV5,该算法具有针对大像素图片中的小目标检测相对前几代有显著提升,并且仍保持着较高的检测速度,并且对于此类较为简单的目标检测,据以往YoloV3应用于毛竹维管束的检测上来看,其检测精度也是有保证的。
在上述各实施例的基础上,作为一种可选的实施例,所述类别维管束对应的专用识别模型的获取过程,具体为:
将所述类别维管束对应的训练样本集分为训练集和验证集;
在本实施例中,训练集和验证集是通过预设比例进行划分的;
基于所述训练集和所述类别维管束对应的目标检测算法、并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习,得到所述类别维管束对应的初始模型;
在本实施例中,本发明充分利用迁移学习中的finetune技术,也叫微调技术。简而言之,finetune就是利用别人已经训练好的网络,针对自己的任务再进行调整。我们可以非常直观的理解,竹子维管束的形态差异小,有很大的相似度,在刚竹属毛竹的维管束检测中,网络已经学习到大量维管束特征。因此我们可以充分利用迁移学习实现各类型维管束的检测。其中finetune的核心优势有三,其一,不需要针对新任务从头开始训练网络,节省了时间成本;其二,预训练好的模型通常都是在大数据集上进行的,无形中扩充了我们的训练数据,使得模型更鲁棒、泛化能力更好;其三,finetune实现简单,使得我们只关注自己的任务即可。
另外,由于各类型维管束对应的训练样本集的已标记训练样本数比较少,(每种类型维管束仅标注2000个维管束,已构建的毛竹维管束识别模型在训练时标注维管束超20000个,为现有标注量的10倍),容易产生过拟合现象,因此我们设计了半监督学习器用于增强模型能力,使得小数据也能取得较好的模型性能,核心理论基于自洽正则化(Consistency Regularization),即也利用未标记的训练样本进行模型训练,它的检测值应该与原数据的检测值一致,即保持自洽。在模型训练过程中对训练样本进行增广以及边框偏移回归,可增强模型的识别准确性。
利用验证集验证所述类别维管束对应的初始模型的有效性;
在本实施例中,通过验证的形式保证模型的性能。
若所述类别维管束对应的初始模型的有效性小于有效性预设阈值,则额外获取所述类别维管束对应的训练样本;其中,所述训练样本均为已标注的训练样本;
利用额外获取的训练样本对所述类别维管束对应的初始模型进行全监督学习,得到所述类别维管束对应的专用识别模型;
否则,将所述类别维管束对应的初始模型作为所述类别维管束对应的专用识别模型。
在本实施例中,利用大尺寸高像素横切面图像测试训练好的模型,若模型的样本识别效果不好的,利用主动学习(全监督学习)的方法,获取到那些比较“难”识别的训练样本让人工再次确认和审核;
然后再利用额外获取的训练样本,使用有监督学习方式进行模型训练,逐步提升模型效果。动态的增加该类型维管束的数据量,从而减小误差。
例如:当训练好的模型对颜色偏浅的维管束识别效果不佳,故可以采用增加颜色偏浅(灰度值>=120)维管束的标注数量(每类增加到3000个标注框),进一步平衡不同颜色维管束的数据集分布。
本发明采用半监督学习和全监督学习相结合的方式得到各类型维管束对应的专用识别模型,充分利用了训练样本的信息进行了挖掘,提高了模型性能潜力。
在上述各实施例的基础上,作为一种可选的实施例,所述基于所述训练集和所述类别维管束对应的目标检测算法、并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习,得到所述类别维管束对应的初始模型,具体为:
步骤a:预先设置训练参数和损失函数;其中,所述训练参数,包括:权值衰减weight_decay、初始学习率init_learning_rate、每个epoch的样本数量和训练次数epochs;
所述目标分类损失和定位损失的加和,
所述目标分类损失为二进制交叉熵逻辑斯蒂损失,
所述定位损失为交并比损失;
在本实施例中,表1对训练参数进行了说明;
表1
步骤b:将所述训练集中竹材横切面图像切分为若干个子图像;
步骤c:在当前epoch中,采用数据增广策略,对所述子图像进行数据增广;
本发明数据增广策略(Selective Random Augmentation),聚焦于对不同类型维管束搜索出当前最佳的数据增广策略组合。
步骤d:在维管束通用识别模型的基础上,采用所述类别维管束对应的目标检测算法对数据增广后的子图像中的维管束进行识别以及边框定位;其中,所述类别维管束对应的目标检测算法中维管束的锚框是采用K-means聚类算法对数据增广后的子图像进行搜索得到的;
在本发明技术领域内,所述锚框用于模型训练时在原图上搜索目标。
图3提供了维管束边框定位示意图,图3中可看出,维管束识别的准确度与定位到的维管束边框息息相关。
步骤e:利用边框偏移回归算法,修正所述维管束的边框;
在实际模型的检测过程中,会出现以下两种情况:1、由于实际检测过程中的样本都是被切分后的小图像,因此在小图像的边缘处必然存在一些不完整的维管束;2、由于图像对比度等原因,某些维管束的检测框可能比他的实际尺寸更大,导致预测的高度、宽度不准确。故此本发明重新设计基于边框偏移回归的算法模块,对维管束的边框进行偏移回归得到精准化的框选。
步骤f:以修正后边框内部维管束面积大小为特征,采用K-means聚类算法对所述维管束进行聚类,并过滤聚类后置信度小于90%的维管束;
基于聚类方法的面积过滤方法:由于不同类型的维管束大小差异比较大,在通过非极大值抑制后,依然存在部分面积过小的错误检测,因此本专利设计基于聚类方法的面积阈值过滤。
面积阈值过滤的时,会针对不同类型维管束检测对当前子图检测结果进行K-Means聚类分析,聚类的数据指标为置信度,当某一点的置信度小于90%时说明模型框选到的面积过大或过小,过滤该检测框,从而获得更精准的检测结果,计算方法如下:
将维管束进行Kmeans聚类:获得各点维管束的置信度;
如果维管束i置信度<90,删除该维管束i
由上述算法可知,我们先会找到维管束检测中出现的置信度小于90%的点,通过置信度进行过滤,确保背景中的某些噪声,杂点不会被当做维管束检测出来,进而提高模型的整体准确率。
步骤g:识别过滤后的维管束的文本信息,并基于过滤后的维管束文本信息的识别结果和给定结果之间的差异,计算当前epoch的损失函数,并基于损失函数,采用随机梯度下降法更新训练参数;
步骤h:重复执行步骤c~步骤g,直至当前训练次数达到预先设置的训练次数时,将当前模型作为所述类别维管束对应的初始模型进行输出。
本实施例中,集成大量先进算法并加以实现,进而优化模型性能,根据学术界前沿研究定制化的设计了部分算法例如数据增广策略和边框偏移回归算法等,针对植物影像进行领域适配。
在上述各实施例的基础上,作为一种可选的实施例,所述采用数据增广策略,对所述子图像进行数据增广,具体为:
从所述类别维管束对应的数据增广策略集合中随机选择一组数据增广策略,并利用选择的一组数据增广策略对所述子图像进行数据增广;
其中,所述类别维管束对应的数据增广策略集合,是由性能最高的n组数据增广策略构成;
所述各组数据增广策略的性能,是利用各组数据增广策略对所述类别维管束对应的竹材横切面图像进行数据增广,并采用Tiny检测模型对数据增广后的竹材横切面图像进行识别性能评定得到的;
所述Tiny检测模型为能对竹材横切面图像中的维管束及其文本信息进行识别的模型;
所述各组数据增广策略是对各种数据增广策略进行随机组合得到的;
所述数据增广策略,包括:镜像、旋转、缩放、裁剪、平移、高斯噪声、图像亮度、饱和度和对比度变化。
图4提供了利用数据增广策略进行模型训练的示例,主要步骤如下:
1.在如下的数据增广策略中进行随机组合构建多种增强策略:镜像(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、平移(translation)、高斯噪声(gaussion noise)、图像亮度、饱和度和对比度变化、CutUp、Mixup等。
2)采用Tiny检测模型,对步骤1中组合的策略进行验证,选取表现最好的n(n=1or 2 or 3)种增广策略,作为增广策略组。
3.在实际训练过程中随机选择策略组中的增广策略。
该数据增广策略相较于传统的增广算法优点在于引入了大量的随机性用于抑制算法的过拟合,与Google等提出的Random Augmentation优势在于保证了增广策略的有效性,即对模型性能始终保持正增益,同时可以针对当前任务通过简单的模型假设获得最好的增广策略,提升模型性能。
在上述各实施例的基础上,作为一种可选的实施例,所述修正所述维管束的边框,具体计算公式如下:
bx=σ(tx)+cx
by=σ(ty)+cy
上式中,σ()表示线性回归函数,tx和ty分别表示定位过程中给出的维管束边框中心横轴偏移量和纵轴偏移量,cx和cy分别表示横轴单位步长和纵轴单位步长,bx和by分别表示修正后维管束的边框中心的横轴坐标和纵轴坐标,tw和th分别表示定位过程中给出的维管束边框的宽度偏移量和高度偏移量,pw和ph表示定位的维管束边框的宽度和高度,bh和bw表示修正后维管束边框的宽度和高度。
图5是示例了一种修正前后所述维管束边框的对比图,从图5中可看出定位的边框为没有完全包裹住维管束,通过偏移回归得到边框将维管束完全包裹住了,因此边框修正可提高模型的识别准确性。
在上述各实施例的基础上,作为一种可选的实施例,所述类别维管束对应的初始模型的有效性为该模型准确率和召回率的调和平均数;
其中,所述类别维管束对应的初始模型的准确率,具体计算公式如下:
preclslon=m1/(m1+n1)
所述类别维管束对应的初始模型的召回率,具体计算公式如下:
recall=m1/(m1+m2)
上式中,preclslon表示所述类别维管束对应的初始模型的准确率,recall表示所述类别维管束对应的初始模型的召回率,m1表示被正确识别的维管束的个数,n1表示被错误的识别为维管束的个数,m2表示未被正确识别的维管束的个数。
本发明设置三个评价指标(准确率;召回率;有效性(F1值),准确率也叫查准率,指的是所有被判定为正类(TP+FP)中,真实的正类(TP)占的比例;召回率也叫查全率,指的是所有真实为正类(TP+FN)中,被判定为正类(TP)占的比例;F1值是准确率和召回率的调和平均数。比如,假设测试时图片中有中m1个维管束被正确识别,m2个被错误识别,即真阳性数TP=m1,假阴性数FN=m2,而测试图片中有n1个被错误地识别为维管束,n2个被正确地识别,即假阳性数FP=n1,真阴性数TN=n2。
本实施例仅仅给出了一种可行的有效性计算方式,也可采用其它合理方式进行有效性的计算。
本发明的添加多种自研先进技术例如Selective Random Augmentation数据增强、多模数据输入、半监督学习和主动学习,提高不同类型维管束的识别精度。
第二方面,对本发明提供的竹材维管束识别装置进行描述,下文描述的竹材维管束识别装置与上文描述的竹材维管束识别方法可相互对应参照。图6示例了竹材维管束识别装置结构图,如图6所示,该装置包括:获取模块21和识别模块22;
其中,获取模块21,用于获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;
识别模块22,用于利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;
其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;
所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
本发明实施例提供的竹材维管束识别装置,在数据增广策略和边框偏移回归算法的基础上,对通用识别模型进行迁移学习得到专用识别模型,不需要针对新任务从头开始训练网络,减少训练集的标注量,节省了时间成本;通用识别模型的使用增强了专用识别模型的鲁棒性和泛化能力;数据增广策略和边框偏移回归算法的设定提升了专用识别模型的识别准确度,进而提升本发明对不同类型维管束的识别精度。
第三方面,图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行竹材维管束识别方法,该方法包括:获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
即,上述所提计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的竹材维管束识别方法,该方法包括:获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种竹材维管束识别方法,其特征在于,包括:
获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;
利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;
其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;
所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
2.根据权利要求1所述的竹材维管束识别方法,其特征在于,所述类别维管束对应的训练样本集,包括:所述类别维管束对应的已标注训练样本和未标注训练样本;
其中,所述已/未标注训练样本,由竹材横切面图像及其对应的维管束文本信息构成,且维管束文本信息已/未标注在竹材横切面图像上。
3.根据权利要求1所述的竹材维管束识别方法,其特征在于,所述类别维管束对应的目标检测算法,具体为:
若所述类别维管束具备尺寸小于预设尺寸的特征,则选择anchor-free架构的目标检测算法;
若所述类别维管束具备与薄壁细胞的颜色对比度小于预设颜色对比度的特征,则选择two-stage架构的目标检测算法;
否则,选择one-stage架构的目标检测算法。
4.根据权利要求2所述的竹材维管束识别方法,其特征在于,所述类别维管束对应的专用识别模型的获取过程,具体为:
将所述类别维管束对应的训练样本集分为训练集和验证集;
基于所述训练集和所述类别维管束对应的目标检测算法、并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习,得到所述类别维管束对应的初始模型;
利用验证集验证所述类别维管束对应的初始模型的有效性;
若所述类别维管束对应的初始模型的有效性小于有效性预设阈值,则额外获取所述类别维管束对应的训练样本;其中,所述训练样本均为已标注的训练样本;
利用额外获取的训练样本对所述类别维管束对应的初始模型进行全监督学习,得到所述类别维管束对应的专用识别模型;
否则,将所述类别维管束对应的初始模型作为所述类别维管束对应的专用识别模型。
5.根据权利要求4所述的竹材维管束识别方法,其特征在于,所述基于所述训练集和所述类别维管束对应的目标检测算法、并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习,得到所述类别维管束对应的初始模型,具体为:
步骤a:预先设置训练参数和损失函数;其中,所述训练参数,包括:权值衰减weight_decay、初始学习率init_learning_rate、每个epoch的样本数量和训练次数epochs;所述目标分类损失和定位损失的加和,所述目标分类损失为二进制交叉熵逻辑斯蒂损失,所述定位损失为交并比损失;
步骤b:将所述训练集中竹材横切面图像切分为若干个子图像;
步骤c:在当前epoch中,采用数据增广策略,对所述子图像进行数据增广;
步骤d:在维管束通用识别模型的基础上,采用所述类别维管束对应的目标检测算法对数据增广后的子图像中的维管束进行识别以及边框定位;其中,所述类别维管束对应的目标检测算法中维管束的锚框是采用K-means聚类算法对数据增广后的子图像进行搜索得到的;
步骤e:利用边框偏移回归算法,修正所述维管束的边框;
步骤f:以修正后边框内部维管束面积大小为特征,采用K-means聚类算法对所述维管束进行聚类,并过滤聚类后置信度小于90%的维管束;
步骤g:识别过滤后的维管束的文本信息,并基于过滤后的维管束文本信息的识别结果和给定结果之间的差异,计算当前epoch的损失函数,并基于损失函数,采用随机梯度下降法更新训练参数;
步骤h:重复执行步骤c~步骤g,直至当前训练次数达到预先设置的训练次数时,将当前模型作为所述类别维管束对应的初始模型进行输出。
6.根据权利要求5所述的竹材维管束识别方法,其特征在于,所述采用数据增广策略,对所述子图像进行数据增广,具体为:
从所述类别维管束对应的数据增广策略集合中随机选择一组数据增广策略,并利用选择的一组数据增广策略对所述子图像进行数据增广;
其中,所述类别维管束对应的数据增广策略集合,是由性能最高的n组数据增广策略构成;
所述各组数据增广策略的性能,是利用各组数据增广策略对所述类别维管束对应的竹材横切面图像进行数据增广,并采用Tiny检测模型对数据增广后的竹材横切面图像进行识别性能评定得到的;
所述Tiny检测模型为能对竹材横切面图像中的维管束及其文本信息进行识别的模型;
所述各组数据增广策略是对各种数据增广策略进行随机组合得到的;
所述数据增广策略,包括:镜像、旋转、缩放、裁剪、平移、高斯噪声、图像亮度、饱和度和对比度变化。
8.根据权利要求4所述的竹材维管束识别方法,其特征在于,所述类别维管束对应的初始模型的有效性为该模型准确率和召回率的调和平均数;
其中,所述类别维管束对应的初始模型的准确率,具体计算公式如下:
preclslon=m1/(m1+n1)
所述类别维管束对应的初始模型的召回率,具体计算公式如下:
recall=m1/(m1+m2)
上式中,preclslon表示所述类别维管束对应的初始模型的准确率,recall表示所述类别维管束对应的初始模型的召回率,m1表示被正确识别的维管束的个数,n1表示被错误的识别为维管束的个数,m2表示未被正确识别的维管束的个数。
9.一种竹材维管束识别装置,其特征在于,包括:
获取模块,用于获取目标竹材横切面图像,并给定目标竹材横切面图像中维管束所属的类别;
识别模块,用于利用所述类别维管束对应的专用识别模型,对目标竹材横切面图像进行识别,得到目标竹材横切面图像中维管束的文本信息;其中,所述文本信息,包括:坐标位置和尺寸;所述尺寸包括:长轴长度、短轴长度、纤维鞘面积和纤维股面积;
其中,所述类别维管束对应的专用识别模型,是利用所述类别维管束对应的训练样本集和目标检测算法,并结合数据增广策略和边框偏移回归算法,对维管束通用识别模型进行迁移学习得到的;所述通用识别模型,能识别不同来源的竹材横切面图像,并得到图像中的维管束的文本信息。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述竹材维管束识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111233098.1A CN114049629A (zh) | 2021-10-22 | 2021-10-22 | 竹材维管束识别方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111233098.1A CN114049629A (zh) | 2021-10-22 | 2021-10-22 | 竹材维管束识别方法、装置以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114049629A true CN114049629A (zh) | 2022-02-15 |
Family
ID=80205945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111233098.1A Pending CN114049629A (zh) | 2021-10-22 | 2021-10-22 | 竹材维管束识别方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049629A (zh) |
-
2021
- 2021-10-22 CN CN202111233098.1A patent/CN114049629A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
CN111524106B (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
CN105144239B (zh) | 图像处理装置、图像处理方法 | |
JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
CN111340022A (zh) | 身份证信息识别方法、装置、计算机设备及存储介质 | |
CN114240961A (zh) | 一种U-Net++细胞分割网络系统、方法、设备及终端 | |
CN112862024A (zh) | 一种文本识别方法及系统 | |
CN112579808A (zh) | 数据标注处理方法及装置、系统 | |
Sengupta et al. | FunSyn-Net: enhanced residual variational auto-encoder and image-to-image translation network for fundus image synthesis | |
CN110110622B (zh) | 一种基于图像处理的医疗文本检测方法、系统和存储介质 | |
CN113177957B (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 | |
CN105069767B (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
CN105528791B (zh) | 一种面向触摸屏手绘图像的质量评价装置及其评价方法 | |
Guo et al. | Pathological detection of micro and fuzzy gastric cancer cells based on deep learning | |
Guo | [Retracted] System Analysis of the Learning Behavior Recognition System for Students in a Law Classroom: Based on the Improved SSD Behavior Recognition Algorithm | |
CN109460768B (zh) | 一种用于组织病理学显微图像的文本检测与去除方法 | |
CN110443792A (zh) | 一种基于并行深度神经网络的骨扫描图像处理方法及系统 | |
CN114049629A (zh) | 竹材维管束识别方法、装置以及电子设备 | |
CN113936165B (zh) | Ct图像的处理方法、终端及计算机存储介质 | |
CN114004851B (zh) | 一种细胞图像分割方法、装置及细胞计数方法 | |
Ojha et al. | Cuckoo Search Constrained Gamma Masking for MRI Image Detail Enhancement. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |