CN117078606A - 维管植物秆茎截面结构检测方法、装置及电子设备 - Google Patents

维管植物秆茎截面结构检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117078606A
CN117078606A CN202310961029.5A CN202310961029A CN117078606A CN 117078606 A CN117078606 A CN 117078606A CN 202310961029 A CN202310961029 A CN 202310961029A CN 117078606 A CN117078606 A CN 117078606A
Authority
CN
China
Prior art keywords
catheter
image
fiber sheath
section
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310961029.5A
Other languages
English (en)
Inventor
王汉坤
徐皓诚
徐信武
黎静
苏娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
International Center for Bamboo and Rattan
Original Assignee
Nanjing Forestry University
International Center for Bamboo and Rattan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University, International Center for Bamboo and Rattan filed Critical Nanjing Forestry University
Priority to CN202310961029.5A priority Critical patent/CN117078606A/zh
Publication of CN117078606A publication Critical patent/CN117078606A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种维管植物秆茎截面结构检测方法、装置及电子设备,其中方法包括:根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上;根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像;根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积。从而可以快速、准确测定大批量样品、大尺寸样品、大观察区域内的维管植物秆茎截面结构。

Description

维管植物秆茎截面结构检测方法、装置及电子设备
技术领域
本发明涉及植物检测技术领域,尤其涉及一种维管植物秆茎截面结构检测方法、装置及电子设备。
背景技术
利用维管植物秆茎截面结构图像对纤维、导管、薄壁组织等解剖特征进行定量分析是科学家在植物科学中面临的一个巨大挑战。
观察维管植物秆茎截面结构一般采用常规的显微技术手段,包括普通光学显微镜、激光共聚焦显微镜、扫描电子显微镜、X射线断层扫描技术。这种方式难以对大批量样品、大尺寸样品、大观察区域内的纤维鞘(股)、导管数量和分布进行快速、准确测定。
发明内容
本发明提供一种维管植物秆茎截面结构检测方法、装置及电子设备,用以解决现有技术中难以对维管植物秆茎截面结构进行快速、准确测定的缺陷,实现大批量样品、大尺寸样品、大观察区域内的维管植物秆茎截面结构的快速、准确测定。
本发明提供一种维管植物秆茎截面结构检测方法,包括:
根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据所述纤维鞘定位坐标和所述导管定位坐标将所述纤维鞘预测框和所述导管预测框对应到所述目标截面图像上;
根据所述纤维鞘预测框和所述导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像;
根据所述纤维鞘图像、所述导管图像以及图像分辨率,计算所述维管植物秆茎的纤维鞘面积和导管面积;
其中,所述维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
根据本发明提供的一种维管植物秆茎截面结构检测方法,所述维管植物秆茎截面结构预测模型根据以下方法训练得到:
将所述样本截面图像分割为多个样本子图,并对所述样本截面图像中的纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签同步分割到所述多个样本子图中;
将所述多个样本子图经过数据增强处理后,依次通过预训练权重的目标检测模型,经过冻结阶段和解冻阶段训练得到所述维管植物秆茎截面结构预测模型。
根据本发明提供的一种维管植物秆茎截面结构检测方法,所述根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,具体包括:
根据所述目标截面图像生成多个截面子图;所述截面子图的尺寸与所述样本子图的尺寸一致;
根据所述多个截面子图和训练好的维管植物秆茎截面结构预测模型,得到所述多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标;
将所述多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测方法,所述方法还包括:
在根据所述目标截面图像生成多个截面子图之前,预先设置所述多个截面子图中相邻截面子图的重叠区域面积;以及,
在将所述多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并之前,根据所述重叠区域面积,去除所述多个截面子图中重复的纤维鞘预测框、重复的纤维鞘定位坐标、重复的导管预测框和重复的导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测方法,在根据所述目标截面图像生成多个截面子图之前,所述方法还包括:
对所述目标截面图像进行RGB转换并增加灰条后进行改变尺寸处理;
对改变尺寸后的所述目标截面图像添加迭代的样本量维度。
根据本发明提供的一种维管植物秆茎截面结构检测方法,所述根据所述纤维鞘预测框和所述导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像,具体包括:
对所述纤维鞘预测框和所述导管预测框进行过滤;
根据过滤后的纤维鞘预测框和导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像。
根据本发明提供的一种维管植物秆茎截面结构检测方法,所述方法还包括:
在得到所述目标截面图像的纤维鞘图像和导管图像之后,对所述纤维鞘图像和所述导管图像进行可视化处理。
本发明还提供一种维管植物秆茎截面结构检测装置,包括:
预测模块,用于根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据所述纤维鞘定位坐标和所述导管定位坐标将所述纤维鞘预测框和所述导管预测框对应到所述目标截面图像上;
图像模块,用于根据所述纤维鞘预测框和所述导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像;
计算模块,用于根据所述纤维鞘图像、所述导管图像以及图像分辨率,计算所述维管植物秆茎的纤维鞘面积和导管面积;
其中,所述维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述维管植物秆茎截面结构检测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述维管植物秆茎截面结构检测方法。
本发明提供的维管植物秆茎截面结构检测方法、装置及电子设备,通过根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到维管植物秆茎截面结构预测模型,根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标并将纤维鞘预测框和导管预测框对应到截面图像上,然后通过二值化方法得到截面图像对应的纤维鞘图像和导管图像,最后根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积,从而可以快速、准确测定大批量样品、大尺寸样品、大观察区域内的维管植物秆茎截面结构。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的维管植物秆茎截面结构检测方法的流程示意图;
图2为本发明提供的目标框与子图的相对位置关系的示意图;
图3为本发明提供的维管植物秆茎截面结构检测装置的结构示意图;
图4为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
维管植物包括包括竹材、藤材、芦苇等,纤维、导管、薄壁组织是维管植物的重要解剖结构,他们相互毗邻,其中纤维腔小壁厚起机械支撑的作用、导管腔大壁薄起水分等液体输送的作用、薄壁组织起填充、粘结的作用。维管植物在湿度变化的环境中,宏观上会发生尺寸上的干缩湿胀,究其原因是纤维、导管、薄壁组织对环境湿度的变化产生了收缩或膨胀的响应。维管植物在外力作用下发生变形甚至破坏,在微观层面,其内部的纤维作为增强相起骨架作用、导管的空腔给变形提供了空间、薄壁组织有较好的抗压性能,三者的协同作用使得维管植物兼具高强、高韧的特性。因此,利用维管植物秆茎截面结构图像对纤维、导管、薄壁组织等解剖特征进行定量分析是科学家在植物科学中面临的一个巨大挑战。
常规显微技术手段,多采用人工计数法对小尺寸样品或者小观察区域进行维管束的数量或分布测定,难以对大批量样品、大尺寸样品、大观察区域内的纤维鞘(股)、导管数量和分布进行快速、准确测定。
图1为本发明提供的维管植物秆茎截面结构检测方法的流程示意图,如图1所示,该方法包括以下步骤:
步骤100、根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上。
步骤101、根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像。
步骤102、根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积。
其中,维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
具体地,本发明实施例中,目标截面图像为需要进行纤维鞘(股)、导管数量和分布进行测定的维管植物秆茎截面图像,样本截面图像为带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的维管植物秆茎截面图像。需要说明的是,本发明中的纤维鞘也可以表示为纤维股,或者纤维鞘和纤维股,此概念全文保持一致,后文不再赘述。
本发明实施例中的目标截面图像和样本截面图像为肉眼能够明显分辨出纤维鞘(股)、导管、薄壁组织之间的边界为准的截面图像。这种截面图像可以将维管植物秆茎沿着横纹方向截断,采用刀片(例如Leica E0997型刀片)对该截面进行抛光处理得到。
一些实施方式中,在对目标截面图像进行预测或根据样本截面图像进行训练之前,可以利用超声波对目标截面图像或样本截面图像进行超声波处理,从而去除细胞腔内部的杂质(如灰尘、粉尘等),例如进行超声频率为100-200W,超声时间为5-10min的超声波处理。
目标截面图像和样本截面图像可以使用包括但不限于扫描电子显微镜、平板式影像扫描仪、电荷耦合元件(Charge coupled Device,CCD)相机等先对目标截面图像拍摄视频然后截取图片得到的,或者直接拍摄照片得到的。
对样本截面图像进行标注可以使用包括但不限于精灵标注助手软件、Label-Img软件等,分别对样本截面图像中的纤维鞘和导管进行预测框标签和定位坐标标签的标注。
一些实施方式中,由于导管呈圆形,在截面内仅有尺寸上的差异,因此本发明兼顾尺寸大小的导管,共计标注2000~3000个样本,标签值设为“vessel”。由于纤维鞘在不同类型维管束中呈现为不同的形态:未分化型维管束的纤维鞘为一个整体;半分化/半开放型维管束的外方纤维鞘独立,侧方纤维鞘和内方纤维鞘相连;开放型维管束和紧腰型维管束的四个纤维鞘互独立;断腰型维管束的外方纤维鞘和侧方纤维鞘独立,内方存在纤维股;双断腰型维管束的四个纤维鞘互独立,内方、外方各存在一个纤维股;由于在散生竹中仅存在纤维鞘,在丛生竹中存在纤维鞘和纤维股,但都是纤维的聚集体,统一将其标签设为“fiber”,每种类型维管束的纤维鞘(股)分别标注400~600组样本(400~600指的是维管束数量,每个维管束含有1~6个纤维鞘(股)不等)。标注完成后可以将坐标数据保存为pascal-voc格式文件。
根据标注了纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像和目标检测模型(例如YOLO V7目标检测模型),可以训练得到本发明提供的维管植物秆茎截面结构预测模型。
得到训练好的维管植物秆茎截面结构预测模型后,可以根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,然后分别根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上,也就是在目标截面图像上绘制出纤维鞘预测框和导管预测框。
由于每个纤维鞘预测框和导管预测框中包含纤维鞘和导管,可以通过二值化方法将每个预测框内的目标以图像的形式分割出来。需要说明的是,由于维管植物秆茎截面内纤维鞘(股)、导管、薄壁组织之间的对比度较低,直接对目标截面图像进行二值化的效果不佳,本发明选择在通过训练好的维管植物秆茎截面结构预测模型标注的目标截面图像的纤维鞘预测框和导管预测框中进行二值化,从而得到纤维鞘图像和导管图像。
一些实施方式中,由于每个预测框在目标截面图像中的坐标是唯一的,可以将得到的纤维鞘图像和导管图像还原到目标截面图像对应的位置上,并可以分为多个图层,选择将原始目标截面图像的图层隐藏(仅保留轮廓),使得目标二值化得到的纤维鞘图像和导管图像更加直观。
其中,可以采用任意现有的二值化方法,包括不限于峰法、P参数法、最大类间方差法(Otsu法)、最大熵阈值法、迭代法(最佳阈值法)等,本发明对采用的二值化方法并不限定。
根据目标截面图像的图像分辨率可以确定单个像素点的实际尺寸,例如,一幅以9600dpi扫描获得的图像,其单个像素的边长为2.64μm,单个像素点的面积为6.9696μm2
因此经过二值化得到纤维鞘图像和导管图像后,可以根据纤维鞘图像所占的像素点数量、导管图像所占的像素点数量(二值化后,黑色像素点代表目标,白色像素点代表背景)以及根据图像分辨率计算得到的单个像素点的实际尺寸,确定纤维鞘的图像面积和导管的图像面积。即,将纤维鞘图像和导管所占的像素点数量分别乘以单个像素点的实际尺寸,可以分别得到目标截面图像中的纤维鞘面积和导管面积,并且由维管植物秆茎截面面积减去纤维鞘(股)和导管的总面积可以得到薄壁组织的面积。
本发明提供的维管植物秆茎截面结构检测方法,通过根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到维管植物秆茎截面结构预测模型,根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标并将纤维鞘预测框和导管预测框对应到截面图像上,然后通过二值化方法得到截面图像对应的纤维鞘图像和导管图像,最后根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积,从而可以快速、准确测定大批量样品、大尺寸样品、大观察区域内的维管植物秆茎截面结构。
根据本发明提供的一种维管植物秆茎截面结构检测方法,维管植物秆茎截面结构预测模型根据以下方法训练得到:
将样本截面图像分割为多个样本子图,并对样本截面图像中的纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签同步分割到多个样本子图中;
将多个样本子图经过数据增强处理后,依次通过预训练权重的目标检测模型,经过冻结阶段和解冻阶段训练得到维管植物秆茎截面结构预测模型。
具体地,由于纤维鞘(股)、导管的尺寸相较于维管植物秆茎截面尺寸十分微小,因此对于整幅的秆茎截面图像,直接检测纤维鞘(股)、导管具有极高的难度。因此,本发明在训练维管植物秆茎截面结构预测模型前,可以经过图像标签的同步分割和数据增强处理。
一些实施方式中,进行图像标签的同步分割处理可以包括以下步骤:
1、将各个样本子图导入必要的Python库,包括os、random、numpy、pandas、matplotlib、PIL和torch等库。
2、定义一个函数exist_objs,该函数用于判断新框与旧框的交并比(Intersection over Union,IOU)是否满足限制条件(可以自定义,数值范围为0.0~1.0),若满足则将新框保留作为子图的目标框,其中,旧框表示子图中的已知目标框。
3、,定义各个目标框的左上角和右下角坐标,并遍历子图的所有目标框,判断目标框与子图的位置关系,即目标框是否在子图的范围内,分别处理不同的情况,图2为本发明提供的目标框与子图的相对位置关系的示意图,如图2所示,包括9种情况:
①目标框完全包含在子图中;②目标框的左上角在子图上方,右下角在子图中;③目标框的左上角在子图上方,右下角在子图右侧;④目标框的左上角在子图左侧,右下角在子图中;⑤目标框的左上角在子图左侧,右下角在子图下方;⑥目标框的左上角在子图左上方,右下角在子图中;⑦目标框的左上角在子图中,右下角在子图右下方;⑧目标框的左上角在子图中,右下角在子图下方;⑨目标框的左上角在子图中,右下角在子图右侧。
4、根据目标框和子图的位置关系,裁剪出目标框在子图中的位置。
5、返回保留下来的目标框,用于生成子图的标注信息。
一些实施方式中,数据增强处理可以包括但不限于镜像(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、平移(translation)、高斯噪声(gaussion noise)、图像亮度、饱和度和对比度变化、CutUp、Mixup等。作为一种可选实施例,可以选择进行mosaic(马赛克)数据增强处理,设置每个步长(step)有多少概率(可以自定义,数值范围为0%~100%)使用mosaic数据增强,其原理是把四张图片裁剪混合成一张图片,裁剪位置的长宽可以随机变化。
将样本截面图像分割成多个样本子图,并对预测框标签做同步分割,保证样本子图的图像和预测框标签一一对应。对每个子图进行裁剪和数据增强等操作,可以生成更多的训练数据,增强模型的泛化能力。
得到多个经过数据增强的样本子图后,可以将样本子图依次通过预训练权重的目标检测模型,经过冻结阶段和解冻阶段训练得到维管植物秆茎截面结构预测模型。
一些实施方式中,可以以开源的yolov7_weights权重作为该模型的预训练权重,降低主干特征提取网络的随机性,并且使用半精度浮点格式(FP16),以减少所需的内存量。
训练分为两个阶段,分别是冻结阶段和解冻阶段。
冻结阶段的模型主干被冻结,特征提取网络不发生改变,仅对网络进行微调。
一些实施方式中,冻结训练世代(Freeze_Epoch)可以设置为50~100,冻结时每次迭代的样本量(Freeze_batch_size)可以较大设为4或8。
解冻阶段占用显存较大,特征提取网络会发生改变。
一些实施方式中,解冻训练世代(Unfreeze_Epoch)可以设置为100~500,解冻时每次迭代的样本量(Unfreeze_batch_size)可以较小设为2或4。
该模型其他训练参数的选择与优化器有关,包括但不限于Adam优化器、SGD优化器等。
一些实施方式中,在使用Adam优化器的情况下,模型的初始学习率(Init_lr)可以设置为0.001,模型的最小学习率,默认为初始学习率的0.01,防止过拟合的权值衰减(weight_decay)设置为0。
一些实施方式中,在使用SGD优化器的情况下,模型的初始学习率(Init_lr)可以设置为0.0001,模型的最小学习率,默认为初始学习率的0.01,防止过拟合的权值衰减(weight_decay)设置为0.0005。
该模型使用的学习率下降方式,包括但不限于step型、cos型等。可以自定义每n个世代(epoch)保存一次权值。
该模型的计算损失函数,包括但不限于二进制交叉熵逻辑斯蒂损失(BCE_with_Logits_Loss)、交并比损失(IOU_Loss)等。足够的训练世代(epoch)有利于找到损失函数的全局或者局部最小值。
一些实施方式中,可以基于2000个“vessel”标签、1000个“fiber”标签,选取SGD优化器,学习率下降方式选取step型,不进行冻结训练,解冻时每次迭代的样本量为2,解冻训练世代为300,得到平均精度(mAP)0.959、召回率(recall)0.947、准确度(precision)0.920。
经过训练后,可以得到训练好的维管植物秆茎截面结构预测模型,输入目标截面图像后可以得到目标截面图像的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测方法,根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,具体包括:
根据目标截面图像生成多个截面子图;截面子图的尺寸与样本子图的尺寸一致;
根据多个截面子图和训练好的维管植物秆茎截面结构预测模型,得到多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标;
将多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
具体地,由于本发明提供的维管植物秆茎截面结构模型根据样本截面图像分割后的样本子图训练得到的,在使用该模型时,输入的图像的尺寸与训练时所用的样本子图的尺寸需要保持一致。因此,可以根据目标截面图像生成多个截面子图,截面子图的尺寸与样本子图的尺寸一致。
一些实施方式中,可以通过滑动窗口来生成截面子图。以样本子图尺寸为768×768像素为例,针对目标截面图像文件(若是视频文件,可以是第一帧的图像或者任意一帧的图像),自图像左上角开始,生成一个768×768像素的窗口作为第一个截面子图,然后将该窗口向右平移、向下平移依次生成其余的截面子图,需要说明的是,根据目标截面图像生成的多个截面子图包括目标截面图像上的全部内容。
将多个截面子图输入训练好的维管植物秆茎截面结构预测模型,可以得到每个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
然后,可以根据截面子图的尺寸与其在目标截面图像上对应的位置,将多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并,从而得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测方法,该方法还包括:
在根据目标截面图像生成多个截面子图之前,预先设置多个截面子图中相邻截面子图的重叠区域面积;以及,
在将多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并之前,根据重叠区域面积,去除多个截面子图中重复的纤维鞘预测框、重复的纤维鞘定位坐标、重复的导管预测框和重复的导管定位坐标。
具体地,在根据目标截面图像生成多个截面子图之前,可以预先设置多个截面子图中相邻截面子图的重叠区域面积。
例如,按照图像左上角依次向右平移和向下平移得到多个截面子图,可以定义相邻截面子图之间的重叠区域面积为0%~100%之间,一种优选的方式是设置相邻截面子图之间的重叠区域面积为30%。
在预先设置重叠区域面积的情况下,可以根据预设的区域面积对各个截面子图中的重复的纤维鞘预测框、重复的纤维鞘定位坐标、重复的导管预测框和重复的导管定位坐标进行过滤。
一些实施方式中,可以对重叠部分进行非极大值抑制计算交并比(Intersectionover Union,IOU),去除重复的预测框。
去除各个截面子图中重复的预测框和重复的定位坐标后,再对多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测方法,在根据目标截面图像生成多个截面子图之前,该方法还包括:
对目标截面图像进行RGB转换并增加灰条后进行改变尺寸处理;
对改变尺寸后的目标截面图像添加迭代的样本量维度。
具体地,在根据目标截面图像生成多个截面子图之前,可以对目标截面图像进行RGB转换。
为了对图像进行改变尺寸(resize)操作,得到固定大小的输入尺寸,可以给图像增加灰条,从而实现不失真的resize。
改变尺寸后,再添加上每次迭代的样本量(batch_size)维度,将其输入训练好的维管植物秆茎截面结构预测模型。
根据本发明提供的一种维管植物秆茎截面结构检测方法,根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像,具体包括:
对纤维鞘预测框和导管预测框进行过滤;
根据过滤后的纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像。
具体地,在得到纤维鞘预测框和导管预测框之后,可以对纤维鞘预测框和导管预测框进行过滤。
其中,由于导管的形态近似于圆形,因此预测框的长宽比应接近于1:1,一些实施方式中,当某个导管预测框的长宽比小于1:2,或大于2:1,则过滤该预测框。
其中,由于纤维鞘(股)的尺寸差异较大,即使通过非极大值抑制,仍然可能存在面积过小的预测框,一些实施方式中,可以将纤维鞘(股)进行聚类,聚类的数据指标为置信度和面积大小,当某个纤维鞘预测框的置信度小于90%时,过滤该预测框。
然后,再根据过滤后的纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像,从得到的纤维鞘图像和导管图像更加准确。
根据本发明提供的一种维管植物秆茎截面结构检测方法,该方法还包括:
在得到目标截面图像的纤维鞘图像和导管图像之后,对纤维鞘图像和导管图像进行可视化处理。
具体地,得到目标截面图像中的纤维鞘图像和导管图像后,可以通过热力图等方式对其进行可视化处理。
一些实施方式中,可以使用sigmoid函数对输出的预测结果进行处理后使用cv2库对热力图进行了绘制,实现特征层的可视化。
将所得到的结构参数数据进行可视化处理,便于对维管植物秆茎截面的形态和结构进行更深入的研究和分析。
下面对本发明提供的维管植物秆茎截面结构检测装置进行描述,下文描述的维管植物秆茎截面结构检测装置与上文描述的维管植物秆茎截面结构检测方法可相互对应参照。
图3为本发明提供的维管植物秆茎截面结构检测装置的结构示意图,如图3所示,该装置包括:
预测模块300,用于根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上;
图像模块310,用于根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像;
计算模块320,用于根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积;
其中,维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
根据本发明提供的一种维管植物秆茎截面结构检测装置,维管植物秆茎截面结构预测模型根据以下方法训练得到:
将样本截面图像分割为多个样本子图,并对样本截面图像中的纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签同步分割到多个样本子图中;
将多个样本子图经过数据增强处理后,依次通过预训练权重的目标检测模型,经过冻结阶段和解冻阶段训练得到维管植物秆茎截面结构预测模型。
根据本发明提供的一种维管植物秆茎截面结构检测装置,根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,具体包括:
根据目标截面图像生成多个截面子图;截面子图的尺寸与样本子图的尺寸一致;
根据多个截面子图和训练好的维管植物秆茎截面结构预测模型,得到多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标;
将多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测装置,该装置还包括:
预设模块,用于在根据目标截面图像生成多个截面子图之前,预先设置多个截面子图中相邻截面子图的重叠区域面积;以及,
去重模块,用于在将多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并之前,根据重叠区域面积,去除多个截面子图中重复的纤维鞘预测框、重复的纤维鞘定位坐标、重复的导管预测框和重复的导管定位坐标。
根据本发明提供的一种维管植物秆茎截面结构检测装置,在根据目标截面图像生成多个截面子图之前,该装置还包括预处理模块,用于:
对目标截面图像进行RGB转换并增加灰条后进行改变尺寸处理;
对改变尺寸后的目标截面图像添加迭代的样本量维度。
根据本发明提供的一种维管植物秆茎截面结构检测装置,根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像,具体包括:
对纤维鞘预测框和导管预测框进行过滤;
根据过滤后的纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像。
根据本发明提供的一种维管植物秆茎截面结构检测装置,该装置还包括:
可视化模块,用于在得到目标截面图像的纤维鞘图像和导管图像之后,对纤维鞘图像和导管图像进行可视化处理。
图4为本发明提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行维管植物秆茎截面结构检测方法,该方法包括:
根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上;
根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像;
根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积;
其中,维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的维管植物秆茎截面结构检测方法,该方法包括:
根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上;
根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像;
根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积;
其中,维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的维管植物秆茎截面结构检测方法,该方法包括:
根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据纤维鞘定位坐标和导管定位坐标将纤维鞘预测框和导管预测框对应到目标截面图像上;
根据纤维鞘预测框和导管预测框,通过二值化方法得到目标截面图像的纤维鞘图像和导管图像;
根据纤维鞘图像、导管图像以及图像分辨率,计算维管植物秆茎的纤维鞘面积和导管面积;
其中,维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种维管植物秆茎截面结构检测方法,其特征在于,包括:
根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据所述纤维鞘定位坐标和所述导管定位坐标将所述纤维鞘预测框和所述导管预测框对应到所述目标截面图像上;
根据所述纤维鞘预测框和所述导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像;
根据所述纤维鞘图像、所述导管图像以及图像分辨率,计算所述维管植物秆茎的纤维鞘面积和导管面积;
其中,所述维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
2.根据权利要求1所述的维管植物秆茎截面结构检测方法,其特征在于,所述维管植物秆茎截面结构预测模型根据以下方法训练得到:
将所述样本截面图像分割为多个样本子图,并对所述样本截面图像中的纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签同步分割到所述多个样本子图中;
将所述多个样本子图经过数据增强处理后,依次通过预训练权重的目标检测模型,经过冻结阶段和解冻阶段训练得到所述维管植物秆茎截面结构预测模型。
3.根据权利要求2所述的维管植物秆茎截面结构检测方法,其特征在于,所述根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,具体包括:
根据所述目标截面图像生成多个截面子图;所述截面子图的尺寸与所述样本子图的尺寸一致;
根据所述多个截面子图和训练好的维管植物秆茎截面结构预测模型,得到所述多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标;
将所述多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标。
4.根据权利要求3所述的维管植物秆茎截面结构检测方法,其特征在于,所述方法还包括:
在根据所述目标截面图像生成多个截面子图之前,预先设置所述多个截面子图中相邻截面子图的重叠区域面积;以及,
在将所述多个截面子图中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标合并之前,根据所述重叠区域面积,去除所述多个截面子图中重复的纤维鞘预测框、重复的纤维鞘定位坐标、重复的导管预测框和重复的导管定位坐标。
5.根据权利要求3所述的维管植物秆茎截面结构检测方法,其特征在于,在根据所述目标截面图像生成多个截面子图之前,所述方法还包括:
对所述目标截面图像进行RGB转换并增加灰条后进行改变尺寸处理;
对改变尺寸后的所述目标截面图像添加迭代的样本量维度。
6.根据权利要求1所述的维管植物秆茎截面结构检测方法,其特征在于,所述根据所述纤维鞘预测框和所述导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像,具体包括:
对所述纤维鞘预测框和所述导管预测框进行过滤;
根据过滤后的纤维鞘预测框和导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像。
7.根据权利要求1至6任一所述的维管植物秆茎截面结构检测方法,其特征在于,所述方法还包括:
在得到所述目标截面图像的纤维鞘图像和导管图像之后,对所述纤维鞘图像和所述导管图像进行可视化处理。
8.一种维管植物秆茎截面结构检测装置,其特征在于,包括:
预测模块,用于根据目标截面图像和训练好的维管植物秆茎截面结构预测模型,得到所述目标截面图像中的纤维鞘预测框、纤维鞘定位坐标、导管预测框和导管定位坐标,并根据所述纤维鞘定位坐标和所述导管定位坐标将所述纤维鞘预测框和所述导管预测框对应到所述目标截面图像上;
图像模块,用于根据所述纤维鞘预测框和所述导管预测框,通过二值化方法得到所述目标截面图像的纤维鞘图像和导管图像;
计算模块,用于根据所述纤维鞘图像、所述导管图像以及图像分辨率,计算所述维管植物秆茎的纤维鞘面积和导管面积;
其中,所述维管植物秆茎截面结构预测模型根据带有纤维鞘预测框标签、纤维鞘定位坐标标签、导管预测框标签和导管定位坐标标签的样本截面图像训练得到。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述维管植物秆茎截面结构检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述维管植物秆茎截面结构检测方法。
CN202310961029.5A 2023-08-01 2023-08-01 维管植物秆茎截面结构检测方法、装置及电子设备 Pending CN117078606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310961029.5A CN117078606A (zh) 2023-08-01 2023-08-01 维管植物秆茎截面结构检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310961029.5A CN117078606A (zh) 2023-08-01 2023-08-01 维管植物秆茎截面结构检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117078606A true CN117078606A (zh) 2023-11-17

Family

ID=88710604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310961029.5A Pending CN117078606A (zh) 2023-08-01 2023-08-01 维管植物秆茎截面结构检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117078606A (zh)

Similar Documents

Publication Publication Date Title
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111819569A (zh) 对组织切片图像的虚拟染色
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN112419295B (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN113962976B (zh) 用于病理玻片数字图像的质量评估方法
CN111462071B (zh) 一种图像处理方法和系统
CN113989407B (zh) Ct影像中肢体部位识别模型训练方法及系统
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
US20220406049A1 (en) Systems and methods for digital transformation of medical images and fibrosis detection
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
Naglah et al. Conditional GANs based system for fibrosis detection and quantification in Hematoxylin and Eosin whole slide images
CN113724267B (zh) 一种乳腺超声图像肿瘤分割方法及装置
CN114399764A (zh) 一种病理切片的扫描方法及系统
CN115132327B (zh) 微卫星不稳定预测系统及其构建方法、终端设备及介质
CN117078606A (zh) 维管植物秆茎截面结构检测方法、装置及电子设备
Hemmatirad et al. Quality Control of Whole Slide Images using the YOLO Concept
Schwier et al. Reconstruction of vessel structures from serial whole slide sections of murine liver samples
CN111429440A (zh) 显微病理图像细胞充足检测方法、系统、设备、装置及介质
CN117710317B (zh) 检测模型的训练方法及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination