CN114612738A - 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 - Google Patents

细胞电镜图像分割模型的训练方法和细胞器互作分析方法 Download PDF

Info

Publication number
CN114612738A
CN114612738A CN202210141093.4A CN202210141093A CN114612738A CN 114612738 A CN114612738 A CN 114612738A CN 202210141093 A CN202210141093 A CN 202210141093A CN 114612738 A CN114612738 A CN 114612738A
Authority
CN
China
Prior art keywords
organelle
electron microscope
microscope image
segmentation
cell electron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210141093.4A
Other languages
English (en)
Other versions
CN114612738B (zh
Inventor
徐涛
肖立
胡俊杰
刘丽清
杨树鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Biophysics of CAS
Institute of Computing Technology of CAS
Original Assignee
Institute of Biophysics of CAS
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Biophysics of CAS, Institute of Computing Technology of CAS filed Critical Institute of Biophysics of CAS
Priority to CN202210141093.4A priority Critical patent/CN114612738B/zh
Publication of CN114612738A publication Critical patent/CN114612738A/zh
Application granted granted Critical
Publication of CN114612738B publication Critical patent/CN114612738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种细胞电镜图像分割模型的训练方法，包括：采集细胞电镜图像并对细胞电镜图像进行专家标注和预处理，将预处理后的细胞电镜图像划分为训练集和测试集；构建细胞电镜图像分割模型并利用训练集训练细胞电镜图像分割模型；利用训练生成的细胞电镜图像分割模型分割细胞电镜图像测试集，获取分割图；对分割图进行筛选获得筛选结果；采集新的细胞电镜图像并与筛选结果合并成新的训练集，利用测试集继续优化细胞电镜图像分割模型；迭代执行分割操作、筛选操作、采集合并操作以及优化操作，直到细胞电镜图像分割模型能够识别测试集上所有的细胞器，获得训练完成的细胞电镜图像分割模型。本发明同时还公开了一种细胞器互作分析方法及系统。

Description

细胞电镜图像分割模型的训练方法和细胞器互作分析方法
技术领域
本发明涉及计算机视觉图像处理领域、电镜成像领域以及统计分析领域，具体涉及一种细胞电镜图像分割模型的训练方法，一种细胞器互作分析方法及系统。
背景技术
细胞器泛指散布于细胞质中的执行不同生理功能的多种模型结构。细胞器相互作用(简称细胞器互作)是细胞执行正常生理功能和维持代谢平衡的重要途径。膜接触位点(Membrane Contact Site，MCS)是细胞器互作的主要方式，是由细胞器之间由栓系因子(molecular tethering)介导细胞内的脂质、钙离子、活性氧和信号转导等多种动态平衡和功能过程。MCS在细胞生物学乃至生理及病理状态下的功能仍有很多未知，是目前研究的重要热点问题。现有技术中，SplitGFP以及可诱导的MCS荧光标记技术在近十年以来被用于量化MCS，但这些技术都有对MCS形成的人为干扰，不能真实反映生理状态下MCS的形成状态。
电子显微镜(简称电镜)可以采集所有细胞器的超分辨率全景信息，满足纳米尺度MCS定性和定量分析需求，被用于定义内质网(ER)和线粒体(Mito)之间的互作类型。电镜数据的MCS量化分析为解析MCS在特定细胞动态过程中的作用提供了一些关键证据。然而，以往基于手动分割的MCS量化耗时费力，无法避免人工判断的主观因素干扰，难以支持样品间的高通量大样本统计比对分析。
深度学习可以实现自动化、无主观因素干扰的图像分割，被用于细胞电镜三维数据分割，但大体量三维数据对电镜机时以及计算资源需求量巨大，目前仍限于特定电镜样本分割分析，无法满足一般生物医学统计分析的样本量要求。
发明内容
为了解决上述问题，本发明提供了一种细胞电镜图像分割模型的训练方法、一种细胞器互作分析方法及系统。
根据本发明的第一方面，提供了一种细胞电镜图像分割模型的训练方法，包括：
采集细胞电镜图像，并对细胞电镜图像进行专家标注，获取带标签的细胞电镜图像，其中，标签包括根据细胞器形态划分的第一类细胞器和第二类细胞器；
对带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本，并将预处理后的细胞电镜图像样本划分成训练集和测试集；
构建细胞电镜图像分割模型，其中，细胞电镜图像分割模型包括语义分割网络和实例分割网络；
利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络，并利用训练生成的语义分割网络处理标签为第一类细胞器的细胞电镜图像测试集，获取第一类细胞器预测分割图；
利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图；
对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选，获取预测分割图筛选结果，其中，预测分割图筛选结果包括未能识别出细胞器和/或细胞器识别错误的分割图；
采集新的细胞电镜图像并进行专家标注和预处理，将新的细胞电镜图像和预测分割图筛选结果合并成新的训练集，利用测试集优化细胞电镜图像分割模型；
迭代执行分割操作、筛选操作、采集合并操作以及优化操作，直到细胞电镜图像分割模型能够识别测试集上所有的细胞器，获得训练完成的细胞电镜图像分割模型。
根据本发明的实施例，上述对带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本包括：
提取细胞电镜图像的目标区域图像；
根据预设像素值和预设分辨率，调整目标区域图像的大小并对目标区域图像进行归一化；
根据预设步长值，利用滑动窗口算法处理归一化后的目标区域图像，获得多个目标图像；
对每一个目标图像进行仿射变换和高斯模糊，获得预处理后的细胞电镜图像样本。
根据本发明的实施例，上述第一类细胞器用于表示具有不规则形状的细胞器；
其中，第二类细胞器用于表示具有规则形状的细胞器；
其中，专家标注表示通过专家选择细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
根据本发明的实施例，上述利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络包括：
利用U-Net、FPN、LinkNet以及PSPNet网络分别对标签为第一类细胞器的细胞电镜图像训练集进行分割；
根据Dice系数，选择Dice系数得分最高的网络作为语义分割网络用于获取第一类细胞器预测分割图；
其中，U-Net、FPN、LinkNet以及PSPNet网络是用于图像分割的神经网络，Dice系数是集合相似度度量函数。
根据本发明的实施例，上述利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图包括：
构建实例分割网络并进行初始化，其中，实例分割网络包括骨干特征提取网络、区域提案网络、区域分类网络和骨干分割网络；
利用骨干特征提取网络处理细胞电镜图像，获取细胞电镜图像的特征图；
利用区域提案网络处理特征图，将特征图的中心点作为基准点，根据预设的面积值和长宽比进行组合，获取细胞电镜图像的多个不同尺度的候选框；
利用区域分类网络处理候选框，根据分类损失函数，获得候选框的分类和坐标信息；
利用骨干分割网络处理分类和坐标信息，根据损失函数，获得获取第二类细胞器预测分割图。
根据本发明的实施例，上述损失函数包括分类损失函数、回归损失函数和区域提案网络损失函数；
其中，分类损失函数由公式(1)表示：
Figure BDA0003506966460000041
其中，N表示预测的模版框个数，pi表示第i个模版框的预测概率；
其中，回归损失函数由公式(2)和公式(3)表示：
Figure BDA0003506966460000042
Figure BDA0003506966460000043
其中，
Figure BDA0003506966460000044
表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，
Figure BDA0003506966460000045
表示平滑函数；
其中，区域提案网络损失函数由式(4)表示：
Figure BDA0003506966460000046
其中，Ncls表示所有模版框的数量，pi表示第i个模版框的预测概率，
Figure BDA0003506966460000047
表示第i个模版框对应的真实标签，{pi}表示所有模版框的预测概率集合，{ti}表示所有模版框的预测坐标向量集合，ti表示第i个模版框参数化处理后坐标向量，
Figure BDA0003506966460000048
表示第i个模版框对应的真实目标矩形框参数化处理后坐标向量，λ表示加权系数；
其中，损失函数包括最大似然损失，损失函数由公式(5)和公式(6)表示：
Figure BDA0003506966460000049
Figure BDA00035069664600000410
其中，Npos代表正样本数目，Nneg代表负样本数目。
根据本发明的实施例，上述对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选包括：
对分割评测指标设立预设值，从第一类细胞器预测分割图和第二类细胞器预测分割图中选择低于预设值的分割图；
根据低于预设值的分割图，采集具有第一类细胞器和第二类细胞器特征的细胞电镜图像并进行专家标注，将带有标签的新的细胞电镜图像加入到细胞电镜图像样本中进行训练；
迭代进行采集、专家标注和训练。
根据本发明的第二方面，提供了一种细胞器互作分析方法，包括：
利用电子显微镜获取细胞电镜图像；
利用细胞电镜图像分割模型处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述细胞分割模型的训练方法训练得到；
利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
根据本发明的实施例，上述细胞器接触比率由公式(7)表示：
接触比率＝总接触边界长度/总边界长度(7)，
其中，总接触边界长度是指第二类细胞器边界中，与第一类细胞器有接触的边界的总长度，总边界长度是指第二类细胞器边界的总长度；
其中，根据细胞器接触比率分析细胞器互作包括：
定义阈值，阈值用于表示第一类细胞器和第二类细胞器接触的像素数量；
获取第一类细胞器边缘长度和第二类细胞器边缘长度；
排除第一类细胞器边缘长度和第二类细胞器边缘长度完全重合的部分；
定义最小距离矩阵，用于表示第一类细胞器边缘与第二类细胞器边缘的像素距离；
根据最小距离矩阵，构建距离映射图，距离映射图用于表示第一类细胞器和第二类细胞器接触的最小像素数量；
根据阈值和距离映射图，量化细胞器边缘上的像素接触长度。
根据本发明的第三方面，提供了一种细胞器互作分析系统，包括：
数据获取模块，用于获取细胞电镜图像；
细胞电镜图像分割模块，用于利用细胞电镜图像分割模型获取处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述细胞分割模型的训练方法训练得到；
细胞器互作分析模块，用于利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
本发明提供的细胞电镜图像分割模型的训练方法，通过语义分割网络和实例分割网络获取不同细胞器的图像，并通过筛选标注和损失函数对模型进行优化，从而提高了细胞器图像的精度，同时提高了模型的泛化能力；同时，本发明提供的细胞器互作分析方法，充分利用上述模型获得的细胞器分割图像，利用细胞器分割图像分析细胞器的互相作用，提高了细胞器互作分析的高效性和灵活性，节省了研究时间和成本。
附图说明
图1示意性示出了根据本发明实施例的细胞电镜图像分割模型的训练方法的流程图；
图2示意性示出了根据本发明实施例的获取获得预处理后的细胞电镜图像样本流程图；
图3示意性示出了根据本发明实施例获取第二类细胞器预测分割图的流程图；
图4示意性示出了根据本发明实施例的对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选的流程图；
图5示意性示出了利用本发明实施例的筛选标注方法的结果图；
图6示意性示出了根据本发明实施例的细胞器互作分析方法的流程图；
图7是根据本发明实施例的细胞器互作分析方法的结构框图；
图8示意性示出了根据本发明实施例的根据细胞器接触比率分析细胞器互作的流程图；
图9示意性示出了根据本发明的细胞器互作分析方法的可视化效果图；
图10示意性示出了根据本发明实施例的细胞器互作分析系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
在细胞生物学和生理及病理学研究中，膜接触位点(Membrane Contact Site，MCS)量化是研究细胞在不同生理及病理状态下的功能及各个功能相关性的重要途径。
通过对二维电镜图片上特定细胞器的分割可以获得其数量、位置、面积、轮廓等多种信息，理论上可以支持细胞器互作量化分析。深度学习被用于识别二维电镜中形态特征明显的细胞器，包括Mito和致密核心囊泡。如何根据轮廓和灰度细微差异在电镜二维数据中精准辨别种类繁多但形态相近的细胞器是深度识别检测细胞器的一个挑战。本发明依据细胞器的个性化特征运用不同深度学习算法对多种细胞器进行识别分割，得到特定细胞器数量、位置、覆盖区域等多种信息，提取边缘轮廓，在此基础上绘制不同细胞器临接边缘之间基于像素宽度间隔的MCS分布。同时，由于细胞存在多种类型以及不同生理、病理状态对应不同的细胞器形态也存在多种类型，为了适应多个样本不同形态细胞器的要求，本发明引入人机交互主动学习标注来保证细胞器深度学习模型的有效扩展性。此外，生物学问题常常限定于组织内特异细胞类型，本发明也针对机体组织单一细胞类型设计了行之有效的分析流程。
图1示意性示出了根据本发明实施例的细胞电镜图像分割模型的训练方法的流程图。
如图1所示，包括操作S110～操作S180。
在操作S110，采集细胞电镜图像，并对细胞电镜图像进行专家标注，获取带标签的细胞电镜图像，其中，标签包括根据细胞器形态划分的第一类细胞器和第二类细胞器；
在操作S120，对带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本，并将预处理后的细胞电镜图像样本划分成训练集和测试集；
在操作S130，构建细胞电镜图像分割模型，其中，细胞电镜图像分割模型包括语义分割网络和实例分割网络；
在操作S140，利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络，并利用训练生成的语义分割网络处理标签为第一类细胞器的细胞电镜图像测试集，获取第一类细胞器预测分割图；
在操作S150，利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图；
在操作S160，对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选，获取预测分割图筛选结果，其中，预测分割图筛选结果包括未能识别出细胞器和/或细胞器识别错误的分割图；
在操作S170，采集新的细胞电镜图像并进行专家标注和预处理，将新的细胞电镜图像和预测分割图筛选结果合并成新的训练集，利用测试集优化细胞电镜图像分割模型；
在操作S180，迭代执行分割操作、筛选操作、采集合并操作以及优化操作，直到细胞电镜图像分割模型能够识别测试集上所有的细胞器，获得训练完成的细胞电镜图像分割模型。
本发明提供的上述训练方法，通过构建细胞电镜图像分割模型对细胞电镜图像进行处理，并结合筛选标注操作，能够获得具有良好分割能力和泛化能力的细胞电镜图像分割模型。
本发明提供的上述细胞电镜图像分割模型的训练方法，在试验中，本发明用10张精标注的数据作为测试，相比于人工标注，上述细胞电镜图像分割模型在线粒体、脂滴、内质网三种细胞器上预测准确率IoU分别达到92.39％,91.32％and 98.10％。同时针对本发明的上述细胞电镜图像分割模型的预测时间做了相应的测试，线粒体-脂滴、线粒体-内质网两种组合单张图片平均预测时间：机器预测：10.4秒/13.7秒，人工标注：69.9分钟/22.1分钟。
图2示意性示出了根据本发明实施例的获取获得预处理后的细胞电镜图像样本流程图。
如图2所示，包括操作S210～操作S240。
在操作S210，提取细胞电镜图像的目标区域图像；
在操作S220，根据预设像素值和预设分辨率，调整目标区域图像的大小并对目标区域图像进行归一化；
在操作S230，根据预设步长值，利用滑动窗口算法处理归一化后的目标区域图像，获得多个目标图像；
在操作S240，对每一个目标图像进行仿射变换和高斯模糊，获得预处理后的细胞电镜图像样本。
上述样本预处理的过程，扫描电镜图像可以有不同的大小和分辨率。为了使分析过程标准化并降低高分辨率图像的计算成本，通过提取感兴趣区域(Region Of Interest，RoI)对图像进行预处理，并将其调整为标准大小为1024×1024像素、分辨率为10nm的图片。随后，图像强度被归一化。对于训练阶段，使用滑动窗口方法提取1024×1024个步长为512的图片，并对每个图片应用仿射变换和高斯模糊来生成训练样本。
根据本发明的实施例，上述第一类细胞器用于表示具有不规则形状的细胞器；
其中，第二类细胞器用于表示具有规则形状的细胞器；
其中，专家标注表示通过专家选择细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
根据本发明的实施例，上述利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络包括：
利用U-Net、FPN、LinkNet以及PSPNet网络分别对标签为第一类细胞器的细胞电镜图像训练集进行分割；
根据Dice系数，选择Dice系数得分最高的网络作为语义分割网络用于获取第一类细胞器预测分割图；
其中，U-Net、FPN、LinkNet以及PSPNet网络是用于图像分割的神经网络，Dice系数是集合相似度度量函数。
表1是上述几种语义分割网络的比较，上述语义分割网络采用Unet网络，相比较于其他语义分割网络，例如FPN、LinkNet和PSPNet等，具有更高的Dice系数和mIOU系数
表1几种语义分割网络的比较
语义分割网络 Dice系数 mIOU系数
U-Net 0.810 0.681
FPN 0.806 0.676
LinkNet 0.802 0.670
PSPNet 0.770 0.626
在本发明提供的语义分割网络中，UNet模型的学习率设置为0.0005，权重衰减为0.0003。U-Net的训练过程持续了130个Epoch(一个完整的训练过程)，直到达到平衡。
根据本发明的实施例，上述第一类细胞器用于表示具有不规则形状的细胞器；其中，第二类细胞器用于表示具有规则形状的细胞器；其中，专家标注表示通过专家选择细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
规则形状细胞器，在生物学上可以认为以线粒体为代表的具有规则形状的细胞器，其平面投影的形状是圆形或者椭圆形；而不规则细胞器，在生物学上可以认为以内质网为代表的具有不规则形状的细胞器，其平面投影的形状通常没有固定的形状，包括诸如长条形、类圆形、多曲边形等。
图3示意性示出了根据本发明实施例获取第二类细胞器预测分割图的流程图。
如图3所示，上述利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图包括操作S310～操作S350。
在操作S310，构建实例分割网络并进行初始化，其中，实例分割网络包括骨干特征提取网络、区域提案网络、区域分类网络和骨干分割网络；
在操作S320，利用骨干特征提取网络处理细胞电镜图像，获取细胞电镜图像的特征图；
在操作S330，利用区域提案网络处理特征图，将特征图的中心点作为基准点，根据预设的面积值和长宽比进行组合，获取细胞电镜图像的多个不同尺度的候选框；
在操作S340，利用区域分类网络处理候选框，根据分类损失函数，获得候选框的分类和坐标信息；
在操作S350，利用骨干分割网络处理分类和坐标信息，根据损失函数，获得获取第二类细胞器预测分割图。
在本发明实施例中，采用Mask R-CNN作为实例分割的基础网络，Mask R-CNN网络使用区域提案网络(RPN，Region Proposal Network)产生候选矩形框，经过一系列卷积层、池化层后得到的特征图(Feature map)上每个特征点映射回原图中的中心点，作为一个基准点。基于每个基准点会选取多个不同面积、长宽比的候选框。其中面积选取3种，分别为{1282,2562,5122}；长宽比选取3种，分别为{1:1,1:2,2:1}。二者相互组合，每个基准点初步选取9个不同尺度的候选框。
Mask R-CNN网络中训练数据的采样使用IoU得分作为依据。样本分为正样本和负样本，其中正样本的选取为候选矩形框与真实标注框IoU值大于0.7的样本，若没有大于0.7的样本，则选取得分最大的样本作为正样本；负样本则是与所有真实标注框的IoU值都小于0.3的候选矩形框。其他样本被丢弃。
根据本发明的实施例，上述候选框的坐标信息由下述公式确定：
Figure BDA0003506966460000111
Figure BDA0003506966460000112
其中，x，y表示所述候选框的中心点坐标，w表示所述候选框的宽度，h表示所述候选框的高度，下标a表示模板框，上标*表示真实矩形框。
为了保证坐标的平移不变性和长宽的一致性，对候选坐标框进行参数化处理，生成4维向量t。
根据本发明的实施例，上述损失函数包括分类损失函数、回归损失函数和区域提案网络损失函数；
其中，分类损失函数由公式(1)表示：
Figure BDA0003506966460000113
其中，N表示预测的模版框个数，pi表示第i个模版框的预测概率；
上述分类损失函数旨在优化区域分类网络，该区域分类网络用于完成二分类任务，即当前预测区域属于前景或背景的概率。
其中，回归损失函数由公式(2)和公式(3)表示：
Figure BDA0003506966460000121
Figure BDA0003506966460000122
其中，
Figure BDA0003506966460000123
表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，
Figure BDA0003506966460000124
表示平滑函数；
其中，
Figure BDA0003506966460000125
表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，
Figure BDA0003506966460000126
表示平滑函数；
其中，区域提案网络损失函数由式(4)表示：
Figure BDA0003506966460000127
其中，Ncls表示所有模版框的数量，pi表示第i个模版框的预测概率，
Figure BDA0003506966460000128
表示第i个模版框对应的真实标签，{pi}表示所有模版框的预测概率集合，{ti}表示所有模版框的预测坐标向量集合，ti表示第i个模版框参数化处理后坐标向量，
Figure BDA0003506966460000129
表示第i个模版框对应的真实目标矩形框参数化处理后坐标向量，λ表示加权系数；
其中，损失函数包括最大似然损失，损失函数由公式(5)和公式(6)表示：
Figure BDA00035069664600001210
Figure BDA00035069664600001211
其中，Npos代表正样本数目，Nneg代表负样本数目。
训练RPN网络需要训练分类任务与回归任务。总损失为两部分损失函数的线性加权求和。
在本发明的实施例中，为了避免目标细胞器与其他细胞器之间的相似性而导致的假阳性预测，在RPN网络损失中加入了一个最大似然损失，最大似然损失在训练中自动选择得分最高的负样本并对其进行针对性优化。随着训练的进行，得分越高的负例将具有更加与正样本相似的目标特征；另一方面，预测的正样本也针对性选择得分最低的进行针对性优化。只要将这些得分最高的负样本进行优化，那么模型将可以更好地将负样本和正样本区分开来。
对于本发明中Mask R-CNN，选用0.5作为阈值。主干网络为Resnet101，采用SGD优化方法。学习率设置为0.001，权重衰减为0.001。我们首先迭代15个epoch来训练网络头部，然后再迭代10个阶段来训练所有层。整个训练过程持续了25个epoch，直到损失达到平衡。
图4示意性示出了根据本发明实施例的对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选的流程图。
如图4所示，包括操作S410～操作S430。
在操作S410，对分割评测指标设立预设值，从第一类细胞器预测分割图和第二类细胞器预测分割图中选择低于预设值的分割图；
在操作S420，根据低于预设值的分割图，采集具有第一类细胞器和第二类细胞器特征的细胞电镜图像并进行专家标注，将带有标签的新的细胞电镜图像加入到细胞电镜图像样本中进行训练；
上述具有第一类细胞器和第二类细胞器特征的细胞电镜图像，一般是生物学领域通常认知的具有不规则形状的细胞器和规则形状的细胞器，例如内质网(形状不规则)和线粒体(形状规则)。
在操作S430，迭代进行采集、专家标注和训练。
本发明的实施例提供的上述筛选标注操作，通过多轮训练，并根据每次训练结果选取对结果提升最有效的样本进行标注，从而提高了模型泛化能力和拓展了模型应用场景。
图5示意性示出了利用本发明实施例的筛选标注方法的结果图，下面结合图5对上述筛选标注过程作进一步的说明。
如图5所示，从一组初始数量的标记数据开始，我们迭代地训练模型。在每个阶段，训练并测试一个新模型，然后根据mIOU值选择最差的10％图像。对于每个图像，让专家从具有类似细胞器形式/特征的未标注图像中选择最具代表性的图像，并对其进行标注。
图6示意性示出了根据本发明实施例的细胞器互作分析方法的流程图。
如图6所示，包括操作S610～操作S630。
在操作S610，利用电子显微镜获取细胞电镜图像；
在操作S620，利用细胞电镜图像分割模型处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述细胞分割模型的训练方法训练得到；
在操作S630，利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
本发明的上述扫描电镜细胞器或亚细胞互作分析方法基于图像分割算法，主要目的是为了利用深度学习技术帮助细胞生物学研究，完成亚细胞互作分析的一系列繁琐的工作，节省科研人员的时间和精力。本发明的上述互作分析首先完成语义分割算法和实例分割算法的训练，对不同形状特点的细胞器进行分割，之后应用训练好的模型，可以分割出扫描电镜下需要研究的细胞器，并进行互作分析。
图7是根据本发明实施例的细胞器互作分析方法的结构框图，下面结合图7对上述细胞器互作分析方法作进一步详细说明。
如图7所示，本发明是一种基于图像分割算法的扫描电镜亚细胞互作分析方法，主要目的是为了利用深度学习技术帮助细胞生物学研究，完成亚细胞互作分析的一系列繁琐的工作，节省科研人员的时间和精力。发明人首先完成语义分割算法和实例分割算法的训练，对不同形状特点的细胞器进行分割。首先，利用电子显微镜获取细胞电镜图像，对细胞电镜图像进行预处理，利用本发明实施例的模型训练方法，获得训练完成的细胞电镜图像分割模型；其次，利用训练好的细胞电镜图像分割模型处理细胞电镜图像，获得细胞器分割图像；最后，根据细胞器分割图像利用统计相关方法分析细胞器之间的相互作用，获知细胞之间及细胞器之间相互作用、相互影响和功能性关联，从而有利于细胞生理及病理状态的研究。
根据本发明的实施例，上述细胞器接触比率由公式(7)表示：
接触比率＝总接触边界长度/总边界长度(7)，
其中，总接触边界长度是指第二类细胞器边界中，与第一类细胞器有接触的边界的总长度，总边界长度是指第二类细胞器边界的总长度；
以线粒体-内质网为例，其中，内质网是第一类细胞器，线粒体是第二类细胞器，上述公式表示，线粒体边界是指图像中线粒体所有边界的长度，线粒体接触边界是指线粒体和ER之间所有接触长度的总和。
图8示意性示出了根据本发明实施例的根据细胞器接触比率分析细胞器互作的流程图。
如图8所示，包括操作S810～操作S860。
在操作S810，定义阈值，阈值用于表示第一类细胞器和第二类细胞器接触的像素数量；
在操作S820，获取第一类细胞器边缘长度和第二类细胞器边缘长度；
在操作S830，排除第一类细胞器边缘长度和第二类细胞器边缘长度完全重合的部分；
在操作S840，定义最小距离矩阵，用于表示第一类细胞器边缘与第二类细胞器边缘的像素距离；
在操作S850，根据最小距离矩阵，构建距离映射图，距离映射图用于表示第一类细胞器和第二类细胞器接触的最小像素数量；
在操作S860，根据阈值和距离映射图，量化细胞器边缘上的像素接触长度。
图9示意性示出了根据本发明的细胞器互作分析方法的可视化效果图，下面结合图9对上述细胞器互作分析方法作进一步的说明。
如同9所示，为了绘制临接边界之间基于像素宽度间隔的MCS分布，量化了细胞器边缘上每个像素的接触宽度。生物学上，接触满足一对一映射；也就是说，一个细胞器上的每个位点只能与另一个细胞器上的唯一位点进行通信。然而，某些位置的大小仅为1-2nm，而分析图像的分辨率为10nm，限制了该原理在分析中的应用。然而，选择了一种折中策略，即如果没有其他站点的距离比一对像素(站点)的距离短1个像素(>10nm)，则一对像素(站点)具有接触。以线粒体-内质网接触为例，量化接触长度比的步骤如下：定义值阈值，如果第二类细胞器边缘上的像素具有小于或等于阈值的距离(即，10个像素)，则认为其接触第一类细胞器上的像素；分别提取第一类细胞器边缘(EdgeOrganelle1)和第二类细胞器边缘(EdgeOrganelle2)；找到第二类细胞器上与第一类细胞器重叠的像素，这些像素将不被考虑用于接触分析；定义矩阵MinDistance，表示每个第一类细胞器边缘上的最小距离，距离内第二类细胞器边缘上至少有一个像素；在第二类细胞器边缘上搜索阈值范围内的像素，如果第一类细胞器边缘与第二类细胞器边缘的距离大于其MinDistance值1像素，则忽略第一类细胞器边缘，找到第一类细胞器边缘与第二类细胞器边缘接触的最小距离，并将该值记录在DistanceMap中；定义与第一类细胞器区域重叠的第二类细胞器边缘，距离映射值为0。
图10示意性示出了根据本发明实施例的细胞器互作分析系统的结构框图。
如图10所示，上述细胞器互作分析系统1000包括数据获取模块1010、细胞电镜图像分割模块1020和细胞器互作分析模块1030。
数据获取模块1010，用于获取细胞电镜图像；
细胞电镜图像分割模块1020，用于利用细胞电镜图像分割模型获取处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述训练方法训练得到；
细胞器互作分析模块1030，用于利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
本发明提供的上述细胞器互作分析系统，在交互式可视化、适应新的细胞器形态和在多个距离范围内识别接触方面表现出高效性和灵活性，从而能够在多个系统中对各种类型的细胞器接触位点进行统计分析，上述细胞器互作分析系统的定量分析揭示了在生精上皮周期中，支持细胞中存在一个内质网-线粒体接触比率波浪形变化，将细胞器接触比率与生理和病理变化过程联系起来。
以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种细胞电镜图像分割模型的训练方法，包括：
采集细胞电镜图像，并对所述细胞电镜图像进行专家标注，获取带标签的细胞电镜图像，其中，所述标签包括根据细胞器形态划分的第一类细胞器和第二类细胞器；
对所述带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本，并将所述预处理后的细胞电镜图像样本划分成训练集和测试集；
构建细胞电镜图像分割模型，其中，所述细胞电镜图像分割模型包括语义分割网络和实例分割网络；
利用所述标签为第一类细胞器的细胞电镜图像训练集训练所述语义分割网络，并利用训练生成的语义分割网络处理所述标签为第一类细胞器的细胞电镜图像测试集，获取第一类细胞器预测分割图；
利用所述标签为第二类细胞器的细胞电镜图像训练集训练所述实例分割网络，并利用训练生成的实例分割网络处理所述标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图；
对所述第一类细胞器预测分割图和所述第二类细胞器预测分割图进行筛选，获取预测分割图筛选结果，其中，所述预测分割图筛选结果包括未能识别出细胞器和/或细胞器识别错误的分割图；
采集新的细胞电镜图像并进行专家标注和预处理，将所述新的细胞电镜图像和所述预测分割图筛选结果合并成新的训练集，利用所述测试集优化所述细胞电镜图像分割模型；
迭代执行分割操作、筛选操作、采集合并操作以及优化操作，直到所述细胞电镜图像分割模型能够识别所述测试集上所有的细胞器，获得训练完成的细胞电镜图像分割模型。
2.根据权利要求1所述的方法，其中，所述对所述带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本包括：
提取所述细胞电镜图像的目标区域图像；
根据预设像素值和预设分辨率，调整所述目标区域图像的大小并对所述目标区域图像进行归一化；
根据预设步长值，利用滑动窗口算法处理归一化后的目标区域图像，获得多个目标图像；
对每一个所述目标图像进行仿射变换和高斯模糊，获得所述预处理后的细胞电镜图像样本。
3.根据权利要求1所述的方法，其中，所述第一类细胞器用于表示具有不规则形状的细胞器；
其中，所述第二类细胞器用于表示具有规则形状的细胞器；
其中，所述专家标注表示通过专家选择所述细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
4.根据权利要求1所述的方法，其中，所述利用所述标签为第一类细胞器的细胞电镜图像训练集训练所述语义分割网络包括：
利用U-Net、FPN、LinkNet以及PSPNet网络分别对所述标签为第一类细胞器的细胞电镜图像训练集进行分割；
根据Dice系数，选择Dice系数得分最高的网络作为所述语义分割网络用于获取所述第一类细胞器预测分割图；
其中，所述U-Net、FPN、LinkNet以及PSPNet网络是用于图像分割的神经网络，Dice系数是集合相似度度量函数。
5.根据权利要求1所述的方法，其中，所述利用所述标签为第二类细胞器的细胞电镜图像训练集训练所述实例分割网络，并利用训练生成的实例分割网络处理所述标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图包括：
构建所述实例分割网络并进行初始化，其中，所述实例分割网络包括骨干特征提取网络、区域提案网络、区域分类网络和骨干分割网络；
利用所述骨干特征提取网络处理所述细胞电镜图像，获取所述细胞电镜图像的特征图；
利用所述区域提案网络处理所述特征图，将所述特征图的中心点作为基准点，根据预设的面积值和长宽比进行组合，获取所述细胞电镜图像的多个不同尺度的候选框；
利用所述区域分类网络处理所述候选框，根据分类损失函数，获得所述候选框的分类和坐标信息；
利用所述骨干分割网络处理所述分类和所述坐标信息，根据损失函数，获得所述获取第二类细胞器预测分割图。
6.根据权利要求5所述的方法，其中，所述损失函数包括分类损失函数、回归损失函数和区域提案网络损失函数；
其中，所述分类损失函数由公式(1)表示：
Figure FDA0003506966450000031
其中，N表示预测的模版框个数，pi表示第i个模版框的预测概率；
其中，所述回归损失函数由公式(2)和公式(3)表示：
Figure FDA0003506966450000032
Figure FDA0003506966450000033
其中，
Figure FDA0003506966450000034
表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，
Figure FDA0003506966450000035
表示平滑函数；
其中，所述区域提案网络损失函数由式(4)表示：
Figure FDA0003506966450000036
其中，Ncls表示所有模版框的数量，pi表示第i个模版框的预测概率，
Figure FDA0003506966450000037
表示第i个模版框对应的真实标签，{pi}表示所有模版框的预测概率集合，{ti}表示所有模版框的预测坐标向量集合，ti表示第i个模版框参数化处理后坐标向量，
Figure FDA0003506966450000038
表示第i个模版框对应的真实目标矩形框参数化处理后坐标向量，λ表示加权系数；
其中，所述损失函数包括最大似然损失，所述损失函数由公式(5)和公式(6)表示：
Figure FDA0003506966450000039
Figure FDA00035069664500000310
其中，Npos代表正样本数目，Nneg代表负样本数目。
7.根据权利要求1所述的方法，其中，所述对所述第一类细胞器预测分割图和所述第二类细胞器预测分割图进行筛选包括：
对分割评测指标设立预设值，从所述第一类细胞器预测分割图和所述第二类细胞器预测分割图中选择低于预设值的分割图；
根据所述低于预设值的分割图，采集具有第一类细胞器和第二类细胞器特征的细胞电镜图像并进行专家标注，将带有标签的新的细胞电镜图像加入到所述细胞电镜图像样本中进行训练；
迭代进行采集、专家标注和训练。
8.一种细胞器互作分析方法，包括：
利用电子显微镜获取细胞电镜图像；
利用细胞电镜图像分割模型处理所述细胞电镜图像，获取细胞器分割图像，其中，所述细胞电镜图像分割模型由权利要求1-7任一所述的方法训练得到；
利用所述细胞器分割图像，根据细胞器接触比率分析细胞器互作。
9.根据权利要求8所述的方法，其中，所述细胞器接触比率由公式(7)表示：
接触比率＝总接触边界长度/总边界长度(7)，
其中，所述总接触边界长度是指第二类细胞器边界中，与第一类细胞器有接触的边界的总长度，所述总边界长度是指第二类细胞器边界的总长度；
其中，所述根据细胞器接触比率分析细胞器互作包括：
定义阈值，所述阈值用于表示第一类细胞器和第二类细胞器接触的像素数量；
获取所述第一类细胞器边缘长度和所述第二类细胞器边缘长度；
排除所述第一类细胞器边缘长度和所述第二类细胞器边缘长度完全重合的部分；
定义最小距离矩阵，用于表示所述第一类细胞器边缘与所述第二类细胞器边缘的像素距离；
根据所述最小距离矩阵，构建所述距离映射图，所述距离映射图用于表示所述第一类细胞器和第二类细胞器接触的最小像素数量；
根据所述阈值和所述距离映射图，量化细胞器边缘上的像素接触长度。
10.一种细胞器互作分析系统，包括：
数据获取模块，用于获取细胞电镜图像；
细胞电镜图像分割模块，用于利用细胞电镜图像分割模型获取处理所述细胞电镜图像，获取细胞器分割图像，其中，所述细胞电镜图像分割模型由权利要求1-7任一所述的方法训练得到；
细胞器互作分析模块，用于利用所述细胞器分割图像，根据细胞器接触比率分析细胞器互作。
CN202210141093.4A 2022-02-16 2022-02-16 细胞电镜图像分割模型的训练方法和细胞器互作分析方法 Active CN114612738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210141093.4A CN114612738B (zh) 2022-02-16 2022-02-16 细胞电镜图像分割模型的训练方法和细胞器互作分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210141093.4A CN114612738B (zh) 2022-02-16 2022-02-16 细胞电镜图像分割模型的训练方法和细胞器互作分析方法

Publications (2)

Publication Number Publication Date
CN114612738A true CN114612738A (zh) 2022-06-10
CN114612738B CN114612738B (zh) 2022-11-11

Family

ID=81859454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210141093.4A Active CN114612738B (zh) 2022-02-16 2022-02-16 细胞电镜图像分割模型的训练方法和细胞器互作分析方法

Country Status (1)

Country Link
CN (1) CN114612738B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807904B (zh) * 2022-07-04 2023-07-01 鴻海精密工業股份有限公司 深度識別模型訓練方法、圖像深度識別方法及相關設備

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110110723A (zh) * 2019-05-07 2019-08-09 艾瑞迈迪科技石家庄有限公司 一种图像中目标区域自动提取的方法及装置
CN110288605A (zh) * 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
CN110458846A (zh) * 2019-06-27 2019-11-15 清华大学 基于图路径搜索和深度学习的细胞图像分割方法
CN112330616A (zh) * 2020-10-28 2021-02-05 上海交通大学 一种脑脊液细胞图像自动化识别和计数的方法
CN112907603A (zh) * 2021-02-05 2021-06-04 杭州电子科技大学 一种基于Unet和分水岭算法的细胞实例分割方法
US20210241178A1 (en) * 2020-02-04 2021-08-05 Case Western Reserve University Computationally derived cytological image markers for predicting risk of relapse in acute myeloid leukemia patients following bone marrow transplantation images
CN113256672A (zh) * 2021-05-20 2021-08-13 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113470041A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 免疫组化细胞图像细胞核分割与计数方法和系统
CN113674292A (zh) * 2021-08-17 2021-11-19 厦门理工学院 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法
CN113763371A (zh) * 2021-09-15 2021-12-07 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN113963237A (zh) * 2021-12-22 2022-01-21 北京的卢深视科技有限公司 模型训练、戴口罩状态检测方法、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110110723A (zh) * 2019-05-07 2019-08-09 艾瑞迈迪科技石家庄有限公司 一种图像中目标区域自动提取的方法及装置
CN110288605A (zh) * 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
CN110458846A (zh) * 2019-06-27 2019-11-15 清华大学 基于图路径搜索和深度学习的细胞图像分割方法
US20210241178A1 (en) * 2020-02-04 2021-08-05 Case Western Reserve University Computationally derived cytological image markers for predicting risk of relapse in acute myeloid leukemia patients following bone marrow transplantation images
CN112330616A (zh) * 2020-10-28 2021-02-05 上海交通大学 一种脑脊液细胞图像自动化识别和计数的方法
CN112907603A (zh) * 2021-02-05 2021-06-04 杭州电子科技大学 一种基于Unet和分水岭算法的细胞实例分割方法
CN113256672A (zh) * 2021-05-20 2021-08-13 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113470041A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 免疫组化细胞图像细胞核分割与计数方法和系统
CN113674292A (zh) * 2021-08-17 2021-11-19 厦门理工学院 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法
CN113763371A (zh) * 2021-09-15 2021-12-07 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN113963237A (zh) * 2021-12-22 2022-01-21 北京的卢深视科技有限公司 模型训练、戴口罩状态检测方法、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NARINDER SINGH PUNN等: "Inception U-Net Architecture for Semantic Segmentation to Identify Nuclei in Microscopy Cell Images", 《ACM TRANS》 *
RAHUL PANDEY等: "NUCLEI CELL SEMANTIC SEGMENTATION USING DEEP LEARNING UNet", 《2020 ADVANCED COMMUNICATION TECHNOLOGIES AND SIGNAL PROCESSING(ACTS)》 *
张灿 等: "基于弱监督宫颈细胞图像的语义分割方法", 《电子科技》 *
郑杨: "基于卷积神经网络的宫颈TCT图像目标检测和分割", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807904B (zh) * 2022-07-04 2023-07-01 鴻海精密工業股份有限公司 深度識別模型訓練方法、圖像深度識別方法及相關設備

Also Published As

Publication number Publication date
CN114612738B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN112541491B (zh) 基于图像字符区域感知的端到端文本检测及识别方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111275010A (zh) 一种基于计算机视觉的行人重识别方法
CN111508006A (zh) 一种基于深度学习的运动目标同步检测、识别与跟踪方法
CN114612738B (zh) 细胞电镜图像分割模型的训练方法和细胞器互作分析方法
CN115019103A (zh) 基于坐标注意力群组优化的小样本目标检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
CN114882204A (zh) 船名自动识别方法
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
Muzakir et al. Model for Identification and Prediction of Leaf Patterns: Preliminary Study for Improvement
CN116596921B (zh) 一种焚烧炉渣分选方法及系统
Zhu et al. Scene text relocation with guidance
Zhang et al. Saliency detection via image sparse representation and color features combination
CN110889418A (zh) 一种气体轮廓识别方法
CN114170625A (zh) 一种上下文感知、噪声鲁棒的行人搜索方法
Kaur et al. Text Extraction from Natural Scene using PCA.
Chhabra et al. Comparative Analysis on Text Detection for Scenic Images using EAST and CTPN
CN112949634B (zh) 一种铁路接触网鸟窝检测方法
CN117037049B (zh) 基于YOLOv5深度学习的图像内容检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant