CN111931751A - 深度学习训练方法、目标物识别方法、系统和存储介质 - Google Patents

深度学习训练方法、目标物识别方法、系统和存储介质 Download PDF

Info

Publication number
CN111931751A
CN111931751A CN202011088193.2A CN202011088193A CN111931751A CN 111931751 A CN111931751 A CN 111931751A CN 202011088193 A CN202011088193 A CN 202011088193A CN 111931751 A CN111931751 A CN 111931751A
Authority
CN
China
Prior art keywords
training
picture
deep learning
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011088193.2A
Other languages
English (en)
Other versions
CN111931751B (zh
Inventor
许德鹏
刘晓康
王雪锋
陈齐文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Reetoo Biotechnology Co Ltd
Original Assignee
Shenzhen Reetoo Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Reetoo Biotechnology Co Ltd filed Critical Shenzhen Reetoo Biotechnology Co Ltd
Priority to CN202011088193.2A priority Critical patent/CN111931751B/zh
Publication of CN111931751A publication Critical patent/CN111931751A/zh
Application granted granted Critical
Publication of CN111931751B publication Critical patent/CN111931751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的深度学习训练方法、目标物识别方法、系统和存储介质,将训练图片输入到深度学习神经网络模型中;深度学习神经网络模型从训练图片中提取第一特征区域图像;从第一特征区域图像中提取一个或多个第一特征指标;根据一个或多个第一特征指标和训练图片上标注的各种所述目标物的类型训练得到特征指标与目标物的类型之间的对应关系的模型函数,则深度学习神经网络模型被训练好。深度学习神经网络模型可用于识别图片中的目标物,采用深度学习的方式识别图片中的目标物,相较于人工检测效率高,相较于传统的图像识别方式,准确性高。

Description

深度学习训练方法、目标物识别方法、系统和存储介质
技术领域
本发明涉及医疗器械领域,具体涉及深度学习训练方法、目标物识别方法、系统和存储介质。
背景技术
现有的医学领域的细胞检测技术,通常采用人工的方式进行检测,称之为镜检。例如,检验科的医生将包含有生物样本的玻片放置在显微镜下,人工观察生物样本中是否有目标物以及目标物(细胞)的类型等。当然,随着技术的发展,例如推片染色机的出现,能自动将血液样本制作成玻片,并通过显微镜自动拍摄各种倍率的样本图片,进而采用人工检测或者图像识别的方式得到样本中目标物的类型。然而,人工检测虽然准确,但需要耗费人力和大量的时间,效率非常低;而传统的图像识别方式准确性不高。
因此,从图片中识别细胞类型的准确性还有待提高。
发明内容
本发明提供一种深度学习训练方法、目标物识别方法、系统和存储介质,以提高目标物识别的准确性。
一实施例提供一种深度学习神经网络模型的训练方法,包括:
获取多个训练图片,所述训练图片上标注有各种目标物的位置、尺寸和类型;
将所述训练图片输入到深度学习神经网络模型中;
所述深度学习神经网络模型从所述训练图片中提取第一特征区域图像;
所述深度学习神经网络模型从所述第一特征区域图像中提取一个或多个第一特征指标;
根据所述一个或多个第一特征指标和所述训练图片上标注的各种所述目标物的类型训练得到所述第一特征指标与目标物的类型之间的对应关系的模型函数,则所述深度学习神经网络模型被训练好。
一实施例提供的所述的方法中,所述深度学习神经网络模型从所述第一特征区域图像中提取一个或多个第一特征指标包括:
通过所述深度学习神经网络模型对所述第一特征区域图像进行卷积计算,得到多个不同卷积阶段的计算结果,从而得到所述第一特征区域图像的多个第一尺度信息矩阵;
所述深度学习神经网络模型采用多个第二边框在预设个数的所述第一尺度信息矩阵中提取不同的第一目标特征区域,所述第一目标特征区域即为所述第一特征指标。
一实施例提供的所述的方法中,所述深度学习神经网络模型采用多个第二边框在预设个数的所述第一尺度信息矩阵中提取不同的第一目标特征区域,包括:
对所有所述训练图片的所有目标物的尺寸进行聚类得到多个聚类中心,以所述聚类中心的尺寸作为所述第二边框的尺寸;
采用多个第二边框在预设个数的所述第一尺度信息矩阵中提取不同的第一目标特征区域。
一实施例提供的所述的方法中,对所有所述训练图片的所有目标物的尺寸进行聚类得到多个聚类中心之后,还包括:
从所述多个聚类中心中选出最小聚类中心,获取所述最小聚类中心的宽度Wmin和高度Hmin
遍历所有所述训练图片,获取所述训练图片的宽度Wraw和高度Hraw,获取所述训练图片上每一个所述目标物的宽度W和高度H;
计算比值scale = min(W/Wmin,H/Hmin);
判断所述比值scale是否小于1,若所述比值scale不小于1,则判断下一张所述训练图片;
若所述比值scale小于1,则将当前所述训练图片的宽度Wraw放大到Wraw/scale,将其高度Hraw放大到Hraw/scale,将放大后的所述训练图片替换当前的所述训练图片,再判断下一张所述训练图片。
一实施例提供的所述的方法中,将放大后的所述训练图片替换当前的所述训练图片包括:
以放大后的训练图片的中心为中心,在放大后的训练图片上取宽度为Wraw,高度为Hraw的图片作为调整后的训练图片,将调整后的训练图片替换当前的所述训练图片。
一实施例提供的所述方法中,根据所述一个或多个第一特征指标和所述训练图片上标注的各种所述目标物的类型训练得到所述特征指标与目标物的类型之间的对应关系的模型函数,包括:
初始化所述模型函数的权重参数;
将所述第一特征指标放入所述模型函数计算获得目标物的类型,并比较计算得到的目标物的类型与所述训练图片上标注的所述目标物的类型,根据比较结果确定是否需要继续训练所述权重参数,直到训练得到最佳的所述权重参数。
一实施例提供一种目标物的识别方法,包括:
获取待检测图片;
通过训练好的所述深度学习神经网络模型得到所述待检测图片中所包含的目标物的类型;其中,所述深度学习神经网络模型采用如上所述的训练方法训练得到。
一实施例提供所述方法中,所述通过训练好的所述深度学习神经网络模型得到所述待检测图片中所包含的目标物的类型具体包括:
将所述待检测图片输入到训练好的深度学习神经网络模型中;
所述训练好的深度学习神经网络模型从所述待检测图片中提取第二特征区域图像;
所述训练好的深度学习神经网络模型从所述第二特征区域图像中提取一个或多个第二特征指标;
将所述第二特征指标放入所述第一特征指标与所述目标物的类型之间的对应关系的模型函数,计算得到所述待检测图片中目标物的类型。
一实施例提供的目标物的识别系统,包括:
存储器,用于存储程序;
处理器,与所述存储器藕接,用于通过执行所述存储器存储的程序以实现如上所述的方法。
一实施例提供一种计算机可读存储介质,包括程序,所述程序能够被处理器执行以实现如上所述的方法。
依据上述实施例的深度学习训练方法、目标物识别方法、系统和存储介质,将训练图片输入到深度学习神经网络模型中;深度学习神经网络模型从训练图片中提取第一特征区域图像;从第一特征区域图像中提取一个或多个第一特征指标;根据一个或多个第一特征指标和训练图片上标注的各种所述目标物的类型训练得到特征指标与目标物的类型之间的对应关系的模型函数,则深度学习神经网络模型被训练好。深度学习神经网络模型可用于识别图片中的目标物,采用深度学习的方式识别图片中的目标物,相较于人工检测效率高,相较于传统的图像识别方式,准确性高。
附图说明
图1为本发明提供的目标物的识别系统一实施例的结构框图;
图2为本发明提供的目标物的识别系统中,深度学习模块一实施例的结构框图;
图3为本发明提供的目标物的识别方法一实施例的流程图;
图4为本发明提供的目标物的识别系统中,判断第二边框框选的目标特征区域是否合适的示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
请参考图1,本发明提供的目标物的识别系统包括控制模块110、深度学习模块120和显示器20。
控制模块110用于获取待检测图片,并将待检测图片输入到深度学习模块120。
深度学习模块120具有预先训练好的深度学习神经网络模型。深度学习模块120得到待检测图片后,将待检测图片输入到该深度学习神经网络模型中,通过深度学习神经网络模型的处理,输出待检测图片包含的目标物的类型。采用深度学习技术对图片进行识别,无需人工识别,效率高。
本发明提供的目标物的识别系统,可应用在不同尺寸的待检测图片、图片中具有不同尺寸的目标物的识别上,例如应用在医疗器械领域,识别各类细胞、细菌、微生物等。
本实施例中,待检测图片包括通过显微镜放大后拍摄的生物样本图片,目标物包括各类细胞,以此为例进行进一步说明。由于显微镜有多种放大倍数,因此同一样本也会有不同倍率的待检测图片,相应的,待检测图片中同一细胞也会有不同的倍率,不同种类的细胞,例如白细胞、红细胞、杆菌等,其尺寸也不同。
如图2所示,深度学习模块120或者说深度学习神经网络模型包括数据预处理单元121、聚类单元122、图片调整单元123、特征提取单元124、分类单元125。如图3所示,深度学习模块120中的深度学习神经网络模型通过如下步骤训练得到:
步骤1、数据预处理单元121获取训练图片数据集,并构建深度学习神经网络模型,例如采用卷积神经网络模型,将训练图片数据集中的训练图片输入到深度学习神经网络模型中。训练图片数据集中包括多个训练图片。训练图片中人工标注有训练图片的尺寸(宽度和高度)、训练图片中包含的各种目标物(例如各类型的细胞)的位置、尺寸和类型。通常,训练图片的尺寸、各种目标物的位置、尺寸和类型等均以标签的形式设置在训练图片中。本实施例中,训练图片是由显微镜拍摄、并由人工标注的图片,其与待检测图片的差异在于训练图片的尺寸、各种目标物的位置、尺寸和类型等是已知的。训练图片有不同的倍率、不同的尺寸,其包含各种类型的细胞。
步骤2、聚类单元122对所有训练图片的所有目标物的尺寸进行聚类得到多个聚类中心,聚类中心的尺寸后续将作为第二边框的尺寸,故本步骤2在步骤5中用第二边框提取目标特征区域之前进行即可。通过聚类,使得算法的尺寸特征能够较好地契合图片数据集中的检测目标物。聚类通过聚类算法实现,例如通过自适应的Kmeans、层次聚类、高斯聚类等聚类算法实现聚类。
步骤3、图片调整单元123获取每张训练图片的尺寸,从各个聚类中心中选出最小聚类中心,获取最小聚类中心的宽度Wmin和高度Hmin。图片调整单元123遍历所有训练图片,获取训练图片的宽度Wraw和高度Hraw,获取训练图片上每一个目标物的宽度W和高度H;由此判断训练图片是否需要调整,对于需要调整的训练图片,对其进行调整并替换掉原来的训练图片。具体的,图片调整单元123根据公式scale = min(W/Wmin,H/Hmin)计算当前训练图片的每个目标物的尺寸与最小聚类中心的比值scale;其中W为目标物的宽度,H为目标物的高度,Wmin为最小聚类中心的宽度,Hmin为最小聚类中心的高度。图片调整单元123选取最小的比值scale,判断最小的比值scale是否小于1,若最小的比值scale不小于1,则确定当前训练图片不需要调整,进而判断下一张训练图片是否需要调整。若最小的比值scale小于1,则将当前训练图片的宽度Wraw放大到Wraw/scale,将其高度Hraw放大到Hraw/scale;将放大后的训练图片替换当前的训练图片,再判断下一张训练图片是否需要调整。本实施例中,将当前需要调整的训练图片放大后,以放大后的训练图片的中心为中心,在放大后的训练图片上取宽度为Wraw,高度为Hraw的图片作为调整后的训练图片,将调整后的训练图片替换调整前的训练图片,由此调整完毕,进而判断下一张训练图片是否需要调整。依次类推,直到所有训练图片判断完毕,得到更新(调整)后的训练图片数据集。
训练图片中可能存在尺寸比最小聚类中心小的目标物,后续采用最小聚类中心的尺寸作为第二边框的尺寸去提取第一目标特征区域时,由于第二边框的尺寸与目标物尺寸不合适,可能存在第二边框框选的区域内存在多个目标物的情况,影响了特征指标提取的准确性。而本实施例中,将具有尺寸比最小聚类中心小的目标物的训练图片进行调整(放大),使后续用第二边框框选目标物时尺寸能更好的匹配,提高了特征指标提取的准确性。当然,在有的实施例中,可以没有本步骤3。
数据预处理单元121对更新后的训练图片数据集进行预处理,以便于后续的深度学习,例如,读取训练图片的三通道数据,并做归一化预处理,得到三维的图片数据imgRaw。三通道数据分别是训练图片像素点的R、G、B像素值。
步骤4、初始化模型函数的权重参数。权重参数是反映第一特征指标与特征区域图像中目标物的类型这两者之间的对应关系的模型函数的参数。
特征提取单元124从训练图片中提取第一特征区域图像,例如,采用预设的一个或多个第一边框在训练图片上滑动的框选,得到多个第一特征区域图像。
步骤5、特征提取单元124从第一特征区域图像中提取一个或多个第一特征指标。具体的,特征提取单元124通过深度学习神经网络模型的基础网络结构(Backbone)对第一特征区域图像的图片数据进行卷积计算,得到多个不同卷积阶段的计算结果,从而得到第一特征区域图像的图片数据的多个第一尺度信息矩阵(feature map),从多个第一尺度信息矩阵中选取预设个数的第一尺度信息矩阵。预设个数的数量根据需求而定,一般是3-5个即能满足需求,例如选取3个尺度信息矩阵,记为C3,C4, C5。
特征提取单元124根据聚类中心生成对应的第二边框,例如,以聚类中心的尺寸作为第二边框的尺寸。特征提取单元124采用多个第二边框在预设个数的第一尺度信息矩阵中提取不同的第一目标特征区域,第二边框可以是固定边框。例如,将选取的预设个数的第一尺度信息矩阵通过特征图金字塔网络(FPN——Feature Pyramid Net),得到多个尺度信息上不同的目标特征区域,第一目标特征区域即为第一特征指标。例如,提取出第一特征区域图像的尺寸、在训练图片中的位置和各个像素点的像素值(RGB值)。可见,根据聚类尺寸获取多个最优的特征区域尺寸——Anchor,并以这些Anchor(第二边框)作为深度学习神经网络算法中的FPN(特征图金字塔网络)的多尺度尺寸。
进一步,Anchor在深度学习神经网络算法中作为目标特征区域的尺寸,其包含了目标物的尺寸特征,通过设定一个IoU(IoU, Intersection over Union,是两个区域重叠的部分除以两个区域的集合部分得出的结果,是一种测量在特定数据集中检测相应物体准确度的一个标准。)阈值,例如IoU = 0.5,来评价得到的尺寸特征和目标物的准确度,IoU值低于0.5则认为准确度较低,高于0.5则认为准确度较高,所得到的尺寸特征和目标物的一致性较好,而一致性越好越能够提升深度学习神经网络算法的最后效果和准确度。如图4所示,深色框为训练图片中人工标注的目标物的边框,三个浅色边框分别为三个第二边框,通过计算三个第二边框与目标物边框的IoU,并与IoU阈值比较,即可得到右边的第二边框(与目标物边框几乎重合)框选的目标特征区域最佳,从而进行下一步操作。
传统的深度学习神经网络模型在训练时,用于提取特征指标的第二边框的宽高尺寸不好确定,通常是给出一个比较大的范围,这导致传统的第二边框容易框到多个目标物、没有框到完整的目标物等(如图4左边的两个框),在提取特征指标时不够准确,效率不高。而本发明采用多个聚类中心的尺寸作为多个第二边框的尺寸,由于聚类中心的尺寸与目标物的尺寸是匹配的,故总有一个合适的第二边框能框出目标物(最好是第二边框刚好框住目标物),提高了特征指标提取的准确性。
步骤6、分类单元125将第一特征指标放入模型函数计算获得目标物的类型,并比较计算得到的目标物的类型与训练图片上标注的目标物的类型,根据比较结果确定是否需要继续训练权重参数(调整权重参数),直到训练得到最佳的权重参数。具体的,分类单元125比较计算得到的目标物的类型与训练图片上标注的目标物的类型的相似度,相似度在预设范围内,则确定两者相似,结果准确,否则两者不相似,结果不准确。判断训练图片中各个目标物类型的准确度是否达到预设值,若是则确定模型输出的结果(目标物的类型)符合预期,当前模型已训练好;否则调整权重参数并继续训练,即返回步骤4用新的权重参数继续训练,直到模型训练好,也就是找到了模型函数的最优参数。
深度学习神经网络算法主要涵盖三个方面,即数据处理、网络参数及网络结构。本发明基于深度学习神经网络算法,对深度学习神经网络模型的训练做了改进,优化了图片数据集和网络参数(权重参数),使用多尺度信息矩阵的训练方式,降低了训练的收敛难度,加快了训练速度,同时提高检测精度。尤其通过各种尺寸的聚类中心,优化数据参数及结构,结合多尺度信息矩阵进行训练,可以学习到不同尺度比例下的信息,使得小尺寸目标可以在深度学习神经网络算法中训练和学习,提高了目标物识别的准确性。非常适合显微镜检测的医疗场景,例如适用于妇科分泌物检测装置、血球分析仪等需要镜检的场景。
深度学习神经网络模型训练好之后,通过深度学习神经网络模型对待检测图片进行目标物识别,可采用一个或多个第三边框从待检测图片中提取第二特征区域图像;从第二特征区域图像中提取一个或多个第二特征指标;将第二特征指标放入第一特征指标与目标物的类型之间的对应关系的模型函数,计算得到待检测图片中所包含的目标物的类型。
显示器20用于显示深度学习模块120输出的待检测图片包含的目标物的类型。
深度学习神经网络模型对待检测图片的识别过程同训练过程类似。具体的,深度学习模块120的数据预处理单元121读取待检测图片的三通道数据,并做归一化预处理,得到三维的图片数据。同样的,该三通道数据分别是待检测图片像素点的R、G、B像素值。
特征提取单元124从待检测图片中提取第一特征区域图像,例如,采用预设的一个或多个第三边框在待检测图片上滑动的框选,得到多个第二特征区域图像。第三边框同样可以是滑动边框,其可以与训练模型时的第一边框相同。
特征提取单元124从第二特征区域图像中提取一个或多个第二特征指标,例如,通过深度学习神经网络模型的基础网络结构(Backbone)对第二特征区域图像的图片数据进行卷积计算,得到多个不同卷积阶段的计算结果,从而得到该图片数据的多个第二尺度信息矩阵(feature map),从多个第二尺度信息矩阵中选取预设个数的第二尺度信息矩阵。
特征提取单元124根据聚类中心生成对应的第四边框,即,以聚类中心的尺寸作为第四边框的尺寸,同训练过程一样,特征提取单元124采用多个第四边框在预设个数的所述第二尺度信息矩阵中提取不同的第二目标特征区域,第二目标特征区域即为第二特征指标。第四边框可以是固定边框,同第二边框。
由于第四边框的尺寸为:对所有训练图片的所有目标物的尺寸进行聚类得到的聚类中心的尺寸。训练图片为用于训练深度学习神经网络模型的图片。由于多个聚类中心体现了多个不同的目标物尺寸,利用其进行特征提取能更好的提取出特征指标,从而提高了目标物类型识别的准确性。
分类单元125将第二特征指标放入模型函数计算获得目标物的类型并输出给显示器显示。由于深度学习神经网络模型识别待检测图片的过程,除了无需迭代的过程,其他过程跟训练模型时是相同的,故模型函数能根据第二特征指标计算得到目标物的类型。
控制模块110和深度学习模块120可以设置在处理器中,即,控制模块110和深度学习模块120的功能由处理器执行一计算机程序来完成,该程序可存储在各类可读存储介质中,例如存储在存储器中。处理器执行程序以实现目标物识别的过程在上述实施例中已详细阐述,在此不做赘述。
现有的深度学习神经网络已开始运用在文字识别等领域,然而,在多尺度的问题上(细胞检测在不同倍率下就有多种尺度),往往对小尺寸的检测目标会出现较大的识别问题。例如在一张1080P(1920x1080)的图片上,检测目标的最大尺寸800x800,而小尺寸目标只有16x16,甚至更小。在这样的巨大尺度差异下,使用深度学习神经网络算法,经过一系列的卷积池化处理后,小尺寸的目标特征缺失严重,影响算法模型的训练和学习,增加训练难度,准确性不高。而本发明通过对训练图片中的已知目标物尺寸进行聚类,各个聚类中心体现了各种不同的目标物尺寸,利用其进行特征提取能更好的提取出特征指标,从而提高了目标物类型识别的准确性,非常适合细胞检测等多尺度应用场景。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种深度学习神经网络模型的训练方法,其特征在于,包括:
获取多个训练图片,所述训练图片上标注有各种目标物的位置、尺寸和类型;
将所述训练图片输入到深度学习神经网络模型中;
所述深度学习神经网络模型从所述训练图片中提取第一特征区域图像;
所述深度学习神经网络模型从所述第一特征区域图像中提取一个或多个第一特征指标;
根据所述一个或多个第一特征指标和所述训练图片上标注的各种所述目标物的类型训练得到所述第一特征指标与目标物的类型之间的对应关系的模型函数,则所述深度学习神经网络模型被训练好。
2.如权利要求1所述的方法,其特征在于,所述深度学习神经网络模型从所述第一特征区域图像中提取一个或多个第一特征指标包括:
通过所述深度学习神经网络模型对所述第一特征区域图像进行卷积计算,得到多个不同卷积阶段的计算结果,从而得到所述第一特征区域图像的多个第一尺度信息矩阵;
所述深度学习神经网络模型采用多个第二边框在预设个数的所述第一尺度信息矩阵中提取不同的第一目标特征区域,所述第一目标特征区域即为所述第一特征指标。
3.如权利要求2所述的方法,其特征在于,所述深度学习神经网络模型采用多个第二边框在预设个数的所述第一尺度信息矩阵中提取不同的第一目标特征区域,包括:
对所有所述训练图片的所有目标物的尺寸进行聚类得到多个聚类中心,以所述聚类中心的尺寸作为所述第二边框的尺寸;
采用多个第二边框在预设个数的所述第一尺度信息矩阵中提取不同的第一目标特征区域。
4.如权利要求3所述的方法,其特征在于,对所有所述训练图片的所有目标物的尺寸进行聚类得到多个聚类中心之后,还包括:
从所述多个聚类中心中选出最小聚类中心,获取所述最小聚类中心的宽度Wmin和高度Hmin
遍历所有所述训练图片,获取所述训练图片的宽度Wraw和高度Hraw,获取所述训练图片上每一个所述目标物的宽度W和高度H;
计算比值scale = min(W/Wmin,H/Hmin);
判断所述比值scale是否小于1,若所述比值scale不小于1,则判断下一张所述训练图片;
若所述比值scale小于1,则将当前所述训练图片的宽度Wraw放大到Wraw/scale,将其高度Hraw放大到Hraw/scale,将放大后的所述训练图片替换当前的所述训练图片,再判断下一张所述训练图片。
5.如权利要求4所述的方法,其特征在于,将放大后的所述训练图片替换当前的所述训练图片包括:
以放大后的训练图片的中心为中心,在放大后的训练图片上取宽度为Wraw,高度为Hraw的图片作为调整后的训练图片,将调整后的训练图片替换当前的所述训练图片。
6.如权利要求1所述的方法,其特征在于,根据所述一个或多个第一特征指标和所述训练图片上标注的各种所述目标物的类型训练得到所述特征指标与目标物的类型之间的对应关系的模型函数,包括:
初始化所述模型函数的权重参数;
将所述第一特征指标放入所述模型函数计算获得目标物的类型,并比较计算得到的目标物的类型与所述训练图片上标注的所述目标物的类型,根据比较结果确定是否需要继续训练所述权重参数,直到训练得到最佳的所述权重参数。
7.一种目标物的识别方法,其特征在于,包括:
获取待检测图片;
通过训练好的所述深度学习神经网络模型得到所述待检测图片中所包含的目标物的类型;其中,所述深度学习神经网络模型采用如权利要求1-6中任意一项所述的训练方法训练得到。
8.如权利要求7所述的方法,其特征在于,所述通过训练好的所述深度学习神经网络模型得到所述待检测图片中所包含的目标物的类型具体包括:
将所述待检测图片输入到训练好的深度学习神经网络模型中;
所述训练好的深度学习神经网络模型从所述待检测图片中提取第二特征区域图像;
所述训练好的深度学习神经网络模型从所述第二特征区域图像中提取一个或多个第二特征指标;
将所述第二特征指标放入所述第一特征指标与所述目标物的类型之间的对应关系的模型函数,计算得到所述待检测图片中目标物的类型。
9.一种目标物的识别系统,其特征在于,包括:
存储器,用于存储程序;
处理器,与所述存储器藕接,用于通过执行所述存储器存储的程序以实现如权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的方法。
CN202011088193.2A 2020-10-13 2020-10-13 深度学习训练方法、目标物识别方法、系统和存储介质 Active CN111931751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011088193.2A CN111931751B (zh) 2020-10-13 2020-10-13 深度学习训练方法、目标物识别方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011088193.2A CN111931751B (zh) 2020-10-13 2020-10-13 深度学习训练方法、目标物识别方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111931751A true CN111931751A (zh) 2020-11-13
CN111931751B CN111931751B (zh) 2021-01-26

Family

ID=73334420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011088193.2A Active CN111931751B (zh) 2020-10-13 2020-10-13 深度学习训练方法、目标物识别方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111931751B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487916A (zh) * 2020-11-25 2021-03-12 上海电力大学 一种电力设备双目三维立体识别系统
CN112580668A (zh) * 2020-12-24 2021-03-30 西安深信科创信息技术有限公司 一种背景欺诈检测方法、装置及电子设备
CN112634215A (zh) * 2020-12-16 2021-04-09 华虹半导体(无锡)有限公司 一种提高多类型图片深度学习模型训练效率的方法
CN112784742A (zh) * 2021-01-21 2021-05-11 宠爱王国(北京)网络科技有限公司 鼻纹特征的提取方法、装置及非易失性存储介质
CN112990341A (zh) * 2021-04-02 2021-06-18 中国科学院宁波材料技术与工程研究所 基于深度学习的多特征联合的植物线虫检测方法及系统
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、系统以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN108681994A (zh) * 2018-05-11 2018-10-19 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN109376619A (zh) * 2018-09-30 2019-02-22 中国人民解放军陆军军医大学 一种细胞检测方法
CN110084253A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN111414861A (zh) * 2020-03-20 2020-07-14 赛特斯信息科技股份有限公司 基于深度学习实现行人及非机动车辆检测处理的方法
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN108681994A (zh) * 2018-05-11 2018-10-19 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN109376619A (zh) * 2018-09-30 2019-02-22 中国人民解放军陆军军医大学 一种细胞检测方法
CN110084253A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN111414861A (zh) * 2020-03-20 2020-07-14 赛特斯信息科技股份有限公司 基于深度学习实现行人及非机动车辆检测处理的方法
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487916A (zh) * 2020-11-25 2021-03-12 上海电力大学 一种电力设备双目三维立体识别系统
CN112487916B (zh) * 2020-11-25 2022-08-23 上海电力大学 一种电力设备双目三维立体识别系统
CN112634215A (zh) * 2020-12-16 2021-04-09 华虹半导体(无锡)有限公司 一种提高多类型图片深度学习模型训练效率的方法
CN112634215B (zh) * 2020-12-16 2022-06-07 华虹半导体(无锡)有限公司 一种提高多类型图片深度学习模型训练效率的方法
CN112580668A (zh) * 2020-12-24 2021-03-30 西安深信科创信息技术有限公司 一种背景欺诈检测方法、装置及电子设备
CN112784742A (zh) * 2021-01-21 2021-05-11 宠爱王国(北京)网络科技有限公司 鼻纹特征的提取方法、装置及非易失性存储介质
CN112990341A (zh) * 2021-04-02 2021-06-18 中国科学院宁波材料技术与工程研究所 基于深度学习的多特征联合的植物线虫检测方法及系统
CN112990341B (zh) * 2021-04-02 2022-08-02 中国科学院宁波材料技术与工程研究所 基于深度学习的多特征联合的植物线虫检测方法及系统
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、系统以及存储介质

Also Published As

Publication number Publication date
CN111931751B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN111931751B (zh) 深度学习训练方法、目标物识别方法、系统和存储介质
US10943346B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN103518224B (zh) 用于分析微生物生长的方法
US11967069B2 (en) Pathological section image processing method and apparatus, system, and storage medium
CN113723573B (zh) 基于自适应比例学习的肿瘤组织病理分类系统及方法
CN112257704A (zh) 基于深度学习检测模型子宫颈液基细胞数字图像分类方法
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN111369523B (zh) 显微图像中细胞堆叠的检测方法、系统、设备及介质
CN113379764B (zh) 一种基于域对抗自监督学习的病理图像分割方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN110110667B (zh) 一种硅藻图像的处理方法、系统及相关组件
CN111986785A (zh) 医学影像标注方法和装置、设备及存储介质
JP2014235494A (ja) 画像処理装置及びプログラム
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN112819821A (zh) 一种细胞核图像检测方法
JP6070420B2 (ja) 画像処理装置及びプログラム
CN113470041A (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
CN112651400B (zh) 一种立体内窥镜辅助检测方法、系统、装置及存储介质
KR20210113539A (ko) 인공지능을 이용한 염색체 분류 방법, 장치 및 컴퓨터프로그램
CN112734707A (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN110796127A (zh) 基于遮挡感知的胚胎原核检测系统、存储介质及终端
CN113421270B (zh) 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质
CN113128511B (zh) 一种焦炭组织识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant