CN111414880A - 一种基于改进RetinaNet的显微图像中有型成分目标检测方法 - Google Patents

一种基于改进RetinaNet的显微图像中有型成分目标检测方法 Download PDF

Info

Publication number
CN111414880A
CN111414880A CN202010226268.2A CN202010226268A CN111414880A CN 111414880 A CN111414880 A CN 111414880A CN 202010226268 A CN202010226268 A CN 202010226268A CN 111414880 A CN111414880 A CN 111414880A
Authority
CN
China
Prior art keywords
network
model
retinanet
microscopic image
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010226268.2A
Other languages
English (en)
Other versions
CN111414880B (zh
Inventor
杜晓辉
刘霖
张静
王祥舟
郝如茜
倪光明
刘娟秀
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010226268.2A priority Critical patent/CN111414880B/zh
Publication of CN111414880A publication Critical patent/CN111414880A/zh
Application granted granted Critical
Publication of CN111414880B publication Critical patent/CN111414880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

本发明公开了一种基于改进的RetinaNet显微图像目标检测方法，该方法主要应用于医院检验科与细胞镜检相关的检测项目。算法对RetinaNet中的锚点提取方式、分类和回归子网络进行改进，实现了针对于显微图像有型成分的高效率、高准确率的检测。发明中所涉及的算法对于实现检测的全自动化、智能化提供了理论基础。检测方法速度快，检测精度高，完全能够满足临床检测的需求。

Description

一种基于改进RetinaNet的显微图像中有型成分目标检测 方法
技术领域
本发明是一种应用于显微图像中细胞等有型成分的自动定位和识别算法，其检测模型基于改进的RetinaNet模型。
背景技术
显微图像中的有型成分定位和识别技术广泛应用于医院检验科，例如粪便常规、白带常规、尿常规等检查项目。目前，显微图像中有型成分的检测方法主要依赖于人工判读。近年来随着机器学习和深度学习的发展，识别技术逐渐趋于自动化和智能化。然而，已有的基于机器学习和深度学习的方法检测准确率低下，检测时间长，实时性差，已经检测的样本需要医生去复查，工作量大，无法满足自动化的要求。另外，这些检测方法检测的有型成分类型单一，无法实现多目标的检测需求。
发明内容
显微图像中的有型成分主要由红细胞、白细胞、霉菌和脓球细胞等。白带显微图像中还有上皮细胞、滴虫等有型成分，而粪便显微图像中还有虫卵、夏科雷登晶体等。
本发明技术方案为一种基于改进RetinaNet的显微图像中有型成分目标检测方法，步骤1：采用显微成像系统采集白带样本的显微图像，每个视野中筛选最清晰的三幅图像作为样本集；
步骤2：将步骤1采集的图像进行人工标注，标注其中的有型成分位置和类型；
步骤3：构建RetinaNet卷积神经网络模型；
步骤4：为模型的各层特征图生成锚点信息；
步骤4-1：对步骤2中人工标注的数据集中的有型成分的外接矩形进行聚类，其聚类方式采用K-means的聚类方法，聚类的中心个数设定为9，聚类时两个样本间的距离采用计算IOU的方式；
步骤4-2：将聚类后得到的9个外接矩形长、宽作为对应特征图中锚点的长、宽大小；
步骤5：对步骤3中的分类和回归子网络进行优化，拓展模型的深度，具体方法为：原始的Retinanet网络的分类和回归子网络中，经过特征图Px后会进行4个卷积层的计算，将其扩展为3个级联的残差结构；
步骤6：采用步骤2中的人工标注数据集对模型进行训练；
步骤6中训练好的模型即可应用于白带显微图像中有型成分的自动检测，其检测方法主要包括：
步骤7：采集一个视野的显微图像；
步骤8：将图像输入到训练好的改进RetinaNet模型，模型进行前向传播计算；
步骤9：输出检测结果；
其中，步骤3的具体步骤为：
步骤3-1：搭建RetinaNet网络结构模型，采用ResNet-50作为网络的特征提取层，并生成特征金字塔网络；
步骤3-2：由于白带样本中的有型成分包含6个类别，因此将网络的输出作对应的调整为6；
步骤6的具体步骤为：
步骤6-1：训练的批次大小为2，迭代次数为200k，并采用Adam的方式进行迭代；
步骤6-2：初始时，学习率为1e-5，模型的初始化采用迁移学习的方式，即模型在COCO数据集中训练好的权重参数初始化本发明中模型的特征提取层ResNet-50，改进的分类和回归子网络采用Xavier的方式进行初始化；
步骤6-3：损失函数采用smooth-L1损失和Focal损失相结合的方式，网络开始迭代，进行训练。
步骤8的具体步骤为：
步骤8-1：前向传播，生成5个不同尺度的特征图；
步骤8-2：在5个不同的特征图中根据步骤4产生锚点信息；
步骤8-3：特征图和锚点信息分别进入分类子网络和回归子网络，分类子网络输出锚点的类别信息，回归子网络输出锚点外接矩形的回归信息；
步骤8-4：对所有的锚点输出进行非极大抑制，提取最佳的目标检测锚点，其余的忽略。
本发明基于改进的RetinaNet显微图像中有型成分的目标检测方法是一种多目标的检测算法，具有速度快，检测精度高的特点。
附图说明
图1是本发明中的原始采集图像。
图2是本发明中模型的框架示意图。
图3是本发明中锚点的产生示意图。
图4是本发明中分类和回归子网络示意图。
图5是本发明的结果示意图。
具体实施方式
下面结合附图，对本发明中显微图像的有型成分检测方法进行详细说明：
步骤1：采用显微成像系统采集白带样本的显微图像，每个视野中筛选最清晰的三幅图像作为样本集；
步骤2：将步骤1采集的图像进行人工标注，标注其中的有型成分位置和类型；
步骤3：构建RetinaNet卷积神经网络模型，如图2所示；
步骤3-1：搭建RetinaNet网络结构模型，采用ResNet-50作为网络的特征提取层，并生成特征金字塔网络；
步骤3-2：由于白带样本中的有型成分包含6个类别，因此将网络的输出作对应的调整。
步骤4：为模型的各层特征图生成锚点信息，如图3所示；
步骤4-1：对步骤2中人工标注的数据集中的有型成分的外接矩形进行聚类，其聚类方式采用K-means的聚类方法，聚类的中心个数设定为9，聚类时两个样本间的距离采用计算IOU的方式；
步骤4-2：将聚类后得到的9个外接矩形长、宽作为对应特征图中锚点的长、宽大小。
步骤5：对步骤3中的分类和回归子网络进行优化，拓展模型的深度，具体方法为：原始的Retinanet网络的分类和回归子网络中，经过特征图Px后会进行4个卷积层的计算，将其扩展为3个级联的残差结构，如图4所示；
步骤6：采用步骤2中的人工标注数据集对模型进行训练；
步骤6-1：训练的批次大小为2，迭代次数为200k，并采用Adam的方式进行迭代；
步骤6-2：初始时，学习率为1e-5，模型的初始化采用迁移学习的方式，即模型在COCO数据集中训练好的权重参数初始化本发明中模型的特征提取层(ResNet-50)，改进的分类和回归子网络采用Xavier的方式进行初始化；
步骤6-3：损失函数采用smooth-L1损失和Focal损失相结合的方式，网络开始迭代，进行训练。
步骤6中训练好的模型即可应用于白带显微图像中有型成分的自动检测，其检测方法主要包括：
步骤7：采集一个视野的显微图像；
步骤8：将图像输入到训练好的改进RetinaNet模型，模型进行前向传播计算；
步骤8-1：前向传播，生成5个不同尺度的特征图；
步骤8-2：在5个不同的特征图中根据步骤4产生锚点信息；
步骤8-3：特征图和锚点信息分别进入分类和回归子网络，分类子网络输出锚点的类别信息，回归子网络输出锚点外接矩形的回归信息；
步骤8-4：对所有的锚点输出进行非极大抑制，提取最佳的目标检测锚点，其余的忽略。
步骤9：输出检测结果，如图5所示，可明显的看出本发明具有极高的检测精度。

Claims (4)

1.一种基于改进的RetinaNet显微图像目标检测算法，该方法包括：
步骤1：采用显微成像系统采集样本的显微图像，每个视野中筛选最清晰的三幅图像作为样本集；
步骤2：将步骤1采集的图像进行人工标注，标注其中的有型成分位置和类型；
步骤3：构建RetinaNet卷积神经网络模型；
步骤4：为模型的各层特征图生成锚点信息；
步骤4-1：对步骤2中人工标注的数据集中的有型成分的外接矩形进行聚类，其聚类方式采用K-means的聚类方法，聚类的中心个数设定为9，聚类时两个样本间的距离采用计算IOU的方式；
步骤4-2：将聚类后得到的9个外接矩形长、宽作为对应特征图中锚点的长、宽大小；
步骤5：对步骤3中的分类和回归子网络进行优化，拓展模型的深度，具体方法为：原始的Retinanet网络的分类和回归子网络中，经过特征图Px后会进行4个卷积层的计算，将其扩展为3个级联的残差结构；
步骤6：采用步骤2中的人工标注数据集对模型进行训练；
步骤6中训练好的模型即可应用于白带显微图像中有型成分的自动检测，其检测方法主要包括：
步骤7：采集一个视野的显微图像；
步骤8：将图像输入到训练好的改进RetinaNet模型，模型进行前向传播计算；
步骤9：输出检测结果。
2.如权利要求1所述的一种基于改进的RetinaNet显微图像目标检测算法，其特征在于步骤3的具体步骤为：
步骤3-1：搭建RetinaNet网络结构模型，采用ResNet-50作为网络的特征提取层，并生成特征金字塔网络；
步骤3-2：由于白带样本中的有型成分包含6个类别，因此将网络的输出作对应的调整。
3.如权利要求1所述的一种基于改进的RetinaNet显微图像目标检测算法，其特征在于步骤6的具体步骤为：
步骤6-1：训练的批次大小为2，迭代次数为200k，并采用Adam的方式进行迭代；
步骤6-2：初始时，学习率为1e-5，模型的初始化采用迁移学习的方式，即模型在COCO数据集中训练好的模型用于初始化改进RetinaNet模型的特征提取层，改进的分类和回归子网络采用Xavier的方式进行初始化；
步骤6-3：损失函数采用smooth-L1损失和Focal损失相结合的方式，网络开始迭代，进行训练。
4.如权利要求1所述的一种基于改进的RetinaNet显微图像目标检测算法，其特征在于步骤8的具体步骤为：
步骤8-1：前向传播，生成5个不同尺度的特征图；
步骤8-2：在5个不同的特征图中根据步骤4产生锚点信息；
步骤8-3：特征图和锚点信息分别进入分类和回归子网络，分类子网络输出锚点的类别信息，回归子网络输出锚点外接矩形的回归信息；
步骤8-4：对所有的锚点输出进行非极大抑制，提取最佳的目标检测锚点，其余的忽略。
CN202010226268.2A 2020-03-26 2020-03-26 一种基于改进RetinaNet的显微图像中有型成分目标检测方法 Active CN111414880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010226268.2A CN111414880B (zh) 2020-03-26 2020-03-26 一种基于改进RetinaNet的显微图像中有型成分目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010226268.2A CN111414880B (zh) 2020-03-26 2020-03-26 一种基于改进RetinaNet的显微图像中有型成分目标检测方法

Publications (2)

Publication Number Publication Date
CN111414880A true CN111414880A (zh) 2020-07-14
CN111414880B CN111414880B (zh) 2022-10-14

Family

ID=71493183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010226268.2A Active CN111414880B (zh) 2020-03-26 2020-03-26 一种基于改进RetinaNet的显微图像中有型成分目标检测方法

Country Status (1)

Country Link
CN (1) CN111414880B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085096A (zh) * 2020-09-09 2020-12-15 华东师范大学 一种基于迁移学习的物体局部异常发热检测的方法
CN112200726A (zh) * 2020-10-29 2021-01-08 陈根生 基于无透镜显微成像的尿沉渣有形成分检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829879A (zh) * 2018-12-04 2019-05-31 国际竹藤中心 维管束的检测方法及装置
CN110287927A (zh) * 2019-07-01 2019-09-27 西安电子科技大学 基于深度多尺度和上下文学习的遥感影像目标检测方法
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
US20200050887A1 (en) * 2018-07-20 2020-02-13 Synapse Technology Corporation Multi-Perspective Detection of Objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200050887A1 (en) * 2018-07-20 2020-02-13 Synapse Technology Corporation Multi-Perspective Detection of Objects
CN109829879A (zh) * 2018-12-04 2019-05-31 国际竹藤中心 维管束的检测方法及装置
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
CN110287927A (zh) * 2019-07-01 2019-09-27 西安电子科技大学 基于深度多尺度和上下文学习的遥感影像目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TSUNG-YI LIN等: "Focal Loss for Dense Object Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZHAFRI ROSLAN等: "Deep Learning for Tree Crown Detection In Tropical Forest", 《2020 14TH INTERNATIONAL CONFERENCE ON UBIQUITOUS INFORMATION MANAGEMENT AND COMMUNICATION (IMCOM)》 *
杜晓辉等: "基于LBP纹理特征的白带显微图像中上皮细胞检测方法", 《CHINESE JOURNAL OF LIQUID CRYSTAL & DISPLAYS》 *
罗晓: "运动目标边沿提取的视网膜神经计算机制及网络模型研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085096A (zh) * 2020-09-09 2020-12-15 华东师范大学 一种基于迁移学习的物体局部异常发热检测的方法
CN112200726A (zh) * 2020-10-29 2021-01-08 陈根生 基于无透镜显微成像的尿沉渣有形成分检测方法及系统

Also Published As

Publication number Publication date
CN111414880B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111524138B (zh) 一种基于多任务学习的显微图像细胞识别方法及装置
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
CN112381164B (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN111414880B (zh) 一种基于改进RetinaNet的显微图像中有型成分目标检测方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN110543912B (zh) 自动获取胎儿关键切面超声视频中心动周期视频的方法
CN109447979B (zh) 基于深度学习和图像处理算法的目标检测方法
CN111797920B (zh) 门控特征融合的深度网络不透水面遥感提取方法及系统
CN110472581A (zh) 一种基于深度学习的细胞图像分析方法
CN111008603A (zh) 面向大尺度遥感图像的多类目标快速检测方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN113902669A (zh) 一种尿脱落细胞液基涂片的阅片方法及系统
CN113538334A (zh) 一种胶囊内窥镜图像病变识别装置及训练方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN102636656B (zh) 一种全自动尿有形成分分析仪的校准方法
CN116385374A (zh) 基于卷积神经网络的细胞计数方法
CN113361496B (zh) 一种基于U-Net的城市建成区统计方法
CN114511627A (zh) 一种目标果实定位分割方法及系统
CN114463558A (zh) 一种基于深度学习的变电站指针仪表检测方法
WO2021000674A1 (zh) 细胞图片识别方法、系统、计算机设备及可读存储介质
CN117152601A (zh) 一种基于动态感知区域路由的水下目标检测方法及系统
CN113887653B (zh) 一种基于三元网络的紧耦合弱监督学习的定位方法及系统
CN115035339A (zh) 一种基于人工智能的膀胱镜图像分类方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant