CN108596174A - 一种皮肤病影像的病灶定位方法 - Google Patents

一种皮肤病影像的病灶定位方法 Download PDF

Info

Publication number
CN108596174A
CN108596174A CN201810399288.2A CN201810399288A CN108596174A CN 108596174 A CN108596174 A CN 108596174A CN 201810399288 A CN201810399288 A CN 201810399288A CN 108596174 A CN108596174 A CN 108596174A
Authority
CN
China
Prior art keywords
candidate frame
lesion
picture
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810399288.2A
Other languages
English (en)
Inventor
何艳
郭克华
李嘉伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201810399288.2A priority Critical patent/CN108596174A/zh
Publication of CN108596174A publication Critical patent/CN108596174A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种皮肤病影像的病灶定位方法，通过训练皮肤病的鉴别模型以及病灶候选框的生成模型，再用模板遮挡法处理包含候选框的图片，从而实现病灶定位。利用Google inception v3架构以及迁移学习进行训练。利用OpenCV级联训练分类器训练正负样本，生成xml文档。对于生成的病灶候选框，采用模板遮挡的方法，对于每一个候选框逐一的通过鉴别模型进行鉴别判断，从而筛选出真正的病灶。本发明在测试时不需要医生标注图片的情况下，得到的病灶定位模型也能准确且快速的圈出病灶区域，节省了医生标注大量图片的时间和精力。

Description

一种皮肤病影像的病灶定位方法
技术领域
本发明涉及医学数据处理，特别是一种皮肤病影像的病灶定位方法。
背景技术
病灶定位通俗上来讲可以理解为对目标的检测，如今，目标检测与识别的研究方法主要有两大类：(1)基于传统图像处理和机器学习算法的目标检测与识别方法，传统的目标检测与识别方法主要可以表示为：目标特征提取->目标识别->目标定位。(2)基于深度学习的目标检测与识别方法。随着深度学习的发展，基于深度学习的目标检测与识别成为主流方法，主要可以表示为：图像的深度特征提取->基于深度神经网络的目标识别与定位，其中主要用到深度神经网络模型是卷积神经网络CNN。目前可以将现有的基于深度学习的目标检测与识别算法大致分为以下三大类：1.基于区域建议的目标检测与识别算法，如R-CNN,Fast-R-CNN,Faster-R-CNN；2.基于回归的目标检测与识别算法，如YOLO,SSD；3.基于搜索的目标检测与识别算法，如基于强化学习的算法。但是，就目前而言，这些目标检测的算法多是用于日常图片中的目标检测，几乎没有应用于皮肤病影像的病灶定位。
在皮肤病影像的病灶定位上，总体上分为两种方法，(1)人工方法，依赖于医生的肉眼观察和主观经验，由于用户是影像的最终使用者，医生通过人机交互圈出病灶区域这种方法显得最简单灵活，最能准确表达用户意图。(2)机器自动检测，目前，对于圈出病灶区域的方法，医学上提出的比较常见的是图像分割法。如基于区域的图像分割、基于边缘的图像分割等等。在肺部病灶区域检测时，有学者就提出过肺部ct图像病灶半自动分割方法，它通过CT值的不同对医疗影像图像的分割，获取到不同区域的二值图像，根据二值图像初步确定病灶位置。
(1)人工方法进行病灶定位很大程度上受人的主观意识的影响，可能对影像信息产生错判误判，影响之后的病理分析。
(2)在中国，无论实在城镇的大医院还是乡村的小医院，都存在不同程度的医护人员缺乏现象，这意味着让专业的皮肤科医生去大量的圈出皮肤病影像上的病灶区域是不现实的，这会造成医疗资源的严重浪费。
(3)由于皮肤病的复杂性、不规则性以及不同个体之间的差异性，一般的图像分割方法对皮肤病影像并不理想，导致病灶区域的定位也不准确。
(4)如yolo、Faster-R-CNN等目标检测算法虽然在日常普通图片中能进行较好的定位，但是它的训练需要大量的数据，且医学影像相对于日常图片有很大不同，这类目标检测算法不能准确提取医学影像特征，这会导致病灶定位的准确率不高。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种皮肤病影像的病灶定位方法，在测试时不需要医生标注图片，准确且快速的圈出病灶区域，节省医生标注大量图片的时间和精力。
为解决上述技术问题，本发明所采用的技术方案是：一种皮肤病影像的病灶定位方法，包括以下步骤：
1)使用迁移学习方法将分类器鉴别模型的训练集加载到Google Inception v3模型进行训练，得到适用于被训练的皮肤病的分类器模型；所述分类器模型的训练集包括由皮肤病图像分类得到的特征图像集和非特征图像集；将测试图片输入到分类器鉴别模型中，即得到图片是否为特征图片的鉴别结果；同时，加载正样本和负样本，对所有正样本、负样本进行特征选择与提取，获得正样本、负样本的特征，并进行训练，生成病灶候选框的生成模型；
2)从测试集中选择图片，图片通过病灶候选框的生成模型，在图片上产生一系列的候选框，用背景遮住除要测试的候选框之外的候选框，保证一次只测试测试一个候选框；
3)将经过步骤2)处理后的图片利用所述分类鉴别模型进行测试，如果测试为特征数据，则测试的候选框为病灶区域，记录候选框位置；反之，不是病灶区域；
4)重复步骤2)和步骤3)，直至测试完所有的候选框；
5)整合记录为病灶区域的候选框，整合后所标记的候选框即为病灶区域。
所述训练集和测试集的获取过程包括：
1)采集皮肤病图片；
2)切割所述皮肤病图片，得到原始尺寸的共聚焦显微镜图片；
3)选择适量原始尺寸的共聚焦显微镜图片，从中取一部分图片作为测试集，剩下的分为特征图片数据集和非特征图片数据集；所述特征图片数据集和非特征图片数据集共同构成分类鉴别模型的训练集。
所述正样本、负样本的获取过程包括：对标注为特征图片的数据集进行病灶提取，提取出来的病灶数据集作为病灶候选框的生成模型训练的正样本，非特征图片数据集作为病灶候选框的生成模型训练的负样本。
与现有技术相比，本发明所具有的有益效果为：本发明采用了模板遮挡的方法并结合了分类训练器与病灶候选框生成模型，取得了训练时不需要医生进行大量图片的标注操作，训练出快速高效病灶定位模型的效果，在测试时不需要医生标注图片的情况下，得到的病灶定位模型也能准确且快速的圈出病灶区域，节省了医生标注大量图片的时间和精力，同时病灶定位模型的辅助诊断也能提高医生诊断的效率，使得医生的诊断更加快捷高效。
附图说明
图1为本发明方法原理图。
具体实施方式
本发明通过训练皮肤病的鉴别模型以及病灶候选框的生成模型，再用模板遮挡法处理包含候选框的图片，从而实现病灶定位。皮肤病鉴别模型的训练数据是由医生标注少量数据得到的，并且利用Google inception v3架构以及迁移学习进行训练的。候选框的生成模型的训练数据是在医生的帮助下，拿到称为正样本的病灶区域和称为负样本的不含病灶的背景影像，然后利用OpenCV级联训练分类器训练正负样本，生成xml文档，我们测试时通过训练好的xml文档生成病灶候选框。对于生成的病灶候选框，我们采用模板遮挡的方法，对于每一个候选框逐一的通过鉴别模型进行鉴别判断，从而筛选出真正的病灶。其具体实现流程如图1，第一步，训练分类鉴别模型和病灶候选框生成模型。第二步，输入一个待测试的图像，图像通过病灶候选框生成模型产生少量的病灶候选框，由于某些皮肤病的病灶区域与某些非病灶区域极其相似，病灶候选框生成模型很难将其区分，所以生成这些病灶候选框包含真正的病灶区域，也包含形状类似病灶区域的非病灶区域。为此，我们第三步将使用分类鉴别模型逐一鉴别所有病灶候选框，当我们对某一候选框进行鉴别时，用背景遮住除待鉴别的候选框之外的所有候选框，确保每次仅鉴别一个候选框。若仅包含鉴别候选框的图像为特征图像，则记录该候选框位置，若仅包含鉴别候选框的图像为非特征图像，则说明该候选框不包含病灶区域，不记录该候选框位置。最后一步，将记录的候选框的位置进行整合，并在测试图片上标注，最后标注的区域即为病灶区域。该方法实现的主要技术包括四个部分：数据的采集与标注，病灶候选框生成模型训练，分类器模型训练，模板遮挡法筛选病灶。
(1)数据的采集与标注步骤如下。
第一步：从长沙市湘雅三医院的数据库中采集皮肤病图片。
第二步：由于这些图片都是横向或者纵向扫描皮损或周围皮肤得到的，是由很多相同尺寸的小图片拼接而成的，因此我们将这些大图进行切割，得到原始尺寸的共聚焦显微镜图片。
第三步：选择适量原始尺寸的共聚焦显微镜图片，从中取一部分图片作为测试集，剩下的分为特征图片数据集和非特征图片数据集。特征图片数据集和非特征图片数据集共同构成分类鉴别模型的训练集。
第四步：对标注为特征图片的数据集进行病灶提取。提取出来的病灶数据集作为病灶候选框的生成模型训练的正样本，第三步的非特征图片数据集作为病灶候选框的生成模型训练的负样本
(2)对于分类鉴别模型的训练，我们利用Google Inception v3架构和迁移学习的方法进行训练。其步骤如下。
第一步：在TensorFlow平台上加载Google Inception v3模型。
第二步：使用迁移学习的方式将分类鉴别模型的训练集加载到Google Inceptionv3模型进行训练，得到适用于被训练的皮肤病的分类器模型。
第三步：将测试图片输入到分类鉴别模型中，即可得到图片是否为特征图片的鉴别结果。
(3)对于病灶候选框的生成模型的训练，OpenCV级联分类器训练正负样本，生成xml文档。
第一步：加载正负样本
第二步：对每个正负样本进行特征的选择与提取
第三步：获得特征，进行训练
第四步：生成分类器
第五步：使用特征数据(特征图片)进行测试
(4)模板遮挡法筛选病灶，对于病灶候选框生成模型产生的候选框，我们逐一对其进行分类鉴别
第一步：从测试集中选择图片，图片通过病灶候选框的生成模型，在图片上产生一系列的候选框。测试每一个候选框。
第二步：用背景遮住除要测试的候选框之外的候选框，保证一次只测试一个候选框
第三步：将第一步处理好之后的图像利用训练好的分类鉴别模型进行测试，如果测试为特征数据，则测试的候选框为病灶区域，记录候选框位置。反之，不是病灶区域。
第四步：使用第一步与第二步的方法测试其他候选框，直至测试完所有候选框。
第五步：整合记录的为病灶区域的候选框，整合后所标记的候选框即为病灶区域。

Claims (3)

1.一种皮肤病影像的病灶定位方法，其特征在于，包括以下步骤：
1)使用迁移学习方法将分类器鉴别模型的训练集加载到Google Inception v3模型进行训练，得到适用于被训练的皮肤病的分类器模型；所述分类器模型的训练集包括由皮肤病图像分类得到的特征图像集和非特征图像集；将测试图片输入到分类器鉴别模型中，即得到图片是否为特征图片的鉴别结果；同时，加载正样本和负样本，对所有正样本、负样本进行特征选择与提取，获得正样本、负样本的特征，并进行训练，生成病灶候选框的生成模型；
2)从测试集中选择图片，图片通过病灶候选框的生成模型，在图片上产生一系列的候选框，用背景遮住除要测试的候选框之外的候选框，保证一次只测试一个候选框；
3)将经过步骤2)处理后的图片利用所述分类鉴别模型进行测试，如果测试为特征数据，则测试的候选框为病灶区域，记录候选框位置；反之，不是病灶区域；
4)重复步骤2)和步骤3)，直至测试完所有的候选框；
5)整合记录为病灶区域的候选框，整合后所标记的候选框即为病灶区域。
2.根据权利要求1所述的皮肤病影像的病灶定位方法，其特征在于，所述训练集和测试集的获取过程包括：
1)采集皮肤病图片；
2)切割所述皮肤病图片，得到原始尺寸的共聚焦显微镜图片；
3)选择适量原始尺寸的共聚焦显微镜图片，从中取一部分图片作为测试集，剩下的分为特征图片数据集和非特征图片数据集；所述特征图片数据集和非特征图片数据集共同构成分类鉴别模型的训练集。
3.根据权利要求2所述的皮肤病影像的病灶定位方法，其特征在于，所述正样本、负样本的获取过程包括：对标注为特征图片的数据集进行病灶提取，提取出来的病灶数据集作为病灶候选框的生成模型训练的正样本，非特征图片数据集作为病灶候选框的生成模型训练的负样本。
CN201810399288.2A 2018-04-28 2018-04-28 一种皮肤病影像的病灶定位方法 Pending CN108596174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810399288.2A CN108596174A (zh) 2018-04-28 2018-04-28 一种皮肤病影像的病灶定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810399288.2A CN108596174A (zh) 2018-04-28 2018-04-28 一种皮肤病影像的病灶定位方法

Publications (1)

Publication Number Publication Date
CN108596174A true CN108596174A (zh) 2018-09-28

Family

ID=63610742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810399288.2A Pending CN108596174A (zh) 2018-04-28 2018-04-28 一种皮肤病影像的病灶定位方法

Country Status (1)

Country Link
CN (1) CN108596174A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829879A (zh) * 2018-12-04 2019-05-31 国际竹藤中心 维管束的检测方法及装置
CN110414631A (zh) * 2019-01-29 2019-11-05 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110412048A (zh) * 2019-07-25 2019-11-05 青岛大学 一种电力损伤探测巡航装置
CN111192678A (zh) * 2019-10-31 2020-05-22 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111462067A (zh) * 2020-03-30 2020-07-28 北京推想科技有限公司 图像分割方法及装置
CN112263217A (zh) * 2020-08-27 2021-01-26 上海大学 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064120A2 (en) * 2006-11-17 2008-05-29 Amigent, Inc. Method for displaying measurements and temporal changes of skin surface images
CN103646398A (zh) * 2013-12-04 2014-03-19 山西大学 一种皮肤镜病灶自动分割方法
CN105686803A (zh) * 2016-01-08 2016-06-22 兰津 扫描数据处理方法及装置
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
CN107844794A (zh) * 2016-09-21 2018-03-27 北京旷视科技有限公司 图像识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064120A2 (en) * 2006-11-17 2008-05-29 Amigent, Inc. Method for displaying measurements and temporal changes of skin surface images
CN103646398A (zh) * 2013-12-04 2014-03-19 山西大学 一种皮肤镜病灶自动分割方法
CN105686803A (zh) * 2016-01-08 2016-06-22 兰津 扫描数据处理方法及装置
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
CN107844794A (zh) * 2016-09-21 2018-03-27 北京旷视科技有限公司 图像识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XULEI YANG等: "A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification", 《HTTP://ARXIV:1703.01025》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829879A (zh) * 2018-12-04 2019-05-31 国际竹藤中心 维管束的检测方法及装置
CN109829879B (zh) * 2018-12-04 2021-01-15 国际竹藤中心 维管束的检测方法及装置
CN110414631A (zh) * 2019-01-29 2019-11-05 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110414631B (zh) * 2019-01-29 2022-02-01 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110412048A (zh) * 2019-07-25 2019-11-05 青岛大学 一种电力损伤探测巡航装置
CN111192678A (zh) * 2019-10-31 2020-05-22 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111192678B (zh) * 2019-10-31 2023-06-02 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111462067A (zh) * 2020-03-30 2020-07-28 北京推想科技有限公司 图像分割方法及装置
CN112263217A (zh) * 2020-08-27 2021-01-26 上海大学 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法

Similar Documents

Publication Publication Date Title
CN108596174A (zh) 一种皮肤病影像的病灶定位方法
CN109858540B (zh) 一种基于多模态融合的医学图像识别系统及方法
WO2020151536A1 (zh) 一种脑部图像分割方法、装置、网络设备和存储介质
CN108898595B (zh) 一种胸部图像中病灶区域的定位模型的构建方法及应用
CN109920518B (zh) 医学影像分析方法、装置、计算机设备和存储介质
CN109727243A (zh) 乳腺超声图像识别分析方法及系统
CN109919928A (zh) 医学影像的检测方法、装置和存储介质
CN103975364B (zh) 针对宫颈的光学检查的图像选择
CN108511055A (zh) 基于分类器融合及诊断规则的室性早搏识别系统及方法
CN112784767A (zh) 基于白细胞显微图像的细胞实例分割算法
CN110390678A (zh) 一种结直肠癌ihc染色图像的组织类型分割方法
CN113397485A (zh) 一种基于深度学习的脊柱侧弯筛查方法
CN113902669A (zh) 一种尿脱落细胞液基涂片的阅片方法及系统
Tong et al. Improving classification of breast cancer by utilizing the image pyramids of whole-slide imaging and multi-scale convolutional neural networks
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN110503147A (zh) 基于相关性学习的多模图像分类系统
CN103246888A (zh) 肺病的计算机诊断系统及方法
Sun et al. Detection of breast tumour tissue regions in histopathological images using convolutional neural networks
CN109711306B (zh) 一种基于深度卷积神经网络获取面部特征的方法及设备
Saraswat et al. Malarial parasites detection in RBC using image processing
Cao et al. Deep learning based lesion detection for mammograms
Iannello et al. A slightly supervised approach for positive/negative classification of fluorescence intensity in hep-2 images
Toan Aiding Oral Squamous Cell Carcinoma diagnosis using Deep learning ConvMixer network
Sönmez et al. Deep Learning-Based Classification of Dermoscopic Images for Skin Lesions
Antony et al. Domain-specific approach for segmentation of nucleus-cytoplasm in bone cancer histopathology for malignancy analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication