CN110674726A - 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统 - Google Patents

基于目标检测与迁移学习的皮肤病辅助诊断方法及系统 Download PDF

Info

Publication number
CN110674726A
CN110674726A CN201910891540.6A CN201910891540A CN110674726A CN 110674726 A CN110674726 A CN 110674726A CN 201910891540 A CN201910891540 A CN 201910891540A CN 110674726 A CN110674726 A CN 110674726A
Authority
CN
China
Prior art keywords
image
skin
candidate region
candidate
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910891540.6A
Other languages
English (en)
Inventor
陈盛泉
江瑞
闾海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910891540.6A priority Critical patent/CN110674726A/zh
Publication of CN110674726A publication Critical patent/CN110674726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种基于目标检测与迁移学习的皮肤病辅助诊断方法及系统，方法包括：采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集；将图像数据集输入智能诊断模型的特征提取网络中，获取与图像数据集中图像对应的特征图像；将特征图像输入智能诊断模型的区域候选网络中，基于区域候选网络确定特征图像的候选区域；将特征图像和候选区域共同输入智能诊断模型的池化层，提取候选区域特征图；基于候选区域特征图，通过智能诊断模型的全连接层输出候选区域的皮肤病类别及概率。利用上述发明能够有效挖掘皮肤图像信息，实现对图像不同种类、不同区域的皮肤病检测。

Description

基于目标检测与迁移学习的皮肤病辅助诊断方法及系统
技术领域
本发明涉及皮肤病诊断技术领域，更为具体地，涉及一种基于目标检测与迁移学习的皮肤病辅助诊断方法及系统。
背景技术
皮肤作为人体的一道天然屏障,需要抵御各种外界刺激，如紫外线等物理刺激、洗涤剂等化学刺激、昆虫叮咬等生物刺激、刮擦等机械刺激)。皮肤疾病的产生就是由于皮肤的形态、结构和功能发生变化、产生病理过程。皮肤疾病十分常见，皮肤病患者通常可占到综合医院门诊量的10％左右，而这些到医院就诊的患者其实只占了皮肤病患者的一小部分，这是由于当前皮肤病的诊断仍过度依赖于专业医生，许多皮肤病的外形类似、症状相仿，患者难以通过自诊来进行有效辨别，大多数患者自认为对身体影响小、病情较轻而选择不前往就诊。这其实存在非常大的隐患，最常见的案例就是患者若误将黑色素瘤认为是普通痣不加重视从而导致延误病情。此外，常见皮肤病的诊断工作给医生带来了大量重复性劳动，进一步造成了医疗资源的紧张。
目前，虽然存在将传统机器学习方法应用于皮肤病的识别的方案，但是由于其数据处理货研究方法的局限性导致其存在以下缺点：
1、仅实现了整张图像的皮肤病分类，无法对图像中不同区域、不同类型的皮肤病进行识别与细分，导致无法高精度地对低信噪比的图像进行分类。同时，这类方法也极大地限制了图像采集工作的便利性，需要手动专门针对某块皮肤区域进行图像采集和识别。
2、对使用场景要求相对较高，图像采集过程中视野、角度、光线、光影等的变化会给皮肤病的检测结果造成较大影响；
3、采用传统机器学习方法难以提取到图像的高维特征，导致皮肤病的检测准确率相对较低，容易造成误判从而影响疾病的诊治；
4、暂无成形的皮肤病辅助诊断系统可供用户进行跨平台、跨终端的皮肤病检测使用。
发明内容
鉴于上述问题，本发明的目的是提供一种基于目标检测与迁移学习的皮肤病辅助诊断方法及系统以解决上述问题。
本发明提供的基于目标检测与迁移学习的皮肤病辅助诊断方法，其特征在于，方法包括：采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集；将图像数据集输入智能诊断模型的特征提取网络中，获取与图像数据集中图像对应的特征图像；将特征图像输入智能诊断模型的区域候选网络中，基于区域候选网络确定特征图像的候选区域；将特征图像和候选区域共同输入智能诊断模型的池化层，提取候选区域特征图；基于候选区域特征图，通过智能诊断模型的全连接层输出候选区域的皮肤病类别及概率。
此外，优选的方案是，对采集到的皮肤图像进行标注及预处理的过程包括：利用LabelImg对采集到的皮肤图像进行皮肤疾病的标注；对标注后的皮肤图像进行数据扩增；其中，数据扩增包括对皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加。
此外，优选的方案是，特征提取网络包括VGG-16与ResNet-101；在不同硬件条件下，VGG-16与ResNet-101可切换使用。
此外，优选的方案是，基于区域候选网络确定特征图像的候选区域的过程包括：通过区域候选网络获取特征图像的所有检测框；获取各检测框属于前景或背景的概率得分；基于概率得分筛选出属于前景的所有检测框；通过非极大值抑制技术对前景的所有检测框进行排序，选取前预设个数的检测框作为候选区域输出。
此外，优选的方案是，还包括与智能诊断模型连接的辅助诊断系统；辅助诊断系统根据全连接层输出的皮肤病类别及概率，反馈与皮肤病类别相对应的治疗方案。
根据本发明的另一方面，提供一种基于目标检测与迁移学习的皮肤病辅助诊断系统，其特征在于，系统包括：图像数据集获取单元，用于采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集；特征图像获取单元，用于将图像数据集输入智能诊断模型的特征提取网络中，获取与图像数据集中图像对应的特征图像；候选区域确定单元，用于将特征图像输入智能诊断模型的区域候选网络中，基于区域候选网络确定特征图像的候选区域；候选区域特征图提取单元，用于将特征图像和候选区域共同输入智能诊断模型的池化层，提取候选区域特征图；类别及概率输出单元，用于基于候选区域特征图，通过智能诊断模型的全连接层输出候选区域的皮肤病类别及概率。
此外，优选的方案是，图像数据集获取单元包括标注模块和数据扩增模块；标注模块利用LabelImg对采集到的皮肤图像进行皮肤疾病的标注；数据扩增模块用于对标注后的皮肤图像进行数据扩增；其中，数据扩增包括对皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加。
此外，优选的方案是，候选区域确定单元包括：检测框获取模块，用于通过区域候选网络获取特征图像的所有检测框；概率得分模块，用于获取各检测框属于前景或背景的概率得分；前景检测框获取模块，用于基于概率得分筛选出属于前景的所有检测框；候选区域输出模块，用于通过非极大值抑制技术对前景的所有检测框进行排序，选取前预设个数的检测框作为候选区域输出。
此外，优选的方案是，还包括与智能诊断模型连接的辅助诊断系统；辅助诊断系统根据全连接层输出的皮肤病类别及概率，反馈与皮肤病类别相对应的治疗方案。
此外，优选的方案是，还包括服务器端；其中，服务器端设置CPU、单GPU和多GPU三种运行模式；服务器端利用Incrontab技术对独立设置的存储节点进行监听，当有待检测皮肤图像提交时，自动运行所述基于目标检测与迁移学习的皮肤病辅助诊断方法。
利用上述基于目标检测与迁移学习的皮肤病辅助诊断方法及系统，能够利用卷积神经网络、迁移学习策略和数据扩增技术有效地挖掘皮肤图像信息，学习黑色素瘤、带状疱疹、湿疹、表皮内水疱、痤疮、荨麻疹、牛皮癣等多种常见皮肤疾病的特征，结合目标检测技术实现对不同环境下采集到的图像中不同种类、不同区域的皮肤疾病进行一站式检测，提供跨平台、跨终端的智能检测系统，极大地丰富了使用场景，便利了医生的诊断和患者的自诊。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断方法的流程图；
图2为根据本发明实施例的智能诊断模型的模型训练图；
图3为根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断方法的逻辑图；
图4为根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断系统的逻辑框图；
图5为根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断系统的流程图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
为详细描述本发明的基于目标检测与迁移学习的皮肤病辅助诊断方法，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明的基于目标检测与迁移学习的皮肤病辅助诊断方法的流程。
如图1所示，本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断方法包括以下步骤：
S110：采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集。
其中，对采集到的皮肤图像进行标注及预处理的过程进一步包括：
1、利用LabelImg对采集到的皮肤图像进行皮肤疾病的标注；
2、对标注后的皮肤图像进行数据扩增；其中，数据扩增包括对皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加。
具体地，可通过相机采集包括健康以及患有各类皮肤病的人体的皮肤图像信息，然后利用LabelImg对采集到的皮肤图像中的各类皮肤病进行标注，最后对标注后的皮肤图像进行数据扩增，从而仅需要人工采集数百个图像样本即可，而不用数量庞大的训练样本，对应的数据扩增包括对皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加等。
作为具体示例，图2示出了根据本发明实施例的智能诊断模型的模型训练过程。
如图2所示，在对采集到的皮肤图像进行预处理后，可利用公开的皮肤图像数据集进行预训练，然后通过数据扩增后的图像数据集对智能诊断模型进行模型微调，最终形成训练完成的智能诊断模型。
S120：将图像数据集输入智能诊断模型的特征提取网络中，获取与图像数据集中图像对应的特征图像。
其中，在实际应用过程中，可根据硬件条件选择VGG-16或ResNet-101这两种基于卷积神经网络的特征提取网络进行特征提取，VGG-16或ResNet-101可相互切换，VGG-16对硬件要求低但准确率也相对较低，而ResNet-101相对于VGG-16网络更大，并且ResNet-101中的残差连接使得深度模型的训练比较容易，使网络具有更强的学习能力。
S130：将特征图像输入智能诊断模型的区域候选网络中，基于区域候选网络确定特征图像的候选区域。
其中，基于区域候选网络确定特征图像的候选区域的过程包括：
1、通过区域候选网络获取特征图像的所有检测框；获取各检测框属于前景或背景的概率得分；
2、基于概率得分筛选出属于前景的所有检测框；
3、通过非极大值抑制技术对前景的所有检测框进行排序，选取前预设个数的检测框作为候选区域输出。
S140：将特征图像和候选区域共同输入智能诊断模型的池化层，提取候选区域特征图。
S150：基于候选区域特征图，通过智能诊断模型的全连接层输出候选区域的皮肤病类别及概率。
其中，皮肤病的种类包括：噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死等。
此外，本发明提供的基于目标检测与迁移学习的皮肤病辅助诊断方法，还包括与智能诊断模型连接的辅助诊断系统；辅助诊断系统根据全连接层输出的皮肤病类别及概率，反馈与皮肤病类别相对应的治疗方案。
图3示出了根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断方法的逻辑。
如图3所示，首先将任意尺寸的皮肤图像输入卷积神经网络进行特征提取，获取特征图像，然后根据区域建议网络(即区域候选网络，下同)依次经过滑动窗口和全连接层获取区域建议及区域得分，即上述确定候选区域及候选区域的概率得分情况。然后，将特征图像和候选区域共同输入智能诊断模型的池化层，提取候选区域特征图，候选区域特征图再次输入智能诊断模型的全连接层，通过全连接层输出候选区域的皮肤病分类概率及对应的候选区域的边框。
与上述基于目标检测与迁移学习的皮肤病辅助诊断方法相对应的，本发明还提供一种基于目标检测与迁移学习的皮肤病辅助诊断系统。
图4示出了根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断系统的逻辑框图。
如图4所示，本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断系统10包括以下内容：
图像数据集获取单元101，用于采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集；
其中，图像数据集获取单元101进一步包括标注模块和数据扩增模块；标注模块利用LabelImg对采集到的皮肤图像进行皮肤疾病的标注；数据扩增模块用于对标注后的皮肤图像进行数据扩增；其中，数据扩增包括对皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加。
特征图像获取单元102，用于将图像数据集输入智能诊断模型的特征提取网络中，获取与图像数据集中图像对应的特征图像；
候选区域确定单元103，用于将特征图像输入智能诊断模型的区域候选网络中，基于区域候选网络确定特征图像的候选区域；
其中，候选区域确定单元103包括：检测框获取模块，用于通过区域候选网络获取特征图像的所有检测框；概率得分模块，用于获取各检测框属于前景或背景的概率得分；前景检测框获取模块，用于基于概率得分筛选出属于前景的所有检测框；候选区域输出模块，用于通过非极大值抑制技术对前景的所有检测框进行排序，选取前预设个数的检测框作为候选区域输出。
候选区域特征图提取单元104，用于将特征图像和候选区域共同输入智能诊断模型的池化层，提取候选区域特征图；
类别及概率输出单元105，用于基于候选区域特征图，通过智能诊断模型的全连接层输出候选区域的皮肤病类别及概率。
此外，基于目标检测与迁移学习的皮肤病辅助诊断系统，还包括与智能诊断模型连接的辅助诊断系统；辅助诊断系统根据全连接层输出的皮肤病类别及概率，反馈与皮肤病类别相对应的治疗方案。
另外，需要说明的是，本发明提供的基于目标检测与迁移学习的皮肤病辅助诊断系统在服务器端可设置CPU、单GPU和多GPU三种运行模式，以供根据服务器实际情况选择使用。默认情况下可自动根据硬件条件最大化利用计算资源，从而有效提升皮肤病智能检测效率。
对应的，在客户端或者用户系统端，可基于Brower/Server(BS)架构开发一个便于跨平台、跨终端使用的检测系统(或检测算法，即上述基于目标检测与迁移学习的皮肤病辅助诊断系统，下同)，能够运行于电脑、手机、平板电脑的各种主流操作系统如Windows、Linux、MacOS、Android、IOS之上。系统的前端使用主流的Html和JavaScript实现动态网页，有效阻碍网站爬虫，并自适应前端窗口大小，提供良好用户体验。系统的服务器端利用Incrontab技术对独立设置的存储节点进行监听，当有新任务待检测皮肤图像提交时，自动运行检测算法，从而有效降低服务器端PHP脚本的权限以及文件系统被入侵的可能性。
此外，也可通过医生或者患者自己对需要检测的皮肤部位进行图像采集，将图像上传至检测系统之后，系统会自动新建一个检测任务，并会反馈出智能检测算法识别到的存在皮肤疾病的位置以及相应的疾病种类和概率，以供医生或者患者进行参考。
具体地，如图5根据本发明实施例的基于目标检测与迁移学习的皮肤病辅助诊断系统的流程所示，用户可以手动提交待检验的皮肤图像，也可以通过系统设置自动提交能够采集图像的固定架设设备或机械臂拍摄到的皮肤图像；然后，服务器的存储结点会自动生成一个新的任务，计算节点监听到新任务生成时候会自动调用训练好的智能诊断模型，自动识别硬件条件，从而充分利用计算资源以实现更高的检测效率；检测完成后系统会输出相应的检测结果，在原图中标记出可能存在皮肤病的区域，并给出疾病种类和相应概率信息等内容。
如上所示，本发明的基于目标检测与迁移学习的皮肤病辅助诊断方法及系统，能够在图像中标记出有可能存在皮肤疾病的区域并给出相应的疾病种类和概率，使得对黑色素瘤、带状疱疹、湿疹、表皮内水疱、痤疮、荨麻疹、牛皮癣等多种常见皮肤疾病的检测一步到位，极大地降低了人工成本，便利了医生的诊断和患者的自诊；此外，本发明中所开发的于目标检测与迁移学习的皮肤病辅助诊断系统为Web服务器系统，支持跨平台、跨终端使用，极大地丰富了使用场景、提高使用的便利性。
如上参照附图以示例的方式描述根据本发明的基于目标检测与迁移学习的皮肤病辅助诊断方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于目标检测与迁移学习的皮肤病辅助诊断方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于目标检测与迁移学习的皮肤病辅助诊断方法，其特征在于，所述方法包括：
采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集；
将所述图像数据集输入智能诊断模型的特征提取网络中，获取与所述图像数据集中图像对应的特征图像；
将所述特征图像输入所述智能诊断模型的区域候选网络中，基于所述区域候选网络确定所述特征图像的候选区域；
将所述特征图像和所述候选区域共同输入所述智能诊断模型的池化层，提取所述候选区域特征图；
基于所述候选区域特征图，通过所述智能诊断模型的全连接层输出所述候选区域的皮肤病类别及概率。
2.如权利要求1所述的基于目标检测与迁移学习的皮肤病辅助诊断方法，其特征在于，所述对采集到的皮肤图像进行标注及预处理的过程包括：
利用LabelImg对采集到的皮肤图像进行皮肤疾病的标注；
对标注后的皮肤图像进行数据扩增；其中，
所述数据扩增包括对所述皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加。
3.如权利要求1所述的基于目标检测与迁移学习的皮肤病辅助诊断方法，其特征在于，
所述特征提取网络包括VGG-16与ResNet-101；
在不同硬件条件下，所述VGG-16与ResNet-101可切换使用。
4.如权利要求1所述的基于目标检测与迁移学习的皮肤病辅助诊断方法，其特征在于，所述基于所述区域候选网络确定所述特征图像的候选区域的过程包括：
通过所述区域候选网络获取所述特征图像的所有检测框；
获取各检测框属于前景或背景的概率得分；
基于所述概率得分筛选出属于前景的所有检测框；
通过非极大值抑制技术对所述前景的所有检测框进行排序，选取前预设个数的检测框作为所述候选区域输出。
5.如权利要求1所述的基于目标检测与迁移学习的皮肤病辅助诊断方法，其特征在于，还包括与所述智能诊断模型连接的辅助诊断系统；
所述辅助诊断系统根据所述全连接层输出的皮肤病类别及概率，反馈与所述皮肤病类别相对应的治疗方案。
6.一种基于目标检测与迁移学习的皮肤病辅助诊断系统，其特征在于，所述系统包括：
图像数据集获取单元，用于采集皮肤图像信息，并对采集到的皮肤图像进行标注及预处理，获取对应的图像数据集；
特征图像获取单元，用于将所述图像数据集输入智能诊断模型的特征提取网络中，获取与所述图像数据集中图像对应的特征图像；
候选区域确定单元，用于将所述特征图像输入所述智能诊断模型的区域候选网络中，基于所述区域候选网络确定所述特征图像的候选区域；
候选区域特征图提取单元，用于将所述特征图像和所述候选区域共同输入所述智能诊断模型的池化层，提取所述候选区域特征图；
类别及概率输出单元，用于基于所述候选区域特征图，通过所述智能诊断模型的全连接层输出所述候选区域的皮肤病类别及概率。
7.如权利要求6所述的基于目标检测与迁移学习的皮肤病辅助诊断系统，其特征在于，
所述图像数据集获取单元包括标注模块和数据扩增模块；
所述标注模块利用LabelImg对采集到的皮肤图像进行皮肤疾病的标注；
所述数据扩增模块用于对标注后的皮肤图像进行数据扩增；其中，
所述数据扩增包括对所述皮肤图像进行翻转、旋转、色阶调整、对比度调整、高斯噪声添加、椒盐噪声添加或泊松噪声添加。
8.如权利要求6所述的基于目标检测与迁移学习的皮肤病辅助诊断系统，其特征在于，所述候选区域确定单元包括：
检测框获取模块，用于通过所述区域候选网络获取所述特征图像的所有检测框；
概率得分模块，用于获取各检测框属于前景或背景的概率得分；
前景检测框获取模块，用于基于所述概率得分筛选出属于前景的所有检测框；
候选区域输出模块，用于通过非极大值抑制技术对所述前景的所有检测框进行排序，选取前预设个数的检测框作为所述候选区域输出。
9.如权利要求6所述的基于目标检测与迁移学习的皮肤病辅助诊断系统，其特征在于，还包括与所述智能诊断模型连接的辅助诊断系统；
所述辅助诊断系统根据所述全连接层输出的皮肤病类别及概率，反馈与所述皮肤病类别相对应的治疗方案。
10.如权利要求6所述的基于目标检测与迁移学习的皮肤病辅助诊断系统，其特征在于，还包括服务器端；其中，
所述服务器端设置CPU、单GPU和多GPU三种运行模式；
所述服务器端利用Incrontab技术对独立设置的存储节点进行监听，当有待检测皮肤图像提交时，自动运行所述基于目标检测与迁移学习的皮肤病辅助诊断方法。
CN201910891540.6A 2019-09-20 2019-09-20 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统 Pending CN110674726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910891540.6A CN110674726A (zh) 2019-09-20 2019-09-20 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910891540.6A CN110674726A (zh) 2019-09-20 2019-09-20 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统

Publications (1)

Publication Number Publication Date
CN110674726A true CN110674726A (zh) 2020-01-10

Family

ID=69078390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891540.6A Pending CN110674726A (zh) 2019-09-20 2019-09-20 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统

Country Status (1)

Country Link
CN (1) CN110674726A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111261288A (zh) * 2020-04-07 2020-06-09 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于bdnf早期识别双相障碍的方法
CN112651962A (zh) * 2021-01-07 2021-04-13 中科魔镜(深圳)科技发展有限公司 一种ai智能诊断系统平台
CN113299363A (zh) * 2021-04-27 2021-08-24 西安理工大学 一种基于yolov5的皮肤科非处方药售药方法
CN113344914A (zh) * 2021-07-09 2021-09-03 重庆医科大学附属第一医院 基于图像识别智能分析ppd皮试结果的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011112566A2 (en) * 2010-03-11 2011-09-15 Abbott Laboratories Basigin binding proteins
CN107945173A (zh) * 2017-12-11 2018-04-20 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011112566A2 (en) * 2010-03-11 2011-09-15 Abbott Laboratories Basigin binding proteins
CN107945173A (zh) * 2017-12-11 2018-04-20 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BANYEJINGHUNGUI: "《Incrontab(事件触发任务命令)文档说明》", 《51CTO博客》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111261288A (zh) * 2020-04-07 2020-06-09 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于bdnf早期识别双相障碍的方法
CN112651962A (zh) * 2021-01-07 2021-04-13 中科魔镜(深圳)科技发展有限公司 一种ai智能诊断系统平台
CN113299363A (zh) * 2021-04-27 2021-08-24 西安理工大学 一种基于yolov5的皮肤科非处方药售药方法
CN113344914A (zh) * 2021-07-09 2021-09-03 重庆医科大学附属第一医院 基于图像识别智能分析ppd皮试结果的方法及装置

Similar Documents

Publication Publication Date Title
Xie et al. Skin lesion segmentation using high-resolution convolutional neural network
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
Gao et al. Classification of CT brain images based on deep learning networks
CN110674726A (zh) 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统
WO2021017372A1 (zh) 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
Huang et al. Lesion-based contrastive learning for diabetic retinopathy grading from fundus images
CN111754453A (zh) 基于胸透图像的肺结核检测方法、系统和存储介质
CN110246579B (zh) 一种病理诊断方法及装置
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
WO2021169642A1 (zh) 基于视频的眼球转向确定方法与系统
CN110378882B (zh) 一种多层级深度特征融合的中医舌质颜色分类方法
CN111127400A (zh) 一种乳腺病变检测方法和装置
Li et al. Developing an image-based deep learning framework for automatic scoring of the pentagon drawing test
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN111797704B (zh) 一种基于相关物体感知的动作识别方法
Yuan et al. Explore double-opponency and skin color for saliency detection
CN113096080A (zh) 图像分析方法及系统
CN116188396A (zh) 一种图像分割方法、装置、设备及介质
CN115880266A (zh) 一种基于深度学习的肠道息肉检测系统和方法
CN115564756A (zh) 医学图像病灶定位显示方法与系统
CN113643263A (zh) 一种上肢骨定位与前臂骨融合畸形的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication