CN113299363A - 一种基于yolov5的皮肤科非处方药售药方法 - Google Patents

一种基于yolov5的皮肤科非处方药售药方法 Download PDF

Info

Publication number
CN113299363A
CN113299363A CN202110462970.3A CN202110462970A CN113299363A CN 113299363 A CN113299363 A CN 113299363A CN 202110462970 A CN202110462970 A CN 202110462970A CN 113299363 A CN113299363 A CN 113299363A
Authority
CN
China
Prior art keywords
yolov5
skin disease
over
detection
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110462970.3A
Other languages
English (en)
Inventor
杨延西
孙俏
高异
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110462970.3A priority Critical patent/CN113299363A/zh
Publication of CN113299363A publication Critical patent/CN113299363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开的一种基于yolov5的皮肤科非处方药售药方法,包括采集皮肤病原始图像并进行预处理,提取各类皮肤病特征值;使用数据集标注软件labelimg对特征值进行人工标注,得到皮肤病类别信息以及坐标信息;将其输入yolov5深度学习检测网络并进行训练;采集患者患病处照片,输入yolov5检测网络中进行检测,判断出相应皮肤病的类型;利用概率数据关联将皮肤病类型与对应药物进行链接并向患者展示。本发明通过采集待检测皮肤病图片,利用yolov5深度学习算法检测皮肤病类型,将检测结果与推荐药物利用Apriori关联算法进行连接并推送相关药物,解决了现有人工售药带来的识别精度低和检测速度慢的问题。

Description

一种基于yolov5的皮肤科非处方药售药方法
技术领域
本发明属于图像识别技术领域,具体涉及一种基于yolov5的皮肤科非处方药售药方法。
背景技术
皮肤是人体最大的器官,皮肤病的种类主要有:斑疹、脓疱、风团、糜烂或溃疡、丘疹、痂、结节、鳞屑、水疱、皲裂等;市场上主流的治疗皮肤病的药物可分为:非真菌感染类、病毒性皮肤病、过敏性皮肤病、皮脂汗腺皮肤病等几大类。对于轻微皮肤病治疗,常见方式是购买皮肤科用药类非处方药药品进行涂抹。
非处方药是不需要医师或其它医疗专业人员开写处方即可购买的药品,公众可在各大药店的柜台或通过网络线上购买获得。皮肤科用药类非处方药药品常用于解决各种皮肤科疾病,市场上现有的主要用药有:复方醋酸地塞米松乳膏、糠酸莫米松乳膏、曲安奈德益康唑乳膏、酮康唑乳膏、硝酸益康唑喷剂、999皮炎平软膏、莫匹罗星软膏、马应龙麝香痔疮膏、维A酸乳膏、疗癣卡西甫散、复方聚维酮碘搽剂、驱白巴布期片等。
常见皮肤病的临床症状具有显著性差异,药店医导可直接通过肉眼观察推荐相应的非处方药。但由于部分医导病理知识有限,使得售药过程存在着识别精度低、检测速度慢等问题。
发明内容
本发明的目的在于提供一种基于yolov5的皮肤科非处方药售药方法,解决了现有人工售药带来的识别精度低和检测速度慢的问题。
本发明所采用的技术方案是:一种基于yolov5的皮肤科非处方药售药方法,包括以下步骤:
步骤1、采集皮肤病原始图像并进行预处理,提取各类皮肤病特征值;
步骤2、使用数据集标注软件labelimg对步骤1中得到的特征值进行人工标注,得到每张图片中的皮肤病类别信息以及坐标信息;
步骤3、将步骤2中得到的皮肤病类别信息以及坐标信息输入yolov5深度学习检测网络并进行训练;
步骤4、采集患者患病处照片,输入步骤3中训练好的yolov5检测网络中进行检测,判断出相应皮肤病的类型;
步骤5、利用概率数据关联将步骤4中判断出的皮肤病类型与对应药物进行链接并向患者展示。
本发明的特点还在于,
步骤1中采集到的图片分辨率大小为2560×1920,采集到的皮肤病类型包括疱疹、脓包型痤疮、粉刺、皮炎湿疹、毛囊炎和蚊虫叮咬等六类皮肤病。
步骤1中的预处理具体为:首先利用图像锐化得到更陡峭、清晰的图像边缘信息,然后利用平滑滤波抑制噪声,最后利用边缘检测算子进行阈值化处理,以确定突出的边缘信息。
步骤3具体包括以下步骤:
步骤3.1、将步骤2中得到的皮肤病类别信息以及坐标信息的VOC格式数据转化为yolov5格式的数据集;
步骤3.2、将yolov5格式的数据集以6:2:2的比例划分为训练集、测试集、验证集;
步骤3.3、进行一个copy或move的指令进行数据集重构,即可训练皮肤病yolov5检测网络。
步骤3具体中的yolov5深度学习检测网络分为输入端、Backbone、Neck和输出端四个部分,输入端采用Mosaic数据增强的方式,包括自适应锚框计算和自适应图片缩放;Backbone中包括Focus结构、两种CSP结构;Neck采用FPN+PAN的结构;输出端采用GIOU_Loss做Bounding box的损失函数。
步骤5中的概率数据关联为Apriori关联算法。
本发明的有益效果是:本发明一种基于yolov5的皮肤科非处方药售药方法,通过采集待检测皮肤病图片,利用yolov5深度学习算法检测皮肤病类型,将检测结果与推荐药物利用Apriori关联算法进行连接并推送相关药物,解决了现有人工售药带来的识别精度低和检测速度慢的问题。
附图说明
图1是本发明一种基于yolov5的皮肤科非处方药售药方法的流程示意图;
图2是本发明一种基于yolov5的皮肤科非处方药售药方法步骤2中皮肤病图像数据集的制作流程示意图;
图3是本发明一种基于yolov5的皮肤科非处方药售药方法步骤3中构建yolov5深度学习检测网络的流程示意图;
图4是本发明一种基于yolov5的皮肤科非处方药售药方法中步骤4和5的流程示意图;
图5是现有yolov5整体网络框架示意图;
图6a)是本发明一种基于yolov5的皮肤科非处方药售药方法中的Focus结构示意图;
图6b)是本发明一种基于yolov5的皮肤科非处方药售药方法中的CSP1_X结构示意图;
图6c)是本发明一种基于yolov5的皮肤科非处方药售药方法中的CSP2_X结构示意图;
图6d)是本发明一种基于yolov5的皮肤科非处方药售药方法的CSP结构中的CBL与Resunit模块示意图;
图7a)是采用本发明一种基于yolov5的皮肤科非处方药售药方法中yolov5深度学习检测网络对蚊虫叮咬的检测效果图;
图7b)是采用本发明一种基于yolov5的皮肤科非处方药售药方法中yolov5深度学习检测网络对疱疹的检测效果图。
具体实施方式
下面结合附图以及具体实施方式对本发明进行详细说明。
本发明提供了一种基于yolov5的皮肤科非处方药售药方法,如图1所示,包括以下步骤:
步骤1、采集常见皮肤病原始图像,图片分辨率大小为2560×1920,总计六类常见皮肤病即疱疹、脓包型痤疮、粉刺、皮炎湿疹、毛囊炎和蚊虫叮咬,并对采集到的皮肤病原始图像进行预处理,提取各类皮肤病特征值。
其中图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性。对于数据库中的图像数据进行预处理,具体方法有:平滑预处理、中值滤波处理、边缘检测处理以及梯度算子处理等,由于平滑预处理后的图片在去噪声的同时模糊了边界,中值滤波会丢失图像细节信息,边缘检测处理适用于图像灰度变化较大的场景,因此本发明采用梯度算子法图像预处理,具体做法是:首先利用图像锐化得到更陡峭、清晰的图像边缘信息,然后利用平滑滤波抑制噪声,最后利用边缘检测算子进行阈值化处理,以确定突出的边缘信息。其中,Canny边缘检测算法的具体步骤如下:
1、对于递增的标准差,重复以下2到6步骤;
2、将图像f与尺度为高斯函数做卷积;
3、对图像中的每个像素,估计局部边缘的法向n;
4、用非最大抑制公式找到边缘的位置;
5、用公式计算边缘强度;
6、对边缘图像做滞后阈值化处理,消除虚假响应;
7、用特征综合方法,收集来自多尺度的最终的边缘信息。
深度学习需要基于输入数据及其期望输出,通过训练从数据中提取通用信息或特征信息(特征值),以此得到预测模型。这里的特征值是指根据颜色和边缘等人为定义的提取方法从训练样本中提取的信息。特征值就是根据图像转换成的一串数值,它是将一些原始的输入的数据维度减少或者将原始的特征进行重新组合以便于后续的使用。特征提取主要有两个作用:减少数据维度、提取或整理出有效的特征供后续使用。
步骤2、使用数据集标注软件labelimg对步骤1中得到的特征值进行人工标注,得到每张图片中的皮肤病类别信息以及坐标信息。
步骤3、将步骤2中得到的皮肤病类别信息以及坐标信息输入yolov5深度学习检测网络并进行训练,具体包括以下步骤:
步骤3.1、如图2所示,将步骤2中得到的皮肤病类别信息以及坐标信息的VOC格式数据转化为yolov5格式的数据集;通过修改相关文件路径,可将VOC格式皮肤病数据集转化yolov5格式数据集,在运行代码之前,应修改相关文件的路径。如:将生成的.txt文件保存在对应文件的目录下。
步骤3.2、将yolov5格式的数据集以6:2:2的比例划分为训练集、测试集、验证集;当用户上传图片后,yolov5检测网络能判别图片中的皮肤病类型,而在实际能收集到的用于制作数据集的图片数量只有10000张,因此为了得到更好的训练模型解决数据量的问题,需要通过爬虫从网上下载200000张图片。通过观察不难发现下载的照片与实际收集到的照片之间存在较大差异,为了解决这种差异保证训练集、测试集和测试集中的数据处于同一分布下需要对yolov5格式的数据集按比例进行特定划分。
步骤3.3、进行一个copy或move的指令进行数据集重构,即可训练皮肤病yolov5检测网络。
但如果数据有限的话,可以利用数据增强扩充有限的数据,即可获得所需皮肤病数据集,数据增强包括以下一种或多种操作:
a.对原始图像进行一定尺度内平移;
b.对原始图像进行一定角度内旋转或翻转,其中翻转包括水平翻转或者上下翻转;
c.对原始图像进行部分裁剪;
d.对图像进行光照调节或色彩抖动,使rgb颜色空间进行一些变换;
e.对图像进行噪声添加,给图像加入一些人工生产的噪声;
f.对图像进行仿射变换,包括缩放,倾斜,尺度变换,线性对称变换。
利用yolov5检测算法输出皮肤病类型之前,应先完成yolov5检测网络的搭建,具体流程如图3所示,步骤如下:
S1:构建yolov5框架;
S2:安装相关依赖项,进行虚拟环境配置;
S3:训练准备的皮肤病数据集,得到所需权重文件。具体步骤如下:
301)对数据集与网络参数方面的yaml文件修改;
302)在train.py中修改参数;
303)执行train.py文件开始训练,得到所需权重文件。
如图5所示,为现有yolov5整体网络框架。yolov5的网络结构分为输入端、Backbone、Neck、输出端四个部分。输入端采用Mosaic数据增强的方式,包括自适应锚框计算和自适应图片缩放;Backbone中设计了Focus结构、两种CSP结构;Neck中借鉴CSPnet设计的CSP2结构,加强网络特征融合的能力;输出端采用GIOU_Loss做Bounding box的损失函数。
输入端:
Mosaic数据增强参考了CutMix数据增强方式,理论上具有一定的相似性。CutMix数据增强方式利用两张图片进行拼接,而Mosaic数据增强利用了四张图片。Mosaic数据增强的实现思路:每次读取四张图片;分别对四张图片进行翻转、缩放、色域变化等,并且按照四个方向位置摆好;进行图片的组合和框的组合。随机缩放、随机裁剪、随机排布的方式进行拼接,对于小目标的检测效果较好。Mosaic数据增强主要有几个优点:1.丰富数据集:随机使用四张图片,随机缩放,再随机分布进行拼接,大大丰富了检测数据集,特别是随机缩放增加了很多小目标,让网络的鲁棒性更好。2.减少GPU:Mosaic增强训练时,可以直接计算四张图片的数据,使得Mini-batch大小并不需要很大,一个GPU就可以达到比较好的效果。
自适应锚框计算:在yolo算法中,针对不同的数据集,都会有初始设定长宽的锚框。在网络训练中,网络在初始锚框的基础上输出预测框,进而和真实框ground truth进行比对,计算两者差距,再反向更新,迭代网络参数。yolov5网络在每次训练时,自适应的计算不同训练集中的最佳锚框值。
自适应图片缩放:在常用的目标检测算法中,不同的图片长宽都不相同,因此常用的方式是将原始图片统一缩放到一个标准尺寸,再送入检测网络中。在yolov5的代码中datasets.py的letterbox函数中进行了修改,对原始图像自适应的添加最少的黑边。yolo算法中常用416*416,608*608等尺寸,比如对800*600的图像进行缩放。具体步骤如下:
S1:计算缩放比例。原始缩放尺寸是416*416,都除以原始图像的尺寸后,可以得到0.52,和0.69两个缩放系数,选择小的缩放系数。
S2:计算缩放后的尺寸。原始图片的长宽都乘以最小的缩放系数0.52,宽变成了416,而高变成了312。
S3:计算黑边填充数值。将416-312=104,得到原本需要填充的高度。再采用numpy中np.mod取余数的方式,得到8个像素,再除以2,即得到图片高度两端需要填充的数值。
Backbone:
Focus结构示意图如图6a)所示,其关键是切片操作。以yolov5s的结构为例,原始608*608*3的图像输入Focus结构,采用切片操作,先变成304*304*12的特征图,再经过一次32个卷积核的卷积操作,最终变成304*304*32的特征图。
yolov5检测算法的Backbone中另外同一个关键结构是CSP:yolov5中设计了两种CSP结构,以yolov5s网络为例,CSP1_X结构示意图如图6b)所示应用于Backbone主干网络,另一种CSP2_X结构示意图如图6c)所示则应用于Neck中。CSP结构中的CBL与Resunit模块,如图6d)所示。
Neck:
yolov5的Neck用FPN+PAN的结构,采用借鉴CSPnet设计的CSP2结构,加强网络特征融合的能力。
输出端:
Bounding box损失函数:yolov5中采用其中的GIOU_Loss做Bounding box的损失函数。在目标检测任务中,Bounding Box的评估指标是IoU,IoU范围在(0,1)之间,具有尺度不变性,而且可以衡量各种形状的匹配程度。
定义
Figure BDA0003041740250000091
其中A为Prediction box与Ground truth box的交集;B为Prediction box与Ground truth box的并集;C是预测框和目标框的最小外接矩形。
GIoU损失不仅关注重叠区域,还关注非重合区域,解决了无重叠框之间差距无法评估的问题。当预测框和目标框完全重叠:GIoU=IoU=1;当预测框和目标框无重叠,GIoU随着距离增大而减小,趋近于-1。
nms非极大值抑制:在目标检测的后处理过程中,针对很多目标框的筛选,通常需要nms操作。Yolov4在DIOU_Loss的基础上采用DIOU_nms的方式,而yolov5中采用加权nms的方式。
步骤4、如图4所示,采集患者患病处照片,输入步骤3中训练好的yolov5检测网络中进行检测,判断出相应皮肤病的类型;
步骤5、利用概率数据关联将步骤4中判断出的皮肤病类型与对应药物进行链接并向患者展示。
Apriori关联算法的原理是利用概率数据关联将检测出的指定皮肤病与对应药物进行链接。
概率数据关联为一个目标的一次有效测量的的每一个可能性设置一个关联概率。有效测量定义为观测值在当前时刻处于目标的有效门限内。有效门限定义为:
Figure BDA0003041740250000101
其中k是时间参数,S(k)是协方差增益。在k时刻获得的一组有效测量值定义为
Z(k)=zi(k)T,i=1,...,mk
其中zi(k)是时刻k有效区域内的第i个测量值。对于状态预测,考虑
Figure BDA0003041740250000102
其中F(k-1)是时刻k-1的转移矩阵。为了计算测量预测值,考虑
Figure BDA0003041740250000111
其中H(k)为线性测量矩阵,为了计算第i个测量值的增益,考虑
Figure BDA0003041740250000112
为了计算协方差预测值,考虑
Figure BDA0003041740250000113
其中Q(k)为过程噪声协方差矩阵。计算协方差新息(S)和卡尔曼增益(K)如下
Figure BDA0003041740250000114
Figure BDA0003041740250000115
当来自目标的测量已知时,为了得到协方差更新,考虑
Figure BDA0003041740250000116
协方差的总更新由下式计算得到
Figure BDA0003041740250000117
其中
Figure BDA0003041740250000118
mk是k时刻有效测量值的个数。估计状态(包括位置和速度)的更新式为
Figure BDA0003041740250000119
综上,概率数据关联的关联概率为
Figure BDA0003041740250000121
其中
Figure BDA0003041740250000122
M为测量矩阵的维数,λ为密集环境的密度,Pd为正确测量的检测概率,Pg为检测检测值的有小概率。
在概率数据关联算法中,目标的状态估计是由在所有情形下预测状态的加权和得到的。算法能够将一个特定目标的不同测量值关联起来。因此,关联对于一个目标的不同测量结果能够更好地估计目标的状态。
容易理解的是,同一种皮肤病有一种或多种治疗药物。如治疗毛囊炎的药物有氧氟沙星凝胶、盐酸左氧氟沙星乳膏、中美史克莫匹罗星百多邦软膏等。不同制药公司生产的药物在价格与效果上存在不同差异,因此用户可以结合自身实际情况选择需要购买的药物。
结果分析
为进一步说明本发明的检测效果,如图7a)提供了本发明一种基于yolov5的皮肤科非处方药售药方法对蚊虫叮咬的检测效果图,从中可以看出,对于蚊虫叮咬的检测精度为67%;如图7b)提供了本发明一种基于yolov5的皮肤科非处方药售药方法对疱疹的检测效果图,从中可以看出,对于疱疹的检测精度为90%。

Claims (6)

1.一种基于yolov5的皮肤科非处方药售药方法,其特征在于,包括以下步骤:
步骤1、采集皮肤病原始图像并进行预处理,提取各类皮肤病特征值;
步骤2、使用数据集标注软件labelimg对步骤1中得到的特征值进行人工标注,得到每张图片中的皮肤病类别信息以及坐标信息;
步骤3、将步骤2中得到的皮肤病类别信息以及坐标信息输入yolov5深度学习检测网络并进行训练;
步骤4、采集患者患病处照片,输入步骤3中训练好的yolov5检测网络中进行检测,判断出相应皮肤病的类型;
步骤5、利用概率数据关联将步骤4中判断出的皮肤病类型与对应药物进行链接并向患者展示。
2.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤1中采集到的图片分辨率大小为2560×1920,采集到的皮肤病类型包括疱疹、脓包型痤疮、粉刺、皮炎湿疹、毛囊炎和蚊虫叮咬等六类皮肤病。
3.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤1中的预处理具体为:首先利用图像锐化得到更陡峭、清晰的图像边缘信息,然后利用平滑滤波抑制噪声,最后利用边缘检测算子进行阈值化处理,以确定突出的边缘信息。
4.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1、将步骤2中得到的皮肤病类别信息以及坐标信息的VOC格式数据转化为yolov5格式的数据集;
步骤3.2、将yolov5格式的数据集以6:2:2的比例划分为训练集、测试集、验证集;
步骤3.3、进行一个copy或move的指令进行数据集重构,即可训练皮肤病yolov5检测网络。
5.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤3具体中的yolov5深度学习检测网络分为输入端、Backbone、Neck和输出端四个部分,输入端采用Mosaic数据增强的方式,包括自适应锚框计算和自适应图片缩放;Backbone中包括Focus结构、两种CSP结构;Neck采用FPN+PAN的结构;输出端采用GIOU_Loss做Boundingbox的损失函数。
6.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤5中的概率数据关联为Apriori关联算法。
CN202110462970.3A 2021-04-27 2021-04-27 一种基于yolov5的皮肤科非处方药售药方法 Pending CN113299363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110462970.3A CN113299363A (zh) 2021-04-27 2021-04-27 一种基于yolov5的皮肤科非处方药售药方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462970.3A CN113299363A (zh) 2021-04-27 2021-04-27 一种基于yolov5的皮肤科非处方药售药方法

Publications (1)

Publication Number Publication Date
CN113299363A true CN113299363A (zh) 2021-08-24

Family

ID=77320394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462970.3A Pending CN113299363A (zh) 2021-04-27 2021-04-27 一种基于yolov5的皮肤科非处方药售药方法

Country Status (1)

Country Link
CN (1) CN113299363A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807464A (zh) * 2021-09-29 2021-12-17 东南大学 基于改进yolo v5的无人机航拍图像目标检测方法
CN113947027A (zh) * 2021-10-26 2022-01-18 中科海拓(无锡)科技有限公司 一种基于深度学习的高铁受电弓运行监测方法
CN114419559A (zh) * 2022-03-31 2022-04-29 南方电网数字电网研究院有限公司 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361245A (zh) * 2014-11-22 2015-02-18 张姬娟 检测数据处理系统和方法
CN110674726A (zh) * 2019-09-20 2020-01-10 清华大学 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统
CN111150369A (zh) * 2020-01-02 2020-05-15 京东方科技集团股份有限公司 医疗辅助设备、医疗辅助检测设备和方法
CN112184684A (zh) * 2020-10-09 2021-01-05 桂林电子科技大学 一种改进的YOLO-v3算法及其在肺结节检测中的应用
CN112263217A (zh) * 2020-08-27 2021-01-26 上海大学 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361245A (zh) * 2014-11-22 2015-02-18 张姬娟 检测数据处理系统和方法
CN110674726A (zh) * 2019-09-20 2020-01-10 清华大学 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统
CN111150369A (zh) * 2020-01-02 2020-05-15 京东方科技集团股份有限公司 医疗辅助设备、医疗辅助检测设备和方法
CN112263217A (zh) * 2020-08-27 2021-01-26 上海大学 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN112184684A (zh) * 2020-10-09 2021-01-05 桂林电子科技大学 一种改进的YOLO-v3算法及其在肺结节检测中的应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王林: "基于YOLO的改进目标检测算法研究", 中国优秀硕士学位论文全文数据库, vol. 2021, no. 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807464A (zh) * 2021-09-29 2021-12-17 东南大学 基于改进yolo v5的无人机航拍图像目标检测方法
CN113807464B (zh) * 2021-09-29 2022-05-13 东南大学 基于改进yolo v5的无人机航拍图像目标检测方法
CN113947027A (zh) * 2021-10-26 2022-01-18 中科海拓(无锡)科技有限公司 一种基于深度学习的高铁受电弓运行监测方法
CN114419559A (zh) * 2022-03-31 2022-04-29 南方电网数字电网研究院有限公司 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法

Similar Documents

Publication Publication Date Title
US11288808B2 (en) System and method for n-dimensional image segmentation using convolutional neural networks
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
Sathananthavathi et al. Encoder enhanced atrous (EEA) unet architecture for retinal blood vessel segmentation
CN113299363A (zh) 一种基于yolov5的皮肤科非处方药售药方法
US8842906B2 (en) Body measurement
Zhao et al. Saliency driven vasculature segmentation with infinite perimeter active contour model
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
Guo et al. Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography
JP7341310B2 (ja) 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法
JP6977513B2 (ja) 機械学習方法及び装置
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
Xu et al. BMAnet: Boundary mining with adversarial learning for semi-supervised 2D myocardial infarction segmentation
Popescu et al. Anatomically informed deep learning on contrast-enhanced cardiac magnetic resonance imaging for scar segmentation and clinical feature extraction
Yan et al. Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension
Gonzalo-Martín et al. Improving deep learning sorghum head detection through test time augmentation
Abdusalomov et al. Detection and removal of moving object shadows using geometry and color information for indoor video streams
CN112767340A (zh) 基于神经网络模型对病灶区进行评估的设备和相关产品
Zhang et al. Deepgi: An automated approach for gastrointestinal tract segmentation in mri scans
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
Ramadan et al. DGCU–Net: A new dual gradient-color deep convolutional neural network for efficient skin lesion segmentation
Wang et al. Automatic measurement of fetal head circumference using a novel GCN-assisted deep convolutional network
Kim et al. Automatic localization of anatomical landmarks in cardiac MR perfusion using random forests
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination