CN113299363A - 一种基于yolov5的皮肤科非处方药售药方法 - Google Patents
一种基于yolov5的皮肤科非处方药售药方法 Download PDFInfo
- Publication number
- CN113299363A CN113299363A CN202110462970.3A CN202110462970A CN113299363A CN 113299363 A CN113299363 A CN 113299363A CN 202110462970 A CN202110462970 A CN 202110462970A CN 113299363 A CN113299363 A CN 113299363A
- Authority
- CN
- China
- Prior art keywords
- yolov5
- skin disease
- over
- detection
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000000820 nonprescription drug Substances 0.000 title claims description 24
- 208000017520 skin disease Diseases 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 239000003814 drug Substances 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 20
- 229940079593 drug Drugs 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 8
- 201000004624 Dermatitis Diseases 0.000 claims description 7
- 206010000496 acne Diseases 0.000 claims description 7
- 206010003399 Arthropod bite Diseases 0.000 claims description 6
- XQFRJNBWHJMXHO-RRKCRQDMSA-N IDUR Chemical compound C1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)NC(=O)C(I)=C1 XQFRJNBWHJMXHO-RRKCRQDMSA-N 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 206010016936 Folliculitis Diseases 0.000 claims description 4
- 206010037888 Rash pustular Diseases 0.000 claims description 4
- 208000010668 atopic eczema Diseases 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 208000029561 pustule Diseases 0.000 claims description 4
- 208000002874 Acne Vulgaris Diseases 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 229940126532 prescription medicine Drugs 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 239000006071 cream Substances 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 239000002674 ointment Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002483 medication Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- XMAYWYJOQHXEEK-OZXSUGGESA-N (2R,4S)-ketoconazole Chemical compound C1CN(C(=O)C)CCN1C(C=C1)=CC=C1OC[C@@H]1O[C@@](CN2C=NC=C2)(C=2C(=CC(Cl)=CC=2)Cl)OC1 XMAYWYJOQHXEEK-OZXSUGGESA-N 0.000 description 1
- MINDHVHHQZYEEK-UHFFFAOYSA-N (E)-(2S,3R,4R,5S)-5-[(2S,3S,4S,5S)-2,3-epoxy-5-hydroxy-4-methylhexyl]tetrahydro-3,4-dihydroxy-(beta)-methyl-2H-pyran-2-crotonic acid ester with 9-hydroxynonanoic acid Natural products CC(O)C(C)C1OC1CC1C(O)C(O)C(CC(C)=CC(=O)OCCCCCCCCC(O)=O)OC1 MINDHVHHQZYEEK-UHFFFAOYSA-N 0.000 description 1
- CPKVUHPKYQGHMW-UHFFFAOYSA-N 1-ethenylpyrrolidin-2-one;molecular iodine Chemical compound II.C=CN1CCCC1=O CPKVUHPKYQGHMW-UHFFFAOYSA-N 0.000 description 1
- LEZWWPYKPKIXLL-UHFFFAOYSA-N 1-{2-(4-chlorobenzyloxy)-2-(2,4-dichlorophenyl)ethyl}imidazole Chemical compound C1=CC(Cl)=CC=C1COC(C=1C(=CC(Cl)=CC=1)Cl)CN1C=NC=C1 LEZWWPYKPKIXLL-UHFFFAOYSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- SODWJACROGQSMM-UHFFFAOYSA-N 5,6,7,8-tetrahydronaphthalen-1-amine Chemical compound C1CCCC2=C1C=CC=C2N SODWJACROGQSMM-UHFFFAOYSA-N 0.000 description 1
- GSDSWSVVBLHKDQ-UHFFFAOYSA-N 9-fluoro-3-methyl-10-(4-methylpiperazin-1-yl)-7-oxo-2,3-dihydro-7H-[1,4]oxazino[2,3,4-ij]quinoline-6-carboxylic acid Chemical compound FC1=CC(C(C(C(O)=O)=C2)=O)=C3N2C(C)COC3=C1N1CCN(C)CC1 GSDSWSVVBLHKDQ-UHFFFAOYSA-N 0.000 description 1
- 235000005881 Calendula officinalis Nutrition 0.000 description 1
- 206010017533 Fungal infection Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 208000031888 Mycoses Diseases 0.000 description 1
- 229920000153 Povidone-iodine Polymers 0.000 description 1
- 206010039509 Scab Diseases 0.000 description 1
- 240000000785 Tagetes erecta Species 0.000 description 1
- 208000002474 Tinea Diseases 0.000 description 1
- 241000130764 Tinea Species 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 208000024780 Urticaria Diseases 0.000 description 1
- SHGAZHPCJJPHSC-YCNIQYBTSA-N all-trans-retinoic acid Chemical compound OC(=O)\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C SHGAZHPCJJPHSC-YCNIQYBTSA-N 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- -1 compound dexamethasone acetate Chemical class 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 229960003657 dexamethasone acetate Drugs 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229960003913 econazole Drugs 0.000 description 1
- 229960003645 econazole nitrate Drugs 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000014617 hemorrhoid Diseases 0.000 description 1
- CAOOISJXWZMLBN-PPHPATTJSA-N htn0d03vrz Chemical compound Cl.C([C@@H](N1C2=C(C(C(C(O)=O)=C1)=O)C=C1F)C)OC2=C1N1CCN(C)CC1 CAOOISJXWZMLBN-PPHPATTJSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 229960004125 ketoconazole Drugs 0.000 description 1
- 229940040145 liniment Drugs 0.000 description 1
- 239000000865 liniment Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229960002744 mometasone furoate Drugs 0.000 description 1
- WOFMFGQZHJDGCX-ZULDAHANSA-N mometasone furoate Chemical compound O([C@]1([C@@]2(C)C[C@H](O)[C@]3(Cl)[C@@]4(C)C=CC(=O)C=C4CC[C@H]3[C@@H]2C[C@H]1C)C(=O)CCl)C(=O)C1=CC=CO1 WOFMFGQZHJDGCX-ZULDAHANSA-N 0.000 description 1
- 229960003128 mupirocin Drugs 0.000 description 1
- 229930187697 mupirocin Natural products 0.000 description 1
- DDHVILIIHBIMQU-YJGQQKNPSA-L mupirocin calcium hydrate Chemical compound O.O.[Ca+2].C[C@H](O)[C@H](C)[C@@H]1O[C@H]1C[C@@H]1[C@@H](O)[C@@H](O)[C@H](C\C(C)=C\C(=O)OCCCCCCCCC([O-])=O)OC1.C[C@H](O)[C@H](C)[C@@H]1O[C@H]1C[C@@H]1[C@@H](O)[C@@H](O)[C@H](C\C(C)=C\C(=O)OCCCCCCCCC([O-])=O)OC1 DDHVILIIHBIMQU-YJGQQKNPSA-L 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229960001699 ofloxacin Drugs 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 229960001621 povidone-iodine Drugs 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 229960001727 tretinoin Drugs 0.000 description 1
- 229960002117 triamcinolone acetonide Drugs 0.000 description 1
- YNDXUCZADRHECN-JNQJZLCISA-N triamcinolone acetonide Chemical compound C1CC2=CC(=O)C=C[C@]2(C)[C@]2(F)[C@@H]1[C@@H]1C[C@H]3OC(C)(C)O[C@@]3(C(=O)CO)[C@@]1(C)C[C@@H]2O YNDXUCZADRHECN-JNQJZLCISA-N 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Chemical & Material Sciences (AREA)
- Medicinal Chemistry (AREA)
- Dermatology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开的一种基于yolov5的皮肤科非处方药售药方法,包括采集皮肤病原始图像并进行预处理,提取各类皮肤病特征值;使用数据集标注软件labelimg对特征值进行人工标注,得到皮肤病类别信息以及坐标信息;将其输入yolov5深度学习检测网络并进行训练;采集患者患病处照片,输入yolov5检测网络中进行检测,判断出相应皮肤病的类型;利用概率数据关联将皮肤病类型与对应药物进行链接并向患者展示。本发明通过采集待检测皮肤病图片,利用yolov5深度学习算法检测皮肤病类型,将检测结果与推荐药物利用Apriori关联算法进行连接并推送相关药物,解决了现有人工售药带来的识别精度低和检测速度慢的问题。
Description
技术领域
本发明属于图像识别技术领域,具体涉及一种基于yolov5的皮肤科非处方药售药方法。
背景技术
皮肤是人体最大的器官,皮肤病的种类主要有:斑疹、脓疱、风团、糜烂或溃疡、丘疹、痂、结节、鳞屑、水疱、皲裂等;市场上主流的治疗皮肤病的药物可分为:非真菌感染类、病毒性皮肤病、过敏性皮肤病、皮脂汗腺皮肤病等几大类。对于轻微皮肤病治疗,常见方式是购买皮肤科用药类非处方药药品进行涂抹。
非处方药是不需要医师或其它医疗专业人员开写处方即可购买的药品,公众可在各大药店的柜台或通过网络线上购买获得。皮肤科用药类非处方药药品常用于解决各种皮肤科疾病,市场上现有的主要用药有:复方醋酸地塞米松乳膏、糠酸莫米松乳膏、曲安奈德益康唑乳膏、酮康唑乳膏、硝酸益康唑喷剂、999皮炎平软膏、莫匹罗星软膏、马应龙麝香痔疮膏、维A酸乳膏、疗癣卡西甫散、复方聚维酮碘搽剂、驱白巴布期片等。
常见皮肤病的临床症状具有显著性差异,药店医导可直接通过肉眼观察推荐相应的非处方药。但由于部分医导病理知识有限,使得售药过程存在着识别精度低、检测速度慢等问题。
发明内容
本发明的目的在于提供一种基于yolov5的皮肤科非处方药售药方法,解决了现有人工售药带来的识别精度低和检测速度慢的问题。
本发明所采用的技术方案是:一种基于yolov5的皮肤科非处方药售药方法,包括以下步骤:
步骤1、采集皮肤病原始图像并进行预处理,提取各类皮肤病特征值;
步骤2、使用数据集标注软件labelimg对步骤1中得到的特征值进行人工标注,得到每张图片中的皮肤病类别信息以及坐标信息;
步骤3、将步骤2中得到的皮肤病类别信息以及坐标信息输入yolov5深度学习检测网络并进行训练;
步骤4、采集患者患病处照片,输入步骤3中训练好的yolov5检测网络中进行检测,判断出相应皮肤病的类型;
步骤5、利用概率数据关联将步骤4中判断出的皮肤病类型与对应药物进行链接并向患者展示。
本发明的特点还在于,
步骤1中采集到的图片分辨率大小为2560×1920,采集到的皮肤病类型包括疱疹、脓包型痤疮、粉刺、皮炎湿疹、毛囊炎和蚊虫叮咬等六类皮肤病。
步骤1中的预处理具体为:首先利用图像锐化得到更陡峭、清晰的图像边缘信息,然后利用平滑滤波抑制噪声,最后利用边缘检测算子进行阈值化处理,以确定突出的边缘信息。
步骤3具体包括以下步骤:
步骤3.1、将步骤2中得到的皮肤病类别信息以及坐标信息的VOC格式数据转化为yolov5格式的数据集;
步骤3.2、将yolov5格式的数据集以6:2:2的比例划分为训练集、测试集、验证集;
步骤3.3、进行一个copy或move的指令进行数据集重构,即可训练皮肤病yolov5检测网络。
步骤3具体中的yolov5深度学习检测网络分为输入端、Backbone、Neck和输出端四个部分,输入端采用Mosaic数据增强的方式,包括自适应锚框计算和自适应图片缩放;Backbone中包括Focus结构、两种CSP结构;Neck采用FPN+PAN的结构;输出端采用GIOU_Loss做Bounding box的损失函数。
步骤5中的概率数据关联为Apriori关联算法。
本发明的有益效果是:本发明一种基于yolov5的皮肤科非处方药售药方法,通过采集待检测皮肤病图片,利用yolov5深度学习算法检测皮肤病类型,将检测结果与推荐药物利用Apriori关联算法进行连接并推送相关药物,解决了现有人工售药带来的识别精度低和检测速度慢的问题。
附图说明
图1是本发明一种基于yolov5的皮肤科非处方药售药方法的流程示意图;
图2是本发明一种基于yolov5的皮肤科非处方药售药方法步骤2中皮肤病图像数据集的制作流程示意图;
图3是本发明一种基于yolov5的皮肤科非处方药售药方法步骤3中构建yolov5深度学习检测网络的流程示意图;
图4是本发明一种基于yolov5的皮肤科非处方药售药方法中步骤4和5的流程示意图;
图5是现有yolov5整体网络框架示意图;
图6a)是本发明一种基于yolov5的皮肤科非处方药售药方法中的Focus结构示意图;
图6b)是本发明一种基于yolov5的皮肤科非处方药售药方法中的CSP1_X结构示意图;
图6c)是本发明一种基于yolov5的皮肤科非处方药售药方法中的CSP2_X结构示意图;
图6d)是本发明一种基于yolov5的皮肤科非处方药售药方法的CSP结构中的CBL与Resunit模块示意图;
图7a)是采用本发明一种基于yolov5的皮肤科非处方药售药方法中yolov5深度学习检测网络对蚊虫叮咬的检测效果图;
图7b)是采用本发明一种基于yolov5的皮肤科非处方药售药方法中yolov5深度学习检测网络对疱疹的检测效果图。
具体实施方式
下面结合附图以及具体实施方式对本发明进行详细说明。
本发明提供了一种基于yolov5的皮肤科非处方药售药方法,如图1所示,包括以下步骤:
步骤1、采集常见皮肤病原始图像,图片分辨率大小为2560×1920,总计六类常见皮肤病即疱疹、脓包型痤疮、粉刺、皮炎湿疹、毛囊炎和蚊虫叮咬,并对采集到的皮肤病原始图像进行预处理,提取各类皮肤病特征值。
其中图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性。对于数据库中的图像数据进行预处理,具体方法有:平滑预处理、中值滤波处理、边缘检测处理以及梯度算子处理等,由于平滑预处理后的图片在去噪声的同时模糊了边界,中值滤波会丢失图像细节信息,边缘检测处理适用于图像灰度变化较大的场景,因此本发明采用梯度算子法图像预处理,具体做法是:首先利用图像锐化得到更陡峭、清晰的图像边缘信息,然后利用平滑滤波抑制噪声,最后利用边缘检测算子进行阈值化处理,以确定突出的边缘信息。其中,Canny边缘检测算法的具体步骤如下:
1、对于递增的标准差,重复以下2到6步骤;
2、将图像f与尺度为高斯函数做卷积;
3、对图像中的每个像素,估计局部边缘的法向n;
4、用非最大抑制公式找到边缘的位置;
5、用公式计算边缘强度;
6、对边缘图像做滞后阈值化处理,消除虚假响应;
7、用特征综合方法,收集来自多尺度的最终的边缘信息。
深度学习需要基于输入数据及其期望输出,通过训练从数据中提取通用信息或特征信息(特征值),以此得到预测模型。这里的特征值是指根据颜色和边缘等人为定义的提取方法从训练样本中提取的信息。特征值就是根据图像转换成的一串数值,它是将一些原始的输入的数据维度减少或者将原始的特征进行重新组合以便于后续的使用。特征提取主要有两个作用:减少数据维度、提取或整理出有效的特征供后续使用。
步骤2、使用数据集标注软件labelimg对步骤1中得到的特征值进行人工标注,得到每张图片中的皮肤病类别信息以及坐标信息。
步骤3、将步骤2中得到的皮肤病类别信息以及坐标信息输入yolov5深度学习检测网络并进行训练,具体包括以下步骤:
步骤3.1、如图2所示,将步骤2中得到的皮肤病类别信息以及坐标信息的VOC格式数据转化为yolov5格式的数据集;通过修改相关文件路径,可将VOC格式皮肤病数据集转化yolov5格式数据集,在运行代码之前,应修改相关文件的路径。如:将生成的.txt文件保存在对应文件的目录下。
步骤3.2、将yolov5格式的数据集以6:2:2的比例划分为训练集、测试集、验证集;当用户上传图片后,yolov5检测网络能判别图片中的皮肤病类型,而在实际能收集到的用于制作数据集的图片数量只有10000张,因此为了得到更好的训练模型解决数据量的问题,需要通过爬虫从网上下载200000张图片。通过观察不难发现下载的照片与实际收集到的照片之间存在较大差异,为了解决这种差异保证训练集、测试集和测试集中的数据处于同一分布下需要对yolov5格式的数据集按比例进行特定划分。
步骤3.3、进行一个copy或move的指令进行数据集重构,即可训练皮肤病yolov5检测网络。
但如果数据有限的话,可以利用数据增强扩充有限的数据,即可获得所需皮肤病数据集,数据增强包括以下一种或多种操作:
a.对原始图像进行一定尺度内平移;
b.对原始图像进行一定角度内旋转或翻转,其中翻转包括水平翻转或者上下翻转;
c.对原始图像进行部分裁剪;
d.对图像进行光照调节或色彩抖动,使rgb颜色空间进行一些变换;
e.对图像进行噪声添加,给图像加入一些人工生产的噪声;
f.对图像进行仿射变换,包括缩放,倾斜,尺度变换,线性对称变换。
利用yolov5检测算法输出皮肤病类型之前,应先完成yolov5检测网络的搭建,具体流程如图3所示,步骤如下:
S1:构建yolov5框架;
S2:安装相关依赖项,进行虚拟环境配置;
S3:训练准备的皮肤病数据集,得到所需权重文件。具体步骤如下:
301)对数据集与网络参数方面的yaml文件修改;
302)在train.py中修改参数;
303)执行train.py文件开始训练,得到所需权重文件。
如图5所示,为现有yolov5整体网络框架。yolov5的网络结构分为输入端、Backbone、Neck、输出端四个部分。输入端采用Mosaic数据增强的方式,包括自适应锚框计算和自适应图片缩放;Backbone中设计了Focus结构、两种CSP结构;Neck中借鉴CSPnet设计的CSP2结构,加强网络特征融合的能力;输出端采用GIOU_Loss做Bounding box的损失函数。
输入端:
Mosaic数据增强参考了CutMix数据增强方式,理论上具有一定的相似性。CutMix数据增强方式利用两张图片进行拼接,而Mosaic数据增强利用了四张图片。Mosaic数据增强的实现思路:每次读取四张图片;分别对四张图片进行翻转、缩放、色域变化等,并且按照四个方向位置摆好;进行图片的组合和框的组合。随机缩放、随机裁剪、随机排布的方式进行拼接,对于小目标的检测效果较好。Mosaic数据增强主要有几个优点:1.丰富数据集:随机使用四张图片,随机缩放,再随机分布进行拼接,大大丰富了检测数据集,特别是随机缩放增加了很多小目标,让网络的鲁棒性更好。2.减少GPU:Mosaic增强训练时,可以直接计算四张图片的数据,使得Mini-batch大小并不需要很大,一个GPU就可以达到比较好的效果。
自适应锚框计算:在yolo算法中,针对不同的数据集,都会有初始设定长宽的锚框。在网络训练中,网络在初始锚框的基础上输出预测框,进而和真实框ground truth进行比对,计算两者差距,再反向更新,迭代网络参数。yolov5网络在每次训练时,自适应的计算不同训练集中的最佳锚框值。
自适应图片缩放:在常用的目标检测算法中,不同的图片长宽都不相同,因此常用的方式是将原始图片统一缩放到一个标准尺寸,再送入检测网络中。在yolov5的代码中datasets.py的letterbox函数中进行了修改,对原始图像自适应的添加最少的黑边。yolo算法中常用416*416,608*608等尺寸,比如对800*600的图像进行缩放。具体步骤如下:
S1:计算缩放比例。原始缩放尺寸是416*416,都除以原始图像的尺寸后,可以得到0.52,和0.69两个缩放系数,选择小的缩放系数。
S2:计算缩放后的尺寸。原始图片的长宽都乘以最小的缩放系数0.52,宽变成了416,而高变成了312。
S3:计算黑边填充数值。将416-312=104,得到原本需要填充的高度。再采用numpy中np.mod取余数的方式,得到8个像素,再除以2,即得到图片高度两端需要填充的数值。
Backbone:
Focus结构示意图如图6a)所示,其关键是切片操作。以yolov5s的结构为例,原始608*608*3的图像输入Focus结构,采用切片操作,先变成304*304*12的特征图,再经过一次32个卷积核的卷积操作,最终变成304*304*32的特征图。
yolov5检测算法的Backbone中另外同一个关键结构是CSP:yolov5中设计了两种CSP结构,以yolov5s网络为例,CSP1_X结构示意图如图6b)所示应用于Backbone主干网络,另一种CSP2_X结构示意图如图6c)所示则应用于Neck中。CSP结构中的CBL与Resunit模块,如图6d)所示。
Neck:
yolov5的Neck用FPN+PAN的结构,采用借鉴CSPnet设计的CSP2结构,加强网络特征融合的能力。
输出端:
Bounding box损失函数:yolov5中采用其中的GIOU_Loss做Bounding box的损失函数。在目标检测任务中,Bounding Box的评估指标是IoU,IoU范围在(0,1)之间,具有尺度不变性,而且可以衡量各种形状的匹配程度。
定义
其中A为Prediction box与Ground truth box的交集;B为Prediction box与Ground truth box的并集;C是预测框和目标框的最小外接矩形。
GIoU损失不仅关注重叠区域,还关注非重合区域,解决了无重叠框之间差距无法评估的问题。当预测框和目标框完全重叠:GIoU=IoU=1;当预测框和目标框无重叠,GIoU随着距离增大而减小,趋近于-1。
nms非极大值抑制:在目标检测的后处理过程中,针对很多目标框的筛选,通常需要nms操作。Yolov4在DIOU_Loss的基础上采用DIOU_nms的方式,而yolov5中采用加权nms的方式。
步骤4、如图4所示,采集患者患病处照片,输入步骤3中训练好的yolov5检测网络中进行检测,判断出相应皮肤病的类型;
步骤5、利用概率数据关联将步骤4中判断出的皮肤病类型与对应药物进行链接并向患者展示。
Apriori关联算法的原理是利用概率数据关联将检测出的指定皮肤病与对应药物进行链接。
概率数据关联为一个目标的一次有效测量的的每一个可能性设置一个关联概率。有效测量定义为观测值在当前时刻处于目标的有效门限内。有效门限定义为:
其中k是时间参数,S(k)是协方差增益。在k时刻获得的一组有效测量值定义为
Z(k)=zi(k)T,i=1,...,mk
其中zi(k)是时刻k有效区域内的第i个测量值。对于状态预测,考虑
其中F(k-1)是时刻k-1的转移矩阵。为了计算测量预测值,考虑
其中H(k)为线性测量矩阵,为了计算第i个测量值的增益,考虑
为了计算协方差预测值,考虑
其中Q(k)为过程噪声协方差矩阵。计算协方差新息(S)和卡尔曼增益(K)如下
当来自目标的测量已知时,为了得到协方差更新,考虑
协方差的总更新由下式计算得到
其中
mk是k时刻有效测量值的个数。估计状态(包括位置和速度)的更新式为
综上,概率数据关联的关联概率为
其中
M为测量矩阵的维数,λ为密集环境的密度,Pd为正确测量的检测概率,Pg为检测检测值的有小概率。
在概率数据关联算法中,目标的状态估计是由在所有情形下预测状态的加权和得到的。算法能够将一个特定目标的不同测量值关联起来。因此,关联对于一个目标的不同测量结果能够更好地估计目标的状态。
容易理解的是,同一种皮肤病有一种或多种治疗药物。如治疗毛囊炎的药物有氧氟沙星凝胶、盐酸左氧氟沙星乳膏、中美史克莫匹罗星百多邦软膏等。不同制药公司生产的药物在价格与效果上存在不同差异,因此用户可以结合自身实际情况选择需要购买的药物。
结果分析
为进一步说明本发明的检测效果,如图7a)提供了本发明一种基于yolov5的皮肤科非处方药售药方法对蚊虫叮咬的检测效果图,从中可以看出,对于蚊虫叮咬的检测精度为67%;如图7b)提供了本发明一种基于yolov5的皮肤科非处方药售药方法对疱疹的检测效果图,从中可以看出,对于疱疹的检测精度为90%。
Claims (6)
1.一种基于yolov5的皮肤科非处方药售药方法,其特征在于,包括以下步骤:
步骤1、采集皮肤病原始图像并进行预处理,提取各类皮肤病特征值;
步骤2、使用数据集标注软件labelimg对步骤1中得到的特征值进行人工标注,得到每张图片中的皮肤病类别信息以及坐标信息;
步骤3、将步骤2中得到的皮肤病类别信息以及坐标信息输入yolov5深度学习检测网络并进行训练;
步骤4、采集患者患病处照片,输入步骤3中训练好的yolov5检测网络中进行检测,判断出相应皮肤病的类型;
步骤5、利用概率数据关联将步骤4中判断出的皮肤病类型与对应药物进行链接并向患者展示。
2.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤1中采集到的图片分辨率大小为2560×1920,采集到的皮肤病类型包括疱疹、脓包型痤疮、粉刺、皮炎湿疹、毛囊炎和蚊虫叮咬等六类皮肤病。
3.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤1中的预处理具体为:首先利用图像锐化得到更陡峭、清晰的图像边缘信息,然后利用平滑滤波抑制噪声,最后利用边缘检测算子进行阈值化处理,以确定突出的边缘信息。
4.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1、将步骤2中得到的皮肤病类别信息以及坐标信息的VOC格式数据转化为yolov5格式的数据集;
步骤3.2、将yolov5格式的数据集以6:2:2的比例划分为训练集、测试集、验证集;
步骤3.3、进行一个copy或move的指令进行数据集重构,即可训练皮肤病yolov5检测网络。
5.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤3具体中的yolov5深度学习检测网络分为输入端、Backbone、Neck和输出端四个部分,输入端采用Mosaic数据增强的方式,包括自适应锚框计算和自适应图片缩放;Backbone中包括Focus结构、两种CSP结构;Neck采用FPN+PAN的结构;输出端采用GIOU_Loss做Boundingbox的损失函数。
6.如权利要求1所述的一种基于yolov5的皮肤科非处方药售药方法,其特征在于,所述步骤5中的概率数据关联为Apriori关联算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110462970.3A CN113299363A (zh) | 2021-04-27 | 2021-04-27 | 一种基于yolov5的皮肤科非处方药售药方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110462970.3A CN113299363A (zh) | 2021-04-27 | 2021-04-27 | 一种基于yolov5的皮肤科非处方药售药方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113299363A true CN113299363A (zh) | 2021-08-24 |
Family
ID=77320394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110462970.3A Pending CN113299363A (zh) | 2021-04-27 | 2021-04-27 | 一种基于yolov5的皮肤科非处方药售药方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113299363A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807464A (zh) * | 2021-09-29 | 2021-12-17 | 东南大学 | 基于改进yolo v5的无人机航拍图像目标检测方法 |
CN113947027A (zh) * | 2021-10-26 | 2022-01-18 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的高铁受电弓运行监测方法 |
CN114419559A (zh) * | 2022-03-31 | 2022-04-29 | 南方电网数字电网研究院有限公司 | 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104361245A (zh) * | 2014-11-22 | 2015-02-18 | 张姬娟 | 检测数据处理系统和方法 |
CN110674726A (zh) * | 2019-09-20 | 2020-01-10 | 清华大学 | 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统 |
CN111150369A (zh) * | 2020-01-02 | 2020-05-15 | 京东方科技集团股份有限公司 | 医疗辅助设备、医疗辅助检测设备和方法 |
CN112184684A (zh) * | 2020-10-09 | 2021-01-05 | 桂林电子科技大学 | 一种改进的YOLO-v3算法及其在肺结节检测中的应用 |
CN112263217A (zh) * | 2020-08-27 | 2021-01-26 | 上海大学 | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 |
-
2021
- 2021-04-27 CN CN202110462970.3A patent/CN113299363A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104361245A (zh) * | 2014-11-22 | 2015-02-18 | 张姬娟 | 检测数据处理系统和方法 |
CN110674726A (zh) * | 2019-09-20 | 2020-01-10 | 清华大学 | 基于目标检测与迁移学习的皮肤病辅助诊断方法及系统 |
CN111150369A (zh) * | 2020-01-02 | 2020-05-15 | 京东方科技集团股份有限公司 | 医疗辅助设备、医疗辅助检测设备和方法 |
CN112263217A (zh) * | 2020-08-27 | 2021-01-26 | 上海大学 | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 |
CN112184684A (zh) * | 2020-10-09 | 2021-01-05 | 桂林电子科技大学 | 一种改进的YOLO-v3算法及其在肺结节检测中的应用 |
Non-Patent Citations (1)
Title |
---|
王林: "基于YOLO的改进目标检测算法研究", 中国优秀硕士学位论文全文数据库, vol. 2021, no. 1 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807464A (zh) * | 2021-09-29 | 2021-12-17 | 东南大学 | 基于改进yolo v5的无人机航拍图像目标检测方法 |
CN113807464B (zh) * | 2021-09-29 | 2022-05-13 | 东南大学 | 基于改进yolo v5的无人机航拍图像目标检测方法 |
CN113947027A (zh) * | 2021-10-26 | 2022-01-18 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的高铁受电弓运行监测方法 |
CN114419559A (zh) * | 2022-03-31 | 2022-04-29 | 南方电网数字电网研究院有限公司 | 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11288808B2 (en) | System and method for n-dimensional image segmentation using convolutional neural networks | |
WO2020215985A1 (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
Sathananthavathi et al. | Encoder enhanced atrous (EEA) unet architecture for retinal blood vessel segmentation | |
CN113299363A (zh) | 一种基于yolov5的皮肤科非处方药售药方法 | |
US8842906B2 (en) | Body measurement | |
Zhao et al. | Saliency driven vasculature segmentation with infinite perimeter active contour model | |
US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
Guo et al. | Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography | |
JP7341310B2 (ja) | 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法 | |
JP6977513B2 (ja) | 機械学習方法及び装置 | |
WO2023207743A1 (zh) | 图像检测方法、装置、计算机设备、存储介质及程序产品 | |
Xu et al. | BMAnet: Boundary mining with adversarial learning for semi-supervised 2D myocardial infarction segmentation | |
Popescu et al. | Anatomically informed deep learning on contrast-enhanced cardiac magnetic resonance imaging for scar segmentation and clinical feature extraction | |
Yan et al. | Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension | |
Gonzalo-Martín et al. | Improving deep learning sorghum head detection through test time augmentation | |
Abdusalomov et al. | Detection and removal of moving object shadows using geometry and color information for indoor video streams | |
CN112767340A (zh) | 基于神经网络模型对病灶区进行评估的设备和相关产品 | |
Zhang et al. | Deepgi: An automated approach for gastrointestinal tract segmentation in mri scans | |
CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
Ramadan et al. | DGCU–Net: A new dual gradient-color deep convolutional neural network for efficient skin lesion segmentation | |
Wang et al. | Automatic measurement of fetal head circumference using a novel GCN-assisted deep convolutional network | |
Kim et al. | Automatic localization of anatomical landmarks in cardiac MR perfusion using random forests | |
CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
Wang et al. | Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting | |
CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |