CN112070757A - 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 - Google Patents
基于深度学习算法的皮肤过敏原点刺自动检测分析方法 Download PDFInfo
- Publication number
- CN112070757A CN112070757A CN202010970451.3A CN202010970451A CN112070757A CN 112070757 A CN112070757 A CN 112070757A CN 202010970451 A CN202010970451 A CN 202010970451A CN 112070757 A CN112070757 A CN 112070757A
- Authority
- CN
- China
- Prior art keywords
- prick
- reaction area
- liquid
- area
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013566 allergen Substances 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000004458 analytical method Methods 0.000 title claims abstract description 14
- 206010020751 Hypersensitivity Diseases 0.000 claims abstract description 36
- 208000026935 allergic disease Diseases 0.000 claims abstract description 27
- 230000007815 allergy Effects 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 239000007788 liquid Substances 0.000 claims description 97
- 206010070835 Skin sensitisation Diseases 0.000 claims description 48
- 231100000370 skin sensitisation Toxicity 0.000 claims description 48
- 239000013641 positive control Substances 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 23
- 239000013642 negative control Substances 0.000 claims description 17
- 208000030961 allergic reaction Diseases 0.000 claims description 10
- NTYJJOPFIAHURM-UHFFFAOYSA-N Histamine Chemical compound NCCC1=CN=CN1 NTYJJOPFIAHURM-UHFFFAOYSA-N 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 229960001340 histamine Drugs 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000003759 clinical diagnosis Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 239000000243 solution Substances 0.000 description 27
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 206010002198 Anaphylactic reaction Diseases 0.000 description 4
- 208000003455 anaphylaxis Diseases 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 3
- 241000238557 Decapoda Species 0.000 description 2
- 230000002052 anaphylactic effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000011550 stock solution Substances 0.000 description 2
- 241001093951 Ailanthus altissima Species 0.000 description 1
- 241000223602 Alternaria alternata Species 0.000 description 1
- 244000226021 Anacardium occidentale Species 0.000 description 1
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 244000105624 Arachis hypogaea Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 235000001405 Artemisia annua Nutrition 0.000 description 1
- 240000000011 Artemisia annua Species 0.000 description 1
- 241001201008 Artemisia sieversiana Species 0.000 description 1
- 235000004040 Artemisia sieversiana Nutrition 0.000 description 1
- 206010003399 Arthropod bite Diseases 0.000 description 1
- 241000228245 Aspergillus niger Species 0.000 description 1
- 235000003932 Betula Nutrition 0.000 description 1
- 241000219429 Betula Species 0.000 description 1
- 241001674044 Blattodea Species 0.000 description 1
- 241000219475 Bougainvillea Species 0.000 description 1
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 241001609213 Carassius carassius Species 0.000 description 1
- 241000218645 Cedrus Species 0.000 description 1
- 240000006122 Chenopodium album Species 0.000 description 1
- 235000009344 Chenopodium album Nutrition 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000008620 Fagopyrum esculentum Species 0.000 description 1
- 235000009419 Fagopyrum esculentum Nutrition 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 235000011201 Ginkgo Nutrition 0.000 description 1
- 244000194101 Ginkgo biloba Species 0.000 description 1
- 235000008100 Ginkgo biloba Nutrition 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 244000020551 Helianthus annuus Species 0.000 description 1
- 235000003222 Helianthus annuus Nutrition 0.000 description 1
- 241000218228 Humulus Species 0.000 description 1
- 240000007049 Juglans regia Species 0.000 description 1
- 235000009496 Juglans regia Nutrition 0.000 description 1
- 241000274177 Juniperus sabina Species 0.000 description 1
- 241001596950 Larimichthys crocea Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 240000000249 Morus alba Species 0.000 description 1
- 235000008708 Morus alba Nutrition 0.000 description 1
- 241000257159 Musca domestica Species 0.000 description 1
- 240000002834 Paulownia tomentosa Species 0.000 description 1
- 235000010678 Paulownia tomentosa Nutrition 0.000 description 1
- 241000228150 Penicillium chrysogenum Species 0.000 description 1
- 241000219000 Populus Species 0.000 description 1
- 208000003251 Pruritus Diseases 0.000 description 1
- 244000020191 Salix babylonica Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 241000246044 Sophora flavescens Species 0.000 description 1
- 244000300264 Spinacia oleracea Species 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 241001125843 Trichiuridae Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 244000098338 Triticum aestivum Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 235000015278 beef Nutrition 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 235000020226 cashew nut Nutrition 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 230000007803 itching Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000009342 ragweed pollen Substances 0.000 description 1
- 239000013558 reference substance Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 235000021419 vinegar Nutrition 0.000 description 1
- 239000000052 vinegar Substances 0.000 description 1
- 235000020234 walnut Nutrition 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于深度学习算法的皮肤过敏原点刺自动检测分析方法，通过数字化点刺模板确认手臂点刺位置对应的皮肤致敏原，通过标注出点刺区域两侧的边界，采用视觉算法提取出有效检测区域，通过深度学习算法自动识别出各皮肤致敏原的反应区域并计算出反应面积，并将各皮肤致敏原的反应面积与阳性对照液的反应面积进行比较判定被测人员对各皮肤致敏原的过敏等级。本发明中，通过深度学习算法和计算机视觉自动化检测分析方法能够自动识别出反应区域，并计算反应区域的面积及判定过敏原的过敏等级，相比于传统人工检测方法提升了皮肤过敏原点刺检测试验的执行效率；本发明产生的结构化数字报告可用于科研调查及分析，提升学科临床诊疗能力。
Description
技术领域
本发明涉及皮肤过敏原检测领域，特别涉及一种基于深度学习算法的皮肤过敏原点刺自动检测分析方法。
背景技术
皮肤过敏原检测一般采用将少量高度纯化的致敏原液体滴于被测人员前臂，再用点刺针轻轻刺入皮肤表层的点刺实验方式，如患者对该过敏原过敏，则会于十五分钟内在点刺部位出现类似蚊虫叮咬的红肿块(即反应区域)，出现痒的反应，或者颜色上有改变，从而能够确定过敏性疾病的存在。其优点为安全性及灵敏度均比较高，患者无痛楚，就如被蚊叮一样，而且患者及医生都可以立刻知道检验结果。现有的检测方法一般是人工测量各个过敏原的反应区域的长径和短径并计算每一个过敏原的反应区域的近似面积，再人工比对计算每个过敏原的反应面积与阳性参照物的反应面积，得出每个过敏原的过敏反应等级，在检测过程中人工在计算机上逐个填报检测情况用于数字化存档。不仅测量反应区域的面积时误差较大，而且人工检测耗费的时间长、效率低。
发明内容
本发明要解决的技术问题是提供了一种自动测量反应区域的面积并判定过敏原的过敏等级的基于深度学习算法的皮肤过敏原点刺自动检测分析方法。
本发明的技术方案如下：
一种基于深度学习算法的皮肤过敏原点刺自动检测分析方法，包括以下步骤：
步骤S1、预设数字化点刺模板，所述数字化点刺模板设有多个点刺位置，每个所述点刺位置对应一种点刺液，所述点刺液包括阴性对照液、阳性对照液和多种皮肤致敏原液，每一所述皮肤致敏原液分别为一种皮肤致敏原经过高度纯化后得到；
步骤S2、采用基于U-Net网络基线的深度学习算法，训练能够分割出手臂发生过敏反应后形成的反应区域图像信息的U-Net网络模型；
步骤S3、按照数字化点刺模板上的点刺位置在被测人员的手臂上确定手臂点刺位置，将阴性对照液、阳性对照液和多种皮肤致敏原液点刺在手臂点刺位置上，形成点刺区域；
步骤S4、在点刺区域的两侧分别人工标注出第一边界和第二边界，作为点刺区域两侧的边界；
步骤S5、等待预定的时间，然后采集点刺区域的图像信息，并通过色彩过滤算法识别出第一边界和第二边界；
步骤S6、在采集的图像信息中截取第一边界和第二边界之间的信息，并从截取的信息中提取出皮肤区域作为有效检测区域；
步骤S7、通过训练好的U-Net网络模型对有效检测区域进行分析，识别并分割出手臂点刺位置发生过敏反应后形成的反应区域，并根据数字化点刺模板将每一反应区域分别与一种点刺液相对应；
步骤S8、计算出各反应区域的面积，作为对应的点刺液的反应面积；
步骤S9、将各皮肤致敏原液的反应面积分别与阳性对照液的反应面积进行比较，根据比较结果判定被测人员对各皮肤致敏原的过敏等级，并生成检测报告。
进一步的，所述阴性对照液为生理盐水，所述阳性对照液为变应原及组胺。
进一步的，在所述步骤S2中，训练U-Net网络模型包括以下子步骤：
子步骤S201、收集若干带有手臂发生过敏反应后形成的反应区域图像信息的图片作为原始图片；
子步骤S202、将原始图片按照8：1：1的比例分成训练集、验证集和测试集三部分；
子步骤S203、将训练集和验证集中的每一张原始图片做一份蒙版副本，作为监督依据；
子步骤S204、通过自带图像增强工具的人工智能框架库生成对抗网络，从而增殖生成多个训练集，以提高训练成效；
子步骤S205、将训练数据集放入U-Net网络模型进行训练，依据测试集测试结果判断模型是否达到预定要求，如果达到预定要求则执行步骤S207，否则，执行步骤S206；
子步骤S206、调整优化U-Net网络模型，返回执行步骤S205；
子步骤S207、保存训练后达到预定要求的U-Net网络模型及权重。
进一步的，在所述步骤S3中，在患者手臂标注点刺区域的边界信息的方法为：在点刺区域的一侧沿直线标注至少两个第一定位锚点标记，将至少两个第一定位锚点标记所在的直线作为第一边界；在点刺区域的另一侧沿直线标注至少两个第二定位锚点标记，将至少两个第二定位锚点标记所在的直线作为第二边界。
进一步的，所述第一边界与最近的点刺位置之间的距离大于或等于相邻的两个点刺位置之间的距离，所述第二边界与最近的点刺位置之间的距离大于或等于相邻的两个点刺位置之间的距离。
进一步的，在所述步骤S6中，采用OTSU阈值分割法取最大轮廓提取出皮肤区域。
进一步的，在所述步骤S7中，根据数字化点刺模板得出各反应区域对应的点刺液的方法为：在识别出各反应区域后，还计算出各反应区域的中心点位置，将各反应区域的中心点位置映射到数字化点刺模板中，将数字化点刺模板中与其距离最近的点刺位置与该反应区域相对应，得出该反应区域对应的点刺液。
进一步的，在所述步骤S8中，计算出各反应区域的面积的方法为：对于数字化点刺模板中未对应反应区域的点刺液，其反应面积均判定为“0”，对于对应了反应区域的点刺液，先计算其对应的反应区域的像素累积值，再通过像素累积值计算出反应区域的面积作为该点刺液的反应面积。
进一步的，在所述步骤S9中，判定各皮肤致敏原的过敏等级时，先判断阴性对照液的反应面积是否等于“0”，如果阴性对照液的反应面积大于“0”则停止检测，并上报错误信息；如果阴性对照液的反应面积等于“0”，则按照以下原则判定各皮肤致敏原的过敏等级：
皮肤致敏原液的反应面积小于阳性对照液的反应面积的1/4时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“-”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的1/4，并小于阳性对照液的反应面积的1/2时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“+”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的1/2，并小于阳性对照液的反应面积时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“++”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积，并小于阳性对照液的反应面积的2倍时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“+++”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的2倍时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“++++”。
有益效果：本发明中，通过深度学习算法训练出能够分割出过敏反应形成的反应区域图像信息的U-Net网络模型，配合计算机视觉自动化检测分析方法能够自动识别出反应区域，并计算反应区域的面积及判定过敏原的过敏等级，相比于传统的医护工作人员人工识别、测量、计算、填报的工作环节，直接提升了皮肤过敏原点刺检测试验的执行效率；本发明产生的结构化数字报告可用于科研调查及分析，提升学科临床诊疗能力。
附图说明
图1为本发明的流程图
图2为在手臂上进行点刺及标注定位锚点标记后的示意图；
图3为手臂点刺位置发生过敏反应后形成反应区域的示意图。
图中：1.手臂，2.手臂点刺位置，3.第一定位锚点标记，4.第一边界，5.第二定位锚点标记，6.第二边界，7.反应区域。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，本发明基于深度学习算法的皮肤过敏原点刺自动检测分析方法的一个优选实施例包括以下步骤：
步骤S1、在计算机中预先设置好数字化点刺模板，所述数字化点刺模板设有多个点刺位置，优选为在数字化点刺模板设置两排点刺位置，每排10个，共计20个点刺位置，当然，点刺模板也可设置多于20个或少于20个点刺位置；相邻的两个点刺位置之间的距离优选为5cm，当然，也可大于5cm或小于5cm。每个点刺位置对应一种点刺液，所述点刺液可在变应原基础模板中选择阴性对照液(生理盐水)、阳性对照液(变应原及组胺)和18种皮肤致敏原对应的皮肤致敏原液，每一所述皮肤致敏原液分别为对应的皮肤致敏原经过高度纯化后得到。
所述变应原基础模板包括阴性对照液、阳性对照液和62种皮肤致敏原，按编号依次为：1.粉尘螨，2.猫毛，3.户尘螨，4.狗毛，5.蟑螂，6.羊毛，7.买包酵母，8.大籽蒿，9.圆柏花粉，10.洋白醋，11.黄花蒿，12.向日葵，13.豚草花粉，14.葎草花粉，15.屋尘，16.油菜花粉，17.银杏花粉，18.香烟，19.阴性对照液，20.阳性对照液，21.英桐花粉，22.黄槐花粉，23.家榆花粉，24.柳杉花粉，25.灰藜花粉，26.青杨花粉，27.多价蚊虫，28.旱柳花粉，29.白桦花粉，30.互隔交蠊孢，31.春季花粉Ⅰ，32.春季花粉Ⅱ，33.春季花粉Ⅲ，34.夏秋花粉Ⅰ，35.夏秋花粉Ⅱ，36.海虾，37.海蟹，38.小麦面，39.鸡蛋，40.牛奶，41.鲫鱼，42.番茄，43.大豆，44.花生，45.苹果，46.带鱼，47.黄花鱼，48.鸡肉，49.牛肉，50.羊肉，51.腰果，52.芒果，53.核桃，54.臭椿花粉，55.菠菜花粉，56.玉米花粉，57.麻，58.家蝇，59.桑蚕丝，60.棉花，61.荞麦壳，62.植状植孢，63.产黄青霉，64.黑曲霉。在点刺检查时一般有以下六种组合方式：
协合10组检查：采用编号1～20对应的点刺液；
协合20组检查：采用编号1～40对应的点刺液；
全套检查：采用编号1～64对应的点刺液；
吸收入组检查：采用编号1～35、54～64对应的点刺液；
食物检查：采用编号19、20、36～53对应的点刺液；
儿保组检查：采用编号19、20、36～45对应的点刺液。
步骤S2、采用基于U-Net网络(U-Net网络是全卷积神经网络的一种，由O.Ronneberger等人于2015年提出)基线的深度学习算法，训练能够分割出手臂1发生过敏反应后形成的反应区域7图像信息的U-Net网络模型；具体包括以下子步骤：
子步骤S201、收集若干带有手臂1发生过敏反应后形成的反应区域7图像信息的图片作为原始图片；
子步骤S202、将原始图片按照8：1：1的比例分成训练集、验证集和测试集三部分；
子步骤S203、将训练集和验证集中的每一张原始图片做一份蒙版副本，作为监督依据；
子步骤S204、通过自带图像增强工具的人工智能框架库(例如：pytorch)生成对抗网络，从而增殖生成多个训练集，以提高训练成效；
子步骤S205、将训练数据集放入U-Net网络模型进行训练，依据测试集测试结果判断模型是否达到预定要求(例如：测试集测试结果的正确率超过90％)，如果达到预定要求则执行步骤S207，否则，执行步骤S206；
子步骤S206、调整优化U-Net网络模型，返回执行步骤S205；可通过试错调整组合各类激活函数、损失函数、优化器以及其他网络模型(如mobilenet)等方式调整优化U-Net网络模型，同时在每次训练的时候观测过拟合临界点及时干预，从而对网络模型进行优化。
子步骤S207、持久化(保存)训练后达到预定要求的U-Net网络模型及权重，使网络模型的每次调用(或预测调用)都能从图像信息中分割出反应区域7。
步骤S3、按照数字化点刺模板上的点刺位置在被测人员的手臂1上确定手臂点刺位置2，使手臂点刺位置2与数字化点刺模板上的点刺位置一一对应且间距相同。将阴性对照液、阳性对照液和18种皮肤致敏原液点刺在手臂点刺位置2上，形成点刺区域；点刺时先在20个手臂点刺位置2上各滴对应的点刺液一小滴(比针尖大即可)，然后依次用一次性消毒点刺针穿过各点刺液垂直点刺在手臂1上，并轻压刺破皮肤(以不出血为度)，5分钟后擦去全部点刺液。
步骤S4、如图2所示，在点刺区域的两侧分别人工标注出第一边界4和第二边界6，将第一边界4和第二边界6作为点刺区域两侧的边界；优选为在点刺区域左边最外侧的两个点刺位置往左平移5cm(相邻的两个点刺位置之间的距离)的位置处标注两个第一定位锚点标记3，连接两个第一定位锚点标记3的直线形成第一边界4；在点刺区域右边最外侧的两个点刺位置往右平移5cm的位置处标注两个第二定位锚点标记5，连接两个第二定位锚点标记5的直线形成第二边界6；本实施例中优选为采用蓝色记号笔标注两个第一定位锚点标记3和两个第二定位锚点标记5，以便于识别。
步骤S5、如图3所示，等待15～30分钟后，部分手臂点刺位置2处会发生过敏反应，并形成向上凸起的肿块(即反应区域7)，计算机通过摄像头采集点刺区域的图像信息，并采用色彩过滤算法通过HSV颜色空间过滤蓝色范围，从而提取出4个蓝色的定位锚点标记的信息；将连接两个第一定位锚点标记3形成的直线作为第一边界4，将连接两个第二定位锚点标记5形成的直线作为第二边界6。
步骤S6、在采集的图像信息中截取第一边界4和第二边界6之间的信息，并从截取的信息中提取出皮肤区域作为有效检测区域；由于皮肤的颜色和背景底色相差较大，可采用OTSU阈值分割法取最大轮廓提取出皮肤区域。
步骤S7、通过训练好的基于U-Net网络基线的深度学习模型对有效检测区域进行分析，识别并分割出手臂点刺位置发生过敏反应后形成的反应区域7；然后，计算出各反应区域7的中心点位置，将各反应区域7的中心点位置映射到数字化点刺模板中，将数字化点刺模板中与其距离最近的点刺位置与该反应区域7相对应，得出该反应区域7对应的点刺液，使每一反应区域7分别与一种点刺液相对应。
步骤S8、根据描边标记8计算出各反应区域7的面积，作为对应的点刺液的反应面积；具体方法为：对于数字化点刺模板中未对应反应区域7的点刺液，其反应面积均判定为“0”，对于对应了反应区域7的点刺液，先计算其对应的反应区域7的像素累积值，再通过像素累积值计算出反应区域7的面积作为该点刺液的反应面积。
步骤S9、将各皮肤致敏原液的反应面积分别与阳性对照液的反应面积进行比较，根据比较结果判定被测人员对各皮肤致敏原的过敏等级。此时，计算机先判断阴性对照液的反应面积是否等于“0”，如果阴性对照液的反应面积大于“0”则停止检测，并上报错误信息；如果阴性对照液的反应面积等于“0”，则计算机按照以下原则判定各皮肤致敏原的过敏等级：
皮肤致敏原液的反应面积小于阳性对照液的反应面积的1/4时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“-”；皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的1/4，并小于阳性对照液的反应面积的1/2时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“+”；皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的1/2，并小于阳性对照液的反应面积时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“++”；皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积，并小于阳性对照液的反应面积的2倍时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“+++”；皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的2倍时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“++++”。
最后，计算机根据检测过程中采集的图像信息和各皮肤致敏原的过敏等级判定结果生成检测报告并打印输出，同时还归档存储相关信息。
本实施例中，通过深度学习算法训练出能够分割出过敏反应形成的反应区域图像信息的U-Net网络模型，配合计算机视觉自动化检测分析方法能够自动识别出反应区域，并计算反应区域的面积及判定过敏原的过敏等级，相比于传统的医护工作人员人工识别、测量、计算、填报的工作环节，直接提升了皮肤过敏原点刺检测试验的执行效率；本发明产生的结构化数字报告可用于科研调查及分析，提升学科临床诊疗能力。
特别地，根据本发明的较佳实施方式，上文参考图1所描述的过程可以被实现为计算机软件程序。例如，本发明的第三较佳实施方式包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图1所示的方法的程序代码。在这样的较佳实施方式中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。
图1所示的流程图中，每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。也要注意的是，流程图中的每个方框、以及方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本发明未描述部分与现有技术一致，在此不做赘述。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明的专利保护范围之内。
Claims (9)
1.一种基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，包括以下步骤：
步骤S1、预设数字化点刺模板，所述数字化点刺模板设有多个点刺位置，每个所述点刺位置对应一种点刺液，所述点刺液包括阴性对照液、阳性对照液和多种皮肤致敏原液，每一所述皮肤致敏原液分别为一种皮肤致敏原经过高度纯化后得到；
步骤S2、采用基于U-Net网络基线的深度学习算法，训练能够分割出手臂发生过敏反应后形成的反应区域图像信息的U-Net网络模型；
步骤S3、按照数字化点刺模板上的点刺位置在被测人员的手臂上确定手臂点刺位置，将阴性对照液、阳性对照液和多种皮肤致敏原液点刺在手臂点刺位置上，形成点刺区域；
步骤S4、在点刺区域的两侧分别人工标注出第一边界和第二边界，作为点刺区域两侧的边界；
步骤S5、等待预定的时间，然后采集点刺区域的图像信息，并通过色彩过滤算法识别出第一边界和第二边界；
步骤S6、在采集的图像信息中截取第一边界和第二边界之间的信息，并从截取的信息中提取出皮肤区域作为有效检测区域；
步骤S7、通过训练好的U-Net网络模型对有效检测区域进行分析，识别并分割出手臂点刺位置发生过敏反应后形成的反应区域，并根据数字化点刺模板将每一反应区域分别与一种点刺液相对应；
步骤S8、计算出各反应区域的面积，作为对应的点刺液的反应面积；
步骤S9、将各皮肤致敏原液的反应面积分别与阳性对照液的反应面积进行比较，根据比较结果判定被测人员对各皮肤致敏原的过敏等级，并生成检测报告。
2.根据权利要求1所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，所述阴性对照液为生理盐水，所述阳性对照液为变应原及组胺。
3.根据权利要求1所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，在所述步骤S2中，训练U-Net网络模型包括以下子步骤：
子步骤S201、收集若干带有手臂发生过敏反应后形成的反应区域图像信息的图片作为原始图片；
子步骤S202、将原始图片按照8：1：1的比例分成训练集、验证集和测试集三部分；
子步骤S203、将训练集和验证集中的每一张原始图片做一份蒙版副本，作为监督依据；
子步骤S204、通过自带图像增强工具的人工智能框架库生成对抗网络，从而增殖生成多个训练集，以提高训练成效；
子步骤S205、将训练数据集放入U-Net网络模型进行训练，依据测试集测试结果判断模型是否达到预定要求，如果达到预定要求则执行步骤S207，否则，执行步骤S206；
子步骤S206、调整优化U-Net网络模型，返回执行步骤S205；
子步骤S207、保存训练后达到预定要求的U-Net网络模型及权重。
4.根据权利要求1所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，在所述步骤S3中，在患者手臂标注点刺区域的边界信息的方法为：在点刺区域的一侧沿直线标注至少两个第一定位锚点标记，将至少两个第一定位锚点标记所在的直线作为第一边界；在点刺区域的另一侧沿直线标注至少两个第二定位锚点标记，将至少两个第二定位锚点标记所在的直线作为第二边界。
5.根据权利要求1所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，所述第一边界与最近的点刺位置之间的距离大于或等于相邻的两个点刺位置之间的距离，所述第二边界与最近的点刺位置之间的距离大于或等于相邻的两个点刺位置之间的距离。
6.根据权利要求1所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，在所述步骤S6中，采用OTSU阈值分割法取最大轮廓提取出皮肤区域。
7.根据权利要求6所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，在所述步骤S7中，根据数字化点刺模板得出各反应区域对应的点刺液的方法为：在识别出各反应区域后，还计算出各反应区域的中心点位置，将各反应区域的中心点位置映射到数字化点刺模板中，将数字化点刺模板中与其距离最近的点刺位置与该反应区域相对应，得出该反应区域对应的点刺液。
8.根据权利要求6所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，在所述步骤S8中，计算出各反应区域的面积的方法为：对于数字化点刺模板中未对应反应区域的点刺液，其反应面积均判定为“0”，对于对应了反应区域的点刺液，先计算其对应的反应区域的像素累积值，再通过像素累积值计算出反应区域的面积作为该点刺液的反应面积。
9.根据权利要求1所述的基于深度学习算法的皮肤过敏原点刺自动检测分析方法，其特征在于，在所述步骤S9中，判定各皮肤致敏原的过敏等级时，先判断阴性对照液的反应面积是否等于“0”，如果阴性对照液的反应面积大于“0”则停止检测，并上报错误信息；如果阴性对照液的反应面积等于“0”，则按照以下原则判定各皮肤致敏原的过敏等级：
皮肤致敏原液的反应面积小于阳性对照液的反应面积的1/4时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“-”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的1/4，并小于阳性对照液的反应面积的1/2时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“+”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的1/2，并小于阳性对照液的反应面积时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“++”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积，并小于阳性对照液的反应面积的2倍时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“+++”；
皮肤致敏原液的反应面积大于或等于阳性对照液的反应面积的2倍时，判定被测人员对该皮肤致敏原液的皮肤致敏原的过敏等级为“++++”。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010970451.3A CN112070757A (zh) | 2020-09-16 | 2020-09-16 | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010970451.3A CN112070757A (zh) | 2020-09-16 | 2020-09-16 | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112070757A true CN112070757A (zh) | 2020-12-11 |
Family
ID=73695228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010970451.3A Pending CN112070757A (zh) | 2020-09-16 | 2020-09-16 | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070757A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907571A (zh) * | 2021-03-24 | 2021-06-04 | 南京鼓楼医院 | 基于多光谱图像融合识别的目标判定方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170262985A1 (en) * | 2016-03-14 | 2017-09-14 | Sensors Unlimited, Inc. | Systems and methods for image-based quantification for allergen skin reaction |
| CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技（深圳）有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
| CN111179193A (zh) * | 2019-12-26 | 2020-05-19 | 苏州斯玛维科技有限公司 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
-
2020
- 2020-09-16 CN CN202010970451.3A patent/CN112070757A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170262985A1 (en) * | 2016-03-14 | 2017-09-14 | Sensors Unlimited, Inc. | Systems and methods for image-based quantification for allergen skin reaction |
| CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技（深圳）有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
| CN111179193A (zh) * | 2019-12-26 | 2020-05-19 | 苏州斯玛维科技有限公司 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907571A (zh) * | 2021-03-24 | 2021-06-04 | 南京鼓楼医院 | 基于多光谱图像融合识别的目标判定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106033540B (zh) | 一种阴道微生态形态学自动分析方法和系统 | |
| WO2020042500A1 (zh) | 一种基于远程眼底筛查的健康大数据服务方法和系统 | |
| US20160228008A1 (en) | Image diagnosis device for photographing breast by using matching of tactile image and near-infrared image and method for aquiring breast tissue image | |
| CN107220975A (zh) | 宫颈图像智能辅助判断系统及其处理方法 | |
| CN112446860B (zh) | 一种基于迁移学习的糖尿病黄斑水肿自动筛查方法 | |
| CN107397557A (zh) | 乳腺超声波检查报告生成系统及方法 | |
| CN106999057A (zh) | 用于在过敏测试中使用的方法和装置 | |
| WO2023155488A1 (zh) | 基于多源多尺度特征融合的眼底图像质量评价方法和装置 | |
| CN112070757A (zh) | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 | |
| US20230077125A1 (en) | Method for diagnosing age-related macular degeneration and defining location of choroidal neovascularization | |
| CN117457229A (zh) | 基于人工智能的麻醉深度监测系统及方法 | |
| CN113130066A (zh) | 一种基于人工智能的舌诊图像识别方法 | |
| CN113662530A (zh) | 一种猪只生理生长状态监测预警方法 | |
| CN114155216A (zh) | 猪只温度检测方法及装置 | |
| CN113128585B (zh) | 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法 | |
| CN107576660A (zh) | 一种基于距离等高线的双黄鸭蛋自动视觉检测方法 | |
| CN110782441A (zh) | 一种基于深度学习的dr影像肺结核智能分割与检测方法 | |
| CN112070758A (zh) | 基于人工标注信息的皮肤过敏原点刺自动检测分析方法 | |
| Zubair et al. | Automated grading of diabetic macular edema using color retinal photographs | |
| CN114693646B (zh) | 一种基于深度学习的角膜内皮细胞活性因子的分析方法 | |
| CN116386845A (zh) | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 | |
| CN114176602B (zh) | 一种基于深度学习多目标检测同时定位心电p波、qrs波、t波位置的方法 | |
| CN115170492A (zh) | 一种基于ai技术的白内障患者术后视力智能预测评估系统 | |
| CN115565018A (zh) | 图像分类方法及装置、设备、存储介质 | |
| CN113823398B (zh) | 一种通过穿戴设备采集数据检测是否怀孕的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |