CN115035086A - 一种基于深度学习的结核皮试智能筛查分析方法和装置 - Google Patents
一种基于深度学习的结核皮试智能筛查分析方法和装置 Download PDFInfo
- Publication number
- CN115035086A CN115035086A CN202210741291.4A CN202210741291A CN115035086A CN 115035086 A CN115035086 A CN 115035086A CN 202210741291 A CN202210741291 A CN 202210741291A CN 115035086 A CN115035086 A CN 115035086A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- tuberculosis
- skin test
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 89
- 201000008827 tuberculosis Diseases 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012216 screening Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 208000015181 infectious disease Diseases 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 125000001475 halogen functional group Chemical group 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000010521 absorption reaction Methods 0.000 claims description 10
- 241001467552 Mycobacterium bovis BCG Species 0.000 claims description 8
- 241000187479 Mycobacterium tuberculosis Species 0.000 claims description 8
- 229960000190 bacillus calmette–guérin vaccine Drugs 0.000 claims description 8
- 208000036981 active tuberculosis Diseases 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 206010025226 lymphangitis Diseases 0.000 claims description 5
- 238000012106 screening analysis Methods 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 23
- 230000002265 prevention Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000003745 diagnosis Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000193830 Bacillus <bacterium> Species 0.000 description 2
- 206010036790 Productive cough Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 230000037311 normal skin Effects 0.000 description 2
- 210000003802 sputum Anatomy 0.000 description 2
- 208000024794 sputum Diseases 0.000 description 2
- 229960001005 tuberculin Drugs 0.000 description 2
- 206010060976 Bacillus infection Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000006313 Delayed Hypersensitivity Diseases 0.000 description 1
- 102000009123 Fibrin Human genes 0.000 description 1
- 108010073385 Fibrin Proteins 0.000 description 1
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 229950003499 fibrin Drugs 0.000 description 1
- 230000009610 hypersensitivity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001616 monocyte Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 235000004252 protein component Nutrition 0.000 description 1
- 235000018102 proteins Nutrition 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000005951 type IV hypersensitivity Effects 0.000 description 1
- 208000027930 type IV hypersensitivity disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于深度学习的结核皮试智能筛查分析方法和装置，其中，方法包括：采集患者的皮试图像，并进行预处理，获取目标图像，识别目标可见光图像的病灶区域并标记，获取携带有图像编码的目标识别图像，构建特异性识别模型，识别目标图像中是否包含特异性反应病灶，若包含，则判定目标识别图像为强阳性，并进行强阳性标记；若不包含，则根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，判断是否包含硬结和/或红晕，并获取目标尺寸；根据目标尺寸与预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度。本发明实现了结核感染的无接触检测，提高了检测效率和检测准确率，有助于结核病的防治。
Description
技术领域
本发明涉及医学影像处理技术领域，尤其涉及一种基于深度学习的结核皮试智能筛查分析方法和装置。
背景技术
结核病是由结核杆菌感染引起的慢性传染病，结核病可能侵入人体全身各种器官，但主要侵犯肺脏，称为肺结核病。而对于结核病的筛查通常采用结核菌素试验，又称PPD(结核菌纯蛋白衍生物)试验，是指通过皮内注射结核菌素，并根据注射部位的皮肤状况诊断结核杆菌感染所致IV型超敏反应的皮内试验。由于结核病的高传染性，出现疑似病例或确诊病例后，都会要求与患者密切接触的人群进行PPD试验。因此，结核病PPD皮试一直是临床结核病诊断的常用辅助指标，对结核病的诊断和鉴别具有重要作用，是较为重要的辅助检查方法。
目前PPD皮试的结果，通常由医护人员采用传统标尺法、食指触摸法为受试者测量诊断。但是，现有的测量方法存在诊断流程不够精细化，耗费时间长，无法快速进行筛查判断，并且记录信息依赖人工，可能会造成数据遗漏或者错误等问题，不利用结核病的防治。
发明内容
基于此，有必要针对上述技术问题，提供一种基于深度学习的结核皮试智能筛查分析方法。
一种基于深度学习的结核皮试智能筛查分析方法，包括以下步骤：采集患者的皮试图像，对所述皮试图像进行预处理，获取目标图像，所述目标图像包括一一对应的目标红外图像和目标可见光图像；识别所述目标可见光图像的病灶区域并标记，获取目标识别图像，所述目标识别图像携带有图像编码；构建特异性识别模型，根据所述特异性识别模型识别所述目标识别图像中是否包含有特异性反应病灶，若包含，则判定目标识别图像为强阳性，并进行强阳性标记；在目标识别图像中不包含特异性反应病灶时，根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，判断所述目标识别图像中是否包含硬结和/或红晕，并获取目标尺寸；根据所述目标尺寸和预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度。
进一步地，所述采集患者的皮试图像，对所述皮试图像进行预处理，获取目标图像，具体包括：基于红外光和可见光分别采集患者的皮试图像，所述皮试图像包括红外光皮试图像和可见光皮试图像，所述红外光为900nm-1000nm的近红外光；对所述皮试图像进行图像尺寸归一化处理；通过特定颜色通道将归一化后的皮试图像进行灰度化，获取灰度图；将所述灰度图进行二值化处理，并对二值化后的皮试图像进行开闭操作去噪声处理，获取目标图像。
进一步地，所述识别所述目标可见光图像的病灶区域并标记，获取目标识别图像，具体包括：基于历史结核病图像获取结核图像特征，根据所述结核图像特征构建病灶识别模型；将所述目标可见光图像输入至病灶识别模型，通过所述病灶识别模型对所述目标可见光图像的图像特征进行识别，判断所述目标可见光图像中是否包含病灶区域；若所述目标可见光图像中包含病灶区域，则对所述目标可见光图像进行编码和标记，确定对应的图像编码和病灶区域，获取目标识别图像。
进一步地，所述构建特异性识别模型，根据所述特异性识别模型识别所述目标识别图像中是否包含有特异性反应病灶，具体包括：采集多个水疱、坏死和淋巴管炎的特异性反应的图像数据，所述图像数据均包含有特异反应病灶标识区域；通过神经网络构建初始特异性识别模型，通过所述图像数据对所述初始特异性识别模型进行训练，获取特异性识别模型；将所述目标识别图像输入所述特异性识别模型，获取识别结果，根据所述识别结果确定目标识别图像中是否包含有特异性反应病灶；在所述目标识别图像包含特异性反应病灶时，认定对应的目标识别图像为强阳性，并进行强阳性标记；在所述目标识别图像不包含特异性反应病灶时，对所述目标识别图像进行硬结识别。
进一步地，所述根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，具体包括：根据残差网络构建初始硬结识别模型，并根据硬结和红晕的样本集对所述初始硬结识别模型进行训练和验证，获取硬结识别模型，所述残差网络为基于Inception结构的resNet-V2网络；将所述目标识别图像输入硬结识别模型，获取模型识别结果；根据所述目标识别图像获取对应的目标红外图像，识别所述目标红外图像中具有高吸收的区域，获取红外识别结果；根据所述模型识别结果辅助红外识别结果，获取硬结和/或红晕区域；检测硬结和/或红晕的平均尺寸大小，根据所述硬结和/或红晕的平均尺寸大小，获取目标尺寸。
进一步地，所述根据所述硬结和/或红晕的平均尺寸大小，获取目标尺寸，具体包括：在所述目标识别图像中存在硬结或红晕时，以硬结或红晕的平均尺寸大小作为目标尺寸；在所述目标识别图像中同时存在硬结和红晕时，比较硬结的平均尺寸大小和红晕的平均尺寸大小，取较大的平均尺寸大小，作为目标尺寸。
进一步地，所述根据所述目标尺寸和预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度，具体包括：若所述目标尺寸直径小于5mm，认定为阴性，表示患者未感染结核病或处于疾病潜伏期；若所述目标尺寸直径处于5-9mm之间，认定为弱阳性，表示患者感染过结核分枝杆菌或接种过卡介苗；若所述目标尺寸直径处于10-19mm之间，认定为阳性，表示感染者感染过结核分枝杆菌或接种过卡介苗；若所述目标尺寸直径大于20mm，认定为强阳性，表示患者很大可能患有活动性肺结核。
一种基于深度学习的结核皮试智能筛查分析装置，用于实现上述中任一项的方法，包括：工作台、光学组件、摄像组件、固定支架、外壳、计算机和显示屏；所述光学组件、摄像组件和固定支架均设置在所述外壳内；所述光学组件、摄像组件、计算机和显示屏之间电连接；所述工作台用于放置患者的测试部位；所述光学组件设置在所述工作台上方，包括可见光源、红外光源和控制电源，所述可见光源和红外光源交错排布，分别用于发出可见光和红外光；所述控制电源用于控制可见光源和红外光源的开启或关闭；所述固定支架用于安装可见光源和红外光源，且中部开设有通孔；所述摄像组件设置在所述通孔上方，包括镜头和相机，所述相机用于根据可见光和红外光分别获取可见光皮试图像和红外光皮试图像；所述计算机用于根据可见光皮试图像和红外光皮试图像，分析患者是否结核感染和对应的感染程度；所述显示屏用于显示筛查分析结果。
与现有技术相比，本发明的优点及有益效果在于：通过采集患者的皮试图像，并对皮试图像进行预处理，获取目标图像，目标图像包括一一对应的目标红外图像和目标可见光图像，识别目标可见光图像的病灶区域并标记，获取目标识别图像，目标识别图像携带有图像编码，构建特异性识别模型，根据特异性识别模型识别目标图像中是否包含特异性反应病灶，若包含，则判定目标识别图像为强阳性，并进行强阳性标记；若不包含，则根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，判断目标识别图像中是否包含硬结和/或红晕，并获取目标尺寸；根据目标尺寸与预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度，实现了结核感染的无接触检测，流程精细化，缩短了检测时间，且避免了人工记录的数据遗漏或错误，提高了检测效率和检测准确率，有助于结核病的防治。
附图说明
图1为一个实施例中一种基于深度学习的结核皮试智能筛查分析方法的流程示意图；
图2为一个实施例中目标识别图像、目标识别图像的模型识别结果及目标识别图像的硬结区域的效果图。
图3为一个实施例中一种基于深度学习的结核皮试智能筛查分析装置的结构示意图；
图4为图3中的工作台、摄像组件和固定支架的结构示意图；
图5为图4的截面示意图；
图6为一个实施例中一种基于深度学习的结核皮试智能筛查分析装置的操作界面示意图。
附图中，工作台10、可见光源21、红外光源22、摄像组件30、相机31、镜头32、固定支架40、外壳50、显示屏60。
具体实施方式
为了使本发明更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，提供了一种基于深度学习的结核皮试智能筛查分析方法，包括以下步骤：
步骤S101，采集患者的皮试图像，对皮试图像进行预处理，获取目标图像，目标图像包括一一对应的目标红外图像和目标可见光图像。
具体地，在进行采集时，通过摄像设备分别基于红外光和可见光对测试部位进行图像采集，获取皮试图像，对皮试图像进行尺寸归一化、灰度处理、二值化处理和去噪等预处理后，获取目标图像，目标图像包括目标红外图像和目标可见光图像，目标红外图像与目标可见光图像一一对应，便于对目标图像进行后续处理，提高识别准确率。
其中，红外光为900nm-1000nm的近红外光，普通CCD也能接收成像，且水的吸收率也较高，便于根据目标红外图像辅助可见光成像进行识别，从而更准确地诊断皮试结果。
步骤S102，识别目标可见光图像的病灶区域并标记，获取目标识别图像，目标识别图像携带有图像编码。
具体地，在获取目标图像后，识别目标可见光图像中的病灶区域，并对病灶区域进行轮廓标记，获取携带有图像编码的目标识别图像，从而能够对轮廓内的病灶区域进行进一步的识别，且能够将患者和目标识别图像进行对应。
步骤S103，构建特异性识别模型，根据特异性识别模型识别目标识别图像中是否包含有特异性反应病灶，若包含，则判定目标识别图像为强阳性，并进行强阳性标记。
具体地，通过神经网络构建特异性识别模型，将目标识别图像输入特异性识别模型，判断目标识别图像中是否存在特异性反应病灶；若目标识别图像中包含有特异性反应病灶，则判断目标识别图像为强阳性，并进行强阳性标记，提示患者进行进一步的检测，例如CT检查、痰涂片检测等，从而确定患者是否患有活动性结核病；若目标识别图像中不包含特异性反应病灶，则进行步骤S104。
其中，特异性反应病灶包括有水疱、坏死和淋巴管炎等，在存在任意一项特异性反应病灶时，即认定目标识别图像为强阳性，需提示患者尽快进行进一步的检测，便于进一步确定患者是否感染活动性结核病。
步骤S104，在目标识别图像中不包含特异性反应病灶时，根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，判断目标识别图像中是否包含硬结和/或红晕，并获取目标尺寸。
具体地，在目标识别图像中不包含特异性反应病灶时，将目标识别图像输入硬结识别模型，获取模型识别结果；并获取目标识别图像对应的目标红外图像，根据目标红外图像中水的吸收程度，获取红外识别结果；根据模型识别结果辅助红外识别结果，获取目标识别图像中的硬结和/或红晕，并测量获取硬结和/或红晕的平均尺寸大小，便于根据硬结和/或红晕的平均尺寸大小获取目标尺寸，从而能够基于目标尺寸与预设标准尺寸判断患者是否结核感染及感染程度。
其中，红晕可以根据颜色特征在目标识别图像中进行识别，而硬结通常呈现更深的红色，也可以根据颜色特征进行识别。但是在部分情况下，肉眼无法分别硬结。且由于硬结是由纤维蛋白的沉积和T细胞及单核细胞的聚集引起，而前述的大分子蛋白成分复杂，需要复杂的色谱扫描，不能够简单地从图像中透皮分析，导致无法从目标识别图像中对硬结区域和正常皮肤进行区分。但是超敏反应会引起患处的组织水肿，硬结部分细胞充分更足，且近红外光不仅能够穿透更深处的皮肤，水及血液对近红外光也有着较高的吸收，从而能够根据目标红外图像中水的吸收程度，区分硬结、红晕及周围正常皮肤。其中，硬结区域的水的吸收程度更高，则可以在目标红外图像中标记出对应的区域，即为初步判定的硬结区域，结合模型识别结果，进一步确定实际的硬结区域，提高识别的准确性。
步骤S105，根据目标尺寸和预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度。
具体地，在获取目标尺寸之后，根据目标尺寸与对应的预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度，从而实现结核感染的快速准确诊断，实现了结核感染的无接触检测，提高了检测效率。
在本实施例中，通过采集患者的皮试图像，并对皮试图像进行预处理，获取目标图像，目标图像包括一一对应的目标红外图像和目标可见光图像，识别目标可见光图像的病灶区域并标记，获取目标识别图像，目标识别图像携带有图像编码，构建特异性识别模型，根据特异性识别模型识别目标图像中是否包含特异性反应病灶，若包含，则判定目标识别图像为强阳性，并进行强阳性标记；若不包含，则根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，判断目标识别图像中是否包含硬结和/或红晕，并获取目标尺寸；根据目标尺寸与预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度，实现了结核感染的无接触检测，流程精细化，缩短了检测时间，且避免了人工记录的数据遗漏或错误，提高了检测效率和检测准确率，有助于结核病的防治。
其中，步骤S101具体包括：对皮试图像进行图像尺寸归一化处理；通过特定颜色通道将归一化后的皮试图像进行灰度化，获取灰度图；将灰度图进行二值化处理，并对二值化后的皮试图像进行开闭操作去噪声处理，获取目标图像。
具体地，在采集获取皮试图像后，将皮试图像的尺寸进行归一化处理，确保尺寸一致，便于后续处理，并通过特定颜色通道将尺寸归一化后的图像进行灰度化，获取灰度图；对灰度图进行二值化处理，并对二值化后的皮试图像进行开闭操作去噪声处理，获取目标图像，从而能够对目标图像进行更加精准的识别和处理，提高结核筛查分析的准确率。
其中，开闭操作均是基于膨胀和腐蚀操作组合形成的，开操作采用先腐蚀后膨胀的方式，用于消除小物体、在纤细点处分离物体、平滑较大物体的边界，同时并不明显改变其面积提取水平或竖直的线；闭操作采用先膨胀后腐蚀的方式，用于填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。
其中，步骤S102具体包括：基于历史结核病图像获取结核图像特征，根据结核图像特征构建病灶识别模型；将目标可见光图像输入至病灶识别模型，通过病灶识别模型对所述目标可见光图像的图像特征进行识别，判断目标可见光图像中是否包含病灶区域；若目标可见光图像中包含病灶区域，则对目标可见光图像进行编码和标记，确定对应的图像编码和病灶区域，获取目标识别图像。
具体地，获取多个历史结核病图像作为样本，提取历史结核病图像中的结核图像特征，根据结核图像特征构建病灶识别模型，将目标可见光图像输入至病灶识别模型，通过病灶识别模型对目标可见光图像中的图像特征进行识别，判断目标可见光是否存在对应的病灶区域；若存在病灶区域，则对病灶区域进行轮廓标记，获取具有轮廓标记的目标识别图像，同时对目标识别图像进行图像编码，从而将患者和目标识别图像进行关联；若目标识别图像中不存在病灶区域，则完成识别，根据目标识别图像是否存在特异性反应确定是否感染结核病。
其中，步骤S103具体包括：采集多个水疱、坏死和淋巴管炎的特异性反应的图像数据，图像数据均包含有特异反应病灶标识区域；通过神经网络构建初始特异性识别模型，通过图像数据对初始特异性识别模型进行训练，获取特异性识别模型；将目标识别图像输入所述特异性识别模型，获取识别结果，根据识别结果确定目标识别图像中是否包含有特异性反应病灶；在目标识别图像包含特异性反应病灶时，认定对应的目标识别图像为强阳性，并进行强阳性标记；在目标识别图像不包含特异性反应病灶时，对目标识别图像进行硬结识别。
具体地，采集多个水疱、坏死和淋巴管炎等特异性反应的图像数据，图像数据中均包含有特异性反应病灶识别区域；通过神经网络构建初始特异性识别模型，采用图像数据对初始特异性识别模型进行训练和验证，获取特异性识别模型；将目标识别图像输入至特异性识别模型，得到对应的识别结果，识别结果包括存在特异性反应病灶或不存在特异性反应病灶；在目标识别图像中存在特异性反应病灶时，判定对应的目标识别图像为强阳性，提示患者尽快进行进一步地结核检测，例如CT检查、痰涂片检查等，从而准确判断患者是否患有活动性结核病；在目标识别图像中不存在特异性反应病灶时，对目标识别图像进行硬结和红晕的识别，根据硬结和红晕识别判断患者是否感染结核病及对应的感染程度，从而实现对患者的结核筛查。
其中，步骤S104具体包括：根据残差网络构建初始硬结识别模型，并根据硬结和红晕的样本集对初始硬结识别模型进行训练和验证，获取硬结识别模型，残差网络为基于Inception结构的resNet-V2网络；将目标识别图像输入硬结识别模型，获取模型识别结果；根据目标识别图像获取对应的目标红外图像，识别目标红外图像中具有高吸收的区域，获取红外识别结果；根据模型识别结果辅助红外识别结果，获取硬结和/或红晕区域；检测硬结和/或红晕的平均尺寸大小，根据硬结和/或红晕的平均尺寸大小，获取目标尺寸。
具体地，在不能够根据颜色特征对硬结进行识别时，基于Inception结构的resNet-V2网络的残差网络，构建初始硬结识别模型，并采用硬结和红晕的样本及对初始硬结识别模型进行训练和验证，硬结识别模型能够通过颜色特征对红晕区域进行识别；将如图2中第一列图像所示的目标识别图像，输入硬结识别模型，获取模型识别结果，如图2中第二列图像所示；同时基于目标识别图像获取对应的目标红外图像，根据目标红外图像中水的吸收程度，获取水的吸收程度较高的区域，认定为初步硬结区域，从而红外识别结果；根据模型识别结果，辅助红外识别结果中的初步硬结区域，获取硬结和/或红晕区域，如图2中第三列图像所示，并通过检测获取硬结和/或红晕的平均尺寸大小，从而获取目标尺寸，实现精准识别图像中的硬结和红晕区域，并能够基于硬结和红晕区域对是否结核感染和感染程度进行识别。
其中，根据硬结和/或红晕的平均尺寸大小，获取目标尺寸，具体包括：在目标识别图像中存在硬结或红晕时，以硬结或红晕的平均尺寸大小作为目标尺寸；在目标识别图像中同时存在硬结和红晕时，比较硬结的平均尺寸大小和红晕的平均尺寸大小，取较大的平均尺寸大小，作为目标尺寸。
具体地，由于目标识别图像中可能存在红晕、硬结及红晕和硬结三种情况，在仅存在红晕和硬结其中一种时，将红晕或硬结的平均尺寸大小作为目标尺寸；在同时存在红晕和硬结时，比较红晕平均尺寸大小和硬结平均尺寸大小，以较大的一个作为目标尺寸，从而能够基于目标尺寸精准进行结核感染的分析和判断，提高检测效率。
其中，步骤S105具体包括：若目标尺寸直径小于5mm，认定为阴性，表示患者未感染结核病或处于疾病潜伏期；若目标尺寸直径处于5-9mm之间，认定为弱阳性，表示患者感染过结核分枝杆菌或接种过卡介苗；若目标尺寸直径处于10-19mm之间，认定为阳性，表示感染者感染过结核分枝杆菌或接种过卡介苗；若目标尺寸直径大于20mm，认定为强阳性，表示患者很大可能患有活动性肺结核。
具体地，在目标尺寸小于5mm时，认定目标识别图像为阴性，表示患者未感染结核病或处于疾病潜伏期；若目标尺寸直径处于5-9mm之间，认定目标识别图像为弱阳性，表示患者感染过结核分枝杆菌或接种过卡介苗；若目标尺寸直径处于10-19mm之间，认定目标识别图像为阳性，表示感染者感染过结核分枝杆菌或接种过卡介苗，但不表示患者患有结核病，需要根据进一步的检测，确定感染与否；若目标尺寸直径大于20mm，认定为强阳性，表示患者很大可能患有活动性肺结核，需要尽快接受进一步的检测，从而判定感染结果和感染程度。
在一个实施例中，如图3和图5所示，本发明还提供一种基于深度学习的结核皮试智能筛查分析装置，用于实现上述一种基于深度学习的结核皮试智能筛查分析方法，包括：工作台10、光学组件、摄像组件30、固定支架40、外壳50、计算机(图未示)和显示屏60；光学组件、摄像组件30和固定支架40均设置在外壳50内；光学组件、摄像组件30、计算机和显示屏60之间电连接；工作台10用于放置患者的测试部位；光学组件设置在工作台10上方，包括可见光源21、红外光源22和控制电源，可见光源21和红外光源22交错排布，分别用于发出可见光和红外光；控制电源用于控制可见光源21和红外光源22的开启或关闭；固定支架40用于安装可见光源21和红外光源22，且中部开设有通孔；摄像组件30设置在通孔上方，包括相机31和镜头32，相机31用于根据可见光和红外光分别获取可见光皮试图像和红外光皮试图像；计算机用于根据可见光皮试图像和红外光皮试图像，分析患者是否结核感染和对应的感染程度；显示屏60用于显示筛查分析结果。
在本实施例中，患者通过将测试部位放置在工作台10上，通过分别开启可见光源21和红外光源22，采用相机31分别采集患者的可见光皮试图像和红外皮试图像，并通过计算机实现上述方法，对可见光皮试图像和红外皮试图像进行处理，并根据处理结果分析患者是否存在结核感染和对应的感染程度，最后通过显示屏60对分析结果进行显示，从而实现无接触的结核感染筛查，且提高了筛查效率和诊断准确性。
在一个实施例中，患者根据上述一种基于深度学习的结核皮试智能筛查分析装置进行检测的流程具体为：
首先，患者将测试部位平放至镜头前，界面实时呈现手臂图像，在医护人员指导下，置于工作台的正确位置；
其次，由医生确认开始诊断后，控制相机拍摄多张图片，包括红外皮试图像和可见光图像，并智能选取最清晰的图片进行算法处理；
再次，将拍摄的原图、处理后的图像及诊断信息，如图2所示，传输至操作界面，同时保存所有原始数据至本地硬盘。
最后，医生确认并给出最终诊断结果，手动输入至患者电子病例档案，医生可选择是否打印出诊断结果给患者。
在一个实施例中，上述一种基于深度学习的结核皮试智能筛查分析装置的界面操作如图6所示，则对应的操作步骤具体为：
点击“进入”后转为实时图像显示(控制白光即可见光亮起)；
点击“开始”后进行拍摄采图并保存，此时画面显示两幅图像——左侧为拍摄原图，右侧为算法处理后的图像，屏幕正上方给出检测结果(显示拍摄结果时，控制白灯关闭，红外灯亮起，拍摄红外图像并保存)；
若医生对检测数据不满意，点击“测量”用鼠标在图像中拉出直线，并显示出长度值，并根据此时的长度值更改屏幕正上方的检查结果；
点击“完毕”后转入实时图像显示(控制红外灯关闭，白光亮起)；
点击“退出”后关闭软件窗口(控制光源关闭)。
通过上述检测流程和操作方法，能够实现结核感染的精细化无接触筛查，缩短了医患双方的诊断时间，提高诊断效率，有助于结核病的防治；且能够通过终端对高清图像进行实时采集，并通过计算机采用多种算法对采集到的图像进行快速准确的分析，提高筛查的准确性；此外，医生还能够通过物联网终端进行远程控制，便于进行数据输入和管理，避免数据错漏的情形。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (8)
1.一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，包括以下步骤：
采集患者的皮试图像，对所述皮试图像进行预处理，获取目标图像，所述目标图像包括一一对应的目标红外图像和目标可见光图像；
识别所述目标可见光图像的病灶区域并标记，获取目标识别图像，所述目标识别图像携带有图像编码；
构建特异性识别模型，根据所述特异性识别模型识别所述目标识别图像中是否包含有特异性反应病灶，若包含，则判定目标识别图像为强阳性，并进行强阳性标记；
在目标识别图像中不包含特异性反应病灶时，根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，判断所述目标识别图像中是否包含硬结和/或红晕，并获取目标尺寸；
根据所述目标尺寸和预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度。
2.根据权利要求1所述的一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，所述采集患者的皮试图像，对所述皮试图像进行预处理，获取目标图像，具体包括：
基于红外光和可见光分别采集患者的皮试图像，所述皮试图像包括红外光皮试图像和可见光皮试图像，所述红外光为900nm-1000nm的近红外光；
对所述皮试图像进行图像尺寸归一化处理；
通过特定颜色通道将归一化后的皮试图像进行灰度化，获取灰度图；
将所述灰度图进行二值化处理，并对二值化后的皮试图像进行开闭操作去噪声处理，获取目标图像。
3.根据权利要求1所述的一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，所述识别所述目标可见光图像的病灶区域并标记，获取目标识别图像，具体包括：
基于历史结核病图像获取结核图像特征，根据所述结核图像特征构建病灶识别模型；
将所述目标可见光图像输入至病灶识别模型，通过所述病灶识别模型对所述目标可见光图像的图像特征进行识别，判断所述目标可见光图像中是否包含病灶区域；
若所述目标可见光图像中包含病灶区域，则对所述目标可见光图像进行编码和标记，确定对应的图像编码和病灶区域，获取目标识别图像。
4.根据权利要求1所述的一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，所述构建特异性识别模型，根据所述特异性识别模型识别所述目标识别图像中是否包含有特异性反应病灶，具体包括：
采集多个水疱、坏死和淋巴管炎的特异性反应的图像数据，所述图像数据均包含有特异反应病灶标识区域；
通过神经网络构建初始特异性识别模型，通过所述图像数据对所述初始特异性识别模型进行训练，获取特异性识别模型；
将所述目标识别图像输入所述特异性识别模型，获取识别结果，根据所述识别结果确定目标识别图像中是否包含有特异性反应病灶；
在所述目标识别图像包含特异性反应病灶时，认定对应的目标识别图像为强阳性，并进行强阳性标记；
在所述目标识别图像不包含特异性反应病灶时，对所述目标识别图像进行硬结识别。
5.根据权利要求1所述的一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，所述根据目标红外图像辅助硬结识别模型对目标识别图像进行识别，具体包括：
根据残差网络构建初始硬结识别模型，并根据硬结和红晕的样本集对所述初始硬结识别模型进行训练和验证，获取硬结识别模型，所述残差网络为基于Inception结构的resNet-V2网络；
将所述目标识别图像输入硬结识别模型，获取模型识别结果；
根据所述目标识别图像获取对应的目标红外图像，识别所述目标红外图像中具有高吸收的区域，获取红外识别结果；
根据所述模型识别结果辅助红外识别结果，获取硬结和/或红晕区域；
检测硬结和/或红晕的平均尺寸大小，根据所述硬结和/或红晕的平均尺寸大小，获取目标尺寸。
6.根据权利要求5所述的一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，所述根据所述硬结和/或红晕的平均尺寸大小，获取目标尺寸，具体包括：
在所述目标识别图像中存在硬结或红晕时，以硬结或红晕的平均尺寸大小作为目标尺寸；
在所述目标识别图像中同时存在硬结和红晕时，比较硬结的平均尺寸大小和红晕的平均尺寸大小，取较大的平均尺寸大小，作为目标尺寸。
7.根据权利要求1所述的一种基于深度学习的结核皮试智能筛查分析方法，其特征在于，所述根据所述目标尺寸和预设标准尺寸之间的关系，判断目标识别图像是否存在结核感染和感染程度，具体包括：
若所述目标尺寸直径小于5mm，认定为阴性，表示患者未感染结核病或处于疾病潜伏期；
若所述目标尺寸直径处于5-9mm之间，认定为弱阳性，表示患者感染过结核分枝杆菌或接种过卡介苗；
若所述目标尺寸直径处于10-19mm之间，认定为阳性，表示感染者感染过结核分枝杆菌或接种过卡介苗；
若所述目标尺寸直径大于20mm，认定为强阳性，表示患者很大可能患有活动性肺结核。
8.一种基于深度学习的结核皮试智能筛查分析装置，用于实现权利要求1-7中任一项的方法，其特征在于，包括：工作台、光学组件、摄像组件、固定支架、外壳、计算机和显示屏；所述光学组件、摄像组件和固定支架均设置在所述外壳内；所述光学组件、摄像组件、计算机和显示屏之间电连接；所述工作台用于放置患者的测试部位；所述光学组件设置在所述工作台上方，包括可见光源、红外光源和控制电源，所述可见光源和红外光源交错排布，分别用于发出可见光和红外光；所述控制电源用于控制可见光源和红外光源的开启或关闭；所述固定支架用于安装可见光源和红外光源，且中部开设有通孔；所述摄像组件设置在所述通孔上方，包括镜头和相机，所述相机用于根据可见光和红外光分别获取可见光皮试图像和红外光皮试图像；所述计算机用于根据可见光皮试图像和红外光皮试图像，分析患者是否结核感染和对应的感染程度；所述显示屏用于显示筛查分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210741291.4A CN115035086A (zh) | 2022-06-28 | 2022-06-28 | 一种基于深度学习的结核皮试智能筛查分析方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210741291.4A CN115035086A (zh) | 2022-06-28 | 2022-06-28 | 一种基于深度学习的结核皮试智能筛查分析方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035086A true CN115035086A (zh) | 2022-09-09 |
Family
ID=83127692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210741291.4A Pending CN115035086A (zh) | 2022-06-28 | 2022-06-28 | 一种基于深度学习的结核皮试智能筛查分析方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035086A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721240A (zh) * | 2023-08-09 | 2023-09-08 | 常州糖族部落云健康科技有限公司 | 皮肤瘢痕测量及皮下硬块感知测试的ai系统、分析方法 |
-
2022
- 2022-06-28 CN CN202210741291.4A patent/CN115035086A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721240A (zh) * | 2023-08-09 | 2023-09-08 | 常州糖族部落云健康科技有限公司 | 皮肤瘢痕测量及皮下硬块感知测试的ai系统、分析方法 |
| CN116721240B (zh) * | 2023-08-09 | 2023-10-24 | 常州糖族部落云健康科技有限公司 | 皮肤瘢痕测量及皮下硬块感知测试的ai系统、分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060774B (zh) | 一种基于生成式对抗网络的甲状腺结节识别方法 | |
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| CN109859203B (zh) | 基于深度学习的缺陷牙齿图像识别方法 | |
| CN109190540B (zh) | 活检区域预测方法、图像识别方法、装置和存储介质 | |
| KR102091832B1 (ko) | 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치 | |
| CN109117890B (zh) | 一种图像分类方法、装置和存储介质 | |
| JP2016531709A (ja) | 疾患を診断するための画像解析技術 | |
| KR102155381B1 (ko) | 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램 | |
| CN111986211A (zh) | 一种基于深度学习的眼科超声自动筛查方法及系统 | |
| RU2633320C2 (ru) | Отбор изображений для оптического исследования шейки матки | |
| CN109948671B (zh) | 图像分类方法、装置、存储介质以及内窥镜成像设备 | |
| US11284855B2 (en) | Ultrasound needle positioning system and ultrasound needle positioning method utilizing convolutional neural networks | |
| US20210090248A1 (en) | Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor | |
| KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| CN112801958A (zh) | 超声内镜、人工智能辅助鉴别方法、系统、终端、介质 | |
| CN111754530B (zh) | 一种前列腺超声图像分割分类方法 | |
| KR102095730B1 (ko) | 딥러닝 기반의 대장 병변 검출 방법 | |
| CN113017687A (zh) | 一种腹腔积液b超图像自动识别方法 | |
| CN111863204A (zh) | 基于钼靶x线摄影检查的乳腺疾病ai辅助诊断方法及系统 | |
| CN115035086A (zh) | 一种基于深度学习的结核皮试智能筛查分析方法和装置 | |
| KR20230097646A (ko) | 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| CN112741651A (zh) | 一种内窥镜超声影像的处理方法及系统 | |
| CN115444355B (zh) | 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质 | |
| Sun et al. | Liver tumor segmentation and subsequent risk prediction based on Deeplabv3+ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |