CN114209278B - 一种基于光学相干层析成像的深度学习皮肤病诊断系统 - Google Patents

一种基于光学相干层析成像的深度学习皮肤病诊断系统 Download PDF

Info

Publication number
CN114209278B
CN114209278B CN202111528116.9A CN202111528116A CN114209278B CN 114209278 B CN114209278 B CN 114209278B CN 202111528116 A CN202111528116 A CN 202111528116A CN 114209278 B CN114209278 B CN 114209278B
Authority
CN
China
Prior art keywords
skin
deep learning
diagnosis
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111528116.9A
Other languages
English (en)
Other versions
CN114209278A (zh
Inventor
董必勤
于泽宽
吴昊
张磊
戴月昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202111528116.9A priority Critical patent/CN114209278B/zh
Publication of CN114209278A publication Critical patent/CN114209278A/zh
Application granted granted Critical
Publication of CN114209278B publication Critical patent/CN114209278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供一种基于光学相干层析成像的深度学习皮肤病诊断系统，由图像采集单元采用OCT成像系统对被检测皮肤区域进行三维的OCT图像成像，实现非侵入地汲取皮肤深层信息数据；其次由图像预处理单元对原始三维OCT图像进行降噪和增强的预处理，消除OCT成像固有的斑点噪声问题以及低采样率的限制问题，提高图像的分辨率；然后由特征提取单元基于预处理后的OCT图像提取皮肤解剖学和皮肤微血管的特征，经由深度学习诊断单元的深度学习诊断模型进行深度特征提取以及特征融合，从而检测出对应的皮肤患病信息；该诊断系统提高了皮肤病诊断的准确性，降低了对医生诊断经验和水平的依赖，在无需病理活检的情况下使得潜在的皮肤疾病能够被及早被发现确诊和治疗。

Description

一种基于光学相干层析成像的深度学习皮肤病诊断系统
技术领域
本发明涉及一种基于光学相干层析成像的深度学习皮肤病诊断系统。
背景技术
皮肤是人体最大的器官，皮肤病是发生在皮肤和皮肤附属器官疾病的总称。目前皮肤病的诊断仍很大程度上依赖于临床医生的经验。特别是中国有7亿职业人群，其中约有2亿人频繁地暴露于粉尘、化学品、热辐射、紫外线等对皮肤有害的环境中。据估计，职业病中有20-30％为皮肤病，是最常见的职业病之一。特别是在过去几十年中，皮肤癌症的病例数急剧上升。皮肤癌为世界发病数最多的癌症，主要包括基底细胞癌、鳞状细胞癌和黑色素瘤。早期筛查对皮肤癌患者来说生死攸关，以黑色素瘤为例，若在早期阶段(五年之内)确诊并接受治疗，生存率在97％左右；若在晚期阶段确诊，生存率将剧降至14％。患者具有更高罹患皮肤癌几率。由于皮肤病的人群数量庞大、地域分布广阔，外加皮肤病种类繁多、成因复杂，导致皮肤病诊断和动态随访的难度较大，亟需引入便捷、无创、原位、快速、定量的检测技术。
诊断皮肤癌的金标准目前仍然是苏木精-伊红染色的病理组织学活检。该诊断方法所使用的化学试剂可能会对组织结构造成影响。另外，该诊断方法是一种有创的诊断方法，在操作过程中具有造成恐惧、流血甚至感染等的风险。为了解决上述问题，发展出了许多非侵入性的诊断方法，如皮肤镜、反射式共焦显微成像、光学相干层析等。
皮肤影像技术通过对皮肤组织进行无创、实时、动态观察能够帮助医护人员获取肉眼不可见的影像结构及特征，辅助进行疾病诊断和对病情严重程度的评估。尽管如此，目前用于临床皮肤检测的影像技术在成像分辨率和深度上仍具有一定的局限性。皮肤镜是目前诊断皮肤病最广泛的成像方法，尤其适用于例如黑色素瘤等的色素性皮肤病。但是由于皮肤镜只能捕捉皮肤表面的二维图像，无法反映深度组织信息，所以难以诊断诸如基底细胞癌、鳞状细胞癌等非黑色素瘤皮肤癌。共聚焦激光扫描显微镜可以提供微米级的横向分辨率，但仍受限于传统光学成像技术的穿透深度，大多只能对皮肤表皮成像，无法观察到表皮以下的组织情况，在一定程度上局限了其疾病诊断能力。另一方面，超声成像具有很好的穿透深度，但图像分辨率和对比度有限，并且成像的特异性较差。为了进一步提高皮肤疾病的诊断准确性，需要在皮肤病诊断中引入同时具有较好穿透深度且具备更强识别能力的先进光学成像技术。
光学相干断层扫描(Optical Coherence Tomography,OCT)技术是一种非入侵、高分辨率、高灵敏度的光学成像技术，通过收集样品组织的背向散射光与参考光进行干涉，可以实时的得到样品组织深度方向的光散射率信息，分辨率可达1～10微米，成像深度可达2～5毫米。OCT能够获得类似于活检病理切片的高分辨率皮肤横断面光学图像，在临床上已经被应用于研究人类皮肤形态学和在体的皮肤下表面结构，如黑色素瘤成像、非黑色素瘤皮肤癌成像、肿瘤微血管成像以及其它皮肤病理学或生理学成像。非常适合用于评估皮肤病变(特别是非黑色素瘤皮肤癌和炎症性疾病)，量化皮肤变化，可视化寄生虫感染，以及检查其它指征。此外，近年来对于皮肤烧伤组织成像、医学美容评估以及手持式的OCT探头研究也有了长足的进展。OCT为皮肤临床诊测提供了一种快速有效的光学成像技术，是其它无创皮肤影像工具以及皮肤组织病理检查的重要补充手段，非常适合皮肤病的辅助诊断，能够在一定程度上减少需要病理活检的机率。
相比于作为金标准的活检病理切片图像，皮肤的OCT断层扫描图像的质量受OCT成像固有的斑点噪声和低采样率的限制，通常只有经验丰富的医生才能准确分辨皮肤结构特征做到精准诊断。由于皮肤科是以形态学为主要诊断手段的学科，十分适合引入人工智能算法辅助提高诊断的准确性。现有的基于深度学习的皮肤病诊断大多数只使用皮肤镜图像数据作为诊断输入，但由于皮肤镜图像只能表达皮肤表面信息，而无法反映皮肤深层结构信息，因此使用单一皮肤镜图像的智能皮肤病诊断系统往往具有较低的敏感性与特异性。综合以上两个方面，有必要提供一种基于光学相干层析成像和深度学习的皮肤病诊断系统及相应的图像处理方法。
发明内容
为解决上述问题，提供一种非侵入地汲取皮肤深层信息的辅助诊断系统，本发明采用了如下技术方案：
本发明提供了一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于，包括：图像采集单元、图像预处理单元、特征提取单元以及深度学习诊断单元；图像采集单元对被检测皮肤区域基于光学相干层析成像获取并存储原始三维OCT图像数据，图像预处理单元对原始三维OCT图像数据进行预处理获取高质量三维OCT图像数据，特征提取单元基于高质量三维OCT图像数据提取皮肤解剖学参数特征以及皮肤微血管参数特征，深度学习诊断单元提取高质量三维OCT图像数据的图像的深度特征，并将其与皮肤解剖学参数特征以及皮肤微血管参数特征的融合特征进行检测诊断从而获取与被检测皮肤区域对应的诊断结果。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，图像采集单元具有FD-OCT成像装置，原始三维OCT图像数据为沿y轴方向堆叠的B-scan断层图像以及沿z轴方向堆叠的en-face图像中的任意一种。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，皮肤解剖学参数特征的提取为：特征提取单元将高质量三维OCT图像数据进行分层处理以区分被检测皮肤区域的表皮层、角质层、以及真皮层，并确定表皮层上界线、角质层下界线以及真皮层-表皮层连接线的位置，基于上界线、下界线以及连接线的位置获取表皮层厚度参数、角质层厚度参数、以及真皮层厚度参数。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，皮肤微血管参数特征的提取为：使用OCTA血管造影算法，得到皮肤各个分层的血管造影图像，根据各个分层的血管造影图像，分别获取血管参数，血管参数包括血管密度、血管复杂度、血管管径、血管形态异常以及血管灌注面积，血管密度包括血管面积密度和血管骨架密度。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，深度学习诊断单元为经过训练的深度学习诊断模型，该深度学习诊断模型包括深度特征提取网络、融合网络以及输出网络，深度特征提取网络用于将高质量三维OCT图像数据作为输入，获取对应的图像的深度特征，融合网络用于对皮肤解剖学参数特征、皮肤微血管参数特征以及图像的深度特征进行融合获取融合特征数据，输出网络根据融合特征数据获取被检测皮肤区域的皮肤患病信息，并将其作为诊断结果输出。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，训练为：采集皮肤数据进行人工标注作为训练数据集，利用训练数据集对深度学习诊断模型进行训练，根据输出网络输出的诊断结果与训练数据集对应的实际皮肤患病信息的差异对深度学习诊断模型进行优化。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，预处理为对原始三维OCT图像数据进行降噪处理，并对降噪后的三维OCT图像数据进行增强处理。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，降噪处理为多帧平均方法、滤波法、基于散度正则化、贝叶斯估计的统计学方法以及基于深度学习的降噪方法中的任意一种，增强处理为自适应对比度增强、反卷积方法、基于压缩感知的稀疏重构方法以及基于生成式对抗网络的深度学习超分辨重建方法中的任意一种。
本发明提供的一种基于光学相干层析成像的深度学习皮肤病诊断系统，还可以具有这样的技术特征，其中，预处理还可以是对原始三维OCT图像数据逐帧进行二维处理。
发明作用与效果
根据本发明的基于光学相干层析成像的深度学习皮肤病诊断系统，首先由于图像采集单元采用OCT成像系统对被检测皮肤区域进行三维的OCT图像成像，因此实现了非侵入地汲取皮肤深层信息数据；其次由于通过图像预处理单元对原始三维OCT图像进行降噪和增强的预处理，因此消除了OCT成像固有的斑点噪声问题以及低采样率的限制问题，从而提高了三维OCT图像的对比度和分辨率；然后由特征提取单元基于预处理后的OCT图像提取皮肤解剖学参数特征以及皮肤微血管参数特征，经由深度学习诊断单元的深度学习诊断模型提取图像的深度特征，并将其与上述两个参数特征进行特征融合，从而检测确定被检测皮肤区域的皮肤患病信息。
本发明的基于光学相干层析成像的深度学习皮肤病诊断系统利用皮肤光学相干层析成像和深度学习的方法提供了一种非侵入地汲取皮肤深层信息的辅助诊断系统，从而提高皮肤病诊断结果的准确性，并降低皮肤病诊断对医生诊断经验和水平的依赖，在无需病理活检的情况下使得潜在的皮肤疾病能够被及早被发现确诊和治疗。
附图说明
图1是本发明实施例中的基于光学相干层析成像的深度学习皮肤病诊断系统的结构示意图；
图2是本发明实施例中的OCT皮肤成像系统的结构示意图；
图3是本发明实施例中原始三维OCT图像数据的存储方法示意图；
图4是本发明实施例中的深度学习诊断模型示意图；
图5是本发明实施例中利用基于光学相干层析成像的深度学习皮肤病诊断系统进行皮肤病诊断的流程图；
图6是本发明实施例中基于GAN的深度学习超分辨重构模型的训练过程示意图；
图7是本发明实施例中的生成器与判别器示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于光学相干层析成像的深度学习皮肤病诊断系统作具体阐述。
<实施例一>
图1是本发明实施例中的基于光学相干层析成像的深度学习皮肤病诊断系统的结构示意图。
如图1所示，基于光学相干层析成像的深度学习皮肤病诊断系统100包括图像采集单元1、图像预处理单元2、特征提取单元3以及深度学习诊断单元4。
图像采集单元1用于对被检测皮肤区域基于光学相干层析成像获取并存储原始三维OCT图像数据。
本实施例中，图像采集单元1为自主开发的OCT皮肤成像系统，该OCT皮肤成像系统包括FD-OCT成像装置和具有存储功能的计算机。
图2是本发明实施例中的OCT皮肤成像系统示意图。
如图2所示，OCT皮肤成像系统采用中心波长为840nm、带宽为100nm的弱相干SLED作为照明光源以及90:10宽带光纤耦合器作为迈克尔逊干涉仪的核心。系统的样品臂由光纤准直器、一对二维扫描振镜和一个焦距为54mm的近红外物镜构成。成像光束的光功率设置为～800μW，远低于ANSI(美国国家标准协会)标准规定的最大允许曝光功率。系统的参考臂由光纤准直器、色散补偿单元、中性密度滤光片和安装在微型手动平移台上的平面镜构成。附加的光纤偏振控制器用于优化系统的干涉幅度。
该系统由LabVIEW程序控制，并采用自主开发的光谱仪模块实现干涉光谱的采集。其中，光谱仪模块采用最大读取速率为250kHz的2048像素单色行扫描CMOS相机(OCTOPLUSCL，e2v)，并配合高速图像采集卡实现高速OCT成像。
最终实现的系统能够获得轴向分辨率优于10μm(空气中)，成像深度>1mm，视场大于10mm x 10mm的OCT层析成像。成像速度能够达到最快500Hz二维线扫描和1Hz三维体扫描。
本实施例中，图像采集单元1所获取的原始三维OCT图像数据具有统一的尺寸和分辨率。
图3是本发明实施例中的原始三维OCT图像数据示意图。
如图3所示，原始三维OCT图像数据的采集和存储方法根据OCT皮肤成像系统的不同可以是沿y轴方向堆叠的B-scan断层图像(图3中左图所示)，也可以是沿z轴方向堆叠的en-face图像(图3中右图所示)。
图像预处理单元2用于对原始三维OCT图像数据进行预处理获取高质量三维OCT图像数据。
本实施例中，预处理包括对原始三维OCT图像数据进行降噪处理从而消除图像的乘性散斑噪声和背景噪声，以及对降噪后的三维OCT图像数据进行增强处理，从而提高图像的对比度或分辨率。
其中，降噪处理可以采用例如多帧平均方法；经典的高斯滤波、中值滤波、均值滤波方法；Lee滤波器、Kuan滤波器等空间自适应滤波方法；基于小波变换、维纳滤波等的频域滤波方法；各向异性扩散滤波器等基于扩散的滤波方法；基于散度正则化、贝叶斯估计等的统计学方法以及基于深度学习的降噪方法等方法中的一种或多种。具体地：
本实施中，采用一维均值滤波器在z轴方向对B-scan断层图像进行自适应空间滤波，该均值滤波器掩模尺寸为4个像素，使得随机噪音得以降低。为了消除散斑噪音，对B-scan断层图像的灰度进行归一化处理：设置一个灰度上界Ub和一个灰度下界Lb，使用以下灰度变换公式来降低散斑噪音：
式中，xN为变换后的灰度值，xR为变换前的灰度值。
增强处理可以采用自适应对比度增强、反卷积方法、基于压缩感知的稀疏重构方法和基于生成式对抗网络(Generative Adversarial Networks,GAN)的深度学习超分辨重建方法等方法中的一种或多种。具体地：
本实施例中，采用自适应对比度增强算法(ACE)对图像对比度进行增强。自适应对比度增强算法的核心原理是反锐化掩模技术(Unsharp mask)，反锐化掩模技术是指将图片通过低通滤波得到低频的反锐化掩模部分，再通过将原图与低频部分逐点相减得到高频部分。由于图像的细节往往包含在高频成分中，因此将高频成分乘以对比度增益(ContrastGain)再加上低频掩模成分所得到的合成图像就是图像增强的结果，即：
f(i，j)＝ml(i，j)+CG·mh(i，j)
式中，mh(i,j)表示高频成分，ml(i,j)表示低频成分，CG表示对比度增益。
自适应对比度增强算法与普通的线性锐化掩模技术的区别在于对比度增益CG的选取。线性锐化掩模技术往往采用固定的常数作为对比度增益系数。而自适应对比度增强算法的对比度增益CG的值为：
式中，D为全局标准差，σx(i,j)为原始三维OCT图像以x(i,j)为中心，尺寸为(2n+1)×(2n+1)的区域内的局部标准差。
特征提取单元3用于对高质量三维OCT图数据提取皮肤解剖学参数特征以及皮肤微血管参数特征。
皮肤解剖学参数特征的提取为：特征提取单元将高质量三维OCT图像数据进行分层处理以区分被检测皮肤区域的表皮层、角质层以及真皮层等结构，并确定表皮层上界线、角质层下界线以及真皮层-表皮层连接线(Dermis-Epidermis Junction,DEJ)的位置，基于上界线、下界线以及连接线的位置获取表皮层厚度参数、角质层厚度参数以及真皮层厚度等参数的一种或多种。
上述参数可以是局部平均厚度、全局平均厚度或者若干个包含三维数据中所有A-line中厚度参数的矩阵。可选地，为了提高B-scan图像信噪比，对分层后的高质量三维OCT图像根据皮肤表面分割线进行拉平处理，并使得拉平后的三维OCT图像数据具有统一的尺寸。
其中，分层处理可以采用包括但不限于基于梯度的边缘提取方法、基于深度学习的图像分割方法等。
在基于深度学习的图像分割方法中，可以采用包括但不限于U-net、U2-net等深度学习网络模型。本实施例中，采用U-net深度学习网络模型进行图像分层处理，U-net是一种全卷积网络(Fully Connected Network,FCN)，被广泛应用于图像分割。和其他神经网络相比，FCN网络只包含卷积层和池化层，卷积层相比于全连接层只反映卷积核内部的信息，因此它具有更少的参数。分层处理包括数据筛选、模型训练以及模型优化三个步骤。具体地：
数据筛选步骤：随机抽取20份样本数据的所有B-scan图像进行人工标注皮肤表面分割线及真皮层-表皮层分割线，其余样本作为测试集数据。
模型训练步骤：为了更好地利用三维OCT图像数据以提高训练效率，使用一种多方向的训练方式，即通过沿x轴和y轴两个方向分别衡量三维OCT的横截面图像来增加训练集的数据量。
模型优化步骤：采用adaptive momentum estimation(Adam)优化器。Adam是一个具有随机目标函数的基于梯度的优化器。
经过优化以后的U-net模型被用于预测B-scan测试集的皮肤表面分割线和真皮层-表皮层连接线。具体地：
对于每一个测试集数据，首先沿着y方向预测每个像素点属于皮肤组织的可能性，再沿着x方向重复这一过程，通过多方向的U-net网络，得到两个输出体数据，将这些体数据中的B-scan转化为无方向的图，权重由两个体数据分别决定。
其次，将体数据中的每一个像素点视为一个八连通的节点，使用迪杰斯特拉最短路径算法得到皮肤表面分割线和真皮层-表皮层连接线，根据整个三维OCT样本图像的分层情况，获取样本的平均表皮层厚度。
然后，对分层后的高质量三维OCT图像根据皮肤表面分割线进行拉平处理，并使得拉平后的三维OCT图像数据具有统一的尺寸。具体的拉伸方法为：将皮肤表面分割线表示成一系列垂直坐标：Y＝[Y1,Y2,...,Yn]，式中，n代表B-scan的宽度。归一化的图像由以下公式得到：
Imflatte(x，y)＝Imoriginal(x，y-Yx)
式中，Imflatte(x,y)表示拉伸后的图像像素，Imoriginal(x,y)表示原图像像素，Yx表示分割线在第x列的垂直坐标。
皮肤微血管参数特征的提取为：对连续的B-scan断层图像使用OCTA血管造影算法，得到皮肤各个分层的血管造影en-face图像，根据各个分层的血管造影en-face图像，分别获取血管密度、血管复杂度、血管管径、血管形态异常以及血管灌注面积等血管参数，其中，血管密度包括血管面积密度和血管骨架密度。具体地：
OCTA血管造影算法通过连续扫描以重复获得被检测皮肤区域相同位置的B-scan图像，通过分离光谱振幅去相关方法(SSADA)获取该位置皮肤横截面中的去相关信息，从而获得低信噪比的OCTA三维血管数据。
其中，血管参数的衡量方法可以是对获得的真皮层血管造影en-face图像进行边缘检测，从而获取单位面积内的血管数量。
深度学习诊断单元4用于提取高质量三维OCT图像数据的图像的深度特征，并将其与上述操作得到的两个参数特征进行融合，对获取的融合特征进行检测诊断从而获取与被检测皮肤区域对应的诊断结果。
深度学习诊断单元4为经过训练的深度学习诊断模型，该深度学习诊断模型包括包括深度特征提取网络、融合网络以及输出网络。
其中，深度特征提取网络为B-scan图像深度特征提取网络以及真皮层血管造影en-face图像深度特征提取网络中的一种或多种。该深度特征提取网络用于对输入的高质量三维OCT图像数据提取图像的深度特征。
融合网络用于对皮肤解剖学参数特征、皮肤微血管参数特征以及图像的深度特征采用向量拼接等方式进行特征融合获取融合特征数据。
输出网络根据融合特征数据获取被检测皮肤区域的皮肤患病信息，并将其作为诊断结果输出。
本实施例中，该深度学习诊断模型的训练过程如下：
首先，采集皮肤数据进行人工标注作为训练数据集，利用训练数据集对深度学习诊断模型进行训练。具体地：
人工标注为：由专业医生依据样本的苏木精-伊红染色病理组织学活检诊断结果对500份皮肤OCT体数据样本的皮肤病诊断信息进行标注。标注的内容包括健康状况或患有皮肤病的种类：健康、光化性角化病、鲍温病、黑色素瘤、细胞基底癌、鳞状细胞癌、阻塞性皮脂炎、粉刺、毛囊炎、脓皮病、光感性皮炎等。
训练数据集为：在经过标注的OCT体数据样本中遴选100个样本作为训练数据集，其中训练数据集的样本要求涵盖以上提到的所有皮肤性状。
利用训练数据集通过预处理以及特征提取得到的高质量B-scan图像、皮肤表皮层厚度信息、真皮层OCTA血管造影en-face图像以及血管信息作为输入对皮肤OCT图像的深度学习诊断模型进行训练。
然后，根据输出网络输出的诊断结果与训练数据集对应的实际皮肤患病信息的差异对深度学习诊断模型进行优化得到优化后的深度学习诊断模型(如图4所示)。
其中，深度学习诊断模型可以采用卷积神经网络，包括但不限于AlexNet、GoogleNet、VGG-19、VGG-16以及ResNet等。
图5是本发明实施例中利用基于光学相干层析成像的深度学习皮肤病诊断系统进行皮肤病诊断的流程图。
如图5所示，利用基于光学相干层析成像的深度学习皮肤病诊断系统进行皮肤病诊断包括以下步骤：
步骤S1，图像采集单元1对被检测皮肤区域基于光学相干层析成像获取并存储原始三维OCT图像数据；
步骤S2，图像预处理单元2对原始三维OCT图像数据进行预处理获取高质量三维OCT图像数据；
步骤S3，特征提取单元3基于高质量三维OCT图像数据提取皮肤解剖学参数特征以及皮肤微血管参数特征；
步骤S4，深度学习诊断单元4提取图像的深度特征，并将其与皮肤解剖学参数特征以及皮肤微血管参数特征的融合特征进行检测诊断从而获取与被检测皮肤区域对应的诊断结果。
其中，皮肤病诊断结果至少包括以下任意一种：
该皮肤区域有无皮肤病、患有何种皮肤病或患有某种皮肤病的概率、病灶区域、该种皮肤病的典型结构特征区域、是否属于皮肤癌以及是否属于可能诱发皮肤癌的癌前皮肤病。
利用上述深度学习诊断模型对预处理获得的高质量B-scan图像以及特征提取单元获得的皮肤解剖学参数特征、皮肤各层血管造影en-face图像、皮肤微血管参数特征等数据中的一种或多种进行特征提取、融合，最后将融合所得数据作为深度学习模型的输入，得到最终的皮肤病诊断结果。
<实施例二>
本实施例二与实施例一的不同点在于图像预处理单元4所采用的降噪处理方法以及增强处理方法。
为便于表述，在本实施例二中对于与实施例一相同的结构，赋予同样的符号并省略相同的说明。
在本实施例二中，降噪处理方法为：采用一种基于噪声对噪声(Noise2Noise,N2N)的无监督的深度学习降噪策略对原始三维OCT图像数据进行降噪。该降噪策略为采用训练优化好的深度神经网络模型进行降噪。具体地：
在本实施例二中，该深度神经网络模型的训练为：
首先，将带有噪声的B-scan图像作为输入，生成一幅预测的B-scan图像；然后，将预测的B-scan图像与相同部位采集到的另外一幅带有噪声的B-scan图像进行比较得到损失函数，最后使用损失值计算梯度并更新网络参数。
该深度神经网络模型的测试为：将带有噪声的测试集B-scan图像输入优化后的深度神经网络，得到最终的降噪后的B-scan图像。
在本实施例二中，增强处理方法为：使用基于GAN的深度学习方法或基于稀疏表示的字典学习方法对原始三维OCT图像数据进行超分辨率重构，从而增强皮肤的OCT图像的分辨率。
图6是本发明实施例中基于GAN的深度学习超分辨重构模型的训练过程示意图，图7是本发明实施例中的生成器与判别器示意图。
如图6及图7所示，高分辨率OCT图像基于图像采集单元1能够采集到的采样率最大的样本数据，训练集所用低分辨率OCT图像由上述高分辨率OCT图像下采样获得。其中，低分辨率OCT图像通过生成器网络得到预测的高分辨率OCT图像，判别器通过比较预测的高分辨OCT图像与实际的高分辨率OCT图像为生成器网络的性能提供反馈。
实施例作用与效果
根据本实施例提供的基于光学相干层析成像的深度学习皮肤病诊断系统，首先由于图像采集单元采用OCT成像系统对被检测皮肤区域进行三维的OCT图像成像，因此实现了非侵入地汲取皮肤深层信息数据；其次由于通过图像预处理单元对原始三维OCT图像进行降噪和增强的预处理，因此消除了OCT成像固有的斑点噪声问题以及低采样率的限制问题，从而提高了三维OCT图像的对比度和分辨率；然后由特征提取单元基于预处理后的OCT图像提取皮肤解剖学参数特征以及皮肤微血管参数特征，经由深度学习诊断单元的深度学习诊断模型提取图像的深度特征，并将其与上述两个参数特征进行特征融合，从而检测确定被检测皮肤区域的皮肤患病信息。
本实施例的基于光学相干层析成像的深度学习皮肤病诊断系统利用皮肤光学相干层析成像和深度学习的方法提供了一种非侵入地汲取皮肤深层信息的辅助诊断系统，从而提高皮肤病诊断结果的准确性，并降低皮肤病诊断对医生诊断经验和水平的依赖，在无需病理活检的情况下使得潜在的皮肤疾病能够被及早被发现确诊和治疗。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
在上述实施例中，对原始三维OCT图像数据进行降噪和增强处理的方式为采用三维处理方法对样本数据进行整体降噪和增强处理，在本发明的其他方案中，该降噪处理以及增强处理还可以是对原始三维OCT图像数据中的每一幅B-scan图像逐帧进行二维处理。

Claims (6)

1.一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于，包括：
图像采集单元、图像预处理单元、特征提取单元以及深度学习诊断单元；
所述图像采集单元对被检测皮肤区域基于光学相干层析成像获取并存储原始三维OCT图像数据，
所述图像预处理单元对所述原始三维OCT图像数据进行预处理获取高质量三维OCT图像数据，
所述特征提取单元基于所述高质量三维OCT图像数据提取皮肤解剖学参数特征以及皮肤微血管参数特征，
所述深度学习诊断单元提取所述高质量三维OCT图像数据的图像的深度特征，并将其与所述皮肤解剖学参数特征以及所述皮肤微血管参数特征的融合特征进行检测诊断从而获取与所述被检测皮肤区域对应的诊断结果，
所述皮肤解剖学参数特征的提取为：
所述特征提取单元将所述高质量三维OCT图像数据进行分层处理以区分所述被检测皮肤区域的表皮层、角质层以及真皮层，并确定表皮层上界线、角质层下界线以及真皮层-表皮层连接线的位置，
基于所述上界线、所述下界线以及所述连接线的位置获取表皮层厚度参数、角质层厚度参数以及真皮层厚度参数，
所述皮肤微血管参数特征的提取为：
使用OCTA血管造影算法，得到皮肤各个分层的血管造影图像，
根据各个分层的所述血管造影图像，分别获取血管参数，
所述血管参数包括血管密度、血管复杂度、血管管径、血管形态异常以及血管灌注面积，
所述血管密度包括血管面积密度和血管骨架密度，
所述深度学习诊断单元为经过训练的深度学习诊断模型，该深度学习诊断模型包括深度特征提取网络、融合网络以及输出网络，
所述深度特征提取网络用于将所述高质量三维OCT图像数据作为输入，获取对应的图像的深度特征，
所述融合网络用于对所述皮肤解剖学参数特征、所述皮肤微血管参数特征以及所述图像的深度特征进行融合获取融合特征数据，
所述输出网络根据所述融合特征数据获取所述被检测皮肤区域的皮肤患病信息，并将其作为所述诊断结果输出。
2.根据权利要求1所述的一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于：
其中，所述图像采集单元具有FD-OCT成像装置，
所述原始三维OCT图像数据为沿y轴方向堆叠的B-scan断层图像以及沿z轴方向堆叠的en-face图像中的任意一种。
3.根据权利要求1所述的一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于：
其中，所述训练为：
采集皮肤数据进行人工标注作为训练数据集，利用所述训练数据集对所述深度学习诊断模型进行训练，
根据所述输出网络输出的诊断结果与所述训练数据集对应的实际皮肤患病信息的差异对所述深度学习诊断模型进行优化。
4.根据权利要求1所述的一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于：
其中，所述预处理为对所述原始三维OCT图像数据进行降噪处理，并对降噪后的三维OCT图像数据进行增强处理。
5.根据权利要求4所述的一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于：
其中，所述降噪处理为多帧平均方法、滤波法、基于散度正则化、贝叶斯估计的统计学方法以及基于深度学习的降噪方法中的任意一种，
所述增强处理为自适应对比度增强、反卷积方法、基于压缩感知的稀疏重构方法以及基于生成式对抗网络的深度学习超分辨重建方法中的任意一种。
6.根据权利要求4所述的一种基于光学相干层析成像的深度学习皮肤病诊断系统，其特征在于：
其中，所述预处理还可以是对所述原始三维OCT图像数据逐帧进行二维处理。
CN202111528116.9A 2021-12-14 2021-12-14 一种基于光学相干层析成像的深度学习皮肤病诊断系统 Active CN114209278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111528116.9A CN114209278B (zh) 2021-12-14 2021-12-14 一种基于光学相干层析成像的深度学习皮肤病诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111528116.9A CN114209278B (zh) 2021-12-14 2021-12-14 一种基于光学相干层析成像的深度学习皮肤病诊断系统

Publications (2)

Publication Number Publication Date
CN114209278A CN114209278A (zh) 2022-03-22
CN114209278B true CN114209278B (zh) 2023-08-25

Family

ID=80701910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111528116.9A Active CN114209278B (zh) 2021-12-14 2021-12-14 一种基于光学相干层析成像的深度学习皮肤病诊断系统

Country Status (1)

Country Link
CN (1) CN114209278B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984188B (zh) * 2022-12-09 2023-11-24 脉得智能科技(无锡)有限公司 皮肤病多病种超声图像识别方法、识别设备、存储介质
CN116725492B (zh) * 2023-07-11 2023-12-12 江苏金视传奇科技有限公司 一种基于光学相干层析成像的血管成像方法及其系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107307848A (zh) * 2017-05-27 2017-11-03 天津海仁医疗技术有限公司 一种基于高速大范围扫描光学微造影成像的人脸识别及皮肤检测系统
CN109310337A (zh) * 2016-06-20 2019-02-05 公立大学法人大阪市立大学 皮肤诊断装置、皮肤状态输出方法、程序、以及记录介质
CN109389568A (zh) * 2018-10-25 2019-02-26 中国科学院上海光学精密机械研究所 自动测量皮肤光学相干层析图像中表皮厚度的方法
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
WO2020023527A1 (en) * 2018-07-24 2020-01-30 The Board Of Trustees Of The University Of Illinois Compact Briefcase OCT System for Point-of-Care Imaging
CN111493853A (zh) * 2020-04-24 2020-08-07 天津恒宇医疗科技有限公司 一种针对血管性皮肤病的血管参数评价方法及系统
JP2020163100A (ja) * 2019-03-11 2020-10-08 キヤノン株式会社 画像処理装置および画像処理方法
CN112085830A (zh) * 2019-06-14 2020-12-15 北京大学 一种基于机器学习的光学相干血管造影成像方法
CN112924389A (zh) * 2021-01-26 2021-06-08 深圳大学 基于光声和光学相干层析技术的多模态成像系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180242844A1 (en) * 2015-08-07 2018-08-30 Northwestern University Systems and methods for functional optical coherence tomography
WO2018005316A1 (en) * 2016-07-01 2018-01-04 Bostel Technologies, Llc Phonodermoscopy, a medical device system and method for skin diagnosis
CA3103538A1 (en) * 2018-06-11 2019-12-19 Socovar, Societe En Commandite System and method for determining coronal artery tissue type based on an oct image and using trained engines

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109310337A (zh) * 2016-06-20 2019-02-05 公立大学法人大阪市立大学 皮肤诊断装置、皮肤状态输出方法、程序、以及记录介质
CN107307848A (zh) * 2017-05-27 2017-11-03 天津海仁医疗技术有限公司 一种基于高速大范围扫描光学微造影成像的人脸识别及皮肤检测系统
WO2020023527A1 (en) * 2018-07-24 2020-01-30 The Board Of Trustees Of The University Of Illinois Compact Briefcase OCT System for Point-of-Care Imaging
CN109389568A (zh) * 2018-10-25 2019-02-26 中国科学院上海光学精密机械研究所 自动测量皮肤光学相干层析图像中表皮厚度的方法
JP2020163100A (ja) * 2019-03-11 2020-10-08 キヤノン株式会社 画像処理装置および画像処理方法
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法
CN112085830A (zh) * 2019-06-14 2020-12-15 北京大学 一种基于机器学习的光学相干血管造影成像方法
CN111493853A (zh) * 2020-04-24 2020-08-07 天津恒宇医疗科技有限公司 一种针对血管性皮肤病的血管参数评价方法及系统
CN112924389A (zh) * 2021-01-26 2021-06-08 深圳大学 基于光声和光学相干层析技术的多模态成像系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的OCT医学图像研究进展;杨德圆;方玉宏;龚玮;谢树森;;中国激光医学杂志(第01期);全文 *

Also Published As

Publication number Publication date
CN114209278A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
Aguirre et al. Precision assessment of label-free psoriasis biomarkers with ultra-broadband optoacoustic mesoscopy
Das et al. Unsupervised super-resolution of OCT images using generative adversarial network for improved age-related macular degeneration diagnosis
Tian et al. Deep learning in biomedical optics
CN114209278B (zh) 一种基于光学相干层析成像的深度学习皮肤病诊断系统
US20090192358A1 (en) Systems, processes and computer-accessible medium for providing hybrid flourescence and optical coherence tomography imaging
CN107862724B (zh) 一种改进的微血管血流成像方法
JP2022549190A (ja) 機械学習及びその結果の使用を含む人工知能コレジストレーション並びにマーカ検出
CN111667447A (zh) 血管内图像融合方法、系统及图像采集装置
Ly et al. Full-view in vivo skin and blood vessels profile segmentation in photoacoustic imaging based on deep learning
JP2019209136A (ja) 情報処理装置、情報処理方法及びプログラム
Ma et al. Quantitative and anatomical imaging of dermal angiopathy by noninvasive photoacoustic microscopic biopsy
Yuan et al. Image enhancement of wide-field retinal optical coherence tomography angiography by super-resolution angiogram reconstruction generative adversarial network
Liu et al. Real-time deep learning assisted skin layer delineation in dermal optical coherence tomography
CN113017593A (zh) 血流信号强度分层滤波的血管尾部伪影去除方法与系统
WO2019230643A1 (ja) 情報処理装置、情報処理方法及びプログラム
Turani et al. Optical radiomic signatures derived from OCT images to improve identification of melanoma
US20230200930A1 (en) Intelligent Surgical Marker
An et al. Application of machine learning method in optical molecular imaging: a review
Dhinagar et al. Early diagnosis and predictive monitoring of skin diseases
Haq et al. Convolutional autoencoder-based reconstruction of vascular structures in photoacoustic images
Fang et al. Toward image quality assessment in optical coherence tomography (OCT) of rat kidney
Luo et al. Classification of gastric cancerous tissues by a residual network based on optical coherence tomography images
Wang et al. Quantitative classification of melasma with photoacoustic microscopy: a pilot study
Wei et al. Deep Learning-powered biomedical photoacoustic imaging
Salehi et al. Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant