CN117770770A - 一种基于人工智能的高解析度双模态皮肤测量分析装置及方法 - Google Patents
一种基于人工智能的高解析度双模态皮肤测量分析装置及方法 Download PDFInfo
- Publication number
- CN117770770A CN117770770A CN202410173752.1A CN202410173752A CN117770770A CN 117770770 A CN117770770 A CN 117770770A CN 202410173752 A CN202410173752 A CN 202410173752A CN 117770770 A CN117770770 A CN 117770770A
- Authority
- CN
- China
- Prior art keywords
- lens
- oct
- rcm
- waveguide
- optical element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004458 analytical method Methods 0.000 title claims abstract description 31
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 25
- 238000005259 measurement Methods 0.000 title claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 163
- 238000003384 imaging method Methods 0.000 claims abstract description 157
- 239000000523 sample Substances 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000010287 polarization Effects 0.000 claims description 52
- 239000013307 optical fiber Substances 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 239000000835 fiber Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000012634 optical imaging Methods 0.000 abstract description 3
- 238000012014 optical coherence tomography Methods 0.000 description 89
- 230000006870 function Effects 0.000 description 38
- 210000003491 skin Anatomy 0.000 description 22
- 238000012549 training Methods 0.000 description 15
- 238000011176 pooling Methods 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004624 confocal microscopy Methods 0.000 description 2
- 210000004207 dermis Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 201000000849 skin cancer Diseases 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- 231100000444 skin lesion Toxicity 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000003445 Mouth Neoplasms Diseases 0.000 description 1
- 208000009077 Pigmented Nevus Diseases 0.000 description 1
- 201000004681 Psoriasis Diseases 0.000 description 1
- 206010039796 Seborrhoeic keratosis Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 206010047642 Vitiligo Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 206010004398 benign neoplasm of skin Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003779 hair growth Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 201000003385 seborrheic keratosis Diseases 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000037380 skin damage Effects 0.000 description 1
- 201000010153 skin papilloma Diseases 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000434 stratum corneum Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于人工智能的高解析度双模态皮肤测量分析装置及方法，涉及光学成像技术领域。包括：成像探头(44)、RCM成像装置(42)、OCT成像装置(43)和系统控制与数据处理装置(56)；成像探头(44)分别与RCM成像装置(42)、OCT成像装置(43)光路连接，RCM成像装置(42)、OCT成像装置(43)分别与系统控制与数据处理装置(56)电气连接；本发明有助于实现对生物组织的实时、无创和三维定量评估，仅使用一个成像探头用于RCM和OCT模式，且RCM光与OCT光可以共享至少一部分成像路径。
Description
技术领域
本发明涉及光学成像技术领域，尤其涉及一种基于人工智能的高解析度双模态皮肤测量分析装置及方法。
背景技术
生物组织的成像有助于皮肤癌、口腔癌、皮肤或口腔烧伤的诊断。近年来，光学成像技术，如反射共聚焦显微镜(Reflectance Confocal Microscopy,RCM)和光学相干断层扫描(Optical Coherence Tomography,OCT)，使皮肤病变，特别是无创评估受益。
RCM可以显示生物组织表皮的细节，还可以显示生物组织上表皮中微毛细血管的血流情况。RCM成像提供约3微米的光学切片和0.5至1.0微米的横向分辨率，皮肤成像深度可达300微米。RCM可以实现非侵入性筛查和诊断癌症或烧伤，同时最大限度地减少活检的需要。
OCT是一种可以提供横截面图像的成像方法，其可以显示深层的组织形态，并且可以用于可视化人体皮肤中的表皮和真皮层。其每一层都具有不同的双折射特性，并在偏振敏感的OCT(Polarization Sensitive OCT,PS-OCT)图像中表现出差异。PS-OCT图像可以帮助评估真皮中胶原蛋白的完整性和组织形态。OCT图像可以帮助确定癌症的深度扩散或烧伤损伤的深度。OCT成像深度至少为1.5mm，但OCT具有较粗的尺度分辨率，光学切片分辨率为5至10微米，通常不提供足够的分辨率来解析亚细胞细节和诊断早期癌症。
综上，RCM可提供亚微米尺度的分辨率，从而能够识别皮肤的形态变化，但其缺点是穿透深度有限，仅使用RCM很难评估癌症或烧伤的扩散深度，而对同一病变进行OCT成像的好处是可以更好地分辨其浸润深度。RCM和OCT相互补充，当与同一仪器一起使用时，可以帮助提高BCC的诊断。
同时，借助人工智能算法分析，还能实现许多其它功能，例如皮肤科常见病的诊断和鉴别：如鉴别脂溢性角化病、扁平疣和汗管瘤等；鉴别良恶性皮肤肿瘤：如色素痣和黑素瘤等；界定皮损边界：指导手术切除皮损；监测疾病发生发展过程：如监测银屑病发展过程中皮肤微循环状态的改变等；检测治疗效果：如对白癫风治疗过程中色素生成情况的监测等；对皮肤生理状态的监测：如测量皮肤表皮层和角质层厚度、检测毛发生长情况等；对药物吸收的监测：监测皮肤外用药物在皮肤内的分布等。
因此，如何提供一种基于人工智能的高解析度双模态皮肤测量分析装置及方法，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于人工智能的高解析度双模态皮肤测量分析装置及方法，有助于解决现有技术中存在的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于人工智能的高解析度双模态皮肤测量分析装置，包括成像探头、RCM成像装置、OCT成像装置和系统控制与数据处理装置；成像探头分别与RCM成像装置、OCT成像装置光路连接，RCM成像装置、OCT成像装置分别与系统控制与数据处理装置电气连接；
成像探头用于探测待测样本；
RCM成像装置用于提供第一入射光束至成像探头，并接收从成像探头返回的第一返回光束进行RCM成像；
OCT成像装置用于提供第二入射光束至成像探头，并接收从成像探头返回的第二返回光束进行OCT成像；
系统控制与数据处理装置用于RCM图像和OCT图像的接收、分析、处理和显示。
上述的装置，可选的，成像探头中，从上到下依次设置有待测样本、第一光学元件、第三光学元件；第三光学元件并列平行设置第二光学元件；
第一光学元件用于调整第一入射光束或第二入射光束的焦点，将第一入射光束或第二入射光束射向待测样本，并将第一返回光束或第二返回光束返回至第三光学元件的第一表面；
第三光学元件的第一表面朝向待测样本，用于反射由RCM成像装置产生的第一入射光束；第三光学元件的第二表面朝向OCT成像装置用于使OCT成像装置产生的第二入射光束通过第三光学元件；
第三光学元件的第一表面还用于反射从待测样本返回的第一返回光束，并将从待测样本返回的第一返回光束导向第二光学元件的第一表面；第三光学元件的第一表面还用于使从待测样本返回的第二返回光束通过，将第二返回光束导向OCT成像装置；
第二光学元件的第一表面用于将RCM成像装置产生的第一入射光束导向第三光学元件的第一表面；第二光学元件的第一表面还用于将从第三光学元件的第一表面返回的第一返回光束导向RCM成像装置。
上述的装置，可选的，RCM成像装置从下至上依次设置RCM光源、准直透镜、第一偏振器、分束器和第一光学扫描器；第一光学扫描器的一侧依次设置有第一透镜、第二透镜和第二光学扫描器；第二光学扫描器上方依次设置有第三透镜和第四透镜；在分束器的与第一透镜对应一侧依次设置有第二偏振器、第五透镜和检测器；
RCM光源用于发射第一入射光束至准直透镜；
准直透镜用于将第一入射光束准直化并导向第一偏振器；
第一偏振器用于将第一入射光束的线性偏振分量导向分束器；
分束器用于将第一入射光束分开，使得一部分光束被导向第一光学扫描器；
第一光学扫描器用于扫描第一入射光束，通过包含第一透镜、第二透镜的路径将第一入射光束导向第二光学扫描器；
第一透镜、第二透镜用于将第一光学扫描器与第二光学扫描器进行光学耦合；
第二光学扫描器用于将第一入射光束扫描成与线性扫描垂直的方向；通过包括第三透镜、第四透镜的路径将第一入射光束导向成像探头；
第三透镜、第四透镜用于将第二光学扫描器与成像探头中的第二光学元件进行耦合；
第二光学扫描器还用于接收通过第四透镜、第三透镜的第一返回光束，并对第一返回光束进行解扫描，通过第二透镜、第一透镜将第一返回光束导向第一光学扫描器；
第一光学扫描器还用于对第一返回光束进行解扫描，并将第一返回光束导向分束器；
分束器还用于将至少一部分第一返回光束导向第二偏振器；
第二偏振器用于将一定偏振状态的光通过第五透镜；
第五透镜用于传播第一返回光束至检测器；
检测器用于输出检测器上多个位置的返回光对应的第一电信号，表示待测样本的RCM图像，第一电信号通过第一电气连接传输至系统控制与数据处理装置的第一帧抓取器。
上述的装置，可选的，OCT成像装置设置有OCT光源、光纤干涉仪、双光谱仪和OCT扫描器；
OCT光源用于产生第二入射光束；
光纤干涉仪用于接收和引导第二入射光束；
OCT扫描器用于将第二入射光束导向成像探头中第三光学元件的第二表面；
双光谱仪用于接收来自待测样本的正交偏振状态的第二返回光束，输出指示待测样本的OCT图像，记为第二电信号，第二电信号通过第二电气连接传输至系统控制与数据处理装置的实时数字信号处理板。
上述的装置，可选的，光纤干涉仪包括照明光路、样本光路、参考光路和检测光路；
照明光路包括依次连接的第一波导、相位调制器、第一偏振控制器、第二波导和10/90分路器；
样本光路包括依次连接的第三波导、第一循环器和第四波导；第一循环器与10/90分路器之间通过第三波导连接；
参考光路包括依次连接的第五波导、第二循环器、第六波导、第二偏振控制器、第六透镜和反射镜；第二循环器与10/90分路器之间通过第五波导连接；反射镜位于平移台上；
检测光路包括依次连接的第七波导、50/50偏振敏感光纤组合器、第八波导；第一循环器与50/50偏振敏感光纤组合器通过第七波导连接，第二循环器与50/50偏振敏感光纤组合器通过第八波导连接；检测光路还包括第九波导、第十波导；第九波导、第十波导并行连接50/50偏振敏感光纤组合器与双光谱仪。
上述的装置，可选的，系统控制与数据处理装置包括通信连接的实时数字信号处理板与计算机和通信连接的计算机与显示器；
计算机包括依次设置的第一帧抓取器、第二帧抓取器和数据采集板；
第一帧抓取器用于接收RCM成像装置输出的第一电信号，并数字化生成待测样本的RCM图像；
实时数字信号处理板用于接收并处理来自OCT成像装置的第二电信号，并通过电气连接输出至第二帧抓取器；
第二帧抓取器用于数字化第二电信号生成待测样本的OCT图像。
上述的装置，可选的，系统控制与数据处理装置中集成了人工智能算法，用于进一步处理分析RCM图像和OCT图像，包括去噪、分割、3D分割。
一种基于人工智能的高解析度双模态皮肤测量分析方法，应用于上述任一项所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，包括以下步骤：
S1、选择设备工作模式；
S2、打开光源；
S3、采集图像；
S4、人工智能分析图像。
上述的方法，可选的，设备工作模式包括仅使用RCM、仅使用OCT和同时使用RCM和OCT。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于人工智能的高解析度双模态皮肤测量分析装置及方法，具有以下有益效果：本发明保持了RCM和OCT技术的成像能力，结合了两种技术各自的优势，在RCM模式下充分利用了成像物镜的数值孔径NA，而在OCT模式下未充分利用NA，这样既能提供亚微米尺度的高分辨率，又能实现更深的成像深度；仅使用一个成像探头用于RCM和OCT模式；RCM光与OCT光可以共享至少一部分成像路径；成像物镜可在两个不同波长(例如在830nm和1310nm)处成像；可同时实时显示RCM和OCT图像；借助人工智能算法分析，可以更可靠地实现皮肤科常见病的诊断和鉴别，还可以实现对生物组织的实时、无创和三维定量评估。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明公开的一种基于人工智能的高解析度双模态皮肤测量分析装置结构图；
图2为本发明公开的一种基于人工智能的高解析度双模态皮肤测量分析方法流程图；
图3是本发明实施例公开的DeblurGAN网络框架图；
图4是本发明实施例公开的Segnet深度神经网络结构图；
图5是本发明实施例公开的池化索引与上采样示意图；
图6是本发明实施例公开的基于改进的3D U-Net网络结构图；
图7是本发明实施例公开的Net1四级3D U-Net结构图；
图8是本发明实施例公开的Net2的网络结构图；
图9是本发明实施例公开的编解码路径的残差结构图；
图10是本发明的实施例公开的瓶颈结构图；
其中，1-待测样本、2-第一光学元件、3-第二光学元件、4-第三光学元件、3A-第二光学元件的第一表面、4A-第三光学元件的第一表面、4B-第三光学元件的第二表面、8-第四透镜、9-第三透镜、10-第二光学扫描器、11-第二透镜、12-第一透镜、13-第一光学扫描器、14-分束器、15-第一偏振器、16-准直透镜、17-RCM光源、18-第二偏振器、19-第五透镜、20-检测器、21-第一电气连接、22-OCT光源、23-相位调制器、24-第一偏振控制器、25-10/90分路器、26-第一循环器、27-50/50偏振敏感光纤组合器、28-第二循环器、29-第二偏振控制器、30-平移台、31-第六透镜、32-反射镜、33-双光谱仪、34-OCT扫描器、35-第二电气连接、36-计算机、37-显示器、38-实时数字信号处理板、39-第一帧抓取器、40-第二帧抓取器、41-数据采集板、42-RCM成像装置、43-OCT成像装置、44-成像探头、45-第五波导、46-第三波导、47-第七波导、48-第八波导、49-第四波导、50-第六波导、51-第九波导、52-第十波导、53-第一波导、54-第二波导、55-第三电气连接、56-系统控制与数据处理装置、57-光纤干涉仪。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
参照图1所示，本发明公开了一种基于人工智能的高解析度双模态皮肤测量分析装置，包括成像探头44、RCM成像装置42、OCT成像装置43和系统控制与数据处理装置56；成像探头44分别与RCM成像装置42、OCT成像装置43光路连接，RCM成像装置42、OCT成像装置43分别与系统控制与数据处理装置56电气连接；
成像探头44用于探测待测样本1；
RCM成像装置42用于提供第一入射光束至成像探头44，并接收从成像探头44返回的第一返回光束进行RCM成像；
OCT成像装置43用于提供第二入射光束至成像探头44，并接收从成像探头44返回的第二返回光束进行OCT成像；
系统控制与数据处理装置56用于数据接收、分析、处理和显示。
进一步的，成像探头44中，从上到下依次设置有待测样本1、第一光学元件2、第三光学元件4；第三光学元件4并列平行设置第二光学元件3；
第一光学元件2用于调整第一入射光束或第二入射光束的焦点，将第一入射光束或第二入射光束射向待测样本1，并将第一返回光束或第二返回光束返回至第三光学元件的第一表面4A；
第三光学元件4为分色镜，第三光学元件的第一表面4A朝向待测样本1，用于反射由RCM成像装置42产生的第一入射光束；第三光学元件的第二表面4B朝向OCT成像装置43，用于使OCT成像装置43产生的第二入射光束通过第三光学元件与第一入射光束共享至少一部分成像路径；
第三光学元件的第一表面4A还用于反射从待测样本1返回的第一返回光束，并将从待测样本1返回的第一返回光束导向第二光学元件的第一表面3A；第三光学元件的第一表面4A还用于使从待测样本1返回的第二返回光束通过，将第二返回光束导向OCT成像装置43；
第二光学元件3为分色镜，第二光学元件的第一表面3A用于将RCM成像装置42产生的第一入射光束导向第三光学元件的第一表面4A；第二光学元件的第一表面3A还用于将从第三光学元件的第一表面4A返回的第一返回光束导向RCM成像装置42。
具体的，RCM成像装置42为执行RCM成像，提供第一束光给成像探头44。第一束光照射到第二光学元件的第一表面3A上。第二光学元件3将第一束光反射至第三光学元件的第一表面4A上。第三光学元件4将第一束光反射至第一光学元件2，该第一光学元件2调整入射RCM光的焦点。第一束光穿过第一光学元件2射向要成像的待测样本1(例如生物组织)。RCM成像装置42通过第二光学元件3、第三光学元件4沿着待测样本1对第一束光进行扫描。待测样本1反射、吸收、后向散射第一束光。部分反射和后向散射的光返回至RCM成像装置42。第一返回光通过第一光学元件2射向第三光学元件的第一表面4A。第三光学元件4将第一返回光反射至第二光学元件的第一表面3A上。第二光学元件3将第一返回光反射至RCM成像装置42。RCM成像装置42对第一返回光进行解扫描并检测待测样本1的图像。RCM成像装置42通过第一电气连接21输出指示RCM图像的第一信号，供系统控制与数据处理装置56进行数据采集、处理及显示。
进一步的，RCM成像装置42从下至上依次设置RCM光源17、准直透镜16、第一偏振器15、分束器14和第一光学扫描器13；第一光学扫描器13的一侧依次设置有第一透镜12、第二透镜11和第二光学扫描器10；第二光学扫描器10上方依次设置有第三透镜9和第四透镜8；分束器14的一侧依次设置有第二偏振器18、第五透镜19和检测器20；
RCM光源17用于发射第一入射光束至准直透镜16；
准直透镜16用于将第一入射光束准直化并导向第一偏振器15；
第一偏振器15用于将第一入射光束的线性偏振分量导向分束器14；
分束器14用于将第一入射光束分开，使得至少一部分光束被导向第一光学扫描器13；
第一光学扫描器13用于扫描第一入射光束，通过包含第一透镜12、第二透镜11的路径将第一入射光束导向第二光学扫描器10；
第一透镜12、第二透镜11用于将第一光学扫描器13与第二光学扫描器10进行光学耦合；
第二光学扫描器10用于将第一入射光束扫描成与线性扫描垂直的方向；通过包括第三透镜9、第四透镜8的路径将第一入射光束导向成像探头44；
第三透镜9、第四透镜8用于将第二光学扫描器10与成像探头44中的第二光学元件3进行耦合；
第二光学扫描器10还用于接收通过第四透镜8、第三透镜9的第一返回光束，并对第一返回光束进行解扫描，通过第二透镜11、第一透镜12将第一返回光束导向第一光学扫描器13；
第一光学扫描器13还用于对第一返回光束进行解扫描，并将第一返回光束导向分束器14；
分束器14还用于将至少一部分第一返回光束导向第二偏振器18；
第二偏振器18用于将一定偏振状态的光通过第五透镜19；
第五透镜19用于传播第一返回光束至检测器20；
检测器20用于输出检测器20上多个位置的返回光对应的第一电信号，表示待测样本1的RCM图像，第一电信号通过第一电气连接21传输至系统控制与数据处理装置56的第一帧抓取器39。
进一步的，OCT成像装置43设置有OCT光源22、光纤干涉仪57、双光谱仪33和OCT扫描器34；
OCT光源22用于产生第二入射光束；
光纤干涉仪57用于接收和引导第二入射光束；
OCT扫描器34用于将第二入射光束导向成像探头44中第三光学元件的第二表面4B；
双光谱仪33用于接收来自待测样本1的正交偏振状态的第二返回光束，输出指示待测样本1的OCT图像，记为第二电信号，第二电信号通过第二电气连接35传输至系统控制与数据处理装置56的实时数字信号处理板38。
具体的，OCT成像装置43为成像探头44提供第二入射光束。第二入射光束照射到第三光学元件的第二表面4B上，并通过第三光学元件4穿过第一光学元件2。第二入射光束朝向待测样本1传播。第二入射光束撞击到待测样本1上。第二入射光束可以与第一入射光束共享部分成像路径。待测样本1反射、吸收、后向散射第二入射光束。部分反射和后向散射的光返回至OCT成像装置43。第二返回光通过第一光学元件2射向第三光学元件的第一表面4A。第二返回光穿过第三光学元件4。第二返回光重新进入OCT成像装置43。OCT成像装置43检测待测样本1的图像。OCT成像装置43通过第二电气连接35向系统控制与数据处理装置56输出指示OCT图像的第二信号，以进行数据采集、处理、显示。OCT光可以与RCM光共享一部分成像路径(包含第一光学元件2、第三光学元件4)。在一些实施例中，第二光学元件3是一面镜子。在一些实施例中，第三光学元件4是一面二向色镜。在一些实施例中，第一光学元件2是一个调节其上入射光的焦点的成像物镜。在一些实施例中，第一光学元件2是一组透镜。在一些实施例中，RCM成像装置42是标准共聚焦显微镜，以反射模式工作。在一些实施例中，OCT成像装置43是PS-OCT成像装置。在一些实施例中，OCT成像装置43是标准光谱仪或基于扫频源的OCT仪器。
进一步的，光纤干涉仪57包括照明光路、样本光路、参考光路和检测光路；
照明光路包括依次连接的第一波导53、相位调制器23、第一偏振控制器24、第二波导54和10/90分路器25；
样本光路包括依次连接的第三波导46、第一循环器26和第四波导49；第一循环器26与10/90分路器25之间通过第三波导46连接；
参考光路包括依次连接的第五波导45、第二循环器28、第六波导50、第二偏振控制器29、第六透镜31和反射镜32；第二循环器28与10/90分路器25之间通过第五波导45连接；反射镜32位于平移台30上；
检测光路包括依次连接的第七波导47、50/50偏振敏感光纤组合器27、第八波导48；第一循环器26与50/50偏振敏感光纤组合器27通过第七波导47连接，第二循环器28与50/50偏振敏感光纤组合器27通过第八波导48连接；检测光路还包括第九波导51、第十波导52；第九波导51、第十波导52并行连接50/50偏振敏感光纤组合器27与双光谱仪33。
具体的，在一些实施例中，成像探头44在OCT模式下避免使用二向色镜进行反射，因为二向色镜可能会引起光的严重散射，降低OCT图像质量。在一些实施例中，第一光学元件2进一步包含一层涂层，该涂层允许波长在约800纳米至1400纳米之间的光束通过。在一些实施例中，第一光学元件2的数值孔径(NA)在RCM模式中被充分利用，以实现高分辨率成像。在一些实施例中，第一光学元件2的数值孔径在OCT模式下未被充分利用，以实现大于约一毫米的成像深度。在一些实施例中，第一光学元件2的数值孔径约为0.8-1.0。
具体的，RCM成像装置42包含RCM光源17，RCM光源17提供一束光到准直透镜16。准直透镜16将光束准直化并导向第一偏振器15。第一偏振器15将光束的线性偏振分量导向分束器14。分束器14将光束分开，使得至少一部分光束被导向第一光学扫描器13。第一光学扫描器13扫描光束(例如，生成高速线扫描)。第一光学扫描器13通过包含第一透镜12、第二透镜11的路径将光束导向第二光学扫描器10。第一透镜12、第二透镜11将第一光学扫描器13与第二光学扫描器10进行光学耦合。第二光学扫描器10将光束扫描成与线性扫描垂直的方向(例如，生成低速光栅扫描)。第二光学扫描器10通过包括第三透镜9、第四透镜8的路径将光束导向成像探头44，第三透镜9、第四透镜8将第二光学扫描器10与成像探头44中的第二光学元件3进行光学耦合。
具体的，从成像探头44返回的光向RCM成像装置42传播。返回的光通过第四透镜8、第三透镜9传播到第二光学扫描器10。第二光学扫描器10对返回的光进行解扫描。第二光学扫描器10通过第二透镜11、第一透镜12将返回的光导向第一光学扫描器13。第一光学扫描器13对返回的光进行解扫描。第一光学扫描器13将返回的光导向分束器14。分束器14将至少一部分返回的光导向第二偏振器18，第二偏振器18允许一定偏振状态的光通过第五透镜19。返回的光通过第五透镜19传播并射在检测器20上。检测器20输出与检测器20上的多个位置的返回光相对应的第一电信号。第一电信号可以表示样本的RCM图像。第一电信号通过第一电气连接21传输到系统控制与数据处理装置56。
在一些实施例中，RCM光源17是一个830纳米的激光源。在一些实施例中，第一光学扫描器13是一个线扫描器。在一些实施例中，第二光学扫描器10是一个低速光栅扫描器。在一些实施例中，检测器20是一个雪崩光电探测器。
具体的，OCT光源22通过第一波导53将一束光导向相位调制器23。相位调制器23调制光束的相位，并将光束导向第一偏振控制器24。第一偏振控制器24调整光束的偏振状态，并通过第二波导54将光束导向10/90分路器25。10/90分路器25将光束分开，并将一部分光束导向样本光路，另一部分光束导向参考光路。进入样本光路的光通过第三波导46、第一循环器26进行传输。光从第一循环器26通过第四波导49导向OCT扫描器34。OCT扫描器34将光导向成像探头44。从成像探头44返回的光通过第四波导49导向第一循环器26。第一循环器26通过第七波导47将返回的光导向50/50偏振敏感光纤组合器27。进入参考光路的光通过第五波导45导向第二循环器28。第二循环器28通过第六波导50将光导向第二偏振控制器29。第二偏振控制器29对光进行偏振化，并将光导向第六透镜31。光通过第六透镜31射到反射镜32。反射镜32位于平移台30上。平移台30可以调整反射镜32的位置，使参考光路的长度与样本光路的长度相匹配。导向参考光路的一部分光被反射镜32反射。反射光通过第六透镜31、第二偏振控制器29。第二偏振控制器29调整光的偏振状态，使其与来自样本光路的光的偏振状态相匹配。光通过第六波导50、第二循环器28。第二循环器28通过第八波导48将光导向50/50偏振敏感光纤组合器27。进入检测光路的光通过第七波导47、第八波导48导向50/50偏振敏感光纤组合器27。光通过第九波导51、第十波导52导向双光谱仪33。双光谱仪33的每个光谱仪接收来自样本的正交偏振状态的光，以便监测由样本引起的光的偏振状态的变化。双光谱仪33提供指示样本的OCT图像的信号。信号通过第二电气连接35传输至系统控制与数据处理装置56。
具体的，双光谱仪33可以包括衍射光栅、光谱仪透镜系统或数字相机。在一些实施例中，数字相机可以是InGaAs相机。在一些实施例中，双光谱仪33包括两个InGaAs相机。在一些实施例中，每个InGaAs相机具有1024个元件以及25毫米的有效区域。InGaAs相机可用于收集来自50/50偏振敏感光纤组合器27的两个正交偏振状态的光。双光谱仪33可以使用专门设计的衍射光栅和透镜系统来适应超过120纳米的频谱带宽。
在一些实施例中，双光谱仪33可以用平衡检测方案替换。在一些实施例中，OCT光源22可以用波长扫描光源(例如扫频源)替换。在一些实施例中，波长扫描光源可以是块光学偏振组合器。在一些实施例中，所有光纤光学组件可以使用保偏光纤。在一些实施例中，相位调制器23可以用在线光纤偏振器替换。
在一些实施例中，OCT成像装置43是PS-OCT成像装置。在一些实施例中，OCT光源22是宽带超发光二极管。OCT光源22可以有约1310纳米的中心波长和约135纳米的带宽。在一些实施例中，宽带源(例如宽带超发光二极管)的轴向分辨率可以如下确定：
其中，λ0是光源的中心波长，Δλ是光源的谱宽，n是样本的折射率。对于生物组织，n约为1.34。对于空气，n约为1.00。在一些实施例中，当λ0等于1310纳米且Δλ等于135纳米时，OCT光源22在空气中的轴向分辨率lz约为5.6微米，在生物组织中的轴向分辨率lz约为4.2微米。
进一步的，系统控制与数据处理装置56包括通信连接的实时数字信号处理板38与计算机36和通信连接的计算机36与显示器37；
计算机36包括依次设置的第一帧抓取器39、第二帧抓取器40和数据采集板41；
第一帧抓取器39用于接收RCM成像装置42输出的第一电信号，并数字化生成待测样本1的RCM图像；
实时数字信号处理板38用于接收并处理来自OCT成像装置43的第二电信号，并通过第三电气连接55输出至第二帧抓取器40；
第二帧抓取器40用于数字化第二电信号生成待测样本1的OCT图像。
具体的，第一帧抓取器39与RCM成像装置42通信。第一帧抓取器39通过第一电气连接21从RCM成像装置42接收成像输出，这样系统控制与数据处理装置56可以生成和显示RCM图像。第二帧抓取器40与实时数字信号处理板38(RT-DSP板)通信。实时数字信号处理板38(RT-DSP板)通过第二电气连接35从OCT成像装置43接收输出。实时数字信号处理板38通过第三电气连接55向第二帧抓取器40提供OCT成像输出。第一帧抓取器39、第二帧抓取器40各自对其接收的输出进行数字化。第一帧抓取器39生成待测样本1的RCM图像。第二帧抓取器40生成待测样本1的OCT图像。每个图像都提供给连接到计算机36的显示器37。
在一些实施例中，实时数字信号处理板38(RT-DSP板)基于可编程逻辑门阵列(FPGA)硬件，并且可以以高帧率进行OCT数据处理和显示。在一些实施例中，实时数字信号处理板38(RT-DSP板)作为独立设备运行，通过PCI总线与计算机36通信。在一些实施例中，实时数字信号处理板38(RT-DSP板)被商业上可用的图形处理单元(GPU)替换。
进一步的，系统控制与数据处理装置56中集成了人工智能算法，用于进一步处理分析RCM图像和OCT图像，包括去噪、分割、3D分割。
具体的，(1)去噪
基于深度学习DeblurGAN的图像去噪算法，网络架构包含生成器和判别器两部分。通过生成器和判别器之间不断地生成对抗降低目标图像的损失函数值，从而恢复出清晰的图像。作为一个去噪的深度学习算法，DeblurGAN网络的生成器提取的特征包括图像的噪声特征，通过以下公式可以看到，在DeblurGAN的此公式的基础上通过模拟劣化像素分布从而恢复出清晰的图像。
IB＝k(M)*IS+N
其中IB表示模糊图像，k(M)表示由M决定的未知模糊核，IS表示潜像，N表示加性噪声，通过以上公式可以看到DeblurGAN可以恢复出清晰的图像，同时还具有消除加性噪声的功能。
在训练阶段，需定义一个判别器，其判别网络的体系架构与PatchGAN是相同的，除了最后的卷积层外，其余的实例正则化和LeakyReLU都是α＝0.2，其整体框架如图3。
DeblurGAN作为一种基于条件生成对抗网络，为了在给出噪声图像IB作为输入的情况下，将其恢复成清晰的图像IS，将经过去噪训练的CNN网络作为生成器同时引入判别器/>构建生成对抗网络，产生对抗损失。在DeblurGAN中，将损失函数定义为多个损失函数的加权，表达为：
L＝LGAN+λ·LX
其中λ＝100，因为不需要惩罚输入和输出之间的不匹配，所以LGAN部分使用的是WGAN-GP作为损失函数，它被证明在多种GAN结构上都可以稳定训练，而且几乎不需要怎么调整超参数。具体表示如下：
损失函数的另一部分LX定义为内容损失，其典型的两个选择是定义在原始图像上的L1(MAE)损失或L2(MSE)损失。使用这些函数作为唯一的优化目标，可能导致在像素空间中因为像素级平均问题，使得生成的图像纹理过于平滑。因此，在此基础上提出感知损失的方法。它是基于生成和目标图像之间的CNN特征图的差异来定义的，其具体的表达如下：
/>
其中是在VGG19网络中的第i个最大池化层之前通过第j个卷积(在激活之后)获得的特征映射，Wi,j和Hi,j是特征映射的维度，在这里使用VGG卷积层的激活函数，更深层的激活函数代表了更高抽象的特征，感知损失函数的重点在于恢复生成内容，而对抗损失侧重于恢复纹理细节。
(2)分割
Segnet语义分割网络，整体采用编码器和解码器结构(Encoder-Decoder)，主要用于像素级别的图像分割。Segnet网络结构，除去最终的激活层和分类器，共有62层。在编码器部分，通过多个卷积层和池化层的组合，实现对数据的特征提取。在解码器部分，Segnet对编码器中提取的特征图进行上采样，增大数据尺寸，并在进行上采样时，使用对应编码器中最大值池化的位置信息。这种方式保留了原图像中重要的细节特征，舍弃了不重要的特征和噪声。在无任何后期算法处理的前提下，Segnet自动实现了对结果图像的边缘平滑。Segnet网络主要由三部分构成，整体框架如图4所示，按照数据传输的顺序，依次是编码器网络，解码器网络和分类器。其中，前两个部分在结构上是对称的，并且在各自网络中均有13个卷积层。最终，网络的计算结果通过末尾的分类器输出预测值。
编码器网络中的每个编码器都会通过卷积层的卷积操作生成特征图谱，即一组特征映射值。卷积采用same方式，卷积操作前后特征的大小相同。接着，对特征图谱进行批规范化，并对批规范化后的结果应用ReLU激活函数。最后，对特征图谱进行最大池化，采用2*2窗口，窗口的移动步长为2。
最大池化作用于输入图像，利用特征在小空间内的平移不变性，能够保留特征图谱的主要特征。同样，下采样生成的特征图谱，每个像素都保留输入图像局部特征(根据采样窗口设置)。池化操作和下采样都可以达到一定程度的特征不变性，即使损失部分信息，也可以在低分辨率的特征上保持分类器的鲁棒性。但是，在网络层次不断加深的情况下，池化带来的数据信息损失过多，这样一来，会丢失绝大部分的图像边界信息，极大地影响了图像分割效果。因此，不同于以往卷积网络的池化过程，在Segnet神经网络中，设法获取并保存图像中的边界信息。在编码器生成特征图谱后，且未进行下采样之前，获取并存储最大池化的位置索引，即在每个编码器的计算过程中，记录池化窗口中最大值的位置信息。
在解码器网络中，每个解码器都会对输入的特征图谱进行上采样。上采样的过程如图5所示。在对应的编码器中，池化过程所产生的位置信息会被记录下来，然后，会将输入的数据按照池化的位置索引信息，放置数据实现上采样。接着，对每个特征图谱进行批规范化。该网络中，解码器生成的特征图谱大小和通道数量均与对应位置的编码器输入相同。有一种特殊情况存在，即接受图像输入的编码器，其通道数由输入的样本图像决定，而与末端相应的解码器产生的特征图谱的通道数可能不一致。
在Segnet网络结构末尾，一般使用Softmax分类器，解码器网络输出的高维特征图谱，通过分类器对所有的像素进行分类。对于有K个类别的分类任务，分类器的输出结果，是一个K个通道的概率图像。其中，每个像素在每个通道都有相应的概率值，即该像素属于该通道类别的概率。在所有通道中概率值最高的通道，即为该像素最终预测的类别结果。批量规范化(Batch Normalization，BN)的提出，是为了解决内部协变量偏移问题。协变量在实验中指的是，在实验过程中不受人为干预，且会对实验结果产生影响的因素，在网络模型中，可以看作是输入的数据。深度神经网络中，一般假设在训练集和测试集中，数据的分布是相似的，这也是深度神经网络训练和预测模型有效的前提条件。然而，在传统深度学习网络的训练过程中，中间层的数据分布会随着参数的更新，产生较大的变化。通常神经网络里中间层的深度越大，这一现象越明显。浅层网络参数的轻微变化，会经过多层网络的放大，对后续深层次的数据分布产生较大影响。神经网络训练会不断调整参数，适应数据分布的变化，导致模型训练难以收敛。这种由于网络参数在训练过程中的改变，导致网络内部中间层数据分布变化的现象，被称为内部协变量偏移。内部协变量偏移容易使网络训练陷入梯度饱和区，模型训练缓慢，仅靠原始数据的预处理没有作用。为解决这一问题，有学者提出了批量规范化操作。批量规范化层，简称BN层，设置在卷积操作后，对特征数据进行规范化，再将规范化后的数据输入到激活函数。BN层的处理方法，是将卷积操作输出的特征数据，重新调整为正态分布。“批量”是指在训练时，使用当前层中一部分数据的均值和方差，实现每一层输入的标准化。步骤如下：(1)计算当前层批量数据的均值μB，如下公式所示：
其中，m表示当前层中的数据容量，xi为具体的数据值；
计算批处理数据方差如下公式所示：
数据规范化如下公式所示：
其中，ε为一极小正数，加入ε防止分母为0；
对规范化后的数据，需要进行适当的缩放和平移，以保留训练所学习到的数据特征，如下公式所示：
其中，γ和β是参与训练的可学习参数，γ表示对结果数据大小进行放缩，β表示对结果数据分布进行平移。BN层加入这两个参数，目的是让经过批量规范化处理后的数据，仍然能够维持原先的数据的整体特征，保留通过网络训练所获得的特征，而不是强制将数据分布限制为标准正态分布。通过对数据的缩放和平移，BN层的输出数据，服从均值为β，方差为γ2的正态分布。并且，在当参数γ和β分别等于σB和μB时，BN层的输出数据恢复为输入值。批量规范化的数据处理方法，能够抑制模型中梯度失效的问题，防止训练结果过拟合，加速网络收敛。
(3)3D分割
医疗影像边界模糊、梯度复杂，需要较多的高分辨率信息，而分割目标在人体图像中的分布很具有规律，人体内部结构相对固定，语义简单明确，低分辨率信息能够提供这一信息，用于目标物体的识别。所以高级语义信息和低级特征在医学图像分割类任务中都十分重要。U-Net结合了低分辨率信息(提供物体类别识别依据)和高分辨率信息(提供精准分割定位依据)，非常适用于医学图像分割。底层信息是经过多次下采样后的低分辨率信息，能够提供分割目标在整个图像中上下文语义信息，可理解为反映目标和它的环境之间关系的特征。这个特征有助于物体的类别判断。而高层信息是经过concat操作从编码路径直接传递到同高度解码路径对应的层上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等。本文在3DU-Net结构的基础上提出了两阶段的3D U-Net网络结构3D UV-Net。充分利用高层信息与底层信息对目标结构进行识别和精准定位。两阶段方法主要用于消除其它相似组织结构产生的噪点，从而提升对目标组织的分割精度。其中，将经过预处理的数据输入Net1中，Net1是一个4级的3D U-net结构，用于对目标结构进行粗分割；Net2是一个4级的3D V-Net结构，加入残差模块提升收敛并进行精细分割。Net2的输入是由Net1的输入和Net1经过滤除噪点后的输出组成的。如图6所示。
Net1是基于经典的3D U-Net结构进行设计，如图7所示。分为编码路径和解码路径两部分。在编码路径中，每一级包含2个3*3*3的卷积层，然后使用规范化批处理，可以加快收敛速度，后接一个线性校正单元(即ReLU函数)，再接一个2*2*2，步长为2的最大池化层。在解码路径中，每一级都包含一个2*2*2，步长为2的反卷积层，后接两个3*3*3的卷积层，每个卷积层后都跟有BN层和ReLU层，最后通过一个1*1*1的卷积将通道数降为要求输出的通道数进行分割结果的输出。在编码路径中，通过跳跃连接将相同分辨率的层传递到解码路径，为其提供原始的高分辨率特征。在编码和解码的同级特征拼接融合时，要求其空间分辨率严格一致，因此输入图像的尺寸值的选取受到严格限制，所以采用padding＝1的填充方式，这样使得经过3*3*3卷积后的输出与输入的空间分辨率保持一致，可以直接进行同一级特征的拼接。
Net2是一个改进的3D卷积神经网络，如图8所示，其中标出了每一级输出特征图的尺寸大小。该网络基于V-Net网络结构，在V-Net网络结构中加入瓶颈结构，同样，Net2也有两条路径，分别是编码路径和解码路径。在编码路径中，包含一个瓶颈块，后接一个2*2*2、步长为2的卷积层，用于替换池化操作，从而减少内存的占用，来提取全局图像特征；在解码路径中，包含一个2*2*2、步长为2的反卷积层，后接一个瓶颈块。最后通过一个1*1*1的卷积层，将输出的通道数降为1。
在每一级中，使用与ResNet类似的方法，加入残差结构，如图9所示，即每一级的输入有两个流向，一是通过瓶颈结构，二是直接添加到该级的最后一个卷积层的输出，特征融合采用Element-wise Product的方式，即直接将对应位置的值相乘。相较于Element-wiseSum的方式来说，该方式可以突出或者抑制某些特定区域的特征信息，而有利于小目标的检测；相较于Net1中的特征图拼接来说，该方式能够减少内存的占用。
瓶颈结构如图10所示，由三层卷积构成，第一层是一个1*1*1的卷积层，用于减少通道数，然后将特征图送入3*3*3的卷积层中，最后通过一个1*1*1的卷积层将特征图恢复通道数。通过减少和恢复特征通道数，可以更有效的融合跨通道的特征，而且缩减了模型尺寸和运行时间，更适用于处理大型的3D图像。
损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数，通常使用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。在医学图像分割任务中，经常使用集合相似度度量函数Dice系数作为损失函数，该函数通常用于计算两个样本的相似度，取值范围为[0,1]：
其中，|X∩Y|表示X和Y之间的交集，|X|和|Y|分别表示X和Y中的元素个数。分子的系数乘2是由于分母中重复计算了X和Y中的共同元素。在本分割任务中，x表示Groundtruth分割图像，Y表示预测的分割图像。
由如下公式可知，Dice系数越接近1说明预测结果表现越好，但是损失函数是需要越小越好，所以简单的用1来作差就可以得到Diceloss(Dice系数损失函数)：
对于Dice函数，目前有许多对其优化的函数如均值Sorensen Dice损失函数、直接优化项的Sorensen Dice损失函数等。本文提出一种改进的联合损失函数，它是由交叉熵损失函数和均值Sorensen Dice损失函数组成：
Ltotal＝LS_Dice+LCE
交叉熵损失函数是图像分割类任务中最常使用的损失函数。在语义分割中，需要给每个像素一个唯一的类别，交叉熵损失函数需要评估每个像素的类预测并对所有像素求取平均值。交叉熵损失函数如下公式所示：
其中，p(x)表示预测值，q(x)表示真值。均值Sorensen Dice损失函数如下公式所示：
为了平滑起见，在分母添加一个取值为1的eps因子。
参照图2所示，一种基于人工智能的高解析度双模态皮肤测量分析方法，应用于上述任一项所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，包括以下步骤：
S1、选择设备工作模式；
S2、打开光源；
S3、采集图像；
S4、人工智能分析图像。
进一步的，设备工作模式包括仅使用RCM、仅使用OCT和同时使用RCM和OCT。
为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，包括成像探头(44)、RCM成像装置(42)、OCT成像装置(43)和系统控制与数据处理装置(56)；成像探头(44)分别与RCM成像装置(42)、OCT成像装置(43)光路连接，RCM成像装置(42)、OCT成像装置(43)分别与系统控制与数据处理装置(56)电气连接；
成像探头(44)用于探测待测样本(1)；
RCM成像装置(42)用于提供第一入射光束至成像探头(44)，并接收从成像探头(44)返回的第一返回光束进行RCM成像；
OCT成像装置(43)用于提供第二入射光束至成像探头(44)，并接收从成像探头(44)返回的第二返回光束进行OCT成像；
系统控制与数据处理装置(56)用于RCM图像和OCT图像的接收、分析、处理和显示。
2.根据权利要求1所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，
成像探头(44)中，从上到下依次设置有待测样本(1)、第一光学元件(2)、第三光学元件(4)；第三光学元件(4)并列平行设置第二光学元件(3)；
第一光学元件(2)用于调整第一入射光束或第二入射光束的焦点，将第一入射光束或第二入射光束射向待测样本(1)，并将第一返回光束或第二返回光束返回至第三光学元件的第一表面(4A)；
第三光学元件的第一表面(4A)朝向待测样本(1)，用于反射由RCM成像装置(42)产生的第一入射光束；第三光学元件的第二表面(4B)朝向OCT成像装置(43)，用于使OCT成像装置(43)产生的第二入射光束通过第三光学元件(4)；
第三光学元件的第一表面(4A)还用于反射从待测样本(1)返回的第一返回光束，并将从待测样本(1)返回的第一返回光束导向第二光学元件的第一表面(3A)；第三光学元件的第一表面(4A)还用于使从待测样本(1)返回的第二返回光束通过，将第二返回光束导向OCT成像装置(43)；
第二光学元件的第一表面(3A)用于将RCM成像装置(42)产生的第一入射光束导向第三光学元件的第一表面(4A)；第二光学元件的第一表面(3A)还用于将从第三光学元件的第一表面(4A)返回的第一返回光束导向RCM成像装置(42)。
3.根据权利要求1所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，
RCM成像装置(42)从下至上依次设置RCM光源(17)、准直透镜(16)、第一偏振器(15)、分束器(14)和第一光学扫描器(13)；第一光学扫描器(13)的一侧依次设置有第一透镜(12)、第二透镜(11)和第二光学扫描器(10)；第二光学扫描器(10)上方依次设置有第三透镜(9)和第四透镜(8)；在分束器(14)的与第一透镜(12)对应一侧依次设置有第二偏振器(18)、第五透镜(19)和检测器(20)；
RCM光源(17)用于发射第一入射光束至准直透镜(16)；
准直透镜(16)用于将第一入射光束准直化并导向第一偏振器(15)；
第一偏振器(15)用于将第一入射光束的线性偏振分量导向分束器(14)；
分束器(14)用于将第一入射光束分开，使得一部分光束被导向第一光学扫描器(13)；
第一光学扫描器(13)用于扫描第一入射光束，通过包含第一透镜(12)、第二透镜(11)的路径将第一入射光束导向第二光学扫描器(10)；
第一透镜(12)、第二透镜(11)用于将第一光学扫描器(13)与第二光学扫描器(10)进行光学耦合；
第二光学扫描器(10)用于将第一入射光束扫描成与线性扫描垂直的方向；通过包括第三透镜(9)、第四透镜(8)的路径将第一入射光束导向成像探头(44)；
第三透镜(9)、第四透镜(8)用于将第二光学扫描器(10)与成像探头(44)中的第二光学元件(3)进行耦合；
第二光学扫描器(10)还用于接收通过第四透镜(8)、第三透镜(9)的第一返回光束，并对第一返回光束进行解扫描，通过第二透镜(11)、第一透镜(12)将第一返回光束导向第一光学扫描器(13)；
第一光学扫描器(13)还用于对第一返回光束进行解扫描，并将第一返回光束导向分束器(14)；
分束器(14)还用于将至少一部分第一返回光束导向第二偏振器(18)；
第二偏振器(18)用于将一定偏振状态的光通过第五透镜(19)；
第五透镜(19)用于传播第一返回光束至检测器(20)；
检测器(20)用于输出检测器(20)上多个位置的返回光对应的第一电信号，表示待测样本(1)的RCM图像，第一电信号通过第一电气连接(21)传输至系统控制与数据处理装置(56)的第一帧抓取器(39)。
4.根据权利要求1所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，
OCT成像装置(43)设置有OCT光源(22)、光纤干涉仪(57)、双光谱仪(33)和OCT扫描器(34)；
OCT光源(22)用于产生第二入射光束；
光纤干涉仪(57)用于接收和引导第二入射光束；
OCT扫描器(34)用于将第二入射光束导向成像探头(44)中第三光学元件的第二表面(4B)；
双光谱仪(33)用于接收来自待测样本(1)的正交偏振状态的第二返回光束，输出指示待测样本(1)的OCT图像，记为第二电信号，第二电信号通过第二电气连接(35)传输至系统控制与数据处理装置(56)的实时数字信号处理板(38)。
5.根据权利要求4所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，
光纤干涉仪(57)包括照明光路、样本光路、参考光路和检测光路；
照明光路包括依次连接的第一波导(53)、相位调制器(23)、第一偏振控制器(24)、第二波导(54)和10/90分路器(25)；
样本光路包括依次连接的第三波导(46)、第一循环器(26)和第四波导(49)；第一循环器(26)与10/90分路器(25)之间通过第三波导(46)连接；
参考光路包括依次连接的第五波导(45)、第二循环器(28)、第六波导(50)、第二偏振控制器(29)、第六透镜(31)和反射镜(32)；第二循环器(28)与10/90分路器(25)之间通过第五波导(45)连接；反射镜(32)位于平移台(30)上；
检测光路包括依次连接的第七波导(47)、50/50偏振敏感光纤组合器(27)、第八波导(48)；第一循环器(26)与50/50偏振敏感光纤组合器(27)通过第七波导(47)连接，第二循环器(28)与50/50偏振敏感光纤组合器(27)通过第八波导(48)连接；检测光路还包括第九波导(51)、第十波导(52)；第九波导(51)、第十波导(52)并行连接50/50偏振敏感光纤组合器(27)与双光谱仪(33)。
6.根据权利要求1所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，
系统控制与数据处理装置(56)包括通信连接的实时数字信号处理板(38)与计算机(36)和通信连接的计算机(36)与显示器(37)；
计算机(36)包括依次设置的第一帧抓取器(39)、第二帧抓取器(40)和数据采集板(41)；
第一帧抓取器(39)用于接收RCM成像装置(42)输出的第一电信号，并数字化生成待测样本(1)的RCM图像；
实时数字信号处理板(38)用于接收并处理来自OCT成像装置(43)的第二电信号，并通过电气连接(55)输出至第二帧抓取器(40)；
第二帧抓取器(40)用于数字化第二电信号生成待测样本(1)的OCT图像。
7.根据权利要求6所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，
系统控制与数据处理装置(56)中集成了人工智能算法，用于进一步处理分析RCM图像和OCT图像，包括去噪、分割、3D分割。
8.一种基于人工智能的高解析度双模态皮肤测量分析方法，应用于权利要求1-7任一项所述的一种基于人工智能的高解析度双模态皮肤测量分析装置，其特征在于，包括以下步骤：
S1、选择设备工作模式；
S2、打开光源；
S3、采集图像；
S4、人工智能分析图像。
9.根据权利要求8所述的一种基于人工智能的高解析度双模态皮肤测量分析方法，其特征在于，
设备工作模式包括仅使用RCM、仅使用OCT和同时使用RCM和OCT。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410173752.1A CN117770770A (zh) | 2024-02-07 | 2024-02-07 | 一种基于人工智能的高解析度双模态皮肤测量分析装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410173752.1A CN117770770A (zh) | 2024-02-07 | 2024-02-07 | 一种基于人工智能的高解析度双模态皮肤测量分析装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117770770A true CN117770770A (zh) | 2024-03-29 |
Family
ID=90385241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410173752.1A Pending CN117770770A (zh) | 2024-02-07 | 2024-02-07 | 一种基于人工智能的高解析度双模态皮肤测量分析装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117770770A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140213897A1 (en) * | 2013-01-31 | 2014-07-31 | Physical Sciences, Inc. | Combined Reflectance Confocal Microscopy-Optical Coherence Tomography System for Imaging of Biological Tissue |
| CN106383087A (zh) * | 2016-10-09 | 2017-02-08 | 福建师范大学 | 一种偏振光学相干层析与偏振多光子显微的双模成像系统 |
| CN113712514A (zh) * | 2021-09-16 | 2021-11-30 | 佛山光微科技有限公司 | 一种线场共焦oct装置 |
| CN217744369U (zh) * | 2022-06-13 | 2022-11-08 | 上海麦色医疗科技有限公司 | 多角度结构光摄像头并集成多光谱的头面部4d成像装置 |
-
2024
- 2024-02-07 CN CN202410173752.1A patent/CN117770770A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140213897A1 (en) * | 2013-01-31 | 2014-07-31 | Physical Sciences, Inc. | Combined Reflectance Confocal Microscopy-Optical Coherence Tomography System for Imaging of Biological Tissue |
| CN106383087A (zh) * | 2016-10-09 | 2017-02-08 | 福建师范大学 | 一种偏振光学相干层析与偏振多光子显微的双模成像系统 |
| CN113712514A (zh) * | 2021-09-16 | 2021-11-30 | 佛山光微科技有限公司 | 一种线场共焦oct装置 |
| CN217744369U (zh) * | 2022-06-13 | 2022-11-08 | 上海麦色医疗科技有限公司 | 多角度结构光摄像头并集成多光谱的头面部4d成像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9706929B2 (en) | Method and apparatus for imaging tissue topography | |
| Gao et al. | Optical hyperspectral imaging in microscopy and spectroscopy–a review of data acquisition | |
| US5836872A (en) | Digital optical visualization, enhancement, quantification, and classification of surface and subsurface features of body surfaces | |
| US8836952B2 (en) | Optical coherence tomographic imaging method and optical coherence tomographic imaging apparatus | |
| EP2870462B1 (en) | Methods utilizing fiber-optic raman spectroscopy | |
| EP2144034A1 (en) | Multilayer structure measuring method and multilayer structure measuring apparatus | |
| US20240074664A1 (en) | Apparatus and method for image-guided interventions with hyperspectral imaging | |
| CN112704470B (zh) | 分光谱频域相干断层成像系统 | |
| CN110292361B (zh) | 一种超宽范围的皮肤成像设备与方法 | |
| Aloupogianni et al. | Hyperspectral and multispectral image processing for gross-level tumor detection in skin lesions: a systematic review | |
| CN114209278B (zh) | 一种基于光学相干层析成像的深度学习皮肤病诊断系统 | |
| Galeano et al. | Analysis of multispectral images of excised colon tissue samples based on genetic algorithms | |
| Kainerstorfer et al. | Quantitative principal component model for skin chromophore mapping using multi-spectral images and spatial priors | |
| Liu et al. | Real-time deep learning assisted skin layer delineation in dermal optical coherence tomography | |
| Lboukili et al. | Automating reflectance confocal microscopy image analysis for dermatological research: a review | |
| CN117770770A (zh) | 一种基于人工智能的高解析度双模态皮肤测量分析装置及方法 | |
| EP3760969A1 (en) | 2d multi-layer thickness measurement | |
| Oshina et al. | Three-dimensional representation of triple spectral line imaging data as an option for noncontact skin diagnostics | |
| CN113712527A (zh) | 一种基于幅度去相关的三维血流成像方法与系统 | |
| EP3351162A1 (en) | A computer implemented method, a system and computer program products to characterize a skin lesion | |
| CN113706567A (zh) | 一种结合血管形态特征的血流成像量化处理方法与装置 | |
| KR20150059953A (ko) | 두피 표면 및 단층 영상의 동시구현이 가능한 두피 진단 방법 및 진단 장치 | |
| Gao et al. | 2D Fourier Fractal Analysis of Optical Coherence Tomography Images of Basal Cell Carcinomas and Melanomas | |
| Aloupogianni et al. | Effect of formalin fixing on chromophore saliency maps derived from multi-spectral macropathology skin images | |
| CN117322839A (zh) | 一种结合oct偏振与光谱信息的脂质斑块检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |