CN113390850B - 基于u型卷积神经网络的胃拉曼飞秒皮秒图像映射方法 - Google Patents

Abstract

本发明属于医学图像处理技术领域，具体为一种基于U型卷积神经网络的胃拉曼飞秒皮秒图像映射方法。本发明首次把人工神经网络用于受激拉曼不同成像光路之间映射中，利用U型卷积神经网络将飞秒受激拉曼图像映射为不同通道的皮秒受激拉曼图像，可以在低功率、短时间内获取受激拉曼组织病理图像。相比于现有技术，本发明优点体现在：信号强度和信噪比大大提升，在不使用高功率的情况下仍有着不错的信号强度；无需对通道进行切换，仅需使用固定参数的激光即可，使得设备成本大幅降低；设备结构简单，使用难度大幅降低。

Description

基于U型卷积神经网络的胃拉曼飞秒皮秒图像映射方法

技术领域

本发明属于医学图像处理技术领域，具体涉及一种基于U型卷积神经网络的胃拉曼飞秒皮秒图像映射方法。

背景技术

医学影像技术是一种成像在医学领域和临床中应用的技术。相较于传统医学而言，医学影像技术能够运用各种物理现象，形成具有病理特征或能用于疾病诊断的图像，例如常规放射学，CT，核磁共振，DSA，超声波，以及较新的受激拉曼成像技术等。由于它们通常能以对人体微创或无创的形式得到所需要的医学图像，因此，在医学领域中的作用显得十分重要。

受激拉曼显微成像技术是一种非线性光学成像技术。由于对于特定化学键的特异性强，且对于样品具有免处理、免标记、无创且能在短时间内提取所需信息，因此近年来在医学领域中有着大量的研究进展，能够快速的获取较传统组织病理学相似的图像用于病理分析。

对于胃内窥活检组织在受激拉曼成像技术中的研究，一般选择对于脂质和蛋白质进行特异性成像，基于脂质在蛋白质中富含的大量CH₂和CH₃键，能够在受激拉曼成像系统中选择合适的参数对其进行成像，并将成像图片进行线性组合而形成与传统组织病理学图像具有高度一致性的受激拉曼组织病理学图像。

由于传统的组织病理学诊断需要经过脱水、包埋、切片、染色、阅片等多个步骤，属于时间劳动密集型工作，而受激拉曼成像技术能够在短时间内提供类似传统组织病理学的图像，尽管如此，搭建一套可变通道的受激拉曼成像系统以及空间光路的成本也较高，较难在各大医院中普及，由于其体积也较大，在临床应用中也产生诸多困难，即使使用光纤系统进行集成，由于其需要多通道切换，则无论使用波长可变激光器或是增加拉曼位移装置，都会使得设备成本急剧上升。

再者，受激拉曼成像面临着另一个问题，即皮秒激光拉曼信号较弱。传统的增强方式，例如表面增强拉曼不适用于医学领域中，且会引入大量背景噪声，而受激拉曼由于需要对多个通道进行成像，需要调整两束激光之间的波数差以匹配特异性分子的拉曼峰，因此需要选用光谱分辨率较高的皮秒激光，其能通过改变光程，以改变两束激光在空间中移动的距离差来快速的改变拉曼位移，以匹配不同物质的拉曼峰，有些拉曼峰差距过大的不同物质甚至需要调制激光的波长才能实现。但由于皮秒激光的拉曼信号相对较弱，很多时候需要增加激光功率来补偿，因此面临的问题不仅在于设备的成本上升，高功率的激光更可能破坏组织，而如果转而使用拉曼信号更强的飞秒激光，则光谱无法在时间与空间上分开，在成像时会对临近的多种物质同时成像，而无法分开成像。

随着机器学习，尤其是人工神经网络的技术进步，人工智能应用到了传统技术的方方面面。因此使用人工智能来降低某些复杂设备的设计成为可能，通过多层神经网络对数据进行高层抽象，使得人工智能可以模仿人脑机制，对于图像能够进行甄别和特征提取，近年来，一种U型的卷积神经网络在医学图像中的研究越来越广泛，尤其是在图像的语义分割中，由于医学图像包含有许多深层信息，一般而言医学图像都有边界模糊、梯度复杂等特征，可解释性是尤为重要的，因此图像的语义分割可以将医学图像以分辨率尺度分割为不同的区域。

结合上述情况，一种基于U型网络的飞秒受激拉曼组织病理学图像解决方案便产生了，在飞秒激光成像后引入U型网络将其映射为不同通道的图像，它具备以下优点：1.信号强度和信噪比大大提升，在不使用高功率的情况下仍有着不错的信号强度。2.无需对通道进行切换，仅需使用固定参数的激光即可，使得设备成本大幅降低。3.使得设备结构简单，使用难度大幅降低。

发明内容

本发明的目的在于提供基于U型卷积神经网络的胃拉曼飞秒皮秒图像映射方法，以解决现有技术中存在的样品多通道成像复杂，所需激光功率高，所需设备结构复杂等问题。

本发明提供的基于U型卷积神经网络的胃拉曼飞秒皮秒图像映射方法，具体步骤为：

S1、针对待测物中的多种组分，选择固定的飞秒激光波长，两束飞秒激光进行分光，并分别搭建皮秒光路和飞秒光路的受激拉曼散射光路用于成像；

S2、根据S1中固定好的激光波长，首先搭建皮秒光路，将两束飞秒激光啁啾散射成为皮秒激光后，设置两束激光的时延，使其能够对于待测物中的不同组分分别成像；然后搭建飞秒光路，使其能够在两束激光重合的时间零点处对于待测物进行成像；

S3、根据S2中搭建的两条不同的光路，选定待测物中的某一固定区域，分别使用皮秒光路对其进行多种不同组分的物质成像，同时切换到飞秒光路对其进行一次总体成像，然后再切换到其他视野区域再次进行成像，直到所需数据数量收集完毕；

S4、建立一个U型卷积神经网络，将S3中获取的图片输入到神经网络中进行训练，使得将飞秒光路所成的图像输入后，能够输出不同通道对应的皮秒光路所成的像，并与皮秒光路所成的原始图像进行对比，分析其一致性与可替代性。

本发明中所述的U型卷积神经网络是一种具有卷积、池化、反卷积层的人工神经网络，它包括1个512x512的输入层，4个卷积层，4个反卷积层，8个池化层，使用BCEWithLogitsLoss损失函数计算损失值，使用优化器Adam对模型参数进行优化的迭代训练。它能够对图像进行语义分割，将多成分组成的图像分割开来。

本发明通过对海拉细胞以及胃内窥活检组织进行示例分析,如图2、图3、图5结果显示飞秒映射图像和皮秒图像具有高度一致性，验证了U型卷积神经网络对于飞秒拉曼图像映射成为的相似的皮秒多通道拉曼图像的能力，并对其进行了一致性分析，为本发明的实用性提供了严谨的实验验证。

与现有受激拉曼成像技术相比，本发明结合飞秒激光所需功率低，信号高的特点，以及皮秒激光光谱分辨率高能对多通道物质进行成像的特点，将两种成像模式的优点进行组合，即使用飞秒激光对单通道的成像即可替代以往使用皮秒激光对多通道的成像，在无需高功率激光，节能的同时，节省了通道转换所需要的设备成本，使得整体设备成本降低，并且结构相对简单、便携，增加其应用于临床医学的潜力。

附图说明

图1为本发明实施例中采用的受激拉曼散射显微系统。

图2为使用图1中的成像光路采集的图像数据。

图3为本发明实施例中的人工神经网络映射示意图。

图4为本发明实施例中训练神经网络时的网络收敛曲线图。

图5为皮秒光路与神经网络映射的双通道以及合成维彩图的示例图。

图中标号：1为飞秒激光器，1-1为泵浦光输出端口，1-2为斯托克斯光输出端口，2-1为第一个调节光功率和飞秒皮秒光路转换元器件组合，2-2为第二个调节光功率和飞秒皮秒光路转换元器件组合，3-1为SF57色散玻璃，3-2为第二个SF57色散玻璃，4为电光调制器，5为精密位移台， 6为二向色镜，7为显微镜，8为光电探测器，9为锁相放大器，10为光电倍增管，11为电脑。

具体实施方式

下面结合具体实施例和附图对本发明做进一步说明。

实施例1

本发明提供了一种基于U型卷积神经网络的细胞组织飞秒皮秒图像映射方法。首先搭建如图1所示的受激拉曼散射显微成像系统。在系统中，激光器1产生飞秒脉冲激光，一端1-1能680nm-1300nm可调谐波长的飞秒激光，作为泵浦光，另一端1-2输出固定波长1040nm的飞秒激光，作为斯托克斯光。泵浦光与斯托克斯光分别经过半波片与偏振分光棱镜的组合2-1和2-2调整功率和选择飞秒皮秒光路后，皮秒一路通过SF57色散玻璃3-1和3-2和完成线性啁啾过程，使得飞秒光拉伸为皮秒光，并且在啁啾过程中光谱按照时间和空间排列，为受激拉曼散射系统提供半高全宽为15cm^-1的光谱分辨率，飞秒光路则原路返回。而后，斯托克斯光被电光调制器4按照一定的频率实现光脉冲的0、1数字调制，并通过精密位移台5改变斯托克斯光的光程，以调节斯托克斯光与泵浦光之间的相对时间延迟，而后，斯托克斯光与泵浦光与二相色镜6处合束后，经由显微镜7进行扫描，扫描后的光束滤除斯托克斯光后，经过受激拉曼散射作用后的泵浦光被光电探测器8探测到，而后通过锁相放大器9进行解调得到受激拉曼损失信号。波长较短的二次谐波会被光电倍增管10收集并转化为电信号，结合被锁相放大器9解调的拉曼信号传输到电脑11中显示。

细胞以及胃组织中一般包含脂质、蛋白质成分，其中胃组织中更是富含胶原，因此增加额外的二次谐波产生通道对胶原进行成像，使用受激拉曼对脂质和蛋白质成像在皮秒光路中，我们通过精密位移台5改变斯托克斯光的光程以使得两束光之间的波数差对应脂质和蛋白质的拉曼峰，从而对脂质和蛋白质分别成像；而在飞秒光路中，我们通过精密位移台5找到泵浦光和斯托克斯光重合的时间零点位置对其成像一次即可，在每一个选定的视野中，我们通过控制一堆shutter以及精密位移台5来选择飞秒和皮秒成像模式，在对一个视野成像完成后，移动到下一个视野中重复此过程，采集完成的图像如图2所示，分别为海拉细胞和胃内窥活检组织对应飞秒成像和双通道皮秒成像。

本实施例利用多种标准品标定了受激拉曼散射显微系统的实验参数，验证了受激拉曼散射显微技术对颗粒物二维成像的效果，为实施例2中的三维建模奠定基础。

实施例2

在本实施例中，使用U型卷积神经网络对飞秒和皮秒图像进行映射，如图3所示，其过程包括以下步骤：

S1、使用python语言，基于pytorch框架搭建U型网络，包含512x512的输入层、4个卷积层、4个反卷积层和512x512的输出层；

S2、设计训练算法：编写数据集，选择合适的优化器和损失函数，具体为优化器Adam和损失函数BCEWithLogitsLoss，将数据集分割为训练集、验证集和测试集，然后编写迭代循环训练算法；

S3、训练模型：使用数据集对网络模型参数进行训练，实时显示验证集的损失值变化情况，待收敛后保存网络模型的参数，如图4所示；

S4、将测试集输入到保存好的网络模型中，验证输出的脂质与蛋白质图像与皮秒所成图像的一致性，如图5所示分别为U型网络输出图像与皮秒原始图像，以及分别合成的伪彩图对比。

S5、将原始皮秒图像和飞秒映射图像进行特征对比，然后输入到分类网络中进行判断验证结果的一致性。

本实施例证明一帧飞秒图像代替两帧皮秒图像的可行性，验证飞秒图像经由U型卷积神经网络输出的图像与皮秒光路所成图像具有一致性。

基于上述实施例，基于U型卷积神经网络的细胞组织飞秒皮秒图像映射方法可以概述为两个过程：1.搭建飞秒皮秒成像光路，进行图像数据采集；2.采集的图像输入到搭建好的人工神经网络中训练，并验证结果。

实施例中仅选取了海拉细胞和胃组织作为示例分析物，用于具体说明本发明的实验思想和特点。本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、实验思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (2)

1.一种基于U型卷积神经网络的胃拉曼飞秒皮秒图像映射方法，其特征在于，具体步骤为：

S1、针对待测物中的多种组分，选择固定的飞秒激光波长，两束飞秒激光进行分光，并分别搭建皮秒光路和飞秒光路的受激拉曼散射光路，用于成像；

S2、根据S1中固定好的激光波长，首先搭建皮秒光路，将两束飞秒激光啁啾散射成为皮秒激光后，设置两束激光的时延，使其能够对于待测物中的不同组分分别成像；然后搭建飞秒光路，使其能够在两束激光重合的时间零点处对于待测物进行成像；

S3、根据S2中搭建的两条不同的光路，选定待测物中的某一固定区域，分别使用皮秒光路对其进行多种不同组分的物质成像，同时切换到飞秒光路对其进行一次总体成像，然后再切换到其他视野区域再次进行成像，直到所需数据数量收集完毕；

S4、建立一个U型卷积神经网络，将S3中获取的图片输入到神经网络中进行训练，使得将飞秒光路所成的图像输入后，能够输出不同通道对应的皮秒光路所成的像，并与皮秒光路所成的原始图像进行对比，分析其一致性与可替代性；

其中，所述受激拉曼散射光路中，激光器产生飞秒脉冲激光，一端能产生可调谐波长的飞秒激光，作为泵浦光，另一端输出固定波长的飞秒激光，作为斯托克斯光；泵浦光与斯托克斯光分别经过半波片与偏振分光棱镜的组合调整功率后选择飞秒、皮秒光路，皮秒一路通过SF57色散玻璃，完成线性啁啾过程，使得飞秒光拉伸为皮秒光，并且在啁啾过程中光谱按照时间和空间排列，为受激拉曼散射系统提供半高全宽的光谱分辨率，飞秒光路则原路返回；而后，斯托克斯光被电光调制器实现对光脉冲的0、1数字调制，并通过精密位移台改变斯托克斯光的光程，以调节斯托克斯光与泵浦光之间的相对时间延迟；而后，斯托克斯光与泵浦光于二相色镜处合束，再经由显微镜进行扫描，扫描后的光束滤除斯托克斯光后，经过受激拉曼散射作用后的泵浦光被光电探测器探测到，而后通过锁相放大器进行解调得到受激拉曼损失信号；波长较短的二次谐波被光电倍增管收集并转化为电信号，结合被锁相放大器解调的拉曼信号传输到电脑中显示；

其中，通过二次谐波产生通道对胶原进行成像，使用受激拉曼对脂质和蛋白质成像在皮秒光路中，通过精密位移台改变斯托克斯光的光程以使得两束光之间的波数差对应脂质和蛋白质的拉曼峰，从而对脂质和蛋白质分别成像；在飞秒光路中，通过精密位移台找到泵浦光和斯托克斯光重合的时间零点位置对其一次成像；在每一个选定的视野中，通过控制一堆shutter以及精密位移台来选择飞秒和皮秒成像模式，在对一个视野成像完成后，移动到下一个视野中重复此过程。

2.根据权利要求1所述的胃拉曼飞秒皮秒图像映射方法，其特征在于，所述的U型卷积神经网络是一种具有卷积、池化、反卷积层的人工神经网络，它包括1个512x512的输入层、4个卷积层、4个反卷积层、8个池化层，使用BCEWithLogitsLoss损失函数计算损失值，使用优化器Adam对模型参数进行优化的迭代训练。

Images