CN109820471B - 一种共聚焦内窥成像错位校正系统及方法 - Google Patents

Abstract

本申请公开了一种共聚焦内窥成像错位校正系统及方法，第一激光器产生的光束经光学系统照到组织表面激发出荧光信号；荧光信号经光学系统照射到第一光电探测器；经第一光电探测器和多通道采集控制板转换成数字图像信号；第二激光器产生的光束经X轴振镜反射后通过第二针孔照射到第二光电探测器；经第二光电探测器和多通道采集控制板转换成数字校正信号；数字图像信号和数字校正信号通过计算机处理生成显微内窥图像。方法，包括采集图像；将图像像素逐行拼接；利用校正脉冲信号与数字图像信号的时间关系计算错位距离；移动像素并删除超出图像边界的像素，重新拼图后显示。本申请在保证采样效率的前提下逐行校正图像的错位问题，提高了图像的质量。

Description

一种共聚焦内窥成像错位校正系统及方法

技术领域

本申请属于共聚焦内窥成像技术领域，具体涉及一种共聚焦内窥成像错位校正系统及方法。

背景技术

荧光共聚焦内窥成像技术是将光纤内窥技术和共聚焦扫描显微术相结合起来的一种技术，可对活体进行无创组织学检查，获得实时动态虚拟成像。不仅可对黏膜层进行观察,其在黏膜下血管成像方面尤其具有独特的优势，将为恶性肿瘤的早期诊断开辟新的路径。

荧光共聚焦内窥成像技术中所采用的X轴扫描振镜，在一个往返周期可以形成两行图像，但是由于惯性的存在，振镜由去程转到回程时有一个减速再反向加速的时间即转向时间，这个时间随着振幅、周期、温度等参数变化。由于转向时间的存在，采集卡按固定周期采集到像素点并不能跟实际的位置完全对应，拼接后的图像奇数行和偶数行会出现错位。而且由于采集卡开始采集的时间和X轴扫描振镜开始运动的时间有一定的误差，会加剧奇偶行的错位。传统解决奇偶行图像错位的方法是采用如图4所示的扫描方式，图中黑色实线表示成像段，黑色虚线表示换行段，换行段中采集的数据被直接丢弃，X轴扫描振镜返程的路径不会成像，这样就不会出现奇偶行的图像错位的问题。但是由于X轴扫描振镜在一个周期只生成一行的图像，其扫描效率会大幅度降低。为了解决奇偶行错位的问题，并保持图像的采集效率，本申请提出了一种共聚焦内窥成像错位校正系统及方法。

发明内容

针对上述现有技术的缺点或不足，本申请要解决的技术问题是提供一种在保证采样效率的前提下，校正图像的奇偶行错位问题，提高图像质量的共聚焦内窥成像错位校正系统及方法。

为解决上述技术问题，本申请具有如下构成：

一种共聚焦内窥成像错位校正系统，包括：第一激光器，第一滤光片、二色镜、第二激光器、X/Y轴扫描振镜、校正脉冲发生装置、扩束系统、耦合物镜、光纤束、第二滤光片、针孔透镜、第一针孔、第一光电探测器以及多通道采集控制板，所述第一激光器产生的激光束经所述第一滤光片、所述二色镜后进入所述X/Y轴扫描振镜；所述X/Y轴扫描振镜反射的光束经所述扩束系统和所述耦合物镜进入所述光纤束，将光束照射到组织表面的不同位置，并激发组织表面对应位置的荧光信号；所述荧光信号经由所述光纤束、所述耦合物镜、所述扩束系统、所述X/Y轴扫描振镜后透过所述二色镜和所述第二滤光片依次照射到所述针孔透镜、所述第一针孔以及所述光电探测器上；所述光电探测器将所述荧光信号转换成电信号，经由多通道采集控制板转换成数字图像信号；所述第二激光器产生的激光束经所述X/Y轴扫描振镜中的X扫描振镜反射照射到校正脉冲发生装置上；校正脉冲发生装置将光信号转换成电脉冲信号，经由多通道采集控制板转换成数字校正脉冲信号；所述多通道采集控制板生成的数字图像信号和数字校正脉冲信号传输到计算机上进行处理后生成显微内窥图像。

作为进一步地改进，所述X/Y轴扫描振镜包括X轴扫描振镜和Y轴扫描振镜，其中，所述X轴扫描振镜中的第一转子和Y轴扫描振镜中的第二转子均与所述多通道采集控制板电连接，第一转子的端部安装X镜片，第二转子的端部安装Y镜片，其中，X镜片的偏转角度确定光斑在样品表面X方向的位置，Y轴镜片的偏转角度确定光斑在样品表面Y方向的位置。

作为进一步地改进，所述X轴扫描振镜和Y轴扫描振镜均为检流计式振器。

作为进一步地改进，所述校正脉冲发生装置包括第二针孔和第二光电探测器。所述第二激光器产生的激光束照射在所述X轴扫描振镜上；当X轴扫描振镜旋转至特定角度时，所述激光束通过第二针孔照射到第二光电探测器上，光电探测器将光信号转换成电脉冲信号。

作为进一步地改进，所述系统在所述样品上采用“弓”字形的扫描方式采集多组图像信号和校正脉冲信号。

作为进一步地改进，各组所述图像信号间等时间间隔。

作为进一步地改进，所述图像信号和校正脉冲信号采集开始时间相同，采集频率相同。

作为进一步地改进，所述图像信号的成像段和换行段依次交错设置，其中，相邻所述成像段平行设置，相邻所述换行段平行设置。

基于所述系统的方法，包括：基于所述系统采集一组像素；将像素逐行拼接，那么偶数行图像和前一行图像的相关特征之间的错位距离为∆L；根据校正脉冲发生装置生成的校正脉冲和数字图像之间的对齐关系进行计算；移动所有的像素或将偶数行的像素单独移动，重新拼接图像后显示。

作为进一步地改进，根据校正脉冲发生装置生成的校正脉冲和数字图像之间的对齐关系进行计算；设在奇数行图像信号中与校正脉冲信号同时被采集到的图像信号的X轴坐标为N。在偶数行与校正脉冲信号同时被采集到的图像信号的X轴坐标为K。那么N-K即为两个图像错位的距离∆L。

作为进一步地改进，将偶数行像素移动∆L，并将超出图像边界的像素删除。

作为进一步地改进，开始采集图像的时刻和X轴扫描振镜扫描的起始时刻的时间间隔为N个采样周期， X轴扫描振镜的转向时间为X个采样周期，所述系统在一个采样周期内采集一个像素，那么，样品上原本在同一列的两个特征在采集到的图像上错开的距离为2N+X个像素；其中，所述∆L=2N+X。

与现有技术相比，本申请具有如下技术效果：

本申请在没有增加数据采集时间的前提下，实现消除检流计式振镜成像时出现的奇偶行图像错位的问题；本申请通过校正脉冲信号与图像信号的对齐关系对图像进行逐行精确校正，增加了图像的清晰度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1：本申请共聚焦内窥成像错位校正系统的结构示意图；

图2：本申请中X/Y轴扫描振镜和校正脉冲发生装置的结构示意图；

图3：本申请采用的成像扫描方式图；

图4：现有技术中采用的成像扫描方式图；

图5：本申请中奇偶行错位的距离示意图；

图6：本申请共聚焦内窥成像错位校正方法的流程图。

具体实施方式

以下将结合附图对本申请的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本申请的目的、特征和效果。

如图1所示，本实施例共聚焦内窥成像错位校正系统，包括：第一激光器，第一滤光片、二色镜、第二激光器、X/Y轴扫描振镜、校正脉冲生成装置、扩束系统、耦合物镜、光纤束、第二滤光片、针孔透镜、第一针孔以及第一光电探测器以及多通道采集控制板。其中，所述第一激光器发射激光，所述第一滤光片设置在所述第一激光器的发射光路上，所述二色镜设置在所述第一滤光片的输出光路上并对所述第一滤光片发出的光进行反射，所述X/Y轴扫描振镜设置在所述二色镜的反射光路上，所述扩束系统设置在所述X/Y轴扫描振镜的反射光路上，所述耦合物镜设置在所述扩束系统的输出光路上，所述光纤束设置在所述耦合物镜的输出光路上并对样品进行探测，所述样品经照射后发出荧光信号并返回；所述第二滤光片设置在所述二色镜的透射光路上，所述针孔透镜、所述针孔以及所述第一光电探测器设置在所述第二滤光片的输出光路上，其中，所述第一光电探测器对所述第二滤光片的输出的光信号转换成电信号，所述多通道采集控制板采集所述第一光电探测器的电信号并转换成数字图像信号输送至计算机。所述X/Y轴扫描振镜中的X振镜设置在第二激光器的光路上，所述校正脉冲生成装置设置在所述X振镜的反射光路上；所述校正脉冲生成装置对X振镜的反射光信号转换成电脉冲信号，所述多通道采集控制板采集所述校正脉冲生成装置的电脉冲信号并转换成数字校正脉冲信号输送至计算机。计算机将所述数字信号逐行对齐后生成显微内窥图像。

所述第一激光器产生的激光束经所述第一滤光片、所述二色镜后进入所述X/Y轴扫描振镜；所述X/Y轴扫描振镜反射的光束经所述扩束系统和所述耦合物镜进入所述光纤束，将光束照射到组织表面的不同位置，并激发组织表面对应位置的荧光信号；所述荧光信号经由所述光纤束、所述耦合物镜、所述扩束系统、所述X/Y轴扫描振镜后依次透过所述二色镜、所述第二滤光片、所述针孔透镜、所述第一针孔并照射到所述第一光电探测器上；所述第一光电探测器将所述荧光信号转换成电信号，经由多通道采集控制板转换成数字信号后传输到计算机上。所述第二激光器产生的激光束经所述X/Y轴扫描振镜中的X扫描振镜反射照射到校正脉冲发生装置上；校正脉冲发生装置将光信号转换成电脉冲信号，经由多通道采集控制板转换成数字校正脉冲信号后传输到计算机上。计算机将数字图像信号与数字校正脉冲信号进行错位校正后生成内窥图像。

如图2所示，所述X/Y轴扫描振镜包括X轴扫描振镜10和Y轴扫描振镜20，所述校正脉冲发生装置包括第二针孔和第二光电探测器；其中，第一激光束由所述第一激光器产生，第二激光束由所述第二激光器产生；所述X轴扫描振镜10中的第一转子11，Y轴扫描振镜20中的第二转子21以及第二光电探测器均与所述多通道采集控制板电连接，第一转子11的端部安装X镜片12，第二转子21的端部安装Y镜片22，其中，X镜片12的偏转角度确定第一激光束光斑在样品表面X方向的位置，Y轴镜片的偏转角度确定第一激光束光斑在样品表面Y方向的位置。其中，第一激光束在X/Y轴扫描振镜的驱动下在样品上实现整个待成像范围内的扫描，计算机将扫描到的荧光信号拼接成完整的图像。其中，X镜片12的偏转角度还确定第二激光束光斑在第二针孔30表面Y方向的位置。其中第二激光束在X轴扫描振镜的驱动下在针孔的表面上实现Y方向的扫描。当第二激光束照射到第二针孔的透光部分时，第二激光束穿过第二针孔的透光部分照射到第二光电探测器40的感光部分，第二光电探测器将光信号转换成电脉冲信号经所述多通道采集卡转换成数字校正脉冲信号传输到计算机上。

其中，所述X轴扫描振镜10和Y轴扫描振镜20均为检流计式振镜。激光束经过X轴扫描振镜10上的X镜片12和Y轴扫描振镜20上的Y镜片22的反射实现光路的偏转。X轴扫描振镜10的偏转角度确定第一激光束光斑在样品表面X方向的位置和第二激光束光斑在针孔表面Y方向的位置，Y轴扫描振镜20的偏转角度确定光斑在样品表面Y方向的位置。其中，所述X轴扫描振镜10和Y轴扫描振镜20的偏转角度均由多通道采集控制板发出的控制电压决定。

在X轴扫描振镜10和Y轴扫描振镜20的驱动下激光束在样品表面的扫描方式如图3所示，即，所述系统在所述样品上采用“弓”字形的扫描方式采集多组图像信号，优选地，各组所述图像信号间等时间间隔。所述图像信号的成像段和换行段依次交错设置，其中，相邻所述成像段平行设置，相邻所述换行段平行设置。其中，图3中横向即X方向，纵向即Y方向。图3中黑色实线线段为成像段，黑色虚线段为换行段。在X轴扫描振镜10和Y轴扫描振镜20的运动过程中采集卡以固定的时间间隔采集像素点，并传给计算机，计算机将像素点按顺序拼接成一幅图像。

X轴扫描振镜10在一个往返周期可以形成两行图像，但是由于惯性的存在，X轴扫描振镜10由去程转到回程时有一个减速再反向加速的时间即转向时间，这个时间随着振幅、周期、温度等参数变化。由于转向时间的存在，采集卡按固定周期采集到像素点并不能跟实际的位置完全对应，拼接后的图像奇数行和偶数行会出现错位。而且由于X轴扫描振镜10的位置和采集卡采集信号开始时机也不能完全对应，会加剧奇偶行的错位。但是，本实施例所采用的扫描方式比现有技术如图4所示的扫描方式的扫描效率提高了一倍，因为图4中黑色实线表示成像段，黑色虚线表示换行段，换行段中采集的数据被直接丢弃，X轴扫描振镜10返程的路径不会成像，这样就不会出现奇偶行的图像错位的问题。但是由于X轴扫描振镜10在一个周期只生成一行的图像，因此，本实施例所采用的扫描方式比现有技术如图4所示的扫描方式的扫描效率提高了一倍。为了解决奇偶行错位的问题，并保持图像的采集效率，本实施例采用图3的扫描方式，并在计算机上根据校正脉冲发生装置生成的脉冲和图像像素之间的关系进行校正，达到奇偶行对齐的目的。

X轴扫描振镜一个往返周期第二激光束会经过第二针孔的透光部分两次，由于第二针孔的位置固定，X轴扫描振镜只有在特定的旋转角度θ时第二激光束才会透过第二针孔的透光部分照射到第二光电探测器上产生一个校正脉冲信号。X轴扫描振镜旋转角度θ时第一激光束在样品表面的X轴坐标是固定的。

如图5所示，图中两个实心圆是样品表面与校正脉冲同时被采集到的两个图像元素，图中两个空心圆是两个元素错位后的图像。本实施例共聚焦内窥镜成像错位校正系统在样品位置按照如图3所示的扫描方式采集N组图像信号，各组图像信号间等时间间隔。但是，开始采集图像的时刻和X轴扫描振镜扫描的起始时刻的时间间隔为N个采样周期。并且X轴扫描振镜的转向时间为X个采样周期。成像系统在一个采样周期内采集一个像素，所以样品上原本X轴坐标相同的两个特征在采集到的图像上错开的距离为2N+X个像素。

如图6所示，本实施例基于共聚焦内窥镜成像校正系统的校正方法，包括如下步骤：

步骤一，基于所述系统采集两行图像和两个错位校正脉冲信号。

具体为，第一激光器产生的激光束经所述第一滤光片、所述二色镜后进入所述X/Y轴扫描振镜；所述X/Y轴扫描振镜反射的光束经所述扩束系统和所述耦合物镜进入所述光纤束，将光束照射到组织表面的不同位置，并激发组织表面对应位置的荧光信号；所述荧光信号经由所述光纤束、所述耦合物镜、所述扩束系统、所述X/Y轴扫描振镜后透过所述二色镜和所述第二滤光片所述第一针孔照射到所述光电探测器上；所述光电探测器将所述荧光信号转换成电信号，经由多通道采集控制板转换成数字图像信号；述第二激光器产生的激光束经所述X/Y轴扫描振镜中的X扫描振镜反射照射到校正脉冲发生装置上；校正脉冲发生装置将光信号转换成电脉冲信号，经由多通道采集控制板转换成数字校正脉冲信号；由计算机将数字图像信号拼接成两行图像，则上述两行图像中的相关特征错位的距离∆L。

步骤二，找到两行图像中与两个错位校正脉冲同一时刻采集到的像素点，则两个像素点和横坐标差值即是图像的错位距离∆L。

其中，在本实施例校正系统采集N组图像信号时，各组图像信号间等时间间隔。但是，开始采集图像的时刻和X轴扫描振镜扫描的起始时刻的时间间隔为N个采样周期，并且X轴扫描振镜的转向时间为X个采样周期。成像系统在一个采样周期内采集一个像素，所以样品上原本在同一列的两个特征在采集到的图像上错开的距离为2N+X个像素；其中，所述∆L=2N+X。

步骤三，将偶数行单独移动∆L，并将超出图像边界的像素删除。

步骤四，重新拼接图像后，显示图像。

本申请利用对齐脉冲生成装置生成的对齐脉冲与内窥显微图像中特定像素的对应关系，以处理采集时间和X轴扫描振镜位置不同步以及检流计式振镜的转向时间引起的图像错位问题；其基于对齐脉冲信号与同时被采集到的样品上的特定横坐标位置的图像信号相对应，得到两行图像错位的距离，并通过移动偶数行像素纠正错位问题；本申请在保证采样效率的前提下校正图像的奇偶行错位问题，提高图像的质量，具有重要的应用价值。

以上实施例仅用以说明本申请的技术方案而非限定，参照较佳实施例对本申请进行了详细说明。本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围，均应涵盖在本申请的权利要求范围内。

Claims (3)

1.一种共聚焦内窥成像错位校正系统，其特征在于，所述系统包括：

第一激光器，第一滤光片、二色镜、第二激光器、X/Y轴扫描振镜、校正脉冲发生装置、扩束系统、耦合物镜、光纤束、第二滤光片、针孔透镜、针孔以及光电探测器以及多通道采集控制板；

所述第一激光器产生的激光束经所述第一滤光片、所述二色镜后进入所述X/Y轴扫描振镜；所述X/Y轴扫描振镜反射的光束经所述扩束系统和所述耦合物镜进入所述光纤束，将光束照射到组织表面的不同位置，并激发组织表面对应位置的荧光信号；

所述荧光信号经由所述光纤束、所述耦合物镜、所述扩束系统、所述X/Y轴扫描振镜后依次透过所述二色镜、所述第二滤光片、所述针孔透镜、所述针孔并照射到所述光电探测器上；

所述光电探测器将所述荧光信号转换成电信号，经由多通道采集控制板转换成数字图像信号；

所述第二激光器产生的激光束经所述X/Y轴扫描振镜中的X扫描振镜反射照射到校正脉冲发生装置上；

所述校正脉冲发生装置包括第二针孔和第二光电探测器，其中第二光电探测器与所述多通道采集控制板电连接；

所述校正脉冲发生装置将光信号转换成电脉冲信号，经由多通道采集控制板转换成数字校正脉冲信号后传输到计算机上，计算机将数字图像信号与数字校正脉冲信号进行错位校正后生成内窥图像；

所述系统的数字图像信号和数字校正脉冲信号开始采样时间相同，采样间隔相同；

基于所述系统的方法，其特征在于，包括：

基于所述系统采集两行图像和两个错位校正脉冲信号，则上述两行图像中的相关特征错位的距离为ΔL；

利用错位校正脉冲信号与图像信号像素之间的关系，找到两行图像中与两个错位校正脉冲同一时刻采集到的像素点，则两个像素点和横坐标差值即是图像的错位距离ΔL；

移动偶数行像素并删除超过图像边界的像素，重新拼接图像后显示。

2.根据权利要求1所述的系统的方法，其特征在于，包括：

基于所述系统采集两行图像和两个错位校正脉冲信号，则上述两行图像中的相关特征错位的距离为ΔL；

利用错位校正脉冲信号与图像信号像素之间的关系计算图像的错位距离；

移动偶数行像素并删除超过图像边界的像素，重新拼接图像后显示。

3.根据权利要求2所述的系统的方法，其特征在于，利用错位校正脉冲信号与图像信号像素之间的关系，找到两行图像中与两个错位校正脉冲同一时刻采集到的像素点，则两个像素点和横坐标差值即是图像的错位距离ΔL。