CN115717859A

CN115717859A - 一种点扫描光学系统激光标定方法及其装置

Info

Publication number: CN115717859A
Application number: CN202211435310.7A
Authority: CN
Inventors: 付鹏; 殷琪; 张�杰
Original assignee: Nanjing Boshi Medical Technology Co ltd
Current assignee: Nanjing Boshi Medical Technology Co ltd
Priority date: 2022-11-16
Filing date: 2022-11-16
Publication date: 2023-02-28
Anticipated expiration: 2042-11-16
Also published as: CN115717859B

Abstract

本发明公开了一种点扫描光学系统激光标定方法及其装置，其方法包括：选定两个扫描光学系统分别作为基准系统和待标定系统，所述基准系统和所述待标定系统具有独立的控制偏转镜方向的光路，且其中至少一个是点扫描光学系统；控制所述基准系统和所述待标定系统的光源分别发射出激光，形成光斑；对所述光斑信息进行实时成像；计算所述基准系统的光斑和所述待标定系统的光斑之间在图像上的偏移量，从而获得偏转镜的偏移量，将所述基准系统的光斑作为基准光斑，然后对所述待标定系统的偏转镜的控制信号上叠加所述偏转镜的偏移量，移动所述待标定系统的光斑，使得与所述基准光斑的位置在阈值范围内重合。本发明能够实现点扫描光学系统激光标定自动化。

Description

一种点扫描光学系统激光标定方法及其装置

技术领域

本发明涉及图像处理技术，尤其涉及一种点扫描光学系统激光标定方法及其装置。

背景技术

在一套包含点扫描成像系统和扫描激光治疗系统的光学系统中，使用图像进行手术规划功能是其最基本的功能，但在进行图像规划时若使该光学系统能够正常工作，就需要将成像系统和治疗系统协同工作时形成的扫描光斑在靶面位置完全同步。

但是在实际应用中，由于各个光学系统的设计和参数存在差异，用于调整扫描成像系统光斑位置的偏转镜在移动时，很难保证光斑在对应的成像范围内保持同步，甚至会出现运动方向完全相反的情况。例如，成像系统的偏转镜逆时针移动时，治疗系统的偏转镜需要顺时针移动，才能将治疗系统的视野范围与成像系统的视野范围重合，进而才能使两者组成的光学系统正常工作。因此，需要对两个及两个以上的偏转镜构成的扫描系统坐标系进行坐标标定。

传统的方法标定偏转镜坐标系是采用人工方式手动进行标定的，其主要步骤是：在成像系统目标靶面的投影平面上放置一个校准板即栅格板，先停止对两个扫描系统进行扫描，同时用可见光作为待调校成像系统的光源，此时校准板上会出现两个光斑；设其中一个扫描系统的光斑为基准光斑，并固定其位置；再设置另一个扫描系统的光斑为移动光斑，手动调整并调节所述移动光斑的位置，直至基准光斑和移动光斑在肉眼观察下完全重合，记录下此时两个扫描系统的偏转镜各自所在位置，由此得到的一组坐标值就是两个光学系统在目标处重合的偏转镜位置；接着移动基准光斑，重复上述标定过程。反复的重复上述步骤多次后就可以获得一张坐标位置标定表，根据这张坐标位置标定表再拟合出治疗系统相对于成像系统的视场平面。

利用上述的人工标定方法虽然可以得到比较好的坐标标定效果，但标定过程复杂、容易产生误操作、且标定精度有限。由于标定工作需要借助大量的手动操作来完成，因此工作量极大，完成坐标系标定所需的时间较长，并且不利于标定精度的进一步提高，而且，如果需要再进一步提高标定精度则会造成工作量成平方倍的增长。

因而，亟需研究一种能够对点扫描光学系统偏转镜坐标系进行自动标定的技术。

发明内容

有鉴于此，本发明的主要目的在于提供一种点扫描光学系统激光标定方法及其装置，以解决人工标定过程所需时间长、容易误操作、标定精度不高的问题。

为达到上述目的，本发明的技术方案如下：

一种点扫描光学系统激光标定方法，包括如下步骤：

A、选定两个扫描光学系统分别作为基准系统和待标定系统，所述基准系统和所述待标定系统具有独立的控制偏转镜方向的光路，且其中至少一个是点扫描光学系统；

B、控制所述基准系统和所述待标定系统的光源分别发射出激光，形成光斑；对所述光斑信息进行实时成像；

C、计算所述基准系统的光斑和所述待标定系统的光斑之间在图像上的偏移量，从而获得偏转镜的偏移量，将所述基准系统的光斑作为基准光斑，然后对所述待标定系统的偏转镜的控制信号上叠加所述偏转镜的偏移量，移动所述待标定系统的光斑，使得与所述基准光斑的位置在阈值范围内重合。

进一步的，步骤A所述两个扫描光学系统分别为点扫描成像系统和扫描激光治疗系统。

进一步的，步骤B具体包括：

B1、打开所述基准系统的光源，保持所述待标定系统的光源关闭，将所述基准系统的偏转镜移动到预设的起始标定位置；实时获得所述基准系统的光斑图像；

B2、关闭所述基准系统的光源，打开所述待标定系统的光源，实时获得所述待标定系统的光斑图像。

进一步的，步骤C具体包括：

C1、分别对所述基准系统的光斑图像和所述待标定系统的光斑图像进行处理得到两者的切片图像；然后对两者的切片图像做互相关运算，从而获得基准系统光斑与待标定系统光斑之间在切片图像中的位置偏移量，再加上两者的切片图像之间的位置偏移量，就得到基准系统光斑与待标定系统光斑之间在图像上的位置偏移量(dx,dy)；再对所述位置偏移量(dx,dy)乘上一个预设的比例系数后，得到偏转镜偏移量(k_x*dx,k_y*dy)，其中参数k_x、k_y分别代表在X、Y方向的比例系数；对所述待标定系统的偏转镜叠加上所述偏转镜偏移量；

C2、如所述待标定系统的光斑不能和所述基准光斑的位置重合，则继续实时获得所述待标定系统光斑图像，重复步骤C1，调整所述待标定系统的偏转镜，直到所述待标定系统的光斑与所述基准光斑的位置在阈值范围内重合为止。

进一步的，步骤C1所述的对所述基准系统的光斑图像和所述待标定系统的光斑图像进行处理得到两者的切片图像，具体是：对所述基准系统的光斑图像和所述待标定系统的光斑图像进行去背景化处理和切片处理，得到两者的切片图像。

进一步的，所述步骤B之前还包括：关闭基准系统和待标定系统的光源，先采集背景图像。

进一步的，还包括：

D、改变所述基准光斑的位置，重复执行所述B和步骤C，记录下每次使所述待标定系统的光斑与所述基准光斑重合时的基准系统的偏转镜偏移量和待标定系统的偏转镜偏移量，并存入坐标转换表中。

一种点扫描光学系统激光标定装置，包括数据处理系统、成像系统和光学系统；其中：

所述数据处理系统，利用图像接收模块接收通过所述光学系统的光源在所述成像系统中产生的图像数据，并利用图像处理模块对接收的图像数据进行处理，以获得激光光斑在图像上的偏移量及偏转镜偏移量，生成光路控制信号；

所述光学系统，包括至少一个基准系统和一个待标定系统，所述基准系统和所述待标定系统具有独立的控制偏转镜方向的光路，且其中至少一个是点扫描光学系统；所述光学系统利用所述光路控制信号独立地对基准系统或/和待标定系统的激光光路进行位置调整，所述激光光路在成像系统上形成激光光斑，从而产生所述的图像数据。

进一步的，所述图像处理模块将基准系统光斑与待标定系统光斑之间在图像上的位置偏移量乘上一个预设的比例系数，得到偏转镜偏移量。

进一步的，所述光学系统还包括光路控制模块，用于接收所述光路控制信号，对所述基准系统或/和所述待标定系统的激光光路分别进行调整。

本发明的点扫描光学系统激光标定方法及其装置，具有如下有益效果：

1)本发明方案采用成像系统代替白板装置，采用计算机结合图像处理技术取代人工标定方法，利用成像系统采集基准光斑和待标定光斑的所在位置，并将图像数据发送到计算机；利用计算机计算出两光斑之间的相对位置，并调整系统中偏转镜(振镜)的偏转角度，然后自动记录光斑重合时基准系统和待标定系统的偏转镜所处位置对应的坐标。采用该自动标定方法，通过图像处理算法进行快速计算，可以完全取代肉眼观察和标定的过程，从而实现测量和标定过程的快速自动化，并且解决了传统方法标定过程时间长、容易误操作和人工标定精度不高的问题，降低了坐标标定对操作员的难度要求，并为进一步提高标定速度和精度提供了优化的可能。

2)相较于传统的人工标定方式，如目前采用的白板显示法，由于需要人工操作，完成每个操作动作所需的时间都在秒级。当把坐标转变表设置为50*50的平面阵列时，传统的标定方式完成一张表大约需要10～16小时。采用本发明使用计算机和成像系统替换人工和白板后，以目前使用的22帧频左右的相机为例，每一次标定过程需要10～15帧，因此对于50*50＝2500的标定表，标定完成一张表仅需19～28分钟。实际应用中，标定完一张表的平均时间在25分钟左右，由此可见，采用自动标定方式的工作效率较人工方式平均提高了30多倍。若要提高标定速度，人工标定方式只能选择增加人数增大工作量的方式，而采用本发明的自动标定方法，只需简单的通过选择提高相机的帧频，或选取更合适的比例系数K，就能够方便的提高坐标位置的标定速度。

3)采用本发明，还能够进一步提高标定精度。本发明的实施例中，每次操作执行所需的最小时间单元取决与数字相机两帧图像之间的时间间隔，即帧频。目前使用最广泛的简易人工标定方式，通常只取3、4个点进行标定，而本方法实际使用时，一般是在短时间内自动标定几百个点，如此一来，标定结果的稳定程度提高了上百倍，而且，还可以通过提高激光器的性能提高激光光源特性进一步缩小光斑的面积，来进一步提升标定精度。

(4)本发明的应用场景广泛，适用于多种扫描系统，可在眼科或内窥的激光治疗系统中使用，具有良好的应用前景。

附图说明

图1为本发明实施例的点扫描光学系统激光标定装置功能方框图；

图2为本发明实施例的点扫描光学系统激光标定装置原理示意图；

图3为本发明实施例中计算两个光斑之间像素距离的原理示意图；

图4为本发明实施例中对两个光斑进行移动使光斑重合的过程示意图；

图5为采用本发明实施例的坐标标定方法使光斑铺满视场范围的过程示意图；

图6为点扫描光学系统激光标定装置的光路示意图；

图7为本发明实施例的点扫描光学系统激光标定方法流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明作进一步详细的说明。

图1为本发明实施例的点扫描光学系统激光标定系统功能方框图。

如图1所示，该点扫描光学系统激光标定系统，主要包含计算机(PC)、数字相机和两个扫描光学系统，这两个扫描光学系统中至少有一个是点扫描系统。

在本发明实施例中所述的自动标定系统，支持对由2个及2个以上的扫描系统构成的光学系统进行坐标标定。但是，由于在对包含大于2个的扫描系统的光学系统进行坐标标定时，仍然是通过两两标定的方式来实现的。因此，在以下的实施例中，以由两个扫描系统构成的扫描系统组为例对偏转镜坐标系进行标定的过程进行说明。

图2为本发明实施例的点扫描光学系统激光标定系统原理示意图。

如图2所示，该点扫描光学系统激光标定系统，包含计算机、数字相机和光学系统。其中：

所述计算机中配置有用于接收图像信号的图像接收模块(图2未示出，可参考图7)和对图像数据进行处理的图像处理模块。

所述的光学系统，包含扫描系统组和光路控制模块。所述扫描系统组，进一步包含两个独立的扫描系统。为描述方便，图2中仅示出了该两个独立的扫描系统各自的光路结构，即第一子扫描光路和第二子扫描光路。所述第一子扫描光路和第二子扫描光路为两个扫描系统的光路，所述两个子扫描光路各自独立。所述第一子扫描光路和第二子扫描光路，是通过接收由光学系统的光路控制模块发来的两路偏转镜偏移信号，向目标处发射出的两路独立的光源。这两路光源，透过同一组透镜平行地打在目标(如白板或感光平面)上，因此，只要使两路光源打在目标上的两个光斑在调校面上重合，就说明它们的扫描点位置是重合的，与目标的形状无关。

本发明实施例中采用的光源优选激光光源，由于激光的高亮度、单色性、方向性好和相干性特性非可见光可比，直观表现在，标定过程中产生的光斑面积远小于可见光光斑，因此标定精度远高于传统的可见光源。并且，可见光的波长范围较宽(谱线宽度大)、频率范围宽，表现出的颜色较杂，相较于可见光，激光的频率高、波长范围窄(谱线宽度小)，通过提高激光器的性能改进激光光源特性还可进一步缩小光斑的面积，因而能够进一步提升标定精度。

所述的计算机，用于接收数字相机发出的包含上述光斑信息的图像信号，利用图像处理模块结合相应的图像处理算法输出控制信号，然后再将控制信号反馈给光路控制模块的数字信号处理模块，用于产生两路偏转镜偏移信号去控制所述光学系统的偏转镜，进而通过控制器1和控制器2控制第一子扫描光路和第二子扫描光路，调整在数字相机感光平面上的光斑的移动方向和移动的像素距离。

具体在本发明实施例中，将传统人工坐标标定法中采用的标定板替换为数字相机，这样，原本打在白板上的光斑，即可通过在所述相机感光平面实现成像，数字相机采集图像并发送给计算机的图像处理模块，利用互相关算法计算并重新控制光学系统的偏转镜(主要用于调整光斑的移动方向和像素距离)，从而实现闭环控制，为实现坐标的自动标定功能和稳定标定精度提供了技术保障。

在本发明实施例中，需要利用所述计算机对光学系统中的以下器件进行控制：1)激光光源；2)两个扫描系统各自在X、Y方向上的偏转镜。

在标定开始前，可以先手动确定光斑大小和亮度范围，光斑的大小和亮度强弱会影响光斑的质心计算，进而影响标定精度。

对任意一个位置点进行坐标标定前，首先需要设定其中一个扫描系统的光斑作为基准光斑，基准光斑在本次的坐标标定开始前确定好位置之后不再变动；将另一个扫描系统的光斑作为移动光斑，需要不断地向基准光斑变换位置靠近。

当计算机在接收到所述两个光斑的图像后，计算出两光斑之间的位置偏移量(dx,dy)，即表现为像素距离，如图3所示。

将得到的像素距离分别乘上一个比例系数K(可为负数，负数表示的意义即为偏转镜的偏移方向与像素距离的偏移方向相反)，由此得到偏转镜的偏移值(K_X*dx，K_Y*dy)。比例系数的确定需要手动调整，最佳的比例系数是能够在偏转镜按照计算得到的偏转镜偏移值进行调整后，直接使得将两个光斑重合。其中，参数K_X、K_Y分别代表在X、Y方向的比例系数。

由于扫描系统得到视场平面可能有扭曲，所以移动光斑需要反复经过多次“计算-移动”的过程才能使两个光斑重合，如图4所示。因此，这是一个不断逼近的过程。

逼近过程中两光斑的距离可能会越来越远，这时需要动态调整上述比例系数K的值使它们趋于重合。

当最终在两光斑重合后，记录下两个扫描系统此时各自偏转镜的偏移值，成对填入坐标标定表中。

以上过程只是对平面中其中一个位置的坐标位置的标定过程，每当一次标定过程完成后，需要再次移动基准光斑，进行下一位置的坐标标定。

上述的坐标标定过程需要反复进行，最终以使光斑分布范围铺满整个需要的视场范围(参考图5)，得到整个平面的标定表数据为准。

标定表中相邻两点之间的点位置可由线性插值法计算得到，基准光斑的移动距离/步长则决定了标定表拟合的精度。

上述坐标标定过程对光学系统中的具体光路实现并不关心，本发明只关心光学系统造成偏差/误差的两个因素：1)移动偏转镜时图像上光斑的移动方向；2)移动偏转镜时图像上光斑移动的像素距离。

图6为图2所示的光学系统的原理示意图。

参考图2，本发明实施例的点扫描光学系统激光标定系统中，整个系统包括三大部分，即数字相机(如CCD相机)、计算机和光学系统(本发明以点扫描成像系统和扫描激光治疗系统构成的光学系统为例进行说明)，其两两之间均存在连接及控制关系。

本发明实施例中，CCD相机通过USB数据线与计算机相连。CCD相机的主要作用是将从扫描系统获取的光路信号形成的图像数据(包含背景图像、一个或两个激光光斑的图像的情形)经计算机中的数据接收模块传输到图像处理模块(见图2，图6中未示出)，然后进一步进行图像处理。

如图6所示，计算机通过各自的专用接口线分别连接到光学系统中的成像光源、治疗光源和2副偏转镜(每副偏转镜各包含2个偏转镜片，共计4个偏转镜片)，计算机则依据控制算法在需要时对上述6个器件进行分别控制。在本发明实施例中，光学系统的振镜、激光光源等器件，也可通过光路控制模块进行控制。

CCD相机被固定设置在光学系统的目镜前，以便接收从光学系统的扫描系统组中发出的两路激光(即第一子扫描光路和第二子扫描光路)在该相机中生成图像数据。为便于控制和保证标定精度，本发明实施例中，将由所述光路控制模块控制的激光成像光路的方向设定为X、Y两个自由度。

本实施例中，计算机被配置为主控设备，用于对所述坐标系的自动标定系统的另外两个部分即CCD相机和光学系统进行闭环控制。

图7为本发明实施例的点扫描光学系统激光标定方法流程图。

在标定步骤开始之前，需要做如下准备工作，包括：1)计算机在标定过程开始之前，首先要打开图像接收模块，以确认成像激光光斑和治疗激光光斑大小及形状是否合适(比如形状、大小是否匹配)，若光斑形状过大或者亮度不合适，则需要调整光源亮度或光学系统；2)配置此次坐标标定的范围，保证标定过程中光斑不会跳出CCD相机的成像区域。

如图7所示，该点扫描光学系统激光标定方法，主要包括如下步骤(以单次坐标标定的过程为例进行说明)：

步骤71：关闭成像光源和治疗光源，利用图像接收模块接收来自所述CCD相机的第一图像，将其作为背景图像并保存在存储器中。

在本发明的实施例中，可将包含成像光源的点扫描成像系统作为基准(主)系统，将包含治疗光源的扫描激光治疗系统作为移动(辅)系统。在另一实施例中，也可以将二者角色调换进行坐标标定，即也可以将包含治疗光源的扫描激光治疗系统作为主系统，将包含成像光源的点扫描成像系统作为辅系统。

步骤72：利用计算机或人工将点扫描成像系统的偏转镜移动到预设的角度，使得光斑位于起始标定位置。

这里，该步骤72的操作过程不能合并到步骤71中对第一图像的操作里，因为标定下一个位置时还需要跳转到该标定位置。

步骤73：打开成像光源，利用图像接收模块接收来自CCD相机的第二图像，接收的图像中会出现一个光斑。

在该步骤73中，首先需要对该第二图像进行去背景化处理，即去除第一图像，为了降低快速傅立叶变换(FFT)运算所需时间，还需要通过区域划分算法找到光斑的切片图像(如宽高为128*128)，然后对成像光斑切片做FFT预处理(得到频域图像)。

步骤74：关闭成像光源，打开治疗光源，通过图像接收模块接收来自CCD相机的第三图像。

在该步骤74中，当治疗光源打开后，治疗光斑可能会出现在图像的任何位置(但不超出相机的成像范围)。此时，需要对该第三图像进行去背景化处理，找到治疗光斑切片图像(如宽高为128*128)，然后对两个图像(即从步骤73中得到的成像光斑切片图像和经背景处理后得到的治疗光斑切片图像)做互相关(cross-correlation)运算，以获得光斑在切片图像中的位置偏移量，再加上切片图像之间的位置偏移量，就得到了两个光斑之间在整个图像上的位置偏移量(dx,dy)。再对所述治疗光斑偏移乘上一个预设的比例系数后，得到偏转镜偏移量(k_x*dx,k_y*dy)，对治疗的偏转镜叠加上偏转镜的偏移量(相当于对治疗激光施加偏移)。

进一步地，在本发明实施例中，上述对图像数据进行处理的过程中，对区域划分法的网格间距、互相关运算使用的切片图像宽或高、对坐标偏移进行的线性变换比例系数等的设定，可根据需要进行配置，或者预设好后将相应的配置参数存储在存储器中，需要时直接调用即可。

步骤75：继续通过图像接收模块接收来自数字相机的图像，此时治疗光斑已经移动了一定距离，但由于光学系统的扭曲或比例系数选取不当，可能两个光斑还没有重合，因此仍都需要继续计算两光斑之间的光斑距离，继续调整治疗偏转镜，直到两个光斑在阈值范围内重合，即完全重合或者部分重合为止。

步骤76：当所述两光斑重合后，记录下此时的成像偏转镜偏移量和治疗偏转镜偏移量，保存到坐标转换表中。

上述步骤72～步骤76为一个位置的标定过程，完整的一个标定过程包含多个待标定的位置。因此，实际应用中的一个完整的标定过程，还需要跳转到步骤72，设定基准光斑的下一位置，继续标定下一位置的坐标(此时，需要重新打开成像激光光源，保持治疗光源关闭)，然后，反复的重复执行步骤72～步骤76，直至全部位置标定完毕。

步骤77：当全部位置标定完成后，标定过程结束，此时，即可得到完整的坐标转换表。

这里，所述的坐标转换表中包含两组数据，第一组数据是成像偏转镜的x、y坐标。第二组数据是治疗偏转镜的x、y坐标，其中扫描成像坐标是预先设定的基准坐标序列，扫描治疗坐标则由前述基准坐标序列进行标定得到。

在查询坐标转换表时，一般已知的扫描成像坐标都不会刚好落在预设基准坐标上，这时需要假设基准坐标之间是线性的，通过双线性插值计算进行拟合，以得到实际需要的扫描治疗转换坐标值。

此外，由于标定时对某些点有可能存在一些计算误差，在查询坐标转换表时，对于那些计算错误的区域直接查表会引入误差并对设备的使用效果造成影响，因此本实施例优选的在获得标定表后，用最小二乘法将标定表转换为3x3的单应性变换矩阵(HomographyMatrix)，将单应性变换矩阵作为标定的结果，使用时通过单应性变换矩阵进行坐标转换，以此来消除标定的计算误差，进一步提高标定的精度。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种点扫描光学系统激光标定方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种点扫描光学系统激光标定方法，其特征在于，步骤A所述两个扫描光学系统分别为点扫描成像系统和扫描激光治疗系统。

3.根据权利要求1所述的一种点扫描光学系统激光标定方法，其特征在于，步骤B具体包括：

4.根据权利要求1所述的一种点扫描光学系统激光标定方法，其特征在于，步骤C具体包括：

5.根据权利要求4所述的一种点扫描光学系统激光标定方法，其特征在于，步骤C1所述的对所述基准系统的光斑图像和所述待标定系统的光斑图像进行处理得到两者的切片图像，具体是：对所述基准系统的光斑图像和所述待标定系统的光斑图像进行去背景化处理和切片处理，得到两者的切片图像。

6.根据权利要求1所述的一种点扫描光学系统激光标定方法，其特征在于，所述步骤B之前还包括：关闭基准系统和待标定系统的光源，先采集背景图像。

7.根据权利要求1所述的一种点扫描光学系统激光标定方法，其特征在于，还包括：

8.一种点扫描光学系统激光标定装置，其特征在于，包括数据处理系统、成像系统和光学系统；其中：

9.根据权利要求8所述的一种点扫描光学系统激光标定装置，其特征在于，所述图像处理模块将基准系统光斑与待标定系统光斑之间在图像上的位置偏移量乘上一个预设的比例系数，得到偏转镜偏移量。

10.根据权利要求8所述的一种点扫描光学系统激光标定装置，其特征在于，所述光学系统还包括光路控制模块，用于接收所述光路控制信号，对所述基准系统或/和所述待标定系统的激光光路分别进行调整。