CN110200582B - 一种基于眼底成像技术的激光束控制系统及其方法 - Google Patents
一种基于眼底成像技术的激光束控制系统及其方法 Download PDFInfo
- Publication number
- CN110200582B CN110200582B CN201910592828.3A CN201910592828A CN110200582B CN 110200582 B CN110200582 B CN 110200582B CN 201910592828 A CN201910592828 A CN 201910592828A CN 110200582 B CN110200582 B CN 110200582B
- Authority
- CN
- China
- Prior art keywords
- fundus
- frame
- sub
- control arm
- motion signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/007—Methods or devices for eye surgery
- A61F9/008—Methods or devices for eye surgery using laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/007—Methods or devices for eye surgery
- A61F9/008—Methods or devices for eye surgery using laser
- A61F2009/00844—Feedback systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
本发明公开了一种基于眼底成像技术的激光束控制系统及其方法,包括主系统和辅系统;在扫描成像系统中,所述主系统被配置为通过倍频方式捕捉更高频率的眼底运动信号;通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系,将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值。采用本发明,在扫描成像系统中,通过倍频方式捕捉更高频率的眼底运动信息,以降低时间延迟,提高激光臂控制辅系统的聚焦激光束在眼底的空间精度。
Description
技术领域
本发明涉及医学领域的眼底目标跟踪及视网膜成像稳像技术,尤其涉及一种基于眼底成像技术的激光束控制系统及其方法。
背景技术
现有基于图像系统的眼底激光束控制系统中,通常有一个用于眼底横向成像的主成像系统(简称主系统),比如传统的眼底相机(Fundus Camera)、线扫描眼底相机(LineScan Ophthalmoscope,LSO),共焦扫描眼底相机(Confocal Scanning LightOphthalmoscope,cSLO),自适应光学眼底相机(flood-illuminated adaptive opticsretinal imaging),自适应光学LSO(AO-LSO),或者自适应光学SLO(AO-SLO)。然后在主系统的导航下,集成一个辅成像系统(简称辅系统)。辅系统可用于将一个聚焦的激光束投射到眼底做眼底/视网膜激光治疗,也可以将该聚焦激光束以扫描的工作方式在眼底纵向穿透(垂直于眼底的切面)成像,比如OCT成像,还也可以用于其他目的。
以上所述的主系统,通常包含至少三个重要功能:(1)通过记录的眼底图像为临床工作者提供眼底病理区信息;(2)允许临床工作者以主系统的图像作为一个参考基准,在主系统的图像上选择辅系统欲操作的病理区;(3)以主系统作为导航,通过主系统动态图像捕捉眼底运动信号,然后将主系统的眼底运动信号通过特定的空间变换关系转化到辅系统的激光控制臂,使得辅系统能根据主系统的眼底运动信号动态调整激光控制臂的参数,将辅系统的聚焦激光束投递到指定的眼底位置。但上述现有技术存在如下两个明显的缺陷:
1)由于眼球的随机运动,主系统成像系统的眼底动态影像(图像和视频)往往也是随时间在随机漂移并且经常伴随着旋转。这种随机漂移的动态影像给手术操作人员在主系统上选择病理区带来诸多不便。由于病理区的位置一样飘忽不定,比如在眼底治疗进行激光打击的过程中,这种情况难以让手术操作人员精确定位辅系统欲打击的眼底位置。
2)上述现有主系统眼底横向成像系统,图像帧频通常在25~30帧/秒。现有计算眼底运动信号的算法通常以帧为单位,比如每一帧图像,应用互相关(Cross Correlation)算法可给出一组(x,y,θ),其中(x,y)是平移量,θ是旋转量。但是,眼球和头部运动导致眼底图像的运动频谱往往覆盖着相当大的范围。基于现有普通以25~30Hz帧频的主系统的图像处理的现有算法,难以捕捉到较高频率的眼底运动,从而无法足够精确控制辅系统激光臂的空间位置,导致了辅系统激光束落到指定眼底位置的空间精度较差。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于眼底成像技术的激光束控制系统及其方法,在扫描成像系统中,通过倍频方式捕捉更高频率的眼底运动信息,以降低时间延迟,提高激光臂控制辅系统的聚焦激光束在眼底的空间精度。
为达到上述目的,本发明的技术方案如下:
一种基于眼底成像技术的激光束控制系统,包括主系统和辅系统;在扫描成像系统中,所述主系统被配置为通过倍频方式捕捉更高频率的眼底运动信号;通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系,将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值。
其中,所述主系统通过倍频方式捕捉更高频率的眼底运动信号的计算过程包括:
a、利用线扫描眼底相机获得眼底图像,并将参考帧和目标帧的每一帧图像按照扫描相机达到的数据按照时间顺序划分为多个等间距的亚帧元,设置每个亚帧元至少包含两根扫描线;
b、利用计算处理单元接收最新的亚帧元数据,启动预设的算法计算当前亚帧元相对于所述参考帧的位置,或定位目标帧的亚帧元与参考帧的亚帧元的相对位置;
c、采用倍频技术,设置扫描信号和帧同步信号使其同步触发线扫描相机得到与扫描信号同步的亚帧元图像;根据每个亚帧元到达主机系统的先后顺序,实时计算每个亚帧元包含的眼底运动信号。
眼底运动信号(xi,yi,θi)与所述辅系统的激光控制臂的参数(Xi,Yi)之间的空间坐标变换关系,具体为:
(Xi,Yi)=g(x,y,θ;X,Y)(xi,yi,θi) (1)
其中:g(x,y,θ;X,Y)为空间坐标变换关系;(xi,yi)为从主系统以倍频方式捕捉到高频率的眼底运动信号的平移量,θi为眼底运动的旋转量;(Xi,Yi)为辅系统的激光控制臂的平移量。
将所述扫描眼底相机的倍频提高M倍,所述M为正整数。
一种基于眼底成像技术的激光束控制方法,包括如下步骤:
A、在集成有辅系统的眼底成像扫描成像系统中,将主系统配置为通过倍频方式捕捉更高频率的眼底运动信号;
B、通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系,将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值。
其中,所述主系统通过倍频方式捕捉更高频率的眼底运动信号的计算过程包括:
A1、利用线扫描眼底相机获得眼底图像,并将参考帧和目标帧的每一帧图像按照扫描相机达到的数据按照时间顺序划分为多个等间距的亚帧元,设置每个亚帧元至少包含两根扫描线;
A2、利用计算处理单元接收最新的亚帧元数据,启动预设的算法计算当前亚帧元相对于所述参考帧的位置,或定位目标帧的亚帧元与参考帧的亚帧元的相对位置;
A3、采用倍频技术,设置扫描信号和帧同步信号使其同步触发线扫描相机得到与扫描信号同步的亚帧元图像;根据每个亚帧元到达主机系统的先后顺序,实时计算每个亚帧元包含的眼底运动信号
步骤B所述眼底运动信号(xi,yi,θi)与辅系统的激光控制臂的参数(Xi,Yi)之间的空间坐标变换关系,具体为:
(Xi,Yi)=g(x,y,θ;X,Y)(xi,yi,θi) (1)
其中:g(x,y,θ;X,Y)为空间坐标变换关系;(xi,yi)为从主系统以倍频方式捕捉到高频率的眼底运动信号的平移量,θi为眼底运动的旋转量;(Xi,Yi)为辅系统的激光控制臂的平移量。
本发明基于眼底成像技术的目标跟踪控制系统及其方法,具有如下有益效果:
1)采用本发明,通过在主系统中应用实时稳像方法,动态补偿随机眼底运动,在成像系统上提供视觉上稳定的眼底动态视频,方便操作人员高效、精确完成病理区的选择,进行激光打击参数(如光斑大小、空间位置、相邻时间/空间间隔、曝光时间等)的设定或者OCT扫描区域的精确定位。
2)采用本发明,可以在某些眼底成像系统比如非扫描的主系统眼底相机中,在不用大幅度提高眼底激光辐射量的情况下,适当提高(2倍~4倍)图像帧频来捕捉更高频率的眼底运动信息。在另外一些成像系统比如扫描成像系统中,可以通过倍频方式来捕捉更高频率的眼底运动信息。更高的采样频率带来的效果是更短的时间延迟,更高的辅系统激光束空间控制精度。
3)应用本发明,还能够在激光打击的应用中,提供离线病理区编辑方法,允许用户从已有的病人眼底图数据库生成一张主系统参考图。在该参考图中选择和编辑激光打击参数,然后把这张带病理区参数的参考图像导入主控软件,使得接下来的眼底激光打击按照设定的参数手动、半自动、或者全自动进行。
4)本发明的技术,还支持结合不同的主系统光学成像系统,实现同样的辅系统眼底激光打击或者OCT成像。所述的光学成像系统中,可应用(包括但不限于)如下产品:工业的眼底相机(Fundus Camera)、线扫描眼底相机(Line Scan Ophthalmoscope,LSO)、共焦扫描眼底相机(Confocal Scanning Light Ophthalmoscope,cSLO)、自适应光学眼底相机(flood-illuminated adaptive optics retinal imaging),自适应光学LSO(AO-LSO)、自适应光学SLO(AO-SLO)相机,上述相机均可与本发明完全兼容。利用本发明的辅系统进行激光束控制,可以进行高精度的眼底激光单点打击或阵列打击;也可以利用本发明的辅系统,用于进行OCT扫描,也可以用于其他的光机电系统应用。
附图说明
图1为本发明实施例集成了眼底激光治疗功能的眼底成像系统示意图;
图2为使用两个可以在正交运动轴方向上单独运动的倾斜镜实现光斑在二维平面上的运动示意图;
图3为使用一个带两个正交运动轴的倾斜镜实现光斑在二维平面上的运动示意图;
图4为一个模块1得到的一个眼底SLO图像示意图;
图5为一个从模块1得到的一个眼底AO-SLO图像示意图;
图6为以帧位单位从图像中计算眼底的运动量(xi,yi,θi)的过程示意图;
图7为一个在图1所示实施例基础上用于精确标定空间(坐标)变换关系g(x,y,θ;X,Y)的光学系统示意图;
图8为根据现有工程样机实测得到的一组主、辅系统的空间变换关系;
图9为本发明实施例采用倍频技术提高降低眼底计算的时间延迟示意图;
图10为本发明实施例一个控制精度和采样时间间隔的示意图;
图11为根据图6得到的(xi,yi,θi)把非扫描的图像f1,f2,…,fn“拉直”到参考面f0的示意图;
图12为根据图9得到的扫描模式的(xi,m,yi,m,θi,m)将扫描的图像fk“拉直”到参考面f0的示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明作进一步详细的说明。
图1为本发明实施例集成了眼底激光治疗功能的眼底成像系统示意图。该眼底成像系统的光学结构部分类似于德国OD-OS Global的Navalis眼底激光治疗系统。
如图1所示,模块1为眼底成像系统即主系统,模块2为治疗激光控制系统即辅系统,模块3为聚焦透镜,模块4为眼底即视网膜。
上述模块1中,成像光源11可以是单色光也可以是白光,经过准直透镜12后被分光镜13部分反射到中继成像光源和治疗光源的分光镜25然后进入眼底4。从眼底反射回来的光部分透射过分光镜25和分光镜13进入聚焦透镜14,最后被眼底相机15接收。所述眼底相机数据被主控机16接收、显示并保存,具体地,所述主控机16可以是一个PC或者平板电脑等。
上述模块2中,瞄准光源21和治疗光源22经过特定的光学装置从同一个空间位置进入治疗光系统即辅系统。这两个光源通常受到主控机器16的控制包括开关状态、输出功率等参数。瞄准光的功率通常比较低,通过眼底相机的实时图像为手术操作者提供一个欲打击的眼底参考位置,然后启动治疗激光将较大功率的激光输送到这个瞄准光显示的参考位置。这个过程目前通常称为光凝(photocoagulation)。可以理解,由于在不同的工程实施场景,瞄准光和治疗光往往不在同一个眼底空间位置,这种误差和多种因素有关,我们在下文中继续进行描述。
模块2的光源经过光斑大小控制装置23,中继到光斑位置控制装置24,再经过分光镜25,最后聚焦到眼底4。
如上所述,装置23用于控制光斑在眼底上的大小,通常为50微米~1000微米的尺寸。装置24通常是一对一维的倾斜镜或者一个二维的倾斜镜,用于控制光斑在眼底的横向空间位置。光斑的开关状态通过主机控制。
为了实现二维横向空间位置的控制,装置24通常使用两个可以在正交运动轴方向上单独运动的倾斜镜,如图2,或者一个带两个正交运动轴的倾斜镜,如图3。
图1中模块1可以是一个眼底相机(Fundus Camera),也可以用线扫描眼底相机(Line Scan Ophthalmoscope,LSO)、共焦扫描眼底相机(Confocal Scanning LightOphthalmoscope,cSLO)、自适应光学眼底相机(flood-illuminated adaptive opticsretinal imaging)、自适应光学LSO
(AO-LSO)、自适应光学SLO(AO-SLO)中的任意一类光学系统替代,最终目的是获取一个眼底横向动态图。所述自适应光学眼底相机、自适应光学LSO、自适应光学SLO的工作原理和传统眼底相机(Fundus Camera)、LSO、cSLO类似,主要区别在于前者集成了自适应光学技术用于实时补偿眼球象差从而提高系统光学分辨率到单细胞的水平。
模块2显示的是一个眼底激光治疗系统,用于让聚焦激光束对眼底实现单点或者阵列打击。模块2也可以是一个类似OCT的眼底扫描成像系统,在这种情况下,图2或者图3的扫描镜一方面用于周期规则扫描实现OCT的B-scan和C-scan,然后在B-scan或者C-scan上叠加从模块1反馈过来的眼底位置信息,使得B-scan和C-scan可以跟踪眼底位置。
图4为一个模块1得到的一个眼底SLO图像示意图。在该实施例中,模块1用的是传统广角SLO。
图5为一个从模块1得到的一个眼底AO-SLO图像示意图。在该实施例中模块1用的是自适应光学SLO。
如图5所示,图像中的白点是眼底感光细胞,中间的弯曲黑色阴影是血管阴影。图5所示相当于对图4的白色方框位置进行局部光学放大。
如上所述,为了精确控制辅系统的激光臂使得聚焦激光束落到眼底的指定空间位置,首先需要通过主系统,以成像影像(图像或视频)为依据计算眼底位置随时间的变化关系。现有的计算眼底运动信号的算法通常以帧位单位,对于每一帧图像,采用互相关(CrossCorrelation)算法可给出一组(x,y,θ),其中(x,y)是平移量,θ是旋转量。请参考图6。
图6为以帧位单位从图像中计算眼底的运动量(xi,yi,θi)的过程示意图。
如图6所示,假设第一幅图像f0是主系统参考图像,f0可以是时间顺序上紧挨着图6的当前帧f1的前一帧,也可以是之前获得的任意单帧图像或者处理过的同一个病人相近眼底位置的图像。在接下来的时间顺序里(1,2,…,n),主系统连续收到n帧图像。常用方法是以f0作为基准,然后把fi(i=1,2,3,…,n)和f0逐个做互相关,获得每一帧图像fi相对于f0的空间位置(xi,yi,θi),其中(xi,yi)是平移量,θi是旋转量。这些(xi,yi,θi)就代表了眼底随时间的变化,因为这里的下角标i代表时间序列。从图6的示意图可以看到,如果我们定义每帧图像的图像中心坐标和正交点划线的中心重合,那么眼底位置随时间就产生漂移,比如圆圈位置代表着黄斑区的位置就是随着时间在漂移。显然,f1相对于参考面f0有相对运动量(x1,y1,θ1),f2相对于参考面f0有相对运动量(x2,y2,θ2),fn相对于参考面f0有相对运动量(xn,yn,θn)等。
一般情况下,一个典型的主系统成像系统的帧频是25Hz,也就是说,如果以图6所示的图像的帧作为单位,主系统的算法每间隔40毫秒输出一组(xi,yi,θi)。
视临床需求不同,根据主系统和辅系统特定的光学设计,两者可以有不同的放大倍数,不同的旋转方向等。显然,主系统和辅系统应该指向同一个眼底位置,不管辅系统是用于激光打击还是类似于OCT的眼底成像。
结合图1和图6可见,图6表现了图1中模块1获得的眼底图像随时间的变化的过程。如图6所示,眼底的运动信号,可从任何一个当前帧图像fi相对于参考图像f0的相对位移获得,即眼底的运动信号(xi,yi,θi)。
假设模块2的目的是将激光束动态锁定到图6所示的圆圈位置,由于眼底的随机运动,那么,在f1,f2,…,fn的不同时刻,模块2的激光控制臂需要根据(xi,yi,θi)的信息调整控制臂参数,使模块2的聚焦激光束能跟踪图6的圆圈位置。
但是,从图1可以看出,模块1和模块2采用的是非共路光学(non-common pathoptics)设计。并且控制模块2激光臂的参数通常是电压值或者电流值或者数字控制方式,而模块1得到的(xi,yi,θi)通常是图像的像素值和角度(或者弧度)。为了达到从模块1的(xi,yi,θi)值转换成模块2激光控制臂的参数(电压或者电流,或者其他数字控制方式)实现动态精准地把模块2的聚焦激光束投射到图6的各个圆圈位置,本发明实施例中,建立了一个从模块1到模块2的空间(坐标)变换关系。
如上所述的模块1到模块2的空间(坐标)变换关系可以用以下数学关系式表达:
(Xi,Yi)=g(x,y,θ;X,Y)(xi,yi,θi) (1)
式(1)中,g(x,y,θ;X,Y)就是这里所述的空间(坐标)变换关系,目的是将模块1的(xi,yi,θi)转换成辅系统激光控制臂的参数(Xi,Yi)。
图7为一个在图1所示实施例基础上用于精确标定空间(坐标)变换关系g(x,y,θ;X,Y)的光学系统示意图。
在本实施例中,图7的眼底位置可以用一个模拟眼替代真眼。该模拟眼有3个独立的运动自由度,即平移量x,y和旋转角θ。可以把模拟眼安装在一个能够在2维空间平移的机构,然后整个机构安装在一个旋转台上,实现模拟眼3个独立的运动自由度。当然,也可以通过其它方式实现模拟眼3个独立的运动自由度。
参考图7,本发明采用的精确标定空间(坐标)变换关系g(x,y,θ;X,Y)的方法如下,设模拟眼在原始位置时(x=0,y=0,θ=0),激光控制臂的参数也设置在零位置(X=0,Y=0)。这时,记录一组眼底图像作为参考图像,比如f0,同时,记录模块2聚焦激光束在眼底的位置。然后分别在模拟眼的x,y,旋转方向调整一个运动刻度k,记录模块1在新的图像fk相对于参考图像的位置(xk,yk,θk)。同时,用手动或者自动的方式,调整模块2的激光控制臂,将聚焦激光束调整到零位置情况下同样的模拟眼眼底位置,这样,即可得到一个激光控制臂的参数(Xk,Yk)。
不断模拟眼的位置,循环采用上述标定方法,一旦遍历了所有光学系统允许的模拟眼x、y,和旋转角运动刻度,即可得到如下的矩阵关系,
G[X Y]=[x yθ] (2)
式(2)中,矩阵G就是实测的从模块1到模块2的空间变换关系。
其中,X=[X1X2…XK]T,Y=[Y1Y2…YK]T,x=[x1x2…xK]T,y=[y1y2…yK]T,θ=[θ1θ2…θK]T。
图8为根据现有工程样机实测得到的一组主辅系统的空间变换关系。
如图8所示,具体过程与图7所示的方法类似,这里不再赘述。但图8所示的简要结果,显示了主系统、辅系统在x方向和y方向有不一样的光学放大倍数,并且控制轴旋转90度。
实际应用(控制)场景中,系统首先知道的是从模块1得到的如图6所示的(xi,yi,θi),然后转换成模块2的激光臂控制参数(Xi,Yi)。所以,式(2)的矩阵G需要求逆,以实现以式(1)的计算,显然可以得到:
g(x,y,θ;X,Y)=(GTG)-1GT (3)
假设(GTG)-1存在。在(GTG)存在奇异值的情况下,可以用奇异值分解的方法实现式(3)的计算。
由于眼球和头部运动导致眼底图像的运动频谱往往覆盖着相当大的范围。基于普通的25~30Hz帧频的主系统图像系统的现有算法,很难捕捉到较高频率的眼底运动,因而无法高精确的控制辅系统激光臂的空间位置,导致了辅系统激光束落到指定眼底位置的空间精度较差。为了提高主系统捕捉眼底运动的空间精度,本发明实施例中采用了如下两种方法:
方法一:在没有或者没必要大幅度提高主系统眼底激光辐射量的情况下,适当提高传统非扫描眼底相机的图像帧频(如2~4倍)来捕捉更高频率的眼底运动信息。一个例子是,将图像帧频提高4倍到100Hz,那么主系统的算法每间隔10毫秒即可输出一组(xi,yi,θi)。这样,通过提高主系统眼底计算的采样频率,从而降低辅系统从眼动到激光臂开始反应之间的时间延迟,带来的效果是提高激光臂控制辅系统聚焦激光束在眼底的空间精度。
上述实施例中,可以采用的图像采集设备,即眼底相机为华睿科技的A5131M/CU210工业面阵相机。该相机可以达到每秒捕捉210帧1280x1024像素的图像。
方法二:在另一些成像系统比如扫描成像系统中,可以通过倍频方式来捕捉更高频率的眼底运动信息。扫描成像系统中,图像通过“点->线->面”形成,比如SLO或者AO-SLO或者通过“线->面”形成比如LSO或者AO-LSO。在这两种情况里,可以控制图像采集装置或者线阵相机使得每一帧的图像按照每根扫描线的先后到达顺序划分成多个亚帧元,如图9所示。
图9中,假设SLO/LSO的图像帧频仍然是25Hz(相较于图6所示的情况,主系统并没有增加激光曝光量),但是,由于方法二所述的扫描系统灵活性,我们从技术上已经实现了把一个完整的帧划分成多个亚帧元。假设图9中的M=20,那么,亚贞元到达主控机器的时间顺序是:
这种情况同样适用于任何一帧图像,比如第k帧。
现有利用主系统通过倍频方式捕捉更高频率的眼底运动信号的计算步骤,具体包括:
首先,利用线扫描眼底相机获得眼底图像,并将参考帧和目标帧的每一帧图像按照扫描相机达到的数据按照时间顺序划分为多个等间距的亚帧元,设置每个亚帧元至少包含两根扫描线;
其次,利用计算处理单元接收最新的亚帧元数据,启动预设的算法计算当前亚帧元相对于所述参考帧的位置,或定位目标帧的亚帧元与参考帧的亚帧元的相对位置;
最后,采用倍频技术,设置扫描信号和帧同步信号使其同步触发线扫描相机得到与扫描信号同步的亚帧元图像;根据每个亚帧元到达主机系统的先后顺序,实时计算每个亚帧元包含的眼底运动信号。
图9为本发明实施例采用倍频技术提高降低眼底计算的时间延迟示意图。
参考图9,主系统要在每一帧图像,按照每个亚帧元到达主控机器的时间顺序,计算M组亚帧元的眼底运动信号:
(xi,1,yi,1,θi,1),(xi,2,yi,2,θi,2),…,(xi,M,yi,M,θi,M)
同样,上述M组亚帧元的眼底运动信号的结果按照式(1)的关系转换到辅系统的激光控制臂,可得到:
(Xi,m,Yi,m)=g(x,y,θ;X,Y)(xi,m,yi,m,θi,m) (4)
其中,m=1,2,3,…,M。
相较于式(1),上式(4)将辅系统激光控制臂的更新频率提高了M倍。如果前者是25Hz的话,在不增加曝光量的情况下,图9对应的倍频情况即可把激光控制臂的调整频率提高到25*MHz,从而大幅度提高辅系统激光控制臂控制聚焦激光束在眼底的空间精度。
显然,上述的方法一和方法二,原理上都是通过同样的手段来提高辅系统激光控制臂的控制精度,也就是提高采样频率。
图10为本发明实施例一个控制精度和采样时间间隔的示意图。
如图10所示,对比了两种采样间隔的情况,细虚线的短时间间隔Δt和长时间间隔的ΔT。这里假设图中的曲线是眼底运动轨迹随时间的变化关系(为描述简单起见,仅仅用了y方向)。
在图10中,在长采样间隔ΔT的情况下,假设眼动在i时刻发生。由于需要采样间隔ΔT,记录i时刻眼动的图像数据到i+1时刻才出现。即使假设计算(xi,yi,θi)和治疗光控制臂的机械响应是瞬间完成,导致的结果是用i时刻数据来补偿i+1时刻的眼动,所以产生的补偿误差比较大。
在图10中,在短采样间隔Δt的情况下,假设眼动在j时刻发生。同样系统用j时刻数据来补偿j+1时刻的眼动,但是,由于j和j+1时间间隔较短,所以产生的补偿误差相对小的多。
对于上述两种方法中的方法一,非扫描系统中25Hz对应100Hz的情况。25Hz就是用40毫秒之前的数据去补偿当前的眼动。一般情况下,40毫秒之内产生100~200微米的眼动比较普遍,所以,这种低帧频的方法至少带有100~200微米的误差,也就是说,激光臂控制精度较差。但是,在100Hz的情况下,就是用10毫秒之前的数据去补偿当前的眼动。一般情况下,10毫秒之内产生30~40微米的眼动比较普遍,所以,这种高帧频的方法可以将误差控制到40~50微米的精度,也就是说,激光臂控制精度比较高。
对于上述两种方法中的方法二,扫描系统中,如果亚帧元数量M是20,那么系统的采样频率即可提高到500Hz。对应500Hz的情况,就是用2毫秒之前的数据去补偿当前的眼动。一般情况下,2毫秒之内产生4~5微米的眼动比较普遍,当然,考虑到计算延迟以及激光控制臂的机械电子延迟,最终这种高倍频的方法可以把误差控制到15~20微米的精度,也就是说,激光臂控制精度在扫描倍频的情况下可以得到一个或者更多数量级的提高。需要指出的是,这里所述的线扫描相机也可以由点扫描相机形成,也就是一条扫描线上产生的多个扫描点首先形成一根扫描线,然后由相机输出一根线,而不是逐点输出。一次输出一根扫描线,广义上统称线扫描相机。以下所述的线扫描相机和这里的描述一致。
如上所述,本发明的另一个内容是利用主系统获得的对应任何一帧图像的眼底位置信息,比如非扫描模式的(xi,yi,θi)或者扫描模式的(xi,m,yi,m,θi,m),将(xi,yi,θi)或者(xi,m,yi,m,θi,m)运用于原始图像,将该帧图像“拉直”(dewarping)到参考帧图像的位置。体现在动态影像(视频)中,这种“拉直”(dewarping)的等效效果相当于采用了稳像技术,在视觉上将动态飘忽的图像稳定住了。
图11为根据图6得到的(xi,yi,θi)把非扫描的图像(即目标图像)f1,f2,…,fn“拉直”到参考面f0的示意图。
如图11所示,在非扫描成像系统中,采用图像“拉直”技术,将目标图像f1,f2,…,fn“拉直”到参考面f0。其中,虚粗方框代表到参考面f0在目标图像f1,f2,…,fn的位置。“拉直”的目的,是将眼底图像的特征,比如图中f1,f2,…,fn的圆圈,拉回到参考面f0圆圈的位置。达到的视觉效果是,使眼底图像特征不再随时间漂移,因此将目标图像稳定住了。显然,这种基于数字“拉直”的方法会产生“拉直”图像的边缘在随机的忽现忽隐,也就是图11中虚粗方框和图像不重叠的部分。
图12为根据图9得到的扫描模式的(xi,m,yi,m,θi,m)将扫描的图像fk“拉直”到参考面f0的示意图。相比图11所示的“拉直”方法,本实施例中的方法显然更加精细,体现在:不仅可以把整帧图像拉回到参考面的位置,还可以“拉直”图像内部的扭曲。图像内部的扭曲在扫描系统里比较常见。同样,这种基于数字“拉直”的方法会产生“拉直”图像的边缘在随机的忽现忽隐,也就是图12中的黑边部分。
尽管稳定的主系统影像(图像和视频)在以上数字跟踪的情况下,会出现黑边现象,但是,图像的可见部分相对于参考图像仍然是稳定的。这种数字稳像技术为临床操作者选择病理区提供更大的方便,也为手术操作人员能够精确定位辅系统欲打击的眼底位置提供了技术支持。
需要指出的是,主系统是扫描的情况下,也可以不用倍频的方式,而直接用式(1)的情况。这种技术已经在海德堡工程(Heidelberg Engineering)的产品Spectralis以及卡尔蔡司(Zeiss)的产品Cirrus得到广泛的应用。
从以上可见,本发明的方案涵盖了从智能眼底激光成像、手术治疗、成像稳像技术到稳像控制的技术,但是,本质的区别在于,上述技术中的主系统集成了业界最先进的倍频技术,因而从这些相关的系统得到的眼底运动信号(xi,yi,θi)或者(xi,m,yi,m,θi,m)可以更加精确控制辅系统聚焦激光束在眼底的位置。
本发明的实施例采用“开环”的控制模式,因此,本发明实施例中的眼底运动信号(xi,yi,θi)或者(xi,m,yi,m,θi,m)可仅从主系统图像计算得到,其计算结果不需要再次反馈到主系统光学系统,所以采用该开环控制模式的相关光学系统,一个显著的优势是,在简化光学系统的情况下,有效降低产品的成本,但是可通过采用本发明的技术,能够有效弥补因简化光学系统硬件(包括闭环控制的信号反馈及运算装置)而导致的控制精度随之降低的问题。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (4)
1.一种基于眼底成像技术的激光束控制系统,包括主系统和辅系统;其特征在于,在扫描成像系统中,所述主系统被配置为通过倍频方式捕捉更高频率的眼底运动信号;通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系,将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值;
其中,所述主系统包括眼底相机(15)、第一聚焦透镜(14)、第一分光镜(13)、准直透镜(12)、成像光源(11)以及主控机(16);所述辅系统包括第二分光镜(25)、光斑位置控制装置(24)、光斑大小控制装置(23)、治疗光源(22)以及瞄准光源(21);
成像光源(11)经过准直透镜(12)后被第一分光镜(13)部分反射到成像光源(11)和治疗光源(22)的第二分光镜(25),然后经过第二聚焦透镜(3)进入眼底(4),从眼底(4)反射回来的光部分透射过第二分光镜(25)和第一分光镜(13)进入第一聚焦透镜(14),最后被眼底相机(15)接收,所述眼底相机(15)的数据被主控机(16)接收、显示并保存;
其中,眼底运动信号为(xi,yi,θi),辅系统的激光控制臂的参数为(Xi,Yi);所述眼底运动信号(xi,yi,θi)与所述辅系统的激光控制臂的参数(Xi,Yi)之间的空间坐标变换关系为:
(Xi,Yi)=g(x,y,θ;X,Y)(xi,yi,θi) (1);
其中:g(x,y,θ;X,Y)为空间坐标变换关系;(xi,yi)为从主系统以倍频方式捕捉到高频率的眼底运动信号的平移量,θi为眼底运动的旋转量;(Xi,Yi)为辅系统的激光控制臂的平移量;
所述空间坐标变换关系g(x,y,θ;X,Y)通过如下方法标定:
设模拟眼在原始位置时,即x=0、y=0、θ=0,激光控制臂的参数也设置在零位置,即X=0、Y=0,这时,记录一组眼底图像作为参考图像,同时,记录辅系统聚焦激光束在眼底的位置;然后改变模拟眼的平移量x、y以及将旋转角θ调整一个运动刻度k,记录主系统在新的图像相对于参考图像的位置(xk,yk,θk),同时,调整辅系统的激光控制臂,将聚焦激光束调整到零位置情况下同样的模拟眼眼底位置,得到一个激光控制臂的参数(Xk,Yk);
继续改变模拟眼的平移量和旋转角,重复上述标定过程,得到空间坐标变换关系;将所述扫描眼底相机的倍频提高M倍,获得的眼底运动信号根据所述空间坐标变换关系转换到所述辅系统的激光控制臂,使得激光控制臂的更新频率提高了M倍,所述M为正整数。
2.根据权利要求1所述基于眼底成像技术的激光束控制系统,其特征在于,所述主系统通过倍频方式捕捉更高频率的眼底运动信号的计算过程包括:
a、利用线扫描眼底相机获得眼底图像,并将参考帧和目标帧的每一帧图像按照扫描相机达到的数据按照时间顺序划分为多个等间距的亚帧元,设置每个亚帧元至少包含两根扫描线;
b、利用计算处理单元接收最新的亚帧元数据,启动预设的算法计算当前亚帧元相对于所述参考帧的位置,或定位目标帧的亚帧元与参考帧的亚帧元的相对位置;
c、采用倍频技术,设置扫描信号和帧同步信号使其同步触发线扫描相机得到与扫描信号同步的亚帧元图像;根据每个亚帧元到达主机系统的先后顺序,实时计算每个亚帧元包含的眼底运动信号。
3.一种如权利要求1所述的基于眼底成像技术的激光束控制系统的激光束控制方法,其特征在于,包括如下步骤:
A、在集成有辅系统的眼底成像扫描成像系统中,将主系统配置为通过倍频方式捕捉更高频率的眼底运动信号;
B、通过所述主系统建立并标定所述眼底运动信号与所述辅系统的激光控制臂的参数之间的空间坐标变换关系,将所述眼底运动信号的值转换为所述辅系统的激光控制臂的参数值;
步骤B所述眼底运动信号(xi,yi,θi)与辅系统的激光控制臂的参数(Xi,Yi)之间的空间坐标变换关系,具体为:
(Xi,Yi)=g(x,y,θ;X,Y)(xi,yi,θi) (1)
其中:g(x,y,θ;X,Y)为空间坐标变换关系;(xi,yi)为从主系统以倍频方式捕捉到高频率的眼底运动信号的平移量,θi为眼底运动的旋转量;(Xi,Yi)为辅系统的激光控制臂的平移量;
所述空间坐标变换关系g(x,y,θ;X,Y)通过如下方法标定:
设模拟眼在原始位置时,即x=0、y=0、θ=0,激光控制臂的参数也设置在零位置,即X=0、Y=0,这时,记录一组眼底图像作为参考图像,同时,记录辅系统聚焦激光束在眼底的位置;然后改变模拟眼的平移量x、y以及将旋转角θ调整一个运动刻度k,记录主系统在新的图像相对于参考图像的位置(xk,yk,θk),同时,调整辅系统的激光控制臂,将聚焦激光束调整到零位置情况下同样的模拟眼眼底位置,得到一个激光控制臂的参数(Xk,Yk);
继续改变模拟眼的平移量和旋转角,重复上述标定过程,得到空间坐标变换关系;将所述扫描眼底相机的倍频提高M倍,获得的眼底运动信号根据所述空间坐标变换关系转换到所述辅系统的激光控制臂,使得激光控制臂的更新频率提高了M倍,所述M为正整数。
4.根据权利要求3所述基于眼底成像技术的激光束控制方法,其特征在于,所述主系统通过倍频方式捕捉更高频率的眼底运动信号的计算过程包括:
A1、利用线扫描眼底相机获得眼底图像,并将参考帧和目标帧的每一帧图像按照扫描相机达到的数据按照时间顺序划分为多个等间距的亚帧元,设置每个亚帧元至少包含两根扫描线;
A2、利用计算处理单元接收最新的亚帧元数据,启动预设的算法计算当前亚帧元相对于所述参考帧的位置,或定位目标帧的亚帧元与参考帧的亚帧元的相对位置;
A3、采用倍频技术,设置扫描信号和帧同步信号使其同步触发线扫描相机得到与扫描信号同步的亚帧元图像;根据每个亚帧元到达主机系统的先后顺序,实时计算每个亚帧元包含的眼底运动信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910592828.3A CN110200582B (zh) | 2019-07-03 | 2019-07-03 | 一种基于眼底成像技术的激光束控制系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910592828.3A CN110200582B (zh) | 2019-07-03 | 2019-07-03 | 一种基于眼底成像技术的激光束控制系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110200582A CN110200582A (zh) | 2019-09-06 |
CN110200582B true CN110200582B (zh) | 2022-07-12 |
Family
ID=67795926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910592828.3A Active CN110200582B (zh) | 2019-07-03 | 2019-07-03 | 一种基于眼底成像技术的激光束控制系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110200582B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114668583B (zh) * | 2022-05-30 | 2022-09-20 | 季华实验室 | 一种眼科激光手术治疗系统 |
CN115719386B (zh) * | 2022-11-16 | 2024-03-12 | 南京博视医疗科技有限公司 | 一种基于线扫描的激光治疗系统的标定装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU4024189A (en) * | 1988-08-26 | 1990-03-01 | Australian National University, The | Glaucoma testing |
CN103750814A (zh) * | 2013-12-31 | 2014-04-30 | 苏州微清医疗器械有限公司 | 一种眼底扫描成像装置 |
CN109924942A (zh) * | 2019-04-25 | 2019-06-25 | 南京博视医疗科技有限公司 | 一种基于线扫描成像系统的光学稳像方法及系统 |
-
2019
- 2019-07-03 CN CN201910592828.3A patent/CN110200582B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU4024189A (en) * | 1988-08-26 | 1990-03-01 | Australian National University, The | Glaucoma testing |
CN103750814A (zh) * | 2013-12-31 | 2014-04-30 | 苏州微清医疗器械有限公司 | 一种眼底扫描成像装置 |
CN109924942A (zh) * | 2019-04-25 | 2019-06-25 | 南京博视医疗科技有限公司 | 一种基于线扫描成像系统的光学稳像方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110200582A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110200585B (zh) | 一种基于眼底成像技术的激光束控制系统及其方法 | |
US11650320B2 (en) | System and method for refining coordinate-based three-dimensional images obtained from a three-dimensional measurement system | |
US11378396B2 (en) | System and method for generating motion-stabilized images of a target using lidar and video measurements | |
US11619726B2 (en) | System and method for field calibrating video and lidar subsystems using facial features | |
CN103687532B (zh) | 用于眼科系统的图像处理器控制的未对准减小 | |
US8948497B2 (en) | System and method for increasing resolution of images obtained from a three-dimensional measurement system | |
US9134402B2 (en) | System and method for calibrating video and lidar subsystems | |
CN110200582B (zh) | 一种基于眼底成像技术的激光束控制系统及其方法 | |
CN110200584B (zh) | 一种基于眼底成像技术的目标跟踪控制系统及其方法 | |
CN110301886B (zh) | 一种实时闭环控制眼底相机的光学系统及其实现方法 | |
EP3804607A1 (en) | Ophthalmic scanning system and method | |
CN110051320B (zh) | 一种线扫描成像系统的眼底目标运动量的计算方法 | |
CN210228108U (zh) | 一种基于线扫描成像系统的光学稳像系统 | |
CN110215184B (zh) | 一种眼底相机的闭环控制系统及其方法 | |
US20230298206A1 (en) | Method for determining the three-dimensional positions of points in a target region on a patient in a reference coordinate system of a surgical visualization system and surgical visualization system | |
US20230277257A1 (en) | Robotic imaging system with orbital scanning mode | |
JP7178683B2 (ja) | 眼科装置 | |
WO2024018383A1 (en) | Calibration of imaging system with combined optical coherence tomography and visualization module | |
WO2020232309A1 (en) | Method and apparatus to track binocular eye motion | |
JP2022157511A (ja) | 眼科装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |