CN112085657B - 一种基于双目立体视觉跟踪和视网膜血管特征的oct图像拼接方法 - Google Patents

Abstract

本发明涉及一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，包括：双目立体视觉坐标系和OCT坐标系转换关系标定；不同视角下对眼底视网膜双目立体视觉多次拍照和OCT多次三维扫描；基于双目立体视觉和视网膜表面血管分叉点的不同视角下OCT三维数据块之间的旋转和平移关系初始化；基于最小二乘法和OCT三维视网膜血管分叉点的视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系优化；对视角2OCT三维数据块与视角1 OCT三维数据块公共部分进行插值；可以实现OCT大范围眼底三维成像。

Description

一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼 接方法

技术领域

本发明涉及大检测范围OCT图像拼接方法技术领域，具体涉及一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法。

背景技术

在1991年，D.Huang等人首次发表了关于OCT系统的文章，并且提出了时域OCT系统。时域OCT系统主要通过扫描延迟线对被测样品进行纵向扫描，再通过改变扫描振镜位置或水平移动样品实现横向扫描，但这种机械扫描方式也带来了成像速度慢、信噪比低等问题。直到1995年，奥地利学者A.F.Fercher等人提出一种频域OCT技术，利用光谱仪得到干涉光谱信息，再进行傅里叶变换获得样品组织的层析图像，并对人眼模型和眼角膜厚度进行了测量。频域OCT技术大大提高了系统的成像速度和信噪比。而频域OCT技术又能分为光谱OCT和扫频OCT，这两者的区别在于系统光源和相应检测器的选择不同。

近20年来，OCT技术种类也变得越来越多样。根据OCT技术功能的不同，将OCT技术分成能对血流量进行非侵入定位及检测的多普勒OCT技术、能实现多个偏振方向检测的偏振敏感OCT技术以及利用平行检测方式的全场OCT技术等；根据系统低相干光源传播方式和系统光路构造的区别，可以分成自由空间结构OCT系统和光纤结构OCT系统两类；根据不同的光束扫描类型，可以将这些技术分成纵向扫描式OCT和横向扫描式OCT。总而言之，OCT技术种类的不断丰富，为人们在生物医学、无损检测等各领域带来了极大的方便。

受OCT系统扫描范围和人眼转动等因素的影响，实现大范围眼底OCT三维成像需要对不同视角下的OCT三维数据块进行拼接。目前主要拼接方法是基于OCT三维图像的特征匹配。提出的基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法首先通过双目立体视觉跟踪视网膜表面血管的三维特征实现不同视角下OCT三维数据块之间的旋转和平移关系初始化，提高匹配速度；在此基础上，基于OCT三维视网膜血管分叉点特征对不同视角下OCT三维数据块之间的旋转和平移关系进行优化，提高匹配精度；最后对不同视角下OCT三维数据块之间的公共部分进行插值；可以实现快速、精确的OCT大范围眼底三维成像。

发明内容

本发明解决的技术问题是提出一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法。

为了解决上述问题，本发明实施例提出了基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，首先通过双目立体视觉跟踪视网膜表面血管的三维特征实现不同视角下OCT三维数据块之间的旋转和平移关系初始化，提高匹配速度；在此基础上，基于OCT三维视网膜血管分叉点特征对不同视角下OCT三维数据块之间的旋转和平移关系进行优化，提高匹配精度；最后对不同视角下OCT三维数据块之间的公共部分进行插值；可以实现快速、精确的OCT大范围眼底三维成像。

包括以下标定步骤：

步骤a、双目立体视觉坐标系和OCT坐标系转换关系标定；

步骤b、不同视角下对眼底视网膜双目立体视觉多次拍照和OCT多次三维扫描；

步骤c、基于双目立体视觉和视网膜表面血管分叉点的不同视角下OCT三维数据块之间的旋转和平移关系初始化；

步骤d、基于最小二乘法和OCT三维视网膜血管分叉点的视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系优化；

步骤e、对视角2 OCT三维数据块与视角1 OCT三维数据块公共部分进行插值。

其中，步骤a具体包括：

步骤a1、OCT红外宽带光源在固定的XY坐标点投射N个特征点；

步骤a2、OCT系统获取N个特征点在OCT坐标系下的三维坐标(x_N，y_N，z_N)；

步骤a3、双目立体视觉系统获取N个特征点在双目立体视觉坐标系下的的三维坐标(x’_N，y’_N，z’_N)；

步骤a4、根据N个特征点(x’_N，y’_N，z’_N)和(x_N，y_N，z_N)的对应关系建立双目立体视觉坐标系和OCT坐标系的旋转平移关系，实现双目立体视觉坐标系和OCT坐标系转换关系的标定。

其中，步骤b具体包括：

步骤b1、在视角下1情况下，利用双目立体视觉左右相机对眼底视网膜进行拍照并完成OCT三维扫描；

步骤b2、移动测量系统，重复步骤b1，直到完成所有眼底视网膜检测区域的左右相机拍照和OCT三维扫描。

其中，步骤c具体包括：

步骤c1、视角1下，双目立体视觉左右相机二维图像中视网膜表面血管分叉点提取，视角2下，双目立体视觉左右相机二维图像中视网膜表面血管分叉点提取；

步骤c2、双目立体视觉左右相机二维图像中视网膜表面血管分叉点的匹配，左相机在不同视角下的二维图像中视网膜表面血管分叉点的匹配，右相机在不同视角下的二维图像中视网膜表面血管分叉点的匹配；

步骤c3、基于双目立体视觉视网膜表面血管分叉点三维重建；

步骤c4、选取左右相机匹配成功点集、左相机视角1和视角2两帧图像匹配成功点集、右相机视角1和视角2两帧图像匹配成功点集的公共点集；

步骤c5、利用视角1和视角2重建的三维表面血管分叉点中的公共点集求取视角2OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系，对旋转和平移关系初始化。

其中，步骤d具体包括：

步骤d1、求视角1 OCT三维数据块中的血管分叉点P1，求视角2 OCT三维数据块中的血管分叉点P2；

步骤d2、求视角2 OCT三维数据块的每一个血管分叉点在视角1 OCT三维数据块的对应最近血管分叉点；

步骤d3、求旋转和平移参数，使对应最近点对的平均距离最小；

步骤d4、利用步骤d3求得的旋转和平移参数，得到视角2相对于视角1进行变换后的点集P2’；

步骤d5、判断P2’与P1平均距离是否小于阈值或迭代次数大于给定阈值，如果不符合条件，重复执行步骤d2，如果符合条件，实现了视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系的优化。

其中，步骤e具体包括：

步骤e1、求取视角2 OCT三维数据块与视角1 OCT三维数据块的交集和差集；

步骤e2、对视角2 OCT三维数据块与视角1 OCT三维数据块交集部分按照视角1三维数据块的分辨率进行插值，每个像素点的插值等于一个像素范围内所有值的平均值；

步骤e3、依据视角1三维数据块的分辨率和像素位置，对视角2 OCT三维数据块与视角1 OCT三维数据块的差集中的视角2 OCT三维数据块进行插值，每个像素点的插值等于一个像素范围内所有值的平均值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法流程图；

图2为本发明实施例中提供的一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法详细流程图；

图3为本发明实施例中提供的不同视角下二维拼接示意图；

图4为本发明实施例中提供的多个不同视角下旋转和平移关系示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提出了一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，其流程图如图1所示，步骤包括：对双目立体视觉坐标系和OCT坐标系转换关系标定1；不同视角下双目立体视觉拍照和OCT三维扫描2；基于双目立体视觉和视网膜表面血管分叉点的视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系初始化3；基于最小二乘法和OCT三维视网膜血管分叉点的视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系优化4；对视角2 OCT三维数据块与视角1 OCT三维数据块公共部分进行插值5。

图1的详细步骤如图2所示。

其中，步骤3具体包括：

步骤31、视角1下，双目立体视觉左右相机二维图像中视网膜表面血管分叉点提取；

步骤32、视角2下，双目立体视觉左右相机二维图像中视网膜表面血管分叉点提取；

步骤33、双目立体视觉左右相机二维图像中视网膜表面血管分叉点的匹配；

步骤34、左相机在不同视角下的二维图像中视网膜表面血管分叉点的匹配；

步骤35、右相机在不同视角下的二维图像中视网膜表面血管分叉点的匹配；

步骤36、基于双目立体视觉视网膜表面血管分叉点三维重建；

步骤37、选取左右相机匹配成功点集、左相机视角1和视角2两帧图像匹配成功点集、右相机视角1和视角2两帧图像匹配成功点集的公共点集；

步骤38、利用视角1和视角2重建的三维表面血管分叉点中的公共点集求取视角2OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系；

步骤39、视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系进行初始化。

其中，步骤4具体包括：

步骤41、求视角1 OCT三维数据块中的血管分叉点P1；

步骤42、求视角2 OCT三维数据块中的血管分叉点P2；

步骤43、求视角2 OCT三维数据块的每一个血管分叉点在视角1 OCT三维数据块的对应最近血管分叉点；

步骤44、利用最小二乘法求旋转和平移参数，使对应最近点对的平均距离最小；

步骤45、利用步骤44求得的旋转和平移参数，得到视角2相对于视角1进行变换后的点集P2’；

步骤46、判断P2’与P1平均距离是否小于阈值或迭代次数大于给定阈值，如果不符合条件，重复执行步骤43，如果符合条件，实现了视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系的优化。

其中，步骤5的二维示意图如图3所示。

其中，椭圆内为视角2 OCT三维数据块与视角1 OCT三维数据块的交集；对视角2OCT三维数据块与视角1 OCT三维数据块交集部分按照视角1三维数据块的分辨率进行插值，每个像素点的插值等于一个像素范围内所有值的平均值，例如，P1点由点1、点2、点3、点4、点5、点6、点7等值的平均值生成；依据视角1三维数据块的分辨率和像素位置，对视角2OCT三维数据块中的差集进行插值，每个像素点的插值等于一个像素范围内所有值的平均值，例如，P2点由点8、点9、点10等值的平均值生成。

本发明实施例提出了一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，图4所示为双目立体视觉在多个不同视角下旋转和平移关系示意图。

其中，在视角1，即位置1情况下，利用左右相机二维图像中视网膜表面血管分叉点的匹配，实现位置1视网膜表面血管分叉点的三维重建；在视角2，即位置2情况下，利用左右相机二维图像中视网膜表面血管分叉点的匹配，实现位置2视网膜表面血管分叉点的三维重建；在视角N，即位置N情况下，利用左右相机二维图像中视网膜表面血管分叉点的匹配，实现位置N视网膜表面血管分叉点的三维重建。

利用位置1视网膜表面血管分叉点和位置2视网膜表面血管分叉点的对应关系，求出位置2相对于位置1的旋转和平移关系；利用位置2视网膜表面血管分叉点和位置N视网膜表面血管分叉点的对应关系，求出位置N相对于位置2的旋转和平移关系；利用位置1视网膜表面血管分叉点和位置N视网膜表面血管分叉点的对应关系，求出位置N相对于位置1的旋转和平移关系。

不同视角下OCT数据块B_N的拼接可以采用B₂→B₁、B₃→B₂、B₄→B₃、B₅→B₄、、B_N→B_N-1的方法或者B₂→B₁、B₃→B₁、B₄→B₁、B₅→B₁、、B_N→B₁方法。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，其特征在于，所述方法包括步骤：

步骤a、双目立体视觉坐标系和OCT坐标系转换关系标定；

步骤b、不同视角下对眼底视网膜双目立体视觉多次拍照和OCT多次三维扫描；

步骤c、基于双目立体视觉和视网膜表面血管分叉点的不同视角下OCT三维数据块之间的旋转和平移关系初始化，步骤c具体包括：

步骤c1、视角1下，双目立体视觉左右相机二维图像中视网膜表面血管分叉点提取，视角2下，双目立体视觉左右相机二维图像中视网膜表面血管分叉点提取；

步骤c2、双目立体视觉左右相机二维图像中视网膜表面血管分叉点的匹配，左相机在不同视角下的二维图像中视网膜表面血管分叉点的匹配，右相机在不同视角下的二维图像中视网膜表面血管分叉点的匹配；

步骤c3、基于双目立体视觉视网膜表面血管分叉点三维重建；

步骤c4、选取左右相机匹配成功点集、左相机视角1和视角2两帧图像匹配成功点集、右相机视角1和视角2两帧图像匹配成功点集的公共点集；

步骤c5、利用视角1和视角2重建的三维表面血管分叉点中的公共点集求取视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系，对旋转和平移关系初始化；

步骤d、基于最小二乘法和OCT三维视网膜血管分叉点的视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系优化，步骤d具体包括：

步骤d1、求视角1 OCT三维数据块中的血管分叉点P1，求视角2 OCT三维数据块中的血管分叉点P2；

步骤d2、求视角2 OCT三维数据块的每一个血管分叉点在视角1 OCT三维数据块的对应最近血管分叉点；

步骤d3、求旋转和平移参数，使对应最近点对的平均距离最小；

步骤d4、利用步骤d3求得的旋转和平移参数，得到视角2相对于视角1进行变换后的点集P2’；

步骤d5、判断P2’与P1平均距离是否小于阈值或迭代次数大于给定阈值，如果不符合条件，重复执行步骤d2，如果符合条件，实现了视角2 OCT三维数据块相对于视角1 OCT三维数据块的旋转和平移关系的优化；

步骤e、对视角2 OCT三维数据块与视角1 OCT三维数据块公共部分进行插值，步骤e具体包括：

步骤e1、求取视角2 OCT三维数据块与视角1 OCT三维数据块的交集和差集；

步骤e2、对视角2 OCT三维数据块与视角1 OCT三维数据块交集部分按照视角1三维数据块的分辨率进行插值，每个像素点的插值等于一个像素范围内所有值的平均值；

步骤e3、依据视角1三维数据块的分辨率和像素位置，对视角2 OCT三维数据块与视角1OCT三维数据块的差集中的视角2 OCT三维数据块进行插值，每个像素点的插值等于一个像素范围内所有值的平均值。

2.根据权利要求1所述的一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，其特征在于，步骤a具体包括：

步骤a1、OCT红外宽带光源在固定的×Y坐标点投射N个特征点；

步骤a2、OCT系统获取N个特征点在OCT坐标系下的三维坐标(x_N，y_N，z_N)；

步骤a3、双目立体视觉系统获取N个特征点在双目立体视觉坐标系下的三维坐标(x’_N，y’_N，z’_N)；

步骤a4、根据N个特征点(x’_N，y’_N，z’_N)和(x_N，y_N，z_N)的对应关系建立双目立体视觉坐标系和OCT坐标系的旋转平移关系，实现双目立体视觉坐标系和OCT坐标系转换关系的标定。

3.根据权利要求1所述的一种基于双目立体视觉跟踪和视网膜血管特征的OCT图像拼接方法，其特征在于，步骤b具体包括：

步骤b1、在视角1情况下，利用双目立体视觉左右相机对眼底视网膜进行拍照并完成OCT三维扫描；

步骤b2、移动测量系统，重复步骤b1，直到完成所有眼底视网膜检测区域的左右相机拍照和OCT三维扫描。