CN101996415B - 眼球的三维建模方法 - Google Patents

Abstract

本发明涉及一种眼球的三维建模方法，包括图像获取、摄像机标定、特征提取(识别)、特征匹配、深度信息确定及三维图像后期处理等步骤。1.通过单摄像机获取多组眼球眼底图像，包括分别描述眼球旋转的各个角度状态；2.摄像机标定，确定摄像机的位置和属性参数，确定空间坐标系中物体点同它的像点之间的对应关系；3.特征提取及特征识别；4.根据对所选特征的计算；5.得到的视差图像，确定深度图像并恢复场景3D信息；6.对恢复的场景进行包括深度插值、误差校正和精度改善。本发明对眼球图像序列进行三维重建，重建效果逼真，速度较快，图像立体感强，具有算法简单、实现容易等特点。

Description

眼球的三维建模方法

技术领域

本发明涉及三维建模方法，尤其是一种用于产生眼球三维图像的三维建模方法。

背景技术

随着医疗科学技术的不断发展和经验的积累，X光平片、超声、CT、MRI等影像学检查方法被先后引入到对眼部疾病的诊断中。医学图像可视化技术算法的发展从傅立叶变换、卷积反投影等基本图像处理算法开始,到MPR(multi-planarreformation，多层面重组)、MTP(maximumintensityprojection,最大密度投影法),一直到面绘制和体绘。

MPR是将采集到的三维数据(又称为体素,Voxel)进行重新排列以显示任意方向上的断面。而MIP是将三维数据向任意方向投影,取投影线上的最大体素值加以显示。MPR和MIP方法的功能实现和操作都很简单,对硬件要求不是很高,通常CT、MRI设备自身的工作站完全可以满足要求。面绘制(surfacerendering)首先从三维数据中重建出三维物体表面,即根据分割结果和轮廓线进行物体表面的重建,再利用合理的光照模型以及纹理映射方法产生具有真实感的三维实体。在医学领域又称为SSD(shadedsurfacedisplay,表面阴影显示法)。由于面绘制处理的数据通常是整个体数据的一小部分,并且利用了计算机图形学多边形绘制技术,还借助三维图形加速硬件,所以面绘制的速度还是比较快的。而体绘制(volumerendering)是对体数据场中每个体素进行处理,直接把三维灰度数据投影显示到二维屏幕上,同时人机交互地调节不透明度(opacity)、光照效果等参数,进而合成具有三维效果的图像,所以计算量大,图像生成速度慢,更多地受到硬件技术发展的限制。还有基于体素模型的直接体绘制算法,该算法结合了面绘制及直接体绘制的优点,可以利用OpenGL图形标准及硬件加速对图像序列进行三维重建,重建效果逼真,速度快,具有算法简单、实现容易等特点。

近年来，国内、外学者分别采用（X片、超声、CT及MRI）的二维及断面图像，应用CATR（计算机辅助三维重建）技术来完成人体结构的三维重建和立体显示。自1984年Flaster首次将CATR技术用于研究腮甲壳类动物水蚤的视觉系统的细胞间作用和模型以来，就用CATR技术使眼科基础研究和临床疾病诊断方面取得了很大进展，但成形的应用方案却一直没有。目前检查均系一维或二维的平面成像，图像欠缺立体感，而人体的各部位组织结构均为三维立体构造。

现代眼科三维成像中，许多使用了三维超声技术，该技术有如下不足之处：Ｂ超探头的扫描时间约5-15s,在此期间，探查目标对探头有相对运动，使扫描图像变形或缺损，称为运动伪像。其它伪像还包括：系统校正不准所致的伪像、阈值伪像、回声失落伪像、观察方向伪像、帧失落伪像等。

发明内容

本发明的目的是提供一种用于产生眼球三维图像的方法。

本发明的目的是通过采用以下技术方案来实现的：

一种眼球的三维建模方法，所述方法包括图像获取、摄像机标定、特征提取和识别、特征匹配、深度信息确定及三维图像后期处理步骤：

第1步：通过单摄像机获取多组眼球眼底图像，多组眼球眼底图像包括分别描述眼球旋转的各个角度状态；

第2步：摄像机标定，确定摄像机的位置和属性参数，确定空间坐标系中物体点同它的像点之间的对应关系，通过最小二乘法拟合，确定三维空间点映射为二维图像点的变换矩阵；

第3步：特征提取及特征识别，由多视点的视差确定3D信息，确定场景在不同图像中的对应关系，选择图像的特征并进行匹配，例如：点状特征、线状特征和区域特征；

第4步：根据对所选特征的计算，建立特征间的对应关系，将同一个空间点在不同图像中的映像点对应起来，并由此得到相应的视差图像；

第5步：根据第4步得到的视差图像，确定深度图像并恢复场景3D信息；

第6步：对恢复的场景进行包括深度插值、误差校正和精度改善。

本发明所述摄像机通过在至少3个不同的位置获取眼球眼底的图像，并计算出摄像机所有的内外参数。

本发明的有益效果是：相对于现有技术，本发明对眼球图像序列进行三维重建，重建效果逼真，速度较快，图像立体感强，具有算法简单、实现容易等特点；本发明通过实验证明，达到了预期效果。

附图说明

下面结合附图与具体实施例对本发明作进一步说明：

图1是本发明的流程图；

图2是本发明摄像机采集的一组眼球图像示意图；

图3是本发明眼球旋转产生的一组矢状切面图像序列图；

图4是本发明立体匹配示意图；

图5是本发明改进Douglas-Peucker示意图之一；

图6是本发明改进Douglas-Peucker示意图之二。

具体实施方式

如图1所示，一种眼球的三维建模方法，该方法包括：

步骤1，通过单摄像机获取多组眼球眼底图像，图像分别描述眼球旋转的各个角度状态。如图2所示，利用眼球旋转产生连续的眼底二维图像数据，生成图像序列，如图3所示。

步骤2，摄像机标定是为了建立成像模型、确定摄像机的位置和属性参数，以确定空间坐标系中物体点同它的像点之间的对应关系。摄像机的标定方法是通过最小二乘法拟合，确定三维空间点映射为二维图像点的变换矩阵。一个有效的摄像机模型，除了能够精确地恢复出空间景物的三维信息外，还有利于解决立体匹配问题。标定方法是介于传统定标方法和自定标方法之间的一种方法，这种方法不需要知道摄像机运动的具体信息，这点比传统定标技术更为灵活，同时仍需要一个特定的标定物以及一组已知的特征基元的坐标。它通过在至少3个不同的位置获取标定物的图像，计算出摄像机所有的内外参数。在这个模型的定标过程中将用到的三个坐标系：图像坐标系，摄像机坐标系和世界坐标系。通过坐标系之间的变换可以通过下面的公式把图像坐标系的点和世界坐标系：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_c}\left(\begin{array}{ccc}\frac{1}{k}& 0& u_0\\ 0& \frac{1}{l}& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}f& -f\cot \mathrm{\θ}& 0& 0\\ 0& \frac{f}{\sin \mathrm{\θ}}& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)$

$=\frac{1}{Z_c}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\frac{1}{Z_c}{\mathrm{AP}}_c$

由于矩阵A包含了摄像机全部的6个内参数(k，l，u₀，v₀，f，0)，所以称A为摄像机内参数矩阵。P_C为模型的外参数矩阵，可以通过以下公式得到：

$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)$

其中，R_3×3＝(r_x r_y r_z)为旋转矩阵，t_3×1＝(t_x t_y t_z)^T为平移向量。

步骤3，由多视点的视差确定3-D信息，关键是确定场景中同一物点在不同图像中的对应关系，选择合适的图像特征并进行匹配。特征是像素或像素集合或它们的抽象表达，匹配特征主要通过综合使用点状特征、线状特征和区域特征等。根据生物物质的连续性和完整性特征，通过在连续断面上对眼球相关结构进行半自动识别，先进行轮廓勾边、填充、存储都操作，得到轮廓标记，形成三维数据场，经移动立方体算法，抽取等值面。标记并勾画出各重建结构的区域及相关联特性。处理包含数千个点的曲线是很常见的。通常情况下没有必要处理所有的点，只处理其中的一部分即可。在Douglas-Peucker算法的基础上实现一个快速、平面曲线近似算法：即在一个特定公差的规模上计算曲线形状，围绕曲线选取一定的关键点。使用Douglas-Peucker算法，当只有一条线段从曲链中分离出来的时候计算时间变成了O(n²)级的，所以要进行改进来提高效率。

给定一个凸曲线C和一条直线L，则曲线C上到直线L距离最大的点一定在平行L的曲线C的两条切线上。

V_i到V_j曲链的路径壳由凸点V_m和一组对应的凸壳组成，分别用CH(V_i，…,V_m)和CH(V_m,…,V_j)来表示。对路径壳调用三个操作来完成寻找最远点的任务：Build(V,i,j,PH),通过选取中间点作为标记点计算两个分支的最远点来建立V_i到V_j的路径壳PH；Split(PH,V,k)，给定V_i到V_j的曲链构成的路径壳，在V_k处分裂曲链并返回包含标记点的分支；FindFarthest(PH,L)，找出路径壳上到给定直线L距离最远的点。

假设曲链是以逆时针方向顺序连接的，给定直线L的方向从左向右，如图5所示。凸壳P的一条切线只和一个凸点相接触，如果以该点为支点逆时针绕转切线，当切线要脱离凸壳的时候切点就转向下一个凸点。这表明有平行于曲线L的切线通过的顶点把整个曲链分成了两部分，一部分的正角在180°内，另一部分拥有负角，为了方便下面把对应边分别称作正边和负边。

通过三步来找到最远凸点：第一，找一个正边和一个负边，该边能把曲链分成两分支且每个部分都含有一个最远点；第二，用二分法来定位每个分支中发生边角变化点；第三，计算比较这些最远点，并确定哪个是真正的最远点。

为了完成第一步，先任意选取曲链上一边e作为基边，假设e是正边，那么剩下的任务就是找一个负边。选择边e′把曲链分成两部分，如果e′是负边那么就完成了第一步；如果e′是正边，从e的终点到e′的终点构造一条线段s，如果s仍然是正边就可以忽略在e′之前的凸壳边，因为它们都是正边；如果s是负边，就忽略e′之后的部分。然后在选一个新的e′把余下的部分分成两部分，如此循环下去，在寻找到一个负边e′之前最多要进行二分法运算log₂n次。

第二步，有了正边e和负边e′就要在它们之间的部分搜寻与正边和负边都相邻的凸出点。同前面方法类似，先找到一条中间边e″，如果e″是正边则用e″代替e，如果e″是负边则用e″代替e′。最多计算过log₂n条边就可以找到与切线平行直线L的顶点（即切点）。

第三步最简单，计算并比较这两个距离，经过O(log2n)次操作就可以找到距离直线L最远的顶点。

步骤4，立体匹配是根据对所选特征的计算，建立特征间的对应关系，将同一个空间点在不同图像中的映像点对应起来，并由此得到相应的视差图像。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因素，如光照条件、景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都被综合成单一的图像灰度值。立体匹配的方法主要分为两大类，即灰度相关和特征匹配。灰度相关直接用象素灰度进行匹配，该方法优点是匹配结果不受特征检测精度和密度的影响，可以得到很高的定位精度和密集的视差表面;缺点是依赖于图像灰度统计特性，对景物表面结构以及光照反射较为敏感，因此在空间景物表面缺乏足够纹理细节、成像失真较大(如基线长度过大)的场合存在一定困难。基于特征的匹配方法的优点是使用从强度图像得到的特征作为匹配基元，所以在环境照明发生变化的情况下较为稳定;缺点是特征提取需要额外计算量，另外由于特征是离散的，所以不能在匹配后直接得到密集的视差场。匹配方法需要解决以下问题:选择正确的匹配特征；寻找特征间的本质属性；建立能正确匹配所选特征的稳定算法。基于特征匹配中的极线约束方法，假设空间一点P，它在两个成像平面上的投影点分别为P₁和P₂，如图4所示。其中，C₁和C₂分别为两个中心，即坐标系的原点。在极线几何中，我们称C₁和C₂的连线为基线。基线和C₁C₂成像平面的交点e₁和e₂分别为极点，它们分别为中心C₁和C₂在对应的成像平面上的投影坐标。P、C₁和C₂组成的三角平面称为极平面π。π和两个成像平面的交线l₁和l₂称为极线，一般称l₁为点P₂对应的极线，l₂为点P₁对应的极线，l₁和l₂互为对应极线。在极平面π上另取一点P′，从图中可以看到，它在平面上的投影点为P₁和P₂′，其中，P₂和P₂′都在极线l₂上。这就是极线约束，由此，可以将搜索空间压缩到一维的直线，即极线上。使用函数求出图像的基础矩阵（如在OpenCV中可以使用函数cvFindFundamentalMat()），然后用把求得的基础矩阵代入映射函数（如在ＯpenCV中可使用cvComputeCorrespondEpilines()）求出一幅图像中的点在另一幅图像中的对应极线。求得极线后，对图像上沿极线方向上的像素点进行灰度相似性的匹配，能很方便的找出该点在对应图像上的匹配点。以中心差分获得体素中心点的梯度值来代替体素的法向量，法向量使用原始三维数据集进行：

G_x＝g(i-1，j，k)-g(i-1，j，k)，

G_y＝g(i，j-1，k)-g(i，j-1，k)，

G_z＝g(i，j，k-1)-g(i，j，k-1)，

$N_u=\frac{G_x}{\sqrt{{\left(G_x\right)}^2+{\left(G_y\right)}^2+{\left(G_z\right)}^2}},u=x,y,z.$

其中，g(i,j,k)表示点(i,j,k)的灰度值。

步骤5，当通过立体匹配得到视差图像后，就可以确定深度图像并恢复场景3-D信息了。利用Cuberille算法将三维体数据分割成物体和背景两个部分，然后对物体数据的每一个采样点建立立方体，并求出表面法向量，把立方体体素的各个面投影到屏幕，利用Z-Buffer算法遮挡关系，显示出分割结果的等值面。标准MC（marching cubes）算法（由Lorensen在1987年提出）通过在相邻的体数据切片之间构建体素，根据经验获得某一种物质的密度值，设定为待求求出物质表面的阈值，利用线性插值求出每一个立方体体素的三角部分的构型，进而将整个物体表面以三角型网格的形式表示出来。这种通过阈值分割来提取等值面，阈值分割对CT图像比较有效，但对其它图像来讲，由于人体内部结构的复杂性、生物组织蠕动等特点，造成医学图像中目标物体不可避免的受到其它物体甚至于噪声的干扰，使物体局部边缘模糊，因此必须对其算法做优化。另一方面标准ＭＣ中真正与等值面相交的立方体只占总数量的很小一部分，因此需要加速对空单元的检测和过滤。采用优化的MC方法定义如下：

CubeCase(CCase)和NeiborCase(NCase)两个查询表；

二元标志数组L={Flag,p}，Flag表示立方体p是否被访问过；

队列Ｑ用来存放待处理的立方体；

数组ＴＡ用来存储生成的三角面片；

执行过程：第1步初始化Ｌ，将其中所有元素的Flag置为0；并置队列QQ为空；第2步检测数据集，选取一个立方体p，使得该立方体的构型索引不为0，将其加入队列Q中，并置L[p].Flag=1；While Q非空do；第3步从Ｑ中取出立方体Ｃ；第4步If L[C].Flag=1，continue；第5步置L[C].Flag=1；第6步通过Ｃ的8个顶点的情况，得到Ｃ的构型索引index；第7步由index查找CCase表，得到该立方体中的等值面的三角剖分形式，同时计算三角面片的顶点和法向量，将其输入三角面片数组TA；第8步通过构型索引，查找NCase表，将与Ｃ有公共交点的相邻立方体放入对列中Ｑ。

步骤6，后处理。使用深度插值、误差校正和精度改善等各种有效算法，使眼球的三维重建更符合真实结构特征，采用新的MC表面跟踪算法优化三维图像。对原始数据场进行分割得到另一组三维数据集，它是二值数据（背景和需要重建的物体），利用它来构造三维等值面，取立方体棱边的中点作为等值面与立方体的交点，减少线性插值的计算。

Claims (2)

1.一种眼球的三维建模方法，其特征是：所述方法包括图像获取、摄像机标定、特征提取和识别、特征匹配、深度信息确定及三维图像后期处理步骤：

第1步：通过单摄像机获取多组眼球眼底图像，多组眼球眼底图像包括分别描述眼球旋转的各个角度状态；

第2步：摄像机标定，确定摄像机的位置和属性参数，确定空间坐标系中物体点同它的像点之间的对应关系，通过最小二乘法拟合，确定三维空间点映射为二维图像点的变换矩阵；

第3步：特征提取及特征识别，由多视点的视差确定3D信息，确定场景中同一物点在不同图像中的对应关系，选择图像的特征并进行匹配；

第4步：根据对所选特征的计算，建立特征间的对应关系，将同一个空间点在不同图像中的映像点对应起来，并由此得到相应的视差图像；

第5步：根据第4步得到的视差图像，确定深度图像并恢复场景3D信息；

第6步：对恢复的场景进行包括深度插值、误差校正和精度改善。

2.根据权利要求1所述的眼球的三维建模方法，其特征是：所述摄像机通过在至少3个不同的位置获取眼球眼底的图像，并计算出摄像机所有的内外参数。

Images