CN109448041B - 一种胶囊内镜图像三维重建方法及系统 - Google Patents

Abstract

本发明公开了一种胶囊内镜图像三维重建方法及系统，该胶囊内镜图像三维重建方法包括如下步骤：对胶囊内镜的单目相机进行标定，获取相机内、外参数；选取单目相机拍摄的图片序列，对所述图片序列进行校正；检测校正后图像的特征点；对获得的特征点进行匹配并跟踪，形成特征点轨迹；图像摄影重建；对步骤S5处理后的图像进行三维重建。本发明通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本发明的特征点提取图片亮度不变，可以很好匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

Description

一种胶囊内镜图像三维重建方法及系统

技术领域

本发明涉及图像处理技术领域，特别适用于内窥镜技术领域，具体涉及一种胶囊内镜图像三维重建方法及系统。

背景技术

胶囊内镜即无线内镜，它是由一个微型照相机、数字处理系统和无线收发系统等组成，受检者将胶囊内镜吞咽下后，可将受检者消化道图像无线传送到体外的接收器。与插入式的消化道内镜相比，胶囊内镜最大的优点是无痛、无创、安全、便捷，尤其是对小肠的检查具有独到之处。胶囊内镜看起来与普通胶囊一个样，长约1.5厘米，直径不足1厘米。受制于硬件的尺寸，胶囊内镜存在图片分辨率低，帧率一般比较低，通常为2-4帧/s，医生不能对病变、部异常位进行重点观察。

另外，人体肠胃内部结构复杂，弯道和褶皱较多，胶囊内镜进行肠胃检查的时候，拍摄图片会有盲区。胶囊内镜因为依靠重力和肠胃蠕动前进，所以拍摄图片随机性强，对于异常有病变的部位，不能提供角度全面的图片。

三维重建是指利用二维信息恢复三维信息(形状等)的数学过程。随着计算机技术的发展，计算机硬件计算能力的提高，三维重建技术方法也大量涌现。例如以下几种：

基于光流的三维重建技术，先提取图像序列中运动物体或场景表面的图像特征如图像中的角点、直线、曲线等、然后对提取的特征跟踪、匹配并计算出其对应的图像坐标变化，从而根据特征光流与三维运动和空间结构的投影关系重建三维运动与结构。由于只是采用图像序列中感兴趣的图像特征对物体或场景进行描述，基于光流的三维重建技术能够克服亮度突变现象对重建结果的影响。当图像序列中存在运动遮挡情况时，光流估计在遮挡区域会有较大误差。

基于明暗恢复法是计算机视觉领域从图像恢复三维形状的的经典算法，其利用单幅图像优化迭代进行三维形状重建，但是只能重建反照率一致的图像，且只对无投射阴影的图像有效。

基于光度立体技术(PMS)是基于非平面表面的多幅辐照度图像对物体表面形状进行重建，PMS扩展了SFS的约束条件，从3幅或者3幅以上的辐照度图像重建物体的三维结构，是基于图像的三维重建中较准确且可靠的技术。当空间三维场景被投影为二维图像时，同一景物在不同视点下的全图会有很大不同，而且场景中的诸多因数，如光照条件，景物几何形状和物理特性，噪声干扰和畸变以及摄像机特性等，都会对三维重建的效果产生很大的影响。

对于胶囊内镜，由于体积的限制，一般只设置有一个摄像头，采用基于单目视觉的三维重建技术更可取，目前有一种基于结构化深度学习的单目图像深度估计模型，根据输入的RGB图像，推测每个像素对应的深度值，从而得到模型的结构化输出深度图，深度学习框架使用多尺度卷积神经网络结合连续条件随机场，从图像序列中学习到相关特征表达。连续条件随机场根据图像像素的位置，颜色信息优化卷积神经网络，得到图片的深度信息。深度学习对于训练的数据集合硬件要求比较高，所以对于实时三维重建还有很有待提升。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种胶囊内镜图像三维重建方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种胶囊内镜图像三维重建方法，其包括如下步骤：

S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；

S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正；

S3，检测校正后图像的特征点；

S4，对步骤S3获得的特征点进行匹配并跟踪，形成特征点轨迹；

S5，图像摄影重建；

S6，对步骤S5处理后的图像进行三维重建。

本发明的胶囊内镜图像三维重建方法通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本发明可以很好匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

在本发明的一种优选实施方式中，所述步骤S4中对特征点进行匹配并跟踪，形成特征点轨迹的方法为：

对同一拍摄位置的不同图像的特征点进行匹配，选择Hamming距离进行匹配，不相同的位数h,同时设置阈值d,小于d则表示差距比较大，标记为匹配特征点，反之则认为两个特征点存在干扰，标记为不匹配；

S42，采用随机抽样一致算法来剔除无匹配的特征点；

S43，特征点跟踪，根据步骤S42获得的特征点匹配的结果，将匹配的特征点存入到对应特征点队列T_i＝{p₁,p₂...p_n}中，组成特征点的轨迹。

实现匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

在本发明的另一种优选实施方式中，所述步骤S2中的校正方法为：

S21，对获取的图片进行边界填充；

其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h；

S22，在0至1之间设置多个校正系数σ，根据所述校正系数生成多个相机校正内参K'＝σ*K，

其中K'为校正后的相机内参；

S23，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵M_P1,M_P2…M_P9,M_P10，……，M_pq,根据所述畸变坐标映射矩阵进行校正，公式如下：dst(x_i,y_i)＝src(d(M(x_i,y_i)))，

其中：dst(x_i,y_i)是目标图像，即重映射的结果；src(d(M(x_i,y_i)))是源图像；

利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：

d(M(x_i,y_i))＝(1-Δx)(1-Δy)M(x_i,y_i)+Δy(1-Δx)M(x_i,y_i+1)

+Δx(1-Δy)M(x_i+1,y_i)+ΔxΔyM(x_i+1,y_i+1)

式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正；

非线性畸变坐标映射矩阵为

其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'_i为对应第i个校正系数的校正后的相机内参；

畸变坐标映射矩阵求取方法具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，

求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(m_x,m_y)即为目标图像对应的像素点坐标，

M_pi＝M(x_i,y_i)＝(m_xi,m_yi)，

其中f_x，f_y为焦距，c_x，c_y为图像的中心点坐标。

本发明的校正方法快速高效，能够实时针对医用内镜图片进行畸变校正，校正后的图片更符合人眼视图习惯，有助于医生阅片和对异常病变部位进一部的观察，提高医生诊断的准确性。本发明针对不同人的视觉差异，引入校正系数，达到不同的校正效果，以供医生选择。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种胶囊内镜图像三维重建系统，其包括设置于胶囊内镜上的单目相机、控制器及图像显示装置，所述相机拍摄图像并传输给控制器，所述控制器根据本发明的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。

本发明的胶囊内镜图像三维重建系统结构简单，采用通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本发明很好地匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中胶囊内镜图像三维重建方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明解决了胶囊内镜拍摄图片随机性强，对于有病变或异常的部位能够提供三维信息。将传统的胶囊内镜二维图像序列恢复三维几何信息，有助于医生对异常病变部位进行三维视觉的观察，提高医生诊断的准确性。

本发明提供了一种胶囊内镜图像三维重建方法，其包括如下步骤：

S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；

S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正；

S3，检测校正后图像的特征点；

S4，对步骤S3获得的特征点进行匹配并跟踪，形成特征点轨迹；

S5，图像摄影重建；

S6，对步骤S5处理后的图像进行三维重建。

在本实施方式中，步骤S1中对胶囊内镜单目相机进行标定的方法为：

拍摄至少三幅及以上的不同位置的标定图像并划分为棋盘格，根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系，计算出内镜相机所有的内外参数，具体为：

设三维世界坐标的点为P＝[X,Y,Z,1]^T，二维相机平面像素坐标为m＝[u,v,1]^T，所以标定用的棋盘格平面到图像平面的单应性关系为：

s·m＝K[R,T]P，

其中s为尺度因子，K为摄像机内参数，R为旋转矩阵，T为平移向量，H为映射矩阵，将世界坐标系构造在棋盘格平面上，令棋盘格平面为Z＝0的平面，可得：

映射矩阵H＝[h1，h2，h3]＝λK[r1，r2，t]；

其中，h1,h2,h3分别为映射矩阵H的三个列向量，λ为尺度因子s的倒数，r1，r2为旋转矩阵R的任意两个列向量，t为r1，r2所对应图像的平移向量；

利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K；

得到t＝λK^-1h₃。

对于外参矩阵，可以采用与内参矩阵相似的方法求取。

在本实施方式中，步骤S2中的校正方法为：

S21，对获取的图片进行边界填充；

其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h；

S22，在0至1之间设置多个校正系数σ(例如0.1，0.2，……，0.9，1)，根据所述校正系数生成多个相机校正内参K'＝σ*K，

其中K'为校正后的相机内参；

S23，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵M_P1,M_P2…M_P9,M_P10，……，M_pq,根据所述畸变坐标映射矩阵进行校正，公式如下：dst(x_i,y_i)＝src(d(M(x_i,y_i)))，

其中：dst(x_i,y_i)是目标图像，即重映射的结果；src(d(M(x_i,y_i)))是源图像；

利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：

d(M(x_i,y_i))＝(1-Δx)(1-Δy)M(x_i,y_i)+Δy(1-Δx)M(x_i,y_i+1)

+Δx(1-Δy)M(x_i+1,y_i)+ΔxΔyM(x_i+1,y_i+1)

式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正；

非线性畸变坐标映射矩阵为

其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'_i为对应第i个校正系数的校正后的相机内参；

畸变坐标映射矩阵求取方法具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，

求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(m_x,m_y)即为目标图像对应的像素点坐标，

M_pi＝M(x_i,y_i)＝(m_xi,m_yi)，

其中f_x，f_y为焦距，c_x，c_y为图像的中心点坐标。

在本实施方式中，步骤S3中特征点检测的方法为：

S31，建立图像尺度空间，所述图像尺度空间包括d1(优选为4)个octave层c_i和d2(优选为4)个intra-octave层d_i，所述d1、d2均为正整数，c₀层是原始图像，c₁层是c₀层的m1(优选为2)倍下采样，c₂层是c₁层的m2(优选为2)倍下采样，以此类推组成octave层c_i，m1、m2均为正数；

d₀层是原始图像的m3(优选为1.5)倍下采样，d₁层是d₀层的m4(优选为2)倍下采样，d₂层是d₁层的m5(优选为2)倍下采样，以此类推得到intra-octave层d_i，所述m3、m4、m5均为正数；

在每个尺度空间中，用检测器进行关键点的检测，检测器中主要使用了T1-T2个掩膜，即在T2像素的圆中至少需要T1个连续的像素来提供足够亮或暗的像素来实现，其中，T1、T2均为正整数且T2大于T1；

S32，创建描述子，关键点周围的抽样点旋转角度为α，α的范围为0°-90°，有选为0°-15°，描述子是二值特征，描述子V的每一bit的值等于短距离点对的比值如下：

其中

I(P_i ^α,σ_i)表示第j个和第i个特征点对的平滑像素值，

表示第j个特征点对旋转角度α后的坐标，P_i ^α表示第i个特征点对旋转角度α后的坐标，Δ_j为第j个特征点对的平滑尺度,Δ_i为第j个特征点对的平滑尺度。

在本实施方式中，步骤S4中对特征点进行匹配并跟踪，形成特征点轨迹的方法为：

对同一拍摄位置的不同图像的特征点进行匹配，选择Hamming距离进行匹配，不相同的位数h,同时设置阈值d,小于d则表示差距比较大，标记为匹配特征点，反之则认为两个特征点存在干扰，标记为不匹配；

S42，采用随机抽样一致算法来剔除无匹配的特征点；

S43，特征点跟踪，根据步骤S42获得的特征点匹配的结果，将匹配的特征点存入到对应特征点队列T_i＝{p₁,p₂...p_n}中，组成特征点的轨迹。

步骤S5中，图像摄影重建的方法为：

空间点X_c＝(X,Y,Z)^T投影到图像平面上的一点p(x,y)，该点是空间点X_c与光心的直线与图像平面的交点，设空间点所在图像的射影投影矩阵为P₁＝[I 0],通过估计出来的基础矩阵F＝K[R,T]分解成一个斜对称矩阵和一个满秩矩阵，求得图像平面的射影投影矩阵P₂，矩阵F表示两张图片之间的对积几何关系，有:

P₁ ^TFP₂＝0,

对于投影矩阵P₁，设P₁₁，P₁₂，P₁₃为对应于P₁的行向量，(x_i,y_i,1)^T为对应于P₁的图像上的第i个匹配点的齐次坐标，X_i为对应匹配点的空间齐次坐标，σ为深度因子则有：

假设图像序列中，

表示第i帧图像中的第j个特征点的坐标，设定第一帧为参考图像，用R_i和T_i分别表示第i帧相对于第一帧图像的相机旋转和平移，利用多帧图像进行特征点的三维重构，使用最小二乘法，求以下函数的最小值，使得射影投影重建结果最小，

其中，m是图像的帧数，n是特征点数量，

对上式进行不断的迭代，求解参数R、T，得到射影重建下的所有图像中每个点的坐标和旋转以及平移矩阵。

当求解出图像的变换投影矩阵，就可以根据像素点坐标求解出对应的空间三维坐标，形成稀疏3D点云。稀疏3D点云智能表示出图像内容的深度信息，还不能具体还原出目标在三维场景中的形状等，为了得到更加具体的真实的目标3D模型，本发明采用基于面片的三维多视角立体视觉算法(PMVS)来重建出目标的稠密的点云，完成三维重建，具体重建方法采用现有方法，在此不作赘述。

本发明还提供了一种胶囊内镜图像三维重建系统，其包括设置于胶囊内镜上的单目相机、控制器及图像显示装置，所述相机拍摄图像并传输给控制器，所述控制器根据本发明的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。本发明的胶囊内镜图像三维重建系统结构简单，采用通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本发明很好地匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种胶囊内镜图像三维重建方法，其特征在于，包括如下步骤：

S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；

S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正，具体校正方法为：

S21，对获取的图片进行边界填充；

其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h；

S22，在0至1之间设置多个校正系数σ，根据所述校正系数生成多个相机校正内参K'＝σ*K，

其中K'为校正后的相机内参；

S23，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵M_P1,M_P2…M_P9,M_P10，……，M_pq,根据所述畸变坐标映射矩阵进行校正，公式如下：dst(x_i,y_i)＝src(d(M(x_i,y_i)))，

其中：dst(x_i,y_i)是目标图像，即重映射的结果；src(d(M(x_i,y_i)))是源图像；

利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：

d(M(x_i,y_i))＝(1-Δx)(1-Δy)M(x_i,y_i)+Δy(1-Δx)M(x_i,y_i+1)+Δx(1-Δy)M(x_i+1,y_i)+ΔxΔyM(x_i+1,y_i+1)

式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正；

非线性畸变坐标映射矩阵为

其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'_i为对应第i个校正系数的校正后的相机内参；

畸变坐标映射矩阵求取方法具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，

求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(m_x,m_y)即为目标图像对应的像素点坐标，

M_pi＝M(x_i,y_i)＝(m_xi,m_yi)，

其中f_x，f_y为焦距，c_x，c_y为图像的中心点坐标；

S3，检测校正后图像的特征点；

S4，对步骤S3获得的特征点进行匹配并跟踪，形成特征点轨迹；

S5，图像摄影重建；

S6，对步骤S5处理后的图像进行三维重建。

2.根据权利要求1所述的胶囊内镜图像三维重建方法，其特征在于，所述步骤S1中对胶囊内镜单目相机进行标定的方法为：

拍摄至少三幅及以上的不同位置的标定图像并划分为棋盘格，根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系，计算出内镜相机所有的内外参数，具体为：

设三维世界坐标的点为P＝[X,Y,Z,1]^T，二维相机平面像素坐标为m＝[u,v,1]^T，所以标定用的棋盘格平面到图像平面的单应性关系为：

s·m＝K[R,T]P，

其中s为尺度因子，K为摄像机内参数，R为旋转矩阵，T为平移向量，H为映射矩阵，将世界坐标系构造在棋盘格平面上，令棋盘格平面为Z＝0的平面，可得：

映射矩阵H＝[h1，h2，h3]＝λK[r1，r2，t]；

其中，h1,h2,h3分别为映射矩阵H的三个列向量，λ为尺度因子s的倒数，r1，r2为旋转矩阵R的任意两个列向量，t为r1，r2所对应图像的平移向量；

利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K；

并得到t＝λK^-1h₃。

3.根据权利要求1所述的胶囊内镜图像三维重建方法，其特征在于，所述步骤S3中特征点检测的方法为：

S31，建立图像尺度空间，所述图像尺度空间包括d1个octave层c_i和d2个intra-octave层d_i，所述d1、d2均为正整数，c₀层是原始图像，c₁层是c₀层的m1倍下采样，c₂层是c₁层的m2倍下采样，以此类推组成octave层c_i，m1、m2均为正数；

d₀层是原始图像的m3倍下采样，d₁层是d₀层的m4倍下采样，d₂层是d₁层的m5倍下采样，以此类推得到intra-octave层d_i，所述m3、m4、m5均为正数；

在每个尺度空间中，用检测器进行关键点的检测，检测器中使用T1-T2个掩膜，即在T2像素的圆中至少需要T1个连续的像素来提供足够亮或暗的像素来实现，其中，T1、T2均为正整数且T2大于T1；

S32，创建描述子，关键点周围的抽样点旋转角度为α，描述子是二值特征，描述子V的每一bit的值等于短距离点对的比值如下：

其中

I(P_i ^α,σ_i)表示第j个和第i个特征点对的平滑像素值，

表示第j个特征点对旋转角度α后的坐标，P_i ^α表示第i个特征点对旋转角度α后的坐标，Δ_j为第j个特征点对的平滑尺度,Δ_i为第j个特征点对的平滑尺度。

4.根据权利要求1所述的胶囊内镜图像三维重建方法，其特征在于，所述步骤S4中对特征点进行匹配并跟踪，形成特征点轨迹的方法为：

对同一拍摄位置的不同图像的特征点进行匹配，选择Hamming距离进行匹配，不相同的位数h,同时设置阈值d,小于d则表示差距比较大，标记为匹配特征点，反之则认为两个特征点存在干扰，标记为不匹配；

S42，采用随机抽样一致算法来剔除无匹配的特征点；

S43，特征点跟踪，根据步骤S42获得的特征点匹配的结果，将匹配的特征点存入到对应特征点队列T_i＝{p₁,p₂...p_n}中，组成特征点的轨迹。

5.根据权利要求1所述的胶囊内镜图像三维重建方法，其特征在于，所述步骤S5中，图像摄影重建的方法为：

空间点X_c＝(X,Y,Z)^T投影到图像平面上的一点p(x,y)，该点是空间点X_c与光心的直线与图像平面的交点，设空间点所在图像的射影投影矩阵为P₁＝[I 0],通过估计出来的基础矩阵F＝K[R,T]分解成一个斜对称矩阵和一个满秩矩阵，求得图像平面的射影投影矩阵P₂，矩阵F表示两张图片之间的对积几何关系，有:

P₁ ^TFP₂＝0,

对于投影矩阵P₁，设P₁₁，P₁₂，P₁₃为对应于P₁的行向量，(x_i,y_i,1)^T为对应于P₁的图像上的第i个匹配点的齐次坐标，X_i为对应匹配点的空间齐次坐标，σ为深度因子则有：

假设图像序列中，

表示第i帧图像中的第j个特征点的坐标，设定第一帧为参考图像，用R_i和T_i分别表示第i帧相对于第一帧图像的相机旋转和平移，利用多帧图像进行特征点的三维重构，使用最小二乘法，求以下函数的最小值，使得射影投影重建结果最小，

其中，m是图像的帧数，n是特征点数量，

对上式进行不断的迭代，求解参数R、T，得到射影重建下的所有图像中每个点的坐标和旋转以及平移矩阵。

6.一种利用权利要求1-5之一所述胶囊内镜图像三维重建方法的系统，其特征在于，包括设置于胶囊内镜上的单目相机、控制器及图像显示装置，所述相机拍摄图像并传输给控制器，所述控制器根据权利要求1-5之一所述的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。

Images