CN109448041A - 一种胶囊内镜图像三维重建方法及系统 - Google Patents
一种胶囊内镜图像三维重建方法及系统 Download PDFInfo
- Publication number
- CN109448041A CN109448041A CN201811266275.4A CN201811266275A CN109448041A CN 109448041 A CN109448041 A CN 109448041A CN 201811266275 A CN201811266275 A CN 201811266275A CN 109448041 A CN109448041 A CN 109448041A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- camera
- coordinate
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种胶囊内镜图像三维重建方法及系统,该胶囊内镜图像三维重建方法包括如下步骤:对胶囊内镜的单目相机进行标定,获取相机内、外参数;选取单目相机拍摄的图片序列,对所述图片序列进行校正;检测校正后图像的特征点;对获得的特征点进行匹配并跟踪,形成特征点轨迹;图像摄影重建;对步骤S5处理后的图像进行三维重建。本发明通过单目图片序列,生成立体的、精确的3d稠密的点云模型,完成三维重建。本发明的特征点提取图片亮度不变,可以很好匹配和跟踪特征点,三维重建的效果更稳健。相比于传统的单目三维重建方法,特征提取跟踪速度快,可以达到实时三维重建。
Description
技术领域
本发明涉及图像处理技术领域,特别适用于内窥镜技术领域,具体涉及一种胶囊内镜图像三维重建方法及系统。
背景技术
胶囊内镜即无线内镜,它是由一个微型照相机、数字处理系统和无线收发系统等组成,受检者将胶囊内镜吞咽下后,可将受检者消化道图像无线传送到体外的接收器。与插入式的消化道内镜相比,胶囊内镜最大的优点是无痛、无创、安全、便捷,尤其是对小肠的检查具有独到之处。胶囊内镜看起来与普通胶囊一个样,长约1.5厘米,直径不足1厘米。受制于硬件的尺寸,胶囊内镜存在图片分辨率低,帧率一般比较低,通常为2-4帧/s,医生不能对病变、部异常位进行重点观察。
另外,人体肠胃内部结构复杂,弯道和褶皱较多,胶囊内镜进行肠胃检查的时候,拍摄图片会有盲区。胶囊内镜因为依靠重力和肠胃蠕动前进,所以拍摄图片随机性强,对于异常有病变的部位,不能提供角度全面的图片。
三维重建是指利用二维信息恢复三维信息(形状等)的数学过程。随着计算机技术的发展,计算机硬件计算能力的提高,三维重建技术方法也大量涌现。例如以下几种:
基于光流的三维重建技术,先提取图像序列中运动物体或场景表面的图像特征如图像中的角点、直线、曲线等、然后对提取的特征跟踪、匹配并计算出其对应的图像坐标变化,从而根据特征光流与三维运动和空间结构的投影关系重建三维运动与结构。由于只是采用图像序列中感兴趣的图像特征对物体或场景进行描述,基于光流的三维重建技术能够克服亮度突变现象对重建结果的影响。当图像序列中存在运动遮挡情况时,光流估计在遮挡区域会有较大误差。
基于明暗恢复法是计算机视觉领域从图像恢复三维形状的的经典算法,其利用单幅图像优化迭代进行三维形状重建,但是只能重建反照率一致的图像,且只对无投射阴影的图像有效。
基于光度立体技术(PMS)是基于非平面表面的多幅辐照度图像对物体表面形状进行重建,PMS扩展了SFS的约束条件,从3幅或者3幅以上的辐照度图像重建物体的三维结构,是基于图像的三维重建中较准确且可靠的技术。当空间三维场景被投影为二维图像时,同一景物在不同视点下的全图会有很大不同,而且场景中的诸多因数,如光照条件,景物几何形状和物理特性,噪声干扰和畸变以及摄像机特性等,都会对三维重建的效果产生很大的影响。
对于胶囊内镜,由于体积的限制,一般只设置有一个摄像头,采用基于单目视觉的三维重建技术更可取,目前有一种基于结构化深度学习的单目图像深度估计模型,根据输入的RGB图像,推测每个像素对应的深度值,从而得到模型的结构化输出深度图,深度学习框架使用多尺度卷积神经网络结合连续条件随机场,从图像序列中学习到相关特征表达。连续条件随机场根据图像像素的位置,颜色信息优化卷积神经网络,得到图片的深度信息。深度学习对于训练的数据集合硬件要求比较高,所以对于实时三维重建还有很有待提升。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种胶囊内镜图像三维重建方法及系统。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种胶囊内镜图像三维重建方法,其包括如下步骤:
S1,对胶囊内镜的单目相机进行标定,获取相机内、外参数;
S2,选取单目相机拍摄的图片序列,对所述图片序列进行校正;
S3,检测校正后图像的特征点;
S4,对步骤S3获得的特征点进行匹配并跟踪,形成特征点轨迹;
S5,图像摄影重建;
S6,对步骤S5处理后的图像进行三维重建。
本发明的胶囊内镜图像三维重建方法通过单目图片序列,生成立体的、精确的3d稠密的点云模型,完成三维重建。本发明可以很好匹配和跟踪特征点,三维重建的效果更稳健。相比于传统的单目三维重建方法,特征提取跟踪速度快,可以达到实时三维重建。
在本发明的一种优选实施方式中,所述步骤S4中对特征点进行匹配并跟踪,形成特征点轨迹的方法为:
对同一拍摄位置的不同图像的特征点进行匹配,选择Hamming距离进行匹配,不相同的位数h,同时设置阈值d,小于d则表示差距比较大,标记为匹配特征点,反之则认为两个特征点存在干扰,标记为不匹配;
S42,采用随机抽样一致算法来剔除无匹配的特征点;
S43,特征点跟踪,根据步骤S42获得的特征点匹配的结果,将匹配的特征点存入到对应特征点队列Ti={p1,p2...pn}中,组成特征点的轨迹。
实现匹配和跟踪特征点,三维重建的效果更稳健。相比于传统的单目三维重建方法,特征提取跟踪速度快,可以达到实时三维重建。
在本发明的另一种优选实施方式中,所述步骤S2中的校正方法为:
S21,对获取的图片进行边界填充;
其中,d(x,y)是填充后的图像,f(x,y)为原图像,w为原图像的宽度,h为原图像的高度,Δx是x方向上填充的宽度,Δy是y方向上填充的高度,填充后的图像宽高变为Δx+w,Δy+h;
S22,在0至1之间设置多个校正系数σ,根据所述校正系数生成多个相机校正内参K'=σ*K,
其中K'为校正后的相机内参;
S23,根据相机外参和不同校正系数下的相机校正内参,求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵MP1,MP2…MP9,MP10,……,Mpq,根据所述畸变坐标映射矩阵进行校正,公式如下:dst(xi,yi)=src(d(M(xi,yi))),
其中:dst(xi,yi)是目标图像,即重映射的结果;src(d(M(xi,yi)))是源图像;
利用得到的畸变坐标映射矩阵进行灰度校正,使用双线性差值算法求解校正后的图像像素值,具体的算法公式如下:
d(M(xi,yi))=(1-Δx)(1-Δy)M(xi,yi)+Δy(1-Δx)M(xi,yi+1)
+Δx(1-Δy)M(xi+1,yi)+ΔxΔyM(xi+1,yi+1)
式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分,通过双线性插值方法完成图像最后的图像校正;
非线性畸变坐标映射矩阵为
其中,所述q为校正系数的个数,也即坐标映射矩阵的个数,i为正数且1≤i≤q,size为校正图像的大小,H为映射矩阵,K'i为对应第i个校正系数的校正后的相机内参;
畸变坐标映射矩阵求取方法具体为:将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z=1平面下的三维坐标(x',y',1),其中T为平移向量,
求出平面模型下像素点对应鱼眼半球模型下的极坐标,利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(mx,my)即为目标图像对应的像素点坐标,
Mpi=M(xi,yi)=(mxi,myi),
其中fx,fy为焦距,cx,cy为图像的中心点坐标。
本发明的校正方法快速高效,能够实时针对医用内镜图片进行畸变校正,校正后的图片更符合人眼视图习惯,有助于医生阅片和对异常病变部位进一部的观察,提高医生诊断的准确性。本发明针对不同人的视觉差异,引入校正系数,达到不同的校正效果,以供医生选择。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种胶囊内镜图像三维重建系统,其包括设置于胶囊内镜上的单目相机、控制器及图像显示装置,所述相机拍摄图像并传输给控制器,所述控制器根据本发明的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。
本发明的胶囊内镜图像三维重建系统结构简单,采用通过单目图片序列,生成立体的、精确的3d稠密的点云模型,完成三维重建。本发明很好地匹配和跟踪特征点,三维重建的效果更稳健。相比于传统的单目三维重建方法,特征提取跟踪速度快,可以达到实时三维重建。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一种优选实施方式中胶囊内镜图像三维重建方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明解决了胶囊内镜拍摄图片随机性强,对于有病变或异常的部位能够提供三维信息。将传统的胶囊内镜二维图像序列恢复三维几何信息,有助于医生对异常病变部位进行三维视觉的观察,提高医生诊断的准确性。
本发明提供了一种胶囊内镜图像三维重建方法,其包括如下步骤:
S1,对胶囊内镜的单目相机进行标定,获取相机内、外参数;
S2,选取单目相机拍摄的图片序列,对所述图片序列进行校正;
S3,检测校正后图像的特征点;
S4,对步骤S3获得的特征点进行匹配并跟踪,形成特征点轨迹;
S5,图像摄影重建;
S6,对步骤S5处理后的图像进行三维重建。
在本实施方式中,步骤S1中对胶囊内镜单目相机进行标定的方法为:
拍摄至少三幅及以上的不同位置的标定图像并划分为棋盘格,根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系,计算出内镜相机所有的内外参数,具体为:
设三维世界坐标的点为P=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,所以标定用的棋盘格平面到图像平面的单应性关系为:
s·m=K[R,T]P,
其中s为尺度因子,K为摄像机内参数,R为旋转矩阵,T为平移向量,H为映射矩阵,将世界坐标系构造在棋盘格平面上,令棋盘格平面为Z=0的平面,可得:
映射矩阵H=[h1,h2,h3]=λK[r1,r2,t];
其中,h1,h2,h3分别为映射矩阵H的三个列向量,λ为尺度因子s的倒数,r1,r2为旋转矩阵R的任意两个列向量,t为r1,r2所对应图像的平移向量;
利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K;
得到t=λK-1h3。
对于外参矩阵,可以采用与内参矩阵相似的方法求取。
在本实施方式中,步骤S2中的校正方法为:
S21,对获取的图片进行边界填充;
其中,d(x,y)是填充后的图像,f(x,y)为原图像,w为原图像的宽度,h为原图像的高度,Δx是x方向上填充的宽度,Δy是y方向上填充的高度,填充后的图像宽高变为Δx+w,Δy+h;
S22,在0至1之间设置多个校正系数σ(例如0.1,0.2,……,0.9,1),根据所述校正系数生成多个相机校正内参K'=σ*K,
其中K'为校正后的相机内参;
S23,根据相机外参和不同校正系数下的相机校正内参,求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵MP1,MP2…MP9,MP10,……,Mpq,根据所述畸变坐标映射矩阵进行校正,公式如下:dst(xi,yi)=src(d(M(xi,yi))),
其中:dst(xi,yi)是目标图像,即重映射的结果;src(d(M(xi,yi)))是源图像;
利用得到的畸变坐标映射矩阵进行灰度校正,使用双线性差值算法求解校正后的图像像素值,具体的算法公式如下:
d(M(xi,yi))=(1-Δx)(1-Δy)M(xi,yi)+Δy(1-Δx)M(xi,yi+1)
+Δx(1-Δy)M(xi+1,yi)+ΔxΔyM(xi+1,yi+1)
式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分,通过双线性插值方法完成图像最后的图像校正;
非线性畸变坐标映射矩阵为
其中,所述q为校正系数的个数,也即坐标映射矩阵的个数,i为正数且1≤i≤q,size为校正图像的大小,H为映射矩阵,K'i为对应第i个校正系数的校正后的相机内参;
畸变坐标映射矩阵求取方法具体为:将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z=1平面下的三维坐标(x',y',1),其中T为平移向量,
求出平面模型下像素点对应鱼眼半球模型下的极坐标,利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(mx,my)即为目标图像对应的像素点坐标,
Mpi=M(xi,yi)=(mxi,myi),
其中fx,fy为焦距,cx,cy为图像的中心点坐标。
在本实施方式中,步骤S3中特征点检测的方法为:
S31,建立图像尺度空间,所述图像尺度空间包括d1(优选为4)个octave层ci和d2(优选为4)个intra-octave层di,所述d1、d2均为正整数,c0层是原始图像,c1层是c0层的m1(优选为2)倍下采样,c2层是c1层的m2(优选为2)倍下采样,以此类推组成octave层ci,m1、m2均为正数;
d0层是原始图像的m3(优选为1.5)倍下采样,d1层是d0层的m4(优选为2)倍下采样,d2层是d1层的m5(优选为2)倍下采样,以此类推得到intra-octave层di,所述m3、m4、m5均为正数;
在每个尺度空间中,用检测器进行关键点的检测,检测器中主要使用了T1-T2个掩膜,即在T2像素的圆中至少需要T1个连续的像素来提供足够亮或暗的像素来实现,其中,T1、T2均为正整数且T2大于T1;
S32,创建描述子,关键点周围的抽样点旋转角度为α,α的范围为0°-90°,有选为0°-15°,描述子是二值特征,描述子V的每一bit的值等于短距离点对的比值如下:
其中I(Pi α,σi)表示第j个和第i个特征点对的平滑像素值,表示第j个特征点对旋转角度α后的坐标,Pi α表示第i个特征点对旋转角度α后的坐标,Δj为第j个特征点对的平滑尺度,Δi为第j个特征点对的平滑尺度。
在本实施方式中,步骤S4中对特征点进行匹配并跟踪,形成特征点轨迹的方法为:
对同一拍摄位置的不同图像的特征点进行匹配,选择Hamming距离进行匹配,不相同的位数h,同时设置阈值d,小于d则表示差距比较大,标记为匹配特征点,反之则认为两个特征点存在干扰,标记为不匹配;
S42,采用随机抽样一致算法来剔除无匹配的特征点;
S43,特征点跟踪,根据步骤S42获得的特征点匹配的结果,将匹配的特征点存入到对应特征点队列Ti={p1,p2...pn}中,组成特征点的轨迹。
步骤S5中,图像摄影重建的方法为:
空间点Xc=(X,Y,Z)T投影到图像平面上的一点p(x,y),该点是空间点Xc与光心的直线与图像平面的交点,设空间点所在图像的射影投影矩阵为P1=[I 0],通过估计出来的基础矩阵F=K[R,T]分解成一个斜对称矩阵和一个满秩矩阵,求得图像平面的射影投影矩阵P2,矩阵F表示两张图片之间的对积几何关系,有:
P1 TFP2=0,
对于投影矩阵P1,设P11,P12,P13为对应于P1的行向量,(xi,yi,1)T为对应于P1的图像上的第i个匹配点的齐次坐标,Xi为对应匹配点的空间齐次坐标,σ为深度因子则有:
假设图像序列中,表示第i帧图像中的第j个特征点的坐标,设定第一帧为参考图像,用Ri和Ti分别表示第i帧相对于第一帧图像的相机旋转和平移,利用多帧图像进行特征点的三维重构,使用最小二乘法,求以下函数的最小值,使得射影投影重建结果最小,
其中,m是图像的帧数,n是特征点数量,
对上式进行不断的迭代,求解参数R、T,得到射影重建下的所有图像中每个点的坐标和旋转以及平移矩阵。
当求解出图像的变换投影矩阵,就可以根据像素点坐标求解出对应的空间三维坐标,形成稀疏3D点云。稀疏3D点云智能表示出图像内容的深度信息,还不能具体还原出目标在三维场景中的形状等,为了得到更加具体的真实的目标3D模型,本发明采用基于面片的三维多视角立体视觉算法(PMVS)来重建出目标的稠密的点云,完成三维重建,具体重建方法采用现有方法,在此不作赘述。
本发明还提供了一种胶囊内镜图像三维重建系统,其包括设置于胶囊内镜上的单目相机、控制器及图像显示装置,所述相机拍摄图像并传输给控制器,所述控制器根据本发明的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。本发明的胶囊内镜图像三维重建系统结构简单,采用通过单目图片序列,生成立体的、精确的3d稠密的点云模型,完成三维重建。本发明很好地匹配和跟踪特征点,三维重建的效果更稳健。相比于传统的单目三维重建方法,特征提取跟踪速度快,可以达到实时三维重建。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种胶囊内镜图像三维重建方法,其特征在于,包括如下步骤:
S1,对胶囊内镜的单目相机进行标定,获取相机内、外参数;
S2,选取单目相机拍摄的图片序列,对所述图片序列进行校正;
S3,检测校正后图像的特征点;
S4,对步骤S3获得的特征点进行匹配并跟踪,形成特征点轨迹;
S5,图像摄影重建;
S6,对步骤S5处理后的图像进行三维重建。
2.根据权利要求1所述的胶囊内镜图像三维重建方法,其特征在于,所述步骤S1中对胶囊内镜单目相机进行标定的方法为:
拍摄至少三幅及以上的不同位置的标定图像并划分为棋盘格,根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系,计算出内镜相机所有的内外参数,具体为:
设三维世界坐标的点为P=[X,Y,Z,1]T,二维相机平面像素坐标为m=[u,v,1]T,所以标定用的棋盘格平面到图像平面的单应性关系为:
s·m=K[R,T]P,
其中s为尺度因子,K为摄像机内参数,R为旋转矩阵,T为平移向量,H为映射矩阵,将世界坐标系构造在棋盘格平面上,令棋盘格平面为Z=0的平面,可得:
映射矩阵H=[h1,h2,h3]=λK[r1,r2,t];
其中,h1,h2,h3分别为映射矩阵H的三个列向量,λ为尺度因子s的倒数,r1,r2为旋转矩阵R的任意两个列向量,t为r1,r2所对应图像的平移向量;
利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K;
并得到t=λK-1h3。
3.根据权利要求1所述的胶囊内镜图像三维重建方法,其特征在于,所述步骤S2中的校正方法为:
S21,对获取的图片进行边界填充;
其中,d(x,y)是填充后的图像,f(x,y)为原图像,w为原图像的宽度,h为原图像的高度,Δx是x方向上填充的宽度,Δy是y方向上填充的高度,填充后的图像宽高变为Δx+w,Δy+h;
S22,在0至1之间设置多个校正系数σ,根据所述校正系数生成多个相机校正内参K'=σ*K,
其中K'为校正后的相机内参;
S23,根据相机外参和不同校正系数下的相机校正内参,求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵MP1,MP2…MP9,MP10,……,Mpq,根据所述畸变坐标映射矩阵进行校正,公式如下:dst(xi,yi)=src(d(M(xi,yi))),
其中:dst(xi,yi)是目标图像,即重映射的结果;src(d(M(xi,yi)))是源图像;
利用得到的畸变坐标映射矩阵进行灰度校正,使用双线性差值算法求解校正后的图像像素值,具体的算法公式如下:
d(M(xi,yi))=(1-Δx)(1-Δy)M(xi,yi)+Δy(1-Δx)M(xi,yi+1)+Δx(1-Δy)M(xi+1,yi)+ΔxΔyM(xi+1,yi+1)
式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分,通过双线性插值方法完成图像最后的图像校正;
非线性畸变坐标映射矩阵为
其中,所述q为校正系数的个数,也即坐标映射矩阵的个数,i为正数且1≤i≤q,size为校正图像的大小,H为映射矩阵,K'i为对应第i个校正系数的校正后的相机内参;
畸变坐标映射矩阵求取方法具体为:将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z=1平面下的三维坐标(x',y',1),其中T为平移向量,
求出平面模型下像素点对应鱼眼半球模型下的极坐标,利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(mx,my)即为目标图像对应的像素点坐标,
Mpi=M(xi,yi)=(mxi,myi),
其中fx,fy为焦距,cx,cy为图像的中心点坐标。
4.根据权利要求1所述的胶囊内镜图像三维重建方法,其特征在于,所述步骤S3中特征点检测的方法为:
S31,建立图像尺度空间,所述图像尺度空间包括d1个octave层ci和d2个intra-octave层di,所述d1、d2均为正整数,c0层是原始图像,c1层是c0层的m1倍下采样,c2层是c1层的m2倍下采样,以此类推组成octave层ci,m1、m2均为正数;
d0层是原始图像的m3倍下采样,d1层是d0层的m4倍下采样,d2层是d1层的m5倍下采样,以此类推得到intra-octave层di,所述m3、m4、m5均为正数;
在每个尺度空间中,用检测器进行关键点的检测,检测器中使用T1-T2个掩膜,即在T2像素的圆中至少需要T1个连续的像素来提供足够亮或暗的像素来实现,其中,T1、T2均为正整数且T2大于T1;
S32,创建描述子,关键点周围的抽样点旋转角度为α,描述子是二值特征,描述子V的每一bit的值等于短距离点对的比值如下:
其中I(Pi α,σi)表示第j个和第i个特征点对的平滑像素值,表示第j个特征点对旋转角度α后的坐标,Pi α表示第i个特征点对旋转角度α后的坐标,Δj为第j个特征点对的平滑尺度,Δi为第j个特征点对的平滑尺度。
5.根据权利要求1所述的胶囊内镜图像三维重建方法,其特征在于,所述步骤S4中对特征点进行匹配并跟踪,形成特征点轨迹的方法为:
对同一拍摄位置的不同图像的特征点进行匹配,选择Hamming距离进行匹配,不相同的位数h,同时设置阈值d,小于d则表示差距比较大,标记为匹配特征点,反之则认为两个特征点存在干扰,标记为不匹配;
S42,采用随机抽样一致算法来剔除无匹配的特征点;
S43,特征点跟踪,根据步骤S42获得的特征点匹配的结果,将匹配的特征点存入到对应特征点队列Ti={p1,p2...pn}中,组成特征点的轨迹。
6.根据权利要求1所述的胶囊内镜图像三维重建方法,其特征在于,所述步骤S5中,图像摄影重建的方法为:
空间点Xc=(X,Y,Z)T投影到图像平面上的一点p(x,y),该点是空间点Xc与光心的直线与图像平面的交点,设空间点所在图像的射影投影矩阵为P1=[I0],通过估计出来的基础矩阵F=K[R,T]分解成一个斜对称矩阵和一个满秩矩阵,求得图像平面的射影投影矩阵P2,矩阵F表示两张图片之间的对积几何关系,有:
P1 TFP2=0,
对于投影矩阵P1,设P11,P12,P13为对应于P1的行向量,(xi,yi,1)T为对应于P1的图像上的第i个匹配点的齐次坐标,Xi为对应匹配点的空间齐次坐标,σ为深度因子则有:
假设图像序列中,表示第i帧图像中的第j个特征点的坐标,设定第一帧为参考图像,用Ri和Ti分别表示第i帧相对于第一帧图像的相机旋转和平移,利用多帧图像进行特征点的三维重构,使用最小二乘法,求以下函数的最小值,使得射影投影重建结果最小,
其中,m是图像的帧数,n是特征点数量,
对上式进行不断的迭代,求解参数R、T,得到射影重建下的所有图像中每个点的坐标和旋转以及平移矩阵。
7.一种利用权利要求1-6之一所述胶囊内镜图像三维重建方法的系统,其特征在于,包括设置于胶囊内镜上的单目相机、控制器及图像显示装置,所述相机拍摄图像并传输给控制器,所述控制器根据权利要求1-6之一所述的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811266275.4A CN109448041B (zh) | 2018-10-29 | 2018-10-29 | 一种胶囊内镜图像三维重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811266275.4A CN109448041B (zh) | 2018-10-29 | 2018-10-29 | 一种胶囊内镜图像三维重建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109448041A true CN109448041A (zh) | 2019-03-08 |
CN109448041B CN109448041B (zh) | 2021-10-22 |
Family
ID=65548846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811266275.4A Active CN109448041B (zh) | 2018-10-29 | 2018-10-29 | 一种胶囊内镜图像三维重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109448041B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110000793A (zh) * | 2019-04-29 | 2019-07-12 | 武汉库柏特科技有限公司 | 一种机器人运动控制方法、装置、存储介质和机器人 |
CN110327046A (zh) * | 2019-04-28 | 2019-10-15 | 安翰科技(武汉)股份有限公司 | 一种基于摄像系统的消化道内物体测量方法 |
CN110415332A (zh) * | 2019-06-21 | 2019-11-05 | 上海工程技术大学 | 一种非单一视角下复杂织物表面三维重建系统及其方法 |
CN110742652A (zh) * | 2019-09-18 | 2020-02-04 | 中国科学院西安光学精密机械研究所 | 一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法 |
CN110930510A (zh) * | 2019-11-29 | 2020-03-27 | 广东优世联合控股集团股份有限公司 | 城市空间三维重建方法 |
CN111079765A (zh) * | 2019-12-13 | 2020-04-28 | 电子科技大学 | 一种基于深度图的稀疏点云稠密化及路面去除方法 |
CN111127536A (zh) * | 2019-12-11 | 2020-05-08 | 清华大学 | 基于神经网络的光场多平面表示重建方法及装置 |
CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
CN111402429A (zh) * | 2020-06-08 | 2020-07-10 | 成都索贝数码科技股份有限公司 | 一种尺度还原、三维重建方法、系统、存储介质及设备 |
CN111798387A (zh) * | 2020-06-24 | 2020-10-20 | 海南大学 | 一种用于共聚焦内窥镜的图像处理方法及系统 |
CN112261399A (zh) * | 2020-12-18 | 2021-01-22 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
CN112288852A (zh) * | 2020-10-28 | 2021-01-29 | 华润电力技术研究院有限公司 | 煤场三维重建方法及系统、火电机组智能控制方法 |
CN112802185A (zh) * | 2021-01-26 | 2021-05-14 | 合肥工业大学 | 面向微创手术空间感知的内窥镜图像三维重构方法和系统 |
CN114020953A (zh) * | 2021-10-27 | 2022-02-08 | 北京中知智慧科技有限公司 | 外观设计产品的多图检索方法及装置 |
CN115345923A (zh) * | 2022-10-19 | 2022-11-15 | 佛山科学技术学院 | 一种用于脑功能康复训练的虚拟场景三维重建方法 |
CN116559181A (zh) * | 2023-07-07 | 2023-08-08 | 杭州灵西机器人智能科技有限公司 | 基于光度立体视觉的缺陷检测方法、系统、装置及介质 |
CN116977411A (zh) * | 2022-12-01 | 2023-10-31 | 开立生物医疗科技(武汉)有限公司 | 内镜移动速度估计方法及装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103948361A (zh) * | 2014-04-14 | 2014-07-30 | 中国人民解放军总医院 | 无标志点的内窥镜定位跟踪方法和系统 |
CN106618450A (zh) * | 2016-11-21 | 2017-05-10 | 电子科技大学 | 一种三目立体内窥镜 |
CN107633489A (zh) * | 2017-09-18 | 2018-01-26 | 哈尔滨工业大学深圳研究生院 | 鱼眼镜头圆心重提取映射法畸变矫正方法 |
-
2018
- 2018-10-29 CN CN201811266275.4A patent/CN109448041B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103948361A (zh) * | 2014-04-14 | 2014-07-30 | 中国人民解放军总医院 | 无标志点的内窥镜定位跟踪方法和系统 |
CN106618450A (zh) * | 2016-11-21 | 2017-05-10 | 电子科技大学 | 一种三目立体内窥镜 |
CN107633489A (zh) * | 2017-09-18 | 2018-01-26 | 哈尔滨工业大学深圳研究生院 | 鱼眼镜头圆心重提取映射法畸变矫正方法 |
Non-Patent Citations (3)
Title |
---|
STEFAN LEUTENEGGER ET AL.: "BRISK: Binary Robust Invariant Scalable Keypoints", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
罗肖: "序列内窥镜图像的三维结构重建", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
蔡振宇: "基于全六维位姿定位的肠胃道胶囊内窥镜图像三维重建技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110327046A (zh) * | 2019-04-28 | 2019-10-15 | 安翰科技(武汉)股份有限公司 | 一种基于摄像系统的消化道内物体测量方法 |
CN110000793A (zh) * | 2019-04-29 | 2019-07-12 | 武汉库柏特科技有限公司 | 一种机器人运动控制方法、装置、存储介质和机器人 |
CN110415332A (zh) * | 2019-06-21 | 2019-11-05 | 上海工程技术大学 | 一种非单一视角下复杂织物表面三维重建系统及其方法 |
CN110742652A (zh) * | 2019-09-18 | 2020-02-04 | 中国科学院西安光学精密机械研究所 | 一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法 |
CN110930510A (zh) * | 2019-11-29 | 2020-03-27 | 广东优世联合控股集团股份有限公司 | 城市空间三维重建方法 |
CN111127536A (zh) * | 2019-12-11 | 2020-05-08 | 清华大学 | 基于神经网络的光场多平面表示重建方法及装置 |
WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
CN111145238B (zh) * | 2019-12-12 | 2023-09-22 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
CN111079765A (zh) * | 2019-12-13 | 2020-04-28 | 电子科技大学 | 一种基于深度图的稀疏点云稠密化及路面去除方法 |
CN111079765B (zh) * | 2019-12-13 | 2022-07-01 | 电子科技大学 | 一种基于深度图的稀疏点云稠密化及路面去除方法 |
CN111402429A (zh) * | 2020-06-08 | 2020-07-10 | 成都索贝数码科技股份有限公司 | 一种尺度还原、三维重建方法、系统、存储介质及设备 |
CN111402429B (zh) * | 2020-06-08 | 2020-09-15 | 成都索贝数码科技股份有限公司 | 一种尺度还原、三维重建方法、系统、存储介质及设备 |
CN111798387A (zh) * | 2020-06-24 | 2020-10-20 | 海南大学 | 一种用于共聚焦内窥镜的图像处理方法及系统 |
CN112288852A (zh) * | 2020-10-28 | 2021-01-29 | 华润电力技术研究院有限公司 | 煤场三维重建方法及系统、火电机组智能控制方法 |
CN112261399A (zh) * | 2020-12-18 | 2021-01-22 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
CN112802185A (zh) * | 2021-01-26 | 2021-05-14 | 合肥工业大学 | 面向微创手术空间感知的内窥镜图像三维重构方法和系统 |
CN112802185B (zh) * | 2021-01-26 | 2022-08-02 | 合肥工业大学 | 面向微创手术空间感知的内窥镜图像三维重构方法和系统 |
CN114020953A (zh) * | 2021-10-27 | 2022-02-08 | 北京中知智慧科技有限公司 | 外观设计产品的多图检索方法及装置 |
CN114020953B (zh) * | 2021-10-27 | 2022-12-13 | 北京中知智慧科技有限公司 | 外观设计产品的多图检索方法及装置 |
CN115345923A (zh) * | 2022-10-19 | 2022-11-15 | 佛山科学技术学院 | 一种用于脑功能康复训练的虚拟场景三维重建方法 |
CN115345923B (zh) * | 2022-10-19 | 2022-12-27 | 佛山科学技术学院 | 一种用于脑功能康复训练的虚拟场景三维重建方法 |
CN116977411A (zh) * | 2022-12-01 | 2023-10-31 | 开立生物医疗科技(武汉)有限公司 | 内镜移动速度估计方法及装置、电子设备及存储介质 |
CN116977411B (zh) * | 2022-12-01 | 2024-03-19 | 开立生物医疗科技(武汉)有限公司 | 内镜移动速度估计方法及装置、电子设备及存储介质 |
CN116559181A (zh) * | 2023-07-07 | 2023-08-08 | 杭州灵西机器人智能科技有限公司 | 基于光度立体视觉的缺陷检测方法、系统、装置及介质 |
CN116559181B (zh) * | 2023-07-07 | 2023-10-10 | 杭州灵西机器人智能科技有限公司 | 基于光度立体视觉的缺陷检测方法、系统、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109448041B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109448041A (zh) | 一种胶囊内镜图像三维重建方法及系统 | |
Peng et al. | Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans | |
Allan et al. | Stereo correspondence and reconstruction of endoscopic data challenge | |
US20190200003A1 (en) | System and method for 3d space-dimension based image processing | |
Xu et al. | Unstructuredfusion: realtime 4d geometry and texture reconstruction using commercial rgbd cameras | |
CN106910222A (zh) | 基于双目立体视觉的人脸三维重建方法 | |
ES2553258T3 (es) | Método para la estimación de una pose de un modelo de objeto articulado | |
Totz et al. | Dense surface reconstruction for enhanced navigation in MIS | |
CN105184857B (zh) | 基于点结构光测距的单目视觉重建中尺度因子确定方法 | |
CN108475327A (zh) | 三维采集与渲染 | |
CN105869167A (zh) | 基于主被动融合的高分辨率深度图获取方法 | |
CN106803275A (zh) | 基于相机位姿估计和空间采样的2d全景视频生成 | |
JP2018129009A (ja) | 画像合成装置、画像合成方法及びコンピュータプログラム | |
JP2018124939A (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
US11922562B2 (en) | Methods and systems for rendering view-dependent images using 2D images | |
CN108090954A (zh) | 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法 | |
US11321960B2 (en) | Deep learning-based three-dimensional facial reconstruction system | |
CN109448105B (zh) | 基于多深度图像传感器的三维人体骨架生成方法及系统 | |
CN110796699B (zh) | 多目相机系统的最优视角选择方法和三维人体骨骼检测方法 | |
Freer et al. | Novel-view synthesis of human tourist photos | |
Vasudevan et al. | A methodology for remote virtual interaction in teleimmersive environments | |
CN107270875A (zh) | 运动模糊效应下的视觉特征三维重建方法 | |
Yoon | Metaverse in the Wild: Modeling, Adapting, and Rendering of 3D Human Avatars from a Single Camera | |
Li et al. | Robust and accurate 3D self-portraits in seconds | |
WO2024050918A1 (zh) | 内窥镜定位方法、电子设备和非暂态计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210917 Address after: 401120 1-1, 2-1, 3-1, building 5, No. 18, Cuiping Lane 2, Huixing street, Yubei District, Chongqing Applicant after: Chongqing Jinshan Medical Technology Research Institute Co.,Ltd. Address before: 401120 1 office buildings, Jinshan International Industrial City, 18 of Nei sang Road, Hui Xing street, Yubei District, Chongqing. Applicant before: CHONGQING JINSHAN MEDICAL APPLIANCE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |