CN103472668B - 一种立体成像装置及方法 - Google Patents

一种立体成像装置及方法 Download PDF

Info

Publication number
CN103472668B
CN103472668B CN201310438065.XA CN201310438065A CN103472668B CN 103472668 B CN103472668 B CN 103472668B CN 201310438065 A CN201310438065 A CN 201310438065A CN 103472668 B CN103472668 B CN 103472668B
Authority
CN
China
Prior art keywords
camera
image
prism
image collecting
collecting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310438065.XA
Other languages
English (en)
Other versions
CN103472668A (zh
Inventor
赵越
魏永涛
崔笑宇
柳林
王禹松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201310438065.XA priority Critical patent/CN103472668B/zh
Publication of CN103472668A publication Critical patent/CN103472668A/zh
Application granted granted Critical
Publication of CN103472668B publication Critical patent/CN103472668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种立体成像装置及方法,涉及内窥镜领域,装置包括:十字架式带有刻度的钢尺、棱镜固定装置,摄像头固定装置、计算机主机和3D显示器,此外,还进一步包括图像采集装置,该装置主要由棱镜、卡槽、遮光筒、滑动筒和摄像头,棱镜固定与卡槽内,卡槽与遮光筒一端固定连接,遮光筒内设置有滑动筒,且滑动筒外表面光滑,与内表面光滑的遮光筒滑动连接,摄像头固定于滑动筒内。本发明将给3D显示提供一个新的发展方向,不仅可以用于3D电影拍摄,而且可以用于医学领域的3D成像,还可以用于其他工业场合。运用调节好的图像采集装置设备实现3D显示,可以大大降低传统的多个摄像头实现立体成像的成本,大大降低了成本,具有广泛的市场前景。

Description

一种立体成像装置及方法
技术领域
本发明涉及内窥镜领域,特别涉及一种立体成像装置及方法。
背景技术
目前,立体显示技术发展日益成熟和完善,立体显示技术已经广泛的应用到社会的各个领域,正在深刻的影响着我们的生活。当前立体显示技术的主流是用两个摄像头拍摄图像,然后利用现有的立体显示技术(如偏振式立体显示技术、色差式立体显示技术、主动快门式立体显示技术等)对拍摄的图像进行处理,以及相关的辅助设备来实现立体显示效果,由于运用多个摄像头实现立体显示,这就不可避免的会增加实现立体显示的成本,同时也限制了应用范围。例如,立体显示在医学上比较广泛的一个应用就是在医用立体内窥镜领域。目前的医用内窥镜大多采用两个摄像头来拍摄图像,然后利用偏振式立体显示技术或头盔式立体显示技术,对拍摄的图像进行处理来实现立体成像显示,这就不可避免的会增加内窥镜镜体的体积,在一定程度上限制了内窥镜的应用范围。同时,一般医用内窥镜用于拍摄医学图像,因而对成像质量要求非常高,一般都是采用像素和分辨率较高的工业相机,配置较高的工业相机价格都在万元以上,这大大增加了立体内窥镜的成本。
发明内容
针对现有技术存在的不足,本发明的目的是提供一种立体成像装置及方法。
本发明的技术方案是这样实现的:一种立体成像装置,包括:十字架式带有刻度的钢尺、棱镜固定装置,摄像头固定装置、计算机主机和3D显示器,此外,还进一步包括图像采集装置,该装置主要由棱镜、卡槽、遮光筒、滑动筒和摄像头,棱镜固定与卡槽内,卡槽与遮光筒一端固定连接,遮光筒内设置有滑动筒,且滑动筒外表面光滑,与内表面光滑的遮光筒滑动连接,摄像头固定于滑动筒内。
在所述的滑动筒的外表面还设置有刻度。
所述的位于滑动桶上的刻度,初始的刻度0与遮光筒另一端对齐。
本发明采用上述装置实现立体成像的方法,包括以下步骤:
步骤1:利用图像采集装置来采集图像,首先调节棱镜固定装置和摄像头固定装置,使得位于棱镜固定装置上的摄像头与两侧的摄像头固定装置上的摄像头处于同一水平线上;然后,分别开启三个摄像头,开始对图像进行采集;
步骤2:三个摄像头分别将采集到的图像发送到上位机中,实现3D显示处理,具体包括以下步骤:
步骤2.1:利用棱镜模型将图像采集装置采集到的图像分成左半平面图像和右半平面图像;
2.2.1:图像采集装置在未放入棱镜的情况下,采用标定方法建立世界坐标系中的一点与相机坐标系中的点的对应关系,具体为:首先确定图像采集装置中的摄像头的内外参数矩阵,其中,摄像机的内参数矩阵表示相机焦距和光学中心的位置,外部参数矩阵表示了世界坐标系与相机坐标系之间的关系;然后,利用内参数矩阵和外参数矩阵建立世界坐标系中的一点与相平面坐标系上的点的对应关系;
2.2.2:在图像采集装置中放入棱镜,根据棱镜的几何光学模型以及摄像头内外参数矩阵,确定物点和像点位置关系,求解计算棱镜的位置参数,棱镜的位置参数指的是棱镜在摄像机坐标系中的位置信息,主要指棱镜的三个侧平面的法向量信息;
2.2.3:利用棱镜的位置参数,根据法向量的空间关系,求解出棱镜后平面所对的棱在摄像机坐标系中的位置,进一步利用投影计算该棱在相平面坐标系中的位置,该位置将图像采集装置中的摄像头的像平面分为左右两个部分;
2.2.4:打开两侧摄像头固定装置上的摄像头以及图像采集装置中的摄像头,向上位机中输入采集数据,使左侧摄像头采集到的图像与右侧摄像头采集到的图像交替显示,且保证在显示左侧的摄像头采集到的图像时,同步显示图像采集装置中摄像头的像平面的左半部分采集到的图像;在显示右侧的摄像头采集到的图像时,同步显示图像采集装置中摄像头的像平面的右半部分采集到的图像;
步骤2.2:利用左侧的摄像头固定装置上的摄像头采集的图像对像平面的左半部分图像进行校正,利用右侧的摄像头固定装置上的摄像头采集的图像对像平面的右半部分图像进行校正;
2.2.1:利用畸变模型对图像采集装置中的摄像头的像平面的左、右部分成像效果进行畸变校正,减少由于棱镜的引入对采集图像造成的畸变失真影响;
2.2.2:利用棱镜的色散补偿模型对图像采集装置中的摄像头像平面的左、右部分成像效果进行补偿校正,减少由于棱镜的折射造成的色散对图像色度产生的影响;
2.2.3:利用左、右侧摄像头的图像分别对图像采集装置中摄像头像平面的左、右部分成像效果进行匹配校正;
2.2.4:调节图像采集装置内棱镜和摄像头之间的间距,首先,更换棱镜,重复执行步骤2.2.1、步骤2.2.2、步骤2.2.3的操作;当图像采集装置中采集到的图像与左右摄像头所采集到的图像的匹配效果相似度达到90%以上时,为最佳匹配,记录下此时的棱镜角度、图像采集装置内的棱镜与摄像头之间的间距;
所述的更换的棱镜,应满足棱镜顶角至少为150度,目的是减少棱镜的光的色散对图像质量的作用;
步骤2.3:利用步骤2.2.4确定图像采集装置内的棱镜以及棱镜后平面和摄像头之间的间距固定重新采集图像,将校正好的左半平面图像与右半平面图像在显示器上交替显示,进而形成3D效果,包括以下步骤:
2.3.1:步骤2.2.3完成后,关闭两侧摄像头,使用调整好的图像采集装置重新采集图像;
2.3.2:将采集到的数据传递到上位机中,继续步骤2.2.1和2.2.2操作;
2.3.2:在上位机中进行3D显示。
本发明的有益效果:本发明提出的立体成像装置,主要包括一个棱镜,一个摄像头,遮光筒,滑动筒以及其它相关连接设备,该装置主要利用棱镜的分光原理,把图像采集装置中的摄像头像平面分为左、右两部分,再利用3D显示原理实现3D显示,用两侧两个摄像头采集的图像对图像采集装置采集的图像进行调节,确定图像采集装置中棱镜的最优角度以及棱镜和摄像头之间的最优距离,本发明不仅给出了一种全新的立体成像方法,而且给出了最优成像效果的最优设置。该发明将给3D显示提供一个新的发展方向,经过该系统调节好的图像采集装置设备不仅可以用于3D电影拍摄,而且可以用于医学领域的3D成像,还可以用于其他工业场合。运用调节好的图像采集装置设备实现3D显示,可以大大降低传统的多个摄像头实现立体成像的成本,大大降低了成本,具有广泛的市场前景。
附图说明
图1为本发明一种实施方式立体成像装置示意图;
图2为本发明一种实施方式十字架式带有刻度的钢尺结构三视图,其中,(a)为钢尺主视图,(b)为钢尺俯视图,(c)为钢尺左视图;
图3为本发明一种实施方式摄像头固定装置三视图,其中,(a)为摄像头固定装置的主视图,(b)为摄像头固定装置的左视图,(c)为摄像头固定装置的俯视图;
图4为本发明一种实施方式图像采集装置的固定装置三视图,其中,(a)为图像采集装置的固定装置的主视图,(b)为图像采集装置的固定装置的左视图,(c)为图像采集装置的固定装置的俯视图;
图5为本发明一种实施方式图像采集装置的结构示意图;
图6为本发明一种实施方式卡槽示意图,其中(a)为卡槽的垂直切面剖面图;(b)为卡槽的沿着相对着螺孔中心连线方向的水平轴向剖面图;
图7为本发明一种实施方式遮光筒和滑动筒的结构示意图,其中(a)、(c)分别是遮光筒的径向剖面图和轴向剖面图,(b)、(d)分别是滑动筒的径向剖面图和轴向剖面图;
图8为本发明一种实施方式物体点经过图像采集装置在像平面上的成像过程示意图,其中(a)为俯视图(b)为侧视图,ABDMNU表示三棱镜,P表示空间一物体点,Pl、Pr分别表示物体点P经过图像采集装置后在像平面左半部分和右半部分的成像点,E、Q指z轴与三棱镜的交点;
图9为本发明一种实施方式整个装置立体成像方法流程图;
图10为本发明一种实施方式NVIDIA的3DVISION原理图。
具体实施方式
下面结合附图对本发明的实施方式作进一步详细的说明。
本实施方式给出立体成像装置示意图,如图1所示。包括:图像采集装置7、十字架式带有刻度的钢尺8、摄像头9、摄像头固定装置10、棱镜固定装置11、计算机主机12、3D显示器13、3D眼镜14和光源15。
本实施方式中采用的十字架式带有刻度的钢尺如图2所示,十字架式带有刻度的钢尺为轴对称,如图2(b)所示。钢尺横臂和纵臂内部设置有卡槽,目的是使棱镜固定装置和摄像头固定装置在钢尺上滑动,进而调节棱镜与摄像头之间的距离,如图2(a)所示。本实施方式中钢尺的尺寸为:尺子的横臂方向和纵臂方向的长均为20cm、宽为5cm、厚为4cm,位于横臂上的卡槽长为7cm、宽为5cm、厚为2cm,纵臂上的卡槽呈倒T字形且前后贯通,倒T字型卡槽的下端20cm长,宽为4cm、厚为2cm,倒T字形卡槽的上端20cm长,宽为1cm、厚为1cm。
本实施方式中采用的摄像头固定装置如图3所示。该固定装置包括固定夹16和支架17,其中,固定夹固定于支架上端,如图3(a)、图3(b)和图3(c)所示。固定夹用于固定摄像头(本实施方式中采用的摄像头型号为MV-VD078SM/SC),支架用于支撑固定夹,本实施方式中的支架要和钢尺的横臂卡槽规格相配套,以便于在钢尺的卡槽中可以滑动,用于调节两侧摄像头之间的距离。
本实施方式中采用的棱镜固定装置如图4所示。该装置包括固定夹16和支架17,其中,固定夹16固定于支架17上端,如图4(a)、图4(b)和图4(c)所示。固定夹用于固定图像采集装置,支架要和尺子的纵臂卡槽规格相配套,实现钢尺在纵臂卡槽中的滑动,进而来调节棱镜和中间摄像头之间的距离。
本实施方式中采用的图像采集装置的结构示意图如图5所示。图像采集装置主要由棱镜1、卡槽2、遮光筒4、滑动筒5和摄像头6,棱镜1固定与卡槽2内,卡槽2与遮光筒4一端固定连接,遮光筒4内设置有滑动筒5,且滑动筒5外表面光滑,与内表面光滑的遮光筒4滑动连接,摄像头6固定于滑动筒5内。
其中,卡槽2的结构如图6所示,卡槽2用来固定棱镜的,因此其形状要受到棱镜的形状限制,本实施方式中采用的卡槽2是中间带有矩形孔,利用该矩形孔安放和固定棱镜。矩形孔的四周分布有螺孔3,本实施方式采用螺纹连接的方式实现卡槽2与遮光筒4的连接。上述所说的卡槽与遮光筒的连接方式并不唯一,也可以采用两个螺孔或一个螺孔的螺纹连接方式,或者不用螺纹连接而直接用粘贴的方法进行均可实现。
其中,遮光筒4和滑动筒5的结构如图7所示。遮光筒4一端连接卡槽2,另一端滑动连接滑动筒5,隔离不经过棱镜的光,减少光线对采集图像的影响。滑动筒5内设置有摄像头6,通过移动滑动桶5来调节棱镜1和摄像头6之间的距离。
立体成像装置示意图的工作过程为:以十字形的带有刻度的钢尺来进行距离的测量,钢尺内部设有卡槽,棱镜固定装置和摄像头固定装置沿钢尺横臂上的卡槽滑动,用来调整两侧摄像头之间的间距,图像采集装置沿钢尺的纵臂的卡槽滑动,用于调整图像采集装置内部棱镜和摄像头之间的间距,在开始采集图像之前要调节好两侧摄像头之间的间距,一般使两侧摄像头之间的间距保证在6cm~7cm之间,使两侧摄像头和采集装置内的摄像头位于同一水平线上。
本实施方式采用上述装置实现立体成像的方法,其流程如图9所示,包括以下步骤:
步骤1:利用图像采集装置来采集图像,首先调节棱镜固定装置和摄像头固定装置,使得位于棱镜固定装置上的摄像头与两侧的摄像头固定装置上的摄像头处于同一水平线上;然后,分别开启三个摄像头,开始对图像进行采集;
步骤2:三个摄像头分别将采集到的图像发送到上位机中,实现3D显示处理,具体包括以下步骤:
步骤2.1:利用棱镜模型将图像采集装置采集到的图像分成左半平面图像和右半平面图像;
2.2.1:图像采集装置在未放入棱镜的情况下,采用标定方法建立世界坐标系中的一点与相机坐标系中的点的对应关系,具体为:
首先确定图像采集装置中的摄像头的内外参数矩阵,其中,摄像机的内参数矩阵表示相机焦距和光学中心的位置,外部参数矩阵表示了世界坐标系与相机坐标系之间的关系;然后,利用内参数矩阵和外参数矩阵建立世界坐标系中的一点与相平面坐标系上的点的对应关系,公式如下:
s x ~ = M int M ext X ~
其中,s为一个任意的比例因子,为物体点在世界坐标系下的坐标,为点在图像平面上的投影坐标,Mint表示相机的内部参数矩阵,Mext表示相机的外部参数矩阵(即旋转平移矩阵),计算出摄像头的内外参数。
2.2.2:在图像采集装置中放入棱镜,根据棱镜的几何光学模型以及摄像头内外参数,确定物点和像点位置关系,求解计算棱镜的位置参数,棱镜的位置参数指的是棱镜在摄像机坐标系中的位置信息,主要指棱镜的三个侧平面的法向量信息,根据棱镜的特殊位置关系,三个侧平面的法向量信息的求解可以转化为求解三个侧平面中所成夹角中最大夹角所对的那个面的法向量即vbx、vby、vbz,以及遮光筒轴线与三棱镜侧棱的焦点坐标即px、pz,和侧平面上法向量的任意一个分量vlx,本实施方式中采用差分进化迭代算法求解棱镜的三个侧平面的位置参数,具体步骤如下:
下面给出差分进化迭代算法的具体过程:
1、生成初始种群:随机产生NP个个体:
∂ A ∂ z + j 2 β 2 ∂ 2 A ∂ t 2 - β 6 β 3 ∂ 3 A ∂ t 3 = 0
A ( 0 , t ) = 1 2 π ∫ - ∞ ∞ A ~ ( 0 , ω ) exp ( j 2 β 2 zω 2 ) jωtdω
( z , Δω ) = 1 2 π ∫ - ∞ ∞ A ( z , t ) exp ( - jΔωt ) dt
Δω=ω-ω0
| β 2 | > 1 ps 2 / k m ∩
Q PSNR = 10 log ( 255 2 × M × N Σ i = 1 M Σ j = 1 N [ a ( i , j ) - a ( i , j ) ′ ] 2 )
式中,NP代表种群的数量,xij(0)代表第0代种群中第i群的第j个个体,rand(0,1)是[0,1]上服从均匀分布的随机实数,分别指种群个体的上界和下界。
2、变异操作:变异操作是差分进化的关键步骤,从种群中随机选择3个个体xp1j,xp2j,xp3j且p1≠p2≠p3≠i,此时有:
hij(g)=xp1j+F×(xp2j-xp3j)
式中,F为缩放因子,表示变异操作过程在整个算法流程中所占比例。设置的值越大,变异的过程越快。xp1j,xp2j,xp3j分别代表p1、p2、p3种群的第j个个体。hij(g)代表第g代第i个种群第j个个体的变异结果。
3、交叉操作:交叉操作可以增加种群的多样性,
v ij ( g + 1 ) = h ij ( g ) , rand ( 0,1 ) ≤ CR x ij ( g ) , rand ( 0,1 ) > CR
式中,CR为交叉概率,且CR∈[0,1],vij(g+1)代表第g+1代的交叉结果。交叉策略可以保证vij(g+1)中至少有一个分量由hij(g)贡献,xij(g)代表第g代种群中第i的第j个个体。
4、选择操作:由评价函数对向量vi(g+1)和向量xi(g)进行比较:
x i ( g + 1 ) = v i ( g + 1 ) , f ( v i ( g + 1 ) ) < f ( x i ( g ) ) x i ( g ) , f ( v i ( g + 1 ) ) &GreaterEqual; f ( x i ( g ) )
式中,xi(g+1)、xi(g)分别代表第g+1代和第g代的第i个种群,f代表评价函数
重复执行2到4步,直到达到最大进化代数或者达到所设置的收敛精度结束,确定此时的位置参数,公式如下:
Pe=[px,pz,vbx,vby,vbz,vlx]T(m=2)
式中,m代表棱镜视角的个数;Pe代表棱镜位置参数的集合,在差分进化算法中表示种群,即种群的数量NP=6;
寻找位置参数的最优解,公式如下:
&Sigma; i = 1 n &Sigma; j = 1 j = n | | x ij - m ^ ( P e , X ij c ) | |
式中为透视投影变换过程,n代表三维空间中物体点的个数,xij表示放置棱镜情况下获得的图像平面坐标系中的坐标,在差分进化算法中表示第i个种群第j个个体,表示物点Xi在棱镜视角j下的摄像机坐标系下的坐标。
2.2.3:利用棱镜的位置参数,根据棱镜位置的模型,即确定法向量的空间垂直和外积的数学关系以及后平面所对侧棱上任一点的坐标,求解出棱镜后平面所对的棱在摄像机坐标系中的位置,进一步利用投影几何知识计算该棱在相平面坐标系中的位置,该位置将图像采集装置中的摄像头的像平面分为左右两个部分,使空间任意一个物体点P在像平面的左右两个部分分别成像Pl和Pr,如图8所示;
2.2.4:打开两侧摄像头固定装置上的摄像头以及图像采集装置中的摄像头,向上位机中输入采集数据,使左侧摄像头采集到的图像与右侧摄像头采集到的图像交替显示,且保证在显示左侧的摄像头采集到的图像时,同步显示图像采集装置中摄像头的像平面的左半部分采集到的图像;在显示右侧的摄像头采集到的图像时,同步显示图像采集装置中摄像头的像平面的右半部分采集到的图像;
步骤2.2:利用左侧的摄像头固定装置上的摄像头采集的图像对像平面的左半部分图像进行校正,利用右侧的摄像头固定装置上的摄像头采集的图像对像平面的右半部分图像进行校正;
2.2.1:利用畸变模型对图像采集装置中的摄像头的像平面的左、右部分成像效果进行畸变校正,减少由于棱镜的引入对采集图像造成的畸变失真影响,主要根据棱镜和镜头的畸变数学模型,利用平面圆形网格模板的网格交点来求取镜头的径向、切向和薄棱镜畸变等畸变系数,利用网格交点及其附近的像素点信息,来拟合解析曲面并将所求曲面顶点坐标作为网格交点坐标,使像素位置坐标达到亚像素精度,实现求出镜头系数,并在实际测量中对成像点加以校正的方法,可在不影响处理速度的前提下,提高了求解精度,使校正后的图像形状满足实际需求。
2.2.2:利用棱镜的色散补偿模型对图像采集装置中的摄像头像平面的左、右部分成像效果进行补偿校正,减少由于棱镜的折射造成的色散对图像色度产生的影响。
色散补偿模型的工作机理如下所示:
光波在传输中的脉冲传输方程为:
&PartialD; A &PartialD; z + j 2 &beta; 2 &PartialD; 2 A &PartialD; t 2 - &beta; 6 &beta; 3 &PartialD; 3 A &PartialD; t 3 = 0
式中A是输出脉冲包络的幅度,β2为线性群散色度,β为相位常数,β3为三阶色散项,j是一个虚数符号,z表示空间中的一点。A(z,t)和它的频域表示分别为:
A ( z , t ) = &Integral; - &infin; &infin; A ( z , &Delta;&omega; ) exp ( j&Delta;&omega;t ) d&Delta;&omega;
( z , &Delta;&omega; ) = 1 2 &pi; &Integral; - &infin; &infin; A ( z , t ) exp ( - j&Delta;&omega;t ) dt
式中Δω=ω-ω0,ω0为中心频率
实际上,当|β2|>1ps 2/km时,β3项可忽略不计,此时输出脉冲包络的幅度:
A ( z , t ) = 1 2 &pi; &Integral; - &infin; &infin; A ~ ( 0 , &omega; ) exp ( j 2 &beta; 2 z&omega; 2 ) j&omega;td&omega;
式中是A(0,t)的傅里叶变换。色散使光信号展宽,是由相位系数引起的,它使光脉冲传输时产生了新的频谱成分。所有的色散补偿方式都试图取消该相位系数,以便恢复原来的输入信号;
2.2.3:利用左、右侧摄像头的图像分别对图像采集装置中摄像头像平面的左、右部分成像效果进行匹配校正。
具体操作如下:
以左、右两侧的摄像头采集到的图像为基准图像,当图像采集装置中摄像头像平面左半部分成像效果与左侧摄像头采集的图像根据峰值信噪比进行校正,同理,图像采集装置摄像头的右半部分成像效果与右侧摄像头的图像采集效果根据峰值信噪比进行校正,峰值信噪比(PSNR)计算公式如下;
Q PSNR = 10 log ( 255 2 &times; M &times; N &Sigma; i = 1 M &Sigma; j = 1 N [ a ( i , j ) - a ( i , j ) &prime; ] 2 )
式中M×N表示图像的总像素数,a(i,j)表示左侧摄像头或右侧摄像头采集的图像对应的灰度值,a(i,j)'表示图像采集装置摄像头像平面左半部分或右半部分采集的图像对应的灰度值
2.2.4:调节图像采集装置内棱镜和摄像头之间的间距,首先,更换棱镜,重复执行步骤2.2.1、步骤2.2.2、步骤2.2.3的操作;当图像采集装置中采集到的图像与左右摄像头所采集到的图像的匹配效果峰值信噪比达到90%以上(可以根据实际情况进行选择更高的峰值信噪比标准)时,为最佳匹配,记录下此时的棱镜角度、图像采集装置内的棱镜与摄像头之间的间距;
所述的更换的棱镜,应满足顶角至少为150度,目的是减少棱镜的光的色散作用对采集图像的质量影响;
步骤2.3:利用步骤2.2.4确定图像采集装置内的棱镜以及棱镜后平面和摄像头之间的间距固定重新采集图像,将校正好的左半平面图像与右半平面图像在显示器上交替显示,进而形成3D效果,包括以下步骤:
2.3.1:步骤2.2.3完成后,关闭两侧摄像头,使用调整好的图像采集装置重新采集图像;
2.3.2:将采集到的数据传递到上位机中,继续步骤2.2.1和2.2.2操作;
2.3.2:在上位机中进行3D显示;
该实验装置采用运用NVIDIA3DVISION技术来使左右图像以120Hz的频率交替显示,然后通过3DVISION眼镜让左右眼分别看到不同的画面,从而给人眼以错觉,让眼睛误认为看到了一个“三维”物体,从而实现立体成像技术,如图10所示,也可以根据实际需要采用其他的3D显示方法。
虽然以上描述了本发明的具体实施方式,但是本领域内的熟练的技术人员应当理解,这些仅是举例说明,可以对这些实施方式做出多种变更或修改,而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (4)

1.一种立体成像装置,其特征在于:包括:十字架式带有刻度的钢尺、棱镜固定装置,摄像头固定装置、计算机主机和3D显示器,此外,还进一步包括图像采集装置和两侧的两个摄像头,图像采集装置由棱镜、卡槽、遮光筒、滑动筒和摄像头组成,棱镜固定于卡槽内,卡槽与遮光筒一端固定连接,遮光筒内设置有滑动筒,且滑动筒外表面光滑,与内表面光滑的遮光筒滑动连接,摄像头固定于滑动筒内;棱镜固定装置和摄像头固定装置沿钢尺横臂上的卡槽滑动,用来调整两侧摄像头之间的间距,图像采集装置沿钢尺的纵臂的卡槽滑动,用于调整图像采集装置中的棱镜和摄像头之间的间距。
2.根据权利要求1所述的立体成像装置,其特征在于:在所述的滑动筒的外表面还设置有刻度。
3.根据权利要求2所述的立体成像装置,其特征在于:位于所述滑动筒的外表面上的刻度,初始的刻度0与遮光筒另一端对齐。
4.采用权利要求1所述的立体成像装置实现立体成像的方法,其特征在于:包括以下步骤:
步骤1:利用图像采集装置来采集图像,首先调节棱镜固定装置和摄像头固定装置,使得位于棱镜固定装置上的摄像头与两侧的摄像头固定装置上的摄像头处于同一水平线上;然后,分别开启三个摄像头,开始对图像进行采集;
步骤2:三个摄像头分别将采集到的图像发送到上位机中,实现3D显示处理,具体包括以下步骤:
步骤2.1:利用棱镜模型将图像采集装置采集到的图像分成左半平面图像和右半平面图像;
2.1.1:图像采集装置在未放入棱镜的情况下,采用标定方法建立世界坐标系中的一点与摄像机坐标系中的点的对应关系,具体为:首先确定图像采集装置中的摄像头的内外参数矩阵,其中,摄像头的内参数矩阵表示相机焦距和光学中心的位置,外参数矩阵表示了世界坐标系与摄像机坐标系之间的关系;然后,利用内参数矩阵和外参数矩阵建立世界坐标系中的一点与图像平面坐标系上的点的对应关系;
2.1.2:在图像采集装置中放入棱镜,根据棱镜的几何光学模型以及摄像头内外参数矩阵,确定物点和像点位置关系,求解计算棱镜的位置参数,棱镜的位置参数指的是棱镜在摄像机坐标系中的位置信息,即棱镜的三个侧平面的法向量信息;
2.1.3:利用棱镜的位置参数,根据法向量的空间关系,求解出棱镜后平面所对的棱在摄像机坐标系中的位置,进一步利用投影计算该棱在图像平面坐标系中的位置,该位置将图像采集装置中的摄像头的像平面分为左半平面图像和右半平面图像;
2.1.4:打开两侧摄像头固定装置上的摄像头以及图像采集装置中的摄像头,向上位机中输入采集数据,使左侧摄像头采集到的图像与右侧摄像头采集到的图像交替显示,且保证在显示左侧的摄像头采集到的图像时,同步显示图像采集装置中摄像头的像平面的左半平面图像;在显示右侧的摄像头采集到的图像时,同步显示图像采集装置中摄像头的像平面的右半平面图像;
步骤2.2:利用左侧的摄像头固定装置上的摄像头采集的图像对像平面的左半平面图像进行校正,利用右侧的摄像头固定装置上的摄像头采集的图像对像平面的右半平面图像进行校正;
2.2.1:利用畸变模型对图像采集装置中的摄像头的像平面的左半平面图像和右半平面图像效果进行畸变校正,减少由于棱镜的引入对采集图像造成的畸变失真影响;
2.2.2:利用棱镜的色散补偿模型对图像采集装置中的摄像头像平面的左半平面图像和右半平面图像成像效果进行补偿校正,减少由于棱镜的折射造成的色散对图像色度产生的影响;
2.2.3:利用左、右侧摄像头的图像分别对图像采集装置中摄像头像平面的左半平面图像和右半平面图像成像效果进行匹配校正;
2.2.4:调节图像采集装置内棱镜和图像采集装置内摄像头之间的间距,首先,更换棱镜,重复执行步骤2.2.1、步骤2.2.2、步骤2.2.3的操作;当图像采集装置中采集到的图像与左右摄像头所采集到的图像的匹配效果相似度达到90%以上时,为最佳匹配,记录下此时的棱镜角度、图像采集装置内的棱镜与图像采集装置内摄像头之间的间距;
所述的更换的棱镜,应满足棱镜顶角至少为150度,目的是减少棱镜的光的色散对图像质量的作用;
步骤2.3:利用步骤2.2.4确定的图像采集装置内的棱镜和图像采集装置内摄像头之间的间距,重新采集图像,将校正好的左半平面图像与右半平面图像在3D显示器上交替显示,进而形成3D效果,包括以下步骤:
2.3.1:步骤2.2.3完成后,关闭两侧摄像头,使用调整好的图像采集装置重新采集图像;
2.3.2:将采集到的数据传递到上位机中,继续步骤2.2.1和2.2.2操作;
2.3.2:在上位机中进行3D显示。
CN201310438065.XA 2013-09-24 2013-09-24 一种立体成像装置及方法 Active CN103472668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310438065.XA CN103472668B (zh) 2013-09-24 2013-09-24 一种立体成像装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310438065.XA CN103472668B (zh) 2013-09-24 2013-09-24 一种立体成像装置及方法

Publications (2)

Publication Number Publication Date
CN103472668A CN103472668A (zh) 2013-12-25
CN103472668B true CN103472668B (zh) 2016-05-25

Family

ID=49797571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310438065.XA Active CN103472668B (zh) 2013-09-24 2013-09-24 一种立体成像装置及方法

Country Status (1)

Country Link
CN (1) CN103472668B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106186039B (zh) * 2015-02-13 2017-09-29 江苏理工学院 一种介晶粉体的制备方法
CN107277352A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种拍摄的方法和移动终端
CN107680159B (zh) * 2017-10-16 2020-12-08 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN109441648B (zh) * 2018-12-27 2020-11-24 台州市怡开包装有限公司 柴油机油路通断平台
CN111292239B (zh) * 2020-01-21 2021-03-12 天目爱视(北京)科技有限公司 一种三维模型拼接设备及方法
CN113189833B (zh) * 2021-03-30 2022-07-05 杭州行开医学影像技术有限公司 一种3d影像拍摄结构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258019A (zh) * 1998-11-23 2000-06-28 稻叶稔 立体摄影系统
CN101191878A (zh) * 2006-11-28 2008-06-04 鸿富锦精密工业(深圳)有限公司 立体取像相机模组及电子装置
CN101223538A (zh) * 2005-07-11 2008-07-16 朴光敦 三维图像探测器
CN102469334A (zh) * 2010-11-12 2012-05-23 索尼公司 显示控制电路和投影设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298905B2 (ja) * 1991-06-26 2002-07-08 ソニー株式会社 立体撮像装置
FR2699296B1 (fr) * 1992-12-14 1994-12-30 Olivier Boute Dispositif de prise de vues triscopiques.
SG73563A1 (en) * 1998-11-30 2000-06-20 Rahmonic Resources Pte Ltd Apparatus and method to measure three-dimensional data
JP4646459B2 (ja) * 2001-08-01 2011-03-09 オリンパス株式会社 固体撮像装置
KR100709370B1 (ko) * 2005-07-05 2007-04-20 삼성전자주식회사 입체영상을 생성하는 광학계
US20070109657A1 (en) * 2005-11-15 2007-05-17 Byoungyi Yoon System and method for providing a three dimensional image
US20130002830A1 (en) * 2010-03-25 2013-01-03 Yi Pan Stereoscopic imaging device and method for automatically adjusting the focal point of a stereoscopic imaging device
CN101872112B (zh) * 2010-06-30 2013-01-30 深圳市掌网立体时代视讯技术有限公司 立体摄像自动汇聚系统
JPWO2012017684A1 (ja) * 2010-08-06 2013-10-03 パナソニック株式会社 レンズユニット
CN102466962B (zh) * 2010-10-29 2015-02-18 华晶科技股份有限公司 立体影像产生方法及立体成像系统
JP2012235281A (ja) * 2011-04-28 2012-11-29 Jvc Kenwood Corp 3d画像撮像装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258019A (zh) * 1998-11-23 2000-06-28 稻叶稔 立体摄影系统
CN101223538A (zh) * 2005-07-11 2008-07-16 朴光敦 三维图像探测器
CN101191878A (zh) * 2006-11-28 2008-06-04 鸿富锦精密工业(深圳)有限公司 立体取像相机模组及电子装置
CN102469334A (zh) * 2010-11-12 2012-05-23 索尼公司 显示控制电路和投影设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
棱镜单目立体视觉系统的参数最优化;赵越 等;《东北大学学报(自然科学版)》;20130630;第34卷(第6期);第802-805页 *

Also Published As

Publication number Publication date
CN103472668A (zh) 2013-12-25

Similar Documents

Publication Publication Date Title
CN103472668B (zh) 一种立体成像装置及方法
CN104574501B (zh) 一种针对复杂三维场景的高质量纹理映射方法
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN105282513A (zh) 基于3d红外全景图像的特高压变电站变压器运行状态检测装置及其检测方法
CN105719250B (zh) 基于简单背景的图像修复方法、系统及拍摄终端
CN102801994B (zh) 一种信息物理图像融合装置与方法
CN103822581B (zh) 一种基于压缩感知的不规则物体体积测量方法
CN103929604A (zh) 一种投影仪阵列拼接显示方法
CN103686162B (zh) 一种3d显示串扰的测试方法及装置
CN106327454A (zh) 合成图像的方法和装置
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN110070057A (zh) 瞳距测量方法、装置、终端设备及存储介质
CN106331683A (zh) 一种物体三维重建方法及其系统
CN102238411A (zh) 一种用于体视三维显示的图像显示方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
Zhai et al. Image real-time augmented reality technology based on spatial color and depth consistency
Tyle_ek et al. Refinement of surface mesh for accurate multi-view reconstruction
CN102930550A (zh) 立体图像绘制时虚拟相机分离距离的确定方法
CN116708746A (zh) 一种基于裸眼3d的智能显示处理方法
CN108182727B (zh) 基于多视点几何一致性的相位展开方法
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
CN106254847B (zh) 一种确定立体显示屏幕的显示极限的方法、装置和系统
CN116129043A (zh) 用于融合现实场景的通用三维模型及其构建方法
CN113115024B (zh) 一种3d信息采集设备
CN107992868A (zh) 一种高精度立体足迹快速采集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant