CN1171467C - 用单部手持摄像机获取三维景象 - Google Patents
用单部手持摄像机获取三维景象 Download PDFInfo
- Publication number
- CN1171467C CN1171467C CNB00801065XA CN00801065A CN1171467C CN 1171467 C CN1171467 C CN 1171467C CN B00801065X A CNB00801065X A CN B00801065XA CN 00801065 A CN00801065 A CN 00801065A CN 1171467 C CN1171467 C CN 1171467C
- Authority
- CN
- China
- Prior art keywords
- lens
- coordinate system
- camera
- image
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
本发明公开了用单部手持摄像机获取三维景象的技术。摄像机安装在带有四个反射镜的透镜附属装置上,可以获取立体景象。同时还公开了所涉及的信号处理任务、摄像机校准和像素对应测定。使用透镜附属装置拍摄景象,对摄像机的固定校准和自校准都有利,特别是可以实现摄像机的全自校准,而不会像现有技术那样在进行立体自校准中会损失绝对标度。利用本发明方法可获取精确的三维模型。
Description
相关的专利申请
本申请要求1999年6月11日提出的临时申请号为60/138,965、题为“用单部手持摄像机获取三维景象”中公开的发明。在此提出符合美国法典第35篇119节(e)条之规定的权利要求,并引用上述申请供本申请参考。
技术领域
本发明与摄像机领域相关。更具体地说,本发明涉及手持摄像机和获取三维景象的技术。
背景技术
立体图像摄影是记录左、右眼单独的图像而后合成实在的三维图像的方法。摄像人是通过同时观察两个单独的二维图像再形成三维图像。至少是在十九世纪末,人们就已经知道立体图像摄影了。当时立体观察镜为流行的室内摆设。
这种立体图像过去一直是利用一部摄像机上的间隔大致相当于人的两眼间距的两个透镜制作的。在二十世纪50年代流行的StereoRealistTM牌系列35mm静态摄像机就是这类成像的一个例子,它是通过两个透镜/快门同时将左、右图像一帧帧交替地记录在35mm胶片上。以后问世的NimsloTM牌摄像系统与上述的基本相同,但使用了四个透镜。
二十世纪50年代出现了立体电影。其影像通常用两部同步摄影机或者一部摄影机的两个透镜系统拍摄的。同样,各种立体电视系统通常也使用两部摄像机(例如Lipton等人的美国专利4,583,117)或者使用带两个透镜的一部摄像机(例如Lipton等人的美国专利4,523,226)。
用立体器材获取三维景象,涉及两个信号处理任务:摄像机对的校准[1]和图像对对应像素的测定[5]。
摄像机校准有两种不同的方法:固定校准和自校准。在固定校准中,摄像机的全部参数都是在机外获得,即已知几何形状的特别物体放在摄像机前面,然后对摄像机图像进行处理[1,2]。此法提供了十分精确的完整结果(可取得所有的参数)。另外,校准可将对应性测定从二维搜索简化到更有效、更可靠的一维搜索[5]。
固定校准也存在一些缺点。需要使用特别的校准物体和使用者的配合。每当摄像机参数改变,例如,变焦距或者改变会聚角,必须重复校准。
然而,自校准能够克服这些缺点。在自校准方法中,首先测定一景象对的对应性。然后,从找到的对应场[4]中提取摄像机参数。这样做付出的代价有两方面,一是由于不能应用由二维简化到一维搜索,对应性测定任务比较艰巨;二是在使用通常的一对立体摄像机自校准方法中没有标准的SI计可参照,因而现有的方法不能取得三维模型的标度[3]。
发明内容
本发明公开了用单部手持摄像机获取三维景象的技术。该摄像机最好是安装在带有四个反射镜的透镜附属装置上,以便能够获取立体景象。同时,还公开了所涉及的信号处理任务、摄像机校准和像素对应测定。使用透镜附属装置拍摄景象。对摄像机的固定校准和自校准都有利。特别是,可以实现摄像机的全自校准,而不会像现有技术那样在进行立体自校准中损失绝对标度。用本发明的方法可获得精确的三维模型。
本发明提供的用单部手持摄像机获取三维景象的方法,其中单部手持摄像机有一个透镜,安装在一个透镜附属装置上,附属装置包括一左和一右内侧反射镜,两个内侧反射镜置于透镜前面,沿透镜光轴面朝里朝向透镜,基本上覆盖了透镜的全部视野,两个内侧反射镜的一边缘在透镜光轴处连接在一起,形成一个与透镜光轴对称的锐角,在两个内侧反射镜外侧的左、右各有一个外侧反射镜,其面积都比内侧反射镜大,向外朝向景象,覆盖内侧反射镜的全部视野,且可绕纵轴旋转,一个同轴机构使两个外侧反射镜同时绕它们的纵轴相背地旋转,同轴机构由一个控制输入驱动,使左、右两个外侧反射镜同时作等量的相背旋转,控制输入在一个方向运动使左、右外侧反射镜视野收敛,控制输入在相反方向运动则使左、右外侧反射镜视野扩散,并且有一个适配器,它根据透镜聚焦机构的动作带动同轴机构的控制输入运动,适配器连接同轴机构的控制输入和透镜的聚焦机构,这样,当透镜聚焦在选定的距离上时,外侧反射镜的视野就收敛在该选定的距离上,该方法包括如下步骤:
a)对一个以上的会聚角Δα数值以及一个以上的焦距f进行固定校准以得出a、b和w的值,其中w定义为单部手持摄像机光学中心和每部虚摄像机光学中心的距离,a和b是测定的两个参数,用以建立w和h间的关系,h是单部手持摄像机光学中心与两个内侧反射镜交会点之间的距离;
b)用单部手持摄像机和透镜附属装置记录景象图像;
c)用寿命期常数、会聚角Δα和焦距f来处理被记录的图像;和
d)存储已经处理的三维图像。
附图说明
图1为本发明装置的一实例的示意图。
图2为表示本发明装置中反射镜作用示意图。
图3为立体摄像机模型示意图。
图4为按照本发明获取三维景象模型的全流程图。
图5a表示本发明校准板的图像。
图5b表示按照本发明得到的实景图像。
图6表示按照本发明得到的修整后的一图像对。
图7表示按照本发明的图像差异场示意图。
图8为按照本发明的方法所取得的三维模型示意图。
具体实施方式
本发明公开了用一部特殊的立体摄像机获取三维景象的方法。利用摄像机校准参数,建立来自一对应像素对的两束光线,于是,这两束光线的交叉提供了一个像点的三维坐标。
本发明装置如图1所示。单部手持摄像机1安装在带有多个反射镜的透镜附属装置2上,已在美国专利5,532,777、5,828,913和5,883,662上公开,见本文引入的参考文献[7-9]。简言之,该透镜附属装置最好是有一组反射镜,共4个,分成两对,放置在摄像机透镜的前面。外侧两个反射镜6和7通常沿透镜光轴面朝外,内侧两个反射镜3和4通常对着透镜面朝里。外侧两个反射镜6和7的中心的间距大约等于两眼间距。内侧两个反射镜3和4相加在一起的大小足以覆盖透镜的全部视野,每个内侧反射镜正好覆盖一半透镜的视野。外侧的两个反射镜6和7最好比内侧的两个反射镜3和4大,大到足以覆盖内侧两个反射镜3和4的视野,从而避免减小视野。通过一个同轴机构同时且等量地沿其中心线旋转外侧两个反射镜6和7,则可调整它们的会聚。中间的两个反射镜3和4可以是固定的,也可以是可旋转调整的,使一个反射镜的一面与另一个反射镜的一面沿摄像机透镜光轴保持紧密接触,而且两个反射镜的这每一面均与透镜光轴成45°角或者略小于45°角。
假设入射光5的方向被反转,则中间的两个反射镜3和4把来自摄像机的光束5分成两部分。外侧两个反射镜6和7分别把一束光线转向景物8。两束光线的会聚点9可通过旋转外侧反射镜6和7进行调整。图像10如图所示。
这种立体摄像机体积小、重量轻,用户便于移动。另外,使用单部摄像机经济,又没有象使用一对摄像机那样需要快门同步。在存储方面只需一架普通的记录器。这种独特的装置也有利于进行校准和对应性测定。
对应性测定是建立在对应像素的光测量相似性基础上的。使用多部立体摄像机,光测量不平衡会产生误差,而使用单部摄像机则在很大程度上可以避免。如在本发明背景技术中所述,摄像机校准有两种不同的方法:固定校准和自校准。有利于这两种校准的装置如图1所示。现有技术使用两部普通立体摄像机进行的自校准方法,没有标准的SI计可参照,因而不能取得三维模型的标度[3]。本发明装置已知的几何形状提供了标度。使用带透镜附属装置的单部摄像机,简化了立体摄像机模型而又不失其通用性。
立体摄像机模型
本发明装置的摄像机模型是一种立体摄像机的通用性模型的新型,关于通用性模型详见参考文献[4]。图2为表示透镜附属装置中反射镜13、14、16和17的作用。单部实摄像机11分成两部虚摄像机12和15,原来的电荷耦合器件(CCD)芯片分属于每部虚摄像机一半。两个半CCD的中心不在左12、右15虚摄像机的光轴20和21上。两侧反射镜16和17的旋转在机械上是成对的。要取得两个虚摄像机图像的某种重叠,则应使α=45°+Δα,其中Δα>0。如果外侧反射镜16和17分别绕点P和Q旋转,则两部虚摄像机12和15各以双倍的速度绕点P和Q旋转。
图3所示为一般的立体摄像机模型,取自参考文献[4]。图中示出了五个参考座标系:立体座标系22,左/右透镜座标系23和24及左/右投影座标系25和26。摄像机基准线是B。立体座标系SF 22定义为右手座标系,在其x轴上对称于原点有两个光学中心,即,在立体座标系中左摄像机座标为(-1/2B,0,0),右摄像机座标为(+1/2B,0,0)。由图2得到:
B=2w+2(h+w)sin2Δα+ε0 (1)由此建立长度(米)与角度的关系。这就提供了用米,而不是用未知的单位,进行自校准的方法。ε0模型还不完善,这里被假定是个小量值。
左、右透镜座标系的定向由两组欧拉角(Euler angles)(φx,φy,φz)来定义。透镜处于左透镜座标系LF-L和右透镜座标系LF-R的原点,向着各自的xy平面。假定透镜是径向对称的。此时,角φz无意义。角φz不能被抛弃,还要用它定义CCD的方位。立体参考座标系SF 22被设定绕x轴的旋转。引入一任意方程式,消除φx;L或者φx;R,例如φx;L+φx;R=0,最理想的是两者皆为零,但由于该装置和手动凸轮之不完善,也可能不是:
φx;L=ε1,φx;R=-ε1 (2)
对φy;L或者φy;R而言,最理想的是φy;L=2Δα和φy;R=-2Δα。考虑到有些不完善,则可写成:
φy;L=2Δα+ε2, φx;R=-2Δα+ε3 (3)
假设,CCD是十分平的,并具有完全垂直的像轴。成像是不变的,因为标定了三个一组的焦距、水平和垂直像素的大小。因此,为了不失其通用性,选择像素水平大小等于1,像素垂直大小等于R(像素高宽比)。相对于透镜座标系LFL/R的投影座标系PFL/R(总CCD芯片)的位置都用一单个向量OPF XLFOPF YLFOPF ZLF来定义,因为它们指的是同一个实际摄像机。前面两个数定义为透镜光轴与总CCD的交会(错误定位),第三个数是焦距f:
因为摄像机焦距的变动通常是通过移动透镜而不是CCD芯片来实现的,故在方程式(1)中把h设计为f的线性函数:
h=a+bf (5)
a和b是两个测定的参数,用来建立w与h之间的关系。相对于透镜座标系LFL/R的投影座标系PFL/R(总CCD芯片)的方位,由一组欧拉角(Euler angles)(θx,θy,θz)来定义。θz与投影座标系旋转有关。已用φz作出模型,因而令θz=O。
对于φz有:
φz;L=ε6,φz;R=ε7 (6)
用θx,θy作出相对于光轴的非正交CCD定位模型。于是:
θx=ε8,θy=ε9,θz=O (7)
由于在方程式(4)和(7)中包括了CCD的定位误差及定向误差,可以比参考文献[6]中更简单地建立透镜失真模型。引入径向失真参数K3:
K3=ε10 (8)
最好是,立体摄像机模型包括以下参数。对于固定校准,有基准线B、会聚角Δα、焦距f、像素高宽比R以及十项误差参数(假设它们是微小的)ε1.......ε10。
对于自校准,基准线B在校准中设定为1[4],在模型中被抛弃。以后只要先确定出w、a和b,基准线B即可由方程式(1)求得。
获取三维景象流程
图4表示获取三维景象的全流程。首先,把手动凸轮安装在透镜附属装置上。然后,进行固定校准,求得会聚角Δα和焦距(变焦距)f几个数值,以便得到a、b和w。另外,求得诸如像素高宽比R的寿命期常数。这些求得的常数在记录实景过程中是不变的。
实验
本实验使用一部象素数为1024×768的JPEG图像格式数字摄像机。图5a表示校准板的图像30,图5b表示得到的实景图像31。用不同数值的会聚角和焦距进行多次固定校准。对不同数值的B、f和Δα,利用最小二乘法来测算w、a和b。
利用固定校准得到的参数,从图5b所示的景象31获得一优良的三维模型。在把景象图像分成一左图像对和一右图像对之后,这些图像得到了修整[5],如图6所示。现在,所有的对应点都在等同的扫描线上,并进行了一维差异测定。利用马可夫随机场(Markov RandomField)差异测定器[5]来获得如图7所示的差异场。在对所有的对应的像素对进行三角测量之后,得到三维模型40。图8示出其面部细节。
利用一个特殊的装置获取三维景象[7],可以让单部手持摄像机的图像(见图1)具有立体视觉。该系统具有多个优点。体积小,移动方便,只需要一部普通的记录器即可存储,且只使用一部摄像机,比较经济。
摄像机校准和对应性测定都得益于这个装置。对应性测定依赖于对应像素之间的光测量相似性。就这种装置而言,不存在左摄像机和右摄像机之间的测光差异。此外,通过限定,保证左快门和右快门同步。在摄像机校准方面已证明,由于左虚摄像机和右虚摄像机都具有单部实摄像机的某些物理特性,因而可以使用比较简单的立体摄像机模型。另外,该装置许可采用自校准方法,同时又具有获取绝对标度的手段。
实验表明用该装置获得了优良的三维模型。目前最好是用固定校准法,虽然也可以使用自校准法。所得到的摄像机参数非常适宜于获取三维模型。
应该知道,本文描述的本发明的实施例仅仅是举例说明本发明原理的应用。这里举例的实施例细节,并不意味着限定权利要求的保护范围,这些权利要求的特点对本发明来说是至关重要的。
参考文献
[1]O.Faugeras,“三维计算机视觉,一种几何观察点”,MIT Press,1993.
[2]F.Pedersini,D.Pele,A.Sarti and S.Tubaro,“多目镜摄像机系统的校准和自校准”,in proceedings of the International Workshop onSynthetic-Natural Hybrid Coding and Three Dimensional Imaging(IWSNHC3DI′97),Rhodos,Greece,PP.81-84,1997.
[3]M.Pollefeys,R.Koch,M.Vergauwen and L.van Gool,“从运动中灵活获取三维结构”,in proceedings of the IEEE Image andMultidimensional Digital Signal Processing(IMDSP)Workshop′98,pp.195-198,1998.
[4]P.A.Redert and E.A.Hendriks,“立体摄像机透镜失真校准”,Proceedings of the IEEE Image and Multidimensional Digital SignalProcessing(IMDSP)Workshop′98,pp.163-166,1998.
[5]P.A.Redert,E.A.Hendriks and J.Biemond,“图像对的对应性测定”,IEEE Signal Precessing Magazine,special issue on 3D andstereoscopic visual communication,Vol.16,No.3,pp.29-46,May 1999.
[6]J.Weng,P.Cohen and M.Herniou,“具有失真模型及精度鉴定的摄像机校准”,in IEEE Transactions on PAMI,Vol.14,No.10,pp.965-980,1992.
[7]P.O.Zanen,“带有焦点相关会聚补偿的三维图像单透镜装置”,US Patent No.5,532,777,July 2,1996.
[8]P.O.Zanen,“三维测量方法与带有焦点相关会聚补偿的图像”,US Patent No.5,828,913,October 27,1998.
[9]P.O.Zanen,“三维测量装置与带有焦点相关会聚补偿的图像”,US Patent No.5,883,662,March 16,1999.
Claims (19)
1.用单部手持摄像机获取三维景象的方法,单部手持摄像机有一个透镜,安装在一个透镜附属装置上,附属装置包括一左和一右内侧反射镜,两个内侧反射镜置于透镜前面,沿透镜光轴面朝里朝向透镜,基本上覆盖了透镜的全部视野,两个内侧反射镜的一边缘在透镜光轴处连接在一起,形成一个与透镜光轴对称的锐角,在两个内侧反射镜外侧的左、右各有一个外侧反射镜,其面积都比内侧反射镜大,向外朝向景象,覆盖内侧反射镜的全部视野,且可绕纵轴旋转,一个同轴机构使两个外侧反射镜同时绕它们的纵轴相背地旋转,同轴机构由一个控制输入驱动,使左、右两个外侧反射镜同时作等量的相背旋转,控制输入在一个方向运动使左、右外侧反射镜视野收敛,控制输入在相反方向运动则使左、右外侧反射镜视野扩散,并且有一个适配器,它根据透镜聚焦机构的动作带动同轴机构的控制输入运动,适配器连接同轴机构的控制输入和透镜的聚焦机构,这样,当透镜聚焦在选定的距离上时,外侧反射镜的视野就收敛在该选定的距离上,该方法包括如下步骤:
a)对一个以上的会聚角Δα数值以及一个以上的焦距f进行固定校准以得出a、b和w的值,其中w定义为单部手持摄像机光学中心和每部虚摄像机光学中心的距离,a和b是测定的两个参数,用以建立w和h间的关系,h是单部手持摄像机光学中心与两个内侧反射镜交会点之间的距离;
b)用单部手持摄像机和透镜附属装置记录景象图像;
c)用寿命期常数、会聚角Δα和焦距f来处理被记录的图像;和
d)存储已经处理的三维图像。
2.如权利要求1所述的方法,其特征在于步骤a)还包括以下步骤:
i)至少记录一个校准板;
ii)将校准板图像分成左图像和右图像;
iii)检测校准板;和
iv)对校准板进行校准。
3.如权利要求1所述的方法,其特征在于步骤c)还包括以下步骤:
i)将景象图像分成左图像和右图像;
ii)对左图像和右图像进行对应性测定;
iii)进行自校准;和
iv)进行三角测量。
4.如权利要求1所述的方法,其特征在于还包括以下计算步骤:
用方程式B=2w+2(h+w)sin2Δα+ε0来计算长度(米)与角度之间的关系,方程式中B定义为摄像机基准线,ε0定义为误差参数。
5.如权利要求1所述的方法,其特征在于还包括在步骤b)之前,定义五个参考座标系的步骤。
6.如权利要求5所述的方法,其特征在于五个参考座标系包括:
a)一个立体座标系;
b)一个左透镜座标系;
c)一个右透镜座标系;
d)一个左投影座标系;和
e)一个右投影座标系。
7.如权利要求6所述的方法,其特征在于左、右透镜座标系的定向由两组欧拉角(φx,φy,φz)来定义。
8.如权利要求7所述的方法,其特征在于还包括引入一个消除φx;L或者φx;R的方程式的步骤。
9.如权利要求8所述的方法,其特征在于所述的方程式是:φx;L+φx;R=0。
10.如权利要求8所述的方法,其特征在于欧拉角均不等于零时,利用另外的方程式:φx;L=ε1,φx;R=-ε1,式中ε1是一个微小的误差参数。
11.如权利要求10所述的方法,其特征在于还包括以下计算方程式的步骤:φy;L=2Δα+ε2,φx;R=-2Δα+ε3。
12.如权利要求6所述的方法,其特征在于相对左、右透镜座标系的左、右投影座标系的位置用一个向量OPF XLF,OPF YLF,OPF ZLF来定义,其中OPF XLF和OPF YLF定义透镜光轴和总电荷耦合器件的交会,而OPF ZLF等于焦距f。
13.如权利要求1所述的方法,其特征在于还包括使用方程式h=a+bf来计算单部手持摄像机光学中心和两个内侧反射镜交会之间的距离h。
14.如权利要求6所述的方法,其特征在于相对于左、右透镜座标系的左、右投影座标系的方位,由一组欧拉角(θx,θy,θz)来定义。
15.如权利要求14所述的方法,其特征在于用θx,θy作出相对于光轴的非正交电耦合器件定位模型,于是θx=ε8,θy=ε9,θz=0,其中ε8和ε9均定义为误差参数。
16.如权利要求14所述的方法,其特征在于θz与投影座标系旋转有关。
17.如权利要求1所述的方法,其特征在于还包括用方程式K3=ε10来计算径向失真参数K3的步骤,式中ε10定义为误差参数。
18.如权利要求1所述的方法,其特征在于步骤a)中的多个参数还包括基准线B、像素高宽比R以及十项微小的误差参数ε1、ε2、ε3、ε4、ε5、ε6、ε7、ε8、ε9 及ε10。
19.如权利要求1所述的方法,其特征在于还包括使用多个参数包括等于1的基准线B、会聚角Δα、焦距f、像素高宽比R以及十项微小的误差参数ε1、ε2、ε3、ε4、ε5、ε6、ε7、ε8、ε9及ε10对景象进行自校准的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13896599P | 1999-06-11 | 1999-06-11 | |
US60/138,965 | 1999-06-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1314056A CN1314056A (zh) | 2001-09-19 |
CN1171467C true CN1171467C (zh) | 2004-10-13 |
Family
ID=22484480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB00801065XA Expired - Fee Related CN1171467C (zh) | 1999-06-11 | 2000-06-09 | 用单部手持摄像机获取三维景象 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6643396B1 (zh) |
EP (1) | EP1110413A1 (zh) |
JP (1) | JP2003502925A (zh) |
CN (1) | CN1171467C (zh) |
AU (1) | AU5481500A (zh) |
RU (1) | RU2001101469A (zh) |
WO (1) | WO2000078055A1 (zh) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7710451B2 (en) * | 1999-12-13 | 2010-05-04 | The Trustees Of Columbia University In The City Of New York | Rectified catadioptric stereo sensors |
US8085293B2 (en) * | 2001-03-14 | 2011-12-27 | Koninklijke Philips Electronics N.V. | Self adjusting stereo camera system |
CA2520370C (en) | 2003-03-28 | 2011-02-15 | Sapporo Breweries Limited | Merchandise package on which images for forming three-dimensional image are disposed |
US7961934B2 (en) * | 2003-12-11 | 2011-06-14 | Strider Labs, Inc. | Probable reconstruction of surfaces in occluded regions by computed symmetry |
CA2556982A1 (en) * | 2004-02-20 | 2005-09-01 | Dralle Aps | A system for grading of industrial wood |
US20060077545A1 (en) * | 2004-10-08 | 2006-04-13 | Eastman Kodak Company | Apparatus to align stereoscopic display |
US7512398B2 (en) * | 2005-08-23 | 2009-03-31 | Agere Systems Inc. | Authenticating data units of a mobile communications device |
US20070285554A1 (en) * | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
US20090167843A1 (en) * | 2006-06-08 | 2009-07-02 | Izzat Hekmat Izzat | Two pass approach to three dimensional Reconstruction |
DE102007032471A1 (de) * | 2007-07-10 | 2009-01-22 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt |
WO2010087794A1 (en) | 2009-01-29 | 2010-08-05 | Thomson Licensing | Single camera for stereoscopic 3-d image capture |
US20100289874A1 (en) * | 2009-05-15 | 2010-11-18 | Fuhua Cheng | Square tube mirror-based imaging system |
GB201001451D0 (en) * | 2010-01-29 | 2010-03-17 | Lo Anthony | Improved focusing mount |
EP2533191B1 (en) * | 2010-02-02 | 2017-06-14 | Konica Minolta Holdings, Inc. | Image processing system, image processing method, and program |
CN101826206B (zh) * | 2010-03-31 | 2011-12-28 | 北京交通大学 | 一种相机自定标的方法 |
US8964004B2 (en) * | 2010-06-18 | 2015-02-24 | Amchael Visual Technology Corporation | Three channel reflector imaging system |
TWI461824B (zh) * | 2010-06-29 | 2014-11-21 | Hon Hai Prec Ind Co Ltd | 立體取像裝置 |
US8861800B2 (en) * | 2010-07-19 | 2014-10-14 | Carnegie Mellon University | Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction |
US20130169761A1 (en) * | 2010-07-27 | 2013-07-04 | Panasonic Corporation | Image capturing device |
US20120154549A1 (en) * | 2010-12-16 | 2012-06-21 | An Wenge David | Adapter and corresponding methods for adding 3D function to a 2D digital camera |
KR101276208B1 (ko) * | 2011-05-30 | 2013-06-18 | 전자부품연구원 | 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치 |
US8648808B2 (en) | 2011-09-19 | 2014-02-11 | Amchael Visual Technology Corp. | Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof |
US9019352B2 (en) | 2011-11-21 | 2015-04-28 | Amchael Visual Technology Corp. | Two-parallel-channel reflector with focal length and disparity control |
US9019603B2 (en) | 2012-03-22 | 2015-04-28 | Amchael Visual Technology Corp. | Two-parallel-channel reflector with focal length and disparity control |
US9557634B2 (en) | 2012-07-05 | 2017-01-31 | Amchael Visual Technology Corporation | Two-channel reflector based single-lens 2D/3D camera with disparity and convergence angle control |
JP6317760B2 (ja) * | 2012-12-14 | 2018-04-25 | ビーピー・コーポレーション・ノース・アメリカ・インコーポレーテッド | 3次元表面測定のための装置および方法 |
CN103227962B (zh) * | 2013-03-29 | 2018-11-09 | 上海集成电路研发中心有限公司 | 识别与图像传感器所成线的距离的方法 |
US9310851B2 (en) | 2013-06-03 | 2016-04-12 | Amchael Visual Technology Corporation | Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof |
US9507437B2 (en) | 2013-07-16 | 2016-11-29 | Amchael Visual Technology Corporation | Algorithms, software and an interaction system that support the operation of an on the fly mouse |
US9678583B2 (en) | 2013-07-23 | 2017-06-13 | University Of Kentucky Research Foundation | 2D and 3D pointing device based on a passive lights detection operation method using one camera |
US9201519B2 (en) | 2013-08-14 | 2015-12-01 | Amchael Visual Technology Corporation | Three-dimensional pointing using one camera and three aligned lights |
US20150229910A1 (en) * | 2014-02-07 | 2015-08-13 | National University Of Singapore | Method and apparatus for stereoscopic imaging |
CN103791891B (zh) * | 2014-03-07 | 2015-11-18 | 福州大学 | 一种基于单相机的电器三维动态特性测试装置及方法 |
US9565421B2 (en) | 2014-11-25 | 2017-02-07 | Harold O. Hosea | Device for creating and enhancing three-dimensional image effects |
US10306208B2 (en) | 2014-11-05 | 2019-05-28 | Harold O. Hosea | Device for creating and enhancing three-dimensional image effects |
GB2559090B (en) | 2015-11-03 | 2020-10-07 | Synaptive Medical Barbados Inc | Dual zoom and dual field-of-view microscope |
US10455214B2 (en) * | 2016-03-03 | 2019-10-22 | Disney Enterprises, Inc. | Converting a monocular camera into a binocular stereo camera |
RU173575U1 (ru) * | 2017-02-03 | 2017-08-31 | Федеральное государственное унитарное предприятие "Всероссийский научно-исследовательский институт автоматики им. Н.Л. Духова" (ФГУП "ВНИИА") | Устройство для регистрации стереоскопического изображения частиц дисперсной фазы |
US10505431B1 (en) | 2017-03-06 | 2019-12-10 | Harold O. Hosea | Brushless dual rotor electromagnetic induction motor |
CN110431833A (zh) | 2017-03-08 | 2019-11-08 | 詹姆斯·皮特曼 | 移动终端 |
GB2566462A (en) * | 2017-09-13 | 2019-03-20 | pitman James | Mobile terminal |
DE102017105354A1 (de) * | 2017-03-14 | 2018-09-20 | Karl Storz Se & Co. Kg | Bildübermittlungseinrichtung und Bilddetektionseinrichtung |
CN106705896B (zh) * | 2017-03-29 | 2022-08-23 | 江苏大学 | 一种基于单摄像机全方位主动视觉的电连接器壳体缺陷检测装置及方法 |
CN107369172B (zh) * | 2017-07-14 | 2021-07-09 | 上海肇观电子科技有限公司 | 一种智能设备和输出深度图像的方法 |
NO346392B1 (en) * | 2020-08-05 | 2022-07-04 | Muybridge As | Multiple camera sensor system and method of providing a target image by a virtual camera |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2736250A (en) | 1956-02-28 | Apparatus for taking stereoscopic pictures | ||
US2352176A (en) | 1939-01-25 | 1944-06-27 | Bolsey Jacques | Photographic arrangement |
GB634092A (en) | 1944-02-05 | 1950-03-15 | Worcester Film Corp | Improvements in or relating to apparatus for making stereophotographs |
US2413996A (en) | 1944-02-05 | 1947-01-07 | Worcester Film Corp | Apparatus for making stereopictures |
US3254933A (en) | 1963-10-24 | 1966-06-07 | E D L Dimension Inc | Movie camera |
US3891313A (en) | 1973-07-02 | 1975-06-24 | Gregory I Murphy | Stereo accessory for projectors |
US4178090A (en) | 1974-10-21 | 1979-12-11 | Marks Alvin M | 3-Dimensional camera device |
US4436369A (en) | 1981-09-08 | 1984-03-13 | Optimax Iii, Inc. | Stereoscopic lens system |
US4523226A (en) | 1982-01-27 | 1985-06-11 | Stereographics Corporation | Stereoscopic television system |
US4437745A (en) | 1982-09-30 | 1984-03-20 | Stephen Hajnal | Three dimensional camera system |
US4678298A (en) | 1982-11-22 | 1987-07-07 | Zoran Perisic | Method and apparatus for three-dimensional photography |
US4525045A (en) | 1984-01-23 | 1985-06-25 | Panavision, Inc. | Camera for three-dimensional movies |
US4583117A (en) | 1984-07-17 | 1986-04-15 | Stereographics Corporation | Stereoscopic video camera |
US4568970A (en) | 1984-08-30 | 1986-02-04 | Rockstead Walter R | Stereoscopic television system and apparatus |
FR2583533B1 (fr) | 1985-06-12 | 1988-11-04 | Cuvillier Roger | Appareil photographique pour prise de vues stereoscopiques. |
JP2750422B2 (ja) | 1989-03-24 | 1998-05-13 | 株式会社トプコン | ステレオ画像形成光学装置 |
GB8909757D0 (en) | 1989-04-28 | 1989-06-14 | Lo Anthony T S | Stereo camera with a mono override |
US4967267A (en) | 1989-07-10 | 1990-10-30 | Gallaher Business Development Corp. | Apparatus for formatting and viewing a stereoscopic video frame |
EP0416727A3 (en) | 1989-07-18 | 1992-03-25 | Petrus Joubert Van Der Walt | Method and apparatus for providing stereoscopic images |
US5532777A (en) | 1995-06-06 | 1996-07-02 | Zanen; Pieter O. | Single lens apparatus for three-dimensional imaging having focus-related convergence compensation |
US5828913A (en) * | 1995-06-06 | 1998-10-27 | Zanen; Pieter O. | Method for three dimensional measurement and imaging having focus-related convergence compensation |
JP3788675B2 (ja) * | 1997-11-07 | 2006-06-21 | ソニー株式会社 | 立体像撮影装置及び光学アダプター装置 |
-
2000
- 2000-06-09 CN CNB00801065XA patent/CN1171467C/zh not_active Expired - Fee Related
- 2000-06-09 RU RU2001101469/09A patent/RU2001101469A/ru not_active Application Discontinuation
- 2000-06-09 EP EP00939785A patent/EP1110413A1/en not_active Withdrawn
- 2000-06-09 WO PCT/US2000/016044 patent/WO2000078055A1/en not_active Application Discontinuation
- 2000-06-09 JP JP2001504181A patent/JP2003502925A/ja active Pending
- 2000-06-09 AU AU54815/00A patent/AU5481500A/en not_active Abandoned
- 2000-06-12 US US09/595,402 patent/US6643396B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
RU2001101469A (ru) | 2003-03-10 |
CN1314056A (zh) | 2001-09-19 |
EP1110413A1 (en) | 2001-06-27 |
JP2003502925A (ja) | 2003-01-21 |
WO2000078055A1 (en) | 2000-12-21 |
AU5481500A (en) | 2001-01-02 |
US6643396B1 (en) | 2003-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1171467C (zh) | 用单部手持摄像机获取三维景象 | |
CN110036410B (zh) | 用于从视图中获得距离信息的设备和方法 | |
Nene et al. | Stereo with mirrors | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
CN102679959B (zh) | 基于主动全景视觉传感器的全方位三维建模系统 | |
US10021340B2 (en) | Method and an apparatus for generating data representative of a light field | |
CN1870759A (zh) | 用单个相机提供全景立体图像的设备 | |
CN102243432A (zh) | 全景立体摄像装置 | |
CN101558282A (zh) | 图像处理系统、方法、装置、以及图像格式 | |
EP1087336A3 (en) | Apparatus and method for stereoscopic image processing | |
CN111080705B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN111854636B (zh) | 一种多相机阵列三维检测系统和方法 | |
CN101858741A (zh) | 一种基于单相机的变焦测距方法 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN110852979A (zh) | 一种基于相位信息匹配的点云配准及融合方法 | |
CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
CN108805921A (zh) | 图像获取系统及方法 | |
CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
Lauder et al. | The accuracy of kinematic data collected from underwater three-dimensional analysis | |
CN114092647A (zh) | 一种基于全景双目立体视觉的三维重建系统和方法 | |
CN109682312B (zh) | 一种基于摄像头测量长度的方法及装置 | |
CN114993207B (zh) | 基于双目测量系统的三维重建方法 | |
CN114157852B (zh) | 一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |