CN103890543B - 进行形状测量的系统、方法和媒体 - Google Patents

进行形状测量的系统、方法和媒体 Download PDF

Info

Publication number
CN103890543B
CN103890543B CN201280051285.0A CN201280051285A CN103890543B CN 103890543 B CN103890543 B CN 103890543B CN 201280051285 A CN201280051285 A CN 201280051285A CN 103890543 B CN103890543 B CN 103890543B
Authority
CN
China
Prior art keywords
frequency
lighting pattern
scene
assigned
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280051285.0A
Other languages
English (en)
Other versions
CN103890543A (zh
Inventor
莫希特·古普塔
敘理·K·纳亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Columbia University of New York
Original Assignee
Columbia University of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Columbia University of New York filed Critical Columbia University of New York
Publication of CN103890543A publication Critical patent/CN103890543A/zh
Application granted granted Critical
Publication of CN103890543B publication Critical patent/CN103890543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了进行形状测量的系统、方法和媒体。在一些实施例中,提供了进行形状测量的系统,所述系统包括:向景象投射多个照明图案的投影仪,其中,所述每个照明图案都具有指定频率,所述各照明图案在不同时间段被投射到所述景象上,三个不同照明图案以第一指定频率被投射,只有一个或两个不同照明图案以第二指定频率被投射;用于在所述各时间段检测景象图像的摄像头;以及被设置用于确定所述多个照明图案的指定频率并测量所述景象中物体形状的硬件处理器。

Description

进行形状测量的系统、方法和媒体
政府权益公告
本发明得到美国国家科学基金资助项目IIS-0964429以及美国海军研究办公室资助项目N00014-11-1-0285的支持。因此,美国政府对本发明享有某些权利。
与相关申请的交叉引用
本申请要求2011年11月23日提交的美国临时申请No.61/563,470的权益,该申请的全部内容并入本文作为参考。
背景技术
相位移是一种可靠且被广泛使用的形状测量技术。由于这项技术低廉、快速和准确,其已被应用于外科手术、工厂自动化、表演捕捉、文化遗产数字化以及其他用途。
相位移属于主动式立体三角测量技术种类。这种技术通过向景象投射经过编码的亮度图案建立投影仪像素与摄像头之间的对应关系。然后利用这种对应关系对景象上的点进行三角测量,确定景象中物体的形状。
与其他主动式景象复原技术一样,相位移假定景象点只由一个单光源直接照亮,因此没有全局光照。但实际上,由于相互反射和表面散射,全局光照是不可避免的。事实上,全局光照几乎出现在每一个真实世界景象中。因此,典型的相位移由于全局光照而产生了错误的结果。
此外,相位移算法通常还假定光源是具有无穷大景深的理想点。但是,所有光源的景深是有限的,这就导致了散焦。为了消除散焦,现有相位移技术需要拍摄大量输入图像。
因此,需要新型的形状测量机构。
发明内容
提供一种进行形状测量的系统、方法和媒体。在一些实施例中提供了进行形状测量的系统,所述系统包括:向景象投射多个照明图案的投影仪,其中,所述每个照明图案都具有指定频率,所述各照明图案在不同时间段被投射到所述景象上,三个不同照明图案以第一指定频率被投射,只有一个或两个不同照明图案以第二指定频率被投射;用于在所述各时间段检测景象图像的摄像头;以及被设置用于确定所述多个照明图案的指定频率并测量所述景象中物体形状的硬件处理器。
在一些实施例中提供了进行形状测量的方法,所述方法包括:使用投影仪向景象投射多个照明图案,其中,所述每个照明图案都具有一个指定频率,所述各照明图案在不同时间段被投射到所述景象上,三个不同照明图案以第一指定频率被投射,只有一个或两个不同照明图案以第二指定频率被投射;使用摄像头在所述各时间段对所述景象的图像进行检测;使用硬件处理器确定所述多个照明图案的指定频率;使用所述硬件处理器测量所述景象中物体的形状。
在一些实施例中,提供了含有计算机可执行指令的非瞬时性计算机可读媒体,当处理器对其进行处理时,处理器执行测量形状的方法,所述方法包括:向景象投射多个照明图案,其中,每个照明图案具有一个指定频率,每个照明图案在不同时间段被投射到景象上,三个不同照明图案以第一指定频率被投射,只有一个或两个不同照明图案以第二指定频率被投射;在各时间段对景象的图像进行检测;确定所述多个照明图案的指定频率;测量景象中物体的形状。
附图说明
图1是可在一些实施例中使用的进行形状测量的硬件实例的框图。
图2是可在一些实施例中使用的计算机硬件实例的框图。
图3是可在一些实施例中使用的照明图案实例示意图。
图4是根据一些实施例的可用于执行形状测量的程序实例示意图。
具体实施方式
提供了一种进行形状测量的系统、方法和媒体。在一些实施例中,形状测量机构可使用任意一种适宜的投影仪将照明图案投射到含有一个或多个物体的景象上,从所述景象反射的这些照明图案可由任意一种适宜的摄像头检测到并以图像形式保存。所述投射的图案可以是任意一种适宜的图案,例如正弦曲线图案。这些图案可以选择足够高的使用频率,以使得所有检测和储存的图像的全局光照和散焦效应基本保持不变。然后可确定投影仪像素与摄像头像素之间的对应关系,利用这种对应关系对景象中物体的表面上的点进行三角测量,由此确定这些物体的形状。
参照图1,图中所示为一些实施例使用的硬件100的实例。如图所示,在一些实施例中,硬件100可包括计算机102、投影仪104、摄像头106、一个或多个输入装置108以及一个或多个输出装置110。
在一些实施例中,在运行过程中,计算机102可使投影仪104将适宜数量的结构光图像投射到景象112上,所述景象可包括任意适宜的物体,例如物体114和116。同时,在一些实施例中,摄像头106可检测从景象反射的光线,并向计算机提供检测到的图像。然后,在一些实施例中,计算机可进行本文中所述的处理,确定形状以及与景象中物体相关的其他适用数据。
在一些实施例中,计算机102可以是任意一种适宜的处理装置,用于控制投影仪104和摄像头106的工作,进行本文所述的计算,生成适宜的输出数据,并和/或者执行其他适宜的功能。结合图2对一些实施例的计算机102的特征做进一步的说明。
投影仪104可以是任意一种适于投射结构光图像的装置,如本文所述。例如,投影仪104可以是投影系统、显示器等。更具体的,例如,在一些实施例,投影仪104可以是位于美国加州圣地亚哥的三洋北美洲公司生产的SANYOPLC-XP18N投影系统。
摄像头106可以是任意一种适于检测图像的装置,如本文所述。例如,摄像头106可以是照相机、摄影机、光传感器、图像传感器等。更具体的,例如,在一些实施例中,摄像头106可以是由位于加拿大不列颠哥伦比亚省里士满的POINT GREY RESEARCH公司或位于加拿大安大略渥太华的LUMENERA CORPORATION公司生产的机器视觉摄像头。
在一些实施例中,输入装置108可以是任意一个或多个适于控制计算机102的输入装置。例如,输入装置108可包括触摸屏、计算机鼠标、指针设备、一个或多个按钮、小键盘、键盘、声音识别电路、麦克风等。
在一些实施例中,输出装置110可以是任意一个或多个适于从计算机102输出数据的输出装置。例如,输出装置110可包括显示器、音频设备等。
根据一些实施例,硬件100可包括其他适宜的元件。在一些实施例中,硬件100中的其他适宜元件可合并和/或省略。
在一些实施例中,可使用所有适宜的硬件运行计算机102。例如,在一些实施例中,计算机102可以是任意一种适宜的通用计算机或特殊用途计算机。这种通用计算机或特殊用途计算机可包括适宜的硬件。例如,如图2所示的硬件200实例,这种硬件可包括硬件处理器202、记忆装置和/或存储器204、通信接口(一个或多个)206、输入控制器208、输出控制器210、投影仪接口212、摄像头接口214以及总线216。
在一些实施例中,硬件处理器202可包括任意一种适宜的硬件处理器,例如微处理器、微控制器、数字讯号处理器、专用逻辑和/或其他适于控制通用计算机或特殊用途计算机工作的电路系统。
在一些实施例中,记忆装置和/或存储器204可以是任意一种适于存储程序、数据、将要投射的图像、检测到的图像、测量数据等的记忆装置和/或存储器。例如,记忆装置和/或存储器204可包括随机存取存储器、只读存储器、闪存、硬盘存储器、光学媒体等。
在一些实施例中,通信接口(一个或多个)206可以是任意一种适于与一个或多个通信网络联接的电路系统。例如,接口(一个或多个)206可包括网络接口卡电路系统、无线通信电路系统等。
在一些实施例中,输入控制器208可以是任意一种适于接收来自一个或多个输入装置108的输入数据的电路系统。例如,输入控制器208可以是用于接收输入数据的电路系统,所述输入数据来自触摸屏、计算机鼠标、指针设备、一个或多个按钮、小键盘、键盘、声音识别电路、麦克风等。
在一些实施例中,输出控制器210可以是任意一种适于控制和驱动一个或多个输出装置110的电路系统。例如,输出控制器210可以是用于输出数据至显示器、音频设备等的电路系统。
在一些实施例中,投影仪接口212可以是任意一种适于联接硬件200与投影仪(如投影仪104)的接口。在一些实施例中,接口212可使用任意一种适宜的协议。
在一些实施例中,摄像头接口214可以是任意一种适于联接硬件200与摄像头(如摄像头106)的接口。在一些实施例中,接口212可使用任意一种适宜的协议。
在一些实施例中,总线216可以是任意一种适于连接元件202、204、206、208、210、212和214中的两个或多个进行通信的机构。
根据一些实施例,硬件200可包括其他适宜的元件。在一些实施例中,硬件200中的所有适宜元件可合并和/或省略。
图3所示为根据一些实施例的可由投影仪104投射到景象112上的结构光图案实例302。在一些实施例中,图案302可具有在白色和黑色之间依照正弦函数变化的亮度,如正弦波304所示。因此,图案302中每列像素可具有一个指定的亮度向量。在一些实施例中,可用像素来测量306所显示的图案时段。
来看图4,图中所示为根据一些实施例的进行形状测量的程序实例400。在一些实施例中,该程序由图1所示计算机102执行。
如图所示,在一些实施例中,程序400由402处开始后,可在404处确定所投射的结构光的频率。可使用任意一种适宜的频率,可以采用任意一种适宜的方式确定这些频率。
例如,在一些实施例中,可选择图案频率集合Ω(即Ω={ω1,…, ωF})以满足以下两个条件:(1)平均频率ωm足够高(时段λ小),使全局光照在复原相位中不会产生重大误差;(2)频带宽度δ(即,δ为Ω中所有频率都位于带宽[ωm-δ/2,ωm+δ/2]内)足够小,使得所有频率下摄像头检测的振幅是基本相同的,即:
A1≈A2≈...≈AF≈A.
关于上述条件的第一条,在一些实施例中可使用任意一个适宜的ωm值。例如,在一些实施例中,与小于96像素的时段λm对应的平均频率ωm(例如,16像素、32像素等)(结合图3如上所述)可足以防止大量收集景象时由于全局光照而在复原相位中出现误差。在另外的一些实例中,平均频率ωm高于10Hz(例如,30Hz,60Hz等)可足以防止大量收集景象时由于全局光照而在复原相位中出现误差。
在一些实施例中,平均频率的选择可考虑到,由于在这些实施里使用指定的投影仪存在光学象差,投影仪也许不能可靠地投射某些高频率,因此应选择低于这种高频率的平均频率。
对于上述条件的第二条,在一些实施例中可使用任意一个适宜的δ值。例如,在一些实施例中,频带宽度δ可根据摄像头的噪声级选择最大值,这个最大值不会使任意一对投射图案频率之间的反射光振幅的最大变化超过一定百分比,例如1%、5%、10%等。例如,摄像头的较高噪声级允许投射图案频率对之间的反射光振幅变化较大。在一些实施例中,这种变化可通过测量并计算反射光振幅平均值来确定,所述反射光来自接收不同数量全局光照和散焦的大量景象点。
在一些实施例中,由于平均频率ωm对应于16像素时段λm,因此频带宽度δ可对应于3像素的时段。
在一些实施例中,频带宽度δ的选择可考虑到,由于在这些实施例使用的指定投影仪的亮度分辨率有限且空间有限,如果两种频率之差小于阈值ε,则投影仪也许不能可靠地区分这两种频率。因此,在一些实施例中,频带宽度δ可选择足够大以确保F个不同频率可以得到区分――即至少相差ε。
平均频率ωm和频带宽度δ选择完毕后,便可以确定所得频带。例如,根据平均频率ωm对应于16像素时段λm,且频带宽度δ对应于3像素的时段,可以确定对应于14.5至17.5像素时段的一个频带。
可选择照明图案的各频率。在一些实施例中,可以以任意一种适宜的方式选择这些频率。例如,在一些实施例中,这些频率在选择上可使相位误差造成的深度误差减至最小。在一些实施例中,由于:
(a)这种深度误差与相位误差成比例ΔΦ=|p-q|,式中,对于指定的摄像头像素,p是正确的投影仪纵列,q是计算出的投影仪纵列;
(b)在使用F个频率时,可用一个唯一的F+2维亮度向量(即,每个投射图像一个)对各投影仪纵列进行编码,
为了将产生相位误差的可能性减至最小,频率集合在选择上可使对应于不同投影仪纵列的向量间的距离dpq最大。对于指定的频率集合Ω,亮度向量间的平均加权距离可按以下公式计算:
式中,N是投影仪纵列的总数量。在一些实施例中,对于dpq,可选择范数
-2欧几里得距离。然后,在一些实施例中,可使用以下约束F维优化问题选择使E(Ω)最小的在频带[ωmin,ωmax]内的频率集合。
可以以任意一种适宜的方式求解这个优化问题。例如,在一些实施例中,单纯形搜索法(例如,在MATLAB优化工具箱中运行的)可用于解决优化问题。
在一些实施例中,对于[14.5,17.5]像素的频带且F=5时,上述步骤可得到对应于14.57,16.09,16.24,16.47和16.60像素时段的频率集合。
在一些实施例中,在程序400选定了照明图案频率后,程序400可在406处选择这些频率的第一频率。在一些实施例中,可以选择任意一个适宜的频率,可以以任意一种适宜的方式选择该频率。例如,在一些实施例中,可以选择最低频率、最高频率或最接近平均频率的频率作为这些频率的第一频率。
然后,在408处,在一些实施例中,程序400可在408处使投影仪以选定的频率投射照明图案。例如,程序400可使图1所示的投影仪104以与选定的第一频率相同的频率投射图3所示的照明图案302。
在一些实施例中,当投影仪在408处投射照明图案时,程序400可使摄像头对景象反射的投射图案进行检测,形成检测图像,在410处从摄像头获取该图像。
然后,程序可在412处判断在408处刚刚结束的投射是否为最后一次投射,如果不是,则在414处使用另一不同频率进行下一次投射。可根据适宜的准则并以任意一种适宜方式做出这种判断。例如,不是所有在404处所确定的频率集合中的频率都在406或416处被选择时,程序400可确定需要再进行一次投射。又例如,当两个或更多变换相位的投射被指定为同一指定频率但并未在408处实施各投射时,程序400可确定需要再进行一次投射。
更具体的,例如,在一些实施例中,对于指定个数的频率F,在一些实施例中可投射F+2图像并检测。更加具体地说,在一些实施例中,对于第一频率可以投射三个图像并检测,对于其余F-1频率中的每一个可投射一个图像并检测。
因此,在412处,程序400可判断刚刚结束的是否为最后投射。如果是,则程序400可继续进行至418对各投射频率下的投影仪像素的相位进行复原,下面将对此做详细说明。否则,程序400可在414处判断是否使用另一不同频率进行下一次投射。如果是,程序400可在416处选择相邻频率,然后返回408。如果不是,程序400则返回408。
如上所述,在一些实施例中,在418处,程序400可复原投影仪像素在每个投射频率的相位。在一些实施例中,可以以任意一种适宜的方式复原相位。例如,根据在410处获取的检测图像,程序400可根据以下公式复原相位值:
式中:
f是集合Ω中标号为1至F的频率的标号;
p是照射摄像头像素c的投影仪像素;
A(c)是像素c在频率f时的振幅,涵盖了景象双向反射分布函数(BRDF)、表面阴影效应和投影仪亮度衰减,可以用表示;以及
Ufact可通过求解下面公式给出的线性系统计算得出:
Umicro=Rmicro/Mmicro
式中:
Rmicro是记录的亮度的向量;
Mmicro是F+2大小的方矩阵,其表示为:
其中,ⅡF-1是F-1×F-1大小的单位矩阵:
O(c)是摄像头像素c的偏移项,涵盖了环境照明分布。
在一些实施例中,相位一旦复原,即可在420处将相位展开。例如,在一些实施例中,Gushov-Solodkin(G-S)算法(V.I.Gushov和Y.N.Solodkin在《光学激光工程》1991年第14期中发表的“整体干涉仪中条纹图的自动处理”一文中有说明,其全部内容作为参考并入本文)可用于将数个高频率相位合并为单一低频率相位。如果这个时段的高频正弦曲线成对互质(无公因数),可模拟出与所有高频正弦曲线的时段相同的时段的低频正弦曲线。
在一些实施例中,可使用任意一种适宜的方法执行Gushov-Solodkin(G-S)算法。例如,在一些实施例中,首先,各频率相位可根据以下公式转换成剩余投影仪纵列数pf
例如,假设λf=16像素(频率f时段)且Фf=π/4(频率f的相位)。然后,使剩余纵列数pf=2。接下来,消除歧义的最终纵列对应关系p可通过以下公式得到:
p=p1b1M1+...+pFbFMF
式中,Mf=(λ1λ2。。。λF)/λf,系数bf通过求解同余式bfMf=1(modλf)得到。这种同余式可用欧几里得算法求解。在一些实施例中,上述步骤也可做出以下更改用于非整数残差pf和时段λf:对残差取整数以计算展开的纵列数p,然后对p加回小数部分。
相位展开后,在422处,可通过确定摄像头像素纵列c的相位与投影仪像素纵列p的相位之间的对应关系、然后通过三角测量确定景象中物体表面(Sx,Sy,Sz)各点的三维(3D)位置来计算景象中物体的形状。然后将形状数据储存在适宜的记忆装置和/或存储器内。
根据一些实施例,可使用任意一种适宜的方式进行三角测量。例如,在一些实施例中,三角测量可按以下方式进行。
摄像头中心的3D坐标(CCam1,CCam2,CCam3)和投影仪中心的3D坐标(CProj1,CProj2,CProj3)可
通过现有技术中已知的几何校准投影仪和摄像头以推理的方式计算得出。令摄像头像素c的3D坐标为(Vc1,Vc2,Vc3)。由于摄像头像素坐标已知,因此摄像头像素c的3D坐标(Vc1,Vc2,Vc3)可知。
投影仪纵列p和投影仪中心(CProj1,CProj2,CProj3)可在3D空间中定义出唯一平面。将该平面称为P,其在3D等式如下:
P1*x+P2*y+P3*z+P4=0,
式中,由于纵列坐标p已知,P1,P2,P3和P4可知。
将通过像素c和摄像头中心的线称为L。应当注意地是,景象点S位于线L与平面P的相交处。通过三角测量可找出这个相交点。线L的3D等式如下:
L(t)=(CCam1,CCam2,CCam3)+t*[(Vc1,Vc2,Vc3)-(CCam1,CCam2,CCam3)]
通过标量参数t确定线L的参数。目的是找出t值,这样计算出的线上的点也位于平面P上。t值根据以下公式计算:
计算出t值后,点S的3D坐标如下:
Sx=CCam1+t*(Vc1-CCam1)
Sy=CCam2+t*(Vc2-CCam2)
Sz=CCam3+t*(Vc3-CCam3)
最后,程序400在424处结束。
应当明白的是,图4所示的程序400的所述步骤中,至少有一部分步骤可以以任意顺序或次序执行和进行,不局限于图中所示的顺序或次序。而且,图4所示的程序400的所述步骤可在适当情况下基本同时执行或进行,或者并行操作以减少等待时间和处理时间。
在一些实施例中,可使用所有计算机可读媒体储存执行上述操作的指令。例如,在一些实施例中,计算机可读媒体可以是瞬时的或非瞬时的。例如,非瞬时计算机可读媒体可包括媒体例如磁性媒体(例如硬盘、软盘等)、光学媒体(例如激光唱片、数字视盘、蓝光光碟)、半导体媒体(例如闪存、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)等)、任意一种不会快速消失或在传输过程中不具有永久性外观的适宜媒体、以及/或者任意一种适宜的实体媒体。另一个实例是,瞬时的计算机可读媒体可包括互联网信号、导体信号、线路信号、光纤信号、电路信号、任意一种可快速消失并在传输过程中不具有永久性外观的适宜媒体、和/或任意一种适宜的无形媒体。
尽管前述实施例对本发明做出了解释说明,应当明白的是,实例仅用于对本发明进行说明,在不偏离所附权利要求规定的本发明精神和范围的情况下可对本发明的细节作出多种改变。可通过不同方式对所揭示的实施例特征进行合并和重组。

Claims (22)

1.一种进行形状测量的系统,其特征在于,其包括:
投影仪,用于向景象投射多个照明图案,其中,每个所述照明图案都具有表示用于产生照明图案的对应频率,各所述照明图案在不同时间段被投射到所述景象上,三个不同照明图案中的每一个的对应频率是第一指定频率,只有一个或两个不同照明图案中的每一个的对应频率是第二指定频率;
摄像头,用于检测多个检测图像,所述景象的所述多个检测图像中的每一个在所述各时间段被检测到;以及
硬件处理器,被设置用于:
确定所述多个照明图案的第一频率和第二频率,该第一频率和第二频率解决约束F维优化问题:
其中Ω是包括第一频率和第二频率的一组频率,
F是Ω中频率的总数,
f是Ω中标号为1至F的频率的标号,
dpq是与具有N个纵列的投影仪的不同纵列对应的向量之间的距离,
p是正确的投影仪纵列,
q是计算出的投影仪纵列,
ωf表示Ω中的频率,
ωm表示Ω的平均频率,以及
δ是频带宽度;
使所述投影仪投射所述多个照明图案;
接收所述多个检测图像;以及
基于所述多个检测图像测量所述景象中物体的形状。
2.根据权利要求1所述的系统,其特征在于,所述硬件处理器还被设置用于通过测量不同频率照明图案的反射光的振幅并选择与一小范围振幅对应的频率来确定所述多个照明图案的指定频率。
3.根据权利要求2所述的系统,其特征在于,所述小范围振幅彼此相差1%。
4.根据权利要求2所述的系统,其特征在于,所述小范围振幅彼此相差5%。
5.根据权利要求2所述的系统,其特征在于,所述小范围振幅彼此相差10%。
6.根据权利要求1所述的系统,其特征在于,所述硬件处理器还被设置用于:
确定多个与所述景象相关的光传送特征;
并根据所述多个光传送特征确定空间频率。
7.根据权利要求1所述的系统,其特征在于,所述硬件处理器还设置用于确定各正弦曲线图案的参数,以使所述多个检测图像的全局光照和散焦效应保持不变。
8.根据权利要求1所述的系统,其特征在于,所述硬件处理器还被设置用于通过Gushov-Solodkin(G-S)算法执行相位展开。
9.根据权利要求1所述的系统,其特征在于,所述多个照明图案的各所述指定频率均高于10Hz。
10.根据权利要求1所述的系统,其特征在于,所述多个照明图案的各所述指定频率均高于30Hz。
11.根据权利要求1所述的系统,其特征在于,所述多个照明图案的各所述指定频率均高于60Hz。
12.一种进行形状测量的方法,其特征在于,其包括:
使用投影仪向景象投射多个照明图案,其中,每个所述照明图案都具有表示用于产生照明图案的对应频率,各所述照明图案在不同时间段被投射到所述景象上,三个不同照明图案中的每一个的对应频率是第一指定频率,只有一个或两个不同照明图案中的每一个的对应频率是第二指定频率;
检测多个检测图像,其中使用摄像头在所述各时间段对所述景象的所述多个检测图像中的每一个进行检测;
使用硬件处理器基于所述多个检测图像确定所述多个照明图案的指定频率;
使用硬件处理器确定所述多个照明图案的第一频率和第二频率,该第一频率和第二频率解决约束F维优化问题:
其中Ω是包括第一频率和第二频率的一组频率,
F是Ω中频率的总数,
f是Ω中标号为1至F的频率的标号,
dpq是与具有N个纵列的投影仪的不同纵列对应的向量之间的距离,
p是正确的投影仪纵列,
q是计算出的投影仪纵列,
ωf表示Ω中的频率,
ωm表示Ω的平均频率,以及
δ是频带宽度;
使用所述硬件处理器使所述投影仪投射所述多个照明图案;
使用所述硬件处理器接收所述多个检测图像;以及
使用所述硬件处理器基于所述多个检测图像测量所述景象中物体的形状。
13.根据权利要求12所述的方法,其特征在于,通过测量不同频率照明图案的反射光振幅并选择与一小范围振幅对应的频率来确定所述多个照明图案的指定频率。
14.根据权利要求13所述的方法,其特征在于,所述小范围振幅彼此相差1%。
15.根据权利要求13所述的方法,其特征在于,所述小范围振幅彼此相差5%。
16.根据权利要求13所述的方法,其特征在于,所述小范围振幅彼此相差10%。
17.根据权利要求12所述的方法,其特征在于,还包括:
确定多个与所述景象相关的光传送特征;
并根据所述多个光传送特征确定空间频率。
18.根据权利要求12所述的方法,其特征在于,还包括确定各正弦曲线图案的参数,以使所述多个检测图像的全局光照和散焦效应保持不变。
19.根据权利要求12所述的方法,其特征在于,还包括通过Gushov-Solodkin(G-S)算法执行相位展开。
20.根据权利要求12所述的方法,其特征在于,所述多个照明图案的各所述指定频率均高于10Hz。
21.根据权利要求12所述的方法,其特征在于,所述多个照明图案的各所述指定频率均高于30Hz。
22.根据权利要求12所述的方法,其特征在于,所述多个照明图案的各所述指定频率均高于60Hz。
CN201280051285.0A 2011-11-23 2012-11-21 进行形状测量的系统、方法和媒体 Active CN103890543B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161563470P 2011-11-23 2011-11-23
US61/563,470 2011-11-23
PCT/US2012/066307 WO2013078349A1 (en) 2011-11-23 2012-11-21 Systems, methods, and media for performing shape measurement

Publications (2)

Publication Number Publication Date
CN103890543A CN103890543A (zh) 2014-06-25
CN103890543B true CN103890543B (zh) 2018-04-10

Family

ID=48470306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280051285.0A Active CN103890543B (zh) 2011-11-23 2012-11-21 进行形状测量的系统、方法和媒体

Country Status (5)

Country Link
US (3) US20150292875A1 (zh)
EP (1) EP2783184A4 (zh)
JP (2) JP6286359B2 (zh)
CN (1) CN103890543B (zh)
WO (1) WO2013078349A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661304B2 (en) * 2012-10-31 2017-05-23 Ricoh Company, Ltd. Pre-calculation of sine waves for pixel values
JP6525770B2 (ja) * 2015-06-30 2019-06-05 キヤノン株式会社 計測装置、および物品製造方法
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
DE102016003512A1 (de) * 2016-03-22 2017-09-28 Rodenstock Gmbh Verfahren und Vorrichtung zur Ermittlung von 3D-Koordinaten zumindest eines vorbestimmten Punktes eines Objekts
JP6658625B2 (ja) * 2017-03-08 2020-03-04 オムロン株式会社 3次元形状計測装置及び3次元形状計測方法
CN107044833B (zh) * 2017-03-24 2019-03-05 南京理工大学 一种基于改进的傅立叶变换轮廓技术的超快三维形貌测量方法及其系统
TWI724594B (zh) * 2019-10-29 2021-04-11 鑑微科技股份有限公司 三維形貌測量裝置
CN114777687B (zh) * 2022-05-09 2023-06-09 湖北工业大学 基于概率分布函数的分区域相位误差补偿方法及设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
CA2256109A1 (en) 1996-05-23 1997-11-27 Applied Research Systems Ars Holding N.V. Compounds that inhibit the binding of raf-1 or 14-3-3 proteins to the beta chain of il-2 receptor, and pharmaceutical compositions containing same
US6281993B1 (en) 1998-03-30 2001-08-28 International Business Machines Corporation Phase shifting element for optical information processing storing systems
FI20001568A (fi) * 2000-06-30 2001-12-31 Thermo Radiometrie Oy Pinnan muotojen määrittäminen
JP3519698B2 (ja) * 2001-04-20 2004-04-19 照明 與語 3次元形状測定方法
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
GB0200819D0 (en) * 2002-01-15 2002-03-06 Cole Polytechnique Federale De Microscopy imaging apparatus and method for generating an image
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
WO2004001332A1 (en) * 2002-06-19 2003-12-31 Canesta, Inc. System and method for determining 3-d coordinates of a surface using a coded array
JP2006003212A (ja) * 2004-06-17 2006-01-05 Konica Minolta Sensing Inc 位相計測システム
JP2006329751A (ja) * 2005-05-25 2006-12-07 Sony Corp 表面形状測定方法及び表面形状測定装置
JP2006338092A (ja) * 2005-05-31 2006-12-14 Nec Corp パタン照合方法、パタン照合システム及びパタン照合プログラム
US20070115484A1 (en) * 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
US8310685B2 (en) * 2007-08-17 2012-11-13 Dimitrov-Kuhl Klaus-Peter Parameterized optical system and method
US7986321B2 (en) 2008-01-02 2011-07-26 Spatial Integrated Systems, Inc. System and method for generating structured light for 3-dimensional image rendering
CN101661159B (zh) * 2008-08-25 2011-09-21 麦克奥迪实业集团有限公司 一种基于二维调制技术的切层图像获取方法
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
FR2954728B1 (fr) 2009-12-29 2012-02-03 Michelin Soc Tech Procede de mise en joint d'une couche de matiere pour la realisation d'une ebauche crue de pneumatique
JP2010175554A (ja) * 2010-03-26 2010-08-12 Nec Engineering Ltd 三次元形状計測装置及び三次元形状計測方法
JP5170154B2 (ja) * 2010-04-26 2013-03-27 オムロン株式会社 形状計測装置およびキャリブレーション方法

Also Published As

Publication number Publication date
US20150176982A1 (en) 2015-06-25
JP6587706B2 (ja) 2019-10-09
EP2783184A4 (en) 2015-07-15
JP2015501933A (ja) 2015-01-19
US10690489B2 (en) 2020-06-23
US9857168B2 (en) 2018-01-02
JP2018109634A (ja) 2018-07-12
US20150292875A1 (en) 2015-10-15
US20180347971A1 (en) 2018-12-06
JP6286359B2 (ja) 2018-02-28
EP2783184A1 (en) 2014-10-01
CN103890543A (zh) 2014-06-25
WO2013078349A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103890543B (zh) 进行形状测量的系统、方法和媒体
Du et al. DepthLab: Real-time 3D interaction with depth maps for mobile augmented reality
CN107909612B (zh) 一种基于3d点云的视觉即时定位与建图的方法与系统
Zhang et al. Edge-preserving photometric stereo via depth fusion
CN103390289B (zh) 基于深度传感器获得镜面对象的几何形状的方法和设备
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
US6911995B2 (en) Computer vision depth segmentation using virtual surface
CN102609942B (zh) 使用深度图进行移动相机定位
US9053571B2 (en) Generating computer models of 3D objects
JP6143747B2 (ja) 深度測定の品質の向上
WO2014193871A1 (en) Absolute phase measurement with secondary pattern-embedded fringe
US9129375B1 (en) Pose detection
CN111161347A (zh) 一种进行slam初始化的方法与设备
Scargill et al. Here to stay: Measuring hologram stability in markerless smartphone augmented reality
Wang et al. A phase unwrapping method based on sparse depth for depth perception
Loesch et al. Localization of 3D objects using model-constrained SLAM
CN113327317A (zh) 三维点云图获取方法、装置、电子设备和存储介质
Skulimowski et al. Refinement of depth from stereo camera ego-motion parameters
Kán High-quality real-time global illumination in augmented reality
Quéau et al. A full photometric and geometric model for attached webcam/matte screen devices
Kuronen et al. 3d hand movement measurement framework for studying human-computer interaction
Maesen et al. Scalable optical tracking-a practical low-cost solution for large virtual environments
Aman Model-Based Camera Tracking for Augmented Reality
Drouin et al. Camera–projector matching using unstructured video
Rachmielowski Concurrent acquisition, reconstruction, and visualization with monocular video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant