CN1742294A - 制作包含深度信息的图像的方法和装置 - Google Patents

制作包含深度信息的图像的方法和装置 Download PDF

Info

Publication number
CN1742294A
CN1742294A CNA2004800027333A CN200480002733A CN1742294A CN 1742294 A CN1742294 A CN 1742294A CN A2004800027333 A CNA2004800027333 A CN A2004800027333A CN 200480002733 A CN200480002733 A CN 200480002733A CN 1742294 A CN1742294 A CN 1742294A
Authority
CN
China
Prior art keywords
pattern
image
view data
depth information
focal plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800027333A
Other languages
English (en)
Inventor
J·E·威尔逊
M·G·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spiral Scratch Ltd
Original Assignee
Spiral Scratch Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spiral Scratch Ltd filed Critical Spiral Scratch Ltd
Publication of CN1742294A publication Critical patent/CN1742294A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种制作包括深度信息的物体图像的方法,包括下列步骤:用来自照明装置的周期图样的光照射物体;该照明装置使得图样在焦平面上对焦,而离开所述焦平面逐渐散焦;放置物体,使其不同部分到焦平面的距离;从被这样照射的物体捕捉图像数据;分析捕捉的图像数据,基于图样的散焦程度,提取深度信息;以及,显示没有图样但具有深度信息的物体图像。执行该方法的装置,包括:照明装置,用来以周期图样的光照射物体;该照明装置使得图样在焦平面对焦,而离开所述焦平面逐渐散焦;物体可相对于照明装置被定位,以便其不同部分到焦平面的距离不同;图像数据捕捉装置,用来从被这样照明的物体来捕捉图像数据;数据分析装置,用来分析捕捉的图像数据,基于图样的散焦程度来提取深度信息;以及图像显示装置,用于显示没有图样但具有深度信息的物体图像。

Description

制作包含深度信息的图像的方法和装置
技术领域
本发明涉及制作包含深度信息的图像,即,主要涉及一个物体的图像的产生,其中包括到成像物体部分的图像的观察者的距离信息。
背景技术
包含深度信息的图像包括:
从单个观察点产生的屏蔽图像;
从两个或更多个观察点产生的角复合图像(angular-composition image),这两个或更多个观察点关于单个轴的物体的角定向不同;
从三个或更多个观察点产生的完全三维图像,这三个或更多个观察点关于至少两个正交轴的物体的角定向不同。
比方说,人的头部图像的任何三维表示例如可以是浮雕,或通过激光产生的点应变(point strains)的头部形状的玻璃或透明塑料的透视图,其在照射下是可以看到的亮点。然而,那些图像中的任何二维表示(例如在视频屏幕上的二维显示)可具有图像深度信息,通过操纵图像(例如通过旋转),可觉察到该深度信息,或者,如果在整体成像的情形下通过一个装置如解码屏幕,它也可被观察到,或者,分开从相邻有利点(vantage points)获取的两个二维图像,模拟双眼观察,一个图像由每只眼睛观察。
这里所使用的术语“深度成像”是指产生具有深度信息的图像,无论是否被实际显示,但至少具有被显示的可能性,或用于产生可被看作是一个物体的二维或三维表示的某些特征,因而包括捕捉信息的过程,其中包含物体的深度信息,以及对该信息的处理,使之达到可用于产生图像的程度。
在US-A-4657394中公开的用于深度成像的方法,包括利用由光栅产生的一束光照亮一个物体,该束光具有正弦变化的强度图样。其将平行的明暗条图样投射到物体上。当从偏移的位置观察时,这些条是变形的。随着物体的旋转,利用线列相机形成一系列图像。每个图像将是不同的,从不同的图像,根据程序化到计算机中的算法,通过三角测量来计算物体表面上的每个点的三维位置。
其它采用从多个图像的三角测量的深度测定方法已在DE-A-19515949、DE-A-4416108、JP-A-4416108和US-A-5085502中被公开。
这些方法涉及到昂贵的设备,很难实现,并且要花费很长时间,通常大约需要一个小时。
本发明提供非常快速的、使用经济设备的方法,具体来说,它可以连接作为桌面深度成像设备的个人计算机。
发明内容
本发明包括一种制作包括深度信息的物体图像的方法,该制作方法包括下列步骤:
-用来自照明装置的周期图样的光照射物体;
-该照明装置使得图样的焦点在焦平面上对准,当离开所述焦平面时逐渐散焦;
-放置该物体,使其不同部分到焦平面的距离不同;
-从被这样照射的物体捕捉图像数据;
-分析捕捉的图像数据,基于图样散焦的程度,提取深度信息;以及
-显示没有图样而具有深度信息的物体图像。
该图像可以是屏蔽图像。图像数据可在单个的图像中被捕捉。图像可以是角复合图像,然后数据可在至少两个屏蔽图像中被捕捉,这两个图像关于一个单轴的物体的角定向不同,该轴和物体与照明装置之间的一条线在顶部正交。
图像可以是3D图像。然后,图像数据可在至少三个屏蔽图像中被捕捉,这三个图像关于至少两个轴的物体的角定向不同,这些轴和连接物体与照明装置的一条线正交。
物体可以这样来放置,使其不与焦平面相交,并且可以这样来放置,使其位于距离照明装置的散焦变化率最大的区域内,和/或位于距离照明装置的散焦变化率相当恒定的区域内。
通过捕捉对应于物体上的异相光图样的图像数据,和从没有图样的被照明物体捕捉图像数据,可从图像中移除图样。
图样可具有交替的明暗线。期望的是,物体上的图样没有完全未被照明的区域,基本上没有信息可从未被照明的区域收集,并且当然期望物体的大部分不应是完全吸收光的。
图样可通过一个光栅来生成,其可具有等间距的明暗平行线。
在利用结构式光源的3D测量领域中,将光栅图像投射到3D物体上以产生复合图像的概念是公知的。这里,3D物体的形状以这样一种方式使光栅变形,使得可利用三角测量方法(例如WO 00/70303)计算该形状。这些方法要求成像设备以与投射设备成一个角度来放置。在这些测量法中,当光栅的周期性损失(loss in the periodicity)发生时,光栅的变形使光栅的移除非常困难。因此,深度被恢复,但纹理映射要求没有光栅存在的图像。
在共焦显微术技术领域中,在物体上投射栅格图像也是公知的。这里,光栅仅具有较窄深度的焦距,用出现的光栅图像来定位物体那些部分的深度,这些部分与光栅图像位于相同的焦平面(例如WO98/45745)。这里,通过一种相位步进方法来移除栅格。简单地说,该技术需要至少三个相位步进复合图像,如果相位步进设置在120度,则数学处理被简化。第二个实例(DE 199 30 816)使用类似的相位步进方法。在该情形下,以90度的间隔使用四步。实际上,执行只利用两步的类似相位步进方法也是可以的。在这种情况下,复合图像的部分中光栅图像的各部分可能不会被完全移除。
除了相位步进之外,可使用相关方法来从复合图像中去除光栅图像。信号和图像的统计分析中相关函数的使用是普遍的。相关分析的精确性取决于可用的图像数据,具体是:
1、对光栅图像形状的认识,如正弦波
2、对光栅图像周期和振幅的认识
3、对复合图像中的函数的位置的认识
4、对宽区域图像的认识,即无光栅的图像
当光栅和宽区域图像都已知时,可完全移除光栅,可以像素级获得深度信息。当只有较少的信息时,可能需要周期地恢复深度和纹理信息。
散焦程度可基于图样的一条线的宽度或基于图样的调制对比度来计算。
散焦光学系统的频率响应最早是由H.H.Hopkins(Proc.Roy.Soc.A231,3,1955)被说明。其中描述了散焦函数及其对图像和光学特性的依赖。简单地说,通过对与物体每个点相关联的衍射图像的强度分布积分,可获得图像平面上的强度分布。对于简单的物体(线性光栅)散焦函数(D)(也叫做光学传递函数和模变换函数)可被解析计算,并通常以通用频率函数(s)来表达。通过定义,‘s’与镜头的光圈成反比,与光栅的间距成正比。实际上,这被看作是精细结构,只显示较短深度的焦距,然而,小光圈给出较大深度的焦距。
在知道基本光学参数的情况下,对于单独的光学系统,可绘制出D(s)对s的图形。可以看出,函数在值0.8与0.2之间显示出大部分的线性区域。当从散焦函数计算出深度距离时,这是很有利的。
P.A.Stokseth给出了散焦函数的进一步说明(J.Opt.Soc.Am.59#10,1314 1969)。其中利用衍射和几何光学理论分析计算散焦函数。此外,还给出了经验论述。示出的散焦函数相对于焦平面(球)的每侧都是不对称的,在焦平面后面观察到的散焦深度较长。
图像可通过平行扫描线被扫描,它们平行于图样的线或与图样的线成角度;平行扫描线可与图样的线垂直。
屏蔽图像数据可包括像素图像数据,其可在像素乘像素的基础上被分析。
图像捕捉可通过线扫描相机或区域扫描相机来进行,并且可是单色的或彩色的。可分析捕捉的图像数据,以从图像的最亮部分(即图样的亮度峰值)来计算彩色信息。
可利用校准来调节计算的深度信息,如通过校准查询表,其可通过将计算值与对物体样本的实际深度测量值进行比较来生成。
图像可利用任何优选的显示系统被格式化来用于显示,例如,通过软件模拟和操纵3D图像来驱动的视频屏幕,或可利用解码屏幕来观察完整的或多视角图像。
本发明还包括成像装置,用于制作包含深度信息的物体图像,其包括:
-照明装置,用来以周期图样的光源来照射物体;
-该照明装置使得图样的焦点在焦平面上对准,而离开所述焦平面时逐渐散焦;
-可相对于照明装置放置的物体,使得其不同部分到焦平面的距离不同;
-图像数据捕捉装置,用来从被这样照明的物体来捕捉图像数据;
-深度分析装置,用来分析捕捉的图像数据,并基于图样的散焦程度来提取深度信息;以及
-图像显示装置,用于显示具有深度信息的没有图样的物体图像。
图像数据捕捉装置可捕捉屏蔽图像,并且可包括一维或二维的探测器阵列。其可包括单色或彩色CCD或CMOS相机。
照明装置可包括光源、调焦装置和光栅。
光源可包括非相干光源,如白炽灯、石英-卤素灯、荧光灯或发光二极管。然而,光源也可以是相干光源,如激光。
调焦装置可包括镜头或镜子,并且可包括圆柱形、球形或抛物线形调焦装置。
成像装置可包括用于要被成像的物体的支撑件。该支撑件还可以这样支撑照明装置,即支撑该物体,以使焦平面不和物体相交,并且期望它位于距离照明装置的散焦变化率相当恒定的区域中。
该支撑件还可允许物体与照明装置之间的相对调节,并且可包括一个转盘。
该装置还可包括用于改变光的周期图样的装置,其又可包括用来改变产生周期图样光线的光栅的取向的装置。
图像显示装置可包括由能够模拟和操纵3D图像的软件驱动的视频屏幕。
附图说明
现在参考附图,说明根据本发明的成像装置的实施例和成像方法,
其中:
图1示出(a)从单个视点得到的物体的屏蔽图像视图;(b)一个轮廓视图,例如当组合时将产生角复合图像;以及(c)全三维视图,其中物体相对于观察者绕两个正交轴旋转;
图2表示深度逐渐散焦的基本原理;
图3是用于屏蔽或角复合成像的装置的第一实施例的视图;
图4是用于全三维成像的装置的第二实施例的视图;
图5示意照明装置的四个实施例(a)-(d);
图6是表示成像方法概观的流程图;
图7是详细表示图7的流程图中的一个步骤的一个实施例的流程图;
图8是详细表示图8的步骤的另一个实施例的流程图;
图9是详细表示图8的步骤的又一个实施例的流程图;
图10是详细表示图7的流程图中的另一个步骤的一个实施例的流程图;
图11是详细表示图11的步骤的另一个实施例的流程图;
图12是详细表示图11的步骤的又一个实施例的流程图;
图13是对图13的细节进行概括的流程图;
图14是表示一个完整的测量方法的流程图;
图15是表示另一个完整测量方法的流程图;
图16是表示另一个完整测量方法的流程图;以及
图17是表示第四种完整测量方法的流程图。
具体实施方式
这些图阐述了用于制作包含深度信息的物体O的图像的成像装置,其包括:
-照明装置11,用于以光的周期性图样12照亮物体O;
-照明装置11使得图样12在焦平面13上对焦,而离开焦平面13时逐渐散焦;
-可相对于照明装置11定位的物体O,其不同部分到焦平面的距离不同;
-图像数据捕捉装置14,用于从被这样照亮的物体11上捕捉图像数据;
-深度分析装置15,用于分析捕捉的图像数据,并基于图样12的散焦程度来提取深度信息;以及
-图像显示装置16,用于显示不具有图样13但具有深度信息的物体O的图像17。
图1说明了可产生物体O的深度信息的三种不同成像方法。在图1(a)中,该物体是从单个的观察点被观察。这通常并不利于捕捉深度信息,但是,利用本发明,可从这样的视图中提取深度信息。这样形成的图像被称为屏蔽图像。在图1(b)中,物体O是从一个以上的观察点被观察。在人用双眼观察时以及在双目或多视角摄影时,深度信息是从图像中的差别来收集。在一体成像中,很明显使用的是单个观察点,但宽广的“捕获”光圈和整体光学设备在该捕获光圈内提供许多不同的观察点。尽管这些测量值可用来提供深度信息,使得图像看起来是三维的,但这只适用于物体上的一些区域,如从一个或多个观察位置可见的区域。为了获取有关物体背面的信息,有必要从至少两个,优选从多个不同方向来观察。随着物体相对于单个捕捉位置旋转,这样从两个或多个观察点取得的图像被称为角复合图像。
如果物体的顶部和底部需要被成像,在物体相对于摄取位置围绕轴A、B旋转时,有必要使用更多的观察点,其中两个轴A、B中的每一个都与线X正交,该线X连接物体O与观察位置P,如图1(c)所示。包含这些信息的图像被称为完全三维图像。
基本上,物体是放在地面或底座上,所以不需要从下面观察,从角复合图像可收集足够的信息,该角复合图像对应于人的双眼所观察到的图像,但如果考虑到物体的背面,还可包含更多的信息。
利用这里描述的方法,可以制作简单的屏蔽图像、角复合图像和完全三维图像,其每一种都具有足够的深度信息,以产生表现出深度的最终图像。
图2说明基本的原理。光源L通过镜头F1从光栅M1投射明暗线的图样。该图样在距镜头F1的距离为d的聚焦位置f上对焦。如果图样被投射在比距离d近的屏幕上,图样将是模糊的。图中已经示出,屏幕越靠近镜头F1,图样就越模糊。在焦距d时,图样明暗线的对比度最大,随着靠近镜头F1,对比度下降。测量的图样调制深度指示了屏幕到聚焦位置f的距离。
如果图样不是落在平坦的屏幕,而是落在有一定形状的物体上,图样在物体的不同位置上或多或少有些模糊,因此调制深度相应地不同。物体上每个点到聚焦位置的距离可作为在该点所测量的调制深度的函数而被计算出来。这被称为“结构化调制成像”(SMI)。
该方法不同于三角测量法,其中成像和观察可从一个位置发生,图样在物体的深度上散焦,而在三角测量中,需要在整个物体上清晰地聚焦。
在WO-A-98/45745和DE 199 30 816 A1中讨论了调制深度作为到镜头系统焦平面的距离的函数。
在有关显微术的出版资料中公开了这样的内容,可以改变栅格的位置,以使图样在物体上移动到不连续的位置,移动了光栅常数的一些部分,为光栅的每个位置记录图样投射在物体的图像。只使用每个图像的对焦部分。将它们组合为单个的图像。使用调制深度信息来从图像中算术地移除图样。
与之相反,本发明的方法是宏观成像,不用依靠这样的栅格移位。
本方法包括以下步骤:
-以来自照明装置11的光的周期性图样12来照亮物体O;
-该照明装置11使得图样12在焦平面13上对焦,而离开焦平面13时逐渐散焦;
-放置物体O,以使其不同部分到焦平面13的距离不同;
-从被这样照明的物体O上捕捉图像数据;
-分析捕捉的图像数据,基于图样12的散焦程度来提取深度信息;和
-显示不具有图样12但具有深度信息的物体图像17。
该图像可以是屏蔽图像,其中捕捉的图像数据是在单个图像中被捕捉的。或者,该图像可以是角复合图像,其中图像数据是在至少两个屏蔽图像中被捕捉的,这两个屏蔽图像关于单个轴的物体O的角定向不同,该单个轴正交于物体O与照明装置11之间的线。或者,该图像是3D图像,其中图像数据是在至少三个屏蔽图像中捕捉的,这三个屏蔽图像关于至少两个轴的物体O的角定向不同,这两个轴正交于连接物体O与照明装置11的线。
以下参考图6到17的流程图,以及图3、4和5,在这三个方面描述本方法。
图3示出了执行屏蔽或角复合成像的装置,其包括照明装置11和在其上放置物体O的转盘31。电动机32使转盘31围绕轴33旋转,该轴33垂直于照明装置11的光学轴34。电动机32被计算机35控制,通过选择的角量逐步旋转转盘。
图4示出了执行完全三维成像的装置,当然也执行屏蔽和角复合成像。与图3中的实施例类似,但它在转盘上还具有一个支撑件41,在轴42上支撑物体O,物体可围绕轴42被第二个电动机43以希望的角步幅旋转,该电动机43也由计算机35控制。
在图3和图4的装置中有一个图像捕捉装置36,其可包括区域扫描或线扫描数字相机装置。键盘37用于向计算机35输入指令,VDU38显示图像。
图5示出了照明装置11的四个不同的实施例。
图5(a)示出了光源L(如白炽灯)照亮具有调焦装置F1(如在焦平面P上形成光栅虚像的凸透镜)的平行线光栅M1。光栅M1可被安装在小车架上(未示出),该小车架也可由图3或4中的计算机35来控制,以在垂直于光栅M1的划线的箭头A的方向上移动。
图5(b)示出了介于图5(a)的光栅M1与调焦装置F1之间的一个狭缝D。也可用小车架(未示出)使光栅M1相对于狭缝D以一定角度移动,并也垂直于光栅M1的划线,箭头B和A。这些移动改变了照明图样的空间频率,对于固定的调焦装置F1,可改变调制对比特性。
图5(c)示出了螺旋状光栅M3和位于光源L与调焦装置F1之间的狭缝D。这里,光源L可以是荧光管。螺旋状光栅绕其轴的旋转可移动投射在物体O上的图样。
图5(d)示出了投射到扫描镜51上的准直控制强度光源L,其在任何一个位置时在物体O上投射一个照明条。如果光源的强度与扫描同步,则任何期望的光强图样可被显示在物体O上。
图6是对所有形成和显示具有深度信息的图像的方法的通用流程图。
在步骤1,开始这个过程,将物体O放置在装置中的转盘31上,并用任何期望图样照射之,以形成所需图像。
物体可具有任何形状、大小(只要它可装入该装置中即可)和颜色,仅有的限制是,它必须至少以一定程度反射光,因此它不能是黑色或在其整个表面上都吸收光。优选地,它也不应是全透明的。具有黑色区域或玻璃或透明塑料材料的物体会导致不良的深度分辨率。长达150毫米的物体可在具有A4大小尺寸的装置中成像,很适合放置在桌面上。
在步骤2,软件提供一个选项,来定制测量参数,并在相机35捕捉图像之前设定定制的参数。这样的定制可包括以下的选择:
-彩色、单色或深褐色
-转盘半径或直径上的栅格散焦
-栅格频率
-灯的亮度
-色彩与偏振滤光片
-相机镜头光圈设置
-相机自动增益控制(AGC)
-相机的伽玛设置
-相机亮度
-相机对比度
-在深度计算中单独使用或组合使用RBG通道
-相机上使用的水平与垂直像素数量
-每次旋转步幅的数量(对于角复合图像与3D图像)
-转盘旋转的数量
-每个周期的步幅数量,即算法中要使用多少栅格
-栅格发散修正(grid divergence corrections)
-平均算法,以及计算中哪个阶段使用它们
-平滑算法,以及计算中哪个阶段使用它们
-纹理映射算法
-几何变换算法
-3D取景器
图像在步骤3被捕捉后,它在步骤5要进行一般图像处理,例如,这包括平滑算法的使用,以及切割与重新组装的操作。
被处理的图像然后在步骤6被进一步处理,以提取深度信息。这将在下文中详细说明。
步骤6产生的图像信息然后在步骤7被进一步处理,以添加色彩和/或纹理,这也将在下文中进一步讨论。
在步骤8,执行几何映射,这可能包括把坐标系统从其中已经进行初始测量的卡笛尔坐标改变到其中显示最终图像的柱坐标。
最后在步骤9,图像被显示在选择用来显示它的任何显示装置上。这可能是计算机监视器屏幕,当然该屏幕只显示2D图像,但可通过旋转这样的图像而操纵它,例如,从不同的侧面来表现它,甚至可以显示成像物体的背面。或者,其可以是具有解码屏幕的监视器屏幕,屏幕上的图像被处理成整体图像的格式,这样,通过解码屏幕观察,图像表现出具有与双眼观察相适合的深度。或者,图像信息可用于产生一个真正的3D坐标集,用来驱动激光器在玻璃或透明的塑料块上写入3D图像。
在步骤4,如图6所示,除非要制作单个的屏蔽图像,将物体移动。在角复合图像的情况下,该移动是围绕转盘轴33的旋转。在该情况下,照明与图像是垂直条,如图5(d)所示。转盘在圆周上步进,以使全部的物体(或所希望成像的物体的大部分)在垂直条上被成像。这些条在一般图像处理步骤(步骤5)中被“结合”在一起。如果需要完全3D的图像,也要进行围绕转盘31的轴42的旋转。可能的是,物体O首先在其处于正立状态时以角复合图像成像,然后绕轴42翻转90°,制作另一组图像。
图7是制作屏蔽图像的操作的子流程图,即物体不旋转时从单个观察点得到的图像。面向成像装置的物体全部区域用图样照亮。
存在四种可能通过该子流程图的路线。
路线1是最简单的。首先,捕捉图像(这可被重复一次或多次)对多个图像进行平均,以获得更好的分辨率。然后单个图像或单个平均图像直接被发送到步骤5,进行一般图像处理。当然,图像会包含深度信息,该深度信息的形式是图像上不同位置的图样的散焦程度,表现为调制对比度。在随后的图像处理中,该信息被提取,而图样被适当的算法移除。
在路线2,在适当位置利用栅格图样制作第一个图像,然后将栅格移出,制作第二个图像。当然,可以不止一次制作第一和第二个图像,并将其平均。发送两个图像以进行进一步处理,从第一个图像提取深度信息,并发送到不具有图样的第二个图像,因而现在不需要图样移除操作。
在路线3,将栅格移动栅格周期的已知部分(在路线4中是移动物体,其意义相同),获得第二个图像。然后发送这两个图像进行处理,以在最终图像处理步骤中提取深度信息并移除图样。
图8是角复合图像的步骤4的子流程图。捕捉第一个图像,如果需要,如前所述进行一次或多次重复捕捉。物体以已知角幅度旋转,从而制作另一个图像。重复进行此操作,直到整个物体,或物体上所需的部分在垂直条上被成像,如上所述。在一般图像处理步骤(步骤5),用多个条状图像建立复合图像。在该操作中,可变换图样的位置,可以完全将其拿开,或使其移动,或如前所述,为每个条状图像使物体移动栅格周期的一部分。
图9是完全三维成像操作的步骤4的子流程图。该过程与角复合图像的步骤4相同,但有一个另外的步骤,即相对于相机绕另一个轴42移动物体。
图10是单个图像、单个栅格方法的步骤6的子流程图,即图6的子流程图的路线1。从一般图像处理步骤(步骤5)得到单个图像,像素亮度值被读取到图像阵列中,如果需要,在该图像阵列中可执行进一步的信号处理。计算阵列维度,并计算图样周期的长度和数量。可在周期或像素基础上执行处理。在周期基础上,为阵列每一行的每个周期计算最大、最小和平均像素亮度值。在基于像素的处理中,可为阵列的每一行计算像素相位和幅度。色彩是从周期信号的最大值得出,即色彩不受栅格图样影响处。每个图像部分的相对深度可从调制对比度来计算,该调制对比度可从前述的任何计算得出。然后,实际深度可从校正步骤得到的查询表来计算,这只是如前所述的一个成像操作,与测试物体的各个部分到成像镜头的距离的实际测量值相比较。
当图像超过一个时,以及/或者栅格位置超过一个时,对每个图像和栅格位置进行这些计算,如在图11、12和13所示的步骤6的子流程图所看到的。图13具有一个选项,来使用单个栅格或n个栅格深度提取算法。
图14、15、16和17是一些流程图,示出了从上述更一般化的图表流程图中选择的典型成像方法。
本发明的范围中可有多种变化。可使用不同的方法照亮物体,包括白炽灯、荧光灯、激光器,等等。可利用单波长光,或者,如果色彩不需要,还可利用红外线或紫外线光,并使用适当的成像设备。除了“机械的”光栅,还可使用电子光栅,可控制其频率和位置。并且,可使用不同的装置来显示和操作最终的图像,包括将图像写入到玻璃或塑料块的激光写入装置,或可包括电火花腐蚀或其它成形技术的计算机辅助制造装置,以便进行快速的照相成型。

Claims (57)

1、一种制作包含深度信息的物体图像的方法,包括以下步骤:
-用来自照明装置的周期图样的光照射所述物体;
-所述照明装置使得所述图样在一个焦平面上被对焦,而离开所述焦平面时逐渐散焦;
-放置所述物体,使其不同部分到所述焦平面的距离不同;
-从被这样照射的物体捕捉图像数据;
-分析所述捕捉的图像数据,基于所述图样的散焦程度,提取深度信息;以及
-显示没有所述图样但具有深度信息的物体的图像。
2、如权利要求1所述的方法,其中所述图像是屏蔽图像。
3、如权利要求2所述的方法,其中所述捕捉的图像数据是在单个的图像中被捕捉。
4、如权利要求1所述的方法,其中所述图像是角复合图像。
5、如权利要求4所述的方法,其中所述图像数据是在至少两个屏蔽图像中被捕捉,所述至少两个图像关于一个单轴的所述物体的角定向不同,所述轴和所述物体与所述照明装置之间的一条线正交。
6、如权利要求1所述的方法,其中所述图像是3D图像。
7、如权利要求6所述的方法,其中所述图像数据是在至少三个屏蔽图像中被捕捉,所述至少三个图像关于至少两个轴的所述物体的角定向不同,所述轴和连接所述物体与所述照明装置的一条线正交。
8、如权利要求1至7中任一项所述的方法,其中放置所述物体,使其不和所述焦平面相交。
9、如权利要求8所述的方法,其中放置所述物体,使其位于距离所述照明装置的散焦变化率最大的区域内。
10、如权利要求8或9所述的方法,其中放置所述物体,使其位于距离所述照明装置的散焦变化率相当恒定的区域内。
11、如权利要求1至10中任一项所述的方法,其中通过捕捉对应于所述物体上的异相光图样的图像数据,并从没有所述图样的被照明物体捕捉图像数据,来从所述图像中移除所述图样。
12、如权利要求1至11中任一项所述的方法,其中所述图样具有交替的明暗线。
13、如权利要求12所述的方法,其中所述物体上的图样没有完全未被照明的区域。
14、如权利要求1至13中任一项所述的方法,其中所述图样通过光栅来生成。
15、如权利要求14所述的方法,其中所述光栅具有等间距的明暗平行线。
16、如权利要求1至15中任一项所述的方法,其中散焦的程度是基于所述图样的一条线的宽度来计算的。
17、如权利要求1至16中任一项所述的方法,其中散焦的程度是基于所述图样的调制对比度来计算的。
18、如权利要求1至17中任一项所述的方法,其中所述图像通过平行扫描线被扫描,所述平行扫描线与所述图样的线成一定角度。
19、如权利要求18所述的方法,其中所述平行扫描线与所述图样的平行线垂直。
20、如权利要求1至19中任一项所述的方法,其中所述屏蔽图像数据包括像素图像数据。
21、如权利要求20所述的方法,其中所述图像数据在像素乘像素的基础上被分析。
22、如权利要求1至21中任一项所述的方法,其中图像捕捉通过线扫描相机来进行。
23、如权利要求1至21中任一项所述的方法,其中图像捕捉通过区域扫描相机来进行。
24、如权利要求1至23中任一项所述的方法,其中图像捕捉是彩色的。
25、如权利要求24所述的方法,其中分析所述捕捉的图像数据,以从所述图像的最亮部分来计算色彩。
26、如权利要求1至25中任一项所述的方法,其中所计算的深度信息可利用一个校准来调节。
27、如权利要求26所述的方法,其中所述调节利用校准查询表来实现。
28、如权利要求1至27中任一项所述的方法,其中所述图像利用优选的显示系统被格式化用于显示。
29、用于制作包含深度信息的物体图像的成像装置,包括:
-照明装置,用来以周期图样的光照射物体;
-所述照明装置使得所述图样在焦平面上被对焦,而离开所述焦平面逐渐散焦;
-所述物体可相对于所述照明装置被定位,使其不同部分到所述焦平面的距离不同;
-图像数据捕捉装置,用来从被这样照明的物体捕捉图像数据;
-数据分析装置,用来分析捕捉的图像数据,以便基于所述图样的散焦程度提取深度信息;以及
-图像显示装置,用于显示没有所述图样但具有深度信息的所述物体的图像。
30、如权利要求29所述的装置,其中所述图像数据捕捉装置捕捉屏蔽图像。
31、如权利要求29或30所述的装置,其中所述图像数据捕捉装置包括一维的探测器阵列。
32、如权利要求29或30所述的装置,其中所述图像数据捕捉装置包括二维的探测器阵列。
33、如权利要求31或32所述的装置,是一个单色相机。
34、如权利要求31或32所述的装置,是一个彩色相机。
35、如权利要求33或34所述的装置,是一个CCD相机。
36、如权利要求33或34所述的装置,是一个CMOS相机。
37、如权利要求29至36中任一项所述的装置,其中所述照明装置包括光源、调焦装置和光栅。
38、如权利要求37所述的装置,其中所述光源包括非相干光源。
39、如权利要求38所述的装置,其中所述光源包括白炽灯。
40、如权利要求38所述的装置,其中所述光源包括石英-卤素灯。
41、如权利要求38所述的装置,其中所述光源包括荧光灯。
42、如权利要求38所述的装置,其中所述光源包括发光二极管。
43、如权利要求37所述的装置,其中所述光源是相干光源。
44、如权利要求43所述的装置,其中所述光源包括激光器。
45、如权利要求37至44中任一项所述的装置,其中所述调焦装置包括镜头。
46、如权利要求37至45中任一项所述的装置,其中所述调焦装置包括发射镜。
47、如权利要求45或46所述的装置,其中所述调焦装置包括柱状调焦装置。
48、如权利要求45或46所述的装置,其中所述调焦装置包括球形或抛物线形调焦装置。
49、如权利要求29至48中任一项所述的装置,包括用于要被成像物体的支撑件。
50、如权利要求49所述的装置,其中所述支撑件还以这样的方式支撑所述照明装置,即支撑所述物体,使得所述焦平面不和所述物体相交。
51、如权利要求49或50所述的装置,其中所述支撑件还以这样的方式支撑所述照明装置,以便所述物体位于距离所述照明装置的散焦变化率相当恒定的区域中。
52、如权利要求49至51中任一项所述的装置,其中所述支撑件允许所述物体与所述照明装置之间的相对调节。
53、如权利要求49至52中任一项所述的装置,其中所述支撑件包括一个转盘。
54、如权利要求29至53中任一项所述的装置,包括用来改变光的周期图样的装置。
55、如权利要求54所述的装置,包括用于改变产生周期图样的光的光栅的取向的装置。
56、如权利要求29至55中任一项所述的装置,其中所述图像显示装置包括由能够模拟和操纵3D图像的软件驱动的视频屏幕。
57、参考任何一个或多个附图、基本上如上所述的如权利要求29至56中任一项所述的装置。
CNA2004800027333A 2003-01-25 2004-01-26 制作包含深度信息的图像的方法和装置 Pending CN1742294A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0301775.3 2003-01-25
GBGB0301775.3A GB0301775D0 (en) 2003-01-25 2003-01-25 Device and method for 3Dimaging

Publications (1)

Publication Number Publication Date
CN1742294A true CN1742294A (zh) 2006-03-01

Family

ID=9951831

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800027333A Pending CN1742294A (zh) 2003-01-25 2004-01-26 制作包含深度信息的图像的方法和装置

Country Status (6)

Country Link
US (2) US20060119848A1 (zh)
EP (1) EP1586077A2 (zh)
JP (1) JP2006516729A (zh)
CN (1) CN1742294A (zh)
GB (1) GB0301775D0 (zh)
WO (1) WO2004068400A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222338A (zh) * 2010-06-04 2011-10-19 微软公司 自动深度相机对准
CN102314707A (zh) * 2010-05-12 2012-01-11 微软公司 对2d图像的扫描束深度映射
CN102472621A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 图像处理装置及图像处理方法
CN102707447A (zh) * 2012-06-15 2012-10-03 中航华东光电有限公司 立体显示器多视点像素发光仿真方法
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法
CN102905067A (zh) * 2011-07-27 2013-01-30 索尼公司 信号处理设备、成像设备、信号处理方法和程序
CN103093416A (zh) * 2013-01-28 2013-05-08 成都索贝数码科技股份有限公司 一种基于图形处理器分区模糊的实时景深模拟方法
CN104285128A (zh) * 2012-05-24 2015-01-14 高通股份有限公司 用于主动深度感测的仿射不变空间掩码的发射
CN110705689A (zh) * 2019-09-11 2020-01-17 清华大学 可区分特征的持续学习方法及装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008062351A1 (en) * 2006-11-21 2008-05-29 Koninklijke Philips Electronics N.V. Generation of depth map for an image
US8218903B2 (en) * 2007-04-24 2012-07-10 Sony Computer Entertainment Inc. 3D object scanning using video camera and TV monitor
CN102037536A (zh) * 2008-05-19 2011-04-27 克伦普集团股份有限公司 用于部件的单轴线横截面扫描的方法和装置
US8780206B2 (en) * 2008-11-25 2014-07-15 De La Rue North America Inc. Sequenced illumination
US8265346B2 (en) 2008-11-25 2012-09-11 De La Rue North America Inc. Determining document fitness using sequenced illumination
CN102802520B (zh) 2009-06-17 2015-04-01 3形状股份有限公司 聚焦扫描设备
US8749767B2 (en) 2009-09-02 2014-06-10 De La Rue North America Inc. Systems and methods for detecting tape on a document
US8509492B2 (en) * 2010-01-07 2013-08-13 De La Rue North America Inc. Detection of color shifting elements using sequenced illumination
US8436853B1 (en) * 2012-07-20 2013-05-07 Google Inc. Methods and systems for acquiring and ranking image sets
US9053596B2 (en) 2012-07-31 2015-06-09 De La Rue North America Inc. Systems and methods for spectral authentication of a feature of a document
US20150042757A1 (en) * 2013-08-09 2015-02-12 Makerbot Industries, Llc Laser scanning systems and methods
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
US9528938B2 (en) 2015-02-23 2016-12-27 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
CN107709968A (zh) * 2015-06-26 2018-02-16 利康公司 荧光活检样本成像仪及方法
WO2017163537A1 (ja) * 2016-03-22 2017-09-28 三菱電機株式会社 距離計測装置及び距離計測方法
WO2017184940A1 (en) 2016-04-21 2017-10-26 Li-Cor, Inc. Multimodality multi-axis 3-d imaging
EP3475919A1 (en) 2016-06-23 2019-05-01 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
WO2018098162A1 (en) 2016-11-23 2018-05-31 Li-Cor, Inc. Motion-adaptive interactive imaging method
US10386301B2 (en) 2017-04-25 2019-08-20 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
US10753734B2 (en) * 2018-06-08 2020-08-25 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera
CN116734754B (zh) * 2023-05-10 2024-04-26 吉林大学 滑坡监测系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4657394A (en) * 1984-09-14 1987-04-14 New York Institute Of Technology Apparatus and method for obtaining three dimensional surface contours
US5085502A (en) * 1987-04-30 1992-02-04 Eastman Kodak Company Method and apparatus for digital morie profilometry calibrated for accurate conversion of phase information into distance measurements in a plurality of directions
JP2928548B2 (ja) * 1989-08-02 1999-08-03 株式会社日立製作所 立体形状検出方法及びその装置
US5189493A (en) * 1990-11-02 1993-02-23 Industrial Technology Institute Moire contouring camera
GB9102903D0 (en) * 1991-02-12 1991-03-27 Oxford Sensor Tech An optical sensor
US5608529A (en) * 1994-01-31 1997-03-04 Nikon Corporation Optical three-dimensional shape measuring apparatus
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5864640A (en) * 1996-10-25 1999-01-26 Wavework, Inc. Method and apparatus for optically scanning three dimensional objects using color information in trackable patches
WO1998045745A1 (en) * 1997-04-04 1998-10-15 Isis Innovation Limited Microscopy imaging apparatus and method
US5878152A (en) * 1997-05-21 1999-03-02 Cognex Corporation Depth from focal gradient analysis using object texture removal by albedo normalization
US6373818B1 (en) * 1997-06-13 2002-04-16 International Business Machines Corporation Method and apparatus for adapting window based data link to rate base link for high speed flow control
JP2923487B2 (ja) * 1997-10-27 1999-07-26 ジェ バク ヒー 光学窓を用いる非接触式3次元微少形状測定方法
US6003166A (en) * 1997-12-23 1999-12-21 Icon Health And Fitness, Inc. Portable spa
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
US6724489B2 (en) * 2000-09-22 2004-04-20 Daniel Freifeld Three dimensional scanning camera

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314707A (zh) * 2010-05-12 2012-01-11 微软公司 对2d图像的扫描束深度映射
CN102222338B (zh) * 2010-06-04 2014-08-06 微软公司 自动深度相机对准
CN102222338A (zh) * 2010-06-04 2011-10-19 微软公司 自动深度相机对准
CN102472621A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 图像处理装置及图像处理方法
US9134126B2 (en) 2010-06-17 2015-09-15 Dolby International Ab Image processing device, and image processing method
CN102472621B (zh) * 2010-06-17 2015-08-05 杜比国际公司 图像处理装置及图像处理方法
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US9030529B2 (en) 2011-04-14 2015-05-12 Industrial Technology Research Institute Depth image acquiring device, system and method
CN102905067A (zh) * 2011-07-27 2013-01-30 索尼公司 信号处理设备、成像设备、信号处理方法和程序
CN104285128A (zh) * 2012-05-24 2015-01-14 高通股份有限公司 用于主动深度感测的仿射不变空间掩码的发射
CN104285128B (zh) * 2012-05-24 2017-05-31 高通股份有限公司 用于主动深度感测的仿射不变空间掩码的发射
CN102707447A (zh) * 2012-06-15 2012-10-03 中航华东光电有限公司 立体显示器多视点像素发光仿真方法
CN102707447B (zh) * 2012-06-15 2015-10-28 中航华东光电有限公司 立体显示器多视点像素发光仿真方法
CN103093416A (zh) * 2013-01-28 2013-05-08 成都索贝数码科技股份有限公司 一种基于图形处理器分区模糊的实时景深模拟方法
CN103093416B (zh) * 2013-01-28 2015-11-25 成都索贝数码科技股份有限公司 一种基于图形处理器分区模糊的实时景深模拟方法
CN110705689A (zh) * 2019-09-11 2020-01-17 清华大学 可区分特征的持续学习方法及装置
CN110705689B (zh) * 2019-09-11 2021-09-24 清华大学 可区分特征的持续学习方法及装置

Also Published As

Publication number Publication date
US20060119848A1 (en) 2006-06-08
GB0301775D0 (en) 2003-02-26
JP2006516729A (ja) 2006-07-06
WO2004068400A2 (en) 2004-08-12
WO2004068400A3 (en) 2004-12-09
US20060072123A1 (en) 2006-04-06
EP1586077A2 (en) 2005-10-19

Similar Documents

Publication Publication Date Title
CN1742294A (zh) 制作包含深度信息的图像的方法和装置
JP6100813B2 (ja) スライド全体蛍光スキャナ
JP6112807B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP6116164B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP6029394B2 (ja) 形状測定装置
JP6091864B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
US20140340648A1 (en) Projecting device
JP2006516729A5 (zh)
JP6462823B2 (ja) 画像検査装置
JP2004101871A (ja) 顕微鏡画像撮影装置
CN1735789A (zh) 测距设备
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
CN1175308A (zh) 用于立体显示系统的跟踪系统
JP6279048B2 (ja) 形状測定装置
JP2015145797A (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP6476252B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP2014055814A (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP2014056060A (ja) 光学顕微鏡
JP6025466B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP3639869B2 (ja) 対象物表面の色を再現した立体画像を作成する立体観察装置および方法
CN215339557U (zh) 一种用于弧周缺陷检测的显微光学系统
JP2015145796A (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP2004029537A (ja) 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体
WO2005090905A1 (en) Optical profilometer apparatus and method
US20240000373A1 (en) Anthropomorphic camera for standardized imaging and creation of accurate three-dimensional body surface avatars

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20060301