CN118369550A - 逆向图形感测 - Google Patents
逆向图形感测 Download PDFInfo
- Publication number
- CN118369550A CN118369550A CN202280081669.0A CN202280081669A CN118369550A CN 118369550 A CN118369550 A CN 118369550A CN 202280081669 A CN202280081669 A CN 202280081669A CN 118369550 A CN118369550 A CN 118369550A
- Authority
- CN
- China
- Prior art keywords
- imaging
- optical element
- imaging volume
- pattern
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002441 reversible effect Effects 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 516
- 230000003287 optical effect Effects 0.000 claims abstract description 226
- 238000005286 illumination Methods 0.000 claims abstract description 135
- 238000012876 topography Methods 0.000 claims abstract description 24
- 238000000576 coating method Methods 0.000 claims description 28
- 239000011248 coating agent Substances 0.000 claims description 27
- 229920001971 elastomer Polymers 0.000 claims description 26
- 239000000806 elastomer Substances 0.000 claims description 26
- 239000000758 substrate Substances 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 239000007788 liquid Substances 0.000 claims description 9
- 239000012530 fluid Substances 0.000 claims description 7
- 230000001427 coherent effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 45
- 238000005259 measurement Methods 0.000 abstract description 22
- 230000008901 benefit Effects 0.000 abstract description 15
- 230000000295 complement effect Effects 0.000 abstract description 7
- 238000000691 measurement method Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 16
- 238000007493 shaping process Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 230000004075 alteration Effects 0.000 description 7
- 239000012780 transparent material Substances 0.000 description 7
- 239000000853 adhesive Substances 0.000 description 6
- 230000001070 adhesive effect Effects 0.000 description 6
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 6
- 239000004926 polymethyl methacrylate Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000010408 film Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 229920001296 polysiloxane Polymers 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000010453 quartz Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 239000004593 Epoxy Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000006117 anti-reflective coating Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 239000012788 optical film Substances 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000013536 elastomeric material Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- -1 polydimethylsiloxane Polymers 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000004793 Polystyrene Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 239000004205 dimethyl polysiloxane Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007888 film coating Substances 0.000 description 1
- 238000009501 film coating Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 229920002635 polyurethane Polymers 0.000 description 1
- 239000004814 polyurethane Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
- G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/02—Stereoscopic photography by sequential recording
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种形貌测量系统包括刚性光学元件和透明的弹性体感测表面,其被配置成从测量表面捕获高分辨率形貌数据。刚性光学元件和弹性体感测表面可以被配置为可移除的盒体,其可以作为单个整体组件被移除和替换。光学衍射元件或类似的光学系统可用于在成像体积内创建三维照明图案,使得当系统放置在表面上使用时,成像体积内的照明有助于接触弹性体感测表面并在空间上与成像体积相交的表面的计算重建。本文描述的技术也可以或替代地应用于基于非盒体的成像系统,其中诸如短长度、紧凑尺寸、改进的照明以及补充和互补深度测量技术的使用的其他优点也可以改进测量系统。
Description
相关申请的交叉引用
本申请要求2021年10月8日提交的美国临时申请号63/253,694的优先权,其全部内容通过引用结合于此。
技术领域
本公开总体上涉及逆向图形(retrographic)感测系统。
背景技术
仍然需要使用逆向图形传感器和/或其他成像技术的改进的表面形貌测量系统。
发明内容
一种形貌测量系统包括刚性光学元件和透明的弹性体感测表面,其被配置成从测量表面捕获高分辨率形貌数据。刚性光学元件和弹性体感测表面可以被配置为可移除盒体,所述可移除盒体可以作为单个整体组件被移除和替换。光学衍射元件或类似的光学系统可用于在成像体积内产生三维照明图案,使得当系统被放置在表面上使用时,成像体积内的照明有助于接触弹性体感测表面并在空间上与成像体积相交的表面的计算重建。本文描述的技术也可以或替代地应用于基于非盒体的成像系统,其中诸如短长度、紧凑尺寸、改进的照明以及补充和互补深度测量技术的使用等其他优点也可以改进测量系统。
在一个方面,本文公开的设备包括成像体积,其定义用于捕获图像的三维视场;相机,其具有穿过成像体积的成像轴;与成像体积相交并垂直于成像设备的成像轴的平面;激光器,其提供包括固定焦点相干光的照明;衍射光学元件,其定位成在第一表面上接收来自激光器的照明,衍射光学元件的第一表面包括微图案化结构,以从与第一表面相对的第二表面在成像体积内创建三维照明图案;液体透镜,其被配置为将相机聚焦在成像体积内的对象的目标表面上;成像盒体,其可移除地和可替换地耦合到该设备,该成像盒体包括刚性基板和光学元件,该光学元件具有在面向相机的第一侧上的柔软的光学透明弹性体以及在与相机相对的第二侧上的薄的反射涂层;以及处理器,其被存储在存储器中的指令配置成当弹性体光学元件的薄反射涂层变形到成像体积内的对象的表面时,接收来自由弹性体光学元件的薄反射涂层反射的图案的光的图像,该处理器还被存储在存储器中的指令配置成基于图像计算表面的定量表面形貌。
在另一方面,本文公开的设备包括在适形成像介质内的成像体积,该成像体积限定用于捕获图像的三维视场;成像设备,其具有穿过成像体积的成像轴;与成像体积相交并垂直于成像设备的成像轴的平面;提供照明的光源;以及光学元件,其被定位和构造成在第一表面上接收来自光源的照明,并从与第一表面相对的第二表面在成像体积内创建图案,第二表面与和成像体积相交的平面成一角度。
第二表面可以相对于与成像体积相交的平面成斜角。该光学元件可以包括衍射光学元件,该设备还包括第二衍射光学元件,该第二衍射光学元件被定位和构造成在成像体积内为成像体积的周界周围与衍射光学元件不同的位置创建第二图案。该设备可以包括处理器,该处理器被配置为接收来自三维视场内的表面反射的图案的光的图像,并基于该图像计算表面的定量表面形貌。该表面可以包括与成像体积相交的适形成像介质的可变形表面。
该设备可以包括多视图成像系统,该多视图成像系统被配置成基于来自两个或更多不同视角的表面的图像来计算三维视场内的表面的定量表面形貌。该设备可以包括多视图成像系统,该多视图成像系统使用具有与光源的第一光谱带不重叠的波长的第二光谱带解析表面的三维形状。该设备可以包括在第二光谱带中提供照明的第二光源。
在一个方面,该设备可以包括成像盒体。成像盒体可以至少部分定位于成像体积内。成像盒体可包括在面向成像设备的第一面上的适形成像介质和在与成像设备相对的第二面上的光学涂层。适形成像介质可以包括柔软的、光学透明的弹性体。适形成像介质可以包括光学透明的流体。光学涂层可以包括可见纹理或可见图案。光学涂层可以是薄的反射涂层。光学涂层可以响应于成像盒体的第二面的变形而改变颜色。在一个方面,成像盒体可以包括定位于成像体积内的逆向图形传感器。成像盒体还可以或替代地包括定位于成像体积内的弹性体元件。
在一个方面,该设备可以包括液体透镜,该液体透镜被配置成将成像设备聚焦在成像体积内的表面上,例如,在穿过成像体积的平面或其他二维切片内。更一般地,该设备可以包括一个或多个透镜,其被配置为沿着穿过成像体积的成像轴改变焦点,例如,以便于从成像体积内的三维数据采集。
在一个方面,光学元件可以包括具有微图案化结构的衍射光学元件,该微图案化结构被配置成从入射在第一表面上的来自光源的光在成像体积内创建图案。光学元件可以包括被配置成从入射在第一表面上的光在成像体积内创建图案的元表面。光学元件的第二表面可以相对于与成像体积相交的平面具有至少三十度的倾斜角。来自光学元件的光可以以五十到七十度之间的角度入射到平面上。该图案可以包括在成像体积内沿着成像轴变化的三维图案。该图案可以包括在平面内紧密间隔的第一多个特征和在视觉上可与第一多个特征区别开并且在平面内间隔更远的第二多个特征。该图案可以包括在平面内共同形成规则几何图案的第一多个特征和第二多个特征,第二多个特征在图案内形成视觉上可区分的锚点。该图案可以包括紧密间隔的第一多个特征,以提供对成像体积内深度的高分辨率检测,以及在穿过成像体积的平面内放置得足够远的第二多个特征,以避免在成像体积内的弹性体光学元件的接触表面的最大预期变形期间在成像体积内沿成像轴相交。该图案可以包括第一多个特征,其紧密间隔以提供成像体积内深度的高分辨率检测,以及第二多个特征,其在穿过成像体积的平面内放置得足够远,以避免在成像体积内的弹性体光学元件的接触表面的最大可能偏转期间在成像体积内沿成像轴相交。该图案可以包括多个特征,包括线、点和多边形中的一个或多个。
在另一方面,光源可以提供具有相干、固定焦点的光。光源也可以或替代地包括激光器。例如,光源可以是准直光源。
在另一方面,本文公开了一种设备,其包括在适形成像介质内的成像体积,该成像体积限定了用于捕获图像的三维视场;以及成像系统,其被配置为使用至少包括光度立体和多视图成像的两种或更多种成像模态来计算与成像体积相交的目标表面的定量表面形貌,以及使适形成像介质在三维视场内位移。
成像系统可以通过使用由与成像体积相交的目标表面变形的适形成像介质的表面反射的投影纹理而采用多视图三维重建和光度三维重建的组合。成像系统可以通过使用由与成像体积相交的目标表面变形的成像介质表面上的纹理而采用多视图三维重建和光度三维重建的组合。
附图说明
如附图中所图示,本文所述的设备、系统和方法的前述和其他目的、特征和优点将从其特定实施例的以下描述中变得明显。附图不一定是按比例绘制的,相反,重点在于说明本文描述的设备、系统和方法的原理。在附图中,相同的附图标记通常标识对应的元件。
图1示出了成像系统。
图2示出了用于成像系统的成像盒体的横截面。
图3示出了成像盒体的俯视图。
图4是成像系统的成像盒体和外壳的透视图。
图5是用于成像系统的成像盒体的侧视图。
图6是成像盒体的透视图。
图7是成像盒体的透视图。
图8是成像盒体的透视图。
图9是成像盒体的透视图。
图10是图9的成像盒体的侧视图。
图11示出了使用成像盒体的机器人系统。
图12示出了具有成像盒体的成像系统。
图13示出了具有成像盒体的成像系统。
图14示出了具有成像盒体的成像系统的剖视图。
图15示出了与成像系统的成像轴成角度的衍射光学元件的横截面。
图16示出了照明图案。
图17示出了用于成像系统的盒体。
图18示出了用于成像系统的盒体的基底。
图19显示了用于成像盒体的包覆成型涂层。
具体实施方式
本文提到的所有文件都通过引用整体结合到本文中。对单数项目的引用应理解为包括复数项目,反之亦然,除非另有明确说明或从上下文中清楚。语法连词旨在表达连接的分句、句子、单词等的任何和所有析取和合取组合,除非另有说明或从上下文中清楚。因此,术语“或”通常应该理解为表示“和/或”等等。
除非本文中另有说明,否则本文中值范围的记载不旨在进行限制,而是单独指落入该范围内的任何和所有值,并且该范围内的每个单独的值都被结合到说明书中,如同其在本文中被单独记载一样。如本领域普通技术人员所理解的,当伴随数值时,词语“大约”、“近似”等应被解释为表示偏差,以令人满意地操作用于预期目的。值和/或数值的范围在此仅作为示例提供,并不构成对所描述的实施例的范围的限制。本文中提供的任何和所有示例或示例性语言(“例如”“诸如”等)的使用仅旨在更好地说明实施例,并不对实施例或权利要求的范围构成限制。说明书中的任何语言都不应被解释为将任何未要求保护的元素指示为对实践实施例所必要的。
在下面的描述中,应当理解,诸如“第一”、“第二”、“顶部”、“底部”、“上”、“下”等术语是方便的词语,并且不应被解释为限制性术语,除非有相反的具体说明。
本文描述的设备、系统和方法可包括或可结合2014年3月8日提交的美国专利申请号14/201,835、2015年9月8日授权的美国专利号9,127,938和2013年4月2日授权的美国专利号8,411,140的教导使用。前述每一篇的全部内容在此引入作为参考。在某些方面,本文所述的设备、系统和方法可用于提供具有逆向图形传感器等的容易互换的成像盒体,用于手持或定量形貌或三维测量系统。然而,本文描述的设备、系统和方法也可以或替代地被包括在其他系统上,或者以其他方式与其他系统一起使用。例如,本文描述的系统可用于例如机器人末端效应器系统,诸如用于零件识别和姿态估计、力反馈、机器人手术、医疗检查等,以及触摸、触觉感测、表面形貌或三维测量中的一个或多个是必要的或有帮助的其他系统和应用。
图1示出了成像系统。一般而言,成像系统100可以是用于定量或定性形貌测量和/或可视化的任何系统,诸如使用一个或多个逆向图形传感器的逆向图形传感器系统,或者在上述文献中描述的任何其他成像系统。例如,定量数据可以包括图像、表面法线图、三维形貌的高度图、力图、弹性图或目标表面的软度/硬度的其他度量,等等。成像系统100可以包括成像盒体102以及用于保持成像盒体102的固定装置104,成像盒体102被配置为用于成像系统100的可移除和可替换盒体。固定装置104可以相对于成像系统100具有预定的几何构型,例如相对于成像设备106(诸如相机)和照明源108(诸如一个或多个发光二极管或其他光源),使得当固定在固定装置104中时,成像盒体102相对于相机和(多个)光源具有已知的位置和取向。这种强制几何形状有利地允许成像盒体102的校准数据的重新使用,以及成像盒体102在成像系统100的光学系统内的可靠的、可重复的定位。
应当理解,尽管下面的描述强调了具有逆向图形传感器的可移除成像盒体102的使用,但是成像盒体102或其部分可以替代地以通常不可移除的方式集成到成像系统100。因此,本文描述的系统和方法的一些优点也可以应用于本文一般描述的成像系统100,该成像系统100不包括任何可移除的成像盒体102,而是将成像盒体102的一些或所有组件结合到成像系统100的主体中。在一个方面,诸如刚性基板的部分可以集成到成像系统100的主体中,而诸如接触目标表面的部分的其他部分可以是可移除和可替换的,以允许在接触表面由于使用而变得污染或损坏之后重新使用成像系统100。
成像盒体102可以包括光学元件110,该光学元件110至少部分地由刚性的光学透明材料形成,例如玻璃、聚碳酸酯、丙烯酸、聚苯乙烯、聚氨酯、光学透明环氧树脂或具有适用于本文所述系统的机械和光学特性的任何其它材料。在一个方面,也可以或替代地使用硅树脂,诸如硬铂固化硅树脂,或任何其他光学质量的聚合物。作为进一步的优点,光学透明适形材料层116可以由便于直接结合到光学元件110的刚性材料而不使用任何粘合剂的材料形成。例如,在光学元件110由硬铂固化硅树脂形成的情况下,适形的光学透明材料层116可以由诸如软铂固化硅树脂的弹性体形成,并且在不使用粘合剂的情况下结合到硬硅树脂。光学元件110可以包括第一表面112,该第一表面112包括具有光学透明表面的区域,用于例如通过成像设备106通过光学元件110捕获图像。光学元件110还可以包括与第一表面112相对的第二表面114,其中中心轴117穿过第一表面112和第二表面114。
通常,第一表面112可以具有适于将图像从第二表面114通过光学元件110传送到成像设备106的光学特性。为了支持该功能,第一表面112可以包括任何合适的光成形特征,诸如提供透镜以光学放大来自第二表面114的图像的弯曲表面。在另一方面,第一表面112可以包括非球面表面,该非球面表面被成形为解决通过光学元件110从第二表面114捕获的图像中的球面像差或其他光学像差。第一表面112还可以或替代地包括自由弯曲表面,该自由弯曲表面被成形为减少或以其他方式减轻通过光学元件110捕获的图像中的几何失真。通过厚介质成像通常会导致球面像差,其大小取决于成像系统100(或者此处更具体地说,成像透镜106)的数值孔径。因此,光学元件110的第一表面112可以是弯曲的或以其他方式适于解决由聚焦光束通过厚介质传播而导致的这种球面像差(和其他更高阶像差)。更一般地,第一表面112可以包括适合于以支持使用光学元件110捕获形貌数据的方式聚焦、成形或修改图像的任何形状或表面处理。第二表面114也可以或替代地被修改以改善图像捕获。例如,光学元件110的第二表面114可以包括从光学元件110延伸的凸面(例如,朝向被成像的目标表面130),以便放大或以其他方式成形从目标表面130传送到成像设备106的图像。
如本文所设想的,光学元件110通常可以在成像系统100中用于多种目的。在一个方面,光学元件110用作刚性体,以在捕获图像时相对均匀地跨目标表面130传递压力。具体而言,光学元件110的主体可以在透明基底凝胶上施加基本均匀的压力,使得透明基底的另一侧上的反射膜涂层与测量的表面形貌一致。在一个方面,光学元件110可以提供掠射或浅角度照明。光学元件110也可以或替代地提供定向暗场照明。为此,足够厚的光学材料可用作光导,以从不同方向(例如,当照明源108的一个LED段打开时)或从四周(例如,当照明源108的所有LED段打开时)提供反射膜表面的受控、均匀且接近准直的暗场或掠射照明。后一种配置可能是有用的,例如,当不同颜色的LED用于复用多光谱光度立体的光学通道时,其中每种颜色与特定的照明方向相关联。
诸如弹性体或其他适形材料的光学透明材料层116可设置在第二表面114上,并使用任何合适的手段(诸如本文所述的任何手段)附接到第二表面114。一般而言,层116可以由弹性体或能够变形以匹配目标表面130的形貌的任何其他相对适形的材料形成,使得在层116中形成的互补形状可以通过层116的相对表面被光学捕获。因此,例如,层116可以由凝胶(诸如光学透明凝胶)、流体(诸如光学透明流体)等形成。在使用诸如液体或气体的流体的情况下,层116可以包括诸如弹性或可变形膜的膜,该膜可以容纳流体同时允许与感兴趣的目标表面适形。就柔韧性而言,肖氏OO硬度值约为5-60的弹性体或其他材料或材料组合可有用地用作本文设想的层116。通常,与光学元件110的第二表面114相邻的层116的第一侧118可以具有与第二表面114的折射率匹配的折射率。应当理解的是,当本文提及折射率时,术语“匹配”不要求相同的折射率。相反,术语“匹配”通常意味着具有足够接近的折射率,以通过两种材料之间的对应界面透射图像,用于由成像设备106捕获。因此,例如,丙烯酸具有约1.49的折射率,而聚二甲基硅氧烷具有约1.41的折射率,并且这些材料充分匹配,使得它们可以彼此相邻放置,并且可以用于透射足以进行定量或定性形貌测量的图像,如本文所设想的。
层116的第二侧120可以被配置为与目标表面130适形,同时提供面向成像设备106的表面,该表面有助于成像系统100的形貌成像和测量。例如,第二侧120可以包括不透明或反射涂层,或者更一般地,具有预定反射率的任何光学涂层,其适于支持如本文所设想的形貌成像。例如,光学涂层可包括可见纹理或可见图案,其可由成像系统成像并分析,例如以恢复层116的第二侧120的形状。光学涂层还可以或替代地具有响应于变形而改变的光学特性。例如,光学涂层可以响应于变形而改变颜色、透明度、反射率或纹理。就这些改变可以被成像系统视觉捕捉而言,它们提供了用于估计沿着第二侧120的变形场的基础,从该变形场可以恢复三维形状信息。
一般而言,该涂层可以有助于通过光学元件110捕获图像,所述图像独立于目标表面130的光学特性,诸如颜色、半透明度、光泽度、镜面度等,所述光学特性否则可能会干扰光学成像。在一个方面,第二侧120可以包括远离光学元件110延伸的凸面(例如,朝向目标表面130)。这种几何构型可以提供许多优点,诸如当成像盒体102最初被放置成与目标表面130接触时,有助于对具有大的聚集凹面形状的表面进行成像,以及减轻视场内的气泡的积聚。
侧壁122可以围绕光学元件110的内部124形成,从第一表面112延伸到第二表面114。通常,侧壁122可以包括一个或多个光成形特征,该光成形特征被配置成控制例如来自照明源108的穿过侧壁122的第二表面114的照明。侧壁122可以采用具有有用的光成形特征的多种几何形状,例如,以期望的角度和均匀性使光转向进入并穿过光学元件110。例如,侧壁122可以包括在第一表面112和第二表面114中形成的两个圆之间形成截头圆锥形的连续表面。侧壁122还可以或替代地包括位于第一表面112和第二表面114之间的部分或全部区域之间的截头半球。在另一方面,侧壁122可以包括两个或更多个分立的平面表面,所述平面表面围绕中心轴117布置成规则或不规则的多边形几何形状,诸如六边形或八边形。在具有平面表面的后一个实施例中,每个这样的表面可以具有照明源108,诸如与其相邻的一个或多个发光二极管,以便通过光学元件110提供所需的侧面光照。应当理解,平面也可以用作光成形特征,其中该平面折射光线和/或以其他方式以期望的方式控制系统100的成像体积内的照明。
其他光成形特征也可以或替代地与光学元件的表面(例如侧壁122或第一表面112)一起使用,以例如,聚焦或转向来自照明源108的入射光,或控制光学元件110和/或光学透明弹性体层116内的光的反射。例如,光成形特征可以包括漫射表面,以沿着光学元件110的外表面漫射入射光的点光源。这可以例如有助于漫射来自照明源108中的各个发光二极管元件的光,和/或从侧壁122的平面表面提供更均匀的照明场。光学元件110的侧壁122或一些其他外表面也可以或替代地包括抛光表面,以将入射光折射到光学元件110中。应当理解,漫射和反射表面也可以以各种组合使用,以在光学元件110内一般地成形照明。光学元件110的侧壁122或其他表面也可以或替代地包括弯曲表面,例如形成透镜以根据需要将入射光聚焦或转向到光学元件110中。
在另一方面,光学元件110的侧壁122或其他表面可以包括具有渐变衰减的中性密度滤光器,以补偿到第二表面114的距离,在第二表面114处光学元件与适形材料层116相对接。更具体地,为了避免光源附近的第二表面114的区域的过照明,和/或远离光源的第二表面114(例如,更靠近中心轴117或光学元件110的相对侧)的区域的欠照明,光学元件110的表面可以包括利用中性密度滤光器提供宽带衰减的滤光器,该中性密度滤光器在更靠近第二表面114的区域提供更大的衰减,在更远离第二表面114的区域提供更小的衰减。以这种方式,与朝向第二表面114的中心离开照明源108的其他光线相比,以向下的角度直接照明邻近侧壁122的第二表面114的光线可能被衰减得更多。这种衰减例如可以是连续的、离散的或以其他方式渐变的,以在靠近侧壁122处提供通常更大的衰减,或以其他方式平衡视场内的照明。
在另一方面,光成形特征可以包括一个或多个滤色器,其可以有用地用于例如将特定颜色与光学元件110内的特定照明方向相关,或者以其他方式控制来自照明源108的彩色照明的使用。在成像系统使用波长复用成像的情况下,侧壁上的滤色器也可以通过选择性地反射或透射感兴趣的频率范围来减少盒体内的杂散光照。在另一方面,光成形特征可以包括侧壁122相对于第二表面114的非法向角度。例如,如图1所图示,侧壁122远离第二表面114成角度,以与其形成钝角。这种方法可以有利地支持第二表面114的间接照明,例如通过光从第一表面112全内反射并进入光学元件110。在另一方面,侧壁122可以朝向第二表面成角度,以提供与其成锐角,例如,以便支持第二表面114的更大的直接照明。这些方法可以单独使用或组合使用,以如期望那样转向光进入并穿过光学元件110。
光成形特征还可以或替代地包括定位于光学元件110的表面上的几何特征,诸如聚焦透镜、平面区域等,以根据需要引导入射光。其他光学元件也可以或替代地有用地形成在光学元件110的侧壁122或其他表面区域之上或之中。例如,光成形特征可以包括光学膜,诸如用于过滤、衰减、偏振或以其他方式成形入射光的各种商业上可得到的膜中的任何一种。光成形特征还可以或替代地包括微透镜阵列等,以转向或聚焦来自照明源108的入射光。光成形特征还可以或替代地包括多个微复制和/或衍射光学特征,诸如透镜、光栅等。例如,微结构侧壁122可以包括例如显微成像透镜、小透镜(lenticular)、微棱镜等作为光成形特征,以一种方式将来自照明源108的光转向到光学元件110中,该方式改善对在光学透明材料层116的第二侧120上成像盒体102的成像表面的形貌变化的成像。例如,微结构化特征可以有助于成形照明图案,以跨测量场提供均匀的光分布,减少回到光学元件110中或从光学元件110出来的光反射,等等。微结构化可以例如在光学元件110的注射成型期间强加,或者通过将具有期望微结构的光学膜施加到侧表面来强加。例如,商业上合适的光学膜包括VikuitiTM,一种由3M公司出售的高级光控制膜(ALCF)。
机械键126可以设置在光学元件110的外部,用于强制成像系统100的固定装置104内的光学元件110(更一般地,成像盒体102)的预定位置。机械键126可以例如包括至少一个关于中心轴117的径向不对称特征,用于强制成像系统100的固定装置104内的光学元件110的独特旋转取向。机械键126还可以或替代地包括任何数量的机械元件等,其适于将光学元件110保持在成像系统100内的预定取向。机械键126可以例如包括光学元件110和固定装置104之间的匹配几何形状。例如,机械键126可以包括从光学元件110延伸的圆柱形结构,或者椭圆棱镜等,其可以有用地在定位的同时强制旋转取向。
在一个方面,机械键126可以包括一个或多个磁体128,其可以将光学元件110固定在成像系统的固定装置104中。磁体128可以通过定位和/或极性进一步编码,以确保光学元件110仅在围绕中心轴117的特定旋转取向上插入。机械键126还可以或替代地包括多个突起,所述多个突起包括具有与多个突起中的其他突起不同的形状的至少一个突起,用于在成像系统100的固定装置104内强制光学元件110围绕中心轴117的独特旋转取向。机械键126还可以或替代地包括至少三个突起(例如,正好三个突起),其成形和定尺寸为与成像系统100的固定装置104形成运动耦合。机械键126还可以或替代地包括诸如凸缘、燕尾榫或任何其他机械形状或特征的特征,以在预定位置和/或取向将光学元件110牢固地配合到固定装置104。本文参考特定的光学元件设计和配置讨论了许多特定的机械键控系统。
成像盒体102的表面可以在必要时进一步处理,或者有助于在如本文所设想的成像系统100中使用。例如,光学元件110的顶部、侧面和底部表面的区域或成像盒体102的其他部分可以覆盖有光吸收层,诸如黑色涂料,以例如包含来自照明源108的光或减少环境光的渗透。
将柔性弹性体(在层116中)固定到诸如光学元件110的刚性表面的一个挑战可能是分层,这可能是在重复图像捕获之后由剪切力和其他边缘效应引起的,特别是在目标表面130倾向于粘附到弹性体的情况下。为了解决这个问题,光学元件110和透明弹性体层116可以形成为盒体,所述盒体作为整体的、可移除的和可替换的设备提供给最终用户。最终用户可以根据需要快速且容易地更换该盒体,或者为了在成像盒体102替换有不同光学特性,例如用于不同的成像应用、分辨率等。同时,用层116同时替换光学元件110可以允许使用更坚固的方式将弹性体层116机械固定到光学元件110。作为一个显著的优点,这种方法可以减轻与交换弹性体层116相关联的对最终用户的挑战,诸如在弹性体层116和光学元件110之间引入污染物或气泡。
图2示出了用于成像系统的成像盒体的横截面。一般而言,成像盒体200可以包括与光学元件204耦合的光学透明弹性体层206。这可以包括本文所述的任何弹性体层和光学元件。通常,弹性体层206可以使用任何合适的保持结构耦合到光学元件204。因为弹性体层和光学元件204作为集成的盒体提供给最终用户,与现有技术的其他系统不同,现有技术的其他系统需要周期性地手动更换弹性体层116,所以可以使用更多种技术和技术组合来牢固地保持与光学元件204相邻的层206。
保持结构可以包括任何增粘剂或其他粘合剂、胶水、环氧树脂等,包括本文描述的任何粘合剂。在成像盒体200被制造用作整体的可消耗产品的情况下,通常应该不需要移除和替换弹性体层206,并且层206可以用相对坚固、刚性的环氧树脂固定到光学元件204。在一个方面,保持结构可以包括设置在光学透明弹性体层206和光学元件204的表面之间的折射率匹配的光学粘合剂。如上所讨论的,该上下文中的折射率匹配是指足够接近以支持有用图像跨对应界面的光学透射的任何折射率。
保持结构还可以包括围绕光学透明弹性体层206的周界的保持环208,该保持环208将周界机械地固定到光学元件204的表面。保持环208可以穿过整个周界或周界的一个或多个部分。尽管保持环208可以可选地在弹性体层206的顶部功能表面上方延伸,但是这可能会干扰成像盒体200在目标表面上的放置,特别是如果目标表面基本上是平面的话。因此,在一个方面,保持环208可以有用地定位在形成于层206的边缘内的凹口210等内,或者由保持环208抵靠层206的更适形的弹性体的机械力产生的凹口210内。应当理解,保持环208可以具有任何形状,通常对应于弹性体层206的周界的形状,诸如多边形、椭圆形等。因此,在该上下文中使用的术语“环”并不旨在或要求圆形或圆角形状。此外,尽管描述了保持环208,但是保持结构还可以或替代地包括在层206上方或层206中延伸的任何数量的凸片、突起、凸缘等,以机械地固定层206的周界与光学元件204接触。
保持结构还可以或替代地包括光学元件的表面内的凹陷212,以及延伸到凹陷212中的光学透明弹性体层206中的对应突起214。凹陷212可以包括适于接收突起214的凹槽或其他形状。在一方面,凹槽212可以是楔形的,以提供远离层206表面的较宽区域,以便提高弹性体层206和光学元件204之间形成的结合的机械强度。更一般地,凹陷212可以在结构上被配置成将层206保持在光学元件204的表面上。以这种方式,可以在层206和光学元件204之间形成机械耦合,例如,以更换或增强由粘合剂、保持环208或任何其他保持结构形成的耦合。
为了在制造期间填充凹陷212,弹性体层206可以使用任何合适的光学透明弹性体液态成型或热成型到凹陷212中。合适成形的可变形弹性体也可以或替代地压配合或以其他方式组装到凹陷212中。然而,通过施加弹性体作为液体,然后固化弹性体,弹性体层206可以更充分地填充凹陷212的空隙空间,并提供与光学元件204更强的机械结合。
图3示出了成像盒体的俯视图。成像盒体300可以是成像盒体,诸如本文所述的任何成像盒体或类似组件。通常,成像盒体300可包括用于接触和捕获目标表面的图像的适形弹性体层302。层302可以通过各种保持结构固定到光学元件,诸如围绕层302的周界306的保持环304,或者形成到光学元件中的凹陷中的突起308。通常,成像盒体300和/或层302可以具有多种形状中的任何一种。例如,层302可以包括圆形、椭圆形、正方形、矩形或任何其他多边形或其他形状的形状的周界306。
现在将描述结合了本文所述特征的各种成像盒体。
图4是成像系统的成像盒体和外壳的透视图。成像盒体402例如可以是本文所述的任何成像盒体。通常,成像盒体402可以包括多个突起404、406,所述多个突起可以是轴向不对称的,以便在外壳408内强制独特径向取向。例如,一个突起406可以比其他突起404大,以便提供径向键控,或者突起406可以以强制独特径向取向的方式不规则地间隔开,或者这些方式的一些组合。外壳408可以包括多个狭槽410等以接收突起404、406,在其之后成像盒体402可以绕成像系统400的轴412旋转,使得突起404、406将成像盒体402牢固地保持在外壳408内。突起404、406可以例如与外壳408的狭槽410形成运动耦合,以强制成像盒体402在外壳408和相关联的成像系统内的预定几何取向。
图5是用于成像系统的成像盒体的侧视图。将注意到,在图5的实施例中,成像盒体504的顶表面502在多个突起506上方延伸,所述多个突起506在结构上被配置为将成像盒体504固定到外壳。这可以允许弹性体层充分延伸超出外壳表面,使得外壳不会干扰弹性体层和目标表面之间的接触。如上所述,可以使用任何合适的技术将透明弹性体层(未示出)附着到成像盒体504的表面。
成像盒体可以具有各种不同的形状,并且可以有用地共享安装接口,诸如突起,使得不同类型的成像盒体可以在同一外壳内用于不同的成像应用。图6是具有低轮廓的成像盒体602的透视图。成像盒体602可以成形和定尺寸成牢固地安装在外壳(例如图4的外壳408)内,但是可以更薄,例如以减少通过成像盒体602捕获的图像中的光学像差,或者便于在成像盒体602和相机或成像系统的其他成像设备之间使用附加的光学元件(诸如滤光器、成像透镜等)。该轮廓还可以或替代地有利地容纳穿过面向相机的表面604(并且与弹性体层和目标表面相对)的光照,以促进目标表面上的高纵横比负特征(诸如沟槽、深凹槽等)的照明和成像。在该上下文中,术语“高纵横比”旨在指在与表面法线成例如超过45度的掠射照明角处被(或可能被)照明遮挡的特征。
图7是成像盒体的透视图。成像盒体702可以包括凸表面704,该凸表面704被成形为以远离成像盒体702延伸的方式支撑弹性体层,这可以有利地允许相对凹表面的成像,并且还可以有利地减轻当弹性体层被放置在目标表面上用于图像捕获时气泡的形成。成像盒体702可以成形和定尺寸成牢固地安装在外壳(诸如图4的外壳408)内。
图8是成像盒体的透视图。成像盒体802可以有用地合并远离成像盒体802的突起806延伸的高轮廓接触表面804,例如以在外壳和成像表面之间提供更大的间隙。成像盒体802可以成形和定尺寸成牢固地安装在外壳内,诸如图4的外壳408。一般而言,前述成像盒体可以与单个外壳互换使用,从而有助于不同成像盒体属性支持的不同操作模式。此外,通过提供运动耦合或类似的取向特定安装系统,当先前使用的成像盒体再次放置在外壳内时,可以重新调用和重新使用特定成像盒体的校准结果等。
图9是成像盒体的透视图。成像元件902可以例如具有通常矩形的构造,并且可以包括一个或多个凸缘904等,使得成像元件902可以线性滑动与外壳的固定装置接合。这种类型的接合机构可能特别适合于机器人应用等,诸如成像元件902从机器人臂的末端效应器移除和被更换到机器人臂的末端效应器的情况。成像元件902可以例如是本文所述的任何成像盒体,具有对应的表面和侧壁属性。层906(诸如本文所述的任何光学透明弹性体层)可以设置在成像元件902上,以提供用于捕获目标表面的形貌图像的接触表面。层906可以是凸起的,或者以其他方式远离成像元件902弯曲,例如,以提供与外壳的间隙和/或减轻当层906放置在目标表面上使用时的气泡的形成。图10是图9的成像盒体的侧视图。
图11示出了使用成像盒体的机器人系统。一般而言,系统1100可以包括耦合到外壳1104的机器人臂1102,该外壳1104被配置为可移除地和可更换地接收盒体1106,诸如任何成像盒体或本文描述的其他光学设备。机器人臂1102(或任何其他合适的机器人元件)可以被配置成将盒体1106定位成与目标表面1108接触,以便使用例如外壳1104中的相机或其他成像设备通过盒体1106捕获目标表面1108的形貌图像。通常,系统1100可以被配置为从成像系统1100的固定装置(例如,在外壳1104中)自动移除盒体1106,并且将第二盒体1110插入外壳1104中。第二盒体1110可以与盒体1106相同,例如,以在普通磨损后提供更换,或者第二盒体1110可以具有与第一盒体1106不同的光学配置,例如,以提供更大的放大率、更大的视场、更好的特征分辨率、深度特征照明、不同的聚合表面形状、目标表面1108的不同形状公差等。第二盒体1110可以存储在系统1100的机械臂1102可访问的箱柜或其他容器中。一般而言,系统1100可以在外壳1104内,或者更一般地在系统1100内包括一个或多个磁体、机电闩锁、致动器等,以便于如本文所述的盒体1106的移除和更换。更一般地,系统1100可以包括任何夹具、夹钳或其他机电末端效应器等,适于移除和更换盒体1106以及定位盒体1106以用于成像过程。
图12示出了具有成像盒体的成像系统。一般而言,成像系统1200可以包括盒体1202,该盒体1202包括本文所述的任何逆向图形传感器或其他弹性体或适形光学传感器等,不同之处如下所述。成像系统1200还可以包括光源1204、成像设备1206、控制器1208和成像体积1210。光学元件1212可以被定位成控制光源1204对成像体积1210的照明。
盒体1202可以可移除地和可更换地耦合到成像系统1200,并且可以以将盒体1202的感测区域1214与成像系统1200的成像空间1210对准的方式机械地键控或以其他方式耦合到成像系统1200。例如,盒体1202可以包括弹性体光学元件,该弹性体光学元件在面向成像设备1206的第一侧上具有柔软的、光学透明的弹性体,并且在与成像设备1206相对的第二侧上具有薄的反射涂层,并且被配置成当被放置成与用于测量的目标表面接触时变形。更一般地,盒体1202可以包括本文描述的用于接触目标表面以促进三维成像的任何逆向图形传感器或其他弹性体或适形光学元件,其中盒体1202在结构上被配置为当盒体1202被放置用于成像系统1200中时将传感器定位在成像体积1210内。成像系统1200可以具有穿过成像体积1210的轴1216,例如成像轴或光轴。当盒体1202被放置用于成像系统1200时,盒体1200的感测区域1214因此可以与成像系统1200的轴1216相交,并且位于成像体积1210内,使得成像设备1200可以捕获成像系统1200的成像体积1210内的盒体1202的感测区域1214的图像。
光源1204可以是适于提供通过光学元件1212并进入成像体积1210的照明的任何照明源。当盒体1202被放置用于成像系统1200时,光源1204可照亮盒体1202的感测区域1214并允许成像设备1206捕获图像。这些图像继而可以由控制器1208处理以解析接触盒体1202的感测区域1214的物体的三维表面信息。在一个方面,光源1204可以是激光器或具有相干、固定焦点和/或提供准直照明的其他设备。在该上下文中,应当理解,固定焦点可以包括聚焦在无穷远处的光,即准直的或由平行光线轨迹形成的光,以及具有可用于产生本文所述照明图案的任何其他固定焦点的光。在另一方面,光源1204可以提供非聚焦照明,其中对光学元件1212和其他光学特征进行适当修改。
成像设备1206可以是相机或光学设备、透镜、滤光器和适于捕获成像体积1210的图像以供控制器1208在解析三维图像时使用的其他硬件的任何其他组合。通常,成像设备1206可以具有穿过成像体积1210的成像轴,诸如成像系统1200的轴1216,以便捕获其图像。控制器1208可以包括适于控制成像系统1200的操作以获取如本文所述的三维信息的任何处理器、微控制器或其他电路或上述的组合。在一个方面,物理耦合到成像系统1200的控制器1208可以提供对数据采集的有限控制,例如采集数据以传输到单独的处理器以用于处理。在另一方面,控制器1208可以包括一个或多个微处理器、现场可编程门阵列、图形处理单元和/或其他处理器,以处理图像并将图像数据解析为成像体积1210内的表面的三维数据。在一个方面,控制器1208可以包括由存储在存储器中的指令配置的处理器,以从成像设备1206接收来自光学元件1202创建的图案的光的图像,该图案在弹性体光学元件或其他感测区域1214变形到成像体积1210内的物体的表面时被弹性体光学元件或其他感测区域1214的薄反射涂层反射。该处理器或集成到成像系统1200中或通信耦合到成像系统1200的另一处理器可以进一步由存储在存储器中的指令配置,以基于成像设备1206捕获的图像计算表面的定量表面形貌。如本文所述,该表面可以包括例如弹性体光学元件的可变形表面,该可变形表面与成像体积1210相交并被配置为适形到待测量物体的目标表面。当目标表面与成像体积1210相交时,由成像设备1206捕获的可变形表面的图像可以用于推断目标表面的三维形状。
成像体积1210通常可以定义用于成像设备1206的三维视场。如上所述,成像设备1206可以具有穿过成像体积1210的成像轴,诸如成像系统1200的轴1216。平面可以与成像体积1210相交,并且基本上位于垂直于成像设备1206的成像轴。该平面也基本上位于垂直于图12的平面,并被图示为该平面与图12和其中所描绘的成像体积1210相交的线1220。
光学元件1212可以包括任何光学元件,包括衍射光栅、透镜、滤光器、显微纹理表面、元表面等,其适于在成像体积1210内产生期望的照明图案。一般而言,图案可包括可在成像设备1206捕获的成像体积1210的图像内识别的多个特征,诸如点、线、多边形等。例如,图案可以有用地包括在平面内紧密间隔的第一多个特征和在视觉上可与第一多个特征区别开并且在平面内更远间隔的第二多个特征。在该图案中,更远间隔的特征可以在成像体积1210内提供基准或界标以帮助处理,而更紧密间隔的特征支持对表面形貌的更高分辨率灵敏度。该图案还可以或替代地包括共同形成平面内的规则几何图案的第一多个特征和第二多个特征,其中第二多个特征形成图案内的视觉上可区分的锚点。锚点或界标可以间隔足够远,使得它们不可能由于沿着轴1216的偏转而在成像平面内相交(或物理上不能相交)。在这些实施例中,图案通常可以包括第一多个特征和第二多个特征,第一多个特征紧密间隔以提供成像体积内深度的高分辨率检测,第二多个特征在穿过成像体积1210的平面内放置得足够远以避免在成像体积1210内的弹性体光学元件、逆向图形传感器等的接触表面的最大预期变形期间在成像体积1210内沿着成像轴(例如轴1216)相交。应当理解,在该上下文中,预期变形可以包括z轴位移,以及当成像系统1200抵靠目标表面放置并由用户操纵时,由弹性体光学元件的剪切、起皱等导致的任何x轴或y轴位移。
在一个方面,光学元件1212可以包括衍射光学元件,该衍射光学元件被定位成在第一表面1212a(例如,面向光源1204的表面)上接收来自光源1204(例如,相干光源,诸如激光器)的照明,并且从与第一表面1212a相对的第二表面1212b在成像体积1210内产生三维照明图案。在使用衍射光学元件的情况下,衍射光学元件可以包括微图案化结构,例如在表面1212a、1212b的任一个或两个上,可选地与附加透镜一起,当合适的光源指向第一表面1212a时,所述微图案化结构协作以产生期望的照明图案。多种类型的衍射光学元件在本领域中是已知的,并且可以用于产生在远场平面中在强度上变化以及沿着成像轴在强度和/或焦点上变化的照明图案。作为一个显著的优点,可以利用这些性质在成像系统1200的成像体积1210内产生三维照明图案,以便于从盒体1202的感测区域1214上的表面解析三维信息。更具体地说,衍射光学元件可用于产生具有复杂三维结构的照明图案,例如,不是随着距离线性缩放的简单二维投影。这些图案可以以能够有助于从单个图像恢复形状的方式有用地编码成像体积内的距离。也可以或替代地包括任何数量的附加光学组件来产生如本文所述的照明图案。例如,光学系统的层或组件之间的界面可以结合光成形特征,诸如透镜、滤光器等,例如以控制光功率、补偿失真或波前误差等。
此外,虽然合适的衍射光学元件(DOE)可以被配置成例如在如图12所示的分立光学元件的各种光学表面上具有微图案化和/或纳米图案化结构,但是DOE也可以或替代地在用于照明的光路内的其他物理位置中实现,例如利用在盒体基底的侧壁、顶部和/或底部和/或系统的其他光学元件内微图案化。
在该上下文中,三维照明图案可以包括随着距离光学元件1212的深度或距离而变化的任何三维形状、图案或结构。例如,三维照明图案可以包括发散照明投影,诸如随着距光学元件1212的距离增加而发散(例如,在成像平面中变大)的网格、点阵列、圆锥或棱锥图案,或者更一般地,在成像体积1210内沿成像轴(例如,轴1216)变化的三维图案。在另一方面,三维照明图案可以包括具有一个或多个特征的图案,所述一个或多个特征沿着从光学元件1212的投影线变化。例如,随着投影图像与光学元件1212的距离增加,圆、点或其他图像可以在强度或焦点上改变(在大小上改变或不改变)。三维照明图案的这些几何特性可由衍射光学元件有用地产生,并用于基于成像设备1206捕获的感测区域1214的图像提高三维数据的准确度。
在一个方面,光学元件1212可以被定位成从与成像体积1210相交的平面成斜角的表面在成像体积1210内产生图案,诸如至少三十度、至少四十五度、至少六十度、大约六十度或在五十度和七十度之间的角度。应当理解,当来自光学元件1212的光光学耦合到感测区域1214时,来自光学元件1212的光线轨迹可以多次改变角度。例如,光可以穿过用于保护/密封成像系统1200的内部免受外部环境影响的石英片1240(诸如石英盘等)的表面,其中盒体1202可移除地耦合到盒体1202的主体。在该上下文中,除非另有说明,否则感兴趣的角度是这些光线轨迹与穿过感测区域1214的平面(由线1220标识)相交的角度,该平面是照明与盒体1200的可变形表面相遇并且图像数据被捕获以解析三维形状的地方。
应当理解,虽然与成像体积1210相交的平面为讨论成像系统的其他特征和结构提供了有用的参考系,但是在一个方面,成像体积1210可以由弯曲表面界定,例如,其中逆向图形传感器被预成形用于测量球形、圆柱形或其他凹面或凸面,或者更一般地,具有已知特性形状的任何其他目标表面。在这种情况下,单个平面可以省略成像体积1210的显著范围。然而,可以选择感兴趣的平面,例如垂直于用于捕获成像体积1210的图像的成像设备的光轴的平面,或者垂直于用于聚焦来自成像体积1210的图像的透镜的轴的平面,或者与目标表面的接触区域相切的平面,或者以其他方式取向以提供用于描述照明、成像、接触等的角度的参考系的平面。
在许多照明图案中,更陡的入射角(例如,相对于平面更尖锐的角度)可以对三维位移提供更大的灵敏度。这样,在如图12所描绘的提供侧照明的情况下,包括一个或多个附加光源1204和/或光学元件1212以从围绕成像设备1200的轴1216的不同方向提供照明,使得成像体积1210的不同区域可以受益于陡峭的侧照明可能是有利的。在一个方面,这些附加光源1204也可以使用不同的光谱带,使得可以同时捕获不同的图案,例如在单个图像帧中,其中可视特征可以基于波长与特定光源1204和DOE(或其他光学元件)相关联。这种方法还可以有利地改善对表面的遮挡区域和/或陡峭或尖锐表面特征的感测。因此,在一个方面,可以使用来自不同光源和/或光学元件的照明来计算感测区域1214的不同部分的三维数据。虽然在这样的实施例中由成像设备1206捕获的图像可以严格地以这种方式被划分和处理(例如,使用来自成像体积1210的相对侧的照明来处理成像体积1210的一侧),但是来自不同照明方向的图像数据也可以或替代地以多种方式被组合或加权,其中这样的组合可以被证明以提高特定成像系统的准确性或可重复性,或者其中这样的组合允许对遮挡区域、深谷等进行分析。
在另一方面,不同的照明源可以被复用,例如,通过使用不同波长范围(或不同特定波长)的光从不同方向照明成像体积1210,并且通过分别处理来自这些不同波长范围的图像,使得来自多个照明方向的多个图像可以被同时捕获和/或处理。根据前述内容,成像系统1200可以有用地包括第二衍射光学元件,该第二衍射光学元件被定位和构造成在成像体积1210内为围绕成像体积的周界的与第一衍射光学元件不同的位置创建第二图案。更一般地,可以将两个或更多附加光源和/或光学元件结合到成像系统1200中,以提高在具有各种表面形貌的各种成像条件下的成像。
在另一方面,可以将附加的成像技术结合到成像系统1200中,例如,以提高成像系统1200的准确性和鲁棒性,以对于某些成像环境(图像预览、稀疏三维处理等)或出于其他原因而支持更高速度、更低分辨率的处理。因此,在一个方面,成像系统1200可以包括多视图成像系统(例如,立体成像系统、光度立体系统等),其被配置为基于来自两个或更多个不同视角的表面的图像来计算成像体积1210内的表面的定量表面形貌。在该上下文中,多视图成像系统可以包括立体成像系统、光度立体系统等,和/或使用荧光、不同的可见和/或红外波长等复用的成像系统。在另一方面,基于梯度的系统可以使用来自各个方向的未聚焦照明来解析三维表面信息。一般而言,这些替代成像模态可以被光学复用,以便与上述系统同时操作。例如,这些替代系统可以使用来自以第二光谱带的第二光源的光来解析表面的三维形状,该第二光谱带具有与光源1204和/或成像系统1200使用的一个或多个其他光源的第一光谱带不重叠的波长。成像系统1200还可以或替代地采用共焦三维成像来拒绝失焦(out-of-focus)光,并在穿过成像体积的二维切片处增量地捕获图像。焦点对准(in-focus)表面的这些单独切片然后可以组合成三维重建。
更一般地,多种互补成像模式中的任何一种可以用于以更高的准确度测量绝对深度,诸如基于立体视差的多视图三维成像,或者具有将深度直接转换为X-Y位移的光学图案的系统,或者任何其他基于三角测量的技术或其他深度测量技术。作为一个显著的优点,用于测量绝对深度的这些互补技术支持对低空间频率三维特征的改进测量,诸如目标表面的宏观大尺度特征,所述特征优选地在利用基于梯度的深度计算等测量微米级表面特征之前被移除。此外,这些深度测量可以提供关于成像凝胶内弹性体压缩量的信息,为最佳压缩提供实时指导和用户反馈,支持更高速的渲染(例如,使用更稀疏的数据阵列),支持高频力的测量(例如,使用弹性体的有限元模型)等。
在一个方面,本文公开了一种成像系统,诸如本文所述的任何成像系统,成像系统1200包括补充深度测量模式,用于测量到目标表面的距离,估计弹性体成像介质(诸如本文所述的任何弹性体光学元件)的压缩,并向用户提供反馈,引导用户到接触力的最佳范围。例如,这可以包括经由诸如本文所述的手持成像设备、听觉输出设备或该设备的用户界面中的显示器上(例如,耦合到手持设备的计算机等上)的多个LED等的用户反馈。
在一个方面,成像系统1200可以包括透镜1230,用于将成像设备1206可变地聚焦在成像体积1210内的表面(诸如逆向图形传感器或包括弹性体光学元件等的其他设备的反射表面)上。例如,透镜1230可以是使用光学流体和聚合物膜的组合通过改变形状来改变焦点的液体透镜,或者任何其他自适应透镜等。液体透镜有利地提供了用于控制焦点的紧凑机构,而没有机械的移动组件,并且没有沿着成像轴物理地移动透镜来改变聚焦距离。然而,其他透镜也可以或替代地用于将成像设备1206聚焦在穿过成像体积1210并沿着成像轴的各种深度或z轴位置处,并且可以适用于如本文所述的成像系统1200中,诸如用压电聚焦驱动器、音圈电机聚焦的透镜系统,或者适用于z堆叠图像采集的任何其他机电控制透镜或透镜系统。
作为一个显著的优势,这支持使用具有窄景深的高分辨率透镜。为了避免可能以其他方式由局部失焦透镜施加的低通滤波,透镜1230可以可变地聚焦以扫描一定范围的深度(例如,沿着z轴或成像轴),以在每个期望的深度提供部分局部聚焦的图像。该图像堆叠可被组装成具有更大景深的单个图像,用于随后的三维处理,例如利用光度立体技术,或者通过在成像域内的局部区域的各种焦深中找到最佳焦点来直接测量定量深度信息。这种具有改善的景深的单个图像还允许恢复纹理等,并且可以与其他成像模态(诸如光度立体成像)相结合,以在没有失真伪像的情况下提供跨成像场的更精确和高分辨率的表面测量。
现在通过非限制性示例实施例来描述模块化逆向图形感测系统的其他方面。图13示出了具有逆向图形感测盒体1302的成像系统1300,该逆向图形感测盒体1302可以从成像系统1300的外壳1304移除和更换到外壳1304。图14示出了成像系统的剖视图。
在一个方面,该系统可以使用光度立体成像来测量表面取向,例如作为基于像素强度的表面法线矢量,其可以被集成以解析三维表面数据。虽然这种重建方法可能对引起低频失真的表面取向的微小变化敏感,从而导致跨测量场的小尺度失真。因此,该系统可以用基于三角测量的3D重建来补充光度立体成像,这有利地允许在每个位置进行直接深度测量,来以较低分辨率提供无失真3D测量。这种组合方法有利地支持跨整个成像场具有一致分辨率和准确度的高分辨率3D测量。
如上所述,用于该设备的图案投影系统可以创建以相对于目标表面的大倾角投影的点图案。可以使用衍射光学元件(DOE)的激光照明来创建合适的图案,衍射光学元件可以被微图案化以抑制和放大特定的衍射级(使用激光的相干性)来创建具有点或其他物体、形状、符号等的期望位置的光学图案。DOE还可以或替代地被配置(例如,通过对其(多个)表面进行微图案化)以针对由于相对于成像体积内的成像平面的高度倾斜的投影角度而导致的成像体积上的变化的焦点进行调整。通常,投影的图案可以由成像设备成像,以提供用于3D成像的三角测量。当测量的物体被压入逆向图形传感器的接触表面时,点图案根据局部深度变化在成像体积中卷曲。因此,点的运动以能够用成像设备和处理器捕获并解析成3D数据的方式对物体的3D形状进行编码。
前述设计结合了许多特征,所述特征可以有利地允许在具有短光轴的小型设备中的图案生成和三维数据分辨率。例如,虽然基于点投影的3D重建方法是已知的,但是所公开的设备可以有利地使用大的DOE出射角来支持短距离内陡峭的侧照明中的点图案生成。在一个方面,光学系统使用聚焦在目标上的激光(例如,聚焦在成像体积内的点上或其中的成像平面上),其中DOE被配置为跨成像体积横向调节焦点。为了实现这样的系统,激光器可以包括聚焦在目标上的聚焦透镜或系统,同时考虑从激光器到目标表面的整个光学链。在另一方面,该系统使用高度倾斜的投影。
在一个方面,系统的外壳1304在内部腔室中包含成像设备、照明系统和其他相关的光学和电学组件,以将这些组件与外部环境隔离。例如,外壳可包括石英盘1306或其他光学透明区域,其中模块化逆向图形传感器的盒体耦合到外壳以供使用。然而,由于通过从激光器到感测区域的光学链的这些各种光学组件的折射率的变化,该光学链可以包括衍射光学元件、用于外壳的石英盘1306、形成用于模块化传感器的刚性光学透明基板的诸如聚甲基丙烯酸甲酯(PMMA)的聚合物、以及耦合到透明基板的感测区域的弹性体凝胶,在某些方面,DOE的出射角将比盒体的感测区域内的光束角甚至更倾斜。因此,对于诸如图13-14中公开的基于盒体的系统,期望的侧照明所需的已经很大的出射角可能变得甚至更大。
根据前述内容,成像系统可以更普遍地在逆向图形传感器或具有弹性体成像介质的其他设备内使用不同三维成像模态的任何合适组合。例如,在一个方面,本文公开了一种设备,其包括在适形成像介质内的成像体积,诸如本文所述的任何弹性体或其它适形的光学透明材料,该成像体积限定了用于捕获图像的三维视场,以及成像系统,该成像系统被配置成使用至少包括光度立体和多视图立体成像的两种或更多种三维成像模态来计算在三维视场内与成像体积相交(以及使适形介质位移)的目标表面的定量表面形貌。
一般来说,光度立体可以使用单个相机,从两个或更多个方向提供定向光照。深度被编码在捕获图像之间的阴影变化中(例如,强度梯度)。这种模态支持光谱复用,例如,利用红绿蓝(RGB)或超光谱成像在单个图像帧中捕获具有多个照明方向的图像。
同时多视图立体成像模态可以使用多种技术中的任何一种来从多个相机或视图获得深度信息。在另一方面,可以使用单相机三角测量。在这种模态中,用来自一个或多个方向(不同于相机的观察方向)的结构光照明成像体积,并且基于相对于在校准期间捕获的结构光的参考图像的成像图案来确定深度。在多个光方向用于照明的情况下,这些光方向必须顺序或光谱复用,以避免重叠照明图案之间的视觉干扰。在另一方面,多视图立体或三角测量可用于在结构化照明下从两个或更多个相机获得深度信息。在另一方面,多视图立体或三角测量可用于基于表面纹理从两个或更多个相机获得深度信息。
在另一方面,成像模态之一可以包括聚焦堆叠,其中使用沿着穿过成像体积的光轴的聚焦/散焦来推断深度。这可以代替或附加于上述多视图立体技术。假设目标表面包含足够的自然纹理来评估聚焦,聚焦堆叠系统可以使用均匀的自然光。在另一方面,可以使用结构光(通常与光轴同轴),特别是在目标表面不提供用于评估聚焦的合适特征的情况下。在任一情况下,不同的颜色可以聚焦在不同的深度,以便使用光谱复用来支持增加的深度分辨率。
在一个示例实施例中,成像系统可以与弹性体光学元件的接触表面上的人工纹理膜等一起使用光度立体和多视图立体。具体而言,纹理可以是随机纹理,除非使用特定照明,否则该纹理是不可见的。例如,可以使用荧光颜料来创建随机纹理,荧光颜料仅在被UV光照明时可见。替代地,膜可以使用IR吸收颜料来创建随机纹理,这需要IR照明来使纹理可见。在这种组合中,随机纹理仅由专用于多视图立体的相机成像,而光度立体相机(单相机)使用以具有不同照明方向的不同光谱带的照明来观察没有纹理的成像体积中的场。应当理解,也可以或替代使用光度立体的其他布置和上述各种多视图成像技术。
图15示出了与成像系统的成像轴成角度的DOE的横截面。DOE出射角可以被有用地平衡以提高准确度。一般来说,对应于图案的拐角的DOE出射角优选地尽可能彼此接近。在一个方面,这可以通过相对于图像轴倾斜DOE来实现,以便将照明图案中的零级点放置远离成像体积和/或成像平面的中心,这有利地提供跨成像系统的感测区域的更均匀的照明角度。DOE也可以或替代地使用已知技术来设计,以调整成像体积内的投影点图案上的焦点,这可以基于聚焦在图案内的零级光斑上的激光束。
应当理解,通常,DOE可以集成到可移除的盒体中,例如作为刚性盒体基底的一部分,或者DOE可以是耦合到在其中放置盒体的成像系统的单独的组件。当盒体中包括DOE时,DOE可由蚀刻在盒体侧壁或盒体基底顶部/底部的微纹理形成。然后,该微纹理可以被激光束照明(在成像系统中),该激光束可以根据DOE的结构被准直或聚焦,以在成像体积内实现期望的照明图案。作为一个优点,盒体内的DOE可以最小化由于图案倾斜产生的像差,因为入射光无论如何聚焦都直接落在均匀介质(例如,刚性盒体+凝胶)上。如果照明源必须以斜角穿过不同材料(例如保护玻璃、刚性盒体、凝胶、空气)的多个界面,那么每个界面处的光学波前像差可能会引入额外的图案伪像。
图16示出了可以由本文描述的照明系统产生的照明图案。
在一方面,由于上述固定的倾斜投影角度,某些测量的几何形状可能导致遮挡。此外,投影角度可能跨成像体积改变,从而产生不均匀的深度灵敏度。为了补偿这种不利条件,如果多个图案生成系统具有相同的波长,则它们可以顺序工作;或者如果它们具有不同的波长,则可以并行工作。如上所述,这些系统可以围绕系统的轴定位。
在另一方面,可以用不同的强度创建点或其他标记。具有相同强度的点的规则点图案是不太有利的,因为所述点不容易相互区分。作为一个显著的优点,照明系统可以创建具有更高强度的一些点作为锚,以允许更容易地跟踪图案。此外,可以用更大的直径来创建这些更高强度的点,以支持多分辨率处理方案。在一个方面,照明系统因此可以产生主要点和次要点,然而,可以产生其他形状和/或额外的尺寸层用于额外的分辨率水平。此外,这些点可以具有不同的形状或更小尺度的强度图案,以便更容易跟踪。
在另一方面,成像系统可以被配置为使用基于来自衍射光学元件的图案的三角测量进行同时成像,以及使用定向侧照明进行光度立体成像。通常,用于光度立体的图像不能包含用于基于三角测量的3D重建的点图案。因此,如果两者使用相同的光谱带,则必须顺序捕获这些图像。另一方面,该系统可以是光学复用的,以支持两个图像的同时捕获。例如,系统可以提供红色光谱的侧光照和蓝色光谱的DOE图案。然后,具有RGB(红、绿、蓝)或CYM(青、黄、品红)灵敏度的成像设备可以光谱复用这些图像,以同时捕获红色通道中的阴影图像和蓝色通道中的DOE图案。该方法有利地允许基于阴影和三角测量的3D数据的时间同步。
在另一方面,气泡或其他光学干扰物可以附着到光学界面,诸如固体基底与透明弹性体的界面,以便在定向照明下将点图案投影到感测区域的接触表面上。
图17示出了用于本文描述的系统和方法中的盒体。图18示出了用于成像系统的盒体的基底。应该理解的是,图18或本文任何附图中所示的尺寸仅作为示例给出,并且其他尺寸也是可能的或替代的,除非有相反的明确说明。一般而言,基底可以由刚性的光学透明材料形成,诸如透明聚合物、玻璃或任何其他透明且机械刚性材料,其适于耦合到外壳并支撑用于成像的逆向图形传感器。在一个方面,盒体1700可以具有六边形设计,并且可以包括一个或多个发光二极管或任何其他合适的照明源,用于沿着如上所述的六边形设计的侧面1804进行侧光照(例如,在图1中),其可以用于与使用来自衍射光学元件的照明图案进行基于三角测量的3D重建同时地支持光度立体成像。
盒体1700的侧面1804可以具有许多光学涂层或其他处理以提高成像系统的性能。例如,侧面1804可以有利地包括光学涂层以减少杂散光。在一些配置中,光可以例如从盒体的外表面反射回盒体1700的基底中。例如,这可能是由于盒体1700外侧上的散射侧表面(例如,漫射器)或者由于产生从盒体1700的外表面反射回盒体1700中的光线的全内反射(TIR),任一种情况都可能产生干扰用于三维重建的期望照明图案的不希望的照明。为了减少这些条件下的杂散光,侧面1804和任何其他侧表面(和/或除了盒体1700的顶部和底部之外的其他表面)可以涂敷有中性密度(ND)滤光器。该ND滤光器层可具有与形成盒体1700的光学透明基底的材料(例如PMMA)相同的折射率,使得光在能够反射回盒体体积之前将行进穿过ND滤光器两次。例如,如果ND滤光器具有50%的透射率,则反射回成像体积中的杂散光的强度相对于没有ND滤光器的情况下从侧表面反射回的光减少了(0.5*0.5=)25%。
在另一方面,漫射器可被添加到盒体1700的侧面1804,使得来自发光二极管(或用于侧光照的其他照明源)的光更均匀地分布到盒体1700的感测区域的目标表面。通常,从外部光源进入盒体的光线可能避开照明成像区域,例如盒体1700的感测区域的反射表面。此外,给定发光二极管接近盒体1700的表面,LED可以在成像体积内产生照明强度的高空间频率变化。为了解决这些问题,可以向接收LED照明的侧表面1804添加漫射器,该漫射器通常可以扩散并在空间上低通滤波入射照明,以提供目标表面的更均匀照明。
在另一方面,侧面可以与成像轴成一定角度,以改善侧照明。一般来说,盒体的垂直侧面允许两种直接照明模式。第一模式行进穿过侧面,然后继续朝向感测区域传播,最终照明目标表面。第二模式向上行进到盒体的顶部,在那里它向内反射回朝向感测区域。该第二模式增加了目标表面的总照明。然而,这两种模式的组合会在三维重建中产生伪像,例如通过改变侧照明的强度和用于光度立体重建的所得到的表面法线估计。因此,侧面可以有利地朝向目标表面成角度,以减少来自侧照明的反射光。
在另一方面,用于通过侧表面进行侧照明的发光二极管可以沿着每个侧表面成行布置。因为单独的二极管提供近似点光源,所以它们可以在成像体积内产生小而强烈的照明区域。此外,虽然单个点光源产生与距离的平方成比例衰减的照明,但是LED的行或阵列可以产生与距离成比例衰减的照明。因此,沿着盒体的一个侧表面的LED行有利地产生在距离上垂直于照明方向的更均匀的照明场和更大的强度。
在另一方面,抗反射涂层可以有用地施加在盒体的各个表面上。例如,盒体的顶表面(最靠近成像设备且通常垂直于成像轴的表面)可以涂敷有抗反射涂层或其他表面处理,以便改善以斜角到达顶表面的来自DOE的图案投影。感测区域的弹性体材料的顶部也可以或替代地接收抗反射涂层,以类似地促进图案投影通过盒体并进入成像体积的传播,尽管在刚性基底的折射率接近弹性体材料的折射率的情况下这可能是不必要的。
另一方面,盒体可以包括光学编码到盒体中的标识符。这可以是人类可读的标识符,诸如激光标记在盒体表面上的序列号,或者条形码、QRC码或以机器可读形式编码识别信息的其他图案等。虽然也可以或替代地使用其他自识别技术,诸如RFID标签或NFC标签,但是光学编码且机器可读的标识符有利地允许使用成像系统中已经存在的相机(或其他成像系统)和处理器来自动捕获和分析盒体标识符。
图19示出了成像盒体的包覆成型设计。通常,成像盒体1902(诸如本文所述的任何成像盒体)可包括包覆成型有外层1906的基底1904。通常,基底可以是任何合适的刚性且光学透明的材料。外层1906优选由相同的材料形成,但是具有不同的光密度,以提供具有工程透射的吸收层。例如,基底1904可由光学透明的聚甲基丙烯酸甲酯(PMMA)形成,并且外层1906可由具有约0.5至约1.0的光密度的PMMA形成。在这种配置中,外层1906将以散射入射光的方式吸收光,而不产生显著的折射或全内反射。尽管各种几何形状对于基底1904是可能的,但外层1906优选覆盖侧面和顶部,以控制在基底内和穿过基底的照明。作为一个显著的优点是,以这种方式配置的成像盒体可以漫射来自照明源的光(以支持整个成像视场的照明),同时减少成像体积内的杂散光散射。
上述系统、设备、方法、过程等可以用硬件、软件或适于特定应用的这些的任意组合来实现。硬件可以包括通用计算机和/或专用计算设备。这包括在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其他可编程设备或处理电路以及内部和/或外部存储器中实现。这也可以或替代地包括一个或多个专用集成电路、可编程门阵列、可编程阵列逻辑组件或可以被配置为处理电子信号的任何其他一个或多个设备。还应理解,上述过程或设备的实现可包括使用结构化编程语言(诸如C)、面向对象编程语言(诸如C++)或任何其他高级或低级编程语言(包括汇编语言、硬件描述语言和数据库编程语言和技术)创建的计算机可执行代码,其可被存储、编译或解释以在上述设备之一上运行,以及处理器、处理器架构的异构组合或不同硬件和软件的组合。在另一方面,该方法可以在执行其步骤的系统中实现,并且可以以多种方式分布在设备上。同时,处理可以分布在诸如上述各种系统的设备上,或者所有功能可以集成到专用的独立设备或其他硬件中。在另一方面,用于执行与上述过程相关联的步骤的装置可以包括上述任何硬件和/或软件。所有这些排列和组合都旨在落入本公开的范围内。
本文公开的实施例可以包括计算机程序产品,该计算机程序产品包括计算机可执行代码或计算机可用代码,当在一个或多个计算设备上执行时,其执行其中的任何和/或所有步骤。该代码可以以非暂时性的方式存储在计算机存储器中,该计算机存储器可以是从其中执行程序的存储器(诸如与处理器相关联的随机存取存储器),或者是存储设备,诸如磁盘驱动器、闪速存储器或任何其他光学、电磁、磁、红外或其他设备或设备组合。在另一方面,上述任何系统和方法可以在承载计算机可执行代码和/或来自计算机可执行代码的任何输入或输出的任何合适的传输或传播介质中实现。
应当理解,上述设备、系统和方法是作为示例而非限制来阐述的。在没有相反的明确指示的情况下,所公开的步骤可以被修改、补充、省略和/或重新排序,而不脱离本公开的范围。各种变化、添加、省略和其他修改将对本领域普通技术人员是明显的。此外,以上描述和附图中的方法步骤的顺序或呈现并不旨在要求执行所述步骤的这种顺序,除非特定顺序在上下文中明确要求或以其他方式清楚。
本文描述的实施方式的方法步骤旨在包括与以下权利要求的可专利性相一致的导致这种方法步骤被执行的任何合适的方法,除非不同含义在上下文中明确提供或者以其他方式清楚。因此,例如执行步骤X包括用于使诸如远程用户、远程处理资源(例如,服务器或云计算机)或机器的另一方执行步骤X的任何合适的方法。类似地,执行步骤X、Y和Z可以包括指导或控制这种其他个体或资源的任何组合来执行步骤X、Y和Z以获得这种步骤的益处的任何方法。因此,本文描述的实施方式的方法步骤旨在包括使一个或多个其他方或实体执行所述步骤的任何合适的方法,这与以下权利要求的可专利性一致,除非不同的含义被明确提供或者以其他方式从上下文中清楚。这种当事方或实体不需要受任何其他当事方或实体的指导或控制,也不需要位于特定管辖区内。
还应该理解,以上方法是通过示例的方式提供的。在没有相反的明确指示的情况下,所公开的步骤可以被修改、补充、省略和/或重新排序,而不脱离本公开的范围。
应当理解,上述方法和系统是通过示例而非限制的方式阐述的。各种变化、添加、省略和其他修改将对本领域普通技术人员是明显的。此外,以上描述和附图中的方法步骤的顺序或呈现并不旨在要求执行所述步骤的这种顺序,除非特定顺序被明确要求或以其他方式从上下文中清楚。因此,尽管已经示出和描述了特定实施例,但是对于本领域技术人员来说显而易见的是,在不脱离本公开的精神和范围的情况下,可以在形式和细节上进行各种改变和修改,并且这些改变和修改旨在形成由以下权利要求限定的本发明的一部分,以下权利要求将在法律允许的最广泛意义上进行解释。
Claims (36)
1.一种设备,包括:
成像体积,其限定用于捕获图像的三维视场;
相机,其具有穿过成像体积的成像轴;
平面,其与成像体积相交并垂直于成像设备的成像轴;
激光器,其提供包括固定焦点相干光的照明;
衍射光学元件,其定位成在第一表面上接收来自激光器的照明,衍射光学元件的第一表面包括微图案化结构,以从与第一表面相对的第二表面在成像体积内创建三维照明图案;
液体透镜,其被配置为将相机聚焦在成像体积内的物体的目标表面上;
成像盒体,其可移除地和可替换地耦合到所述设备,所述成像盒体包括刚性基板和光学元件,所述光学元件具有在面向相机的第一侧上的柔软的光学透明弹性体和在与相机相对的第二侧上的薄的反射涂层;以及
处理器,其由存储在存储器中的指令配置成接收来自当弹性体光学元件的薄反射涂层变形到成像体积内的物体的表面时由弹性体光学元件的薄反射涂层反射的图案的光的图像,所述处理器还由存储在存储器中的指令配置成基于所述图像计算表面的定量表面形貌。
2.一种设备,包括:
适形成像介质内的成像体积,其限定了用于捕获图像的三维视场;
成像设备,其具有穿过成像体积的成像轴;
平面,其与成像体积相交并垂直于成像设备的成像轴;
提供照明的光源;以及
光学元件,其被定位和构造成在第一表面上接收来自光源的照明,并从与第一表面相对的第二表面在成像体积内创建图案,第二表面与和成像体积相交的平面成一角度。
3.根据权利要求2所述的设备,其中,所述第二表面与和成像体积相交的平面成斜角。
4.根据权利要求2所述的设备,其中,所述光学元件包括衍射光学元件,所述设备还包括第二衍射光学元件,所述第二衍射光学元件被定位和构造成针对所述成像体积周界周围的与所述衍射光学元件不同的位置在所述成像体积内创建第二图案。
5.根据权利要求2所述的设备,还包括处理器,所述处理器被配置为接收来自所述三维视场内的表面反射的图案的光的图像,并基于所述图像计算所述表面的定量表面形貌。
6.根据权利要求5所述的设备,其中,所述表面包括与成像体积相交的适形成像介质的可变形表面。
7.根据权利要求2所述的设备,还包括多视图成像系统,其被配置为基于来自两个或更多不同视角的表面的图像来计算三维视场内的表面的定量表面形貌。
8.根据权利要求2所述的设备,还包括多视图成像系统,其使用具有与光源的第一光谱带不重叠的波长的第二光谱带解析表面的三维形状。
9.根据权利要求8所述的设备,还包括以第二光谱带提供照明的第二光源。
10.根据权利要求2所述的设备,还包括至少部分定位于成像体积内的成像盒体,所述成像盒体包括在面向成像设备的第一侧上的适形成像介质和在与成像设备相对的第二侧上的光学涂层。
11.根据权利要求10所述的设备,其中所述适形成像介质包括柔软的光学透明弹性体。
12.根据权利要求10所述的设备,其中所述适形成像介质包括光学透明流体。
13.根据权利要求10所述的设备,其中所述光学涂层包括可见纹理。
14.根据权利要求10所述的设备,其中所述光学涂层包括可见图案。
15.根据权利要求10所述的设备,其中,所述光学涂层是薄的反射涂层。
16.根据权利要求10所述的设备,其中所述光学涂层响应于所述成像盒体的第二侧的变形而改变颜色。
17.根据权利要求2所述的设备,还包括成像盒体,所述成像盒体包括定位于成像体积内的逆向图形传感器。
18.根据权利要求2所述的设备,还包括成像盒体,所述成像盒体包括定位于成像体积内的弹性体光学元件。
19.根据权利要求2所述的设备,还包括液体透镜,其被配置成将成像设备聚焦在成像体积内的表面上。
20.根据权利要求2所述的设备,还包括透镜,其被配置为沿穿过成像体积的成像轴改变焦点。
21.根据权利要求2所述的设备,其中,所述光学元件包括具有微图案化结构的衍射光学元件,所述微图案化结构被配置成根据来自光源的入射在第一表面上的光在成像体积内创建图案。
22.根据权利要求2所述的设备,其中,所述光学元件包括被配置成根据入射在第一表面上的光在成像体积内创建图案的元表面。
23.根据权利要求2所述的设备,其中,所述光学元件的第二表面具有与和成像体积相交的平面的至少为30度的倾斜角度。
24.根据权利要求2所述的设备,其中,来自光学元件的光以五十至七十度之间入射到平面上。
25.根据权利要求2所述的设备,其中所述图案包括在成像体积内沿成像轴变化的三维图案。
26.根据权利要求2所述的设备,其中所述图案包括在所述平面内紧密间隔的第一多个特征和与所述第一多个特征视觉上可区分且在所述平面内更远间隔的第二多个特征。
27.根据权利要求2所述的设备,其中所述图案包括在所述平面内共同形成规则几何图案的第一多个特征和第二多个特征,所述第二多个特征在所述图案内形成视觉上可区分的锚点。
28.根据权利要求2所述的设备,其中,所述图案包括紧密间隔的第一多个特征以提供对所述成像体积内深度的高分辨率检测,以及穿过所述成像体积的平面内间隔足够远的第二多个特征,以避免在所述成像体积内的弹性体光学元件的接触表面的最大预期变形期间,在所述成像体积内沿所述成像轴相交。
29.根据权利要求2所述的设备,其中,所述图案包括紧密间隔的第一多个特征以提供对所述成像体积内深度的高分辨率检测,以及在穿过所述成像体积的平面内间隔足够远的第二多个特征,以避免在所述成像体积内的弹性体光学元件的接触表面的最大可能偏转期间在所述成像体积内沿所述成像轴相交。
30.根据权利要求2所述的设备,其中所述图案包括多个特征,所述多个特征包括线、点和多边形中的一个或多个。
31.根据权利要求2所述的设备,其中,所述光源提供具有相干、固定焦点的光。
32.根据权利要求2所述的设备,其中,所述光源包括激光器。
33.根据权利要求2所述的设备,其中,所述光源是准直光源。
34.一种设备,包括:
适形成像介质内的成像体积,其限定用于捕获图像的三维视场;以及
成像系统,其被配置为使用至少包括光度立体和多视图成像的两种或更多种成像模态来计算与成像体积相交的目标表面的定量表面形貌,以及使适形成像介质在三维视场内位移。
35.根据权利要求34所述的设备,其中,所述成像系统通过使用由与成像体积相交的目标表面变形的共形成像介质的表面反射的投影纹理而采用多视图三维重建和光度三维重建的组合。
36.根据权利要求34所述的设备,其中,所述成像系统通过使用由与成像体积相交的目标表面变形的成像介质的表面上的纹理而采用多视图三维重建和光度三维重建的组合。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163253694P | 2021-10-08 | 2021-10-08 | |
US63/253694 | 2021-10-08 | ||
PCT/US2022/046129 WO2023059924A1 (en) | 2021-10-08 | 2022-10-07 | Retrographic sensing |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118369550A true CN118369550A (zh) | 2024-07-19 |
Family
ID=84245595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280081669.0A Pending CN118369550A (zh) | 2021-10-08 | 2022-10-07 | 逆向图形感测 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240247930A1 (zh) |
EP (1) | EP4399481A1 (zh) |
JP (1) | JP2024537199A (zh) |
CN (1) | CN118369550A (zh) |
CA (1) | CA3234459A1 (zh) |
WO (1) | WO2023059924A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE68919394T2 (de) * | 1988-09-16 | 1995-03-30 | Fujitsu Ltd | System zum Detektieren eines biologischen Gegenstandes und dieses System verwendendes Fingerabdruckvergleichssystem. |
EP2294375B8 (en) | 2008-06-19 | 2024-02-14 | Massachusetts Institute of Technology | Tactile sensor using elastomeric imaging |
KR20140041890A (ko) | 2011-07-28 | 2014-04-04 | 메사추세츠 인스티튜트 오브 테크놀로지 | 고해상도 표면 측정 시스템 및 방법 |
EP2910009A4 (en) * | 2012-10-17 | 2016-07-27 | Gelsight Inc | THREE DIMENSIONAL DIGITAL PRINTING AND VISUALIZATION OF OBJECTS |
EP4142284A1 (en) * | 2017-03-06 | 2023-03-01 | Gelsight, Inc. | Surface topography measurement systems |
CN111656707A (zh) * | 2017-08-31 | 2020-09-11 | 梅特兰兹股份有限公司 | 透射型超表面透镜集成 |
US11096765B2 (en) * | 2018-06-22 | 2021-08-24 | Align Technology, Inc. | Light field intraoral 3D scanner with structured light illumination |
-
2022
- 2022-10-07 EP EP22800488.3A patent/EP4399481A1/en active Pending
- 2022-10-07 JP JP2024520968A patent/JP2024537199A/ja active Pending
- 2022-10-07 CN CN202280081669.0A patent/CN118369550A/zh active Pending
- 2022-10-07 CA CA3234459A patent/CA3234459A1/en active Pending
- 2022-10-07 WO PCT/US2022/046129 patent/WO2023059924A1/en active Application Filing
-
2024
- 2024-04-04 US US18/627,060 patent/US20240247930A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024537199A (ja) | 2024-10-10 |
WO2023059924A1 (en) | 2023-04-13 |
CA3234459A1 (en) | 2023-04-13 |
US20240247930A1 (en) | 2024-07-25 |
EP4399481A1 (en) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113670226B (zh) | 表面形貌测量系统 | |
US20210397009A1 (en) | Surface-relief grating with patterned refractive index modulation | |
KR102544297B1 (ko) | 패턴 조명을 생성하기 위한 장치 | |
EP3221716B1 (en) | Multiple pattern illumination optics for time of flight system | |
EP2065737B1 (en) | Reflection type display apparatus and method for manufacturing light guide plate | |
KR20140041890A (ko) | 고해상도 표면 측정 시스템 및 방법 | |
WO2020255482A1 (ja) | 導光板、その製造方法、導光板モジュール、および画像表示装置 | |
TW201937237A (zh) | 光學系統 | |
US20230294300A1 (en) | Diffractive Visual-Tactile Sensing in Robotic Grippers | |
US10007101B2 (en) | Illumination device for a microscope or an optical 3D surface measuring apparatus | |
US20240247930A1 (en) | Retrographic sensing | |
CN112840238A (zh) | 衍射光学元件及照明光学系统 | |
KR20180010791A (ko) | 지향성 백라이트 유닛, 이의 제작방법, 이를 포함하는 입체 영상 표시 장치 | |
RU2784641C2 (ru) | Системы измерения топографии поверхности | |
CN103026286B (zh) | 光学装置读取方法和装置 | |
KR102014753B1 (ko) | 치아 스캐닝 장치 | |
WO2024147879A1 (en) | System and method for aligning diffractive features | |
US20130048600A1 (en) | Volumetric optically variable devices and methods for making same | |
TWM495500U (zh) | 光學透鏡偏心疊紋量測裝置 | |
JP2012103288A (ja) | 立体画像の映写構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |