CN118105060A - 根据阴影提供形状的测量系统 - Google Patents
根据阴影提供形状的测量系统 Download PDFInfo
- Publication number
- CN118105060A CN118105060A CN202311602340.7A CN202311602340A CN118105060A CN 118105060 A CN118105060 A CN 118105060A CN 202311602340 A CN202311602340 A CN 202311602340A CN 118105060 A CN118105060 A CN 118105060A
- Authority
- CN
- China
- Prior art keywords
- measurement
- measurement data
- illumination
- optical sensor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 claims abstract description 201
- 230000003287 optical effect Effects 0.000 claims abstract description 86
- 238000005286 illumination Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000012876 topography Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 230000010287 polarization Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000000699 topical effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 1
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005388 cross polarization Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000144 pharmacologic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000002798 spectrophotometry method Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
根据阴影提供形状的测量系统包括测量设备及控制和处理单元。测量设备包括至少一个摄像头、第一及第二光学传感器,第一光学传感器提供第一视场并收集表示对象的第一部分的第一测量数据,第二光学传感器提供第二视场并收集表示对象的第二部分的第二测量数据。第二光学传感器包括从至少三个不同姿势对对象照明的至少三个光源。控制和处理单元包括第二捕获模式,其提供第二测量数据:执行至少三个照明步骤来从至少三个不同姿势对对象照明;通过针对各个照明步骤捕获图像捕获至少三个图像;基于对至少三个图像及光源的至少三个不同姿势进行处理导出表面形貌信息;控制和处理单元包括参考功能,其通过参考第一与第二测量数据提供经配准测量数据。
Description
技术领域
本发明总体上涉及基于利用至少两个光学测量原理的光学测量来确定对象的表面形貌信息的系统和方法。
背景技术
诸如工件或人体的对象的三维(three-dimensional,3D)信息的光学获取通常需要使用相对于对象设置的多个摄像头和光源,这些摄像头和光源是在对象仍保持静止时被启用的。所需的摄像头和光源的数量通常直接取决于待成像区域的大小和/或要达到的准确度。
通常的做法是,例如在诸如坐标测量机(coordinate measuring machine,CMM)的坐标定位装置上检查生产之后的技术工件,以便检查预定义对象参数(比如对象的尺寸和形状)的正确性。而且,对未知对象的表面的检测在许多工业应用中受到关注。这种测量通常还可以利用坐标测量机或者任何其它合适类型的扫描设备来提供。使用光学传感器的优点在于,它不与部件接触,因此在测量期间不操纵部件或使部件变形或者损坏部件,如利用触觉探针的情况就是如此。
一种用于提供表面的形貌测量的设备可以被具体实施为包括三角测量传感器的(手持式)设备,其中,该设备被手动地或者通过CMM沿着待测量表面被引导,并且在移动该设备的同时由传感器获取距离数据。另外,可以在全局坐标系中连续地确定(例如,跟踪)这种设备的位置和/或取向,从而使得能够确定与对象的表面相对应的绝对坐标。
另一方面涉及捕获与人体相关的相应表面信息,例如,与人的面部或身体的其他部分相关的身体数据。这种信息通常是为美容手术、外科手术或者为皮肤状况的诊断而获取的。
例如,在美容行业,每年都有许多新的面部再生手术加入现有方法;这些面部再生手术可以包括但不限于基于药理学的局部解决方案、微创和侵入性手术、以及基于能量的治疗,诸如基于激光和其它光子的系统、超声方法、射频、冷冻(cryo)、微波、以及多能量递送系统(Multiple Energy Delivery Systems,MES)。
在许多美容手术(诸如局部或基于能量的面部再生)中,受试者(subject)没有表现出治疗的即刻积极结果,并且必须等待延长的时段,从而可能要接受额外治疗以完成手术。有利的是,接近治疗时间,向受试者提供在经过了一定时间之后对预期结果的估计。先前治疗的受试者的前后图形是已知的,但是将最好地帮助当前受试者看到在他/她自己的图像上的投影结果。
而且,为了应用所推荐的美容手术,可能需要关于人的皮肤(至少在所关注区域中)的详细知识。所关注区域通常可以是人体的相对小的部分,比如人的面部的小皱纹。
就外科手术而言,适用相似的要求。关于特定关注区域(例如,应当执行外科手术介入的人体区域)处的身体或皮肤状况的信息是高度希望的。与邻近身体部位相比,关于该特定区域的这种身体信息通常应具有增加的信息水平。
现有的系统通常能够捕获(全身)图像,这些图像提供以导出在整个待测量对象上的一致质量水平的表面信息。另外,可以选择要应用哪种技术来捕获图像,例如,选择所使用的照明光的类型或偏振。由此,可以研究对象,特别是有机材料或皮肤的特定状况或特性。
然而,这种解决方案的不利之处在于,通常利用一种特定的测量方法来测量对象,并且对象信息受限于可借助于该测量方法获得的数据。因此,由该方法提供的分辨率或灵敏度相应地受到限制。
发明内容
本发明的目的
因此,本发明的目的是,提供一种改进的测量系统或方法,其提供对对象的表面数据的改进获取。
本发明的另一目的是,提供一种能够提供关于测量人体的改进的测量数据的测量方法。
本发明的概述
本发明涉及一种用于测量比如技术工件或人体的对象的测量系统。该测量系统至少包括测量设备以及控制和处理单元。
可以将控制和处理单元具体实施为与测量设备设置在一起(例如,设置在测量设备中)或者与测量设备物理分离的单个组件。另选地或者另外地,控制和处理单元可以被实现为提供多个组件,这些组件优选地被配置用于彼此交换信息。控制和处理单元被配置用于双向地向测量设备发送信号(信息)和从测量设备接收信号(信息)。控制和处理单元可以由算法处理设备(比如计算机、平板电脑、智能手机、(互联网或网络)服务器等)来提供。特别地,控制和处理单元可以由数据存储和/或数据处理云来提供。
测量设备包括两个光学传感器,即,第一光学传感器和第二光学传感器。第一光学传感器可以提供第一视场,该第一视场等于或大于(特别是至少两倍于)第二光学传感器的第二视场。因此,第一光学传感器可以被认为是全局光学传感器,而第二光学传感器提供局部光学传感器。第一光学传感器和第二光学传感器可以被设置成使对象的第一部分可以包括对象的第二部分。
测量系统提供对可以由两个传感器生成的测量数据的配准(registration)。第一传感器的第一测量数据以及第二传感器的第二测量数据可以被处理为使得提供数据的特定链接。使第一测量数据和第二测量数据彼此关联或参考。在一个实施方式中,可以将数据进行合并或融合以提供一个扩展数据集。
特别地,测量传感器的或者所获得的数据的相应坐标系可以彼此参考。
为了对第二传感器的高分辨率测量进行配准,可以提供跟踪传感器,跟踪传感器跟踪测量设备相对于对象或人体的6DOF姿势。因此,每一个局部获取的相对位置是已知的。跟踪传感器还可以提供低分辨率全局3D模型、以及可以被用于局部数据集的可视化和导航的中等分辨率彩色纹理数据。跟踪传感器可以优选地由第一传感器来提供。
可以使用不同传感器技术进行跟踪(参见下文)。两种特定方法是第二测量数据(例如,3D扫描)的各个测量与全局3D模型(例如,基于第一测量数据)之间的3D点云匹配、以及基于例如在2D图像中跟踪的面部特征的视觉SLAM(simultaneous localization andmapping,同时定位和地图构建)。
跟踪功能可以被用于将操作者实时地引导至正确距离以得到对象的经良好聚焦的局部扫描,以及引导至正确位置以扫描特定细节。特别地,利用集成显示器,可以使局部扫描器(第二光学传感器)视场(field of view,FOV)在来自跟踪器摄像头的实况图像的顶部上可视化,并且可以通过在屏幕上显示符号或增强现实来将用户引导至正确位置和焦距。
必须将局部扫描器定位在距待扫描表面的正确距离处(在固定焦点的情况下)。为了使这能够实现,可以使用全局跟踪传感器来实时引导用户,并且在距离最优时触发局部测量。代替需要非常低延时跟踪传感器的实时触发,摄像头获取也可以连续运行,并且此后可以选择最佳图像。这种替代方案需要不太明亮的光照,具有较低帧速率和较少处理(无突发求平均)的传感器。然而,用户将需要更准确的引导来达到正确的距离,因此对UI和跟踪延时的要求更高。
另选地,如果局部扫描器具有带有机动聚焦的透镜(齿轮、音圈、液体透镜等),则可以基于跟踪传感器的距离读数来实现自动聚焦特征。这将允许用户更灵活地定位扫描器。代替局部摄像头图像本身作为自动聚焦算法的输入,使用跟踪传感器(第一光学传感器)是有益的,因为跟踪传感器在较大深度范围上提供绝对距离测量。由于大工作距离范围以及较少运动模糊问题,因此自动聚焦的大孔径局部传感器对用户来说是最方便的。
因此,本发明涉及一种用于测量比如技术工件或人体的对象的测量系统。该测量系统包括测量设备以及控制和处理单元。测量设备包括至少一个摄像头、第一光学传感器以及第二光学传感器。
第一光学传感器提供第一视场,并且被配置用于收集表示对象的第一部分的第一测量数据;并且第二光学传感器提供第二视场,并且被配置用于收集表示对象的第二部分的第二测量数据。特别地,这些传感器可以被配置成使得第一视场可以等于或大于第二视场,其中,可以将第一光学传感器和第二光学传感器设置成使得对象的第一部分包括对象的第二部分。
第二光学传感器包括至少三个光源,所述至少三个光源被配置用于从至少三个不同姿势或方向对对象进行照明。控制和处理单元包括第二捕获模式,该第二捕获模式被配置成通过以下项来提供第二测量数据:通过执行至少三个照明步骤来从至少三个不同姿势对对象进行照明,其中,各个照明步骤皆由所述三个光源中的一个光源来提供照明;通过捕获针对照明步骤中的各个照明步骤的图像来捕获至少三个图像;以及基于对至少三个图像以及光源的至少三个不同姿势进行处理来导出表面形貌信息。
控制和处理单元包括参考功能,参考功能被配置成通过参考第一测量数据与第二测量数据来提供经配准测量数据。
本发明组合了两个传感器(局部和全局),以使得还可以以高局部分辨率、全局覆盖、自动配准、聚焦以及用于局部测量的运动补偿,来执行对象或人体的全部或部分的手持式非接触扫描。
可以将第一测量数据和/或第二测量数据提供为表示对象的表面(特别是表示表面的形貌)的任何种类的测量数据。
特别地,可以将第一测量数据和/或第二测量数据提供为三维(3D)点云数据。
特别地,第二测量数据的分辨率大于第一测量数据的分辨率。第二测量数据的点密度可以大于第一测量数据的点密度,特别是在第一测量数据和第二测量数据被提供为点云时。
在一个实施方式中,特别地通过由三个光源中的与此前启用的光源不同的一个光源来提供照明,从而可以接连地执行至少三个照明步骤。
在一个实施方式中,特别地通过由至少三个光源同时提供照明,可以同时执行至少三个照明步骤,
特别地,通过利用至少三个光源中的各个光源提供特定照明波长来执行至少三个照明步骤,其中,光源的特定照明波长分别彼此不同。
同时照明也可以通过使用多路复用技术(诸如使用RGB照明和RGB传感器(摄像头))来提供。可以例如通过使用同步化闪光和三分接头(tap)TOF传感器来提供顺序照明。
在一个实施方式中,至少一个摄像头可以是第一光学传感器的一部分和/或第二光学传感器的一部分。特别地,测量设备可以包括多个摄像头,其中,摄像头(至少一个)的第一部分被指派给第一传感器,并且第二部分(至少一个摄像头)被指派给第二传感器。另选地或者另外地,可以存在特定一组摄像头,其由第一传感器和第二传感器用于相应数据获取。
根据一个实施方式,第一光学传感器可以包括全局光照明源。全局光照明源可以提供对对象的第一部分的足够照明,以用于在光照明期间检测相应敏感表面特性。特别地,全局光照明源可以是白光照明源。
白光照明可以被特别用于检测对象纹理的彩色信息。为了测量3D数据,可以替代地使用单色照明。为了测量人类皮肤(其是体积散射体),蓝光或绿光可以是有利的,因为例如蓝光在皮肤中的穿透小于例如红光。为了在使用红光或白光照明时避免体积散射,可以使用偏振。
特别地,全局(白)光照明源可以包括第一取向的偏振滤光(polarisedfiltering),并且至少一个摄像头可以包括第二取向的偏振滤光,第二取向与第一取向正交。可以提供正交偏振以消除镜面反射。可以通过将相应的滤光器(optical filter)与(白)光照明源和摄像头进行组合来提供相应的滤光。
特别地,全局光照明源可以包括第一取向的偏振滤光,并且至少一个摄像头可以包括第二取向的偏振滤光,第二取向与第一取向平行。例如,当第一传感器被具体实施为有源(active)三角测量传感器时,可以提供平行偏振以避免针对3D测量的不想要的体积散射。
特别地,全局光照明源可以由第二光学传感器的至少三个光源中的至少两个光源来提供。由此,将光源中的至少两个光源配置成发射用于照明对象的光。可以分别控制这样的光源来发射(白)光,以用于利用第一传感器进行图像捕获。
在一个实施方式中,可以将第一光学传感器实现为三角测量传感器,三角测量传感器具有图案投影仪,图案投影仪用于将光图案投影到对象上。特别地,光图案可以由图案序列来提供。特别地,将图案投影仪配置成发射红外光或紫外光,并且在相应的波长范围内投影图案。因此,可以将摄像头构建成检测相应波长范围的光。
在一个实施方式中,可以将第一光学传感器实现为提供对象纹理特征识别的三角测量传感器。这样的实施方式使得能够避免图案的投影,而是应用所捕获的数据的(图像)处理,以便标识特定关注点。
特别地,三角测量传感器包括至少两个摄像头,摄像头设置有相对于图案投影仪定义且已知的姿势(空间位置和取向)。这种布置提供了有源-立体(active-stereo)三角测量系统。
根据一个实施方式,第二光学传感器的至少三个光源中的各个光源皆可以包括第一取向的偏振滤光,并且至少一个摄像头可以包括第二取向的偏振滤光,第二取向与第一取向平行。
根据一个实施方式,可以通过执行从阴影恢复形状(shape-from-shading,SFS)测量来提供第二测量数据,并且可以将表面形貌信息提供为表面法线信息(surface normalinformation),特别是提供为法线图或高度图。因此,可以基于SFS测量来导出第二测量数据,如下面进一步详细描述的。
在一个实施方式中,控制和处理单元可以包括第一捕获模式,第一捕获模式被配置成通过以下项来提供第一测量数据:借助于第一光学传感器对对象进行照明或者将图案投影到对象上(特别地,对对象进行照明包括投影图案的实施方式);在对对象进行照明或者将图案投影到对象上期间,捕获对象的一组图像;以及基于对该组图像进行处理来导出第一对象数据。
特别地,第一捕获模式包括例如基于该组图像来导出对象的第一部分的点云的步骤。
特别地,第一捕获模式包括例如基于所导出的点云来导出对象的第一部分的数字模型的步骤。
因此,第一传感器和第一测量数据可以提供基于三角测量的测量、以及关于待测量对象的表面信息的高效且精确确定。表面信息优选地以点云的形式来确定。
在一个实施方式中,参考功能可以被配置成通过借助于第一捕获模式计算对象的第一部分的数字模型,来将经配准测量数据提供为增强数字模型,该数字模型提供粗糙表面法线信息。对象的数字模型可以优选地基于由三角测量提供的点云数据来计算。在另一步骤中,可以通过借助于第二捕获模式(即,通过执行第二捕获模式)执行从阴影恢复形状(SFS)测量,来将表面形貌信息提供为精细表面法线信息。可以通过利用精细表面法线信息调整粗糙表面法线信息,特别地通过将粗糙表面法线信息替换成精细表面法线信息,来对数字模型进行更新以提供增强数字模型。
特别地,可以基于对粗糙表面法线信息和精细表面法线信息进行处理,来导出相对表面法线信息。另选地或者另外地,可以基于对精细表面法线进行低通滤波(lowpass-filtering),来导出相对表面法线信息。
特别地,参考功能可以包括基于由SFS测量提供的精细表面法线信息和/或相对表面法线信息来重建位移图的步骤。
在一个实施方式中,控制和处理单元可以包括运动补偿功能,运动补偿功能被配置成通过以下项来提供经补偿表面形貌信息:在执行第二捕获模式的同时跟踪对象相对于测量设备的位置和/或取向;基于该跟踪来确定针对至少三个图像中的各个图像的相对取向信息;计算针对至少三个图像中的至少一个图像的经调整取向,以用于提供至少三个图像的对应取向;以及通过另外对经调整取向进行处理来导出表面形貌信息,从而导出经补偿的表面形貌信息。
在一个实施方式中,第一光学传感器可以被配置用于在测量设备和对象的相对移动期间,通过应用同时定位和地图构建(SLAM)算法来收集第一测量数据。
在一个实施方式中,测量设备可以包括手持式主体,并且至少一个摄像头、第一光学传感器和第二光学传感器被设置在手持式主体中或者手持式主体处。
用于这种手持式设备(或者本发明的其它固定实施方式)的工作流可以包括以下步骤:
可以执行第一面部测量,包括通过左右、上下移动来扫描面部的预扫描。工作距离理想地应稍大(例如,50cm),以提高患者/客户的舒适度。计算粗糙3D模型。接下来,通过实时跟踪来获取局部数据。通过将3D跟踪传感器数据与粗糙模型进行匹配来计算扫描器的6DOF姿势。以正好要处于局部传感器的非常小的焦深内的正确距离,来将用户引导至所想要的扫描位置(例如,眼睛侧面上的皱纹)。工作距离很可能更短(例如,10cm至15cm),以适应局部传感器的要求。接下来,通过使用全局扫描作为索引来执行分析。根据全局扫描器数据来计算3D模型。局部扫描例如由粗糙3D模型的表面上的矩形来进行标记。通过点击矩形之一,将对应的局部扫描数据打开并且独立于粗糙模型来进行查看。作为以上分析的替代,可以执行合并分析。这里,从全局扫描器数据来计算更精确的3D模型。例如通过对纹理图进行更新或通过细化网格,来将局部扫描数据与该3D模型合并。局部扫描由粗糙3D模型的表面上的矩形来进行标记。通过点击矩形之一,app放大局部扫描区域以允许直接在3D视图中进行检查。可以将具有3D外形的皮肤分析、统计等直接显示在3D视图上或者在其旁边浮动。
可以执行第二面部测量。如果受试者先前已经被扫描,则可以省略上述预扫描步骤。可以如上所述执行局部数据获取。接下来,可以执行前/后比较。如果已经在另一场合扫描了同一受试者,则软件可以自动地查找从同一位置获取的扫描,并且允许用户容易地在它们之间进行切换或者并排显示图像。
在另选工作流中,手持式设备可以由用户或者工业计量领域的机器人来引导,例如以高分辨率的第二传感器检测缺陷,高分辨率的第二传感器例如处于由第一传感器测量的空气涡轮机叶片上,以用于相对于外部叶片几何形状来定位缺陷。
本发明还涉及一种借助于测量设备来测量对象的方法。所述方法包括以下步骤:相对于测量设备对准对象;通过将第一测量光引导至对象并且接收第二测量光,来获得与该对象的第一部分相关的第一测量数据,其中,第二测量光对应于在对象处反射的第一测量光的至少一部分;通过从至少三个不同姿势对对象进行照明,来获得与该对象的第二部分相关的第二测量数据;通过捕获针对照明步骤中的各个照明步骤的至少一个图像来捕获至少三个图像,并且基于对至少三个图像以及至少三个不同姿势进行处理来导出表面形貌信息;以及向第二测量数据指派第一测量数据。
在一个实施方式中,可以从至少三个不同姿势同时提供照明。另选地,可以从至少三个不同姿势接连地提供照明。
在一个实施方式中,可以通过在对象上投影图案,在投影图案期间捕获该对象的一组图像,以及基于对该组图像进行处理来导出点云数据作为第一测量数据,从而获得第一测量数据。这样的测量过程可以特别对应于三角测量。
在一个实施方式中,可以通过以下项来获得增强数字模型:借助于第一测量数据来计算对象的第一部分的数字模型,该数字模型提供粗糙表面法线信息;通过执行从阴影恢复形状(SFS)测量,将表面形貌信息提供为精细表面法线信息;以及通过利用精细表面法线信息调整粗糙表面法线信息,特别地通过将粗糙表面法线信息替换成精细表面法线信息,来对数字模型进行更新以提供增强数字模型。
在一个实施方式中,该方法可以包括由上述测量系统的控制和处理单元提供的步骤中的任何步骤。
本发明还涉及一种计算机程序产品,该计算机程序产品在由计算单元(特别是由控制和处理单元)执行时,使得自动执行上述方法的步骤。
在一个实施方式中,第一传感器可以提供测量设备的6DOF姿势和待扫描对象或人体的全局3D模型两者。提供对象或身体的“单次拍摄(single shot)”密集3D扫描的传感器类型既可以被用于创建全局模型,又可以被用于通过使用例如迭代最近点(iterativeclosest point,ICP)算法,将3D点的各个单个帧与全局模型相匹配来进行配准。
另选地或者另外地,可以实现稀疏(非密集)视觉SLAM,由此自动地找到和跟踪较少数量(例如,数百个)的表面特征,以计算相对6DOF姿势。然后,可以在稍后阶段计算用于显示和导航的全局3D模型。
另选地或者另外地,可以使用专门的面部跟踪算法来跟踪传感器姿势以及基于来自常规摄像头、立体摄像头、或3D传感器的图像的面部表情。
在一个实施方式中,第一传感器可以提供对人的头部、手部、胸部、或其他身体部位的6DOF跟踪。传感器可以提供为以手持方式工作,而无需固定受试者的身体。因此,跟踪系统可以跟踪测量设备或传感器与身体或对象之间的相对姿势。
当扫描面部/身体时,表情可能在扫描期间稍微改变,因此可能要求在配准数据时关于此的一些灵活性。例如,可以使用从运动捕获中已知的面部表情跟踪,来增加配准准确度。
优选地,将第一传感器具体实施为提供例如1mm网状栅格(mesh grid)分辨率和/或例如0.2mm彩色纹理像素分辨率的粗糙3D模型。高分辨率纹理可以使3D模型看起来比实际更详细。
为了使第一传感器不太突出,可以将红外(infrared,IR)光用于有源照明。另一方面,IR光更深地穿透皮肤,并可能造成一些系统性形状(form)误差。对于最小的穿透和最佳可能分辨率,在此可以优选蓝光。
另选地或者另外地,为了提供彩色纹理,需要白光源。这可以是大漫射区域源,以便减少眩目(blinding)和最小化影子(shadow)形成。具有内置有源光源是优选的,因为它将允许摄像头在任何环境下良好地工作,并且内置光源的受控色温将使得也可以执行绝对比色法(colourimetry)。
为了减少运动模糊,可以优选具有高峰值功率闪光照明和全局快门摄像头。
在一个实施方式中,第一传感器可以由以下传感器类型之一来提供(主要提供3D扫描能力并且通常与用于纹理映射(texture mapping)的常规2D彩色摄像头组合):
·LIDAR点扫描器
·多点LIDAR
·使用CMOS传感器的间接飞行时间(Indirect time-of-flight,iTOF)(利用周期性调制光的相位测量)。
·使用SPAD(single photon avalanche diode,单光子雪崩二极管)阵列和脉冲光的直接飞行时间(Direct time-of-flight,dTOF)传感器。
·具有有源图案投影的立体视觉3D传感器,以得到无特征表面上的更多纹理。
·条纹投影(Fringe projection)扫描器(按顺序投影的几种不同图案)
·结构光(点投影仪和单个摄像头),
·单次拍摄立体重建(被动,即,无图案投影)。
·单次拍摄被动三摄像头立体重建。这三个摄像头可以处于完全的直线上,以减少处理要求(单次矫正(rectification)、1x三图像匹配,而不是3x两图像匹配),或者是非直线(例如,等边三角形的角),以得到鼻子周围的更好覆盖(由于遮蔽)并且使得能够在任何取向的特征上进行匹配。
·使用立体摄像头或单个摄像头的多视图“SLAM”(同时定位和地图构建)立体重建。
·具有两个摄像头的栅格投影,单次拍摄多线三角测量
在一个实施方式中,第二传感器可以被具体实施为使用从阴影恢复形状(SFS,也被称为立体光度测定法(stereophotometry)或光度立体法(photometric stereo))的局部高分辨率扫描器。使用具有处于不同入射角的多个光源的至少一个摄像头,来测量各个点中的表面法线,然后重建3D形式。这可以提供非常高的分辨率。捕获多个(至少三个)顺序或同时照明和图像,对于光源中的各个光源皆有至少一个图像。高分辨率可以涉及高横向分辨率和高深度分辨率。
SFS的主要测量数据是沿两个正交的x轴线和y轴线的表面斜率。可以根据对斜率数据进行积分来计算高度图。信号形成的基本机制主要依赖于表面散射特性的先验知识,诸如Lambertian散射或BRDF函数。
需要至少一个单个摄像头来观测对象。通常,将四个光源均匀地分布放置在摄像头的周围。假定朗伯(Lambertian)特性,第i次曝光的强度Ei(x,y)取决于反照率(albedo)ρ以及局部表面法线与第i个光源的照明矢量/>之间的角度的余弦函数。
尽管三个光源(三次曝光)足以根据强度测量来求解表面法线,但是实际上通常实现四个光源来生成超定方程组,以用于改进对照噪声和镜面反射的鲁棒性。
在对表面法线进行数值积分之后,可以重建高度图。数值积分可以通过沿着所选择的路径进行积分来局部地执行,或者通过傅立叶变换或采用最小二乘方式的数值方法来全局地执行。与其它3D传感器类型相比,优点在于极高的动态范围(深度范围/噪声),这是因为积分过程固有地充当去噪算子(使低频次(low-frequent)部分被放大,使高频次部分被去放大),同时保留横向分辨率。这就是为什么这种方法被认为是最信息高效的3D方法之一。
然而,实现工作从硬件转移到了软件,因为积分算法通常在计算上是密集的。斜率数据中的小系统性误差将导致高度图中显著的低频次系统性误差,因此摄像头和照明单元的校准需要尽可能准确。
第二传感器的高分辨率也增加了对运动模糊的灵敏度。为了避免在例如太强的运动期间拍摄图像,可以使用跟踪传感器来引导对象或用户静止,然后仅在相对移动低于特定阈值时触发局部测量。这可以实时发生,或者通过在获取更长的图像突发之后选择最静止图像来发生。
当然,具有明亮的照明以使曝光时间缩减也是有益的。为此,与连续地发射光相比,有利的是使用与全局快门摄像头同步的闪光照明。
第二传感器还可以受益于对利用短曝光时间获取的许多图像的突发的运动补偿求平均。当减少曝光时间以避免模糊时,各个图像皆可能变得曝光不足和/或有噪声。为了补偿,摄像头可以以高帧速率运行,并且可以对多个这样的图像进行求平均以减少噪声。在进行求平均之前,可以通过基于全局跟踪传感器或者通过例如将突发中的2D图像彼此比较的光流算法来使图像移位从而补偿运动。
通过实现依靠获取具有不同光照的图像序列的SFS传感器,该序列中的帧也可以优选地被运动补偿以避免测量误差。通过使用跟踪传感器6DOF数据,可以使2D图像移位和旋转或者以其它方式扭曲以补偿运动。
例如,从阴影恢复形状的局部测量包括最少三次曝光。对于这些图像的准确数据处理,可以提供像素完美的恒定视场,以便提高测量数据的准确度。否则,可以将不同局部区域的灰度值混合在一起。
利用快速图像传感器和快速照明切换,运动补偿突发求平均(如上所述)也可以与多次拍摄序列获取相结合。如果例如对于各个照明角度应当获取十个图像,那么以最高可能速率在照明方向之间切换并接着重复该序列十次可以是有益的。这将最小化序列的相位之间的移位,并因此减少测量伪像。
另选地或者另外地,可以使用具有三个或更多个“分接头”的TOF(飞行时间)图像传感器,因为在那时三个或更多个光源之间的切换可以进行得如此之快(MHz切换速率,在读出图像之前数百或数千次重复),以致实际上在需要补偿的照明之间没有运动。
在第二传感器的相对小视场的情况下,可能变得难以从数据本身标识在何处拍摄各个局部图像或3D扫描。这里,可以将基于第一测量数据的粗糙3D模型用作示出在何处获取局部扫描的索引。使用来自先前测量的索引,扫描器UI还可以引导用户回到同一位置,以重复捕获对象/身体上的同一区域,例如进行前/后比较。
为了组合全局数据和局部数据,利用第一传感器的全局测量可以被用作3D“索引”或导航帮助,以对利用第二传感器的局部测量进行编制目录,由此在不实际合并数据的情况下,在全局模型上指示局部测量的位置。在选择局部测量中的一个局部测量之后,可以独立于其它扫描来显示和/或分析该局部测量。通过分离数据集,全局3D模型将是轻量的且处理和显示快速,并且有可能以非常高的分辨率执行局部测量。
也可以将高分辨率局部测量与全局扫描3D模型合并。在任何可用的地方,局部(第二)数据将被用于得到最佳可能的分辨率,并且全局模型将被用于填充局部测量之间的间隙。如果第二传感器(局部传感器)是3D传感器,则可以合并形状(例如,网格),而如果第二传感器是2D摄像头,则可以合并彩色纹理。还可以将第二传感器3D数据合并为位移或表面法线“纹理图”,以避免修改实际网格。
可以使用例如由第一传感器提供的姿势,来提供第二测量数据(局部数据)的配准。通过处理第一测量数据提供的6DOF数据可以和第一传感器与第二传感器(局部跟踪传感器)之间的经工厂校准的关系进行组合,以配准第二测量数据(局部数据),因而该6DOF数据可以在全局3D模型上进行组合和可视化。
为了进一步提高配准准确度,可以将第二测量数据(局部扫描器数据)与全局3D模型(例如,根据第一测量数据导出的)进行匹配。特别地,如果第二传感器(局部扫描器)提供可视图像,则可以将该图像对照3D模型的纹理图进行匹配以横向定位该图像。为了改善纵向位置(即,沿着第二传感器的光学轴线),还可以将该纵向位置移位,以使局部测量的中心与该点处的全局3D模型重合。
在第二测量数据(局部3D数据)应当直接与全局模型组合的情况下,旋转局部图块(patch)也可能变得有利,并且还可以使该图块弯曲,从而可以将该图块与全局数据无缝地合并。尤其是对于SFS传感器,可以使局部图块弯曲到合适位置。
用于将高分辨率表面数据与全局模型合并的潜在更快选项是使用纹理映射,由此,3D网格的各个顶点皆映射到2D图像坐标。网格的不同部分通常映射到同一纹理图像的不同区域中。2D图像可以是常规彩色图像,但是该2D图像也可以定义其它方面,诸如表面法向矢量甚或垂直于表面的相对位移。
特别地,与网格具有顶点相比,2D图像通常具有高得多的分辨率(更多的像素)。因此,可以增强模型的视在分辨率而不必细化网格。
为了实现人脸的照片逼真渲染,通常使用多个这样的图来控制表面外观的不同方面。作为示例,“Digital Emily”模型使用六个图来控制漫射、镜面、单散射以及位移。
附图说明
仅通过示例的方式,在下文中参照附图,对本发明的优选实施方式进行更全面描述,其中:
图1示出了根据本发明的测量系统的实施方式;
图2示出了根据本发明的测量系统的实施方式;
图3示出了根据本发明的测量方法的步骤的流程图;
图4a和图4b示出了根据本发明的测量系统的测量设备的实施方式;以及
图5示出了由根据本发明的测量系统提供的基于三角测量的测量的原理。
具体实施方式
图1示出了根据本发明的测量系统1的实施方式。该测量系统包括测量设备10以及控制和处理单元5。
在所示实施方式中,该测量设备包括:摄像头11、第一光学传感器20以及第二光学传感器30。第一光学传感器20提供第一视场,并且被配置用于收集表示对象的第一部分的第一测量数据。
这里,第一光学传感器20被实现为作为有源单(active-mono)(结构光)系统的单次拍摄三角测量传感器。“有源”被称为特定图案的有源投影,而“单”和“立体”代表所使用的摄像头的数量。第一光学传感器20包括用于投影图案的两个投影设备21和22(投影仪)。随机点图案就是其中的一个选项。使局部特征的密度和大小与所实现的横向分辨率相关,并且可以利用专用编码和匹配技术(诸如二进制编码、彩色编码、散斑图案等)来进行优化。
所观测的图案的各个局部特征皆可以利用单独的预校准像素-深度曲线来明确地标识和指派。
与此相反,局部特征的标识对于有源立体系统是不必要的。作为代替,观看同一局部特征的两个摄像头中的像素坐标必须通过匹配算法来进行定位。图5示出了有源-立体系统。
摄像头11被用于检测所投影的图案,并因此用于导出待测量对象的表面信息,作为表示该对象的至少第一部分的第一测量数据。
第二光学传感器30提供第二视场,并且被配置用于收集表示对象的第二部分的第二测量数据。这里,第二光学传感器包括四个光源31-34,这四个光源被配置用于从四个不同方向(姿势)对对象进行照明。
第二光学传感器30被实现为从阴影恢复形状(SFS)传感器,其中,摄像头11也是SFS传感器30的一部分。
因此,摄像头11是由第一光学传感器20和第二光学传感器30使用的。摄像头11是第一光学传感器20的一部分和第二光学传感器30的一部分。由控制和处理单元5来控制由摄像头11进行的相应图像捕获。换句话说:测量系统1被配置成借助于摄像头11来提供第一测量数据和第二测量数据。
为了提供第一测量数据,摄像头11被控制为捕获与由投影仪21和22进行的图案投影同步的图像数据。
为了提供第二测量数据,摄像头11被控制为捕获与照明设备31-34同步的图像数据。为此,控制和处理单元5包括第二捕获模式,该第二捕获模式被配置为通过以下项来提供第二测量数据:通过执行至少四个接连照明步骤来从四个不同姿势对对象进行照明,其中,各个照明步骤皆提供启用四个光源31-34中的一个光源,特别是不同于此前启用的光源。通过捕获针对接连照明步骤中的各个照明步骤的图像来捕获至少四个图像。基于对至少四个图像以及光源31-34的四个不同姿势进行处理来导出表面形貌信息。在另选实施方式中,可以同时执行照明和图像捕获。
第一测量数据和第二测量数据可以借助于执行由控制和处理单元5提供的相应参考功能来相对于彼此进行参考。参考数据在此是指将第一测量和第二测量(例如,相应点云的点或图像的像素)指派给表面点,以使第二测量数据的各个值皆与第一测量数据的特定值相关,其中,两个值与对象的表面的特定点或区域相关。
图2示出了根据本发明的测量系统1的实施方式。该测量系统包括测量设备10以及控制和处理单元5。而且,测量系统1包括显示器6。
在所示实施方式中,测量设备包括第一光学传感器20和第二光学传感器。第一光学传感器20提供第一视场,并且被配置用于收集表示对象的第一部分的第一测量数据。
第一光学传感器20被实现为(立体)三角测量传感器,并且包括用于投影光图案的投影设备21,并且包括用于检测对象处的图案(即,用于捕获所投影的图案的相应图像)的两个摄像头12和13。表面形貌信息可以通过对由摄像头12、13提供的数据进行处理而导出。这种表面形貌信息被提供为第一测量数据。
第二光学传感器包括被设置在测量设备10中心的摄像头11。而且,第二光学传感器包括四个光源31-34,以用于从四个不同姿势对对象进行照明。
摄像头12和13被用于检测所投影的图案,并因此用于导出待测量对象的表面信息,作为表示该对象的至少第一部分的第一测量数据。摄像头11与被设置在摄像头11周围的光源31-34组合使用。光源31-34提供环状形状。因此,光源31-34可以优选地被配置为环形二极管或分段LED环。摄像头11和光源31-34提供第二光学传感器。
与第一(全局)光学传感器相比,第二光学传感器提供局部高分辨率测量。第一光学传感器提供全景传感器。因此,传感器的视场大小显著不同,即,第一(全局)光学传感器的视场显著大于第二传感器的视场。
根据图2的测量系统1被具体实施为被配置成由操作者移动的手持式设备。因此,操作者可以将测量系统1相对于待测量对象对准,并且相应地将设备引导至例如对象处的所关注区域。这种设计允许执行更灵活且可移动的测量。
处于扫描器1背面上的显示器6提供显示实况图像,以例如使跟踪(第一)传感器视场可视化,给出距离反馈和/或引导用户在进行扫描时以特定最大速度跟随所定义的图案。距离和指向引导可以由被覆盖在实况图像上的椭圆来提供,以示出所关注区域(例如,人的头部)应当处于图像中的何处以及有多大。
需要在特定聚焦范围内获取局部扫描(利用第二光学传感器执行的)并且使该局部扫描指向特定位置(如例如在扫描之前定义的、或者重复先前测量)。除了可以以软件进行补偿的侧倾角(roll-angle)(绕光学轴线)之外,还优选地需要引导其它五个自由度以适当地重复测量。
用于局部扫描的这种相对复杂的5DOF引导可以例如利用增强现实显示的形式来完成,该增强现实显示具有被覆盖在实况图像上的引导。到对象的距离在此可以借助于标记a(例如,两个圆圈)来示出。目标视场可以通过在图像上覆盖方框来显示。方框的取向也可以为侧倾角提供引导。两个倾斜旋转轴线可以由显示器上的覆盖箭头来引导。
为了不丢失对目标区域的跟踪,显示器可以自动地缩小,以使目标标记仍保持在所显示的区域内。
如图3所示,可以通过执行所示的步骤来提供利用图2的测量系统1的测量。根据本发明的特定实施方式,所述步骤可以以与以下不同的顺序来执行。当然,要理解,本发明不限于下面的过程,而是还覆盖包括更少或附加步骤的另选方法。
在步骤101中,将对象(例如,人体的一部分(例如,面部))和测量设备10相对于彼此定位和对准,以在对象与测量设备10之间提供处于允许的或所希望的测量范围内的距离。可以将对象相对于测量设备10对准,反之亦然。
在步骤102中,通过控制第一光学传感器来获取第一测量数据。投影仪21被控制为朝向对象发射特定图案或者所定义的图案序列。参照图2的实施方式,摄像头12和13被控制为获取与所投影的一个或多个图案相关的图像数据。摄像头12和13可以提供单个图像或者可以提供被投影覆盖的对象的图像序列(例如,视频流)。
投影仪21和/或摄像头12、13可以包括相应的偏振滤光器。可以使摄像头12、13的(线性)滤光器的偏振方向垂直于投影仪21的滤光器的(线性)偏振方向来取向。由此,可以抑制不想要的镜面反射。
在步骤103的情况下,基于图像数据,计算表示对象的表面形貌的3D点云。
步骤104包括根据点云数据来计算表面的粗糙3D模型(例如,网格模型)。
在步骤105中,另外,可以控制光源31-34同时被启用,并且摄像头12捕获相应的附加图像数据。这种附加图像数据提供确定纹理数据,例如,纹理图。可以将纹理数据导出为反照率图、镜面图和/或法线图。
步骤106包括将纹理数据与粗糙3D模型融合,从而提供对象(特别是人脸)的逼真表示。
在步骤107的情况下,执行从阴影恢复形状(SFS)测量。这是通过一次接通四个光源31-34中的一个光源并且在照明期间(特别是同时地)利用摄像头11(根据图2的实施方式)进行相应的曝光来提供的。然后针对各个光源重复该步骤。将所获取的数据的总和提供为SFS数据。SFS数据提供高分辨率表面形貌数据。另选地,使光源31-34同时接通(例如,通过所述光源中的各个光源皆使用与其它光源不同的特定波长),并且摄像头同时进行曝光。对所捕获的图像数据的处理允许区分光源中的各个光源的光信息。
根据摄像头对光源的布置和相应指派,步骤102和107可以同时运行。这将特别地可用于根据图2的实施方式。
步骤108包括基于SFS数据来导出表面法线,以及(在例如通过数值积分导出表面法线之后)重建高度图和反照率图。
在步骤109中,将高度图(SFS表面法线)与3D模型一起处理,并且在步骤110中,基于这种处理来导出位移图。位移图可以提供基于SFS表面法线和3D模型表面法线的相对表面法线。
步骤111提供将位移图与3D模型融合并且生成准确地表示对象的经更新的3D模型。
通过执行步骤109,可以提供经配准测量数据,这是因为可以将第一测量数据指派给第二测量数据。
另选地或者另外地,通过执行步骤111,可以提供经配准测量数据,这是因为在此可以将第一测量数据指派给第二测量数据。
光源31-34优选地被实现为发散的,并且摄像头11优选地具有广角物镜。因此,照明矢量和观测矢量是根据点云的位置而改变的。为了通过求解线性方程组来准确且快速地计算未知表面法线,可以利用基于第一测量数据的3D模型作为输入。可以根据四个阴影图像来重建具有较高横向分辨率和深度灵敏度的位移图。位移图和第一传感器的3D数据的数据融合使得能够解析表面(例如,皮肤)结构的精细3D细节。
光源31-34与摄像头11之间的交叉偏振可以用于消除镜面反射。然而,可以优选地将平行偏振应用于SFS,以避免体积散射并且以精细细节得到良好的对比度。另外,图案投影仪21与摄像头12、13之间的正交偏振可以避免不想要的体积散射用于利用有源三角测量传感器的3D测量。
图4a和图4b示出了根据本发明的测量设备10的实施方式。
根据图4a的测量设备10包括:四个摄像头11-14、四个照明单元31-34以及两个投影仪21、22。投影仪21和22是第一全局光学传感器的一部分,并且被配置成提供用于对对象的表面进行基于三角测量的测量的图案投影。对象处的相应投影是由至少一个、特别是全部四个摄像头11-14来捕获的。因此,用于捕获投影的至少一个摄像头提供第一传感器的一部分。通过对由基于三角测量的测量提供的距离数据进行处理,可以基于所捕获的投影来导出(粗糙)表面模型。
而且,四个照明单元31-34也可以被认为是第一传感器的一部分。可以控制四个照明单元31-34同时对对象的表面进行照明,并且可以分别控制摄像头11-14以捕获被照明对象的图像。纹理数据可以基于所述图像导出。
可以使四个照明单元31-34的偏振方向平行于摄像头11-14的偏振方向取向。提供对具有全局特征(character)(例如,低分辨率或中等分辨率)的表面数据的生成的特定光学组件的组合控制应被理解成表示第一(全局)传感器的至少一部分。
此外,四个照明单元31-34以及四个摄像头11-14中的至少一个摄像头(特别是全部四个摄像头11-14)表示当控制四个照明单元31-34顺序地(一个光源接一个光源地)照明对象的表面并且控制至少一个摄像头捕获顺序照明中的各个照明的至少一个图像时的第二传感器。由此获取的图像数据根据SFS算法被处理,以导出精细且高分辨率(局部)表面数据。
提供对具有局部特征(例如,高分辨率)的表面数据的生成的特定光学组件的组合控制应被理解成表示第二(局部)传感器的至少一部分。
因此,根据本发明的(第一或第二)“传感器”应被理解为控制组件(光源、投影仪、和/或摄像头)的特定方式、以及用于以这种特定控制方式导出表面信息的信号处理。“传感器”不应被理解为(光学)组件的特定结构布置,其中,这种组件被专用于一种特定类型的数据获取。术语“传感器”不限于组件的限定结构布置,即,不限于或排它地包括组件的特定组合。相反,可以将同一摄像头用于不同类型的表面测量,因此应被理解为相应不同类型的传感器的一部分。因此,“传感器”可以定义专用测量类型,例如,SFS或摄影测量或有源立体/单测量。
图4b示出了测量设备10的实施方式,该测量设备包括:摄像头11-15、投影仪21-25以及照明光源31-36。
摄像头11-15中的各个摄像头皆被设置成与投影仪21-25中的一个投影仪构建相应对。特别地,各个对皆提供了相应的三角测量传感器,该三角测量传感器被配置成通过向表面发射图案并且捕获投被影到表面的图案的相应图像(即,利用所指派的摄像头接收图案的反射),来导出表面形貌数据。因此,摄像头-投影仪对中的每一者皆被认为提供第一传感器。另外,全部摄像头-投影仪对可以被认为提供第一传感器,这是因为由所有这些对生成的数据可以相对于彼此配准,并且经组合的数据集提供表面数据,即,第一测量数据。
光源31-36被分布在测量设备10上,以便提供用于对对象进行照明的不同角度,以用于执行从阴影恢复形状(SFS)测量。光源31-36被控制为顺序地对对象进行照明,即,一次一个光源地提供照明,并且一个接一个地启用光源。
至少中心设置的摄像头15被控制以根据顺序照明来捕获图像,即,摄像头15利用光源31-36来捕获所述照明中的各个照明的至少一个图像。所述图像中的各个图像皆包括关于一个特定照明方向的图像信息,并且包括相对于对象的表面处的隆起和/或凹陷的相应阴影投射(shadow cast)。
这种组合控制提供了第二传感器。
在一个实施方式中,控制摄像头11-15中的一组摄像头以获取SFS的相应图像数据。以这种方式控制摄像头中的至少两个摄像头。由此,可以获得分别提供关于表面形貌的扩展信息的扩展图像数据。
对通过SFS测量获得的图像数据进行处理,以导出对象的经高度解析的表面形貌信息。可以根据上述方法来提供数据处理。结果,可以获得高度图作为第二测量数据,该高度图表示跨表面的高度值的横向解析分布。
在一个实施方式中,第一测量数据的生成和第二测量数据的生成可以在“一次拍摄(one single shot)”中执行,这意味着整个照明步骤和图像捕获步骤在一秒钟(onesecond)内执行,并且整个测量步骤被认为是用户感知中的单个步骤。
在一个实施方式中,测量系统的控制和处理单元包括运动补偿功能。该运动补偿功能提供经补偿的表面形貌信息。可以通过在捕获图像时(特别是在执行SFS测量时)跟踪对象相对于测量设备10的位置和/或取向来执行补偿。可以将这种位置和/或取向跟踪实现为图像处理和图像跟踪过程。可以基于这种跟踪来导出针对所捕获的图像中的各个图像的相对取向信息。
可以计算所捕获的图像的相应经调整的取向,以用于提供所捕获的图像相对于彼此的相应取向。基于此,可以通过另外对经调整的取向进行处理来导出表面形貌信息,从而计算相应经补偿的表面形貌信息。因此,可以基于跟踪信息来使图像相对于彼此对准,从而为进一步数据和图像处理提供对应的基础。
可以将图4a和图4b的实施方式优选地实现为固定解决方案。
图5示出了根据本发明的测量设备的第一传感器的实施方式。第一传感器提供第一摄像头11和第二摄像头12以及投影仪21。投影仪被配置成朝向待测量对象2的表面投影图案。这里,对象2是人脸。摄像头11、12相对于投影仪21被设置,以用于接收对象2的叠加有所投影的光图案的图像数据。
可以基于对象2上的图案的外观(例如,基于图案的形状和/或大小)来导出第一测量数据。
尽管上面部分参照一些优选实施方式例示了本发明,但是必须理解,可以作出这些实施方式的许多修改例和不同特征的组合。这些修改例全部落入所附权利要求的范围内。
Claims (15)
1.一种用于测量对象(2)的测量系统(1),所述测量系统(1)包括测量设备(10)以及控制和处理单元(5),
所述测量设备(10)包括至少一个摄像头(11-15)、第一光学传感器以及第二光学传感器(30),
所述第一光学传感器(20)提供第一视场,并且被配置用于收集表示所述对象(2)的第一部分的第一测量数据,
所述第二光学传感器(30)提供第二视场,并且被配置用于收集表示所述对象(2)的第二部分的第二测量数据,
所述第二光学传感器(30)包括至少三个光源(31-36),所述至少三个光源被配置用于从至少三个不同姿势对所述对象(2)进行照明,
所述控制和处理单元(5)包括第二捕获模式,所述第二捕获模式被配置成通过以下项来提供所述第二测量数据:
通过执行至少三个照明步骤来从所述至少三个不同姿势对所述对象(2)进行照明,其中,各个照明步骤皆由所述至少三个光源(31-36)中的一个光源来提供照明,
通过捕获针对所述照明步骤中的各个照明步骤的图像来捕获至少三个图像,基于对所述至少三个图像以及所述光源(31-36)的所述至少三个不同姿势进行处理来导出表面形貌信息,并且
所述控制和处理单元(5)包括参考功能,所述参考功能被配置成通过参考所述第一测量数据与所述第二测量数据来提供经配准测量数据。
2.根据权利要求1所述的测量系统(1),其中,特别地通过由所述至少三个光源中的与此前启用的光源不同的光源来提供照明,从而接连地执行所述至少三个照明步骤。
3.根据权利要求1所述的测量系统(1),其中,特别地通过由所述至少三个光源同时提供照明,来同时执行所述至少三个照明步骤,特别是其中,通过利用所述至少三个光源中的各个光源提供特定照明波长来执行所述至少三个照明步骤,其中,所述光源的所述特定照明波长分别彼此不同。
4.根据前述权利要求中的任一项所述的测量系统(1),其中,所述第一光学传感器(20)包括全局光照明源,特别是白光照明源,特别是其中,所述全局光照明源是由所述第二光学传感器(30)的所述至少三个光源(31-36)中的至少两个光源来提供的。
5.根据权利要求4所述的测量系统(1),其中,所述全局光照明源包括第一取向的偏振滤光,并且所述至少一个摄像头(11-15)包括第二取向的偏振滤光,所述第二取向与所述第一取向正交。
6.根据前述权利要求中的任一项所述的测量系统(1),其中,所述第一光学传感器(20)被配置为三角测量传感器,所述三角测量传感器具有图案投影仪(21-25)以及至少两个摄像头,所述图案投影仪用于将光图案投影到所述对象(2)上,所述摄像头设置有相对于所述图案投影仪(21-25)定义和已知的姿势。
7.根据前述权利要求中的任一项所述的测量系统(1),其中,所述第二光学传感器(30)的所述至少三个光源(31-36)中的各个光源皆包括第一取向的偏振滤光,并且所述至少一个摄像头(11-15)包括第二取向的偏振滤光,所述第二取向与所述第一取向平行。
8.根据前述权利要求中的任一项所述的测量系统(1),其中,通过执行从阴影恢复形状(SFS)测量来提供所述第二测量数据,并且所述表面形貌信息被提供为表面法线信息,特别是法线图或高度图。
9.根据前述权利要求中的任一项所述的测量系统(1),其中,所述控制和处理单元(5)包括第一捕获模式,所述第一捕获模式被配置成通过以下项来提供所述第一测量数据:
借助于所述第一光学传感器(20)对所述对象(2)进行照明或者将图案投影到所述对象(2)上,
在对所述对象(2)进行照明或者将所述图案投影到所述对象(2)上期间,捕获所述对象(2)的一组图像,以及
基于对所述一组图像进行处理来导出第一对象数据,
特别是其中
所述第一捕获模式包括导出所述对象(2)的所述第一部分的点云的步骤,和/或
所述第一捕获模式包括导出所述对象(2)的所述第一部分的数字模型的步骤。
10.根据前述权利要求中的任一项所述的测量系统(1),其中,所述参考功能被配置成通过以下项来将所述经配准测量数据提供为增强数字模型:
借助于所述第一捕获模式来计算所述对象(2)的所述第一部分的数字模型,所述数字模型提供粗糙表面法线信息,
通过借助于所述第二捕获模式执行从阴影恢复形状(SFS)测量,将所述表面形貌信息提供为精细表面法线信息,
通过利用所述精细表面法线信息调整所述粗糙表面法线信息,特别地通过将所述粗糙表面法线信息替换成所述精细表面法线信息,来对所述数字模型进行更新以提供所述增强数字模型,
特别是其中,所述参考功能包括基于所述精细表面法线信息来重建位移图的步骤。
11.根据前述权利要求中的任一项所述的测量系统(1),其中,所述控制和处理单元(5)包括运动补偿功能,所述运动补偿功能被配置成通过以下项来提供经补偿表面形貌信息:
在执行所述第二捕获模式的同时跟踪所述对象(2)相对于所述测量设备(10)的位置和/或取向,
基于所述跟踪来确定针对所述至少三个图像中的各个图像的相对取向信息,
计算针对所述至少三个图像中的至少一个图像的经调整取向,以用于提供所述至少三个图像的对应取向,以及
通过另外对所述经调整取向进行处理来导出所述表面形貌信息,从而导出所述经补偿表面形貌信息。
12.根据前述权利要求中的任一项所述的测量系统(1),其中,所述第一光学传感器(20)被配置用于在所述测量设备(10)和所述对象(2)的相对移动期间,通过应用同时定位和地图构建算法来收集所述第一测量数据。
13.根据前述权利要求中的任一项所述的测量系统(1),其中,所述测量设备(10)包括手持式主体,并且所述至少一个摄像头(11-15)、所述第一光学传感器(20)和所述第二光学传感器(30)被设置在所述手持式主体中或者所述手持式主体处。
14.一种借助于测量设备(10)来测量对象(2)的方法,所述方法包括以下步骤:
相对于所述测量设备(10)对准(101)所述对象(2),
通过将第一测量光引导至所述对象(2)并且接收第二测量光,来获得与所述对象(2)的第一部分相关的第一测量数据(102),其中,所述第二测量光对应于在所述对象(2)处反射的所述第一测量光的至少一部分;
通过从所述至少三个不同姿势对所述对象(2)进行照明,通过捕获针对所述照明步骤中的各个照明步骤的至少一个图像来捕获至少三个图像,以及基于对所述至少三个图像和所述至少三个不同姿势进行处理来导出表面形貌信息,从而获得与所述对象(2)的第二部分相关的第二测量数据(107),以及
向所述第二测量数据指派(109、111)所述第一测量数据,
特别是其中,通过以下项来获得所述第一测量数据:
将图案投影到所述对象(2)上,
在投影所述图案期间,捕获所述对象(2)的一组图像,以及
基于对所述一组图像进行处理来导出点云数据(103)作为所述第一测量数据,
特别是其中,通过以下项来获得增强数字模型:
借助于所述第一测量数据来计算所述对象(2)的所述第一部分的数字模型(104),所述数字模型提供粗糙表面法线信息,
通过执行从阴影恢复形状(SFS)测量,来提供所述表面形貌信息作为精细表面法线信息(108),
基于对所述粗糙表面法线信息和所述精细表面法线信息进行处理,来导出相对表面法线信息(110),以及
通过利用所述相对表面法线信息调整所述粗糙表面法线信息,特别地通过将所述粗糙表面法线信息替换成所述相对表面法线信息,来对所述数字模型进行更新以提供所述增强数字模型(111)。
15.一种计算机程序产品,所述计算机程序产品在由计算单元执行时,使得自动执行根据权利要求14所述的方法的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22210549.6 | 2022-11-30 | ||
EP22210549.6A EP4379316A1 (en) | 2022-11-30 | 2022-11-30 | Measuring system providing shape from shading |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118105060A true CN118105060A (zh) | 2024-05-31 |
Family
ID=84367473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311602340.7A Pending CN118105060A (zh) | 2022-11-30 | 2023-11-28 | 根据阴影提供形状的测量系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240175677A1 (zh) |
EP (1) | EP4379316A1 (zh) |
CN (1) | CN118105060A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017247617A1 (en) * | 2016-04-06 | 2018-10-25 | University Of The West Of England, Bristol | Non-contact apparatus and method for capturing skin surface image data |
CN110487214A (zh) * | 2019-08-26 | 2019-11-22 | 中国计量大学 | 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法 |
-
2022
- 2022-11-30 EP EP22210549.6A patent/EP4379316A1/en active Pending
-
2023
- 2023-11-28 CN CN202311602340.7A patent/CN118105060A/zh active Pending
- 2023-11-30 US US18/525,239 patent/US20240175677A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240175677A1 (en) | 2024-05-30 |
EP4379316A1 (en) | 2024-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9392262B2 (en) | System and method for 3D reconstruction using multiple multi-channel cameras | |
EP3073894B1 (en) | Corrected 3d imaging | |
CN104335005B (zh) | 3d扫描以及定位系统 | |
EP2024707B1 (en) | Scanner system and method for scanning | |
CN103649674B (zh) | 测量设备以及信息处理设备 | |
JP4290733B2 (ja) | 3次元形状計測方法及びその装置 | |
JP5881960B2 (ja) | テレセントリック焦点ぼかしを使用した3dイメージング | |
JP3624353B2 (ja) | 3次元形状計測方法およびその装置 | |
US8150142B2 (en) | Depth mapping using projected patterns | |
TWI509565B (zh) | 基於樣式匹配及立體資訊的深度製圖 | |
US20160134860A1 (en) | Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy | |
US20100209002A1 (en) | Method for optical measurement of the three dimensional geometry of objects | |
CN107525479A (zh) | 针对特定光学测量来确定物体性质 | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
JP5133626B2 (ja) | 表面反射特性測定装置 | |
EP2719160A2 (en) | Dual-resolution 3d scanner | |
EP3069100B1 (en) | 3d mapping device | |
JP2018518750A (ja) | 反射マップ表現による奥行きマップ表現の増補 | |
US11079278B1 (en) | Systems and methods for using multispectral imagery for precise tracking and verification | |
JP2007508557A (ja) | 三次元物体を走査するための装置 | |
US11727635B2 (en) | Hybrid photogrammetry | |
JP4379626B2 (ja) | 3次元形状計測方法及びその装置 | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
US10182776B2 (en) | System and method for correlating object information with X-ray images | |
US20240175677A1 (en) | Measuring system providing shape from shading |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |