CN112106105A - 生成物体三维图像的方法和系统 - Google Patents
生成物体三维图像的方法和系统 Download PDFInfo
- Publication number
- CN112106105A CN112106105A CN201880089510.7A CN201880089510A CN112106105A CN 112106105 A CN112106105 A CN 112106105A CN 201880089510 A CN201880089510 A CN 201880089510A CN 112106105 A CN112106105 A CN 112106105A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- point
- images
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 95
- 238000005286 illumination Methods 0.000 claims description 30
- 230000007935 neutral effect Effects 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 238000012634 optical imaging Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 208000000250 Greig cephalopolysyndactyly syndrome Diseases 0.000 description 11
- 101001074042 Homo sapiens Transcriptional activator GLI3 Proteins 0.000 description 11
- 102100035559 Transcriptional activator GLI3 Human genes 0.000 description 11
- 230000010363 phase shift Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
一种生成物体三维图像的方法，包括：从成像系统中接收一组输入点云数据，该组输入点云数据包括两个或更多个点云；确定各输入点云中每一点的质量参数值，该质量参数值反映了针对该点的三维坐标的不确定程度；生成用于生成所述物体表面三维表现形式的输出点云，其中，对于所述输出点云中的每一点，该点的坐标根据所识别出的各组点当中的相应一组点中的各点坐标值计算，该组点中各点坐标值在所述计算中受到考虑的程度根据该点所关联的质量参数值确定。
Description
技术领域
本文所述实施方式涉及一种生成物体三维图像的方法和系统。
背景技术
三维表面成像(3D表面成像)为一种快速发展的技术领域。在本文中，“三维表面成像”一词可理解为通过获取所有三个维度(也就是说，除了通常图像或照片的二维空间信息之外，还获取深度信息)上的空间信息而生成物体表面三维表现形式的过程。该三维表现形式可例如在屏幕上可视化地显示为“三维图像”。
多种不同的技术可用于获取生成物体表面三维图像所需的数据。这些技术包括但不限于结构光照明、飞行时间成像、全息技术、立体系统(主动和被动)以及激光三角法。在每一技术中，均可获取“点云”形式的数据，其中，三维空间中的不同点记录强度值，“云”中的每一点均具有其自身的一组(x,y,z)坐标以及关联强度值I。
图1所示为如何能够将点云中的数据存入存储器的一例。如图所示，数据以具有N行和M列的二维点云矩阵101存储。矩阵的每一元素均包括数据元组，该数据元组包括云中一点的{xij,yij,zij}坐标，其中，i＝{1,2…N}，j＝{1,2,…M}，N和M为整数值。所述数据元组还包括所述点的强度值Iij。强度值及其相应空间坐标共同确定对象物体外表面的几何形状。各点可在三个维度上进行渲染，以实现物体的三维表现形式。
在某些情形中，点云数据可根据以二维传感器阵列获取的一幅或多幅物体二维图像计算。在此类情形中，点云矩阵的元素可映射至传感器阵列的像素元素。例如，对于给定的矩阵元素，其i和j下标可表示相应像素元素在传感器阵列中的位置。随后，可通过{xijyij,zij}坐标确定所述二维图像当中的一幅或多幅中的像素中所见的点的空间位置。
与所有形式的成像技术一致，最终三维图像的信噪比(SNR)部分由用于获取图像数据的传感器的动态范围确定。如果从物体上的不同点接收的信号强度可能会大幅变化(例如，因物体表面含有若干极亮和极暗区域)，则必须在以下两者之间取得平衡：(一)最大程度地增大照明强度和/或传感器曝光时间，以确保能从物体较暗区域接收到足够量的光；(二)最大程度地减小照明强度和/或传感器曝光时间，以防止来自物体较亮区域的信号使得传感器饱和。针对这一问题，目前提出的一种解决方案为将高动态范围(HDR)成像概念应用至三维成像技术。高动态范围成像(HDR)为一种成熟的技术，用于提高数字图像光照水平的动态范围。该技术包括：以不同的曝光时间，拍摄同一场景的多幅图像；对图像数据进行后处理，以生成所述场景的单幅HDR图像。以较长曝光时间拍摄的图像能够获取场景较暗区域的当以较短曝光时间拍摄图像时因进入相机的信号不足而无法分辨的细节。与此同时，以较短曝光时间拍摄的图像能够获取场景较亮区域的当以较长曝光时间拍摄图像时因相机饱和而无法分辨的细节。通过以合适的HDR算法对这些图像进行后处理，可以获得单幅高清图像，其中，图像明暗区域细节处的元素均可见。
总体而言，HDR成像原理能够以与传统二维成像同样的方式应用于三维成像。图2为这一目的的实现方式一例的示意图。与二维HDR成像的方式类似，可在不同曝光量下获取多组图像数据，但是在此情形中，各组图像数据包含三维图像数据，而非二维图像数据，也就是说，各组图像数据表明所拍场景中各点的三维位置。每组图像数据均可以相应的点云矩阵201a，201b，201c的形式存储。随后，各点云矩阵可合并为单个可供三维HDR图像渲染的点云矩阵203。然而，与二维HDR成像相比，三维HDR成像存在更多的难题。其中的一个问题在于，与二维成像相比，三维成像需要通过额外的计算步骤获取每一点的三维坐标，而这一额外的计算步骤可使得所获图像数据中任何SNR方面的不足所产生的影响更为深远，从而显著影响输出图像每一点的三维坐标的计算准确度。
因此，需要提供更优的三维HDR图像生成技术。
发明内容
根据第一方面，提供一种生成物体三维图像的方法，该方法包括：
从用于对该物体进行成像的成像系统中接收一组输入点云数据，其中，该组输入点云数据包括两个或更多个点云，每一点云均定义物体表面各点的三维坐标，每一输入点云的数据均从所述成像系统获取的相应一组图像数据计算获得，每组图像数据均以所述成像系统的不同曝光量设置项获取；
确定各输入点云中每一点的质量参数值，其中，各点的质量参数值反映了点云中针对该点的三维坐标的不确定程度；
从所述一组输入点云数据中识别各组点，其中，每组点均包括来自每一输入点云的点；
生成用于生成所述物体表面三维表现形式的输出点云，其中，该输出点云定义了所述物体表面各点的三维坐标，
其中，对于所述输出点云中的每一点，该点的坐标根据所识别出的各组点当中的相应一组点中的各点坐标值计算，该组点中各点坐标值在所述计算中受到考虑的程度根据该点的关联质量参数值确定，
该方法包括，根据所述输出点云的数据，渲染所述物体的三维图像。
所述成像系统可以为含光传感器的光学成像系统。每一输入点云中的数据可均根据所述光传感器所拍摄的所述物体的一幅或多幅二维图像计算。
用于获取每组图像数据的所述曝光量设置项可通过改变
所述传感器的积分时间，
所述传感器的灵敏度，
设于所述物体和所述传感器之间路径中的光圈尺寸，
用于对所述物体进行照明的光的强度，以及
置于所述物体和所述传感器之间光路中的中性灰度滤镜的强度
当中的一者或多者的方式变更。
每一输入点云中的数据可均存作相应的二维点云矩阵。该矩阵中的每一元素可均含有相应点的三维坐标、该点的强度值以及该点的质量参数值。每一组点中的各点可均识别为在各输入点云矩阵中具有相同元素位置的点。所述传感器可包括二维像素阵列。所述矩阵中的元素可映射至阵列中的相应像素元素。
所述成像系统可以为通过结构照明获得每组图像数据的成像系统。
每组图像数据可均包括所述光传感器所拍摄的所述物体的一系列二维图像。该系列二维图像中的每一二维图像可均以不同照明图案拍摄。该系列二维图像中的各图像可用于计算相应曝光量设置项的输入点云矩阵。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均包括相应像素在所述一系列图像中观察到的对比情况的度量值。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均根据相应像素在所述一系列图像中观察到的强度的标准差计算。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均根据相应像素在所述一系列图像中观察到的强度的最大亮度和最小亮度之差计算。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均根据相应点三维坐标的模型化误差计算。该误差可建模为相应像素在所述一系列图像中观察到的强度的函数。
每组图像数据可均包括一系列格雷码图像和一系列相移图像。所述一系列格雷码图像和一系列相移图像的数据可通过相互结合而得到每一像素元素的供计算相应点在点云中坐标的值。点云中每一点的坐标误差可均建模为相应像素元素计算值的误差的函数。
每一输入点云可均包括每一点的颜色信息。所述颜色信息可编码为RGB值。
根据本发明的第二方面，提供一种包含计算机可执行代码的计算机可读存储介质，所述代码在由计算机执行时，使得该计算机施行根据本发明第一方面的方法。
根据本发明的第三方面，提供一种生成物体三维图像的系统，该系统包括：
用于从所述物体获取图像数据的传感器；
用于改变所述传感器曝光量的控制器，该传感器设置为在不同曝光量下获取相应各组图像数据；以及
用于处理所获取的图像数据的处理器，其中，该处理器设置为生成每组图像数据的输入点云，该点云定义了所述物体表面各点的三维坐标以及每一点的强度值，
该处理器还用于：
确定各输入点云中每一点的质量参数值，其中，各点的质量参数值反映了点云中针对该点的三维坐标的确定程度；
从所述一组输入点云数据中识别各组点，其中，每组点均包括来自每一输入点云的点；
生成用于生成所述物体表面三维表现形式的输出点云，其中，该输出点云定义了所述物体表面各点的三维坐标及每一点的强度值，
其中，对于该输出点云中的每一点，该点的坐标根据所识别出的各组点当中的相应一组点中的各点坐标值计算，该组点中各点的三个坐标值在所述计算中受到考虑的程度根据该点的关联质量参数值确定；以及
根据所述输出点云的数据，渲染所述物体的三维图像。
所述成像系统可以为光学成像系统。所述传感器可以为光传感器。每一输入点云中的数据可均根据所述光传感器所拍摄的所述物体的一幅或多幅二维图像计算。
所述控制器可用于通过改变
所述传感器的积分时间，
所述传感器的灵敏度，
设于所述物体和所述传感器之间路径中的光圈尺寸，
用于对所述物体进行照明的光的强度，以及
置于所述物体和所述传感器之间光路中的中性灰度滤镜的强度
当中的一者或多者而改变所述曝光量。
每一输入点云中的数据可均存作相应的二维点云矩阵。该矩阵中的每一元素均含有相应点的三维坐标、该点的强度值以及该点的质量参数值。每一组点中的各点均识别可以为在各输入点云矩阵中具有相同元素位置的点。
所述光传感器可包括二维像素阵列。所述矩阵中的元素可映射至该阵列中的相应像素元素。
所述成像系统可以为通过结构照明获得每组图像数据的成像系统。
每组图像数据可均包括所述光传感器所拍摄的所述物体的一系列二维图像。该一系列二维图像中的每一二维图像可均以不同照明图案拍摄。该一系列二维图像中的各图像可用于计算相应曝光量设置项的输入点云矩阵。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均包括相应像素在所述一系列图像中观察到的对比情况的度量值。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均根据相应像素在所述一系列图像中观察到的强度的标准差计算。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均根据相应像素在所述一系列图像中观察到的强度的最大亮度和最小亮度之差计算。
对于每一输入点云矩阵，该输入点云矩阵中每一元素的质量参数可均根据相应点三维坐标的模型化误差计算。该误差可建模为相应像素在所述一系列图像中观察到的强度的函数。每组图像数据可均包括一系列格雷码图像和一系列相移图像。该系统可设置为通过将所述一系列格雷码图像和一系列相移图像的数据相互结合而得到每一像素元素的供计算相应点在点云中坐标的值。点云中每一点的坐标误差可均建模为相应像素元素计算值的误差的函数。
所述传感器可以为彩色图像传感器。每一输入点云可均包括每一点的颜色信息。所述颜色信息编码可以为RGB值。
本文所述实施方式提供一种获得物体三维HDR图像的手段。三维HDR图像通过捕捉多组图像数据的方式获取。所述图像数据可通过本领域中多种已知技术中的其中一种获取。这些技术可例如包括结构光照明、飞行时间成像、全息技术、立体成像(主动和被动)以及激光三角法。每组图像数据可用于计算相应的输入点云，该输入点云确定了物体表面各点的三维坐标及其强度。随后，可通过将各点云的信息相互结合或合并而获得可供对物体的三维图像进行渲染的单个输出点云。
重要的一点是，用于计算相应输入点云矩阵的各组图像数据在不同的曝光量设置项下获取，从而使得每组图像数据的成像系统曝光量均不同。此处，“曝光量设置项”是指可通过调整而改变成像系统曝光量的成像系统物理参数。在使用光学成像系统的情况下，在获取每组图像数据时均有所不同的所述设置条件可例如包括相机/光传感器的积分时间，相机/光传感器的光圈尺寸，用于对场景或物体进行照明的光的强度，以及相机或光传感器的敏感度。相机或光传感器的敏感度可例如通过调整施加至该设备上的增益的方式做出改变。在另一例中，可在物体和相机/光传感器之间的光路中设置中性灰度滤镜。随后，每当在获取新的一组图像数据时，可以改变该中性灰度滤镜的强度，从而使得进入相机或光传感器的光量各有不同。
在一些实施方式中，每当获取新的一组图像数据时，对于每次曝光来讲，可以仅令上述曝光量设置项当中的一种曝光量设置项发生变化，而其他曝光量设置项保持不变。在其他实施方式中，可以在获取每组新的图像数据时，令上述曝光量设置项当中的两种或更多种发生变化。
当以更大的曝光量获取图像数据时，可以最大程度地增大从物体或场景较暗区域检测到的信号。如此，可提高此类较暗区域中的点的SNR，从而可在将相应的一组图像数据转换为点云时，提高这些点的空间坐标计算精确度。与此相反，当通过调整曝光量设置项而减小曝光量时，可以最大程度地增大从物体或场景较亮区域获取的信号，而且同时不导致相机或光传感器饱和。因此，通过减小曝光量，可以获得较亮区域内的点的SNR被提高的第二组图像数据，进而可以生成较亮区域内点的空间坐标计算精确度被提高的第二点云。随后，可通过将这些点云的数据相互结合而确保同时提高输出三维图像中物体较亮和较暗区域的SNR。
为了确定如何以最佳方式将各点云的数据相互结合，在本文所述实施方式中，针对每组图像数据中的每一点，均额外评价其“质量参数”。图3所示为一种实施方式中使用的点云矩阵301的一例。与图1传统点云矩阵相比，图3点云矩阵的每一元素均含有额外的值qij。质量参数值qij反映矩阵中相应点的{xij,yij,zij}坐标的不确定程度。在一些实施方式中，该质量参数值能够实现对相应点{xij,yij,zij}值的预期误差的最佳估算。
根据获取相应输入点云的图像数据时所使用的具体技术，所述质量参数能够按照多种不同方式当中的其中一种方式确定。在以下进一步详述的一种示例中，采用结构照明法获取供输出点云计算的图像数据。在该情形中，物体表面给定点的质量参数值可例如根据当将结构照明图案的明暗条纹投影于该点时其所观察到的对比度获得。也就是说，所述质量参数可与该点在被照明图案的亮条纹照明时所检测到的光量和该点在被照明图案的暗条纹照明时所检测到的光量之差相关或自其得出。在一些实施方式中，可将一系列正弦调制的强度图案投影于物体上，而且这些相继投影的强度图案可相对于彼此相移。其中，所述质量参数可与在所述各强度图案投影于物体上时每一点所测量的强度相关或自其得出。
在另一例中，当以飞行时间系统进行三维成像时，可将给定点的恢复信号幅度与系统环境光的度量值相比较，以得到该点的质量参数值。在又一例中，当使用立体成像系统时，可通过如下方式获得质量参数：将从第一相机拍摄的图像中识别出的特征与从第二相机拍摄的图像中识别出的特征相比较和匹配；确定匹配质量得分。该得分可例如计算为绝对差之和(SAD)：
其中，(r，c)为图像像素坐标，I1，I2为立体图像对，(x，y)为SAD所要评价的视差，(A，B)为匹配阵列维度(单位为像素个数)。像素(r，c)的视差估算值(x′，y′)根据(x′，y′)＝argminx，ySAD(r，c，x，y)计算。根据所估算出的SAD值，其可进一步诠释为根据立体图像重构的点云中每一点的三维坐标不确定性的衡量值。根据需要，该SAD可例如针对区域图像强度进行归一化，以提高性能。
无论输入点云数据以何种具体成像方法获得，所述质量参数均可用于确定在获得输出点云中点的坐标值时各输入点云的空间坐标值受到考虑的程度。例如，对于输出点云矩阵中的给定元素{i,j}，相应点的一组坐标值{xij yij,zij}可通过向同一位置{i,j}在各输入点云矩阵中的相应各组坐标值{xij yij,zij}施加相应的权重值的方式获得。向每一矩阵施加的权重值可取决于所述位置在该矩阵中的质量参数值qij。通过这一方式，可将输出点云矩阵中的{xij yij,zij}值朝使供获取这些值的各组图像数据在所关注的点上具有更高SNR的方向调整。
在另一例中，输出点云矩阵中元素{i,j}的一组坐标值{xij yij,zij}可选择为各输入点云矩阵当中单个输入点云矩阵中的{xij yij,zij}值。被选值所在的输入点云矩阵可以为与其他输入点云矩阵相比所述点上的q值最高的输入点云矩阵。
在另一例中，对于输出点云矩阵的给定元素{i,j}，相应点的一组坐标值{xij yij,zij}可通过对各输入点云矩阵中位置{i,j}处的各组坐标值{xij yij,zij}取平均的方式获得。也就是说，输出点云矩阵的值xij可包括点{i,j}在各输入点云矩阵中的相应值xij的平均值，输出点云矩阵的值yij可包括点{i,j}在各输入点云矩阵中的相应值yij的平均值，输出点云矩阵的值zij可包括点{i,j}在各输入点云矩阵中的相应值zij的平均值。其中，可在该取平均操作中应用阈值准则，其中，仅关联q值高于阈值的各值用于计算平均值。因此，举例而言，假如其中一个输入点云矩阵的元素的值{xij yij,zij}的关联q值低于阈值，则在计算待用于输出点云矩阵的值{xij yij,zij}时，可以忽视该元素的值{xij yij,zij}。
可以理解的是，所述阈值准则也可应用至上述其他情形。例如，在计算输出点云矩阵中元素{i,j}的值{xij yij,zij}时，如果采用向各输入点云矩阵中同一位置{i,j}的各组坐标值{xij yij,zij}施加权重的方法，则对于关联q值低于阈值的各组坐标值{xij yij,zij}，可以向其施加零权重。
附图说明
以下，参考附图，举例说明本发明的实施方式，附图中：
图1所示为传统点云矩阵的一例；
图2为如何将多个点云矩阵合并或组合成为单个点云矩阵的示意图；
图3所示为本文所述实施方式点云矩阵的一例；
图4为本文所述实施方式的步骤流程图；
图5为一种实施方式的结构照明成像系统示意图；
图6所示为在通过组合使用格雷码技术和相移技术恢复物体三维空间信息的实施方式中GCPS值标准差随信号幅度变化情况的一例；
图7为以图5成像系统获得多个输入点云矩阵且以这些输入点云矩阵生成单个输出点云矩阵的示意图；
图8所示为本文所述实施方式点云矩阵的一例。
具体实施方式
图4为本文所述实施方式中所执行步骤的流程图。在第一步骤S401中，由成像系统获取多组三维图像数据。每组三维图像数据可用于计算相应的输入点云，该点云定义了待成像物体表面上不同点的三维坐标，以及表面每一点的强度或亮度值。
在步骤S402中，评估各输入点云当中每一点云中每一点的关联数据的质量参数值。如上所述，该质量参数值包含每一点的三维坐标的不确定性度量值。所述质量参数可根据获取的强度值计算，该强度值用于计算各输入点云中每一点的空间坐标。
在步骤S403中，根据所获取的各组图像数据当中每一组所含的图像数据，计算单组输出三维图像数据。与所获取的各组图像数据一致，所述一组输出图像数据定义了待成像物体表面上不同点的三维坐标，以及表面每一点的强度或亮度。其中，通过根据各输入点云所表示的三维坐标值的相应质量参数值对这些三维坐标值进行加权而计算三维坐标值。随后，所述一组输出图像数据可用于渲染物体的三维图像(步骤S404)。
以下，参考图5至图7，对以结构光照明法获取三维图像数据的例示实施方式进行描述。
参考图5，该图为适于利用结构光照明拍摄物体501的三维图像的系统示意图。该系统包括投影仪503和相机505。所述投影仪将在空间上变化的二维照明图案投影在物体40上。该图案本身包括一系列明暗条纹507，509。该图案可例如由空间光调制器生成。相机505用于获取由投影仪照明的所述物体的二维图像。
由于相机与投影仪之间的角度，物体表面拓扑结构中的任何变化均将导致相机所检测的明暗条纹图案发生变形。因此，该图案的变形编码了物体三维表面的信息，并可用于推导出其表面拓扑结构。该三维信息可通过如下方式恢复：获取以不同光照模式对物体进行照明时的一系列图像；并比较每一像素在所述一系列图像中的强度测量值。
在本实施方式中，使用相移技术获得三维信息。相移为一种众所周知的技术，其中，将一系列正弦调制的强度图案投影于物体上，每一图案均相对于前一图案发生相移。每当强度图案发生变化时，均拍摄被照明物体的二维图像。物体表面拓扑结构的变化将导致相机所观察的强度图案相位在表面不同点处发生变化。通过比较同一像素在所述一系列二维图像中的光强，可以计算出每一点的相位，然后利用该相位获得物体的深度信息。该数据以二维数组的形式输出，该数组的每一元素均映射至相机的一个相应像素，并确定了该像素视野下的一个点的三维空间坐标。
可以理解的是，也可使用相移之外的其他技术恢复三维空间信息。例如，在一些实施方式中，可使用格雷码技术，或者组合使用格雷码技术和相移技术。用于从所述一系列二维图像中解码三维空间信息的精密算法随具体照明图案及这些图案在所述一系列图像之间的变化方式的不同而不同。关于利用上述和其他技术恢复深度信息的算法的其他信息见发表文献“用于精确确定三维形状的结构光投影”(O.Skotheim和F.Couweleers，第12届国际实验力学会议(ICEM12)，2004年8月29日～9月2日，意大利巴里理工大学)。在每种算法中，均通过考虑物体上的每一点的强度随照明图案的变化而发生的变化，计算物体的三维空间信息，而且各点暴露在图案的明暗两种区域中。
在将格雷码和相移技术组合用于恢复三维空间信息的一例中，所述投影仪用于将一系列格雷码图案和相移图案投影于物体上(此类方法的进一步细节例如见如下文章：Giovanna Sansoni，Matteo Carocci及Roberto Rodella，“基于格雷码和相移光保护组合使用的三维视觉：系统误差的分析和补偿”，《应用光学》，第38卷，第6565～6573页，1999年)。其中，对于物体上的每一点，可以定义以下两个相应像素位置：(1)投影仪像素坐标，即发出入射在物体该点上的光的投影仪内的像素位置；以及相机像素坐标，即获取经物体该点反射后的光的相机内的像素位置。利用合适的算法，并考虑相机与投影仪的相对位置(此相对位置直接通过标准校准测量确定)，可以对相机获取的图像进行处理，以确定每一相机像素正在“看着”的投影仪像素坐标。实际上，可以确定处于具体相机像素“视野”内的投影仪像素。此外，通过将接收自格雷码图案和相移图案的图像数据相结合，可以以比投影仪像素本身分辨率更高的分辨率确定投影仪像素坐标。
上述方案可按如下方式理解：首先，通过选择若干(N个)格雷码图案并将相移图案中的正弦条纹数设为2N，使得各条纹与所述一系列N个格雷码图案的二进制跃迁对齐。所得格雷码字GC(i，j)以及相位值φ(i，j)可相互结合形成一组描述视场下每一位置的绝对条纹位置的“GCPS”值。这些GCPS值可转而用于通过将代码的最小值/最大值缩放至投影仪图像的宽度(wp)和高度(hp)而确定投影仪像素坐标。实际上，通过估算每一相机像素的正弦图案相位，可以测量“条纹位移”。
随后，可以定义：
其中，GCv(i，j)为格雷码测量结果，φv(i，j)为相位步进测量结果，两种测量均采用竖直条纹(与上同，下标i，j表示图像传感器的像素元素)。从上式可知，随后可以计算每一相机图像像素的投影仪原始子像素列：
其中，αmax和αmin为竖直条纹GCPS码的最大值和最小值。类似地，当GCPS值以水平条纹获得时，可以定义：
随后，根据该β(i，j)等式，可以计算每一相机图像像素的投影仪原始子像素行：
其中，βmax和βmin为水平条纹GCPS码的最大值和最小值。
在获取投影仪子像素列和投影仪子像素行坐标Pc(i，j)，Pr(i，j)之后，这些值可用于获取待成像物体上的点的{x,y,z}坐标。具体而言，对于给定的相机像素p(其待接收来自投影仪g上的点的光)，可利用与立体视觉所用三角测量法类似的已知三角测量法，在将镜头参数、相机与投影仪间距离等条件纳入考虑的情况下，推导出物体上坐标为{xij yij,zij}的点的估算位置E。
每一GCPS值的不确定性很大程度上受所恢复的信号的幅度的影响，且受周围存在的光的影响较小。本发明人实施的实验表明，GCPS值的不确定性在接收信号幅度降至一定水平之前通常较为恒定，但是在其降至一定水平之后，几乎呈指数式增长。这表示，通过预先建立的模型，可以将所测幅度与环境光转换为可预期的GCPS值测量不确定性。图6所示为此中一例，其表明GCPS值的标准差(std)为强度的函数。通过采用与以上用于获取位置估算值E相同的计算方式，但将投影仪像素位置定为g+Δg(其中，Δg为所检测信号幅度下与GCPS值标准差的偏差)，可以获取新的位置估算值E'。随后，可通过假设ΔE＝|(|E–E'|)|，可以推导出位置测量值E处的估算标准差ΔE。估算值ΔE可随后用于确定质量参数。
显而易见的是，无论具体使用何种结构照明算法，为了实现三维空间信息的高精度计算，均需测量最大信噪比下物体上的每一点的强度变化，而这又要求具体点在交替暴露于照明图案明暗区域下的强度对比尽可能地高。与上述一致，特定点的对比度可因需要迁就物体整个表面上较大的强度变化范围而受到限制。如果物体表面本身包括多个明暗区域，在相机动态范围有限的情况下，则可能无法实现在物体较亮区域暴露于照明图案较亮条纹时不引起饱和效应的同时，最大程度地增大自物体表面较暗区域恢复的信号。因此，通过单次曝光(在该背景下，一次“曝光”应理解为拍摄到可供计算相应点云的一系列二维图像)，可能无法实现表面每一点上的强度对比度最优化。
为了解决上述问题，在本文所述实施方式中，以不同的设置条件，进行多次曝光拍摄。此中一例如图7示意图所示。首先，以第一组曝光量设置项，拍摄第一系列二维图像。在本例中，通过改变相机光圈相对尺寸的方式变更曝光量设置项，然而可以理解的是，也可通过调节成像系统的一种或多种其他参数的方式改变曝光量设置项。圆圈701表示用于拍摄第一系列图像的相机光圈相对尺寸，而图案703a，703b，703c表示在拍摄第一系列图像当中的相应图像时投影至物体上的照明图案。可以看出，每一照明图案703a，703b，703c均包括将一系列交替的明暗条纹投影至物体上的正弦调制强度图案。每一图案的正下方均给出表示图案在视场中相位的波形示意图，其中，图案中的暗条纹对应于波谷，明条纹对应于波峰。可以看出，向后相继的各幅图像中的照明图案彼此相移，各图案中明暗条纹的位置均相对于彼此平移。其中，通过以合适的算法比较同一像素在所述一系列二维图像中的光强，计算相应点的深度信息。随后，将所得三维空间信息与每一点的强度值一并存入第一点云矩阵705中。
如上述图3所示，除了三维坐标{x,y,x}和强度值I之外，点云矩阵705中的每一元素还包括质量参数值q。在本实施方式中，值q根据相应相机像素In(i,j)在三种不同照明图案703a，703b，703c投影于物体上时所测得的强度的标准差确定。在另一实施方式中，值q根据所述像素在一系列图像中的最大强度值和最小强度值之差确定。通过这种方式，所述质量参数即可衡量每一像素在所述一系列图像中对比度。
在该方法的下一阶段，如圆圈707所示，通过扩大相机光圈尺寸，调节曝光量设置项，从而增大从物体进入相机的光量。随后，拍摄第二系列二维图像，其中，同样地，每一图像的照明图案709a，709b，709c均彼此不同。该第二系列二维图像用于计算第二输入三维图像点云711，该点云记录了每一元素的深度信息以及强度值和质量参数值q。由于第一系列图像的曝光量与第二系列图像的曝光量不同，因此给定像素元素{i,j}所测的对比度在此两系列图像中可能有所不同。例如，在此两组图像中，给定像素元素{i,j}所测的最大强度水平与最小强度水平之差有所不同。因此，第一点云矩阵705记录的q值与第二点云矩阵711记录的q值可能互不相同。
在又一步骤中，如圆圈713所示，进一步通过扩大相机光圈尺寸，调节曝光量设置项。随后，在将照明图案715a，715b，715c投影于物体上的同时，以相机拍摄第三系列二维图像。该第三系列二维图像用于计算第三输入三维图像点云717，同样地，该点云记录了每一元素的深度信息以及强度值和质量参数值q。与第一和第二点云矩阵的情形一致，由于第二系列图像和第三系列图像的曝光量不同，因此在第二系列图像和第三系列图像中，同一像素元素{i,j}所检测的对比度可能有所不同。因此，第三点云矩阵717记录的q值可能既不与第一点云矩阵705的q值相同，也不与第二点云矩阵711的q值相同。
在计算出每一系列图像的点云矩阵之后，该方法进一步通过汇总各点云矩阵的数据而获得单个输出点云矩阵719，该输出点云矩阵可随后用于渲染物体的三维表现形式。
可以理解的是，虽然图7所示实施例共包括三个系列的输入图像，但这仅不过是示例，所述输出点云矩阵可根据所获取的任何数目(N)个点云计算获得，其中，N≥2。类似地，虽然上述实施例通过增大用于拍摄各系列图像的相机光圈尺寸的方式改变曝光量，但是容易理解的是，这一做法并非改变曝光量的唯一方式，其他可改变曝光量的方式例如包括增大照明强度，增大相机积分时间，增大相机灵敏度或增益，或者改变设置于物体和相机间光路中的中性灰度滤镜的强度。
通过在不同曝光量设置项下拍摄多幅三维图像，并将各组数据中的数据融合成为单幅输出三维图像，本文所述实施方式可有助于对相机动态范围的限制进行补偿，从而同时增大物体表面明点和暗点的信噪比。如此，本文所述实施方式可有助于确保从当采用现有三维表面成像方法时要么在最终图像中遗漏要么被噪声覆盖的区域获取有用数据，并且可确保比此类现有三维表面成像方法更高的物体表面形貌映射精度。
在上述实施方式中，假设相机传感器以灰度模式成像，即在每一像素中测量相对于入射至传感器上的总光照水平的单个强度值。然而，可以理解的是，本文所述实施方式可同等应用于彩色成像情形。例如，在一些实施方式中，相机传感器可包括以拜耳掩模(BayerMask)将入射光分解为红绿蓝三种颜色通道的RGB传感器。在其他实施方式中，相机传感器可包括以三个单独的CCD传感器分别采集红光、蓝光、绿光信号的三CCD器件。在该情形中，可按照与上述实施方式相同的方式获取点云矩阵，但在每一矩阵元素内，均需将强度值Iij分解为三种颜色的强度值rij，gij，bij。图8所示为此类点云矩阵的一例。
可以理解的是，本技术方案的实现形式及本说明书中描述的操作可在包括本说明书公开的结构及其等同结构在内的数字电子电路或计算机软件、固件或硬件中实现，或者在其中的一种或多种的组合中实现。本说明书中描述的技术方案实现形式可通过一个或多个计算机程序实现，即通过编码于计算机存储介质之内且供数据处理装置执行或用于控制数据处理装置操作的一个或多个计算机程序指令模块实现。作为代替或附加方案，所述程序指令可编码于人工生成的可传播信号内，此类信号例如为机器生成的电、光或电磁信号，而且编码了用于传输至合适的接收装置以供数据处理装置执行的信息。计算机存储介质既可以为计算机可读存储装置、计算机可读存储基质、随机或串行存取存储阵列或装置或其中一者或多者的组合，也可以包含于其中。此外，虽然计算机存储介质本身并非可传播信号，但是计算机存储介质可作为编码于人工生成的可传播信号内的计算机程序指令的发源地或目的地。此外，计算机存储介质既可以为一个或多个单独的物理部件或介质(如多张CD、盘片或其他存储装置)，也可以包含于其中。
虽然以上已描述了某些实施方式，但是这些实施方式仅以举例方式给出，不旨在对本发明的范围构成限制。相反地，本文所述的新方法、新装置及新系统可以以多种形式实施，而且在不脱离本发明精神的前提下，还可对本文所述方法和系统进行各种删减、替换或变更。下附权利要求书以及与此等同之物旨在涵盖落入本发明精神和范围内的此类形式或改动形式。
Claims (31)
1.一种生成物体三维图像的方法，其特征在于，该方法包括：
从用于对物体进行成像的成像系统接收一组输入点云数据，其中，该组输入点云数据包括两个以上点云，每一点云均定义了所述物体的表面上各点的三维坐标，每一输入点云的数据均从所述成像系统获取的相应一组图像数据计算获得，每组图像数据均以所述成像系统的不同曝光量设置项获取；
确定各所述输入点云中每一点的质量参数的值，其中，各点的所述质量参数的值反映了点云中针对该点的三维坐标的不确定程度；
从所述一组输入点云数据中识别各组点，其中，每组点均包括来自每一输入点云的点；
生成用于生成所述物体表面的三维表现形式的输出点云，其中，该输出点云定义了所述物体表面各点的三维坐标，
其中，对于所述输出点云中的每一点，该点的坐标是根据所识别出的各组点当中的相应一组点中的各点坐标值计算，该组点中各点坐标值在所述计算中受到考虑的程度根据该点所关联的所述质量参数的值确定，
该方法包括，根据所述输出点云的数据，渲染所述物体的三维图像。
2.根据权利要求1所述的方法，其特征在于，所述成像系统为包括光传感器的光学成像系统。
3.根据权利要求2所述的方法，其特征在于，每一输入点云中的数据均根据所述光传感器所捕捉的所述物体的一幅或多幅二维图像计算。
4.根据权利要求2或3所述的方法，其特征在于，用于获取每组图像数据的所述曝光量设置项通过改变以下中的一个或多个的方式进行变更：
所述传感器的积分时间，
所述传感器的灵敏度，
设于所述物体和所述传感器之间路径中的光圈的尺寸，
用于对所述物体进行照明的光的强度，以及
置于所述物体和所述传感器之间光路中的中性灰度滤镜的强度。
5.根据权利要求2至4当中任何一项所述的方法，其特征在于，每一输入点云中的数据均存作相应的二维点云矩阵，该矩阵中的每一元素均包括相应点的所述三维坐标、该点的强度值以及该点的所述质量参数的值，
将各输入点云矩阵中具有相同元素位置的点识别为每一组点中的各点。
6.根据权利要求5所述的方法，其特征在于，所述光传感器包括二维像素阵列，所述矩阵中的元素映射至该阵列中的相应像素元素。
7.根据权利要求6所述的方法，其特征在于，所述成像系统为通过结构照明获得每组图像数据的成像系统。
8.根据权利要求7所述的方法，其特征在于，每组图像数据均包括所述光传感器所捕捉的所述物体的一系列二维图像，该一系列二维图像中的每一所述二维图像均通过采用不同照明图案进行捕捉，该一系列二维图像中的各图像用于计算相应曝光量设置项的所述输入点云矩阵。
9.根据权利要求8所述的方法，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均包括相应像素在所述一系列图像中观察到的对比情况的度量值。
10.根据权利要求8或9所述的方法，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均根据相应像素在所述一系列图像中观察到的强度的标准差计算。
11.根据权利要求8或9所述的方法，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均根据相应像素在所述一系列图像中观察到的强度的最大亮度和最小亮度之差计算。
12.根据权利要求8所述的方法，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均根据相应点的所述三维坐标的模型化误差计算，该误差建模为相应像素在所述一系列图像中观察到的强度的函数。
13.根据权利要求12所述的方法，其特征在于，每组图像数据均包括一系列格雷码图像和一系列相移图像，
所述一系列格雷码图像和一系列相移图像的数据通过相互结合而得到每一像素元素的值，该像素元素的值用于计算相应点在点云中的坐标，
所述点云中每一点的坐标误差均建模为所计算的相应像素元素的值的误差的函数。
14.根据前述权利要求当中任何一项所述的方法，其特征在于，每一所述输入点云均包括每一点的颜色信息。
15.根据权利要求11所述的方法，其特征在于，所述颜色信息编码为RGB值。
16.一种计算机可读存储介质，包括计算机可执行代码，其特征在于，所述代码在由计算机执行时，使得该计算机执行根据前述权利要求当中任何一项所述的方法。
17.一种生成物体三维图像的系统，其特征在于，该系统包括：
用于从所述物体获取图像数据的传感器；
用于改变所述传感器的曝光量的控制器，该传感器设置为在不同的所述曝光量下获取相应的各组图像数据；以及
用于处理所获取的图像数据的处理器，该处理器设置为生成每组图像数据的输入点云，该点云定义了所述物体表面各点的三维坐标以及每一点的强度值，
该处理器还用于：
确定各输入点云中每一点的质量参数的值，其中，各点的所述质量参数的值反映了点云中针对该点的三维坐标的不确定程度；
从所述一组输入点云数据中识别各组点，其中，每组点均包括来自每一输入点云的点；
生成用于生成所述物体表面的三维表现形式的输出点云，其中，该输出点云定义了所述物体表面各点的三维坐标及每一点的强度值，对于该输出点云中的每一点，该点的坐标根据所识别出的各组点当中的相应一组点中的各点坐标值计算，该组点中各点坐标值在所述计算中受到考虑的程度根据该点所关联的所述质量参数的值确定；以及
根据所述输出点云的数据，渲染所述物体的三维图像。
18.根据权利要求17所述的系统，其特征在于，所述成像系统为光学成像系统，所述传感器为光传感器。
19.根据权利要求18所述的系统，其特征在于，每一输入点云中的数据均根据所述光传感器所捕捉的所述物体的一幅或多幅二维图像计算。
20.根据权利要求18或19所述的系统，其特征在于，所述控制器用于通过改变以下中的一个或多个的方法对所述曝光量进行变更：
所述传感器的积分时间，
所述传感器的灵敏度，
设于所述物体和所述传感器之间路径中的光圈的尺寸，
用于对所述物体进行照明的光的强度，以及
置于所述物体和所述传感器之间光路中的中性灰度滤镜的强度。
21.根据权利要求18至20当中任何一项所述的系统，其特征在于，每一输入点云中的数据均存作相应的二维点云矩阵，该矩阵中的每一元素均包括相应点的所述三维坐标、该点的所述强度值以及该点的所述质量参数的值，
将各输入点云矩阵中具有相同元素位置的点识别为每一组点中的各点。
22.根据权利要求21所述的系统，其特征在于，所述光传感器包括二维像素阵列，所述矩阵中的元素映射至该阵列中的相应像素元素。
23.根据权利要求22所述的系统，其特征在于，所述成像系统为通过结构照明获得每组图像数据的成像系统。
24.根据权利要求23所述的系统，其特征在于，每组图像数据均包括所述光传感器所捕捉的所述物体的一系列二维图像，该一系列二维图像中的每一所述二维图像均通过采用不同照明图案进行捕捉，该一系列二维图像中的各图像用于计算相应曝光量设置项的所述输入点云矩阵。
25.根据权利要求24所述的系统，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均包括相应像素在所述一系列图像中观察到的对比情况的度量值。
26.根据权利要求23或24所述的系统，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均根据相应像素在所述一系列图像中观察到的强度的标准差计算。
27.根据权利要求23或24所述的系统，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均根据相应像素在所述一系列图像中观察到的强度的最大亮度和最小亮度之差计算。
28.根据权利要求23所述的系统，其特征在于，对于每一所述输入点云矩阵，该输入点云矩阵中每一元素的所述质量参数均根据相应点的所述三维坐标的模型化误差计算，该误差建模为相应像素在所述一系列图像中观察到的强度的函数。
29.根据权利要求28所述的系统，其特征在于，每组图像数据均包括一系列格雷码图像和一系列相移图像，
该系统设置为通过将所述一系列格雷码图像和一系列相移图像的数据相互结合而得到每一像素元素的值，该像素元素的值用于计算相应点在点云中的坐标，
所述点云中每一点的坐标误差均建模为所计算的相应像素元素的值的误差的函数。
30.根据权利要求17至29当中任何一项所述的系统，其特征在于，所述传感器为彩色图像传感器，每一输入点云均包括每一点的颜色信息。
31.根据权利要求30所述的系统，其特征在于，所述颜色信息编码为RGB值。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1721819.9 | 2017-12-22 | ||
| GB1721819.9A GB2569656B (en) | 2017-12-22 | 2017-12-22 | Method and system for generating a three-dimensional image of an object |
| PCT/EP2018/082614 WO2019120896A1 (en) | 2017-12-22 | 2018-11-26 | Method and system for generating a three-dimensional image of an object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112106105A true CN112106105A (zh) | 2020-12-18 |
| CN112106105B CN112106105B (zh) | 2024-04-05 |
Family
ID=61131505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880089510.7A Active CN112106105B (zh) | 2017-12-22 | 2018-11-26 | 生成物体三维图像的方法和系统 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11763518B2 (zh) |
| EP (1) | EP3729367A1 (zh) |
| JP (1) | JP7350343B2 (zh) |
| KR (1) | KR20200132838A (zh) |
| CN (1) | CN112106105B (zh) |
| GB (1) | GB2569656B (zh) |
| WO (1) | WO2019120896A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113905194A (zh) * | 2021-08-31 | 2022-01-07 | 浙江大华技术股份有限公司 | 一种曝光比处理方法、终端设备及计算机存储介质 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10510178B2 (en) * | 2018-02-27 | 2019-12-17 | Verizon Patent And Licensing Inc. | Methods and systems for volumetric reconstruction based on a confidence field |
| US11676005B2 (en) * | 2018-11-14 | 2023-06-13 | Huawei Technologies Co., Ltd. | Method and system for deep neural networks using dynamically selected feature-relevant points from a point cloud |
| WO2020139942A1 (en) | 2018-12-26 | 2020-07-02 | Nike Innovate C.V. | Resilient dynamic projection mapping system and methods |
| JP6959277B2 (ja) * | 2019-02-27 | 2021-11-02 | ファナック株式会社 | ３次元撮影装置および３次元撮影条件調整方法 |
| US11051001B2 (en) * | 2019-05-29 | 2021-06-29 | Avigilon Corporation | Method and system for generating a two-dimensional and a three-dimensional image stream |
| TWI722703B (zh) * | 2019-12-09 | 2021-03-21 | 財團法人工業技術研究院 | 投影設備與投影校正方法 |
| US11663697B2 (en) | 2020-02-03 | 2023-05-30 | Stmicroelectronics (Grenoble 2) Sas | Device for assembling two shots of a scene and associated method |
| JP2022088887A (ja) * | 2020-12-03 | 2022-06-15 | セイコーエプソン株式会社 | 調整方法、計測方法、投写システム、情報処理装置、及びプログラム |
| CN112816993B (zh) * | 2020-12-25 | 2022-11-08 | 北京一径科技有限公司 | 激光雷达点云处理方法和装置 |
| CN113513987B (zh) * | 2021-07-10 | 2023-04-18 | 深慧视(深圳)科技有限公司 | 一种3d点云坐标生成装置 |
| CN114037801B (zh) * | 2021-11-19 | 2024-04-05 | 凌云光技术股份有限公司 | 一种基于高动态范围成像的点云融合系统及方法 |
| CN114663273B (zh) * | 2022-03-21 | 2023-04-28 | 中国人民解放军国防科技大学 | 一种基于直接成像的轻量型云粒子现场测量方法及系统 |
| WO2023191480A1 (ko) * | 2022-03-31 | 2023-10-05 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법. |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102768767A (zh) * | 2012-08-06 | 2012-11-07 | 中国科学院自动化研究所 | 刚体在线三维重建与定位的方法 |
| US9215382B1 (en) * | 2013-07-25 | 2015-12-15 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for data fusion and visualization of video and LADAR data |
| WO2016040634A1 (en) * | 2014-09-11 | 2016-03-17 | Cyberoptics Corporation | Point cloud merging from multiple cameras and sources in three-dimensional profilometry |
| US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
| CN106023303A (zh) * | 2016-05-06 | 2016-10-12 | 西安电子科技大学 | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 |
| EP3086283A1 (en) * | 2015-04-21 | 2016-10-26 | Hexagon Technology Center GmbH | Providing a point cloud using a surveying instrument and a camera device |
| CN106683068A (zh) * | 2015-11-04 | 2017-05-17 | 北京文博远大数字技术有限公司 | 一种三维数字化图像采集方法及设备 |
| CN106683173A (zh) * | 2016-12-22 | 2017-05-17 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
| CN107154014A (zh) * | 2017-04-27 | 2017-09-12 | 上海大学 | 一种实时彩色及深度全景图像拼接方法 |
| CN107194962A (zh) * | 2017-04-01 | 2017-09-22 | 深圳市速腾聚创科技有限公司 | 点云与平面图像融合方法及装置 |
| US20170289515A1 (en) * | 2016-04-01 | 2017-10-05 | Intel Corporation | High dynamic range depth generation for 3d imaging systems |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6751344B1 (en) * | 1999-05-28 | 2004-06-15 | Champion Orthotic Investments, Inc. | Enhanced projector system for machine vision |
| JP2003018617A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 撮像装置 |
| JP5395507B2 (ja) * | 2009-05-21 | 2014-01-22 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム |
| US20170128951A1 (en) * | 2010-04-22 | 2017-05-11 | Forest Concepts, LLC | Multipass rotary shear comminution process to produce plant biomass particles |
| JP5367640B2 (ja) * | 2010-05-31 | 2013-12-11 | パナソニック株式会社 | 撮像装置および撮像方法 |
| JP6334861B2 (ja) * | 2013-07-16 | 2018-05-30 | 株式会社キーエンス | 外観検査装置、外観検査方法及び外観検査プログラム並びにコンピュータで読み取り可能な記録媒体 |
| US9554057B2 (en) * | 2013-07-16 | 2017-01-24 | Texas Instruments Incorporated | Wide dynamic range depth imaging |
| US9787899B1 (en) * | 2014-08-12 | 2017-10-10 | Amazon Technologies, Inc. | Multiple captures with a variable aperture |
| JP6590489B2 (ja) * | 2015-03-03 | 2019-10-16 | キヤノン株式会社 | 情報処理装置および方法 |
| US9646410B2 (en) * | 2015-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Mixed three dimensional scene reconstruction from plural surface models |
| US10482621B2 (en) * | 2016-08-01 | 2019-11-19 | Cognex Corporation | System and method for improved scoring of 3D poses and spurious point removal in 3D image data |
| WO2018085797A1 (en) * | 2016-11-04 | 2018-05-11 | Aquifi, Inc. | System and method for portable active 3d scanning |
| US10438408B2 (en) * | 2017-07-28 | 2019-10-08 | The Boeing Company | Resolution adaptive mesh for performing 3-D metrology of an object |
-
2017
- 2017-12-22 GB GB1721819.9A patent/GB2569656B/en active Active
-
2018
- 2018-11-26 EP EP18811003.5A patent/EP3729367A1/en active Pending
- 2018-11-26 CN CN201880089510.7A patent/CN112106105B/zh active Active
- 2018-11-26 WO PCT/EP2018/082614 patent/WO2019120896A1/en unknown
- 2018-11-26 JP JP2020554372A patent/JP7350343B2/ja active Active
- 2018-11-26 US US16/956,191 patent/US11763518B2/en active Active
- 2018-11-26 KR KR1020207018049A patent/KR20200132838A/ko not_active Application Discontinuation
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102768767A (zh) * | 2012-08-06 | 2012-11-07 | 中国科学院自动化研究所 | 刚体在线三维重建与定位的方法 |
| US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
| US9215382B1 (en) * | 2013-07-25 | 2015-12-15 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for data fusion and visualization of video and LADAR data |
| WO2016040634A1 (en) * | 2014-09-11 | 2016-03-17 | Cyberoptics Corporation | Point cloud merging from multiple cameras and sources in three-dimensional profilometry |
| CN106796721A (zh) * | 2014-09-11 | 2017-05-31 | 赛博光学公司 | 三维轮廓测量中根据多个相机和源的点云合并 |
| EP3086283A1 (en) * | 2015-04-21 | 2016-10-26 | Hexagon Technology Center GmbH | Providing a point cloud using a surveying instrument and a camera device |
| CN106683068A (zh) * | 2015-11-04 | 2017-05-17 | 北京文博远大数字技术有限公司 | 一种三维数字化图像采集方法及设备 |
| US20170289515A1 (en) * | 2016-04-01 | 2017-10-05 | Intel Corporation | High dynamic range depth generation for 3d imaging systems |
| CN106023303A (zh) * | 2016-05-06 | 2016-10-12 | 西安电子科技大学 | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 |
| CN106683173A (zh) * | 2016-12-22 | 2017-05-17 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
| CN107194962A (zh) * | 2017-04-01 | 2017-09-22 | 深圳市速腾聚创科技有限公司 | 点云与平面图像融合方法及装置 |
| CN107154014A (zh) * | 2017-04-27 | 2017-09-12 | 上海大学 | 一种实时彩色及深度全景图像拼接方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113905194A (zh) * | 2021-08-31 | 2022-01-07 | 浙江大华技术股份有限公司 | 一种曝光比处理方法、终端设备及计算机存储介质 |
| CN113905194B (zh) * | 2021-08-31 | 2024-05-10 | 浙江大华技术股份有限公司 | 一种曝光比处理方法、终端设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2569656A (en) | 2019-06-26 |
| JP2021507440A (ja) | 2021-02-22 |
| GB2569656B (en) | 2020-07-22 |
| US11763518B2 (en) | 2023-09-19 |
| GB201721819D0 (en) | 2018-02-07 |
| JP7350343B2 (ja) | 2023-09-26 |
| KR20200132838A (ko) | 2020-11-25 |
| WO2019120896A1 (en) | 2019-06-27 |
| CN112106105B (zh) | 2024-04-05 |
| EP3729367A1 (en) | 2020-10-28 |
| US20200334895A1 (en) | 2020-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112106105B (zh) | 生成物体三维图像的方法和系统 | |
| CN109477710B (zh) | 基于点的结构化光系统的反射率图估计 | |
| CA3040002C (en) | A device and method for obtaining distance information from views | |
| EP3293698B1 (en) | Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein | |
| KR101626072B1 (ko) | 영상 보정 장치 및 영상 보정 방법 | |
| CN103069250B (zh) | 三维测量设备、三维测量方法 | |
| JP5633058B1 (ja) | ３次元計測装置及び３次元計測方法 | |
| US11375165B2 (en) | Image calibration for projected images | |
| JP6346427B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2014119442A (ja) | ３次元計測装置およびその制御方法 | |
| CN111971525B (zh) | 用立体镜测量物体的方法和系统 | |
| JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
| JP2017003469A (ja) | 三次元計測装置、三次元計測装置の制御方法及びプログラム | |
| Je et al. | Color-phase analysis for sinusoidal structured light in rapid range imaging | |
| JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| US10410329B2 (en) | Image processing apparatus, image processing method, and computer readable storage medium | |
| JP2017138199A (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
| JP6917796B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| CN114731373A (zh) | 确定用于三维图像采集过程的一组或多组曝光设置的方法 | |
| US11195290B2 (en) | Apparatus and method for encoding in structured depth camera system | |
| WO2021122641A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method | |
| CN108332720B (zh) | 光学测距系统 | |
| JP2020106502A (ja) | 形状計測装置、制御方法及びプログラム | |
| JP4241250B2 (ja) | ３次元形状測定装置および方法 | |
| KR101765257B1 (ko) | 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |