CN114731373A - 确定用于三维图像采集过程的一组或多组曝光设置的方法 - Google Patents

确定用于三维图像采集过程的一组或多组曝光设置的方法 Download PDF

Info

Publication number
CN114731373A
CN114731373A CN202080059570.1A CN202080059570A CN114731373A CN 114731373 A CN114731373 A CN 114731373A CN 202080059570 A CN202080059570 A CN 202080059570A CN 114731373 A CN114731373 A CN 114731373A
Authority
CN
China
Prior art keywords
exposure
sets
exposure settings
image data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080059570.1A
Other languages
English (en)
Inventor
奥伊斯坦·斯科特海姆
亨里克·舒曼-奥尔森
阿列克谢·斯特帕诺夫
奥文德·简布
马丁·英瓦尔森
延斯·T·蒂勒曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zweida Co
Original Assignee
Zweida Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zweida Co filed Critical Zweida Co
Publication of CN114731373A publication Critical patent/CN114731373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种确定用于成像系统所实施的三维图像采集过程的一组或多组曝光设置的方法，该三维图像采集过程包括由所述图像传感器分别以相应各组曝光设置捕获一组或多组图像数据，其中，所述一组或多组图像数据能够用于生成确定一个或多个被成像物体表面上的点的三维坐标的一个或多个三维点云，每组曝光设置均确定了所述成像系统的一项或多项参数的值，其中，该方法包括：确定一组或多组候选曝光设置；从所述各组曝光设置中选择满足一项或多项优化准则的一组或多组曝光设置。

Description

确定用于三维图像采集过程的一组或多组曝光设置的方法
技术领域
本申请中描述的实施方式涉及一种确定用于三维图像采集过程的一组或多组曝光设置的方法。本申请中描述的实施方式还涉及一种生成物体三维图像的系统。
背景技术
三维表面成像(3D表面成像)为一项快速发展的技术。本申请中使用的“三维表面成像”一词可理解为指通过捕获三个维度上的空间信息(也就是说，除了捕获传统图像或照片中的二维空间信息之外，还捕获深度信息)而生成物体表面的三维表现形式的过程。该三维表现形式可例如在视觉上显示为屏幕上的“三维图像”。
多种不同技术可用于获得生成物体表面三维图像所需的数据。此类技术包括，但不限于，结构化光照明、飞行时间成像、全息技术、立体系统(主动式和被动式)以及激光线三角测量。在每种技术中，均可以“点云”的形式捕获数据。其中，通过记录三维空间中不同点的强度值，使得点云中的每一点均具有其自身的一组(x,y,z)坐标以及相应强度值I。
图1所示为在存储器内存储点云数据时可采取的一种例示存储方式。如图所示，点云数据以N行M列二维点云矩阵101的形式存储。该矩阵的每一元素包括数据元组，该数据元组包括点云中某个点的{xij,yij,zij}坐标，其中，i＝{1,2…N}，j＝{1,2,…M}，N和M均为整数值。该数据元组还包括所述点的强度值Iij。强度值与相应的空间坐标共同确定对象物体的外表面几何形状。通过将各点在三个维度上呈现，可以获得物体的三维表现形式。
在一些情形中，可通过二维传感器阵列采集物体的一幅或多幅二维图像，并根据这些二维图像计算点云数据。在此类情形中，可将点云矩阵元素映射至传感器阵列的像素元件。例如，对于给定的矩阵元素，索引符号i和j可表示相应像素元件在传感器阵列内的位置。如此，{xij,yij,zij}坐标即可确定点在空间内的位置，其对应于相应像素在一幅或多幅二维图像内的位置。
与所有形式的成像技术一致，最终获得的三维图像的信噪比(SNR)部分取决于图像数据捕获中使用的传感器的动态范围。如果从物体上的不同点接收的信号强度例如因物体表面含有若干高亮区域和高暗区域而可能存在显著差异，则必须在以下两方面之间取得平衡：(1)最大程度增大照明强度和/或传感器曝光时间，以确保从物体的较暗区域接收到足够的光；(2)最大程度减小照明强度和/或传感器曝光时间，以避免来自物体较亮区域的信号使传感器达到饱和。为了解决这一问题，已提出的一种解决方案为将高动态范围(HDR)成像概念应用于三维成像。HDR成像为数字图像领域中用于提高光度动态范围的一种成熟技术。该技术包括：以不同曝光时间捕获同一场景的若干幅图像；以及通过图像数据的后处理生成所述场景的单幅HDR图像。以较长曝光时间捕获的图像能够捕获到场景较暗区域细节，这些细节是以较短曝光时间捕获的图像因到达相机的信号不足而无法分辨的。与此同时，以较短曝光时间捕获的图像能够捕获到场景较亮区域细节，这些细节是以较长曝光时间捕获的图像因相机饱和而无法分辨的。通过以合适的HDR算法对此类图像进行后处理，可以获得明暗区域细节元素均可见的单幅高清图像。
笼统地说，HDR成像的原理能够以与传统二维成像相同的方式应用至三维成像。图2示意性地示出了这一实现方式的示例。与二维HDR成像方式类似，可在不同曝光设置下捕获多组图像数据，但是区别在于，该情形中的各组图像数据包括三维图像数据，而非二维图像数据。也就是说，各组图像数据指定被观看场景中各点的三维位置。每组图像数据可分别以点云矩阵201a，201b，201c的形式存储。随后，可将各个点云矩阵合并成能够用于呈现三维HDR图像的单个点云矩阵203。然而，与二维HDR成像相比，三维HDR成像确实存在额外挑战。其中的一个问题在于，与二维成像相比，为了获得每一点的三维坐标，必须增加计算步骤，其中，所捕获的图像数据在SNR方面的任何不足所产生的影响均会被该额外计算步骤放大，从而严重影响输出图像中每一点的三维坐标的计算精度。此外，在捕获用于生成最终所得三维图像的每组图像数据时，难以识别合适的曝光设置。
因此，需要提供改进的三维HDR图像生成技术。
发明内容
根据本发明的第一方面，提供一种确定用于成像系统所实施的三维图像采集过程的一组或多组曝光设置的方法，所述成像系统包括图像传感器，所述三维图像采集过程包括由所述图像传感器分别以相应各组曝光设置捕获一组或多组图像数据，其中，所述一组或多组图像数据能够用于生成确定一个或多个被成像物体表面上的点的三维坐标的一个或多个三维点云，每组曝光设置均指定了所述成像系统对到达该图像传感器的信号量具有影响的一项或多项参数的值，该方法包括：
(1)通过所述图像传感器捕获的图像数据，识别一组或多组候选曝光设置；
(2)对于每组候选曝光设置：
确定当该组候选曝光设置用于捕获所述三维图像采集过程所使用的一组图像数据时所述图像传感器的不同像素可能会接收到的信号量；
根据所述不同像素可能会接收到的信号量，确定当使用所述一组候选曝光设置时，各个像素是否将为良好曝光像素，其中，良好曝光像素为关联质量参数值大于阈值的像素，像素的质量参数值反映了当以该组候选曝光设置捕获的一组图像数据生成该像素的关联点云时，该点云中的点的三维坐标的不确定性程度；
确定曝光代价，其中，该曝光代价得自该组候选曝光设置的所述一项或多项参数的值；以及
(3)从所述一组或多组候选曝光设置中选择用于所述三维图像采集过程的一组或多组曝光设置，该选择满足一项或多项优化准则，其中，该一项或多项优化准则为在如下方面定义的准则：
(a)组N中的像素个数，其中，如果某个像素针对所选择的至少一组曝光设置确定为良好曝光像素，则该像素属于该组N；以及
(b)所选择的一组或多组曝光设置的曝光代价。
在一些实施方式中，所述一组或多组图像数据当中的每组图像数据能够分别用于生成相应的三维点云。在此类实施方式中，各组图像数据可分别包括以相应一组曝光设置捕获的图像数据，该图像数据随后与之前捕获的图像数据相结合，以形成可用于生成三维点云的新的一组图像数据。
在一些实施方式中，所述不同像素包括所述图像传感器的所有像素当中的子集。在一些实施方式中，所有所述不同像素均属于所述图像传感器的预定区域。在一些实施方式中，所述不同像素包括所述图像传感器中的所有像素。
在一些实施方式中，对于每组候选曝光设置，所述方法包括：
识别一组或多组替代候选曝光设置，针对该一组或多组替代候选曝光设置，所述成像系统的所述一项或多项参数具有不同的值，但是所述图像传感器的预期接收信号量相同；以及
对于每组替代候选曝光设置，确定曝光代价，其中，该曝光代价得自该组替代候选曝光设置的所述一项或多项参数，
其中，所述一组或多组替代候选曝光设置可供选择用于所述三维图像采集过程。
所述一组或多组候选曝光设置可选择为确保所述组N中的像素个数与所选择的一组或多组曝光设置的曝光代价之比符合准则。
所述一组或多组候选曝光设置可选择为确保：
(a)所述组N的像素个数符合第一准则；而且
(b)所选择的一组或多组曝光设置的曝光代价符合第二准则。
所述第一准则可以为最大程度增大属于所述组N的像素个数。该第一准则可以为确保属于所述组N的像素个数大于阈值。
所述第二准则可以为最大程度减小总曝光代价。所述第二准则可以为确保所选每一组曝光设置的总曝光代价小于阈值。
在一些实施方式中，对于各组曝光设置中的一组或多组曝光设置，确定当该组候选曝光设置用于捕获一组图像数据时所述图像传感器的不同像素可能会接收到的信号量的步骤包括：以该组候选曝光设置捕获一组图像数据。
以所述一组或多组候选曝光设置捕获的各组图像数据可用于识别一组或多组其他候选曝光设置。
在一些实施方式中，步骤(1)至(3)进行一次或多次重复迭代，其中，对于每次迭代：
选择该次迭代所识别的所述一组或多组候选曝光设置中的一组曝光设置；以及
所述优化准则包括：最大程度增大所述组N中的像素个数的第一准则；以及用于确保当前迭代中选择的一组曝光设置的曝光代价以及之前所有迭代中选择的各组曝光设置的相应曝光代价的总和小于阈值的第二准则。
对于每次迭代，所选择的一组曝光设置可用于以所述成像系统捕获一组成像数据，
其中，对于第二次迭代之后的每次迭代，利用前次迭代中捕获的该组图像数据确定当前迭代的各组候选曝光设置。
以一组候选曝光设置确定各个像素是否为良好曝光像素的步骤可包括：确定各个像素获得良好曝光的概率，该概率根据该方法的之前迭代中的像素接收的信号量确定。
每组曝光设置的曝光代价可以为该组设置所使用曝光时间的函数。
识别一组或多组候选曝光设置的步骤可包括：对于所述图像传感器的一个或多个像素，确定使该像素可能成为良好曝光像素的一系列曝光时间。
像素的关联质量参数值可根据被成像场景的环境光量确定。
在一些实施方式中，每组曝光设置包括以下当中的一者或多者：
所述图像传感器的曝光时间；
所述物体与传感器之间光路中的光圈尺寸；
用于照明所述物体的光强；以及
置于所述物体与传感器之间光路中的中性灰度滤镜强度。
所述成像系统可以为包括一个或多个光传感器的光学成像系统。该成像系统可包括用于照明所述被成像物体的一个或多个光源。
每组图像数据中的图像数据可包括所述传感器捕获的所述物体的一幅或多幅二维图像。
所述成像系统可以为通过结构化照明获得每组图像数据的成像系统。
每组图像数据可包括由所述光传感器捕获的所述物体的一系列二维图像，该系列二维图像中的每幅二维图像均以不同照明图案捕获。
每组图像数据可包括一系列格雷码图像及一系列相移图像。
每组图像数据可包括颜色信息。
根据本发明第二方面，提供一种以含有图像传感器的成像系统生成一个或多个物体的三维图像的方法，该方法包括：
由所述图像传感器分别以相应曝光设置捕获一组或多组图像数据，所述各组图像数据能够用于生成确定所述一个或多个物体表面上的点的三维坐标的一个或多个三维点云，每组曝光设置均指定了所述成像系统对到达所述图像传感器的信号量具有影响的一项或多项参数的值；以及
以所捕获的各组图像数据中的一组或多组图像数据中的数据构建三维点云，
其中，每组图像数据的捕获中使用的曝光设置通过根据本发明第一方面的方法确定。
根据本发明第四方面，提供一种计算机可读存储介质，包括计算机可执行代码，该代码在由计算机执行时，使得该计算机实施本发明第一方面的方法。
根据本发明第五方面，提供一种通过以一组或多组曝光设置捕获一组或多组图像数据而实施三维图像采集过程的成像系统，所述一组或多组图像数据能够用于生成确定一个或多个被成像物体表面上的点的三维坐标的一个或多个三维点云，该成像系统包括用于捕获所述一组或多组图像数据的图像传感器，该成像系统用于通过实施根据本发明第一方面的方法而确定用于所述三维图像采集过程的所述一组或多组曝光设置。
本申请所述实施方式提供一种获取物体三维HDR图像的手段。三维HDR图像通过捕获多组图像数据的方式获得。该图像数据可通过本领域已知的多种技术当中的一种获取。此类技术可例如包括结构化光照明，飞行时间成像，全息技术，立体成像(包括主动式和被动式)以及激光线三角测量。每组图像数据可用于计算相应输入点云，该输入点云指定了物体表面上的点的三维坐标及其强度。每组图像数据的信息可组合或合并，以提供单个输出点云，该输出点云可用于呈现物体的三维图像。
所述各组图像数据可以以多组不同曝光设置采集，以使得所述成像系统针对每组图像数据的曝光均不同。其中，“曝光设置”是指可通过调节而改变所述成像系统曝光方式的物理参数。在使用光学成像系统的情形中，一组曝光设置可包括对图像传感器的入射光量具有直接影响的参数。此类参数例如包括以下当中的一者或多者：相机/光传感器的积分时间；相机/光传感器的光圈尺寸；以及用于照明场景或物体的光强。所述一组曝光设置还可包括置于物体与相机/光传感器之间光路中的中性灰度滤镜的强度。该中性灰度滤镜的强度可在每采集新的一组图像数据时均有所不同，以改变到达相机或光传感器的光量。
可以理解的是，除了对传感器入射光量有影响的参数之外，还可在不同曝光操作之间，改变所述系统的其他参数。此类参数可包括相机或光传感器的灵敏度。该灵敏度例如可通过调节施加至该器件的增益的方式改变。
在一些实施方式中，每次曝光可仅改变上述当中的一种曝光设置，而其他曝光设置在每次采集新的一组图像数据时保持不变。在其他实施方式中，可在每次捕获一组新的图像数据时，改变上述设置当中的两者或更多者。
当以更大的曝光量获取图像数据时，可以最大程度地增大从物体或场景较暗区域检测到的信号。如此，可提高此类较暗区域中的点的SNR，从而可在将相应的一组图像数据转换为点云时，提高这些点的空间坐标计算精确度。与此相反，当通过调整曝光设置而减小曝光量时，可以最大程度地增大从物体或场景较亮区域捕获的信号，而且同时不导致相机或光传感器饱和。因此，通过减小曝光量，可以获得较亮区域内的点的SNR得到提高的第二组图像数据，进而可以生成较亮区域内点的空间坐标计算精确度获得提高的第二点云。随后，可通过将这些不同曝光量下的图像数据相互结合而确保同时提高输出三维图像中物体较亮和较暗区域的SNR。
为了确定如何以最佳方式将各曝光量下的数据相互结合，在本申请所述实施方式中，针对每组图像数据中的每一点，均采用额外的“质量参数”来评估。图3所示为一种实施方式中使用的点云矩阵301的一例。与图1传统点云矩阵相比，图3点云矩阵的每一元素均含有额外的值qij。质量参数值qij反映矩阵中相应点的{xij,yij,zij}坐标的不确定程度。在一些实施方式中，该质量参数值能够实现对相应点的{xij,yij,zij}值的预期误差的最佳估算结果。
根据获取图像数据时所使用的具体技术，所述质量参数能够按照多种不同方式当中的其中一种方式确定。在以下进一步详述的一种示例中，采用结构照明法获取用于计算输出点云的图像数据。在该情形中，物体表面给定点的质量参数值可例如根据当将结构照明图案的明暗条纹投影于该点时其所观察到的对比度获得。也就是说，所述质量参数可与该点在被照明图案的亮条纹照明时所检测到的光量和该点在被照明图案的暗条纹照明时所检测到的光量之差相关或自其得出。在一些实施方式中，可将一系列正弦调制的强度图案投影于物体上，而且这些前后相继投影的强度图案可相对于彼此相移。其中，所述质量参数可与在所述各强度图案投影于物体上时每一点所测量的强度相关或自其得出。
在另一例中，当以飞行时间系统进行三维成像时，可将给定点的恢复信号幅度与系统环境光的度量值相比较，以得到该点的质量参数值。在又一例中，当使用立体成像系统时，可通过如下方式获得质量参数：将从第一相机拍摄的图像中识别出的特征与从第二相机拍摄的图像中识别出的特征相比较和匹配；确定匹配质量得分。该得分可例如计算为绝对差之和(SAD)：
Figure BDA0003511363080000101
其中，(r,c)为图像像素坐标，I1，I2为立体图像对，(x,y)为SAD所要评价的视差，(A,B)为匹配阵列维度(单位为像素个数)。像素(r,c)的视差计算值(x′,y′)根据(x′,y′)＝argminx,y SAD(r,c,x,y)计算。根据所计算出的SAD值，其可进一步诠释为根据立体图像重构的点云中每一点的三维坐标不确定性的衡量值。根据需要，该SAD可例如针对区域图像强度进行归一化，以提高性能。
无论图像数据以何种具体成像方法获得，所述质量参数均可用于确定在获得最终三维图像中的点的坐标值时各曝光量的数据受到考虑的程度。在一些实施方式中，每组图像数据均可分别用于构建相应的输入点云矩阵。随后，对于用于构建最终三维图像的点云矩阵中的给定元素{i,j}，该点的一组坐标值{xij,yij,zij}可通过向同一位置{i,j}在各输入点云矩阵中的相应各组坐标值{xij,yij,zij}施加相应的权重值的方式获得。向每一矩阵施加的权重值可取决于所述位置在该矩阵中的质量参数值qij。通过这一方式，可将输出点云矩阵中的{xij,yij,zij}值朝使供获取这些值的各组图像数据在所关注的点上具有更高SNR的方向调整。
在另一例中，输出点云矩阵中元素{i,j}的一组坐标值{xij,yij,zij}可选择为各输入点云矩阵当中单个输入点云矩阵中的{xij,yij,zij}值。被选值所在的输入点云矩阵可以为与其他输入点云矩阵相比所述点上的q值最高的输入点云矩阵。
在另一例中，对于输出点云矩阵的给定元素{i,j}，该点的一组坐标值{xij,yij,zij}可通过将各输入点云矩阵中位置{i,j}处的各组坐标值{xij,yij,zij}取平均的方式获得。也就是说，输出点云矩阵的值xij可包括点{i,j}在各输入点云矩阵中的相应值xij的平均值，输出点云矩阵的值yij可包括点{i,j}在各输入点云矩阵中的相应值yij的平均值，输出点云矩阵的值zij可包括点{i,j}在各输入点云矩阵中的相应值zij的平均值。其中，可在该平均操作中应用阈值准则，其中，仅关联q值高于阈值的各值用于计算平均值。因此，举例而言，假如其中一个输入点云矩阵的元素的值{xij,yij,zij}的关联q值低于阈值，则在计算待用于输出点云矩阵的值{xij,yij,zij}时，可以忽视该元素的值{xij,yij,zij}。
可以理解的是，所述阈值准则也可适用于上述其他情形。例如，在计算输出点云矩阵中元素{i,j}的值{xij,yij,zij}时，如果采用向各输入点云矩阵中同一位置{i,j}的各组坐标值{xij,yij,zij}施加权重的方法，则对于关联q值低于阈值的各组坐标值{xij,yij,zij}，可以向其施加零权重。
可以理解的是，在构建最终所得三维图像的点云时，无需始终分别构建每组采集图像数据的相应点云。相反地，在一些实施方式中，利用合适的算法，可通过将曝光过程中给定像素的实际信号接收量考虑在内的方式，得出该像素的质量参数值，无需根据相应数据实际构建点云。在生成最终三维图像的点云时，可通过将每次曝光获得的各组图像数据合并而生成单组合并图像数据。如此，该组合并数据中每一像素的值均可基于该像素在各组采集图像数据当中的值，并存在趋向使所述像素具有更高关联质量参数值的各组图像数据的趋势。
附图说明
以下，将参考附图，举例描述本发明的实施方式。附图中：
图1所示为传统点云矩阵示例；
图2所示为将多个点云矩阵合并或组合成单个点云矩阵的方式；
图3所示为本申请所述实施方式的点云矩阵示例；
图4为本申请所述实施方式的步骤流程图；
图5A为一种实施方式中结构化照明成像系统的示意图；
图5B为图5A中结构化照明成像系统的几何结构简图；
图6所示为在通过组合使用格雷码技术和相移技术恢复物体三维空间信息的实施方式中GCPS值标准差随信号幅度变化方式的示例；
图7所示为以图5成像系统获得多个输入点云矩阵且以这些输入点云矩阵生成单个输出点云矩阵的示意图；
图8所示为本申请所述实施方式的点云矩阵示例；
图9所示为三维图像中点的深度噪声随用于生成该三维图像的一系列图像中获得的对比度的变化图；
图10为不同候选曝光时间下图像中良好曝光像素个数的直方图；
图11为不同候选曝光时间下图像中良好曝光像素个数的直方图；
图12所示为表示从所述图像传感器的累积曝光中获得的良好曝光像素个数的一系列图像；
图13所示为执行根据一种实施方式的算法的伪代码。
具体实施方式
图4为本申请描述的实施方式中所执行步骤的流程图。在第一步骤S401中，由成像系统采集多组三维图像数据。每组三维图像数据可用于计算确定被成像物体表面上不同点的三维坐标的相应输入点云以及每一点上的表面强度或亮度值。
在步骤S402中，评价每一相应输入点云中每一点的关联数据的质量参数值。如上所述，该质量参数值包括每一点的三维坐标的不确定性测量结果。该质量参数可计算为用于对相应输入点云内每一点的空间坐标进行计算的强度捕获值的函数。
在步骤S403中，根据每组采集图像数据所含的图像数据，计算单组输出三维图像数据。与各组采集图像数据一致，所述一组输出图像数据确定了被成像物体表面上不同点的三维坐标值以及每一点上的表面强度或亮度。其中，所述三维坐标值通过根据相应输入点云内指定的三维坐标值的相应质量参数值对其进行加权的方式计算。如此，所述一组输出图像数据可用于呈现物体的三维图像(步骤S404)。
以下，参考图5至图7，描述以结构化光照明方法采集三维图像数据的例示实施方式。
参考图5A，该图所示为适于通过结构化光照明捕获物体501三维图像的系统示意图。该系统包括投影仪503和相机505。投影仪用于将空间变化二维照明图案投影于物体40上。该图案本身包括一系列明暗条纹507，509。该图案可例如由空间光调制器生成。相机505用于采集物体在由投影仪照明状态下的二维图像。
图5B为该系统的几何结构简图。其中，相机与投影仪相隔距离B。物体上的A点距相机的距离为D，且与相机形成角度θc，并与投影仪形成角度θp。由于相机与投影仪之间的角度，物体表面拓扑结构的任何变化均将使得相机检测到的明暗条纹图案产生变形。不难看出，由于图案的变形状况编码了物体三维表面的信息，因此可用于推导出物体的表面拓扑结构。所述三维信息可通过依次捕获物体以不同光照图案照明的图像后在所获得的一系列图像之间比较每一像素的测量强度的方式恢复。
在本实施方式中，利用相移技术获得所述三维信息。相移为一种众所周知的技术，其中，将一系列正弦调制的强度图案投影于物体之上，每一图案均相对于前一图案存在相移。每次强度图案变化后均捕获照明物体的二维图像。物体表面拓扑结构的变化将使得相机所测表面不同点的强度图案产生相位变化。通过比较同一像素在一系列二维图像之间的光强，可以计算每一点的相位，而该相位又可用于获得物体的深度信息。该数据输出为二维阵列，该阵列的每一元素均映射于相机的一个相应像素，并确定了该像素所对应的点的三维空间坐标。
可以理解的是，除了相移之外，还可采用其他技术恢复所述三维空间信息。例如，在一些实施方式中，可使用格雷码技术，或组合使用格雷码和相移技术。用于从所述一系列二维图像解码所述三维空间信息的精确算法随具体照明图案以及这些图案在所述一系列图像之间的变化方式的不同而不同。关于以上述和其他技术恢复深度信息的算法的进一步信息，可见“用于精确确定三维形状的结构化光投影”一文(O.Skotheim，F.Couweleers，第十二届实验力学国际会议(ICEM12)，2004年8月29日～9月2日，意大利巴里理工大学)。在每一种此类技术中，物体三维空间信息的计算均考虑曝光于照明图案明暗区域的物体的每一点的强度随图案的变化而变化的状况。
在同时使用格雷码和相移恢复所述三维空间信息的一种示例中，投影仪将一系列格雷码图案和相移图案投影在物体上(此类方法的进一步细节例如见Giovanna Sansoni，Matteo Carocci，Roberto Rodella所撰“基于格雷码和相移光保护组合使用的三维视觉：系统误差的分析和补偿”一文(《应用光学》，第38卷，第6565～6573页，1999年))。其中，对于物体上的每一点，可以定义以下两个相应像素位置：(1)投影仪像素坐标，即发出入射在物体该点上的光的投影仪内的像素位置；以及(2)相机像素坐标，即捕获经物体该点反射后的光的相机内的像素位置。利用合适的算法，并考虑相机与投影仪的相对位置(此相对位置直接通过标准校准测量确定)，可以对相机捕获的图像进行处理，以确定每一相机像素的相应投影仪像素坐标。实际上，可以确定处于特定相机像素“视野”内的投影仪像素。此外，通过将接收自格雷码图案和相移图案的图像数据相结合，可以以比投影仪像素本身分辨率更高的分辨率确定投影仪像素坐标。
上述方案可按如下方式理解：首先，通过选择若干(N个)格雷码图案并将相移图案中的正弦条纹数设为2N，使得各条纹与所述一系列N个格雷码图案的二进制跃迁对齐。所得格雷码字GC(i,j)以及相位值φ(i,j)可相互结合形成一组描述每一视场位置下的绝对条纹位置的“GCPS”值。这些GCPS值可转而用于通过将代码的最小值/最大值缩放至投影仪图像的宽度(wp)和高度(hp)而确定投影仪像素坐标。实际上，通过计算每一相机像素的正弦图案相位，可以测量“条纹位移”。
随后，可以定义：
Figure BDA0003511363080000151
其中，GCv(i,j)为格雷码测量结果，φv(i,j)为相位步进测量结果，两种测量均采用竖直条纹(与上同，索引符号i,j表示图像传感器的像素元件)。从上式可知，随后可以计算每一相机图像像素的投影仪原始子像素列：
Figure BDA0003511363080000152
其中，αmax和αmin为竖直条纹GCPS码的最大值和最小值。类似地，当GCPS值以水平条纹获得时，可以定义：
Figure BDA0003511363080000153
随后，根据该β(i,j)等式，可以计算每一相机图像像素的投影仪原始子像素行：
Figure BDA0003511363080000161
其中，βmax和βmin为水平条纹GCPS码的最大值和最小值。
在获取投影仪子像素列和投影仪子像素行坐标Pc(i,j)，Pr(i,j)之后，这些值可用于获取待成像物体上的点的{x,y,z}坐标。具体而言，对于给定的待接收来自投影仪g上的点的光的相机像素p，可利用与立体视觉所用三角测量法类似的已知三角测量法，在将镜头参数、相机与投影仪间距离等条件纳入考虑的情况下，推导出物体上坐标为{xij,yij,zij}的点的位置估计值E。
每一GCPS值的不确定性很大程度上受所恢复信号的幅度的影响，但受周围存在的光的影响较小。发明人实施的实验表明，GCPS值的不确定性在接收信号幅度降至一定水平之前通常较为恒定，但是在其降至一定水平之后，几乎呈指数式增长。这表明，通过预先建立的模型，可以将所测幅度与环境光转换为可预期的GCPS值测量不确定性。图6所示为此中一例，其表明GCPS值的标准差(std)为强度的函数。通过采用与以上用于获取位置估计值E相同的计算方式(但其中将投影仪像素位置定为g+Δg，Δg为所检测信号幅度下与GCPS值标准差的偏差)，可以获取新的位置估计值E'。随后，可通过假设ΔE＝|(|E–E'|)|，可以推导出位置测量值E处的估计标准差ΔE。估计值ΔE可随后用于确定质量参数。
显然，无论具体使用何种结构化照明算法，为了实现三维空间信息的高精度计算，均需测量最大信噪比下物体上的每一点的强度变化，而这又要求具体点在交替暴露于照明图案明暗区域下的强度对比尽可能地高。与上述一致，特定点的对比度可因需要迁就物体整个表面上较大的强度变化范围而受到限制。如果物体表面本身包括多个明暗区域，在相机动态范围有限的情况下，则可能无法实现在物体较亮区域暴露于照明图案较亮条纹时不引起饱和效应的同时，最大程度地增大自物体表面较暗区域恢复的信号。因此，通过单次曝光(在该背景下，一次“曝光”应理解为拍摄到可供计算相应点云的一系列二维图像)，可能无法实现表面每一点上的强度对比度最优化。
为了解决上述问题，在本申请所述实施方式中，以不同的设置，进行多次曝光拍摄。此中一例如图7示意图所示。首先，以第一组曝光设置，拍摄第一系列二维图像。在本例中，通过改变相机光圈相对尺寸的方式变更曝光设置，然而可以理解的是，也可通过调节成像系统的一种或多种其他参数的方式改变曝光设置。圆圈701表示用于拍摄第一系列图像的相机光圈相对尺寸，而图案703a，703b，703c表示在拍摄第一系列图像当中的相应图像时投影至物体上的照明图案。可以看出，每一照明图案703a，703b，703c均包括将一系列交替的明暗条纹投影至物体上的正弦调制强度图案。每一图案的正下方均给出表示图案在视场中相位的波形示意图，其中，图案中的暗条纹对应于波谷，明条纹对应于波峰。可以看出，前后相继的各幅图像中的照明图案彼此相移，各图案中明暗条纹的位置均相对于彼此平移。其中，通过以合适的算法比较同一像素在所述一系列二维图像中的光强，计算相应点的深度信息。随后，将三维空间信息与每一点的强度值一并存入第一点云矩阵705中。
如上述图3所示，除了三维坐标{x,y,z}和强度值I之外，点云矩阵705中的每一元素还包括质量参数值q。在本实施方式中，q值根据相应相机像素In(i,j)在三种不同照明图案703a，703b，703c投影于物体上时所测得的强度的标准差确定。在另一实施方式中，q值根据所述像素在一系列图像中的最大强度值和最小强度值之差确定。通过这种方式，所述质量参数即可衡量每一像素在所述一系列图像中对比度。
在该方法的下一步骤，如圆圈707所示，通过扩大相机光圈尺寸，调节曝光设置，从而增大从物体进入相机的光量。随后，捕获第二系列二维图像，其中，同样地，每幅图像的照明图案709a，709b，709c均彼此不同。该第二系列二维图像用于计算第二输入三维图像点云711，该点云记录了每一元件的深度信息以及强度值和质量参数值q。由于第一系列图像的曝光量与第二系列图像的曝光量不同，因此给定像素元件{i,j}所测的对比度在此两系列图像中可能有所不同。例如，在此两组图像中，给定像素元件{i,j}所测的最大强度水平与最小强度水平之差有所不同。因此，第一点云矩阵705记录的q值与第二点云矩阵711记录的q值可能互不相同。
在又一步骤中，如圆圈713所示，进一步通过扩大相机光圈尺寸，调节曝光设置。随后，在将照明图案715a，715b，715c投影于物体上的同时，以相机捕获第三系列二维图像。该第三系列二维图像用于计算第三输入三维图像点云矩阵717，同样地，该点云矩阵记录了每一元件的深度信息以及强度值和质量参数值q。与第一和第二点云矩阵的情形一致，由于第二系列图像和第三系列图像的曝光量不同，因此在第二系列图像和第三系列图像中，同一像素元件{i,j}所检测的对比度可能有所不同。因此，第三点云矩阵717记录的q值可能既不与第一点云矩阵705的q值相同，也不与第二点云矩阵711的q值相同。
在计算出每一系列图像的点云矩阵之后，该方法进一步通过汇总各点云矩阵的数据而获得单个输出点云矩阵719，该输出点云矩阵可随后用于呈现物体的三维表现形式。
可以理解的是，虽然图7示例共包括三个系列的输入图像，但这一点仅在于举例，所述输出点云矩阵可根据所捕获的任何数目(N)个点云计算获得，其中，N≥2。类似地，虽然上述实施例通过增大用于捕获各系列图像的相机光圈尺寸的方式改变曝光量，但是容易理解的是，这一做法并非改变曝光量的唯一方式，其他可改变曝光量的方式例如包括增大照明强度，增大相机积分时间，增大相机灵敏度或增益，或者改变设置于物体和相机间光路中的中性灰度滤镜的强度。
如上所述，虽然图7示例包括针对每组采集图像数据分别生成点云的步骤，但是可以理解的是，这一点仅在于举例，在一些实施方式中，输出点云的生成无需分别构建每组图像数据的点云。在此类情形中，每组图像数据中各像素的关联质量参数值可从这些像素的信号检测水平以及入射至图像传感器的环境光量推衍得出。
通过多组不同曝光设置捕获多组图像数据，并将各组数据中的数据融合成单幅输出三维图像，本申请所述实施方式可有助于对相机动态范围的限制进行补偿，从而同时增大物体表面明点和暗点的信噪比。如此，本文所述实施方式可有助于确保从当采用现有三维表面成像方法时要么在最终图像中遗漏要么被噪声覆盖的区域获取有用数据，并且可确保比此类现有三维表面成像方法更高的物体表面形貌映射精度。
在上述实施方式中，假设相机传感器以灰度模式成像，即每一像素测量相对于入射至传感器上的总光照水平的单个强度值。然而，可以理解的是，本申请所述实施方式可同等应用于彩色成像情形。例如，在一些实施方式中，相机传感器可包括以拜耳掩模(BayerMask)将入射光分解为红绿蓝三种颜色通道的RGB传感器。在其他实施方式中，相机传感器可包括以三个单独的CCD传感器分别采集红光、蓝光、绿光信号的三CCD器件。在该情形中，可按照与上述实施方式相同的方式获取点云矩阵，但在每一矩阵元素内，均需将强度值Iij分解为三种颜色的强度值rij，gij，bij。图8所示为此类点云矩阵的一例。
如上所述，用于呈现最终所得三维图像的数据可例如通过改变包括照明强度、相机积分时间(曝光时间)在内的一种或多种曝光设置，提高相机灵敏度或增益，或者改变设置于物体和相机间光路中的中性灰度滤镜的强度的方式获得。由此可见，对于任何一次曝光，均存在大量可用的不同设置组合方式。某些此类组合方式可实现比其他组合方式更优的方案。例如，在一些情形中，可能需要选择能够最大程度缩短曝光时间的一组曝光设置，然而，在其他情形中，可能会存在额外或不同的考虑因素，例如，需要保持光圈尺寸不变，以避免景深发生变化，如此便在成像系统需要调整的参数以及此类参数的调整量方面施加了其他约束条件。总体而言，在采集图像时，一般需要在以下两方面取得平衡：实现可接受的图像SNR(尤其被成像物体表面每一点的深度值噪声)；一项或多项曝光要求，如(1)总采集持续时间、(2)采集所需照明强度、(3)光圈尺寸等。
应该注意的是，采用主动式照明的三维测量系统(如结构化光、激光三角测量、飞行时间)与常规相机的不同之处在于，在希望实现最大噪声水平时，环境光量会严重影响系统的动态范围。这表示，无法直接使用传统的自动曝光算法——此类算法的优化目的一般仅在于实现足够大的总信号水平，而主动式三维测量系统必须在强制施加主动发射光与环境光的校正比的同时避免发生饱和。与此同时，手动确定良好的曝光设置是一项复杂的工作，这是因为其要求用户完全了解相机的型号及其参数设置。
因此，需要提供一种用于确定在调整哪些曝光设置及进行何种程度的调整时才能在给定场景或物体下优化数据质量的手段。如以上结合图5B所述，针对任何给定像素，噪声方面的改进效果均会在对比度升至某一点时开始衰弱。本申请所述实施方式可利用这一现象，针对一项或多项成像约束条件(如最大总曝光时间、最大光圈尺寸等)，确定合适的一组曝光设置。
更具体而言，可以在最终三维图像中像素的质量参数值方面指定待实现的目标，其中，该目标需要在一项或多项成像约束条件下实现。这一做法的目标在于，尝试在例如施加最大总曝光时间或总照明功率等一项或多项约束条件(“代价”)的情况下，在噪声方面实现最终三维图像的优化。
首先，可以定义以系统的一种或多种曝光设置为变量的曝光代价函数ECost，其中，所述曝光设置为确定相机入射光量的设置：
ECost＝f1(曝光时间)+f2(光圈尺寸)+f3(中性灰度滤镜强度)+f4(照明强度)+…
其中，函数{f1,f2,…fn}决定了曝光代价如何分别随每一参数的变化而变化。这些函数可由用户定义，并且有效地决定了用户在调整每一参数时所产生“负面作用”。例如，如果需要以极短的时间捕获三维图像，则用户可向曝光时间分配较高的代价。再例如，如果用户在时间上没有限制，但是希望将总体功耗保持于最低水平，其可向照明强度分配较高的代价。ECost值可用于在确定给定采集操作的最佳曝光设置时，提供约束条件。
除此之外，还可定义曝光值Evalue，该值表示到达传感器的光量，且同时包括环境光与来自传感器系统本身的光：
Evalue＝e1(曝光时间)·e2(光圈尺寸)·e3(中性灰度滤镜强度)·e4(照明强度)·…
Evalue用于将对相机所接收的信号量具有影响且因此对系统内每一单独像素的质量具有影响的多种作用纳入其中。此外，Evalue还可扩展为用于返回两个曝光值：环境光(Eambient)曝光值；投影光(Eamplitude)曝光值。
此外，还可确定函数{e1,e2,…en}之间的关系，其中，每对函数之间的关系确定了调整其中一个参数相对于调整另一参数所导致的相机入射光量的变化程度。例如，就增大相机入射光量的效果而言，将曝光时间加倍的操作相当于将光圈尺寸加倍的操作。再例如，就增大相机入射光量的效果而言，将光圈尺寸加倍的操作可相当于将中性灰度滤镜强度降低四倍的操作。函数{e1，e2,…en}的可定义为将此类关系考虑在内。
函数{e1，e2,…en}及其之间的关系可通过实验以经验法离线确定。了解此类函数之间关系的用处在于，一个参数值的变化量能够转换至其他参数值的变化量。例如，在寻求实现特定的Evalue值时，如果已知能够实现该Evalue值的曝光时间变化量，则可将该曝光时间的变化量转换为光圈尺寸变化量，此两变化量所产生的效果对Evalue而言完全相同。从下文可知，这一做法的优点在于，在采集操作中，仅需关注一个参数(通常为曝光时间)即可，从而使曝光设置的确定变得更为简单。随后，用户可根据自己的具体要求(如希望最大程度缩短总曝光时间，或者相反，希望最大程度减小光圈尺寸等)将曝光时间的变化量转换成其他参数值。
在下文中，给出两种根据Evalue，ECost及qmin值确定曝光设置的方法示例，其中，qmin为可接受的最小质量参数值。
第一例的目标在于确定每幅图像能够最大程度增大使最终图像中满足质量参数值q(p)>qmin的像素个数的曝光设置，约束条件为一系列曝光操作的总曝光代价小于预定最大代价
Figure BDA0003511363080000221
也就是说，对于包含n次曝光的一系列曝光操作，每次曝光i均以相应曝光代价为
Figure BDA0003511363080000222
的一组曝光设置采集图像，本例的目标在于在
Figure BDA0003511363080000223
的条件下，确定能够最大程度增大使最终图像中满足q(p)>qmin的像素总个数的一系列曝光操作，或者说能够最大程度增大满足q(p)>qmin的像素个数与
Figure BDA0003511363080000224
之比的一系列曝光操作。
第二例的目标在于确定每幅图像能够在所述一系列曝光操作中最大程度减小总曝光代价的一组曝光设置，而且与此同时确保最终所得三维图像中满足质量参数值q(p)>qmin的像素个数达到阈值。
下文中，将讨论能够满足上述目标的不同策略。在每种策略中，均可将上述目标限定至给定场景的特定二维或三维区域。
对于许多三维测量系统而言，接收对比度/信号c与噪声之间大体上存在(
Figure BDA0003511363080000225
这一关系。对比度表示相机系统所采用主动式照明的幅度/信号水平。此外，环境光对相机的入射光量也有影响。对比度一般与所采集到的光量有关。例如，曝光时间加倍有可能会使得对比度(以及环境光)加倍。参考图9，可以看出，当对比度超出某个值(如50)后，存在一段近似“平台”段，在该段中，测量噪声不再随对比度的增大而显著改善。此外，在许多应用中，存在固定的可容忍噪声水平限值(如0.15mm)。在图9所示曝光情形中，举例而言，对比度大于40的曝光即可认为是“足以满足要求”的曝光。此外，还可以看出，最低可容忍对比度还取决于环境光量。
再次参考图5B所示，结构化光系统的测量点σSL的距离不确定性可根据下式计算：
Figure BDA0003511363080000231
其中，D为距测量点的距离，B为相机与投影仪之间的基线，θc和θp分别为相机角度和投影仪角度。FOV值为投影仪视场，φmax为所投影的正弦波数，A为所观察的正弦波的幅度，C为所接收的固定光信号，即环境照明+所发射正弦波的DC电平(Bouquet，G.等人，“基于TOF和SL的三维相机的设计工具”，《光学快报》，25卷，27758～27769页，2017年，该文内容援引于此)。
然而，与此同时，还存在传感器饱和的问题。如果将Smax定义为传感器能够在不发生饱和的状况下承受的最大信号水平，则A+C>Smax，且σSL的劣化速度较快。其中，当正弦波仅可部分恢复时，将导致质量发生下降，而当代码中仅格雷码部分能够解码时，质量将进一步下降。一旦传感器饱和，则将丢失所有的信息。可以理解的是，当以多种曝光设置捕获数据时，无需始终同时捕获格雷码及相位图像/正弦波。由于格雷码对饱和的承受度更高，因此可使用其中一种曝光设置捕获格雷码，并将该格雷码与以多种曝光设置捕获的相位图像结合使用。如此，可以免于多次重复捕获格雷码，从而节省时间。
为了将发生饱和的可能性考虑在内，上文等式可改写为：
Figure BDA0003511363080000241
应该注意的是，在大多数情形中，B和FOV可视为常数。
如上所述，特定图像采集操作的曝光代价ECost表示为对相机入射光量具有影响的不同参数的函数。为了简单起见，在下文中，假设除了曝光时间之外，所有其余参数均保持不变。如此，ECost＝曝光时间长度t。
相应地，可以获得以下等式：
A′(p)＝tA*(p)
C′(p)＝tC*(p)
其中，A′(p)表示图像中点p处的幅度测量值，C′(p)表示点p处的环境光测量值，A*(p)为点p处与曝光时间无关的幅度，C*(p)为点p处与曝光时间无关的环境光。
A*和C*可视为以某种时间单位归一化的归一化值。A*和C*可表示为下式：
A*(p)＝v+(p)-v-(p)
C*(p)＝v-(p)
其中，对于每一像素p，v+(p)为系统启动主动式照明时(即结构化光投影仪打开时)的像素信号水平，v-(p)为系统照明关闭时的像素信号水平。
如此，系统的噪声预测值表示为：
Figure BDA0003511363080000242
当考虑每一像素p的情形时，可得：
Figure BDA0003511363080000243
σSL表达式可简化为：
Figure BDA0003511363080000251
为了确立曝光时间值，可定义质量参数
Figure BDA0003511363080000252
如此，所需的q>qmin可改写为σSL<σmax。该表达式表示物体上的每一点得到充分曝光时相应像素所需的最短时间tmin。可以看出，所需求取的tmin不仅取决于环境光，而且取决于距物体的距离D以及角度θc和θp所确定的场景内位置。根据具体的实现方式，此类变量可表示不变，或用于反映实际的每像素数据。
鉴于过饱和(其中，σSL＞＞σmax)现象，还存在时间值tmax，该值确定了不发生饱和的情况下，像素可曝光的最大时间。在实际情形中，这表示对于某些像素而言，由于σmax>σSL要求的信号水平A和C会使得传感器饱和，因此无法满足σmax>σSL。这一情形可例如发生于传感器系统在户外阳光下使用时，或者在强光源存在的情况下使用时。在此类情形中，内置照明将无法盖过环境光。
每一像素的tmin和tmax值可通过多种方式确定。在第一例中，按照下述方式，根据所捕获的图像，预测此两值。
假设以曝光时间t0捕获的图像I(t0)包含具有v+(p0)和v-(p0)的像素p0，并且假设p0既未完全过饱和，也未过分不饱和，则可利用以下等式预测该像素的tmin和tmax：
Figure BDA0003511363080000253
同时，由于
Figure BDA0003511363080000254
得
Figure BDA0003511363080000261
如果所捕获的像素过饱和，则除了tmax<t0之外，无法得到其他预测结果。如果所捕获的像素过分不饱和(例如，对比度接近于零)，则除了tmin>t0之外，无法得到其他预测结果。然而，对于过分不饱和的情形而言，还存在各种(在σSL(p0)>σmax的同时)允许对tmin和tmax进行预测的情形。
此外，令人感兴趣的是，还存在tmin>tmax的情形。在实际状况中，这通常表示系统的主动式照明太弱，无法克服环境照明，从而无法实现足够高的成像质量。这种情形可能仅是场景的部分情形。例如，被成像物体的表面法线及其镜面反射特性可能对采集系统不利。
在第一例中，以不同曝光设置iInit＝{E1,E2,…En}捕获一组候选图像Iinit＝{I1,I2,…In}。需要注意的是，由于本情形中仅考虑曝光时间，因此Einit＝{t1,t2,…tn}。随后，确定这些图像当中哪一部分图像(即哪一部分候选曝光时间)在满足总花费时间小于Tmax这一约束条件(此处，可以理解的是，在本例中，由于ECost仅以曝光时间表示，因此Tmax值事实上对应于
Figure BDA0003511363080000262
)的同时，在最大程度增大最终三维图像中具有可接受噪声水平的像素个数方面产生最佳结果。
在本例中，为了快速评价在候选曝光图像IInit的曝光时间下获得良好曝光结果的像素个数，可以使用下述基于直方图的方法。对于IInit中的一幅或多幅给定图像，计算每一像素的tmin和tmax。假设IInit覆盖场景的整个动态范围(通常约为7档)，从而可以计算大多数像素的tmin和tmax值。对于每一像素p，均可能会有使得p获得良好tmin和tmax估计值的数幅图像
Figure BDA0003511363080000263
其中，这些值通过从
Figure BDA0003511363080000264
中选择某些I的方式计算，或者通过在整组
Figure BDA0003511363080000265
内将tmin和tmax平均的方式计算。在此之后，创建二维直方图H。该直方图为每一行x∈[0,k-1]及每一列y∈[0,k-1]均表示[xΔt,(x+1)Δt]这一范围内的曝光时间的k×k矩阵，其中：
Figure BDA0003511363080000271
T*为所考虑的最大时间柱条。
此外，将每一H(x,y)值定义为tmin位于第x行且tmax位于第y列的像素个数：
H(x,y)＝{pi|tmin(p)∈[xΔt,(x+1)Δt]，tmax(p)∈[yΔt,(y+1)Δt]
通过该直方图，可以估计使用给定曝光时间t∈[0,T*]曝光时曝光结果良好的像素个数Ngood：
Figure BDA0003511363080000272
其中，idx(t)为与t对应的行数/列数：
Figure BDA0003511363080000273
需要注意的是，该式适用于[0,T*]中的任何曝光时间，并不仅限于Iinit中的曝光时间。
图10所示为此类直方图的一例。其中，曝光时间单位为毫秒，且Δt＝5ms。x轴表示tmin∈(0,500)，y轴表示tmax∈(0,500)。标注为R1的区域所含的H值为应通过相加而获得给定t′＝105ms(由对角线上的点表示)的Ngood的值。也就是说，区域R1含有tmin(p)∈(0,t′)且tmax(p)∈(t′,T*)的所有像素p。
对于按升序排列的给定一组曝光时间E′＝{t0,t1,…}，可以计算：
Figure BDA0003511363080000274
该式示于图11。由于矩形R1和R2重叠，因此上式避免了对直方图的柱条两次重复计数。
为了进一步加快计算过程，还可使用累积直方图Hc：
Figure BDA0003511363080000281
其中，可以使用下式快速计算整组曝光的Ngood(即计算在所捕获的至少一幅图像中具有可接受的噪声水平的像素的累积和)：
Figure BDA0003511363080000282
该方法能够实现仅以四个数值之和快速计算Ngood(t)。
利用上述Ngood计算方法，可确定满足上述第一目标的一组曝光时间，即在相应图像的总曝光时间小于Tmax的条件下，能够最大程度增大使最终图像中满足质量设置值q(p)>qmin的像素个数的一组曝光时间。
在一种实施例中，可以使用如下“贪心”算法：
设：
Figure BDA0003511363080000283
While Eopt的总时间<Tmax，则:
对于所述一组曝光Eopt∪E，找出最大程度增大满足q(p)>qmin的像素个数的E∈Einit(这一操作可通过上述直方图方法快速完成)；
将E加入Eopt，并从Einit中剔除E。
图12所示为上述算法每一轮计算后的结果，其中，每一行所示为上述while循环的一个轮次。在每一步骤完成后，均计算G，其中，G为Eopt所含曝光图像中曝光结果良好的所有像素均为真的二进制图像。由于初始时无任何像素已知具有可接受的q值，因此G的初始图像(图像1)为全黑。随后，选择场景的第一幅具有最多曝光结果良好(q>qmin)的像素的曝光图像(见图像2)，从而使得G得到更新(图像3)。在下一轮中，以更新后的图像G为基础，并将新的E选择为具有最多个曝光结果良好的其他像素的图像，从而使得G进一步更新。
当代价定义为多种成像参数(并非仅曝光时间)的函数时，上述算法运行直至所选一组曝光的总代价超出Ecostmax，而非直至总曝光时间超出Tmax。更具体而言，在确定一组候选曝光设置之后，可以确定该组曝光设置的Evalue值，并利用该值转换/生成具有相同Evalue值的其他一组/多组候选曝光设置。这一点可通过将上述函数{e1,e2,…en}考虑在内的方式实现。例如，可以识别曝光时间为t1且光圈尺寸为a1的一组候选曝光设置，然后将其转换为曝光时间为t2且光圈尺寸为a2的第二组曝光设置，其中t2>t1且a2<a1。此两组可相互替代的曝光设置应该在对从被成像物体明暗区域收集的光量方面具有类似的作用效果。然而，取决于用户更为注重尽可能地缩短总曝光时间，还是尽可能地减小光圈尺寸(即取决于ECost中的函数f1，还是函数f2)，此两组可相互替代的曝光设置可具有极为不同的代价。
上述贪心算法可极为容易地修改至满足上述第二目标的要求，即为每幅图像确定一组在确保最终所得三维图像中满足质量参数值q(p)>qmin的像素个数达到阈值的同时最大程度减小相应一系列曝光操作的总曝光代价的曝光设置。
设
Figure BDA0003511363080000291
While Eopt中满足q(p)>qmin的像素总数小于Nmin：
对于所述一组曝光Eopt∪E，找出最大程度增大满足q(p)>qmin的像素个数的E∈Einit(这一操作可通过上述直方图方法快速完成)；
将E加入Eopt，并从Einit中剔除E。
可以理解的是，在选择一组最佳曝光时间时，无需局限于仅选择最初一系列捕获图像Iinit的曝光时间。上述直方图表现形式允许使用直方图内每一时间条柱的对应曝光时间，而非仅使用曝光时间ti∈Einit。对于给定的H(x,y)，可以按照下述方式，快速计算出一组最佳曝光时间(此处，再次转回至在各图像的总曝光时间小于Tmax的条件下最大程度增大使最终图像中满足质量参数值q(p)>qmin的像素个数的第一目标)。
以下，设
Figure BDA0003511363080000301
为与直方图H的行/列对应的离散曝光时间，并设
Figure BDA0003511363080000302
为达到无像素满足
Figure BDA0003511363080000303
的最长时间(可接受曝光时间的下限)。类似地，还设
Figure BDA0003511363080000304
为达到无像素满足
Figure BDA0003511363080000305
的最短时间(可接受曝光时间的上限)。
另外，还设
Figure BDA0003511363080000306
为相应的一组可接受的离散曝光时间，其中，
Figure BDA0003511363080000307
各时间的排序顺序为升序。
为了确定一组最佳曝光时间，执行如下过程：
-识别
Figure BDA0003511363080000308
中总时间小于Tmax的所有可能子集
Figure BDA0003511363080000309
这一点可通过如下方式实现：设
Figure BDA00035113630800003010
其中，由于当各次曝光之间的光圈档数小于例如1/3档时将不具有任何意义，因此假设n相对较小。为了快速生成总时间小于Tmax的所有子集
Figure BDA00035113630800003011
可以将所有时间
Figure BDA00035113630800003012
映射至整数k，其中，k＝1，2，…，n。随后，对于每一整数k，列出所有可能的不同分割结果，如：
1＝{1}
2＝{2}
3＝{3}，{1+2}
4＝{4}，{3+1}
5＝{5}，{4+1}，{3+2}
6＝{6}，{5+1}，{4+2}，{3+2+1}
在使用基于代价的方法时，可将
Figure BDA00035113630800003013
的总代价小于
Figure BDA00035113630800003014
的所有可能子集
Figure BDA00035113630800003015
识别为算法基础。
对于每一整数k，上述分割产生
Figure BDA00035113630800003016
的一组总时间为
Figure BDA00035113630800003017
的子集。如此，总时间≤Tmax的所有子集对应于的所有k<kmax整数的分割结果，其中，kmax为最接近Tmax的
Figure BDA00035113630800003018
映射值。所述分割结果既可通过由下至上的方式生成，也可通过递归方式生成。例如，在Python代码情形中，可通过以下一系列命令以递归方式生成所述子集：
Figure BDA0003511363080000311
所述由下至上法仅简单地使用动态编程。此外，可以预先计算出上至某个较大k值以内的所有此类分割的结果表。
-在获得每一子集
Figure BDA0003511363080000312
后，可以计算
Figure BDA0003511363080000313
并选择具有最大Ngood值的子集
Figure BDA0003511363080000314
需要注意的是，可以通过上述累积直方图法，快速计算出每一子集的Ngood值。
以上所述示例的背景为，先捕获一系列初始图像，然后确定图像采集的最佳曝光设置。因此，在上述示例中，各组候选曝光设置均离线确定，从而使得待用于三维图像采集过程的每组曝光设置均在相应各组图像数据采集之前便已确定。下文中，将描述在线选择最佳曝光设置的方法。其中，假设已进行一次或多次初始曝光，而且该方法的目的在于预测后续的最佳曝光。因此，在本在线方法中，以迭代方式进行三维图像采集过程，其中，每次迭代确定下次使用的一组最佳曝光设置，并随后以该组曝光设置捕获一组图像数据。在该方法的每次迭代中，对一组或多组新的候选曝光设置加以考虑，并从中选出单组候选曝光设置，以供用于采集下一组图像数据。
考虑以曝光时间t拍摄的图像I(t)，对于每一像素pi∈I(t)，将系统启动主动式照明(结构化光投影仪打开)状态下的像素信号水平记为v+(pi)，并将系统关闭照明的像素信号水平记为v-(pi)。
多项约束条件如下(以下给出的数字均基于相机传感器为具有256种强度级别的8位传感器)：
-vbad：“黑色”曝光不足像素的最大值(如10)。v<vbad的像素无法保证通过增加曝光时间提高其值。此类像素例如包括阴影区域中的像素。
-vmin：最小可接收像素值(如50)。v∈[vbad,vmin]的像素能够在增加曝光时间时提高其值。
-vmax：最大可接受像素值(如230)。v>vmax的像素为过度曝光像素，无法计算其合适的曝光时间。
-σmax：能够获得可接受的三维质量的最大测量不确定性。每一像素的σ通过如下方式计算：
Figure BDA0003511363080000321
给定具有σ(p)和时间t的p，可根据t′＝αt，按照如下方式估计σ′(p)：
Figure BDA0003511363080000322
算法如下：
-以初始曝光时间采集图像
-计算下次曝光可能采用的一组候选曝光时间
-对于每一候选曝光时间，计算预期能够获得的良好曝光像素个数
-选择具有最大预期良好曝光像素个数的曝光时间
-重复上述过程直至满足条件(例如，达到最大允许时间)
给定一组已完成的曝光，可利用概率模型计算良好曝光像素的个数。考虑以曝光时间t拍摄的图像I(t)，每一像素pi∈I(t)均可属于以下类别当中的一种：
-情形1(无法改善)：像素正确曝光，但σ(p)太高，即：
v-(p)∈(vmin,vmax),v+(p)∈(vmin,vmax),σ(p)>σmax
由于这一类别的像素不可能通过增大曝光时间获得合适的测量结果，因此此类像素排除出考虑范围。
-情形2(质量可接受)：像素正确曝光且该点的三维测量结果的质量可接受，即：
v+(p)∈(vmin,vmax),σ(p)<σmax
此类像素可排除出进一步的考虑范围。
-情形3(过度曝光)：这一情形实际上又分为以下两种可能性：
(a)即使投影仪关闭，像素仍过度曝光，即v-(p)>vmax。在该情形中，除了降低环境光之外，无其他措施。虽然能够提高每一曝光挡位的α′2α的概率，但上限为α′2α。
Pr(σ(p)<σmax|t>ti)＝0,
Figure BDA0003511363080000331
(b)像素在投影仪打开时过度曝光，但在投影仪关闭时正确曝光，即v+(p)>vmax且v-(p)<vmin。在该情形中，目标应该在于减少曝光时间。与上述相同：
Pr(σ(p)<σmax|t>ti)＝0
假设当p正确曝光时，p存在一定的概率α2b满足|v+(p)-v-(p)|＝R，则表示，如果：
Figure BDA0003511363080000332
则v+(p)＝vmax的概率为α2b。
如此，可得：
Figure BDA0003511363080000333
Figure BDA0003511363080000334
随后，估计在保持σ(p)<σmax的同时，t′能够减小的程度。令t″＝β″t′，则：
如果
Figure BDA0003511363080000341
则σ″(p)>σmax
如此，即得：
Pr(σ(p)<σmax|t∈(β″ti,β′ti))＝α2b,
Pr(σ(p)<σmax|t<β″ti)＝0
-情形4(曝光不足)：这一情形存在以下三种可能性：
(a)像素在投影仪打开情况下仍曝光不足，即v+(p)<vbad。在该情形中，需要增加曝光时间。同样地，虽能提高每一曝光挡位的α3α的概率，但上限为α′3α。
Pr(σ(p)<σmax|t<ti)＝0,
Figure BDA0003511363080000342
Figure BDA0003511363080000343
(b)像素在投影仪打开情况下仍曝光不足，即：σ(p)>σmax，但v+(p)∈(vbad,vmin)。可以在保持v+(p)<vmax的同时，将曝光时间增至达到v+(p)，以使得tσ(p)<σmax。概率估计如下：
Pr(σ(p)<σmax|t<ti)＝0,
Figure BDA0003511363080000344
Figure BDA0003511363080000345
Figure BDA0003511363080000346
(c)像素在投影仪关闭情况下曝光不足，即：v-(p)<vmin,v+(p)∈(vmin,vmax),σ(p)>σmax。该情形类似于上述情形4(b)。
图13给出上述在线方法的整体框架，其中含有选择候选时间及估计具有可接受质量参数值的预期像素个数的可能算法示例。该算法使用一组当前曝光时间E＝{(ti,I(ti)}以及相应图像，并使用ComputeExpectedNum估计在给定曝光时间t下之前各次曝光E符合σ(p)<σmax的预期像素个数。该算法使用上述概率模型，并可通过以机器学习技术估计αi(例如，以卷积神经网络(CNN)对邻域像素值加以利用)的方式得到扩展。该方法估计每一像素落入上述当中一种类别的概率：
-给定具有I(ti)的某个ti
-在对数坐标系统中计算候选时间，各ti之间为1/6步长，1个步长<tmin且>tmax
-对于每一候选时间，计算良好曝光像素的预期个数(使用上述方式)
-选择良好曝光像素的最大预期个数的时间。
如上所述，当代价定义为多种成像参数(而非仅曝光时间)的函数时，该算法运行直至一组曝光的总代价超出
Figure BDA0003511363080000351
为止，而非总曝光时间超出Tmax为止。作为另一替代方案，该算法在新的良好曝光像素个数的预期增大幅度(ComputeExpectedNum的返回值)与所选曝光的曝光代价之比降至阈值之下时终止。
可以理解的是，在上述示例中，每一图像采集操作中发生变化的曝光设置仅限于曝光时间，其他参数(光圈尺寸、照明强度、中性灰度滤镜强度等)在各次图像采集操作之间保持不变。然而，如上所述，根据曝光时间的变化量，可以推测出为了实现相同的信噪比，其他参数需要做出的变化程度。这一目的可通过分别考虑每一参数的关联函数{e,e2,…,en}的方式实现。例如，在确定了特定采集操作的一组曝光时间{t1,t2,…,tn}之后，可通过在最大程度减小相应代价{f1,f2,…,fn}的同时考虑曝光时间和光圈尺寸的相应关联函数{e1,e2,…,en}的方式，将所述一组曝光时间转换为一组光圈尺寸{a1,a2,…,an}或这些参数的组合{{t1,a1},{t2,a2}…,{tn,an}}。因此，虽然本申请所述算法的关注点在于曝光时间，但不同曝光时间的确定结果可用作确定对相机入射光量具有影响的其他设置的中介变量。
在调整投影仪亮度时，其主要影响接收信号的幅度，但对环境光强度的影响较小。这一点只需通过将以不同投影仪亮度捕获的图像包含于上述组(如一组不同的离散亮度值)内的方式，便可容易地融入上述“贪心”算法之内。
此外，还可以理解的是，虽然本申请所述具体示例涉及结构化照明系统，但本申请所述方法还可通过将最终图像的信噪比随接收光信号变化的方式纳入考虑，容易地扩展至其他形式的三维成像。举例而言，对于主动式飞行时间系统，深度噪声σTOF存在以下关系式：
Figure BDA0003511363080000361
其中，Nph为总接收信号水平(幅度A与环境光C之和)，τresponse为系统的时间响应，c为光速，m为所实施的采样次数。当考虑暗噪声和环境噪声的影响时，可将
Figure BDA0003511363080000362
替换为信噪比(SNR)。在该情形中，τresponse一般为常数(取决于部件特性)。
可以理解的是，上述算法可易于限制为仅作用于图像的有价值区域。该区域可以为指定的二维(以像素坐标指定)或三维(以XYZ世界坐标指定)区域。随后，可将确定为处于所指定二维或三维目标区域之外的像素排除在算法的进一步考虑之外。
总之，本申请所述实施方式提供一种呈现场景或物体的高SNR三维图像的手段。通过以不同曝光设置实施多次图像采集，并通过将多组图像数据中的数据合并成能够最大程度增大每一点信噪比的单个点云，可以适应场景中不同点的较大光量变化。此外，本申请实施方式提供一种确定用于以在满足一项或多项时间、焦深、照明功率等约束条件的同时最大程度增大最终三维图像信噪比的方式采集每幅图像的一组曝光设置的手段。
可以理解的是，本技术方案的实现形式及本说明书中描述的操作可在包括本说明书公开的结构及其等同结构在内的数字电子电路或计算机软件、固件或硬件中实现，或者在其中的一种或多种的组合中实现。本说明书中描述的技术方案实现形式可通过一个或多个计算机程序实现，即通过编码于计算机存储介质内且供数据处理装置执行或用于控制数据处理装置操作的一个或多个计算机程序指令模块实现。作为代替或附加方案，所述程序指令可编码于人工生成的可传播信号内，此类信号例如为机器生成的电、光或电磁信号，而且编码了用于传输至合适的接收装置以供数据处理装置执行的信息。计算机存储介质既可以为计算机可读存储装置、计算机可读存储基质、随机或串行存取存储阵列或装置或其中一者或多者的组合，也可以包含于其中。此外，虽然计算机存储介质本身并非可传播信号，但是计算机存储介质可作为编码于人工生成的可传播信号内的计算机程序指令的发源地或目的地。此外，计算机存储介质既可以为一个或多个单独的物理部件或介质(如多张CD、盘片或其他存储装置)，也可以包含于其中。
虽然以上已描述了某些实施方式，但是这些实施方式仅以举例方式给出，不旨在对本发明的范围构成限制。相反地，本申请所述的新方法、新装置及新系统可以以多种形式实施，而且在不脱离本发明精神的前提下，还可对本申请所述方法和系统进行各种删减、替换或变更。下附权利要求书以及与此等同之物旨在涵盖落入本发明精神和范围内的此类形式或改动形式。

Claims (27)

1.一种用于确定一组或多组曝光设置的方法，所述一组或多组曝光设置用于成像系统所实施的三维图像采集过程中，其特征在于，所述成像系统包括图像传感器，所述三维图像采集过程包括由所述图像传感器分别以相应各组曝光设置采集一组或多组图像数据，其中，所述一组或多组图像数据能够用于生成一个或多个三维点云，该一个或多个三维点云定义一个或多个被成像物体表面上的点的三维坐标，每组曝光设置均指定了所述成像系统影响到达该图像传感器的信号量的一项或多项参数的值，该方法包括：
(1)利用所述图像传感器捕获的图像数据，识别一组或多组候选曝光设置；
(2)对于每组候选曝光设置：
确定当该组候选曝光设置用于捕获所述三维图像采集过程所使用的一组图像数据时所述图像传感器的不同像素可能会接收到的信号量；
根据所述不同像素可能会接收到的信号量，确定当使用所述一组候选曝光设置时，各个像素是否将为良好曝光像素，其中，良好曝光像素为其相关的质量参数值大于阈值的像素，像素的所述质量参数值反映了当以该组候选曝光设置捕获的该组图像数据生成该像素相关的点云时，该点云中的点的三维坐标的不确定性程度；
确定曝光代价，其中，该曝光代价得自该组候选曝光设置的所述一项或多项参数的值；以及
(3)从所述一组或多组候选曝光设置中选择用于所述三维图像采集过程的一组或多组曝光设置，该选择用于满足一项或多项优化准则，其中，该一项或多项优化准则为在如下方面定义的准则：
(a)组N中的像素个数，其中，如果某个像素在所选择的至少一组曝光设置下能确定为良好曝光像素，则该像素属于该组N；以及
(b)所选择的一组或多组曝光设置的曝光代价。
2.根据权利要求1所述的方法，其特征在于，对于每组候选曝光设置，该方法包括：
识别一组或多组替代候选曝光设置，针对该一组或多组替代候选曝光设置，所述成像系统的所述一项或多项参数具有不同的值，但是所述图像传感器的预期接收信号量相同；以及
对于每组替代候选曝光设置，确定曝光代价，其中，该曝光代价得自该组替代候选曝光设置的所述一项或多项参数的值，
其中，所述一组或多组替代候选曝光设置可供选择用于所述三维图像采集过程。
3.根据权利要求1或2所述的方法，其特征在于，所述一组或多组候选曝光设置选择为确保所述组N中的像素个数与所选择的一组或多组曝光设置的所述曝光代价之比符合一项准则。
4.根据权利要求1或2所述的方法，其特征在于，所述一组或多组候选曝光设置选择为确保：
(a)所述组N中的像素个数符合第一准则；而且
(b)所选择的一组或多组曝光设置的所述曝光代价符合第二准则。
5.根据权利要求4所述的方法，其特征在于，所述第一准则为最大化属于所述组N中的像素个数。
6.根据权利要求4所述的方法，其特征在于，所述第一准则为确保属于所述组N中的像素个数大于阈值。
7.根据权利要求3至6中任一项所述的方法，其特征在于，所述第二准则为最小化所述曝光代价的总和。
8.根据权利要求3至6中任一项所述的方法，其特征在于，所述第二准则为确保所选择的每一组曝光设置的所述曝光代价的总和小于阈值。
9.根据前述权利要求中任一项所述的方法，其特征在于，对于各组曝光设置中的一组或多组曝光设置，确定当该组候选曝光设置用于捕获一组图像数据时所述图像传感器的不同像素可能会接收到的信号量的步骤包括：以该组候选曝光设置捕获一组图像数据。
10.根据权利要求9所述的方法，其特征在于，利用以所述一组或多组候选曝光设置捕获的各组图像数据来确定一组或多组其他候选曝光设置。
11.根据权利要求4所述的方法，其特征在于，步骤(1)至(3)通过一次或多次迭代进行重复，其中，对于每次迭代：
选择该次迭代所确定的所述一组或多组候选曝光设置中的一组曝光设置；以及
所述第一准则为最大化所述组N中的像素个数，所述第二准则为当前迭代中选择的该组曝光设置的所述曝光代价以及之前所有迭代中选择的各组曝光设置的相应所述曝光代价的总和小于阈值。
12.根据权利要求11所述的方法，其特征在于，对于每次迭代，利用所选择的该组曝光设置以所述成像系统捕获一组成像数据，
对于第二次迭代之后的每次迭代，利用前次迭代中捕获的一组图像数据确定当前迭代的各组候选曝光设置。
13.根据权利要求12所述的方法，其特征在于，以一组候选曝光设置确定各个像素是否为良好曝光像素的步骤包括：确定各个像素获得良好曝光的概率，该概率根据该方法的之前迭代中的相应像素接收的信号量确定。
14.根据前述权利要求中任一项所述的方法，其特征在于，每组曝光设置的所述曝光代价为该组设置所使用曝光时间的函数。
15.根据权利要求14所述的方法，其特征在于，确定一组或多组候选曝光设置的步骤包括：对于所述图像传感器的一个或多个像素，确定使该像素可能成为良好曝光像素的曝光时间范围。
16.根据前述权利要求中任一项所述的方法，其特征在于，与像素相关的所述质量参数值根据被成像场景的环境光的量确定。
17.根据前述权利要求中任一项所述的方法，其特征在于，每组曝光设置包括以下当中的一者或多者：
所述图像传感器的曝光时间；
所述物体与所述传感器之间的光路中的光圈尺寸；
用于照明所述物体的光强；以及
置于所述物体与所述传感器之间的所述光路中的中性灰度滤镜的强度。
18.根据前述权利要求中任一项所述的方法，其特征在于，所述成像系统为包括一个或多个光传感器的光学成像系统。
19.根据权利要求18所述的方法，其特征在于，所述成像系统包括用于照明所述被成像物体的一个或多个光源。
20.根据前述权利要求中任一项所述的方法，其特征在于，每组图像数据中的图像数据包括所述传感器采集的所述物体的一幅或多幅二维图像。
21.根据前述权利要求中任一项所述的方法，其特征在于，所述成像系统为通过结构化照明获得每组图像数据的成像系统。
22.根据权利要求21所述的方法，其特征在于，每组图像数据包括由所述光传感器采集的所述物体的一系列二维图像，该系列二维图像中的每幅二维图像均以不同照明图案采集。
23.根据权利要求22所述的方法，其特征在于，每组图像数据包括一系列格雷码图像及一系列相移图像。
24.根据前述权利要求中任一项所述的方法，其特征在于，每组图像数据包括颜色信息。
25.一种生成一个或多个物体的三维图像的方法，采用包括图像传感器的成像系统，其特征在于，该方法包括：
由所述图像传感器分别以各组曝光设置捕获一组或多组图像数据，各组所述图像数据能够用于生成确定所述一个或多个物体表面上的点的三维坐标的一个或多个三维点云，每组曝光设置均指定了所述成像系统影响到达所述图像传感器的信号量的一项或多项参数的值；以及
以所捕获的各组所述图像数据中的一组或多组图像数据中的数据构建三维点云，
其中，每组图像数据的捕获中使用的所述曝光设置通过根据前述权利要求中任一项所述的方法确定。
26.一种计算机可读存储介质，其特征在于，包括计算机可执行代码，该代码在由计算机执行时，使得该计算机实施根据前述权利要求中任一项所述的方法。
27.一种实施三维图像采集过程的成像系统，通过以一组或多组曝光设置捕获一组或多组图像数据来实施，其特征在于，所述一组或多组图像数据能够用于生成确定一个或多个被成像物体表面上的点的三维坐标的一个或多个三维点云，该成像系统包括用于捕获所述一组或多组图像数据的图像传感器，该成像系统用于通过实施根据权利要求1至25中任一项所述的方法来确定用于所述三维图像采集过程的所述一组或多组曝光设置。
CN202080059570.1A 2019-06-21 2020-06-19 确定用于三维图像采集过程的一组或多组曝光设置的方法 Pending CN114731373A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1908935.8A GB2584907A (en) 2019-06-21 2019-06-21 Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
GB1908935.8 2019-06-21
PCT/EP2020/067244 WO2020254657A1 (en) 2019-06-21 2020-06-19 Method for determining one or more groups of exposure settings to use in a 3d image acquisition process

Publications (1)

Publication Number Publication Date
CN114731373A true CN114731373A (zh) 2022-07-08

Family

ID=67511617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080059570.1A Pending CN114731373A (zh) 2019-06-21 2020-06-19 确定用于三维图像采集过程的一组或多组曝光设置的方法

Country Status (7)

Country Link
US (1) US20220329716A1 (zh)
EP (1) EP3987764B1 (zh)
JP (1) JP2022537423A (zh)
KR (1) KR20220024901A (zh)
CN (1) CN114731373A (zh)
GB (1) GB2584907A (zh)
WO (1) WO2020254657A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363525B (zh) * 2022-03-17 2022-06-28 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758020A (zh) * 2005-11-18 2006-04-12 北京航空航天大学 基于自适应正弦条纹投射的立体视觉检测系统
US20090022367A1 (en) * 2006-03-31 2009-01-22 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device and three-dimensional shape detecting method
US20090185800A1 (en) * 2008-01-23 2009-07-23 Sungkyunkwan University Foundation For Corporate Collaboration Method and system for determining optimal exposure of structured light based 3d camera
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
JP2017059998A (ja) * 2015-09-16 2017-03-23 キヤノン株式会社 画像処理装置およびその方法、並びに、撮像装置
US20170118456A1 (en) * 2015-10-27 2017-04-27 Research & Business Foundation Sungkyunkwan University Method and system for determining optimal exposure time and number of exposures in structured light-based 3d camera
CN107894215A (zh) * 2017-12-26 2018-04-10 东南大学 基于全自动曝光的高动态范围光栅投影三维测量方法
US20180176440A1 (en) * 2016-12-21 2018-06-21 Lite-On Electronics (Guangzhou) Limited Structured-light-based exposure control method and exposure control apparatus
CN109069132A (zh) * 2016-02-29 2018-12-21 艾奎菲股份有限公司 用于辅助型3d扫描的系统和方法
CN109087325A (zh) * 2018-07-20 2018-12-25 成都指码科技有限公司 一种基于单目视觉的直接法点云三维重建及尺度确定方法
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2010162A (en) * 2012-02-03 2013-08-06 Asml Netherlands Bv A lithography model for 3d resist profile simulations.
CN108353133B (zh) * 2015-11-11 2021-06-15 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
JP6970551B2 (ja) * 2017-07-31 2021-11-24 株式会社キーエンス 形状測定装置及び形状測定方法
KR101887945B1 (ko) * 2017-08-10 2018-08-13 성균관대학교산학협력단 3d 카메라의 노출 시간 결정 방법 및 장치
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
US11521371B2 (en) * 2019-12-26 2022-12-06 Woven Planet North America, Inc. Systems and methods for semantic map-based adaptive auto-exposure
US11145076B1 (en) * 2020-10-27 2021-10-12 R-Go Robotics Ltd Incorporation of semantic information in simultaneous localization and mapping

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758020A (zh) * 2005-11-18 2006-04-12 北京航空航天大学 基于自适应正弦条纹投射的立体视觉检测系统
US20090022367A1 (en) * 2006-03-31 2009-01-22 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device and three-dimensional shape detecting method
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
US20090185800A1 (en) * 2008-01-23 2009-07-23 Sungkyunkwan University Foundation For Corporate Collaboration Method and system for determining optimal exposure of structured light based 3d camera
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
JP2017059998A (ja) * 2015-09-16 2017-03-23 キヤノン株式会社 画像処理装置およびその方法、並びに、撮像装置
US20170118456A1 (en) * 2015-10-27 2017-04-27 Research & Business Foundation Sungkyunkwan University Method and system for determining optimal exposure time and number of exposures in structured light-based 3d camera
CN109069132A (zh) * 2016-02-29 2018-12-21 艾奎菲股份有限公司 用于辅助型3d扫描的系统和方法
US20180176440A1 (en) * 2016-12-21 2018-06-21 Lite-On Electronics (Guangzhou) Limited Structured-light-based exposure control method and exposure control apparatus
CN107894215A (zh) * 2017-12-26 2018-04-10 东南大学 基于全自动曝光的高动态范围光栅投影三维测量方法
CN109087325A (zh) * 2018-07-20 2018-12-25 成都指码科技有限公司 一种基于单目视觉的直接法点云三维重建及尺度确定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张登辉;霍永青;: "动态场景的高动态范围图像生成", 计算机辅助设计与图形学学报, no. 09, 15 September 2018 (2018-09-15) *
赵金波;白本督;范九伦;肖照;: "基于最优曝光的最小包围曝光集合获取方法", 计算机辅助设计与图形学学报, no. 10, 15 October 2018 (2018-10-15) *

Also Published As

Publication number Publication date
JP2022537423A (ja) 2022-08-25
EP3987764B1 (en) 2024-05-08
GB2584907A (en) 2020-12-23
EP3987764A1 (en) 2022-04-27
WO2020254657A1 (en) 2020-12-24
US20220329716A1 (en) 2022-10-13
GB201908935D0 (en) 2019-08-07
KR20220024901A (ko) 2022-03-03
EP3987764C0 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
CN112106105B (zh) 生成物体三维图像的方法和系统
CA3040002C (en) A device and method for obtaining distance information from views
EP3293698B1 (en) Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein
CN109477710B (zh) 基于点的结构化光系统的反射率图估计
CN104899870B (zh) 基于光场数据分布的深度估计方法
US8339582B2 (en) Apparatus and method to correct image
US20170142312A1 (en) System and method for high dynamic range depth capture using multiple cameras
US10948281B2 (en) Distance information processing apparatus, imaging apparatus, distance information processing method and program
US20110157321A1 (en) Imaging device, 3d modeling data creation method, and computer-readable recording medium storing programs
US9025862B2 (en) Range image pixel matching method
JP6346427B2 (ja) 画像処理装置、画像処理方法
CN110231018B (zh) 一种结构光测距方法、装置及计算机可读存储介质
JP2017003469A (ja) 三次元計測装置、三次元計測装置の制御方法及びプログラム
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
CN114731373A (zh) 确定用于三维图像采集过程的一组或多组曝光设置的方法
JP6362070B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2020106502A (ja) 形状計測装置、制御方法及びプログラム
CN112866596B (zh) 基于cmos传感器的抗强光三维捕捉方法及系统
CN112215879B (zh) 一种光场极平面图像的深度提取方法
KR102714153B1 (ko) 오브젝트의 3차원 이미지 생성 방법 및 시스템
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
CN108332720B (zh) 光学测距系统
US20240119613A1 (en) Structured-light 3d scanning system and method
CN118067031A (zh) 具有自动亮度调节功能的三维测量方法、装置及存储介质
JP2023001950A (ja) 情報処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination