CN112866596B - 基于cmos传感器的抗强光三维捕捉方法及系统 - Google Patents

Abstract

本发明涉及基于CMOS传感器的抗强光三维捕捉方法，包括：调整所述镜头的黑电平的值，并获取每一个调整情况对应的拍摄图像的灰度值的变化；根据每一个调整情况对应的拍摄图像的灰度值的变化，得到并记录调整系数k_b；获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数k_b调整黑电平值至低于所述环境光产生的电平值；确定最终的模拟增益的数值，进行三维捕捉。本发明通过将黑电平的值调整至稍稍低于环境光本身产生的电平，便可将环境光的影响降至最低，进而可以增加模拟增益或增加曝光时间给投影图案流出足够的灰阶以进行精确的测量。

Description

基于CMOS传感器的抗强光三维捕捉方法及系统

技术领域

本发明涉及机器视觉领域，尤其涉及基于CMOS传感器的抗强光三维捕捉方法及系统。

背景技术

基于结构光三维扫描设备在结构光生成方式上大致分为两类：

1.基于激光衍射形成图案的结构光；

2.基于图像投影的结构光。

基于激光衍射的结构光优点在于其对于能量的节约程度较高，形成的图案中亮点的能量集中，亮点与暗区的对比度较高，能够在环境光线相对较强的场景下使用。而且其图案所包含的信息量较大，可以使用单幅图像与参考图像进行匹配，所以扫描的帧率较高，可达到60fps以上。其缺点也非常明显，由于激光衍射形成的是密集光斑组成的图案，使用拍摄到的图像与参考图像匹配时，确定两幅图像中的同名点(来自于空间中同一实际物体的点)需要借助此点在图像上的一个小的邻域中的多个光斑来判断，这就造成了其实际的点云中，点与点之间是存在相关性的。这种相关性在目标物体表面存在深度的突变时，将会严重降低对深度估计的准确性。激光衍射结构光虽然能够在环境光相对较强的场景下使用，但当环境光达到10000lux以上时，衍射结构光也会出现无法测量的情况。

基于图像投影的结构光优点在于对3D点云测量的准确性高。其在结构光的类型上属于在时间上编码而非基于激光衍射的空间编码。所以投影结构光在空间上的精度更高，其点云中的每个点都是独立的，其输出的点的坐标并不依赖周围点的位置。但其在时间上不能通过单帧图片获得深度。在整个点云获取中，需要投影和拍摄多帧图片，而在这整个过程中，相机和目标物体必须保持相对静止，这就对相机的使用场景产生了限制。图像投影结构光另一个弱点是只能在环境光线较弱的场景下使用。这是由于其成像原理造成的。其成像元件无论是DMD芯片还是液晶，控制像素亮度的原理都是将光线挡住或是将光线反射至别的方向后被吸收。这种原理本质上会造成发光功率的极大的浪费。在光线较强的环境中，投影产生的图像不能提供足够的对比度，会导致测量精度的下降甚至会出现无法测量的情况。在场景中同时存在表面反射系数高和反射系数低的物体时，或是同时存在远处和近处的物体，导致不同物体反射回摄像机镜头的光线强度差别达到数十倍以上时，无法同时兼顾不同物体的测量精度。

但是无论在以上两种方案中的哪一种中均存在以下缺陷，另外由于激光衍射形成的图案本质上也是投影图案，所以下面统一使用“投影图案”来表示这两种方案的图案形成方式。

摄像机拍摄到的某个像素，其光线的来源是目标物体表面的一小块区域。在测量时，令I_pixel表示此像素捕捉到的光照强度。

I_pixel＝g×s×r×(I_ambient+I_projected)

其中g为像素的模拟增益，s为像素的曝光时间，r为物体表面在该相素空间位置决定下的漫反射系数。I_ambient为环境光入射强度。I_projected为投影图案光的入射强度。假设在整个测量过程中，环境光的强度不发生变化，则该像素捕捉到的光照强度的最大和最小值分别为：

I_{pixel_max}＝g×s×r×(I_ambient+I_{projected_max})

I_{pixel_min}＝g×s×r×(I_ambient+I_{projected_min})

一般来说，投影图案的最小值为0。则

I_{pixel_min}＝g×s×r×I_ambient

在实际的测量中，无论是上述两种投影方案的哪一种，我们都希望I_{pixel_max}和I_{pixel_min}的像素灰度值之差越大越好。因为这意味着投影图案被摄像机感知到的对比度大。在激光衍射的方案中，对比度大意味着能获取更加清晰的光斑，也就能更好的计算像素小邻域内的相关度，意味着获取更加精确的3D点云信息；在图像投影的方案中，对比度大意味着有更多的灰度阶梯参与解相位的过程中，也就能解除更加精确的相位信息，同样意味着获取更加精确的3D点云信息。

但当环境光强度过强，I_ambient>>I_{projected_max}时，为了要保证环境光本身位于像素的动态范围之内，像素的模拟增益g与曝光时间s的乘积必须小于某一个值，使得环境光不会超出像素能输出的最大灰度值。此设置将会压缩I_{projected_max}在像素中的灰阶数，从而导致获取的3D点云的精度变差。当I_{projected_max}的灰阶数小于1时，则完全不能够测量出3D信息。

发明内容

本发明的目的旨在至少解决现有技术存在的不足之一，提供基于CMOS传感器的抗强光三维捕捉方法及系统。

为了实现上述目的，本发明采用以下的技术方案：

提出基于CMOS传感器的抗强光三维捕捉方法，包括：

确定并调整3D扫描仪镜头的黑电平的值至低于当前环境光产生的电平值；

确定最终的模拟增益的数值，进行三维捕捉。

进一步，上述确定所述镜头的黑电平的调整值的方法具体包括以下，

调整所述镜头的黑电平的值，并获取每一个调整情况对应的拍摄图像的灰度值的变化；

得到并记录调整系数k_b，k_b＝△p/△b，所述调整系数k_b能够使，当所述黑电平对应的寄存器的值每增加△b，相应拍摄图像的灰度值变暗△p个灰度；

获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数k_b调整黑电平值至低于当前环境光产生的电平值。

进一步，上述的获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数调整黑电平值至低于当前环境光产生的电平值，具体包括以下，

获取一帧只有环境光存在的图像，记为image₁，在测量范围M中的所有像素中，最暗的像素的灰度值记为I₀；

获取一帧投影设备存在且激光衍射设备只开启激光器、图案投影设备以最大亮度投影出一幅全亮的图片的图像，记为image₂；

计算得到image₂与image₁的差值，记作image_diff；

将黑电平对应的寄存器的值增加△b_optim＝(I₀-ε_b)/k_b，其中ε_b为小值。

进一步，上述确定最终的模拟增益的方法具体包括以下，

定义p_max为CMOS传感器中一个像素所能够取到的最大的灰度值，计算得到定义k_g为/>在测量范围M中所有像素的最小值；

将模拟增益的值增加k_g倍得到最终的模拟增益的数值；

其中，测量范围M表示CMOS传感器所拍摄图像中所有的像素的总和。

进一步，上述确定所述镜头的黑电平的调整值的方法具体包括以下，

当测量环境中存在具有亮度差距的物体时，预划分P个测量等级，按照P个测量等级的顺序设置P个黑电平值b₁至b_P，P为不小于2的正整数；

分别对物体以b₁至b_P的黑电平值进行P次拍摄，得到P个拍摄结果；

在P个拍摄结果中，将CMOS传感器中的静止区域的像素标记为不可用，其余区域能够正常获得三维坐标，标记为可用；

在P个拍摄结果中，将CMOS传感器中的饱和区域中的像素标记为不可用，其余区域能够正常获得三维坐标，标记为可用；

将对物体进行的P次拍摄得到的三维坐标进行合并，所述合并遵循以下规则，对于每一个像素，若是P次拍摄中存在多个标记为可用的值，则选取最小的黑电平值对应的测量值作为其最终测量值，若是P次拍摄中仅存在1个标记为可用的值，则选取该黑电平值对应的测量值作为其最终测量值，若是P次中不存在标记为可用的值，则舍弃该像素。

本发明还提出基于CMOS传感器的抗强光三维捕捉系统，所述系统包括：

黑电平确定模块，用于确定并调整3D扫描仪镜头的黑电平的值至低于当前环境光产生的电平值；

模拟增益确定模块，用于确定最终的模拟增益的数值，进行三维捕捉。

本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于CMOS传感器的抗强光三维捕捉方法的步骤。

本发明的有益效果为：

本发明通过将黑电平的值调整至稍稍低于环境光本身产生的电平，便可将环境光的影响降至最低，进而可以增加模拟增益或增加曝光时间给投影图案流出足够的灰阶以进行精确的测量，本发明增大了投影图案被摄像机感知到的对比度，能够在一定的强光环境中进行三维捕捉测量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1所示为基于CMOS传感器的抗强光三维捕捉方法的流程图；

图2所示为基于CMOS传感器的抗强光三维捕捉方法应用过程的流程图；

图3所示为一种方式的像素接收到光照强度的计算关系图；

图4所示为基于CMOS传感器的抗强光三维捕捉系统的结构图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。

本发明的总体思路如下，

步骤110、确定并调整所述镜头的黑电平的值至低于当前环境光产生的电平值；

步骤120、确定最终的模拟增益的数值，进行三维捕捉。

结合图1以及图2，实施例1，本发明提出基于CMOS传感器的抗强光三维捕捉方法，包括：

首先获取3D扫描仪的镜头的光圈、曝光时间以及增益；

调整所述镜头的黑电平的值，并获取每一个调整情况对应的拍摄图像的灰度值的变化；

根据每一个调整情况对应的拍摄图像的灰度值的变化，得到并记录调整系数k_b，k_b＝△p/△b，所述调整系数k_b能够使，当所述黑电平对应的寄存器的值每增加△b，相应拍摄图像的灰度值变暗△p个灰度；

获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数k_b调整黑电平值至低于当前环境光产生的电平值；

确定最终的模拟增益的数值，进行三维捕捉。

参照图3，对本发明的方案原理进行分析，以图2为例，像素收集到的电平先和blacklevel(黑电平)的电平相减，再和Analog gain(模拟增益)的增益相乘，之后进入ADC进行模拟数字转换。此时像素接收到的光照强度

I_pixel＝g×(s×r×(I_ambient+I_projected)-b)

其中b为blacklevel(黑电平)的设定值。

需要注意的是，当pixel voltage本身就小于blacklevel(黑电平)时，对于cmossensor来说并不会把二者之差作为负值处理，而是会在零点截止。此时只需将black level(黑电平)值调整至稍稍低于环境光本身产生的电平，便可将环境光的影响降至最低。进而可以增加Analoggain(模拟增益)或增加曝光时间给投影图案流出足够的灰阶以进行精确的测量。

作为本那发明的优选实施方式，上述的获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数调整黑电平值至低于当前环境光产生的电平值，具体包括以下，

获取一帧只有环境光存在的图像，记为image₁，在测量范围M(中的所有像素中，最暗的像素的灰度值记为I₀；

获取一帧投影设备存在且激光衍射设备只开启激光器、图案投影设备以最大亮度投影出一幅全亮的图片的图像，记为image₂；

计算得到image₂与image₁的差值，记作image_diff；

将黑电平对应的寄存器的值增加△b_optim＝(I₀-ε_b)/k_b，其中ε_b为小值。

在本优选实施方式中，考虑到实际测量时，cmos sensor的每个像素接收到的目标物体反射的环境光并不相同。此时本优选方案处理的相关思路为，通过将black level(黑电平)调整到稍稍低于目标物体反射环境光在所有像素中的最低值，即ε_b取小值，小值指的是大于0的任意小的实数。

作为本发明的优选实施方式，上述确定最终的模拟增益的方法具体包括以下，

定义p_max为CMOS传感器中一个像素所能够取到的最大的灰度值，计算得到定义k_g为/>在测量范围M中所有像素的最小值；

将模拟增益的值增加k_g倍得到最终的模拟增益的数值。

而在上述已经确定了黑电平对应的寄存器的值的增量的情况之后，确定最终的模拟增益的方法如上；

其中，测量范围M表示CMOS传感器所拍摄图像中所有的像素的总和。

实施例2，针对同时具备高亮度物体以及低亮度物体的环境，即测量对象情况复杂时，上述确定所述镜头的黑电平的调整值的方法具体包括以下，

当测量环境中存在具有亮度差距的物体时，即同时存在高亮度物体以及低亮度物体，

当测量环境中存在具有亮度差距的物体时，预划分P个测量等级，按照P个测量等级的顺序设置P个黑电平值b₁至b_P，P为不小于2的正整数；

分别对物体以b₁至b_P的黑电平值进行P次拍摄，得到P个拍摄结果；

在P个拍摄结果中，将CMOS传感器中的静止区域的像素标记为不可用，其余区域能够正常获得三维坐标，标记为可用；

在P个拍摄结果中，将CMOS传感器中的饱和区域中的像素标记为不可用，其余区域能够正常获得三维坐标，标记为可用；

将对物体进行的P次拍摄得到的三维坐标进行合并，所述合并遵循以下规则，对于每一个像素，若是P次拍摄中存在多个标记为可用的值，则选取最小的黑电平值对应的测量值作为其最终测量值，若是P次拍摄中仅存在1个标记为可用的值，则选取该黑电平值对应的测量值作为其最终测量值，若是P次中不存在标记为可用的值，则舍弃该像素。

具体的，以两次测量为例，即P＝2，

1.预先设置两个固定的black level值b1和b2。b1<b2；

2.第一次拍摄时将black level设置为b1，此时测量的低亮度物体。高亮度物体可能在sensor中已经饱和，无法测量其三维坐标。饱和区域中像素标记为“不可用”，其余区域可以正常获得三维坐标，标记为“可用”；

3.第二次拍摄时将black level设置为b2，此时测量的是高亮度物体。低亮度物体此时可能在sensor中已经截止。截止区域中像素标记为“不可用”，其余区域可以正常获得三维坐标，标记为“可用”；

4.将两次拍摄的三维坐标进行合并。对于每一个像素，在两次拍摄中选出“可用”的值作为其测量值。如在两次拍摄中都“可用”，则以第一次拍摄的结果作为其测量值。

具体原因在于：当测量场景中同时存在高亮度物体和低亮度物体时，上述方法对抗强光性能的提升受限于最低亮度物体，sensor的black level值不能高于最低亮度的物体。此时可用多次拍摄的方法分别拍摄高亮度物体和低亮度物体，完毕之后再将多次拍摄的结果融合。

参照图4，本发明还提出基于CMOS传感器的抗强光三维捕捉系统，所述系统包括：

黑电平确定模块100，用于确定并调整所述镜头的黑电平的值至低于当前环境光产生的电平值；

模拟增益确定模块200，用于确定最终的模拟增益的数值，进行三维捕捉。

本发明还提出了与上述方法对应的系统，在系统运行时，能够达到本发明提出方法的相关效果。

本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于CMOS传感器的抗强光三维捕捉方法的步骤。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (4)

1.基于CMOS传感器的抗强光三维捕捉方法，其特征在于，包括：

确定并调整3D扫描仪镜头的黑电平的值至低于当前环境光产生的电平值；

确定最终的模拟增益的数值，进行三维捕捉；所述模拟增益为所述CMOS传感器的一个像素捕捉到的光照强度所需要的计算参数；

上述确定所述镜头的黑电平的调整值的方法具体包括以下，

调整所述镜头的黑电平的值，并获取每一个调整情况对应的拍摄图像的灰度值的变化；

得到并记录调整系数k_b，k_b＝Δp/Δb，所述调整系数k_b能够使，当所述黑电平对应的寄存器的值每增加Δb，相应拍摄图像的灰度值变暗Δp个灰度；

获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数k_b调整黑电平值至低于所述环境光产生的电平值。

2.根据权利要求1所述的基于CMOS传感器的抗强光三维捕捉方法，其特征在于，上述确定所述镜头的黑电平的调整值的方法具体包括以下，

当测量环境中存在具有亮度差距的物体时，预划分P个测量等级，按照P个测量等级的顺序设置P个黑电平值b₁至b_P，P为不小于2的正整数；

分别对物体以b₁至b_P的黑电平值进行P次拍摄，得到P个拍摄结果；

在P个拍摄结果中，将CMOS传感器中的静止区域的像素标记为不可用，其余区域能够正常获得三维坐标，标记为可用；

在P个拍摄结果中，将CMOS传感器中的饱和区域中的像素标记为不可用，其余区域能够正常获得三维坐标，标记为可用；

将对物体进行的P次拍摄得到的三维坐标进行合并，所述合并遵循以下规则，对于每一个像素，若是P次拍摄中存在多个标记为可用的值，则选取最小的黑电平值对应的测量值作为最终测量值，若是P次拍摄中仅存在1个标记为可用的值，则选取该黑电平值对应的测量值作为最终测量值，若是P次中不存在标记为可用的值，则舍弃该像素。

3.基于CMOS传感器的抗强光三维捕捉系统，其特征在于，所述系统包括：

黑电平确定模块，用于确定并调整3D扫描仪镜头的黑电平的值至低于当前环境光产生的电平值；

模拟增益确定模块，用于确定最终的模拟增益的数值，进行三维捕捉；

所述黑电平确定模块具体用于：

调整所述镜头的黑电平的值，并获取每一个调整情况对应的拍摄图像的灰度值的变化；

得到并记录调整系数k_b，k_b＝Δp/Δb，所述调整系数k_b能够使，当所述黑电平对应的寄存器的值每增加Δb，相应拍摄图像的灰度值变暗Δp个灰度；

获取CMOS传感器的每个像素接收到的目标物体反射的环境光产生的电平值，根据所述调整系数k_b调整黑电平值至低于所述环境光产生的电平值。

4.一种计算机可读存储的介质，其特征在于，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述的基于CMOS传感器的抗强光三维捕捉方法的步骤。