CN109639992B - 一种基于自动曝光控制与自动切换投影图案的投影方法 - Google Patents

Abstract

本发明属于图像曝光技术领域，一种基于自动曝光控制与自动切换投影图案的投影方法，包括以下步骤：S1：进行图像采集，并进行三维成像；S2：获取每次采集的最后一张图像，得到该图像的平均亮度；S3：判断图像的平均亮度是否在目标亮度范围内；S4：获取图像的平均亮度与目标亮度的差值，进行曝光补偿；S5：进行三维成像质量评价；S6：判断编码图案是否切换完成；S7：选取三维成像质量评价最高的一组图案进行投影；本发明解决了现有技术存在的噪声信号大、难以维持稳定的高质量成像、目标对象与背景反差过大时目标区域曝光不足或者过度曝光、调节时间过长以及图像亮度与目标亮度的差值过大的问题。

Description

一种基于自动曝光控制与自动切换投影图案的投影方法

技术领域

本发明属于图像曝光技术领域，具体涉及一种基于自动曝光控制与自动切换投影图案的投影方法。

背景技术

自动曝光控制是控制拍摄时的曝光量，而曝光量是指从景物到达相机光通量的大小。当感光器件获得正确的曝光，才能获得高质量的图像。曝光量的大小由相机的光圈大小和曝光时间以及信号增益共同决定。光圈是利用其进光孔控制曝光时到达相机感光芯片上的光线照度强弱的装置；快门是利用其开启时间的长短控制进光时间，进而控制进光量。调节光圈的大小一般是人为调节或者是选用带电机控制的可调节镜头，但是由于受到我们产品的限制，以及客户使用产品的场景不尽相同，通过调节光圈来进行曝光控制并不理想。在调节光圈和曝光时间无法满足要求的情况下，调节信号增益是非常有效的手段，但是在信号被电路放大的同时，所蕴含的噪声也不可避免的被放大。

主动结构光投影将经过特殊编码的图案打在被测物体表面进行标记，然后计算三维深度信息。被测物体表面反光或者是亮度不够都会使得某些部分解码失败造成数据空洞，投影投影的图案不同也会影响解码的效果。而且，就算使用最适用的参数(曝光时间和结构光编码)，使得物品成像效果达到最佳，在初次获取某种材质物体的三维数据、或是初次在某个环境下进行物体三维成像又或者是被测物体的改变或者是光照变化时，由于物体表面反光情况的变化，最适用的参数还是会变化，难以维持稳定的高质量成像。

采集到的图像可以分为背景区域和主要目标区域两个部分。传统的自动曝光算法采用整幅图像的平均亮度为依据，判断平均亮度和所需达到的目标亮度的差值。当拍摄场景中目标对象与背景对比度较低时，图像能得到比较好的重现；但是当目标对象与背景反差过大，例如逆光或者正面强光等复杂的光照情况下，会导致目标区域曝光不足或者过度曝光的情况。

进行图像亮度分析之后，就可以进行曝光补偿。传统传统的自动曝光算法按照固定步长调整曝光时间，使得拍摄时的曝光量达到一个合适的值，从而使得图像亮度逼近目标亮度。由于采用固定步长调整，对步长的设定存在一定的局限性。当设定步长较短而且图像亮度与目标亮度差值过大时，虽然能够比较平滑的向目标亮度逼近，但是调节时间过长。当设定步长较长时，图像亮度能快速逼近目标亮度，但是会造成大的抖动，最终与目标亮度的差值可能过大。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供一种基于自动曝光控制与自动切换投影图案的投影方法，用于解决现有技术存在的噪声信号大、难以维持稳定的高质量成像、目标对象与背景反差过大时目标区域曝光不足或者过度曝光、调节时间过长以及图像亮度与目标亮度的差值过大的问题。

本发明所采用的技术方案为：

一种基于自动曝光控制与自动切换投影图案的投影方法，包括以下步骤：

S1：根据当前曝光时间以及当前编码图案，使用双目视觉与主动结构光源投影方法进行图像采集，并根据采集到的所有图像，进行三维成像；

S2：获取每次采集的最后一张图像，使用动态分区和动态权重系数调节方法，将图像划分为背景区域和目标区域，根据两个区域的平均亮度的对比，确定每个区域的权重系数，并得到该图像的平均亮度；

S3：判断图像的平均亮度是否在目标亮度范围内，若是则曝光时间合适，进入步骤S5，否则曝光时间不合适，进入步骤S4；

S4：获取图像的平均亮度与目标亮度的差值，根据其选择对应的步长进行曝光补偿，即根据差值，改变曝光时间或者信号增益，并返回步骤S1；

S5：进行三维成像质量评价；

S6：判断编码图案是否切换完成，若是则进入步骤S7，否则根据被测物体，进行编码图案的切换，并返回步骤S1；

S7：选取三维成像质量评价最高的一组图案进行投影。

进一步地，步骤S2包括如下步骤：

S2-1：将获取的图像平均分为若干个小块区域，并根据其对比度将小块区域划分为目标区域和背景区域；

S2-2：分别获取每个区域的平均亮度值；

S2-3：根据每个区域的平均亮度值，获取平均亮度的差值，并根据差值，获取每个区域的权重系数；

S2-4：根据每个区域的平均亮度值和权重系数，获取图像的平均亮度。

进一步地，步骤S2-1中，根据两个相邻小块区域的垂直方向和水平方向亮度的对比度确定目标区域与背景区域；

所述对比度的计算公式为：

式中，ΔB_r(i,j)为坐标(i,j)的小块区域在水平方向的对比度，ΔB_l(i,j)为坐标(i,j)的小块区域在垂直方向的对比度；B_(i,j)、B_(i+1,j)、B_(i,j+1)分别为坐标(i,j)、(i+1,j)、(i,j+1)的小块区域的亮度；

当当前小块区域的水平方向和垂直方向的对比度均超过阈值时，将该小块区域作为目标区域与背景区域的边界。

进一步地，步骤S2-2中，区域的平均亮度值的计算公式为：

式中，B为该区域的平均亮度值；B_p为该区域的小块区域p的亮度；P为该区域包含小块区域的数量；p为小块区域变量。

进一步地，步骤S2-3中，平均亮度的差值的计算公式为：

ΔB＝|B_tar-B_bac|

式中，ΔB为平均亮度的差值；B_tar为目标区域平均亮度值；B_bac为背景区域平均亮度值。

进一步地，步骤S2-4中，图像的平均亮度的计算公式为：

B_eve＝B_tar×a+B_bac×b

式中，B_eve为图像的平均亮度；B_tar为目标区域平均亮度值；B_bac为背景区域平均亮度值；a、b分别为目标区域和背景区域的权重系数。

进一步地，步骤S4包括如下步骤：

S4-1：获取图像的平均亮度与目标亮度的差值，判断差值是否为正值，即平均亮度是否大于目标亮度，若是则进入步骤S4-2，否则进入步骤S4-4；

S4-2：判断曝光时间是否达到曝光时间下限阈值，若是则进入步骤S4-3，否则将曝光时间减少一个相应的步长，并返回步骤S1；

S4-3：判断信号增益是否达到信号增益下限阈值，若是则直接返回步骤S1，否则将信号增益减少一个相应的步长，并返回步骤S1；

S4-4：判断曝光时间是否达到曝光时间上限阈值，若是则进入步骤S4-5，否则将曝光时间增加一个相应的步长，并返回步骤S1；

S4-5：判断信号增益是否达到信号增益上限阈值，若是则直接返回步骤S1，否则将信号增益增加一个相应的步长，并返回步骤S1。

本发明的有益效果为：

(1)本发明选择通过首先控制曝光时间来进行自动曝光控制，在曝光时间超出可调范围也不能满足要求的情况下，再调节信号增益，避免了直接将噪音放大；

(2)本发明采用动态分区的方法进行亮度分析，在不同的场景下自动划分为背景区域和目标区域；并且采用动态权重系数调节增加目标区域的权重，保证自动曝光控制的稳健性；

(3)本发明采用变步长的方法进行曝光补偿，根据与目标亮度的差值等级来调节曝光时间补偿步长或者信号增益调节步长，实现快速且稳定的自动曝光控制；

(4)本发明采用自动切换投影图案的方法，在亮度合适的情况下获得更好的成像效果，维持了稳定的高质量成像；

(5)本发明采用动态方法来计算每次调节的步长，当图像平均亮度与目标亮度差距较大时，可以加大曝光时间的调整步长或者信号增益的调整步长，以加快迭代速度；当亮度值差距较小时，可缩小调整步长，以保证搜索精度，这样就实现了迭代速度和搜索精度之间的平衡。

附图说明

图1是基于自动曝光控制与自动切换投影图案的投影方法流程图；

图2是自动曝光控制步骤S2方法流程图；

图3是自动曝光控制步骤S4方法流程图；

图4是动态分区图；

图5是权重系数的曲线换算关系图；

图6是步长-差值关系图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

实施例1：

如图1所示，一种基于自动曝光控制与自动切换投影图案的投影方法，包括以下步骤：

S1：根据当前曝光时间以及当前编码图案，使用双目视觉与主动结构光源投影方法进行图像采集，并根据采集到的所有图像，进行三维成像；

结构光一般为经过特殊编码的光源，除了能够增加目标的纹理信息，也能够提供主动打光；

S2：获取每次采集的最后一张图像，使用动态分区和动态权重系数调节方法，将图像划分为背景区域和目标区域，根据两个区域的平均亮度的对比，确定每个区域的权重系数，并得到该图像的平均亮度，如图2所示，包括如下步骤：

S2-1：将获取的图像平均分为M×N个小块区域，并根据其对比度将小块区域划分为目标区域和背景区域；

根据每一小块区域内像素点的平均亮度，得到该区域的亮度，根据两个相邻小块区域的垂直方向和水平方向亮度的对比度确定目标区域与背景区域，如果对比度在阈值范围内，那么相邻两块亮度是连续的，它们很可能属于图像中的同一物体；如果对比度超出阈值范围，那么相邻两块的亮度是不连续的，将相邻块的对比度突然变化视为图像中区域的边界，以此鉴别出背景区域与目标区域；如图4所示，灰色区域构成目标区域，白色区域构成背景区域；

根据两个相邻小块区域的垂直方向和水平方向亮度的对比度确定目标区域与背景区域；

所述对比度的计算公式为：

式中，ΔB_r(i,j)为坐标(i,j)的小块区域在水平方向的对比度，ΔB_l(i,j)为坐标(i,j)的小块区域在垂直方向的对比度；B_(i,j)、B_(i+1,j)、B_(i,j+1)分别为坐标(i,j)、(i+1,j)、(i,j+1)的小块区域的亮度；

当当前小块区域的水平方向和垂直方向的对比度均超过阈值时，将该小块区域作为目标区域与背景区域的边界；

S2-2：分别获取每个区域的平均亮度值；

区域的平均亮度值的计算公式为：

式中，B为该区域的平均亮度值；B_p为该区域的小块区域p的亮度；P为该区域包含小块区域的数量；p为小块区域变量；

S2-3：根据每个区域的平均亮度值，获取平均亮度的差值，并根据差值，获取每个区域的权重系数，保证了自动曝光控制的稳健性；

采用如图5所示的权重系数的曲线换算关系决定背景区域的权重系数a以及目标区域的权重系数b，两个系数应该满足a+b＝1；

平均亮度的差值的计算公式为：

ΔB＝|B_tar-B_bac|

式中，ΔB为平均亮度的差值；B_tar为目标区域平均亮度值；B_bac为背景区域平均亮度值；

S2-4：根据每个区域的平均亮度值和权重系数，获取图像的平均亮度；

S3：判断图像的平均亮度是否在目标亮度范围内，若是则曝光时间合适，进入步骤S5，否则曝光时间不合适，进入步骤S4；通过控制曝光时间来进行自动曝光控制，在曝光时间超出可调范围也不能满足要求的情况下，再调节信号增益，避免了直接将噪音放大；

图像的平均亮度的计算公式为：

B_eve＝B_tar×a+B_bac×b

式中，B_eve为图像的平均亮度；B_tar为目标区域平均亮度值；B_bac为背景区域平均亮度值；a、b分别为目标区域和背景区域的权重系数；

S4：获取图像的平均亮度与目标亮度的差值，如图6所示，根据其选择对应的步长进行曝光补偿，即根据差值，改变曝光时间或者信号增益，并返回步骤S1，如图3所示，包括如下步骤：

S4-1：获取图像的平均亮度与目标亮度的差值，判断差值是否为正值，即平均亮度是否大于目标亮度，若是则进入步骤S4-2，否则进入步骤S4-4；

S4-2：判断曝光时间是否达到曝光时间下限阈值，若是则进入步骤S4-3，否则将曝光时间减少一个相应的步长，并返回步骤S1；

S4-3：判断信号增益是否达到信号增益下限阈值，若是则直接返回步骤S1，否则将信号增益减少一个相应的步长，并返回步骤S1；

S4-4：判断曝光时间是否达到曝光时间上限阈值，若是则进入步骤S4-5，否则将曝光时间增加一个相应的步长，并返回步骤S1；

S4-5：判断信号增益是否达到信号增益上限阈值，若是则直接返回步骤S1，否则将信号增益增加一个相应的步长，并返回步骤S1；

采用变步长的方法进行曝光补偿，根据与目标亮度的差值等级来调节曝光时间补偿步长或者信号增益调节步长，实现快速且稳定的自动曝光控制；当图像平均亮度与目标亮度差距较大时，可以加大曝光时间的调整步长或者信号增益的调整步长，以加快迭代速度；当亮度值差距较小时，可缩小调整步长，以保证搜索精度，这样就实现了迭代速度和搜索精度之间的平衡；

S5：进行三维成像质量评价；

S6：判断编码图案是否切换完成，若是则进入步骤S7，否则根据被测物体，进行编码图案的切换，并返回步骤S1；

切换投影图案是为了在亮度合适的情况下获得更好的成像效果，本发明为用户提供两种切换方法，一是，将在各种物体表面适用性最佳的编码组合(多种编码的组合)按照不同的材料分别设置成可选项，让使用者在拍照之前按照实际应用场景手动选择，之后的调节就在这一组中切换调节，可以节省效率，二是将多种结构光(单幅)分别设置成可选项，让使用者在使用之前按照自身经验手动选择一种或一组，之后就用单张或是一组范围内调节，第二种调节方式针对有经验并且经常需要改变被测物体光照特性，或者是使用不普遍被测物体作为测量对象的情况；

S7：选取三维成像质量评价最高的一组图案进行投影。

本发明解决了现有技术存在的噪声信号大、难以维持稳定的高质量成像、目标对象与背景反差过大时目标区域曝光不足或者过度曝光、调节时间过长以及图像亮度与目标亮度的差值过大的问题。

Claims (1)

1.一种基于自动曝光控制与自动切换投影图案的投影方法，其特征在于：包括以下步骤：

S1：根据当前曝光时间以及当前编码图案，使用双目视觉与主动结构光源投影方法进行图像采集，并根据采集到的所有图像，进行三维成像；

S2：获取每次采集的最后一张图像，使用动态分区和动态权重系数调节方法，将图像划分为背景区域和目标区域，根据两个区域的平均亮度的对比，确定每个区域的权重系数，并得到该图像的平均亮度，包括如下步骤：

S2-1：将获取的图像平均分为若干个小块区域，并根据其对比度将小块区域划分为目标区域和背景区域；

根据两个相邻小块区域的垂直方向和水平方向亮度的对比度确定目标区域与背景区域；

所述对比度的计算公式为：

式中，ΔB_r(i,j)为坐标(i,j)的小块区域在水平方向的对比度，ΔB_l(i,j)为坐标(i,j)的小块区域在垂直方向的对比度；B_(i,j)、B_(i+1,j)、B_(i,j+1)分别为坐标(i,j)、(i+1,j)、(i,j+1)的小块区域的亮度；

当当前小块区域的水平方向和垂直方向的对比度均超过阈值时，将该小块区域作为目标区域与背景区域的边界；

S2-2：分别获取每个区域的平均亮度值；

区域的平均亮度值的计算公式为：

式中，B为该区域的平均亮度值；B_p为该区域的小块区域p的亮度；P为该区域包含小块区域的数量；p为小块区域变量；

S2-3：根据每个区域的平均亮度值，获取平均亮度的差值，并根据差值，获取每个区域的权重系数；

平均亮度的差值的计算公式为：

ΔB＝|B_tar-B_bac|

式中，ΔB为平均亮度的差值；B_tar为目标区域平均亮度值；B_bac为背景区域平均亮度值；

S2-4：根据每个区域的平均亮度值和权重系数，获取图像的平均亮度；

图像的平均亮度的计算公式为：

B_eve＝B_tar×a+B_bac×b

式中，B_eve为图像的平均亮度；B_tar为目标区域平均亮度值；B_bac为背景区域平均亮度值；a、b分别为目标区域和背景区域的权重系数；

S3：判断图像的平均亮度是否在目标亮度范围内，若是则曝光时间合适，进入步骤S5，否则曝光时间不合适，进入步骤S4；

S4：获取图像的平均亮度与目标亮度的差值，根据其选择对应的步长进行曝光补偿，即根据差值，改变曝光时间或者信号增益，并返回步骤S1，包括如下步骤：

S4-1：获取图像的平均亮度与目标亮度的差值，判断差值是否为正值，即平均亮度是否大于目标亮度，若是则进入步骤S4-2，否则进入步骤S4-4；

S4-2：判断曝光时间是否达到曝光时间下限阈值，若是则进入步骤S4-3，否则将曝光时间减少一个相应的步长，并返回步骤S1；

S4-3：判断信号增益是否达到信号增益下限阈值，若是则直接返回步骤S1，否则将信号增益减少一个相应的步长，并返回步骤S1；

S4-4：判断曝光时间是否达到曝光时间上限阈值，若是则进入步骤S4-5，否则将曝光时间增加一个相应的步长，并返回步骤S1；

S4-5：判断信号增益是否达到信号增益上限阈值，若是则直接返回步骤S1，否则将信号增益增加一个相应的步长，并返回步骤S1；

S5：进行三维成像质量评价；

S6：判断编码图案是否切换完成，若是则进入步骤S7，否则根据被测物体，进行编码图案的切换，并返回步骤S1；

S7：选取三维成像质量评价最高的一组图案进行投影。

Images