CN113538262B - 应用于多比特量子图像传感器的高动态范围图像还原方法 - Google Patents

Abstract

本发明涉及多比特量子图像传感器，为提出一种基于二分法最佳阈值更新方案实现多比特量子图像传感器图像还原方法。该方法能有效地提高多比特量子图像传感器对于高动态范围图像的重建效果。为此，本发明采取的技术方案是，应用于多比特量子图像传感器的高动态范围图像还原方法，利用多个阈值，在全局阈值的情况下进行多个阈值的调整，使其上下限与输入数据的上下限对应，使有限个数的阈值准确地覆盖输入数据，从而使无法量化的部分得以分辨。本发明主要应用于多比特量子图像传感器设计制造场合。

Description

应用于多比特量子图像传感器的高动态范围图像还原方法

技术领域

本发明涉及多比特量子图像传感器，特别涉及一种基于二分法阈值更新方案实现单光子高动态范围成像的多比特量子图像传感器图像还原方法。具体涉及实现高动态范围图像还原的多比特量子图像传感器。

背景技术

量子图像传感器具有单光子计数、空间过采样、时间过采样三大特征。这些特征使其具有超低的读出噪声、超大的动态范围、超高的图像分辨率以及超快的帧频，量子图像传感器的实现将会极大提升许多特殊环境下的图像获取质量，例如微弱光环境成像、高速运动物体捕获、高对比度成像等，具有广阔的应用前景。

量子图像传感器分为单比特量子图像传感器和多比特量子图像传感器两类，其工作原理如下：每个单光子探测器像素能够检测单个光子以产生指示光子计数，是高于还是低于特定阈值q的二元响应，从而输出二进制数。对于单比特量子图像传感器，如果光子计数高于q，则传感器输出“1”；如果光子计数低于q，则传感器输出“0”。多比特量子图像传感器由于具有多个阈值，其输出不是仅有一位的二进制数，而是多位的二进制数，对于一个k位的多比特量子图像传感器，其输出范围为0～2^k-1。由于量子图像传感器的时间空间过采样特性，会产生大量的比特流，所以需要解码以还原图片，如图1所示。

目前大多算法均通过假设固定阈值来获取比特流，进而重建图像。然而，实际情况中，常常存在动态范围较大的场景，固定阈值就表现出明显的局限性。例如：对于较暗图像，需要一个小的阈值来确保并非所有输出都是0；同样，对于较亮图像，阈值也应该适当大，使得不是所有输出都是饱和状态，因此最佳阈值应该与光强度相匹配，来实现高动态范围图像的还原。而目前已有的动态阈值算法要求每一个像素匹配一个阈值，计算量和计算时间均较大，难以应用实现。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于二分法最佳阈值更新方案实现多比特量子图像传感器图像还原方法。该方法能有效地提高多比特量子图像传感器对于高动态范围图像的重建效果。为此，本发明采取的技术方案是，应用于多比特量子图像传感器的高动态范围图像还原方法，利用多个阈值，在全局阈值的情况下进行多个阈值的调整，使其上下限与输入数据的上下限对应，使有限个数的阈值准确地覆盖输入数据，从而使无法量化的部分得以分辨。

具体步骤如下：

定义多比特量子图像传感器的位数为k，空间过采样因子M,时间过采样因子T，L＝M*T,等效满阱容量为L*2^k-1，阈值

步长为σ，对应的量化结果为

对于一组输入，其最大值最小值是唯一的，则对应的量化结果在S₁与

中存在最佳值C₁和

以最大最小阈值的量化结果是否达到最佳值为判断依据，通过二分法快速更新阈值，实现阈值准确地覆盖输入数据。

在更新最大最小阈值的同时，也对其周围的阈值进行调整，调整的大小由两端向中间逐个递减，直到为0，以此保证整体阈值的线性度，在最大最小阈值确定后，整体阈值也得以确定。图像恢复过程通过基于最大似然估计非迭代算法进行性，最终重建结果

详细步骤如下：

定义量化结果误差为e＝0.01*L*2^k-1，

最小量化结果最佳值为C₁＝L/2,

最大量化结果最佳值为

多比特量子图像传感器初始阈值设定较小以分辨单个光子，当出现曝光过度的情况时，提高最大阈值，使其量化结果不会出现饱和，对于最大阈值调整如下：

当曝光过度时，

则最大量化结果大于最佳值，

提高

到

其调整的大小应为步长的整数倍，因此向上取整，

并逐个对小于

的阈值进行调整，

…

调整完成后进行量化，如果

则最大量化结果仍大于最佳值，重复上述过程，n＝n+1，计算

进行下一次调整；

如果

则最大量化结果已满足判断依据，最大阈值的最佳值已找到；

如果

则最大量化结果小于最佳值，此时使用二分法查找，其查找区间确定为：

倒数第二次更新得到的最大阈值：

最后一次更新得到的最大阈值：

计算q_m＝(q_a+q_b)/2，提高

到

并逐个对小于

的阈值进行调整，方法同上，二分法过程中无论第几次调整，均从

的阈值组合Q开始调整，调整完成后进行量化，

如果

则最大量化结果大于最佳值，令q_a＝q_m,计算

提高

及其周围阈值；

如果

则最大量化结果小于最佳值，令q_b＝q_m，计算

提高

及其周围阈值；

如果

则最大量化结果已满足判断依据，最大阈值的最佳值已找到；

当最大量化结果达到最佳值时，最大阈值得以确定，此时进行最小阈值的调整，阈值Q的初始步长为σ，这同时也是调整阈值过程中的最小步长，在最小输入小于σ时，无论如何调整总有S₁-C₁＜-e，因为无法使最小阈值小于步长，因此仅当S₁-C₁＞e时，对最小阈值进行调整：

对于最小阈值的二分法查找区间确定为：

最大阈值确定后Q中的最小阈值：q_a＝q₁

最大阈值确定后在最小步长的情况下Q中最小阈值：

计算q_m＝(q_a+q_b)/2；

提高q₁到q'₁，

q₁＝q'₁；

逐个对大于q₁的阈值进行调整，二分法过程中无论第几次调整，均从q₁＝q_a的阈值组合Q开始调整，

q_i为步长等于σ的部分阈值；

q_i+1＝q'₁-2σ，

q_i+2＝q'₁-3σ，

…

调整完成后进行量化，

如果S₁-C₁＞e，则最小量化结果大于最佳值，令q_a＝q_m,计算

提高q₁及其周围阈值；

如果S₁-C₁＜-e，则最小量化结果小于最佳值，令q_b＝q_m，计算

提高q₁及其周围阈值；

如果|S₁-C₁|＜e，则最小量化结果已满足判断依据，最小阈值的最佳值已找到。

本发明的特点及有益效果是：

本发明提出的多比特量子图像传感器的高动态范围图像还原方案，通过对多比特阈值上下限进行调整，使用二分法，根据最大和最小量化结果对最大和最小阈值进行更新，在更新的同时对最大和最小阈值周围多个阈值进行调整，调整大小由两端向中间逐个递减，以保证多比特阈值线性度和减少阈值更新次数，在较短的时间内，得到最佳阈值范围，实现阈值准确地覆盖输入数据来实现高动态范围图像的还原。

附图说明：

图1过采样率为m*m*t的量子图像传感器成像原理。

图2多比特阈值调整示意。

图3多个阈值调整示意。

图4多比特阈值调整流程。

具体实施方式

本发明所述的一种应用于多比特量子图像传感器的高动态范围图像还原方案基本原理如下：多比特QIS由于具有多个阈值，可以在全局阈值的情况下进行多个阈值的调整，使其上下限与输入数据的上下限对应，使有限个数的阈值准确地覆盖输入数据，从而使无法量化的部分得以分辨，提升动态范围，如图1所示。定义多比特量子图像传感器的位数为k，空间过采样因子M,时间过采样因子T，L＝M*T,等效满阱容量(Full-Well Capacity)为L*2^k-1，阈值

步长为σ，对应的量化结果为

对于一组输入，其最大值最小值是唯一的，则对应的量化结果在S₁与

中存在最佳值C₁和

以最大最小阈值的量化结果是否达到最佳值为判断依据，通过二分法快速更新阈值，实现阈值准确地覆盖输入数据。

多比特量子图像传感器初始阈值设定较小，当出现曝光过度的情况下，需提高最大阈值，同时保证整体阈值的线性度。但无法从曝光过度的量化结果中判断出需要提高到多少，因此先多次提高最大阈值，使量化结果不出现饱和，此时会出现两种情况：

1.最大量化结果恰好处于最佳值的误差允许范围内，则最大阈值的最佳已值确定，无需继续调整；

2.最大量化结果小于最佳值，可以确定最佳阈值处于后两次调整得到的最大阈值之间，因此使用二分法查找，以快速找到最佳阈值。

对于最小阈值，原理上用以分辨单个光子，当出现最小量化结果为0的情况时，无论如何调整，最小量化结果始终为0，因为无法减小最小阈值。因此只在最小量化结果大于最佳值时进行调整。

在最大阈值已经确定的情况下，最小阈值的查找区间也可以确定，因此直接使用二分法查找进行阈值的更新。

同时，在更新最大最小阈值的同时，也对其周围的阈值进行调整，调整的大小由两端向中间逐个递减，直到为0。以此保证整体阈值的线性度，在最大最小阈值确定后，整体阈值也得以确定。图像恢复过程通过基于最大似然估计(maximum likelihood estimation,MLE)非迭代算法进行性，最终重建结果

调整流程如图3所示。

具体方法如下：

定义量化结果误差为e＝0.01*L*2^k-1，

最小量化结果最佳值为C₁＝L/2,

最大量化结果最佳值为

多比特量子图像传感器初始阈值设定较小以分辨单个光子，当出现曝光过度的情况时，提高最大阈值，使其量化结果不会出现饱和。对于最大阈值调整如下：

当曝光过度时，

则最大量化结果大于最佳值，

提高

到

其调整的大小应为步长的整数倍，因此向上取整，

并逐个对小于

的阈值进行调整，

…

如图2所示，调整完成后进行量化，

如果

则最大量化结果仍大于最佳值，重复上述过程，n＝n+1，计算

进行下一次调整；

如果

则最大量化结果已满足判断依据，最大阈值的最佳值已找到；

如果

则最大量化结果小于最佳值，此时使用二分法查找，其查找区间可以确定为：

(倒数第二次更新得到的最大阈值)，

(最后一次更新得到的最大阈值)，

计算q_m＝(q_a+q_b)/2，

提高

到

并逐个对小于

的阈值进行调整，方法同上，二分法过程中无论第几次调整，均从

的阈值组合Q开始调整，调整完成后进行量化，

如果

则最大量化结果大于最佳值，令q_a＝q_m,计算

提高

及其周围阈值；

如果

则最大量化结果小于最佳值，令q_b＝q_m，计算

提高

及其周围阈值；

如果

则最大量化结果已满足判断依据，最大阈值的最佳值已找到；

当最大量化结果达到最佳值时，最大阈值得以确定，此时进行最小阈值的调整。阈值Q的初始步长为σ，这同时也是调整阈值过程中的最小步长，在最小输入小于σ时，无论如何调整总有S₁-C₁＜-e，因为无法使最小阈值小于步长，因此仅当S₁-C₁＞e时，对最小阈值进行调整：

对于最小阈值的二分法查找区间确定为，

q_a＝q₁(最大阈值确定后Q中的最小阈值)，

(最大阈值确定后在最小步长的情况下Q中最小阈值)，

计算q_m＝(q_a+q_b)/2，

提高q₁到q'₁，

q₁＝q'₁，

并逐个对大于q₁的阈值进行调整，二分法过程中无论第几次调整，均从q₁＝q_a的阈值组合Q开始调整，

(q_i为步长等于σ的部分阈值)

q_i+1＝q'₁-2σ，

q_i+2＝q'₁-3σ，

…

调整完成后进行量化，

如果S₁-C₁＞e，则最小量化结果大于最佳值，令q_a＝q_m,计算

提高q₁及其周围阈值；

如果S₁-C₁＜-e，则最小量化结果小于最佳值，令q_b＝q_m，计算

提高q₁及其周围阈值；

如果|S₁-C₁|＜e，则最小量化结果已满足判断依据，最小阈值的最佳值已找到。

以4位多比特量子图像传感器调整为例，阈值设定为1～15，步长为1，假设输入光子数为4～20，根据上述技术方案，先提高最大阈值到30，阈值整体调整为2～30，步长为2，可以确定二分法查找区间为15～30，第一次查找，将最大阈值提高到23，阈值整体调整为{1，2，3，4，5，6，7，9，11，13，15，17，19，21，23}；此时最大量化结果小于最佳值，进行第二次查找，将最大阈值提高到19，阈值整体调整为{1，2，3，4，5，6，7，8，9，10，11，13，15，17，19}，此时最大量化结果达到最佳值的误差允许范围内，停止最大阈值的更新。

确定完阈值最大值后，可以得到，在最大阈值为19时，最小阈值可能的最大值为5，即阈值整体为5～19，步长为1。可以确定二分法查找区间为1～5，第一次查找，将最小阈值提高到3，阈值整体调整为{3，4，5，6，7，8，9，10，11，12，13，14，15，17，19}，此时最小量化结果小于最佳值，进行第二次查找，将最小阈值提高到4，阈值整体调整为{4，5，6，7，8，9，10，11，12，13，14，15，16，17，19}，此时最小量化结果达到最佳值的误差允许范围内，停止最大阈值的更新。

最终确定的最佳阈值为{4，5，6，7，8，9，10，11，12，13，14，15，16，17，19}，实现阈值准确地覆盖输入数据。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种应用于多比特量子图像传感器的高动态范围图像还原方法，其特征是，利用多个阈值，在全局阈值的情况下进行多个阈值的调整，使其上下限与输入数据的上下限对应，使有限个数的阈值准确地覆盖输入数据，从而使无法量化的部分得以分辨；具体步骤如下：

定义多比特量子图像传感器的位数为k，空间过采样因子M,时间过采样因子T，L＝M*T,等效满阱容量为L*2^k-1，阈值

步长为σ，对应的量化结果为

对于一组输入，其最大值最小值是唯一的，则对应的量化结果在S₁与

中存在最佳值C₁和

以最大最小阈值的量化结果是否达到最佳值为判断依据，通过二分法快速更新阈值，实现阈值准确地覆盖输入数据。

2.如权利要求1所述的应用于多比特量子图像传感器的高动态范围图像还原方法，其特征是，在更新最大最小阈值的同时，也对其周围的阈值进行调整，调整的大小由两端向中间逐个递减，直到为0，以此保证整体阈值的线性度，在最大最小阈值确定后，整体阈值也得以确定，图像恢复过程是通过基于最大似然估计非迭代算法来进行，最终重建结果

3.如权利要求1所述的应用于多比特量子图像传感器的高动态范围图像还原方法，其特征是，详细步骤如下：定义量化结果误差为e＝0.01*L*2^k-1，最小量化结果最佳值为C₁＝L/2,最大量化结果最佳值为

多比特量子图像传感器初始阈值设定较小以分辨单个光子，当出现曝光过度的情况时，提高最大阈值，使其量化结果不会出现饱和，对于最大阈值调整如下：

当曝光过度时，

则最大量化结果大于最佳值，

提高

到

其调整的大小应为步长的整数倍，因此向上取整，

并逐个对小于

的阈值进行调整，

…

调整完成后进行量化，如果

则最大量化结果仍大于最佳值，重复上述过程，n＝n+1，计算

进行下一次调整；

如果

则最大量化结果已满足判断依据，最大阈值的最佳值已找到；

如果

则最大量化结果小于最佳值，此时使用二分法查找，其查找区间确定为：

倒数第二次更新得到的最大阈值：

最后一次更新得到的最大阈值：

计算q_m＝(q_a+q_b)/2，提高

到

并逐个对小于

的阈值进行调整，方法同上，二分法过程中无论第几次调整，均从

的阈值组合Q开始调整，调整完成后进行量化，

如果

则最大量化结果大于最佳值，令q_a＝q_m,计算

提高

及其周围阈值；

如果

则最大量化结果小于最佳值，令q_b＝q_m，计算

提高

及其周围阈值；

如果

则最大量化结果已满足判断依据，最大阈值的最佳值已找到；

当最大量化结果达到最佳值时，最大阈值得以确定，此时进行最小阈值的调整，阈值Q的初始步长为σ，这同时也是调整阈值过程中的最小步长，在最小输入小于σ时，无论如何调整总有S₁-C₁＜-e，因为无法使最小阈值小于步长，因此仅当S₁-C₁＞e时，对最小阈值进行调整：

对于最小阈值的二分法查找区间确定为：

最大阈值确定后Q中的最小阈值：q_a＝q₁

最大阈值确定后在最小步长的情况下Q中最小阈值：

计算q_m＝(q_a+q_b)/2；

提高q₁到q'₁，

q₁＝q'₁；

逐个对大于q₁的阈值进行调整，二分法过程中无论第几次调整，均从q₁＝q_a的阈值组合Q开始调整，

q_i为步长等于σ的部分阈值；

q_i+1＝q'₁-2σ，

q_i+2＝q'₁-3σ，

…

调整完成后进行量化，

如果S₁-C₁＞e，则最小量化结果大于最佳值，令q_a＝q_m,计算

提高q¹及其周围阈值；

如果S₁-C₁＜-e，则最小量化结果小于最佳值，令q_b＝q_m，计算

提高q₁及其周围阈值；

如果|S₁-C₁|＜e，则最小量化结果已满足判断依据，最小阈值的最佳值已找到。

Images