CN113538217B - 应用于单比特量子图像传感器的最佳阈值图像重构方法 - Google Patents

Abstract

本发明涉及图像处理领域，为突破传统的全局阈值在动态范围上的局限性，改善重构图像质量，强化图像细节，本发明，应用于单比特量子图像传感器的最佳阈值图像重构方法，首先定义单比特量子图像传感器成像模型中的1‑γ_q(c)＝S_n/KT为比特密度，首先使用二分法找到行级最佳阈值Q_{row_op}，然后在该阈值基础上，根据该行中每个像素对应的比特密度与0.5的大小关系微调每个像素的量化阈值Q_{pix_op}。如果像素的比特密度大于0.5，说明当前阈值偏小需要将其调大，故Q_{pix_op}＝Q_{row_op}+ω，反之为阈值偏大需要将其调小，故Q_{pix_op}＝Q_{row_op}‑ω，相等则不做调整；最后使用MLE框架将量化得到的二进制比特流b_m,t恢复出原始光强值。本发明主要应用于图像处理场合。

Description

应用于单比特量子图像传感器的最佳阈值图像重构方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于最大似然估计的行共用最佳阈值筛选方法，从而实现单比特量子图像传感器的高动态范围成像。具体讲，涉及单比特量子图像传感器图像重构方法。

背景技术

单比特量子图像传感器具有单光子计数、空间过采样、时间过采样三大特征。类比经典的CMOS图像传感器，传感器应该具备超低的读出噪声、超大的动态范围、超高的图像分辨率以及超快的帧率，因此单光子计数成像传感器能够实现许多极特殊环境下的图像获取质量。例如超微光环境成像、高速运动物体捕获、高对比度成像等，应用前景十分广阔。

其工作原理如下：每个单光子探测器像素能够检测单个光子，并产生指示光子计数是高于还是低于特定量化阈值q的二元响应，从而产生一位信号，揭示曝光期间通量的强度。如果光子计数高于q，则传感器输出“1”；如果光子计数低于q，则传感器输出“0”。由于单比特量子图像传感器的时间空间过采样特性，会产生大量的三维一位比特流。再通过特定图像重构算法将比特流重构为图像。

目前大多图像重构算法均假设量化阈值q固定来获取一位比特流，进而重建图像，此时的量化阈值q也叫做全局阈值。然而，实际情况中，场景的动态范围常常很大，全局阈值就表现出明显的局限性。例如：对于图像中较暗的区域，需要一个小的q来确保并非所有输出都是0；同样，对于图像中较亮的区域，q也应该适当大，使得不是所有输出都是1。因此最佳阈值q应该与光照强度相匹配，来实现高动态范围图像的还原。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于最大似然估计算法的单比特量子图像传感器行共用最佳阈值筛选方法。突破传统的全局阈值在动态范围上的局限性，改善重构图像质量，强化图像细节。为此，本发明采取的技术方案是，应用于单比特量子图像传感器的最佳阈值图像重构方法，首先定义单比特量子图像传感器成像模型中的1-γ_q(c)＝S_n/KT为比特密度，其中的K为空间过采样因子，T为时间过采样因子，S_n为KT个二进制数中1的个数，比特密度反应了像素的量化阈值是否与接收的光强相适应，比特密度为“1”代表当前阈值过低导致量化结果均为“1”，相当于像素过曝光，比特密度为“0”代表当前阈值过高导致量化结果均为“0”，相当于像素欠曝光，比特密度在0、1之间时说明当前为合理阈值，定义像素偏差值Q_offset为一行中各个像素的比特密度与0.5的差，行偏差值Q_{offset_sum}为该行中所有像素偏差值Q_offset之和，行偏差值代表该行像素比特密度整体偏离0.5的程度，当行偏差值为0即当前行像素比特密度的期望为0.5时，得到行最佳阈值，因此行最佳阈值Q_{row_op}满足以下两个条件：

1)Q_{row op}使得该行上的过曝和欠曝情况最少，即比特密度为“0”和“1”的情况最少；

2)Q_{row_op}与其他阈值相比，量化结果计算所得行偏差值Q_{offset_sum}更接近于0；

依据上述条件，首先使用二分法找到行级最佳阈值Q_{row_op}，然后在该阈值基础上，根据该行中每个像素对应的比特密度与0.5的大小关系微调每个像素的量化阈值Q_{pix_op}。如果像素的比特密度大于0.5，说明当前阈值偏小需要将其调大，故Q_{pix_op}＝Q_{row_op}+ω，反之为阈值偏大需要将其调小，故Q_{pix_op}＝Q_{row_op}-ω，相等则不做调整；

最后使用最大似然估计MLE(maximum likelihood estimation)框架将量化得到的二进制比特流b_m,t恢复出原始光强值。

恢复出原始光强值的具体流程如下：

其中

为重构出来的光强值，B_m,t为空间上第m个点时间上第t个点的一位测量b_m,t的随机变量，P[B_m,t＝1]为B_m＝1的概率，P[B_m,t＝0]为B_m＝0的概率，引入伽玛函数ψ_q，得到包含

的结果：

其中

q为量化阈值，S_m为KT个二进制数中1的个数，L＝KT，α为增益因子。最终计算出来的值

作为原始光强的重构值。

行阈值更新具体方法为：首先设置初始量化阈值Q_i、量化阈值的上边界Q_upper与下边界Q_lower，以初始量化阈值Q_i的量化结果为起点，计算每一行中所有像素的比特密度(1-γ_q(c))，并与0.5作差得到偏差值Q_offset，将一行中所有像素对应的偏差值求和得到Q_{offset_sum}，将比特密度为1的像素视为过曝光像素，将其个数记为m，将比特密度为0的像素视为欠曝光像素，将其个数记为n，将当前量化阈值记为Q，如果(m-n)＞3，则找到Q_m＝(Q+Q_upper)/2来代替Q作为量化阈值进行下一次的量化，如果(m-n)＜-3，则找到Q_m＝(Q+Q_lower)/2来代替Q。如果(m-n)∈[-3,3]，说明当前的量化阈值造成的过曝与欠曝情况在可接受范围内，此时如果Q_{offset_sum}<0，则找到Q_m＝(Q+Q_lower)/2来代替Q，反之则找到Q_m＝(Q+Q_upper)/2来代替Q作为量化阈值进行下一次的量化，最终找到符合条件的行级最佳阈值Q_{row_op}。

本发明的特点及有益效果是：

通过行共用最佳阈值筛选方法，使得每行像素的量化阈值相互独立，并且根据计算出的比特密度对每行中的单个像素量化阈值进行微调，保证了大动态范围图像重构过程中，不同光照强度的区域都能够使用相匹配的最佳量化阈值进行量化，从而实现动态范围的提升。

附图说明：

图1基于二分法的行级最佳量化阈值更新方法流程图。

具体实施方式

为克服全局阈值的局限性，本发明旨在提出一种基于行共用量化阈值的单比特量子图像传感器图像重构方法。该方法能够有效提高单比特量子图像传感器高动态范围图像的重构质量。由于每行之间的光强分布不同，因此每行的最佳量化阈值Q_{row_op}也就不一样。为此，本文采取的技术方案如下：本方案中每一行的量化阈值相互独立，并且根据设计的阈值更新方法筛选这一行的最佳量化阈值Q_{row_op}。具体方法如下：首先定义单比特量子图像传感器成像模型中的1-γ_q(c)＝S_n/KT为比特密度，其中的K为空间过采样因子，T为时间过采样因子，S_n为KT个二进制数中1的个数。比特密度反应了像素的量化阈值是否与接收的光强相适应。比特密度为“1”代表当前阈值过低导致量化结果均为“1”，相当于像素过曝光。比特密度为“0”代表当前阈值过高导致量化结果均为“0”，相当于像素欠曝光。比特密度在0、1之间时说明当前为合理阈值。且从信息理论的角度来看，比特密度(1-γ_q(c))≈0.5是位密度获得最大信息的地方——如果阈值太高则大多数位变为0，而如果阈值太低则大多数位变为1。当阈值导致50％的“0”和50％的“1”时最大，因此比特密度等于0.5时，则认为该阈值为像素的最佳量化阈值。定义像素偏差值Q_offset为一行中各个像素的比特密度与0.5的差，行偏差值Q_{offset_sum}为该行中所有像素偏差值Q_offset之和。行偏差值代表该行像素比特密度整体偏离0.5的程度。当行偏差值为0即当前行像素比特密度的期望为0.5时，得到行最佳阈值。因此行最佳阈值Q_{row_op}满足以下两个条件：

1)Q_{row_op}使得该行上的过曝和欠曝情况最少，即比特密度为“0”和“1”的情况最少；

2)Q_{row_op}与其他阈值相比，量化结果计算所得行偏差值Q_{offset_sum}更接近于0。

依据上述条件，首先使用二分法找到行级最佳阈值Q_{row_op}，然后在该阈值基础上，根据该行中每个像素对应的比特密度与0.5的大小关系微调每个像素的量化阈值Q_{pix_op}。如果像素的比特密度大于0.5，说明当前阈值偏小需要将其调大，故Q_{pix_op}＝Q_{row_op}+ω，反之为阈值偏大需要将其调小，故Q_{pix_op}＝Q_{row_op}-ω，相等则不做调整。

最后使用MLE框架将量化得到的二进制比特流b_m,t恢复出原始光强值，流程如下：

其中

为重构出来的光强值，B_m,t为空间上第m个点时间上第t个点的一位测量b_m,t的随机变量，P[B_m,t＝1]为B_m＝1的概率，P[B_m,t＝0]为B_m＝0的概率。

引入伽玛函数ψ_q，得到包含

的结果：

其中

q为量化阈值，S_m为KT个二进制数中1的个数，L＝KT，α为增益因子。最终计算出来的值

作为原始光强的重构值。

本发明中的行阈值更新具体方法为：首先设置初始量化阈值Q_i、量化阈值的上边界Q_upper与下边界Q_lower。以初始量化阈值Q_i的量化结果为起点，计算每一行中所有像素的比特密度(1-γ_q(c))，并与0.5作差得到偏差值Q_offset，将一行中所有像素对应的偏差值求和得到Q_{offset_sum}。将比特密度为1的像素视为过曝光像素，将其个数记为m，将比特密度为0的像素视为欠曝光像素，将其个数记为n。将当前量化阈值记为Q。如果(m-n)＞3，则找到Q_m＝(Q+Q_upper)/2来代替Q作为量化阈值进行下一次的量化，如果(m-n)＜-3，则找到Q_m＝(Q+Q_lower)/2来代替Q。如果(m-n)∈[-3,3]，说明当前的量化阈值造成的过曝与欠曝情况在可接受范围内。此时如果Q_{offset_sum}<0，则找到Q_m＝(Q+Q_lower)/2来代替Q，反之则找到Q_m＝(Q+Q_upper)/2来代替Q作为量化阈值进行下一次的量化。最终找到符合条件的行级最佳阈值Q_{row_op}。

之后以该阈值为基础，在列方向上对每个像素的量化阈值进行微调，调整方法如下：将最佳行级阈值量化所得的各像素比特密度与0.5进行比较。如果像素的比特密度(1-γ_q(c))>0.5，则Q_{pix_op}＝Q_{row_op}+1，反之则为Q_{pix_op}＝Q_{row_op}-1，如果比特密度(1-γ_q(c))＝0.5，则不进行调整。

最后使用MLE框架将量化得到的二进制比特流b_m,t恢复出原始光强值。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种应用于单比特量子图像传感器的最佳阈值图像重构方法，其特征是，首先定义单比特量子图像传感器成像模型中的1-γ_q(c)＝S_n/KT为比特密度，其中的K为空间过采样因子，T为时间过采样因子，S_n为KT个二进制数中1的个数，比特密度反应了像素的量化阈值是否与接收的光强相适应，比特密度为“1”代表当前阈值过低导致量化结果均为“1”，相当于像素过曝光，比特密度为“0”代表当前阈值过高导致量化结果均为“0”，相当于像素欠曝光，比特密度在0、1之间时说明当前为合理阈值，定义像素偏差值Q_offset为一行中各个像素的比特密度与0.5的差，行偏差值Q_{offset_sum}为该行中所有像素偏差值Q_offset之和，行偏差值代表该行像素比特密度整体偏离0.5的程度，当行偏差值为0即当前行像素比特密度的期望为0.5时，得到行最佳阈值，因此行最佳阈值Q_{row_op}满足以下两个条件：

1)Q_{row_op}使得该行上的过曝和欠曝情况最少，即比特密度为“0”和“1”的情况最少；

2)Q_{row_op}与其他阈值相比，量化结果计算所得行偏差值Q_{offset_sum}更接近于0；

依据上述条件，首先使用二分法找到行级最佳阈值Q_{row_op}，然后在该阈值基础上，根据该行中每个像素对应的比特密度与0.5的大小关系微调每个像素的量化阈值Q_{pix_op}，如果像素的比特密度大于0.5，说明当前阈值偏小需要将其调大，故Q_{pix_op}＝Q_{row_op}+ω，反之为阈值偏大需要将其调小，故Q_{pix_op}＝Q_{row_op}-ω，相等则不做调整；

最后使用MLE框架将量化得到的二进制比特流b_m,t恢复出原始光强值；

行阈值更新具体方法为：首先设置初始量化阈值Q_i、量化阈值的上边界Q_upper与下边界Q_lower，以初始量化阈值Q_i的量化结果为起点，计算每一行中所有像素的比特密度1-γ_q(c)，并与0.5作差得到偏差值Q_offset，将一行中所有像素对应的偏差值求和得到Q_{offset_sum}，将比特密度为1的像素视为过曝光像素，将其个数记为m，将比特密度为0的像素视为欠曝光像素，将其个数记为n，将当前量化阈值记为Q，如果(m-n)＞3，则找到Q_m＝(Q+Q_upper)/2来代替Q作为量化阈值进行下一次的量化，如果(m-n)＜-3，则找到Q_m＝(Q+Q_lower)/2来代替Q；如果(m-n)∈[-3,3]，说明当前的量化阈值造成的过曝与欠曝情况在可接受范围内，此时如果Q_{offset_sum}<0，则找到Q_m＝(Q+Q_lower)/2来代替Q，反之则找到Q_m＝(Q+Q_upper)/2来代替Q作为量化阈值进行下一次的量化，最终找到符合条件的行级最佳阈值Q_{row_op}。

2.如权利要求1所述的应用于单比特量子图像传感器的最佳阈值图像重构方法，其特征是，恢复出原始光强值的具体流程如下：

其中

为重构出来的光强值，B_m,t为空间上第m个点时间上第t个点的一位测量b_m,t的随机变量，P[B_m,t＝1]为B_m＝1的概率，P[B_m,t＝0]为B_m＝0的概率，引入伽玛函数ψ_q，得到包含

的结果：

其中

q为量化阈值，S_m为KT个二进制数中1的个数，L＝KT，α为增益因子，最终计算出来的值

作为原始光强的重构值。

Images