CN109816603B - 单光子计数成像的图像传感器图像还原方法 - Google Patents

单光子计数成像的图像传感器图像还原方法 Download PDF

Info

Publication number
CN109816603B
CN109816603B CN201811644546.5A CN201811644546A CN109816603B CN 109816603 B CN109816603 B CN 109816603B CN 201811644546 A CN201811644546 A CN 201811644546A CN 109816603 B CN109816603 B CN 109816603B
Authority
CN
China
Prior art keywords
image
threshold
gamma
light intensity
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811644546.5A
Other languages
English (en)
Other versions
CN109816603A (zh
Inventor
高静
杜啸星
徐江涛
史再峰
聂凯明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811644546.5A priority Critical patent/CN109816603B/zh
Publication of CN109816603A publication Critical patent/CN109816603A/zh
Application granted granted Critical
Publication of CN109816603B publication Critical patent/CN109816603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及图像处理领域，为有效地提高单光子图像传感器对于高动态范围图像的重建效果。为此，本发明采取的技术方案是，单光子计数成像的图像传感器图像还原方法，步骤如下：首先对光强上采样，然后用低通滤波器对输出进行滤波，然后模拟过采样信号sm根据分布产生一系列泊松随机变量，即随机产生的光子数ym，且
Figure DDA0001931797070000011
P[ym]为光子数ym的概率，将具有泊松分布特性的光子数ym以量化阈值q为标准二值化为0/1比特流输出为bm，t，图像重建的目标是从二进制比特流bm，t中恢复出原始光强值。本发明主要应用于图像处理场合。

Description

单光子计数成像的图像传感器图像还原方法
技术领域
本发明涉及图像处理领域，特别涉及一种基于二分法阈值更新方案实现单光子高动态范围成像的图像传感器图像还原方法。具体讲，涉及单光子计数成像的图像传感器图像还原方法。
背景技术
单光子计数图像传感器具有单光子计数、空间过采样、时间过采样三大特征。对应于经典CMOS图像传感器中，则传感器应具备超低的读出噪声、超大的动态范围、超高的图像分辨率以及超快的帧频速率，因此单光子计数成像的实现将会极大提升许多特殊环境下的图像获取质量，例如微弱光环境成像、高速运动物体捕获、高对比度成像等，具有广阔的应用前景。
其工作原理如下：每个单光子探测器像素能够检测单个光子以产生指示光子计数是高于还是低于特定阈值q的二元响应，从而产生1位信号，揭示曝光期间通量的强度，如果光子计数高于q，则传感器输出“1”；如果光子计数低于q，则传感器输出“0”。由于单光子图像传感器的时间空间过采样特性，会产生大量的一位比特流，所以需要解码以恢复基础图片。
目前大多算法均通过假设阈值q固定为1来获取一位比特流，进而重建图像。然而，实际情况中，常常存在动态范围较大的场景，固定阈值就表现出明显的局限性。例如：对于较暗图像，需要一个小的q来确保并非所有输出都是0；同样，对于较亮图像，q也应该适当大，使得不是所有输出都是1，因此最佳阈值q应该与光强度相匹配，来实现高动态范围图像的还原。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于二分法最佳阈值更新方案实现单光子计数成像的图像传感器图像还原方法。该方法能有效地提高单光子图像传感器对于高动态范围图像的重建效果。为此，本发明采取的技术方案是，单光子计数成像的图像传感器图像还原方法，步骤如下：首先对光强上采样，然后用低通滤波器对输出进行滤波，然后模拟过采样信号sm根据分布产生一系列泊松随机变量，即随机产生的光子数ym，且
Figure BDA0001931797050000011
为光子数ym的概率，将具有泊松分布特性的光子数ym以量化阈值q为标准二值化为0/1比特流输出为bm，t，图像重建的目标是从二进制比特流bm，t中恢复出原始光强值。
阈值更新方法为：定义1-γq(c)＝Sn/KT为比特密度，其中K为空间过采样因子，T为时间过采样因子，Sn为KT个二进制数中1的个数，当比特密度γq(c)接近于0.5时，获得最佳q*，确定q的过程实际是扫描像素，并更新阈值直到比特密度达到0.5。
阈值更新具体方法如下：从初始阈值qA和qB开始，检查比特密度是否满足1-γqA＞0.5和1-γqB＜0.5，如果是这种情况，则找到一个中点qM＝(qA+qB)/2，并检查1-γqM是大于还是小于0.5，如果1-γqM＞0.5，用qM代替qA，否则用qM代替qB，重复该过程直至1-γqM足够接近0.5。
使用MLE框架实现了图像恢复问题：
Figure BDA0001931797050000021
其中
Figure BDA0001931797050000022
为恢复的光强值，且每个
Figure BDA0001931797050000028
为独立同分布，Bm，t为空间上第m个点时间上第t个点的一位测量bm，t的随机变量，P[Bm，t＝1]为Bm＝1的概率，P[Bm，t＝0]为Bm＝0的概率，
引入伽玛函数ψq，得到包含
Figure BDA0001931797050000023
的结果
Figure BDA0001931797050000024
Figure BDA0001931797050000025
其中
Figure BDA0001931797050000026
Sn为KT个二进制数中1的个数，L＝KT，α为增益因子。
本发明的特点及有益效果是：
本方法通过将固有的单光子图像传感器图像重建方法与阈值更新方案相结合，实现了高动态范围条件的成像，同时有效改善了图像重建的质量。
附图说明：
图1基于二分法最佳阈值更新方案流程图。
图2实现光子计数图像传感器图像还原方法流程图。
具体实施方式
本发明首先定义K＝M/N被称为空间过采样因子，其中M是像素点个数，N是信号的元素，以及T为时间过采样因子。首先对光强上采样，然后用低通滤波器对输出进行滤波。模拟过采样信号sm根据泊松分布产生一系列泊松随机变量，即随机产生的光子数ym，且
Figure BDA0001931797050000027
P[ym]为光子数ym概率。将具有泊松分布特性的光子数ym以量化阈值q为标准二值化为0/1比特流输出为bm，t，图像重建的目标是从二进制比特流bm，t中恢复的原始光强值。
阈值更新方法为：定义1-γq(c)＝Sn/KT为比特密度，其中K为空间过采样因子，T为时间过采样因子，Sn为KT个二进制数中1的个数。当比特密度γq(c)接近于0.5时，可以获得最佳q*。因此，确定q的过程实际是扫描像素，并更新阈值直到比特密度达到0.5，方法如下：从初始阈值qA和qB开始，我们检查比特密度是否满足1-γqA＞0.5和1-γqB＜0.5。如果是这种情况，那么我们找到一个中点qM＝(qA+qB)/2，并检查1-γqM是大于还是小于0.5。如果1-γqM＞0.5，我们用qM代替qA，否则用qM代替qB。重复该过程直至1-γqM足够接近0.5。
本发明使用MLE框架实现了图像恢复问题：
Figure BDA0001931797050000031
Figure BDA0001931797050000032
我们允许多个像素块共享一个共同的阈值，每块通过牺牲一定帧数，应用阈值更新方案求得的最佳阈值q*进行图像还原。可以较大改善图像重建质量，并实现高动态范围成像。
本发明通过单光子图像传感器对光强进行过采样，过采样后的光强在像素点上根据泊松随机分布产生随机数量的光子，将参考帧用于阈值更新迭代方案产生最佳阈值，通过最佳阈值将包含光强信息的光子数二值化为一位比特流，通过累加及最大似然还原的方法用一位比特流数据还原出原始图片。同时，图像动态范围越大，最终还原效果越好。

Claims (2)

1.一种单光子计数成像的图像传感器图像还原方法，其特征是，步骤如下：首先对光强上采样，然后用低通滤波器对输出进行滤波，然后模拟过采样信号sm根据分布产生一系列泊松随机变量，即随机产生的光子数ym，且
Figure FDA0004116575730000011
P[ym]为光子数ym的概率，将具有泊松分布特性的光子数ym以量化阈值q为标准二值化为0/1比特流输出为bm,t，图像重建的目标是从二进制比特流bm,t中恢复出原始光强值；阈值更新方法为：定义1-γq(c)＝Sn/KT为比特密度，其中K为空间过采样因子，T为时间过采样因子，Sn为KT个二进制数中1的个数，当比特密度γq(c)接近于0.5时，获得最佳q*，确定q的过程实际是扫描像素，并更新阈值直到比特密度达到0.5；
使用MLE框架实现图像恢复问题：
Figure FDA0004116575730000012
其中
Figure FDA0004116575730000013
为恢复的光强值，且每个
Figure FDA0004116575730000014
为独立同分布，Bm,t为空间上第m个点时间上第t个点的一位测量bm,t的随机变量，P[Bm,t＝1]为Bm＝1的概率，P[Bm,t＝0]为Bm＝0的概率，
引入伽玛函数ψq，得到包含
Figure FDA0004116575730000015
的结果
Figure FDA0004116575730000016
Figure FDA0004116575730000017
其中
Figure FDA0004116575730000018
Sn为KT个二进制数中1的个数，L＝KT，α为增益因子；
允许多个像素块共享一个共同的阈值，每块通过牺牲一定帧数，应用阈值更新方案求得的最佳阈值q*进行图像还原。
2.如权利要求1所述的单光子计数成像的图像传感器图像还原方法，其特征是，阈值更新具体方法如下：从初始阈值qA和qB开始，检查比特密度是否满足1-γqA>0.5和1-γqB<0.5，如果是这种情况，则找到一个中点qM＝(qA+qB)/2，并检查1-γqM是大于还是小于0.5，如果1-γqM>0.5，用qM代替qA，否则用qM代替qB，重复该过程直至1-γqM足够接近0.5。
CN201811644546.5A 2018-12-30 2018-12-30 单光子计数成像的图像传感器图像还原方法 Active CN109816603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811644546.5A CN109816603B (zh) 2018-12-30 2018-12-30 单光子计数成像的图像传感器图像还原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811644546.5A CN109816603B (zh) 2018-12-30 2018-12-30 单光子计数成像的图像传感器图像还原方法

Publications (2)

Publication Number Publication Date
CN109816603A CN109816603A (zh) 2019-05-28
CN109816603B true CN109816603B (zh) 2023-04-11

Family

ID=66603807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811644546.5A Active CN109816603B (zh) 2018-12-30 2018-12-30 单光子计数成像的图像传感器图像还原方法

Country Status (1)

Country Link
CN (1) CN109816603B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187356B (zh) * 2019-06-14 2021-07-09 中国科学技术大学 远距离超分辨单光子成像重构方法
CN112396670B (zh) * 2019-08-15 2023-01-10 天津大学青岛海洋技术研究院 面向新型二进制图像传感器的图像重建方法
CN110501687B (zh) * 2019-08-26 2021-08-10 哈尔滨工业大学 一种Gm-APD激光雷达目标有效探测的自适应光学口径调控方法
CN111162905B (zh) * 2020-03-10 2021-03-09 中国科学技术大学 量子密钥分配系统及其解码方法
CN113538217B (zh) * 2021-06-21 2022-09-16 天津大学 应用于单比特量子图像传感器的最佳阈值图像重构方法
CN113538262B (zh) * 2021-06-21 2023-04-11 天津大学 应用于多比特量子图像传感器的高动态范围图像还原方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025637A (zh) * 2017-03-10 2017-08-08 南京理工大学 基于贝叶斯估计的光子计数集成成像迭代重构方法
CN108333596A (zh) * 2018-02-23 2018-07-27 深圳市唯特视科技有限公司 一种基于单光子探测器的非视域成像技术

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102759408B (zh) * 2011-04-25 2015-04-15 中国科学院空间科学与应用研究中心 一种单光子计数成像系统及其方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025637A (zh) * 2017-03-10 2017-08-08 南京理工大学 基于贝叶斯估计的光子计数集成成像迭代重构方法
CN108333596A (zh) * 2018-02-23 2018-07-27 深圳市唯特视科技有限公司 一种基于单光子探测器的非视域成像技术

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Images from Bits: Non-Iterative Image Reconstruction for Quanta Image Sensors;Elgendy et al.;《Sensors》;20161122;第1961页 *
Object Tracking and Reconstruction with a Quanta Image Sensor;I Gyongy et al.;《International Image Sensor Workshop 2017》;20171231;第1-12页 *

Also Published As

Publication number Publication date
CN109816603A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109816603B (zh) 单光子计数成像的图像传感器图像还原方法
US9736425B2 (en) Methods and systems for coded rolling shutter
Zhang et al. Rethinking noise synthesis and modeling in raw denoising
Holloway et al. Flutter shutter video camera for compressive sensing of videos
Gow et al. A comprehensive tool for modeling CMOS image-sensor-noise performance
US8319855B2 (en) Method, apparatus and system for image acquisition and conversion
KR102314703B1 (ko) 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
Singh et al. A comparative study to noise models and image restoration techniques
JP2012134963A (ja) シーンの一連のフレームをビデオとして取得するカメラ
CN104168403B (zh) 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置
EP3185555B1 (en) Image compression method with negligible and quantifiable information loss and high compression ratio
Chandramouli et al. A bit too much? High speed imaging from sparse photon counts
CN110753950B (zh) 利用模拟接口的高速二维事件检测和成像
Mohanty et al. Application of different filtering techniques in digital image processing
Madhura et al. A survey on noise reduction techniques for lung cancer detection
CN113538217B (zh) 应用于单比特量子图像传感器的最佳阈值图像重构方法
CN111640063B (zh) 基于空间频域多尺度调制与重建的压缩成像系统及方法
Liu et al. Noise analysis and image restoration for optical sparse aperture systems
CN113538262B (zh) 应用于多比特量子图像传感器的高动态范围图像还原方法
CN114998138B (zh) 一种基于注意力机制的高动态范围图像去伪影方法
CN117726549B (zh) 基于事件引导的图像去模糊方法
WO2022237891A1 (zh) 用于成像的方法、装置和计算机可读介质
CN113347375B (zh) 脉冲图像传感器的像素闪烁抑制方法
CN116528058B (zh) 一种基于压缩重构的高动态成像方法和系统
Kosaka et al. Multiple temporal resolution imaging and processing for obtaining HDR image with low motion blur and noise

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant