CN111405207A - 一种应用于高速脉冲传感器的重构图像拖尾消除算法 - Google Patents

一种应用于高速脉冲传感器的重构图像拖尾消除算法 Download PDF

Info

Publication number
CN111405207A
CN111405207A CN201811608766.2A CN201811608766A CN111405207A CN 111405207 A CN111405207 A CN 111405207A CN 201811608766 A CN201811608766 A CN 201811608766A CN 111405207 A CN111405207 A CN 111405207A
Authority
CN
China
Prior art keywords
interval
light
trailing
reconstructed image
trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811608766.2A
Other languages
English (en)
Other versions
CN111405207B (zh
Inventor
徐江涛
张培文
高静
王相锋
杜啸星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201811608766.2A priority Critical patent/CN111405207B/zh
Publication of CN111405207A publication Critical patent/CN111405207A/zh
Application granted granted Critical
Publication of CN111405207B publication Critical patent/CN111405207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种应用于高速脉冲传感器的重构图像拖尾消除算法，通过识别拖尾区间，根据脉冲式高速相机触发和恢复图像灰度的机理，计算造成拖尾的两种亮度物体在同一触发区间内所占的比例，恢复拖尾区间内物体的边界，可以实现在高速相机重构视频中消除拖尾，提升重构图像的质量。

Description

一种应用于高速脉冲传感器的重构图像拖尾消除算法
技术领域
本发明涉及图像处理算法领域，尤其涉及一种应用于高速脉冲传感器的重构图像拖尾消除算法。
背景技术
高速摄像机可以在很短的时间内完成对高速目标的快速、多次采样，具有实时目标捕获、图像快速记录、即时回放、图像直观清晰等突出优点，广泛应用于军工、科研实验、航空航天、工业生产、影视广告、体育竞技、大众生活等方面。高速相机不但可用于图像记录，也用于位移、速度、加速度等传统测量、生产过程检测及质量控制等。在各种行业的需求的带动下，人们对高速摄像机的性能的要求不断提高，随着帧频的不断提升，数据量将会同比增长，由此带来的巨大数据传输压力和芯片功耗问题成为限制其发展的一大瓶颈。为解决此类问题，采用脉冲式高速图像传感器，将光强变化转化为不同间隔的脉冲信息，从源头减少数据量，实现高速摄像的要求。因用脉冲间隔表示亮度的原理，在图像恢复过程中，一个间隔内若有明暗物体的变换，则会造成拖尾。
发明内容
针对现有技术存在的问题，本发明一种应用于高速脉冲传感器的重构图像拖尾消除算法，通过识别拖尾区间，根据脉冲式高速相机触发和恢复图像灰度的机理，计算造成拖尾的两种亮度物体在同一触发区间内所占的比例，恢复拖尾区间内物体的边界，可以实现在高速相机重构视频中消除拖尾，提升重构图像的质量。
在脉冲式高速图像传感器中，每个像素在复位后开始积分光生电荷，当积累量达到所设定的阈值时，像素产生脉冲。脉冲输出后像素复位，重新开始积分光生电荷。像素产生两次脉冲之间的间隔时间由光强度的大小决定，可通过测量两次间隔还原光强信息。
假设在一个动态的场景中，背景光是弱光，即对应的光电流和灰度值较小，物体光为强光，对应的光电流和灰度值均较大。像素单元对背景光积分时，产生的触发间隔较长，对物体光积分时，产生的触发间隔较短。像素单元对背景进行拍摄，背景对应的光电流不断积分光生电荷，在到达像素单元触发阈值之前，物体出现，物体对应的光电流继续积分光生电荷，由于物体光比背景光要强，积分光生电荷的速度也更快，使得该次触发的触发间隔小于仅对背景拍摄的触发间隔，且大于仅对物体拍摄的触发间隔，该间隔段称为拖尾段，原理如图1所示。
一种应用于高速脉冲传感器的重构图像拖尾消除算法，具体为：
对于一个完整的脉冲序列，背景光对应的触发间隔N b，物体光对应的触发间隔N o以及拖尾间隔N d都是已知的，由于像素单元的复位电压V rst和像素的触发阈值电压V ref是固定的，则有
Figure DEST_PATH_IMAGE001
（1）式中，I b为背景光对应的光电流，I o是物体光对应的光电流，I d是拖尾间隔对应的等效光电流；在拖尾间隔中，n b表示在拖尾间隔中背景光实际存在的帧周期，n e表示在拖尾间隔中物体光实际存在的帧周期，用背景光对应灰度值表示n b周期的灰度值，用物体光对应的灰度值表示n e周期对应的灰度值，则有
Figure DEST_PATH_IMAGE002
根据式（1）以及式（2）可以计算得到n b和n e的值，在式（3）中给出：
Figure DEST_PATH_IMAGE003
在实际进行拖尾消除时，由于帧周期只能为整数，采用式（4）中的运算结果：
Figure DEST_PATH_IMAGE004
实际的操作方式如图2所示。该方法通过计算精确地确定了物体出现或者消失的时刻，起到消除拖尾的效果，将误差缩小到了一个帧周期之内，提高了重构图像的质量。
一种应用于高速脉冲传感器的重构图像拖尾消除算法，通过计算拖尾区间内物体和背景的比例，实现在一个脉冲间隔内区分物体和背景的比例，能消除脉冲式高速图像传感器图像还原中的拖尾问题；随着拖尾问题的改善，图像的边缘更加锐利，成像质量明显提高。
附图说明
图1是拖尾产生的原理图；
图2是消除拖尾算法示意图。
具体实施方式
以下根据附图和实施例对本发明进行详细说明，但是本发明的保护范围不限于此。
本发明设计的图像消除拖尾算法针对高速脉冲式图像传感器。在应用中需要确定“背景”和“物体”部分的光强。因为实际使用中可能存在的明暗变化快、光照不均匀等问题，可以选择均匀平滑的一个小区域内的触发间隔的平均值。在实际采集到的视频数据中，可以设定阈值T=2，对一个像素的某一触发间隔，记其前3个脉冲间隔均值为m 1，后3个脉冲间隔均值为m 2，若前后方差均小于T，且此时的间隔长度介于m 1和m 2之间，则判定此间隔为拖尾区域，并记m 1=N b，m 2= N o，即可按式（4）求出拖尾区间亮暗部分的比例。
图1表示产生拖尾的原因。td为物体出现的真实时刻。在基于脉冲间隔的图像重构方式对该段数据进行重构时，拖尾段对应的灰度值介于背景和物体之间，且持续了若干帧。当物体消失时，像素单元从拍摄物体转换为拍摄背景，如果物体光所积分的光生电荷并未使像素单元到达触发阈值，背景光会继续在此基础上积分光生电荷，同样会使得该次的触发间隔小于仅对背景拍摄的触发间隔，且大于仅对物体拍摄的触发间隔，从而产生拖尾。
图2表示消除拖尾的方法。根据拖尾产生的原因以及拖尾的特点，可以将拖尾间隔拆分为两个时间段，一个时间段灰度值以背景所对应灰度值表示，另一个时间段以物体所对应的灰度值表示，两段的比例可由式（4）求出。

Claims (1)

1.一种应用于高速脉冲传感器的重构图像拖尾消除算法，其特征在于：具体为：
对于一个完整的脉冲序列，背景光对应的触发间隔N b，物体光对应的触发间隔N o以及拖尾间隔N d都是已知的，由于像素单元的复位电压V rst和像素的触发阈值电压V ref是固定的，则有
Figure 919262DEST_PATH_IMAGE001
（1）式中，I b为背景光对应的光电流，I o是物体光对应的光电流，I d是拖尾间隔对应的等效光电流；在拖尾间隔中，n b表示在拖尾间隔中背景光实际存在的帧周期，n e表示在拖尾间隔中物体光实际存在的帧周期，用背景光对应灰度值表示n b周期的灰度值，用物体光对应的灰度值表示n e周期对应的灰度值，则有
Figure 649452DEST_PATH_IMAGE002
根据式（1）以及式（2）可以计算得到n b和n e的值，在式（3）中给出：
Figure 803090DEST_PATH_IMAGE003
在实际进行拖尾消除时，由于帧周期只能为整数，采用式（4）中的运算结果：
Figure 260617DEST_PATH_IMAGE004
通过计算精确地确定了物体出现或者消失的时刻，起到消除拖尾的效果，将误差缩小到了一个帧周期之内，提高了重构图像的质量。
CN201811608766.2A 2018-12-27 2018-12-27 一种应用于高速脉冲传感器的重构图像拖尾消除方法 Active CN111405207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811608766.2A CN111405207B (zh) 2018-12-27 2018-12-27 一种应用于高速脉冲传感器的重构图像拖尾消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811608766.2A CN111405207B (zh) 2018-12-27 2018-12-27 一种应用于高速脉冲传感器的重构图像拖尾消除方法

Publications (2)

Publication Number Publication Date
CN111405207A true CN111405207A (zh) 2020-07-10
CN111405207B CN111405207B (zh) 2022-07-26

Family

ID=71435897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811608766.2A Active CN111405207B (zh) 2018-12-27 2018-12-27 一种应用于高速脉冲传感器的重构图像拖尾消除方法

Country Status (1)

Country Link
CN (1) CN111405207B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112616031A (zh) * 2020-12-16 2021-04-06 天津大学合肥创新发展研究院 基于脉冲阵列图像传感器的高速目标追踪方法及系统
CN112651883A (zh) * 2021-01-18 2021-04-13 广东工业大学 一种图像高速场景恢复方法、设备及介质
CN113347375A (zh) * 2021-06-01 2021-09-03 天津大学 脉冲图像传感器的像素闪烁抑制方法
CN113873183A (zh) * 2021-10-25 2021-12-31 天津大学 基于仿生复眼视觉系统的脉冲间隔校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176741A (zh) * 2011-01-06 2011-09-07 西北工业大学 星空图像中帧转移型ccd传感器拖尾亮线消除方法
US20120194712A1 (en) * 2011-02-01 2012-08-02 Neal Crook Systems and methods for synchronizing and controlling multiple image sensors
CN104125372A (zh) * 2014-07-29 2014-10-29 北京机械设备研究所 一种目标光电搜索探测方法
CN104939859A (zh) * 2015-06-23 2015-09-30 李彬 一种ct图像校正方法
US20170125064A1 (en) * 2015-11-03 2017-05-04 Seastar Labs, Inc. Method and Apparatus for Automatic Video Production

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176741A (zh) * 2011-01-06 2011-09-07 西北工业大学 星空图像中帧转移型ccd传感器拖尾亮线消除方法
US20120194712A1 (en) * 2011-02-01 2012-08-02 Neal Crook Systems and methods for synchronizing and controlling multiple image sensors
CN104125372A (zh) * 2014-07-29 2014-10-29 北京机械设备研究所 一种目标光电搜索探测方法
CN104939859A (zh) * 2015-06-23 2015-09-30 李彬 一种ct图像校正方法
US20170125064A1 (en) * 2015-11-03 2017-05-04 Seastar Labs, Inc. Method and Apparatus for Automatic Video Production

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112616031A (zh) * 2020-12-16 2021-04-06 天津大学合肥创新发展研究院 基于脉冲阵列图像传感器的高速目标追踪方法及系统
CN112651883A (zh) * 2021-01-18 2021-04-13 广东工业大学 一种图像高速场景恢复方法、设备及介质
CN113347375A (zh) * 2021-06-01 2021-09-03 天津大学 脉冲图像传感器的像素闪烁抑制方法
CN113347375B (zh) * 2021-06-01 2023-01-03 天津大学 脉冲图像传感器的像素闪烁抑制方法
CN113873183A (zh) * 2021-10-25 2021-12-31 天津大学 基于仿生复眼视觉系统的脉冲间隔校正方法
CN113873183B (zh) * 2021-10-25 2023-10-17 天津大学 基于仿生复眼视觉系统的脉冲间隔校正方法

Also Published As

Publication number Publication date
CN111405207B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN111405207B (zh) 一种应用于高速脉冲传感器的重构图像拖尾消除方法
Rebecq et al. High speed and high dynamic range video with an event camera
CN104240194B (zh) 一种基于抛物线函数的低照度图像增强算法
US11019273B2 (en) Generating static images with an event camera
WO2019105297A1 (zh) 图像虚化处理方法、装置、移动设备及存储介质
CN108093158B (zh) 图像虚化处理方法、装置、移动设备和计算机可读介质
CN103888681A (zh) 一种自动曝光方法及装置
CN102665034A (zh) 一种针对摄像机采集视频的夜间效果去除方法
CN105100632A (zh) 成像设备自动曝光的调整方法及装置、成像设备
US9363427B2 (en) Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor
KR20130123525A (ko) 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
CN110414558B (zh) 基于事件相机的特征点匹配方法
CN109639994B (zh) 嵌入式车载相机曝光时间动态调整方法
CN104282003A (zh) 一种基于梯度筛选的数字模糊图像盲复原方法
CN107197152A (zh) 对焦方法、装置、计算机可读存储介质和移动终端
Liu et al. Pixel Based Temporal Analysis Using Chromatic Property for Removing Rain from Videos.
CN112399032B (zh) 一种基于检测器的脉冲式图像传感器的光流获取方法
CN105988599A (zh) 可调整取样周期的导航装置
CN114885074A (zh) 一种基于时空密度的事件相机去噪方法
CN112435279B (zh) 一种基于仿生脉冲式高速相机的光流转换方法
Shi et al. Zeroscatter: Domain transfer for long distance imaging and vision through scattering media
CN111798484B (zh) 基于事件相机的连续稠密光流估计方法及系统
CN117635649A (zh) 一种滑坡监测方法及系统
CN109253663B (zh) Ccd精度靶的图像触发装置及触发方法
Zhou et al. Denoising method using a moving-average filter for the moving-object recognition of low-illuminance video-image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant