CN112435279B - 一种基于仿生脉冲式高速相机的光流转换方法 - Google Patents

一种基于仿生脉冲式高速相机的光流转换方法 Download PDF

Info

Publication number
CN112435279B
CN112435279B CN201910789797.0A CN201910789797A CN112435279B CN 112435279 B CN112435279 B CN 112435279B CN 201910789797 A CN201910789797 A CN 201910789797A CN 112435279 B CN112435279 B CN 112435279B
Authority
CN
China
Prior art keywords
optical flow
pulse
bionic
image sensor
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910789797.0A
Other languages
English (en)
Other versions
CN112435279A (zh
Inventor
徐江涛
张培文
高静
聂凯明
王相锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910789797.0A priority Critical patent/CN112435279B/zh
Publication of CN112435279A publication Critical patent/CN112435279A/zh
Application granted granted Critical
Publication of CN112435279B publication Critical patent/CN112435279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于仿生脉冲式高速相机的光流转换方法，通过对仿生脉冲式高速图像传感器输出信号的分析，将脉冲间隔信号处理为可以代替LK光流法中光照强度的信息，则可用脉冲式相机的输出数据产生光流，为后续定位、追踪等处理提供基础；算法参照LK光流法的基本原理，将仿生高速脉冲图像传感器脉冲间隔信息转化为特殊的特征量，用以替代光流法中灰度信息，省去了还原灰度图像的环节，实现将相机所采集的数据直接用于产生光流，使算法更高效，针对性更强，在实际使用中能使后续识别效率大大增加。

Description

一种基于仿生脉冲式高速相机的光流转换方法
技术领域
本发明属于图像处理算法领域，尤其涉及一种基于仿生脉冲式高速相机的光流转换方法。
背景技术
仿生脉冲式高速摄像机通过模仿视网膜的神经脉冲传输机制，将光强变化转化为不同间隔的脉冲信息，从源头上减少了数据量，克服了传统基于帧的图像传感器对数据传输量的瓶颈，能实现对高速运动物体的拍摄，广泛应用于军工、科研实验、航空航天、工业生产、影视广告、体育竞技、大众生活等方面。
在很多实用情况下，如无人机拍摄高速移动物体时，经常需要对物体进行定位和追踪。获得运动物体的光流是许多追踪算法和后续分析处理的基础。但因脉冲式高速相机不能直接输出物体灰度，而是输出一系列的脉冲序列，因此不能直接应用传统的光流算法。
发明内容
针对现有技术存在的问题，本发明一种基于仿生脉冲式高速相机的光流转换方法，通过对仿生脉冲式高速图像传感器输出信号的分析，将脉冲间隔信号处理为可以代替LK光流法中光照强度的信息，则可用脉冲式相机的输出数据产生光流，为后续定位、追踪等处理提供基础。
一种基于仿生脉冲式高速相机的光流转换方法，具体为：
连续运动场景在一个段很小的时间内，光强不变，位移很小；设光强为I，得到等式（1）：
Figure 807065DEST_PATH_IMAGE001
将其换成x,y方向速度分量的形式，可得到：
Figure 288993DEST_PATH_IMAGE002
假设（v x ,v y ）在共有n个像素的小窗口内为常数，则得到方程组（3）
Figure 360985DEST_PATH_IMAGE003
假设光强不变，即I恒定，用间隔相减的方法得到脉冲数据对应的特征量m：
Figure 443210DEST_PATH_IMAGE004
其中t 1为某一指定时间，∆t为时间间隔，取决于脉冲式图像传感器的精度，P为单位时间内出现的脉冲数；可知如果场景完全静止，那么不同时间内的脉冲数恒定，m恒为0；若为动态场景，则静止的背景部分m仍为0，运动部分会导致m变化；这种变化可以用来表征光强的变化，则可以得到：
Figure 10300DEST_PATH_IMAGE005
关于时间的函数可以记为：
Figure 365976DEST_PATH_IMAGE006
用等式（5）和（6）取代等式（3）中的变量I，可以得到
Figure 418990DEST_PATH_IMAGE007
从而把脉冲间隔式图像传感器的数据转化为可以用光流法处理的数据。
一种基于仿生脉冲式高速相机的光流转换方法，针对仿生高速脉冲图像传感器成像特点，将输出的脉冲信号进行转化，使之可以取代光流法中的亮度信息；能够解决光流法对亮度信息的依赖，将脉冲式信号直接应用于光流计算，为后续追踪和定位等功能提供了基础。
附图说明
图1是仿生高速脉冲图像传感器原理示意图。
具体实施方式
一种基于仿生脉冲式高速相机的光流转换方法，仿生高速脉冲图像传感器成像基本原理如图1所示。光电二极管电压VPD受到光照而下降，下降到参考电压Vref之后则马上复位，恢复到复位电压Vrst，再重新接受光照，开始新的积分周期。这种方法只传输脉冲数据，从而大大减少了数据量，脱离传统基于帧的图像传感器在高速场景中数据传输的瓶颈。因为受到的光照越强，积分就越快，脉冲间隔越小，故可以根据得到的脉冲间隔与接受的光强成反比，还原场景光强。
针对仿生高速脉冲图像传感器的成像原理，通过将脉冲间隔信息转化为可以替代光流法中亮度信息，可以将所采集的数据直接用于产生光流。
具体方法为：
1、选定合适的参数计算式（4）中特征量m。其中时间间隔∆t与脉冲式图像传感器的精度有关，实际应用中可取50us。目标时刻t前的t 1 时间间隔可以任选，可取t 1 为1ms。这样可以得到所有待求光流点的特征量；
2、将计算好的特征量带入式（7），这样根据灰度计算光流的方法就转化成用特征量，也就是脉冲数代表的量直接计算。

Claims (1)

1.一种基于仿生脉冲式高速相机的光流转换方法，其特征在于：具体为：
连续运动场景在一个段很小的时间内，光强不变，位移很小；设光强为I，得到等式（1）：
Figure 130551DEST_PATH_IMAGE001
将其换成x,y方向速度分量的形式，可得到：
Figure 172325DEST_PATH_IMAGE002
假设（v x ,v y ）在共有n个像素的小窗口内为常数，则得到方程组（3）
Figure 109319DEST_PATH_IMAGE003
假设光强不变，即I恒定，用间隔相减的方法得到脉冲数据对应的特征量m：
Figure 894741DEST_PATH_IMAGE004
其中t 1为某一指定时间，∆t为时间间隔，取决于脉冲式图像传感器的精度，P为单位时间内出现的脉冲数；可知如果场景完全静止，那么不同时间内的脉冲数恒定，m恒为0；若为动态场景，则静止的背景部分m仍为0，运动部分会导致m变化；这种变化可以用来表征光强的变化，则可以得到：
Figure 597862DEST_PATH_IMAGE005
关于时间的函数可以记为：
Figure 810537DEST_PATH_IMAGE006
用等式（5）和（6）取代等式（3）中的变量I，可以得到
Figure 969248DEST_PATH_IMAGE007
从而把脉冲间隔式图像传感器的数据转化为可以用光流法处理的数据。
CN201910789797.0A 2019-08-26 2019-08-26 一种基于仿生脉冲式高速相机的光流转换方法 Active CN112435279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910789797.0A CN112435279B (zh) 2019-08-26 2019-08-26 一种基于仿生脉冲式高速相机的光流转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910789797.0A CN112435279B (zh) 2019-08-26 2019-08-26 一种基于仿生脉冲式高速相机的光流转换方法

Publications (2)

Publication Number Publication Date
CN112435279A CN112435279A (zh) 2021-03-02
CN112435279B true CN112435279B (zh) 2022-10-11

Family

ID=74690122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910789797.0A Active CN112435279B (zh) 2019-08-26 2019-08-26 一种基于仿生脉冲式高速相机的光流转换方法

Country Status (1)

Country Link
CN (1) CN112435279B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873183B (zh) * 2021-10-25 2023-10-17 天津大学 基于仿生复眼视觉系统的脉冲间隔校正方法
CN114584713B (zh) * 2022-04-29 2022-09-20 北京大学 一种脉冲相机仿真方法、装置、控制设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152915B1 (en) * 2010-08-26 2015-10-06 Brain Corporation Apparatus and methods for encoding vector into pulse-code output
CN105160703A (zh) * 2015-08-25 2015-12-16 天津师范大学 一种使用时域视觉传感器的光流计算方法
CN106871904A (zh) * 2017-03-02 2017-06-20 南阳师范学院 一种基于机器视觉的移动机器人码盘定位修正方法
CN108234892A (zh) * 2016-12-15 2018-06-29 松下知识产权经营株式会社 摄像装置及摄像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547871B2 (en) * 2017-05-05 2020-01-28 Disney Enterprises, Inc. Edge-aware spatio-temporal filtering and optical flow estimation in real time

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152915B1 (en) * 2010-08-26 2015-10-06 Brain Corporation Apparatus and methods for encoding vector into pulse-code output
CN105160703A (zh) * 2015-08-25 2015-12-16 天津师范大学 一种使用时域视觉传感器的光流计算方法
CN108234892A (zh) * 2016-12-15 2018-06-29 松下知识产权经营株式会社 摄像装置及摄像方法
CN106871904A (zh) * 2017-03-02 2017-06-20 南阳师范学院 一种基于机器视觉的移动机器人码盘定位修正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Method of Biomimetic Visual Perception and Image Reconstruction Based on Pulse Sequence of Events;Jiangtao Xu,Zhe Yang,Zhiyuan Gao;《IEEE Sensors Journal》;20181111;全文 *
空间站脉冲编码被动式交会对接合作目标三维跟踪;崔家瑞，陈鹏;《宇航学报》;20161230;全文 *

Also Published As

Publication number Publication date
CN112435279A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Rebecq et al. High speed and high dynamic range video with an event camera
Scheerlinck et al. CED: Color event camera dataset
Baldwin et al. Time-ordered recent event (TORE) volumes for event cameras
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
CN112435279B (zh) 一种基于仿生脉冲式高速相机的光流转换方法
CN111919434B (zh) 处理来自基于事件的传感器的信号的方法和设备
TWI648549B (zh) Distance image generating device and distance image generating method
JP7488645B2 (ja) 標的を撮像するための撮像システム
CN111405207B (zh) 一种应用于高速脉冲传感器的重构图像拖尾消除方法
CN107133610B (zh) 一种复杂路况下行车流量视觉检测与计数方法
CN112399032B (zh) 一种基于检测器的脉冲式图像传感器的光流获取方法
CN111798395B (zh) 基于tv约束的事件相机图像重建方法及系统
CN112215334A (zh) 一种面向事件相机的神经网络模型压缩方法
Liu et al. Motion robust high-speed light-weighted object detection with event camera
Zhang et al. EventMD: High-speed moving object detection based on event-based video frames
Jiang et al. Event-based low-illumination image enhancement
CN114612507A (zh) 基于脉冲序列式图像传感器的高速目标追踪方法
CN117635649A (zh) 一种滑坡监测方法及系统
CN116310982A (zh) 一种基于事件相机的通过散射介质目标分类方法
Yang et al. Research on the influence of camera velocity on image blur and a method to improve object detection precision
Huang Event-based action recognition using timestamp image encoding network
CN117836816A (zh) 用于数字摄影的基于事件的自动曝光
Zhou et al. A Spike Learning System for Event-driven Object Recognition
Tahara et al. FPGA-based real-time object tracking using a particle filter with stream architecture
Zhang et al. V2CE: Video to Continuous Events Simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant