CN103595931A - 实时时间标记的cmos异步时间域图像传感器 - Google Patents
实时时间标记的cmos异步时间域图像传感器 Download PDFInfo
- Publication number
- CN103595931A CN103595931A CN201310542731.4A CN201310542731A CN103595931A CN 103595931 A CN103595931 A CN 103595931A CN 201310542731 A CN201310542731 A CN 201310542731A CN 103595931 A CN103595931 A CN 103595931A
- Authority
- CN
- China
- Prior art keywords
- time
- row
- circuit
- arbitration
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及微电子学的集成电路设计领域和数字图像处理领域，为解决AER异步输出方式带来的事件-时间不匹配问题，实现图像行间时间精确标记输出，提高获得图像在时间域内的准确性，为达到上述目的，本发明采取的技术方案是，实时时间标记的CMOS异步时间域图像传感器，包括由光强变化感知电路CD和双采样脉冲宽度调制电路PWM，还包括：(1)行/列复位控制电路；(2)行仲裁电路；(3)行级时间标记电路；(4)行/列地址编码电路：行地址编码电路接收行轮权仲裁结构发出的行选中信号，输出选中的行地址；行地址编码电路由输出像素的CD电路输出信号触发。本发明主要应用于图像传感器的设计制造。
Description
技术领域
本发明涉及微电子学的集成电路设计领域和数字图像处理领域,具体讲，涉及实现实时时间标记的CMOS异步时间域图像传感器。
背景技术
相对于传统“帧”图像采集方式，异步时间域CMOS图像传感器（CIS）模仿生物视觉的工作机理，采用异步地址－事件表示（Address-Event Representation,AER），仅输出发生光强变化的像素地址和信息，而不是依次读出“帧”内每个像素信息。具有场景变化实时动态响应、图像超稀疏表示、时域变化事件异步输出等特点，可解决“帧”图像采集方式带来的高冗余、高延迟、高噪声、低动态范围、传输瓶颈等缺陷。
AER异步表示方法将发生特定事件的像素对外部进行通信请求，请求获准后输出量为该像素所在坐标位置(x,y)及发生的事件。如图1所示，对于一维单一事件异步并行输出，事件引起其所在行的地址编码器实时输出行地址，后续接收处理电路根据接收到的行地址及接收编码的时间间隔还原事件属性及所在行。
异步时间域像素结构如图2所示，由光强变化感知电路（change detector，CD）和双采样脉冲宽度调制（Pulse-Width-Modulation,PWM）电路组成。CD电路通过光电流探测、比较放大、输出比较及逻辑修正用于探测该像素光强是否发生超过阈值的变化，是AER异步方式的基础。双采样PWM电路工作原理如图3所示，复位管MRst2复位后，光电二极管PD2开始曝光。此时，开关S1闭合，S2断开，比较器的负端接高参考电压Vref_H。随着曝光的过程，Vint电压线性降低，到达Vref_H时，比较器输出翻转，触发计时模块复位，并开始计数。随机，开关S1断开，S2闭合，比较器的负端接低参考电压Vref_L，Vint下降至Vref_L时再次产生比较器输出翻转，此时结束计数，并将8位计数结果存储在像素级存储器中，等待输出。
在异步时间域图像传感器中，当有大量数据同时产生，需要输出时，将会由仲裁模块控制数据的输出顺序。由此，原本同时的数据将变成不同时的输出，并且，异步AER方式的特殊性，无法预测数据的间隔及数据量，这就导致输出数据在时间上的不匹配，即某一帧内的各像素的数据有可能应属于其他帧的情况发生。所以，传感器内进行实时时间标记可对于这种不匹配进行修正，提高AER异步方式的准确性。
发明内容
本发明旨在克服现有技术的不足，解决AER异步输出方式带来的事件-时间不匹配问题，实现图像行间时间精确标记输出，提高获得图像在时间域内的准确性，提供一种，为达到上述目的，本发明采取的技术方案是，实时时间标记的CMOS异步时间域图像传感器，包括由光强变化感知电路CD和双采样脉冲宽度调制电路PWM，还包括：
(1)行/列复位控制电路：列复位控制电路控制各像素CD电路的复位，列复位控制信号列共用；行复位控制电路控制各像素双采样PWM电路的复位，行控制信号行共用；
(2)行仲裁电路：光照发生变化时，像素内的CD电路输出使双采样PWM电路开始曝光工作，光强结果存储在像素级8位存储器中，等待输出；当不同像素同时发出输出请求时，行轮权仲裁结构仲裁，输出请求信号y_Req，接收信号y_Ack为行共用；
(3)行级时间标记电路；为16位计时器，计时器精度由量化精度决定，以像素发出请求信号y_Req为标记事件触发信号，在8bit量化信号前输出；
(4)行/列地址编码电路：行地址编码电路接收行轮权仲裁结构发出的行选中信号，输出选中的行地址；行地址编码电路由输出像素的CD电路输出信号触发。
行仲裁电路输出请求信号y_Req，接收信号y_Ack为行共用，行轮权仲裁方式遵循“先进先出”的原则，每次仲裁按照第一行依次至最后一行的顺序决定优先权，使每行优先权相对平均。
利用像素级光强变化感知电路探测光强变化，双采样PWM电路量化光强；采用地址-事件（AER）表达方式及实时时间标记。
行轮权仲裁结构的结构由二选一仲裁单元构成，当一个二选一仲裁单元发生第一次冲突时，优先选中端口一，当第二次发生冲突时，优先选中端口二。
本发明的技术特点及效果：
本发明通过仅采集变化像素信息，能够在源头上消除冗余信息，各像素的测量及输出由光强变化驱动，实现了异步工作输出，时间域量化，脱离了传统图像传感器“帧”的束缚，并扩大动态范围。同时，能够在片上进行实时时间标记，结合行仲裁电路，对于事件-时间的扭曲进行修正，提高AER异步方式的准确性。输出数据可以满足任何量化编码需要，提高了图像传感器效率，具有数据量小，动态范围大，帧频高的特点，适用于高速目标跟踪、视频监控、微粒研究等领域。
附图说明
图1一维单一事件AER表达原理。
图2异步时间域像素结构。
图3采样PWM电路工作原理。
图4本发明的异步时间域CIS结构。
图5本发明结构图。
图6由多个轮权仲裁单元组成的多路仲裁结构图。
具体实施方式
本发明传感器采用128*128像素阵列，结构如图4所示，由行/列复位控制电路、行仲裁电路、行时间标记电路及行/列地址编码电路组成。
(1)行/列复位控制电路。列复位控制电路（x_reset control）控制各像素CD电路的复位，控制信号x_Rst列共用。行复位控制电路（y_reset control）控制各像素双采样PWM电路的复位，控制信号y_Rst行共用。将CD电路和双采样PWM电路分别设置复位的好处是，当进行全局拍摄模式或快照模式时可直接控制双采样PWM电路，而使CD电路处于待命状态。
(2)行仲裁电路(y_arbiter)。光照发生变化时，像素内的CD电路输出使双采样PWM电路开始曝光工作，光强结果存储在像素级8位存储器中，等待输出。当不同像素同时发出输出请求时，需要仲裁的方法决定输出顺序。本结构中采用行轮权仲裁结构，输出请求信号y_Req，接收信号y_Ack为行共用。行轮权仲裁方式遵循“先进先出”的原则，每次仲裁按照第一行依次至最后一行的顺序决定优先权，可使每行优先权相对平均。适用于需要对全景信息采集，但对帧频要求较低的视觉图像采集领域。
(3)行级时间标记电路(Time stamp)。采用16位计时器，计时器精度由量化精度决定，以像素发出请求信号y_Req为标记事件触发信号，在8bit量化信号前输出。
(4)行/列地址编码电路(address encoder)。本设计遵循AER表示原理，需输出光强变化事件及所在像素坐标(x,y)。本结构要求时间标记有较高实时性，故在结构中优先输出时间标记及时间测量，由确定的事件输出触发地址编码即可，并且行/列的编码可异步进行。行地址编码电路(y_address encoder)接收行仲裁发出的行选中信号，输出选中的行地址。行地址编码电路(x_address encoder)由输出像素的CD电路输出信号触发。
应用于一个128×128的有源像素阵列，输出图像精度为8bit，地址位为14bit，时间标记位为20bit。仲裁方式采用轮权制。采用0.18um标准CMOS工艺实现，适用于高速实时视觉芯片系统。
（5）轮权仲裁结构。轮权仲裁的特点是仲裁器的输入各个端口具有相同的权重，是一种公平仲裁。当一个二选一仲裁单元发生第一次冲突时，优先选中端口一，那么当它第二次发生冲突时，优先选中端口二。一个二选一轮权仲裁单元的基本结构如图5所示：其中(a)是二选一轮权仲裁单元的基本结构；(b)是预选单元的一种实现结构，其中ps信号可以标识这是第一次冲突还是第二次冲突。(c)是一个基本仲裁单元，它在ps的控制下实现轮权选择。(d)是确认单元和输出请求部分的结构。
图6所示为由多个轮权仲裁单元组成的多路仲裁结构，它是由多个轮权仲裁单元组成树状结构，可以根据行列数目的需要扩展仲裁的数目。
Claims (4)
1.一种实时时间标记的CMOS异步时间域图像传感器，包括由光强变化感知电路CD和双采样脉冲宽度调制电路PWM，其特征是，还包括：
(1)行/列复位控制电路：列复位控制电路控制各像素CD电路的复位，列复位控制信号列共用；行复位控制电路控制各像素双采样PWM电路的复位，行控制信号行共用；
(2)行仲裁电路：光照发生变化时，像素内的CD电路输出使双采样PWM电路开始曝光工作，光强结果存储在像素级8位存储器中，等待输出；当不同像素同时发出输出请求时，行轮权仲裁结构仲裁，输出请求信号y_Req，接收信号y_Ack为行共用；
(3)行级时间标记电路；为16位计时器，计时器精度由量化精度决定，以像素发出请求信号y_Req为标记事件触发信号，在8bit量化信号前输出；
(4)行/列地址编码电路：行地址编码电路接收行轮权仲裁结构发出的行选中信号，输出选中的行地址；行地址编码电路由输出像素的CD电路输出信号触发。
2.如权利要求1所述的实时时间标记的CMOS异步时间域图像传感器，其特征是，行仲裁电路输出请求信号y_Req，接收信号y_Ack为行共用，行轮权仲裁方式遵循“先进先出”的原则，每次仲裁按照第一行依次至最后一行的顺序决定优先权，使每行优先权相对平均。
3.如权利要求1所述的实时时间标记的CMOS异步时间域图像传感器，其特征是利用像素级光强变化感知电路探测光强变化，双采样PWM电路量化光强；采用地址-事件（AER）表达方式及实时时间标记。
4.如权利要求1所述的实时时间标记的CMOS异步时间域图像传感器，其特征是，行轮权仲裁结构的结构由二选一仲裁单元构成，当一个二选一仲裁单元发生第一次冲突时，优先选中端口一，当第二次发生冲突时，优先选中端口二。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310542731.4A CN103595931A (zh) | 2013-11-05 | 2013-11-05 | 实时时间标记的cmos异步时间域图像传感器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310542731.4A CN103595931A (zh) | 2013-11-05 | 2013-11-05 | 实时时间标记的cmos异步时间域图像传感器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103595931A true CN103595931A (zh) | 2014-02-19 |
Family
ID=50085898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310542731.4A Pending CN103595931A (zh) | 2013-11-05 | 2013-11-05 | 实时时间标记的cmos异步时间域图像传感器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103595931A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104808057A (zh) * | 2015-05-04 | 2015-07-29 | 中国电子科技集团公司第二十六研究所 | 一种基于异步探测的声光实时信号分析仪 |
| CN105760930A (zh) * | 2016-02-18 | 2016-07-13 | 天津大学 | 用于aer的多层脉冲神经网络识别系统 |
| CN106162000A (zh) * | 2016-07-08 | 2016-11-23 | 华堂动芯科技有限公司 | 像素采集电路、图像传感器及图像采集系统 |
| CN106375685A (zh) * | 2016-10-26 | 2017-02-01 | 中国科学院上海高等研究院 | 一种脉冲宽度调制像素曝光方法及像素结构 |
| CN106384090A (zh) * | 2016-09-10 | 2017-02-08 | 天津大学 | Aer传感器的图像显示及目标数据截取方法 |
| CN104143181B (zh) * | 2014-07-31 | 2017-03-08 | 天津大学 | 对两列tae图像传感器输出进行优化的方法 |
| CN107800978A (zh) * | 2017-10-26 | 2018-03-13 | 天津大学 | 异步复位同步读出的pwm像素架构 |
| CN107995446A (zh) * | 2016-10-26 | 2018-05-04 | 中国科学院上海高等研究院 | 脉冲宽度调制像素曝光方法及像素结构 |
| CN105719290B (zh) * | 2016-01-20 | 2019-02-05 | 天津师范大学 | 一种使用时域视觉传感器的双目立体深度匹配方法 |
| CN109547716A (zh) * | 2018-10-18 | 2019-03-29 | 天津大学 | 行选列仲裁aer图像传感器事件传输装置和方法 |
| CN112005543A (zh) * | 2018-04-30 | 2020-11-27 | 普罗菲斯公司 | 用于异步基于时间的图像感测的系统和方法 |
| CN112369012A (zh) * | 2018-12-18 | 2021-02-12 | 索尼半导体解决方案公司 | 图像传感器、记录设备以及复位方法 |
| CN112399114A (zh) * | 2019-08-13 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种快速的dvs图像传感器列信号读出方法 |
| CN112399112A (zh) * | 2019-08-12 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种轮权与权重相结合的仲裁模式 |
| WO2021128534A1 (zh) * | 2019-12-24 | 2021-07-01 | 清华大学 | 视杆仿生视觉传感器 |
| CN115103111A (zh) * | 2022-06-14 | 2022-09-23 | 希姆通信息技术（上海）有限公司 | 实现相机兼容的方法 |
| WO2023011091A1 (en) * | 2021-08-03 | 2023-02-09 | Congying Sui | An imaging method and system based on wise-pixels with valved modulation |
-
2013
- 2013-11-05 CN CN201310542731.4A patent/CN103595931A/zh active Pending
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104143181B (zh) * | 2014-07-31 | 2017-03-08 | 天津大学 | 对两列tae图像传感器输出进行优化的方法 |
| CN104808057A (zh) * | 2015-05-04 | 2015-07-29 | 中国电子科技集团公司第二十六研究所 | 一种基于异步探测的声光实时信号分析仪 |
| CN105719290B (zh) * | 2016-01-20 | 2019-02-05 | 天津师范大学 | 一种使用时域视觉传感器的双目立体深度匹配方法 |
| CN105760930A (zh) * | 2016-02-18 | 2016-07-13 | 天津大学 | 用于aer的多层脉冲神经网络识别系统 |
| CN105760930B (zh) * | 2016-02-18 | 2018-06-05 | 天津大学 | 用于aer的多层脉冲神经网络识别系统 |
| CN106162000A (zh) * | 2016-07-08 | 2016-11-23 | 华堂动芯科技有限公司 | 像素采集电路、图像传感器及图像采集系统 |
| CN106162000B (zh) * | 2016-07-08 | 2019-03-15 | 上海芯仑光电科技有限公司 | 像素采集电路、图像传感器及图像采集系统 |
| CN106384090A (zh) * | 2016-09-10 | 2017-02-08 | 天津大学 | Aer传感器的图像显示及目标数据截取方法 |
| CN106375685B (zh) * | 2016-10-26 | 2019-06-18 | 中国科学院上海高等研究院 | 一种脉冲宽度调制像素曝光方法及像素结构 |
| CN106375685A (zh) * | 2016-10-26 | 2017-02-01 | 中国科学院上海高等研究院 | 一种脉冲宽度调制像素曝光方法及像素结构 |
| CN107995446A (zh) * | 2016-10-26 | 2018-05-04 | 中国科学院上海高等研究院 | 脉冲宽度调制像素曝光方法及像素结构 |
| CN107995446B (zh) * | 2016-10-26 | 2020-07-24 | 中国科学院上海高等研究院 | 脉冲宽度调制像素曝光方法及像素结构 |
| CN107800978A (zh) * | 2017-10-26 | 2018-03-13 | 天津大学 | 异步复位同步读出的pwm像素架构 |
| CN107800978B (zh) * | 2017-10-26 | 2020-05-12 | 天津大学 | 异步复位同步读出的pwm像素架构 |
| CN112005543A (zh) * | 2018-04-30 | 2020-11-27 | 普罗菲斯公司 | 用于异步基于时间的图像感测的系统和方法 |
| CN109547716B (zh) * | 2018-10-18 | 2021-04-27 | 天津大学 | 行选列仲裁aer图像传感器事件传输装置和方法 |
| CN109547716A (zh) * | 2018-10-18 | 2019-03-29 | 天津大学 | 行选列仲裁aer图像传感器事件传输装置和方法 |
| CN112369012A (zh) * | 2018-12-18 | 2021-02-12 | 索尼半导体解决方案公司 | 图像传感器、记录设备以及复位方法 |
| CN112369012B (zh) * | 2018-12-18 | 2024-04-12 | 索尼半导体解决方案公司 | 图像传感器、记录设备以及复位方法 |
| CN112399112A (zh) * | 2019-08-12 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种轮权与权重相结合的仲裁模式 |
| CN112399114A (zh) * | 2019-08-13 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种快速的dvs图像传感器列信号读出方法 |
| CN112399114B (zh) * | 2019-08-13 | 2022-12-13 | 天津大学青岛海洋技术研究院 | 一种快速的dvs图像传感器列信号读出方法 |
| WO2021128534A1 (zh) * | 2019-12-24 | 2021-07-01 | 清华大学 | 视杆仿生视觉传感器 |
| WO2023011091A1 (en) * | 2021-08-03 | 2023-02-09 | Congying Sui | An imaging method and system based on wise-pixels with valved modulation |
| CN115103111A (zh) * | 2022-06-14 | 2022-09-23 | 希姆通信息技术（上海）有限公司 | 实现相机兼容的方法 |
| CN115103111B (zh) * | 2022-06-14 | 2023-10-13 | 希姆通信息技术（上海）有限公司 | 实现相机兼容的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103595931A (zh) | 实时时间标记的cmos异步时间域图像传感器 | |
| Finateu et al. | 5.10 A 1280× 720 back-illuminated stacked temporal contrast event-based vision sensor with 4.86 µm pixels, 1.066 GEPS readout, programmable event-rate controller and compressive data-formatting pipeline | |
| US20200217965A1 (en) | High dynamic range direct time of flight sensor with signal-dependent effective readout rate | |
| CN102625059B (zh) | 用于移动式应用的cmos图像传感器的动态范围扩展 | |
| JP7335021B2 (ja) | 錐体及び桿体のバイモーダル生体模倣視覚センサ | |
| CN102595068B (zh) | 数字域累加cmos-tdi图像传感器 | |
| CN103139500B (zh) | 用于图像传感器基于sigma-delta ADC的读出电路及工作方法 | |
| KR101934260B1 (ko) | 이미지 센서 | |
| CN108184081A (zh) | 一种用于cmos图像传感器中的高速数据读出电路 | |
| WO2020158583A1 (ja) | 固体撮像装置及び撮像装置 | |
| KR20210093332A (ko) | 동기식 프레임-기반 및 비동기식 이벤트-기반의 bdi 기반 픽셀 | |
| US20140253758A1 (en) | Method and Apparatus for a Time-of-Flight Sensor with Charge Storage | |
| CN103024299B (zh) | 凝视型数字tdi短波红外微光成像仪及成像方法 | |
| CN102629996B (zh) | 彩色的时间延时积分型cmos图像传感器 | |
| US11956560B2 (en) | Digital pixel sensor having reduced quantization operation | |
| CN102833494B (zh) | 基于预测编码的cmos数字像素传感器噪声消除装置 | |
| CN102740007A (zh) | 主动式影像感测电路及其感测方法 | |
| JP7382858B2 (ja) | 測距センサ | |
| CN116962904A (zh) | 基于事件模式与灰度模式融合输出的动态视觉读出电路 | |
| US11050964B1 (en) | Sensor readout with timestamp calibration | |
| CN114365479A (zh) | 基于事件的视觉传感器的延迟均衡 | |
| CN220913345U (zh) | 飞行时间传感器像素单元、飞行时间传感器以及电子设备 | |
| Lichtsteiner et al. | A 100dB dynamic range high-speed dual-line optical transient sensor with asynchronous readout | |
| CN109040526B (zh) | 基于片内多帧合成的led闪烁消除的系统及方法 | |
| US20230262360A1 (en) | Photoelectric conversion apparatus, control method of photoelectric conversion apparatus, program storage medium, and image capturing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140219 |