CN114584720B - 基于线扫描的模拟域自适应事件驱动处理电路及应用 - Google Patents

基于线扫描的模拟域自适应事件驱动处理电路及应用 Download PDF

Info

Publication number
CN114584720B
CN114584720B CN202210046348.9A CN202210046348A CN114584720B CN 114584720 B CN114584720 B CN 114584720B CN 202210046348 A CN202210046348 A CN 202210046348A CN 114584720 B CN114584720 B CN 114584720B
Authority
CN
China
Prior art keywords
circuit
event
column
event detection
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210046348.9A
Other languages
English (en)
Other versions
CN114584720A (zh
Inventor
张鹤玖
吕楠
余宁梅
郭仲杰
吴恒茂
段成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202210046348.9A priority Critical patent/CN114584720B/zh
Publication of CN114584720A publication Critical patent/CN114584720A/zh
Application granted granted Critical
Publication of CN114584720B publication Critical patent/CN114584720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

本发明公开的基于线扫描的模拟域自适应事件驱动处理电路及应用，具体涉及列并行电路中增加自适应事件检测电路，在确定检测环境下自适应产生事件检测阈值，然后将该阈值反馈至列电路后开始进行模拟域事件驱动成像。线扫描得到的输入电压进行处理转换前，有列检测电路判断并结合相邻列检测结果，判断当前列是否是检测目标，仅对检测目标进行处理转换，等到检测目标对应数字量，非检测目标不转换直接输出一固定数字量。通过该方法减少了列处理转换电路的工作次数，降低了系统功耗。

Description

基于线扫描的模拟域自适应事件驱动处理电路及应用
技术领域
本发明属于低功耗CMOS图像传感器成像技术领域，具体涉及一种基于线扫描的模拟域自适应事件驱动处理电路。本发明还涉及一种基于线扫描的模拟域自适应事件驱动处理电路进行低功耗成像的方法。
背景技术
CMOS图像传感器已经广泛应用于医疗成像、工业监控、航空航天等领域，采用线扫描成像方式的线阵、双线阵和特殊线阵-时间延迟积分(Time Delay Integration，TDI)CMOS图像传感器作为一类特殊结构，适用于被测物体沿传感器像素单元列方向匀速相对运放的场合。线扫描CMOS图像传感器相对与面阵结构，所需像素单元较少，像素所占芯片面积较小，其成像过程可以看作是像素单元对物体进行扫描，可以获得很高的行频，从而获取宽度有限长度无限的连续图像，被检测物体为细长带状或需要极大视野时具有很高的成像效率。
随着便携式电子设备在物联网、航空航天、远程医疗、户外救援等应用领域的不断拓展，严苛的作业环境要求芯片必须实现更长的待机时间。事件驱动信号检测可有效减少电路工作时间，是降低功耗的有效手段，可以减少输出数据转换量，避免数据冗余，从而有效的降低系统功耗，同时去除输出图像的无用信息，已成为研究热点，具有成像高效特点的线扫描CMOS图像传感器需具备低功耗的特征，以拓展应用领域。
发明内容
本发明的目的在于提供一种基于线扫描的模拟域自适应事件驱动处理电路，在对目标轮廓成像的同时对目标内部进行成像，满足线扫描CMOS图像传感器低功耗领域的应用需求。
本发明的另一目的在于提供一种基于线扫描的模拟域自适应事件驱动处理电路进行低功耗成像的方法。
本发明所采用的第一种技术方案是：基于线扫描的模拟域自适应事件驱动处理电路，包括事件检测电路，事件检测电路依次与预处理电路、比较器、列数字电路和事件反馈电路相连，事件反馈电路又与事件检测电路相连，比较器还与量化参考电路相连。
本发明第一种技术方案的特点还在于，
事件检测电路包括判断电路及其连接的与门。
本发明所采用的第二种技术方案是：利用基于线扫描的模拟域自适应事件驱动处理电路进行低功耗成像的方法，包括以下步骤：
步骤1、事件反馈电路停止工作，事件检测电路工作，列输入电压先由事件检测电路中的判断电路判断是否为事件信号，非事件信号则当前列数字电路直接输出一固定值；
步骤2、当步骤1判断电路判断是事件信号，与相邻列的判断结果经过与门，以判断相邻三列是否均为事件信号，当三列存在非事件信号则当前列数字电路直接输出一固定值；
步骤3、步骤2中与门判断出当三列存在均为事件信号，则输入电压送至预处理电路处理后至比较器，基于量化参考电路实现正常转换，经由列数字电路输出转换结果；
步骤4、重复步骤1至步骤3实现对输入图像的事件驱动处理。
本发明第二种技术方案的特点还在于，
步骤1中判断电路判断是否为事件信号基于事件检测条件。
事件检测条件产生的步骤包括：
步骤1.1、在事件检测电路不工作时，列输入电压经过预处理电路处理后输入至比较器，基于量化参考电路将输入电压转换为数字量存在列数字电路中；
步骤1.2、列数字电路将转换结果逐行转存至事件反馈电路，事件反馈电路对数字量进行逐行做差和比较，保持当前列最大相邻行差值对应行的灰度值，然后进行列间比较得到灰度最值，最后转为阈值电压传输至事件检测电路；
步骤1.3、事件检测电路将步骤1.2得到的阈值电压作为事件检测条件，用于所有列的事件检测。
本发明的有益效果是：本发明的基于线扫描的模拟域自适应事件驱动处理电路及应用，基于行输出、列并行处理，利用事件驱动的思想，通过模拟域预设阈值，结合相邻列信息，实现了仅对目标物体边缘及内部的成像，减少处理转换次数，从而达到降低功耗的目的，同时本发明结构简单，可移植性非常强。即保证了量化精度，又减小了功耗。
附图说明
图1是用线扫描CMOS图像成像的示意图；
图2是图1中扫描成像路径所对应灰度值示意图；
图3是本发明中基于线扫描的模拟域自适应事件驱动处理电路的逻辑框图；
图4是图3中事件反馈电路的自适应事件检测处理流程图；
图5是相邻列事件检测的电路图；
图6是利用基于线扫描的模拟域自适应事件驱动处理电路进行低功耗成像的方法对图1输入的成像结果示意图。
图中，1-1.成像视野通道范围，1-2.成像物背景，1-3.成像视野杂质，1-4.视野中的成像目标，1-5.线扫描CMOS图像传感器像素单元，1-6.扫描成像路径；
2-1.图1中扫描成像路径所经过成像目标时的灰度值变化，2-2.图1中扫描成像路径所经过杂质时的灰度值变化；
3-1.事件检测电路，3-2.预处理电路，3-3.比较器，3-4.列数字电路，3-5.事件反馈电路，3-6.量化参考电路；
5-1.判断电路，5-2.与门。
具体实施方式
下面结合附图以及具体实施方式对本发明进行详细说明。
本发明提供了一种基于线扫描的模拟域自适应事件驱动处理电路，如图3和图5所示，包括事件检测电路3-1，事件检测电路3-1依次与预处理电路3-2、比较器3-3、列数字电路3-4和事件反馈电路3-5相连，事件反馈电路3-5又与事件检测电路3-1相连，比较器3-3还与量化参考电路3-6相连。其中，事件检测电路3-1包括一个判断电路5-1和一个与门5-2。
本发明基于的原理是：如图1是一幅用线扫描CMOS图像成像的示意图，该图片中示意的出处了成像视野通道范围1-1内的成像物背景1-2、成像视野杂质1-3和视野中的成像目标1-4，可见细胞轮廓与背景和杂质有明显区别，细胞内部与背景和杂质亮度接近。目标细胞区域占整个图像面积较少，利用事件驱动仅对细胞轮廓及其内部进行高精度成像可以显著减少数据量。成像过程是示意线扫描CMOS图像传感器像素单元1-5从左至右对图像进行扫描，得到其中某个像素单元沿着扫描成像路径1-6得出的灰度值曲线如图2所示，图2-1为图1中扫描成像路径1-6所经过成像目标时的灰度值变化，图2-2为图1中扫描成像路径1-6所经过杂质时的灰度值变化。可以看出，扫描成像路径1-6上成像目标细胞对应区域灰度值变化显著，边沿处对应灰度值变化率较高，不同位置灰度值差异明显，完整目标细胞的灰度值范围很大。另外，杂质也能引起灰度值的显著变化，但所占区域较小。模拟域事件驱动的实现方法是根据目标细胞灰度值变化率最大行所对应的灰度值确定目标细胞的边缘轮廓，然后将最值对于电压作为阈值反馈至列电路中的检测电路。结合相邻像素触发事件的情况来决策当前列是否进行处理转换，从而实现目标细胞轮廓及内部的成像，如图6所示。对于阈值之外的输入不进行处理转换，直接赋一固定数字量，从而达到降低功耗的目的。
本发明在线扫描CMOS图像传感器的列并行处理模拟电路中加入自适应事件检测电路，在正式检测成像开始前采集有限图像，自适应产生事件驱动条件，将该条件传至列处理电路作为模拟电路数据转换的附加条件。在接下来正式检测成像时，当采样到的模拟信号输入时先判断是否为目标事件，如果时则对模拟信号进行处理，不是则不进行处理。列处理电路是图像传感器的主要功耗来源，线扫描CMOS图像传感器每次采集输出一行独立电压信号，列处理电路在对输入的一个模拟量进行处理前先由事件检测电路判断是否为有效信息，如果有效则进行处理及模数转换以输出相应的数字量，如果是不无效则直接将不对该输入模拟电压进行处理转换而直接赋一固定数字量。通过该模拟域事件检测电路，将有效较少后级模拟电路，特别是模数转换器(Analog to Digital Converter,ADC)的工作次数，降低处理电路系统功耗。该方法利用简单模拟电路将输入信号分为有效信息和冗余信息两部分，对有效信息范围内的信号进行处理量化，反之则不处理量化而输出固定码值。具体按照以下步骤实施：
步骤1：普通模式下进行测试环境下图像采集，进行全功率成像，转换所有输入背景、杂质和目标物体，得到图像的完整的信息数据，图3中事件检测电路3-1不工作，输入电压直接由预处理电路3-2采样后传至比较器3-3，基于量化参考电路3-6量化，量化结果存至列数字电路3-4中。
步骤2：事件驱动条件确定是将图3中列数字电路3-4中的当前行转换数字量转存至事件反馈电路3-5，然后对逐行输入完整的信息数据进行如图4所示处理，所有列逐行输出数字量，每一列中后一行输出与前一行输出做差，得到的差值与下一差值比较，保存较大差值对应行的灰度值，以此类推每一列存储了当前列最大差值所对应的灰度值，然后比较不同列的灰度值，得到完整的信息数据对于的灰度值，即为该测试环境下目标图像的灰度值阈值DTH，并转换为模拟阈值VTH，送至事件检测电路3-1作为事件检测条件。
步骤3：得到事件检测条件后图3中事件反馈电路3-5停止工作，事件检测电路3-1开始工作，进行模拟域事件驱动成像。各列输入至事件检测电路3-1，在判断电路5-1中与步骤2中得到的阈值VTH比较，判断当前列输入是否为事件信号，当判断为非事件信号时直接控制列数字电路3-4输出一固定值。为了区分较大的目标细胞和较小的杂质，判断相邻三列输入是否同时为事件信号，只有当相邻三列均有效时，与门5-2判断为有效，当前列才判断为有效事件，否则判断为无效事件，当判断为无效事件时直接控制列数字电路3-4输出一固定值。
步骤4：当步骤3中与门5-2判断当前列为有效事件时，则输入电压传输至预处理电路3-2中进行放采样保持至比较器3-3，基于量化参考电路3-6完成量化经过列处理电路3-4输出转换结果。
通过上述方式，本发明基于线扫描的模拟域自适应事件驱动处理电路及应用，在模拟域实现事件驱动检测为核心思想，通过自适应预处理得出事件驱动条件，综合相邻列事件检测结果实现仅对目标图像轮廓及内部处理转换，以此来减少转换次数，避免了数据冗余，从而达到降低功耗的目的。

Claims (1)

1.基于线扫描的模拟域自适应事件驱动处理电路，其特征在于，包括事件检测电路（3-1），事件检测电路（3-1）依次与预处理电路（3-2）、比较器（3-3）、列数字电路（3-4）和事件反馈电路（3-5）相连，事件反馈电路（3-5）又与事件检测电路（3-1）相连，比较器（3-3）还与量化参考电路（3-6）相连，事件检测电路（3-1）包括判断电路（5-1）及其连接的与门（5-2）；模拟域自适应事件驱动处理电路进行低功耗成像的方法，包括以下步骤：
步骤1、事件反馈电路（3-5）停止工作，事件检测电路（3-1）工作，列输入电压先由事件检测电路（3-1）中的判断电路（5-1）判断是否为事件信号，非事件信号则当前列数字电路（3-4）直接输出一固定值；判断电路（5-1）判断是否为事件信号基于事件检测条件，事件检测条件产生的步骤包括：
步骤1.1、在事件检测电路（3-1）不工作时，列输入电压经过预处理电路（3-2）处理后输入至比较器（3-3），基于量化参考电路（3-6）将输入电压转换为数字量存在列数字电路（3-4）中；
步骤1.2、列数字电路（3-4）将转换结果逐行转存至事件反馈电路（3-5），事件反馈电路（3-5）对数字量进行逐行做差和比较，保持当前列最大相邻行差值对应行的灰度值，然后进行列间比较得到灰度最值，最后转为阈值电压传输至事件检测电路（3-1）；
步骤1.3、事件检测电路（3-1）将步骤1.2得到的阈值电压作为事件检测条件，用于所有列的事件检测；
步骤2、当步骤1判断电路（5-1）判断是事件信号，与相邻列的判断结果经过与门（5-2），以判断相邻三列是否均为事件信号，当三列存在非事件信号则当前列数字电路（3-4）直接输出一固定值；
步骤3、步骤2中与门（5-2）判断出当三列存在均为事件信号，则输入电压送至预处理电路（3-2）处理后至比较器（3-3），基于量化参考电路（3-6）实现正常转换，经由列数字电路（3-4）输出转换结果；
步骤4、重复步骤1至步骤3实现对输入图像的事件驱动处理。
CN202210046348.9A 2022-01-14 2022-01-14 基于线扫描的模拟域自适应事件驱动处理电路及应用 Active CN114584720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046348.9A CN114584720B (zh) 2022-01-14 2022-01-14 基于线扫描的模拟域自适应事件驱动处理电路及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046348.9A CN114584720B (zh) 2022-01-14 2022-01-14 基于线扫描的模拟域自适应事件驱动处理电路及应用

Publications (2)

Publication Number Publication Date
CN114584720A CN114584720A (zh) 2022-06-03
CN114584720B true CN114584720B (zh) 2024-03-19

Family

ID=81771182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046348.9A Active CN114584720B (zh) 2022-01-14 2022-01-14 基于线扫描的模拟域自适应事件驱动处理电路及应用

Country Status (1)

Country Link
CN (1) CN114584720B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046497A1 (ja) * 2011-09-30 2013-04-04 日本電気株式会社 アナログデジタル変換回路及びアナログデジタル変換方法
JP2014170096A (ja) * 2013-03-04 2014-09-18 Seiko Epson Corp 駆動制御装置、電気光学装置、電子機器および駆動制御方法
CN112738432A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
CN112748441A (zh) * 2020-12-29 2021-05-04 宁波飞芯电子科技有限公司 一种探测器阵列异常像素的识别方法
CN113572988A (zh) * 2020-04-28 2021-10-29 原子能与替代能源委员会 事件驱动的图像传感器及其读取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210376844A1 (en) * 2020-06-02 2021-12-02 Short Circuit Technologies Llc Event Driven Quasi-Level Crossing Delta Modulator Analog To Digital Converter With Adaptive Resolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046497A1 (ja) * 2011-09-30 2013-04-04 日本電気株式会社 アナログデジタル変換回路及びアナログデジタル変換方法
JP2014170096A (ja) * 2013-03-04 2014-09-18 Seiko Epson Corp 駆動制御装置、電気光学装置、電子機器および駆動制御方法
CN112738432A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
CN113572988A (zh) * 2020-04-28 2021-10-29 原子能与替代能源委员会 事件驱动的图像传感器及其读取方法
CN112748441A (zh) * 2020-12-29 2021-05-04 宁波飞芯电子科技有限公司 一种探测器阵列异常像素的识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Power-Efficient Signal-Specific ADC for Sensor-Interface Applications;Ehsan Rahiminejad,;《IEEE》;20170930;全文 *
A tone mapping algorithm for acquisition of high dynamic range images using event-driven adaptive digital CMOS pixels;Sonia Vargas-Sierra • Gustavo Lin˜a´n-Cembrano • A ´ ngel Rodrı´guez-Va´zquez;《springer》;20131031;全文 *
A Wide Tuning Range Delay Element for Event-Driven Processing of Low-Frequency Signals in 28-nm FD-SOI CMOS;Angel González 等;《IEEE》;20200721;全文 *
基于事件驱动的低功耗 Level Crossing ADC 设计;宋梦迪;西安邮电大学硕士论文;20190915;全文 *
用于时间延迟积分型图像传感器的流水采样列级运放共享累加器;夏雨;姚素英;聂凯明;徐江涛;;传感技术学报;20150315(03);全文 *

Also Published As

Publication number Publication date
CN114584720A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
JP7374242B2 (ja) 動的ビジョンセンサアーキテクチャ
EP3424211B1 (en) An event-based vision sensor
US7532244B2 (en) High-speed vision sensor
CN101354288B (zh) 高速低功耗双列线红外焦平面读出电路
EP3967028B1 (en) Event-based vision sensor using on/off event and grayscale detection ramps
JP4444499B2 (ja) アナログ記憶装置用の高速読出しアーキテクチャ
CN101241088A (zh) 高速x光强力输送带检测系统
CN114584720B (zh) 基于线扫描的模拟域自适应事件驱动处理电路及应用
CN108600579B (zh) 一种应用于cis的运动检测电路及运动检测方法
EP3376754B1 (en) Pixel acquisition circuit, optical flow sensor, and image acquisition system
WO2021181868A1 (ja) 測距センサ及び距離測定方法
CN102223470A (zh) 一种ccd相机图像信号处理方法及系统
CN107040733A (zh) Cmos图像传感器
CN207652564U (zh) 一种基于fpga的非制冷红外热成像系统
Sosnowski et al. Processing of the image from infrared focal plane array using FPGA-based system
CN111413408B (zh) 低功耗超声全聚焦成像系统及方法
FI20187059A1 (en) X-ray imaging device using ultra-fast scanning
CN115002365A (zh) 一种ccd高光谱成像超高动态循环曝光控制方法及系统
WO2024097128A1 (en) Neuromorphic programmable multiple pathways event-based sensors
Khan et al. A DVP-Based Bridge Architecture to Randomly Access Pixels of High-Speed Image Sensors
Xu et al. A time error correction method applied to high-precision AER asynchronous CMOS image sensor
CN112399114B (zh) 一种快速的dvs图像传感器列信号读出方法
Bendapudi et al. Design of video processor for multi-head star sensor
CN114449192B (zh) 虚拟主动式图像采集设备及其数据传输方法、存储介质、终端
CN117835087A (zh) 用于事件型视觉传感器的流水线乒乓缓存读出电路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant