CN112399112A - 一种轮权与权重相结合的仲裁模式 - Google Patents

一种轮权与权重相结合的仲裁模式 Download PDF

Info

Publication number
CN112399112A
CN112399112A CN201910738275.8A CN201910738275A CN112399112A CN 112399112 A CN112399112 A CN 112399112A CN 201910738275 A CN201910738275 A CN 201910738275A CN 112399112 A CN112399112 A CN 112399112A
Authority
CN
China
Prior art keywords
row
pixel
arbitration
round
zero
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910738275.8A
Other languages
English (en)
Other versions
CN112399112B (zh
Inventor
徐江涛
石晓佩
聂凯明
林鹏
查万斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910738275.8A priority Critical patent/CN112399112B/zh
Publication of CN112399112A publication Critical patent/CN112399112A/zh
Application granted granted Critical
Publication of CN112399112B publication Critical patent/CN112399112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Bus Control (AREA)
  • Studio Devices (AREA)

Abstract

一种轮权与权重相结合的仲裁模式，为了解决高速成像领域中仿生动态图像传感器对仲裁器的短延时、高精度需求，采用轮权与权重相结合的仲裁模式；该仲裁模式在图像传感器系统中通过统计排序模块和轮权仲裁模块来实现功能，统计排序模块中，仅发生事件较多的像素行可占用总线输出光强信息，行请求有效，忽略场景光强信息的微小变化，减少输出数据量，降低了延时；同时返回复位信号rst，避免了像素单元在等待仲裁时间内，光强剧烈变化而造成的图像信息丢失。轮权仲裁模块中，给予有效行请求信号的每像素行公平的输出优先权，解决高优先级像素行多次占用AER输出总线，低优先级行不能输出的问题。

Description

一种轮权与权重相结合的仲裁模式
技术领域
本发明涉及图像感知与处理领域，具体讲，涉及场景中图像信息高速变化时的仿生图像传感器领域，即一种轮权与权重相结合的仲裁模式。
背景技术
生物视觉经过长期的进化过程，具备非常优越的视觉信息处理体制，是一个快速高效、功能完整的视觉信息感知与处理系统。受启发于仿生神经学，人们研究了仿生动态视觉图像传感器。在高速成像领域，若外界场景中的图像信息变化过快，即像素阵列活跃度较高，多个像素单元同时发出请求信号，仲裁时间随之增长。同时，发出请求的像素在接收到仲裁器发来的确认信号前，不能继续工作以感知这段时间内的光强变化，相应地该地址-事件表示(Address-event Representation, AER)的异步读出方式可能会损失图像信息。
人们研究了多种仲裁模式以优化实时视觉的获取，公平的仲裁器应使每一发生变化的单元，获得公平的占用AER输出总线的权利。事件集中优先仲裁模式中，光强剧烈变化的行会多次占用输出，使其他行不能输出，图像精确度不高。轮权仲裁模式完全没有考虑像素行间优先级和权重的因素，一行中即使只有一个事件发生也需输出，输出数据量大，因此均使仲裁时间延长，图像传感器的延时增大。总而言之，事件集中优先仲裁模式中，发生事件的单元较多的像素行获得较高的优先权。而轮权仲裁模式中，请求占用AER总线的行依次获得最高优先权。
发明内容
针对现有技术中存在的问题，本发明提出了一种轮权与权重相结合的仲裁模式，针对高速成像领域图像信息丢失和高延时的问题，主要目的是光强剧烈变化时，在仲裁过程中，采用轮权与事件集中优先相结合的仲裁模式，考虑仲裁器的公平性和仲裁速度，解决高优先级像素行多次占用AER输出总线，低优先级行不能输出的问题，同时优化仲裁器，提高图像传感器的速度，降低延时。
仿生动态视觉传感器的核心电路，即像素阵列中的像素单元，其包括光强变化探测模块，实现了光强变化的实时探测；脉冲宽度调制(Pulse Width Modulation, PWM)量化光强模块，采用相关双采样方法在前一模块输出的复位脉冲的控制下，将光强信息量化为时间间隔信息。像素单元组成阵列时，由于其采用AER异步读出方式，没有时序电路的控制，因此需要地址编码单元和仲裁选择单元配合完成。
一种轮权与权重相结合的仲裁模式中，其工作过程如下所示：
(1) 仿生动态图像传感器系统中，像素阵列中的像素单元独立工作，量化光强信息，感知到光强变化的像素单元，向仲裁器发出行请求信号时，先通过一个统计排序模块，将各行的行请求信号个数加和；
(2) 对加和结果进行排序，发生事件较多的像素行可占用AER总线输出光强信息，行请求有效，其余像素行请求信号自动置零，行请求失效；
(3)统计排序模块发出复位信号rst至失效行的像素单元使其继续工作以开始下一轮的光强探测；然后通过赋零指针记录加和结果为零的像素行；将有效行请求信号和赋零指针送至轮权仲裁模块进行仲裁，赋零指针指向的像素行赋予最低优先权零；
(4)首轮仲裁周期中，自像素阵列的第一行开始检测，若该行有像素单元发出行请求信号，则其获得最高优先权，并通过赋权指针记录，其余行依次获得较低优先权；反之仲裁器会依次检测下一像素行是否发出行请求信号，直至检测到发出行请求信号的像素行，并赋予最高优先权为止；
(5)次轮仲裁周期中，赋零指针指向的像素行赋予最低优先权零，且首轮仲裁周期中获得最高优先权的像素行，下一仲裁周期获得最低优先权一；并自赋权指针指向的像素行向下开始检测，将最高优先权赋予第一个加和不为零的像素行，其余行依次获得较低优先权；
(6)再下一仲裁周期中，与次轮仲裁周期流程相同；轮权仲裁模式中，请求占用AER总线的行依次获得最高优先权；轮权仲裁模块完成仲裁过程，选中待输出像素行后，将仲裁结果和行列编码器的像素单元地址信息，一并发回像素阵列；
(7)接收到仲裁器发回的确认信号后，仿生动态图像传感器系统中，像素阵列中光强发生变化，且发出的行请求信号在仲裁过程中有效的像素单元，编码输出改像素单元地址信息和事件的属性，后续电路可还原发生事件的地址、属性和时间，输出完整的光强信息。
本发明依据高速成像领域，仿生动态图像传感器对仲裁器的短延时、高精度需求，采用轮权与权重相结合的仲裁模式。统计排序模块中，忽略场景光强信息的微小变化，减少输出数据量，降低了延时；同时返回复位信号rst，避免了像素单元在等待仲裁时间内，光强剧烈变化而造成的图像信息丢失。轮权仲裁模块中，给予输入行请求信号的每像素行公平的输出优先权，解决高优先级像素行多次占用AER输出总线，低优先级行不能输出的问题。
附图说明
图1是仿生动态图像传感器系统的仲裁过程示意图；
图2是事件集中优先和轮权仲裁模式示意图；
图3是轮权与权重相结合的仲裁模式。
具体实施方式
本发明提出了一种轮权与权重相结合的仲裁模式，其在仿生动态图像传感器系统中的仲裁过程如图1所示。参考事件集中优先的仲裁模式，引入统计排序模块，场景中光强发生变化，仲裁器发出行请求信号req时，加和并排序各像素行中所有像素单元发出req信号的个数。发生事件较少的像素行的行请求信号自动失效，并将其加和结果置零，返回相应的像素单元复位信号rst，使其继续工作以感知光强信息的变化。同时通过赋零指针记录加和为零的像素行。
将有效的行请求信号和赋零指针送至轮权仲裁模块进行仲裁。轮权仲裁模块的首轮仲裁周期结果如图3(a)所示，赋零指针指向的像素行赋予最低优先权零，其余行依次获得较低优先权。图3中左侧数字即为该仲裁模式中各像素行的优先级。该模块的次轮仲裁周期结果如图3(b)所示，赋零指针指向的像素行赋予最低优先权零；而后自赋权指针指向的像素行向下开始检测，将最高优先权赋予第一个加和不为零的像素行，其余行依次获得较低优先权。

Claims (1)

1.一种轮权与权重相结合的仲裁模式中，其特征在于：工作过程如下：
1）仿生动态图像传感器系统中，像素阵列中的像素单元独立工作，量化光强信息，感知到光强变化的像素单元，向仲裁器发出行请求信号时，先通过一个统计排序模块，将各行的行请求信号个数加和；
2）对加和结果进行排序，发生事件较多的像素行可占用AER总线输出光强信息，行请求有效，其余像素行请求信号自动置零，行请求失效；
3） 统计排序模块发出复位信号rst至失效行的像素单元使其继续工作以开始下一轮的光强探测；然后通过赋零指针记录加和结果为零的像素行；将有效行请求信号和赋零指针送至轮权仲裁模块进行仲裁，赋零指针指向的像素行赋予最低优先权零；
4）首轮仲裁周期中，自像素阵列的第一行开始检测，若该行有像素单元发出行请求信号，则其获得最高优先权，并通过赋权指针记录，其余行依次获得较低优先权；反之仲裁器会依次检测下一像素行是否发出行请求信号，直至检测到发出行请求信号的像素行，并赋予最高优先权为止；
5）次轮仲裁周期中，赋零指针指向的像素行赋予最低优先权零，且首轮仲裁周期中获得最高优先权的像素行，下一仲裁周期获得最低优先权一；并自赋权指针指向的像素行向下开始检测，将最高优先权赋予第一个加和不为零的像素行，其余行依次获得较低优先权；
6）再下一仲裁周期中，与次轮仲裁周期流程相同；轮权仲裁模式中，请求占用AER总线的行依次获得最高优先权；轮权仲裁模块完成仲裁过程，选中待输出像素行后，将仲裁结果和行列编码器的像素单元地址信息，一并发回像素阵列；
7） 接收到仲裁器发回的确认信号后，仿生动态图像传感器系统中，像素阵列中光强发生变化，且发出的行请求信号在仲裁过程中有效的像素单元，编码输出改像素单元地址信息和事件的属性，后续电路可还原发生事件的地址、属性和时间，输出完整的光强信息。
CN201910738275.8A 2019-08-12 2019-08-12 一种轮权与权重相结合的仲裁模式 Active CN112399112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910738275.8A CN112399112B (zh) 2019-08-12 2019-08-12 一种轮权与权重相结合的仲裁模式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910738275.8A CN112399112B (zh) 2019-08-12 2019-08-12 一种轮权与权重相结合的仲裁模式

Publications (2)

Publication Number Publication Date
CN112399112A true CN112399112A (zh) 2021-02-23
CN112399112B CN112399112B (zh) 2023-04-07

Family

ID=74602157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910738275.8A Active CN112399112B (zh) 2019-08-12 2019-08-12 一种轮权与权重相结合的仲裁模式

Country Status (1)

Country Link
CN (1) CN112399112B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903283A (en) * 1997-08-27 1999-05-11 Chips & Technologies, Inc. Video memory controller with dynamic bus arbitration
JP2001184299A (ja) * 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd アービトレーション装置
US6629177B1 (en) * 1999-12-27 2003-09-30 Intel Corporation Arbitrating requests on computer buses
US6963576B1 (en) * 2000-09-28 2005-11-08 Force10 Networks, Inc. Scheduling and arbitration scheme for network processing device
US20060200607A1 (en) * 2005-03-01 2006-09-07 Subramaniam Ganasan Jaya P Bus access arbitration scheme
CN103077141A (zh) * 2012-12-26 2013-05-01 西安交通大学 一种基于amba总线的自适应实时加权优先仲裁方法及仲裁器
CN103595931A (zh) * 2013-11-05 2014-02-19 天津大学 实时时间标记的cmos异步时间域图像传感器
US20150220460A1 (en) * 2014-01-31 2015-08-06 Silicon Laboratories Inc. Arbitrating direct memory access channel requests
CN105611114A (zh) * 2015-11-02 2016-05-25 天津大学 用于aer图像传感器的全数字多卷积核卷积处理芯片
CN106844250A (zh) * 2017-02-14 2017-06-13 山东师范大学 一种混合调度的总线仲裁器和仲裁方法
US20180007226A1 (en) * 2016-07-01 2018-01-04 Wesley J. Holland Define a priority of memory traffic based on image sensor metadata
CN109094641A (zh) * 2018-06-29 2018-12-28 联创汽车电子有限公司 转角控制总成电子控制单元
CN109547716A (zh) * 2018-10-18 2019-03-29 天津大学 行选列仲裁aer图像传感器事件传输装置和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903283A (en) * 1997-08-27 1999-05-11 Chips & Technologies, Inc. Video memory controller with dynamic bus arbitration
JP2001184299A (ja) * 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd アービトレーション装置
US6629177B1 (en) * 1999-12-27 2003-09-30 Intel Corporation Arbitrating requests on computer buses
US6963576B1 (en) * 2000-09-28 2005-11-08 Force10 Networks, Inc. Scheduling and arbitration scheme for network processing device
US20060200607A1 (en) * 2005-03-01 2006-09-07 Subramaniam Ganasan Jaya P Bus access arbitration scheme
CN103077141A (zh) * 2012-12-26 2013-05-01 西安交通大学 一种基于amba总线的自适应实时加权优先仲裁方法及仲裁器
CN103595931A (zh) * 2013-11-05 2014-02-19 天津大学 实时时间标记的cmos异步时间域图像传感器
US20150220460A1 (en) * 2014-01-31 2015-08-06 Silicon Laboratories Inc. Arbitrating direct memory access channel requests
CN105611114A (zh) * 2015-11-02 2016-05-25 天津大学 用于aer图像传感器的全数字多卷积核卷积处理芯片
US20180007226A1 (en) * 2016-07-01 2018-01-04 Wesley J. Holland Define a priority of memory traffic based on image sensor metadata
CN106844250A (zh) * 2017-02-14 2017-06-13 山东师范大学 一种混合调度的总线仲裁器和仲裁方法
CN109094641A (zh) * 2018-06-29 2018-12-28 联创汽车电子有限公司 转角控制总成电子控制单元
CN109547716A (zh) * 2018-10-18 2019-03-29 天津大学 行选列仲裁aer图像传感器事件传输装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴睿振，杨银堂，张丽，陆锋雷: "一种基于权重与轮询的双层仲裁算法", 《电子与信息学报》 *

Also Published As

Publication number Publication date
CN112399112B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US9372715B2 (en) Priority level arbitration method and device
CN101263465B (zh) 用于总线仲裁的方法和系统
US5485586A (en) Queue based arbitration using a FIFO data structure
US5050066A (en) Apparatus with a single memory and a plurality of queue counters for queuing requests and replies on a pipelined packet bus
US5499345A (en) Bus arbitration system
CN105611114B (zh) 用于aer图像传感器的全数字多卷积核卷积处理芯片
KR100252752B1 (ko) 다단계 제어 버스 중재장치
US11284021B1 (en) Smart sensor scheduler
CN111404542A (zh) 一种双指数核信号计数方法及装置
EP1865415A1 (en) Methods and system for providing low latency and scalable interrupt collection
CN112399112B (zh) 一种轮权与权重相结合的仲裁模式
CN111143261A (zh) 一种基于pcie高速数据采集系统
US9330038B2 (en) Computer arbitration system, bandwidth, allocation apparatus, and method thereof
CN100449515C (zh) 总线仲裁方法
CN101135996A (zh) 仲裁访问的装置和方法
JPH10307747A (ja) データ転送制御装置
CA2145553C (en) Multi-processor system including priority arbitrator for arbitrating request issued from processors
EP0226053A1 (en) Bus arbitration controller
CN1936871A (zh) 嵌入式系统以及仲裁方法
US6161158A (en) Bus arbitration apparatus and method wherein each module has two in-module arbiters
CN112399114B (zh) 一种快速的dvs图像传感器列信号读出方法
RU2218596C2 (ru) Устройство сбора данных
JP3339264B2 (ja) データ伝送方法
SU898412A1 (ru) Многоканальное устройство дл сопр жени модулей процессора
SU1665388A1 (ru) Устройство дл обработки информации

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant