CN107302695A - 一种基于仿生视觉机理的电子复眼系统 - Google Patents

一种基于仿生视觉机理的电子复眼系统 Download PDF

Info

Publication number
CN107302695A
CN107302695A CN201710400624.6A CN201710400624A CN107302695A CN 107302695 A CN107302695 A CN 107302695A CN 201710400624 A CN201710400624 A CN 201710400624A CN 107302695 A CN107302695 A CN 107302695A
Authority
CN
China
Prior art keywords
unit
compound eye
event
aer
eye system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710400624.6A
Other languages
English (en)
Inventor
张平
雷靖
高志远
聂凯明
徐江涛
马建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710400624.6A priority Critical patent/CN107302695A/zh
Publication of CN107302695A publication Critical patent/CN107302695A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本发明公开了一种基于仿生视觉机理的电子复眼系统，由多镜头多传感器阵列和多级并行智能处理网络组成，多镜头多传感器阵列包括从上到下依次设置的微透镜阵列、光分离层和像素阵列，微透镜阵列、光分离层和像素阵列分别由微透镜单元、光分离层单元和AER图像传感器单元组成，从上到下依次相对应的每个微透镜单元、光分离层单元和AER图像传感器单元构成小眼单元；多级并行智能处理网络应用神经网络算法对信息进行最终处理。本发明电子复眼系统具有体积小、重量轻、大视场、对运动目标敏感、低冗余和低延时等优点，应用于高速目标识别、追踪等高端领域。

Description

一种基于仿生视觉机理的电子复眼系统
技术领域
本发明涉及图像传感器成像系统领域，更具体的说，是涉及一种基于仿生视觉机理的电子复眼系统。
背景技术
目前广泛应用的传统CMOS图像传感器均是基于“帧”的工作方式，即像素阵列周期性的进行复位、曝光和图像信息读出，每次曝光输出一帧数据。随着视觉系统性能的提高，帧方式的图像传感器必须在分辨率与帧频方面进行提升，从而导致了庞大的数据量，大幅提升系统在功耗、传输带宽、数据计算能力方面的要求。
视觉传感技术和智能识别与控制技术，在图像获取、智能识别、自主控制等领域已经得到了广泛的应用。随着这些应用对视场广度、响应速度、灵敏度等成像指标以及体积质量、功耗、智能化探测等方面的要求日益严苛，传统的单孔视觉传感系统越来越难以适应上述应用。
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于仿生视觉机理的电子复眼系统，借助其体积小、重量轻、大视场、对运动目标敏感、低冗余和低延时等优点，应用于高速目标识别、追踪等高端领域。
本发明的目的是通过以下技术方案实现的：
一种基于仿生视觉机理的电子复眼系统，由多镜头多传感器阵列和多级并行智能处理网络组成，所述多镜头多传感器阵列包括从上到下依次设置的微透镜阵列、光分离层和像素阵列，所述微透镜阵列、光分离层和像素阵列分别由微透镜单元、光分离层单元和AER图像传感器单元组成，从上到下依次相对应的每个微透镜单元、光分离层单元和AER图像传感器单元构成小眼单元；AER图像传感器作为图像信息采集单元对动态目标通过光信号采集与转换作用形成为地址-事件数据，所述地址-事件数据经AER图像传感器内的预处理模块处理后得到的信息传输至多级并行智能处理网络，所述多级并行智能处理网络应用神经网络算法对信息进行最终处理。
所述光分离层用于使每个小眼单元的成像互不影响。
所述微透镜阵列的每个微透镜单元充当了镜头的作用。
所述预处理模块的处理流程为：接收到地址-事件数据后根据时间节点对事件进行时间校正，之后对地址-事件数据进行数据编解码，同时将随机产生的噪声事件消除。
所述并行智能处理网络接收到信息后，采用事件簇统计的目标定位和追踪算法提取到目标事件集，再通过多层卷积完成特征提取，最后在神经网络中完成图象重构、场景学习、目标识别和追踪的功能。
与现有技术相比，本发明的技术方案所带来的有益效果是：
本发明系统在保留复眼大视场、高分辨能力、高灵敏度、微光响应以及对运动物体敏感等特性的基础上，进一步集成提取场景的有效信息，从源头减少数据冗余的功能，从而具备仿生视觉传感器高速响应、大动态范围、低功耗与低硬件开销的特点。
附图说明
图1本发明电子复眼系统的组成结构示意图。
图2传统图像传感器与AER图像传感器的对比示意图。
图3是AER图像传感器架构图。
图4生物复眼的结构示意图。
图5多层并行智能处理网络结构的脉冲神经网络架构图。
具体实施方式
下面结合附图对本发明作进一步的描述:
针对传统单孔径成像系统视场范围小、角度分辨能力弱、微光条件下信噪比低、串行处理同步性差等缺陷，本发明提出了一种基于仿生视觉机理的电子复眼系统，其结构如图1所示，主要包括多镜头多传感器(Multiple Lens and Multiple Sensors，MLMS)阵列和基于事件触发的多级并行智能处理网络。多镜头多传感器阵列包括从上到下依次设置的微透镜阵列、光分离层和像素阵列，微透镜阵列、光分离层和像素阵列分别由微透镜单元、光分离层单元和AER图像传感器单元组成，从上到下依次相对应的每个微透镜单元、光分离层单元和AER图像传感器单元构成小眼单元；本实施例中多镜头多传感器阵列大小为2×2，像素阵列大小为64×64，微透镜阵列受加工工艺的限制，采用平面型结构；采用仿视网膜原理的AER图像传感器作为图像信息采集单元，应用神经网络算法对采集到的信息进行智能化处理，包括学习和识别等，从而使本发明系统拥有类似人脑的思维模式和学习进化功能，实现比现行图像采集与处理手段更高、更快的处理能力。AER图像传感器根据生物视觉大规模并行、超稀疏表示、事件驱动、异步输出的特点，将动态目标的光强变化转换为事件，再进行仲裁判断之后输出地址-事件数据。其中，多镜头多传感器阵列的每个小眼通过各自的微透镜单元单独成像，应用图像处理器进行高分辨率图像重建或是动态目标追踪检测；设置在AER图像传感器内的预处理模块在接收到原始数据之后根据时间节点对事件进行时间校正，之后对数据进行重新编码，同时将随机产生的噪声事件去除，保留有效信息；之后将多个芯片预处理得到的有效信息送至多级并行智能处理网络后，采用事件簇统计的目标定位和追踪算法提取到目标事件集，再通过多层卷积完成特征提取，最后再神经网络中完成图像重构、场景学习、目标识别与追踪等高级智能功能。
进一步的，本实施例中采用的基于视网膜原理的AER图像传感器具有以下特点：AER图像传感器可连续探测时间域变化，只有那些感知到事件的像素自主地产生异步输出，延迟时间短，冗余量小。这些异步的空间、时间和颜色变化信息采用异步地址－事件表示(Address-Event Representation,AER)，通过具有仲裁功能的高速串行总线模仿生物低速、并行的激励传导方式，异步输出变化的地址和性质，显著降低输出数据量。传统图像传感器与AER图像传感器对比如图2所示。
AER图像传感器的结构如图3所示，该传感器采用地址-事件表示作为像素动态信息格式，每个像素使用对数光电转换将光信号转换为电信号再由误差放大器放大动态差异，最终由比较器产生事件信息；事件信息通过片上仲裁和异步通信输出到片外；片上集成时间标记，减少输出事件的延迟误差，提高时间准确性；此外增加阈值自适应机制，通过自适应改变变化探测阈值，可以有效抑制低显著事件的产生，从而将输出带宽用于高显著度事件，并在事件发生频繁/不频繁两种条件下，保证输出视频在实时程度和还原度之间的折衷。
进一步的，生物复眼结构是一种多孔径视觉系统，如图4所示，其由众多小视场的小眼单元紧密排列组合，具有体积小、重量轻、视场大、对运动物体敏感和结构紧凑的特点。本实施例多镜头多传感器阵列模拟昆虫复眼的结构，用以解决单孔径光学系统所面临的种种限制。多镜头多传感器阵列由像素阵列、光分离层和微透镜阵列三部分组成。像素阵列由多个AER图像传感器单元构成，具备AER图像传感器的特点；光分离层把所有小眼单元分隔开，使得每个小眼的成像互不影响；微透镜阵列由多个微透镜单元构成，每个微透镜单元对应一个小眼单元，在其中充当了镜头的作用。
进一步的，基于事件触发的多级并行智能处理网络是根据AER图像传感器成像机理和特点，结合视觉皮层腹部通路的分层模型，将神经网络算法用于本发明电子复眼系统，延续AER图像传感器数据低冗余的优势，将事件驱动的概念应用于系统的所有信息处理阶段，进一步降低后续处理的资源消耗。
如图5所示，本实施例中拟采用的多级并行智能处理网络的技术具体如下：选用伽柏(Gabor)进行特征提取，并且使用多层提取机制，模拟由简单细胞层到复杂细胞层逐层进行的信息过滤；使用脉冲神经网络(SNN)对特征信息进行识别，该网络由积分激发(LIF)神经元构成，结合尖峰时间相关可塑性规则(STDP)，完成学习和识别操作；在分类操作过程中引入多神经元投票机制，增强特征识别的准确率；在特征结果和神经网络之间增加地址矫正，由时间预处理器判断目标尺寸、角度、位置等信息，进行初步调整后再由地址校正对目标特征进行校正，提升识别系统的适用范围和鲁棒性。
本实施例中，级并行智能处理网络中的采用4尺度、4角度共16个Gabor进行特征提取，使用脉冲神经网络进行特征识别。AER图像传感器对目标场景进行周期性曝光，每一次曝光之后，4个传感器产生的地址-事件数据经过数据融合送到后续的多级并行智能处理网络中进行处理。在多级并行智能处理网络中，首先使用Gabor滤波器进行特征提取，提取出AER图像传感器拍摄到场景中目标物最显著的特征，被提取的特征主要是尺度信息和角度信息。为了降低数据量，保证信息的显著性，我们会使用多层提取机制，多次提取特征信息。其次，提取后的特征信息会经过一个地址查找表，对目标特征进行地址校正，保证事件和地址的一致性。最后使用脉冲神经网络对特征信息进行识别，以此达到对拍摄场景中的目标进行识别的目的。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (5)

1.一种基于仿生视觉机理的电子复眼系统，其特征在于，由多镜头多传感器阵列和多级并行智能处理网络组成，所述多镜头多传感器阵列包括从上到下依次设置的微透镜阵列、光分离层和像素阵列，所述微透镜阵列、光分离层和像素阵列分别由微透镜单元、光分离层单元和AER图像传感器单元组成，从上到下依次相对应的每个微透镜单元、光分离层单元和AER图像传感器单元构成小眼单元；AER图像传感器作为图像信息采集单元对动态目标通过光信号采集与转换作用形成为地址‐事件数据，所述地址‐事件数据经AER图像传感器内的预处理模块处理后得到的信息传输至多级并行智能处理网络，所述多级并行智能处理网络应用神经网络算法对信息进行最终处理。
2.根据权利要求1所述一种基于仿生视觉机理的电子复眼系统，其特征在于，所述光分离层用于使每个小眼单元的成像互不影响。
3.根据权利要求1所述一种基于仿生视觉机理的电子复眼系统，其特征在于，所述微透镜阵列的每个微透镜单元充当了镜头的作用。
4.根据权利要求1所述一种基于仿生视觉机理的电子复眼系统，其特征在于，所述预处理模块的处理流程为：接收到地址‐事件数据后根据时间节点对事件进行时间校正，之后对地址‐事件数据进行数据编解码，同时将随机产生的噪声事件消除。
5.根据权利要求1所述一种基于仿生视觉机理的电子复眼系统，其特征在于，所述并行智能处理网络接收到信息后，采用事件簇统计的目标定位和追踪算法提取到目标事件集，再通过多层卷积完成特征提取，最后在神经网络中完成图像重构、场景学习、目标识别和追踪的功能。
CN201710400624.6A 2017-05-31 2017-05-31 一种基于仿生视觉机理的电子复眼系统 Pending CN107302695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710400624.6A CN107302695A (zh) 2017-05-31 2017-05-31 一种基于仿生视觉机理的电子复眼系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710400624.6A CN107302695A (zh) 2017-05-31 2017-05-31 一种基于仿生视觉机理的电子复眼系统

Publications (1)

Publication Number Publication Date
CN107302695A true CN107302695A (zh) 2017-10-27

Family

ID=60137936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710400624.6A Pending CN107302695A (zh) 2017-05-31 2017-05-31 一种基于仿生视觉机理的电子复眼系统

Country Status (1)

Country Link
CN (1) CN107302695A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109496316A (zh) * 2018-07-28 2019-03-19 合刃科技（深圳）有限公司 图像识别系统
CN109547716A (zh) * 2018-10-18 2019-03-29 天津大学 行选列仲裁aer图像传感器事件传输装置和方法
CN110661960A (zh) * 2019-10-30 2020-01-07 Oppo广东移动通信有限公司 摄像模组和电子设备
CN111770245A (zh) * 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种类视网膜图像传感器的像素结构
CN112702588A (zh) * 2020-12-21 2021-04-23 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN112714301A (zh) * 2020-12-21 2021-04-27 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器
CN113286066A (zh) * 2021-05-19 2021-08-20 长春工业大学 一种微型多球面仿生复眼相机
CN113994168A (zh) * 2019-06-21 2022-01-28 索尼互动娱乐股份有限公司 位置检测系统、图像处理设备、位置检测方法以及位置检测程序
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口系统的事件驱动集成电路
CN116761060A (zh) * 2023-07-18 2023-09-15 长春工业大学 一种微型仿生变焦复眼内窥镜

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676036A (zh) * 2013-12-17 2014-03-26 北京理工大学 基于多微面光纤面板的多视场仿生复眼微光成像系统
CN104165626A (zh) * 2014-06-18 2014-11-26 长春理工大学 仿生复眼成像目标定位系统
CN104601871A (zh) * 2015-02-16 2015-05-06 杭州清渠科技有限公司 一种基于复眼镜头的图像采集处理方法
CN105469039A (zh) * 2015-11-19 2016-04-06 天津大学 基于aer图像传感器的目标识别系统
CN105721772A (zh) * 2016-01-20 2016-06-29 天津师范大学 一种异步时域视觉信息成像方法
CN105911640A (zh) * 2016-06-01 2016-08-31 浙江工商大学 一种全光纤仿生复眼成像系统
CN106407990A (zh) * 2016-09-10 2017-02-15 天津大学 基于事件驱动的仿生目标识别系统
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676036A (zh) * 2013-12-17 2014-03-26 北京理工大学 基于多微面光纤面板的多视场仿生复眼微光成像系统
CN104165626A (zh) * 2014-06-18 2014-11-26 长春理工大学 仿生复眼成像目标定位系统
CN104601871A (zh) * 2015-02-16 2015-05-06 杭州清渠科技有限公司 一种基于复眼镜头的图像采集处理方法
CN105469039A (zh) * 2015-11-19 2016-04-06 天津大学 基于aer图像传感器的目标识别系统
CN105721772A (zh) * 2016-01-20 2016-06-29 天津师范大学 一种异步时域视觉信息成像方法
CN105911640A (zh) * 2016-06-01 2016-08-31 浙江工商大学 一种全光纤仿生复眼成像系统
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统
CN106407990A (zh) * 2016-09-10 2017-02-15 天津大学 基于事件驱动的仿生目标识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝永平;李伦: "仿生复眼结构设计及其成像系统研究新进展", 《激光与红外》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109496316B (zh) * 2018-07-28 2022-04-01 合刃科技（深圳）有限公司 图像识别系统
CN109496316A (zh) * 2018-07-28 2019-03-19 合刃科技（深圳）有限公司 图像识别系统
CN109547716B (zh) * 2018-10-18 2021-04-27 天津大学 行选列仲裁aer图像传感器事件传输装置和方法
CN109547716A (zh) * 2018-10-18 2019-03-29 天津大学 行选列仲裁aer图像传感器事件传输装置和方法
CN113994168A (zh) * 2019-06-21 2022-01-28 索尼互动娱乐股份有限公司 位置检测系统、图像处理设备、位置检测方法以及位置检测程序
CN110661960B (zh) * 2019-10-30 2022-01-25 Oppo广东移动通信有限公司 摄像模组和电子设备
CN110661960A (zh) * 2019-10-30 2020-01-07 Oppo广东移动通信有限公司 摄像模组和电子设备
CN111770245B (zh) * 2020-07-29 2021-05-25 中国科学院长春光学精密机械与物理研究所 一种类视网膜图像传感器的像素结构
CN111770245A (zh) * 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种类视网膜图像传感器的像素结构
CN112714301A (zh) * 2020-12-21 2021-04-27 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器
CN112702588A (zh) * 2020-12-21 2021-04-23 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN112702588B (zh) * 2020-12-21 2023-04-07 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口系统的事件驱动集成电路
CN113286066A (zh) * 2021-05-19 2021-08-20 长春工业大学 一种微型多球面仿生复眼相机
CN113286066B (zh) * 2021-05-19 2022-04-26 长春工业大学 一种微型多球面仿生复眼相机
CN116761060A (zh) * 2023-07-18 2023-09-15 长春工业大学 一种微型仿生变焦复眼内窥镜

Similar Documents

Publication Publication Date Title
CN107302695A (zh) 一种基于仿生视觉机理的电子复眼系统
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN106407990A (zh) 基于事件驱动的仿生目标识别系统
CN112037269B (zh) 一种基于多域协同特征表达的视觉运动目标跟踪方法
CN101587591B (zh) 基于双参数阈值分割的视觉精确跟踪方法
CN109461173A (zh) 一种用于时域视觉传感器信号处理的快速角点检测方法
CN105469039A (zh) 基于aer图像传感器的目标识别系统
CN105809640A (zh) 基于多传感器融合的低照度视频图像增强方法
CN105957090A (zh) 一种基于达芬奇技术的单目视觉位姿测量方法及系统
CN108898191A (zh) 卷积神经网络特征提取图像传感器
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112365578A (zh) 基于双摄像机的三维人体模型重构系统及方法
CN206058228U (zh) 机器视觉检测系统
CN113011562A (zh) 一种模型训练方法及装置
CN109509213A (zh) 一种应用于异步时域视觉传感器的Harris角点检测方法
KR20220016614A (ko) 심층 신경망 알고리즘 기반 EO IR RADAR LiDAR 센서융합 객체 인식 시스템
CN101694385B (zh) 基于傅立叶光学的微小目标检测仪及检测方法
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN110705564A (zh) 图像识别的方法和装置
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN111866490A (zh) 深度图像成像系统和方法
CN116580107A (zh) 一种跨视角多目标实时轨迹跟踪方法与系统
Chen et al. Image detector based automatic 3D data labeling and training for vehicle detection on point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171027