CN107333040B - 仿生视觉成像与处理装置 - Google Patents

Abstract

一种仿生视觉成像与处理装置，其中包括：单光子阵列成像传感器，用于获得待测物体的单光子的脉冲成像信号；以及脉冲卷积神经网络图像处理单元，对所述脉冲成像信号进行深度学习及处理，完成图像处理及识别。

Description

仿生视觉成像与处理装置

技术领域

本发明属于图像处理领域，尤其涉及一种仿生视觉成像与处理装置。

背景技术

视觉是人类感知外部世界的最重要手段，视觉信息占到人类获取外部环境信息总量的80％。随着信息社会的发展和战略性新兴产业的崛起，电子视觉信息的获取和视觉信息快速处理已成为虚拟现实、体感游戏、机器人视觉、智能化产品制造、智能监控、机载探测跟踪等生活、工业、科研和国防领域实现智能化的重要基础和技术支撑。仿生视觉成像与处理装置能够模仿人类视觉系统的结构和工作原理来进行视觉信息获取和智能化处理，这成为当今半导体信息领域中重要的研究课题之一。

发明内容

鉴于现有方案存在的问题，为了克服上述现有技术方案的不足，本发明提出了一种仿生视觉成像与处理装置。

根据本发明的一个方面，提供了一种仿生视觉成像与处理装置，其中包括：单光子阵列成像传感器，用于获得待测物体的单光子的脉冲成像信号；以及脉冲卷积神经网络图像处理单元，对所述脉冲成像信号进行深度学习及处理，完成图像处理及识别。

在本发明的一些实施例中，所述单光子阵列成像传感器包括面阵结构的单光子成像单元，所述单光子成像单元包括单光子雪崩二极管。

在本发明的一些实施例中，所述单光子雪崩二极管工作在盖革模式对单个光子量级的光信号进行探测并输出光子检测脉冲信号。

在本发明的一些实施例中，所述脉冲卷积神经网络图像处理单元采用基于深度学习的脉冲卷积神经网络多级分布式并行处理架构，包括阵列式排列的处理核心单元及存储器，所述处理核心单元用以完成图像处理算法所需要逻辑运算，所述存储器用以存储神经网络运算所需要的相关参数。

在本发明的一些实施例中，仿生视觉成像与处理装置还包括：脉冲成像信号预处理单元，设置在所述单光子阵列成像传感器和单光子阵列成像传感器之间，对所述脉冲成像信号进行预处理，并将预处理后的脉冲成像信号发送至脉冲卷积神经网络图像处理单元。

在本发明的一些实施例中，所述预处理包括信号采样、信号同步和/或信息整形。

在本发明的一些实施例中，仿生视觉成像与处理装置还包括：信号输出单元，接收来自所述脉冲卷积神经网络图像处理单元的图像处理结果的输出信号，将脉冲形式的输出信号进行缓存并输出。

在本发明的一些实施例中，仿生视觉成像与处理装置还包括：驱动控制电路，分别与所述单光子阵列成像传感器、脉冲成像信号预处理单元、脉冲卷积神经网络图像处理单元及信号输出单元中的至少一个双向连接，向各连接组件发射控制信号，并接收各连接组件的反馈信号。

在本发明的一些实施例中，所述驱动控制电路接收输入的时钟信号，并采用所述时钟信号对各连接组件同步控制。

在本发明的一些实施例中，所述脉冲成像信号的频率正比与待测物体光强。

从上述技术方案可以看出，本发明具有以下有益效果：

仿生视觉成像与处理装置将单光子阵列成像传感器和脉冲卷积神经网络图像处理单元，成在同一装置中直接相连，可以天然地模仿人类视网膜感知图像和输出电脉冲信号、人脑皮层传输和处理脉冲信号的生理机制；

脉冲卷积神经网络图像处理单元融合了传统卷积神经网络的高识别精确度和脉冲神经网络全仿生的特点，便于模仿人类视网膜感知图像；

脉冲成像信号预处理单元对获得的待测物体的单光子的脉冲成像信号进行预处理，产生波形清晰完整的脉冲信号。

附图说明

图1为本发明一实施例中仿生视觉成像与处理装置的结构示意图；

图2为图1中脉冲卷积神经网络图像处理单元的架构示意图；

具体实施方式

本发明某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本发明的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本发明满足适用的法律要求。

在本说明书中，下述用于描述本发明原理的各种实施例只是说明，不应该以任何方式解释为限制发明的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不悖离本发明的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同附图标记用于相似功能和操作。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明一实施例提供一种仿生视觉成像与处理装置，包括：单光子阵列成像传感器以及脉冲卷积神经网络图像处理单元，单光子阵列成像传感器用于获得待测物体的单光子的脉冲成像信号；对脉冲成像信号进行深度学习及处理，完成图像处理及识别。

图1为本发明一实施例中仿生视觉成像与处理装置的结构示意图；如图1所示，在一实施例中，仿生视觉成像与处理装置100包括单光子像素阵列成像传感器11和脉冲卷积神经网络图像处理单元13，融合了单光子成像技术和深度学习技术，将单光子像素阵列成像传感器11与脉冲卷积神经网络图像处理单元13集成在同一装置中，利用两者都采用电脉冲信号形式的视觉信息表达、传输和处理的共通特点，将单光子像素阵列成像传感器与脉冲卷积神经网络图像处理单元13相连。

单光子像素阵列成像传感器11的输入端即作为仿生视觉成像与处理装置图像输入端，输入信号为待采集图像的单光子光信号。单光子像素阵列成像传感器11由单光子雪崩二极管(SPAD)以面阵的形式组成，利用单光子雪崩二极管在盖革模式下可以对单个光子量级的光信号进行探测并输出光子检测脉冲信号的特性，完成二维光强图像和三维深度相关图像信息的获取，实现图像传感器的功能。

具体地，单光子像素阵列成像传感器11中的像素单元采用单光子雪崩二极管(SPAD)。工作在盖革模式下的雪崩光电二极管(APD)因为其单光子探测能力而被称作单光子雪崩二极管(SPAD)。雪崩光电二极管是随着半导体工艺发展出现的固态光电探测器件。在进行光电成像探测时，APD主要有两种工作方式：一种是其反向偏置电压略小于雪崩击穿电压的线性模式；另一种是工作在高于雪崩击穿电压的盖革模式。在盖革模式下，由于高的偏置电压，APD耗尽层中的电场强度相当大，由光电效应产生的电子-空穴对在电场中加速并获得足够的速度与能量，若与晶格发生碰撞，电子-空穴对的数目因碰撞电离而成倍增加，如此下去，就会形成所谓的“雪崩”效应，使信号电流放大，因而雪崩光电二极管具有很大内部增益被用作单光子探测。单光子的优势在于：全固态、体积小、动态范围大、灵敏度高、电压低、可与芯片集成、抗磁干扰能力强等。

基于单光子成像原理，由单光子像素阵列组成的单光子像素阵列成像传感器能够产生与待测图像光强强度相关的脉冲频率调制信号。待测图像光强强度越高，传感器产生的电脉冲频率越高。这一特性符合人类视网膜的图像信息感知方式——产生与采集图像光强相关的脉冲电信号。因此，本发明采用单光子成像技术作为视觉系统中的成像传感器，能够提高成像传感器的成像灵敏度。

单光子阵列成像传感器11还具有三维成像的功能。当采集图像被探测到时，传感器将其转化为一系列脉冲信号，为了得到成像目标物的三维深度信息，需要单光子成像的探测信号在时间上进行统计，并对光源发射光脉冲到待测目标图像反射后单光子像素探测到的飞行视觉进行测量。采用飞行时间(TOF，Time of Flight)的测量方法对成像目标的深度信息进行测量，将每个光脉冲引起的电信号累积起来，通过合适次数的积累，得到三维距离信息。

脉冲卷积神经网络图像处理单元13采用基于深度学习的脉冲卷积神经网络多级分布式并行处理架构20，如图2所示。其融合了卷积神经网络和脉冲神经网络的特点，完成图像处理的核心运算采用卷积神经网络架构，由处理核心单元21和存储器阵列式排列组成。处理核心单元21用以完成图像处理算法所需要逻辑运算，存储器用以存储神经网络运算所需要的相关参数。

脉冲卷积神经网络融合了传统卷积神经网络的高识别精确度和脉冲神经网络全仿生的特点，通过模拟大脑结构来构建新的视觉系统架构。处理核心单元之间的信号传输通过脉冲信号的形式来完成，即通过脉冲信号的传导过程来进行神经网络图像处理过程。脉冲卷积神经网络图像处理单元将处理核心单元作为整个网络的基础构成模块，相互拓扑连接的处理核心单元通过和周围单元的联系，形成高效、可拓展、大规模的神经网络。

处理核心单元是采用泄漏-积分-激发工作模式的数字电路，每个处理核心单元配有可配置参数，处理核心单元之间通过突触点连接。当处理核心单元激发时，它发出一个脉冲信号给下一个突触点，进而输出给下一个处理核心单元，整个过程是同步并行并且由驱动控制电路提供的时钟信号统一控制。当处理核心单元收到时钟信号时，准备接受指令，如果当前时刻前一个处理核心单元中的脉冲信号准备好了，则对应突触参数将被发送到对应的处理核心单元上。若某一个处理核心单元对应的突触参数非零，则此处理核心单元根据相应的突触权重增加电势。当处理过所有突触后，每个处理核心单元都会发生一次泄漏，此时超过阈值的处理核心单元激发出脉冲信号，脉冲信号通过传输网络被传输到相应的目的突触，此突触在缓冲器中安排下一次脉冲信号的发送。整个周期持续循环，直到下次时钟的到来。

一实施例中，仿生视觉成像与处理装置100还可以包括脉冲成像信号预处理单元12，对单光子成像阵列传感器11输出的脉冲成像信号进行简单的采样和整形处理。由于单光子成像阵列传感器11输出的脉冲成像信号中含有噪声成分，并且信号波形不是标准的数字信号波形，直接输入到脉冲卷积神经网络图像处理单元中进行处理会导致图像处理的效果不理想，需要在脉冲成像信号预处理单元12中进行简单处理，包括信号采样、信号同步和信号整形处理，生成波形清晰完整的脉冲成像信号，输出到脉冲卷积神经网络图像处理单元13。脉冲成像信号预处理单元12的处理时钟与脉冲卷积神经网络图像处理单元的工作时钟同频同相，均可以是来自外界输入的时钟信号。

一实施例中，仿生视觉成像与处理装置100还可以包括信号输出单元14，接收来自脉冲卷积神经网络图像处理单元的图像处理结果的输出信号，将脉冲形式的输出信号进行缓存，并最终将图像处理结果信号输出仿生视觉成像预处理装置。

一实施例中，仿生视觉成像与处理装置100还可以包括驱动控制电路15，分别与单光子阵列成像传感器11、脉冲成像信号预处理单元12、脉冲卷积神经网络图像处理单元13及信号输出单元14双向连接，驱动控制电路15分别向上述各连接组件发送控制信号，并接收来各连接组件的反馈信号。驱动控制电路15接收来自装置外输入的时钟信号，并采用该时钟信号统一对各连接组件同步控制。

本发明中，单光子成像和信号输出的特性类似于人类视网膜感知图像并输出电脉冲信号的机理，脉冲卷积神经网络融合了传统卷积神经网络和脉冲神经网络的特点，模仿人类视觉信息传输和处理方式。将两个功能模块集成在同一仿生视觉成像与处理装置能够天然地模仿人脑视觉系统的工作机理，有望具有高性能低功耗的优势。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种仿生视觉成像与处理装置，其中包括：

单光子阵列成像传感器，用于获得待测物体的单光子的脉冲成像信号；以及

脉冲卷积神经网络图像处理单元，对所述脉冲成像信号进行深度学习及处理，完成图像处理及识别，

其中，所述脉冲成像信号的频率正比于待测物体光强，

其中所述脉冲卷积神经网络图像处理单元采用基于深度学习的脉冲卷积神经网络多级分布式并行处理架构，包括阵列式排列的处理核心单元及存储器，所述处理核心单元用以完成图像处理算法所需要逻辑运算，所述存储器用以存储神经网络运算所需要的相关参数。

2.根据权利要求1所述的仿生视觉成像与处理装置，其中，所述单光子阵列成像传感器包括面阵结构的单光子成像单元，所述单光子成像单元包括单光子雪崩二极管。

3.根据权利要求2所述的仿生视觉成像与处理装置，其中所述单光子雪崩二极管工作在盖革模式对单个光子量级的光信号进行探测并输出光子检测脉冲信号。

4.根据权利要求1所述的仿生视觉成像与处理装置，其中，还包括：

脉冲成像信号预处理单元，设置在所述单光子阵列成像传感器和单光子阵列成像传感器之间，对所述脉冲成像信号进行预处理，并将预处理后的脉冲成像信号发送至脉冲卷积神经网络图像处理单元。

5.根据权利要求4所述的仿生视觉成像与处理装置，所述预处理包括信号采样、信号同步和/或信息整形。

6.根据权利要求4所述的仿生视觉成像与处理装置，其中，还包括：

信号输出单元，接收来自所述脉冲卷积神经网络图像处理单元的图像处理结果的输出信号，将脉冲形式的输出信号进行缓存并输出。

7.根据权利要求6所述的仿生视觉成像与处理装置，其中，还包括：

驱动控制电路，分别与所述单光子阵列成像传感器、脉冲成像信号预处理单元、脉冲卷积神经网络图像处理单元及信号输出单元中的至少一个双向连接，向各连接组件发射控制信号，并接收各连接组件的反馈信号。

8.根据权利要求7所述的仿生视觉成像与处理装置，其中，所述驱动控制电路接收输入的时钟信号，并采用所述时钟信号对各连接组件同步控制。

Images