CN109784125A - 深度学习网络处理装置、方法及图像处理单元 - Google Patents

Abstract

本发明提供一种深度学习网络处理装置、方法及图像处理单元，所述深度学习网络处理装置包括：图像采集单元、应用处理单元和包括至少两个级联的深度学习网络处理单元的图像处理单元；至少一个深度学习网络处理单元与图像采集单元相连，从图像采集单元接收图像序列；各级联的深度学习网络处理单元分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；至少一个深度学习网络处理单元与应用处理单元相连，将处理后的图像序列发送至应用处理单元。本发明中把深度学习网络的不同层次放到不同的深度学习网络处理单元上，让终端适配不同复杂度的深度学习网络，同时处理不同场景的图像输入。

Description

深度学习网络处理装置、方法及图像处理单元

技术领域

本发明涉及智能控制处理领域，特别是涉及深度学习网络技术领域，具体为一种深度学习网络处理装置、方法及图像处理单元。

背景技术

现有的基于深度学习的图像识别算法，它们的计算大多放到云端进行，终端计算能力不足导致现有的方案只能在终端上实现简单的深度学习网络。比如，现有人脸识别方案都是在终端实现人脸的检测，然后再将人脸图像数据放到云端进行匹配。这样的方式导致检测速度不及时，同时要负担云端的高额成本。

而且，基于深度学习的算法是由不同的网络层次构成的，比如人脸检测，人脸识别，手势识别等。在其他方案中，这些层次都只能运行在主控芯片上或者云端，这种局限性会限制住网络的复杂度和网络模型的大小。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了一种深度学习网络处理装置，所述深度学习网络处理装置包括：图像采集单元、应用处理单元和包括至少两个级联的深度学习网络处理单元的图像处理单元；至少一个所述深度学习网络处理单元与所述图像采集单元相连，从所述图像采集单元接收图像序列；各级联的所述深度学习网络处理单元分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；至少一个所述深度学习网络处理单元与所述应用处理单元相连，将处理后的图像序列发送至所述应用处理单元。

于一实施例中，所述图像采集单元包括1～4个图像传感器；每一个所述深度学习网络处理单元具有1～4个图像输入接口。

于一实施例中，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至所述图像采集单元。

于一实施例中，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至连接的所述深度学习网络处理单元；所述深度学习网络处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令，并经级联的各所述深度学习网络处理单元将所述第二控制指令发送至所述图像采集单元。

于一实施例中，所述至少两个级联的深度学习网络处理单元的级联结构为：所述深度学习网络处理单元为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；所述第二级深度学习网络处理单元，包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元。

于一实施例中，所述至少两个级联的深度学习网络处理单元的级联结构为：所述深度学习网络处理单元为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元；其中，N≥3；所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；所述第N级深度学习网络处理单元包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元。

本发明的实施例还提供一种图像处理单元，包括至少两个级联的深度学习网络处理单元；每一个深度学习网络处理单元包括图像处理器，图像连接接口和应用连接接口；至少一个所述深度学习网络处理单元的图像连接接口与图像采集单元相连，从所述图像采集单元接收图像序列；各级联的所述深度学习网络处理单元的图像处理器分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；至少一个所述深度学习网络处理单元的应用连接接口与所述应用处理单元相连，将处理后的图像序列发送至所述应用处理单元。

于一实施例中，所述图像采集单元包括1～4个图像传感器；每一个所述深度学习网络处理单元具有1～4个图像输入接口。

于一实施例中，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至所述图像采集单元。

于一实施例中，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至连接的所述深度学习网络处理单元的应用连接接口；所述深度学习网络处理单元的所述图像处理器根据所述第一控制指令生成第二控制指令，并经级联的各所述深度学习网络处理单元的所述图像连接接口将所述第二控制指令发送至所述图像采集单元。

于一实施例中，所述至少两个级联的深度学习网络处理单元的级联结构为：所述深度学习网络处理单元为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；所述第二级深度学习网络处理单元，包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元。

于一实施例中，所述至少两个级联的深度学习网络处理单元的级联结构为：所述深度学习网络处理单元为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元；其中，N≥3；所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；所述第N级深度学习网络处理单元包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元。

本发明的实施例还提供一种深度学习网络处理方法，所述深度学习网络处理方法包括：图像处理单元由至少两个级联的深度学习网络处理单元构成；所述图像处理单元中至少一个所述深度学习网络处理单元与图像采集单元相连，从所述图像采集单元接收图像序列；所述图像处理单元中各级联的所述深度学习网络处理单元分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；所述图像处理单元中至少一个所述深度学习网络处理单元与所述应用处理单元相连，将处理后的图像序列发送至所述应用处理单元。

于一实施例中，所述至少两个级联的深度学习网络处理单元的级联结构为：所述深度学习网络处理单元为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；所述第二级深度学习网络处理单元，包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元。

于一实施例中，所述至少两个级联的深度学习网络处理单元的级联结构为：所述深度学习网络处理单元为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元；其中，N≥3；所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；所述第N级深度学习网络处理单元包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元。

如上所述，本发明的深度学习网络处理装置、方法及图像处理单元具有以下有益效果：

本发明中以把深度学习网络的不同层次放到不同的深度学习网络处理单元上，这样能够让终端运行更复杂的网络，让终端适配不同复杂度的深度学习网络，基于深度学习网络的图像识别算法能够有多路图像输入，同时处理不同场景的图像输入，同时应对不同的场景。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的深度学习网络处理装置的整体原理示意图。

图2显示为本发明的深度学习网络处理装置连接两个图像传感器时的级联示意图。

图3显示为本发明的深度学习网络处理装置连接四个图像传感器时的级联示意图。

图4显示为本发明的图像处理单元的整体原理示意图。

图5和图6显示为本发明的图像处理单元的应用示意图。

元件标号说明

100 深度学习网络处理装置

110 图像处理单元

111 深度学习网络处理单元

120 图像采集单元

121 第一图像传感器

122 第二图像传感器

123 第三图像传感器

124 第四图像传感器

130 应用处理单元

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1至图6。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

本实施例的目的在于提供一种深度学习网络处理装置、方法及图像处理单元，用于解决现有技术中深度学习网络都只能运行在主控芯片上或者云端带来的局限性问题。以下将详细阐述本发明的深度学习网络处理装置、方法及图像处理单元的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的深度学习网络处理装置、方法及图像处理单元。

图1为本发明涉及的深度学习网络处理装置的实施例示意图。具体地，如图1所示，本实施例提供了一种深度学习网络处理装置100，所述深度学习网络处理装置100应用于一智能电子设备中，例如应用于智能手机、平板电脑、游戏机等任何具有拍照或摄像功能的电子设备。

具体地，如图1所示，所述深度学习网络处理装置100包括：图像采集单元120、应用处理单元130和包括至少两个级联的深度学习网络处理单元111的图像处理单元110。

其中，图像采集单元120为具有采集图像/视频功能的电子元件，如照相头或摄像头。图像采集单元120可以接收外部控制指令，并根据外部控制指令来收集或设置图像采集参数，调整内部光学元件，并获取图像/视频。另外，图像采集单元120可以根据外部控制指令生成并输出相关的数据。所述图像处理单元110与所述图像采集单元120相连，从所述图像采集单元120接收图像序列；所述图像处理单元110与所述应用处理单元130相连，对接收到的所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

于一实施例中，所述图像采集单元120包括1～4个图像传感器。

在一些实施例中，所述深度学习网络处理单元111为能够控制图像采集单元120，并处理控制指令和图像/视频数据的电子元件。具体来说，所述深度学习网络处理单元111有指令处理功能和数据处理功能。“指令处理功能”指处理用于控制图像采集单元120的控制指令，或者生成能够控制图像采集单元120的控制指令的能力；而“数据处理功能”指处理图像采集单元120生成的数据，或者生成与图像采集单元120生成的数据相关的数据的能力。应用处理单元130为能够控制图像采集单元120以及所述深度学习网络处理单元111的电子元件。

在一些实施例中，所述深度学习网络处理单元111包括数字信号处理器和缓存模块。所述数字信号处理器可为任何有数字信息处理功能的硬件模块，比如Digital SignalProcessor(简称DSP)。所述缓存模块是为所述深度学习网络处理单元111提供各种数据存储的硬件存储模块(比如flash、RAM、ROM、Cache等)。所述应用处理单元130包括主控模块和存储模块，所述主控模块可为任何具有计算处理能力的硬件模块(比如CPU、DSP等)。所述存储模块是为应用处理单元130提供各种数据存储的功能的硬件存储模块。应用处理单元130可为应用处理器(Application Processor,简称AP)、中央处理器(Central_ProcessingUnit，简称CPU)、或者系统芯片(System on Chip ，简称SoC)。

在一些实施例中，由所述应用处理单元130生成的或发送出的控制指令，可称为“第一控制指令”，包括用于控制摄像头的指令以及相关的各种采集参数，也包括用于控制所述深度学习网络处理单元111的指令以及相关的各种信息。从所述深度学习网络处理单元111发出的控制指令可以视为“第二控制指令”，包括用于控制摄像头的指令以及相关的各种采集参数。换句话说，第二控制指令可以是根据第一控制指令生成的。第二控制指令也可以包括部分或者全部第一控制指令，包括根据第一控制指令而生成的指令，包括与第一控制指令无关的指令，或者上述几种指令的各种组合。比如，所述深度学习网络处理单元111可以对第一控制指令进行重复、拷贝、添加、修改、替换、删除等各种操作而生成第二控制指令，也可以不根据第一控制指令而单独生成第二控制指令。

于一实施例中，至少一个所述深度学习网络处理单元111与所述图像采集单元120相连，从所述图像采集单元120接收图像序列；其中，每一个所述深度学习网络处理单元111具有1～4个图像输入接口，也就是最多可以同时接收4路图像输入。

至少一个所述深度学习网络处理单元111与所述应用处理单元130相连，将处理后的图像序列发送至所述应用处理单元130。

于一实施例中，所述应用处理单元130将控制所述图像采集单元120的第一控制指令发送至所述图像采集单元120，或者所述应用处理单元130将控制所述图像采集单元120的第一控制指令发送至连接的所述深度学习网络处理单元111；所述深度学习网络处理单元111从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令，并经级联的各所述深度学习网络处理单元111将所述第二控制指令发送至所述图像采集单元120。

各级联的所述深度学习网络处理单元111分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理。

于一实施例中，所述至少两个级联的深度学习网络处理单元111的级联结构为：所述深度学习网络处理单元111为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元。

所述第一级深度学习网络处理单元与所述图像采集单元120相连，所述第二级深度学习网络处理单元与所述应用处理单元130相连。

所述第一级深度学习网络处理单元包含与所述图像采集单元120相连的至少一个所述深度学习网络处理单元111，所述第一级深度学习网络处理单元从所述图像采集单元120接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元。

所述第二级深度学习网络处理单元包含与所述应用处理单元130相连的至少一个所述深度学习网络处理单元111，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元130。

于另一实施例中，所述至少两个级联的深度学习网络处理单元111的级联结构为：所述深度学习网络处理单元111为多级级联。

第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元111；其中，N≥3。

所述第一级深度学习网络处理单元包含与所述图像采集单元120相连的至少一个所述深度学习网络处理单元111，所述第一级深度学习网络处理单元从所述图像采集单元120接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元。

然后所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元111，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元。

最后，所述第N级深度学习网络处理单元包含与所述应用处理单元130相连的至少一个所述深度学习网络处理单元111，所述第N级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元130。

例如，如图2所示，所述深度学习网络处理单元111为三级级联，第一级深度学习网络处理单元包括一个深度学习网络处理单元111，该深度学习网络处理单元111分别与第一图像传感器121和第二图像传感器122相连；第二级深度学习网络处理单元包括一个深度学习网络处理单元111，该深度学习网络处理单元111与第一级深度学习网络处理单元中的深度学习网络处理单元111相连；第三级深度学习网络处理单元包括两个深度学习网络处理单元111，每一个深度学习网络处理单元111分别与第二级的深度学习网络处理单元111和应用处理单元130相连。

又例如，如图3所示，所述深度学习网络处理单元111为三级级联，第一级深度学习网络处理单元包括一个深度学习网络处理单元111，该深度学习网络处理单元111分别与第一图像传感器121、第二图像传感器122、第三图像传感器123和第四图像传感器124相连；第二级深度学习网络处理单元包括两个深度学习网络处理单元111，每一个深度学习网络处理单元111分别与第一级深度学习网络处理单元中的深度学习网络处理单元111相连；第三级深度学习网络处理单元包括一个深度学习网络处理单元111，该深度学习网络处理单元111与第二级的深度学习网络处理单元111和应用处理单元130相连。

例如，在使用上述三级级联的图像处理单元110时，第一级深度学习网络处理单元中的深度学习网络处理单元111负责从图像采集单元120获取数据，然后对原始图像数据进行处理，获取人像在图像中的大致位置，缩小搜索范围，获取人像的位置后，取得局部图像，传输到第二级深度学习网络处理单元进行处理。所述第二级深度学习网络处理单元中的深度学习网络处理单元111将局部图像进行初始定位，初始定位生成更多小图，输出到第三级深度学习网络处理单元进行处理；所述第三级深度学习网络处理单元中的深度学习网络处理单元111进行更精准的定位处理，并将最终定位结果输出到应用处理单元130中。

这样，通过各深度学习网络处理单元111的级联，每个深度学习网络处理单元111上都可以运行不同的深度学习网络，各深度学习网络处理单元111承担不同的任务来共同完成一个应用。同时，一个深度学习网络处理单元111最多可以支持4路摄像头的输入，这可以让一个输入的深度学习网络处理单元111接收来自四个不同方向的数据，在自动驾驶，安防领域很有优势。

相对应地，如图4所示，本发明的实施例还提供一种图像处理单元110，所述图像处理单元110包括至少两个级联的深度学习网络处理单元111；每一个深度学习网络处理单元111包括图像处理器，图像连接接口和应用连接接口；至少一个所述深度学习网络处理单元111的图像连接接口与图像采集单元120相连，从所述图像采集单元120接收图像序列；各级联的所述深度学习网络处理单元111的图像处理器分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；至少一个所述深度学习网络处理单元111的应用连接接口与所述应用处理单元130相连，将处理后的图像序列发送至所述应用处理单元130。

于一实施例中，所述图像采集单元120包括1～4个图像传感器；每一个所述深度学习网络处理单元111具有1～4个图像输入接口。

于一实施例中，所述应用处理单元130将控制所述图像采集单元120的第一控制指令发送至所述图像采集单元120，或者所述应用处理单元130将控制所述图像采集单元120的第一控制指令发送至所述图像采集单元120，或者所述应用处理单元130将控制所述图像采集单元120的第一控制指令发送至连接的所述深度学习网络处理单元111的应用连接接口；所述深度学习网络处理单元111的所述图像处理器根据所述第一控制指令生成第二控制指令，并经级联的各所述深度学习网络处理单元111的所述图像连接接口将所述第二控制指令发送至所述图像采集单元120。

于一实施例中，所述至少两个级联的深度学习网络处理单元111的级联结构为：所述深度学习网络处理单元111为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元。

所述第一级深度学习网络处理单元包含与所述图像采集单元120相连的至少一个所述深度学习网络处理单元111，所述第一级深度学习网络处理单元从所述图像采集单元120接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元。

所述第二级深度学习网络处理单元包含与所述应用处理单元130相连的至少一个所述深度学习网络处理单元111，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元130。

于一实施例中，所述至少两个级联的深度学习网络处理单元111的级联结构为：所述深度学习网络处理单元111为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元111；其中，N≥3。

所述第一级深度学习网络处理单元包含与所述图像采集单元120相连的至少一个所述深度学习网络处理单元111，所述第一级深度学习网络处理单元从所述图像采集单元120接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元。

所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元111，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元。

所述第N级深度学习网络处理单元包含与所述应用处理单元130相连的至少一个所述深度学习网络处理单元111，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元130。

如图5和图6所示，显示为所述图像处理单元110的级联结构示意图。但并不以此为限。

本发明的实施例还提供一种深度学习网络处理方法，所述深度学习网络处理方法包括：图像处理单元110由至少两个级联的深度学习网络处理单元111构成；所述图像处理单元110中至少一个所述深度学习网络处理单元111与图像采集单元120相连，从所述图像采集单元120接收图像序列；所述图像处理单元110中各级联的所述深度学习网络处理单元111分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；所述图像处理单元110中至少一个所述深度学习网络处理单元111与所述应用处理单元130相连，将处理后的图像序列发送至所述应用处理单元130。

于一实施例中，所述至少两个级联的深度学习网络处理单元111的级联结构为：所述深度学习网络处理单元111为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；所述第一级深度学习网络处理单元包含与所述图像采集单元120相连的至少一个所述深度学习网络处理单元111，所述第一级深度学习网络处理单元从所述图像采集单元120接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；所述第二级深度学习网络处理单元，包含与所述应用处理单元130相连的至少一个所述深度学习网络处理单元111，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元130。

于一实施例中，所述至少两个级联的深度学习网络处理单元111的级联结构为：所述深度学习网络处理单元111为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元111；其中，N≥3；所述第一级深度学习网络处理单元包含与所述图像采集单元120相连的至少一个所述深度学习网络处理单元111，所述第一级深度学习网络处理单元从所述图像采集单元120接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元111，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；所述第N级深度学习网络处理单元包含与所述应用处理单元130相连的至少一个所述深度学习网络处理单元111，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元130。

所述深度学习网络处理方法与所述深度学习网络处理装置100的原理相同，在此不再赘述。

采用本实施例的图像处理单元110以后，复杂的基于深度学习网络的图像识别算法不需要运行在云端，在终端就能完成。同时基于深度学习网络处理单元111的灵活性，终端可以支持多路摄像头的图像输入，可以对不同场景采集数据。深度学习网络的不同层次可以被分配到不同的深度学习网络处理单元111上进行运算，这样可以支撑非常复杂的网络模型。

除了上面将不同的深度学习网络放到不同的深度学习网络处理单元111上运行之外，针对一些复杂的CNN网络，还可以把深度学习网络中不同层次的运算分配到不同的深度学习网络处理单元111上进行处理。

例如，可以将不同层次的运算分配到不同的深度学习网络处理单元111上，比如拿第一级的深度学习网络处理单元111做Convolutions(卷积)，第二级的深度学习网络处理单元111做Subsampling(下采样)，第三级的深度学习网络处理单元111做Convolutions(卷积)，在最后一级深度学习网络处理单元输出结果。

综上所述，本发明中以把深度学习网络的不同层次放到不同的深度学习网络处理单元上，这样能够让终端运行更复杂的网络，让终端适配不同复杂度的深度学习网络，基于深度学习网络的图像识别算法能够有多路图像输入，同时处理不同场景的图像输入，同时应对不同的场景。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种深度学习网络处理装置，其特征在于，所述深度学习网络处理装置包括：图像采集单元、应用处理单元和包括至少两个级联的深度学习网络处理单元的图像处理单元；

至少一个所述深度学习网络处理单元与所述图像采集单元相连，从所述图像采集单元接收图像序列；

各级联的所述深度学习网络处理单元分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；

至少一个所述深度学习网络处理单元与所述应用处理单元相连，将处理后的图像序列发送至所述应用处理单元。

2.根据权利要求1所述的深度学习网络处理装置，其特征在于，所述图像采集单元包括1～4个图像传感器；每一个所述深度学习网络处理单元具有1～4个图像输入接口。

3.根据权利要求1所述的深度学习网络处理装置，其特征在于，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至所述图像采集单元。

4.根据权利要求1所述的深度学习网络处理装置，其特征在于，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至连接的所述深度学习网络处理单元；所述深度学习网络处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令，并经级联的各所述深度学习网络处理单元将所述第二控制指令发送至所述图像采集单元。

5.根据权利要求1或2所述的深度学习网络处理装置，其特征在于，所述至少两个级联的深度学习网络处理单元的级联结构为：

所述深度学习网络处理单元为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；

所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；

所述第二级深度学习网络处理单元，包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元。

6.根据权利要求1或2所述的深度学习网络处理装置，其特征在于，所述至少两个级联的深度学习网络处理单元的级联结构为：

所述深度学习网络处理单元为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元；其中，N≥3；

所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；

所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；

所述第N级深度学习网络处理单元包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元。

7.一种图像处理单元，其特征在于，包括至少两个级联的深度学习网络处理单元；每一个深度学习网络处理单元包括图像处理器，图像连接接口和应用连接接口；

至少一个所述深度学习网络处理单元的图像连接接口与图像采集单元相连，从所述图像采集单元接收图像序列；

各级联的所述深度学习网络处理单元的图像处理器分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；

至少一个所述深度学习网络处理单元的应用连接接口与所述应用处理单元相连，将处理后的图像序列发送至所述应用处理单元。

8.根据权利要求7所述的图像处理单元，其特征在于，所述图像采集单元包括1～4个图像传感器；每一个所述深度学习网络处理单元具有1～4个图像输入接口。

9.根据权利要求7所述的图像处理单元，其特征在于，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至所述图像采集单元。

10.根据权利要求7所述的图像处理单元，其特征在于，所述应用处理单元将控制所述图像采集单元的第一控制指令发送至连接的所述深度学习网络处理单元的应用连接接口；所述深度学习网络处理单元的所述图像处理器根据所述第一控制指令生成第二控制指令，并经级联的各所述深度学习网络处理单元的所述图像连接接口将所述第二控制指令发送至所述图像采集单元。

11.根据权利要求7或8所述的图像处理单元，其特征在于，所述至少两个级联的深度学习网络处理单元的级联结构为：

所述深度学习网络处理单元为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；

所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；

所述第二级深度学习网络处理单元，包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元。

12.根据权利要求7或8所述的图像处理单元，其特征在于，所述至少两个级联的深度学习网络处理单元的级联结构为：

所述深度学习网络处理单元为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元；其中，N≥3；

所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；

所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；

所述第N级深度学习网络处理单元包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元。

13.一种深度学习网络处理方法，其特征在于，所述深度学习网络处理方法包括：

图像处理单元由至少两个级联的深度学习网络处理单元构成；

所述图像处理单元中至少一个所述深度学习网络处理单元与图像采集单元相连，从所述图像采集单元接收图像序列；

所述图像处理单元中各级联的所述深度学习网络处理单元分别根据深度学习网络的不同部分或深度学习网络中图像处理算法的不同部分对接收到的图像序列进行处理；

所述图像处理单元中至少一个所述深度学习网络处理单元与所述应用处理单元相连，将处理后的图像序列发送至所述应用处理单元。

14.根据权利要求13所述的深度学习网络处理方法，其特征在于，所述至少两个级联的深度学习网络处理单元的级联结构为：

所述深度学习网络处理单元为两级级联：第一级深度学习网络处理单元和第二级深度学习网络处理单元；

所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至所述第二级深度学习网络处理单元；

所述第二级深度学习网络处理单元，包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至所述应用处理单元。

15.根据权利要求13所述的深度学习网络处理方法，其特征在于，所述至少两个级联的深度学习网络处理单元的级联结构为：

所述深度学习网络处理单元为多级级联：第一级深度学习网络处理单元、第N级深度学习网络处理单元和连接在第一级深度学习网络处理单元和第N级深度学习网络处理单元之间的N-2个级联深度学习网络处理单元；其中，N≥3；

所述第一级深度学习网络处理单元包含与所述图像采集单元相连的至少一个所述深度学习网络处理单元，所述第一级深度学习网络处理单元从所述图像采集单元接收图像序列，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对接收到的图像序列进行优化形成第一图像处理结果，并将所述第一图像处理结果发送至下一级深度学习网络处理单元；

所述下一级深度学习网络处理单元包含连接于所述第一级深度学习网络处理单元和下下一级深度学习网络处理单元之间的至少一个所述深度学习网络处理单元，所述下一级深度学习网络处理单元根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从所述第一级深度学习网络处理单元接收的第一图像处理结果进行优化形成第二图像处理结果，并将所述第二图像处理结果发送至下下一级深度学习网络处理单元；所述下下一级深度学习网络处理单元重复上述过程，直至某一级深度学习网络处理单元将图像处理结果发送至第N级深度学习网络处理单元；

所述第N级深度学习网络处理单元包含与所述应用处理单元相连的至少一个所述深度学习网络处理单元，根据深度学习网络的指定部分或深度学习网络中图像处理算法的指定部分对从上一级深度学习网络处理单元接收的上一级图像处理结果进行优化形成最终图像处理结果，并将所述最终图像处理结果发送至所述应用处理单元。