CN109829542A - 基于多核处理器的多元深度网络模型重构方法及装置 - Google Patents

Abstract

本发明公开一种基于多核处理器的多元深度网络模型重构方法及装置。该方法包括：获取摄像头采集的视频流图像；选择逻辑组合关系，依据逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；加载相应的深度网络模型；调用多核动态分配管理指令，计算加载的深度网络模型的复杂度，依据复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；将采集的视频流图像输入对应的深度网络模型；依据经级联的各个深度网络模型处理后得到的指定输出信息解析出视频流图像中的场景信息，并执行相应的输出动作。本发明对内存空间要求低，将各类深度网络模型进行灵活组合，形成积木式开发模式，提高用户开发效率和趣味性。

Description

基于多核处理器的多元深度网络模型重构方法及装置

技术领域

本发明涉及数据处理技术，尤其涉及采用多核处理器的深度网络模型下的数据处理，具体涉及一种基于多核处理器的多元深度网络模型重构方法及装置。

背景技术

现有的深度网络模型往往只能处理单一场景的检测、分类、分割等任务。涉及到复杂的场景将无能无力。

现有的解决复杂场景分析的方法通常可采用的方式有两种：一种是采用成本较高的GPU，将多个深度网络模型输出信息直接串行输出。但GPU成本太高，不利于大规模使用；另外一种是直接对场景进行时序分析，通过场景中各动作或者各目标之间的空间位置关联性和时间关联性，对场景进行分析。这种方法所要求的训练数据集较为特殊，处理起来麻烦，且连续对视频进行时序分析，所要求的内存空间较大，算法复杂度也很高。

发明内容

本发明解决的技术问题是，提供一种内存空间要求低，算法复杂度不高，灵活组合且成本较低的基于多核处理器的多元深度网络模型重构方法及装置。

为实现上述目的，一方面，本发明提供了一种基于多核处理器的多元深度网络模型重构方法，所述方法包括：

获取摄像头采集的视频流图像；

选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

依据所述逻辑组合关系，加载相应的深度网络模型；

调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

将采集的所述视频流图像输入对应的深度网络模型；

依据经级联的各个深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作。

作为本发明的一个优选实施例，所述视频流图像包括主码流视频图像和多个子码流视频图像，将所述主码流视频图像和多个子码流视频图像分别输入各自对应的深度网络模型。

作为本发明的一个优选实施例，所述调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器进一步包括：

调用多核动态分配管理指令，依据所加载的深度网络模型的参数文件计算相应的深度网络模型的时间复杂度和空间复杂度；依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量。

作为本发明的一个优选实施例，所述空间复杂度的计算公式为：

所述时间复杂度的计算公式分为：

(1)先计算单个卷积层的时间复杂度公式如下：

Time～O(M²·K²·C_in·C_out)

(2)计算整个深度网络模型时间复杂度公式如下：

其中，M是输出特征图的尺寸，K为卷积核的尺寸，C_in是输入通道数，C_out是输出通道数，D是深度网络模型所具有的总卷积层数；l是深度网络模型第l个卷积层,C_l是深度网络模型第l个卷积层的输出通道数，也是所述卷积层的卷积核个数；C_l-1是第l个所述卷积层的输入通道数。

作为本发明的一个优选实施例，所述依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量进一步包括：

依据所述逻辑组合关系指定的N个深度网络模型，计算出每一个深度网络模型的空间复杂度为M_i(K)，为每一个深度网络模型分配相应的内存空间；计算出的每一个深度网络模型的时间复杂度为T_i(G)；设定所述多核处理器中每一个核处理器的计算能力为H(G)，G为衡量计算时间复杂度的单位，则所述深度网络模型所需要的核处理器总数为sum＝T_i(G)/H(G)，其中N为大于0的整数。

作为本发明的一个优选实施例，所述逻辑组合关系至少包括以下一种：指定的各深度网络模型之间的级联关系、选定的视频流图像区域、指定的任务以及指定的深度网络模型。

作为本发明的一个优选实施例，所述深度网络模组包括：深度网络检测模型、深度网络分类模型、深度网络语义分割模型、深度网络跟踪识别模型、深度网络语音识别模型、深度网络语义分割模型；各深度网络模型之间的级联关系如下：

一所述深度网络检测模型与另一所述深度网络检测模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度网络分类模型之间的单层级联或者多层级联、一所述深度网络分类模型与另一所述深度网络分类模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度跟踪模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度网络语义分割模型之间的单层级联或者多层级联、一所述深度网络跟踪模型与一所述深度网络语义分割模型之间的单层级联或者多层级联。

作为本发明的一个优选实施例，所述选定的视频流图像区域包括：

在视频流图像中所选定的矩形区域、圆形区域或边数大于4的多边形区域。

作为本发明的一个优选实施例，所述指定的任务至少包括以下一种：

安全区域检测与保护、定时启动程序、物品看护、陌生人闯入报警、人脸白名单和/或黑名单提醒、精彩瞬间拍摄、老人看护和儿童看护。

作为本发明的一个优选实施例，所述多核处理器采用前端嵌入式处理芯片，包括：多核DSP、多核CPU和多核FPGA中的至少一种。

作为本发明的一个优选实施例，所述相应的输出动作包括语音提示、自动录像、自动拍照和闪光中的至少一种。

作为本发明的一个优选实施例，当级联为多个深度网络模型时，一个深度网络模型的输出信息作为另一个深度网络模型的输入信息，并经计算处理后产生新输出信息，以解析出所述视频流图像中的场景的深层含义。

另一方面，本发明还提供一种基于多核处理器的多元深度网络模型重构装置，所述装置包括：

视频流图像输入模块，用于获取摄像头采集的视频流图像；

逻辑组合模块，用于选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

加载模块，用于依据所述逻辑组合关系，加载相应的深度网络模型；

多核动态分配管理模块，用于调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

深度网络模块，用于将采集的所述视频流图像输入对应的深度网络模型中；

执行模块，用于依据经所述深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作。

本发明的基于多核处理器的多元深度网络模型重构方法及装置通过采用多核处理器依据预设的逻辑组合关系确定各深度网络模型之间的级联关系，然后依据所述深度网络模型的复杂度为每一深度网络模型分配相应的内存和核处理器，对视频流图像中的场景进行综合分析，不仅使得对内存空间要求低，算法复杂度要求不高，产品成本低廉，而且可以将各类深度网络模型(深度网络学习算法)进行灵活组合，形成积木式的开发模式，提高用户开发效率和趣味性。

附图说明

图1为本发明基于多核处理器的多元深度网络模型重构方法优选实施例的流程图；

图2为图1中基于多核处理器的多元深度网络模型重构方法的视频流图像分类结构图；

图3为图1中基于多核处理器的多元深度网络模型重构方法中用户指定的任务分类示意图。

图4为本发明实施例的多核动态分配管理模块的结构示意图。

图5为本发明基于多核处理器的多元深度网络模型重构装置优选实施例的结构示意图。

具体实施方式

下面结合附图和实施例对发明进行详细说明。需要说明的是，如果不冲突，发明实施例以及实施例中的各个特征可以相互结合，均在发明的保护范围之内。

实施例1

请参见图1至图4，本发明实施方式提供一种基于多核处理器的多元深度网络模型重构方法，该多核处理器可以是多核神经网络处理芯片或者其它具有多个核处理器的集成芯片，其包含预定数量个向量计算单元，目前常用是12个或16个向量计算单元，也可是其它数量。每个向量计算单元的计算能力和片内高速缓存大小可以自行设定。在本发明实施例中，选取多核神经网络处理芯片，其连接CCD摄像头，通过CCD摄像头外接红外补光灯可以获取基于可见光或者红外光的摄像装置对场景(如家庭场景、工作场景、会议场景等)的预设区域进行拍摄，以获取当前场景实时图像，本示例中采用可见光视频流图像作为测试例。该基于多核处理器的多元深度网络模型重构方法主要包括：

S10、获取摄像头采集的视频流图像；这里是可见光视频流图像，当然也可以是红外光视频流图像。

S20、选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；这里的逻辑组合关系是预先设计好，依据用户需要选择确定哪些深度网络模型进行级联。

S30、依据所述逻辑组合关系，加载相应的深度网络模型；

S40、调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；这里的多核动态分配管理指令主要包括内存管理指令和多核分配管理指令。内存管理指令主要是管理多个内存块，如内存块1、内存块2、内存块3…内存块n；多核分配管理指令主要是管理多个核处理器的分配，如处理器1、处理器2、处理器3…处理器n，当然这里是举例说明，可以处理器的数量可以与内存块数量相等，也可不等。

S50、将采集的所述视频流图像输入对应的深度网络模型；

S60、依据经级联的各个深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作。

本发明实施例的基于多核处理器的多元深度网络模型重构方法对场景进行分析，对训练数据集无特殊要求，处理简单，对采集的视频流图像可连续时序分析，对内存空间要求不高，算法较为简单，可以准确地理解场景的语义，解析出场景信息后，并能及时地执行相应的输出动作。本发明可以将各类深度学习算法(也即深度学习模型)进行灵活组合，形成积木式的开发模式，提高用户开发效率和趣味性。

在一个优选实施例中，所述视频流图像包括主码流视频图像和多个子码流视频图像，将所述主码流视频图像和多个子码流视频图像分别输入各自对应的深度网络模型。这里主码流视频图像和多个子码流视频图像的分辨率和帧率由用户依据需要自定义。如图2所示，视频流图像包括一个主码流视频图像和多个子码流图像，这里的多个子码流图像用子码流图像1、子码流图像2、子码流图像3…子码流图像W，这里W为大于3的整数。

在一个优选实施例中，所述调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器进一步包括：

调用多核动态分配管理指令，依据所加载的深度网络模型的参数文件计算相应的深度网络模型的时间复杂度和空间复杂度，依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量。

在一个优选实施例中，所述空间复杂度的计算公式为：

所述时间复杂度的计算公式分为：

(1)先计算单个卷积层的时间复杂度公式如下：

Time～O(M²·K²·C_in·C_out)

计算整个深度网络模型时间复杂度公式如下：

其中，M是输出特征图的尺寸，K为卷积核的尺寸，C_in是输入通道数，C_out是输出通道数，D是深度网络模型所具有的总卷积层数；l是深度网络模型第l个卷积层,C_l是深度网络模型第l个卷积层的输出通道数，也是所述卷积层的卷积核个数；C_l-1是第l个所述卷积层的输入通道数。其中，M和K为大于0的数，D为大于0的整数。

在一个优选实施例中，所述依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量进一步包括：

依据所述逻辑组合关系指定的N个深度网络模型，计算出每一个深度网络模型的空间复杂度为M_i(K)，为每一个深度网络模型分配相应的内存空间；计算出的每一个深度网络模型的时间复杂度为T_i(G)；设定所述多核处理器中每一个核处理器的计算能力为H(G)，G为衡量计算时间复杂度的单位，则所述深度网络模型所需要的核处理器总数为sum＝T_i(G)/H(G)，其中N为大于0的整数。每个深度网络模型表示一种深度学习算法。

在一个优选实施例中，所述逻辑组合关系至少包括以下中一种：指定的各深度网络模型之间的级联关系、选定的视频流图像区域、指定的任务，以及指定的深度网络模型。所述选定的视频流图像区域包括：在视频流图像中所选定的矩形区域、圆形区域或边数大于4的多边形区域。

在一个优选实施例中，上述N个深度网络模型包括：深度网络检测模型、深度网络分类模型、深度网络语义分割模型、深度网络跟踪识别模型、深度网络语音识别模型；其中，深度网络检测模型主要是基于深度学习的目标检测模型，检测由用户预先训练的目标。深度网络分类模型就是基于深度学习的目标分类模型，提取图像的深度特征，对图像进行分类，判断该图像属于什么场景或者目标。深度网络语义分割模块就是基于深度学习的语义分割模型，主要是分割出特定含义的物体。深度网络跟踪模型就是基于深度学习的跟踪模型，指提取图像的深度特征进行跟踪。深度网络语音识别模型是基于深度学习的语音识别模型，基于深度学习识别用户语音信息，提取语义。

各深度网络模型之间的级联关系如下：

一所述深度网络检测模型与另一所述深度网络检测模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度网络分类模型之间的单层级联或者多层级联、一所述深度网络分类模型与另一所述深度网络分类模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度跟踪模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度网络语义分割模型之间的单层级联或者多层级联、一所述深度网络跟踪模型与一所述深度网络语义分割模型之间的单层级联或者多层级联。通过级联可以获得较为准确的输出信息，减少判断误差。

在一个优选实施例中，所述指定的任务至少包括以下一种：

安全区域检测与保护、定时启动程序、物品看护、陌生人闯入报警、人脸白名单和/或黑名单提醒、精彩瞬间拍摄(包括通常所言的抓拍)、老人看护和儿童看护。

在一个优选实施例中，所述多核处理器采用前端嵌入式处理芯片，包括：多核DSP、多核CPU和多核FPGA中的至少一种。

在一个优选实施例中，所述相应的输出动作包括语音提示、自动录像、自动拍照和闪光中的至少一种。

在一个优选实施例中，当级联为多个深度网络模型时，一个深度网络模型的输出信息作为另一个深度网络模型的输入信息，并经计算处理后产生新输出信息，以解析出所述视频流图像中的场景的深层含义。

应用实施例1

在本发明的应用实施例中，以老人跌倒检测的看护场景为例来详细说明本发明。

S100、这里选取一款多核神经网络处理芯片，其包含12个向量计算单元，每个向量计算单元的计算能力是10(G)，其片内高速缓存为2M。

S200、采用CCD摄像头拍摄老人所在的场景，获取红外光或可见光的视频流图像；本示例中采用可见光视频流图像作为测试例。

通过多核神经网络处理芯片上板载CCD摄像头，通过外接红外补光灯获取基于可见光或者红外光的摄像装置对家庭场景预设区域进行拍摄，以获取当前场景中老人的实时图像；

S300、选择逻辑组合关系(逻辑组合模块)，依据逻辑组合关系确定深度网络模组中各深度网络模型之间的级联关系以及相应的输出动作；这里的逻辑组合关系主要是：用户指定的各深度网络模型之间的级联关系、用户所选定的区域、用户所指定深度网络类型。输出动作可以是语音提示，或者发送远程网络报警信号到指定的看护人手机终端上。同时还可以自动拍照，将图片与报警信号一起发送到看护人的电子设备上。

具体来说，所选择的逻辑组合关系为优先选定采集的视频流图像中间1/2区域，将其作为有效识别区域，当然也可以选择视频流图像中的其它区域，来实现老人跌倒检测功能，这里所选择的深度网络模型包括：老人深度网络检测模型、深度网络跟踪识别模型、深度网络跌倒分类模型等三个深度网络模型。将老人深度网络检测模型、深度网络跟踪识别模型、深度网络跌倒分类模型进行三级级联，老人深度网络检测模型的输出作为深度网络跟踪识别模型的输入，而深度网络跟踪识别模型的输出作为深度网络跌倒分类模型的输入。指定的输出任务是判断老人跌倒然后发出语音进行报警。

S400、加载相应的深度网络模型，即将上述深度网络模型包括的老人深度网络检测模型、深度网络跟踪识别模型、深度网络跌倒分类模型等加载。

S500、调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器。

具体来说，通过多核动态分配管理模型，将上述老人深度网络检测模型、深度网络跟踪识别模型、深度网络跌倒分类模型三个深度网络模型的参数文件和权重文件导入到内存中，计算相应的深度网络模型的空间复杂度和时间复杂度：每一深度网络模型都有其唯一对应的参数文件和权重文件，其中，参数文件描述各个层的计算规则，权重文件由数据训练得到。

在本实施例中，所述老人深度网络检测模型采用的是基于深层神经网络训练的检测模型(例如MobilenetV2-SSD，也可是其它深层神经网络)，解析该老人深度网络检测模型的参数文件，其参数文件中主要包括：卷积层及其层数、深度卷积层及其层数和卷积核的尺寸等。

该老人检测模型的参数文件中共有78个卷积层，由前面的时间复杂度公式可以计算得到计算量为16(G)，由空间复杂度计算公式可以计算得到空间复杂度为120K。而该多核处理器每个向量计算单元的计算能力是10(G)，多核动态分配管理模型计算出此处需要调用2个计算向量单元。这样系统将自动分配两个核处理器，内存空间为128K。送入到该老人检测模型的输入视频是缩放到300×300分辨率的子码流1。

在本发明实施例的深度网络跟踪识别模型主要是跟踪识别场景中老人的特征。本发明实施例采用ECO跟踪模型，也可采用C-COT跟踪模型。本发明的ECO跟踪模型中主要计算量分为两个部分，一是相关滤波计算部分；另外一部分是深度特征的计算。相关滤波部分其计算量低于1G，而深度特征采用的是深层神经网络(如MobileNetV2)中的模型提取特征。本发明所采用的深层神经网络结构如下表1：

表1

其计算量为0.585G，空间复杂度为25K，多核动态分配管理模型此处将调用1个计算向量单元，分配内存空间为128K。

对于老人的深度网络跌倒分类模型也可以采用基于MobilenetV2训练的分类模型，空间复杂度为25K，其计算量为0.585G。此处系统将自动分配1个核，内存空间为128K。

S600、将视频输入模型所分离出的两路子码流输入对应的深度网络模型中。

S700、自动将视频子码流分别送人两路老人深度网络检测模型进行检测，并将子码流1和子码流2检测得到的结果直接送入到该深度网络跟踪识别模型中。通过深度网络跟踪识别模型对老人进行跟踪，然后将跟踪结果显示到主码流中。当在场景中老人所在的区域由老人深度网络检测模型检测出老人后，通过深度网络跟踪识别模型对老人进行跟踪，此时深度网络跟踪识别模型的输出就是一个个包含老人的图像，这个输出作为深度网络跌倒分类模型的输入图像，由深度网络跌倒分类模型对该图像进行分类判断，如果判断是老人跌倒，则逻辑组合模型将根据预先设定任务对应的输出动作，加载报警音频，这样就可以提醒用户(看护者)老人跌倒。通过实时对老人进行跟踪，当老人在该区域跌倒时，发出报警信号，或者拍摄老人跌倒图片发送看护着电子设备上，因而大大的防范了风险，也有助于用户即便在忙于其它事情时及时知悉老人是否跌倒受伤，减轻了看护者的压力。

应用实施例2

以尚未能直立行走的婴幼儿看护为例。本应用实施例2的主要步骤与应用实施例1相同。只是由于为婴幼儿看护，主要是本发明应用实施例2的深度网络模型包括：小孩深度网络检测模型和深度网络跟踪识别模型，只需将二者二级级联，指定任务是儿童看护功能，指定的输出任务是小孩超出划定区域将语音提示。

当在划定区域内由小孩深度网络检测模型检测出小孩后，此时的小孩深度网络检测模型输出是一个包含小孩的矩形框，该矩形框区域将作为跟踪网络的输入，此时将会一直产生一个始终跟踪包含小孩的矩形框，当小孩运动时，这个矩形框也将会跟着运动，当这个小孩爬到用户指定的区域外之时，此时逻辑组合模型将会自动加载报警音频，发出报警声，提示用户小孩爬出了指定区域。

小孩检测模型也可以采用基于MovilenetV2-SSD训练的小孩深度网络检测模型，解析小孩深度网络检测模型的参数文件，同样通过前述时间复杂度和空间复杂度计算得到小孩深度网络检测模型的参数计算量为16(G)，空间复杂度为120K，多核动态分配管理模型计算出此处也需要调用2个计算向量单元。此处系统将自动分配2个核处理器，内存空间为128K。而送入到该模型的输入视频为缩放到300×300分辨率的子码流2。

当深度网络跟踪识别模型跟踪到小孩超出设定的有效区域时，系统将自动发出语音提醒。

应用实施例3

本发明应用实施例3在应用实施例1和2的基础上，提出一种兼具有老人看护和小孩看护的基于多核处理器的多元深度网络模型重构方法，其包括如下步骤：

选取多核神经网络处理芯片；

采集可见光或者红外光的视频流图像；

选取相应的逻辑组合关系，确定深度网络模组中的各深度网络模型之间的级联关系以及输出动作；

在本发明优选的实施方式中，所选择的逻辑组合是选定位于图像中间为整个图像面积1/2的区域，将其作为有效识别区域。

这里以同时实现老人跌倒检测和小孩看护功能为例，所选择的深度网络模型包括：老人检测模型、小孩检测模型、深度跟踪识别模型、跌倒分类模型等四个深度网络模型。将老人检测模型、深度跟踪识别模型、跌倒分类模型进行三级级联，也就是老人检测模型连接深度跟踪识别模型，深度跟踪识别模型连接跌倒分类模型，指定的输出任务是判断老人跌倒然后语音报报警。将小孩检测模型，深度跟踪识别模型二级级联，指定任务是儿童看护功能，指定的输出任务是小孩超出划定区域将语音提示。这里可以用同一深度跟踪识别模型，而且在检测区域确定有老人和小孩时，比如老人看护小孩或者陪小孩玩耍的场景中时，只需一套设备即可看护好老人和小孩。

通过多核动态分配管理模块，将上述的四个深度网络模型导入到内存中，并且为每个网络模型分配两个处理核：

具体地，在本实施例中，老人检测模型采用的是基于MobilenetV2-SSD训练的检测模型，而送入到该模型的输入视频是子码流1缩放到300×300的子码流1，并将该模型加载到Movidius片内地址0-256K的内存处进行计算。由于此处训练MobilenetV2-SSD的计算量为6G，Movidius共有12个向量计算单元，每一个计算单元的计算力10G，为了获取较为好的实时能力，此处调用计算向量单元SHAVE1和SHAVE2进行计算。而小孩检测模型采用的也是基于MovilenetV2-SSD训练的检测模型，而送入到该模型的输入视频缩放到300×300的子码流2。并将该模型加载到Movidius片内地址256-512K的内存处进行计算，调用计算向量单元SHAVE3和SHAVE4进行计算。而深度跟踪识别模型则采用的ECO跟踪模型，其计算量为3G，为了获取较好的跟踪效果，此处采用SHAVE6-SHAVE9工四个SHAVE进行计算。并调用Movidius片内地址512-640K的内存处进行计算。所述的老人跌倒模型采用的是基于MobilenetV2训练的分类模型，其被加载到Movidius片内地址640-758K的内存处进行计算，其计算量为1G，调用计算向量单元SHAVE10即可。

通过视频流图像输入模组所分离出的两路子码流，自动将视频子码流分别送人两路检测模型进行检测，并将子码流1和子码流2检测得到的结果将直接送入到该跟踪模型中。通过跟踪模型对老人、小孩进行跟踪，该跟踪结果将显示到主码流中。通过实时对老人、小孩进行跟踪，当小孩超出设定的有效区域，系统将自动发出语音提醒；当老人在有效区域内跌倒，也将发出报警。

以上仅是以老人看护、婴幼儿看护为例说明本发明的应用，本发明还可以应用到各种场景识别中，通过基于多核处理器的多元深度网络模型模型重构，如安全区域检测与保护、定时启动程序、重要物品看护、陌生人闯入报警、人脸白名单和/或黑名单提醒、精彩瞬间拍摄、实时动态抓拍、宠物抓拍、微笑抓拍等。而且前面这些可以一个或多个结合起来，采用一套设备来实现，比如，重要物品看护与陌生人闯入报警。精彩瞬间拍摄与实时动态抓拍结合起来。或者多个结合起来。

实施例2

请参见图5，本发明实施例对应于上述实施例1及其应用实施例1至3所提出的基于多核处理器的多元深度网络模型重构的方法，还提供一种基于多核处理器的多元深度网络模型重构装置，所述装置包括：

视频流图像输入模块10，用于获取摄像头采集的视频流图像；

逻辑组合模块20，用于选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

加载模块30，用于依据所述逻辑组合关系，加载相应的深度网络模型；

多核动态分配管理模块40，用于调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

深度网络处理模块50，用于将采集的所述视频流图像输入对应的深度网络模型中；

执行模块60，用于依据经所述深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作。

本发明的基于多核处理器的多元深度网络模型重构装置通过采用多核处理器依据逻辑组合关系确定各深度网络模型之间的级联关系，然后依据所述深度网络模型的复杂度为每一深度网络模型分配相应的内存和核处理器，对视频流图像中的场景进行综合分析，不仅使得对内存空间要求低，算法复杂度要求不高，产品成本低廉，而且可以将各类深度网络模型(深度网络学习算法)进行灵活组合，形成积木式的开发模式，提高用户开发效率和趣味性。

多核动态分配管理模块40具体用于调用多核动态分配管理指令，依据所加载的深度网络模型的参数文件计算相应的深度网络模型的时间复杂度和空间复杂度，依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量。

所述多核动态分配管理模块40包括：空间复杂度计算子模块和时间复杂度计算子模块，空间复杂度计算子模块用于计算空间复杂度。所述空间复杂度的计算公式为：

时间复杂度计算子模块用于计算时间复杂度。所述时间复杂度的计算公式分为：

(1)先计算单个卷积层的时间复杂度公式如下：

Time～O(M²·K²·C_in·C_out)

(2)计算整个深度网络模型时间复杂度公式如下：

其中，M是输出特征图的尺寸，K为卷积核的尺寸，C_in是输入通道数，C_out是输出通道数，D是深度网络模型所具有的总卷积层数；l是深度网络模型第l个卷积层,C_l是深度网络模型第l个卷积层的输出通道数，也是所述卷积层的卷积核个数；C_l-1是第l个所述卷积层的输入通道数。

多核动态分配管理模块40进一步包括：

内存空间分配子模块，用于依据所述逻辑组合关系指定的N个深度网络模型，计算出每一个深度网络模型的空间复杂度为M_i(K)，为每一个深度网络模型分配相应的内存空间；

核处理器数量分配子模块，用于计算出的每一个深度网络模型的时间复杂度为T_i(G)；设定所述多核处理器中每一个核处理器的计算能力为H(G)，G为衡量计算时间复杂度的单位，则所述深度网络模型所需要的核处理器总数为sum＝T_i(G)/H(G)，其中N为大于0的整数。

以上对发明所提供的基于多核处理器的多元深度网络模型重构方法及装置进行了详细介绍，本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容仅为发明的实施方式，并非因此限制发明的专利范围，凡是利用发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在发明的专利保护范围内，不应理解为对发明的限制。

Claims (13)

1.一种基于多核处理器的多元深度网络模型重构方法，其特征在于，所述方法包括：

获取摄像头采集的视频流图像；

选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

依据所述逻辑组合关系，加载相应的深度网络模型；

调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

将采集的所述视频流图像输入对应的深度网络模型；

依据经级联的各个深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作。

2.如权利要求1所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述视频流图像包括主码流视频图像和多个子码流视频图像，将所述主码流视频图像和多个子码流视频图像分别输入各自对应的深度网络模型。

3.如权利要求1所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器进一步包括：

调用多核动态分配管理指令，依据所加载的深度网络模型的参数文件计算相应的深度网络模型的时间复杂度和空间复杂度；依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量。

4.如权利要求3所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述空间复杂度的计算公式为：

所述时间复杂度的计算公式分为：

(1)先计算单个卷积层的时间复杂度公式如下：

Time～O(M²·K²·C_in·C_out)

(2)计算整个深度网络模型时间复杂度公式如下：

其中，M是输出特征图的尺寸，K为卷积核的尺寸，C_in是输入通道数，C_out是输出通道数，D是深度网络模型所具有的总卷积层数；l是深度网络模型第l个卷积层,C_l是深度网络模型第l个卷积层的输出通道数，也是所述卷积层的卷积核个数；C_l-1是第l个所述卷积层的输入通道数。

5.如权利要求3或4所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述依据所述时间复杂度和所述空间复杂度，确定动态分配给所述相应的深度网络模型的内存空间以及核处理器数量进一步包括：

依据所述逻辑组合关系指定的N个深度网络模型，计算出每一个深度网络模型的空间复杂度为M_i(K)，为每一个深度网络模型分配相应的内存空间；计算出的每一个深度网络模型的时间复杂度为T_i(G)；设定所述多核处理器中每一个核处理器的计算能力为H(G)，G为衡量计算时间复杂度的单位，则所述深度网络模型所需要的核处理器总数为sum＝T_i(G)/H(G)，其中N为大于0的整数。

6.如权利要求1所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述逻辑组合关系至少包括以下一种：指定的各深度网络模型之间的级联关系、选定的视频流图像区域、指定的任务以及指定的深度网络模型。

7.如权利要求6所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述深度网络模组包括：深度网络检测模型、深度网络分类模型、深度网络语义分割模型、深度网络跟踪识别模型、深度网络语音识别模型、深度网络语义分割模型；各深度网络模型之间的级联关系如下：

一所述深度网络检测模型与另一所述深度网络检测模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度网络分类模型之间的单层级联或者多层级联、一所述深度网络分类模型与另一所述深度网络分类模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度跟踪模型之间的单层级联或者多层级联、一所述深度网络检测模型与一所述深度网络语义分割模型之间的单层级联或者多层级联、一所述深度网络跟踪模型与一所述深度网络语义分割模型之间的单层级联或者多层级联。

8.如权利要求6所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述选定的视频流图像区域包括：

在视频流图像中所选定的矩形区域、圆形区域或边数大于4的多边形区域。

9.如权利要求6所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述指定的任务至少包括以下一种：

安全区域检测与保护、定时启动程序、物品看护、陌生人闯入报警、人脸白名单和/或黑名单提醒、精彩瞬间拍摄、老人看护和儿童看护。

10.如权利要求1所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述多核处理器采用前端嵌入式处理芯片，包括：多核DSP、多核CPU和多核FPGA中的至少一种。

11.如权利要求1所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，所述相应的输出动作包括语音提示、自动录像、自动拍照和闪光中的至少一种。

12.如权利要求7所述的基于多核处理器的多元深度网络模型重构方法，其特征在于，当级联为多个深度网络模型时，一个深度网络模型的输出信息作为另一个深度网络模型的输入信息，并经计算处理后产生新输出信息，以解析出所述视频流图像中的场景的深层含义。

13.一种基于多核处理器的多元深度网络模型重构装置，其特征在于，所述装置包括：

视频流图像输入模块，用于获取摄像头采集的视频流图像；

逻辑组合模块，用于选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

加载模块，用于依据所述逻辑组合关系，加载相应的深度网络模型；

多核动态分配管理模块，用于调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

深度网络模块，用于将采集的所述视频流图像输入对应的深度网络模型中；

执行模块，用于依据经所述深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作。