CN107977706A - 模块化分布式人工神经网络 - Google Patents

模块化分布式人工神经网络 Download PDF

Info

Publication number
CN107977706A
CN107977706A CN201711390236.0A CN201711390236A CN107977706A CN 107977706 A CN107977706 A CN 107977706A CN 201711390236 A CN201711390236 A CN 201711390236A CN 107977706 A CN107977706 A CN 107977706A
Authority
CN
China
Prior art keywords
media
mixed
network
module
nerve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711390236.0A
Other languages
English (en)
Other versions
CN107977706B (zh
Inventor
帕维尔·纳斯科
亚历克斯·罗森
伊利亚·布雷瓦兹
贾勒·佩列茨
罗恩·弗瑞丹特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Little Ant Technology (hongkong) Co Ltd
Original Assignee
Little Ant Technology (hongkong) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Little Ant Technology (hongkong) Co Ltd filed Critical Little Ant Technology (hongkong) Co Ltd
Publication of CN107977706A publication Critical patent/CN107977706A/zh
Application granted granted Critical
Publication of CN107977706B publication Critical patent/CN107977706B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种模块化神经网络系统，其包括：多个神经网络模块；和控制器，该控制器被配置为选择多个神经网络模块中的至少一个神经网络模块的组合来构建特定任务专用的神经网络。

Description

模块化分布式人工神经网络
技术领域
参考文献
[VGG]：K.Simonyan和A.Zisserman在2015年国际学习表征会议(ICLR)上发表的用于大规模图像识别的非常深度卷积网络(Very Deep Convolutional Networks forLarge-Scale Image Recognition)。
[PathNet]：超级神经网络中的进化通道梯度下降(Evolution ChannelsGradient Descent in Super Neural Networks)。
背景技术
人工神经网络成为计算机视觉、语音识别以及人工智能和模式识别的其他应用中的骨干引擎。可用计算能力的快速增加可以解决更高复杂度的问题，这又需要新颖的网络架构方法和算法。自动驾驶车辆，无人机，机器人和其他多传感器系统，智慧城市，智能家居，物联网以及设备至设备和设备至云连接等新兴应用使新颖的计算方案成为可能，这提高了系统功效。
在已知的一些神经网络系统中，在部署至产品中前，在特定的数据集合上训练整个神经网络。然后，要么在设备上要么在云资源上部署和执行受训网络。在后者的情况下，设备通常将视频流或音频流等自身相关的传感器数据发送到云，且从云中接收神经网络处理的结果。
上述方法造成受训网络功能方面的僵化，该网络是在部署前收集的通常过时的训练集上训练的。此外，上述方法造成硬件平台的使用方面的僵化，该平台可能变得不足以用于网络计算，或相反，该平台可能未被网络充分使用。
[PathNet]说明了稍微相关的方法，其中，大神经网络在网络的每层中都具有多个模块，在这个大神经网络中，第N层的任一模块的输出能够连接至第N+1层的任一模块的输入。能够选择和/或配置模块之间的特定路径，从而定义特定的网络。在这样的系统中，能够通过沿随机路径的有监督训练来训练网络。通过验证集来评估不同路径的性能，接着进行最佳执行路径的选择和冻结并且使其他模块上的参数重新初始化。根据作者所述，这使遗传算法得到更高效的应用，在遗传算法中，记住了网络的最佳训练例。
发明内容
根据本发明的一些实施例的方面，提出了一种模块化神经网络系统，其包括：多个神经网络模块；和控制器，该控制器被配置为选择多个神经网络模块中的至少一个神经网络模块的组合来构建特定任务专用的神经网络。
可选地，多个神经网络模块中的一些神经网络模块通过至少部分不同的输入数据集合来进行训练。
可选地，多个神经网络模块中的一些神经网络模块具有不同尺寸或不同数量的内部参数。
可选地，每一个不同的训练输入数据集合分别反映不同的工作条件。
可选地，控制器被配置为：接收任务的参数；以及基于接收的参数并根据已知的训练条件来选择组合，其中，参数包括下列至少一者：输入数据的类型、任务的类型和可用的资源。
可选地，多个神经网络模块中的一些神经网络模块依赖于输入数据且一些神经网络模块独立于输入数据，其中，控制器被配置为：根据输入数据的类型来选择传感器依赖型网络模块；且通过使传感器依赖型网络模块用于传感器依赖型级别的任务和使传感器独立型网络模块用于传感器独立型级别的任务来构建专用神经网络。
可选地，控制器被配置为在不同的平台上执行选择出的网络模块中的至少一些网络模块。
可选地，控制器被配置为根据下列至少一者的使用来动态地改变在哪一平台上执行哪些网络模块：计算资源、能量和通信资源。
可选地，控制器被配置为：根据数据隐私要求来选择在哪一平台上执行哪些网络模块：在本地设备上执行处理隐私敏感数据的模块；在远程平台上执行处理隐私不敏感数据的模块。
可选地，控制器被配置为：获得网络模块处理的结果的置信度；以及通过提供更强的计算能力的模块和/或平台来执行结果置信度低的处理。
可选地，多个神经网络模块中的至少一个神经网络模块根据多个神经网络模块中的另外一个神经网络模块获得的结果和/或标签数据来进行训练。
可选地，控制器被配置为：对同一任务构建不同的多个专用神经网络，获得多个专用神经网络中的每个专用神经网络的结果的排名，且根据获得的排名来为该同一任务选择专用神经网络。
可选地，系统还包括处理器，该处理器被配置为执行代码指令以：分析待执行的任务；决定执行任务所需的专用神经网络的属性；根据已知的训练条件来识别适合的网络模块；且对识别出的网络模块进行链接，以构建专用网络。
可选地，控制器被配置为：计算神经网络的层内的业务量或计算量；以及基于计算出的在网络的各层内的计算量或在网络的层之间的数据业务量来调整网络模块在可用的硬件资源之间的分布。
可选地，控制器被配置为将神经网络分割成单独的网络模块，在所述单独的网络模块中，数据与原始输入数据充分取消关联，以在远程服务器上处理充分取消关联的数据。
可选地，控制器被配置为将神经网络分割成单独的网络模块，在所述单独的网络模块中，对来自不同源的数据集合的处理被合并到第三网络模块中。
附图说明
在下面的附图中，图示了公开的主题的非限制性的一些示例性实施例或特征。
在附图中：
图1A是根据本发明的一些实施例的用于管理模块化神经网络的系统的示意图；
图1B是根据本发明的一些实施例的神经网络的非约束性示例的示意图；
图2是根据本发明的一些实施例的用于管理模块化神经网络的方法的示意性流程图；
图3是根据本发明的一些实施例的示例性分布式模块化神经网络的示意图；
图4是根据本发明的一些实施例的用于图像中目标检测的示例性卷积神经网络的示意图，其图示了对层中计算量和层间信息流量的计算；
图5A、5B和5C是根据本发明的一些实施例的示例性卷积神经网络架构的示意图。
现在详细地且具体地参照附图，要强调的是，示出的细节是作为示例给出的并且目的是为了说明性地讨论本发明的实施例。对此，结合附图的说明使如何可以实践本发明的实施例对本领域技术人员显而易见。
一幅或多幅附图中出现的相同、复制、等同或类似的结构、元件或部件通常使用相同的附图标记来标注，可选地使用额外的一个或多个字母来标注以在类似的实体之间或在实体的变型体之间进行区分，且可以不重复标注和/或不重复说明。隐含地指代在先提出的元件，而不必进一步引用该在先提出的元件所出现的附图或说明书。
对附图所示的组件和特征的尺寸的选择是为了呈现的方便或清楚起见，且未必按照比例或真实视角来示出。为了方便或清楚起见，一些元件或结构未被示出或仅被部分示出和/或以不同的视角或从不同的观察点示出。
具体实施方式
如上所述，一些分层神经网络系统在网络的每层中都具有多个模块，其中，第N层的任一模块的输出能够连接至第N+1层的任一模块的输入。能够选择和/或配置模块之间的特定路径，从而定义特定的网络。在这样的系统中，能够通过沿随机路径的有监督训练来训练网络。通过验证集来评估不同路径的性能，接着进行最佳执行路径的选择和冻结并且使其他模块上的参数重新初始化。对于所有情况，这仅产生一个网络，该网络的配置在训练完成时被冻结。
与之相比，在本发明的一些实施例中，对于不同的学习任务，根据相应的不同数据集合来训练不同的模块。因此，通过从组合量的可能的不同的配置和任务中选择，选择特定的模块组合允许针对特定任务对产生的网络进行受控和动态配置。
本发明的一些实施例可以包括系统、方法和/或计算机程序产品。计算机程序产品可以包括一个(或多个)有形非暂时性计算机可读存储介质，该存储介质上具有用于使处理器实施本发明的各个方面的计算机可读程序指令。用于实施本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(ISA)指令，机器指令，机器依赖性指令，微代码，固件指令，状态设置数据，或以包括任何面向对象编程语言和/或常规程序化编程语言在内的一种或多种编程语言的任何组合来编写的源代码或目标代码。
在详细说明本发明的至少一个实施例前，应理解，本发明未必限于应用于下面的说明书所述的和/或附图和/或示例所示的组件和/或方法的结构细节和排列。本发明能够是其他实施例或能够以各种方式来实践或实施。
现在参照图1A，其是根据本发明的一些实施例的用于管理模块化神经网络的系统100的示意图。系统100包括：人工神经网络(ANN)群20，控制器10和服务器12。服务器12可以包括：至少一个处理器14，非暂时性存储器16和输入接口18。
ANN群20可以包括模块化分布式ANN，该ANN包括多个分布式子网络，例如，分布式网络模块21a-21d。尽管图1A示出了四个网络模块，但是本发明在这方面不受限制，ANN群20可以包括任何适合数量的分布式网络模块。网络模块21a-21d可以分别单独地和/或在不同的条件下和/或在不同种类和/或不同集合的输入数据下得到训练。不同的输入数据集合可以对应于和/或反映不同的任务和/或执行任务的不同的工作条件，或网络精度和尺寸(计算负担)之间的不同折衷。因此，网络模块21a-21d可以分别具有由不同的训练输入数据集合意指和/或影响的其他已知属性。例如，训练条件和/或类型可以与相应网络模块的标识相关联地存储在模块数据库15中。
例如，用于目标识别的卷积神经网络的初始层的不同模块可以对应于不同的光照或天气条件，而更深的层可以对应于不同的目标类。具有较大层的模块可以对应于更精确的网络(其需要更多的计算)，而较小的层可以对应于更快但是可能不太精确的网络。
在本发明的一些实施例中，存储器16存储可由处理器14执行的代码指令。当被执行时，代码指令使处理器14实施这里所述的方法。根据本发明的一些实施例，处理器14执行用于产生和管理模块化分布式ANN的方法。
处理器14可以将指令发送至控制器10。控制器10可以根据接收的指令来选择网络模块21a-21d中的至少一者，和/或将选择出的网络模块的组合作为专用神经网络进行操作，例如，以通过产生的专用神经网络来执行诸如数据分类等神经网络处理。
现在进一步参照图1B，其是根据本发明的一些实施例的神经网络100a的非约束性示例的示意图。例如，网络100a包括对从传感器110收集的信息进行处理的模块120-125、130和160，其中，模块125是从模块集合125B-125Z中选择出的实例且模块130从模块集合130B-130Z中选出，而模块160从由160B表示的模块集合中选出。
作为非限制性示例，传感器110可以是图像传感器，层120-125和130可以是卷积层，而层160可以是全连接层。模块125B-125Z可以对于不同的光照条件来训练，模块130B-130Z可以对于不同的目标类来训练，而模块160B可以对于目标识别的质量和计算的成本之间的不同折衷来训练。
现在进一步参照图2，其是根据本发明的一些实施例的用于管理模块化神经网络的方法200的示意性流程图。如框210所示，处理器14可以分析待执行的任务(例如，请求和要求的任务)，输入数据的类型，和/或可用的资源。如框220所示，根据分析后的任务，处理器14可以决定适合于执行任务的所需神经网络的属性。如框230所示，根据决定，控制器10和/或处理器14可以例如通过找出存储于数据库15中的相应的模块属性来识别适合的网络模块。如框240所示，控制器10可以对识别出的网络模块进行链接来构建产生的专用网络。
在本发明的一些实施例中，处理器14执行两个或以上不同的模块化网络(即，不同的神经网络模块组合)以使用相同的输入数据进行神经网络处理。例如，在从各模块化网络中接收神经网络处理的结果后，处理器14可以根据确定的标准来在模块化网络之间进行选择。例如，处理器14可以从各模块化网络中接收处理的结果，对各结果计算置信度，且相应地对结果进行排名和/或选择提供更好置信度的模块化网络。例如，处理器14可以接收关于结果的投票，且对结果进行排名和/或选择接收到对于其结果的最支持投票的模块化网络。这样，系统100可以获得可能的模块化网络中最高效的专用网络。此外，系统100可以促进模块化网络的进化，其中，仅最可靠的组合和/或模块被选择且进一步得到训练和进化。
在一些实施例中，通过使用相同或不同的输入的传感器数据来执行多个不同的模块化网络组合以执行同一任务，这些不同的模块化网络组合可以用于交叉训练，其中，一个网络的结果用于另一个网络的训练或再训练。
现在参照图3，其是根据本发明的一些实施例的示例性分布式模块化神经网络300的示意图。在一些实施例中，网络模块21a-21d中的一些以分布式的方式执行，即在不同的设备和/或平台上执行。例如，网络模块21a-21d中的一些在例如感测或检测单元等本地设备50上执行，且一些在远程服务器60上执行。例如，在专用模块化网络中，网络模块中的一些可以以分布式的方式执行，即在不同的设备和/或平台上执行。通过以分布式的方式执行模块化神经网络，系统100可以保存和/或管理设备50上或多个设备上的计算资源、能量和/或网络业量。例如，处理隐私敏感数据和/或发送大量数据的网络模块可以在本地设备50上执行，而同一模块化神经网络中包括的其他模块可以远程执行，例如，在服务器60上执行。例如，处理重度计算和/或处理隐私不敏感数据的网络模块可以在远程服务器60上执行。
在本发明的一些实施例中，控制器10可以对分布式模块化神经网络300进行适配，且可以动态地改变哪些网络模块在哪个设备或平台上执行。例如，控制器10可以根据各设备和/或平台上的可用计算资源和/或通信资源和/或根据任务以及所需方案的性质来适配分布式模块化神经网络300。
在本发明的一些实施例中，计算和/或估计神经网络的层内的业务量或计算量。例如，可以根据计算出和/或估计出的网络各层内的计算量和/或网络各层之间的数据业务量，来优化和/或调整网络模块在可用的硬件资源之间的分布。
现在参照图4，其是根据本发明的一些实施例的示例性神经网络架构400的示意图。网络架构400可以由至少一个处理器14来实施。网络架构400可以是用于图像处理的卷积神经网络架构。然而，本发明不限于图像处理或任何特定种类的神经网络处理。
网络架构400可以包括：在处理器14处，接收输入数据阵列410，例如，输入图像。例如，在网络架构400包括用于检测视频流中的目标的卷积网络处理的情况下，输入数据阵列410可以包括视频流中的单个帧。输入数据阵列410可以具有N行和M列，即M×N的帧尺寸。例如，如果是高清晰度(HD)的图像数据，那么帧尺寸可以是1920×1080。可以以每秒30帧的速率获得和/或接收新的帧。
服务器60可以维护：具有K1个第一层算子滤波器的库420以用于处理神经网络的第一层中的输入数据；和具有K2个第二层算子滤波器的库430以用于处理神经网络的第二层中的输入数据；以及诸如此类的库。在本发明的一些实施例中，处理器14可以在图像数据阵列410的多个位置上施加K1个滤波器中的一个，例如，3×3滤波器415或任何其他适合尺寸的滤波器。例如，滤波器415可以施加于输入图像的左上角，且施加在从第一位置偏移了步幅S1的相邻的两个位置，如图4所示。例如，如果施加于灰度图像，那么各滤波器是D×D阵列(例如，3×3阵列)，且如果施加于彩色图像，那么各滤波器是D×D×3阵列。相同的滤波器415可以以步幅S1施加于沿着整个图像伸展开的位置网格，从而产生N/S1行和M/S1列的结果数值阵列。
因此，在第一层滤波器库420中存在K1个滤波器的情况下，处理器14可以产生K1个相应的结果数值阵列425，每个阵列对应于不同的滤波器且因施加该滤波器而产生，且每个阵列具有M*N/(S1*S1)的尺寸。因此，如果未压缩的每像素3字节的输入彩色图像中的信息量是M*N*3字节，那么K1个阵列中的信息量是K1*M*N/(S1^2)*B字节，其中，B是阵列中每个数值的字节数量。因此，第一层中执行的计算量是D*D*3*K1*M*N/(S1*S1)。
在神经网络的第二层上，K2个第二层算子滤波器中的各者可以施加在K1个阵列425中的各者上。K2个第二层算子滤波器中的各者的尺寸可以是D×D×K1，例如，如图4所示的3×3×K1。因此，处理器14可以产生K2个相应的结果数值阵列435，每个阵列对应于不同的滤波器且因施加该滤波器而产生，且每个阵列具有M*N/(S1^2*S2^2)的尺寸。K2个滤波器中的各者在(M/S1/S2)*(N/S1/S2)个位置处执行K1*D*D个操作，一共D*D*K1*K2*M*N/(S1^2*S2^2)个操作，从而产生K2*M*N/(S1^2*S2^2)*B个字节的信息。知道信息量以及各层中的计算量可以获得分布式神经网络例如在数个设备之间、在设备和云之间的最优分割。例如，前端传感器可以处理一个或一些第一卷积网络模块，其中，主机设备可以计算剩余的网络。
架构400可以在神经网络的多个层和/或多个模块中延续，其中，在各层中，各个滤波器施加在由先前层产生的阵列上。
例如，对于更复杂的神经网络计算，控制器10可以采用较强大的设备和/或平台来特别用于执行较高级别网络模块，同时例如在较小和/或较弱设备上执行较低级别网络模块。
在本发明的一些实施例中，系统100被配置为使用各种种类和/或集合的传感器来执行神经网络处理。例如，系统100可以与设备A和/或与设备B(设备A和设备B均具有不同的传感器)接口连接，接收传感器数据，且根据输入的传感器数据来执行模块化神经网络。例如，网络模块21a-21d中的一些网络模块可以依赖于从其接收数据的传感器的种类和/或接收的传感器数据的种类。网络模块21a-21d中的其他网络模块可以是传感器独立型的。处理器14可以例如通过找出存储于数据库15中的相应的模块属性，识别适合的网络模块以用于涉及某种类型的设备和/或某个集合的传感器的任务。对于传感器独立级别的神经网络处理，处理器14可以使用适合的传感器独立型网络模块，该网络模块可以与各种种类的设备一起使用。
控制器10可以将识别出的网络模块与传感器独立型网络模块进行链接来构建作为结果的专用网络。因此，系统100可以通过使某一部分的网络用于多个种类的设备来保存神经网络体量，而无需将完全不同的网络提供给各个不同的设备。在一些情况下，控制器10可以包括开关，该开关例如通过使选择出的网络模块链接至模块化神经网络20的传感器独立型模块来在模块化神经网络20的传感器依赖型模块之间进行选择。在一些实施例中，可以进行交叉训练，其中，一个设备上收集的数据用于训练另外一个设备上执行的网络模块，从而充实标签训练数据的池。
现在参照图5A，其是根据本发明的一些实施例的用于图像中目标识别的示例性卷积神经网络架构500的示意图。网络架构500可以由至少一个处理器14来实施。尽管图5A示意了目标识别处理的具体示例，但是这里所述的原理可适用于其他网络架构和其他机器学习任务。处理器14可以例如经由视频相机510来接收像素阵列515。像素阵列515可以是来自相机510获取的视频流中的单个帧。处理器14可以施加第一卷积神经层520的卷积算子(例如，上面参照图4所述的K1个滤波器等)，从而产生数值阵列525(例如，上面参照图4所述的阵列425等)。处理可以在多个中间层550中且在层530和535中延续，其中，最后的层535导致目标类概率的阵列540。
现在参照图5B，其是根据本发明的一些实施例的包括有网络模块的可选分布的示例性神经网络架构500a的示意图。网络架构500a可以包括第一网络模块545和第二网络模块555。在一些实施例中，第一网络模块545在例如智能手机等本地设备上处理，而第二网络模块555在例如远程服务器和/或云服务器等另一服务器上处理。例如，第一网络模块545在传感器设备上处理和/或包括例如第一层或数个卷积层。因此，例如，由于像素阵列515可以包含显式图像，网络架构500a可以保护例如医院休息室内的安全警报或安防警报等应用的隐私。阵列525包含卷积滤波器结果数值，卷积神经层在神经网络中越深，该数值越失去与原始图像数据的相关性。网络架构500a可以被分割成数据与原始输入的数据阵列515充分取消关联，使得剩余的网络被包括在第二网络模块555中，该第二网络模块555可以在另外一个服务器上处理。
现在参照图5C，其是根据本发明的一些实施例的包括有网络模块的可选分布的示例性神经网络架构500b的示意图。网络架构500b可以包括第一网络模块545，第二网络模块547和第三网络模块555。在一些实施例中，第一网络模块545和第二网络模块547在本地设备上或分别在不同的本地设备上处理，和/或包括例如第一层或数个卷积层。第三网络模块555可以在远程服务器上(例如，在云上)处理。例如，第一网络模块545在传感器设备(例如，相机510)上处理。第一网络模块545可以接收例如来自相机510的传感器数据阵列515，通过滤波器520来处理传感器数据阵列515，且产生包括有卷积滤波器结果数值的阵列525。例如，第二网络模块547在另外一个设备(例如，RADAR设备512)上处理。第二网络模块547可以接收例如来自RADAR 512的数据阵列517，通过滤波器522来处理数据阵列517，且产生包括有卷积滤波器结果数值的阵列527。
在一些实施例中，在神经网络的某一级，对数据515和数据517的处理可以例如在如图5C所示的层550中被合并到第三网络模块555中。例如，处理器14可以在层550中使用卷积滤波器533，以组合例如模块545和547等不相交的异构网络。例如，图5C中的滤波器533的白色的部分用于与一个网络模块的层进行卷积，图5C中的滤波器533的灰色的另一部分用于与另外一个网络模块进行卷积。此外，网络架构500b可以被分割成数据与原始输入的数据阵列515和517充分取消关联，使得剩余的网络被包括在第三网络模块555中，该第三网络模块555可以在另外一个服务器上处理。
在本发明的一些实施例的上下文中，示例性地且非限制性地，诸如“操作”或“执行”等词语也意指能力，如“可操作”或“可执行”。
示例性地，诸如“事物性质”等复合词语意指事物的性质，除非该词语的上下文中另有明确说明。
词语“处理器”或“计算机”或它们的系统在这里用作本领域的通常语义，如：通用处理器、诸如智能手机或平板计算机等便携式设备、微处理器、RISC处理器或DSP，它们可能包括存储器或通信端口等额外元件。可选地或额外地，词语“处理器”或“计算机”或它们的派生词语表示能够实施所提供的或所包含的程序的和/或能够控制和/或访问数据存储装置和/或例如输入输出端口等其他装置的装置。词语“处理器”或“计算器”也表示可能共享一个或多个例如存储器等其他资源的、连接的和/或链接的和/或以另外的方式进行通信的多个处理器或计算机。
词语“软件”、“程序”、“软件过程”、“过程”、“软件代码”、“代码”或“应用”根据该词语的上下文可以互换使用，并且表示用于执行一系列操作的一个或多个指令、指示或电子电路，该操作通常表示算法和/或其他过程或方法。程序存储在例如RAM、ROM或盘等介质中或上，或嵌入在例如处理器或其他电路等装置可访问和可执行的电路中。处理器和程序可以至少部分地构成可选地包括有或链接有处理器或其他电路的同一装置，例如FPGA或ASIC等被设计为执行经过编程的一系列操作的电子门阵列。
词语为某一目的进行“配置”和/或“适配”或其变体意指至少使用设计的和/或实施的和/或可操作或可工作的软件和/或电子电路和/或辅助装置来实现该目的。
存储和/或包括程序和/或数据的设备构成制品。除非另有说明，程序和/或数据存储在非暂时性介质中或上。
如果公开有电气或电子装备，那么假设适当的电源用于它们的操作。
流程图和框图图示了根据本发明公开的主题的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能或操作。对此，流程图或框图中的各框可以表示程序代码的模块、段或部分，该程序代码包括用于实施规定的逻辑功能的一个或多个可执行指令。也应注意，在一些替代实施方式中，图示的或说明的操作可以以不同的顺序或以组合的方式或作为并行操作(而非顺序操作)发生，以实现相同或等价的效果。
所有方式或步骤的相应结构、材料、行为和等同物以及随附权利要求中的功能元件意要包括用于与具体请求保护的其他所述元件结合地执行功能的任何结构、材料或行为。如这里使用，单数形式“一”、“一个”和“这个”意要也包括复数形式，除非上下文另有明确指示。还应理解，当用于本说明书中时，词语“包括”、“包含”和/或“具有”以及这些词语的其他词形指示存在所述特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的群组。
这里使用的术语不应理解为限制性的(除非另有说明)，并且这里使用的术语仅用于说明特定实施例的目的而不是意要限制公开的主题。虽然已经图示了和说明了公开的主题的某些实施例，但是应清楚，本发明不限于这里所述的实施例。不排除众多的修改例、变化例、变型例、替换例和等同物。

Claims (16)

1.一种模块化神经网络系统，其包括：
多个神经网络模块；和
控制器，所述控制器被配置为选择所述多个神经网络模块中的至少一个神经网络模块的组合来构建特定任务专用的神经网络。
2.根据权利要求1所述的神经网络系统，其中，所述多个神经网络模块中的一些神经网络模块通过至少部分不同的输入数据集合来进行训练。
3.根据权利要求1所述的神经网络系统，其中，所述多个神经网络模块中的一些神经网络模块具有不同尺寸或不同数量的内部参数。
4.根据权利要求1所述的神经网络系统，其中，不同的训练输入数据集合分别反映不同的工作条件。
5.根据权利要求1所述的神经网络系统，其中，所述控制器被配置为：接收所述任务的参数；以及基于接收的参数并根据已知的训练条件来选择所述组合，其中，所述参数包括下列至少一者：输入数据的类型、任务的类型和可用的资源。
6.根据权利要求1所述的神经网络系统，其中，所述多个神经网络模块中的一些神经网络模块依赖于输入数据且一些神经网络模块独立于输入数据，其中，所述控制器被配置为：
根据输入数据的类型来选择传感器依赖型网络模块；且
通过使所述传感器依赖型网络模块用于传感器依赖型级别的任务和使所述传感器独立型网络模块用于传感器独立型级别的任务来构建专用神经网络。
7.根据权利要求1所述的神经网络系统，其中，所述控制器被配置为在不同的平台上执行选择出的网络模块中的至少一些网络模块。
8.根据权利要求5所述的神经网络系统，其中，所述控制器被配置为根据下列至少一者的使用来动态地改变在哪一平台上执行哪些网络模块：计算资源、能量和通信资源。
9.根据权利要求5所述的神经网络系统，其中，所述控制器被配置为：根据数据隐私要求来选择在哪一平台上执行哪些网络模块：在本地设备上执行处理隐私敏感数据的模块；在远程平台上执行处理隐私不敏感数据的模块。
10.根据权利要求5所述的神经网络系统，其中，所述控制器被配置为：获得网络模块处理的结果的置信度；以及通过提供更强的计算能力的模块和/或平台来执行结果置信度低的处理。
11.根据权利要求1所述的神经网络系统，其中，所述多个神经网络模块中的至少一个神经网络模块根据所述多个神经网络模块中的另外一个神经网络模块获得的结果和/或标签数据来进行训练。
12.根据权利要求1所述的神经网络系统，其中，所述控制器被配置为：对同一任务构建不同的多个专用神经网络，获得所述多个专用神经网络中的每个专用神经网络的结果的排名，且根据获得的排名来为所述同一任务选择专用神经网络。
13.根据权利要求1所述的神经网络系统，还包括处理器，所述处理器被配置为执行代码指令以：
分析待执行的任务；
决定执行所述任务所需的专用神经网络的属性；
根据已知的训练条件来识别适合的网络模块；且
对识别出的网络模块进行链接，以构建所述专用网络。
14.根据权利要求1所述的神经网络系统，其中，所述控制器被配置为：计算所述神经网络的层内的业务量或计算量；以及基于计算出的在网络的各层内的计算量或在网络的层之间的数据业务量来调整所述网络模块在可用的硬件资源之间的分布。
15.根据权利要求1所述的神经网络系统，其中，所述控制器被配置为：将所述神经网络分割成单独的网络模块，在所述单独的网络模块中，数据与原始输入数据充分取消关联，以在远程服务器上处理充分取消关联的所述数据。
16.根据权利要求1所述的神经网络系统，其中，所述控制器被配置为：将神经网络分割成单独的网络模块，在所述单独的网络模块中，对来自不同源的数据集合的处理被合并到第三网络模块中。
CN201711390236.0A 2017-08-09 2017-12-21 模块化分布式人工神经网络 Expired - Fee Related CN107977706B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/672,328 US20190050714A1 (en) 2017-08-09 2017-08-09 Modular distributed artificial neural networks
US15/672,328 2017-08-09

Publications (2)

Publication Number Publication Date
CN107977706A true CN107977706A (zh) 2018-05-01
CN107977706B CN107977706B (zh) 2020-09-08

Family

ID=62007103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711390236.0A Expired - Fee Related CN107977706B (zh) 2017-08-09 2017-12-21 模块化分布式人工神经网络

Country Status (2)

Country Link
US (7) US20190050714A1 (zh)
CN (1) CN107977706B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740735A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 多神经网络输出方法及装置、服务器、计算机可读介质
CN109919315A (zh) * 2019-03-13 2019-06-21 科大讯飞股份有限公司 一种神经网络的前向推理方法、装置、设备及存储介质
EP3572983A1 (en) * 2018-05-22 2019-11-27 InterDigital CE Patent Holdings Low dimensional neural network based architecture
CN111273634A (zh) * 2018-12-05 2020-06-12 大众汽车有限公司 至少部分自动的机动车的控制系统的配置
EP3696733A1 (en) * 2019-02-13 2020-08-19 Siemens Aktiengesellschaft Encoding and transferring scene and task dependent learning information into transferable neural network layers
CN111667046A (zh) * 2019-03-08 2020-09-15 富泰华工业（深圳）有限公司 深度学习加速方法及用户终端
CN112287733A (zh) * 2019-07-22 2021-01-29 海巴智能科技(上海)有限公司 一种基于边缘计算的目标分布式融合识别方法
CN112598117A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 神经网络模型设计方法、部署方法、电子设备及存储介质
WO2023116416A1 (zh) * 2021-12-24 2023-06-29 中兴通讯股份有限公司 神经网络的生成、指示信息的发送方法，通信节点及介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699093B2 (en) * 2018-01-16 2023-07-11 Amazon Technologies, Inc. Automated distribution of models for execution on a non-edge device and an edge device
GB2571342A (en) * 2018-02-26 2019-08-28 Nokia Technologies Oy Artificial Neural Networks
JP7230329B2 (ja) * 2018-03-02 2023-03-01 富士フイルムビジネスイノベーション株式会社 情報処理システム
US11631151B2 (en) 2018-09-30 2023-04-18 Strong Force Tp Portfolio 2022, Llc Intelligent transportation systems
CA3143234A1 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
WO2020176112A1 (en) * 2019-02-26 2020-09-03 Google Llc Reinforcement learning techniques for selecting a software policy network and autonomously controlling a corresponding software client based on selected policy network
US11881013B2 (en) * 2019-03-20 2024-01-23 Hitachi Kokusai Electric Inc. Video system
US11847500B2 (en) 2019-12-11 2023-12-19 Cisco Technology, Inc. Systems and methods for providing management of machine learning components
US12026626B1 (en) * 2020-02-18 2024-07-02 Nvidia Corporation Multi-level and multi-label content classification using unsupervised and ensemble machine learning techniques
US11301705B2 (en) 2020-02-27 2022-04-12 Western Digital Technologies, Inc. Object detection using multiple neural network configurations
TWI763169B (zh) * 2020-12-10 2022-05-01 中華電信股份有限公司 雲端資料中心的事件種類的預測系統和預測方法
US20230004742A1 (en) * 2021-06-30 2023-01-05 Western Digital Technologies, Inc. Storage and Processing of Intermediate Features in Neural Networks
US20230067190A1 (en) * 2021-08-27 2023-03-02 Macronix International Co., Ltd. Reconfigurable ai system
JP2023134172A (ja) * 2022-03-14 2023-09-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム
CN117220734A (zh) * 2022-05-31 2023-12-12 华为技术有限公司 一种模型传输的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022063A1 (en) * 1999-02-01 2007-01-25 Axeon Limited Neural processing element for use in a neural network
CN103810999A (zh) * 2014-02-27 2014-05-21 清华大学 基于分布式神经网络的语言模型训练方法及其系统
CN105809248A (zh) * 2016-03-01 2016-07-27 中山大学 一种分布式人工神经网络在sdn上的配置和交互方法
CN105930916A (zh) * 2016-04-07 2016-09-07 大连理工大学 一种基于并行模块化神经网络的副产煤气实时预测方法
CN106485215A (zh) * 2016-09-29 2017-03-08 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法
US20170109625A1 (en) * 2015-10-14 2017-04-20 Microsoft Technology Licensing, Llc System for training networks for semantic segmentation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121467A (en) * 1990-08-03 1992-06-09 E.I. Du Pont De Nemours & Co., Inc. Neural network/expert system process control system and method
US5142612A (en) * 1990-08-03 1992-08-25 E. I. Du Pont De Nemours & Co. (Inc.) Computer neural network supervisory process control system and method
US7194320B2 (en) * 2003-06-05 2007-03-20 Neuco, Inc. Method for implementing indirect controller
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
US9235801B2 (en) * 2013-03-15 2016-01-12 Citrix Systems, Inc. Managing computer server capacity
US10664924B1 (en) * 2015-04-30 2020-05-26 Intuit Inc. Computer-implemented methods, systems and articles of manufacture for processing sensitive electronic tax return data
US10783436B2 (en) * 2016-12-09 2020-09-22 Cisco Technology, Inc. Deep learning application distribution
US10268200B2 (en) * 2016-12-21 2019-04-23 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022063A1 (en) * 1999-02-01 2007-01-25 Axeon Limited Neural processing element for use in a neural network
CN103810999A (zh) * 2014-02-27 2014-05-21 清华大学 基于分布式神经网络的语言模型训练方法及其系统
US20170109625A1 (en) * 2015-10-14 2017-04-20 Microsoft Technology Licensing, Llc System for training networks for semantic segmentation
CN105809248A (zh) * 2016-03-01 2016-07-27 中山大学 一种分布式人工神经网络在sdn上的配置和交互方法
CN105930916A (zh) * 2016-04-07 2016-09-07 大连理工大学 一种基于并行模块化神经网络的副产煤气实时预测方法
CN106485215A (zh) * 2016-09-29 2017-03-08 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
J.L.BUESSLER ET AL.: "Neurobiology Suggests the Design of Modular Architectures for Neural Control", 《PROCEEDINGS OF THE 2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
张昭昭 等: "多层自适应模块化神经网络结构设计", 《计算机学报》 *
李玉丹: "并行BP神经网络多模式分类模型的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭文生 李国和: "人工神经网络在并行计算机集群上的设计研究", 《计算机应用于软件》 *
马焕芳 等: "基于MAPReduce的卷积神经网络算法研究", 《中国视体学与图像分析》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572983A1 (en) * 2018-05-22 2019-11-27 InterDigital CE Patent Holdings Low dimensional neural network based architecture
CN111273634A (zh) * 2018-12-05 2020-06-12 大众汽车有限公司 至少部分自动的机动车的控制系统的配置
US11500382B2 (en) 2018-12-05 2022-11-15 Volkswagen Aktiengesellschaft Configuration of a control system for an at least partially autonomous transportation vehicle
CN109740735A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 多神经网络输出方法及装置、服务器、计算机可读介质
US11514296B2 (en) 2018-12-29 2022-11-29 Baidu Online Network Technology (Beijing) Co., Ltd. Output method and apparatus for multiple neural network, server and computer readable storage medium
CN111563588A (zh) * 2019-02-13 2020-08-21 西门子股份公司 编码场景和任务相关学习信息及传输到可传输神经网络层
WO2020167641A1 (en) * 2019-02-13 2020-08-20 Siemens Aktiengesellschaft Encoding and transferring scene and task dependent learning information into transferable neural network layers
EP3696733A1 (en) * 2019-02-13 2020-08-19 Siemens Aktiengesellschaft Encoding and transferring scene and task dependent learning information into transferable neural network layers
CN111563588B (zh) * 2019-02-13 2024-04-30 西门子股份公司 编码场景和任务相关学习信息及传输到可传输神经网络层
CN111667046A (zh) * 2019-03-08 2020-09-15 富泰华工业（深圳）有限公司 深度学习加速方法及用户终端
CN109919315B (zh) * 2019-03-13 2021-10-01 科大讯飞股份有限公司 一种神经网络的前向推理方法、装置、设备及存储介质
CN109919315A (zh) * 2019-03-13 2019-06-21 科大讯飞股份有限公司 一种神经网络的前向推理方法、装置、设备及存储介质
CN112287733A (zh) * 2019-07-22 2021-01-29 海巴智能科技(上海)有限公司 一种基于边缘计算的目标分布式融合识别方法
CN112598117A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 神经网络模型设计方法、部署方法、电子设备及存储介质
WO2023116416A1 (zh) * 2021-12-24 2023-06-29 中兴通讯股份有限公司 神经网络的生成、指示信息的发送方法，通信节点及介质

Also Published As

Publication number Publication date
US20210042612A1 (en) 2021-02-11
US20210056392A1 (en) 2021-02-25
US20210042611A1 (en) 2021-02-11
US20210064967A1 (en) 2021-03-04
US20210056393A1 (en) 2021-02-25
CN107977706B (zh) 2020-09-08
US20190050714A1 (en) 2019-02-14
US20210034951A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
CN107977706A (zh) 模块化分布式人工神经网络
US12051001B2 (en) Multi-task multi-sensor fusion for three-dimensional object detection
US11334960B2 (en) Systems and methods for pipelined processing of sensor data using hardware
US10817731B2 (en) Image-based pedestrian detection
KR102599212B1 (ko) 적응적 실시간 검출 및 검사 네트워크(arden)
US11853883B2 (en) System and method for instance-level lane detection for autonomous vehicle control
US10592725B2 (en) Neural network systems
US10962979B2 (en) System and method for multitask processing for autonomous vehicle computation and control
US20200250427A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
CN107697070A (zh) 驾驶行为预测方法和装置、无人车
CN109697503A (zh) 模糊参数化的ki模块以及运行方法
CN108140142A (zh) 选择性反向传播
CN106462940A (zh) 图像中通用对象检测
CN110281949B (zh) 一种自动驾驶统一分层决策方法
CN106326932A (zh) 一种基于神经网络的电力巡线图像自动识别方法、装置
US20220189152A1 (en) Video system, imaging device, and video processing device
JP2020161167A (ja) サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
CN109726637A (zh) 用弹性多边形表示停车位区域的停车位检测系统及方法
US11315279B2 (en) Method for training a neural convolutional network for determining a localization pose
CN116485796B (zh) 害虫检测方法、装置、电子设备及存储介质
US20230326005A1 (en) Data augmentation for domain generalization
CN113741461A (zh) 一种面向受限通信的复杂场景下多机器人避障方法
CN103868499A (zh) 一种智能光学遥感系统
WO2024072357A1 (en) A field crop efficiency detection method
Zeng The algorithm of CFNN image data fusion in multi-sensor data fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908

Termination date: 20211221