CN110689114A - 网络节点处理方法、装置、存储介质及电子设备 - Google Patents

网络节点处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110689114A
CN110689114A CN201910903008.1A CN201910903008A CN110689114A CN 110689114 A CN110689114 A CN 110689114A CN 201910903008 A CN201910903008 A CN 201910903008A CN 110689114 A CN110689114 A CN 110689114A
Authority
CN
China
Prior art keywords
network node
processing unit
target network
linked list
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910903008.1A
Other languages
English (en)
Other versions
CN110689114B (zh
Inventor
谭志鹏
刘耀勇
蒋燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910903008.1A priority Critical patent/CN110689114B/zh
Publication of CN110689114A publication Critical patent/CN110689114A/zh
Priority to PCT/CN2020/117227 priority patent/WO2021057811A1/zh
Application granted granted Critical
Publication of CN110689114B publication Critical patent/CN110689114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例公开了一种网络节点处理方法、装置、存储介质及电子设备，方法包括：触发采用神经网络模型进行推理计算，确定至少一个网络节点中目标网络节点对应的第二计算处理单元；当第一计算处理单元与第二计算处理单元不同时，将目标网络节点从第一链表中删除并修改第一链表中目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将目标网络节点分配至第二计算处理单元；获取目标网络节点的下一个网络节点，将下一个网络节点确定为目标网络节点，并执行确定至少一个网络节点中目标网络节点对应的第二计算处理单元；当确定不存在下一个网络节点时，生成推理计算结果。因此，采用本申请实施例，可以提高采用神经网络模型推理计算的效率。

Description

网络节点处理方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种网络节点处理方法、装置、存储介质及电子设备。
背景技术
当今智能手机平台上有很多适合移动端的神经网络模型，通常需要使用合适的数据结构来表示神经网络的各网络节点。例如小米的MACE，腾讯的NCNN,阿里巴巴的MNN等，它们都是用容器来表示神经网络的各网络节点。
当触发采用神经网络模型推理计算时，需要根据手机当前各计算处理单元(如CPU,GPU,DSP)的空闲状态，动态地决定各网络节点运行在哪个计算处理单元上，此时，就需要对神经网络模型的网络结构进行修改，也就是需要将容器中的网络节点删除或者向容器中添加网络节点。但每删除或添加一个网络节点到容器，都需要把容器中位于它之后的所有网络节点进行移位操作，尤其当网络节点数量较多时，每进行一次网络结构调整，都需要耗费较长的时间，从而降低了采用神经网络模型推理计算的效率。
发明内容
本申请实施例提供了一种网络节点处理方法、装置、存储介质及电子设备，只需要修改该网络节点的上一网络节点以及下一网络节点的连接关系，而不需要频繁移位操作，节省了网络结构调整时间，从而可以提高采用神经网络模型推理计算的效率。所述技术方案如下：
第一方面，本申请实施例提供了一种网络节点处理方法，所述方法包括：
触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元，所述目标网络节点运行在所述第二计算处理单元；
当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元；
获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元的步骤；
当确定不存在下一个网络节点时，生成推理计算结果。
第二方面，本申请实施例提供了一种网络节点处理装置，所述装置包括：
节点确定模块，用于触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元，所述目标网络节点运行在所述第二计算处理单元；
节点分配模块，用于当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元；
节点循环模块，用于获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元的步骤；
结果生成模块，用于当确定不存在下一个网络节点时，生成推理计算结果。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元且所述目标网络节点运行在所述第二计算处理单元，当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元，并按照相同的方式处理其他网络节点，当所有网络节点处理完成时，生成推理计算结果。通过链表形式表示各网络节点，即把神经网络模型中每个网络节点用链表的方式串联起来，每进行一次网络结构调整在频繁进行网络节点的插入和删除时，即使网络节点数量较多，只需要修改该网络节点的上一网络节点以及下一网络节点的连接关系，而不需要频繁移位操作，节省了网络结构调整时间，从而可以提高采用神经网络模型推理计算的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络节点处理方法的流程示意图；
图2是本申请实施例提供的一种链表结构的举例示意图；
图3是本申请实施例提供的一种删除第一链表中网络节点的举例示意图；
图4是本申请实施例提供的一种删除第一链表中网络节点后的链表结构的举例示意图；
图5是本申请实施例提供的一种添加网络节点到第二链表中的举例示意图；
图6是本申请实施例提供的一种添加网络节点后的第二链表的结构的举例示意图；
图7是本申请实施例提供的一种网络节点处理方法的流程示意图；
图8是本申请实施例提供的一种网络节点处理装置的结构示意图；
图9是本申请实施例提供的一种网络节点处理装置的结构示意图；
图10是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面将结合附图1-附图7，对本申请实施例提供的网络节点处理方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的网络节点处理装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的网络节点处理装置可以为用户终端，所述用户终端包括但不限于：智能手机、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。
请参见图1，为本申请实施例提供的一种网络节点处理方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元，所述目标网络节点运行在所述第二计算处理单元；
神经网络是由大量的、简单的处理单元(神经元)广泛地互相连接而形成的复杂网络系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络模型是以神经元的数学模型为基础来描述的。
其中，每一个神经元为一个网络节点，也叫一个算子。
当需要采用神经网络模型进行推理计算时，根据各计算处理单元(CPU，GPU，DSP等)的负载率F以及该网络节点在各计算处理单元的执行时间t等信息，动态地决定每个网络节点需要分配到哪个处理单元上运行，因此，需要对神经网络模型的网络结构进行修改。在至少一个网络节点中，任一网络节点为目标网络节点，所有网络节点均可采用相同的方式分配。
具体修改可以包括：把网络进行切分，将各网络节点分散到各计算处理单元；根据计算处理单元的特点，需要在进入某个处理单元之前删除某个网络节点；根据计算处理单元的特点，把某几个网络节点进行合并等。
需要说明的是，在本申请实施例中，在触发神经网络模型进行推理计算前，神经网络模型的各个网络节点预存在第一计算处理单元，且以第一链表的形式预存。
第一计算处理单元可以为用户终端的任一处理单元，为系统预先配置的，如CPU。
链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为网络结点)组成，网络结点可以在运行时动态生成。
如图2所示为一种链表结构示意图，其中包括多个网络节点，每个网络结点包括两个部分：一个是存储数据元素的数据域data，另一个是存储下一个结点地址的指针域next。由于不必按顺序存储，链表在插入的时候可以达到O(1)的复杂度。
当前，需要确定第一计算处理单元上各网络节点具体分配到哪个第二计算处理单元上运行。第二计算处理单元与第一计算处理单元可以相同，也可以不同，第二计算处理单元可以包括至少一个，例如，若用户终端包括CPU、GPU以及DSP三个计算处理单元，CPU为第一计算处理单元，第二计算处理单元可以为CPU或GPU或DSP。
可以理解的是，对于神经网络模型包含的多个网络节点，可以先确定每个网络节点所属的第二计算处理单元，然后再进行节点分配，也可以先确定一个网络节点所述的第二计算处理单元，再进行分配，并在该网络节点分配完成后再按照相同的方式分配下一个网络节点。其中，每个网络节点所属的第二计算处理单元即为每个网络节点即将运行的载体(第二计算处理单元)。在本申请实施例中，以每个网络节点依次分配为例进行说明。
S102，当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元；
当所述第一计算处理单元与所述第二计算处理单元相同时，表明该节点仍然在原计算处理单元上而不需要移动到其他计算处理单元。当第一计算处理单元与所述第二计算处理单元不同时，需要将该网络节点从第一计算处理单元删除并添加至第二计算处理单元上。
若目标网络节点为q，确定该网络节点需要分配到不同于第一计算处理单元的第二计算处理单元上，则需要将q从第一链表中删除，例如，如图3所示，q的上一个节点为p，下一个节点为s，则通过将p->next＝q->next；free q，可以使p指向s，从而将q删除，而其它网络节点保持不变，删除后的第一链表结构如图4所示。
当然，还需要将所删除的q插入到第二计算处理单元上。在第二计算处理单元上同样以链表形式(第二链表)存储网络节点。当q为第一个分配到第二计算处理单元上的网络节点时，可将q直接放在第二链表中的第一个节点。当需要将q插入到第二链表上某两个网络节点之间时，如图5所示，若需要将q插入到第二链表上节点o和节点r之间时，设置q->next＝r->next；o->next＝q，从而将q插入，而其它网络节点保持不变，插入后的第二链表结构如图6所示。
S103，获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元的步骤；
例如，如图3所示，若目标网络节点为q，则目标网络节点的下一个网络节点为s，将s确定为目标网络节点后，按照与q相同的方式进行处理，并以此处理处理剩下的网络节点。
S104，当确定不存在下一个网络节点时，生成推理计算结果。
当确定不存在下一个网络节点时，表明第一链表中所存储的所有网络节点均分配完成，因此，可采用第一计算处理单元以及第二计算处理单元同时运行各网络节点，并得到推理计算结果。或者理解为，在每分配完成一个网络节点后，立即运行该网络节点，并将运行结果作为下一个网络节点的输入，直到每个处理单元上的最后一个网络节点运行完成，将运行结果组合生成最终的推理计算结果。
例如，该神经网络模型包括30个网络节点，这些网络节点按照先后顺序编号分别为1～30，若1～10分配在CPU上，11～20分配在GPU上，21～30分配在DSP上，可以在1号节点分配完成后运行该节点，然后分配2号节点，并将1号节点的运行结果作为2号节点的输入，以此类推，在10号节点运行完成后输出第一推理计算结果，按照相同的方式分别运行11～20以及21～30，在20运行完成后输出第二推理计算结果，在30运行完成后输出第三推理计算结果，然后根据第一推理计算结果、第二推理计算结果以及第三推理计算结果得到最终的推理结算结果，此时，该神经网络模型运行结束。
又例如，该神经网络模型包括30个网络节点，这些网络节点按照先后顺序编号分别为1～30，若1～10分配在CPU上，11～20分配在GPU上，21～30分配在DSP上，在所有节点均分配完成后，同时运行不同计算处理单元上的节点，最后将每个计算处理单元上的组合生成最终的推理结算结果。
在本申请实施例中，触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元且所述目标网络节点运行在所述第二计算处理单元，当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元，并按照相同的方式处理其他网络节点，当所有网络节点处理完成时，生成推理计算结果。通过链表形式表示各网络节点，即把神经网络模型中每个网络节点用链表的方式串联起来，每进行一次网络结构调整在频繁进行网络节点的插入和删除时，即使网络节点数量较多，只需要修改该网络节点的上一网络节点以及下一网络节点的连接关系，而不需要频繁移位操作，节省了网络结构调整时间，从而可以提高采用神经网络模型推理计算的效率。
请参见图7，为本申请实施例提供的一种网络节点处理方法的流程示意图。本实施例以网络节点处理方法应用于智能手机中来举例说明。该网络节点处理方法可以包括以下步骤：
S201，触发采用包括至少一个网络节点的神经网络模型进行推理计算，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元；
具体可参见S101，此处不再赘述。
S202，获取各计算处理单元的当前负载率，以及所述目标网络节点分别在所述各计算处理单元上的执行时间；
负载率F指该变压器实际承担的负荷与其容量之比，用于反应变压器的承载能力，其运行曲线是否位于最佳的75～80％之间。当前负载率即为在触发采用包括至少一个网络节点的神经网络模型进行推理计算时各计算处理单元的负载率。
假设智能手机的计算处理单元包括CPU、GPU、DSP，目标网络节点在这三个计算处理单元上的执行时间分别为t1、t2和t3，每个计算处理单元的当前负载率分别为F1、F2和F3。
S203，基于所述当前负载率以及所述执行时间，计算所述目标网络节点分别在所述各计算处理单元的执行期望；
执行期望E(device)＝epsilon*F/t，其中epsilon为修正系数，是一个可根据实验情况修改的常数。
根据上式，可得到目标网络节点在CPU、GPU、DSP的执行期望分别为：E1(device)＝epsilon*F1/t1，E2(device)＝epsilon*F2/t2，E3(device)＝epsilon*F3/t3。
S204，确定所述各计算处理单元的执行期望中的最小执行期望，将所述最小执行期望指示的计算处理单元确定为第二计算处理单元，所述第二计算处理单元包括第二链表；
具体的，找出E1、E2、E3中的最小值，若E1最小，则确定device对应CPU，将CPU作为第二计算处理单元，将目标网络节点分配至CPU上。当然，若第一计算处理单元也为CPU，表明该目标网络节点仍然需要在第一计算处理单元上运行。
可选的，若第二计算处理单元不支持该目标网络节点，则需要用其他等效网络节点替代该目标网络节点。
S205，当所述第一计算处理单元与所述第二计算处理单元不同时，控制所述第一链表中所述目标网络节点的上一个网络节点指向所述目标网络节点的下一个网络节点，并释放目标网络节点；
沿着链表指向，目标网络节点指向的网络节点为下一个网络节点，指向目标网络节点的网络节点为上一个网络节点。如图3所示，q为目标网络节点，s为下一个网络节点，p为上一个网络节点。
设置p->next＝q->next；free q，可以使p指向s，从而将q释放。
S206，控制所述第二链表中所述目标网络节点指向所述目标网络节点的下一个网络节点，并控制所述目标网络节点的上一个网络节点指向所述目标网络节点；
如图5所示，若需要将q插入到第二链表上节点o和节点r之间时，设置q->next＝r->next；o->next＝q。
S207，在所述第二计算处理单元执行所述目标网络节点；
将q插入到第二链表上后，可执行q，从而生成相应的运行结果。
可选的，在执行目标网络节点前，可根据第二计算处理单元的特点，向所述第二链表添加和/或删除辅助节点，并组合生成新的网络节点后再运行。
例如，该神经网络模型包括30个网络节点，这些网络节点按照先后顺序编号分别为1～30，若1～10分配在CPU上，11～20分配在GPU上，21～30分配在DSP上，可以在1号节点分配完成后，若需要根据CPU的特点为1号节点添加辅助节点，并组合成新的网络节点运行，然后分配2号节点。
S208，获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述获取各计算处理单元的当前负载率，以及所述目标网络节点分别在所述各计算处理单元上的执行时间的步骤；
具体可参见S103，此处不再赘述。
S209，当确定不存在下一个网络节点时，向所述第一链表添加和/或删除辅助节点，和/或向所述第二链表添加和/或删除辅助节点，生成推理计算结果。
当确定不存在下一个网络节点时，表明第一链表中所存储的所有网络节点均分配完成，则需要根据计算处理单元的特点，对第一链表以及第二链表添加或删除辅助节点或将某几个网络节点进行合并，从而组成新的网络节点，以运行该神经网络模型，在添加或删除辅助节点完成后，可采用第一计算处理单元以及第二计算处理单元运行各网络节点，并得到推理计算结果。
例如，该神经网络模型包括30个网络节点，这些网络节点按照先后顺序编号分别为1～30，若1～10分配在CPU上，11～20分配在GPU上，21～30分配在DSP上，1～10组成第一链表，11～20组成第二链表，21～30组成第三链表，在所有网络节点分配完成后分别在这三个链表中添加或删除辅助节点，或者合并几个节点，然后分别执行这三个链表上的各网络节点，从而生成最终的推理计算结果。
在本申请实施例中，触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元且所述目标网络节点运行在所述第二计算处理单元，当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元，并按照相同的方式处理其他网络节点，当所有网络节点处理完成时，生成推理计算结果。通过链表形式表示各网络节点，即把神经网络模型中每个网络节点用链表的方式串联起来，能够支持动态设备切换，进行相应的网络结构存储方式优化，且每进行一次网络结构调整在频繁进行网络节点的插入和删除时，即使网络节点数量较多，只需要修改该网络节点的上一网络节点以及下一网络节点的连接关系，而不需要频繁移位操作，节省了网络结构调整时间，从而可以提高采用神经网络模型推理计算的效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图8，其示出了本申请一个示例性实施例提供的网络节点处理装置的结构示意图。该网络节点处理装置可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。该装置1包括节点确定模块10、节点分配模块20、节点循环模块30和结果生成模块40。
节点确定模块10，用于触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元，所述目标网络节点运行在所述第二计算处理单元；
节点分配模块20，用于当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元；
节点循环模块30，用于获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元的步骤；
结果生成模块40，用于当确定不存在下一个网络节点时，生成推理计算结果。
可选的，所述节点确定模块10，具体用于：
获取各计算处理单元的当前负载率，以及所述目标网络节点分别在所述各计算处理单元上的执行时间；
基于所述当前负载率以及所述执行时间，在所述各计算处理单元中确定所述目标网络节点对应的第二计算处理单元。
可选的，所述节点确定模块10，具体用于：
基于所述当前负载率以及所述执行时间，计算所述目标节点分别在所述各计算处理单元的执行期望；
确定所述各计算处理单元的执行期望中的最小执行期望，将所述最小执行期望指示的计算处理单元确定为第二计算处理单元。
可选的，所述节点分配模块20，具体用于：
控制所述第一链表中所述目标网络节点的上一个网络节点指向所述目标网络节点的下一个网络节点，并释放目标网络节点。
可选的，所述节点分配模块20，具体用于：
将所述目标网络节点添加至所述第二计算处理单元的第二链表中，并修改所述第二链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系。
可选的，所述节点分配模块20，具体用于：
控制所述第二链表中所述目标网络节点指向所述目标网络节点的下一个网络节点，并控制所述目标网络节点的上一个网络节点指向所述目标网络节点。
可选的，如图9所示，所述装置还包括辅助节点增减模块50，用于：
向所述第一链表添加和/或删除辅助节点；和/或，
向所述第二链表添加和/或删除辅助节点
可选的，如图9所示，所述装置还包括节点执行模块60，用于：
在所述第二计算处理单元执行所述目标网络节点。
需要说明的是，上述实施例提供的网络节点处理装置在网络节点处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网络节点处理装置与网络节点处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元且所述目标网络节点运行在所述第二计算处理单元，当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元，并按照相同的方式处理其他网络节点，当所有网络节点处理完成时，生成推理计算结果。通过链表形式表示各网络节点，即把神经网络模型中每个网络节点用链表的方式串联起来，能够支持动态设备切换，进行相应的网络结构存储方式优化，且每进行一次网络结构调整在频繁进行网络节点的插入和删除时，即使网络节点数量较多，只需要修改该网络节点的上一网络节点以及下一网络节点的连接关系，而不需要频繁移位操作，节省了网络结构调整时间，从而可以提高采用神经网络模型推理计算的效率。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图7所示实施例的方法步骤，具体执行过程可以参见图1-图7所示实施例的具体说明，在此不进行赘述。
请参见图10，为本申请实施例提供了一种电子设备的结构示意图。如图10所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络节点处理应用程序。
在图10所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的网络节点处理应用程序，并具体执行以下操作：
触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元，所述目标网络节点运行在所述第二计算处理单元；
当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元；
获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元的步骤；
当确定不存在下一个网络节点时，生成推理计算结果。
在一个实施例中，所述处理器1001在执行确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元时，具体执行以下操作：
获取各计算处理单元的当前负载率，以及所述目标网络节点分别在所述各计算处理单元上的执行时间；
基于所述当前负载率以及所述执行时间，在所述各计算处理单元中确定所述目标网络节点对应的第二计算处理单元。
在一个实施例中，所述处理器1001在执行基于所述当前负载率以及所述执行时间，在所述各计算处理单元中确定所述目标网络节点对应的第二计算处理单元时，具体执行以下操作：
基于所述当前负载率以及所述执行时间，计算所述目标节点分别在所述各计算处理单元的执行期望；
确定所述各计算处理单元的执行期望中的最小执行期望，将所述最小执行期望指示的计算处理单元确定为第二计算处理单元。
在一个实施例中，所述处理器1001在执行将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系时，具体执行以下操作：
控制所述第一链表中所述目标网络节点的上一个网络节点指向所述目标网络节点的下一个网络节点，并释放目标网络节点。
在一个实施例中，所述处理器1001在执行将所述目标网络节点分配至所述第二计算处理单元时，具体执行以下操作：
将所述目标网络节点添加至所述第二计算处理单元的第二链表中，并修改所述第二链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系。
在一个实施例中，所述处理器1001在执行将所述目标网络节点添加至所述第二计算处理单元的第二链表中，并修改所述第二链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系时，具体执行以下操作：
控制所述第二链表中所述目标网络节点指向所述目标网络节点的下一个网络节点，并控制所述目标网络节点的上一个网络节点指向所述目标网络节点。
在一个实施例中，所述处理器1001在执行生成推理计算结果之前，还执行以下操作：
向所述第一链表添加和/或删除辅助节点；和/或，
向所述第二链表添加和/或删除辅助节点。
在一个实施例中，所述处理器1001在执行将所述目标网络节点分配至所述第二计算处理单元之后，还执行以下操作：
在所述第二计算处理单元执行所述目标网络节点。
在本申请实施例中，触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元且所述目标网络节点运行在所述第二计算处理单元，当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元，并按照相同的方式处理其他网络节点，当所有网络节点处理完成时，生成推理计算结果。通过链表形式表示各网络节点，即把神经网络模型中每个网络节点用链表的方式串联起来，能够支持动态设备切换，进行相应的网络结构存储方式优化，且每进行一次网络结构调整在频繁进行网络节点的插入和删除时，即使网络节点数量较多，只需要修改该网络节点的上一网络节点以及下一网络节点的连接关系，而不需要频繁移位操作，节省了网络结构调整时间，从而可以提高采用神经网络模型推理计算的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种网络节点处理方法，其特征在于，所述方法包括：
触发采用包括至少一个网络节点的神经网络模型进行推理计算，确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，所述至少一个网络节点采用第一链表的形式预存在第一计算处理单元，所述目标网络节点运行在所述第二计算处理单元；
当所述第一计算处理单元与所述第二计算处理单元不同时，将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，将所述目标网络节点分配至所述第二计算处理单元；
获取所述目标网络节点的下一个网络节点，将所述下一个网络节点确定为目标网络节点，并执行所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元的步骤；
当确定不存在下一个网络节点时，生成推理计算结果。
2.根据权利要求1所述的方法，其特征在于，所述确定所述至少一个网络节点中目标网络节点对应的第二计算处理单元，包括：
获取各计算处理单元的当前负载率，以及所述目标网络节点分别在所述各计算处理单元上的执行时间；
基于所述当前负载率以及所述执行时间，在所述各计算处理单元中确定所述目标网络节点对应的第二计算处理单元。
3.根据权利要求2所述的方法，其特征在于，所述基于所述当前负载率以及所述执行时间，在所述各计算处理单元中确定所述目标网络节点对应的第二计算处理单元，包括：
基于所述当前负载率以及所述执行时间，计算所述目标节点分别在所述各计算处理单元的执行期望；
确定所述各计算处理单元的执行期望中的最小执行期望，将所述最小执行期望指示的计算处理单元确定为第二计算处理单元。
4.根据权利要求1所述的方法，其特征在于，所述将所述目标网络节点从所述第一链表中删除并修改所述第一链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，包括：
控制所述第一链表中所述目标网络节点的上一个网络节点指向所述目标网络节点的下一个网络节点，并释放目标网络节点。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标网络节点分配至所述第二计算处理单元，包括：
将所述目标网络节点添加至所述第二计算处理单元的第二链表中，并修改所述第二链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系。
6.根据权利要求5所述的方法，其特征在于，所述将所述目标网络节点添加至所述第二计算处理单元的第二链表中，并修改所述第二链表中所述目标网络节点的上一个网络节点以及下一个网络节点的连接关系，包括：
控制所述第二链表中所述目标网络节点指向所述目标网络节点的下一个网络节点，并控制所述目标网络节点的上一个网络节点指向所述目标网络节点。
7.根据权利要求6所述的方法，其特征在于，所述生成推理计算结果之前，还包括：
向所述第一链表添加和/或删除辅助节点；和/或，
向所述第二链表添加和/或删除辅助节点。
8.根据权利要求1所述的方法，其特征在于，所述将所述目标网络节点分配至所述第二计算处理单元之后，还包括：
在所述第二计算处理单元执行所述目标网络节点。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。
CN201910903008.1A 2019-09-24 2019-09-24 网络节点处理方法、装置、存储介质及电子设备 Active CN110689114B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910903008.1A CN110689114B (zh) 2019-09-24 2019-09-24 网络节点处理方法、装置、存储介质及电子设备
PCT/CN2020/117227 WO2021057811A1 (zh) 2019-09-24 2020-09-23 网络节点处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910903008.1A CN110689114B (zh) 2019-09-24 2019-09-24 网络节点处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110689114A true CN110689114A (zh) 2020-01-14
CN110689114B CN110689114B (zh) 2023-07-18

Family

ID=69109976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910903008.1A Active CN110689114B (zh) 2019-09-24 2019-09-24 网络节点处理方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN110689114B (zh)
WO (1) WO2021057811A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057811A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 网络节点处理方法、装置、存储介质及电子设备
CN112862100A (zh) * 2021-01-29 2021-05-28 网易有道信息技术（北京）有限公司 用于优化神经网络模型推理的方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307950A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Compute optimizations for neural networks
WO2018222299A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Dynamic task allocation for neural networks
CN109361596A (zh) * 2018-10-26 2019-02-19 新华三技术有限公司合肥分公司 路由计算方法、装置及电子设备
CN109598407A (zh) * 2018-10-26 2019-04-09 阿里巴巴集团控股有限公司 一种业务流程的执行方法及装置
CN109947565A (zh) * 2019-03-08 2019-06-28 北京百度网讯科技有限公司 用于分配计算任务的方法和装置
CN109981457A (zh) * 2017-12-27 2019-07-05 华为技术有限公司 一种报文处理的方法、网络节点和系统
CN110008028A (zh) * 2019-04-10 2019-07-12 北京旷视科技有限公司 计算资源分配方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018217828A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Methods and apparatus for discriminative semantic transfer and physics-inspired optimization of features in deep learning
CN110689114B (zh) * 2019-09-24 2023-07-18 Oppo广东移动通信有限公司 网络节点处理方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307950A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Compute optimizations for neural networks
WO2018222299A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Dynamic task allocation for neural networks
CN109981457A (zh) * 2017-12-27 2019-07-05 华为技术有限公司 一种报文处理的方法、网络节点和系统
CN109361596A (zh) * 2018-10-26 2019-02-19 新华三技术有限公司合肥分公司 路由计算方法、装置及电子设备
CN109598407A (zh) * 2018-10-26 2019-04-09 阿里巴巴集团控股有限公司 一种业务流程的执行方法及装置
CN109947565A (zh) * 2019-03-08 2019-06-28 北京百度网讯科技有限公司 用于分配计算任务的方法和装置
CN110008028A (zh) * 2019-04-10 2019-07-12 北京旷视科技有限公司 计算资源分配方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹海玲等: "贝叶斯网络预测平台的设计与开发", 《计算机工程与设计》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057811A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 网络节点处理方法、装置、存储介质及电子设备
CN112862100A (zh) * 2021-01-29 2021-05-28 网易有道信息技术（北京）有限公司 用于优化神经网络模型推理的方法及设备

Also Published As

Publication number Publication date
WO2021057811A1 (zh) 2021-04-01
CN110689114B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110298437B (zh) 神经网络的分割计算方法、装置、存储介质及移动终端
US11593644B2 (en) Method and apparatus for determining memory requirement in a network
CN110532092A (zh) 资源匹配方法、装置及设备
CN110086675B (zh) 服务链的构建方法、设备及计算机可读存储介质
WO2021057811A1 (zh) 网络节点处理方法、装置、存储介质及电子设备
CN111223036A (zh) 一种gpu虚拟化共享方法、装置及电子设备和存储介质
CN112506584B (zh) 资源文件加载方法、装置、设备、存储介质以及产品
CN110109748A (zh) 一种混合语言任务执行方法、装置及集群
CN107766528B (zh) 瀑布流页面的数据加载方法、终端和计算机可读存储介质
EP4060496A2 (en) Method, apparatus, device and storage medium for running inference service platform
CN111124644B (zh) 任务调度资源的确定方法、装置及系统
CN109753353B (zh) 虚拟机资源分配方法、装置及电子设备
CN109558159A (zh) 游戏中用户界面的更新方法和装置
CN112835617A (zh) 一种灰度发布方法、装置、服务器及可读介质
CN111767433A (zh) 数据处理方法、装置、存储介质以及终端
CN115934076A (zh) 跨平台客户端的微服务提供装置、方法和电子设备
CN114139079A (zh) 一种api请求的处理方法、装置、设备及存储介质
CN114996019A (zh) 任务分配方法、装置、计算机设备、存储介质和程序产品
CN113747423A (zh) 云手机状态同步方法、装置、设备、存储介质及程序产品
JP2021144730A (ja) 命令実行方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
CN113760380A (zh) 网络模型的运行代码的确定方法、装置、设备及存储介质
CN112650763A (zh) 产品额度的配置方法、相关设备和存储介质
CN106254909B (zh) 互动内容的分发、运行方法及装置
CN112558937B (zh) 页面管理方法、装置、电子设备、介质及产品
WO2021152652A1 (ja) 割当装置、学習装置、推論装置、割当方法、及び、割当プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant