CN113344208A - 数据推理方法、装置及系统 - Google Patents

数据推理方法、装置及系统 Download PDF

Info

Publication number
CN113344208A
CN113344208A CN202110711171.5A CN202110711171A CN113344208A CN 113344208 A CN113344208 A CN 113344208A CN 202110711171 A CN202110711171 A CN 202110711171A CN 113344208 A CN113344208 A CN 113344208A
Authority
CN
China
Prior art keywords
data
inference
data set
gateway
inferred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110711171.5A
Other languages
English (en)
Other versions
CN113344208B (zh
Inventor
宋雅奇
丁鹏
沈云
阚昊龙
周恒瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202110711171.5A priority Critical patent/CN113344208B/zh
Publication of CN113344208A publication Critical patent/CN113344208A/zh
Application granted granted Critical
Publication of CN113344208B publication Critical patent/CN113344208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及数据推理方法、装置及系统、计算机可存储介质，涉及计算机技术领域。数据推理方法包括：接收来自边缘端的待推理数据集；划分所述待推理数据集为网关数据集和服务器数据集，使得对所述待推理数据集进行数据推理的总时延最小，所述总时延基于边缘网关的第一数据推理模型对所述网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对所述服务器数据集进行数据推理的第二时延确定；接收所述第一数据推理模型对所述网关数据集进行数据推理得到的第一推理结果；接收所述第二数据推理模型对所述服务器数据集进行数据推理得到的第二推理结果；融合所述第一推理结果和所述第二推理结果，得到目标推理结果。

Description

数据推理方法、装置及系统
技术领域
本公开涉及计算机技术领域，特别涉及数据推理方法、装置及系统、计算机可存储介质。
背景技术
相关技术中，利用边缘网关中部署的数据推理模型对待推理数据集进行数据推理，或者利用边缘服务器中部署的数据推理模型对待推理数据集进行数据推理。
发明内容
相关技术中，利用边缘网关中部署的数据推理模型对待推理数据集进行数据推理，需提高边缘网关的计算能力，部署更多的计算资源，从而成本教高；利用边缘服务器中部署的数据推理模型对待推理数据集进行数据推理，时延较长。
针对上述技术问题，本公开提出了一种解决方案，可以在不增加成本的情况下，提高数据推理的效率。
根据本公开的第一方面，提供了一种数据推理方法，包括：接收来自边缘端的待推理数据集；划分所述待推理数据集为网关数据集和服务器数据集，使得对所述待推理数据集进行数据推理的总时延最小，所述总时延基于边缘网关的第一数据推理模型对所述网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对所述服务器数据集进行数据推理的第二时延确定；接收所述第一数据推理模型对所述网关数据集进行数据推理得到的第一推理结果；接收所述第二数据推理模型对所述服务器数据集进行数据推理得到的第二推理结果；融合所述第一推理结果和所述第二推理结果，得到目标推理结果。
在一些实施例中，划分所述待推理数据集为网关数据集和服务器数据集包括：获取以所述总时延为目标、以对所述待推理数据集进行划分的划分比例为待求解变量的目标函数；基于所述目标函数，确定所述划分比例的取值，使得所述总时延最小；根据所确定的划分比例，划分所述待推理数据集为网关数据集和服务器数据集。
在一些实施例中，所述数据推理模型为神经网络模型，所述待求解变量还包括所述边缘网关的第一神经网络模型用于数据推理的目标网络层数，所述目标网络层数为大于0且小于所述第一神经网络模型的总网络层数的正整数，基于所述目标函数，确定所述划分比例的取值，使得所述总时延最小包括：基于所述目标函数，确定所述划分比例和所述目标网络层数的一组取值，使得所述总时延最小，发送所确定的目标网络层数到所述边缘网关的第一神经网络模型；其中，接收所述边缘网关的第一神经网络模型基于所述目标网络层数对所述网关数据集进行数据推理得到的第一推理结果。
在一些实施例中，所述目标函数包括表征所述边缘网关的第一神经网络模型的数据推理能力的参数，基于所述目标函数，确定一组所述划分比例和所述目标网络层数的取值包括：利用所述参数的参数值，替换所述目标函数中的所述参数，所述参数的参数值根据所述边缘网关的第一神经网络模型的在历史时间内的数据推理情况信息确定；基于替换所述参数后的目标函数，确定所述划分比例和所述目标网络层数的一组取值，使得所述总时延最小。
在一些实施例中，数据推理方法，还包括：根据所述参数的参数值，确定利用第二神经网络模型对所述网关数据集进行二次数据推理的二次推理比例；根据所述二次推理比例，从所述网关数据集中，划分出用于二次数据推理的网关数据子集，所述总时延基于所述第一时延、所述第二时延和第三时延确定，所述第三时延为所述第二神经网络模型对所述网关数据子集进行二次数据推理的时延；发送所述网关数据子集到所述第二神经网络模型；接收所述第二神经网络模型对所述网关数据子集进行二次数据推理得到的第三推理结果，其中，融合所述第一推理结果、所述第二推理结果和所述第三推理结果，得到所述目标推理结果。
在一些实施例中，所确定的目标网络层数为S，所述第二神经网络模型的总网络层数为N，S和N均为正整数，接收所述边缘网关的第一神经网络模型基于所述目标网络层数对所述网关数据集进行数据推理得到的第一推理结果包括：接收所述第一神经网络模型利用其第1网络层至第S网络层对所述网关数据集进行数据推理得到的第一推理结果；接收所述第二神经网络模型对所述网关数据子集进行二次数据推理得到的第三推理结果包括：接收所述第二神经网络模型利用其第S+1网络层至第N网络层对所述网关数据子集进行二次数据推理得到的第三推理结果。
在一些实施例中，所述总时延为所述第一时延、所述第二时延与所述第三时延的和中的最大值。
在一些实施例中，所述第一时延基于所述目标网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小和所述第一神经网络模型的每层进行数据推理的时延确定；所述第二时延基于所述第二神经网络模型的总网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小和所述第二神经网络模型的每层进行数据推理的时延确定；所述第三时延基于所述目标网络层数、所述第二神经网络模型的总网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小、所述第二神经网络模型的每层进行数据推理的时延和所述参数确定。
在一些实施例中，所述划分比例为所述网关数据集的数据量与所述待推理数据集的数据量的比值，所述划分比例大于0且小于1，所述第一时延分别与所述目标网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小和所述第一神经网络模型的每层进行数据推理的时延成正相关；所述第二时延与所述划分比例成负相关，且分别与所述第二神经网络模型的总网络层数、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小、所述第二神经网络模型的每层进行数据推理的时延和所述参数成正相关；所述第三时延分别与所述第二神经网络模型的总网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小、所述第二神经网络模型的每层进行数据推理的时延和所述参数成正相关，且与所述目标网络层数成负相关。
在一些实施例中，所述第三时延还与预设的惩罚系数成正相关，所述惩罚系数表征所述边缘服务器等待所述边缘网关进行数据推理的时延。
在一些实施例中，所述第一时延与所述划分比例、所述待推理数据集的数据量和所述待推理数据集的单位数据量的数据大小的乘积成正相关；所述第二时延与所述划分比例、所述待推理数据集的数据量和所述待推理数据集的单位数据量的数据大小的乘积成负相关；所述第三时延与所述惩罚系数、所述参数、所述划分比例、所述待推理数据集的数据量和所述待推理数据集的单位数据量的数据大小的乘积成负相关。
在一些实施例中，所述参数包括所述边缘网关进行数据推理的推理错误概率和推理错误的数据量占比中的至少一种，所述推理错误概率为所述边缘网关在所述历史时间内推理错误的各条数据的错误概率的平均值，所述推理错误的数据量占比为所述边缘网关在历史时间内推理错误的数据量与用于数据推理的总数据量的比值。
在一些实施例中，基于替换所述参数后的目标函数，确定一组所述划分比例和所述目标网络层数的取值包括：获取与替换所述参数后的目标函数对应的关于所述划分比例和所述目标网络层数之间的函数关系的参考函数，所述参考函数基于替换所述参数后的目标函数确定；针对所述目标网络层数的每个取值，利用所述参考函数，确定与所述目标网络层数的每个取值对应的划分比例的取值；针对所述划分比例和所述目标网络层数的每组取值，利用所述目标函数，确定与所述每组取值对应的总时延；从所述划分比例和所述目标网络层数的各组取值中，选择与最小的总时延对应的所述划分比例和所述目标网络层数的一组取值。
在一些实施例中，所述划分比例为所述网关数据集的数据量与所述待推理数据集的数据量的比值，所述划分比例大于0且小于1，所确定的目标网络层数为S，所述第一神经网络模型和所述第二神经网络模型的总网络层数均为N，S和N均为正整数，在S大于或等于1且小于或等于N/2的情况下，所述划分比例与所述目标网络层数成负相关；在S大于N/2且小于N的情况下，所述划分比例与所述目标网络层数成正相关。
在一些实施例中，所述第一数据推理模型和所述第二数据推理模型由所述云端利用所述边缘端的历史数据训练同一数据推理模型得到。
在一些实施例中，所述待推理数据集为图像数据集或视频数据集，所述推理结果为图像识别结果。
根据本公开第二方面，提供了一种数据推理装置，包括：第一接收模块，被配置为接收来自边缘端的待推理数据集；划分模块，被配置为划分所述待推理数据集为网关数据集和服务器数据集，使得对所述待推理数据集进行数据推理的总时延最小，所述总时延基于边缘网关的第一数据推理模型对所述网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对所述服务器数据集进行数据推理的第二时延确定；第二接收模块，被配置为接收所述第一数据推理模型对所述网关数据集进行数据推理得到的第一推理结果；第三接收模块，被配置为接收所述第二数据推理模型对所述服务器数据集进行数据推理得到的第二推理结果；融合模块，被配置为融合所述第一推理结果和所述第二推理结果，得到目标推理结果。
根据本公开第三方面，提供了一种数据推理装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的数据推理方法。
根据本公开的第四方面，提供了一种数据推理系统，包括：上述任一实施例所述的数据推理装置。
在一些实施例中，数据推理系统，还包括：边缘网关，被配置为利用部署在所述边缘网关的第一数据推理模型对网关数据集进行数据推理，得到第一推理结果，并将所述第一推理结果发送到所述数据推理装置；边缘服务器，被配置为利用部署在所述边缘服务器的第二数据推理模型对服务器数据集进行数据推理，得到第二推理结果，并将所述第二推理结果发送到所述数据推理装置。
根据本公开的第五方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的数据推理方法。
在上述实施例中，可以在不增加成本的情况下，提高数据推理的效率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的数据推理方法的流程图；
图2是示出根据本公开一些实施例的划分待推理数据集为网关数据集和服务器数据集的流程图；
图3是示出根据本公开一些实施例的数据推理装置的框图；
图4是示出根据本公开另一些实施例的数据推理装置的框图；
图5是示出根据本公开一些实施例的数据推理系统的框图；
图6是示出根据本公开另一些实施例的数据推理系统的框图；
图7是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出根据本公开一些实施例的数据推理方法的流程图。
如图1所示，数据推理方法包括：步骤S110，接收来自边缘端的待推理数据集；步骤S130，划分待推理数据集为网关数据集和服务器数据集；步骤S150，接收第一数据推理模型对网关数据集进行数据推理得到的第一推理结果；步骤S170，接收第二数据推理模型对服务器数据集进行数据推理得到的第二推理结果；步骤S190，融合第一推理结果和第二推理结果，得到目标推理结果。例如，数据推理方法由数据推理装置执行。在一些实施例中，数据推理装置部署在边缘网关中。
在上述实施例中，将来自边缘端的待推理数据集划分为网关数据集和服务器数据集，分别在边缘网关和边缘服务器上进行数据推理，实现了边缘网关和边缘服务器的数据推理所需的计算资源等的合理分配，可以在不增加资源成本的同时，提高数据推理的效率。
在步骤S110中，接收来自边缘端的待推理数据集。例如，边缘端部署有图像传感器。图像传感器可以为摄像头，作为智能感应设备。图像传感器负责采集视频流。
例如，本公开的数据推理方法可以用于视觉检测场景。这种情况下，待推理数据集为图像数据集或视频数据集。在接收到边缘端的图像数据集或视频数据集后，还可以对图像数据集或视频数据集进行去噪等预处理操作。
在步骤S130中，划分待推理数据集为网关数据集和服务器数据集，使得对待推理数据集进行数据推理的总时延最小。总时延基于边缘网关的第一数据推理模型对网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对服务器数据集进行数据推理的第二时延确定。
在一些实施例中，第一数据推理模型和第二数据推理模型由云端利用边缘端的历史数据训练同一数据推理模型得到。
例如，可以通过如图2所示的方式实现上述步骤S130。
图2是示出根据本公开一些实施例的划分待推理数据集为网关数据集和服务器数据集的流程图。
如图2所示，划分待推理数据集为网关数据集和服务器数据集包括步骤S131-步骤S133。
在步骤S131中，获取以总时延为目标、以对待推理数据集进行划分的划分比例为待求解变量的目标函数。
在一些实施例中，划分比例为网关数据集的数据量与待推理数据集的数据量的比值，划分比例大于0且小于1。例如，划分比例用β表示。在另一些实施例中，划分比例还可以是网关数据集的数据量与服务器数据集的数据量的比值，还可以是服务器数据集的数据量与网关数据集的数据量的比值，还可以是服务器数据集的数据量与待推理数据集的数据量的比值。
在一些实施例中，数据推理模型为神经网络模型。目标函数的待求解变量还包括边缘网关的第一神经网络模型用于数据推理的目标网络层数。目标网络层数为大于0且小于第一神经网络模型的总网络层数的正整数。例如，目标网络层数表示为S，第一神经网络模型和第二神经网络模型的总网络层数均表示为N。S和N均为正整数。
在一些实施例中，目标函数包括表征边缘网关的第一神经网络模型的数据推理能力的参数。例如，参数包括边缘网关进行数据推理的推理错误概率(例如表示为ξ)和推理错误的数据量占比(例如表示为ω)中的至少一种。推理错误概率为边缘网关在历史时间内推理错误的各条数据的错误概率的平均值。推理错误的数据量占比为边缘网关在历史时间内推理错误的数据量与用于数据推理的总数据量的比值。
在步骤S132中，基于目标函数，确定划分比例的取值，使得总时延最小。
以目标函数的待求解变量还包括目标网络层数为例，可以基于目标函数，确定划分比例和目标网络层数的一组取值，使得总时延最小。
在一些实施例中，以目标函数包括表征边缘网关的第一神经网络模型的数据推理能力的参数为例，在确定所述划分比例和所述目标网络层数的一组取值之后，根据参数的参数值，确定利用第二神经网络模型对网关数据集进行二次数据推理的二次推理比例。例如，二次推理比例为ξ×ω。二次推理比例用于对网关数据集进行二次划分，确定进行二次数据推理的网关数据子集。
在这种情况下，总时延基于第一时延、第二时延和第三时延确定。第三时延为第二神经网络模型对网关数据子集进行二次数据推理的时延。
在一些实施例中，第一时延基于目标网络层数S、划分比例β、待推理数据集的数据量n、待推理数据集的单位数据量的数据大小(例如表示为d)和第一神经网络模型的每层进行数据推理的时延(例如第i层的时延表示为
Figure BDA0003133027010000091
)确定。
以划分比例为网关数据集的数据量与待推理数据集的数据量的比值为例，第一时延分别与目标网络层数、划分比例、待推理数据集的数据量、待推理数据集的单位数据量的数据大小和第一神经网络模型的每层进行数据推理的时延成正相关。
例如，第一时延与划分比例、待推理数据集的数据量和待推理数据集的单位数据量的数据大小的乘积成正相关。例如，第一时延
Figure BDA0003133027010000101
在一些实施例中，第二时延基于第二神经网络模型的总网络层数N、划分比例β、待推理数据集的数据量n、待推理数据集的单位数据量的数据大小d和第二神经网络模型的每层进行数据推理的时延(例如第i层的时延表示为
Figure BDA0003133027010000102
)确定。
以划分比例为网关数据集的数据量与待推理数据集的数据量的比值为例，第二时延与划分比例成负相关，且分别与第二神经网络模型的总网络层数、待推理数据集的数据量、待推理数据集的单位数据量的数据大小、第二神经网络模型的每层进行数据推理的时延和参数成正相关。
例如，第二时延与划分比例、待推理数据集的数据量和待推理数据集的单位数据量的数据大小的乘积成负相关。例如，第二时延
Figure BDA0003133027010000103
在一些实施例中，第三时延基于目标网络层数S、第二神经网络模型的总网络层数N、划分比例β、待推理数据集的数据量n、待推理数据集的单位数据量的数据大小d、第二神经网络模型的每层进行数据推理的时延
Figure BDA0003133027010000104
和参数ξ、ω确定。
以划分比例为网关数据集的数据量与待推理数据集的数据量的比值为例，第三时延分别与第二神经网络模型的总网络层数、划分比例、待推理数据集的数据量、待推理数据集的单位数据量的数据大小、第二神经网络模型的每层进行数据推理的时延和参数成正相关，且与目标网络层数成负相关。在一些实施例中，第三时延还与预设的惩罚系数(例如表示为λ)成正相关。惩罚系数表征边缘服务器等待边缘网关进行数据推理的时延。惩罚系数大于或等于0且小于1。
例如，第三时延与惩罚系数、参数、划分比例、待推理数据集的数据量和待推理数据集的单位数据量的数据大小的乘积成负相关。例如，第三时延为：
Figure BDA0003133027010000111
Ttrans为二次推理过程中的实际推理时延，Tidle为二次推理过程中的闲置时延。
例如，总时延为第一时延、第二时延与第三时延的和中的最大值。此时，总时延为：
Figure BDA0003133027010000112
Figure BDA0003133027010000113
其中，max{}表示取最大值。
以目标函数包括表征边缘网关的第一神经网络模型的数据推理能力的参数为例，可以通过如下的方式确定划分比例和目标网络层数的一组取值。
首先，利用上述参数的参数值，替换目标函数中的参数。参数的参数值根据边缘网关的第一神经网络模型在历史时间内的数据推理情况信息确定。应当理解，此处的参数指代的是参数常量，在不同的时间参数的参数值可以是不同的值。
然后，基于替换参数后的目标函数，确定划分比例和目标网络层数的一组取值，使得总时延最小。
在一些实施例中，可以通过如下的方式实现基于替换参数后的目标函数，确定划分比例和目标网络层数的一组取值，使得总时延最小。
首先，获取与替换参数后的目标函数对应的关于划分比例和目标网络层数之间的函数关系的参考函数，参考函数基于替换参数后的目标函数确定。
以划分比例为所述网关数据集的数据量与所述待推理数据集的数据量的比值、目标网络层数为S、第一神经网络模型和第二神经网络模型的总网络层数均为N为例，在S大于或等于1且小于或等于N/2的情况下，划分比例与目标网络层数成负相关。在S大于N/2且小于N的情况下，划分比例与目标网络层数成正相关。
以0<β<1、0<ω≤1、0<S<N、0≤λ<1、0≤ξ<0.5为例，可知：-1≤(1+λ)ωξ-1<0。
在Tedge_gateway≤Tedge_server的情况下：
Figure BDA0003133027010000121
此时，Ttotal＝Tedge_server，在β取最大值的时候，Ttotal最小。
在Tedge_server≥Tedge_gateway的情况下：
Figure BDA0003133027010000122
此时，Ttotal＝Tedge_server，在β取最小值的时候，Ttotal最小。
可见，Ttotal最小时，
Figure BDA0003133027010000123
即为关于划分比例β和目标网络层数S之间的函数关系的参考函数。
然后，针对目标网络层数的每个取值，利用参考函数，确定与目标网络层数的每个取值对应的划分比例的取值。目标网络层数S的取值为大于或等于1且小于N的整数，即取值为1～(N-1)。针对S在1～(N-1)的每个取值，利用上述参考函数，可以确定相应的划分比例β的取值，从而得到划分比例和目标网络层数的多组取值。
再然后，针对划分比例和目标网络层数的每组取值，利用目标函数，确定与每组取值对应的总时延。
例如，可以利用目标函数
Figure BDA0003133027010000124
Figure BDA0003133027010000125
确定每组取值所对应的总时延。
例如，还可以根据上述参考函数，确定目标函数的另一种表示方式
Figure BDA0003133027010000126
根据该公式，也可以确定每组取值所对应的总时延。
最后，从划分比例和目标网络层数的各组取值中，选择与最小的总时延对应的划分比例和目标网络层数的一组取值。
在步骤S133中，根据所确定的划分比例，划分待推理数据集为网关数据集和服务器数据集。以划分比例为网关数据集的数据量与待推理数据集的数据量的比值为例，例如待推理数据集包括n条待推理数据，划分比例为β，则网关数据集有β×n条，服务器数据集有(1-β)×n条。
在确定二次推理比例后，根据二次推理比例，从网关数据集中，划分出用于二次数据推理的网关数据子集。例如，网关数据子集的数据量为ξ×ω×β×n条。
在划分出网关数据子集后，发送网关数据子集到第二神经网络模型，并接收第二神经网络模型对网关数据子集进行二次数据推理得到的第三推理结果。以目标网络层数为S、第二神经网络模型的总网络层数为N为例，接收边缘服务器的第二神经网络模型利用其第S+1网络层至第N网络层对网关数据子集进行二次数据推理得到的第三推理结果。以待推理数据集为图像数据集或视频数据集，第三推理结果为图像识别结果。例如识别劣质产品。
返回图1，在步骤S150中，接收第一数据推理模型对网关数据集进行数据推理得到的第一推理结果。即，调用边缘网关中部署的第一数据推理模型对网关数据集进行数据推理。以待推理数据集为图像数据集或视频数据集，第一推理结果为图像识别结果。例如识别劣质产品。
以目标函数的待求解变量还包括目标网络层数为例，发送所确定的目标网络层数到边缘网关的第一神经网络模型，并接收边缘网关的第一神经网络模型基于目标网络层数对网关数据集进行数据推理的第一推理结果。以目标网络层数为S为例，接收边缘网关的第一神经网络模型利用其第1网络层至第S网络层对网关数据集进行数据推理得到的第一推理结果。通过引入目标网络层数，降低边缘网关的数据推理压力，降低数据推理的总时延，提高数据推理的效率。
在步骤S170中，接收第二数据推理模型对服务器数据集进行数据推理得到的第二推理结果。即，调用边缘服务器中部署的第二数据推理模型对网关数据集进行数据推理。以待推理数据集为图像数据集或视频数据集，第二推理结果为图像识别结果。例如识别劣质产品。
在步骤S190中，融合第一推理结果和第二推理结果，得到目标推理结果。
以利用第二神经网络模型，对网关数据子集进行二次数据推理为例，融合第一推理结果、第二推理结果和第三推理结果，得到目标推理结果。以待推理数据集为图像数据集或视频数据集，目标推理结果为图像识别结果。例如识别劣质产品。例如，上述融合操作即为归一化处理操作。
在一些实施例中，在得到目标推理结果后，可以根据预设的推理结果与决策信息之间的对应关系，确定与目标推理结果对应的目标决策信息，并根据目标决策信息生成并执行控制指令。控制指令例如用于控制操控机械臂完成生产任务，例如拣选出劣质产品。
图3是示出根据本公开一些实施例的数据推理装置的框图。
如图3所示，数据推理装置31包括第一接收模块311、划分模块312、第二接收模块313、第三接收模块314和融合模块315。例如，数据推理装置31部署在边缘网关中，降低时延，提高数据推理效率。
第一接收模块311被配置为接收来自边缘端的待推理数据集，例如执行如图1所示的步骤S110。
划分模块312被配置为划分待推理数据集为网关数据集和服务器数据集，使得对待推理数据集进行数据推理的总时延最小，例如执行如图1所示的步骤S130。总时延基于边缘网关的第一数据推理模型对网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对服务器数据集进行数据推理的第二时延确定。
第二接收模块313被配置为接收第一数据推理模型对网关数据集进行数据推理得到的第一推理结果，例如执行如图1所示的步骤S150。
第三接收模块314被配置为接收第二数据推理模型对服务器数据集进行数据推理得到的第二推理结果，例如执行如图1所示的步骤S170。
融合模块315被配置为融合第一推理结果和第二推理结果，得到目标推理结果，例如执行如图1所示的步骤S190。
图4是示出根据本公开另一些实施例的数据推理装置的框图。
如图4所示，数据推理装置41包括存储器411；以及耦接至该存储器411的处理器412。存储器411用于存储执行数据推理方法对应实施例的指令。处理器412被配置为基于存储在存储器411中的指令，执行本公开中任意一些实施例中的数据推理方法。
图5是示出根据本公开一些实施例的数据推理系统的框图。
如图5所示，数据推理系统5包括数据推理装置51。数据推理装置51被配置为执行本公开中任意一些实施例中的数据推理方法。
在一些实施例中，数据推理系统5还包括边缘网关52。边缘网关52被配置为利用部署在边缘网关的第一数据推理模型对网关数据集进行数据推理，得到第一推理结果，并将第一推理结果发送到数据推理装置51。例如，数据推理装置51可以部署在边缘网关52中。
在一些实施例中，数据推理系统5还包括边缘服务器53。边缘服务器53被配置为利用部署在边缘服务器的第二数据推理模型对服务器数据集进行数据推理，得到第二推理结果，并将第二推理结果发送到数据推理装置51。
图6是示出根据本公开另一些实施例的数据推理系统的框图。
如图6所示，数据推理系统6包括边缘端的智能感应设备60、边缘网关61、边缘服务器62和云端63。例如，智能感应设备60为边缘端的摄像头等图像传感器。
智能感应设备60包括视频流输入模块601和数据上传模块602。
边缘网关61包括任务分配模块611、第一图像处理模块612、第一神经网络推理模块613、推理归一化模块614、决策模块615和生产控制模块616。例如，任务分配模块611、推理归一化模块614、决策模块615和生产控制模块616封装为数据推理装置。第一图像处理模块612也可以封装在数据推理装置中。
边缘服务器62包括第二图像处理模块621、第二神经网络推理模块622。
云端63包括云平台631、模型训练模块632、模型下发模块633。
视频流输入模块601被配置为获取历史时间段的视频流，并通过数据上传模块602上传到云平台631。云平台631对视频流进行预处理得到训练数据，发送训练数据到模型训练模块632，模型训练模块632利用训练数据训练神经网络模型，并将训练好的神经网络模型通过模型下发模块633下发到第一神经网络推理模块613和第二神经网络推理模块622。
视频流输入模块601获取并发送实时的视频流(待推理数据集)到任务分配模块611，任务分配模块611划分视频流为网关视频流(网关数据集)和服务器视频流(服务器数据集)，使得对视频流进行图像识别的总时延最小。总时延基于第一神经网络推理模块613对网关视频流进行图像识别的第一时延和第二神经网络推理模块622对服务器视频流进行图像识别的第二时延确定。此处的具体处理逻辑与前述实施例类似，此处不再赘述。
任务分配模块611还将网关视频流和服务器视频流分别发送到第一图像处理模块612和第二图像处理模块621，分别进行图像预处理操作。
第一图像处理模块612将预处理后的网关视频流发送到第一神经网络推理模块613。第一神经网络推理模块613对网关视频流进行图像识别的第一识别结果。
第二图像处理模块621将预处理后的服务器视频流发送到第二神经网络推理模块622。第二神经网络推理模块622对服务器视频流进行图像识别的第一识别结果。
推理归一化模块614接收第一神经网络推理模块613对网关视频流进行图像识别的第一识别结果，也接收第二神经网络推理模块622对服务器视频流进行图像识别的第二识别结果，并对第一识别结果和第二识别结果进行融合(归一化处理)，得到目标识别结果，并将目标识别结果发送到决策模块615。
决策模块615根据预设的识别结果与决策信息之间的对应关系，确定与目标识别结果对应的目标决策信息，并发送目标决策信息到生产控制模块616。
生产控制模块616根据目标决策信息生成并执行控制指令。
在一些实施例中，边缘服务器62还包括模型优化模块623，被配置为对神经网络模型进行优化。
在一些实施例中，云端63还包括前端展示模块630和第三神经网络推理模块634。
前端展示模块630被配置为接收云平台631的视频流数据并进行展示。第三神经网络推理模块634被配置为响应于用户配置利用云端进行图像识别，对来自数据上传模块602的视频流进行图像识别，并将图像识别的识别结果发送到决策模块615。此种情况通常用于处理数据量巨大、对推理时延延迟不敏感的生产任务。
在本公开中，边缘网关61和边缘服务器62也可以单独对视频流进行图像识别。边缘网关61单独对视频流进行图像识别时，β等于1。边缘服务器62单独对视频流进行图像识别时，β等于0。
图7是示出用于实现本公开一些实施例的计算机系统的框图。
如图7所示，计算机系统70可以通用计算设备的形式表现。计算机系统70包括存储器710、处理器720和连接不同系统组件的总线700。
存储器710例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行数据推理方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器720可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线700可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统70还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间可以通过总线700连接。输入输出接口730可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的数据推理方法、装置及系统、计算机可存储介质，可以在不增加成本的情况下，提高数据推理的效率。
至此，已经详细描述了根据本公开的数据推理方法、装置及系统、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (21)

1.一种数据推理方法，包括：
接收来自边缘端的待推理数据集；
划分所述待推理数据集为网关数据集和服务器数据集，使得对所述待推理数据集进行数据推理的总时延最小，所述总时延基于边缘网关的第一数据推理模型对所述网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对所述服务器数据集进行数据推理的第二时延确定；
接收所述第一数据推理模型对所述网关数据集进行数据推理得到的第一推理结果；
接收所述第二数据推理模型对所述服务器数据集进行数据推理得到的第二推理结果；
融合所述第一推理结果和所述第二推理结果，得到目标推理结果。
2.根据权利要求1所述的数据推理方法，其中，划分所述待推理数据集为网关数据集和服务器数据集包括：
获取以所述总时延为目标、以对所述待推理数据集进行划分的划分比例为待求解变量的目标函数；
基于所述目标函数，确定所述划分比例的取值，使得所述总时延最小；
根据所确定的划分比例，划分所述待推理数据集为网关数据集和服务器数据集。
3.根据权利要求2所述的数据推理方法，其中，所述数据推理模型为神经网络模型，所述待求解变量还包括所述边缘网关的第一神经网络模型用于数据推理的目标网络层数，所述目标网络层数为大于0且小于所述第一神经网络模型的总网络层数的正整数，基于所述目标函数，确定所述划分比例的取值，使得所述总时延最小包括：
基于所述目标函数，确定所述划分比例和所述目标网络层数的一组取值，使得所述总时延最小，
发送所确定的目标网络层数到所述边缘网关的第一神经网络模型；
其中，接收所述边缘网关的第一神经网络模型基于所述目标网络层数对所述网关数据集进行数据推理得到的第一推理结果。
4.根据权利要求3所述的数据推理方法，其中，所述目标函数包括表征所述边缘网关的第一神经网络模型的数据推理能力的参数，基于所述目标函数，确定一组所述划分比例和所述目标网络层数的取值包括：
利用所述参数的参数值，替换所述目标函数中的所述参数，所述参数的参数值根据所述边缘网关的第一神经网络模型的在历史时间内的数据推理情况信息确定；
基于替换所述参数后的目标函数，确定所述划分比例和所述目标网络层数的一组取值，使得所述总时延最小。
5.根据权利要求4所述的数据推理方法，还包括：
根据所述参数的参数值，确定利用第二神经网络模型对所述网关数据集进行二次数据推理的二次推理比例；
根据所述二次推理比例，从所述网关数据集中，划分出用于二次数据推理的网关数据子集，所述总时延基于所述第一时延、所述第二时延和第三时延确定，所述第三时延为所述第二神经网络模型对所述网关数据子集进行二次数据推理的时延；
发送所述网关数据子集到所述第二神经网络模型；
接收所述第二神经网络模型对所述网关数据子集进行二次数据推理得到的第三推理结果，
其中，融合所述第一推理结果、所述第二推理结果和所述第三推理结果，得到所述目标推理结果。
6.根据权利要求5所述的数据推理方法，其中，所确定的目标网络层数为S，所述第二神经网络模型的总网络层数为N，S和N均为正整数，
接收所述边缘网关的第一神经网络模型基于所述目标网络层数对所述网关数据集进行数据推理得到的第一推理结果包括：接收所述第一神经网络模型利用其第1网络层至第S网络层对所述网关数据集进行数据推理得到的第一推理结果；
接收所述第二神经网络模型对所述网关数据子集进行二次数据推理得到的第三推理结果包括：接收所述第二神经网络模型利用其第S+1网络层至第N网络层对所述网关数据子集进行二次数据推理得到的第三推理结果。
7.根据权利要求5所述的数据推理方法，其中，所述总时延为所述第一时延、所述第二时延与所述第三时延的和中的最大值。
8.根据权利要求5所述的数据推理方法，其中，
所述第一时延基于所述目标网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小和所述第一神经网络模型的每层进行数据推理的时延确定；
所述第二时延基于所述第二神经网络模型的总网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小和所述第二神经网络模型的每层进行数据推理的时延确定；
所述第三时延基于所述目标网络层数、所述第二神经网络模型的总网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小、所述第二神经网络模型的每层进行数据推理的时延和所述参数确定。
9.根据权利要求8所述的数据推理方法，其中，
所述划分比例为所述网关数据集的数据量与所述待推理数据集的数据量的比值，所述划分比例大于0且小于1，
所述第一时延分别与所述目标网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小和所述第一神经网络模型的每层进行数据推理的时延成正相关；
所述第二时延与所述划分比例成负相关，且分别与所述第二神经网络模型的总网络层数、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小、所述第二神经网络模型的每层进行数据推理的时延和所述参数成正相关；
所述第三时延分别与所述第二神经网络模型的总网络层数、所述划分比例、所述待推理数据集的数据量、所述待推理数据集的单位数据量的数据大小、所述第二神经网络模型的每层进行数据推理的时延和所述参数成正相关，且与所述目标网络层数成负相关。
10.根据权利要求9所述的数据推理方法，其中，所述第三时延还与预设的惩罚系数成正相关，所述惩罚系数表征所述边缘服务器等待所述边缘网关进行数据推理的时延。
11.根据权利要求10所述的数据推理方法，其中，
所述第一时延与所述划分比例、所述待推理数据集的数据量和所述待推理数据集的单位数据量的数据大小的乘积成正相关；
所述第二时延与所述划分比例、所述待推理数据集的数据量和所述待推理数据集的单位数据量的数据大小的乘积成负相关；
所述第三时延与所述惩罚系数、所述参数、所述划分比例、所述待推理数据集的数据量和所述待推理数据集的单位数据量的数据大小的乘积成负相关。
12.根据权利要求4所述的数据推理方法，其中，所述参数包括所述边缘网关进行数据推理的推理错误概率和推理错误的数据量占比中的至少一种，所述推理错误概率为所述边缘网关在所述历史时间内推理错误的各条数据的错误概率的平均值，所述推理错误的数据量占比为所述边缘网关在历史时间内推理错误的数据量与用于数据推理的总数据量的比值。
13.根据权利要求4所述的数据推理方法，其中，基于替换所述参数后的目标函数，确定一组所述划分比例和所述目标网络层数的取值包括：
获取与替换所述参数后的目标函数对应的关于所述划分比例和所述目标网络层数之间的函数关系的参考函数，所述参考函数基于替换所述参数后的目标函数确定；
针对所述目标网络层数的每个取值，利用所述参考函数，确定与所述目标网络层数的每个取值对应的划分比例的取值；
针对所述划分比例和所述目标网络层数的每组取值，利用所述目标函数，确定与所述每组取值对应的总时延；
从所述划分比例和所述目标网络层数的各组取值中，选择与最小的总时延对应的所述划分比例和所述目标网络层数的一组取值。
14.根据权利要求13所述的数据推理方法，其中，所述划分比例为所述网关数据集的数据量与所述待推理数据集的数据量的比值，所述划分比例大于0且小于1，所确定的目标网络层数为S，所述第一神经网络模型和所述第二神经网络模型的总网络层数均为N，S和N均为正整数，
在S大于或等于1且小于或等于N/2的情况下，所述划分比例与所述目标网络层数成负相关；
在S大于N/2且小于N的情况下，所述划分比例与所述目标网络层数成正相关。
15.根据权利要求1所述的数据推理方法，其中，
所述第一数据推理模型和所述第二数据推理模型由所述云端利用所述边缘端的历史数据训练同一数据推理模型得到。
16.根据权利要求1所述的数据推理方法，其中，所述待推理数据集为图像数据集或视频数据集，所述推理结果为图像识别结果。
17.一种数据推理装置，包括：
第一接收模块，被配置为接收来自边缘端的待推理数据集；
划分模块，被配置为划分所述待推理数据集为网关数据集和服务器数据集，使得对所述待推理数据集进行数据推理的总时延最小，所述总时延基于边缘网关的第一数据推理模型对所述网关数据集进行数据推理的第一时延和边缘服务器的第二数据推理模型对所述服务器数据集进行数据推理的第二时延确定；
第二接收模块，被配置为接收所述第一数据推理模型对所述网关数据集进行数据推理得到的第一推理结果；
第三接收模块，被配置为接收所述第二数据推理模型对所述服务器数据集进行数据推理得到的第二推理结果；
融合模块，被配置为融合所述第一推理结果和所述第二推理结果，得到目标推理结果。
18.一种数据推理装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至16任一项所述的数据推理方法。
19.一种数据推理系统，包括：
如权利要求17或18所述的数据推理装置。
20.根据权利要求19所述的数据推理系统，还包括：
边缘网关，被配置为利用部署在所述边缘网关的第一数据推理模型对网关数据集进行数据推理，得到第一推理结果，并将所述第一推理结果发送到所述数据推理装置；
边缘服务器，被配置为利用部署在所述边缘服务器的第二数据推理模型对服务器数据集进行数据推理，得到第二推理结果，并将所述第二推理结果发送到所述数据推理装置。
21.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至16任一项所述的数据推理方法。
CN202110711171.5A 2021-06-25 2021-06-25 数据推理方法、装置及系统 Active CN113344208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110711171.5A CN113344208B (zh) 2021-06-25 2021-06-25 数据推理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110711171.5A CN113344208B (zh) 2021-06-25 2021-06-25 数据推理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN113344208A true CN113344208A (zh) 2021-09-03
CN113344208B CN113344208B (zh) 2023-04-07

Family

ID=77478849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110711171.5A Active CN113344208B (zh) 2021-06-25 2021-06-25 数据推理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113344208B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330722A (zh) * 2021-11-25 2022-04-12 达闼科技（北京）有限公司 推理实现方法、网络、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697511A (zh) * 2017-10-24 2019-04-30 华为技术有限公司 数据推理方法、装置及计算机设备
CN110796242A (zh) * 2019-11-01 2020-02-14 广东三维家信息科技有限公司 神经网络模型推理方法、装置、电子设备及可读介质
CN110808881A (zh) * 2019-11-05 2020-02-18 广州虎牙科技有限公司 模型部署方法和装置、目标监测方法和装置、设备及系统
CN111814967A (zh) * 2020-09-11 2020-10-23 鹏城实验室 神经网络模型的推理运算量计算方法、设备及存储介质
US20200380306A1 (en) * 2019-06-03 2020-12-03 Wipro Limited System and method for implementing neural network models on edge devices in iot networks
CN112348172A (zh) * 2020-11-13 2021-02-09 之江实验室 一种基于端边云架构的深度神经网络协同推理方法
CN112784989A (zh) * 2019-11-08 2021-05-11 阿里巴巴集团控股有限公司 推理系统、推理方法、电子设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697511A (zh) * 2017-10-24 2019-04-30 华为技术有限公司 数据推理方法、装置及计算机设备
US20200380306A1 (en) * 2019-06-03 2020-12-03 Wipro Limited System and method for implementing neural network models on edge devices in iot networks
CN110796242A (zh) * 2019-11-01 2020-02-14 广东三维家信息科技有限公司 神经网络模型推理方法、装置、电子设备及可读介质
CN110808881A (zh) * 2019-11-05 2020-02-18 广州虎牙科技有限公司 模型部署方法和装置、目标监测方法和装置、设备及系统
CN112784989A (zh) * 2019-11-08 2021-05-11 阿里巴巴集团控股有限公司 推理系统、推理方法、电子设备及计算机存储介质
CN111814967A (zh) * 2020-09-11 2020-10-23 鹏城实验室 神经网络模型的推理运算量计算方法、设备及存储介质
CN112348172A (zh) * 2020-11-13 2021-02-09 之江实验室 一种基于端边云架构的深度神经网络协同推理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330722A (zh) * 2021-11-25 2022-04-12 达闼科技（北京）有限公司 推理实现方法、网络、电子设备及存储介质
CN114330722B (zh) * 2021-11-25 2023-07-11 达闼科技（北京）有限公司 推理实现方法、网络、电子设备及存储介质

Also Published As

Publication number Publication date
CN113344208B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
EP3540652B1 (en) Method, device, chip and system for training neural network model
CN110796513B (zh) 多任务学习方法、装置、电子设备及存储介质
CN109242002A (zh) 高维数据分类方法、装置及终端设备
CN109934077B (zh) 一种图像识别方法和电子设备
CN111142938A (zh) 一种异构芯片的任务处理方法、任务处理装置及电子设备
US20220261623A1 (en) System and method for channel-separable operations in deep neural networks
CN113038302A (zh) 流量预测方法及装置、计算机可存储介质
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
US20240233358A9 (en) Image classification method, model training method, device, storage medium, and computer program
CN113344208B (zh) 数据推理方法、装置及系统
CN114066073A (zh) 电网负荷预测方法
CN111242066A (zh) 大尺寸图像目标检测方法、装置及计算机可读存储介质
CN117636137B (zh) 一种gpu裸金属算力资源分配调度方法、装置及存储介质
CN114417739B (zh) 一种异常工况的工艺参数推荐方法及装置
CN109325530A (zh) 基于少量无标签数据的深度卷积神经网络的压缩方法
CN111159450A (zh) 图片分类方法、装置、计算机设备和存储介质
CN114548218A (zh) 图像匹配方法、装置、存储介质和电子装置
WO2024078112A1 (zh) 一种舾装件智能识别方法、计算机设备
EP4328802A1 (en) Deep neural network (dnn) accelerators with heterogeneous tiling
CN117234734A (zh) 加速卡负载均衡调度方法、装置、通信设备及存储介质
CN116915869A (zh) 基于云边协同的时延敏感型智能服务快速响应方法
CN116662876A (zh) 多模态认知决策方法、系统、装置、设备及存储介质
CN116363416A (zh) 一种图像去重方法、装置、电子设备和存储介质
CN112182111B (zh) 基于区块链的分布式系统分层处理方法和电子设备
CN110866605B (zh) 数据模型训练方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210903

Assignee: Tianyiyun Technology Co.,Ltd.

Assignor: CHINA TELECOM Corp.,Ltd.

Contract record no.: X2024110000020

Denomination of invention: Data inference methods, devices, and systems

Granted publication date: 20230407

License type: Common License

Record date: 20240315

EE01 Entry into force of recordation of patent licensing contract