CN116612371A - 基于边云解耦的神经网络推理方法、装置及设备和介质 - Google Patents
基于边云解耦的神经网络推理方法、装置及设备和介质 Download PDFInfo
- Publication number
- CN116612371A CN116612371A CN202310876417.3A CN202310876417A CN116612371A CN 116612371 A CN116612371 A CN 116612371A CN 202310876417 A CN202310876417 A CN 202310876417A CN 116612371 A CN116612371 A CN 116612371A
- Authority
- CN
- China
- Prior art keywords
- target
- neural network
- shallow
- layer
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 47
- 230000008447 perception Effects 0.000 claims abstract description 93
- 238000003062 neural network model Methods 0.000 claims abstract description 75
- 238000000605 extraction Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/043—Distributed expert systems; Blackboards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种基于边云解耦的神经网络推理方法、装置及设备和介质，涉及人工智能技术领域，所述方法包括：接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，所述浅层特征用于表征像素点信息；确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型；根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种基于边云解耦的神经网络推理方法、装置及设备和介质。
背景技术
视觉模型深度推理需要依赖于高性能计算资源，为了减少边缘计算对计算资源的消耗，技术供应商往往采用云计算方案，直接将整幅图像从边缘端上传至云端，或将感知任务进行逻辑拆分。
然而，将整幅图像从边缘端上传至云端需要海量的带宽成本，部分感知任务也难以轻易拆分为多个低阶的感知子任务，使得基于边云计算的神经网络模型适用性较低。
发明内容
本申请实施例的目的是提供一种基于边云解耦的神经网络推理方法、装置及设备和介质，可以提高基于边云计算的神经网络模型的适用性。
为解决上述技术问题，第一方面，本申请实施例提供了一种基于边云解耦的神经网络推理方法，应用于云端，所述方法包括：
接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，所述浅层特征用于表征像素点信息；
确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型；
根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
可选地，所述第一目标模型包含与所述目标感知任务对应的任务关联参数层；
所述根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果，包括：
将所述浅层特征分别输入至每个所述第一目标模型的任务关联参数层，得到每个所述目标感知任务的推理结果。
可选地，所述确定所述目标图像关联的多个目标感知任务，包括：
从所述云端关联的多个感知任务中，确定所述目标图像关联的多个目标感知任务。
可选地，接收边缘端发送的目标图像的浅层特征之前，所述方法还包括：
针对所述云端关联的多个感知任务，确定第二目标模型，所述第二目标模型用于获取所述多个感知任务各自的推理结果；
根据所述第二目标模型中的浅层特征提取层，确定所述共享参数层；
将所述共享参数层部署至所述边缘端，以及，确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型。
可选地，所述针对所述云端关联的多个感知任务，确定第二目标模型，包括：
建立包含浅层特征提取层、中层深度特征编码层、以及所述多个感知任务各自对应的深层推理层的第一神经网络模型；
根据所述多个感知任务各自对应的数据集，对所述第一神经网络模型进行训练；
将满足设定训练完成条件的第一神经网络模型，确定为所述第二目标模型。
可选地，所述确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型，包括：
以所述共享参数层为浅层特征提取层，建立所述多个感知任务各自对应的第二神经网络模型，所述第二神经网络模型包含浅层特征提取层、以及对应的所述感知任务的任务关联参数层；
固定各个所述第二神经网络模型的浅层特征提取层的参数，并根据所述多个感知任务各自对应的数据集，分别对各个所述第二神经网络模型的任务关联参数层进行参数训练；
将满足设定参数训练完成条件的各个所述第二神经网络模型，确定为所述多个感知任务各自对应的神经网络模型。
可选地，所述接收边缘端发送的目标图像的浅层特征，包括：
接收所述边缘端发送的压缩后的浅层特征；
将所述压缩后的浅层特征进行重建，得到所述目标图像的浅层特征。
第二方面，本申请实施例还提供了一种基于边云解耦的神经网络推理装置，应用于云端，所述装置包括：
第一接收模块，用于接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，用于表征像素点信息；
第一处理模块，用于确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型；
第一推理模块，用于根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面所述的基于边云解耦的神经网络推理方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的基于边云解耦的神经网络推理方法。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的基于边云解耦的神经网络推理方法。
由上述技术方案可以看出，本申请将神经网络模型在结构上进行了解耦，对用于实现目标感知任务推理的各个第一目标模型设置了相同的浅层特征提取层，并将该相同的浅层特征提取层作为共享参数层部署在边缘端。在进行任务推理时，由该部署在边缘端的共享参数层完成浅层特征提取，上传至云端后由该各个第一目标模型完成后续高阶特征挖掘和任务推理，可以有效降低云端计算时上传图像对带宽的要求，同时也避免了因为大部分高阶任务无法轻易拆分成多个可端到端学习子任务引起的边缘端-云端协同推理难题。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于边云解耦的神经网络推理方法的实施流程图；
图2为本申请实施例提供的一种第一目标模型的示意图；
图3为本申请实施例提供的一种神经网络结构解耦的示意图；
图4为本申请实施例提供的一种基于边云解耦的神经网络推理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的示意图；
图6为本申请实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
视觉模型深度推理需要依赖于高性能计算资源，为了减少边缘计算对计算资源的消耗，技术供应商往往采用云计算方案，由于直接将整幅图像从边缘端上传至云端需要海量带宽成本，传统方法往往将感知任务进行逻辑拆分，在边缘端进行低阶的感知子任务学习，将学习结果（即感知子任务的推理结果）传至云端进行高阶的感知子任务学习（即以感知子任务的推理结果为输入，进行高阶子任务的推理训练），以减少对带宽的消耗。
以人脸识别为例，在边缘端进行低阶的感知子任务学习（即人脸检测模型训练），在云端进行高阶的感知子任务学习（即以人脸检测结果为输入，进行人脸识别训练），以使边缘端快速理解场景，检测到人脸后仅将人脸图像上传至云端进行人脸识别。然而，大量的感知任务（即场景理解任务）无法轻易拆分成诸如“检测+识别”的低阶感知子任务+高阶感知子任务的结构。
因此，当前神经网络模型实现边云计算的方式主要有两种：1.边缘端将图像传输至云端，服务器在收到图像后调用深度模型实现特征编码和任务推理；2.将高阶任务拆分成多个子任务，在边缘端完成子任务推理，并将推理结果传输至云端完成后续高阶子任务推理。然而，第一种方案依赖海量带宽，当频繁请求云服务时，会造成较大成本，第二种方案对从业人员提出较高要求，且某些高阶任务很难拆分成多个子任务。
针对上述相关技术中存在的问题，本申请提出一种神经网络边云解耦的任务推理方法，针对不同的感知任务，提取结构相同的浅层神经网络层，并在边缘端采用“同结构、同参数”的策略（即使用共享参数层）提取浅层特征，由云端基于该浅层特征进行后续深度特征编码和深度推理，从而基于边缘端提取的浅层特征，在云端实现对不同感知任务的任务推理。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的一种基于边云解耦的神经网络推理方法进行详细地说明。
第一方面，参见图1所示，为本申请实施例所提供的一种基于边云解耦的神经网络推理方法的实施流程图，所述基于边云解耦的神经网络推理方法应用于云端，该方法可以包括以下步骤：
步骤S101：接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，所述浅层特征用于表征像素点信息。
在具体实施时，边缘端可以将目标图像输入至共享参数层，得到该共享参数层输出的包含该目标图像的边缘、纹理等像素点信息的浅层特征，并将该浅层特征发送至云端。
其中，用户可以使用ipx6级防水、200万像素（1920*1080）及以上的高清防爆摄像头拍摄得到上述目标图像，且布防区域距离摄像头距离应小于10米，大于1米。上述边缘端可以为计算平台，该计算平台可以包含配置了1张1080Ti及以上的显示芯片（GraphicsProcessing Unit，GPU）的计算机，其内存不少于8G，且处理器主频不低于2.3GHz。上述云端可以为云平台（或服务器等），该云平台可以包含配置了2张1080Ti及以上GPU的计算机，其内存不少于8G，且处理器主频不低于2.3GHz。
作为一种可能的实施方式，云端可以接收边缘端发送的压缩后的浅层特征，将所述压缩后的浅层特征进行重建，以得到所述目标图像的浅层特征。
在该实施例中，为降低传输开销，边缘端可以将浅层特征压缩后上传至云端，云端对该压缩后的浅层特征进行重建，以恢复原始特征（即得到该目标图像的浅层特征）。
步骤S102：确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型。
可以理解的是，第一目标模型的神经网络层由作为浅层特征提取层的共享参数层和后续神经网络层构成。该浅层特征提取层为：用于提取浅层特征的离第一目标模型的输入更近的神经网络层；该后续神经网络层为：用于高阶特征提取和复杂任务推理的离第一目标模型的输出更近的神经网络层。如第一目标模型共有10层神经网络层，以输入至输出的从前至后的顺序排列，若前3层神经网络层为浅层特征提取层，则剩余的7层神经网络层为后续神经网络层。
在该实施例中，云端可以预先根据自身所需提供的任务推理服务，以该共享参数层为浅层特征提取层，建立并训练用于完成不同感知任务的多个神经网络模型。在接收到边缘端上传的目标图像的浅层特征之后，云端确定需要对目标图像执行哪些感知任务，例如边缘端可以向云端发送所需执行的感知任务的请求，也可以由云端对不同边缘端设置所需默认执行的感知任务。
云端基于上述任务请求或默认设置等方式，确定对目标图像需要执行的多个目标感知任务之后，即可从训练完成的用于完成不同感知任务的多个神经网络模型中，找到该多个目标感知任务各自对应的第一目标模型。
步骤S103：根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
其中，上述多个目标感知任务可以包含以下至少两者：检测任务；分割任务；分类任务。
在该实施例中，云端通过各个目标感知任务各自对应的第一目标模型，对该浅层特征进行高阶特征提取和复杂任务推理，以得到该各个目标感知任务各自的推理结果（如目标检测结果、场景分割结果等）。
作为一种可能的实施方式，所述第一目标模型包含与所述目标感知任务对应的任务关联参数层；
所述根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果，包括：
将所述浅层特征分别输入至每个所述第一目标模型的任务关联参数层，得到每个所述目标感知任务的推理结果。
在该实施例中，如图2所示，第一目标模型的后续神经网络层为：以共享参数层提取的浅层特征为输入，以对应目标感知任务的推理结果为输出的任务关联参数层。云端通过将浅层特征输入至目标感知任务对应的任务关联参数层中，即可完成对该目标感知任务的推理。
可以理解的是，本申请将用于实现感知任务推理的深度学习推理模型（即神经网络模型）进行了拆分（如拆分为浅层特征提取层和任务关联参数层），边缘端利用该拆分出的浅层特征提取层，通过少量计算提取出低阶特征（即浅层特征），即可支撑云端完成不同感知任务的高阶特征提取和复杂任务推理过程。可以避免边缘端将整张图像上传至云端所产生的较大传输开销，且边缘端仅需利用少量计算完成低阶特征提取，无需执行计算量较大的推理任务（如感知子任务的推理），从而实现了边缘端的轻量化计算。
由上述技术方案可以看出，本申请将神经网络模型在结构上进行了解耦，对用于实现目标感知任务推理的各个第一目标模型设置了相同的浅层特征提取层，并将该相同的浅层特征提取层作为共享参数层部署在边缘端。在进行任务推理时，由该部署在边缘端的共享参数层完成浅层特征提取，上传至云端后由该各个第一目标模型完成后续高阶特征挖掘和任务推理，可以有效降低云端计算时上传图像对带宽的要求，同时也避免了因为大部分高阶任务无法轻易拆分成多个可端到端学习子任务引起的边缘端-云端协同推理难题。
可选地，在一个实施例中，所述确定所述目标图像关联的多个目标感知任务，包括：
从所述云端关联的多个感知任务中，确定所述目标图像关联的多个目标感知任务。
例如，云端可以根据边缘端发送的指示了所需执行的多个感知任务的请求，或根据该边缘端被设置的所需默认执行的多个感知任务，从云端关联的多个感知任务中，确定所需对该目标图像执行的多个目标感知任务。
作为一种可能的实施方式，接收边缘端发送的目标图像的浅层特征之前，所述方法还包括：
针对所述云端关联的多个感知任务，确定第二目标模型，所述第二目标模型用于获取所述多个感知任务各自的推理结果；
根据所述第二目标模型中的浅层特征提取层，确定所述共享参数层；
将所述共享参数层部署至所述边缘端，以及，确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型。
可以理解的是，对于神经网络模型，在对输入的图像去做多个推理任务时，随着网络的加深，为完成不同推理任务所提取的深层特征才会出现区别。对于同一图像，神经网络模型在进行不同的任务推理时所提取（或编码）出的浅层特征其实是有相似性的，即用于执行不同任务推理的神经网络模型的浅层特征提取层具有一定的相似性。
基于这种特性，本申请把用于实现不同感知任务的神经网络模型的浅层特征提取层进行了统一，即对于不同的感知任务，边缘端可以使用该统一的浅层特征提取层（即上述第二目标模型的浅层特征提取层）对图像进行统一的浅层编码，将数据量较大的图像处理为数据量较小的浅层特征，并将该浅层特征上传至云端，从而减小传输开销和边缘端的计算量。云端随后使用不同感知任务各自对应的神经网络模型（其均使用了该统一的浅层特征提取层进行构建）对该浅层特征分别进行编码，以根据该浅层特征实现针对不同感知任务的高阶特征提取和复杂任务推理，从而提高基于边云计算的神经网络模型的适用性。
作为一种可能的实施方式，所述针对所述云端关联的多个感知任务，确定第二目标模型，包括：
建立包含浅层特征提取层、中层深度特征编码层、以及所述多个感知任务各自对应的深层推理层的第一神经网络模型；
根据所述多个感知任务各自对应的数据集，对所述第一神经网络模型进行训练；
将满足设定训练完成条件的第一神经网络模型，确定为所述第二目标模型。
可以理解的是，如图3所示，神经网络结构通常可以拆分为“浅层特征提取层（如浅层纹理特征提取层）”、“中层深度特征编码层”和“深层推理层”。其中，浅层特征提取层主要包含用于实现低阶特征提取的神经网络层，中层深度特征编码层主要包含用于实现高阶特征挖掘（如融合浅层特征）的神经网络层，深层推理层主要包含用于实现复杂任务推理（如图像语义推理）的神经网络层。实现不同感知任务的推理模型主要在后续神经网络层（即中层深度特征编码层和深层推理层）的参数和结构上有较大区别。
在确定共享参数层的过程中，为减少计算量，本申请对实现不同感知任务推理的浅层纹理特征提取层和中层深度特征编码层进行了统一，建立了第一神经网络模型。
以检测、分割和分类共三个感知任务为例，在云端建立第一神经网络模型，其中，/>表示第一神经网络模型的前n1层神经网络层为浅层特征提取层，/>表示第一神经网络模型的第n1至N层神经网络层为中层深度特征编码层（浅层特征提取层的输出即为中层深度特征编码层的输入），表示第一神经网络模型的第N层及其之后的神经网络层为三个感知任务各自关联的三个并列的深层推理层（中层深度特征编码层的输出分别为三个深层推理层的输入）。
获取分别用于检测、分割和分类的数据集、和/>，其中，/>、/>和/>表示相关数据集的数据样本的数量，/>表示相关数据集的第i张图像，/>表示相关数据集的第i张图像中的标签，/>表示相关数据集的第i张图像中标注的边界框。
利用上述数据集D、S和C训练第一神经网络模型，直至网络收敛（如损失函数值小于设定值），得到第二目标模型，将该第二目标模型的浅层特征提取层确定为共享参数层。
作为一种可能的实施方式，所述确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型，包括：
以所述共享参数层为浅层特征提取层，建立所述多个感知任务各自对应的第二神经网络模型，所述第二神经网络模型包含浅层特征提取层、以及对应的所述感知任务的任务关联参数层；
固定各个所述第二神经网络模型的浅层特征提取层的参数，并根据所述多个感知任务各自对应的数据集，分别对各个所述第二神经网络模型的任务关联参数层进行参数训练；
将满足设定参数训练完成条件的各个所述第二神经网络模型，确定为所述多个感知任务各自对应的神经网络模型。
以上述检测、分割和分类共三个感知任务为例，云端根据确定出的共享参数层，分别建立实现检测、分割和分类功能的第二神经网络模型、和/>，其中，/>表示该三个模型的前n1层为浅层特征提取层（其与共享参数层同参数、同结构），/>、/>和/>分别表示模型/>、/>和/>的第n1至/>层、第n1至/>层和第n1至/>层为任务关联参数层。
利用上述数据集D、S和C分别训练对应功能的第二神经网络模型，训练过程中固定浅层特征提取层的参数，直至网络收敛，得到检测、分割和分类各自对应的神经网络模型。
将共享参数层部署在边缘端，边缘端随后对输入的目标图像I，通过共享参数层编码后获得特征F1，将特征F1上传至云端，云端接收特征F1作为输入，利用相关模型的后续神经网络层（如、/>、/>）对特征F1继续编码，以实现最终的检测、分割、分类任务。
基于上述实施例，本申请通过对实现不同感知任务推理的神经网络模型在结构上进行解耦，可以有效降低云端计算时上传图像对带宽的要求，同时也避免了因为大部分高阶任务无法轻易拆分成多个可端到端学习子任务引起的边缘端-云端协同推理难题。
第二方面，本申请实施例提供了一种基于边云解耦的神经网络推理装置，应用于云端，如图4所示，该装置包括：
第一接收模块21，用于接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，用于表征像素点信息；
第一处理模块22，用于确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型；
第一推理模块23，用于根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
可选地，所述第一目标模型包含与所述目标感知任务对应的任务关联参数层；
所述第一推理模块23包括：
第一推理子模块，用于将所述浅层特征分别输入至每个所述第一目标模型的任务关联参数层，得到每个所述目标感知任务的推理结果。
可选地，所述第一处理模块22包括：
第一处理子模块，用于从所述云端关联的多个感知任务中，确定所述目标图像关联的多个目标感知任务。
可选地，所述装置还包括：
第二处理模块，用于针对所述云端关联的多个感知任务，确定第二目标模型，所述第二目标模型用于获取所述多个感知任务各自的推理结果；
第三处理模块，用于根据所述第二目标模型中的浅层特征提取层，确定所述共享参数层；
第四处理模块，用于将所述共享参数层部署至所述边缘端，以及，确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型。
可选地，所述第二处理模块包括：
第二处理子模块，用于建立包含浅层特征提取层、中层深度特征编码层、以及所述多个感知任务各自对应的深层推理层的第一神经网络模型；
第三处理子模块，用于根据所述多个感知任务各自对应的数据集，对所述第一神经网络模型进行训练；
第四处理子模块，用于将满足设定训练完成条件的第一神经网络模型，确定为所述第二目标模型。
可选地，所述第四处理模块包括：
第五处理子模块，用于以所述共享参数层为浅层特征提取层，建立所述多个感知任务各自对应的第二神经网络模型，所述第二神经网络模型包含浅层特征提取层、以及对应的所述感知任务的任务关联参数层；
第六处理子模块，用于固定各个所述第二神经网络模型的浅层特征提取层的参数，并根据所述多个感知任务各自对应的数据集，分别对各个所述第二神经网络模型的任务关联参数层进行参数训练；
第七处理子模块，用于将满足设定参数训练完成条件的各个所述第二神经网络模型，确定为所述多个感知任务各自对应的神经网络模型。
可选地，所述第一接收模块21包括：
第一接收子模块，用于接收所述边缘端发送的压缩后的浅层特征；
第二接收子模块，用于将所述压缩后的浅层特征进行重建，得到所述目标图像的浅层特征。
由上述技术方案可以看出，本申请将神经网络模型在结构上进行了解耦，对用于实现目标感知任务推理的各个第一目标模型设置了相同的浅层特征提取层，并将该相同的浅层特征提取层作为共享参数层部署在边缘端。在进行任务推理时，由该部署在边缘端的共享参数层完成浅层特征提取，上传至云端后由该各个第一目标模型完成后续高阶特征挖掘和任务推理，可以有效降低云端计算时上传图像对带宽的要求，同时也避免了因为大部分高阶任务无法轻易拆分成多个可端到端学习子任务引起的边缘端-云端协同推理难题。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本申请实施例还提供了一种电子设备，参照图5，图5是本申请实施例提出的电子设备的示意图。如图5所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，进而实现本申请实施例公开的所述基于边云解耦的神经网络推理方法中的步骤。
本申请实施例还提供了一种计算机可读存储介质，参见图6，图6是本申请实施例提出的计算机可读存储介质的示意图。如图6所示，计算机可读存储介质200上存储有计算机程序/指令210，该计算机程序/指令210被处理器执行时实现如本申请实施例公开的所述基于边云解耦的神经网络推理方法中的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述基于边云解耦的神经网络推理方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、系统、设备、存储介质及程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于边云解耦的神经网络推理方法、装置及设备和介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于边云解耦的神经网络推理方法，其特征在于，应用于云端，所述方法包括：
接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，所述浅层特征用于表征像素点信息；
确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型；
根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
2.根据权利要求1所述的方法，其特征在于，所述第一目标模型包含与所述目标感知任务对应的任务关联参数层；
所述根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果，包括：
将所述浅层特征分别输入至每个所述第一目标模型的任务关联参数层，得到每个所述目标感知任务的推理结果。
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像关联的多个目标感知任务，包括：
从所述云端关联的多个感知任务中，确定所述目标图像关联的多个目标感知任务。
4.根据权利要求3所述的方法，其特征在于，接收边缘端发送的目标图像的浅层特征之前，所述方法还包括：
针对所述云端关联的多个感知任务，确定第二目标模型，所述第二目标模型用于获取所述多个感知任务各自的推理结果；
根据所述第二目标模型中的浅层特征提取层，确定所述共享参数层；
将所述共享参数层部署至所述边缘端，以及，确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述针对所述云端关联的多个感知任务，确定第二目标模型，包括：
建立包含浅层特征提取层、中层深度特征编码层、以及所述多个感知任务各自对应的深层推理层的第一神经网络模型；
根据所述多个感知任务各自对应的数据集，对所述第一神经网络模型进行训练；
将满足设定训练完成条件的第一神经网络模型，确定为所述第二目标模型。
6.根据权利要求4所述的方法，其特征在于，所述确定以所述共享参数层为浅层特征提取层的所述多个感知任务各自对应的神经网络模型，包括：
以所述共享参数层为浅层特征提取层，建立所述多个感知任务各自对应的第二神经网络模型，所述第二神经网络模型包含浅层特征提取层、以及对应的所述感知任务的任务关联参数层；
固定各个所述第二神经网络模型的浅层特征提取层的参数，并根据所述多个感知任务各自对应的数据集，分别对各个所述第二神经网络模型的任务关联参数层进行参数训练；
将满足设定参数训练完成条件的各个所述第二神经网络模型，确定为所述多个感知任务各自对应的神经网络模型。
7.根据权利要求1-6任一所述的方法，其特征在于，所述接收边缘端发送的目标图像的浅层特征，包括：
接收所述边缘端发送的压缩后的浅层特征；
将所述压缩后的浅层特征进行重建，得到所述目标图像的浅层特征。
8.一种基于边云解耦的神经网络推理装置，其特征在于，应用于云端，所述装置包括：
第一接收模块，用于接收边缘端发送的目标图像的浅层特征，所述浅层特征是通过部署在所述边缘端的共享参数层确定的，用于表征像素点信息；
第一处理模块，用于确定所述目标图像关联的多个目标感知任务，以及，确定所述多个目标感知任务各自对应的第一目标模型，多个所述第一目标模型均是以所述共享参数层为浅层特征提取层的神经网络模型；
第一推理模块，用于根据所述浅层特征、以及每个所述第一目标模型，确定每个所述目标感知任务的推理结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1至7中任一项所述的基于边云解耦的神经网络推理方法。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述的基于边云解耦的神经网络推理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876417.3A CN116612371B (zh) | 2023-07-18 | 2023-07-18 | 基于边云解耦的神经网络推理方法、装置及设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876417.3A CN116612371B (zh) | 2023-07-18 | 2023-07-18 | 基于边云解耦的神经网络推理方法、装置及设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612371A true CN116612371A (zh) | 2023-08-18 |
| CN116612371B CN116612371B (zh) | 2023-11-03 |
Family
ID=87678556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310876417.3A Active CN116612371B (zh) | 2023-07-18 | 2023-07-18 | 基于边云解耦的神经网络推理方法、装置及设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612371B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102510411A (zh) * | 2011-12-28 | 2012-06-20 | 南京邮电大学 | 一种用于阿瑞斯网络的缓存服务器的实现方法 |
| US20150052192A1 (en) * | 2012-03-26 | 2015-02-19 | A Viasys Limited | Data server |
| US20190138870A1 (en) * | 2016-04-29 | 2019-05-09 | Novus Communications Ltd | Tracking system |
| CN111625361A (zh) * | 2020-05-26 | 2020-09-04 | 华东师范大学 | 一种基于云端服务器和IoT设备协同的联合学习框架 |
| CN114268640A (zh) * | 2020-09-16 | 2022-04-01 | 上海交通大学 | 云边协同的工业物联网智能路由系统 |
| CN114495214A (zh) * | 2022-01-11 | 2022-05-13 | 上海埃瓦智能科技有限公司 | 人脸识别装置、方法、设备和存储介质 |
| CN115761674A (zh) * | 2022-11-18 | 2023-03-07 | 山东新一代信息产业技术研究院有限公司 | 一种道路边缘定位检测方法、设备及介质 |
-
2023
- 2023-07-18 CN CN202310876417.3A patent/CN116612371B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102510411A (zh) * | 2011-12-28 | 2012-06-20 | 南京邮电大学 | 一种用于阿瑞斯网络的缓存服务器的实现方法 |
| US20150052192A1 (en) * | 2012-03-26 | 2015-02-19 | A Viasys Limited | Data server |
| US20190138870A1 (en) * | 2016-04-29 | 2019-05-09 | Novus Communications Ltd | Tracking system |
| CN111625361A (zh) * | 2020-05-26 | 2020-09-04 | 华东师范大学 | 一种基于云端服务器和IoT设备协同的联合学习框架 |
| CN114268640A (zh) * | 2020-09-16 | 2022-04-01 | 上海交通大学 | 云边协同的工业物联网智能路由系统 |
| CN114495214A (zh) * | 2022-01-11 | 2022-05-13 | 上海埃瓦智能科技有限公司 | 人脸识别装置、方法、设备和存储介质 |
| CN115761674A (zh) * | 2022-11-18 | 2023-03-07 | 山东新一代信息产业技术研究院有限公司 | 一种道路边缘定位检测方法、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| ALEX BISHARA等: "Read clouds uncover variation in complex regions of the human genome", 《GENOME RESEARCH》, pages 1570 - 1580 * |
| HUNG-LIN HUANG等: "A Dynamic Network Bandwidth Allocation Mechanism under Network QoS Constraints", 《2015 IEEE INTERNATIONAL CONFERENCE ON SMART CITY/SOCIALCOM/SUSTAINCOM (SMARTCITY)》, pages 963 - 968 * |
| 李晓晨: "基于边缘计算的电锅炉系统控制技术研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 01, pages 038 - 1341 * |
| 颜晓莲等: "支持边缘端—云端协同工作的群组命令传输算法", 《计算机应用研究》, pages 1154 - 1157 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612371B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578453A (zh) | 压缩图像处理方法、装置、电子设备及计算机可读介质 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN108235116B (zh) | 特征传播方法和装置、电子设备和介质 | |
| CN113505848B (zh) | 模型训练方法和装置 | |
| WO2020093724A1 (zh) | 生成信息的方法和装置 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| CN114066718A (zh) | 一种图像风格迁移方法、装置、存储介质及终端 | |
| CN113191495A (zh) | 超分模型的训练及人脸识别方法、装置、介质及电子设备 | |
| CN111950700A (zh) | 一种神经网络的优化方法及相关设备 | |
| CN111078940A (zh) | 图像处理方法、装置、计算机存储介质及电子设备 | |
| CN113449851A (zh) | 数据处理方法及设备 | |
| CN114519667A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN114495916B (zh) | 背景音乐的插入时间点确定方法、装置、设备和存储介质 | |
| CN110248195B (zh) | 用于输出信息的方法和装置 | |
| CN115424056A (zh) | 模型训练方法和装置、图像分类方法、设备和介质 | |
| CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 | |
| CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| CN114529785A (zh) | 模型的训练方法、视频生成方法和装置、设备、介质 | |
| CN117094362B (zh) | 一种任务处理方法及相关装置 | |
| CN114120413A (zh) | 模型训练方法、图像合成方法、装置、设备及程序产品 | |
| CN116612371B (zh) | 基于边云解耦的神经网络推理方法、装置及设备和介质 | |
| CN116168152A (zh) | 人脸图像生成方法、电子设备及计算机可读存储介质 | |
| CN110958449B (zh) | 三维视频主观感知质量预测方法 | |
| CN112215853A (zh) | 图像分割方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |