CN113436208A - 基于端边云协同的图像处理方法、装置、设备及介质 - Google Patents

基于端边云协同的图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN113436208A
CN113436208A CN202110740589.9A CN202110740589A CN113436208A CN 113436208 A CN113436208 A CN 113436208A CN 202110740589 A CN202110740589 A CN 202110740589A CN 113436208 A CN113436208 A CN 113436208A
Authority
CN
China
Prior art keywords
model
image processing
network model
neural network
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110740589.9A
Other languages
English (en)
Inventor
王贺
高园
夏冬
秦湘清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110740589.9A priority Critical patent/CN113436208A/zh
Publication of CN113436208A publication Critical patent/CN113436208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种基于端边云协同的图像处理方法，可以应用于5G技术领域。该方法包括：在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。本公开还提供了一种基于端边云协同的图像处理装置、电子设备、存储介质和程序产品。

Description

基于端边云协同的图像处理方法、装置、设备及介质
技术领域
本公开涉及5G技术领域，更具体地涉及一种基于端边云协同的图像处理方法、装置、设备及介质。
背景技术
随着5G技术的推广和物联网技术带来的“万物互联”，急剧增加的网络接入设备促使数据量的爆炸性增长，云计算面临着计算延迟、拥塞、低可靠性和安全攻击等挑战。边缘计算通过在靠近物或数据源的网络边缘侧，构建融合网络、计算、存储、应用核心能力的分布式开发平台，实现了将计算任务下沉到网络边缘，可以一定程度上解决云计算的不足。同时，人工智能已被认为是处理大规模数据的有效方法，因此人工智能算法和边缘计算的融合成为趋势，被称作边缘智能。
移动互联网的蓬勃发展，使得在便携式设备上为用户提供多种类服务成为可能，图像处理等技术的应用平台从PC端逐渐扩展到移动端。充足的计算资源、时间资源和存储资源，是保证模型性能的关键。因此，部署在移动端的图像处理模型需具有占用空间小、准确率高以及实时性好的特点。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：目前，云计算架构和边缘计算架构在处理移动端图像业务时面临诸多挑战，现有的神经网络模型无法同时满足低资源消耗和高精度，而移动端的计算能力和存储空间往往是有限的，且时间消耗过将严重降低客户体验。因此直接在资源有限的移动端设备上部署现有模型无法满足业务需求。
发明内容
有鉴于此，本公开提供了一种基于端边云协同的图像处理方法、装置、设备及介质。
本公开的一个方面提供了一种基于端边云协同的图像处理方法，包括：在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。
根据本公开的实施例，终端设备包括移动端设备，移动端设备包括移动物联网设备。
根据本公开的实施例，预设模型切割点根据至少一个预设性能指标来综合确定，其中：预设性能指标包括第一部分模型尺寸、数据在终端设备与边缘服务器之间传输的带宽消耗、完成一次图像处理请求的时延或图像处理准确率。
根据本公开的实施例，方法还包括：终端设备收集在预设时间范围内返回的实时信息；根据收集的图像处理请求和图像处理请求对应的实时信息，调整预设模型切割点或神经网络模型的参数。
根据本公开的实施例，神经网络模型包括轻量级神经网络模型，轻量级神经网络模型包括Mobilenet-v1网络模型、Mobilenet-v2网络模型、Mobilenet-v3网络模型、ShuffleNet-v1网络模型或ShuffleNet-v2网络模型。
根据本公开的实施例，神经网络模型在云端数据中心通过以下方式训练得到：预先收集终端设备发送的图像处理请求，作为样本数据；将样本数据输入到神经网络模型中，得到输出数据；将输出数据重新输入到神经网络模型进行训练迭代；重复将输出数据重新输入到神经网络模型进行训练迭代的步骤，直至输出数据满足预设图像处理要求时，停止训练迭代，得到训练好的神经网络模型。
根据本公开的实施例，第一部分模型将图像处理请求经过初步处理得到中间结果，包括：第一部分模型提取图像处理请求中的图像数据，将图像数据进行预处理后，得到中间结果；其中，预处理包括旋转处理、缩放处理、裁剪处理、灰度处理、模糊处理或压缩编码中的至少一种。
根据本公开的实施例，终端设备通过无线网络与边缘服务器连接，无线网络包括5G网络。
根据本公开的实施例，图像处理请求包括移动端外汇识别请求、移动端垃圾分类请求或数字识别请求。
本公开的另一个方面提供了一种基于端边云协同的图像处理装置，包括：模型切割模块，用于在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；端边处理模块，用于响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；云端处理模块，用于云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述基于端边云协同的图像处理方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现上述基于端边云协同的图像处理方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现上述基于端边云协同的图像处理方法。
与现有技术相比，本公开提供的基于端边云协同的图像处理方法、装置、设备及介质，至少具有以下有益效果：
(1)使用量化后的神经网络模型，既减少了模型资源需求，又保证了图像处理性能；
(2)用户使用此模型时，原始数据将在移动端进行处理，保护了用户隐私，防止数据泄露；
(3)本公开可以实现可持续优化。用户可以选择同意反馈输入数据与判决结果，此时后台可以收集生产数据，对现有的方案进行改进，在资源受限的条件下实现模型在移动端上的高效部署。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了常规的云计算和边缘计算的系统架构；
图2示意性示出了根据本公开实施例的基于端边云协同的图像处理方法及装置的系统架构；
图3示意性示出了根据本公开实施例的基于端边云协同的图像处理方法的流程图；
图4示意性示出了根据本公开实施例的推理结果收集反馈的操作流程图；
图5示意性示出了根据本公开实施例的神经网络模型训练的流程图；
图6示意性示出了根据本公开实施例的基于端边云协同的图像处理装置的框图；以及
图7示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
需要说明的是，在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在详细描述本公开的具体实施例之前，首先对云计算和边缘计算的系统架构进行阐释，以便于更好地理解本公开。
图1示意性示出了常规的云计算和边缘计算的系统架构。
遍布于世界各个角落的不同类型的物联网(Intemet of Things，简称IoT)设备借助多种通信网络，构建成了一个万物互联的复杂网络体系，服务于健康医疗和智慧城市等诸多业务。同时，由于具备大规模数据集以及高密度计算特性，深度学习已成为主流的大规模传感器数据计算方法。深度学习模型一般部署在具有强大计算与存储能力的云端数据中心。如图1(a)所示，常规的云计算架构中，海量设备采集的数据汇聚到云计算数据中心进行分析和决策。但是，海量数据的分别传输会显著增加回程链路的容量压力和计算平台的计算负荷。
作为缓解资源受限与拥堵的有效策略，边缘计算(Mobile EdgeComputing，MEC)已成为解决物联网中本地化计算需求的新范式。边缘计算实现了将数据计算或数据存储下沉到终端用户附近。由此，分布在网络上的诸多计算节点可以使数据远离集中式数据中心，减轻云中心的计算压力，并且可以显著减少消息交换时的等待时间。此外，与传统的云计算架构相比，分布式结构可以平衡网络流量并避免网络中的流量峰值，减少云服务器与终端用户间的传输延迟，并缩短实时IoT应用的响应时间。如图1(b)所示，常规的边缘计算架构提出把将任务“下沉”到网络边缘侧执行，实现了带宽资源的节约和用户体验的提升。但是，将模型直接部署在边缘节点上执行，会受到边缘节点的有限的计算及存储资源约束，导致无法实时处理大规模数据，降低了用户体验。
有鉴于此，本公开的实施例提供了一种基于端边云协同的图像处理方法，可以应用于5G技术领域。该方法包括：在云端数据中心根据预没模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。
图2示意性示出了根据本公开实施例的基于端边云协同的图像处理方法及装置的系统架构。需要注意的是，图2所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图2所示，根据该实施例的系统架构可以包括终端设备、边缘服务器和云端数据中心。其中，终端设备与边缘服务器之间可以凭借通信链路相互通信，边缘服务器与云端数据中心之间也可以凭借通信链路相互通信。该通信链路可以包括各种连接类型，例如有线和/或无线通信链路等。
终端设备可以是支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。特别地，终端设备可以包括移动端设备，更具体地，该移动端设备可以包括移动物联网设备。移动物联网设备是基于移动手持设备的物联网终端，例如自动驾驶汽车、智能家居电器、智能门禁、视频终端设备等。
用户可以使用终端设备通过通信链路与边缘服务器交互，以接收或发送消息等。同理，边缘服务器也可以通过通信链路与云端数据中心交互，以接收或发送消息等。终端设备上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
云端数据中心可以是数据中心、云计算中心或超算中心，具有强大计算与存储能力，可以提供各种管理或服务，例如对用户利用终端设备所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
本公开将边缘计算与云计算结合起来，分别利用边缘计算的数据传输低时延和云计算强大的计算能力的优点，通过移动端设备和边缘服务器与云数据中心协同，实现加速利用移动端设备搜集的图像数据训练用于图像识别的深度学习模型的过程。
图3示意性示出了根据本公开实施例的基于端边云协同的图像处理方法的流程图。
如图3所示，该基于端边云协同的图像处理方法可以包括操作S301～S303。
在操作S301，在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器。
在操作S302，响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果。
在操作S303，云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。
可以理解的是，对于常见的神经网络模型，例如卷积神经网络，在终端设备资源受限的情况下，直接进行该模型的训练是困难的。结合图2和图3，本公开根据终端设备的计算能力或网络带宽等性能指标对整个神经网络模型进行切分，使得终端设备只需进行从第一层开始的一定数量的连续网络层的计算，而由边缘服务器处理整个神经网络模型中除了终端设备那部分连续网络层的剩余连续网络层的计算，而由云端数据中心仅用于查询数据库中存储的实时信息。并且，本公开的实施例将神经网络模型预先在云端数据中心进行训练，得到训练好的整个神经网络模型，以供后续模型切分及部署。由此，本公开实施例发挥端边云协同计算的显著优势。
结合图2和图3，本公开充分利用设备-边缘-云层次结构中的可用资源，在保证服务质量的同时节约模型所占用的计算、存储及无线资源，从而在资源受限的条件下实现模型在移动端上的高效部署。
本公开实施例中，预设模型切割点根据至少一个预设性能指标来综合确定，其中：预设性能指标包括第一部分模型尺寸、数据在终端设备与边缘服务器之间传输的带宽消耗、完成一次图像处理请求的时延或图像处理准确率。
由此，通过对多个切割点切分的方案进行对比，选择综合表现最好的切割点，从而得到预设模型切割点。这种预设性能指标综合选择的方法，基于各个节点的图像处理性能指标进行模型的切割，可以有效的让部分神经网络模型运行在终端设备或距离终端设备附近的边缘服务器上，更好地适应于不同计算能力的终端设备和边缘服务器，达到最佳端边云协同图像处理的效果。
图4示意性示出了根据本公开实施例的推理结果收集反馈的操作流程图。
如图4所示，在操作S303之后，本公开实施例的基于端边云协同的图像处理方法还可以包括以下操作S410～S420。
在操作S410，终端设备收集在预设时间范围内返回的实时信息。
在操作S420，根据收集的图像处理请求和图像处理请求对应的实时信息，调整预设模型切割点或神经网络模型的参数。
通过上述实施例，若终端设备用户同意后台收集使用信息，终端设备后台可以根据实际产生的实时数据分析现有神经网络模型的不足，进一步优化神经网络模型以及预设模型切割点，从而优化云端数据中心的图像处理性能。进而，本公开的技术方案可以实现可持续优化。
本公开实施例中，神经网络模型包括轻量级神经网络模型，轻量级神经网络模型包括Mobilenet-v1网络模型、Mobilenet-v2网络模型、Mobilenet-v3网络模型、ShuffleNet-v1网络模型或ShuffleNet-v2网络模型。
可以理解的是，由于移动设备因硬件资源和算力的限制，很难运行复杂的深度学习网络模型，MobileNet系列网络模型或ShuffleNet系列网络模型使移动终端或嵌入式设备运行神经网络模型成为可能。然而本公开的实施例不限于此，可以根据需要可以采用其他类型的轻量级神经网络模型作为本实施例的神经网络模型。
通过上述实施例，本公开使用量化后的神经网络模型，可以在便携式设备上使用神经网络模型，减小该模型的计算量和参数量，既减少了模型资源需求，又保证了图像处理性能。
本公开实施例中，终端设备包括移动端设备，移动端设备包括移动物联网设备。由此，在终端设备的用户使用神经网络模型进行初步处理时，原始数据将在移动端进行处理，保护了用户隐私，防止数据泄露。
图5示意性示出了根据本公开实施例的神经网络模型训练的流程图。
如图5所示，神经网络模型在云端数据中心通过以下操作S510～S540训练得到。
在操作S510，预先收集终端设备发送的图像处理请求，作为样本数据。
在操作S520，将样本数据输入到神经网络模型中，得到输出数据。
在操作S530，将输出数据重新输入到神经网络模型进行训练迭代。
在操作S540，重复将输出数据重新输入到神经网络模型进行训练迭代的步骤，直至输出数据满足预设图像处理要求时，停止训练迭代，得到训练好的神经网络模型。
本公开实施例中，第一部分模型将图像处理请求经过初步处理得到中间结果，包括：第一部分模型提取图像处理请求中的图像数据，将图像数据进行预处理后，得到中间结果；其中，预处理包括旋转处理、缩放处理、裁剪处理、灰度处理、模糊处理或压缩编码中的至少一种。
通过上述终端设备的初步处理，本公开实施例考虑到终端设备的计算能力有限，可以将图像处理请求中的输入图像数据进行符合终端设备图像处理能力的预处理之后，再发送至边缘服务器进行二次处理。该预处理可以包括对输入图像数据进行旋转、缩放、裁剪、灰度处理、模糊处理或压缩编码，使输入图像数据规整为符合边缘服务器的输入要求的中间结果。
本公开实施例中，终端设备通过无线网络与边缘服务器连接，无线网络包括5G网络。由此，本公开考虑到5G网络下的海量数据传输造成的巨大无线资源消耗、深度神经网络对计算及存储资源的高度需求，在资源受限的条件下实现神经网络模型在移动端上的高效部署。
本公开实施例中，根据本公开的实施例，图像处理请求包括移动端外汇识别请求、移动端垃圾分类请求或数字识别请求。
例如，在移动端外汇识别请求下，在移动端用户上传了某外币图片，经过第一部分模型和第二部分模型的协同处理，边缘服务器得到推理结果并发送至云端数据中心，云端数据中心将查询该推理结果对应的实时汇率，并发送给移动端用户。
通过上述实施例，本公开在移动端用户发送图像处理请求或实时搜索的场景下，采取设备-边缘-云协同的推理方式，充分利用终端设备-边缘节点-云数据中心层次结构中的可用资源，来优化网络模型的整体性能，实现边缘智能计算。
由上可知，本公开实施例提出一种全新的边缘智能计算架构，通过利用深度神经网络模型云端训练，终端设备-边缘服务器-云端数据中心协同推理，云端收集反馈信息，从而进一步优化神经网络。
通过上述基于端边云协同的图像处理方法，本公开还提供了一种基于端边云协同的图像处理装置。以下将结合图6对该装置进行详细描述。
图6示意性示出了根据本公开实施例的基于端边云协同的图像处理装置的框图。
如图6所示，基于端边云协同的图像处理装置600可以包括模型切割模块610、端边处理模块620和云端处理模块630。
模型切割模块610，用于在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；
端边处理模块620，用于响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；
云端处理模块630，用于云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。
需要说明的是，本公开的实施例中的装置部分与本公开的实施例中的方法部分是相对应的，基于端边云协同的图像处理装置部分的描述具体参考基于端边云协同的图像处理方法部分，在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，模型切割模块610、端边处理模块620和云端处理模块630中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，模型切割模块610、端边处理模块620和云端处理模块630中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，模型切割模块610、端边处理模块620和云端处理模块630中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图7示意性示出了根据本公开实施例的电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700包括处理器710、计算机可读存储介质720。该电子设备700可以执行根据本公开实施例的基于端边云协同的图像处理方法。
具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质720，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质720可以包括计算机程序721，该计算机程序721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括一个或多个程序模块，例如包括721A、模块721B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例，模型切割模块610、端边处理模块620和云端处理模块630中的至少一个可以实现为参考图7描述的计算机程序模块，其在被处理器710执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的基于端边云协同的图像处理方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的基于端边云协同的图像处理方法。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种基于端边云协同的图像处理方法，包括：
在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将所述第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；
响应于终端设备向云端数据中心发送的图像处理请求，所述第一部分模型将所述图像处理请求经过初步处理得到中间结果，所述第二部分模型将所述中间结果经过二次处理生成推理结果；
所述云端数据中心查询所述推理结果对应的实时信息，并将所述实时信息返回至终端设备。
2.根据权利要求1所述的方法，其中，所述终端设备包括移动端设备，所述移动端设备包括移动物联网设备。
3.根据权利要求1所述的方法，其中，所述预设模型切割点根据至少一个预设性能指标来综合确定，其中：
所述预设性能指标包括第一部分模型尺寸、数据在终端设备与边缘服务器之间传输的带宽消耗、完成一次图像处理请求的时延或图像处理准确率。
4.根据权利要求1所述的方法，其中，所述方法还包括：
所述终端设备收集在预设时间范围内返回的实时信息；
根据收集的图像处理请求和图像处理请求对应的实时信息，调整所述预设模型切割点或神经网络模型的参数。
5.根据权利要求1所述的方法，其中，所述神经网络模型包括轻量级神经网络模型，所述轻量级神经网络模型包括Mobilenet-v1网络模型、Mobilenet-v2网络模型、Mobilenet-v3网络模型、ShuffleNet-v1网络模型或ShuffieNet-v2网络模型。
6.根据权利要求1所述的方法，其中，所述神经网络模型在所述云端数据中心通过以下方式训练得到：
预先收集所述终端设备发送的图像处理请求，作为样本数据；
将所述样本数据输入到神经网络模型中，得到输出数据；
将所述输出数据重新输入到神经网络模型进行训练迭代；
重复所述将所述输出数据重新输入到神经网络模型进行训练迭代的步骤，直至输出数据满足预设图像处理要求时，停止训练迭代，得到训练好的神经网络模型。
7.根据权利要求1所述的方法，其中，所述第一部分模型将所述图像处理请求经过初步处理得到中间结果，包括：
所述第一部分模型提取所述图像处理请求中的图像数据，将所述图像数据进行预处理后，得到中间结果；
其中，所述预处理包括旋转处理、缩放处理、裁剪处理、灰度处理、模糊处理或压缩编码中的至少一种。
8.根据权利要求1所述的方法，其中，所述终端设备通过无线网络与所述边缘服务器连接，所述无线网络包括5G网络。
9.根据权利要求1所述的方法，其中，所述图像处理请求包括移动端外汇识别请求、移动端垃圾分类请求或数字识别请求。
10.一种基于端边云协同的图像处理装置，包括：
模型切割模块，用于在云端数据中心根据预没模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将所述第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；
端边处理模块，用于响应于终端设备向云端数据中心发送的图像处理请求，所述第一部分模型将所述图像处理请求经过初步处理得到中间结果，所述第二部分模型将所述中间结果经过二次处理生成推理结果；
云端处理模块，用于所述云端数据中心查询所述推理结果对应的实时信息，并将所述实时信息返回至终端设备。
11.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至9中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法。
CN202110740589.9A 2021-06-30 2021-06-30 基于端边云协同的图像处理方法、装置、设备及介质 Pending CN113436208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110740589.9A CN113436208A (zh) 2021-06-30 2021-06-30 基于端边云协同的图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110740589.9A CN113436208A (zh) 2021-06-30 2021-06-30 基于端边云协同的图像处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113436208A true CN113436208A (zh) 2021-09-24

Family

ID=77758257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110740589.9A Pending CN113436208A (zh) 2021-06-30 2021-06-30 基于端边云协同的图像处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113436208A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584564A (zh) * 2022-03-23 2022-06-03 北京邮电大学深圳研究院 一种隐私资源保护的移动终端侧数据寻址与分析技术
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
WO2023116259A1 (zh) * 2021-12-23 2023-06-29 大唐移动通信设备有限公司 辅助模型切分的方法、装置及可读存储介质
WO2023143080A1 (zh) * 2022-01-30 2023-08-03 华为技术有限公司 一种数据处理方法以及相关设备
WO2023191711A1 (zh) * 2022-03-31 2023-10-05 脸萌有限公司 基于端云协同的图像处理方法、装置、设备及存储介质
WO2023197687A1 (zh) * 2022-04-13 2023-10-19 西安广和通无线通信有限公司 数据协作处理方法、系统、装置、设备及存储介质
WO2024044881A1 (zh) * 2022-08-29 2024-03-07 华为技术有限公司 一种数据处理方法、训练方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255605A (zh) * 2017-12-29 2018-07-06 北京邮电大学 一种基于神经网络的图像识别协同计算方法及系统
CN110336845A (zh) * 2019-04-02 2019-10-15 中国联合网络通信集团有限公司 工业产品质量实时监测方法、设备及系统
CN111445026A (zh) * 2020-03-16 2020-07-24 东南大学 面向边缘智能应用的深度神经网络多路径推理加速方法
US20200380306A1 (en) * 2019-06-03 2020-12-03 Wipro Limited System and method for implementing neural network models on edge devices in iot networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255605A (zh) * 2017-12-29 2018-07-06 北京邮电大学 一种基于神经网络的图像识别协同计算方法及系统
CN110336845A (zh) * 2019-04-02 2019-10-15 中国联合网络通信集团有限公司 工业产品质量实时监测方法、设备及系统
US20200380306A1 (en) * 2019-06-03 2020-12-03 Wipro Limited System and method for implementing neural network models on edge devices in iot networks
CN111445026A (zh) * 2020-03-16 2020-07-24 东南大学 面向边缘智能应用的深度神经网络多路径推理加速方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116259A1 (zh) * 2021-12-23 2023-06-29 大唐移动通信设备有限公司 辅助模型切分的方法、装置及可读存储介质
WO2023143080A1 (zh) * 2022-01-30 2023-08-03 华为技术有限公司 一种数据处理方法以及相关设备
CN114584564A (zh) * 2022-03-23 2022-06-03 北京邮电大学深圳研究院 一种隐私资源保护的移动终端侧数据寻址与分析技术
CN114584564B (zh) * 2022-03-23 2023-08-18 北京邮电大学深圳研究院 一种隐私资源保护的移动终端侧数据寻址与分析方法
WO2023191711A1 (zh) * 2022-03-31 2023-10-05 脸萌有限公司 基于端云协同的图像处理方法、装置、设备及存储介质
WO2023197687A1 (zh) * 2022-04-13 2023-10-19 西安广和通无线通信有限公司 数据协作处理方法、系统、装置、设备及存储介质
WO2024044881A1 (zh) * 2022-08-29 2024-03-07 华为技术有限公司 一种数据处理方法、训练方法及相关装置
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统

Similar Documents

Publication Publication Date Title
CN113436208A (zh) 基于端边云协同的图像处理方法、装置、设备及介质
US11010637B2 (en) Generative adversarial network employed for decentralized and confidential AI training
Huh et al. Understanding edge computing: Engineering evolution with artificial intelligence
Dogo et al. Taking cloud computing to the extreme edge: A review of mist computing for smart cities and industry 4.0 in Africa
Tong et al. A survey on algorithms for intelligent computing and smart city applications
CN108353090B (zh) 用于改进对分布式网络中的传感器流数据的处理的方法
CN114362367B (zh) 面向云边协同的输电线路监测系统和方法、识别系统和方法
Tiwari et al. Evolution of IoT & data analytics using deep learning
TW202131661A (zh) 用於網路最佳化的裝置及方法、以及非暫時性電腦可讀媒體
Muccini et al. Software architecture for ML-based systems: What exists and what lies ahead
Rohith et al. Comparative analysis of edge computing and edge devices: key technology in IoT and computer vision applications
KR102625790B1 (ko) 포인트 클라우드 코딩을 위한 해시 기반 속성 예측
CN115511501A (zh) 一种数据处理方法、计算机设备以及可读存储介质
US10616340B2 (en) Distributed computing of large data by selecting a computational resource of a remote server based on selection policies and data information wherein the selections policies are associated with location constraints, time constraints, and data type constraints
US20220156631A1 (en) Machine-learning model to predict probability of success of an operator in a paas cloud enviornment
CN114841327A (zh) 计算图的处理方法、装置、可读介质及电子设备
Zhang et al. Generative AI-enabled vehicular networks: Fundamentals, framework, and case study
CN112332981A (zh) 一种数据处理的方法和装置
Pushpa et al. Using fog computing/edge computing to leverage Digital Twin
CN115563859A (zh) 一种基于分层联邦学习的电力负荷预测方法、装置及介质
US11829799B2 (en) Distributed resource-aware training of machine learning pipelines
Guynes et al. Edge computing societal privacy and security issues
Xue et al. Information enterprise architecture for smart transportation system
CN112214546A (zh) 轨道交通数据共享系统、方法、电子设备及存储介质
Chen et al. A Resource Allocation Scheme for Intelligent Tasks in Vehicular Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination